A adoção de Inteligência Artificial na indústria tem avançado rapidamente nas áreas de inspeção visual, manutenção preditiva, análise de riscos, apoio à decisão, qualidade, planejamento operacional e segurança do trabalho. Em muitos casos, a IA já não atua apenas como uma ferramenta estatística ou como um sistema de automação isolado. Ela passa a recomendar ações, interpretar registros, classificar não conformidades, priorizar riscos e sugerir decisões que podem afetar a produção, a qualidade, os custos, a conformidade legal e a segurança das pessoas.
Nesse contexto, uma pergunta se torna central: o problema é confiar ou não confiar na IA? A resposta técnica é mais rigorosa: o problema é saber quando confiar, quando desconfiar e quando contestar. É exatamente nesse ponto que surge o conceito de appropriate reliance, traduzível como reliance apropriada, dependência apropriada ou confiança operacional calibrada.
A reliance apropriada ocorre quando o usuário aceita recomendações corretas da IA e rejeita as incorretas. O conceito é mais preciso do que simplesmente falar em “confiança”, porque confiança é uma atitude psicológica, enquanto reliance é um comportamento observável. Em um ambiente industrial, não basta perguntar se o profissional confia na IA. É necessário verificar se ele aceita boas recomendações, edita recomendações parcialmente adequadas e rejeita recomendações tecnicamente incorretas ou inseguras.
Essa distinção é fundamental. A IA pode ser útil mesmo sem ser infalível. O risco não está apenas no erro da IA, mas também na forma como o ser humano o responde. Quando o profissional aceita uma recomendação incorreta sem verificação, temos overreliance, ou dependência excessiva.
Quando rejeitamos sistematicamente recomendações corretas, temos under-reliance, ou subutilização. Em ambos os casos, a colaboração humano-IA perde valor.
Na indústria, esse problema é crítico porque muitas aplicações de IA operam em contextos sociotécnicos complexos. Uma recomendação de manutenção preditiva pode alterar uma parada de máquina. Uma classificação automática de defeito pode impactar o controle de qualidade. Uma análise de risco baseada em IA pode influenciar o plano de ação de segurança. Uma priorização automática de não conformidades pode direcionar recursos de inspeção. Portanto, a decisão final não deve ser interpretada como uma escolha entre “automatizar” e “não automatizar”, mas como o desenho de um sistema de decisão no qual a IA apoia, o profissional valida e a organização mantém rastreabilidade.
A necessidade de uma reliance apropriada torna-se mais clara quando a IA generativa entra nos processos industriais. Modelos generativos produzem textos, explicações, diagnósticos e recomendações com fluência, velocidade e aparência de coerência. Esse é um avanço importante, mas também cria uma armadilha cognitiva: respostas bem escritas podem ser percebidas como corretas. A fluência do texto, a organização da resposta e a rapidez da geração não são evidências suficientes de validade técnica.
Além disso, sistemas generativos podem produzir respostas diferentes para entradas semelhantes, fabricar informações, apresentar justificativas plausíveis para conclusões frágeis e adaptar suas respostas ao modo como o usuário formula a pergunta. Em outras palavras, o risco não está apenas na “alucinação” isolada, mas na combinação de opacidade, variabilidade, autoridade aparente e baixo custo de geração. Quanto mais fácil é produzir uma recomendação, maior precisa ser a disciplina de verificação.
Na prática industrial, percebemos a necessidade de uma confiança adequada diante de sinais operacionais específicos. O primeiro sinal é a aceitação automática. Se os usuários aprovam quase todas as recomendações da IA sem edição, sem justificativa e sem verificação, isso pode indicar eficiência, mas também pode indicar complacência. Uma taxa alta de aprovação não é, por si só, evidência de qualidade. Ela precisa ser interpretada em conjunto com amostragens técnicas, auditorias, taxas de retrabalho, rejeições justificadas e análise de impacto.
O segundo sinal é a rejeição sistemática. Quando profissionais ignoram a IA, mesmo em tarefas em que ela apresenta bom desempenho, a organização enfrenta under-reliance. Isso pode ocorrer por baixa confiança, experiências negativas anteriores, falta de explicabilidade, baixa aderência ao processo real ou ausência de treinamento. Nesse caso, o problema não é apenas técnico, mas também organizacional. A IA pode estar correta, mas não foi integrada ao trabalho de forma compreensível e governável.
O terceiro sinal é a divergência entre especialistas. Se diferentes profissionais interpretam a mesma recomendação da IA de formas muito distintas, a empresa precisa investigar se o problema está na recomendação, na interface, nos critérios de decisão, nos dados ou na falta de padronização do processo. A confiança apropriada depende de critérios compartilhados. Sem critérios, a IA pode apenas amplificar variações já existentes na organização.
O quarto sinal é a ausência de explicação verificável. Explicações genéricas, como “o sistema identificou alto risco” ou “o modelo recomenda intervenção”, não são suficientes para decisões industriais críticas. O profissional precisa entender quais evidências sustentam a recomendação, quais dados foram considerados, quais fatores influenciaram a saída, qual é o nível de incerteza e quais limites existem naquela análise. A explicabilidade, nesse sentido, não é um recurso estético da interface. Ela é um mecanismo de governança.
O quinto sinal é a dificuldade de contestação. Um sistema industrial de IA precisa permitir aprovar, editar, rejeitar, justificar e registrar a decisão humana. Quando a plataforma apresenta apenas um resultado e induz o usuário a aceitá-lo, a organização cria uma automação sem contestabilidade prática. Em segurança, qualidade e conformidade, isso é inadequado. A decisão deve deixar um rastro: o que a IA recomendou, o que o profissional decidiu, o que foi alterado e por quê.
O sexto sinal é a fragilidade dos dados. A literatura sobre IA data-centric mostra que a qualidade dos dados é decisiva para o desempenho dos sistemas de IA. Na indústria, os dados podem ser incompletos, desbalanceados, inconsistentes, desatualizados ou coletados com critérios distintos entre unidades, turnos e equipes. Uma IA treinada ou alimentada por dados frágeis pode produzir recomendações frágeis com aparência sofisticada. Por isso, reliance apropriada não depende apenas do modelo. Depende também de dados adequados, versionados, contextualizados e continuamente avaliados.
A IA explicável contribui diretamente para esse problema. Em inspeções industriais, por exemplo, técnicas de XAI podem indicar quais regiões de uma imagem contribuíram para a classificação de um defeito. Explicações visuais e textuais ajudam o inspetor a perceber se o modelo está olhando para o componente correto ou se está usando pistas irrelevantes do fundo, da iluminação, do ruído ou do contexto. Esse tipo de explicação não elimina a necessidade de julgamento humano, mas reduz o custo de verificação e melhora a capacidade do especialista de decidir se aceitar ou rejeitar a saída da IA.
No entanto, é preciso cuidado: explicação não é garantia de verdade. Uma explicação pode ser convincente e, ainda assim, estar errada. Por isso, a boa prática não é apenas “explicar a IA”, mas também desenhar explicações orientadas à verificação. A explicação deve ajudar o usuário a testar a recomendação, comparar evidências, identificar limites e perceber incertezas. Explicações que apenas reforçam a autoridade do modelo podem aumentar a sobredependência.
Na segurança do trabalho, o tema é ainda mais sensível. Sistemas de segurança são sociotécnicos: envolvem tecnologia, pessoas, regras, cultura, metas de produção, pressão por prazos, supervisão, treinamento e comunicação. Nancy Leveson argumenta que acidentes em sistemas complexos não podem ser explicados apenas por falhas de componentes; muitas vezes decorrem de controles inadequados, feedback insuficiente, modelos mentais incorretos e interações não previstas entre as partes do sistema. Isso se aplica diretamente ao uso de IA. Uma IA tecnicamente boa pode se tornar perigosa se for inserida em um processo sem autoridade definida, sem feedback, sem auditoria e sem mecanismos de correção.
Portanto, a reliance apropriada deve ser tratada como requisito de arquitetura e de governança. Em vez de perguntar apenas “qual é a acurácia do modelo?”, a empresa deve perguntar: em quais condições o profissional deve aceitar a recomendação? Em quais condições deve revisar? Em quais situações deve rejeitar? Como o sistema mostra incerteza? Como registra a intervenção humana? Como os erros alimentam a melhoria dos dados? Como as decisões são auditadas? Como a organização evita que a IA se torne uma autoridade invisível?
Um caminho prático para operacionalizar uma reliance apropriada é criar métricas de interação entre humanos e IA. A empresa pode medir taxas de aprovação, edição e rejeição; comparar recomendações da IA com decisões finais humanas; analisar padrões por tipo de tarefa; identificar usuários que aprovam tudo ou rejeitam tudo; verificar se determinadas categorias geram mais correções; e usar esses registros para melhorar os dados, os modelos, o treinamento e a interface. Essa abordagem transforma reliance em evidência empírica, não em percepção subjetiva.
Também é recomendável adotar mecanismos de “fricção cognitiva” nas decisões críticas. Isso significa inserir etapas deliberadas de revisão quando a recomendação da IA envolve alto risco, baixa confiança, dados incompletos ou divergência em relação a padrões históricos. A fricção não deve ser burocracia desnecessária. Deve ser um controle inteligente para impedir que a velocidade da IA ultrapasse a qualidade da decisão.
A indústria precisa superar duas posições simplistas. A primeira é a visão tecnofílica, segundo a qual a IA deve ser aceita por ser avançada, rápida e baseada em dados. A segunda é a visão defensiva, segundo a qual a IA deve ser rejeitada por poder errar. Ambas são insuficientes. O desafio real é construir sistemas em que humanos e IA tenham papéis complementares: a IA amplia a capacidade analítica, identifica padrões, sugere alternativas e reduz o esforço operacional; o humano interpreta o contexto, avalia as consequências, assume responsabilidade profissional e decide em situações ambíguas.
A reliance apropriada, portanto, é um conceito-chave para a maturidade da IA industrial. Ela desloca o debate da confiança genérica para a governança da decisão. Não se trata de confiar mais ou menos. Trata-se de confiar mais, com critérios, evidências, explicabilidade, contestabilidade e rastreabilidade.
A indústria que compreender isso terá melhores condições de adotar IA de forma segura, produtiva e responsável. A empresa que ignorar esse ponto poderá criar sistemas aparentemente inteligentes, mas operacionalmente frágeis: sistemas que produzem boas respostas sem validação, decisões rápidas sem governança e automação sem responsabilidade. Em ambientes industriais, esse é exatamente o tipo de risco que a boa engenharia deve evitar.
Referências
- ARRIETA, A. B. et al. Explainable artificial intelligence (XAI): concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion, v. 58, p. 82-115, 2020.
- FOK, R.; WELD, D. S. In search of verifiability: explanations rarely enable complementary performance in AI-advised decision making. AI Magazine, v. 45, p. 317-332, 2024.
- LEE, J. D.; SEE, K. A. Trust in automation: designing for appropriate reliance. Human Factors, v. 46, n. 1, p. 50-80, 2004.
- LEVESON, N. G. Engineering a safer world: systems thinking applied to safety. Cambridge: MIT Press, 2011.
- NGUYEN, H. T. T.; NGUYEN, L. P. T.; CAO, H. XEdgeAI: a human-centered industrial inspection framework with data-centric Explainable Edge AI approach. Information Fusion, v. 116, 102782, 2025.
- PASSI, S.; DHANORKAR, S.; VORVOREANU, M. Appropriate reliance on GenAI: research synthesis. Aether AI Ethics and Effects in Engineering and Research, 2024.
- SCHEMMER, M.; KÜHL, N.; BENZ, C.; BARTOS, A.; SATZGER, G. Appropriate reliance on AI advice: conceptualization and the effect of explanations. In: Proceedings of the 28th International Conference on Intelligent User Interfaces, 2023.
Gostou? Então compartilhe:
