O dia em que a máquina falhar.

Enquanto os resultados melhoram, as organizações perdem três coisas que nenhum indicador regista.

Na fábrica mais antiga da Toyota, há um espaço onde se moldam cambotas manualmente. As máquinas funcionavam. O problema era outro.

Em 2014, a Bloomberg descreveu esse espaço: operários a trabalhar o metal num processo que, no resto da indústria, é automático. A Toyota não recuou por as máquinas falharem. Recuou porque uma geração de automação tinha deixado de formar pessoas que percebessem o processo. As peças cumpriam a especificação. O conhecimento que tinha criado a especificação estava a desaparecer.

Mitsuru Kawai entrou na Toyota em 1966, vindo da escola técnica da própria empresa. Liderou a recuperação. Explicou à Bloomberg que, para ser mestre da máquina, é preciso ter o conhecimento e a competência para a ensinar. Kawai chegou a vice-presidente executivo e assumiu um cargo criado para proteger o saber de fabrico: Chief Monozukuri Officer.

A pergunta que a Toyota fez a si própria atravessa o livro que estou a terminar: o que está uma organização a perder enquanto os seus resultados melhoram?

O resultado como álibi

Três estudos mostram a mesma perda em cenários diferentes.

Num working paper ainda sem revisão por pares, Steven Shaw e Gideon Nave, da The Wharton School, compararam pessoas que resolveram problemas de raciocínio sozinhas com pessoas que podiam consultar um assistente de IA, errado sem aviso em cerca de metade dos problemas. Quando consultavam o assistente e ele estava errado, seguiam a resposta errada cerca de quatro vezes em cinco. No fim, o grupo com assistente declarou mais confiança do que o grupo sem assistente. Foi uma única sessão.

Num simulador do NASA Ames Research Center, 16 pilotos de linha aérea mantinham, no essencial, a destreza manual. Os problemas surgiam no raciocínio que o voo manual exige. Era uma comparação entre pilotos, numa única sessão.

Em quatro centros na Polónia, 19 endoscopistas experientes fizeram colonoscopias sem IA antes e depois de a IA chegar. Nesses exames sem IA, a taxa de deteção de adenomas desceu de 28,4% para 22,4%. O estudo é observacional e não permite provar a causa.

Em todos os casos, o trabalho continuava feito. A perda só se via quando alguém olhava para o desempenho sem a máquina. Chamo a isto o resultado como álibi. Enquanto as peças saem certas, ninguém pergunta quem ainda as saberia fazer.

Quando a perda chega ao próprio modelo

Há um caso em que a perda não ficou nas pessoas. Chegou ao modelo.

Uday Rajan, Amit Seru e Vishal Vig estudaram créditos hipotecários subprime concedidos nos Estados Unidos entre 1997 e 2006 e vendidos a investidores através de titularização. Trabalharam com dados de cada empréstimo e compararam os anos em que a titularização era baixa com os anos em que se tornou dominante.

À medida que a titularização cresceu, as taxas de juro passaram a depender cada vez mais de dois números que chegavam aos investidores: a pontuação de crédito e o rácio entre o empréstimo e o valor do imóvel. O resto do que o credor podia saber sobre o cliente, aquilo a que os economistas chamam soft information, deixou de pesar no preço. Os autores não observam essa informação diretamente. Inferem a sua perda a partir destes padrões.

Depois estimaram um modelo de incumprimento com os empréstimos dos anos de baixa titularização e aplicaram-no aos anos seguintes. O modelo subestimou os incumprimentos. Errou mais nos clientes em que a leitura humana mais contava: pontuações de crédito baixas e empréstimos elevados face ao valor da casa.

A minha leitura é esta. O modelo tinha aprendido num mundo em que as pessoas ainda olhavam para o cliente. Quando deixaram de olhar, esse mundo desapareceu. O modelo continuou a descrevê-lo com a mesma confiança.

Três perdas

A tese do livro é que este padrão atua em qualquer organização que entrega trabalho cognitivo a um sistema. Enquanto os resultados melhoram, perdem-se três coisas.

1. A capacidade de fazer sem a máquina. É o mecanismo da atrofia. O trabalho continua feito, por isso ninguém nota que quem o sabia fazer deixou de praticar.
2. A capacidade de ver quando a máquina erra. Quanto mais fiável o sistema, menos treino tem quem o supervisiona. A supervisão continua no organigrama. A atenção sai do processo.
3. A informação que só o juízo recolhe. É a perda menos discutida. Os modelos aprendem com dados produzidos por pessoas que ainda exerciam juízo. Quando a organização deixa de o exercer, os dados seguintes deixam de o conter. O modelo passa a depender de um juízo que ele próprio tornou dispensável.

A terceira perda muda a natureza do problema. As duas primeiras afetam as pessoas. A terceira afeta o próprio sistema em que a organização apostou. Quem retira o juízo do processo para poupar retira também ao modelo aquilo de que ele precisa para continuar certo.

Porque é que os indicadores não o mostram

Os indicadores de uma organização medem o que ela entrega com a máquina ligada: produção, tempos de ciclo, custo por decisão, taxa de erro do sistema. Todos podem melhorar enquanto as três perdas avançam.

Alguns sinais de perda parecem mesmo boas notícias. Uma equipa que contraria cada vez menos o sistema parece confiar num modelo melhor. Um trimestre sem decisões revertidas parece um processo maduro. Nenhum destes números diz, sozinho, se o juízo continua presente.

O que eu perguntaria numa comissão executiva

Para cada processo importante que a vossa organização já entregou a um sistema, proponho três perguntas.

1. Que competência sustentava este resultado antes do sistema? Quem a tem hoje?
2. Que informação recolhíamos antes que deixámos de recolher porque o sistema não a pede?
3. Se o sistema falhasse amanhã, quem conseguiria decidir sem ele? Com que qualidade?

Nenhuma tem resposta num painel de indicadores. Todas têm resposta dentro da organização, desde que alguém com autoridade a vá procurar.

Os resultados medem o que a organização produz. Não medem o que ela ainda sabe. A diferença só aparece no dia em que a máquina falha. Nesse dia, já é tarde para a medir.

Na vossa organização, que resultado está a melhorar neste momento? Quem ainda o saberia produzir sem o sistema?

Fontes

1. Trudell, C., Hagiwara, Y. e Ma, J. (2014). “Humans Replacing Robots Herald Toyota’s Vision of Future”. Bloomberg, 6 de abril de 2014. https://www.bloomberg.com/news/articles/2014-04-06/humans-replacing-robots-herald-toyota-s-vision-of-future
2. Toyota Motor Corporation. Perfil de Mitsuru Kawai, Executive Fellow. https://global.toyota/en/company/profile/executives/fellow/mitsuru_kawai.html
3. Shaw, S. D. e Nave, G. (2026). “Thinking—Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender”. Working paper, The Wharton School. https://papers.ssrn.com/abstract=6097646
4. Casner, S. M., Geven, R. W., Recker, M. P. e Schooler, J. W. (2014). “The Retention of Manual Flying Skills in the Automated Cockpit”. Human Factors, 56(8), 1506-1516. https://doi.org/10.1177/0018720814535628
5. Budzyń, K., Romańczyk, M., Kitala, D., et al. (2025). “Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study”. The Lancet Gastroenterology & Hepatology, 10(10), 896-903. https://doi.org/10.1016/S2468-1253(25)00133-5
6. Rajan, U., Seru, A. e Vig, V. (2015). “The Failure of Models That Predict Failure: Distance, Incentives, and Defaults”. Journal of Financial Economics, 115(2), 237-260. https://doi.org/10.1016/j.jfineco.2014.09.012

Sobre o autor

Francesco Costigliola é Senior Teaching Fellow e Head of the AI Initiative na AESE Business School e fundador da Costigliola Advisory, consultora independente em Data, IA e Transformação Digital, sediada em Lisboa. Foi Chief Analytics Officer num grande grupo bancário português. É doutorado em Estatística Computacional pela Universidade de Nápoles e tem cerca de 20 anos de experiência em IA e ciência de dados. Está a terminar um livro sobre rendição cognitiva nas organizações.