Porque o Estado não administra números, mas administra vidas, a inteligência artificial deve ser usada pelo Estado sem se tornar um álibi institucional
A inteligência artificial (IA) deixou de ser uma promessa distante e passou a ocupar espaços concretos da vida pública. Sistemas automatizados já são utilizados para selecionar beneficiários, organizar filas, apoiar diagnósticos e orientar decisões administrativas.
Em outras palavras, algoritmos começam a participar de decisões que afetam diretamente direitos. E quando uma tecnologia passa a influenciar quem recebe um benefício, quem tem acesso prioritário a um serviço de saúde, quem permanece em determinado programa social ou quem é considerado elegível para uma política pública, não estamos mais diante de uma simples inovação tecnológica. Estamos diante de uma questão de Estado.
A IA pode produzir ganhos extraordinários de eficiência. Sistemas automatizados conseguem processar milhões de informações em poucos segundos, identificar correlações que escapariam à análise humana e apoiar decisões em ambientes nos quais os recursos são limitados. Em um país de dimensões continentais como o Brasil, marcado por profundas desigualdades sociais e por uma enorme demanda por serviços públicos, seria irresponsável ignorar esse potencial.
Existe, porém, uma pergunta que precisa preceder todas as demais: eficiência para quem – e a que custo?
Uma política pública não é legítima apenas porque é rápida, barata ou estatisticamente eficiente. O Estado não administra números; administra vidas. E, quando os números representam pessoas concretas, a eficiência precisa encontrar um limite na justiça.
É justamente nesse ponto que a discussão sobre inteligência artificial deixa de ser exclusivamente tecnológica e passa a ser jurídica, política, institucional e ética.
O RISCO DA DECISÃO INVISÍVEL
O cidadão está acostumado a lidar com decisões administrativas tomadas por pessoas. Pode discordar de um servidor, de um médico ou de uma autoridade pública. Pode pedir explicações, apresentar documentos e, em certos casos, recorrer ao Judiciário. Entretanto, o que acontece quando a decisão é apresentada como resultado de um algoritmo?
A dificuldade começa pela própria opacidade. Muitos sistemas utilizam modelos complexos, grandes bases de dados e critérios que não são facilmente compreensíveis para quem sofre suas consequências. O cidadão pode receber uma mensagem informando que não atende aos requisitos de determinado benefício e que perdeu prioridade. Mas, frequentemente, a explicação não revela de maneira suficiente quais dados foram utilizados, quais critérios foram aplicados ou como seria possível contestar o resultado. Cria-se uma espécie de “decisão invisível”.
O problema não está no fato de uma máquina participar do processo, mas surge quando a presença da tecnologia transforma a decisão pública em algo que o próprio cidadão não consegue compreender, questionar ou corrigir. No Estado democrático de direito, decisões que interferem em direitos não podem se transformar em caixas-pretas.
A motivação dos atos administrativos, o contraditório, a ampla defesa, o devido processo legal, a igualdade e a dignidade da pessoa humana não perdem importância quando entra em cena uma tecnologia sofisticada. Ao contrário: tornam-se ainda mais necessários. A modernização administrativa não pode significar a desumanização administrativa.
QUANDO O ERRO DEIXA DE SER INDIVIDUAL
Há ainda outro problema. Um erro cometido por um agente público pode atingir uma pessoa. Um erro incorporado a um sistema automatizado pode atingir milhares ou milhões. Se um banco de dados contém informações incompletas, se determinados grupos sociais estão sub-representados, se os critérios de classificação foram mal definidos para treinar um sistema, a IA pode reproduzir esse problema de forma muito mais rápida e abrangente do que qualquer processo exclusivamente humano.
O algoritmo não precisa ser “mal-intencionado” para produzir injustiça. Basta que os dados estejam contaminados por desigualdades preexistentes ou que os critérios utilizados para a decisão sejam inadequados.
Sistemas de IA não possuem consciência nem responsabilidade moral ou capacidade de experimentar sofrimento. Eles processam dados e produzem resultados segundo parâmetros e objetivos definidos por seres humanos. Por isso, a responsabilidade continua sendo humana.
Quando um algoritmo produz uma decisão injusta, a pergunta correta não é: “Por que a máquina errou?” É: “quem decidiu utilizar esse sistema, com quais dados, quais critérios, quais controles e quais mecanismos de revisão?” A resposta é necessariamente institucional.
PREVIDÊNCIA, SAÚDE E ASSISTÊNCIA SOCIAL
No Brasil, essa discussão ganha especial relevância nas políticas de proteção social. Na Previdência, sistemas automatizados podem acelerar a análise de requerimentos, identificar inconsistências e reduzir o tempo de espera. Isso é desejável. O problema aparece quando a automação passa de instrumento de apoio para substituto praticamente incontestável da análise humana.
Na saúde pública, ferramentas algorítmicas podem auxiliar na gestão de filas, na identificação de riscos, na distribuição de recursos e na definição de prioridades clínicas. Mas uma fila de atendimento não é apenas uma sequência matemática. Por trás de cada posição existe uma pessoa que sente dor, ansiedade, medo e esperança. Uma ferramenta não pode, sozinha, assumir a responsabilidade moral pela decisão.
O mesmo vale para programas de transferência de renda e outras políticas sociais. O cruzamento de grandes bases de dados pode identificar inconsistências e combater fraudes, mas também pode excluir famílias vulneráveis em razão de informações desatualizadas, divergências cadastrais ou situações atípicas que o sistema não foi capaz de interpretar corretamente.
Quanto mais vulnerável é o cidadão, maior deveria ser a proteção institucional oferecida contra um erro automatizado. É uma inversão perigosa quando justamente aqueles que possuem menos recursos para recorrer contra uma decisão passam a depender de sistemas cuja lógica não conseguem compreender.
A APARÊNCIA DE OBJETIVIDADE
Existe ainda um aspecto psicológico e político que merece atenção: a tendência de atribuir à máquina uma objetividade que ela não necessariamente possui.
Um resultado produzido por um computador frequentemente parece mais neutro do que uma decisão humana, mas um algoritmo não nasce neutro: alguém escolheu os dados, definiu os objetivos e estabeleceu os parâmetros. Por trás de toda tecnologia existe uma arquitetura de escolhas humanas. É por isso que a ideia de que “o algoritmo decidiu” pode ser uma perigosa forma de transferência de responsabilidade.
Se uma decisão pública prejudica um cidadão, o Estado não pode responder simplesmente que “foi o sistema”. A responsabilidade administrativa não desaparece porque a decisão passou por uma ferramenta digital. Ao contrário: quanto maior o poder de uma tecnologia, maior deve ser a responsabilidade de quem a utiliza.
