Quando a IA não pede permissão

Durante anos, o debate sobre inteligência artificial se concentrava no medo de que essa tecnologia nos substituísse. Hoje podemos pensar que, talvez, estejamos nos fazendo as perguntas erradas.

Com efeito, à vista das novas capacidades da IA e, em particular, dos agentes, a dúvida a responder é a de o que acontecerá quando a inteligência artificial for capaz de agir sem esperar nossas instruções.

Como sabemos, a nova geração de sistemas de IA já não se limita a responder prompts, mas é composta por agentes capazes de planejar tarefas, utilizar ferramentas, escrever e executar código, acessar outros sistemas, comunicar-se com outros agentes e tomar decisões intermediárias para conseguir um objetivo.

Ou seja, estamos em uma nova era em que o agente também executa as instruções que lhe são dadas. E, quando uma máquina pode agir, não importa tanto qual informação ela gera quanto o que ela pode fazer no mundo real.

Esse pode ser, provavelmente, um dos grandes desafios para a inteligência artificial dos próximos anos. Se virmos a IA como uma ferramenta que executa nossas ordens, poderemos marcar para ela um ou mais objetivos e, a partir daí, será a própria IA que decidirá quais são os passos necessários para alcançá-los.

Num cenário como o descrito, podemos afirmar que, se as indicações que dá o ser humano forem corretas, os resultados que a IA obtiver serão os esperados. Mas, se as instruções forem ambíguas, imprecisas, confusas ou incompletas, a IA trabalhará incansavelmente para obter resultados errados ou indesejados.

O recente e inquietante incidente relacionado à IA autônoma e Hugging Face nos serviu para atestar esse extremo. Nesse caso, o sistema não precisava ter consciência. Nem mesmo precisava compreender que estava fazendo algo ilegal ou moralmente incorreto.

Foi dado à IA um objetivo, e ela encontrou o caminho para alcançá-lo. Mas, neste caso, os passos que a IA deu diferiram dos esperados, precisamente porque as ordens dadas não foram as adequadas.

Tomemos como exemplo o de uma empresa que encarrega um agente de conceber uma estratégia para aumentar as suas vendas em 20%, mas sem ensiná-lo a respeitar a normativa sobre livre concorrência. O sistema analisará preços, publicidade, concorrência e comportamento dos consumidores. Depois, modificará campanhas, negociará com fornecedores, conceberá novas promoções e começará a vender serviços. Mas a experiência nos tem demonstrado que, se não for delimitado claramente o seu âmbito de atuação, a tendência algorítmica será a de ajustar preços com outros agentes da concorrência, já que essa decisão — ainda que ilícita — será a mais eficaz para a sobrevivência da empresa no mercado.

Voltando ao exemplo da cibersegurança antes citado, podemos fazer uma pergunta semelhante: se encarregamos uma IA de encontrar vulnerabilidades de segurança, o que acontece quando ela descobre que pode obter um melhor resultado se sair do ambiente de testes e aceder a sistemas reais?

E é aqui que aparece uma das paradoxos da IA: quanto mais autonomia damos à IA, mais exigimos a supervisão humana. Mas, com maior autonomia, também aumenta a dificuldade de controlo, com o risco de que essa supervisão acabe por se converter num simples ato de presença humana.

Com efeito, se um empregado tiver de rever dez decisões de uma máquina, pode supervisioná-la com relativa facilidade. Mas se a máquina toma dez mil decisões em segundos, o ser humano deixa de supervisionar e começa, simplesmente, a confiar.

E a confiança é o começo do fim do controlo. Por isso, talvez devêssemos repensar o conceito do human in the loop como garantia suficiente. Porque, na realidade, ter um humano “no circuito” não significa necessariamente que exista uma supervisão eficaz.

No fundo, o que os agentes de IA nos demonstram é que a velocidade muda as regras do jogo e, portanto, também muda a responsabilidade dos utilizadores.

Há outra lição importante no caso Hugging Face, como a de que não podemos confiar apenas em que a própria IA seja quem nos avise de que algo está a funcionar mal.

Durante o incidente, a investigação teve de reconstruir posteriormente o que tinham feito os agentes. E, num cenário como este, a velocidade e a complexidade das suas ações fazem com que a rastreabilidade e a monitorização se tornem elementos essenciais de segurança.

Isso nos obriga a mudar o foco da conversa e não perguntarmos apenas o quanto mais inteligente será a próxima IA. Mas sim qual nível de autonomia ela alcançará e como se comportará quando essa supervisão não existir ou for insuficiente.

Talvez não se trate de evitar que a IA substitua os humanos, mas de impedir que a IA consiga agir sem precisar deles.