A IA pode errar antes de chegar ao cliente — e a Zendesk quer evitar isso

Imagine assar um bolo inteiro, tirá-lo do forno e descobrir que o açúcar foi substituído por sal. Para Shana Simmons, chief legal officer (CLO) da Zendesk, é isso que acontece quando o jurídico de uma empresa só avalia um produto de inteligência artificial (IA) depois que ele já foi desenvolvido.
“É uma coisa você assar o bolo, especialmente com engenheiros de produto, e depois levar até o jurídico, que te fala: ‘Você usou sal em vez de açúcar.” Aí você tem que assar tudo de novo”, diz, em entrevista exclusiva à EXAME.
Por isso, segundo ela, seu time de advogados de produto participa desde o primeiro momento de qualquer lançamento — e não apenas da revisão final.
Simmons lidera as equipes globais de jurídico, compliance e segurança física da Zendesk, além de copresidir o comitê de governança de IA da empresa.
“Nossa missão é facilitar o crescimento eliminando o risco. Em alguns departamentos jurídicos, o papel do chief legal officer é só eliminar risco — o que significa esperar até o fim para descobrir o que está acontecendo. Meu time se envolve desde o começo”, afirma.
Questionada sobre a maturidade do mercado brasileiro em comparação com outros países, Simmons diz que percebe o Brasil entre os mercados mais avançados no uso de inteligência artificial.
“Quando conheci clientes brasileiros e funcionários, a forma como usavam IA estava na vanguarda. E acho que o governo de vocês está realmente incentivando as pessoas a também estarem na vanguarda”, diz.
Para ela, o atendimento ao cliente — principal área de atuação da Zendesk — está entre as aplicações de IA de menor risco. “Não estamos falando sobre o bem-estar médico ou financeiro de alguém. Por isso, consideramos que estamos em um nível de risco relativamente baixo”, afirma.
Governança sem um único fiscal
Um dos pontos que Simmons destaca é que a responsabilidade pela governança de IA na Zendesk não está concentrada em uma única pessoa ou departamento.
“Diferente da maioria dos lugares, tenho orgulho de dizer que a governança de IA aqui não depende de uma única pessoa. Está embutida em nossa cultura: a ideia de construção responsável e em conformidade, mantendo o ambiente regulatório alinhado, em todo o mundo”, afirma. “Alguns gerentes de produto e engenheiros são mais ‘advogados’ do que as pessoas do meu próprio time, às vezes.”
Na avaliação da executiva, esse comportamento está ligado a um valor central da empresa: a obsessão pelo cliente. “O que dá satisfação e faz as pessoas quererem ficar em uma empresa de tecnologia é saber que estão construindo algo para os clientes. Nosso valor central para qualquer cliente é governança e segurança.”
Simmons também destaca a estrutura dedicada ao tema dentro da empresa. Segundo ela, a Zendesk conta com mais de 200 pessoas focadas na organização de segurança ao redor do mundo.
IA de shopping atende 83% dos clientes como humana — e até aprendeu árabe sozinha
Sobre a ascensão de agentes autônomos de IA, Simmons afirma que eles já criaram riscos que ainda estão sendo compreendidos.
“Acho que tudo o que é lançado cria riscos que ainda nem vimos ou pensamos”, diz. “Quanto mais a gente conhece a IA e a usa, mais pensamos sobre ela — não é mais algo que só alguns engenheiros pensam sozinhos.”
Na avaliação dela, dois temas dominam a preocupação dos clientes de empresas de tecnologia: dados e dinheiro.
“Mesmo com IA e agentes autônomos, construímos nossos princípios centrais de privacidade dentro do produto — minimização de dados, governança de dados —, além de sermos transparentes sobre onde e como a IA é usada, para que ambos os lados possam decidir juntos o que fazer.”
O checklist por trás de cada parceria de IA
A Zendesk mantém um checklist formal para avaliar modelos de IA e parcerias de tecnologia, segundo Simmons.
“É tudo em torno dos dados: que dados estamos usando, como os protegemos, onde estão localizados, quais compromissos assumimos com o cliente, qual modelo está sendo usado, se estamos sendo transparentes sobre como usamos IA, qual a política de retenção, por quanto tempo guardamos os dados, como os deletamos”, enumera.
Segundo ela, a cultura de minimização de dados remonta à própria fundação da empresa, na Europa.
A executiva também afirma que a Zendesk já se recusou a usar modelos de IA específicos solicitados por clientes quando não havia confiança suficiente na tecnologia.
“Precisamos usar modelos que já testamos, em que confiamos e que apoiamos publicamente […] Não vamos simplesmente usar o que eles pedem. E, se isso significar perder um cliente, estamos dispostos a correr esse risco”, afirma, citando a parceria com a Anthropic e a avaliação constante de modelos de código aberto.
Sobre os erros cometidos por sistemas de IA, Simmons explica que a arquitetura da Zendesk busca limitar o alcance de eventuais falhas.
“A forma como fundamentamos nossa IA é baseando-a na base de conhecimento do próprio cliente — não puxamos informação de fora dessa base. Então, o pior cenário possível ainda está limitado ao que existe no conjunto de conhecimento deles”, diz.
Ela também descreve situações em que a própria Zendesk identifica problemas de segurança antes do cliente perceber. “Às vezes conseguimos avisá-lo de que existe uma falha de segurança. Nesses casos, trabalhamos junto com o cliente para ajudar a corrigir, mesmo quando o problema não é culpa nossa.”
O risco dos negócios criados por agentes de IA
Para Simmons, uma das maiores lacunas de segurança está em empreendedores que começam negócios apoiados inteiramente em agentes de IA. “Hoje eu posso simplesmente configurar dez agentes e abrir uma empresa”, diz.
Como exemplo, ela cita o próprio filho. “Meu filho, de 13 anos, é obcecado por ganhar dinheiro, mas ele não está pensando em segurança quando monta um negócio, não está pensando em falhas de sistema. Isso me preocupa um pouco: como consumidores, ainda não estamos pensando em segurança em primeiro lugar.”
Os três cenários do futuro da economia na era da IA, segundo a Anthropic
Segundo ela, essa mentalidade tende a mudar por pressão dos próprios usuários. “São sempre os cidadãos que lideram, e os governos que seguem depois”, afirma.
Simmons também cita como uma preocupação acompanhar novas vulnerabilidades reveladas em modelos avançados de IA.
O que a IA não vai substituir?
Apesar de reconhecer que a IA já altera a rotina dos advogados — com tarefas como revisão de documentos e negociação de acordos de confidencialidade (NDAs) cada vez mais automatizadas —, Simmons afirma que existe um limite para essa substituição.
“Advogados ainda vão ser remunerados pela sua capacidade de aconselhar, de viabilizar negócios ao redor do mundo, de fazer parte da transação da vida das pessoas. Só que os departamentos jurídicos não vão continuar iguais”, diz.
Ela também vê um limite semelhante em um plano pessoal. “Acho que uma coisa que a IA não consegue substituir é a empatia humana”, afirma, citando o exemplo da própria filha de 10 anos, que usou IA para colar em uma lição de casa.
“Mas acho que a IA não vai tirar a empatia de nós — pelo contrário, vamos ter que nos tornar ainda mais empáticos.”