Computer-Use Agent: deixe a IA operar seu computador

Claude 3.5 Sonnet foi o primeiro modelo de ponta a oferecer o recurso Computer Use. No benchmark OSWorld, alcançou 14,9%, quase o dobro do segundo colocado. Ele consegue ver a tela, mover o mouse, clicar em botões e preencher formulários, como uma pessoa usando o computador. Não se trata de um script predefinido de RPA, mas de uma IA que entende o conteúdo da tela, toma decisões de forma dinâmica e se ajusta quando a interface muda.

O Computer-Use Agent funciona por meio de três ferramentas principais: Computer Tool controla o mouse e o teclado, Text Editor manipula arquivos e Bash Tool executa comandos do sistema. Este artigo apresenta uma análise completa, dos fundamentos à prática: implantação com Docker, exemplos de código, análise de concorrentes e boas práticas de segurança. O princípio central é simples: execute sempre em um ambiente isolado e nunca permita que a IA opere diretamente seu computador principal.

O que é um Computer-Use Agent

Em termos simples, Computer-Use Agent é uma IA capaz de operar diretamente um computador.

Uma IA tradicional só consegue “falar”: você faz uma pergunta e ela responde. Já um Computer-Use Agent pode “agir”: você fornece uma tarefa, e ele observa a tela, usa o teclado e o mouse e conclui o trabalho.

Por exemplo, você pode pedir: “Preencha aquele formulário na web com os dados desta planilha do Excel”. O agente então:

1. abre o Excel e lê os dados;
2. abre o navegador e acessa a página de destino;
3. preenche cada campo;
4. clica em enviar.

Tudo isso acontece sem a sua intervenção e sem que um desenvolvedor precise criar uma integração específica para cada programa.

Diferenças em relação à automação tradicional

Você talvez esteja pensando: isso não é simplesmente RPA, ou Robotic Process Automation?

É parecido, mas há uma diferença essencial.

RPA é um “script”: você grava uma sequência de ações e ele a repete. Se o layout da página mudar ou um botão trocar de lugar, o script deixa de funcionar.

Computer-Use Agent é um “agente”: ele entende o que aparece na tela, interpreta o estado atual e se adapta às mudanças. Assim como uma pessoa percebe imediatamente que um botão passou do lado esquerdo para o direito, Claude também consegue se ajustar.

Mais importante: no RPA, é preciso especificar cada etapa com exatidão. Para um Computer-Use Agent, basta dizer “o que fazer”; ele próprio decide “como fazer”.

Análise técnica do Claude Computer Use

Em outubro de 2024, a Anthropic anunciou que Claude 3.5 Sonnet passaria a oferecer o recurso Computer Use. Foi o primeiro modelo de IA de ponta com essa capacidade.

Como funciona

O processo completo é muito parecido com a maneira como uma pessoa usa um computador:

Alibaba Cloud - Escolha dos desenvolvedores, 15% de desconto exclusivo em Lighthouse

Ganhar 15% off →Anúncio

Observar a tela → analisar o conteúdo → decidir a ação → executar a operação → ajustar com base no retorno

Em detalhes:

1. Análise da captura de tela: Claude captura a tela atual e usa seus recursos visuais para identificar textos, botões, campos de entrada e outros elementos.

2. Mapeamento de coordenadas: este é o principal avanço técnico. O modelo precisa aprender a converter elementos visuais da tela em coordenadas específicas de pixels, por exemplo: “o botão Enviar está nas coordenadas (320, 450)”.

3. Execução da ação: conforme a tarefa, Claude decide qual ação executar: mover o mouse até determinado ponto, clicar, digitar um texto ou rolar a página.

4. Ciclo de feedback: depois de cada ação, Claude faz outra captura de tela, verifica o que mudou e decide o próximo passo.

Esse ciclo de “observar, decidir, agir e receber feedback” é o padrão central de um Computer-Use Agent.

As três ferramentas principais

O Computer Use do Claude é implementado por três ferramentas:

Computer Tool: controla o mouse e o teclado

• movimento, clique, clique duplo e clique com o botão direito do mouse;
• digitação e atalhos de teclado;
• rolagem da tela.

Text Editor Tool: manipula arquivos

• visualização do conteúdo de arquivos;
• edição e criação de arquivos;
• busca e substituição.

Bash Tool: executa comandos do sistema

• execução de scripts shell;
• instalação de pacotes;
• tarefas de administração do sistema.

Combinadas, essas três ferramentas conseguem realizar a maior parte das operações que uma pessoa faria no computador.

Desempenho

Segundo os dados divulgados pela Anthropic, Claude 3.5 Sonnet alcançou 14,9% no OSWorld, um conjunto de testes que avalia a capacidade de uma IA operar computadores. Parece pouco? O segundo colocado obteve apenas 7,8%, uma diferença de quase duas vezes.

No WebArena, voltado à automação de páginas web, Claude também atingiu desempenho líder no setor.

Mas é importante ser realista: essa capacidade ainda está em estágio inicial. A própria Anthropic reconhece que ela é relativamente lenta, comete erros ocasionalmente e ainda não consegue executar algumas operações precisas, como arrastar e ampliar. Por isso, no momento, é adequada apenas para testes em ambientes isolados.

Guia prático para começar

Depois da teoria, vamos ver como usar o recurso na prática.

Preparação do ambiente

A maneira mais simples de começar é usar a demonstração oficial com Docker.

Primeira etapa: obtenha uma API Key

• crie uma conta no Anthropic Console;
• gere uma API Key;
• adicione um pequeno saldo, suficiente para os testes.

Segunda etapa: execute o contêiner Docker

# Defina a variável de ambiente
export ANTHROPIC_API_KEY="your_key_here"

# Execute a demonstração oficial
docker run \
  -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  -v $HOME/.anthropic:/home/computeruse/.anthropic \
  -p 5900:5900 \
  -p 8501:8501 \
  -p 6080:6080 \
  -p 8080:8080 \
  -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Esse comando inicia um contêiner com um ambiente desktop Ubuntu e disponibiliza várias portas:

• 6080: Web VNC para visualizar o desktop no navegador;
• 5900: VNC;
• 8080: interface da API;
• 8501: interface do Streamlit.

Terceira etapa: acesse o desktop

Abra o navegador e acesse http://localhost:6080. Você verá um ambiente desktop Ubuntu: esse é o “computador” que Claude vai operar.

Primeira tarefa: preencher um formulário automaticamente

Vamos testar Claude no preenchimento de um formulário.

KiloClaw - OpenClaw gerenciado para empresas: orquestração de agentes IA e roteamento inteligente

Começar →Anúncio

Imagine que você tenha um arquivo CSV com dados de clientes e precise copiá-los para um formulário na web. O método tradicional seria escrever um script ou copiar e colar tudo manualmente. Agora, você pode pedir que Claude faça isso.

Abra a interface do Streamlit em http://localhost:8501 e informe a tarefa:

Abra o arquivo ~/data/customers.csv e preencha com os dados dele o formulário em https://example.com/form.
Para cada registro, preencha três campos: nome, e-mail e telefone.

Claude começará a trabalhar, e você poderá acompanhar as ações na interface VNC:

• primeiro, ele abre o gerenciador de arquivos;
• localiza o arquivo CSV;
• abre o arquivo em um editor de texto para ler o conteúdo;
• abre o navegador e acessa a página de destino;
• preenche cada campo;
• clica em enviar.

O processo inteiro pode levar alguns minutos — de fato, é mais lento do que uma pessoa —, mas não exige sua intervenção.

Avançado: fluxo de trabalho com várias etapas

Considere uma tarefa mais complexa, como “exportar dados do banco, gerar um relatório e enviar um e-mail”:

# Este é um exemplo conceitual; na prática, é preciso adaptá-lo ao ambiente específico
import anthropic

client = anthropic.Anthropic()

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20241022",
            "name": "computer"
        },
        {
            "type": "text_editor_20241022",
            "name": "text_editor"
        },
        {
            "type": "bash_20241022",
            "name": "bash"
        }
    ],
    messages=[
        {
            "role": "user",
            "content": """
            Execute as seguintes tarefas:
            1. Exporte os dados de vendas deste mês de um banco de dados PostgreSQL
            2. Gere um relatório com gráfico de barras usando Python
            3. Salve o relatório como PDF
            4. Envie-o por e-mail para [email protected]
            """
        }
    ]
)

# Processe a resposta de Claude
for block in message.content:
    if block.type == "tool_use":
        # Execute a chamada da ferramenta
        result = execute_tool(block.name, block.input)
        # Retorne o resultado para Claude
        # ...

Este exemplo mostra como chamar o Computer Use por meio da API. Naturalmente, uma implantação real precisa tratar muitos detalhes, como controle de permissões, tratamento de erros e limites de segurança.

Análise de concorrentes: a Anthropic não está sozinha

Computer-Use Agent é uma área em alta, e várias empresas estão investindo nela.

Google Gemini Mariner

A solução do Google é profundamente integrada ao próprio ecossistema. Gemini consegue operar o navegador Chrome e acessar serviços do Google, como Gmail, Docs e Sheets. A vantagem é a integração estreita com o Google Workspace, mas o recurso ainda está em fase de testes restritos.

Microsoft Copilot Studio

A Microsoft tem uma vantagem natural em automação empresarial. O Copilot Studio oferece uma interface low-code que permite até mesmo a pessoas sem conhecimento técnico configurar fluxos automatizados. Além disso, ele funciona na infraestrutura gerenciada pela Microsoft, dispensando que as empresas mantenham seus próprios servidores.

Amazon Nova Act

A Amazon oferece uma capacidade semelhante por meio da plataforma Bedrock, com integração profunda ao ecossistema AWS. Se você já usa AWS, essa pode ser uma boa opção.

Soluções de código aberto

Projetos de código aberto como Agent S2 e Open Interpreter também exploram essa área. A vantagem é oferecer maior controle e permitir implantação própria, embora exijam mais conhecimento técnico.

Segurança: a parte mais importante

Para ser sincero, permitir que uma IA opere seu computador envolve riscos consideráveis. Pense nisso: ela pode acessar seus arquivos, executar comandos do sistema e até excluir dados importantes por engano. Por isso, a segurança vem em primeiro lugar.

Execute sempre em um ambiente isolado

Nunca, em hipótese alguma, permita que Claude opere diretamente seu computador principal. Use um contêiner Docker ou uma máquina virtual para manter o ambiente isolado.

A demonstração oficial já funciona em um contêiner, o que é positivo. Mas uma integração com um ambiente de produção exige proteções adicionais:

• isolamento de rede, permitindo acesso apenas aos sites necessários;
• restrições no sistema de arquivos, com acesso somente a diretórios específicos;
• auditoria das chamadas de API para registrar todas as operações.

Controle de permissões

Nem toda tarefa exige controle total do computador. Por exemplo:

• uma tarefa que apenas processa documentos pode operar sem acesso à rede;
• uma tarefa que apenas lê dados pode usar o modo somente leitura.

Ao projetar o sistema, siga o “princípio do menor privilégio”: conceda a Claude somente as permissões mínimas necessárias para concluir a tarefa.

Tratamento de dados sensíveis

Se Claude precisar processar dados sensíveis, como informações de clientes ou dados financeiros, tome cuidados especiais:

Vultr - Servidor cloud NVMe de alto desempenho, 32 locais globais, deploy Docker com um clique

Ver preços →Anúncio

• não inclua a API Key diretamente no código; use variáveis de ambiente;
• armazene os dados sensíveis de forma criptografada;
• remova informações sensíveis dos logs de operação;
• audite periodicamente os registros de acesso.

Medidas de segurança da Anthropic

A Anthropic adotou várias medidas nessa área:

• o modelo Computer Use passou por treinamento de segurança;
• há um mecanismo de beta header que exige ativação explícita;
• a empresa recomenda testar o recurso em um ambiente isolado;
• seus métodos de pesquisa em segurança foram publicados.

Ainda assim, a responsabilidade final pela segurança é do usuário. É como dirigir: a montadora fornece airbags, mas o motorista ainda precisa usar o cinto de segurança e respeitar as leis de trânsito.

Perspectivas para o futuro

O Computer-Use Agent ainda está em estágio inicial, mas sua direção de desenvolvimento é clara.

A tecnologia ficará cada vez mais poderosa

As limitações atuais — operações lentas, baixa precisão e ausência de suporte a ações como arrastar — serão aprimoradas. Os modelos ficarão mais rápidos e precisos e conseguirão lidar com operações mais complexas.

Os casos de uso vão se expandir

De formulários simples a fluxos complexos entre aplicativos; de desenvolvimento e testes a operações empresariais; de ferramentas de produtividade pessoal a plataformas de automação corporativa. Há um enorme espaço para evolução.

Impacto para desenvolvedores

Se você trabalha com desenvolvimento, vale a pena acompanhar essa tendência:

• profissionais de RPA talvez precisem migrar da escrita de scripts para o design do comportamento de agentes;
• profissionais de testes podem usar IA para automatizar testes de UI;
• profissionais de operações podem usar IA em inspeções e diagnóstico de falhas;
• gerentes de produto podem validar rapidamente ideias de automação de processos.

Transformação do setor

No longo prazo, o Computer-Use Agent pode mudar a maneira como interagimos com o software:

• não será preciso aprender a usar cada programa: bastará dizer à IA o que você quer;
• não será preciso escrever integrações para cada processo: a IA fará as operações por conta própria;
• não será preciso permanecer diante do computador executando tarefas repetitivas: a IA poderá fazê-las por você.

É claro que isso levará tempo. Mas a transformação já começou.

Conclusão

O Computer-Use Agent marca a evolução da IA de “assistente de conversa” para “agente de ação”. Ele entende o que aparece na tela, opera interfaces e conclui tarefas como uma pessoa usando um computador.

Para desenvolvedores, essa é uma área que merece ser explorada com atenção:

• do ponto de vista técnico, é importante entender seu funcionamento e sua implementação;
• na prática, é necessário testar e validar em ambientes seguros;
• quanto às aplicações, vale identificar em quais cenários usar a tecnologia e de que maneira.

Lembre-se de dois pontos:

1. segurança em primeiro lugar: teste sempre em um ambiente isolado;
2. acompanhe a evolução: essa área muda rapidamente.

Para saber mais, consulte estes recursos:

• Documentação oficial do Anthropic Computer Use
• Repositório da demonstração do Computer Use
• Documentação da API

Da próxima vez que tarefas repetitivas no computador estiverem consumindo seu tempo, lembre-se: talvez seja a hora de deixar a IA cuidar delas.