Computer-Use Agent: KI steuert Ihren Computer

Claude 3.5 Sonnet ist das erste Frontier-Modell mit Computer-Use-Fähigkeit. Im OSWorld-Benchmark erreicht es 14,9 % – doppelt so viel wie der Zweite. Es erfasst den Bildschirm, bewegt die Maus, klickt Buttons und füllt Formulare aus – wie ein Mensch am Rechner. Kein RPA-Skript: Die KI versteht den Bildschirm, trifft dynamische Entscheidungen und passt sich UI-Änderungen an.

Computer-Use Agents nutzen drei Tools: Computer Tool für Maus und Tastatur, Text Editor für Dateien, Bash Tool für Systembefehle. Dieser Artikel erklärt Technik und Praxis: Docker-Deployment, Codebeispiele, Wettbewerbsvergleich und Sicherheits-Best-Practices. Grundregel: nur in einer Sandbox – niemals auf dem Hauptrechner.

Was ist ein Computer-Use Agent?

Kurz gesagt: Ein Computer-Use Agent ist KI, die direkt am Computer arbeitet.

Klassische KI kann nur „sprechen“ – Sie stellen eine Frage, Sie erhalten eine Antwort. Computer-Use Agents können „handeln“ – Sie geben eine Aufgabe vor, sie erfassen den Bildschirm, bedienen Tastatur und Maus und erledigen die Arbeit.

Beispiel: „Trage die Daten aus dieser Excel-Tabelle in das Webformular ein.“ Dann:

1. Excel öffnen und Daten lesen
2. Browser öffnen und Zielseite aufrufen
3. Felder nacheinander ausfüllen
4. Absenden klicken

Ohne Ihr Eingreifen – und ohne spezielle Integration pro Anwendung.

Unterschied zur klassischen Automatisierung

Klingt das nicht nach RPA (Robotic Process Automation)?

Etwas schon – aber der Unterschied ist fundamental.

RPA ist ein Skript: Sie zeichnen Schritte auf, das System wiederholt sie. Ändert sich Layout oder Button-Position, bricht das Skript ab.

Computer-Use Agent ist ein intelligenter Akteur: Er „sieht“ den Bildschirm, versteht den Zustand und passt sich an – wie ein Mensch. Wandert ein Button von links nach rechts, erkennt das sowohl das Auge als auch Claude.

Entscheidend: Bei RPA definieren Sie jeden Schritt. Beim Computer-Use Agent reicht das Ziel – das „Wie“ entscheidet die KI selbst.

Claude Computer Use im Detail

Im Oktober 2024 kündigte Anthropic Computer Use für Claude 3.5 Sonnet an – das erste Frontier-Modell mit dieser Fähigkeit.

Funktionsweise

Der Ablauf ähnelt menschlicher Bedienung:

Railway - Moderne Deployment-Plattform, ohne DevOps-Aufwand, in Minuten live

Jetzt starten →Anzeige

Bildschirm erfassen → Inhalt analysieren → Aktion wählen → Ausführen → Feedback → Anpassen

Konkret:

1. Screenshot-Analyse: Claude erfasst den aktuellen Bildschirm und erkennt per Vision Text, Buttons, Eingabefelder usw.

2. Koordinaten-Mapping: Der zentrale technische Durchbruch. Das Modell lernt, visuelle Elemente auf Pixelkoordinaten abzubilden – z. B. „Submit-Button bei (320, 450)“.

3. Aktionsausführung: Je nach Aufgabe: Maus bewegen, klicken, Text eingeben, scrollen.

4. Feedback-Schleife: Nach jeder Aktion neuer Screenshot – was hat sich geändert? – dann die nächste Entscheidung.

Diese Schleife aus Beobachten, Entscheiden, Handeln und Feedback ist das Kernmuster.

Die drei Kern-Tools

Claude Computer Use basiert auf drei Tools:

Computer Tool: Maus und Tastatur

• Mausbewegung, Klick, Doppelklick, Rechtsklick
• Tastatureingabe, Shortcuts
• Scrollen

Text Editor Tool: Dateien

• Inhalte anzeigen
• Bearbeiten, erstellen
• Suchen und ersetzen

Bash Tool: Systembefehle

• Shell-Skripte ausführen
• Pakete installieren
• Systemverwaltung

Zusammen decken sie den Großteil typischer Desktop-Aktionen ab.

Leistung

Laut Anthropic erreicht Claude 3.5 Sonnet im OSWorld-Benchmark (Datensatz für KI-Desktop-Bedienung) 14,9 % – klingt niedrig, doch der Zweite liegt bei 7,8 %, fast die Hälfte.

Auch in WebArena (Web-Automatisierung) liegt Claude vorn.

Ehrlich gesagt: Die Fähigkeit steckt noch in der Frühphase. Anthropic räumt ein: langsam, fehleranfällig, feine Aktionen wie Drag & Drop oder Zoomen fehlen. Derzeit nur für Sandbox-Tests geeignet.

Schnellstart in der Praxis

Genug Theorie – so setzen Sie es um.

Umgebung vorbereiten

Am einfachsten starten Sie mit der offiziellen Docker-Demo.

Schritt 1: API Key besorgen

• Konto in der Anthropic Console anlegen
• API Key erzeugen
• Guthaben aufladen (Tests kosten wenig)

Schritt 2: Docker-Container starten

# Umgebungsvariable setzen
export ANTHROPIC_API_KEY="your_key_here"

# Offizielle Demo starten
docker run \
  -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  -v $HOME/.anthropic:/home/computeruse/.anthropic \
  -p 5900:5900 \
  -p 8501:8501 \
  -p 6080:6080 \
  -p 8080:8080 \
  -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Der Befehl startet einen Ubuntu-Desktop im Container und öffnet mehrere Ports:

• 6080: Web-VNC (Desktop im Browser)
• 5900: VNC
• 8080: API
• 8501: Streamlit-Oberfläche

Schritt 3: Desktop öffnen

Im Browser http://localhost:6080 aufrufen – das ist der „Computer“, den Claude bedient.

Erste Aufgabe: Formular automatisch ausfüllen

Lassen Sie Claude ein Formular ausfüllen.

Vultr - Hochleistungs-NVMe-Cloud-Server mit 32 Standorten weltweit, Docker per Klick

Preise ansehen →Anzeige

Angenommen, eine CSV mit Kundendaten soll in ein Webformular – klassisch per Skript oder Copy-Paste, jetzt per Claude.

In der Streamlit-Oberfläche (http://localhost:8501) die Aufgabe eingeben:

Bitte öffne die Datei ~/data/customers.csv und trage die Daten in das Formular unter https://example.com/form ein.
Pro Datensatz: Name, E-Mail und Telefon.

Claude arbeitet; im VNC sehen Sie:

• Dateimanager öffnen
• CSV finden
• Inhalt im Editor prüfen
• Browser zur Zielseite
• Felder ausfüllen
• Absenden

Dauert einige Minuten (langsamer als manuell) – ohne Ihr Eingreifen.

Fortgeschritten: Mehrstufige Workflows

Beispiel: „Daten aus der DB exportieren, Report erstellen, E-Mail senden“:

# Konzeptbeispiel – Umgebung muss angepasst werden
import anthropic

client = anthropic.Anthropic()

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20241022",
            "name": "computer"
        },
        {
            "type": "text_editor_20241022",
            "name": "text_editor"
        },
        {
            "type": "bash_20241022",
            "name": "bash"
        }
    ],
    messages=[
        {
            "role": "user",
            "content": """
            Bitte führe folgende Schritte aus:
            1. Verkaufsdaten des Monats aus PostgreSQL exportieren
            2. Mit Python ein Balkendiagramm erstellen
            3. Report als PDF speichern
            4. E-Mail an [email protected] senden
            """
        }
    ]
)

# Claude-Antwort verarbeiten
for block in message.content:
    if block.type == "tool_use":
        # Tool-Aufruf ausführen
        result = execute_tool(block.name, block.input)
        # Ergebnis an Claude zurückgeben
        # ...

So rufen Sie Computer Use per API auf. In Produktion brauchen Sie Rechte, Fehlerbehandlung und Sicherheitsgrenzen.

Wettbewerb: Nicht nur Anthropic

Computer-Use Agents sind ein heißes Feld – viele Anbieter sind aktiv.

Google Gemini Mariner

Googles Ansatz nutzt das eigene Ökosystem. Gemini steuert Chrome und Google-Dienste (Gmail, Docs, Sheets). Vorteil: enge Workspace-Integration; derzeit noch in der Beta.

Microsoft Copilot Studio

Microsoft hat Vorteile in Enterprise-Automatisierung. Copilot Studio bietet Low-Code für Nicht-Entwickler; Infrastruktur wird von Microsoft gehostet.

Amazon Nova Act

Über Bedrock ähnliche Fähigkeiten, tief in AWS integriert. Sinnvoll, wenn Sie bereits auf AWS setzen.

Open Source

Projekte wie Agent S2 und Open Interpreter erkunden dieselbe Richtung: mehr Kontrolle, Self-Hosting – aber mehr Technik-Aufwand.

Sicherheit: Das Wichtigste

KI am eigenen Rechner birgt Risiken: Dateizugriff, Systembefehle, versehentliches Löschen. Sicherheit hat Priorität.

Nur in der Sandbox

Niemals Claude direkt auf dem Hauptrechner. Docker oder VM zur Isolation.

Die offizielle Demo läuft im Container – gut. Für Produktion zusätzlich:

• Netzwerk-Isolation (nur nötige URLs)
• Dateisystem-Limits (nur erlaubte Verzeichnisse)
• API-Audit (alle Aktionen protokollieren)

Rechte einschränken

Nicht jede Aufgabe braucht volle Kontrolle:

• Nur Dokumente: Netzwerk sperren
• Nur Lesen: Read-only

Least Privilege – nur die Minimalrechte für die Aufgabe.

Sensible Daten

Bei Kunden- oder Finanzdaten besonders vorsichtig:

🔥 Verschwende keine Monate für ungenutzte Produkte! Teste deine SaaS-Nutzenversprechen mit Adsterra bei kleinem Budget →

Jetzt testen →Anzeige

• API Keys nicht im Code, sondern als Umgebungsvariablen
• Sensible Daten verschlüsselt speichern
• Logs anonymisieren
• Zugriffe regelmäßig prüfen

Maßnahmen von Anthropic

Anthropic investiert hier:

• Sicherheitstraining für Computer-Use-Modelle
• Beta-Header – explizite Aktivierung nötig
• Empfehlung: Sandbox-Tests
• Veröffentlichte Sicherheitsforschung

Verantwortung bleibt beim Nutzer – wie beim Auto: Airbags helfen, aber Anschnallgurt und Regeln sind Pflicht.

Ausblick

Computer-Use Agents sind jung, die Richtung ist klar.

Technik wird stärker

Langsam, ungenau, kein Drag & Drop – das wird besser. Modelle werden schneller, präziser, komplexere Aktionen möglich.

Mehr Anwendungsfälle

Vom Formular bis zu Cross-App-Workflows; von Dev-Tests bis Enterprise-Ops; von persönlicher Produktivität bis zur Automatisierungsplattform.

Für Entwickler

Trends, die sich lohnen:

• RPA-Entwickler: von Skripten zu Agent-Design
• QA: KI für UI-Automatisierung
• Ops: KI für Checks und Incident-Analyse
• Product: schnelle Validierung automatisierter Flows

Branchenwandel

Langfristig könnte sich ändern, wie wir Software nutzen:

• Kein Lernen jeder Oberfläche – Ziel an die KI
• Keine Integration pro Prozess – die KI bedient die Apps
• Weniger repetitive Arbeit am Rechner

Das braucht Zeit – der Trend läuft bereits.

Fazit

Computer-Use Agents markieren den Schritt von „Dialog-Assistent“ zu „handelndem Akteur“. Bildschirm verstehen, UI bedienen, Aufgaben erledigen – wie ein Mensch.

Für Entwickler lohnt sich der Einstieg:

• Technik: Funktionsweise und Implementierung
• Praxis: sicher testen und validieren
• Anwendung: passende Szenarien finden

Zwei Regeln:

1. Sicherheit zuerst – immer in der Sandbox
2. Dranbleiben – das Feld entwickelt sich schnell

Weiterführend:

• Anthropic Computer Use – offizielle Ankündigung
• Computer Use Demo Repository
• API-Dokumentation

Wenn Sie das nächste Mal repetitive PC-Arbeit erledigen – vielleicht übernimmt das die KI.