Für Entwicklungsteams · KI in der Praxis
Eine KI-Aufgabe bis zur Abnahme messen
Eine praxisnahe Aufzeichnung von Modellnutzung, Korrekturen und Prüfung hilft einem Entwicklungsteam, Abläufe mit Programmieragenten zu vergleichen und Lücken im Kostenbild zu erkennen.
Eine Programmieraufgabe kann Modellaufrufe bei der Umsetzung, bei einem weiteren Versuch nach einem fehlgeschlagenen Test und bei zusätzlicher Arbeit während der Prüfung verbrauchen. Die erste Fertigmeldung erfasst nur einen Punkt auf diesem Weg. Ein aussagekräftiger Vergleich verfolgt die Arbeit, bis ihr Ausgang bekannt ist.
Beginnen Sie mit einer Aufgabe, deren Ergebnis jemand beurteilen kann. Machen Sie bei einer beispielhaften API-Änderung ein Eingabefeld verpflichtend und testen Sie gültige sowie fehlende Werte. Vereinbaren Sie vor dem Vergleich die erwarteten Antworten und lassen Sie Aufgabengrenzen und Abnahmeprüfungen unverändert. Das folgende Beispiel enthält keine Benchmark-Zahlen.
Abbildung 1 als Text
Erfassen Sie die Nutzung während der Umsetzung. Tests und unabhängige Prüfung bewerten die Arbeit. Findet die Prüfung ein Problem, erfassen Sie dessen Korrektur und die abschließende menschliche Entscheidung; auch eine erfolglose Aufgabe bleibt im Vergleichsumfang.
Die Arbeit einschließlich Korrekturen verfolgen
In der internen Entwicklungspraxis von Devmojos erstellt ein Operator einen abgegrenzten Arbeitsauftrag mit relevantem Kontext und Abnahmeprüfungen. Automatisierte Prüfungen untersuchen den Auftrag, bevor ein ausführender Agent beginnt. Dieser setzt die zugewiesene Änderung in einer isolierten Projektkopie um und berichtet, was er geändert und geprüft hat.
Unabhängige Prüfung und Verifizierung durch den Operator bilden die Grundlage für die Abnahmeentscheidung. Findet ein Test oder eine Prüfung ein Problem, bleibt dessen Korrektur Teil derselben Aufgabenaufzeichnung. Erfassen Sie den Befund, den nächsten Versuch und das abschließende Ergebnis. Auch eine abgelehnte, gestoppte oder aufgegebene Aufgabe gehört in den festgelegten Vergleichsumfang.
Diese Struktur um einen Agenten heißt Harness: Aufgabenanweisungen, Werkzeuge, Kontext, Übergaben und Prüfungen, die seine Arbeit unterstützen. Ein bestandener Test liefert einen Nachweis für das geprüfte Verhalten. Menschen entscheiden weiterhin, ob die vereinbarte Arbeit abnahmefähig ist und veröffentlicht werden soll.
Abbildung 2 als Text
Aufgabe vereinbaren, relevanten Kontext zusammentragen, Ansatz wählen, definierte Arbeit umsetzen, testen und unabhängig prüfen, anschließend die menschliche Abnahmeentscheidung treffen. Rückmeldungen können zur Umsetzung zurückführen; ein nicht abgenommenes Ergebnis kann zur Aufgabendefinition zurückführen.
Eine Aufzeichnung mit getrennten Messgrößen aufbauen
Das Folgende ist ein Arbeitsblattvorschlag für die beispielhafte API-Änderung. Es ist keine Übersicht über bereits von Devmojos erhobene Messwerte. Kennzeichnen Sie ein Feld als unbekannt, wenn die Quelle fehlt.
Abbildung 3 als Text
Betrachten Sie Modellnutzung, Werkzeuge/Infrastruktur, verstrichene Zeit, Prüfung/Nacharbeit und Ergebnis getrennt. Das Arbeitsblatt im Artikel schlägt eine vollständigere Kostenaufzeichnung vor; es ist kein Bericht über sämtliche derzeit erhobenen Messwerte.
| Aufzeichnung zur Aufgabe | Einheit oder Form | Einbeziehen |
|---|---|---|
| Ergebnis und Abnahmeprüfungen | Dokumentierter Status und Befunde | Abgenommen, abgelehnt oder aufgegeben; die Tests und Prüfungen hinter diesem Status |
| Modellnutzung | Vom Anbieter gemeldete Nutzungskategorien | Aufrufe für Umsetzung, Korrektur und Prüfung; Cache-Kategorien kennzeichnen, soweit gemeldet |
| Geldkosten | Währung mit Abrechnungs- oder Zuordnungsgrundlage | Bekannte Anbieter- und Werkzeuggebühren sowie zurechenbare Infrastrukturkosten; Ausschlüsse kennzeichnen |
| Verstrichene Zeit | Zeit von der Zuweisung bis zum angegebenen Ergebnis | Wartezeiten, Versuche und Prüfung mit einheitlichen Start- und Enddefinitionen |
| Menschliche Arbeit | Dokumentierte Zeit und Tätigkeit | Vorbereitung, Prüfung, Verifizierung und Unterstützung bei Korrekturen |
| Nacharbeit | Versuche und Gründe | Fehlgeschlagene Tests, Prüfbefunde, Fortsetzungen und wieder aufgenommene Arbeit |
Tokens, Minuten und Status beschreiben unterschiedliche Dinge. Rechnen Sie Geldkostenbestandteile anhand einer ausdrücklichen Preis- oder Zuordnungsgrundlage um, bevor Sie sie addieren, und zählen Sie dieselbe Gebühr nicht doppelt. Abonnements oder lokale Hardware brauchen eine Zuordnungsentscheidung; fehlende Kostendaten belegen keine Kosten von null.
Einen Teil einer vergleichbaren Aufgabe ändern
Der Kontext sollte dem Agenten die Anforderungen, den relevanten Code und die nötigen Prüfungen bereitstellen. Ein Auftrag, der eine Rahmenbedingung auslässt, kann Korrekturarbeit verursachen. Zusätzliches Material sollte nur aufgenommen werden, wenn es der Aufgabe hilft. Anthropics Leitfaden zur Kontextgestaltung behandelt dieses Auswahlproblem.
Auch die Modellwahl gehört zur Aufgabe. Leistungsfähigkeit, Antwortzeit, Betriebsbedingungen und Schwierigkeit der Arbeit sind relevant. Vergleichen Sie die daraus entstandenen Versuche und Prüfbefunde zusammen mit der Nutzung. Caching gehört, soweit verfügbar, in die Nutzungsaufzeichnung; eine Cache-Trefferquote allein belegt keine Änderung des Rechnungsbetrags.
Legen Sie für einen Vergleich fest, welche abgeschlossenen und erfolglosen Aufgaben einbezogen werden, was vergleichbar blieb und was sich geändert hat. Erfassen Sie ausgeschlossene oder unbekannte Kosten. Liefert ein Ansatz ein nutzbares Ergebnis, braucht aber mehr Prüfung, sollte die Aufzeichnung diese Abwägung sichtbar machen, statt sie auf eine Token-Gesamtsumme zu reduzieren.
Was unsere interne Praxis belegt
Unsere interne Routing-Auswertung enthält verifizierte Zeiten bis zur Abnahme, fehlgeschlagene Verifizierungen und Nacharbeit. Sie belegt weder vollständige Geldkosten je abgenommener Funktion noch wiederholbare Kundeneinsparungen. Das umfassendere Arbeitsblatt oben ist eine Empfehlung zur Messung. Anthropics Forschung zu Harness-Systemen ist hilfreiche weiterführende Lektüre, kein Nachweis für Ergebnisse von Devmojos.
Bringen Sie eine wiederkehrende Entwicklungsaufgabe, ihre aktuellen Werkzeuge und Abnahmeprüfungen sowie den Punkt mit, an dem Prüfung oder Korrektur schwierig werden. Das Angebot AI Engineering von Devmojos kann mit einer Prozessbewertung und einem begrenzten Experiment zur KI-Einführung beginnen, damit Ihr Team entscheiden kann, was es beibehalten möchte.