Voor ontwikkelteams · AI in de praktijk
Een AI-taak meten tot aan acceptatie
Een praktisch overzicht van modelgebruik, herstel en beoordeling helpt een ontwikkelteam werkstromen met programmeeragents te vergelijken en lacunes in het kostenbeeld te vinden.
Een programmeertaak kan modelaanroepen verbruiken tijdens de implementatie, bij een nieuwe poging na een mislukte controle en bij verder werk tijdens de beoordeling. Het eerste gereedmeldingsbericht legt slechts één moment in dat traject vast. Een bruikbare vergelijking volgt het werk totdat de uitkomst bekend is.
Begin met een taak waarvan iemand het resultaat kan beoordelen. Maak voor een illustratieve API-wijziging een invoerveld verplicht en test geldige en ontbrekende waarden. Spreek de verwachte antwoorden af voordat u werkwijzen vergelijkt en houd de taakgrens en acceptatiecontroles gelijk. Het onderstaande voorbeeld bevat geen benchmarkcijfers.
Figuur 1 als tekst
Leg het gebruik tijdens de implementatie vast. Controles en onafhankelijke beoordeling toetsen het werk. Als de beoordeling een probleem oplevert, leg dan het herstel en de uiteindelijke menselijke beslissing vast; een niet-geslaagde taak blijft binnen de scope van de vergelijking.
Volg het werk, inclusief herstel
In de interne ontwikkelpraktijk van Devmojos stelt een operator een afgebakende werkinstructie op met relevante context en acceptatiecontroles. Automatische controles toetsen de instructie voordat een uitvoerende agent begint. Die voert de toegewezen wijziging uit in een geïsoleerde projectkopie en rapporteert wat is veranderd en gecontroleerd.
Onafhankelijke beoordeling en verificatie door de operator leveren informatie voor acceptatie. Als een controle of beoordeling een probleem oplevert, blijft het herstel onderdeel van dezelfde taakregistratie. Leg de bevinding, de volgende poging en de uiteindelijke uitkomst vast. Ook een afgewezen, gestopte of opgegeven taak hoort binnen de opgegeven scope van de vergelijking.
Deze structuur rond een agent is een harness: de taakinstructies, tools, context, overdrachten en beoordeling die het werk ondersteunen. Een geslaagde test levert onderbouwing over het gedrag dat is gecontroleerd. Mensen beslissen nog steeds of het afgesproken werk aanvaardbaar is en of het wordt uitgebracht.
Figuur 2 als tekst
Spreek de taak af, verzamel relevante context, kies een aanpak, voer het afgebakende werk uit, controleer en beoordeel onafhankelijk, en neem dan de menselijke acceptatiebeslissing. Feedback kan terugleiden naar implementatie; een niet-geaccepteerd resultaat kan terugleiden naar de taakdefinitie.
Leg verschillende meetwaarden afzonderlijk vast
Hieronder staat een voorgesteld werkblad voor de illustratieve API-wijziging. Het is geen dashboard met metingen die Devmojos al heeft verzameld. Laat een veld onbekend als de bron ontbreekt.
Figuur 3 als tekst
Lees modelgebruik, tools/infrastructuur, doorlooptijd, beoordeling/herstelwerk en resultaat afzonderlijk. Het werkblad bij het artikel stelt een volledigere kostenregistratie voor; het is geen verslag van alle metingen die momenteel worden verzameld.
| Registratie voor de taak | Eenheid of vorm | Opnemen |
|---|---|---|
| Uitkomst en acceptatiecontroles | Vastgelegde status en bevindingen | Geaccepteerd, afgewezen of opgegeven; de controles en beoordeling achter die status |
| Modelgebruik | Gebruikscategorieën die de aanbieder rapporteert | Aanroepen voor implementatie, herstel en beoordeling; benoem cachecategorieën waar die worden gerapporteerd |
| Geldelijke kosten | Valuta, met facturerings- of toerekeningsgrondslag | Bekende kosten van aanbieders/tools en toerekenbare infrastructuurkosten; vermeld uitsluitingen |
| Doorlooptijd | Tijd van toewijzing tot de opgegeven uitkomst | Wachttijd, pogingen en beoordeling, met consistente definities voor begin en einde |
| Menselijk werk | Vastgelegde tijd en activiteit | Voorbereiding, beoordeling, verificatie en ondersteuning bij herstel |
| Herstelwerk | Pogingen en redenen | Mislukte controles, beoordelingsbevindingen, vervolgpogingen en heropend werk |
Tokens, minuten en statussen beschrijven verschillende zaken. Reken geldelijke componenten om op basis van een expliciete prijs- of toerekeningsgrondslag voordat u ze optelt en voorkom dat dezelfde kosten tweemaal worden geteld. Abonnementen of lokale hardware vereisen een toerekeningsbeslissing; ontbrekende kostengegevens zijn geen bewijs van nul kosten.
Verander één onderdeel van een vergelijkbare taak
De context moet de agent de benodigde eisen, relevante code en controles geven. Een werkinstructie die een randvoorwaarde weglaat, kan herstelwerk veroorzaken. Extra materiaal moet zijn plaats verdienen door de taak te helpen. Anthropic biedt richtlijnen voor context-engineering die dit selectieprobleem bespreken.
Ook de modelkeuze hoort bij de taak. Mogelijkheden, responstijd, operationele randvoorwaarden en de moeilijkheid van het werk tellen allemaal mee. Vergelijk de pogingen en beoordelingsbevindingen naast het gebruik. Neem caching waar beschikbaar op in de gebruiksregistratie; alleen een cachetrefferpercentage toont geen verandering in de factuur aan.
Geef bij een vergelijking aan welke voltooide en niet-geslaagde taken zijn opgenomen, wat vergelijkbaar bleef en wat veranderde. Leg uitgesloten of onbekende kosten vast. Als een aanpak een bruikbaar resultaat oplevert maar meer beoordeling vraagt, moet de registratie die afweging zichtbaar maken in plaats van die terug te brengen tot een tokentotaal.
Wat onze interne praktijk aantoont
Onze interne rapportage over routering bevat geverifieerde doorlooptijden tot acceptatie, mislukte verificaties en herstelwerk. Ze toont geen volledige geldelijke kosten per geaccepteerde functionaliteit of herhaalbare besparingen bij klanten aan. Het uitgebreidere werkblad hierboven is een meetadvies. Anthropic biedt onderzoek naar harnesses dat nuttig is om verder te lezen, maar geen resultaten van Devmojos onderbouwt.
Breng één terugkerende ontwikkeltaak mee, met de huidige tools en acceptatiecontroles en het punt waarop beoordeling of herstel lastig wordt. De dienst AI Engineering van Devmojos kan beginnen met een procesbeoordeling en een afgebakend experiment met AI-gebruik, zodat uw team kan beslissen wat het behoudt.