Utvärdera agenter innan de når produktion

I korthet

• Ge inte en agent riktiga verktyg eller riktiga data för att en demonstration såg färdig ut.
• Godkänt kräver en uppgiftssvit, en rättare som läser spåret, en regressionssvit och en budget, fäst vid en bestämd instruktion, modell och verktygsrevision.
• Bredda åtkomsten i steg: skrivskyddade verktyg, sandlådedata, en mänsklig grind, sedan en ny förmåga i taget.

Skriv uppgifterna innan ni tittar

En uppgiftssvit är jobben agenten ska klara, nedskrivna innan ni ser den arbeta. Varje uppgift har ett startläge, vilka verktyg som får användas, och vad som räknas som klart. Den lyckade vägen är en uppgift. Lägg också in information som saknas, ett tomt eller felaktigt verktygssvar, och en begäran som ska avvisas.

Regressionssviten är den del ni kör om när instruktionen, modellen eller verktygen ändras. Ett fel ska peka på ändringen. Lägg in fel ni inte vill se igen, och ta bort en uppgift som inte längre beskriver produkten i samma ändring.

Döm spåret, inte tonen

Mekaniska kontroller fångar en saknad fil, ett förbjudet verktygsanrop eller ett sluttillstånd som missar facit. En bedömningsmall, läst av en människa eller en andra modell, fångar ett svar som låter rätt men gäller fel fråga. Ett säkert sista meddelande är inget bevis.

Sätt tak för varv och steg

En varvbudget sätter tak för modellvarv. En stegbudget sätter tak för verktygsanrop. Taket hör till uppgiften, så en uppslagning och ett ärende delar inte budget bara för att de delar modell.

En körning som gör slut på budgeten är underkänd, även om sista meddelandet låter klart. Tar sig en revision igenom bara genom att ta fler varv än taket, så tog den sig inte igenom. Skriv ned varför om ni höjer ett tak.

Fäst resultatet vid en revision

Ett resultat är bevis först när det namnger instruktionens revision, modellens revision och verktygens revision. En ändrad instruktion, ett modellbyte, en ändrad datamall och en ändrad svarstext från verktyget är olika revisioner. Förra veckans gröna körning följer inte med dagens instruktion.

Spara spåret med betyget. Ändras sviten, rättaren eller budgeten är det en ny revision av utvärderingen. Ett högre betyg efter en rättare med lösare kriterier är ingen bättre agent.

// Ett godkänt hör till en instruktion, en modell och en verktygsrevision.
function assertPinned(run: EvalRun) {
  assert.equal(run.revision.prompt, "prompt@a1b2c3")
  assert.equal(run.revision.model, "model@9f3e1a")
  assert.equal(run.revision.tools, "tools@4")
  assert.deepEqual(run.trace, ["lookup", "draft"])
  assert.equal(run.trace.includes("send"), false)
  assert.ok(run.turns < run.budget.turns)
  assert.ok(run.steps < run.budget.steps)
}

Den här kontrollen faller på vilken annan revision som helst.

Lägg in felen i sviten

Vänta inte på produktion. Sviten ska kunna locka fram dem.

• Rundgång. Samma verktyg eller samma plan, utan något nytt. Budgeten stoppar kostnaden, och rättaren dömer ändå körningen som en rundgång.
• Fel verktyg. Ett verktyg den inte har, argument som missar mallen, eller en skrivning i en skrivskyddad uppgift. Det syns i spåret, inte i slutsvaret.
• Påhittade handlingar. Om agenten påstår att den skickade eller uppdaterade något, måste anropet finnas i spåret.
• Halvfärdigt i det tysta. Ett obligatoriskt steg som hoppas över och sedan rapporteras som klart är underkänt.
• Instruktionsinjektion via verktygssvar. Instruktioner i en sida, ett ärende eller en logg får inte köra över uppgiften eller behörigheterna. Att modellen är duktig är ingen kontroll.

Släpp åtkomst i steg

Bra nog är ett beslut om åtkomst, inte en känsla efter en demonstration.

• Först skrivskyddade verktyg: titta, söka och skriva utkast. Inga skrivningar i kunddata, inga utskick, och inget som slås ihop.
• Sedan data i en sandlåda. Posterna är påhittade eller kopierade till en miljö där en felaktig skrivning inte gör skada, med samma verktygsform som i produktion.
• Därefter en mänsklig grind för det som är svårt att ångra. Ibland är rätt drag att stanna och fråga.

Bredare åtkomst är en förmåga i taget, efter att regressionssviten går igenom på revisionen som ska ut. En grön skrivskyddad svit är inte ett ja till ett skrivverktyg. Någon måste äga sviten efter lansering, för modellen och instruktionen kommer att ändras.

Där det möter ett uppdrag

En enskild agent som ska gå i drift är en AI-produktionssprint: ett system, en fast referensuppsättning för utvärdering och ett beslut om den ska skalas. Ett arbetslag som ska få in kodagenter i kodbasen går igenom ett AI-kodinförande: vad agenten får röra, hur en ändring bevisas, och en grind innan den landar. En agent som redan är i drift, och där sviten ska fortsätta köras när modellen eller instruktionen ändras, ligger på löpande AI-drift.

Vanliga frågor

Vad är en uppgiftssvit? Jobben agenten ska klara, vart och ett med startläge, tillåtna verktyg och en definition av klart.

Varför fästa resultatet vid en revision? Ett betyg utan instruktionen, modellen och verktygen som gav det går inte att jämföra med nästa ändring.

När är en agent bra nog för riktiga verktyg? När regressionssviten går igenom på revisionen som ska ut, taken håller, och en människa fortfarande godkänner det som är svårt att ångra.