Představme si agenta, který připravuje odpovědi na zákaznické dotazy. Přečíst zprávu, vyhledat stav objednávky a navrhnout odpověď jsou různé činnosti. Každá potřebuje vlastní přístup k datům a pravidla.
Začněte jednou pracovní úlohou
Pro první pilot si zvolte opakující se úlohu, u níž dokážete poznat správný výsledek. U zákaznické podpory může jít o přípravu návrhu odpovědi na dotaz o doručení. Zapište, odkud pochází zadání, jaké podklady potřebuje pracovník a kdo dnes výsledek kontroluje.
Anthropic v metodickém textu rozlišuje pevně vymezené pracovní postupy a agenty, kteří sami volí postup a použití nástrojů. Doporučuje přidávat složitost až tehdy, když jednodušší řešení nestačí. Pro pilot je proto užitečné nejprve určit, ve které části úlohy potřebujeme samostatnou volbu dalšího kroku.
Rozdělte čtení a změny
Možnost vyhledat stav objednávky automaticky neznamená oprávnění měnit její cenu nebo vystavit dobropis. Navrhněte proto seznam dovolených operací. U každé určete, zda agent pouze čte, připravuje návrh, nebo skutečně provádí změnu.
Pro první ověření bychom u finančních a obtížně vratných úkonů zvolili schválení odpovědným člověkem. Současně má být dohledatelné, který nástroj agent použil a jakou změnu provedl. Tento návrh je potřeba přizpůsobit konkrétní organizaci.
Jak poznat, že pilot pomohl
- Kolik návrhů bylo možné použít bez podstatné opravy?
- Kolik času zabralo zadání, kontrola a dokončení úlohy?
- Jak často musel systém předat práci člověku?
- Jaké byly náklady na zpracování jednoho případu?
Výsledek porovnejte s dosavadním postupem. Do úspory započítejte i kontrolu a opravy. Ukázková odpověď může být přesvědčivá, ale teprve opakované ověření na reprezentativních případech ukáže, zda řešení pomáhá.