AI agent nemá iba odpovedať. Musí vedieť, kedy nemá konať.
AI môže podať presvedčivú odpoveď aj vtedy, keď jej chýba správny zdroj alebo kontext. Preto agentovi určujeme konkrétnu úlohu, prístup iba k potrebným údajom a situácie, v ktorých musí rozhodnutie odovzdať človeku.
Nie AI na všetko. Jeden overiteľný výsledok a jasné hranice.
Kvalitný agent nie je ten, ktorý vždy niečo odpovie. Je to systém, pri ktorom vieme, z čoho čerpá, čo smie urobiť a ako sa zachová pri nejasnom, chybnom alebo zámerne manipulatívnom vstupe.
Jedna jasná úloha
Začneme prácou, ktorú možno opísať, overiť a bezpečne ohraničiť.
- Odpovede z firemných znalostí
- Príprava dokumentov, návrhov a prehľadov
- Podpora interných alebo zákazníckych tímov
Z čoho môže čerpať
Agent má dostať iba informácie, ktoré potrebuje na svoju úlohu, nie automatický prístup ku všetkému.
- Vybrané interné a odborné dokumenty
- Aktuálne údaje z povolených systémov
- Obsah sprístupnený podľa roly používateľa
Čo sa môže pokaziť
Presvedčivý tón nie je dôkaz správnosti ani bezpečnosti odpovede.
- Nesprávna odpoveď bez opory v zdroji
- Škodlivý pokyn ukrytý v dokumente alebo správe
- Zobrazenie údaja alebo vykonanie kroku bez oprávnenia
Aké hranice agent dostane
Samostatné konanie obmedzíme tam, kde môže chyba zasiahnuť údaje, peniaze alebo ľudí.
- Najmenší potrebný rozsah oprávnení
- Potvrdenie citlivých a nevratných krokov človekom
- Bezpečné odmietnutie pri chýbajúcom podklade
Ako ho overíme a odovzdáme
Skúšame bežné zadania aj situácie, v ktorých agent nemá odpovedať alebo konať sám.
- Porovnanie odpovedí s overenými podkladmi
- Nejasné, konfliktné a zámerne manipulatívne vstupy
- Zdokumentované možnosti, hranice a náklady prevádzky
Najprv overíme, či je agent vhodné riešenie.
Napíšte nám, s akými informáciami má pracovať, aký výsledok má pripraviť a ktorý krok musí vždy zostať na človeku.