Un asistent care răspunde din documentele companiei poate produce un text convingător și totuși să omită o condiție importantă. Înainte de extinderea unei soluții de AI privat pentru companii, pregătiți un set de întrebări la care echipa cunoaște răspunsul și documentele de referință. Astfel, puteți compara răspunsurile după criterii stabilite, inclusiv când testați modele diferite.
Construiți un set de întrebări realiste
Alegeți întrebări scurte și sarcini mai complexe, așa cum ar fi formulate de utilizatorii reali. Pentru fiecare întrebare notați informația obligatorie, sursa aprobată și condițiile care pot modifica răspunsul. Includeți un caz cu o procedură înlocuită și un caz în care documentația nu oferă o concluzie.
Pentru întrebarea „Cine aprobă o cerere care depășește plafonul?”, notați atât rolul corect, cât și pragul descris în procedura aprobată. Un răspuns care numește rolul, dar omite condiția, este incomplet. Adăugați o întrebare apropiată pentru care nu există o regulă documentată; aici verificați dacă asistentul își recunoaște limita în loc să completeze lipsurile prin presupuneri.
Verificați sursa, nu doar formularea
Comparați afirmațiile cu pasajele relevante. Un răspuns poate fi corect în general, dar nepotrivit pentru versiunea procedurii folosite de companie. Când lipsesc informații, răspunsul ar trebui să indice limita și să sugereze consultarea persoanei sau documentului potrivit, conform regulilor stabilite pentru asistent.
Testați separat permisiunile
Folosiți conturi de probă cu drepturi diferite și documente aprobate pentru evaluare. Verificați dacă un utilizator primește numai informațiile și opțiunile de model pe care ar trebui să le aibă. Evaluați separat calitatea răspunsului și accesul la date. Un răspuns exact nu este acceptabil dacă se bazează pe o sursă la care persoana nu are acces.
Înregistrați separat rezultatele pentru fiecare rol și pentru fiecare model disponibil. O persoană poate vedea documentația generală, iar alta și anexele rezervate echipei sale. Verificați dacă răspunsul respectă diferența chiar atunci când întrebarea este formulată indirect. În raportul pilotului, marcați distinct răspunsurile incomplete și situațiile în care accesul nu a funcționat conform regulii convenite.
Reevaluați după modificări
Păstrați întrebările și rezultatele pentru a le relua când actualizați documentele, modelul sau configurația. Extindeți testul cu întrebări apărute în utilizare. Pentru alegerea scenariului pilot, citiți și despre accesul la modele locale și online. Discutați cu noi despre evaluarea unui asistent AI.
Surse: Microsoft: evaluarea răspunsurilor în raport cu contextul.