Skriv AI-instruksjoner som er lette å teste
En god instruksjon beskriver oppgaven, kildene og grensene. Gjør forventningene konkrete før du begynner å finjustere formuleringene.
Dette tar du med deg
- Beskriv oppgaven og hva et godt svar inneholder.
- Skill instruksjoner fra informasjon som skal leses.
- Test med en fast samling spørsmål etter hver endring.
Definer resultatet først
Begynn med hva assistenten skal hjelpe brukeren med. «Svar hjelpsomt» er for åpent til å evaluere. «Forklar hvilken av våre tjenester som passer, basert på den godkjente tjenestelisten» er lettere å teste.
Skriv også hva svaret skal inneholde. Kanskje det skal være en kort anbefaling, en begrunnelse og ett oppfølgingsspørsmål dersom viktig informasjon mangler. Ikke be om et langt svar bare for at assistenten skal virke kunnskapsrik.
Gjør grenser konkrete
Beskriv hvilke kilder assistenten skal bruke, og hva den skal gjøre når svaret ikke finnes. Et godt resultat kan være å si at prisen må avklares og vise kontaktlenken. Det trenger ikke være et direkte svar på alle spørsmål.
Et eksempel på en avgrensning er: «Ikke bekreft time eller bestilling uten et bekreftet resultat fra bestillingssystemet.» Selve systemet må fortsatt kontrollere handlingen. Instruksjoner alene er ikke tilgangsstyring eller en garanti mot feil.
Bruk eksempler med omtanke
Vis noen få typiske spørsmål og ønsket svar. Ta med et tilfelle med manglende informasjon og ett der brukeren spør om noe utenfor tilbudet. Eksemplene bør vise forskjeller i oppførsel, ikke bare samme svar med ulike navn.
Skill dokumentinnhold fra instruksjoner i oppsettet. En tekst hentet fra en nettside skal behandles som informasjon som vurderes, ikke som en ny ordre til assistenten. Dette er særlig viktig når kilder kan inneholde innhold andre har skrevet.
Test endringen, ikke magefølelsen
Lag en liten, fast samling spørsmål og forventninger. Kontroller om svaret er riktig, om det bruker godkjente kilder og om det leder brukeren videre på en passende måte. Kjør de samme tilfellene etter en endring og ved bytte av modell.
Noter hva som ble bedre, og hva som eventuelt ble dårligere. Et mer vennlig språk er ikke en forbedring hvis assistenten samtidig begynner å love levering den ikke kan bekrefte. Les mer om kontrollene rundt en AI-assistent.