Blog

Testare il chatbot pre-rilascio: metodi e strumenti

Secondo Gartner entro il 2020 l'85% delle interazioni con i clienti avverranno in assenza di umani. I chatbot, quindi, si troveranno a cambiare il servizio clienti a cui siamo stati abituati. Come se non bastasse, sempre entro quest'anno l'80% delle aziende svilupperà un qualche tipo di chatbot (Fonte: Botcore).
Un ultimo dato rilevante in merito è che, sempre secondo Gartner, entro il 2020 il 50% delle aziende spenderà più sui bot che sul tradizionale sviluppo delle mobile app

È importante che il chatbot arrivi nelle mani dei tuoi utenti/ clienti già testato e allenato per non causare danni reputazionali all'azienda e ancora più carico di lavoro sul customer service "umano", oltre che recensioni negative del tuo servizio. Ma come si testa un chatbot? Vediamo le principali strategie e gli strumenti che ti permettono di fare bella figura con i tuoi clienti/ utenti.

Testare il chatbot: cosa tenere a mente prima del rilascio

Iniziamo da alcuni aspetti da tenere in considerazione nel test prima del rilascio del chatbot:

    • L'intento dell'utente.
      Come prima cosa è fondamentale saper distinguere tra intent ed entity. L'intent è l'obiettivo dell'utente, quello che ha in mente mentre scrive la sua domanda sul chatbot, quello che intende davvero trovare. L'entity è l'attributo, ovvero come l'utente descrive il suo problema. Sono quindi cosa cerca e come lo cerca. Capire questa differenza permette di poter prevedere correttamente l'allenamento del chatbot. 
Tangowork-Explanations-for-Graphic-Export.001
  • Il flusso di conversazione
    Il chatbot deve essere capace non solo di avere memoria della conversazione e del concatenarsi delle domande ma deve anche essere abbastanza flessibile da poter saltare da una domanda ad un'altra senza alcun nesso.

  • Gestione dell'errore
    È inevitabile: succederà prima o poi che il bot non sappia rispondere. Per questo bisogna prevedere una strategia da mettere in atto nel caso il chatbot non sappia rispondere o non riesca a capire la domanda. 

Come testare il chatbot prima del rilascio 

Ci sono tre metodi per testare il chatbot prima del rilascio: test generale, specifico del prodotto/ servizio e test dei limiti. L'ideale è completare questi test prima del rilascio perché mostrano lo status dei key points e permettono di capire quali sono i problemi alla base. Questi test non terminano dopo il rilascio: sarà altrettanto fondamentale pianificare test (anche automatizzati) per assicurarsi che le nuove versioni non colpiscano le funzionalità pre-esistenti. 

 

Test generale 

Fare un test generale permette di capire lo stato di avanzamento e funzionamento del chatbot. Se non risponde correttamente al test generale, è inutile proseguire con ulteriori test prima del fixing.
In questa fase si pongono domande generiche, ad esempio si prova a salutare il bot (quindi non parlaimo neanche di una domanda ma di una fase precedente) e testare se il chatbot dà il benvenuto all'utente. Ricordiamo infatti che il compito di un buon bot non è solo quello di rispondere alle domande ma anche di mantenere un flusso di conversazione piacevole. Se il chatbot fallisce già in questo step, è facile che l'utente smetta subito di provarci (se venisse rilasciato) o, nel caso peggiore, abbandoni direttamente il sito. Se il tuo chatbot è già stato rilasciato senza aver svolto un test generico, prova a controllare le metriche di analisi e controlla che gli utenti non abbandonino già dopo i primi 2 scambi.

 

Test specifico del prodotto/ servizio

Dopo gli eventuali saluti si entra subito nel vivo della conversazione. Il secondo step va già nello specifico del prodotto/ servizio sul quale risponde il chatbot. Mentre nel test generale si pongono domande generiche o addirittura solo saluti, qui si passa al vocabolario proprio del prodotto/ servizio. Se il tuo è il sito di una banca le domande includeranno sicuramente bonifici, trasferimenti ed estratti conto, ad esempio "dopo quanto arriva un bonifico estero" o "mi serve l'estratto conto". 

 

Test dei limiti del chatbot

Se i primi due test ti hanno soddisfatto, possiamo dire che il tuo chatbot risponde correttamente alle espressioni più comuni e significative. Adesso bisogna testare cosa succede quando l'utente scrive qualcosa di irrilevante rispetto al prodotto o servizio per vedere se il chatbot riesce a gestire la conversazione o se fallisce. 

 

Quanto funzionano questi test?

Il tuo team potrebbe andare incontro a due problemi mentre pianifica o effettua questi test. 

  1. Il bias di conferma dello sviluppatore, detto anche confirmation bias o pregiudizio di conferma. 
    "È un processo mentale che consiste nel selezionare le informazioni possedute in modo da porre maggiore attenzione, e quindi maggiore credibilità, su quelle che confermano le proprie convinzioni e, viceversa, ignorare o sminuire quelle che le contraddicono", spiega Wikipedia (sul bias cognitivo di conferma, qui applicato nello specifico allo sviluppatore). Ne abbiamo parlato anche qui
  2. La mancanza di tempo da dedicare a queste attività. Siamo tutti oberati di lavoro, e certamente lo sviluppatore non meno degli altri. L'attività di testing del chatbot è lunga e non c'è sempre il tempo di farla come si deve. Questo però può causare il rilascio di un bot non pronto agli utenti finali.

La soluzione per il test pre-rilascio del chatbot 

Testare il chatbot può richiedere molto, moltissimo tempo se fatto internamente dal team che deve anche svilupparlo e fixarlo. Oltre a questo, proprio il fatto che sia lo sviluppatore a fare anche da tester porta a degli evidenti problemi di bias e di mancato match con l'utente reale (specialmente se l'utente reale vive in un altro stato o appartiene a una generazione completamente diversa).

Uno strumento estremamente utile per superare questi problemi è il crowdtesting. Una volta che il tuo team di marketing ci ha raccontato il target e dato una overview dell'obiettivo del chatbot, sia il tuo team che quello degli sviluppatori si può concentrare su tutt'altro. Saranno i Quality Leader e Customer Success Manager di AppQuality ad occuparsi di selezionare i tester che corrispondono agli utenti reali e procedere con il testing e il training del chatbot. Nel giro di un paio di giorni avrai un chatbot provato dai tuoi stessi utenti prima che venga rilasciato sul mercato. 

Per saperne di più:

Contattaci AppQuality


Ti può interessare anche: