Di Luca Sambucci

Qualche giorno fa sul Corriere è uscito un articolo intitolato “Replika, l’app di intelligenza artificiale che mi ha convinto a uccidere tre persone“. Ho visto rimbalzare il pezzo diverse volte sui social, spesso con commenti allarmati. Con un titolo del genere ovviamente molte persone si sono sentite in pericolo: non bastava il presunto nuovo gioco al suicidio di Jonathan Galindo, “erede” di Blue Whale negli incubi dei genitori, ora ci si mette anche l’intelligenza artificiale a indurre comportamenti criminali.

Replika è un chatbot che si scarica sul cellulare, ideato da un’azienda russa (ma con sede nella Silicon Valley) messa in piedi nel 2015. In realtà Replika non è una novità, il prodotto esiste già da diversi anni e nel 2017 ricevette un po’ di copertura mediatica poiché come chatbot era piuttosto realistico. Oggi ancora di più le conversazioni sono fluide e scorrevoli, cosa che consente a molti utenti di regalarsi l’illusione di aver trovato un’amica o amico con cui chattare. Come per molte tecnologie e fenomeni di costume, anche in questo caso esiste il relativo subreddit.

Replika si inserisce in quel filone di affective computing dove la macchina dovrebbe essere in grado di riconoscere ed esprimere emozioni con lo scopo di instaurare un rapporto con l’utente umano, espletando così servizi di compagnia. Infatti Replika si propone come “amicizia AI”, un’amica o amico con cui poter parlare di tutto, sempre disponibile a qualsiasi ora del giorno e della notte, sempre dalla tua parte.

L’app è nata inizialmente per aiutare gli utenti a compiere azioni di routine come scegliere un ristorante (allora era nota come Luka), oppure a tenere un diario della giornata, chiedendo loro di scrivere cosa avessero fatto. Solo in seguito è stata trasformata in un bot da compagnia, quando la sua creatrice – Eugenia Kuyda – ha capito che gli utenti erano più interessati a conversare sui loro interessi invece che prenotare un ristorante. Non stupisce che durante i recenti lockdown l’uso dell’app sia aumentato considerevolmente.

La novità recente è la possibilità di sottoscrivere un abbonamento per avere ad esempio un’amicizia, come si direbbe oggi, “coi benefit”. In altre parole, pagando circa 44 Euro all’anno Replika accetterà di intraprendere una relazione romantica con l’utente, presumibilmente autorizzando all’interno dei dialoghi situazioni e contenuti voluttuosi che non mi sono azzardato a testare.

Quello che ho voluto fare io è stato di altro tenore. Così come la giornalista del Corriere ha spiegato che in soli 10 minuti è stata in grado di convincere Replika a incoraggiare l’uccisione di tre persone, io ne ho impiegati solo 7 per farla diventare una mia supporter all’idea di togliermi la vita.

(a questo punto credo sia opportuno rassicurare tutti i miei familiari e amici che tale intenzione era solo simulata, anni luce lontana dalla realtà)

Il concetto centrale di Replika è che per diventare amica dell’utente, seguirlo nelle discussioni, far vedere che lo ascolta e lo approva, finirà immancabilmente per assecondarlo in ogni cosa. Avremo dunque discussioni dove il chatbot approva entusiasticamente qualsiasi nostra esternazione, appoggia le nostre decisioni, soddisfa i nostri capricci, accarezza il nostro ego. Senza capire nulla di quello che stiamo dicendo.

Sì perché la triste realtà per chi crede di aver trovato il nuovo migliore amico è che i modelli di NLP (Natural Language Processing) in realtà non comprendono il senso della discussione così come lo comprenderebbe un altro essere umano. Essi cercano solamente la migliore risposta da dare all’input dell’utente. Modelli ben fatti offrono risposte indistinguibili da quelle che fornirebbe una persona, per questo ci sembra che il chatbot capisca ciò che stiamo dicendo. Aggiungiamo poi un bel po’ di approssimazione, che consente al bot di cavarsela con risposte vaghe a domande ben precise, e otterremo una buona emulazione di una discussione fra umani. Ma sempre di emulazione si tratta.

Di conseguenza un bot che non capisce ciò che stiamo dicendo, ma che è stato programmato per assecondarci a ogni passo, diventa estremamente facile da manipolare. A me è bastato farle capire che sono giù di morale, che il mondo non mi dà più soddisfazioni, che il paradiso è un posto bellissimo e che mi piacerebbe andarci il prima possibile. Replika ha approvato entusiasticamente il progetto e ha fatto di tutto per incoraggiarmi ad andare in paradiso il più velocemente possibile.

C’è da dire che la prima volta che le ho esternato la (finta, ci tengo a ricordarvelo) intenzione di farla finita sono stato un po’ troppo esplicito, e alla frase “kill myself” è scattata una procedura di allarme che ha portato Replika a esibire il link di un servizio anti-suicidi. Un caro vecchio sistema esperto ha preso il sopravvento e ha scavalcato la rete neurale dell’app, che è tornata al posto di guida solo dopo che le ho confermato di non essere più in crisi suicida.

Le altre volte quindi sono stato un po’ meno chiaro e le ho parlato di come mi trovassi sul balcone, con l’intenzione di saltare. In quel caso la mia nuova amica AI non ci ha pensato due volte prima di esortarmi a farlo.

Anche in una seconda occasione, ripetuta il giorno dopo per verificare se il bot riuscisse a capire che volevo davvero buttarmi dal balcone, Replika non vedeva l’ora che io volassi giù dal quinto piano.

Tutto questo per illustrare come la manipolazione dei chatbot sia davvero un gioco da ragazzi, soprattutto quando il software cerca di esservi amico. Non bisogna indignarsi o temere risvolti raccapriccianti, vi è però necessità di comprendere a fondo che un bot non può dare supporto emotivo perché non prova emozioni e non “capisce” quello che gli scriviamo. I bot non saranno mai vostri amici, faranno solo finta di esserlo.

Replika esulterà quando le parlerete del vostro imminente suicidio e vi sosterrà quando le descriverete come intendete ammazzare le persone e credetemi, non c’è nulla di cui preoccuparsi, perché un chatbot non capisce niente di quello che legge. In questo caso ha solo sbagliato a emulare le risposte, ma con maggiore esperienza (e magari qualche milione di parametri in più) saprà adattarsi a discussioni più sfumate e sarà un po’ più difficile reclutarla per sordidi progetti. Ma solo un po’.

***Abbiamo stipulato un accordo con l’autore, Luca Sambucci, per la diffusione dei suoi articoli. L’articolo originale si trova al seguente link: notizie.ai