Domande frequenti (per ora tra me e me)

• 42 è un riferimento al libro “Guida galattica per gli autostoppisti” di Douglas Adams? Sì.
• Hai una risposta per tutto quanto? No.
• “Token” è riferito al termine usato nell’IA (intelligenza artificiale)? Nì.
• Questo sito riguarderà l’IA? No.
• Mi è sembrato di vedere uno schwa (cioè questo carattere: “ə”) un po’ più sotto a piè di pagina, è corretto che ci sia? Sì.
  Come mai? Facci clic sopra e lo scoprirai.

Token

Perché ho scelto “token” come parte importante del nome di questo progetto?

Parto dal fatto più semplice, le traduzioni. In italiano le traduzioni principali di token come sostantivo sono tutte interessanti, abbiamo: simbolo, segno, pegno, ricordo, pedina, contrassegno e gettone.

Nel campo informatico se pochi anni fa avessimo usato il termine “token” avremmo subito pensato a NFT (Non-Fungible Tokens) e blockchain, dove i token sono sequenze di dati crittografati.

Ma se oggi usiamo il termine “token” il primo significato che ci viene in mente è riferito agli LLM (Large Language Model), tipo ChatGPT di OpenAI o Gemini di Google per intenderci.

Potremmo dire che i token sono le unità base in cui i modelli linguistici di grandi dimensioni scompongono il testo in entrata, il nostro prompt, e assemblano il testo in uscita, la loro risposta.

Un token può essere una parola intera, una parte di parola o un carattere. Puoi fartene un’idea usando il tokenizer di OpenAI (in inglese).

Se il servizio LLM che stai usando è gratuito impiegherà più o meno tempo per l’elaborazione e la risposta in base al numero di token da elaborare (sia del prompt in ingresso, che della risposta in uscita). Se il servizio è a pagamento può far pagare in base a piani di abbonamento o a consumo o alla combinazione dei due.

Potremmo dire che i token sono dei gettoni che dobbiamo spendere in termini di energia, tempo o denaro per fare richieste e ricevere un risultato.

Digressione: questo richiamo al “gettone” mi ha riportato indietro di molti anni, agli anni 90 del secolo scorso, quando i gettoni (fisici) servivano per comunicare con persone distanti o nei momenti di emergenza, dalle cabine telefoniche pubbliche della SIP.

I token quindi rappresentano un costo.

Da tempo rifletto su quanti e quali tipi di costo ci presenta l’informatica a partire dai primi anni del nuovo millennio. Costi economici, sociali, personali, di comunicazione?

Alcuni costi sono necessari.

L’importante è conoscerli per poter scegliere come ci sentiamo di gestire gli aspetti tech delle nostre vite. In consapevolezza e con intenzione. A modo nostro.

Ho scelto il termine token, anche per altri fatti che già conoscevo.

Torniamo ad esempio di poco più indietro nel tempo, alle LAN degli anni 80 del secolo scorso.
Una LAN (Local Area Network) è una rete locale di computer, cioè un insieme di computer collegati tra loro in un luogo ben preciso, ad esempio all’interno dello stesso edificio.

Un tipo di rete lan emergente in quegli anni era la Token Ring (su Wikipedia in inglese). In questo tipo di rete i computer formano una struttura ad anello e ogni computer quando è il proprio turno, in sequenza, può trasmettere dati agli altri computer. Il turno è dato dal ricevimento del token che lo autorizza a farlo.

Una sorta di diritto e di certezza del proprio turno di parola che ogni computer avrebbe ricevuto di sicuro, senza il rischio di sovrapporsi ai messaggi degli altri; turno che avrebbe poi passato al computer successivo.

Non ti sembra un tipo di comunicazione che tornerebbe utile anche a molti umani oggi?

Torniamo indietro di qualche decennio ancora, negli anni 50 del secolo scorso. Già allora alcuni programmi software potevano scomporre il codice che componeva un altro programma in unità base dette token.

Erano i primi compilatori di software. I compilatori effettuano una vera e propria analisi lessicale del codice sorgente che viene chiamata tokenizzazione.

Digressione. La tokenizzazione non va confusa col tokenismo.
Il tokenismo è un atto meramente dimostrativo, spesso privo di sostanza, che serve per apparire imparziali, oggettivi o inclusivi, ma da un punto di vista solo formale. L’intenzione fa la differenza.

L’intenzionalità è un concetto che mi torna spesso in testa, e anche davanti agli occhi, nei testi che leggo o nei fatti che vedo. Ad un certo punto avevo pensato di chiamare questo progetto “Intenzionalmentech”, ma era un po’ lunghetto e poi c’è una pubblicità che gioca sulle parole che finiscono per “mente” e allora ho rinunciato a quel nome, ma non all’idea che ci stava sotto.

Torniamo ai nostri balzi indietro nel tempo con un’ultima curiosità.
Ho scoperto che token compare anche in ambito archeologico, per indicare oggetti che servivano a fare calcoli in alcune regioni dell’antico Vicino Oriente (definizione su Wikipedia).

Insomma spero che tutti questi significati siano di buon auspicio per questo progetto.

Cercherò di fornirti un po’ di gettoni simbolici che NON ti daranno tutte le risposte e nemmeno LA risposta (magari fosse quel 42!). Anzi, magari ti creeranno solo ulteriori domande… se succederà avrò raggiunto il mio scopo.