Codex, come funzioneranno le intelligenze artificiali del futuro?

Le reti neurali sono uno dei temi caldi in questi giorni. Da Siri alla guida autonoma, al ripiegamento delle proteine ​​e alla diagnostica medica; il potente duo di machine learning e big data sta prendendo il sopravvento. 

La portata dell’Intelligenza Artificiale, però, nonostante i progressi non è ancora al livello che vorrebbero gli esperti. I fallimenti e i successi nel software di riconoscimento facciale, ad esempio, espongono sia i limiti dell’IA sia come anche l’apprendimento automatico sia suscettibile ai pregiudizi impliciti dei set di dati e dei programmatori. 

Puoi addestrare un’intelligenza artificiale a produrre un testo così vicino al linguaggio naturale che gli umani hanno difficoltà a dire se è stata scritta da un uomo o da una  macchina. 

L’anno scorso, le persone di OpenAI Labs hanno inventato un modello chiamato GPT-3 che potrebbe scrivere su blog, twittare e discutere. L’hanno addestrato utilizzando parte del set di dati Common Crawl, che include Wikipedia e un’intera tonnellata di libri, tra gli altri sottoinsiemi di prosa e codice. 

Ma il Common Crawl indicizza anche GitHub. Quando GPT-3 è stato esposto alle vaste aree di dati del Common Crawl, ha imparato a produrre testi scritti, ma ha anche imparato per osmosi a produrre frammenti di codice informatico intelligibile.

Incuriosito, il team di OpenAI ha realizzato un’altra versione del modello GPT-3 e lo ha soprannominato Codex. Questo è stato addestrato su un set di prosa davvero colossale dal Common Crawl e codice per computer da GitHub.

Codex, il futuro dell’Intelligenza Artificiale

La grande forza del Codex è la sua fluidità. Può generare codice in 12 lingue e la sua gestione resiliente dell’input in linguaggio naturale è estremamente potente. 

Ma questa è anche una debolezza chiave. La codifica è noiosa perché è così sensibile ai dettagli, ma il linguaggio naturale è disordinato e dipendente dal contesto.

 Errori di battitura o cattiva logica possono entrambi rovinare la funzione di un intero pezzo di software altrimenti solido. 

Codex è suscettibile allo stesso problema. È vincolato in astratto dalla sintassi rigida e dalle regole logiche della programmazione. È anche vincolato dai modelli e dalle regole implicite nei dati effettivi che utilizza.

In altre parole, mentre Codex può restituire il codice per fare quello che vuoi, non sa il perché e il suo ragionamento non sarà necessariamente ovvio. È come scrivere una dimostrazione matematica: potrebbero esserci più percorsi per la stessa risposta, alcuni dei quali tortuosi. 

A volte Codex restituisce un codice che non assomiglia a quello che potrebbe fare un programmatore umano. A volte, il suo codice presenta falle di sicurezza o semplicemente non funziona affatto. Il 37% delle volte funziona sempre.

Codex è così robusto in parte a causa della forza dei suoi set di dati. Common Crawl indicizza moltissime cose, tra cui WordPress, Blogspot, LiveJournal, archive.org e un sacco di contenuti .edu. Tutti questi sono ricchi di metadati, informazioni semantiche e regole interne che l’intelligenza artificiale deve studiare e “comprendere”. 

C’è un confronto qui che può essere fatto tra l’attuale stato dell’arte nella ricerca sull‘intelligenza artificiale e la fisiologia del cervello umano. Il sistema ha una logica interna coerente ed è già costruito per accertare i modelli mentre si relazionano l’uno con l’altro. Una limitazione dell’intelligenza artificiale è che le regole possono essere profonde diversi livelli contestuali e, con le tecniche attuali, è necessaria una grande potenza di calcolo per approssimare i risultati che un essere umano otterrebbe per lo stesso problema o prompt.

Codex un’intelligenza artificiale che migliora se stessa

 Il cervello usa la legge di Wolff, che qui significa “neuroni che si attivano insieme si collegano insieme”, per mappare le associazioni. Codex utilizza un database associativo interno che contrassegna le relazioni all’interno dei set di dati che elabora e ha letteralmente 175 miliardi di regole. Entrambi traducono il linguaggio naturale in codice. Per il cervello, il veicolo di output sono i neuroni corticali e per il Codex potrebbe essere Python.

Non siamo lontani da un sistema intelligente che può imparare a migliorarsi ricorsivamente. Per gli scienziati l’IA come il prossimo livello naturale di complessità nel nostro albero delle abilità collettive.

I robusti sistemi di intelligenza artificiale hanno la capacità di integrare molti flussi di dati contemporaneamente. Ciò che il Codex può fare sembra per tutto il mondo come il primo sfarfallio di un neurone solitario mentre stabilisce le sue prime sinapsi. Resta da vedere dove e come si articolerà con altri sistemi di apprendimento.

È meraviglioso immaginare un tale sistema che impara a costruire sui propri successi. Eppure ciò che serve per far funzionare Codex è una quantità assolutamente sbalorditiva di dati incrociati, con tutta l’infrastruttura che i dati comandano. Restituisce l’output in base a ciò che gli viene dato per studiare. Sebbene il Codex possa aiutare i programmatori a completare compiti noiosi e assicurarsi che tutti i punti e virgola siano inclusi, è ancora legato a errori logici. Meraviglioso, ma fragile, ma nella scienza bisogna procedere un passo alla volta.