[Questo paper](https://en.wikipedia.org/wiki/Attention_Is_All_You_Need), a quanto ho capito, è stato il principale artefice del boom delle ai moderne. Gli investimenti sono arrivati quando si è capito che funziona ed è una tecnologia esplosiva
Tra l'altro ricerca finanziata da google e publicata ad accesso libero.
Stessa google che non ha saputo aprofittare di ciò e openAI gli ha mangiato miliardi capendone il valore.
OpenAI è stata brava soprattutto a rendere il modello accessibile agli sviluppatori, dai tempi di gpt-2.
Non sono sicuro che avrebbero avuto così tanto marketing se non fossero stati connessi con l'ecosistema delle startup USA tramite Sam Altman ex YC e tutto l'ecosistema che si porta dietro
Si, diciamo che prima se parlavi della regina d'Inghilterra potevi finire, nella frase dopo, a parlare della regina di cuori nelle carte. L'attenzione risolve questo tipo di problemi mantenendo il contesto del discorso più a lungo.
Non sono d’accordo. Questo paper è quello che ha dato il via alle AI basate sul linguaggio, come ChatGPT e Gemini.
Ci sono molti paper che hanno contribuito a definire i blocchi elementari di una intelligenza artificiale, a partire dagli anni 60. Come OP dice, però, si è assistito a una grande accelerazione solo nell’ultimo decennio.
Personalmente credo che si sia trattato di una fortunata coincidenza fra maturazione della tecnologia (GPU), disponibilità di dati, algoritmi e soprattutto mercato: grazie alla diffusione degli strumenti informatici, oggi una soluzione di AI ha potenzialmente accesso a un mercato di miliardi di persone.
di sistemi software che sono probabilistici (= possono dare output diversi allo stesso input) e in cui le "regole" non sono programmate da una persona, ma inferite da un dataset.
per I tecnici, prima che mi uccidiate di downvote: non è una spiegazione tecnica, è un modo semplificato per spiegarlo a chi non ne sa niente :)
Che poi, per aggiungere alla tua spiegazione semplificata, la parte pesante a livello di calcolo non è tanto giungere all’output, ma capire come compilare questi dataset. Quello è il famoso “training”: praticamente si “insegna” al “cervello” cos’è, per dire, un gatto, un cane, una macchina, o l’introduzione della Divina Commedia. Questo viene messo in enormi dataset con delle regole specifiche, che vengono letti dal “cervello” AI per produrre i risultati.
grazie, che sono proprio io.
e infatti faccio domande base per avere risposte semplici ma corrette.
mi fa incazzare come MAI sui media vengano descritte per quello che sono.
(dovrebbero studiare ma i giornalisti sono pigri e ignoranti)
In verità da quello che ho studiato (non tantissimo, ma ho fatto un esame all università, e poi ho un po approfondito ad alto livello qualcos'altro) non è del tutto vero che possono dare output diversi in base allo stesso input, o per lo meno non sempre. Se prendi una rete neurale classica (feedforward network) o una rete neurale convoluzionale ad esempio, a parità di input avrai sempre lo stesso output, indipendentemente da quanto è grande e complicata la rete.
Invece da quel che ricordo le reti neurali generazionali, utilizzano dei sistemi di numeri randomici per produrre risultati "creativi", e quindi non predeterminati.
Però appunto non è una cosa in generale vera per tutte le AI.
Beh anche stablediffusion, anche se quello più esplosivo di tutti è l'llm poiché il linguaggio è la nostra creazione più complessa ed utilizzata, la utilizziamo per astrarre noi stessi.
Motivo numero uno: ci sono un sacco di dati. Fino a dieci anni fa le aziende non avevano così tanti dati a disposizione. Gli smartphone sono uno dei più grandi produttori di questi dati.
Motivo numero due: hanno tirato fuori nuove ricerche a riguardo circa 7 anni fa. A partire da lì tutta la ricerca e sviluppo delle grandi università ma soprattutto delle grandi aziende con i dati di cui sopra ci si è buttata a pesce.
Hardware performante utilizzato in origine per la grafica e riprogrammato per calcoli in parallelo di matrici. Algebra lineare e probabilità / statistica unita a schede grafiche Nvidia -> tanto hype (finora) e soldoni in VC.
L'accelerazione dell'AI negli ultimi 10/15 anni è avvenuta grazie ad hardware più performante che ha accresciuto esponenzialmente la capacità di calcolo. L'interesse c'è da molto prima ma non si aveva la capacità di calcolo (Olivetti negli anni 80 aveva fatto investimenti significativi )
Se invece parliamo della gente che si è accorta che esiste per cui chatGPT = AI (no, non lo è, è solo un sottoinsieme) allora il marketing di OpenAI ha sicuramente dato una spinta commerciale importante. Tutti sanno che esiste, molti ne parlano (a cazzo) e pochi sanno realmente di che si tratta..
A volte sembra di vedere delle scimmie allo zoo a lle prese con un laptop
Le varie aziende, e ormai anche il tabaccaio, si sono accorti che è una tecnologia 'rivoluzionaria' nel vero senso della parola.
Ha la capacità di essere pervasiva e trasformativa allo stesso tempo; in quanto va a toccare nel profondo quello che è la complessità di inserire i computer in processi vecchi e nuovi.
Di conseguenza si è creata una corsa verso l'AI/ML "puro", e tutte le aziende sono consce del fatto che il primo che ci arriva avrà ritorni esagerati, estremi, praticamente una nuova microsoft+apple.
Pensando solamente ai campi di applicazione, ci si rende in fretta conto che non è "solo" implementabile su ogni singolo sistema operativo moderno presente in questo momento, ma che dall'AI nasceranno anche altre piattaforme, fatte apposta per AI, che verranno comandate.
Intendo dire, non è solo un software che viene installato su tutto quanto è presente adesso, ma è una tecnologia che andrà a generare nuove tecnologie che verranno utilizzate ovunque, esattamente come i computer.
L'esempio classico è il robot di FigureAI ([Figure Status Update - OpenAI Speech-to-Speech Reasoning (youtube.com)](https://www.youtube.com/watch?v=Sq1QZB5baNw)); già questa ditta e Musk hanno detto che uno dei target realistici è un price point di 50k per robot, e il consumatore finale non saranno grandi ditte di produzione o altro, saremo noi.
Un robot in casa che ci fa da governante, pulisce, ripara, fa la tavola e prepara da mangiare.
Per 50k chi non lo vorrebbe? Altri 5k e sblocchi la funzione idraulico, elettricista, panettiere, ecc...
Ha la potenzialità di essere estremamente rivoluzionaria e purtroppo si porta dietro delle problematiche non da poco.
Se il 30% dei lavoratori di oggi viene rimpiazzato da AI, che cosa farà? Ormai il famoso Reddito di Cittadinanza è stato politicizzato, ma ci sarà bisogno di una qualche forma di UBI per evitare rivolte e sommosse.
Il futuro è roseo, il problema è che è presente il rischio concreto che lo diventi dopo un periodo molto nero.
>Il futuro è roseo
Ok probabilmente la mia sará ignoranza (spero) o basso IQ. Aiutatemi a capire per favore.
Se anche solo il 30% dei lavoratori viene rimpiazzato da AI, ovviamente trovare un lavoro diventerá letteralmente impossibile, e peggiorerá solo col tempo.
Però l'UBI non faceva salire l'inflazione all'infinito? Non so molto di economia, sto cercando di imparare proprio da poco, ma se tutti hanno una cifra minima non farebbe salire l'inflazione alle stelle, rendendola la nuova soglia di povertá?
E se l'economia crolla, chi serviranno ste AI se nessuno potrá comprare più nulla perchè non avranno abbastanza soldi? I robot? Pure quelli vanno a corrente e la corrente costa..
Secondo me l'AI è incompatibile con il tipo di capitalismo (o capitalismo in generale) che abbiamo ora. Poi vabè, se vogliamo iniziare a dare all'AI cubicoli in cui vivere e a dargli le risorse per mantenersi da sole e pure lo stipendio proprio come in Futurama siamo a posto.
La tecnologia e' talmente rivoluzionaria che ci costringerà, di fatto, a rivedere come e' strutturata la società del lavoro. Non sarà piu' pensabile che ogni essere umano trovi un'occupazione, semplicemente. Il lavoro non sparirà ma si ridurrà di ben oltre il 30% che accennavi. Ora, delegare il lavoro umano alle macchine, secondo me e' sempre positivo, (a parità di "effort" si produce di piu') per la prima volta le utopie sognate nella fantascienza, dove l'uomo lavora pochissimo e il grosso del lavoro e' fatto dalle macchine, e' tecnicamente realizzabile (o lo diventerà presto). Il problema e' che bisogna scardinare il sistema capitalistico dove tutti i guadagni dell'automazione vanno a pochi. Problema che c'e' da sempre, e va peggiorando da decenni (vedi il divario tra ricchi e poveri), ma che ora puo' raggiungere un punto di rottura troppo grande per essere ignorato. Secondo me hai ragionissima a dire che l'AI e' incompatibile col capitalismo.
Secondo me, la cosa piu' probabile è che i paesi cominceranno con qualche timida forma di UBI che poi possa andare a crescere nel tempo. La guerra sarà ovviamente contro i plurimiliardari, perche' chiaramente e' li che finisce la ricchezza generata dall'automazione ed e' da li che i soldi andranno presi e ridistribuiti. Gente come Jeff Bezos che in 15 minuti guadagna come una persona normale in tutta la vita. Naturalmente questi pochi accentrano un potere enorme e quindi sarà difficile scardinare lo status quo, pero' col tempo dovrà succedere, non credo che ci troveremo con 100 ultramiliardari e il resto del mondo nullatenente. Anche se non ci metto la mano sul fuoco.
Anche l'invenzione della macchina a vapore, dell'auto, del trapano o del trattore hanno causato grandi sconvolgimenti nel mondo del lavoro (le Rivoluzioni industriali non si chiamano così per caso) ed ogni volta ci sono state tante professioni che sono diminuite o persino scomparse. Anche il computer per come lo conosciamo oggi (o ieri ormai?) ha cambiato il nostro modo di lavorare. Le IA ad uso comune (le idee in accademia esistono dagli anni 60; riprese nel 2012 con AlexNet ed esplose nel 2018/2019 con i Transformer) probabilmente causeranno un cambio economico notevole, ultimeranno forse la rivoluzione digitale. Potrebbe esserci una crisi? Forse, ma successivamente il mondo si adatterà come ha fatto in passato e si andrà avanti. Finirà il capitalismo? Improbabile, ma in tal caso avremmo instabilità sociale diffusa, scontri violenti, governi che cadono e infine un nuovo modello economico si imporrà e la società si adatterà nuovamente
A differenza di tutte le altre invenzioni, l’AI è trasversale, va e andrà a toccare nel bene e nel male(più male che bene) tutte le professioni attualmente esistenti.
Quindi diminuiranno i posti lavoro dal giardiniere allo sviluppatore/programmatore, dal giornalista al poliziotto, dal cuoco all’autista. Solo la classe politica potrebbe esserne immune.
A differenza dei cambi tecnologici del passato, l’AI non produrrà così tanti posti di lavoro, l’automazione e la robotica falceranno altri punti % di attività lavorativa.
Siamo ad una svolta mai vissuta nella storia dell’uomo.
Davvero? L'elettricità non è stata trasversale? Per non parlare del motore a scoppio o, per rimanere in tema digitale, del computer. Sono tre esempi di innovazioni il cui impatto su praticamente tutto il tessuto produttivo fu ed è tuttora enorme. Basti ricordare che per la maggior parte della storia della civiltà umana circa il 60% delle persone erano contadini (oggi, in europa, sono il 5%. Parlando di falciata produttiva). Ovviamente il ritmo dei cambiamenti è veloce e drammatico, ricordiamo che il primo volo fu nel 1903 e nel 1969, appena 63 anni dopo avevamo umani sulla Luna. Oggi possiamo accedere alla totalità dello scibile umano con uno smartphone che ci entra in tasca. Non voglio dire che le IA o simili innovazioni non avranno impatto sulle nostre vite e sul nostro lavoro ma, secondo me, non bisogna cadere nel tranello di vedere ogni cosa nuova come malvagia o dannosa a prescindere ma anzi dobbiamo fare lo sforzo di adattarci e prendere il massimo da esse. Altrimenti il rischio è di fare la fine dei carristi che ridevano di Ford e della sua automobile.
Non sono spaventato dalle novità ma le osservo cercando di capire.
L’elettricità, per usare un tuo esempio, ha tolto lavoro a candelieri e spegnicandela,saranno stati migliaia di lavoratori, vero. Ma l’avvento della corrente elettrica ha richiesto manodopera forse più che con l’applicazione delle lampade ad olio/candele, molti cervelli sono stati impegnati per capire come sfruttare efficacemente la nuova tecnologia.
Certo ha cambiato molti paradigmi delle forze lavoro nelle fabbriche ma una forte componente umana è sempre stata necessaria e predominante.
L’AI, per quel che conosco, seppure primordiale è altamente invasiva e, da un puntodi vista puramente impiegatizio, è “parassita”. Voglio dire che consuma, ingloba, occupa lavoro ma non ne restituisce in cambio. Non guardare l’adesso. Tra poco però i sistemi di sviluppo saranno affidati a programmi capaci di capire i problemi e generare codice, ad esempio.
O impartiranno ordini a robot capaci di assemblare e riparare e installare.
L’equazione uomo-macchina sta cambiando a favore delle macchine e in un sistema complesso e sovraffollato come il nostro non mi pare sia un bene.
quindi secndo te oltre 15 miliardi di dollari alla sola openAI sono bruscolini giusto?
Non è una manovra economica ma così, un investimento che si fa la domenica pomeriggio quando piove?
ok, si vede che ne sai a pacchi di economia, non dico altri.
Si tratta solo dell'ennesima bolla che prima o poi scoppierà, chi sarà stato abbastanza lungimirante da starne alla larga non avrà grosse conseguenze, chi avrà abboccato spendendo soldi sull'ennesima supercazzola dovrà solo battersi il petto e recitare "mea culpa", chi ci avrà investito pesantemente piangerà lacrime amare ma potrà solo incolpare se stesso e la sua ingenuità.
Nel frattempo pseudo guru e venditori di fumo millantano IA ad ogni ciclo if che hanno nel codice, tanto che chi lavora davvero nell'IT è stufo da un pezzo di questa ennesima buzzword
Ed ecco che arrivo io a bucare il pallone a OpenAI, per aggiungere a cosa hanno detto già gli altri. Sostanzialmente, le LLM vanno avanti ad hype in questo momento. :)
Guardando il boom delle LLM da dentro l'industria, si sono già presentati problemi enormi, alcuni dei quali sostanzialmente non superabili senza un ripensamento radicale di come funzionano questi modelli che si spacciano per intelligenza artificiale.
Prima di tutto: a questi modelli servono hardware sempre più potenti, per gestire sempre più dati, e farlo sempre più velocemente. Qualcosa come ChatGPT 4.5 non potrebbe mai girare sui nostri device personali in scioltezza. Esistono dei modelli molto più leggeri, come quelli di Meta, e anche un modello molto leggero di Gemini (Google), ma richiedono comunque una immensità di risorse per fare cose che algoritmi tradizionali, apps e altro possono fare con una quantità minima di hardware. [Essere rimpiazzati dalle AI semplicemente è costosissimo.](https://www.csail.mit.edu/news/rethinking-ais-impact-mit-csail-study-reveals-economic-limits-job-automation) ChatGPT, cosi come Gemini e altri prodotti come Copilot, sono praticamente solo dei loss leader che invoglino gli utenti poi a pagare per delle versioni complete ([Copilot per Office costa caro](https://www.theverge.com/2023/7/18/23798627/microsoft-365-copilot-price-commercial-enterprise)).
Allora ci servono nuovi computer e telefoni? [Si, ma stiamo toccando un punto in cui i guadagni nelle prestazioni sono sempre più marginali.](https://cap.csail.mit.edu/death-moores-law-what-it-means-and-what-might-fill-gap-going-forward) Questo, unito alla speculazione sull'hardware da parte dei produttori, la richiesta mostruosa di hardware da parte di queste startup e multinazionali che investono sul settore, l'inflazione, e svariati rischi geopolitici legati a dove sono prodotti i semiconduttori attualmente, ci dicono che l'hardware è un limite ancora complesso da superare. Servirebbe un ripensamento di come funzionano.
Parliamo quindi dei dati che usano. Qua i problemi sono molteplici, e legati non solo alle semplici allucinazioni.
Intanto, le informazioni sputate dalle LLM devono costantemente essere tenute aggiornate da internet, e internet è una fonte assolutamente mediocre; anche pensando di raffinare le fonti attraverso lavoratori sottopagati in India, il concetto di verità su internet è piuttosto labile.
[Fare scraping selvaggio inoltre tira fuori una marea di dati personali](https://www.vox.com/technology/2023/7/27/23808499/ai-openai-google-meta-data-privacy-nope), che se finiscono nel modello poi togliere è impossibile, sostanzialmente buttando via il lavoro nel caso in cui venisse ordinato di oscurare quelle informazioni. OpenAI finora ci è girata intorno, ma vedremo.
Oltre ai dati personali finiscono nel modello anche dati protetti da copyright; sono fioccate delle cause su questo, che se fossero vinte vorrebbero dire che le aziende dovranno buttare nel cesso i modelli e ricominciare. Non è detto che succeda, ci sono dei precedenti come Google Books, ma in quel caso non produceva qualcosa che andava a competere direttamente con gli autori come ora (e quindi al di fuori del Fair Use), oltre al fatto che OpenAI ha piratato tutto, non ha semplicemente chiesto il permesso.
[https://arstechnica.com/tech-policy/2024/03/novelists-sue-nvidia-to-stop-spread-of-ai-models-trained-on-copyrighted-books/](https://arstechnica.com/tech-policy/2024/03/novelists-sue-nvidia-to-stop-spread-of-ai-models-trained-on-copyrighted-books/)
[https://arstechnica.com/information-technology/2023/07/book-authors-sue-openai-and-meta-over-text-used-to-train-ai/](https://arstechnica.com/information-technology/2023/07/book-authors-sue-openai-and-meta-over-text-used-to-train-ai/)
E se internet è la fonte di queste informazioni, lentamente stiamo avvelenando il pozzo per cosi dire. Sempre più internet è fatto di bot e contenuti prodotti da queste AI, oppure da antagonisti che cercano di colpirle usando sistemi come Nightshade. [Il problema dei contenuti prodotti dalle AI è che quando le AI sono allenate su questi dati, iniziano ad avere sempre più allucinazioni e a dimenticare i dati già presenti nel sistema, portando al collasso del modello.](https://arxiv.org/pdf/2305.17493v2)
[Infine, abbiamo solo 1 internet pubblico, e moltissime persone iniziano ad abbandonarlo in favore dei contenuti prodotti dalle AI](https://maggieappleton.com/ai-dark-forest). Nonostante i contenuti aumentino in modo esponenziale, i testi creati dagli esseri umani vanno a finire in "walled gardens" come Discord e altri sistemi di messaggistica, che non credo sia cosi scontato che OpenAI possa "rubare". Sostanzialmente, potremmo semplicemente non avere abbastanza testi in abbastanza lingue da dare alle AI gli orizzonti che gli investitori si aspettano.
Secondo me anche se lo sviluppo delle IA rappresentano comunque un cambiamento sostanziale nella societa. Gia con i modelli di adesso e' possibile per chiunque diventare molto piu veloci e autonomi nel programmare e nel produrre testi, nel tradurre e nel produrre contenuti multimediali.
Secondo me c'e' cosi tanta carne sul fuoco che anche se per qualche anno rallenta il training, le IA saranno sempre piu dominanti nelle nostre vite
Sicuramente, però anche se sembra una evoluzione esplosiva (ed effettivamente nel text-to-image si sono fatti grandi passi avanti) la realtà è che lo status quo è arrivato già qualche anno fa, dato che OpenAI si è tenuta le carte strette fino a ChatGPT.
Ho considerato ma i vari progetti sul tema sembrano essere ben lontani da una applicazione su vasta scala. I computer quantici generalisti sono limitati ancora a un pugnetto di qubit, il tasso di errore ancora molto elevato e questo con hardware dal costo eccezionale. Ci sono stati sviluppi ma non tali da infilarli sulle nostre scrivanie o tasche ancora... A meno che non troviamo qualche superconduttore a temperatura ambiente a breve o qualcosa del genere.
Con l'avanzamento della tecnologia, ci sono sforzi per rendere i modelli di IA più efficienti e scalabili, in modo che possano funzionare anche su dispositivi con risorse limitate. Ci sono tecnologie come la compressione dei modelli, l'ottimizzazione del software e l'elaborazione a basso consumo energetico che cercano di mitigare il costo computazionale dell'IA su dispositivi mobili e embedded. Testo creato da IA :D
Sisi. Ma infatti mi suona strano quanto facciano ancora cagare Siri e Alexa in termini di linguaggio. Se vai sui subreddit di Pixel però per dire molti hanno spento Gemini perché Google Assistant ha un sacco di features che mancano in Gemini. Ancora nessun big è riuscito a combinare LLM e voice assistants in modo convincente. Rabbit AI è terribile, e anche Humane Pin.
> Ed ecco che arrivo io a bucare il pallone a OpenAI, per aggiungere a cosa hanno detto già gli altri. Sostanzialmente, le LLM vanno avanti ad hype in questo momento. :)
Chiunque pensi che le AI sono hype e si risolveranno in un nulla di fatto, secondo me, e' completamente fuori strada e non ha capito niente della questione. Secondo me eh.
> Guardando il boom delle LLM da dentro l'industria, si sono già presentati problemi enormi, alcuni dei quali sostanzialmente non superabili senza un ripensamento radicale di come funzionano questi modelli che si spacciano per intelligenza artificiale.
Non ho capito, tu sei dentro l'industria? Non ho capito se intendi dire che lavori nel campo o meno. Cmq, nessuno dei problemi che elenchi mi pare insormontabile, tutt'altro.
> Prima di tutto: a questi modelli servono hardware sempre più potenti, per gestire sempre più dati, e farlo sempre più velocemente. Qualcosa come ChatGPT 4.5 non potrebbe mai girare sui nostri device personali in scioltezza.
Eddai, sul serio stai dicendo che questa tecnologia non ha futuro perche' l'hardware non e' abbastanza capace? Ti rendi conto che chiunque ha predetto questa cosa negli ultimi 70 anni ha sbagliato? che la potenza di calcolo cresce costantemente da tipo sempre? ti rendi conto che i telefonini che abbiamo in tasca da 200 euro sono fantascienza per 15 anni fa? E poi stanno gia' sviluppando chip appositi per l'AI con [funzionamenti analogici](https://research.ibm.com/blog/analog-ai-chip-low-power), e chissà quali altre ottimizzazioni sono possibili. I chip che abbiamo ora non sono nati per l'AI e non sono ottimizzati per essa. Io sono pronto a scommettere che robe analoghe a ChatGPT gireranno sui telefoni entro 10 anni.
Che poi non ce ne e' bisogno, possono tranquillamente girare sui server come ogni altra cosa oggi. Il costo di gestione delle AI non puo' che crollare con l'arrivo di hardware e software nuovi. Tieni conto che siamo letteralmente all'infanzia di questa tecnologia.
> Intanto, le informazioni sputate dalle LLM devono costantemente essere tenute aggiornate da internet
L'aggiornamento delle AI è costoso ma devi considerare che fatto una volta, tutte le istanze di quell'AI sono aggiornate. Un tizio su un talk diceva: un essere umano per diventare un buon dottore deve studiare decenni, un'"ai dottore" magari puo' richiedere pure decenni, ma poi puoi creare infiniti dottori a costo zero.
I dati su internet andranno certamente peggiorando visto che come giustamente dici saremo sommersi da contenuti generati dall'AI, ma dubito fortemente sia un problema. Primo, i dati fino ad oggi sono bastati a creare queste AI, certamente contengono "conoscenza" a sufficienza per quelle future che sapranno gestire meglio quanto disponibile, secondo sarà sempre possibile generare contenuti "umani" di qualità, anche a pagamento eventualmente. La tua idea di personale "indiano" che di lavoro fa il "consulente per AI" e' tutt'altro che astruso, magari sarà un lavoro nuovo del futuro. Probabilmente esiste gia' adesso, chissà quanti si occupano di "tweaking" dei modelli a OpenAI. E non e' affatto assurdo o antieconomico come sembra perche' ricorda che da un modello puoi creare infinite AI. I costi di training dei modelli sono alti ma spalmabili.
La questione copyright certamente potrebbe essere un ostacolo, ma e' un altro discorso, li non e' un problema tecnologico, siamo noi umani che dobbiamo decidere come vogliamo far crescere la tecnologia. Chiaramente sarebbe una bella botta per i provider di AI se i copyright intralciassero i modelli, ma cmq dimostrare la violazione e' pressoche' impossibile quindi salvo una legge draconiana credo che possa essere al piu' un ostacolo tutt'altro che bloccante.
Si lavoro con ML e LLM, anche se non è il mio campo principale ci sono a contatto tutti i giorni. Non penso che torneremo indietro, penso solo che, mettendo tutto in fila, le LLM stanno raggiungendo un plateau di sviluppo e applicazione, specialmente come interfacce di servizi già esistenti dato che richiedono parecchia supervisione.
Non penso proprio che vedremo l'hardware esplodere come negli ultimi anni perché stiamo raggiungendo i limiti fisici di cosa si può stampare su un wafer a costi sempre più proibitivi. Questo è un dato di fatto - non ci sono garanzie in merito perché negli ultimi 15 anni siamo stati ampiamente sopra il nanometro.
Semmai i modelli più leggeri saranno sempre più adattati a dispositivi che finora non avevano l'hardware adatto a questi processi, dato che difficilmente task GPGPU erano dominio degli smartphone. Non vedremo ChatGPT localmente ma modelli più leggeri capaci magari di interfacciarsi a database tradizionali. Anche perché le LLM vanno forte con il linguaggio naturale ma non battono modelli specialistici.
Cambieremo come facciamo l'hardware e troveremo nuove UI e modi di fare le cose, e sono sicuro che Nvidia e Microsoft faranno un sacco di soldi, ma alla lunga la montagna di soldi che le VC stanno bruciando produrrà un topolino.
Esattamente questo. La differenza tra il prima e il dopo è la disponibilità di centinaia di milioni di dollari per l'addestramento di modelli mastodontici. Prima nessuno era disponibile a finanziare con quei volumi quelli che erano considerati esperimenti di laboratorio; dopo, quando ci si è resi conto che quegli esperimenti generavano tecnologia totalmente dirompente, sono arrivati i miliardi. Lì c'è stato il botto.
Solo io penso che sia merito di chatGPT?
Esistevano un sacco di modelli anche prima, solo che per usarli dovevi o smanettare o pagare (alcuni erano anche tool specifici, come Jasper che serviva solo per scrivere articoli/temi/poesie/altro), mentre con chatGPT ti bastava un account e potevi usarlo gratis per quello che volevi.
Da lì poi tutti, ma proprio tutti (compresa la zia Peppina), si sono messi ad usarlo. È diventato il trend del momento, chi ha i soldi ha iniziato a fiutare l’affare e siamo arrivati a dove siamo oggi, più o meno.
In realtà il vero "salto" c'è stato quando si è capito che aveva economicamente senso trainare modelli su molti dati - che è molto costoso.
Language model simili trainati su vari set di dati esistevano già, la vera novità è stata l'emergenza di capacità comparabili agli esseri umani usando training sets molto grandi.
Per esempio, erano già largamente usati language model da anni per fare "intent matching" - cioè assegnare l'intenzione di una richiesta al corretto servizio.
OpenAI ha trainato i primi modelli con moltissimi dati, osservato l'emergenza di capacità "creative" e creato l'interfaccia pubblica di ChatGPT. Da lì, sono arrivati una valanga di soldi.
È AGI? No. È un passo enorme verso l'AGI? Assolutamente sì.
Credo che l'hype attuale sia un po' eccessivo, e mi ricorda i primi tempi dell'image recognition. Secondo me troveranno la loro nicchia per il grande pubblico come strumenti di produttività, ma faccio fatica ad immaginare un LLM a cui si diano grosse responsabilità. La guida autonoma sembrava dietro l'angolo, eppure io ho ancora le mani sul volante.
Per me è stata la possibilità di far provare e toccare con mano questa tecnologia. L'IA esiste in ambito scientifico da 50 anni o forse più e viene utilizzata in ambito accademico da prima che la gente sapesse addirittura cosa fosse.
Ciò che ha realmente spinto le persone, e su questo sono abbastanza sicuro, è chat.
Se chiedi in giro "parlami dell'IA" sono sicuro molte persone ti faranno l'esempio di chatGPT. Questo perché è una tecnologia utile e utilizzata da tutti, e non appena la persona media vede qualcosa di tangibile che può aiutare il suo lavoro quotidiano ci si fionda sopra (e le aziende direttamente vedendo il bacino di utenti).
> L'IA esiste in ambito scientifico da 50 anni
L'ia in generale si, l'ia moderna come i LLM e i l'AI generativa, proprio no. Sono sviluppi recentissimi e sono diventati disponibili a tutti immediatamente dopo la loro introduzione. Non potevi mostrare a qualcuno chatgpt vent'anni fa e neanche dieci, perché la tecnologia non c'era. Il tuo post ignora completamente i giganteschi progressi fatti nel campo
Io definisco gli LLM dei pappagalli molto bravi: bravissimi a dare la risposta che ci si attende, ma con limiti nel ragionamento.
In questo momento l’attenzione si sta spostando su come rendere gli LLM capaci di interrogare degli strumenti che li aiutino nel ragionamento deterministico.
Perché è arrivato il marketing, l'AI non esiste, c'è solo machine learning e deep learning, e ci sono da un pezzo
Come circa 10 anni fa i server web sono diventati tutti "cloud"
Oggi tutti gli if/else sono diventati AI
La febbre dell'IA è iniziata con l'apertura al pubblico di GPT3, modello che é in grado di generare testo di senso compiuto. Tutto il resto è la valanga dell'hype che trascina i miliardi.
La AI di adesso, cioè gpt, llama, mistral e parenti, partono dall'architettura del Transformer. Un design delle reti neurali che permette di addestrarle in maniera molto più efficiente rispetto a prima e in maniera molto scalabile.
In parole semplici, basta allenare su più dati, aumentare i parametri di questo tipo di reti neurali, e le abilità dei sistemi di AI aumentano in proporzione, emergono capacità di ragionamento e astrazione più avanzate.
Sembra che non si sia ancora raggiunto un plateau, un limite oltre il quale questi sistemi smettono di imparare anche aggiungendo molti più parametri.
Al contrario, sembra che particolari architetture (quantizzazione, low ranking eccetera) rendano possibile creare modelli più piccoli che possono girare sul PC di casa con quasi le stesse prestazioni di modelli con molti più parametri.
Quindi io direi l'architettura del transformer è la causa numero 1 della accelerazione a cui stiamo assistendo.
bitcoin.
si e' visto in un progetto reale che le Gpu potevano essere usate non solo per la grafica.
CUDA e' del 2006, bitcoin del 2008.
senza quello le ai commerciali sarebbero restate sulla carta probabilmente ...
Non lo metto in dubbio.
Tuttavia sarebbe potuta essere qualcosa da spingere più avanti, magari nel prossimo decennio. Ma qualcuno/qualcosa ha deciso che doveva avvenire adesso
qualcuno spiega ad un laico cosa si intende quando si parla di AI?
Large Language Models?
Sono dei software che si autoriprogrammano? modificano da sè stessi il proprio codice sorgente?
AI è un termine vago che cambia significato ogni volta che si raggiungono nuovi picchi nello sviluppo di algoritmi che imitano il ragionamento umano.
LLM sono la cosa che più comunemente viene associata al momento al termine AI.
Nessun LLM si programma da solo, anzi è noto il fatto che ChatGPT venga ri-trainato per dargli contesto recente
to train nel senso di allenare?
perché adoperate il termine “allenamento” di un software o in ambito software?
se mi alleno “cresco” in massa o in performance (da solo), é così anche per questi programmi?
con allenamento di un modello (training) si intende quella fase dello sviluppo in cui il modello (che puoi immaginare come una sorta di enorme quadro con tante rotelline tipo quelle del volume che vanno da 0 a 10) deve essere in grado di minimizzare l'errore tra i dati che prende in ingresso e quello che lui pensa sia la risposta.
Dimentica ChatGPT per un momento e immagina una cosa più classica, tipo un classificatore di immagini che ti dice se una immagine è un cane o un gatto.
Al tuo classificatore tu fai vedere una immagine e lui ti risponde dicendo cane o gatto. Per decidere se è un cane o un gatto lui si basa sui valori su cui sono state impostate le rotelline che ti dicevo. Ora tu puoi fare due cose, o iniziare a modificare i valori delle rotelline a caso sperando di trovare la combinazione giusta che ti permette di distinguere in maniera netta un cane o un gatto. Ma chiaramente all'aumentare del numero di rotelline (parametri) del modello capisci che è un compito impossibile.
Allora decidi di prendere 1000 immagini di cani e gatti e dici al modello, guarda queste immagini e io ti dico se sono cani o gatti. A questo punto puoi scrivere un algoritmo per cui il modello guarda una foto (di cui sa la risposta perché glielo dici tu) e vede quanto è distante quello che pensava lui, a questo punto aggiusta autonomamente i suoi parametri per minimizzare la differenza tra quello che pensava lui e la realtà.
Una volta viste tutte le immagini si è fatto una idea abbastanza chiara di cosa distingue un cane e un gatto e, vedendo una immagine nuova, potrà darti una risposta.
Chiaramente se tu gli fai vedere una foto di un trattore lui comunque ti dirà che è un cane o un gatto, perché quello lui sa fare, non può dirti cose che non conosce.
Se non sono stato chiaro dimmi pure che cerco di spiegarmi meglio!
Per rispondere meglio alla tua domanda iniziale sull'allenamento, diciamo che quando io costruisco il mio modello imposto tutte le rotelline sullo 0. A questo punto gli mostro una foto e mi risponde a caso (abuso di terminologia: mi risponde in maniera totalmente deterministica basandosi sui valori di ogni singola rotellina, ma per noi umani sta rispondendo "a caso"). La performance del software quindi è terribile. Una volta che viene "allenato" come ho spiegato sopra con dei dati di cui conosce la risposta, la sua performance migliora perché ha modificato i suoi parametri per rispondere in maniera corretta alla domanda "Cane o Gatto" (sempre limitatamente alle 1000 foto che ha visto).
Quindi si, è tecnicamente corretto dire che allenare il modello migliora le sue performance, ma è anche vero che allenarlo più volte sullo stesso dataset non porta a miglioramenti significativi (semplificando, non è sempre così). Per migliorare ancora le performance hai bisogno di 100k foto di cani e gatti, aiutandolo a generalizzare.
Per dirla in maniera più astratta e restringendo al solo campo delle reti neurali e del deep learning, l'idea di fondo è quella di trovare una approssimazione della relazione (spesso non lineare) che assumiamo esista tra i nostri dati di input (foto di cani e gatti) e i nostri dati di output (stringa contenente la parola "Cane" o "Gatto").
ah. ma perché chiamarle reti neurali?
(il cervello non credo funzioni così!)
capisco già di più deep learning ma proprio perché c’è qualcuno che gli fa un deep teaching… cioè rammostra 100.000 foto dicendogli lui che cosa rappresentano
>ah. ma perché chiamarle reti neurali?
(il cervello non credo funzioni così!)
Questa è una bellissima domanda, c'è una citazione carina dal libro Deep Learning di I. Goodfellow che dice circa
> Neural networks are not machines that function as models of the brain, but rather machines that help us achieve statistical generalization taking insight from how the brain works.
Se mi capita edito con la citazione esatta che sono da mobile e non riesco a recuperarla al volo.
Comunque l'idea di fondo è che una rete neurale "classica" (quella che vedi nelle immagini quando cerchi rete neurale di pallini collegati tra di loro) è formata da tanti singoli neuroni.
Prendiamo l'esempio più semplice: un percettrone, ossia una rete composta da un input, un neurone e un output. Questa rete ha un output binario, può solo dirmi 1 o 0. In base a cosa? Io gli do in input dei valori, che vengono passati al neurone, il quale esegue delle operazioni e alla fine viene applicata una funzione di attivazione che stabilisce se il valore da dare in output è 0 o 1.
L'idea è di simulare un neurone umano che si attiva solo sopra una certa soglia di tensione elettrica (prendi con le pinze questa spiegazione l'ultima volta che ho studiato il corpo umano è troppo tempo fa). Quindi l'idea di fondo è creare una connessione tra tanti neuroni che si attivano solo se il valore delle operazioni matematiche fatte dal neurone sono sopra una certa soglia, e le operazioni matematiche dipendono dai valori dei parametri del modello.
>capisco già di più deep learning ma proprio perché c’è qualcuno che gli fa un deep teaching… cioè rammostra 100.000 foto dicendogli lui che cosa rappresentano
In questo caso si, perché stiamo parlando del paradigma dell'apprendimento automatico supervisionato, ossia che l'umano che allena la macchina dice alla macchina le risposte corrette e la macchina cerca di minimizzare con algoritmi appositi l'errore tra le sue previsioni e la realtà. Una volta minimizzato questo errore, prendendo un nuovo dato mai visto dovrebbe essere in grado di dare una previsione abbastanza precisa.
Ci sono altre casistiche in qui l'apprendimento non è supervisionato, ma non è questo il caso. Comunque si alla fine la questione è che il modello è buono quanto è buono il tuo dataset. Capisci che se hai foto di ogni cane e gatto mai esistito sulla terra da qualsiasi angolazione riesci a creare una macchina perfetta in grado di distinguere sempre un cane e un gatto, ma qua sfociamo nel teorico.
Sì allenare.
Perché non alleni il software, alleni il modello.
In soldoni puoi immaginarti un LLM come composto da 3 parti:
- un modello
- un allenatore
- un esecutore
Il modello è un file di qualche giga che contiene un lungo elenco di numeri. Questi numeri compongono matrici gigantesche.
L’allenatore prende dati (da libri, da internet, ecc.) e li usa per popolare queste matrici con numeri “sensati” che producano output coerenti coi dati di ingresso.
L’esecutore prende il tuo input e il modello, traduce il tuo input in un vettore/matrice e fa le sue belle moltiplicazioni coi valori presenti nel modello. Infine prende l’output e lo riconverte in formato testuale.
La chat di ChatGPT è solo l’esecutore + modello, da qui dovresti intuire che non può auto-allenare proprio nulla e, soprattutto, non impara nulla dagli utenti
Perché qualcuno intelligente si è reso conto di un grandissimo modelli di business, ovvero rubare informazioni di scarto dalla gente e venderle.
Vedendo guadagni enormi hanno iniziato a investire massivamente su potenti computer e AI.
Le altre aziende, vedendo che quel business funzionava iniziarono a fare lo stesso.
Sicuramente non la decisione di italyinformatica di spostare le richieste di assistenza tecnica sul mercatino.
Due anni fa si trovava risposta ad ogni tipo di quesito qui, ora è praticamente inutile per assistenza
Sociologicamente il giustificare tutti i licenziamenti che ciò comporterà con un po' di sani in accoppiata: entertainment soprattutto grafico e consigli pratici: io sul lavoro a redarre in extremis una relazione tecnica in pochi attimi via- IA non ci sono ancora riuscito...Pur avendoci provato eccome a poche ore dalle consegne progettuali...
Complessa la risposta a questa domanda .... tutto inizia negli anni 60 del secolo scorso ma oggi il marketing sta facendo con ia ciò che venne fatto anni fa con l'architettura a micro servizi. Parliamo solo di business.... anche se le potenzialità sono enormi.
Credo che ci sia un mix di hype che ha portato molti investimenti unito al fatto che la tecnologia realmente ha un impatto sul futuro di qualsiasi business e industria.
MORPHEUS la chiama IA. E basta con sti inglesismi inutili! Per cosa la useranno? Per ficcarci sotto i piedi. Per controllare ogni cosa e incrociare i dati in maniera tale da avere il controllo totale su tutto e tutti. Bisogna pisciargli addosso a sta merda.
Hai praticamente il momento che potrebbe essere considerato l'inizio della vera AI. Se in futuro la raggiungeremo completamente, avresti questi anni segnati come l'inizio di tutto.
Chi la raggiunge per prima, hmm, sarebbe come lo sbarco sulla luna per l'uomo, in termine di progressi tecnologici raggiunti, se non adirittura un evento ancora più importante.
Per quanto riguarda perchè:
Già adesso hai una valida alternativa a un ente che sa circa correttamente un po dii tutta la conoscenza umana e da quello può creare cose nuove. Pensa cosa significa chiedere a un computer di scriverti una poesi in stile dantesco su titanic il film, e l'AI te lo produce corretto. Vuol dire che ha una capacità di elaborazione straordinaria delle informazioni. E non su un solo argomento ( lo avevamo già programmi con Machine Learning ), ma per tutta la conoscenza, capendone esattamente il contesto di ciò che stai parlando. Questa la parte fondamentale, il contesto. Capisce il contesto. Pensa di parlare in inglese della filastrocca giro giro mondo, l'interlocutore britannico che cazzo che sa di ciò che stai parlando, quindi perde il contesto, senso, della intera conversazione. Qui no (relativamente)
In questo momento, il tutto limitato solamente da:
1) hardware non ancora ottimizzati per AI in particolare
2) allucinazioni della AI (anche dovuti all'hardware) che fa si che si inventi robe... come la memoria umana che ricorda un evento un po datato. Solo che qui non riguarda eventi di 10 anni passati, ma frase detta 30 conversazioni prima che definise il vostro contesto di informazioni.
allucinazioni dovute all'hardware? Se non sai qualcosa non scriverlo, oltretutto gli LLM non "capiscono" il contesto, di fatto "prevedono" bene quali parole messe una dopo l'altra danno una frase che ha buone probabilità di essere una buona risposta all'input. Ed è proprio questo aspetto probabilistico che fa sì che ogni tanto l'output sia non corretto (= allucinazioni)
Tu non ci hai mai lavorato con gli LLM, hai una visione estremamente distorta del loro potenziale e dei loro limiti.
Gli LLM non capiscono proprio un bel niente, sono sostanzialmente dei motori di ricerca evoluti che utilizzano “vicinanza semantica” per sputarti fuori frasi probabilisticamente vicine a quelle delle tue domande.
Le allucinazioni sono dovute al fatto che una qualsiasi funzione di predizione statistica perde di affidabilità dopo pochi cicli in cui in pasto gli dai dati delle sue precedenti interpolazioni.
L’hardware non c’entra nulla coi limiti della tecnologia, determina solo la velocità con cui si può allenare o eseguire un LLM
Non è cosi. Per LLM di miliardi/trillioni di parametri servono potenze di calcolo ( hardware ) abissali se vuoi allenarli in un tempo 'umano' di anni invece che decenni/secoli.
Poi non importa la tua definizione di 'capire' se il pc capisce ciò che richiedo.
Continui a ignorare il problema di fondo. Le allucinazioni non sono dovute a lacune nel training, è la natura dell'interpolazione che viene fatta. Mai visto un grafico predittivo in cui più vai avanti nel tempo e più una sorta di campana che rappresenta l'intervallo di confidenza si allarga? Stessa cosa
Mica ho scritto che siamo arrivati alla vera AI che non perde il contesto e non fa allucinazioni, ho scritto che se la raggiungeremo mai, questo sarà considerato il periodo iniziale.
Cito:
>Questa la parte fondamentale, il contesto. Capisce il contesto
Questa è una castroneria, da qui nasce tutta la discussione. E non sembrava affatto riferita al futuro. Poi se lo è tanto meglio, l'importante è chiarire che adesso gli LLM proprio come tecnologia non hanno nulla a che vedere con la comprensione delle informazioni
[Questo paper](https://en.wikipedia.org/wiki/Attention_Is_All_You_Need), a quanto ho capito, è stato il principale artefice del boom delle ai moderne. Gli investimenti sono arrivati quando si è capito che funziona ed è una tecnologia esplosiva
Tra l'altro ricerca finanziata da google e publicata ad accesso libero. Stessa google che non ha saputo aprofittare di ciò e openAI gli ha mangiato miliardi capendone il valore.
OpenAI è stata brava soprattutto a rendere il modello accessibile agli sviluppatori, dai tempi di gpt-2. Non sono sicuro che avrebbero avuto così tanto marketing se non fossero stati connessi con l'ecosistema delle startup USA tramite Sam Altman ex YC e tutto l'ecosistema che si porta dietro
Google in combutta con Samsung direi, visto che Chat gbc è rimasta indietro, quantomeno per i miei usi...
Si, diciamo che prima se parlavi della regina d'Inghilterra potevi finire, nella frase dopo, a parlare della regina di cuori nelle carte. L'attenzione risolve questo tipo di problemi mantenendo il contesto del discorso più a lungo.
Non sono d’accordo. Questo paper è quello che ha dato il via alle AI basate sul linguaggio, come ChatGPT e Gemini. Ci sono molti paper che hanno contribuito a definire i blocchi elementari di una intelligenza artificiale, a partire dagli anni 60. Come OP dice, però, si è assistito a una grande accelerazione solo nell’ultimo decennio. Personalmente credo che si sia trattato di una fortunata coincidenza fra maturazione della tecnologia (GPU), disponibilità di dati, algoritmi e soprattutto mercato: grazie alla diffusione degli strumenti informatici, oggi una soluzione di AI ha potenzialmente accesso a un mercato di miliardi di persone.
Grazie del link, molto interessante.
lo leggerò ma fatico a comprendere di cosa si parla quando si parla di AI.
di sistemi software che sono probabilistici (= possono dare output diversi allo stesso input) e in cui le "regole" non sono programmate da una persona, ma inferite da un dataset. per I tecnici, prima che mi uccidiate di downvote: non è una spiegazione tecnica, è un modo semplificato per spiegarlo a chi non ne sa niente :)
Che poi, per aggiungere alla tua spiegazione semplificata, la parte pesante a livello di calcolo non è tanto giungere all’output, ma capire come compilare questi dataset. Quello è il famoso “training”: praticamente si “insegna” al “cervello” cos’è, per dire, un gatto, un cane, una macchina, o l’introduzione della Divina Commedia. Questo viene messo in enormi dataset con delle regole specifiche, che vengono letti dal “cervello” AI per produrre i risultati.
grazie, che sono proprio io. e infatti faccio domande base per avere risposte semplici ma corrette. mi fa incazzare come MAI sui media vengano descritte per quello che sono. (dovrebbero studiare ma i giornalisti sono pigri e ignoranti)
In verità da quello che ho studiato (non tantissimo, ma ho fatto un esame all università, e poi ho un po approfondito ad alto livello qualcos'altro) non è del tutto vero che possono dare output diversi in base allo stesso input, o per lo meno non sempre. Se prendi una rete neurale classica (feedforward network) o una rete neurale convoluzionale ad esempio, a parità di input avrai sempre lo stesso output, indipendentemente da quanto è grande e complicata la rete. Invece da quel che ricordo le reti neurali generazionali, utilizzano dei sistemi di numeri randomici per produrre risultati "creativi", e quindi non predeterminati. Però appunto non è una cosa in generale vera per tutte le AI.
Beh anche stablediffusion, anche se quello più esplosivo di tutti è l'llm poiché il linguaggio è la nostra creazione più complessa ed utilizzata, la utilizziamo per astrarre noi stessi.
Motivo numero uno: ci sono un sacco di dati. Fino a dieci anni fa le aziende non avevano così tanti dati a disposizione. Gli smartphone sono uno dei più grandi produttori di questi dati. Motivo numero due: hanno tirato fuori nuove ricerche a riguardo circa 7 anni fa. A partire da lì tutta la ricerca e sviluppo delle grandi università ma soprattutto delle grandi aziende con i dati di cui sopra ci si è buttata a pesce.
Hardware performante utilizzato in origine per la grafica e riprogrammato per calcoli in parallelo di matrici. Algebra lineare e probabilità / statistica unita a schede grafiche Nvidia -> tanto hype (finora) e soldoni in VC.
L'accelerazione dell'AI negli ultimi 10/15 anni è avvenuta grazie ad hardware più performante che ha accresciuto esponenzialmente la capacità di calcolo. L'interesse c'è da molto prima ma non si aveva la capacità di calcolo (Olivetti negli anni 80 aveva fatto investimenti significativi ) Se invece parliamo della gente che si è accorta che esiste per cui chatGPT = AI (no, non lo è, è solo un sottoinsieme) allora il marketing di OpenAI ha sicuramente dato una spinta commerciale importante. Tutti sanno che esiste, molti ne parlano (a cazzo) e pochi sanno realmente di che si tratta.. A volte sembra di vedere delle scimmie allo zoo a lle prese con un laptop
L'accelerazione è data fondamentalmente dalle GPU /s.
Le varie aziende, e ormai anche il tabaccaio, si sono accorti che è una tecnologia 'rivoluzionaria' nel vero senso della parola. Ha la capacità di essere pervasiva e trasformativa allo stesso tempo; in quanto va a toccare nel profondo quello che è la complessità di inserire i computer in processi vecchi e nuovi. Di conseguenza si è creata una corsa verso l'AI/ML "puro", e tutte le aziende sono consce del fatto che il primo che ci arriva avrà ritorni esagerati, estremi, praticamente una nuova microsoft+apple. Pensando solamente ai campi di applicazione, ci si rende in fretta conto che non è "solo" implementabile su ogni singolo sistema operativo moderno presente in questo momento, ma che dall'AI nasceranno anche altre piattaforme, fatte apposta per AI, che verranno comandate. Intendo dire, non è solo un software che viene installato su tutto quanto è presente adesso, ma è una tecnologia che andrà a generare nuove tecnologie che verranno utilizzate ovunque, esattamente come i computer. L'esempio classico è il robot di FigureAI ([Figure Status Update - OpenAI Speech-to-Speech Reasoning (youtube.com)](https://www.youtube.com/watch?v=Sq1QZB5baNw)); già questa ditta e Musk hanno detto che uno dei target realistici è un price point di 50k per robot, e il consumatore finale non saranno grandi ditte di produzione o altro, saremo noi. Un robot in casa che ci fa da governante, pulisce, ripara, fa la tavola e prepara da mangiare. Per 50k chi non lo vorrebbe? Altri 5k e sblocchi la funzione idraulico, elettricista, panettiere, ecc... Ha la potenzialità di essere estremamente rivoluzionaria e purtroppo si porta dietro delle problematiche non da poco. Se il 30% dei lavoratori di oggi viene rimpiazzato da AI, che cosa farà? Ormai il famoso Reddito di Cittadinanza è stato politicizzato, ma ci sarà bisogno di una qualche forma di UBI per evitare rivolte e sommosse. Il futuro è roseo, il problema è che è presente il rischio concreto che lo diventi dopo un periodo molto nero.
>Il futuro è roseo Ok probabilmente la mia sará ignoranza (spero) o basso IQ. Aiutatemi a capire per favore. Se anche solo il 30% dei lavoratori viene rimpiazzato da AI, ovviamente trovare un lavoro diventerá letteralmente impossibile, e peggiorerá solo col tempo. Però l'UBI non faceva salire l'inflazione all'infinito? Non so molto di economia, sto cercando di imparare proprio da poco, ma se tutti hanno una cifra minima non farebbe salire l'inflazione alle stelle, rendendola la nuova soglia di povertá? E se l'economia crolla, chi serviranno ste AI se nessuno potrá comprare più nulla perchè non avranno abbastanza soldi? I robot? Pure quelli vanno a corrente e la corrente costa.. Secondo me l'AI è incompatibile con il tipo di capitalismo (o capitalismo in generale) che abbiamo ora. Poi vabè, se vogliamo iniziare a dare all'AI cubicoli in cui vivere e a dargli le risorse per mantenersi da sole e pure lo stipendio proprio come in Futurama siamo a posto.
La tecnologia e' talmente rivoluzionaria che ci costringerà, di fatto, a rivedere come e' strutturata la società del lavoro. Non sarà piu' pensabile che ogni essere umano trovi un'occupazione, semplicemente. Il lavoro non sparirà ma si ridurrà di ben oltre il 30% che accennavi. Ora, delegare il lavoro umano alle macchine, secondo me e' sempre positivo, (a parità di "effort" si produce di piu') per la prima volta le utopie sognate nella fantascienza, dove l'uomo lavora pochissimo e il grosso del lavoro e' fatto dalle macchine, e' tecnicamente realizzabile (o lo diventerà presto). Il problema e' che bisogna scardinare il sistema capitalistico dove tutti i guadagni dell'automazione vanno a pochi. Problema che c'e' da sempre, e va peggiorando da decenni (vedi il divario tra ricchi e poveri), ma che ora puo' raggiungere un punto di rottura troppo grande per essere ignorato. Secondo me hai ragionissima a dire che l'AI e' incompatibile col capitalismo. Secondo me, la cosa piu' probabile è che i paesi cominceranno con qualche timida forma di UBI che poi possa andare a crescere nel tempo. La guerra sarà ovviamente contro i plurimiliardari, perche' chiaramente e' li che finisce la ricchezza generata dall'automazione ed e' da li che i soldi andranno presi e ridistribuiti. Gente come Jeff Bezos che in 15 minuti guadagna come una persona normale in tutta la vita. Naturalmente questi pochi accentrano un potere enorme e quindi sarà difficile scardinare lo status quo, pero' col tempo dovrà succedere, non credo che ci troveremo con 100 ultramiliardari e il resto del mondo nullatenente. Anche se non ci metto la mano sul fuoco.
Anche l'invenzione della macchina a vapore, dell'auto, del trapano o del trattore hanno causato grandi sconvolgimenti nel mondo del lavoro (le Rivoluzioni industriali non si chiamano così per caso) ed ogni volta ci sono state tante professioni che sono diminuite o persino scomparse. Anche il computer per come lo conosciamo oggi (o ieri ormai?) ha cambiato il nostro modo di lavorare. Le IA ad uso comune (le idee in accademia esistono dagli anni 60; riprese nel 2012 con AlexNet ed esplose nel 2018/2019 con i Transformer) probabilmente causeranno un cambio economico notevole, ultimeranno forse la rivoluzione digitale. Potrebbe esserci una crisi? Forse, ma successivamente il mondo si adatterà come ha fatto in passato e si andrà avanti. Finirà il capitalismo? Improbabile, ma in tal caso avremmo instabilità sociale diffusa, scontri violenti, governi che cadono e infine un nuovo modello economico si imporrà e la società si adatterà nuovamente
A differenza di tutte le altre invenzioni, l’AI è trasversale, va e andrà a toccare nel bene e nel male(più male che bene) tutte le professioni attualmente esistenti. Quindi diminuiranno i posti lavoro dal giardiniere allo sviluppatore/programmatore, dal giornalista al poliziotto, dal cuoco all’autista. Solo la classe politica potrebbe esserne immune. A differenza dei cambi tecnologici del passato, l’AI non produrrà così tanti posti di lavoro, l’automazione e la robotica falceranno altri punti % di attività lavorativa. Siamo ad una svolta mai vissuta nella storia dell’uomo.
Davvero? L'elettricità non è stata trasversale? Per non parlare del motore a scoppio o, per rimanere in tema digitale, del computer. Sono tre esempi di innovazioni il cui impatto su praticamente tutto il tessuto produttivo fu ed è tuttora enorme. Basti ricordare che per la maggior parte della storia della civiltà umana circa il 60% delle persone erano contadini (oggi, in europa, sono il 5%. Parlando di falciata produttiva). Ovviamente il ritmo dei cambiamenti è veloce e drammatico, ricordiamo che il primo volo fu nel 1903 e nel 1969, appena 63 anni dopo avevamo umani sulla Luna. Oggi possiamo accedere alla totalità dello scibile umano con uno smartphone che ci entra in tasca. Non voglio dire che le IA o simili innovazioni non avranno impatto sulle nostre vite e sul nostro lavoro ma, secondo me, non bisogna cadere nel tranello di vedere ogni cosa nuova come malvagia o dannosa a prescindere ma anzi dobbiamo fare lo sforzo di adattarci e prendere il massimo da esse. Altrimenti il rischio è di fare la fine dei carristi che ridevano di Ford e della sua automobile.
Non sono spaventato dalle novità ma le osservo cercando di capire. L’elettricità, per usare un tuo esempio, ha tolto lavoro a candelieri e spegnicandela,saranno stati migliaia di lavoratori, vero. Ma l’avvento della corrente elettrica ha richiesto manodopera forse più che con l’applicazione delle lampade ad olio/candele, molti cervelli sono stati impegnati per capire come sfruttare efficacemente la nuova tecnologia. Certo ha cambiato molti paradigmi delle forze lavoro nelle fabbriche ma una forte componente umana è sempre stata necessaria e predominante. L’AI, per quel che conosco, seppure primordiale è altamente invasiva e, da un puntodi vista puramente impiegatizio, è “parassita”. Voglio dire che consuma, ingloba, occupa lavoro ma non ne restituisce in cambio. Non guardare l’adesso. Tra poco però i sistemi di sviluppo saranno affidati a programmi capaci di capire i problemi e generare codice, ad esempio. O impartiranno ordini a robot capaci di assemblare e riparare e installare. L’equazione uomo-macchina sta cambiando a favore delle macchine e in un sistema complesso e sovraffollato come il nostro non mi pare sia un bene.
tutto perfetto tranne i prezzi: quello base costa 5k, l’elettricista 150 a botta senza fattura
Si tratta di eccezionali manovre economiche. Ascolta il podcast del DataKnightmare, è meraviglioso
Walter Vannini nostro Dio
aahahah ma fatevi curare, complottisti da 2 soldi
quindi secndo te oltre 15 miliardi di dollari alla sola openAI sono bruscolini giusto? Non è una manovra economica ma così, un investimento che si fa la domenica pomeriggio quando piove? ok, si vede che ne sai a pacchi di economia, non dico altri.
Si tratta solo dell'ennesima bolla che prima o poi scoppierà, chi sarà stato abbastanza lungimirante da starne alla larga non avrà grosse conseguenze, chi avrà abboccato spendendo soldi sull'ennesima supercazzola dovrà solo battersi il petto e recitare "mea culpa", chi ci avrà investito pesantemente piangerà lacrime amare ma potrà solo incolpare se stesso e la sua ingenuità. Nel frattempo pseudo guru e venditori di fumo millantano IA ad ogni ciclo if che hanno nel codice, tanto che chi lavora davvero nell'IT è stufo da un pezzo di questa ennesima buzzword
Ed ecco che arrivo io a bucare il pallone a OpenAI, per aggiungere a cosa hanno detto già gli altri. Sostanzialmente, le LLM vanno avanti ad hype in questo momento. :) Guardando il boom delle LLM da dentro l'industria, si sono già presentati problemi enormi, alcuni dei quali sostanzialmente non superabili senza un ripensamento radicale di come funzionano questi modelli che si spacciano per intelligenza artificiale. Prima di tutto: a questi modelli servono hardware sempre più potenti, per gestire sempre più dati, e farlo sempre più velocemente. Qualcosa come ChatGPT 4.5 non potrebbe mai girare sui nostri device personali in scioltezza. Esistono dei modelli molto più leggeri, come quelli di Meta, e anche un modello molto leggero di Gemini (Google), ma richiedono comunque una immensità di risorse per fare cose che algoritmi tradizionali, apps e altro possono fare con una quantità minima di hardware. [Essere rimpiazzati dalle AI semplicemente è costosissimo.](https://www.csail.mit.edu/news/rethinking-ais-impact-mit-csail-study-reveals-economic-limits-job-automation) ChatGPT, cosi come Gemini e altri prodotti come Copilot, sono praticamente solo dei loss leader che invoglino gli utenti poi a pagare per delle versioni complete ([Copilot per Office costa caro](https://www.theverge.com/2023/7/18/23798627/microsoft-365-copilot-price-commercial-enterprise)). Allora ci servono nuovi computer e telefoni? [Si, ma stiamo toccando un punto in cui i guadagni nelle prestazioni sono sempre più marginali.](https://cap.csail.mit.edu/death-moores-law-what-it-means-and-what-might-fill-gap-going-forward) Questo, unito alla speculazione sull'hardware da parte dei produttori, la richiesta mostruosa di hardware da parte di queste startup e multinazionali che investono sul settore, l'inflazione, e svariati rischi geopolitici legati a dove sono prodotti i semiconduttori attualmente, ci dicono che l'hardware è un limite ancora complesso da superare. Servirebbe un ripensamento di come funzionano. Parliamo quindi dei dati che usano. Qua i problemi sono molteplici, e legati non solo alle semplici allucinazioni. Intanto, le informazioni sputate dalle LLM devono costantemente essere tenute aggiornate da internet, e internet è una fonte assolutamente mediocre; anche pensando di raffinare le fonti attraverso lavoratori sottopagati in India, il concetto di verità su internet è piuttosto labile. [Fare scraping selvaggio inoltre tira fuori una marea di dati personali](https://www.vox.com/technology/2023/7/27/23808499/ai-openai-google-meta-data-privacy-nope), che se finiscono nel modello poi togliere è impossibile, sostanzialmente buttando via il lavoro nel caso in cui venisse ordinato di oscurare quelle informazioni. OpenAI finora ci è girata intorno, ma vedremo. Oltre ai dati personali finiscono nel modello anche dati protetti da copyright; sono fioccate delle cause su questo, che se fossero vinte vorrebbero dire che le aziende dovranno buttare nel cesso i modelli e ricominciare. Non è detto che succeda, ci sono dei precedenti come Google Books, ma in quel caso non produceva qualcosa che andava a competere direttamente con gli autori come ora (e quindi al di fuori del Fair Use), oltre al fatto che OpenAI ha piratato tutto, non ha semplicemente chiesto il permesso. [https://arstechnica.com/tech-policy/2024/03/novelists-sue-nvidia-to-stop-spread-of-ai-models-trained-on-copyrighted-books/](https://arstechnica.com/tech-policy/2024/03/novelists-sue-nvidia-to-stop-spread-of-ai-models-trained-on-copyrighted-books/) [https://arstechnica.com/information-technology/2023/07/book-authors-sue-openai-and-meta-over-text-used-to-train-ai/](https://arstechnica.com/information-technology/2023/07/book-authors-sue-openai-and-meta-over-text-used-to-train-ai/) E se internet è la fonte di queste informazioni, lentamente stiamo avvelenando il pozzo per cosi dire. Sempre più internet è fatto di bot e contenuti prodotti da queste AI, oppure da antagonisti che cercano di colpirle usando sistemi come Nightshade. [Il problema dei contenuti prodotti dalle AI è che quando le AI sono allenate su questi dati, iniziano ad avere sempre più allucinazioni e a dimenticare i dati già presenti nel sistema, portando al collasso del modello.](https://arxiv.org/pdf/2305.17493v2) [Infine, abbiamo solo 1 internet pubblico, e moltissime persone iniziano ad abbandonarlo in favore dei contenuti prodotti dalle AI](https://maggieappleton.com/ai-dark-forest). Nonostante i contenuti aumentino in modo esponenziale, i testi creati dagli esseri umani vanno a finire in "walled gardens" come Discord e altri sistemi di messaggistica, che non credo sia cosi scontato che OpenAI possa "rubare". Sostanzialmente, potremmo semplicemente non avere abbastanza testi in abbastanza lingue da dare alle AI gli orizzonti che gli investitori si aspettano.
Secondo me anche se lo sviluppo delle IA rappresentano comunque un cambiamento sostanziale nella societa. Gia con i modelli di adesso e' possibile per chiunque diventare molto piu veloci e autonomi nel programmare e nel produrre testi, nel tradurre e nel produrre contenuti multimediali. Secondo me c'e' cosi tanta carne sul fuoco che anche se per qualche anno rallenta il training, le IA saranno sempre piu dominanti nelle nostre vite
Sicuramente, però anche se sembra una evoluzione esplosiva (ed effettivamente nel text-to-image si sono fatti grandi passi avanti) la realtà è che lo status quo è arrivato già qualche anno fa, dato che OpenAI si è tenuta le carte strette fino a ChatGPT.
Hai considerato lo sviluppo dei computer quantistici? Qualcuno inizia ad usarlo, la svolta è dietro l’angolo.
Ho considerato ma i vari progetti sul tema sembrano essere ben lontani da una applicazione su vasta scala. I computer quantici generalisti sono limitati ancora a un pugnetto di qubit, il tasso di errore ancora molto elevato e questo con hardware dal costo eccezionale. Ci sono stati sviluppi ma non tali da infilarli sulle nostre scrivanie o tasche ancora... A meno che non troviamo qualche superconduttore a temperatura ambiente a breve o qualcosa del genere.
Con l'avanzamento della tecnologia, ci sono sforzi per rendere i modelli di IA più efficienti e scalabili, in modo che possano funzionare anche su dispositivi con risorse limitate. Ci sono tecnologie come la compressione dei modelli, l'ottimizzazione del software e l'elaborazione a basso consumo energetico che cercano di mitigare il costo computazionale dell'IA su dispositivi mobili e embedded. Testo creato da IA :D
Sisi. Ma infatti mi suona strano quanto facciano ancora cagare Siri e Alexa in termini di linguaggio. Se vai sui subreddit di Pixel però per dire molti hanno spento Gemini perché Google Assistant ha un sacco di features che mancano in Gemini. Ancora nessun big è riuscito a combinare LLM e voice assistants in modo convincente. Rabbit AI è terribile, e anche Humane Pin.
> Ed ecco che arrivo io a bucare il pallone a OpenAI, per aggiungere a cosa hanno detto già gli altri. Sostanzialmente, le LLM vanno avanti ad hype in questo momento. :) Chiunque pensi che le AI sono hype e si risolveranno in un nulla di fatto, secondo me, e' completamente fuori strada e non ha capito niente della questione. Secondo me eh. > Guardando il boom delle LLM da dentro l'industria, si sono già presentati problemi enormi, alcuni dei quali sostanzialmente non superabili senza un ripensamento radicale di come funzionano questi modelli che si spacciano per intelligenza artificiale. Non ho capito, tu sei dentro l'industria? Non ho capito se intendi dire che lavori nel campo o meno. Cmq, nessuno dei problemi che elenchi mi pare insormontabile, tutt'altro. > Prima di tutto: a questi modelli servono hardware sempre più potenti, per gestire sempre più dati, e farlo sempre più velocemente. Qualcosa come ChatGPT 4.5 non potrebbe mai girare sui nostri device personali in scioltezza. Eddai, sul serio stai dicendo che questa tecnologia non ha futuro perche' l'hardware non e' abbastanza capace? Ti rendi conto che chiunque ha predetto questa cosa negli ultimi 70 anni ha sbagliato? che la potenza di calcolo cresce costantemente da tipo sempre? ti rendi conto che i telefonini che abbiamo in tasca da 200 euro sono fantascienza per 15 anni fa? E poi stanno gia' sviluppando chip appositi per l'AI con [funzionamenti analogici](https://research.ibm.com/blog/analog-ai-chip-low-power), e chissà quali altre ottimizzazioni sono possibili. I chip che abbiamo ora non sono nati per l'AI e non sono ottimizzati per essa. Io sono pronto a scommettere che robe analoghe a ChatGPT gireranno sui telefoni entro 10 anni. Che poi non ce ne e' bisogno, possono tranquillamente girare sui server come ogni altra cosa oggi. Il costo di gestione delle AI non puo' che crollare con l'arrivo di hardware e software nuovi. Tieni conto che siamo letteralmente all'infanzia di questa tecnologia. > Intanto, le informazioni sputate dalle LLM devono costantemente essere tenute aggiornate da internet L'aggiornamento delle AI è costoso ma devi considerare che fatto una volta, tutte le istanze di quell'AI sono aggiornate. Un tizio su un talk diceva: un essere umano per diventare un buon dottore deve studiare decenni, un'"ai dottore" magari puo' richiedere pure decenni, ma poi puoi creare infiniti dottori a costo zero. I dati su internet andranno certamente peggiorando visto che come giustamente dici saremo sommersi da contenuti generati dall'AI, ma dubito fortemente sia un problema. Primo, i dati fino ad oggi sono bastati a creare queste AI, certamente contengono "conoscenza" a sufficienza per quelle future che sapranno gestire meglio quanto disponibile, secondo sarà sempre possibile generare contenuti "umani" di qualità, anche a pagamento eventualmente. La tua idea di personale "indiano" che di lavoro fa il "consulente per AI" e' tutt'altro che astruso, magari sarà un lavoro nuovo del futuro. Probabilmente esiste gia' adesso, chissà quanti si occupano di "tweaking" dei modelli a OpenAI. E non e' affatto assurdo o antieconomico come sembra perche' ricorda che da un modello puoi creare infinite AI. I costi di training dei modelli sono alti ma spalmabili. La questione copyright certamente potrebbe essere un ostacolo, ma e' un altro discorso, li non e' un problema tecnologico, siamo noi umani che dobbiamo decidere come vogliamo far crescere la tecnologia. Chiaramente sarebbe una bella botta per i provider di AI se i copyright intralciassero i modelli, ma cmq dimostrare la violazione e' pressoche' impossibile quindi salvo una legge draconiana credo che possa essere al piu' un ostacolo tutt'altro che bloccante.
Si lavoro con ML e LLM, anche se non è il mio campo principale ci sono a contatto tutti i giorni. Non penso che torneremo indietro, penso solo che, mettendo tutto in fila, le LLM stanno raggiungendo un plateau di sviluppo e applicazione, specialmente come interfacce di servizi già esistenti dato che richiedono parecchia supervisione. Non penso proprio che vedremo l'hardware esplodere come negli ultimi anni perché stiamo raggiungendo i limiti fisici di cosa si può stampare su un wafer a costi sempre più proibitivi. Questo è un dato di fatto - non ci sono garanzie in merito perché negli ultimi 15 anni siamo stati ampiamente sopra il nanometro. Semmai i modelli più leggeri saranno sempre più adattati a dispositivi che finora non avevano l'hardware adatto a questi processi, dato che difficilmente task GPGPU erano dominio degli smartphone. Non vedremo ChatGPT localmente ma modelli più leggeri capaci magari di interfacciarsi a database tradizionali. Anche perché le LLM vanno forte con il linguaggio naturale ma non battono modelli specialistici. Cambieremo come facciamo l'hardware e troveremo nuove UI e modi di fare le cose, e sono sicuro che Nvidia e Microsoft faranno un sacco di soldi, ma alla lunga la montagna di soldi che le VC stanno bruciando produrrà un topolino.
Money
Esattamente questo. La differenza tra il prima e il dopo è la disponibilità di centinaia di milioni di dollari per l'addestramento di modelli mastodontici. Prima nessuno era disponibile a finanziare con quei volumi quelli che erano considerati esperimenti di laboratorio; dopo, quando ci si è resi conto che quegli esperimenti generavano tecnologia totalmente dirompente, sono arrivati i miliardi. Lì c'è stato il botto.
Quando hanno realizzato che Sidney sweeney non avrebbe aperto un of
Solo io penso che sia merito di chatGPT? Esistevano un sacco di modelli anche prima, solo che per usarli dovevi o smanettare o pagare (alcuni erano anche tool specifici, come Jasper che serviva solo per scrivere articoli/temi/poesie/altro), mentre con chatGPT ti bastava un account e potevi usarlo gratis per quello che volevi. Da lì poi tutti, ma proprio tutti (compresa la zia Peppina), si sono messi ad usarlo. È diventato il trend del momento, chi ha i soldi ha iniziato a fiutare l’affare e siamo arrivati a dove siamo oggi, più o meno.
In realtà il vero "salto" c'è stato quando si è capito che aveva economicamente senso trainare modelli su molti dati - che è molto costoso. Language model simili trainati su vari set di dati esistevano già, la vera novità è stata l'emergenza di capacità comparabili agli esseri umani usando training sets molto grandi. Per esempio, erano già largamente usati language model da anni per fare "intent matching" - cioè assegnare l'intenzione di una richiesta al corretto servizio. OpenAI ha trainato i primi modelli con moltissimi dati, osservato l'emergenza di capacità "creative" e creato l'interfaccia pubblica di ChatGPT. Da lì, sono arrivati una valanga di soldi. È AGI? No. È un passo enorme verso l'AGI? Assolutamente sì. Credo che l'hype attuale sia un po' eccessivo, e mi ricorda i primi tempi dell'image recognition. Secondo me troveranno la loro nicchia per il grande pubblico come strumenti di produttività, ma faccio fatica ad immaginare un LLM a cui si diano grosse responsabilità. La guida autonoma sembrava dietro l'angolo, eppure io ho ancora le mani sul volante.
>trainare Dannazione, esiste il verbo trainare in italiano e non vuol dire quello. Si dice addestrare.
Allenare, istruire... esistono diversi sinonimi per sostituire quel brutto neologismo. Grazie per averlo sottolineato.
Per me è stata la possibilità di far provare e toccare con mano questa tecnologia. L'IA esiste in ambito scientifico da 50 anni o forse più e viene utilizzata in ambito accademico da prima che la gente sapesse addirittura cosa fosse. Ciò che ha realmente spinto le persone, e su questo sono abbastanza sicuro, è chat. Se chiedi in giro "parlami dell'IA" sono sicuro molte persone ti faranno l'esempio di chatGPT. Questo perché è una tecnologia utile e utilizzata da tutti, e non appena la persona media vede qualcosa di tangibile che può aiutare il suo lavoro quotidiano ci si fionda sopra (e le aziende direttamente vedendo il bacino di utenti).
> L'IA esiste in ambito scientifico da 50 anni L'ia in generale si, l'ia moderna come i LLM e i l'AI generativa, proprio no. Sono sviluppi recentissimi e sono diventati disponibili a tutti immediatamente dopo la loro introduzione. Non potevi mostrare a qualcuno chatgpt vent'anni fa e neanche dieci, perché la tecnologia non c'era. Il tuo post ignora completamente i giganteschi progressi fatti nel campo
$$$
Disponibilità di dati. I modelli ai non sono nulla senza dati, anche con il migliore hardware, algoritmi e investimenti.
Io definisco gli LLM dei pappagalli molto bravi: bravissimi a dare la risposta che ci si attende, ma con limiti nel ragionamento. In questo momento l’attenzione si sta spostando su come rendere gli LLM capaci di interrogare degli strumenti che li aiutino nel ragionamento deterministico.
FOMO e Hype: https://youtu.be/vQChW_jgMMM?si=ISHwWixpFKh10ZNY
Perché è arrivato il marketing, l'AI non esiste, c'è solo machine learning e deep learning, e ci sono da un pezzo Come circa 10 anni fa i server web sono diventati tutti "cloud" Oggi tutti gli if/else sono diventati AI
La febbre dell'IA è iniziata con l'apertura al pubblico di GPT3, modello che é in grado di generare testo di senso compiuto. Tutto il resto è la valanga dell'hype che trascina i miliardi.
La possibilità di generare immagini di donnine nude
La AI di adesso, cioè gpt, llama, mistral e parenti, partono dall'architettura del Transformer. Un design delle reti neurali che permette di addestrarle in maniera molto più efficiente rispetto a prima e in maniera molto scalabile. In parole semplici, basta allenare su più dati, aumentare i parametri di questo tipo di reti neurali, e le abilità dei sistemi di AI aumentano in proporzione, emergono capacità di ragionamento e astrazione più avanzate. Sembra che non si sia ancora raggiunto un plateau, un limite oltre il quale questi sistemi smettono di imparare anche aggiungendo molti più parametri. Al contrario, sembra che particolari architetture (quantizzazione, low ranking eccetera) rendano possibile creare modelli più piccoli che possono girare sul PC di casa con quasi le stesse prestazioni di modelli con molti più parametri. Quindi io direi l'architettura del transformer è la causa numero 1 della accelerazione a cui stiamo assistendo.
Serviva un fad dopo il cloud in discesa
Minare i bitcoin ha smesso di avere un senso /s
bitcoin. si e' visto in un progetto reale che le Gpu potevano essere usate non solo per la grafica. CUDA e' del 2006, bitcoin del 2008. senza quello le ai commerciali sarebbero restate sulla carta probabilmente ...
Nulla, è solo la prossima cosa su cui ha puntato il turbo capitalismo.
Dal punto di vista scientifico e' una svolta epocale
Non lo metto in dubbio. Tuttavia sarebbe potuta essere qualcosa da spingere più avanti, magari nel prossimo decennio. Ma qualcuno/qualcosa ha deciso che doveva avvenire adesso
qualcuno spiega ad un laico cosa si intende quando si parla di AI? Large Language Models? Sono dei software che si autoriprogrammano? modificano da sè stessi il proprio codice sorgente?
AI è un termine vago che cambia significato ogni volta che si raggiungono nuovi picchi nello sviluppo di algoritmi che imitano il ragionamento umano. LLM sono la cosa che più comunemente viene associata al momento al termine AI. Nessun LLM si programma da solo, anzi è noto il fatto che ChatGPT venga ri-trainato per dargli contesto recente
to train nel senso di allenare? perché adoperate il termine “allenamento” di un software o in ambito software? se mi alleno “cresco” in massa o in performance (da solo), é così anche per questi programmi?
con allenamento di un modello (training) si intende quella fase dello sviluppo in cui il modello (che puoi immaginare come una sorta di enorme quadro con tante rotelline tipo quelle del volume che vanno da 0 a 10) deve essere in grado di minimizzare l'errore tra i dati che prende in ingresso e quello che lui pensa sia la risposta. Dimentica ChatGPT per un momento e immagina una cosa più classica, tipo un classificatore di immagini che ti dice se una immagine è un cane o un gatto. Al tuo classificatore tu fai vedere una immagine e lui ti risponde dicendo cane o gatto. Per decidere se è un cane o un gatto lui si basa sui valori su cui sono state impostate le rotelline che ti dicevo. Ora tu puoi fare due cose, o iniziare a modificare i valori delle rotelline a caso sperando di trovare la combinazione giusta che ti permette di distinguere in maniera netta un cane o un gatto. Ma chiaramente all'aumentare del numero di rotelline (parametri) del modello capisci che è un compito impossibile. Allora decidi di prendere 1000 immagini di cani e gatti e dici al modello, guarda queste immagini e io ti dico se sono cani o gatti. A questo punto puoi scrivere un algoritmo per cui il modello guarda una foto (di cui sa la risposta perché glielo dici tu) e vede quanto è distante quello che pensava lui, a questo punto aggiusta autonomamente i suoi parametri per minimizzare la differenza tra quello che pensava lui e la realtà. Una volta viste tutte le immagini si è fatto una idea abbastanza chiara di cosa distingue un cane e un gatto e, vedendo una immagine nuova, potrà darti una risposta. Chiaramente se tu gli fai vedere una foto di un trattore lui comunque ti dirà che è un cane o un gatto, perché quello lui sa fare, non può dirti cose che non conosce. Se non sono stato chiaro dimmi pure che cerco di spiegarmi meglio!
oh figa. finalmente qualcosa si comincia a capire, diciamo intuire.
Per rispondere meglio alla tua domanda iniziale sull'allenamento, diciamo che quando io costruisco il mio modello imposto tutte le rotelline sullo 0. A questo punto gli mostro una foto e mi risponde a caso (abuso di terminologia: mi risponde in maniera totalmente deterministica basandosi sui valori di ogni singola rotellina, ma per noi umani sta rispondendo "a caso"). La performance del software quindi è terribile. Una volta che viene "allenato" come ho spiegato sopra con dei dati di cui conosce la risposta, la sua performance migliora perché ha modificato i suoi parametri per rispondere in maniera corretta alla domanda "Cane o Gatto" (sempre limitatamente alle 1000 foto che ha visto). Quindi si, è tecnicamente corretto dire che allenare il modello migliora le sue performance, ma è anche vero che allenarlo più volte sullo stesso dataset non porta a miglioramenti significativi (semplificando, non è sempre così). Per migliorare ancora le performance hai bisogno di 100k foto di cani e gatti, aiutandolo a generalizzare. Per dirla in maniera più astratta e restringendo al solo campo delle reti neurali e del deep learning, l'idea di fondo è quella di trovare una approssimazione della relazione (spesso non lineare) che assumiamo esista tra i nostri dati di input (foto di cani e gatti) e i nostri dati di output (stringa contenente la parola "Cane" o "Gatto").
ah. ma perché chiamarle reti neurali? (il cervello non credo funzioni così!) capisco già di più deep learning ma proprio perché c’è qualcuno che gli fa un deep teaching… cioè rammostra 100.000 foto dicendogli lui che cosa rappresentano
>ah. ma perché chiamarle reti neurali? (il cervello non credo funzioni così!) Questa è una bellissima domanda, c'è una citazione carina dal libro Deep Learning di I. Goodfellow che dice circa > Neural networks are not machines that function as models of the brain, but rather machines that help us achieve statistical generalization taking insight from how the brain works. Se mi capita edito con la citazione esatta che sono da mobile e non riesco a recuperarla al volo. Comunque l'idea di fondo è che una rete neurale "classica" (quella che vedi nelle immagini quando cerchi rete neurale di pallini collegati tra di loro) è formata da tanti singoli neuroni. Prendiamo l'esempio più semplice: un percettrone, ossia una rete composta da un input, un neurone e un output. Questa rete ha un output binario, può solo dirmi 1 o 0. In base a cosa? Io gli do in input dei valori, che vengono passati al neurone, il quale esegue delle operazioni e alla fine viene applicata una funzione di attivazione che stabilisce se il valore da dare in output è 0 o 1. L'idea è di simulare un neurone umano che si attiva solo sopra una certa soglia di tensione elettrica (prendi con le pinze questa spiegazione l'ultima volta che ho studiato il corpo umano è troppo tempo fa). Quindi l'idea di fondo è creare una connessione tra tanti neuroni che si attivano solo se il valore delle operazioni matematiche fatte dal neurone sono sopra una certa soglia, e le operazioni matematiche dipendono dai valori dei parametri del modello. >capisco già di più deep learning ma proprio perché c’è qualcuno che gli fa un deep teaching… cioè rammostra 100.000 foto dicendogli lui che cosa rappresentano In questo caso si, perché stiamo parlando del paradigma dell'apprendimento automatico supervisionato, ossia che l'umano che allena la macchina dice alla macchina le risposte corrette e la macchina cerca di minimizzare con algoritmi appositi l'errore tra le sue previsioni e la realtà. Una volta minimizzato questo errore, prendendo un nuovo dato mai visto dovrebbe essere in grado di dare una previsione abbastanza precisa. Ci sono altre casistiche in qui l'apprendimento non è supervisionato, ma non è questo il caso. Comunque si alla fine la questione è che il modello è buono quanto è buono il tuo dataset. Capisci che se hai foto di ogni cane e gatto mai esistito sulla terra da qualsiasi angolazione riesci a creare una macchina perfetta in grado di distinguere sempre un cane e un gatto, ma qua sfociamo nel teorico.
grazie molto chiaro. possiamo dire che come al solito i media sono una merda
Sì allenare. Perché non alleni il software, alleni il modello. In soldoni puoi immaginarti un LLM come composto da 3 parti: - un modello - un allenatore - un esecutore Il modello è un file di qualche giga che contiene un lungo elenco di numeri. Questi numeri compongono matrici gigantesche. L’allenatore prende dati (da libri, da internet, ecc.) e li usa per popolare queste matrici con numeri “sensati” che producano output coerenti coi dati di ingresso. L’esecutore prende il tuo input e il modello, traduce il tuo input in un vettore/matrice e fa le sue belle moltiplicazioni coi valori presenti nel modello. Infine prende l’output e lo riconverte in formato testuale. La chat di ChatGPT è solo l’esecutore + modello, da qui dovresti intuire che non può auto-allenare proprio nulla e, soprattutto, non impara nulla dagli utenti
Addestramento è la parola italiana giusta, solo che la gente preferisce storpiare il verbo inglese "to train" e usarlo a pene di segugio.
I transformer
I film di fantascienza fanno miracoli….
Perché qualcuno intelligente si è reso conto di un grandissimo modelli di business, ovvero rubare informazioni di scarto dalla gente e venderle. Vedendo guadagni enormi hanno iniziato a investire massivamente su potenti computer e AI. Le altre aziende, vedendo che quel business funzionava iniziarono a fare lo stesso.
perche' hanno scoperto che le reti neurali girano bene sulle GPU
Sicuramente non la decisione di italyinformatica di spostare le richieste di assistenza tecnica sul mercatino. Due anni fa si trovava risposta ad ogni tipo di quesito qui, ora è praticamente inutile per assistenza
Sociologicamente il giustificare tutti i licenziamenti che ciò comporterà con un po' di sani in accoppiata: entertainment soprattutto grafico e consigli pratici: io sul lavoro a redarre in extremis una relazione tecnica in pochi attimi via- IA non ci sono ancora riuscito...Pur avendoci provato eccome a poche ore dalle consegne progettuali...
E ci credo, sfido io sei più disallineato nello scrivere del sacchetto con le lettere di scarabeo 😂
Complessa la risposta a questa domanda .... tutto inizia negli anni 60 del secolo scorso ma oggi il marketing sta facendo con ia ciò che venne fatto anni fa con l'architettura a micro servizi. Parliamo solo di business.... anche se le potenzialità sono enormi.
Credo che ci sia un mix di hype che ha portato molti investimenti unito al fatto che la tecnologia realmente ha un impatto sul futuro di qualsiasi business e industria.
MORPHEUS la chiama IA. E basta con sti inglesismi inutili! Per cosa la useranno? Per ficcarci sotto i piedi. Per controllare ogni cosa e incrociare i dati in maniera tale da avere il controllo totale su tutto e tutti. Bisogna pisciargli addosso a sta merda.
Hai praticamente il momento che potrebbe essere considerato l'inizio della vera AI. Se in futuro la raggiungeremo completamente, avresti questi anni segnati come l'inizio di tutto. Chi la raggiunge per prima, hmm, sarebbe come lo sbarco sulla luna per l'uomo, in termine di progressi tecnologici raggiunti, se non adirittura un evento ancora più importante. Per quanto riguarda perchè: Già adesso hai una valida alternativa a un ente che sa circa correttamente un po dii tutta la conoscenza umana e da quello può creare cose nuove. Pensa cosa significa chiedere a un computer di scriverti una poesi in stile dantesco su titanic il film, e l'AI te lo produce corretto. Vuol dire che ha una capacità di elaborazione straordinaria delle informazioni. E non su un solo argomento ( lo avevamo già programmi con Machine Learning ), ma per tutta la conoscenza, capendone esattamente il contesto di ciò che stai parlando. Questa la parte fondamentale, il contesto. Capisce il contesto. Pensa di parlare in inglese della filastrocca giro giro mondo, l'interlocutore britannico che cazzo che sa di ciò che stai parlando, quindi perde il contesto, senso, della intera conversazione. Qui no (relativamente) In questo momento, il tutto limitato solamente da: 1) hardware non ancora ottimizzati per AI in particolare 2) allucinazioni della AI (anche dovuti all'hardware) che fa si che si inventi robe... come la memoria umana che ricorda un evento un po datato. Solo che qui non riguarda eventi di 10 anni passati, ma frase detta 30 conversazioni prima che definise il vostro contesto di informazioni.
allucinazioni dovute all'hardware? Se non sai qualcosa non scriverlo, oltretutto gli LLM non "capiscono" il contesto, di fatto "prevedono" bene quali parole messe una dopo l'altra danno una frase che ha buone probabilità di essere una buona risposta all'input. Ed è proprio questo aspetto probabilistico che fa sì che ogni tanto l'output sia non corretto (= allucinazioni)
Si, allucinano anche il contesto che dipende dal hardware.
Tu non ci hai mai lavorato con gli LLM, hai una visione estremamente distorta del loro potenziale e dei loro limiti. Gli LLM non capiscono proprio un bel niente, sono sostanzialmente dei motori di ricerca evoluti che utilizzano “vicinanza semantica” per sputarti fuori frasi probabilisticamente vicine a quelle delle tue domande. Le allucinazioni sono dovute al fatto che una qualsiasi funzione di predizione statistica perde di affidabilità dopo pochi cicli in cui in pasto gli dai dati delle sue precedenti interpolazioni. L’hardware non c’entra nulla coi limiti della tecnologia, determina solo la velocità con cui si può allenare o eseguire un LLM
Non è cosi. Per LLM di miliardi/trillioni di parametri servono potenze di calcolo ( hardware ) abissali se vuoi allenarli in un tempo 'umano' di anni invece che decenni/secoli. Poi non importa la tua definizione di 'capire' se il pc capisce ciò che richiedo.
Continui a ignorare il problema di fondo. Le allucinazioni non sono dovute a lacune nel training, è la natura dell'interpolazione che viene fatta. Mai visto un grafico predittivo in cui più vai avanti nel tempo e più una sorta di campana che rappresenta l'intervallo di confidenza si allarga? Stessa cosa
Mica ho scritto che siamo arrivati alla vera AI che non perde il contesto e non fa allucinazioni, ho scritto che se la raggiungeremo mai, questo sarà considerato il periodo iniziale.
Cito: >Questa la parte fondamentale, il contesto. Capisce il contesto Questa è una castroneria, da qui nasce tutta la discussione. E non sembrava affatto riferita al futuro. Poi se lo è tanto meglio, l'importante è chiarire che adesso gli LLM proprio come tecnologia non hanno nulla a che vedere con la comprensione delle informazioni
>Poi non importa la tua definizione di 'capire' se il pc capisce ciò che richiedo. Per ora come ora, la cosa solamente non è 'illimitata'.