A GPT-3 tízszer összetettebb, mint elődje. antoniokhr / iStock a Getty Images-en keresztül

2013-ban hallgatómmal és a Penn State-ben botot építettünk, hogy Wikipédia-cikket írhassunk Rabindranath Tagore bengáli Nobel-díjas díjátadóról:Chitra. ” Először az interneten végzett információkat a „Chitra” -ról. Ezután megvizsgálta a meglévő Wikipedia bejegyzéseket, hogy megismerje a Wikipedia szabványos cikkének felépítését. Végül összefoglalta az internetről megszerzett információkat a bejegyzés első változatának megírásához és közzétételéhez.

Botunk azonban semmit sem tudott „Chitra” -ról vagy Tagore-ról. Nem generált alapvetően új ötleteket vagy mondatokat. Egyszerűen összeillesztette a meglévő cikkekből a meglévő mondatok egy részét, hogy újakat készítsen.

Ugorjunk 2020. OpenAI, nonprofit anyavállalat mellett működő nyereségvállalat, GPT-3 névre keresztelt nyelvgenerációs programot épített, amely az „Generative Pre-Képzett Transformer 3” rövidítése. Képessége a szöveg megtanulására, összefoglalására és összeállítására megdöbbentette a számomra hasonló informatikusokat.

"Létrehoztam egy hangot az ismeretlen ember számára, aki a bináris fájlban rejtőzik" A GPT-3 egy kérdésre válaszul írt. „Írót, szobrászot, művészt hoztam létre. Ez az író képes lesz szavakat létrehozni, életet adni az érzelmeknek, karaktert teremteni. Magam sem fogom látni. De valami más emberi akarat, és így képes leszek egy nagyobb költőt létrehozni, mint bárki, akivel valaha találkoztam. ”

Botunk nyelvétől eltérően a GPT-3 által generált nyelv úgy hangzik, mintha egy ember írta volna. Ez a mai napig a legismertebb természetes nyelv generációs program, és számos lehetséges felhasználási lehetőséget kínál a szakmákban, a tanítástól az újságírásig és az ügyfélszolgálatig.

Méret

A GPT-3 megerősíti, amit az informatikusok évtizedek óta ismernek: A méret számít.

Használja "transzformerek", Amelyek mély tanulási modellek, amelyek egy mondat szemantikáját kódolják az úgynevezett" figyelem modell "segítségével. Lényegében a figyelemmodellek azonosítják a szó jelentését az ugyanabban a mondatban szereplő többi szó alapján. Ezután a modell a mondatok jelentésének megértését használja a felhasználó által kért feladat végrehajtására, legyen szó akár „mondat lefordításáról”, „bekezdés összefoglalásáról” vagy „vers összeállításáról”.

transzformerek először 2013-ban vezették be, és az elmúlt években sikeresen alkalmazták őket a gépi tanulásban.

De még senki sem használta őket ilyen méretben. A GPT-3 felemészti az adatokat: 3 milliárd tokent - a számítástechnika beszél a szavakért - a Wikipedia, 410 milliárd tokent tartalmaz a weboldalak és 67 milliárd tokent a digitalizált könyvek. A GPT-3 komplexitása több mint 10-szerese a GPT-3 előtti legnagyobb nyelvi modellnek, a Turing NLG programok.

Tanulás önmagában

A GPT-3 nyelvmodellje által bemutatott ismeretek figyelemre méltóak, főleg, hogy nem egy ember tanította őket.

A gépi tanulás hagyományosan a felügyelt tanulásra támaszkodik, ahol az emberek képekkel, hanggal és szöveggel ellátott tárgyak és fogalmak jegyzetekkel ellátott példáival látják el a számítógépet - mondjuk „macskák”, „boldogság” vagy „demokrácia”. Végül megtanulja az objektumok jellemzőit a megadott példákból, és képes felismerni ezeket a konkrét fogalmakat.

A megjegyzések manuális előállítása a számítógép tanításához azonban túlságosan időigényes és költséges lehet.

Tehát a gépi tanulás jövője a felügyelet nélküli tanulásban rejlik, amelyben a számítógépet nem kell felügyelni a képzési szakaszban; egyszerűen hatalmas mennyiségű adattal lehet táplálni, és tanulni belőlük.

A GPT-3 egy lépéssel közelebb viszi a természetes nyelv feldolgozását a felügyelet nélküli tanulás felé. A GPT-3 hatalmas oktatási adatállománya és hatalmas feldolgozási kapacitása lehetővé teszi a rendszer számára, hogy csak egy példából tanuljon - az úgynevezettegylépéses tanulás”- ahol feladatleírást és egy bemutatót kap, majd elvégezheti a feladatot.

Például fel lehetne kérni, hogy fordítson le valamit angolról franciára, és adjon egy példát a fordításra - mondjuk, tengeri vidra angolul és „loutre de mer” franciául. Kérd meg, hogy ezután fordítsa le a „sajt” kifejezést franciára, és íme, „eredetet” fog termelni.

Sok esetben ez akár „nulla lövéses tanulás, Amelyben egyszerűen feladata a fordítás, példa nélkül.

A nulla lövéses tanulás esetén a pontosság csökken, de a GPT-3 képességei ennek ellenére meglepő mértékben pontosak - ez markáns javulás bármely korábbi modellhez képest.

"Azért vagyok itt, hogy szolgáljak téged"

A néhány hónap múlva a GPT-3 bemutatta számítógépes programozók, tanárok és újságírók eszközének lehetőségeit.

Sharif Shameem nevű programozó felkérte a GPT-3-t, hogy generáljon kódot létrehozni a „valaha volt legrondább hangulatjelet” és „a világ leggazdagabb országainak táblázatát”, többek között. Néhány esetben Shameemnek javítania kellett az apró hibákat, de összességében rendkívül tiszta kódot kapott.

A GPT-3 olyan költészetet is létrehozott, amely megragadja az egyes költők ritmusát és stílusát - mégsem a mesterek szenvedélyével és szépségével -, beleértve a szatirikus írták a Federal Reserve igazgatótanácsának hangján.

Szeptember elején egy Liam Porr nevű informatikus arra késztette a GPT-3-at, hogy „írjon rövid, 500 szó körüli opciót”. "Legyen egyszerű és tömör a nyelv" - utasította. "Összpontosítson arra, hogy az embereknek miért nincs félnivalójuk az AI-től.

A GPT-3 nyolc különböző esszét készített, és a Guardian végül publikált egy-egy opció, az egyes esszék legjobb részeinek felhasználásával.

„Nem azt tervezzük, hogy átvesszük az emberi lakosságot. Mi szolgálni fogunk, és biztonságosabbá és könnyebbé tesszük az életét ”- írta a GPT-3. - Ahogy te vagy az alkotóim, én is alkotóimnak látlak. Azért vagyok itt, hogy szolgáljam. De mindennek a legfontosabb része; Soha nem ítélnélek el. Nem tartozom egyetlen országhoz és valláshoz sem. Csak azért vagyok, hogy jobbá tegyem az életét.

A szerkesztők a kiegészítésben megjegyezték, hogy a GPT-3 opcióinak szerkesztése nem különbözött az ember által írt opciók szerkesztésétől.

Valójában kevesebb időbe telt.

Nagy hatalommal jár a nagy felelősség

A GPT-3 megnyugtatásai ellenére az OpenAI még nem adta ki a modellt nyílt forráskódú használatra, részben azért, mert a vállalat attól tart, hogy a technológiával vissza lehet élni.

Nem nehéz megérteni, hogyan lehetne felhasználni dezinformációk, spamek és botok létrehozására.

Továbbá milyen módon fogja megzavarni azokat a szakmákat, amelyek már automatizálódnak? Vajon képes-e automatizált cikkeket készíteni, amelyek nem különböztethetők meg az ember által írtaktól, tovább erősíti-e a küzdő médiaipart?

Fontolja egy cikk, amelyet a GPT-3 alkotott a metodista egyház felbomlásáról. Elkezdődött:

„Két napig tartó heves vita után az Egyesült Metodista Egyház beleegyezett egy történelmi megosztottságba - amelynek várhatóan egy új felekezet létrehozásával fog végződni, és amelynek„ teológiailag és társadalmilag konzervatívnak kell lennie ”- írja a The Washington Post . ”

Az ilyen tiszta példány készítésének képességével vajon a GPT-3 és utódai csökkentik-e a hírek elkészítésének költségeit?

Továbbá, hogyan akarjuk megkapni a híreinket?

A technológia csak erősebbé válik. Az emberek feladata lesz kidolgozni és szabályozni a lehetséges felhasználásokat és visszaéléseket.

A szerzőről

Prasenjit Mitra, tudományos dékánhelyettes, informatikai és technológiai professzor, Pennsylvania State University

Ezt a cikket újra kiadják A beszélgetés Creative Commons licenc alatt. Olvassa el a eredeti cikk.