Pexels/Google Deepmind, CC BY-SA

1950-ben Alan Turing brit informatikus kísérleti módszert javasolt a kérdés megválaszolására: képesek-e gondolkodni a gépek? Azt javasolta, hogy ha egy ember ötperces kérdezősködés után nem tudja megállapítani, hogy mesterségesen intelligens (AI) géphez vagy egy másik emberhez beszél, az azt bizonyítaná, hogy az AI emberhez hasonló intelligenciával rendelkezik.

Bár az AI-rendszerek messze nem feleltek meg Turing tesztjének élete során, ő ezt feltételezte

„[…] körülbelül ötven év múlva lehet majd úgy programozni a számítógépeket […], hogy olyan jól játsszák az imitációs játékot, hogy egy átlagos kihallgatónak legfeljebb 70%-a lesz az esélye annak, hogy öt perc elteltével helyesen azonosítja magát. kérdezősködni.

Ma, több mint 70 évvel Turing javaslata után, egyetlen mesterséges intelligencia sem tudott sikeresen átmenni a teszten az általa felvázolt speciális feltételek teljesítésével. Ennek ellenére, mint néhány főcím tükröznie, néhány rendszer egészen közel került.

Egy újabb kísérlet három nagy nyelvi modellt tesztelt, köztük a GPT-4-et (a ChatGPT mögötti mesterséges intelligencia technológiát). A résztvevők két percig beszélgettek egy másik személlyel vagy egy mesterséges intelligencia rendszerrel. Az AI-t kis helyesírási hibák elkövetésére késztették – és abbahagyták, ha a tesztelő túl agresszív lett.

Ezzel a felszólítással az AI jó munkát végzett, hogy megtévessze a tesztelőket. MI-bottal párosítva a tesztelők csak az esetek 60%-ában tudták helyesen kitalálni, hogy MI-rendszerrel beszélnek-e.

Tekintettel a természetes nyelvi feldolgozó rendszerek tervezésében elért gyors előrehaladásra, az elkövetkező néhány éven belül az AI átmegy Turing eredeti tesztjén.

De vajon az emberek utánzása valóban hatékony teszt az intelligencia számára? És ha nem, milyen alternatív benchmarkok segítségével mérhetjük fel az AI képességeit?

A Turing-teszt korlátai

Míg a Turing-teszten átmenő rendszer megadja nekünk néhány bizonyíték, hogy intelligens, ez a teszt nem az intelligencia döntő próbája. Az egyik probléma az, hogy „hamis negatívokat” tud produkálni.

A mai nagy nyelvi modelleket gyakran úgy alakítják ki, hogy azonnal kijelentsék, nem emberek. Például amikor feltesz egy kérdést a ChatGPT-nek, az gyakran a „mint AI nyelvi modell” kifejezéssel előzi meg a választ. Még ha a mesterséges intelligencia rendszereknek is megvan az a képessége, hogy átmenjenek a Turing-teszten, ez a fajta programozás felülírná ezt a képességet.

A teszt bizonyos típusú „hamis pozitív” eredményeket is kockáztat. Ned Block filozófusként rámutatott arra, egy 1981-es cikkben elképzelhető, hogy egy rendszer átmegy a Turing-teszten egyszerűen úgy, hogy bármilyen lehetséges bemenetre emberhez hasonló választ kap.

Ezen túlmenően a Turing-teszt elsősorban az emberi megismerésre összpontosít. Ha a mesterséges intelligencia megismerése eltér az emberi megismeréstől, akkor egy szakértő lekérdező képes lesz olyan feladatot találni, ahol az MI és az emberek teljesítménye eltér.

Ezzel a problémával kapcsolatban Turing ezt írta:

Ez az ellenvetés nagyon erős, de legalább azt mondhatjuk, hogy ha ennek ellenére meg lehet építeni egy gépet, amely kielégítően játssza az imitációs játékot, akkor nem kell aggódnunk ezen az ellenvetésen.

Más szavakkal, míg a Turing-teszt sikeres teljesítése jó bizonyíték arra, hogy egy rendszer intelligens, a sikertelenség nem jó bizonyíték egy rendszerre. nem intelligens.

Ráadásul a teszt nem méri jól, hogy a mesterséges intelligencia tudatos-e, éreznek-e fájdalmat és örömet, vagy hogy van-e erkölcsi jelentőségük. Sok kognitív tudós szerint a tudat magában foglalja a mentális képességek egy bizonyos csoportját, beleértve a munkamemóriát, a magasabb rendű gondolatokat, valamint azt a képességet, hogy érzékelje a környezetét, és modellezze a test mozgását körülötte.

A Turing-teszt nem ad választ arra a kérdésre, hogy az AI-rendszerek-e vagy sem rendelkeznek ezekkel a képességekkel.

Az AI növekvő képességei

A Turing-teszt egy bizonyos logikán alapul. Azaz: az emberek intelligensek, tehát minden, ami hatékonyan képes utánozni az embereket, valószínűleg intelligens.

De ez a gondolat nem mond semmit az intelligencia természetéről. Az AI intelligenciájának mérésének másik módja az, hogy kritikusabban gondolkodjunk arról, mi az intelligencia.

Jelenleg nincs egyetlen olyan teszt, amely hitelesen mérné a mesterséges vagy emberi intelligenciát.

A legtágabb szinten az intelligenciát úgy képzelhetjük el, mint a képesség egy sor cél elérése különböző környezetekben. Az intelligensebb rendszerek azok, amelyek szélesebb körű célokat tudnak elérni a környezet szélesebb körében.

Mint ilyen, az általános célú AI-rendszerek tervezésében elért fejlődés nyomon követésének legjobb módja az, ha felmérjük teljesítményüket a különböző feladatok során. A gépi tanulással foglalkozó kutatók egy sor benchmarkot dolgoztak ki, amelyek ezt teszik.

Például a GPT-4 volt képes helyesen válaszolni A kérdések 86%-a a masszív, többfeladatos nyelvértésben – egy benchmark, amely a feleletválasztós teszteken elért teljesítményt méri számos főiskolai szintű akadémiai tárgyban.

Ez is kedvezően zárt AgentBench, egy olyan eszköz, amely képes mérni egy nagy nyelvi modell azon képességét, hogy ügynökként viselkedjen például az internet böngészésével, online termékek vásárlásával vagy játékokban való versenyzéssel.

Még mindig releváns a Turing-teszt?

A Turing-teszt az utánzás mértéke – az AI azon képessége, hogy szimulálja az emberi viselkedést. A nagy nyelvi modellek szakértői utánzók, ami most abban is megmutatkozik, hogy sikeresek a Turing-teszten. De az intelligencia nem egyenlő az utánzással.

Ahány célt kell elérni, annyiféle intelligencia létezik. Az AI intelligenciájának megértésének legjobb módja, ha nyomon követjük egy sor fontos képesség fejlesztésében elért előrehaladását.

Ugyanakkor fontos, hogy ne „cserélgessük a kapufákat”, amikor arról van szó, hogy az AI intelligens-e. Mivel a mesterséges intelligencia képességei gyorsan javulnak, az AI-intelligencia ötletének kritikusai folyamatosan új feladatokat találnak az AI-rendszereknek, amelyeket nehézségekbe ütközhet, de azt tapasztalják, hogy átugrottak. még egy akadály.

Ebben a beállításban nem az a lényeges kérdés, hogy az AI-rendszerek intelligensek-e, hanem pontosabban az, hogy mi fajta az esetleges intelligenciájukról.

Simon Goldstein, egyetemi docens, Dianoia Filozófiai Intézet, Ausztrál Katolikus Egyetem, Ausztrál Katolikus Egyetem és a Cameron Domenico Kirk-Giannini, filozófia adjunktus, Rutgers University

Ezt a cikket újra kiadják A beszélgetés Creative Commons licenc alatt. Olvassa el a eredeti cikk.