Napóleon tanulhatott volna a múltból. Adolph Northen festménye/wikipédia

Közhely, hogy a történelem nem ismerete megismétli azt. Ahogy arra is sokan rámutattak, az egyetlen dolog, amit a történelemből tanulunk, az az, hogy ritkán tanulunk valamit a történelemből. Az emberek bekapcsolódnak szárazföldi háborúk Ázsiában újra és újra. Ugyanazokat a randizási hibákat is elkövetik újra és újra. De miért történik ez? És vajon a technológia véget vet ennek?

Az egyik probléma a feledékenység és „myopia”: nem látjuk, hogy a múltbeli események mennyire vonatkoznak a jelenlegiekre, figyelmen kívül hagyva a kibontakozó mintát. Napóleonnak észre kellett volna vennie a hasonlóságokat a moszkvai felvonulása és a svéd király között XII. Károly kudarcot vallott hasonló kísérlete nagyjából egy évszázaddal előtte.

Mi is vagyunk rosszul tanul amikor a dolgok rosszul mennek. Ahelyett, hogy megállapítanánk, miért volt rossz egy döntés, és hogyan kerülhetjük el, hogy ez valaha is megismétlődjön, gyakran megpróbáljuk figyelmen kívül hagyni az események kínos fordulatát. Ez azt jelenti, hogy legközelebb, amikor hasonló helyzet adódik, nem látjuk a hasonlóságot – és megismételjük a hibát.

Mindkettő felfedi az információval kapcsolatos problémákat. Az első esetben nem emlékezünk személyes vagy történelmi információkra. A másodikban nem sikerül az információt kódolni, amikor az elérhető.

Ennek ellenére akkor is követünk el hibákat, ha nem tudjuk hatékonyan kikövetkeztetni, hogy mi fog történni. Talán a helyzet túl bonyolult vagy túl időigényes ahhoz, hogy belegondoljunk. Vagy elfogultak vagyunk, hogy félreértelmezzük, mi történik.

A technológia bosszantó ereje

De biztosan segíthet nekünk a technológia? Ma már az agyunkon kívül is tárolhatunk információkat, és számítógépek segítségével előhívhatjuk azokat. Ennek könnyűvé kellene tennie a tanulást és az emlékezést, igaz?

Az információk tárolása akkor hasznos, ha jól visszakereshető. De az emlékezés nem ugyanaz, mint egy fájl lekérése egy ismert helyről vagy dátumról. Az emlékezés magában foglalja a hasonlóságok felfedezését és a dolgok eszébe juttatását.

Egy mesterséges intelligenciának (MI) képesnek kell lennie arra is, hogy spontán módon hasonlóságokat hozzon az elménkbe – gyakran nemkívánatos hasonlóságokat. De ha jól tudja észrevenni a lehetséges hasonlóságokat (végül is átkutathatná az egész internetet és az összes személyes adatunkat), akkor gyakran a hamisakat is észreveszi.

A sikertelen randevúk esetében megjegyezhetik, hogy mindegyikhez vacsora is tartozott. De sosem az étkezés volt a probléma. És puszta véletlen volt, hogy tulipánok voltak az asztalon – semmi ok arra, hogy kerüljük őket. Gyakran ismételjük meg a randevúzással kapcsolatos hibákat. 

Ez azt jelenti, hogy figyelmeztet bennünket olyan dolgokra, amelyek nem érdekelnek bennünket, esetleg bosszantó módon. Az érzékenység csökkentése azt jelenti, hogy növeli annak kockázatát, hogy szükség esetén nem kap figyelmeztetést.

Ez alapvető probléma, és minden tanácsadóra ugyanúgy vonatkozik: az óvatos tanácsadó túl gyakran fog farkast kiáltani, az optimista tanácsadó pedig elszalasztja a kockázatokat.

A jó tanácsadó az, akiben megbízunk. Körülbelül ugyanolyan óvatosak, mint mi, és tudjuk, hogy tudják, mit akarunk. Ezt nehéz megtalálni egy emberi tanácsadóban, és még inkább az AI-ban.

Hol állítja meg a technológia a hibákat? Idióta védelem működik. A vágógépek megkövetelik, hogy lenyomva tartsa a gombokat, és tartsa távol a kezét a pengéktől. A „halott ember kapcsolója” leállítja a gépet, ha a kezelő cselekvőképtelenné válik.

A mikrohullámú sütők az ajtó kinyitásakor kikapcsolják a sugárzást. A rakéták kilövéséhez két embernek kell egyszerre elfordítania a kulcsokat egy helyiségben. Itt a gondos tervezés megnehezíti a hibák elkövetését. De nem törődünk eleget a kevésbé fontos helyzetekkel, így a tervezés sokkal kevésbé idiótabiztos.

Amikor a technológia jól működik, gyakran túlságosan megbízunk benne. Az autopilóta rendszerek elképesztő hatékonyságának köszönhetően a légitársaságok pilótái ma kevesebb valódi repült órával rendelkeznek, mint korábban. Ez rossz hír, amikor az autopilot meghibásodik, és a pilótának kevesebb tapasztalata van a helyzet orvoslásához.

Az első a újfajta olajplatform (Sleipnir A) elsüllyedt mert a mérnökök bíztak a rá ható erők szoftveres számításában. A modell hibás volt, de az eredményeket olyan meggyőzően mutatta be, hogy azok megbízhatónak tűntek.

Technológiánk nagy része elképesztően megbízható. Például nem vesszük észre, hogy az interneten elveszett adatcsomagokat folyamatosan a színfalak mögött keresik, hogyan szüntetik meg a hibajavító kódok a zajt, vagy hogyan teszik biztonságossá a biztosítékok és a redundancia a készülékeket.

De amikor a bonyolultság szintjét szintet követve haladunk előre, az nagyon megbízhatatlannak tűnik. Észrevesszük, ha a Zoom-videó laggol, a mesterséges intelligencia programja rosszul válaszol, vagy a számítógép összeomlik. Mégis kérdezzünk meg bárkit, aki 50 évvel ezelőtt használt számítógépet vagy autót, hogyan működtek valójában, és látni fogjuk, hogy mindkettő kevésbé volt hatékony és kevésbé megbízható.

Addig bonyolultabbá tesszük a technológiát, amíg túlságosan bosszantóvá vagy nem biztonságosan használhatóvá válik. Ahogy az alkatrészek egyre jobbak és megbízhatóbbak, gyakran úgy döntünk, hogy új izgalmas és hasznos funkciókat adunk hozzá, ahelyett, hogy ragaszkodnánk a működőhöz. Ez végső soron kevésbé megbízhatóvá teszi a technológiát, mint amilyen lehetne.

Hibák fognak történni

Ez az oka annak is, hogy az AI kétélű fegyver a hibák elkerülésére. Az automatizálás gyakran biztonságosabbá és hatékonyabbá teszi a dolgokat, ha működik, de ha meghibásodik, sokkal nagyobb bajt okoz. Az autonómia azt jelenti, hogy az intelligens szoftverek kiegészíthetik gondolkodásunkat és leterhelhetik, de ha nem úgy gondolkodik, ahogyan szeretnénk, akkor rosszul viselkedhet.

Minél bonyolultabb, annál fantasztikusabbak lehetnek a hibák. Bárki, aki már foglalkozott rendkívül intelligens tudósokkal, tudja, milyen jól elronthatnak dolgokat nagy találékonysággal, amikor a józan eszük cserbenhagyja őket – és a mesterséges intelligenciának nagyon kevés emberi józan esze van.

Ez is mély ok arra, hogy aggódjunk amiatt, hogy a mesterséges intelligencia irányítja a döntéshozatalt: újfajta hibákat követnek el. Mi, emberek ismerjük az emberi hibákat, vagyis vigyázhatunk rájuk. De az okos gépek olyan hibákat követhetnek el, amelyeket elképzelni sem tudtunk.

Ráadásul az AI-rendszereket emberek programozzák és képezik ki. És rengeteg példa van ilyen rendszerre elfogulttá, sőt bigottá válik. Utánozzák az elfogultságokat, és megismétlik az emberi világ hibáit, még akkor is, ha az érintettek kifejezetten megpróbálják elkerülni őket.

A végén a hibák továbbra is előfordulnak. Alapvető okai vannak annak, hogy miért tévedünk a világgal kapcsolatban, miért nem emlékezünk mindenre, amit kellene, és miért nem tud technológiánk tökéletesen elkerülni a bajt.

De dolgozhatunk azon, hogy csökkentsük a hibák következményeit. A visszavonás gomb és az automatikus mentés számtalan dokumentumot mentett a számítógépünkre. Az emlékmű Londonban, cunami kövek Japánban és más emlékművekben is emlékeztetnek minket bizonyos kockázatokra. A jó tervezési gyakorlatok biztonságosabbá teszik az életünket.

Végső soron lehetséges tanulni valamit a történelemből. A célunk a túlélés és a hibáinkból való tanulás kell, hogy legyen, nem pedig az, hogy megakadályozzuk őket abban, hogy valaha is megtörténjenek. A technológia segíthet nekünk ebben, de alaposan át kell gondolnunk, hogy mit is akarunk valójában tőle – és ennek megfelelően kell terveznünk.

A szerzőről

Anders Sandberg, James Martin kutató, Future of Humanity Institute és Oxford Martin School, University of Oxford

Ezt a cikket újra kiadják A beszélgetés Creative Commons licenc alatt. Olvassa el a eredeti cikk.