Napóleon tanulhatott volna a múltból. Adolph Northen festménye/wikipédia
Közhely, hogy a történelem nem ismerete megismétli azt. Ahogy arra is sokan rámutattak, az egyetlen dolog, amit a történelemből tanulunk, az az, hogy ritkán tanulunk valamit a történelemből. Az emberek bekapcsolódnak szárazföldi háborúk Ázsiában újra és újra. Ugyanazokat a randevúzási hibákat is megismétlik, újra és újra. De miért történik ez? És a technológia véget vet ennek?
Az egyik probléma a feledékenység és „myopia”: nem látjuk, hogy a múltbeli események mennyire vonatkoznak a jelenlegiekre, figyelmen kívül hagyva a kibontakozó mintát. Napóleonnak észre kellett volna vennie a hasonlóságokat a moszkvai felvonulása és a svéd király között XII. Károly kudarcot vallott hasonló kísérlete nagyjából egy évszázaddal előtte.
Mi is vagyunk rosszul tanul amikor rosszul mennek a dolgok. Ahelyett, hogy meghatároznánk, miért volt rossz egy döntés, és hogyan kerüljük el, hogy ez valaha is megismétlődjön, gyakran megpróbáljuk figyelmen kívül hagyni az események kínos fordulatát. Ez azt jelenti, hogy amikor legközelebb hasonló helyzet adódik, nem látjuk a hasonlóságot – és megismételjük a hibát.
Mindkettő felfedi az információval kapcsolatos problémákat. Az első esetben nem emlékezünk személyes vagy történelmi információkra. A másodikban nem sikerül az információt kódolni, amikor az elérhető.
Ennek ellenére akkor is követünk el hibákat, ha nem tudjuk hatékonyan kikövetkeztetni, hogy mi fog történni. Talán a helyzet túl bonyolult vagy túl időigényes ahhoz, hogy belegondoljunk. Vagy elfogultak vagyunk, hogy félreértelmezzük, mi történik.
A technika bosszantó ereje
De biztosan a technológia segíthet nekünk? Most már az agyunkon kívül is tárolhatunk információkat, és számítógépek segítségével lekérhetjük azokat. Ez megkönnyíti a tanulást és az emlékezést, igaz?
Az információk tárolása akkor hasznos, ha jól visszakereshető. De az emlékezés nem ugyanaz, mint egy fájl lekérése egy ismert helyről vagy dátumról. Az emlékezés magában foglalja a hasonlóságok felfedezését és a dolgok eszébe juttatását.
A mesterséges intelligenciának (AI) is képesnek kell lennie arra, hogy spontán hasonlóságokat idézzen elő elménkben – gyakran nemkívánatos hasonlóságokat. De ha jól észreveszi az esetleges hasonlóságokat (elvégre az összes interneten és minden személyes adatunkban tud keresni), akkor gyakran hamisakat is észrevesz.
Sikertelen randevú esetén megjegyzendő, hogy mindannyian vacsoráztak. De soha nem az étkezés volt a probléma. És puszta véletlen egybeesés volt, hogy tulipánok kerültek az asztalra – nincs miért kerülni őket. Gyakran megismételjük a randevúzási hibákat.
Ez azt jelenti, hogy figyelmeztet bennünket olyan dolgokra, amelyek nem érdekelnek bennünket, esetleg bosszantó módon. Az érzékenység csökkentése azt jelenti, hogy növeli annak kockázatát, hogy szükség esetén nem kap figyelmeztetést.
Ez alapvető probléma, és minden tanácsadóra ugyanúgy vonatkozik: az óvatos tanácsadó túl gyakran fog farkast kiáltani, az optimista tanácsadó pedig elszalasztja a kockázatokat.
A jó tanácsadó az, akiben megbízunk. Körülbelül ugyanolyan óvatosak, mint mi, és tudjuk, hogy tudják, mit akarunk. Ezt nehéz megtalálni egy emberi tanácsadóban, és még inkább az AI-ban.
Hol állítja meg a technológia a hibákat? Idióta védelem működik. A vágógépek megkövetelik, hogy lenyomva tartsa a gombokat, és tartsa távol a kezét a pengéktől. A „halott ember kapcsolója” leállítja a gépet, ha a kezelő cselekvőképtelenné válik.
A mikrohullámú sütők az ajtó kinyitásakor kikapcsolják a sugárzást. A rakéták kilövéséhez két embernek kell egyszerre elfordítania a kulcsokat egy helyiségben. Itt a gondos tervezés megnehezíti a hibák elkövetését. De nem törődünk eleget a kevésbé fontos helyzetekkel, így a tervezés sokkal kevésbé idiótabiztos.
Amikor a technológia jól működik, gyakran túlságosan megbízunk benne. Az autopilóta rendszerek elképesztő hatékonyságának köszönhetően a légitársaságok pilótái ma kevesebb valódi repült órával rendelkeznek, mint korábban. Ez rossz hír, amikor az autopilot meghibásodik, és a pilótának kevesebb tapasztalata van a helyzet orvoslásához.
Az első a újfajta olajplatform (Sleipnir A) elsüllyedt mert a mérnökök bíztak a rá ható erők szoftveres számításában. A modell hibás volt, de az eredményeket olyan meggyőzően mutatta be, hogy azok megbízhatónak tűntek.
Technológiánk nagy része elképesztően megbízható. Például nem vesszük észre, hogy a színfalak mögött folyamatosan találnak elveszett adatcsomagokat az interneten, hogyan távolítják el a zajt a hibajavító kódok, vagy hogy a biztosítékok és a redundancia hogyan teszi biztonságossá a készülékeket.
De ha a komplexitás szintjeit egymás után halmozzuk fel, nagyon megbízhatatlannak tűnik. Észrevesszük, ha a Zoom videó késik, az AI program rosszul válaszol vagy a számítógép összeomlik. Mégis kérdezzen meg mindenkit, aki 50 évvel ezelőtt számítógépet vagy autót használt, hogyan működött valójában, és látni fogja, hogy kevésbé voltak képesek és kevésbé megbízhatóak.
Addig bonyolultabbá tesszük a technológiát, amíg túlságosan bosszantóvá vagy nem biztonságosan használhatóvá válik. Ahogy az alkatrészek egyre jobbak és megbízhatóbbak, gyakran úgy döntünk, hogy új izgalmas és hasznos funkciókat adunk hozzá, ahelyett, hogy ragaszkodnánk a működőhöz. Ez végső soron kevésbé megbízhatóvá teszi a technológiát, mint amilyen lehetne.
Hibákat fognak elkövetni
Ez az oka annak is, hogy az AI kétélű fegyver a hibák elkerülésére. Az automatizálás gyakran biztonságosabbá és hatékonyabbá teszi a dolgokat, ha működik, de ha meghibásodik, sokkal nagyobb bajt okoz. Az autonómia azt jelenti, hogy az intelligens szoftverek kiegészíthetik gondolkodásunkat és leterhelhetik, de ha nem úgy gondolkodik, ahogyan szeretnénk, akkor rosszul viselkedhet.
Minél összetettebb, annál fantasztikusabbak lehetnek a hibák. Bárki, aki foglalkozott rendkívül intelligens tudósokkal, tudja, milyen jól el tudja rontani a dolgokat nagy találékonysággal, ha a józan ész cserbenhagyja őket – és a mesterséges intelligencia nagyon kevés emberi józan esze van.
Ez is mély ok arra, hogy aggódjunk amiatt, hogy a mesterséges intelligencia irányítja a döntéshozatalt: újfajta hibákat követnek el. Mi, emberek ismerjük az emberi hibákat, vagyis vigyázhatunk rájuk. De az okos gépek olyan hibákat követhetnek el, amelyeket elképzelni sem tudtunk.
Ráadásul az AI-rendszereket emberek programozzák és képezik ki. És rengeteg példa van ilyen rendszerre elfogulttá, sőt bigottá válik. Utánozzák az elfogultságokat, és megismétlik az emberi világ hibáit, még akkor is, ha az érintettek kifejezetten megpróbálják elkerülni őket.
A végén a hibák továbbra is előfordulnak. Alapvető okai vannak annak, hogy miért tévedünk a világgal kapcsolatban, miért nem emlékezünk mindenre, amit kellene, és miért nem tud technológiánk tökéletesen elkerülni a bajt.
De dolgozhatunk azon, hogy csökkentsük a hibák következményeit. A visszavonás gomb és az automatikus mentés számtalan dokumentumot mentett a számítógépünkre. Az emlékmű Londonban, cunami kövek Japánban és más műemlékek emlékeztetnek bennünket bizonyos kockázatokra. A jó tervezési gyakorlatok biztonságosabbá teszik életünket.
Végül is lehet tanulni valamit a történelemből. Célunk az kell legyen, hogy túléljük és tanuljunk a hibáinkból, nem pedig megakadályozni, hogy megtörténjenek. A technológia segíthet ebben, de alaposan át kell gondolnunk, hogy valójában mit is akarunk tőle – és ennek megfelelően tervezni.
A szerzőről
Anders Sandberg, James Martin tudományos munkatárs, Future of Humanity Institute és Oxford Martin School, University of Oxford
Ezt a cikket újra kiadják A beszélgetés Creative Commons licenc alatt. Olvassa el a eredeti cikk.
