Silt: tehisaru

Lugedes Jaan Tallinnat

Kakk üldiselt Delfi portaali ei loe. Aga üks hea kolleeg saatis ülikoolis lugeda ühe Linnar Viigi tehtud intervjuu Jaan Tallinnaga. Päris valgustav lektüür oli.

Selle loo peale lugesin veel teisigi sedalaadi asju – ja kõik viitavad üsna häirivalt samasse kohta. Jaan Tallinna tsiteeritud “humans are a disposable species” pärineb inimestelt, kes on

* haritud ja maailma näinud
* tehnoloogiliselt ja majanduslikult pädevad
* väga heal elujärjel

Seega ei saaks nagu olla tegu peessekukkunud tegelastega. Või ikkagi saab…? Äkki kõigest sellest ikkagi ei piisa?

Ülikooli tekstivestlustes kalduvad mõned inimesed vist ka samasse ooperisse. Alguses, tehisaru tulekuga oli hirmus optimism (“küll nüüd alles tööjõudlus kasvab”). Hiljem hakati järk-järgult nägema probleeme – ja mis kõige hullem, ka iseenda juures (“ma ei õpi ise enam midagi”). Nüüd on kohati päris kurb näha, kuidas see suur hurraa järgemööda resignatsiooniga asendub (sest seda teed mööda on juba päris kaugele võssa jõutud). Nagu kirjandusklassika ütleb: “Kes tegi? Ise tegi!”.  Ja siis otsustavad mõned Tolkieni järgi “Sarumani teha” ehk “kui me ei suuda vaenlast võita, siis läheme tema poolele üle”.

Seega kokkuvõtlikult, mida meile praegu ette söödetakse:
* “asjade käik on pöördumatu, te ei saa midagi muuta”
* “tegelikult olete te kõik jobud, ahvidest ei saagi midagi paremat areneda”
* “pappi tuleb teenida kõrvalmõjudest hoolimata”
* “mingit eetikat ja moraali ei ole olemas”
ja lõpptulemusena
* “inimkond peab kaduma”

Päris mitmes maailma suurusundis on defineeritud tegelane, kes just selliseid sõnu räägib. Kurjuse vastu ei aita (intervjuus mainitud) Asimovi seadused – aga sellest, mis aitaks, ei taha enamik inimesi kahjuks endiselt midagi kuulda.

Päeva lause

… Slashdotist:

” LLM’s aren’t designed to provide correct answers, they are designed to provide plausible answers.” – kschendel

Suurte keelemudelite põhiprobleemi on raske paremini ühte lausesse kokku võtta. Probleeme on muidugi veel, järgmised on andmeprivaatsus ning loojatepoolne info kallutatus kombineerituna haavatavusega väga erinevatele mõjutusrünnetele (vt ka siin veidi eespool viidatud TTÜ innovatsioonifestivali ettekandeid).

“AI genereeritud sisu võib sisaldada vigu”

Kasutasin paar viimast aastat Google Finance’i lihtsama aktsiainfo kiireks kättesaamiseks. Seal oli võimalik ka kümmekond aktsiat veebilehitseja eri sakkides avada ja nii saada täiesti korralik lihtne börsimonitor (ja see töötas ka ilma Google’isse sisse logimata). Suur osa Google’i kraamist on täiega ära sitastatud (ingl. k. enshittified), aga GF koos otsimootoriga olid veel täiesti asjalikud teenused.

Täna üllatas GF aga paari tunni jooksul sellega, et andis nimeserveri vea ning leht oli kättesaamatu. Mõtlesin veel, et näe, isegi suurtel juhtub… Aga õhtuks oli varasem kiire ja mõistlik teenus asendunud mingisuguse amatöörliku tööplönniga. Umbes nagu oleks mõni kolmemehest tudeng  seal vaibkoodimas käinud.

Kõige krooniks oli allservas kuvatud lause, mis sai selle postituse pealkirjaks. Halloo!!! GF kasutajad liigutavad reaalset raha – see ei ole koht, kus tehisaru lollusi naljaga pooleks saab võtta. Google’il on muidugi nii pappi kui advokaate lademes, tehisplära tõttu enda raha kaotanud  suvaline Joe neid tõenäoliselt ei morjenda. Mainekahju oleks ehk tõsisem argument.

Nüüd peab siis hakkama alternatiivlahendusi otsima (Yahoo Finance on kohmakas ja Linuxi veebilehitsejates hirmuimane). Kui see on nüüd tõesti Google’i teenuste järgmine arenguaste, siis meenutab see…. Ma ei tea, näiteks Sarumani “Sõrmuste isandas”. Alguses oli võimas ja hea, siis keeras kurjaks, ent oli mõnda aega ikka võimas. Ja lõpetas väga haledalt.

Eks nüüd ootame, millal ka otsimootor ära solgitakse (tegelikult on seda juba tehtud ka, aga vähemalt kasutajaliides ei ole esialgu veel lolliks läinud). Lõpetuseks tuleb seda võtta ka hea õppetunnina: mitte ükski suurfirma veebiteenus ei ole usaldusväärselt jätkusuutlik – tuleb kasutada selgelt vaba litsentsiga asju ning soovitavalt selliseid, mida saab endale ise paigaldada.

Tehisaru ja must lagi

Täna korraldas Riigikantselei Kirjanike Maja musta laega saalis avaliku arutelu teemal “Tehisaru ohtudest ja nende maandamisest: kelle käes on kontroll ja vastutus?”.

Esmalt tuleks korraldajaid tõsiselt tänada vajaliku ürituse eest. Seda valdkonda on vaja palju enam arutada ja lahti rääkida (ja just laia avalikkuse ees), kui seda seni on tehtud.

Aga palun mõelge teinekord koht ja aeg paremini läbi. Kirjanike Maja saal on pärit hoopis teisest ajastust ning algselt mõeldud selles samas majas elanud ENSV kirjanike eliidile. Korraldada midagi vanalinnas kell 9 hommikul tähendab üht kahest – kas otsida autole parkimiskohta (lihtne, aga üsna kallis lahendus oleks Vabaduse väljaku alune parkla) või tulla ühistranspordiga. Mõlemal juhul läbi kõige hullema tipptunni. Valisin bussi ja isegi ekspress nr 14 istus ummikutes. Kokku kulus rändamisele ligi kaks tundi. Kuna aga ürituse sihtgrupiks olid tõenäoliselt üsna aktiivsed ja hõivatud inimesed, siis tuleks sellega natuke rohkem arvestada. Praegu jäi ülaltoodud veebilehe järgi otsustades saalis tühjaks 22 kohta – kardetavasti oli üheks põhjuseks just aeg ja asukoht.

Mõlemad esinejad olid asjatundlikud inimesed, aga Risto Uuk esindas pigem LLM-i teemat ja prof. Maarja Kruusmaa närvivõrkude-põhist robootikat. Nende asjade riskid on üsna erinevad (ehkki on ka kokkupuutepunkte) – on päris palju selle ala inimesi, kes LLM-e õigeks tehisaruks ei peagi. Nii oligi, et kogu arutelu hajus ära liiga laiale alale ning lõpuks eriti kuhugi konkreetsesse punkti välja ei jõutud.

Ise tõstatasin privaatsuse ja hariduse teemad, millest teine jäeti täiesti arutelust kõrvale – minu arust on see vaat et kõige põletavam probleem ja seda just prof. Kruusmaa mainitud pöördumatuse tõttu. Suur osa inimestest suudab teadmisi omandada eeskätt nooruses – ja kui keskkooli- ja ülikooliaastad mööduvad pöidlaid keerutades (ei pea siin silmas mitte jõudeolekut, vaid nutiseadme näppimist, eeskätt LLM-ide kontekstis) ja enda pähe ei kogune eriti midagi, olemegi saanud hariduse mõistes kadunud põlvkonna.

Kui see piirdub mõne aastakäiguga, on see ehk veel ületatav – aga kardetavasti ei piirdu. Praegu on oht, et vähemalt 5-6 aastakäiku on enda tuleviku pöördumatult ära rikkunud – erandiks on vaid need vähesed, kes õpivad juba põhikoolis iseenda tuleviku nimel, mitte vanemate, õpetajate jt jaoks.

Lõpetuseks: tegelesin bussiga vanalinna kohale sõites natuke ühe sotsiaalmanipulatsiooni alla käiva tegevusega ehk üleõlapiilumisega. “Ohver” oli üks noorhärra, tõenäoliselt kesklinna gümnasist. Keerutas enda nutika kohal agarasti pöidlaid, ekraanil vaheldusid üks veidrate videodega sotsiaalvõrgustik (tõenäoliselt TikTok), riidepood (Zalando äkki) ja ChatGPT, kust pidevalt midagi küsiti. Kusjuures ka vaheldumine käis ca 10-20 sekundiliste intervallidega.

Must lagi on meie toal
ja meie ajal ka.
– Juhan Liiv

Nädalalõpusürr

Lõppenud nädalal läks uus semester käima ja tuli suht palju tõsist juttu rääkida. Vastukaaluks aga midagi teistsugust ka…

Esmalt sai vaadatud TV-kordusest Led Zeppelini algaegadest rääkivat dokkarit Becoming Led Zeppelin. Päris vahva vaatamine oli. Aga seal räägiti ka omaaegse hipiseltskonna karutükkidest ja selle kõige peegeldusena (aga ilma igasuguste aineteta, täitsa ausalt) sündis järgmine psühhedeelne värss:

Valge kassi unenägu:
nägi kolme peaga kägu
söömas küpsetatud peeti,
mida nööri otsas veeti.

Nojah, täna proovisin siis selle Copilotile ette sööta. Esimeses versioonis oli peet seotud käo jala külge ja lisaks kolmele peale oli sel ka kolm jalga. Teine oli aga juba rohkem täppi.

Kolme peaga kägu peeti jahtimas

Omaloominguna suutis tehisaru peedile rattad alla panna – ei tea, kas ta on Bläck Rokiti loominguga ka tuttav?

Aitäh Led Zeppelinile. 🙂

Jan areneb (aga inimene…?)

Ülikoolis promotavaid suurfirmade internetipõhiseid tehisarulahendusi (ChatGPT, Gemini, Llama, Copilot jt) ei kutsu endiselt kasutama – põhjustest on siin juba juttu olnud. Õnneks on hakanud vaikselt arenema ka vabatarkvaralised lokaalsed lahendused.

Kui eelmisel aastal oli Jan.ai veel paras kurioosum (sellestki on siin juttu olnud), siis praegune versioon 0.7.5 on juba ääriveeri uurimisassistendina kasutatav. Jan.ai toetab tervet rida erinevaid mudeleid, Jani enda arutlev mudel suudab nüüd juba dokumente töödelda ja eri asju analüüsida. Suudab endiselt ka hallukaid näha, nii et tasub olla kriitiline. Aga arutleva mudeli arutluskäike on päris põnev jälgida – kohati teeb päris inimlikke lollusi, kohati aga annab ka mõne uue vaatenurga. Sel kevadel tehisaru ilmselt veel enda õppematerjalide kallale ei laseks, aga edaspidi võib juba vaikselt seda kaaluda.

Samas on (üli)koolides aga endiselt täiesti lahendamata see, kuidas takistada areneval tehisarul üha rohkemate inimeste taandarendamist. Ja endiselt on suurim riskigrupp just need totumad tegelased, kes sellega endale massiliselt vaimset rämpstoitu toodavad. Kuna teisalt on välja kujunemas ka arukas vähemus, kes teab, millal tehisaru kasutada ja millal mitte, siis tõenäoliselt võib lähiaastatel toimuda hariduse suurem jagunemine “tarkade” ja “lollide” omaks. Ja ühiskonna vaates ei ole see muidugi üldse hea lahendus.

LLMi-buumist ülikoolis

Alates sellest, kui istuv president “TI-hüppe” välja kuulutas, on Tehnikaülikoolis käinud tohutu TI-promo. Välja on kuulutatud AI-tšempionide programm (naljakal kombel on siinkirjutaja ka üks neist – leiti, et keegi peab aeg-ajalt ka kriitilist häält tegema) ning kõikidele töötajatele reklaamitakse igat sorti selle valdkonna koolitusi.

Iseenesest on tore, et uute tehnoloogiatega tegeldakse – Tehnikaülikool peabki seda tegema (kes siis veel?). Ent kogu see õppetöö segilöömine AI-agentide ja “TI-assistentidega” on selgelt üle võlli läinud. Mõned punktid:

* LLMide lollikindlus jätab endiselt soovida. Seni, kuni kasvõi üks sajast vastusest on moodsa terminiga tööplönn (ehk näiliselt ilus, aga sisuliselt täielik jama), ei tohiks neid reaalses keskkonnas kasutada – ka siis, kui paljudel juhtudel ongi vastus reaalselt kasulik. Programmeerijad teavad, et kõige salakavalamad on loogikavead – programm töötab ja annab näiliselt õige väljundi, kuid vastus on vale. Praegu teevad LLM-id lollusi palju rohkem kui ühel korral sajast.

* Kõik TI-hüppe all promotavad LLM-id on omandvara ning ligipääsetavad võrgust. “Tee linnuke kasti ja me ei kasuta sinu andmeid”-juttu võib rääkida lasteaialastele. Ja omandvara aspekti võis näha ülikoolis mõne päeva eest, kui ülikoolile ostetud ChatGPT Edu litsentsid osutusid nii piiravateks, et olid suuresti kasutud. Õnneks seekord õnnestus mingid privileegid lahti saada, aga õppetund oli väga selge.

* Mõju üliõpilaste õppimisele, mõtlemisele ja kirjaoskusele on selgelt negatiivne. Olen praeguse SPEAIT kursuse raames külastanud kolleeg Kristjani läbiviidavaid seminare, kus tudengid ettekandeid teevad. Nii Kristjan pealikuna kui ka esinejad on iseenesest väga vahvad, palju annab juurde ka taustal toimuv tekstivestlus. Aga… Pea kõik esitlusslaidid on nähtavalt tehtud LLM-iga ning esinemises on see kohe näha. Ei ole vahet, kas slaidid on teinud LLM või teine inimene – oluline on see, et autoriks ei ole esineja ise. Ja kohe on ettekanne kramplik, puine ja sõnasõnaliselt slaidi tekstis kinni. Ning ka küsimustele vastamise võime kannatab, kuna inimene ei ole kogu materjali eelnevalt läbi “seedinud” ega ka mitte läbi kirjutanud (see viimane oli väga oluline juba keskkooli ajal – ja äkki oli nõuka-aegse ülikooli käsitsi konspekteerimises tüütuse kõrval ka midagi kasulikku?). Seega on siin sama seis kui turvalisuse ja mugavusega – mugavad süsteemid kipuvad olema ebaturvalised, kuna turvameetmed on tüütud…

Niisiis, siinkirjutaja arvates võiks ja peaks LLM-idega tegelema, aga

* palju suurema rõhuasetusega kohaliku paigaldusega ja vabavaralistele LLM-dele (näiteks PrivateGPT, LocalGPT, Jan.ai jt), vältimaks tootjalukustust;

* tehisarule antavate ülesannete vastutusrikkust tuleks suurendada järk-järgult vastavalt nende veakindluse paranemisele. Praegu tehakse suure hurraaga liiga tõsiseid asju – ei ole mõte kilplaste kombel ehitada alguses valesti ja siis pärast pingutada vigade ülesleidmise ja ärapaikamisega.

* ehkki vastutuse osas on välja öeldud, et vastutab inimene, tuleks see palju paremini paika panna. Praegu luuakse tehisarusüsteemidesse paras hulk viitsütikuga pomme – kui siis mingi aja pärast pauk käib ja tükid lendavad, peaks olema ka võimalik selle paugu tekitanud laisik üles leida.

* enne laiemat promo ülikoolis tuleks palju enam selgeks saada tegelik laiem mõju erinevatele protsessidele (sh õppimisele).

Katsetused PrivateGPT-ga

Kuna Kakul tuleb muu töö kõrval ka teadust teha, siis tekkis mõte proovida tehisaru abil teadusartiklite kokkuvõtete tegemist. Tingimuseks oli endiselt töötamine offlainis – ChatGPT, Copilot jt veebipõhised jäid välja.

Leidsin esmalt ühe sellise artikli ja sealt läksin edasi PrivateGPT peale. Leidus ka samm-sammuline paigaldusjuhend, mis aga oli juba pooleteise aasta vanune ning paaris kohas enam ei toiminud – muudatused tuli teha

a) kasutajaliidese paigalduses: praegu toimiv käsk on poetry install –extras “ui embeddings-huggingface llms-llama-cpp vector-stores-qdrant” , ja

b) CUDA paigalduses (üks parameeter tuli ära muuta): CMAKE_ARGS=’-DGGML_CUDA=on’ poetry run pip install –force-reinstall –no-cache-dir llama-cpp-python 

Muud sammud jäid (niivõrd, kuivõrd) tööle. Käima läks asi terminalist käsuga PGPT_PROFILES=local make run ning veebiliides töötas aadressil https://localhost:8001 (väidetavalt saab sinna ka muu aadressi panna, niisiis on see paigaldatav ka serverile – aga ise ei proovinud).

Linuxi ja Firefoxiga oli kasutajaliides veidi imelik – prompti aken jäi päris paremasse serva, vaid väike jupp paistis (alguses ei leidnudki kohe üles). Ent artikli kokkuvõtte tegemine (Summarize) täitsa toimis – PDF-kujul artikli sai kasutajaliidese kaudu ilusti ette sööta, kuid tulemust ei antud mitte kasutajaliidesesse, vaid hoopis terminaliaknasse. Kokkuvõte ise oli samas täiesti asjatundlik.

Nii et nüüd tuleb edasi katsetada (erinevate seadistustega ja lisaks Llamale ka teiste keelemudelitega).

Kirjutasin ühe TI-jorina

Tehnikaülikooli ajakiri “Mente et Manu” avaldas juuninumbris ära ka.

Lõppu lisatud dekaani arvamuse oleks selles artiklis ehk ära jätnud, see ei haaku eriti ülejäänud tekstiga. Soovitused olid algselt artiklis sees, aga nende väljatõstmine oli päris hea mõte.

APDEIT 26.06: eile käisin ingliskeelsete õppekavade lõpuaktusel. Kuna tolles ajakirjanumbris olid ka lõpetajate nimekirjad, siis pisteti see igale lõpetajale pihku – naersin, et juhendatavad said nüüd endale juhendaja pildi mälestuseks (loo juurde oli suur foto pandud). 🙂

APDEIT 30.07: see lugu tekitas üksjagu vastukaja ja avaldati ka ülikooli Trialoogi portaalis. Aitäh sealsele keeletoimetajale – üle pika aja näeb tõeliselt ilusat eesti keelt (tunnistan, et minu algne tekst läks märgatavalt paremaks – seevastu  M&M tekst oli pigem kehvemaks toimetatud, eriti ühes kohas). Eraldi tänu TalTechi käänamise eest kolledži nimes. 🙂

Tehisaru 50 punast varjundit

Vabadel hetkedel on jätkunud jan.ai näppimine. Nüüd vahetasin seal kasutatava keelemudeli Mistral 7B pealt LLaMa 3.2 vastu – alustasin esimesest, kuna Mistral on Euroopast (prantslaste oma) ja deklareeritult avatud lähtekoodiga, LLaMa on aga Meta poolt arendatud ja litsents on kinnisem.

Ent poliitilises vaates läks lugu natuke paremaks – Mistrali kipspäine küberkommunist asendus märksa leebema küber-sotsdemmiga. Nii tuli varasema küsimuse kordamisel ajaloos esinenud “vägivallatute ja demokraatlike” kommunismi ilmingute kohta nüüd vastuseks märksa huvitavamaid nähtusi:
* Norra Tööpartei (muidugi aga jäi Norra kui riigi edukuse juures mainimata nafta; ka ei ole Norra kindlasti sotsialistlik riik, nagu Jan arvab).
* Rootsi sotsiaaldemokraadid (tuleb tunnistada, et otsest autokraatiat sealsed vasakpoolsed tõesti ei harrasta – poliitkorrektsust aga küll ning tulemused on tänaseks ka selgelt näha).
* Islandi kooperatiiviliikumine 19.-20. sajandil (väga palju sellest ei tea, aga ka Islandi riigikorda ei saa vist sotsialismiks pidada – ja Islandi olukord on asukohast ja väiksusest tulenevalt üsna eripärane).
* Mondragoni kooperatiiviühendus Baskimaal (vist kõige huvitavam näide, mis on ka algsele küsimusele vist kõige lähemal – sealkandis on juba Hispaania kodusõjast alates vasakpoolsed domineerinud ning konkreetse ürituse juures ka mõnevõrra edukad olnud).
* Kurdide Rojava piirkond Põhja-Süürias (jällegi ei oska väga kommenteerida – niipaljukest aga siiski, et “kommunismi ja liberaalse demokraatia kombinatsioon” sealse piirkonna ajaloolises ja kultuurikontekstis ei kõla just ülearu usutavana).

Nii et ka siin tuli üksjagu vaieldavat asja, aga vähemalt ei tekkinud tahtmist selle virtuaalisiku peale karjuma hakata. Küsisin hoopis lisaküsimuse ja tahtsin teada, kas kusagil maailmas on õnnestunud kommunismi riigi tasemel edukalt juurutada.

Jan mainis seepeale Singapuri, Kuubat, Põhja-Koread ja Hiinat ning huvitaval kombel piiritles kõigil peale P-Korea ajaraami vastava režiimi algusaastatega, lisades ka mõned kriitilised hinnangud (autoritaarsuse, isikuvabaduste puudumise ja majandusliku ebaefektiivsuse) ja tunnistades, et tegemist ei ole siiski ühelgi juhul olnud “päris” kommunismi, vaid “mõningate kommunismi elementidega” režiimidega.

Seega: Jan on endiselt punane, aga varjund muutus mõistlikumaks. Katsetab mõnikord veel.