Kaku ajaveeb
… Slashdotist:
” LLM’s aren’t designed to provide correct answers, they are designed to provide plausible answers.” – kschendel
Suurte keelemudelite põhiprobleemi on raske paremini ühte lausesse kokku võtta. Probleeme on muidugi veel, järgmised on andmeprivaatsus ning loojatepoolne info kallutatus kombineerituna haavatavusega väga erinevatele mõjutusrünnetele (vt ka siin veidi eespool viidatud TTÜ innovatsioonifestivali ettekandeid).
Kasutasin paar viimast aastat Google Finance’i lihtsama aktsiainfo kiireks kättesaamiseks. Seal oli võimalik ka kümmekond aktsiat veebilehitseja eri sakkides avada ja nii saada täiesti korralik lihtne börsimonitor (ja see töötas ka ilma Google’isse sisse logimata). Suur osa Google’i kraamist on täiega ära sitastatud (ingl. k. enshittified), aga GF koos otsimootoriga olid veel täiesti asjalikud teenused.
Täna üllatas GF aga paari tunni jooksul sellega, et andis nimeserveri vea ning leht oli kättesaamatu. Mõtlesin veel, et näe, isegi suurtel juhtub… Aga õhtuks oli varasem kiire ja mõistlik teenus asendunud mingisuguse amatöörliku tööplönniga. Umbes nagu oleks mõni kolmemehest tudeng seal vaibkoodimas käinud.
Kõige krooniks oli allservas kuvatud lause, mis sai selle postituse pealkirjaks. Halloo!!! GF kasutajad liigutavad reaalset raha – see ei ole koht, kus tehisaru lollusi naljaga pooleks saab võtta. Google’il on muidugi nii pappi kui advokaate lademes, tehisplära tõttu enda raha kaotanud suvaline Joe neid tõenäoliselt ei morjenda. Mainekahju oleks ehk tõsisem argument.
Nüüd peab siis hakkama alternatiivlahendusi otsima (Yahoo Finance on kohmakas ja Linuxi veebilehitsejates hirmuimane). Kui see on nüüd tõesti Google’i teenuste järgmine arenguaste, siis meenutab see…. Ma ei tea, näiteks Sarumani “Sõrmuste isandas”. Alguses oli võimas ja hea, siis keeras kurjaks, ent oli mõnda aega ikka võimas. Ja lõpetas väga haledalt.
Eks nüüd ootame, millal ka otsimootor ära solgitakse (tegelikult on seda juba tehtud ka, aga vähemalt kasutajaliides ei ole esialgu veel lolliks läinud). Lõpetuseks tuleb seda võtta ka hea õppetunnina: mitte ükski suurfirma veebiteenus ei ole usaldusväärselt jätkusuutlik – tuleb kasutada selgelt vaba litsentsiga asju ning soovitavalt selliseid, mida saab endale ise paigaldada.
Täna korraldas Riigikantselei Kirjanike Maja musta laega saalis avaliku arutelu teemal “Tehisaru ohtudest ja nende maandamisest: kelle käes on kontroll ja vastutus?”.
Esmalt tuleks korraldajaid tõsiselt tänada vajaliku ürituse eest. Seda valdkonda on vaja palju enam arutada ja lahti rääkida (ja just laia avalikkuse ees), kui seda seni on tehtud.
Aga palun mõelge teinekord koht ja aeg paremini läbi. Kirjanike Maja saal on pärit hoopis teisest ajastust ning algselt mõeldud selles samas majas elanud ENSV kirjanike eliidile. Korraldada midagi vanalinnas kell 9 hommikul tähendab üht kahest – kas otsida autole parkimiskohta (lihtne, aga üsna kallis lahendus oleks Vabaduse väljaku alune parkla) või tulla ühistranspordiga. Mõlemal juhul läbi kõige hullema tipptunni. Valisin bussi ja isegi ekspress nr 14 istus ummikutes. Kokku kulus rändamisele ligi kaks tundi. Kuna aga ürituse sihtgrupiks olid tõenäoliselt üsna aktiivsed ja hõivatud inimesed, siis tuleks sellega natuke rohkem arvestada. Praegu jäi ülaltoodud veebilehe järgi otsustades saalis tühjaks 22 kohta – kardetavasti oli üheks põhjuseks just aeg ja asukoht.
Mõlemad esinejad olid asjatundlikud inimesed, aga Risto Uuk esindas pigem LLM-i teemat ja prof. Maarja Kruusmaa närvivõrkude-põhist robootikat. Nende asjade riskid on üsna erinevad (ehkki on ka kokkupuutepunkte) – on päris palju selle ala inimesi, kes LLM-e õigeks tehisaruks ei peagi. Nii oligi, et kogu arutelu hajus ära liiga laiale alale ning lõpuks eriti kuhugi konkreetsesse punkti välja ei jõutud.
Ise tõstatasin privaatsuse ja hariduse teemad, millest teine jäeti täiesti arutelust kõrvale – minu arust on see vaat et kõige põletavam probleem ja seda just prof. Kruusmaa mainitud pöördumatuse tõttu. Suur osa inimestest suudab teadmisi omandada eeskätt nooruses – ja kui keskkooli- ja ülikooliaastad mööduvad pöidlaid keerutades (ei pea siin silmas mitte jõudeolekut, vaid nutiseadme näppimist, eeskätt LLM-ide kontekstis) ja enda pähe ei kogune eriti midagi, olemegi saanud hariduse mõistes kadunud põlvkonna.
Kui see piirdub mõne aastakäiguga, on see ehk veel ületatav – aga kardetavasti ei piirdu. Praegu on oht, et vähemalt 5-6 aastakäiku on enda tuleviku pöördumatult ära rikkunud – erandiks on vaid need vähesed, kes õpivad juba põhikoolis iseenda tuleviku nimel, mitte vanemate, õpetajate jt jaoks.
Lõpetuseks: tegelesin bussiga vanalinna kohale sõites natuke ühe sotsiaalmanipulatsiooni alla käiva tegevusega ehk üleõlapiilumisega. “Ohver” oli üks noorhärra, tõenäoliselt kesklinna gümnasist. Keerutas enda nutika kohal agarasti pöidlaid, ekraanil vaheldusid üks veidrate videodega sotsiaalvõrgustik (tõenäoliselt TikTok), riidepood (Zalando äkki) ja ChatGPT, kust pidevalt midagi küsiti. Kusjuures ka vaheldumine käis ca 10-20 sekundiliste intervallidega.
Must lagi on meie toal
ja meie ajal ka.
– Juhan Liiv
Lõppenud nädalal läks uus semester käima ja tuli suht palju tõsist juttu rääkida. Vastukaaluks aga midagi teistsugust ka…
Esmalt sai vaadatud TV-kordusest Led Zeppelini algaegadest rääkivat dokkarit Becoming Led Zeppelin. Päris vahva vaatamine oli. Aga seal räägiti ka omaaegse hipiseltskonna karutükkidest ja selle kõige peegeldusena (aga ilma igasuguste aineteta, täitsa ausalt) sündis järgmine psühhedeelne värss:
Valge kassi unenägu:
nägi kolme peaga kägu
söömas küpsetatud peeti,
mida nööri otsas veeti.
Nojah, täna proovisin siis selle Copilotile ette sööta. Esimeses versioonis oli peet seotud käo jala külge ja lisaks kolmele peale oli sel ka kolm jalga. Teine oli aga juba rohkem täppi.
Omaloominguna suutis tehisaru peedile rattad alla panna – ei tea, kas ta on Bläck Rokiti loominguga ka tuttav?
Aitäh Led Zeppelinile. 🙂
Ülikoolis promotavaid suurfirmade internetipõhiseid tehisarulahendusi (ChatGPT, Gemini, Llama, Copilot jt) ei kutsu endiselt kasutama – põhjustest on siin juba juttu olnud. Õnneks on hakanud vaikselt arenema ka vabatarkvaralised lokaalsed lahendused.
Kui eelmisel aastal oli Jan.ai veel paras kurioosum (sellestki on siin juttu olnud), siis praegune versioon 0.7.5 on juba ääriveeri uurimisassistendina kasutatav. Jan.ai toetab tervet rida erinevaid mudeleid, Jani enda arutlev mudel suudab nüüd juba dokumente töödelda ja eri asju analüüsida. Suudab endiselt ka hallukaid näha, nii et tasub olla kriitiline. Aga arutleva mudeli arutluskäike on päris põnev jälgida – kohati teeb päris inimlikke lollusi, kohati aga annab ka mõne uue vaatenurga. Sel kevadel tehisaru ilmselt veel enda õppematerjalide kallale ei laseks, aga edaspidi võib juba vaikselt seda kaaluda.
Samas on (üli)koolides aga endiselt täiesti lahendamata see, kuidas takistada areneval tehisarul üha rohkemate inimeste taandarendamist. Ja endiselt on suurim riskigrupp just need totumad tegelased, kes sellega endale massiliselt vaimset rämpstoitu toodavad. Kuna teisalt on välja kujunemas ka arukas vähemus, kes teab, millal tehisaru kasutada ja millal mitte, siis tõenäoliselt võib lähiaastatel toimuda hariduse suurem jagunemine “tarkade” ja “lollide” omaks. Ja ühiskonna vaates ei ole see muidugi üldse hea lahendus.
Alates sellest, kui istuv president “TI-hüppe” välja kuulutas, on Tehnikaülikoolis käinud tohutu TI-promo. Välja on kuulutatud AI-tšempionide programm (naljakal kombel on siinkirjutaja ka üks neist – leiti, et keegi peab aeg-ajalt ka kriitilist häält tegema) ning kõikidele töötajatele reklaamitakse igat sorti selle valdkonna koolitusi.
Iseenesest on tore, et uute tehnoloogiatega tegeldakse – Tehnikaülikool peabki seda tegema (kes siis veel?). Ent kogu see õppetöö segilöömine AI-agentide ja “TI-assistentidega” on selgelt üle võlli läinud. Mõned punktid:
* LLMide lollikindlus jätab endiselt soovida. Seni, kuni kasvõi üks sajast vastusest on moodsa terminiga tööplönn (ehk näiliselt ilus, aga sisuliselt täielik jama), ei tohiks neid reaalses keskkonnas kasutada – ka siis, kui paljudel juhtudel ongi vastus reaalselt kasulik. Programmeerijad teavad, et kõige salakavalamad on loogikavead – programm töötab ja annab näiliselt õige väljundi, kuid vastus on vale. Praegu teevad LLM-id lollusi palju rohkem kui ühel korral sajast.
* Kõik TI-hüppe all promotavad LLM-id on omandvara ning ligipääsetavad võrgust. “Tee linnuke kasti ja me ei kasuta sinu andmeid”-juttu võib rääkida lasteaialastele. Ja omandvara aspekti võis näha ülikoolis mõne päeva eest, kui ülikoolile ostetud ChatGPT Edu litsentsid osutusid nii piiravateks, et olid suuresti kasutud. Õnneks seekord õnnestus mingid privileegid lahti saada, aga õppetund oli väga selge.
* Mõju üliõpilaste õppimisele, mõtlemisele ja kirjaoskusele on selgelt negatiivne. Olen praeguse SPEAIT kursuse raames külastanud kolleeg Kristjani läbiviidavaid seminare, kus tudengid ettekandeid teevad. Nii Kristjan pealikuna kui ka esinejad on iseenesest väga vahvad, palju annab juurde ka taustal toimuv tekstivestlus. Aga… Pea kõik esitlusslaidid on nähtavalt tehtud LLM-iga ning esinemises on see kohe näha. Ei ole vahet, kas slaidid on teinud LLM või teine inimene – oluline on see, et autoriks ei ole esineja ise. Ja kohe on ettekanne kramplik, puine ja sõnasõnaliselt slaidi tekstis kinni. Ning ka küsimustele vastamise võime kannatab, kuna inimene ei ole kogu materjali eelnevalt läbi “seedinud” ega ka mitte läbi kirjutanud (see viimane oli väga oluline juba keskkooli ajal – ja äkki oli nõuka-aegse ülikooli käsitsi konspekteerimises tüütuse kõrval ka midagi kasulikku?). Seega on siin sama seis kui turvalisuse ja mugavusega – mugavad süsteemid kipuvad olema ebaturvalised, kuna turvameetmed on tüütud…
Niisiis, siinkirjutaja arvates võiks ja peaks LLM-idega tegelema, aga
* palju suurema rõhuasetusega kohaliku paigaldusega ja vabavaralistele LLM-dele (näiteks PrivateGPT, LocalGPT, Jan.ai jt), vältimaks tootjalukustust;
* tehisarule antavate ülesannete vastutusrikkust tuleks suurendada järk-järgult vastavalt nende veakindluse paranemisele. Praegu tehakse suure hurraaga liiga tõsiseid asju – ei ole mõte kilplaste kombel ehitada alguses valesti ja siis pärast pingutada vigade ülesleidmise ja ärapaikamisega.
* ehkki vastutuse osas on välja öeldud, et vastutab inimene, tuleks see palju paremini paika panna. Praegu luuakse tehisarusüsteemidesse paras hulk viitsütikuga pomme – kui siis mingi aja pärast pauk käib ja tükid lendavad, peaks olema ka võimalik selle paugu tekitanud laisik üles leida.
* enne laiemat promo ülikoolis tuleks palju enam selgeks saada tegelik laiem mõju erinevatele protsessidele (sh õppimisele).
Kuna Kakul tuleb muu töö kõrval ka teadust teha, siis tekkis mõte proovida tehisaru abil teadusartiklite kokkuvõtete tegemist. Tingimuseks oli endiselt töötamine offlainis – ChatGPT, Copilot jt veebipõhised jäid välja.
Leidsin esmalt ühe sellise artikli ja sealt läksin edasi PrivateGPT peale. Leidus ka samm-sammuline paigaldusjuhend, mis aga oli juba pooleteise aasta vanune ning paaris kohas enam ei toiminud – muudatused tuli teha
a) kasutajaliidese paigalduses: praegu toimiv käsk on poetry install –extras “ui embeddings-huggingface llms-llama-cpp vector-stores-qdrant” , ja
b) CUDA paigalduses (üks parameeter tuli ära muuta): CMAKE_ARGS=’-DGGML_CUDA=on’ poetry run pip install –force-reinstall –no-cache-dir llama-cpp-python
Muud sammud jäid (niivõrd, kuivõrd) tööle. Käima läks asi terminalist käsuga PGPT_PROFILES=local make run ning veebiliides töötas aadressil https://localhost:8001 (väidetavalt saab sinna ka muu aadressi panna, niisiis on see paigaldatav ka serverile – aga ise ei proovinud).
Linuxi ja Firefoxiga oli kasutajaliides veidi imelik – prompti aken jäi päris paremasse serva, vaid väike jupp paistis (alguses ei leidnudki kohe üles). Ent artikli kokkuvõtte tegemine (Summarize) täitsa toimis – PDF-kujul artikli sai kasutajaliidese kaudu ilusti ette sööta, kuid tulemust ei antud mitte kasutajaliidesesse, vaid hoopis terminaliaknasse. Kokkuvõte ise oli samas täiesti asjatundlik.
Nii et nüüd tuleb edasi katsetada (erinevate seadistustega ja lisaks Llamale ka teiste keelemudelitega).
Tehnikaülikooli ajakiri “Mente et Manu” avaldas juuninumbris ära ka.
Lõppu lisatud dekaani arvamuse oleks selles artiklis ehk ära jätnud, see ei haaku eriti ülejäänud tekstiga. Soovitused olid algselt artiklis sees, aga nende väljatõstmine oli päris hea mõte.
APDEIT 26.06: eile käisin ingliskeelsete õppekavade lõpuaktusel. Kuna tolles ajakirjanumbris olid ka lõpetajate nimekirjad, siis pisteti see igale lõpetajale pihku – naersin, et juhendatavad said nüüd endale juhendaja pildi mälestuseks (loo juurde oli suur foto pandud). 🙂
APDEIT 30.07: see lugu tekitas üksjagu vastukaja ja avaldati ka ülikooli Trialoogi portaalis. Aitäh sealsele keeletoimetajale – üle pika aja näeb tõeliselt ilusat eesti keelt (tunnistan, et minu algne tekst läks märgatavalt paremaks – seevastu M&M tekst oli pigem kehvemaks toimetatud, eriti ühes kohas). Eraldi tänu TalTechi käänamise eest kolledži nimes. 🙂
Vabadel hetkedel on jätkunud jan.ai näppimine. Nüüd vahetasin seal kasutatava keelemudeli Mistral 7B pealt LLaMa 3.2 vastu – alustasin esimesest, kuna Mistral on Euroopast (prantslaste oma) ja deklareeritult avatud lähtekoodiga, LLaMa on aga Meta poolt arendatud ja litsents on kinnisem.
Ent poliitilises vaates läks lugu natuke paremaks – Mistrali kipspäine küberkommunist asendus märksa leebema küber-sotsdemmiga. Nii tuli varasema küsimuse kordamisel ajaloos esinenud “vägivallatute ja demokraatlike” kommunismi ilmingute kohta nüüd vastuseks märksa huvitavamaid nähtusi:
* Norra Tööpartei (muidugi aga jäi Norra kui riigi edukuse juures mainimata nafta; ka ei ole Norra kindlasti sotsialistlik riik, nagu Jan arvab).
* Rootsi sotsiaaldemokraadid (tuleb tunnistada, et otsest autokraatiat sealsed vasakpoolsed tõesti ei harrasta – poliitkorrektsust aga küll ning tulemused on tänaseks ka selgelt näha).
* Islandi kooperatiiviliikumine 19.-20. sajandil (väga palju sellest ei tea, aga ka Islandi riigikorda ei saa vist sotsialismiks pidada – ja Islandi olukord on asukohast ja väiksusest tulenevalt üsna eripärane).
* Mondragoni kooperatiiviühendus Baskimaal (vist kõige huvitavam näide, mis on ka algsele küsimusele vist kõige lähemal – sealkandis on juba Hispaania kodusõjast alates vasakpoolsed domineerinud ning konkreetse ürituse juures ka mõnevõrra edukad olnud).
* Kurdide Rojava piirkond Põhja-Süürias (jällegi ei oska väga kommenteerida – niipaljukest aga siiski, et “kommunismi ja liberaalse demokraatia kombinatsioon” sealse piirkonna ajaloolises ja kultuurikontekstis ei kõla just ülearu usutavana).
Nii et ka siin tuli üksjagu vaieldavat asja, aga vähemalt ei tekkinud tahtmist selle virtuaalisiku peale karjuma hakata. Küsisin hoopis lisaküsimuse ja tahtsin teada, kas kusagil maailmas on õnnestunud kommunismi riigi tasemel edukalt juurutada.
Jan mainis seepeale Singapuri, Kuubat, Põhja-Koread ja Hiinat ning huvitaval kombel piiritles kõigil peale P-Korea ajaraami vastava režiimi algusaastatega, lisades ka mõned kriitilised hinnangud (autoritaarsuse, isikuvabaduste puudumise ja majandusliku ebaefektiivsuse) ja tunnistades, et tegemist ei ole siiski ühelgi juhul olnud “päris” kommunismi, vaid “mõningate kommunismi elementidega” režiimidega.
Seega: Jan on endiselt punane, aga varjund muutus mõistlikumaks. Katsetab mõnikord veel.
Tänasel kolledži personali koosolekul tuli jutuks, et praegu on rahvusvaheline ja ingliskeelne küberi bakalaureuseõppe seltskond päris heas seisus, rebastest vist ei ole veel keegi välja kukkunud. Seega see üsna karm sõelumine, mida me igal aastal tudengikandidaatidega teeme, on päris head vilja kandnud.
Siis aga hakkas endal peas idanema üks düstoopilisevõitu mõte, mille lõpuks ka välja ütlesin – nimelt see pealkirjas toodud küsimus. Praegu altpoolt ülikooli tulev seltskond on kõigi nende omaduste osas, mida küberturbes vaja läheb – loogiline (sh matemaatiline) ja kriitiline mõtlemine, analüütiline (mõttega) lugemisoskus, protsesside jälgimis-, ettenägemis- ja kavandamisoskus, stressitaluvus, loomingulisus ja hea väljendusoskus eri tasanditel (sh dokumenteerimine) – , selgelt allamäge minemas ning mingist hetkest alates ei pruugi nad enam ollagi suutelised seda valdkonda omandama. Ja praeguse aja AI-hullus muidugi ei tee olukorda just paremaks.
Kusjuures rahvusvaheline seltskond ehk need, kes eri maadest siia kokku on sõitnud, on hinnanguliselt viiendiku võrra vähem lootusetud kui siinsed, kõige sügavam probleem on siinsamas Eestis. Põhjusi on palju – alates pandeemia tekitatud hariduseaugust ning lõpetades arutu maaniani ulatuva AI-vaimustuse, erinevate lollakate ideoloogiate mõjude ja lihtsalt väga pikka aega valesti kasvatatud noortega.
Koolid on kaua aega vaadanud ainult kitsalt lõpptulemust (testi või eksami oma) ning jätnud täiesti kõrvale laiemad protsessid (mida mingi asja õppimine mingil viisil annab inimese üldisele arengule või mingi laiema pädevusteringi omandamisele). Kasvõi see hiljutine uudis on hea näide.
“Vana kooli” mängud arendasid nii aju, füüsist kui sotsiaalseid oskusi. Raamatud andsid eri taseme tekstide lugemise ja ka kirjutamise (eeskuju!) oskuse, arendasid fantaasiat ja parandasid püsivust. Muusika arendas nii käelisi oskusi, fantaasiat ja loovust kui ka üldist tundeelu. Kirjatehnika arendas lisaks näpuosavusele ka aju (see aspekt on ilmselt ammu unustatud!). Tööõpetus andis mõned praktilised oskused, eelkõige aga võttis vähemaks hirmu omaenese kätega millegi katsetamise ees. Ja viimaks andis distsipliin inimesele ühiskondliku raamistiku (piirid lubatu ja lubamatu ning hea ja kurja vahel) ning lõi eelduse toimiva ühiskonnaliikme üleskasvamiseks (muide, laenates ühe mõtte kirjandusklassikast: ka õpetaja Lauri tunnis oli kord majas…).
Kõik see on tänastes koolides (tegelikult juba lasteaedades) suurel määral torust alla lastud. Asemele on tulnud nutiseadmed ja AI, kahtlase väärtusega haridusteooriad ja üleüldine suur vabadus (ilma vastutuseta), mis lõpptulemusena toodab peamiselt segadust ja ebakindlust (“kui kõik on lubatud, siis mida ma üldse tegema peaks?”). Ja kui nõuka-ajal suutis suure osa kogu ametlikust totrusest neutraliseerida kodu, siis paraku tänaseks on erinevatel vasakideoloogidel õnnestunudki perekond kui institutsioon päris suurel määral ära lõhkuda (töö on käinud juba mõnda aega paljude ühiskonna osade, sh ka hariduse kallal).
Seega lähiaastatel siis paistab, kui kaua veel ülikoolis küberturvet bakalaureusetasemel õpetada saab (magistrisse astuvad natuke vanemad inimesed ja sinna jõuavad need protsessid mõnevõrra hiljem). Aga väga optimistlik siin kahjuks olla ei julge.