LLMi-buumist ülikoolis

Alates sellest, kui istuv president “TI-hüppe” välja kuulutas, on Tehnikaülikoolis käinud tohutu TI-promo. Välja on kuulutatud AI-tšempionide programm (naljakal kombel on siinkirjutaja ka üks neist – leiti, et keegi peab aeg-ajalt ka kriitilist häält tegema) ning kõikidele töötajatele reklaamitakse igat sorti selle valdkonna koolitusi.

Iseenesest on tore, et uute tehnoloogiatega tegeldakse – Tehnikaülikool peabki seda tegema (kes siis veel?). Ent kogu see õppetöö segilöömine AI-agentide ja “TI-assistentidega” on selgelt üle võlli läinud. Mõned punktid:

* LLMide lollikindlus jätab endiselt soovida. Seni, kuni kasvõi üks sajast vastusest on moodsa terminiga tööplönn (ehk näiliselt ilus, aga sisuliselt täielik jama), ei tohiks neid reaalses keskkonnas kasutada – ka siis, kui paljudel juhtudel ongi vastus reaalselt kasulik. Programmeerijad teavad, et kõige salakavalamad on loogikavead – programm töötab ja annab näiliselt õige väljundi, kuid vastus on vale. Praegu teevad LLM-id lollusi palju rohkem kui ühel korral sajast.

* Kõik TI-hüppe all promotavad LLM-id on omandvara ning ligipääsetavad võrgust. “Tee linnuke kasti ja me ei kasuta sinu andmeid”-juttu võib rääkida lasteaialastele. Ja omandvara aspekti võis näha ülikoolis mõne päeva eest, kui ülikoolile ostetud ChatGPT Edu litsentsid osutusid nii piiravateks, et olid suuresti kasutud. Õnneks seekord õnnestus mingid privileegid lahti saada, aga õppetund oli väga selge.

* Mõju üliõpilaste õppimisele, mõtlemisele ja kirjaoskusele on selgelt negatiivne. Olen praeguse SPEAIT kursuse raames külastanud kolleeg Kristjani läbiviidavaid seminare, kus tudengid ettekandeid teevad. Nii Kristjan pealikuna kui ka esinejad on iseenesest väga vahvad, palju annab juurde ka taustal toimuv tekstivestlus. Aga… Pea kõik esitlusslaidid on nähtavalt tehtud LLM-iga ning esinemises on see kohe näha. Ei ole vahet, kas slaidid on teinud LLM või teine inimene – oluline on see, et autoriks ei ole esineja ise. Ja kohe on ettekanne kramplik, puine ja sõnasõnaliselt slaidi tekstis kinni. Ning ka küsimustele vastamise võime kannatab, kuna inimene ei ole kogu materjali eelnevalt läbi “seedinud” ega ka mitte läbi kirjutanud (see viimane oli väga oluline juba keskkooli ajal – ja äkki oli nõuka-aegse ülikooli käsitsi konspekteerimises tüütuse kõrval ka midagi kasulikku?). Seega on siin sama seis kui turvalisuse ja mugavusega – mugavad süsteemid kipuvad olema ebaturvalised, kuna turvameetmed on tüütud…

Niisiis, siinkirjutaja arvates võiks ja peaks LLM-idega tegelema, aga

* palju suurema rõhuasetusega kohaliku paigaldusega ja vabavaralistele LLM-dele (näiteks PrivateGPT, LocalGPT, Jan.ai jt), vältimaks tootjalukustust;

* tehisarule antavate ülesannete vastutusrikkust tuleks suurendada järk-järgult vastavalt nende veakindluse paranemisele. Praegu tehakse suure hurraaga liiga tõsiseid asju – ei ole mõte kilplaste kombel ehitada alguses valesti ja siis pärast pingutada vigade ülesleidmise ja ärapaikamisega.

* ehkki vastutuse osas on välja öeldud, et vastutab inimene, tuleks see palju paremini paika panna. Praegu luuakse tehisarusüsteemidesse paras hulk viitsütikuga pomme – kui siis mingi aja pärast pauk käib ja tükid lendavad, peaks olema ka võimalik selle paugu tekitanud laisik üles leida.

* enne laiemat promo ülikoolis tuleks palju enam selgeks saada tegelik laiem mõju erinevatele protsessidele (sh õppimisele).

Katsetused PrivateGPT-ga

Kuna Kakul tuleb muu töö kõrval ka teadust teha, siis tekkis mõte proovida tehisaru abil teadusartiklite kokkuvõtete tegemist. Tingimuseks oli endiselt töötamine offlainis – ChatGPT, Copilot jt veebipõhised jäid välja.

Leidsin esmalt ühe sellise artikli ja sealt läksin edasi PrivateGPT peale. Leidus ka samm-sammuline paigaldusjuhend, mis aga oli juba pooleteise aasta vanune ning paaris kohas enam ei toiminud – muudatused tuli teha

a) kasutajaliidese paigalduses: praegu toimiv käsk on poetry install –extras “ui embeddings-huggingface llms-llama-cpp vector-stores-qdrant” , ja

b) CUDA paigalduses (üks parameeter tuli ära muuta): CMAKE_ARGS=’-DGGML_CUDA=on’ poetry run pip install –force-reinstall –no-cache-dir llama-cpp-python 

Muud sammud jäid (niivõrd, kuivõrd) tööle. Käima läks asi terminalist käsuga PGPT_PROFILES=local make run ning veebiliides töötas aadressil https://localhost:8001 (väidetavalt saab sinna ka muu aadressi panna, niisiis on see paigaldatav ka serverile – aga ise ei proovinud).

Linuxi ja Firefoxiga oli kasutajaliides veidi imelik – prompti aken jäi päris paremasse serva, vaid väike jupp paistis (alguses ei leidnudki kohe üles). Ent artikli kokkuvõtte tegemine (Summarize) täitsa toimis – PDF-kujul artikli sai kasutajaliidese kaudu ilusti ette sööta, kuid tulemust ei antud mitte kasutajaliidesesse, vaid hoopis terminaliaknasse. Kokkuvõte ise oli samas täiesti asjatundlik.

Nii et nüüd tuleb edasi katsetada (erinevate seadistustega ja lisaks Llamale ka teiste keelemudelitega).

Windows?

Kodus on laual kaks arvutit, milles põhilise süsteemina on juba mitmeid aastaid toiminud Linux Mint. Kuna aga mõlemad on pärit omaaegsest IT Kolledžist, siis jäi sinna dualbuuti ka Windows 10. Kasutanud seda praktiliselt ei ole, olen 1-2 korda aastas selle käima lasknud ja ära uuendanud.

Nüüd oktoobris sai Windows 10 ametlikult otsa. Laenasin kolledži Windowsi adminnilt pulga (TTÜ õppejõududele on MS tarkvara kodukasutus täitsa sätestatud) ja panin täna mõlemale masinale Linuxi kõrvale ka Windows 11 peale.

Muutunud midagi väga ei olnud. Sain natuke uusi asju teada (kuidas ketas MBR pealt GPT peale viia – lõpuks tegin nii, nagu siin esimeses soovituses; lisaks see, kuidas pääseda Microsofti konto tegemisest Command Prompti abil). Mis aga ei ole muutunud, on “keerutavad vihmaussid”, mis paluvad natuke (nii umbes pool tunnikest) oodata. Tavapärane Microsoft, üldse ei kutsu kasutama.

Tänase seisuga ei ole Kakul Windowsi juba 25 aastat vaja läinud. Ehk veab veel teist samapalju välja. 🙂 Nii et vastus pealkirjas toodud küsimusele on endiselt “Tänan, ei”.

Kirjutasin ühe TI-jorina

Tehnikaülikooli ajakiri “Mente et Manu” avaldas juuninumbris ära ka.

Lõppu lisatud dekaani arvamuse oleks selles artiklis ehk ära jätnud, see ei haaku eriti ülejäänud tekstiga. Soovitused olid algselt artiklis sees, aga nende väljatõstmine oli päris hea mõte.

APDEIT 26.06: eile käisin ingliskeelsete õppekavade lõpuaktusel. Kuna tolles ajakirjanumbris olid ka lõpetajate nimekirjad, siis pisteti see igale lõpetajale pihku – naersin, et juhendatavad said nüüd endale juhendaja pildi mälestuseks (loo juurde oli suur foto pandud). 🙂

APDEIT 30.07: see lugu tekitas üksjagu vastukaja ja avaldati ka ülikooli Trialoogi portaalis. Aitäh sealsele keeletoimetajale – üle pika aja näeb tõeliselt ilusat eesti keelt (tunnistan, et minu algne tekst läks märgatavalt paremaks – seevastu  M&M tekst oli pigem kehvemaks toimetatud, eriti ühes kohas). Eraldi tänu TalTechi käänamise eest kolledži nimes. 🙂

Semestri kokkuvõte

Tänasega võib selle kevade õppetööle joone alla tõmmata – viimased kolm juhendatavat said edukalt lõppkaitsmiselt läbi. Homme tuleb veel esmakordselt kaitsmiskomisjoni juhtida (eelkaitsmisel tegelikult sai juba korra proovitud, läks kenasti), aga õpilastega on selleks korraks joon all. Seega 2025. aasta kevadsemestri bilanss:
* ITSPEA e-kursus: deklareeris 64, lõpetas 45. Suurem osa neist, kes läbi ei saanud, tegelikult ei alustanudki – osalejad jäid üldiselt rahule. Ja mis oli huvitav: tehisaru abil kirjutamist esines kardetust palju vähem (ja mitmed ütlesid, et ise kirjutamine oli nende teadlik valik). Nii et võib-olla on kirjutamispõhine kursus siiski veel võimalik. Tõsi, suuremas osas oli siin sessioonõppe seltskond, kes on reeglina natuke vanemad (samas oli ka adminne, kellele see on valikaine).
* Sotsiaalmanipulatsioon: deklareeris 90, lõpetas 73. Sel korral tegin kursust üksi, kolleeg oli hõivatud perekondlike kohustustega. Aga läks samuti hästi – sünkroonne e-õpe näib ka rebastele sobivat. Ja partnerülikoolidest (EuroTEQ-võrgustik) tuleb iga aastaga üha enam osalejaid (tõsi, külaliste seas on reaalselt mittealustajaid ja varakult väljakukkujaid rohkem kui “kohalike” ehk meie enda rahvusvahelise küberiteseltskonna hulgas).
* Informaatika valikteemade kursuse küberohutuse moodul: deklareeris 32, (mooduli) lõpetas 29. See oli esmakordselt kavas ja mõeldud insenerierialade rebastele. Kursus läks kenasti, aga otsustasin selle mooduli ühele kolleegile edasi anda.
* Lõputööde juhendamine: 2 magistrit, 8 bakalaureust. Kirju seltskond: neli ukrainlast, kolm eestlast (ja lisaks üks Ida-Viru eestivenelane), türklane ja turkmeen. Hinded kokku 3 x 5, 4 x 4, 2 x 3, 1 x 2 . Üks diplomand võeti valmis lõputööga rajalt maha, ei pääsenud (minu arust üsna vaieldavatel asjaoludel) praktikakaitsmiselt läbi.
* Teadustöö: 2 + 1 ETIS 3.1 rubriigi artiklit (üks avaldati sel semestril, kirjutasime-esitasime eelmisel). Seekord tuleb jaaniõhtul ka teadust teha – rootslased seda püha ilmselt ei pea, igatahes toimub Göteborgis HCII 2025 konverents ja ma peame Birgyga seal ettekandeid tegema.

Üldiselt aga võib enam-vähem rahule jääda.

IT Kolledž 25

Täna möödus siis veerand sajandit IT Kolledži asutamisest. Huvitaval kombel on seda arvepidamist peale 2017. aastat jätkatud ning nüüd tehti lausa suurem tähistamine.

Tore oli näha üle pika aja paljusid vilistlasi ja ka mõnd vana kolleegi. Kalle tegi väga vahva ülevaate nendest 25 aastast ja praegune direktor Sirja rääkis tänasest kolledžist. Lisaks võeti jutuks veel mõned potentsiaalsed tegevussuunad.

Aga nagu ka ühelt kolleegilt vastuseks sain: see ei ole enam ikkagi seesama. Kahju, et Eesti üht unikaalseimat õppeasutust sellisena hoida ei suudetud. Praegu on potentsiaal midagi huvitavat üles ehitada täiesti olemas, aga see tuleb siis juba mingi uus asi.

IT Kolledž 25

Tarkvara tähtsates asutustes

Sai siin arutatud teemal, kuidas hoida kõikvõimalikke kaake erinevate salastatud materjaliga tegelevate seltsingute arvutitest eemal. Mingi osa sealsest seltskonnast usub paraku ikka veel igasuguste sertifikaatide jõusse kinnise lähtekoodiga tarkvara juures.

Mõned siinkirjutaja mõtted:
* kogu mänguväli piirneb ainult avatud lähtekoodiga, kinnine on a priori ebausaldusväärne
* valitud tarkvara lähtekood paigaldatakse (kindlam on offlainis) samadesse arvutitesse, kus see tööle hakkaks, ning tehakse sellele kohapeal koodiaudit
* auditi läbinud lähtekoodile tehakse kohapeal ./configuremake  ja make install
*
võimalusel peaks järgnema mõningane karantiini-/testimisperiood, kus reaalselt salastatud materjali kallale uut tarkvara veel ei lasta
* kui kõik eelnev on edukalt ühel pool, siis võiks reaalsete andmetega tööle hakata.

Selline lähenemine eeldab aga kolme asja:
* teenuste sisseostmise pea täielikku vältimist (kõiki tuleb pidada ebausaldusväärseks) ja toimetulekut majasiseste jõududega
* läbimõeldud uuendamisprotsessi üldise põhimõttega “nii palju kui vajalik, nii vähe  kui võimalik”
* väga põhjalikult testitud minimaalset tarkvaralist tuumikut (mille abil süsteem algkäivitada ja tarkvara lähtekoodist kokku kompileerida).

Semestri kokkuvõte

Lõppenud sügissemestril sai üle pika aja ehk natuke rahulikumalt võetud. Bilanssi jäid

* ingliskeelse SPEAIT e-loengute (kombinatsioon tavaloengust, taustavestlusest ja 3-5 arutelupausist) pidamine ülikooli MS Teamsis ca 65-le küberturberebasele
* ühekordse üritusena ITX0010 küberohutuse mooduli läbiviimine (samamoodi MS Teamsi e-loengute ja -seminaridena) 30-le insenerierialade rebasele
* 3 bakalaureusetöö juhendamine – tulemus oli 1 x 5, 1 x 4 ja 1 x 3
* jupp teadustööd ka (töö paari artikliga, mõned retsenseerimised).

Kevadsemestril ootab juba kümmekond bakalaureust ja vähemalt üks magister, pluss kaks läbiviidavat kursust.

Ühest piraadist

Slashdotis jauratakse uudise ümber, et värske USA president andis armu Dread Pirate Robertsile ehk Ross Ulbrichtile, kes omal ajal pimeveebis igasugu imelikku kraami kaubitses, 2013. aastal kinni kukkus ja pokri pandi.

Pokripanemine oli ärateenitud, mitmed head aastad kinniistumine ka. Aga isegi 90-ndate USA tagaotsituim inimene nimega Kevin sai omal ajal viie aastaga välja – Ulbricht sai kaks eluaegset pluss 40 aastat. Lihtne matemaatika ütleb, et sell istus ära üle 10 aasta, üsna paras aeg tehtud lolluste eest. Ja ehk läheb nagu Keviniga, kellest sai pärast üpris ontlik tegelane.

Nii et selle koha pealt võiks täitsa nõus olla.