Kuna Kakul tuleb muu töö kõrval ka teadust teha, siis tekkis mõte proovida tehisaru abil teadusartiklite kokkuvõtete tegemist. Tingimuseks oli endiselt töötamine offlainis – ChatGPT, Copilot jt veebipõhised jäid välja.
Leidsin esmalt ühe sellise artikli ja sealt läksin edasi PrivateGPT peale. Leidus ka samm-sammuline paigaldusjuhend, mis aga oli juba pooleteise aasta vanune ning paaris kohas enam ei toiminud – muudatused tuli teha
a) kasutajaliidese paigalduses: praegu toimiv käsk on poetry install –extras “ui embeddings-huggingface llms-llama-cpp vector-stores-qdrant” , ja
b) CUDA paigalduses (üks parameeter tuli ära muuta): CMAKE_ARGS=’-DGGML_CUDA=on’ poetry run pip install –force-reinstall –no-cache-dir llama-cpp-python
Muud sammud jäid (niivõrd, kuivõrd) tööle. Käima läks asi terminalist käsuga PGPT_PROFILES=local make run ning veebiliides töötas aadressil https://localhost:8001 (väidetavalt saab sinna ka muu aadressi panna, niisiis on see paigaldatav ka serverile – aga ise ei proovinud).
Linuxi ja Firefoxiga oli kasutajaliides veidi imelik – prompti aken jäi päris paremasse serva, vaid väike jupp paistis (alguses ei leidnudki kohe üles). Ent artikli kokkuvõtte tegemine (Summarize) täitsa toimis – PDF-kujul artikli sai kasutajaliidese kaudu ilusti ette sööta, kuid tulemust ei antud mitte kasutajaliidesesse, vaid hoopis terminaliaknasse. Kokkuvõte ise oli samas täiesti asjatundlik.
Nii et nüüd tuleb edasi katsetada (erinevate seadistustega ja lisaks Llamale ka teiste keelemudelitega).