Pat pēc vairāku gadu aktīvas izstrādes neironu tīkli turpina sniegt nejaušas atbildes uz vieniem un tiem pašiem jautājumiem. Vašingtonas štata universitātes profesors Mesuts Čičeks pārbaudīja ChatGPT stabilitāti, lūdzot algoritmam novērtēt gandrīz 800 zinātniskas hipotēzes. Rezultāti bija neapmierinoši: mākslīgais intelekts joprojām atgādina nedrošu studentu, kurš cenšas uzminēt pareizo atbildi.
Eksperimenta laikā katra hipotēze tika ievadīta ChatGPT 10 reizes. Atbilžu precizitāte 2024. gadā bija 76,5%, bet līdz 2025. gadam tā formāli pieauga līdz 80%. Tomēr padziļinātāka analīze atklāja, ka, ņemot vērā nejaušo minējumu faktoru, modeļa faktiskā veiktspēja tik tikko sasniedza 60%. Amerikāņu akadēmiskajā skalā tas ir D — minimālais sekmīgais vērtējums, kas robežojas ar nesekmīgu.
Neironu tīkls vissliktāk darbojās viltus ziņu identificēšanā: mākslīgais intelekts spēja atpazīt nepatiesus apgalvojumus tikai 16,4% gadījumu. Vēl kritiskāka bija nekonsekvences problēma. Ar identiskiem ievades datiem robots sniedza konsekventus rezultātus tikai 73% sesiju.
"Runa nav tikai par precizitāti, bet arī par nekonsekvenci, jo, ja uzdodat vienu un to pašu jautājumu atkal un atkal, varat saņemt dažādas atbildes," uzsvēra Ciceks.
"Mēs izmantojām 10 uzdevumus ar vienu un to pašu jautājumu. Viss bija identisks. Vispirms atbilde bija "patiesa", tad "aplama", tad "patiesa", tad "aplama" un tad "patiesa". Bija vairāki gadījumi, kad piecas atbildes bija "patiesas" un piecas bija "aplamas"."
Pētījums, kas publicēts Rutgers Business Review, apstiprina, ka neironu tīkla pārliecinošais tonis nav pielīdzināms intelektam. Pēc Čičeka teiktā, mūsdienu lielie valodu modeļi (LLM) ir tikai sarežģītas atmiņas sistēmas, kurām trūkst patiesas konteksta izpratnes.
"Mūsdienu mākslīgā intelekta rīki nesaprot pasauli tā, kā mēs; tiem nav "smadzeņu"," skaidroja Čičeks. "Tie vienkārši atceras un var sniegt zināmu ieskatu, bet tie nesaprot, par ko runā."
Kā uzlabot mākslīgā intelekta darbību: 5 praktiski padomi
Ja neironu tīkls pieļauj kļūdu, nesteidzieties aizvērt cilni. Tehnoloģiju eksperts Deniss Vīmers piedāvā vairākas stratēģijas ģenerēšanas kvalitātes uzlabošanai:
Kļūdu labošana. Tā vietā, lai vienkārši pārfrāzētu jautājumu, pajautājiet robotam: "Rezultāts ir nepareizs. Kāpēc mans jautājums jūs maldināja?"
Pievienojiet frāzi: "Soli pa solim izskaidrojiet savu domāšanas procesu." Loģikas vizualizācija piespiež algoritmu atrast kļūdas savā spriešanā.
Piemēri aprakstu vietā. Sniedziet robotam trīs labas rakstīšanas piemērus un vienu sliktas rakstīšanas piemēru. Tas darbojas efektīvāk nekā garas stila instrukcijas.
Atgriezeniskās saites režīms. Lai mākslīgais intelekts neizdomātu faktus, beidziet vaicājumu ar frāzi: "Pirms sākam, pajautājiet man visu nepieciešamo informāciju."
Lomu modelēšana. Skaidri definējiet kontekstu: "Jūs esat finanšu analītiķis ar 20 gadu pieredzi." Konkrētas lomas piešķiršana ievērojami ierobežo algoritma "fantāzijas" iespējas.
