Моделҳои калонҳаҷми забон

Моделҳои калонҳаҷми забон (LLM), ба монанди GPT-4, Mistral ва LLaMA , дар коркарди забони табиӣ инқилоб кардаанд ва имконоти таъсирбахшро дар тавлиди матн, посух додан ба саволҳо ва ҷамъбасти иттилоот фароҳам овардаанд. Аммо, ин моделҳо аз як камбудии ҷиддӣ - падидаи галлютсинатсия - азият мекашанд: тавлиди ҷавобҳои боварибахш, вале аз ҷиҳати воқеӣ нодуруст. Ин махсусан дар соҳаҳои махсус, ба монанди қоидаҳои таълимӣ, ҳуҷҷатҳои ҳуқуқӣ ва протоколҳои тиббӣ, ки дар онҳо дақиқӣ муҳим аст, хатарнок аст.

Бозёфт - Такмилёфта Насл (RAG) ҳамчун роҳе барои асоснок кардани LLM дар манбаъҳои берунаи дониш пешниҳод карда шуд. RAG ҳуҷҷатҳои дахлдорро аз пойгоҳи дониш истихроҷ мекунад ва пеш аз тавлиди посух онҳоро ба контексти LLM ворид мекунад . Гарчанде ки ин равиш сатҳи галлютсинатсияҳоро ба таври назаррас коҳиш медиҳад, онҳоро пурра аз байн намебарад: модел метавонад контексти истихроҷшударо нодида гирад ё мундариҷаи онро нодуруст шарҳ диҳад.

Дар ин мақола, мо меъмории гибридиро пешниҳод мекунем, ки RAG-ро бо модули тасдиқкунӣ, ки бар асоси омӯзиши мошинии классикӣ асос ёфтааст, пурра мекунад. Таснифгарони SVM ва регрессияи логистикӣ, ки дар хусусиятҳои мувофиқати семантикӣ байни савол, порчаҳои истихроҷшуда ва ҷавоби тавлидшуда омӯзонида шудаанд, барои муайян ва ислоҳи галлютсинатсияҳо истифода мешаванд. Система дар корпуси донишгоҳии ҳуҷҷатҳо бо забонҳои англисӣ ва тоҷикӣ арзёбӣ мешавад, ки намояндаи маъмулии забонҳои маҳдуди захираҳо мебошад, ки асосан дар заминаи галлютсинатсияҳои LLM омӯхта нашудаанд.

Ҳадафи таҳқиқот нишон додани он аст, ки тасдиқкунандаҳои оддии классикии ML дар якҷоягӣ бо RAG метавонанд коҳиши қавии галлюцинатсияро бидуни афзоиши назарраси хароҷоти ҳисоббарорӣ таъмин кунанд, ки ин барои истифода дар муҳитҳои забонии дорои захираҳои кам махсусан арзишманд аст.
Шарҳи адабиёт

Галлютсинатсияҳо дар LLM ба якчанд намуд тасниф мешаванд: хатогиҳои воқеӣ (ихтисосӣ) галлютсинатсияҳо, мавҷудоти хаёлӣ (беруна) галлютсинатсияҳо ва мухолифатҳо бо контекст. Баррасии систематикии падидаи галлютсинатсияро анҷом дод ва муайян кард, ки то 38% посухҳои ибтидоии LLM дорои хатогиҳои воқеии тасдиқшаванда дар доменҳои пӯшида мебошанд. Барои забонҳои дорои захираҳо маҳдуд ба монанди забони тоҷикӣ, ин рақам аз сабаби набудани маълумоти пеш аз омӯзиш босифат хеле баландтар аст.

Люис ва ҳамкорон аввалин шуда меъмории RAG-ро пешниҳод карданд , ки ҷустуҷӯи векторҳои зич (DPR)-ро бо моделҳои тавлидӣ муттаҳид мекунад. Корҳои минбаъда ин консепсияро минбаъд инкишоф доданд: Retro-ро пешниҳод кард, ки меъмории он ҷустуҷӯи камёб дар триллионҳо токенҳо мебошад. Барои системаҳои бисёрзабона, нишон доданд, ки воридкунии бисёрзабона (mE 5, LaBSE) ҷустуҷӯи байнизабониро самаранок таъмин мекунад, ки барои системаҳое, ки ҳамзамон бо забонҳои англисӣ ва тоҷикӣ кор мекунанд, муҳим аст.

NLI ва тасдиқи далелҳо ва маҷмӯи додаҳои FEVER-ро таҳия кард ва нишон дод, ки маҷмӯи SVM ва регрессияи логистикӣ дар хусусиятҳои TF - IDF дар вазифаи тасдиқи тасдиқ ба 75% дақиқӣ ноил мегарданд. Бартарии асосии моделҳои классикӣ қобилияти тафсир ва мураккабии ками ҳисоббарорӣ мебошад, ки хосиятҳои хеле муҳим барои системаҳои истеҳсолӣ мебошанд.

NLP барои забони тоҷикӣ як соҳаи хеле кам омӯхташуда боқӣ мемонад. Абдуллозода ва ҳамкорон нишон доданд, ки трансформаторҳои бисёрзабона ( XLM - RoBERTa ) натиҷаҳои беҳтаринро барои таснифи матнҳои тоҷикӣ медиҳанд. Аммо, дар адабиёт ягон таҳқиқот дар бораи галлютсинатсияҳои LLM барои забони тоҷикӣ вуҷуд надорад, ки ин навоварии илмии ин асарро муайян мекунад.

Мавзӯи истифодашуда маҷмӯаи ҳуҷҷатҳои таълимии донишгоҳҳо аз Донишгоҳи техникии Тоҷикистон (ДТТ) мебошад. Маҷмӯа 847 ҳуҷҷати забони англисӣ (қоидаҳои таълимӣ, барномаҳои таълимӣ, муқаррароти стипендия ва ҷадвалҳо) ва 623 ҳуҷҷати забони тоҷикиро бо мавзӯъҳои монанд дар бар мегирад. Ҳуҷҷатҳо ба қисмҳои 256 токен бо ҳампӯшии 64 токен тақсим карда шудаанд ва дар пойгоҳи додаҳои FAISS бо истифода аз ҷойгиркунии бисёрзабонаи mE 5 индексатсия карда шудаанд.

Барои арзёбии система, маҷмӯи санҷишӣ аз 500 ҷуфт саволу ҷавоб бо забони англисӣ ва 350 ҷуфт бо забони тоҷикӣ бо галлютсинатсияҳо дастӣ шарҳ дода шуд. Шарҳ аз ҷониби ду шарҳдиҳанда анҷом дода шуд ( κ = 0.83).

Модули тасдиқ се унсури вурудиро мегирад: саволи аслӣ q , порчаҳои аз боло гирифташудаи -k R = { r1 , ..., rₖ } ва ҷавоби тавлидшуда a . Дар асоси ин унсурҳо, хусусиятҳои зерин гирифта мешаванд: ҳампӯшии лексикӣ ( ROUGE -1, ROUGE - L ) байни a ва R ; монандӣ бо семантикӣ (масофаи косинус дар фазои ҷойгиркунӣ); TF - IDF -монандӣ бо ҷавоб ва ҳуҷҷатҳо; мавҷудияти изҳороти рақамӣ дар a бе тасдиқ дар R ; энтропияи тақсимоти эҳтимолияти нишонаҳои ҷавоб. Схемаи тасдиқ дар расми 2 нишон дода шудааст.

Тасдиқкунанда дар маҷмӯи нишонгузорӣшудаи 3200 мисол (60% галлютсинатсияҳо, 40% ҷавобҳои дуруст) бо мувозинаткунии синф бо истифода аз усули SMOTE омӯзонида мешавад . Ду таснифкунанда муқоиса карда мешаванд: SVM бо ядрои RBF ( C = 10, γ = 0.01) ва регрессияи логистикӣ ( C = 1.0, L 2). Тасдиқ бо истифода аз тасдиқи 5-каратаи салиб дар маҷмӯи омӯзишӣ анҷом дода мешавад; арзёбии ниҳоӣ дар маҷмӯи санҷиши нигоҳдорӣ (20%) анҷом дода мешавад.

Натиҷаҳо фарзияи асосиро тасдиқ мекунанд: тасдиқкунандагони классикии ML бо роҳи муайян кардани галлютсинатсияҳое, ки RAG наметавонад мустақилона ҳал кунад, RAG-ро самаранок пурра мекунанд. Омилҳои асосии муваффақият инҳоянд: (1) ҳассосияти баланди SVM ба номувофиқатиҳои рақамӣ байни посух ва ҳуҷҷатҳо; (2) хусусиятҳои лексикӣ ( ROUGE - L ), ки набудани дастгирии воқеиро самаранок муайян мекунанд; (3) арзиши ками ҳисоббарории тасдиқкунанда - таъхири иловашуда аз 35 мс барои як дархост зиёд нест.

Фосилаи байни корпусҳои англисӣ ( F1 = 0.90) ва тоҷикӣ ( F1 = 0.85) бо ҳаҷми камтари ҳуҷҷатҳои тоҷикӣ ва мураккабии морфологии забон шарҳ дода мешавад, ки токенизатсияи дақиқ ва муқоисаи луғавиро мушкил мегардонад. Ин аз имконоти таҳияи меъёргузориҳои махсуси морфологӣ барои забони тоҷикӣ шаҳодат медиҳад. Маҳдудиятҳои асосии кор инҳоянд: корпус бо як соҳаи фаннӣ маҳдуд аст; тасдиқкунанда дар бораи маълумоти синтетикӣ мутавозин омӯзонида шудааст; таҳқиқот галлютсинатсияҳои ривоятиро, ки ба далелҳои мушаххас алоқаманд нестанд, фаро намегирад. Самтҳои таҳқиқоти минбаъда инҳоянд: васеъ кардани корпус барои дохил кардани ҳуҷҷатҳои ҳуқуқӣ ва тиббӣ; татбиқи тасдиқкунандаҳои шабакаи асаб ( моделҳои NLI ); ва таҳияи таҳлилгари морфологии тоҷикӣ барои беҳтар кардани намояндагии хусусиятҳо.
Хулоса

Ин мақола як лӯлаи гибридии коҳиши галлютсинатсияро дар LLM пешниҳод ва ба таври таҷрибавӣ тасдиқ мекунад , ки RAG-ро бо тасдиқкунандаҳои классикии ML муттаҳид мекунад. Система дар маҷмӯи ҳуҷҷатҳои донишгоҳӣ бо забонҳои англисӣ ва тоҷикӣ санҷида шуд. Усули гибридӣ сатҳи галлютсинатсияро аз 38,2% ( оддӣ) то 10,5% коҳиш медиҳад . LLM) барои корпуси англисӣ то 9.1% ва барои корпуси тоҷикӣ аз 51.7% то 13.4% коҳиш ёфта, баҳои F 1 -ро мутаносибан 0.90 ва 0.85 медиҳад.

Аҳамияти амалии ин кор дар имконияти ҷойгиркунии лӯлаи пешниҳодшуда дар системаҳои иттилоотии донишгоҳҳо барои посух додан ба саволҳои донишҷӯён ва омӯзгорон дар бораи ҳуҷҷатҳои таълимӣ мебошад. Меъморӣ метавонад барои дигар забонҳои дорои захираҳои маҳдуд миқёспазир бошад, ба шарте ки маҷмӯи мувофиқи ҳуҷҷатҳо мавҷуд бошад.