Боби 1. Зеҳни сунъӣ, NLP ва моделҳои бузурги забонӣ

Оё боре эҳсос кардаед, ки ҳама аз «зеҳни сунъӣ» суҳбат мекунанд, аммо дақиқ маълум нест, ки манзурашон ChatGPT аст, Nano Banana ё сохтани суруд бо овози Ҳойда? Бисёриҳо истилоҳҳои «зеҳни сунъӣ», «зеҳни сунъии тавлидӣ» ва «LLM»-ро ба ҷойи ҳам истифода мебаранд, дар ҳоле ки ҳар кадом маъно ва доираи истифодаи худро дорад.

Моделҳои бузурги забонӣ (Large Language Models — LLM) яке аз дастовардҳои муҳимтарини соҳаи коркарди забони табиӣ (Natural Language Processing — NLP) мебошанд. Онҳо метавонанд матни монанд ба навиштаи инсон тавлид кунанд, сохторҳои мураккаби забониро коркард намоянд ва тарзи муоширати инсонро бо технология дигаргун созанд — аз тавлиди худкори муҳтаво то фаъолият ба ҳайси ёварони шахсии маҷозӣ.

Дар ин боб меомӯзем:

• зеҳни сунъӣ (AI), омӯзиши мошинӣ ва омӯзиши амиқ чист ва чӣ робита доранд;
• зеҳни сунъии тавлидӣ (Generative AI) аз зеҳни сунъии маъмулӣ чӣ фарқ дорад;
• коркарди забони табиӣ (NLP) кадом вазифаҳоро дар бар мегирад ва чаро он душвор аст;
• модели бузурги забонӣ чист ва хусусиятҳои асосии он кадомҳоянд;
• LLM дар сатҳи умумӣ чӣ гуна меомӯзад ва матн тавлид мекунад;
• оилаҳои маъруфи LLM ва соҳаҳои истифодаи онҳо;
• LLM аз моделҳои пешина чӣ фарқ дорад ва кадом маҳдудиятҳоро дорост.

Чаро ҳама дар бораи LLM гап мезананд?

Тирамоҳи соли 2022, вақте ChatGPT муаррифӣ шуд, на танҳо соҳаи технология, балки ҷаҳони берун аз онро низ ба ҳайрат овард. Муҳаққиқони омӯзиши мошинӣ чанд сол боз моделҳои бузурги забониро меозмуданд, аммо мардуми оддӣ ба ин мавзӯъ чандон таваҷҷуҳ надоштанд ва намедонистанд, ки чунин моделҳо то чӣ андоза тавоно шудаанд.

Имрӯз қариб ҳама дар бораи зеҳни сунъии тавлидӣ ва чатботҳо шунидаанд. Эҳтимол шумо ҳам шунидаед, ки ин моделҳо барои пешгӯии «калимаи навбатӣ» омӯзонда мешаванд ва барои ин ба ҳаҷми бузурги матн ниёз доранд. Аммо шарҳ одатан ҳамин ҷо қатъ мешавад.

Яке аз сабабҳо тарзи ғайриодии сохтани ин низомҳост. Барномаҳои маъмулиро барномасозон бо дастурҳои равшан ва қадам ба қадам менависанд. Аммо ChatGPT, Gemini ё Claude бар шабакаҳои нейронӣ такя мекунанд, ки на навишта, балки бо миллиардҳо калима омӯзонда шудаанд. Аз ин рӯ, ҳатто созандагони онҳо кори дохилии моделро пурра шарҳ дода наметавонанд — таҳқиқот дар ин самт идома дорад (нигаред ба боби 15).

Дар ин китоб мо қадам ба қадам ин «қуттии сиёҳ»-ро мекушоем. Дар ин боб аз мафҳумҳои асосӣ оғоз мекунем.

Зеҳни сунъӣ (AI): мафҳуми васеъе, ки ҳама зери он ҷой мегиранд

Биёед аз асос оғоз кунем. Зеҳни сунъӣ (Artificial Intelligence — AI) мафҳуми хеле умумӣ аст. Ба забони сода, ҳар низоми компютерие, ки метавонад кореро монанд ба дарк кардан, шинохтан, пешгӯӣ кардан ё омӯхтани инсон иҷро кунад, ба гурӯҳи зеҳни сунъӣ дохил мешавад.

Нуктаи асосӣ ин аст: чунин низомҳо ҳатман эҷодкор нестанд ва шарт нест, ки чизе тавлид кунанд. Дар бисёр ҳолатҳо вазифаи онҳо таҳлили додаҳо ва пайдо кардани қолаби мувофиқ мебошад.

• Мисоли рӯзмарра: вақте камераи телефони шумо чеҳраатонро мешиносад ва тасвирро рӯи он равшан мекунад, шумо бо зеҳни сунъӣ сарукор доред. Дар ин ҳолат низом чеҳраро мешиносад, на ин ки акси нав меофарад.
• Мисоли дигар: вақте барномае мисли Waze бо назардошти роҳбандӣ ва садамаҳо роҳи зудтаринро пешниҳод мекунад, зеҳни сунъӣ додаҳоро таҳлил карда, роҳи муносибро интихоб мекунад.

Пас, агар абзоре танҳо чизеро шиносад ё пешниҳод кунад, ҳатто бе тавлиди матну тасвир, он метавонад аз зеҳни сунъӣ истифода барад.

Омӯзиши мошинӣ ва омӯзиши амиқ

Дар дохили зеҳни сунъӣ якчанд соҳаи хурдтар ҷой доранд, ки барои фаҳмидани LLM муҳиманд.

Омӯзиши мошинӣ (Machine Learning — ML) соҳаи фарогирест, ки ба шинохти қолабҳо дар додаҳо диққат медиҳад ва аз ин қолабҳо барои кор бо додаҳои нав истифода мекунад. Дар ин равиш қоидаҳоро барномасоз дастӣ наменависад — модел онҳоро аз мисолҳо меомӯзад.

Омӯзиши амиқ (Deep Learning) бахше аз омӯзиши мошинӣ мебошад. Моделҳои омӯзиши амиқ бар асоси шабакаҳои нейронии сунъӣ тарҳрезӣ мешаванд, ки аз тарзи кори мағз илҳом гирифтаанд. Ин соҳа махсусан бо додаҳои сохторнашуда, аз ҷумла матн ва тасвир, хуб кор мекунад. Шабакаҳои нейронии мураккаб барои фаҳмидан, тавлид ва коркарди забонҳои табиӣ, монанди тоҷикӣ ё форсӣ, инчунин дигар додаҳои мураккаб истифода мешаванд.

Ҳар ду равиш мекӯшанд бо шинохтани қолабҳои муайян дар додаҳо масъалаҳои гуногунро ҳал кунанд. Моделҳои бузурги забонӣ бахше аз омӯзиши амиқ мебошанд. Азбаски онҳо нисбат ба моделҳои пешин хеле калонтаранд ва бо додаҳои бештар омӯзонда шудаанд, аз пуриқтидортарин шабакаҳои нейронии мавҷуда ба шумор мераванд.

Ҷойгоҳи моделҳои бузурги забониро дар ин сохтор чунин тасвир кардан мумкин аст:

Зеҳни сунъӣ → омӯзиши мошинӣ → омӯзиши амиқ → моделҳои бузурги забонӣ

Ҳар мафҳуми навбатӣ қисме аз мафҳуми пешина мебошад.

Зеҳни сунъии тавлидӣ (Gen AI): вақте мошин муҳтавои нав месозад

Зеҳни сунъии тавлидӣ (Generative AI — Gen AI) як бахши зеҳни сунъӣ мебошад. Фарқи асосии он чунин аст: ин низомҳо танҳо таҳлил намекунанд, балки муҳтавои нав тавлид мекунанд.

Агар зеҳни сунъии маъмулиро ба ҳисобкунак ё нозири дақиқ монанд кунем, зеҳни сунъии тавлидӣ бештар ба рассом, нависанда ё оҳангсоз монанд аст. Ин абзорҳо метавонанд матн нависанд, тасвир офаранд, видео созанд, код тавлид кунанд ё ҳатто овозро тақлид намоянд.

Қоидаи асосӣ: ҳар зеҳни сунъии тавлидӣ як навъи зеҳни сунъӣ аст, аммо ҳар зеҳни сунъӣ тавлидӣ нест.

• Мисоли рӯзмарра: тасаввур кунед, ки ба абзоре мисли Nano Banana мегӯед: «Тасвири хаёлии бананеро бисоз, ки кайҳоннавард аст». Агар абзор аз рӯи дастури шумо тасвири нав тавлид кунад, шумо аз зеҳни сунъии тавлидӣ истифода мебаред. Дар ин ҷо натиҷа сохта мешавад, на ин ки танҳо аз байни аксҳои мавҷуда интихоб гардад.

Моделҳои бузурги забонӣ, ки мавзӯи асосии ин китоб мебошанд, бахши матнии зеҳни сунъии тавлидиро ташкил медиҳанд. Аммо пеш аз он ки ба онҳо гузарем, бояд бо соҳае шинос шавем, ки LLM аз он ба вуҷуд омадааст — коркарди забони табиӣ.

Расми 1.1. Ҷойгоҳи моделҳои бузурги забонӣ: ҳар мафҳуми дохилӣ қисме аз мафҳуми берунӣ аст. Зеҳни сунъии тавлидӣ дар ин ҷо ҳамчун бахши омӯзиши амиқ нишон дода шудааст, чунки абзорҳои муосири тавлидӣ асосан ба шабакаҳои нейронӣ такя мекунанд.

Коркарди забони табиӣ (NLP) чист?

Коркарди забони табиӣ (Natural Language Processing — NLP) соҳаест дар чорроҳаи забоншиносӣ ва омӯзиши мошинӣ, ки ба фаҳмиш ва коркарди тамоми ҷанбаҳои забони инсон равона шудааст. Ҳадафи вазифаҳои NLP на танҳо фаҳмидани маънои калимаҳои алоҳида, балки дарк кардани маънои онҳо дар заминаи матн (контекст) низ мебошад.

Баъзе вазифаҳои маъмули NLP инҳоянд:

• Гурӯҳбандии ҷумлаҳои пурра (Sentence Classification): муайян кардани муносибати мусбат ё манфии муаллиф дар як шарҳ, ошкор кардани паёмҳои спам дар почтаи электронӣ, муайян кардани дурустии грамматикии ҷумла ё санҷидани он, ки ду ҷумла аз ҷиҳати мантиқӣ бо ҳам алоқаманданд ё не.
• Гурӯҳбандии ҳар як калима дар ҷумла (Token Classification): муайян кардани ҳиссаҳои нутқ, аз қабили исм, феъл ва сифат, инчунин шинохтани номҳои хос — номи шахсон, маконҳо ва ташкилотҳо.
• Тавлиди матн (Text Generation): идомаи матн дар асоси дархости додашуда (prompt), тавлиди худкори матн ва пур кардани ҷойҳои холии матн бо калимаҳои мувофиқ.
• Истихроҷи ҷавоб аз матн (Question Answering): дар асоси савол ва матни пешниҳодшуда пайдо ва ҷудо кардани ҷавоб аз маълумоти ҳамон матн.
• Тавлиди матн аз матн (Text-to-Text Generation): тарҷумаи матн аз як забон ба забони дигар ё таҳияи хулосаи мухтасари матн.

NLP танҳо бо матнҳои хаттӣ маҳдуд намешавад. Ин соҳа бо масъалаҳои шинохти нутқ (Speech Recognition) ва биниши компютерӣ (Computer Vision) низ пайванд дорад. Масалан, табдил додани сабти овозӣ ба матн ё тавлиди тавсифи матнӣ барои тасвир аз ҷумлаи чунин вазифаҳо мебошанд.

Чаро коркарди забони табиӣ душвор аст?

Компютерҳо маълумотро ба ҳамон тарзе, ки инсон коркард мекунад, қабул ва таҳлил намекунанд.

Масалан, вақте мо ҷумлаи «Ман гурусна ҳастам»-ро мехонем, маънои онро ба осонӣ мефаҳмем. Агар ба мо ду ҷумла пешниҳод карда шавад:

• «Ман гурусна ҳастам»;
• «Ман ғамгин ҳастам»,

мо фавран муайян мекунем, ки ин ду ҷумла то кадом андоза ба ҳам монанданд (ҳар ду ҳолати гӯяндаро тасвир мекунанд) ва аз кадом ҷиҳат фарқ мекунанд (яке ҳолати ҷисмонӣ, дигаре ҳолати рӯҳӣ). Аммо барои моделҳои омӯзиши мошинӣ иҷрои чунин вазифаҳо хеле душвортар аст.

Барои он ки модел аз матн чизе омӯзад, матн бояд ба шакле табдил дода шавад, ки барои компютер қобили таҳлил бошад — яъне ба рақамҳо. Азбаски забони инсон сохтори мураккаб дорад, усулҳои ин табдилро бояд бодиққат интихоб кард. Дар бораи роҳҳои гуногуни муаррифии матн (Text Representation) таҳқиқоти зиёди илмӣ анҷом дода шудаанд; бо муҳимтарини онҳо дар боби 2 шинос хоҳем шуд.

Душвории дигар он аст, ки маънои калима ё ҷумла аксар вақт аз заминаи атрофи он вобаста аст. Масалан, ҷумлаи «Чӣ субҳи хубе!»-ро дар назар гиред. Танҳо аз рӯи худи ҳамин ҷумла наметавон бо итминон гуфт, ки он кинояомез нест: шояд гӯянда ҳақиқатан аз субҳ шод аст, шояд баръакс, ба борон афтода, ба кор дер кардааст. Барои фаҳмидани маъно бояд ба ҷумлаҳои пешу паси он низ таваҷҷуҳ кард.

Ҳатто бо вуҷуди пешрафтҳои бузург дар рушди моделҳои забонӣ, бисёр мушкилоти асосӣ то ҳол пурра ҳал нашудаанд: маъноҳои дутарафа, заминаҳои фарҳангӣ, киноя, истеҳзо ва ҳазлу шӯхӣ. Моделҳои бузурги забонӣ кӯшиш мекунанд, ки тавассути омӯзиш дар маҷмӯаҳои азим ва гуногуни матн ин мушкилотро паси сар кунанд, вале дар бисёр ҳолатҳои мураккаб ҳанӯз ҳам ба сатҳи фаҳмиш ва қобилияти таҳлилии инсон намерасанд.

Модели бузурги забонӣ (LLM) чист?

Дар солҳои охир соҳаи NLP ба шарофати рушди моделҳои бузурги забонӣ дигаргуниҳои назаррасро аз сар гузаронид. Моделҳое мисли силсилаи GPT ва Llama имкониятҳои коркарди забонро ба таври куллӣ тағйир доданд.

Модели бузурги забонӣ (LLM) навъи модели зеҳни сунъӣ мебошад, ки барои дарк, коркард ва тавлиди забон тарҳрезӣ шуда, бо ҳаҷми азими маълумоти матнӣ омӯзонда мешавад. Он метавонад матнҳои ба забони инсон монандро таҳлил ва тавлид кунад, қонуниятҳо ва қолабҳои забониро азхуд намояд ва вазифаҳои гуногуни забониро бе омӯзиши махсус барои ҳар як вазифа иҷро кунад.

Ба таври дигар гӯем, LLM «мутахассиси ҷаҳони калимаҳо» аст: диққати асосии он ба забон ва матн равона шудааст.

Хусусиятҳои асосии LLM

• Миқёс ва параметрҳо (Scale, Parameters). Андозаи модел бо шумораи параметрҳои он — қиматҳои ададие, ки модел ҳангоми омӯзиш танзим мекунад — чен карда мешавад. Дар LLM ин шумора аз садҳо миллион то садҳо миллиард ва бештар мерасад. Маҷмӯаҳои додаҳои омӯзишӣ низ азиманд ва миллиардҳо (ҳоло ҳатто триллионҳо) калима ё пораҳои матнро дар бар мегиранд.
• Омӯзиши пешакӣ (Pre-training). Пеш аз истифода модел бо маҷмӯаҳои калони матн омӯзонда мешавад ва дар ин марҳила меомӯзад, ки бо назардошти матни қаблӣ токени навбатиро пешгӯӣ кунад (муфассал — дар боби 6).
• Танзими дақиқ (Fine-tuning). Пас аз омӯзиши пешакӣ моделро метавон бо омӯзиши назоратшаванда барои вазифа ё соҳаи муайян, аз ҷумла тарҷума, ҷамъбасти матн ё таҳлили эҳсосот, мутобиқ кард (боби 7).
• Қобилияти тавлид (Generative). LLM бар асоси дастурҳои корбар матни монанд ба навиштаи инсон тавлид мекунад. Ин истифодаи онро дар корҳои эҷодӣ, аз ҷумла навиштани матн ва қиссаофарӣ, имконпазир месозад.
• Қобилиятҳои умумӣ (General Capabilities). Як модел метавонад вазифаҳои гуногунро бе омӯзиши махсус барои ҳар як вазифа иҷро кунад.
• Омӯзиш дар дохили контекст (In-context Learning). Модел метавонад аз мисолҳое, ки бевосита дар дохили дархост (prompt) оварда мешаванд, барои иҷрои вазифа истифода барад.
• Қобилиятҳои зуҳуркунанда (Emergent Abilities). Бо афзоиши андоза ва мураккабии моделҳо баъзе қобилиятҳо пайдо мешаванд, ки қаблан ба таври мустақим барномарезӣ ё пешбинӣ нашуда буданд (ин мавзӯъ дар боби 6 баррасӣ мешавад).

Муқоисаи AI, Gen AI ва LLM

Акнун, ки ҳар се мафҳумро шинохтем, муносибати онҳоро ҷамъбаст мекунем:

1. AI — мафҳуми умумӣ, ки шинохтан, таҳлил кардан, пешгӯӣ ва дигар вазифаҳоро дар бар мегирад.
2. Gen AI — бахше аз зеҳни сунъӣ, ки муҳтавои нав тавлид мекунад.
3. LLM — модели махсуси забонӣ, ки барои коркарду тавлиди матн истифода мешавад.

• Мисоли рӯзмарра: хидматҳое мисли ChatGPT ё Grok аз моделҳои бузурги забонӣ истифода мебаранд. Шумо бо онҳо суҳбат мекунед, савол медиҳед, ҷамъбасти матн мехоҳед ё барои навиштани почтаи электронӣ идея мегиред.
• Фарқ: вазифаи асосии масирёбӣ дар Waze кор бо маълумоти роҳу ҳаракат аст, на тавлиди ҷавоби забонӣ ба тарзи чатбот.

Танҳо «зеҳни сунъӣ» номидани ҳар абзори нав доираи имкониятҳои онро дақиқ нишон намедиҳад. Вақте фарқи ин мафҳумҳоро медонед, интихоби абзори муносиб осонтар мешавад ва хабарҳои ин соҳаро дақиқтар мефаҳмед.

Саволҳои маъмул

Оё ҳар чатбот LLM аст?
Ҳатман не. Бисёр чатботҳои кӯҳна танҳо аз рӯи қоидаҳои пешакӣ муайяншуда кор мекунанд: масалан, аз шумо мехоҳанд, ки банди 1, 2 ё 3-и менюро интихоб кунед. Аммо чатботҳои пешрафтае мисли ChatGPT барои коркарду тавлиди ҷавоб аз моделҳои бузурги забонӣ истифода мебаранд.

Оё Waze ё Google Maps зеҳни сунъии тавлидӣ мебошанд?
Вазифаҳои масирёбӣ, пешгӯии вақти расидан ва таҳлили ҳаракати роҳ асосан ба таҳлили додаҳо такя мекунанд. Худи ин вазифаҳо тавлиди муҳтаво ба маънои сохтани матн, тасвир ё мусиқии нав нестанд.

Оё LLM танҳо барои тавлиди матн истифода мешавад?
Диққати асосии модели забонӣ ба забон ва матн равона шудааст. Аммо дар бисёр низомҳо онро бо абзорҳои дигар якҷоя мекунанд, то вазифаҳои мураккабтарро иҷро намояд. Масалан, модели забонӣ метавонад дархости корбарро коркард кунад ва барои иҷрои он аз абзори тавлиди тасвир ё иҷрои код истифода барад (дар бораи ин равиш дар боби 12 сухан меравад). Ғайр аз ин, бисёр моделҳои муосир чанднавъа (multimodal) мебошанд ва ғайр аз матн тасвир ва садоро низ қабул мекунанд.

LLM дар сатҳи умумӣ чӣ гуна кор мекунад?

ChatGPT бо интерфейси сода ва қулайи худ зуд машҳур шуд ва пешрафтҳои охири зеҳни сунъиро барои мардум намоён кард. Бо вуҷуди ин, тарзи кори моделҳои бузурги забонӣ барои бисёриҳо ҳанӯз норавшан аст. Дар ин бахш бе ворид шудан ба ҷузъиёти риёзӣ кӯшиш мекунем, ки дарки умумӣ ва беихтиёронаи (интуитивии) ин равандро ба даст орем. Тафсилоти ҳар марҳила дар бобҳои минбаъда оварда шудааст.

Чаро модели «бузург» лозим аст?

Аввалин қадами коркарди матн токенсозӣ (Tokenization) аст: матн бо усулҳои муайян ба қисмҳои хурдтар — токенҳо — тақсим мешавад. Токенҳо метавонанд ҳарфҳо, қисмҳои калима, калимаҳо ё гурӯҳе аз калимаҳо бошанд; як ҷумларо бо роҳҳои гуногун ба токенҳо ҷудо кардан мумкин аст (ниг. боби 2). Сипас модел бояд биомӯзад, ки ҳар токен чӣ маъно дорад.

Аммо барои фаҳмидани забон танҳо токенсозӣ кофӣ нест. Мушкилоти моделҳои пешин ин буд, ки ҳар қисмро аз қисмҳои дигар ҷудо баррасӣ мекарданд. Вале чунон ки дар мисоли «Чӣ субҳи хубе!» дидем, маъно аз робитаи калимаҳо ва заминаи атроф вобаста аст.

Аз ин рӯ, барои шинохтани қолабҳои забонӣ усулҳои содаи омӯзиши мошинӣ кофӣ нестанд ва ба модели мураккабтар — шабакаи амиқи нейронӣ — ниёз дорем. Чунин шабака на танҳо калимаҳо, балки сохтори ҷумла ва тарзи паҳлуи ҳам омадани калимаҳоро низ ба назар мегирад. Ин кор модели бисёр мураккаб бо шумораи хеле зиёди параметрҳо-ро талаб мекунад. Маҳз барои ҳамин онро модели «бузург»-и забонӣ меноманд.

Барои тасаввур: модели GPT-3 (соли 2020) 175 миллиард параметр дошт — зиёда аз 20 параметр барои ҳар як сокини Замин.

Эзоҳ: дар баъзе манбаъҳо гуфта мешавад, ки «ChatGPT 175 (ё 176) миллиард параметр дорад». Дар асл ин рақам ба GPT-3 тааллуқ дорад; андозаи моделҳои навтаре, ки дар ChatGPT истифода мешаванд, аз ҷониби OpenAI расман ошкор нашудааст.

Расми 1.2. Шумораи параметрҳои чанд модели маъруф (рақамҳои нашршуда). Тири амудӣ логарифмӣ аст: ҳар хат андозаро 10 маротиба зиёд мекунад.

Пешгӯии калимаи навбатӣ

Акнун тарзи кори LLM-ро бо як масъалаи сода шарҳ медиҳем:

Калимаи навбатии як пайдарпайии калимаҳоро чӣ гуна пешгӯӣ кардан мумкин аст?

Вуруди шабакаи нейронӣ пайдарпайии калимаҳо (дақиқтараш, токенҳо) аст ва баромади он калимаи навбатӣ мебошад. Дар асл, ин як навъи масъалаи гурӯҳбандӣ (Classification) аст. Фарқаш дар он аст, ки ба ҷойи ду ё чанд гурӯҳ шумораи бисёр зиёди гурӯҳҳо дорем — ба андозаи луғати модел, ки метавонад даҳҳо ҳазор токенро (масалан, тақрибан 50 ҳазор) дар бар гирад. Модел бо назардошти токенҳои қаблӣ эҳтимоли ҳар як токени имконпазирро ҳамчун токени навбатӣ ҳисоб мекунад.

Барои омӯзонидани чунин модел маҷмӯаи додаҳои махсус лозим нест: ба шарофати интернет ва манбаъҳои чопӣ — китобҳо, мақолаҳо, сомонаҳо — онро худамон сохта метавонем. Ба нишонагузории дастӣ ҳам ниёз надорем, зеро ҷавоби дуруст аллакай дар худи матн мавҷуд аст: калимаи навбатӣ. Ин равишро омӯзиши худназоратӣ (Self-supervised learning) меноманд: модел аз сохтори худи додаҳо меомӯзад, бе он ки инсон барои ҳар мисол ҷавоби алоҳида омода кунад.

Пас, ба таври кӯтоҳ, кори мо омӯзонидани шабакаи нейронӣ — ҳамон LLM — барои пешгӯии калимаи навбатӣ аст. Фарқ надорад, ки ҷумла дароз аст ё кӯтоҳ, ба забони англисӣ аст ё тоҷикӣ, як силсила паёмҳои шабакаи иҷтимоӣ аст ё формулаи риёзӣ — моҳияти масъала тағйир намеёбад.

Матн чунин тавлид мешавад: модел калимаи навбатиро пешгӯӣ мекунад, онро ба охири матн илова менамояд, сипас бо назардошти ҳамин калима калимаи баъдиро пешгӯӣ мекунад ва ин равандро то анҷоми ҷавоб идома медиҳад. Аз ҳамин сабаб заминаи матн — маълумоти атрофи калима ё ҷумла — барои LLM аҳамияти калон дорад. Усулҳои интихоби калимаи навбатӣ аз байни эҳтимолҳо (ҳарорат, top-k, top-p ва ғайра) дар боби 9 баррасӣ мешаванд.

Расми 1.3. Модел эҳтимоли ҳар токени навбатиро ҳисоб мекунад, токени интихобшуда ба охири матн илова мешавад ва раванд такрор меёбад (эҳтимолҳо тасвирӣ мебошанд).

ChatGPT ё ChatLLM? Маънои GPT

Шояд савол пайдо шавад: чаро номи ChatGPT-ро ChatLLM нагузоштанд? Гап дар он аст, ки моделсозии забон — пешгӯии калимаи навбатӣ — охири ҳикоя нест, балки танҳо оғози он аст.

Ихтисораи GPT (Generative Pre-trained Transformer) маънои «трансформери тавлидкунандаи пешакӣ омӯзонидашуда»-ро дорад. Ҳар қисми ин ном як ҷанбаи моделро ифода мекунад:

• Generative — тавлидкунанда. Модел матни нав месозад, калима ба калима, чунон ки дар боло шарҳ додем.
• Pre-trained — пешакӣ омӯзонидашуда. Модел аввал дар ҳаҷми азими матн омӯзонда мешавад ва на танҳо қоидаҳои забон, балки дониши васеъ дар бораи ҷаҳонро низ азхуд мекунад (боби 6). Вале модели танҳо пешакӣ омӯзонидашуда ҳанӯз ёвари хуб нест: вай матнро идома медиҳад, аммо ба дастурҳо ҳатман ҷавоб намедиҳад. Барои он ки ба ёвари муфид табдил ёбад, модел дар ҷуфтҳои босифати «савол — ҷавоб» иловатан омӯзонда мешавад ва сипас бо усулҳое мисли омӯзиши тақвиятӣ аз бозхӯрди инсон (RLHF) бо афзалиятҳои инсон ҳамоҳанг карда мешавад (бобҳои 7 ва 8).
• Transformer. Меъмории шабакаи нейронӣ, ки бо ёрии механизми худтаваҷҷуҳӣ (Self-attention) робитаи байни ҳамаи калимаҳои матнро ба назар мегирад (боби 4).

Дар моделҳое, ки дар абзорҳое мисли ChatGPT истифода мешаванд, маҳз ҳамин се ҷанба якҷоя шудаанд: омӯзиш аз маҷмӯаҳои бузурги матн (китобҳо, маводи интернетӣ ва ғайра), меъмории Transformer ва мутобиқсозӣ барои муошират бо инсон.

Се сатҳи кор бо LLM

Вобаста ба ҳадаф ва захираҳо, бо моделҳои бузурги забонӣ дар се сатҳ кор кардан мумкин аст:

1. Сохтани модели нав — ҷамъоварии маҷмӯаи калони додаҳо ва омӯзонидани ҳамаи параметрҳои модел аз сифр. Ин роҳи гаронтарин аст ва ба захираҳои бузурги ҳисоббарорӣ ниёз дорад (боби 6).
2. Муҳандисии промпт — истифодаи модели тайёр бе тағйир додани параметрҳои он, танҳо бо навиштани дастурҳои дуруст: ё тавассути интерфейси корбарӣ (масалан, сомонаҳои ChatGPT ё Gemini), ё тавассути API ва китобхонаҳо (боби 10). Ба ин сатҳ пайваст кардани модел ба манбаъҳои беруна тавассути RAG (боби 11) низ наздик аст.
3. Танзими дақиқ — мутобиқ кардани модел ба вазифаи мушаххас бо тағйир додани қисме аз параметрҳо ё ҳамаи онҳо (боби 7).

Моделҳои маъруфи LLM

Дар бозор оилаҳои зиёди моделҳо мавҷуданд, ки ҳар кадом хусусиятҳои худро дорад. Дар зер маъруфтарини онҳо оварда шудаанд. Сохтори дохилии оилаҳои асосӣ (BERT, GPT, T5 ва ғайра) дар боби 5 муфассал баррасӣ мешавад.

Эзоҳ: номҳо ва версияҳои моделҳо хеле зуд иваз мешаванд. Тавсифҳои зер вазъи умумии ин оилаҳоро то соли 2026 инъикос мекунанд; барои маълумоти навтарин ба ҳуҷҷатҳои расмии таҳиягарон муроҷиат кунед.

GPT — OpenAI

Силсилаи GPT аз ҷониби ширкати OpenAI таҳия шудааст ва аз ҷумлаи маъруфтарин ва серистифодатарин моделҳои бузурги забонӣ мебошад. Маҳз ин силсила асоси ChatGPT аст.

Моделҳое мисли GPT-4o ва версияҳои баъдии он бо ҳаҷми бузурги додаҳо омӯзонда шудаанд ва барои коркарду тавлиди забони табиӣ, ҷамъбаст, тарҷума, барномасозӣ ва суҳбат истифода мешаванд. Дар версияҳои нав қобилиятҳои чанднавъа — кор бо матн, тасвир ва садо — инчунин истифодаи абзорҳо, аз ҷумла ҷустуҷӯ ва таҳлили файлҳо, нақши бештар пайдо кардаанд. Ин моделҳо барои дастгирии муштариён, тавлиди муҳтаво ва ёрӣ дар корҳои рӯзмарра васеъ истифода мешаванд.

Gemini — Google

Gemini оилаи моделҳои ширкати Google мебошад, ки барои истифодаи умумӣ ва ташкилотӣ таҳия мешавад. Он ҷонишини моделҳои пештараи Google (аз ҷумла LaMDA ва PaLM) ва чатботи Bard гардидааст.

Ин моделҳо одатан дар доираи низоми васеътари хидматҳои абрӣ ва маҳсулоти Google истифода мешаванд. Дар онҳо ба кор бо намудҳои гуногуни додаҳо (матн, тасвир, садо, видео) ва пайвастшавӣ ба абзорҳою равандҳои корӣ диққат дода мешавад. Gemini барои таҳлили ҳуҷҷатҳо, иҷрои вазифаҳои маъмурӣ, тавлиди матн, барноманависӣ ва ҳамгироӣ бо хидматҳои ташкилотӣ истифода мешавад.

Claude — Anthropic

Claude оилаи моделҳои ширкати Anthropic мебошад. Он маъмулан бо лаҳни табиӣ, навиштаи равон ва риояи дақиқи дастурҳо шинохта мешавад.

Таваҷҷуҳи ин оила бештар ба бехатарӣ, кам кардани натиҷаҳои зараровар ва кор бо матнҳои дароз равона шудааст. Ҷамъбасти гузоришҳо, бознависии касбӣ, таҳияи матнҳои расмӣ, таҳлил ва барномасозӣ аз ҷумлаи вазифаҳои маъмули он мебошанд. Барои гурӯҳҳое, ки сифати навиштан, мутобиқат ба қоидаҳои ташкилот ва муоширати боэътимодро муҳим мешуморанд, Claude яке аз интихобҳои маъмул аст.

Grok — xAI

Grok оилаи моделҳои ширкати xAI мебошад, ки бештар ҳамчун ёвари суҳбатӣ бо ҷавобҳои зуд ва рӯирост муаррифӣ мешавад. Дар баъзе версияҳо ба муоширати фаврӣ ва лаҳни ғайрирасмӣ диққат дода мешавад.

Grok барои саволу ҷавоб, ҷамъбасти матн ва ёрии умумӣ истифода мешавад. Вобаста ба версия ва маҳсулот, имкониятҳои иловагӣ, аз ҷумла пайвастшавӣ ба абзорҳо, низ метавонанд нақши муҳим дошта бошанд.

DeepSeek — DeepSeek

DeepSeek оилаи моделҳоест, ки дар солҳои охир, махсусан дар байни таҳиягарон ва дар соҳаи барномасозию андешаронӣ (reasoning), таваҷҷуҳи зиёд пайдо кардааст. Ин оила бештар бо самаранокии омӯзиш ва иҷрои вазифаҳои техникӣ — ҳалли масъала, тавлиди код ва таҳлили марҳилавӣ — шинохта мешавад.

Бисёр версияҳои DeepSeek бо вазнҳои кушода (open weights) нашр шудаанд, ки имкон медиҳад моделро дар зерсохтори худи корбар ҷойгир кунанд. Шартҳои истифода аз версия ва иҷозатномаи модел вобастаанд.

Qwen — Alibaba

Qwen оилаи моделҳои забонии ширкати Alibaba мебошад, ки махсусан бо дастгирии чандзабонӣ ва истифодаи ташкилотию маҳсулотӣ шинохта мешавад. Ин моделҳо барои тавлиди муҳтаво, суҳбат, ҷамъбаст, берун овардани маълумот аз матн ва барномасозӣ истифода мешаванд.

Бисёр версияҳои Qwen низ бо вазнҳои кушода пешниҳод мешаванд. Ин барои гурӯҳҳое муҳим аст, ки мехоҳанд зерсохтори худро назорат кунанд.

Llama — Meta

Llama оилаи моделҳои ширкати Meta мебошад, ки бо вазнҳои кушода нашр мешаванд ва дар Hugging Face дастрасанд. Он яке аз асосҳои маъмултарини таҳқиқот ва танзими дақиқи моделҳои худӣ ба шумор меравад.

Истифодаи LLM ва таъсири он ба соҳаҳо

Моделҳои бузурги забонӣ дар соҳаҳои гуногун истифода мешаванд:

• Коркарди забони табиӣ. Тарҷума, таҳлили эҳсосот ва гурӯҳбандии матн — ҳамон вазифаҳои NLP, ки пештар барои ҳар кадомашон модели алоҳида лозим буд.
• Тавлиди муҳтаво. Тайёр кардани матн барои чатботҳо, ёварони маҷозӣ ва платформаҳои тавлиди муҳтаво.
• Навиштани эҷодӣ. Нависандагон ва ҳунармандон аз LLM барои пайдо кардани идеяҳо, навиштани пешнависи қиссаҳо, омӯхтани сабкҳои адабӣ ё офаридани сабки нав истифода мебаранд.
• Барномасозӣ. Тавлид, шарҳ ва ислоҳи код.
• Маориф. Шарҳи мавзӯъҳои душвор, тартиб додани нақшаи омӯзиш ва машқҳо.
• Таҳқиқот ва рушд. LLM ба олимон дар таҳлили додаҳои матнӣ ва таҳияи фарзияҳо дар соҳаҳои гуногун кумак мекунад.

Умуман, моделҳои бузурги забонӣ пешрафти муҳим дар зеҳни сунъӣ мебошанд ва ба муошират, эҷодкорӣ ва ҳалли масъала таъсири васеъ доранд.

Фарқи LLM аз моделҳои пешина

Моделҳои бузурги забонӣ аз моделҳои пешинаи забонӣ ҳам аз ҷиҳати миқдор ва ҳам аз ҷиҳати сифат фарқ мекунанд.

Фарқи миқдорӣ

Шумораи параметрҳои LLM аз моделҳои пешина хеле бештар аст ва ба даҳҳо ё садҳо миллиард мерасад. Ҳаҷми додаҳои омӯзишӣ ва захираҳои ҳисоббарорӣ низ мутаносибан афзудаанд.

Фарқи сифатӣ

Фарқи асосӣ дар қобилиятҳои навест, ки бо афзоиши миқёс пайдо шуданд. Муҳимтарини онҳо инҳоянд:

• Иҷрои вазифа бе намуна (Zero-shot). Модел вазифаро бе он ки дар дархости ҷорӣ ягон намунаи иҷрои он оварда шавад, танҳо аз рӯи тавсиф иҷро мекунад. Ин маънои онро надорад, ки модел умуман омӯзиш надидааст: вай ба дониш ва қолабҳое такя мекунад, ки дар омӯзиши пешакии худназоратӣ азхуд кардааст.
• Иҷрои вазифа бо чанд намуна (Few-shot). Агар дар дархост чанд мисоли ҳалли вазифа оварда шавад, модел қолабро аз онҳо мефаҳмад ва ба мисоли нав татбиқ мекунад — ҳамон омӯзиш дар дохили контекст, ки дар боло зикр шуд. Ин усулҳо дар боби 10 муфассал баррасӣ мешаванд.

Тағйири равиш дар NLP

Пайдоиши LLM равиши худи коркарди забонро тағйир дод. Агар пештар барои ҳар як вазифаи NLP модели махсус сохта мешуд, имрӯз метавон аз як модели бузурги забонӣ истифода бурд ва онро тавассути дархостҳои мувофиқ (Prompting) ё омӯзиши иловагӣ (Fine-tuning) ба вазифаҳои гуногун мутобиқ кард.

Ин пешрафт технологияҳои мураккаби коркарди забонро барои доираи васеи истифодабарандагон дастрас гардонид. Ҳамзамон он мушкилоти наверо дар самтҳои самаранокӣ, ахлоқи истифодаи зеҳни сунъӣ ва ҷорӣ кардани моделҳо дар муҳити амалӣ ба миён овард.

Маҳдудиятҳои LLM

Бо вуҷуди қобилиятҳои ҳайратангез, моделҳои бузурги забонӣ маҳдудиятҳои муҳим доранд:

• Галлюсинатсия (Hallucinations). Модел кам «намедонам» мегӯяд: агар ҷавобро надонад ҳам, аксар вақт ҷавобе тавлид мекунад. Дар натиҷа маълумоти ғалат ё сохта метавонад бо итминони баланд ҳамчун ҳақиқат пешниҳод шавад.
• Набудани фаҳмиши воқеӣ (Lack of True Understanding). LLM мисли инсон дарки мустақими ҷаҳонро надорад; фаъолияти он асосан ба қонуниятҳои омории аз матн омӯхташуда такя мекунад.
• Ғаразнокӣ (Bias). Моделҳо метавонанд ғаразҳо ва нобаробариҳои дар додаҳои омӯзишӣ ё дархостҳо мавҷудбударо такрор кунанд.
• Маҳдудияти равзанаи контекст (Context Window). Ҳаҷми матне, ки модел метавонад дар як вақт коркард кунад, маҳдуд аст, ҳарчанд ин имконият пайваста такмил меёбад.
• Талабот ба захираҳои ҳисоббарорӣ (Computational Resources). Омӯзиш ва истифодаи ин моделҳо захираҳои зиёди ҳисоббарорӣ ва энергия талаб мекунад.

Роҳҳои арзёбӣ ва кам кардани ин хатарҳо дар боби 14 ва масъалаҳои самаранокӣ дар боби 13 баррасӣ мешаванд.

Хулоса

• Зеҳни сунъӣ мафҳуми васеъ аст; омӯзиши мошинӣ, омӯзиши амиқ ва моделҳои бузурги забонӣ қисмҳои пай дар пайи он мебошанд.
• Зеҳни сунъии тавлидӣ муҳтавои нав месозад; ҳар Gen AI зеҳни сунъӣ аст, вале на баръакс.
• NLP соҳаи фаҳмиш ва коркарди забони инсон аст; душвории асосии он дар табдили матн ба рақамҳо ва вобастагии маъно аз контекст мебошад.
• LLM шабакаи нейронии бузургест, ки дар ҳаҷми азими матн бо роҳи худназоратӣ — пешгӯии токени навбатӣ — омӯзонда мешавад ва баъд барои муошират бо инсон мутобиқ карда мешавад.
• Ихтисораи GPT се ҷанбаи асосиро ифода мекунад: тавлидкунанда, пешакӣ омӯзонидашуда ва бар асоси Transformer.
• LLM-ҳо вазифаҳои гуногунро бо ёрии промпт (zero-shot, few-shot) иҷро мекунанд ва ба ҷойи даҳҳо модели махсус як модели умумиро истифода бурдан имконпазир гаштааст.
• Бо вуҷуди ин, онҳо маҳдудиятҳои ҷиддӣ доранд: галлюсинатсия, ғаразнокӣ, равзанаи маҳдуди контекст ва хароҷоти баланди ҳисоббарорӣ.

Дар боби оянда аз аввалин қадами ҳар модели забонӣ оғоз мекунем: матн чӣ гуна ба токенҳо ва векторҳо табдил дода мешавад.

Манбаъҳо

Ин боб қисман дар асоси манбаъҳои зерин таҳия шудааст:

• Курси LLM-и Hugging Face (Hugging Face LLM Course). https://huggingface.co/learn/llm-course — вазифаҳои асосии NLP ва шарҳи умумии LLM.