Боби 5. Оилаҳои моделҳо: BERT, GPT, T5 ва LLM-ҳои муосир

Дар боби 4 сохтори дохилии Transformer — механизми таваҷҷуҳ (Attention), рамзгузор (Encoder) ва рамзкушо (Decoder) — шарҳ дода шуд. Аз соли 2017 то имрӯз дар асоси ҳамин меъморӣ садҳо модел сохта шудаанд. Онҳо аз рӯйи он, ки кадом қисми Transformer-ро истифода мебаранд ва чӣ гуна омӯзонида мешаванд, ба якчанд оила ҷудо мешаванд. Ин боб ба ҳамин оилаҳо бахшида шудааст.

Дар ин боб меомӯзем:

• таърихи мухтасари моделҳои Transformer — аз GPT ва BERT то LLM-ҳои муосир;
• ду роҳи асосии омӯзонидани модели забонӣ: моделсозии забонии сабабӣ (CLM) ва моделсозии забонии ниқобшуда (MLM);
• омӯзиши пешакӣ (Pre-training), танзими дақиқ (Fine-tuning) ва омӯзиши интиқолӣ (Transfer Learning) ба таври мухтасар;
• се оилаи меъморӣ: танҳо рамзгузор (BERT), танҳо рамзкушо (GPT, Llama) ва рамзгузор–рамзкушо (T5, BART), инчунин тарзи интихоби меъмории мувофиқ;
• LLM-ҳои муосир ва оилаҳои машҳури онҳо (GPT, Llama, Gemma, Mistral, Falcon, Gemini ва ғайра);
• моделҳо вазифаҳои гуногунро — тавлиди матн, гурӯҳбандӣ, ҷавоб ба саволҳо, хулосабарорӣ ва тарҷумаро — чӣ гуна ҳал мекунанд;
• Transformer-ҳо берун аз матн: нутқ (Whisper) ва тасвир (ViT);
• истифодаи амалии моделҳо бо функсияи pipeline()-и китобхонаи Hugging Face Transformers.

Таърихи мухтасари моделҳои Transformer

Меъмории Transformer моҳи июни соли 2017 муаррифӣ гардид. Таҳқиқоти аввалия асосан ба тарҷумаи мошинӣ равона шуда буд. Баъдан як қатор моделҳои таъсиргузор пайдо шуданд.

Хронология

Расми 5.1. Моделҳои ҷадвали боло дар меҳвари вақт. Ранг навъи меъмориро нишон медиҳад: танҳо рамзкушо (GPT, Llama, Mistral, Gemma, SmolLM2), танҳо рамзгузор (BERT) ва рамзгузор–рамзкушо (T5).

Ин рӯйхат пурра нест; ҳадафи он танҳо нишон додани баъзе нуқтаҳои гардиш дар рушди моделҳои Transformer аст. Механизмҳои самараноки таваҷҷуҳ, ки дар Mistral ва Gemma истифода шудаанд, дар боби 13 муфассал баррасӣ мешаванд.

Эзоҳ: Пас аз соли 2024 рушд боз ҳам тезтар шуд. Моделҳои андешаронӣ (Reasoning Models), ки пеш аз ҷавоб додан занҷири дарози фикрронӣ тавлид мекунанд (масалан, OpenAI o1 ва DeepSeek-R1), меъмории омехтаи коршиносон (Mixture of Experts — MoE, масалан, DeepSeek-V3), инчунин наслҳои нави оилаҳои Llama, Gemma, Qwen ва дигарон пайдо шуданд. Барои маълумоти навтарин ба саҳифаҳои расмии таҳиягарон ва Hugging Face Hub муроҷиат кунед.

Се гурӯҳи асосии моделҳо

Моделҳои Transformer-ро умуман ба се гурӯҳ ҷудо мекунанд:

1. Моделҳои монанд ба GPT — онҳоро Transformer-ҳои худрегрессивӣ (Auto-regressive) низ меноманд; танҳо рамзкушо доранд.
2. Моделҳои монанд ба BERT — бо номи Transformer-ҳои худрамзгузор (Auto-encoding) низ маъруфанд; танҳо рамзгузор доранд.
3. Моделҳои монанд ба T5 — моделҳои «пайдарпайӣ ба пайдарпайӣ» (Sequence-to-Sequence), ки ҳам рамзгузор ва ҳам рамзкушо доранд.

Пеш аз он ки ҳар яке аз ин оилаҳоро баррасӣ кунем, бояд бифаҳмем, ки ин моделҳо умуман чӣ гуна омӯзонида мешаванд.

Ду роҳи омӯзонидани модели забонӣ

Ҳамаи моделҳои дар боло зикршуда — GPT, BERT, T5 ва ғайра — ҳамчун моделҳои забонӣ (Language Models) омӯзонида шудаанд. Ин маънои онро дорад, ки онҳо аз ҳаҷми азими матни хом (Raw Text) бо усули омӯзиши худназоратӣ (Self-supervised Learning) таълим гирифтаанд.

Дар омӯзиши худназоратӣ ҳадафи омӯзиш худ аз худ аз маълумоти воридшуда сохта мешавад. Яъне барои тамғагузории (Labeling) маълумот иштироки инсон лозим нест: матн худаш ҳам «савол» ва ҳам «ҷавоб»-ро медиҳад. Дар натиҷа модел дар бораи забон фаҳмиши оморӣ пайдо мекунад — эҳтимоли пайдо шудани калимаро дар контексти калимаҳои атроф меомӯзад.

Барои чунин омӯзиш ду вазифаи асосӣ истифода мешавад.

Моделсозии забонии сабабӣ (CLM)

Дар моделсозии забонии сабабӣ (Causal Language Modeling — CLM) модел калимаҳои пешинаро мехонад ва токени навбатиро пешгӯӣ мекунад. Ин усул «сабабӣ» ном дорад, зеро пешгӯӣ танҳо ба токенҳои гузашта вобаста аст, на ба токенҳои оянда: модел танҳо контексти тарафи чапро мебинад.

Воридот:  Ман имрӯз ба мактаб  
Пешгӯӣ:   меравам  

Ин усул дар моделҳои рамзкушо, ба монанди GPT ва Llama, истифода мешавад.

Моделсозии забонии ниқобшуда (MLM)

Дар моделсозии забонии ниқобшуда (Masked Language Modeling — MLM) баъзе токенҳои матн ба таври тасодуфӣ бо токени махсуси [MASK] иваз карда мешаванд ва модел бояд токенҳои аслиро аз рӯйи контексти атроф барқарор кунад.

Воридот:  Ман имрӯз ба [MASK] меравам.  
Пешгӯӣ:   мактаб  

Фарқи асосӣ дар он аст, ки модел контекстро аз ҳар ду самт — ҳам калимаҳои пеш аз токени пинҳоншуда ва ҳам калимаҳои баъд аз он — ба назар мегирад. Ин усул дар моделҳои рамзгузор, ба монанди BERT, истифода мешавад.

Расми 5.2. Ду вазифаи омӯзиш дар мисоли як ҷумла: дар CLM модел аз рӯйи контексти чап токени навбатиро («меравам») пешгӯӣ мекунад; дар MLM модел токени [MASK]-ро («мактаб») бо истифода аз контексти ҳар ду тараф барқарор мекунад.

Омӯзиши пешакӣ ва танзими дақиқ

Модели забонии умумӣ, ки танҳо аз матни хом омӯхтааст, барои вазифаҳои мушаххаси амалӣ ҳанӯз чандон мувофиқ нест. Аз ин рӯ, раванди омӯзиш одатан ду марҳила дорад. Ин мавзӯъ дар бобҳои 6 ва 7 муфассал баррасӣ мешавад; дар ин ҷо танҳо ғояи асосиро меорем.

Омӯзиши пешакӣ (Pre-training)

Омӯзиши пешакӣ — омӯзонидани модел аз сифр аст. Вазнҳои (Weights) модел дар оғоз ба таври тасодуфӣ муайян карда мешаванд ва омӯзиш бе ягон дониши қаблӣ оғоз меёбад. Ин марҳила ба маҷмӯаи хеле калони матнҳо (Corpus) ниёз дорад, метавонад ҳафтаҳо давом кунад ва ҳам аз ҷиҳати вақт ва ҳам аз ҷиҳати маблағ хеле гарон аст.

Танзими дақиқ (Fine-tuning) ва омӯзиши интиқолӣ

Танзими дақиқ баъд аз омӯзиши пешакӣ анҷом дода мешавад: модели қаблан омӯзонидашударо гирифта, онро бо маҷмӯаи маълумоте (Dataset), ки ба вазифаи шумо мувофиқ аст, иловатан меомӯзонед. Дар ин марҳила одатан омӯзиши назоратшаванда (Supervised Learning), яъне маълумоти аз ҷониби инсон тамғагузоришуда, истифода мешавад.

Чаро моделро барои вазифаи ниҳоӣ аз аввал наомӯзонем? Сабабҳо чунинанд:

1. Истифодаи дониши қаблӣ. Модели қаблан омӯзонидашуда аллакай дар бораи забон фаҳмиши оморӣ дорад ва ин дониш ба вазифаи нав интиқол меёбад.
2. Ниёз ба маълумоти камтар. Барои ба даст овардани натиҷаи хуб маълумоти хеле камтар лозим аст.
3. Сарфаи вақт ва захираҳо. Вақт, маблағ ва захираҳои ҳисоббарорӣ хеле камтар сарф мешаванд.

Масалан, модели қаблан омӯзонидашудаеро, ки забони англисиро омӯхтааст, бо маҷмӯаи мақолаҳои илмии arXiv танзими дақиқ карда, моделе ба даст овардан мумкин аст, ки ба матнҳои илмӣ мутобиқ шудааст. Азбаски дониши марҳилаи аввал ба вазифаи нав «интиқол» меёбад, ин равиш омӯзиши интиқолӣ (Transfer Learning) ном гирифтааст.

Танзими дақиқ инчунин имкон медиҳад, ки равишҳои гуногунро осонтар ва зудтар озмоиш кунед. Он одатан нисбат ба омӯзонидан аз сифр натиҷаи беҳтар медиҳад, магар ин ки шумо ҳаҷми хеле зиёди маълумот дошта бошед. Аз ин рӯ, қоидаи амалӣ чунин аст: модели қаблан омӯзонидашударо интихоб кунед, ки ба вазифаи шумо то ҳадди имкон наздик бошад, ва онро танзими дақиқ намоед.

Моделҳои бузург ва изи карбонии онҳо

Ба истиснои баъзе моделҳои махсусан хурдкардашуда, ба монанди DistilBERT, роҳи асосии беҳтар кардани моделҳои Transformer афзоиш додани андозаи модел ва ҳаҷми маълумоти омӯзиши пешакӣ будааст (қонунҳои миқёспазирӣ дар боби 6 баррасӣ мешаванд). Аммо омӯзонидани модели бузург вақт, захираҳои ҳисоббарорӣ ва энергияи зиёд талаб мекунад ва ба муҳити зист таъсир мерасонад — изи карбонӣ (Carbon Footprint) мегузорад. Агар барои ёфтани беҳтарин гиперпараметрҳо (Hyperparameters) озмоишҳои зиёд гузаронида шаванд, партовҳои карбон боз ҳам бештар мешаванд.

Тасаввур кунед, ки ҳар гурӯҳи таҳқиқотӣ ё ширкат моделҳои худро ҳар дафъа аз сифр омӯзонад — ин дар миқёси ҷаҳонӣ ба хароҷоти азим ва нолозим меорад. Аз ин рӯ, мубодилаи моделҳо аҳамияти калон дорад: вақте ки вазнҳои модели омӯзонидашуда дастраси умум мегарданд, дигарон метавонанд онро бевосита истифода ё танзими дақиқ кунанд ва хароҷоти умумии ҳисоббарорӣ кам мешавад.

Изи карбонии омӯзиши моделҳои худро бо абзорҳои зерин арзёбӣ кардан мумкин аст:

• ML CO2 Impact — ҳисобкунаки таъсири экологии омӯзиши моделҳо;
• CodeCarbon — китобхонае, ки бо Hugging Face Transformers ҳамгиро шудааст ва ҳангоми омӯзиш файли emissions.csv-ро бо ҳисоби тахминии партовҳои карбон месозад.

Се оилаи меъморӣ

Ба шарофати чандирии меъмории Transformer, аксари моделҳо яке аз се шаклро истифода мебаранд:

1. Танҳо рамзгузор (Encoder-only);
2. Танҳо рамзкушо (Decoder-only);
3. Рамзгузор–рамзкушо (Encoder-Decoder), ки онро меъмории «пайдарпайӣ ба пайдарпайӣ» (Sequence-to-Sequence) низ меноманд.

Ин оилаҳо дар се ҷиҳат фарқ мекунанд: таваҷҷуҳи онҳо ба кадом токенҳо дастрасӣ дорад, бо кадом вазифа омӯзиши пешакӣ мегиранд ва барои кадом вазифаҳо мувофиқанд. Фаҳмидани ин фарқиятҳо барои интихоби модели дуруст муҳим аст.

Расми 5.3. Се оилаи меъмории Transformer. Тирҳо нишон медиҳанд, ки токени ҷудокардашуда ба кадом токенҳо таваҷҷуҳ мекунад: дар рамзгузор — ба ҳамаи токенҳо (дусамта), дар рамзкушо — танҳо ба токенҳои пешина (токени оянда пинҳон аст). Дар меъмории рамзгузор–рамзкушо рамзкушо ба натиҷаи рамзгузор тавассути таваҷҷуҳи байнӣ дастрасӣ дорад.

Моделҳои танҳо рамзгузор (Encoder-only)

Моделҳои рамзгузор танҳо қисми рамзгузори Transformer-ро истифода мебаранд. Дар ҳар қабат таваҷҷуҳ ба ҳамаи калимаҳои ҷумлаи воридшуда дастрасӣ дорад, аз ин рӯ чунин моделҳо таваҷҷуҳи дусамта (Bidirectional Attention) доранд. Онҳоро моделҳои худрамзгузор (Auto-encoding Models) низ меноманд.

Омӯзиш. Омӯзиши пешакии ин моделҳо одатан ба «вайрон кардани» ҷумла ва барқарор кардани он асос меёбад — масалан, бо усули MLM баъзе калимаҳо пинҳон карда мешаванд ва модел бояд онҳоро муайян кунад. Ин ба модел имкон медиҳад, ки робитаҳои маъноӣ ва грамматикии байни калимаҳоро омӯзад.

Барои чӣ мувофиқ аст. Азбаски модел тамоми контекстро аз ҳар ду самт мебинад, моделҳои рамзгузор барои вазифаҳое беҳтаринанд, ки фаҳмидани маънои пурраи ҷумла ё матнро талаб мекунанд:

• гурӯҳбандии ҷумлаҳо ва матн (масалан, таҳлили эҳсосот);
• шинохти номҳои хос (Named Entity Recognition — NER) ва дигар гурӯҳбандии калимаҳо;
• ҷавоб додан ба саволҳо бо истихроҷи ҷавоб аз матн (Extractive Question Answering).

Намояндагон: BERT, DistilBERT, RoBERTa, ModernBERT.

Моделҳои танҳо рамзкушо (Decoder-only)

Моделҳои рамзкушо танҳо қисми рамзкушои Transformer-ро истифода мебаранд. Ҳангоми коркарди ҳар токен таваҷҷуҳ танҳо ба токенҳое дастрасӣ дорад, ки пеш аз он ҷойгиранд. Ин моделҳоро моделҳои худрегрессивӣ (Auto-regressive Models) меноманд.

Омӯзиш. Омӯзиши пешакии онҳо ба пешгӯии токени навбатӣ (CLM) асос меёбад:

Воридот:  Ман китобро хондам ва бисёр чизҳоро  
Пешгӯӣ:   омӯхтам  

Барои чӣ мувофиқ аст. Моделҳое, ба монанди GPT, матнро токен ба токен тавлид мекунанд. Азбаски онҳо танҳо токенҳои қаблиро мебинанд, барои тавлиди матн — идома додани ҷумла, навиштани мақола, тавлиди код аз рӯйи дархост (Prompt), гуфтугӯ — хеле мувофиқанд. Барои вазифаҳое, ки ҳатман дарки дусамтаро талаб мекунанд, табиатан камтар мувофиқанд, ҳарчанд LLM-ҳои бузурги рамзкушо дар амал аксари ин вазифаҳоро низ хуб иҷро мекунанд.

Намояндагон:

Моделҳои рамзгузор–рамзкушо (Encoder-Decoder)

Моделҳои рамзгузор–рамзкушо (Sequence-to-Sequence) ҳар ду қисми Transformer-ро истифода мебаранд. Таваҷҷуҳи рамзгузор ба ҳамаи калимаҳои матни воридшуда дастрасӣ дорад, дар ҳоле ки таваҷҷуҳи худии рамзкушо танҳо ба токенҳои қаблан тавлидшуда нигоҳ мекунад (ва тавассути таваҷҷуҳи байнӣ ба натиҷаи рамзгузор). Ҳамин тавр, рамзгузор фаҳмиши амиқи дусамтаи воридотро таъмин мекунад ва рамзкушо матни натиҷаро тавлид менамояд.

Омӯзиш. Омӯзиши пешакии ин моделҳо метавонад шаклҳои гуногун дошта бошад, аммо аксар вақт ба барқарор кардани ҷумлае асос меёбад, ки бо ягон роҳ вайрон карда шудааст.

Масалан, дар омӯзиши пешакии T5 порчаҳои тасодуфии матн, ки метавонанд аз якчанд калима иборат бошанд, бо як токени махсуси ниқоб иваз карда мешаванд ва модел бояд матни пинҳоншударо пешгӯӣ кунад:

Воридот:            Ман [MASK] ва бо дӯстонам вохӯрдам.  
Порчаи барқароршуда: имрӯз ба китобхона рафтам  

Дар ин ҷо модел на як калима, балки порчаи якчандкалимагиро барқарор мекунад.

Барои чӣ мувофиқ аст. Ин моделҳо барои вазифаҳое мувофиқанд, ки дар асоси матни воридшуда матни навро тавлид мекунанд ва маъноро нигоҳ медоранд:

Намояндагон: BART, mBART, Marian, T5.

Муқоисаи се меъморӣ

Интихоби меъмории мувофиқ

Ҳангоми кор бо вазифаи мушаххаси NLP метавон аз ҷадвали зерин истифода бурд:

Агар шубҳа дошта бошед, ба се савол ҷавоб диҳед:

1. Вазифа чӣ гуна фаҳмишро талаб мекунад? Оё модел бояд контекстро аз ҳар ду самт бинад (дусамта) ё танҳо маълумоти қаблӣ кофист (якравия)?
2. Шумо матни нав тавлид мекунед ё матни мавҷударо таҳлил? Барои таҳлил рамзгузор, барои тавлид рамзкушо мувофиқтар аст.
3. Оё бояд як пайдарпайиро ба пайдарпайии дигар табдил диҳед? Барои тарҷума, хулосабарорӣ ва табдили матн меъмории рамзгузор–рамзкушо интихоби табиӣ аст.

Эзоҳ: Дар амал имрӯз LLM-ҳои бузурги танҳо рамзкушо бо дастури мувофиқ (ниг. боби 10) аксари ин вазифаҳо, аз ҷумла тарҷума ва хулосабарориро, хуб иҷро мекунанд. Аммо моделҳои хурди рамзгузор (масалан, BERT ва ModernBERT) барои гурӯҳбандӣ, ҷустуҷӯ ва сохтани эмбеддингҳо (Embeddings) то ҳол интихоби арзон, тез ва самаранок боқӣ мемонанд.

Моделҳои бузурги забонии муосир

Аксари моделҳои бузурги забонии (Large Language Models — LLM) муосир меъмории танҳо рамзкушо доранд. Дар солҳои охир андоза ва қобилиятҳои онҳо хеле афзудааст: бузургтарин моделҳо садҳо миллиард параметр доранд.

Ду марҳилаи омӯзиш

LLM-ҳои муосир одатан дар ду марҳилаи асосӣ омӯзонида мешаванд:

1. Омӯзиши пешакӣ (Pre-training). Модел аз ҳаҷми азими матн пешгӯии токени навбатиро меомӯзад ва бо ин роҳ қонуниятҳои забон ва робитаҳои омории байни токенҳоро аз худ мекунад (боби 6).
2. Танзим ба дастурҳо (Instruction Tuning). Модел иловатан омӯзонида мешавад, то дастурҳои корбарро беҳтар иҷро кунад ва ҷавобҳои муфид диҳад (бобҳои 7 ва 8).

Ҳамин равиш ба пайдоиши моделҳое овард, ки дар мавзӯъҳо ва вазифаҳои гуногун матни ба забони инсон монандро таҳлил ва тавлид мекунанд.

Қобилиятҳои асосӣ

Бо LLM-ҳои кушода бевосита дар браузер таҷриба гузарондан мумкин аст: кифоя аст саҳифаи модели дилхоҳро дар Hugging Face Hub кушоед (ниг. қисми «Истифодаи моделҳо дар амал»). Мисоли классикӣ GPT-2 аст — яке аз аввалин моделҳои вазнашон кушодаи OpenAI.

Эзоҳ: Дар бисёр маводи кӯҳна GPT-2 ҳамчун «модели кушодаи OpenAI» муаррифӣ мешавад. Аз он вақт OpenAI асосан моделҳои пӯшида нашр мекард, аммо соли 2025 боз моделҳои вазнашон кушода (gpt-oss) баровард.

Таҳаввулоти LLM-ҳо

LLM-ҳо бо суръати баланд рушд кардаанд ва ҳар насли нав беҳбудиҳои назаррас овардааст. Самтҳои асосии ин таҳаввулот чунинанд:

• Афзоиши андоза ва маълумот — аз садҳо миллион параметр (BERT, GPT-2) то садҳо миллиард; ин раванд бо қонунҳои миқёспазирӣ (Scaling Laws) роҳнамоӣ мешавад (боби 6).
• Контексти дарозтар — механизмҳои махсуси таваҷҷуҳ ва усулҳои самаранок имкон доданд, ки моделҳо матнҳои хеле дарозро коркард кунанд (боби 13).
• Мутобиқсозӣ ба инсон — танзим ба дастурҳо ва омӯзиш аз бозхӯрди инсон моделҳоро ба ёрдамчиёни муфид табдил дод (боби 8).
• Моделҳои хурд ва самаранок — интиқоли дониш ва меъмориҳои бодиққат имкон доданд, ки моделҳои хурд (SmolLM, Gemma) дар дастгоҳҳои оддӣ кор кунанд.
• Чанднавъӣ (Multimodality) — моделҳо акнун на танҳо бо матн, балки бо тасвир, садо ва видео низ кор мекунанд.

Оилаҳои машҳури моделҳо

Дар зер бо якчанд модел ва оилаи моделҳо, ки дар таърихи LLM-ҳо нақши намоён доранд, шинос мешавем.

BERT ва пайравони он

BERT (Bidirectional Encoder Representations from Transformers) соли 2018 аз ҷониби Google муаррифӣ шуд. Ин модели танҳо рамзгузор аст: аз маҷмӯи қабатҳои рамзгузори Transformer иборат буда, матнро тавлид намекунад, балки онро «мефаҳмад» — барои ҳар токен намояндагии контекстӣ месозад. Версияи калони он (BERT-large) тақрибан 340 миллион, версияи асосӣ (BERT-base) тақрибан 110 миллион параметр дорад.

BERT дар ҳаҷми калони матн омӯзиши пешакӣ гирифта, сипас барои вазифаҳои мушаххас — аз ҷумла истинтоҷи мантиқӣ дар забони табиӣ (Natural Language Inference) ва муайян кардани монандии ҷумлаҳо — танзими дақиқ карда мешавад. Тарзи кори он дар қисми «Моделҳо вазифаҳоро чӣ гуна ҳал мекунанд» муфассал шарҳ дода мешавад.

Пайравони маъруфи BERT инҳоянд: DistilBERT (версияи хурд ва тезтар, ки бо интиқоли дониш сохта шудааст), RoBERTa (бо маълумоти бештар ва бе вазифаи NSP омӯзонида шудааст) ва ModernBERT (версияи навсозишуда бо контексти дарозтар).

Оилаи GPT

GPT (Generative Pre-trained Transformer) — оилаи моделҳои танҳо рамзкушои OpenAI: GPT (2018), GPT-2 (2019), GPT-3 (2020), InstructGPT (2022) ва наслҳои минбаъда, ки дар асоси ChatGPT қарор доранд. Маҳз ин оила нишон дод, ки афзоиши андоза ва омӯзиши CLM ба қобилиятҳои умумии тавлид ва Zero-shot/Few-shot оварда мерасонад.

Llama, Mistral, Gemma, SmolLM ва DeepSeek

Ин оилаҳо намояндагони асосии моделҳои вазнашон кушода (Open-weight) мебошанд, ки онҳоро ҳар кас метавонад боргирӣ, танзими дақиқ ва дар инфрасохтори худ истифода кунад:

• Llama (Meta) — аз соли 2023; ба экосистемаи моделҳои кушода такони ҷиддӣ дод.
• Mistral (Mistral AI) — моделҳои хурд, вале қавӣ, бо таваҷҷуҳи самаранок.
• Gemma (Google) — оилаи моделҳои сабуки кушода.
• SmolLM (Hugging Face) — моделҳои хеле хурд барои дастгоҳҳои маҳаллӣ.
• DeepSeek — моделҳои бузург бо меъмории омехтаи коршиносон (MoE) ва моделҳои андешаронӣ.

Falcon

Falcon — оилаи моделҳои бузурги забонии кушодаасос, ки Институти инноватсияи технологӣ (Technology Innovation Institute, TII) дар Аморати Муттаҳидаи Араб таҳия кардааст. Моделҳои аввалини оила соли 2023 дар андозаҳои гуногун (аз версияҳои хурди чанд миллиард параметр то версияҳои садҳо миллиард параметр) нашр шуданд ва дар Hugging Face Hub ройгон дастрасанд. Баъдтар наслҳои нави он (Falcon 2, Falcon 3) низ баромаданд.

Эзоҳ: Дар баъзе маводи оммавӣ Falcon иштибоҳан ҳамчун «забони барномасозӣ» тавсиф мешавад — ин омехтагӣ бо забони барномасозии ҳамном аст. Модели Falcon модели забонии танҳо рамзкушо мебошад.

LaMDA, PaLM ва Gemini

LaMDA (Language Model for Dialogue Applications) — модели гуфтугӯии Google, ки соли 2021 муаррифӣ шуд. Он модели Transformer-и танҳо рамзкушо буда, дар ҳаҷми калони гуфтугӯҳо ва матнҳо омӯзиши пешакӣ гирифтааст. Соли 2022 яке аз муҳандисони Google — Блейк Лемуан — иддао кард, ки LaMDA «эҳсос» ва худогоҳӣ дорад. Ин иддао таваҷҷуҳи васеи ҷомеаро ҷалб кард, аммо Google ва аксари муҳаққиқон онро рад карданд: модел матни ба нутқи инсон монандро тавлид мекунад, вале ин далели доштани эҳсос нест.

Соли 2023 Google чатботи Bard-ро дар асоси LaMDA ва баъдтар PaLM 2 ба кор андохт. Пас аз он ки ин моделҳо бо оилаи нави Gemini иваз шуданд, соли 2024 худи чатбот низ ба Gemini тағйири ном кард. Ҳамин тавр, LaMDA, PaLM ва Bard имрӯз аҳамияти таърихӣ доранд.

Gemini — оилаи моделҳои Google, ки аз аввал чанднавъӣ (Multimodal) тарҳрезӣ шудааст: ғайр аз матн бо тасвир, садо ва видео низ кор мекунад. Ҳангоми муаррифии насли аввал (охири соли 2023) Google иддао кард, ки Gemini дар аксари меъёрҳои арзёбӣ аз GPT-4 беҳтар аст; чунин муқоисаҳо ҳамеша ба интихоби санҷишҳо вобастаанд ва бо баромадани наслҳои нав зуд кӯҳна мешаванд.

Моделҳо вазифаҳоро чӣ гуна ҳал мекунанд

Акнун, ки оилаҳои моделҳо маълуманд, бубинем, ки дар дохили онҳо ҳангоми ҳалли вазифаҳои мушаххас чӣ рӯй медиҳад. Барои ҳалли як вазифа роҳҳои гуногун вуҷуд дорад, аммо дар моделҳои Transformer тартиби умумӣ яксон аст: маълумоти воридшуда тавассути модел коркард мегардад ва натиҷаи он барои вазифаи мушаххас тафсир карда мешавад. Фарқиятҳо асосан дар се ҷиҳатанд:

• маълумот чӣ гуна омода мешавад;
• кадом меъмории модел истифода мешавад;
• натиҷа чӣ гуна коркард мегардад.

Дар ин қисм ва қисми баъдӣ моделҳо ва вазифаҳои зерин баррасӣ мешаванд:

Барои фаҳмидани ин қисм донистани тарзи кори рамзгузор, рамзкушо ва механизми таваҷҷуҳ аз боби 4 муфид аст.

Тавлиди матн бо GPT-2

Тавлиди матн — сохтани матни пайваста ва ба контекст мувофиқ дар асоси дархост ё матни воридшуда. GPT-2 модели танҳо рамзкушо аст, ки дар ҳаҷми калони матн омӯзиши пешакӣ гирифтааст. Он аз рӯйи дархост (Prompt) матни боварибахш тавлид мекунад, ҳарчанд ин матн на ҳамеша дуруст ё воқеӣ аст. GPT-2 ҳамчунин метавонад баъзе вазифаҳои дигари NLP, масалан, ҷавоб ба саволҳоро иҷро кунад, ҳатто агар махсус барои онҳо омӯзонида нашуда бошад.

Аз матн то ҳолатҳои ниҳонӣ. GPT-2 барои токенсозӣ аз усули Byte Pair Encoding (BPE) истифода мебарад (боби 2). Барои ҳар токен эмбеддинги токен (Token Embedding) сохта мешавад ва ба он рамзгузории мавқеъ (Positional Encoding) илова мегардад, то ҷойгиршавии токен дар пайдарпайӣ маълум бошад. Ин векторҳо аз якчанд блоки рамзкушо гузашта, ҳолатҳои ниҳонии ниҳоиро (Final Hidden States) ҳосил мекунанд.

Дар ҳар блок GPT-2 таваҷҷуҳи худии ниқобшуда (Masked Self-Attention)-ро истифода мебарад: ҳангоми пешгӯӣ модел ба токенҳои оянда нигоҳ карда наметавонад ва танҳо токенҳои тарафи чапро мебинад. Ин ниқоб аз токени [MASK]-и BERT фарқ мекунад: дар ин ҷо ниқоби таваҷҷуҳ (Attention Mask) саҳми токенҳои ояндаро дар ҳисоби таваҷҷуҳ ба сифр мерасонад.

Аз ҳолатҳои ниҳонӣ то пешгӯии токен. Натиҷаи рамзкушо ба сари моделсозии забонӣ (Language Modeling Head) дода мешавад. Ин қабат бо табдилдиҳии хаттӣ (Linear Transformation) ҳолатҳои ниҳониро ба логитҳо (Logits) — холҳои хоми модел барои ҳар токени луғат — табдил медиҳад. Ҳадафи омӯзиш пешгӯии токени навбатӣ аст: барои ин токенҳои мақсаднок нисбат ба воридот як мавқеъ ба рост ҷобаҷо карда мешаванд ва талафоти энтропияи салибӣ (Cross-entropy Loss) байни логитҳо ва токенҳои мақсаднок ҳисоб мешавад.

Ҳамин тавр, ҳадафи омӯзиши пешакии GPT-2 пурра ба CLM асос ёфтааст ва маҳз ҳамин он модели табиӣ барои тавлиди матн мегардонад. Стратегияҳои интихоби токен ҳангоми тавлид (ҷустуҷӯи ҳарисона, намунагирӣ ва ғайра) дар боби 9 баррасӣ мешаванд.

Машқ: Дар ҳуҷҷатҳои Hugging Face Transformers дастури «Causal language modeling» мавҷуд аст, ки танзими дақиқи DistilGPT-2 ва истифодаи онро барои пешгӯӣ (Inference) нишон медиҳад. Онро иҷро кунед.

Гурӯҳбандии матн бо BERT

Гурӯҳбандии матн — ҷудо кардани ҳуҷҷатҳо ё матнҳо ба гурӯҳҳои пешакӣ муайяншуда, масалан:

• таҳлили эҳсосот (Sentiment Analysis);
• гурӯҳбандӣ аз рӯйи мавзӯъ (Topic Classification);
• ошкор кардани спам (Spam Detection).

BERT модели танҳо рамзгузор ва яке аз аввалин моделҳое буд, ки дусамтагии амиқро (Deep Bidirectionality) самаранок истифода бурд: ба калимаҳои ҳар ду тарафи токен таваҷҷуҳ карда, намояндагиҳои ғанитари маъноӣ месозад.

Токенсозӣ дар BERT. BERT барои токенсозӣ усули WordPiece-ро истифода мебарад (боби 2). Ба аввали ҳар пайдарпайӣ токени махсуси [CLS] илова мешавад; натиҷаи ниҳоии ин токен ҳамчун воридот ба сари гурӯҳбандӣ (Classification Head) истифода мегардад. Барои ҷудо кардани ду ҷумла дар ҷуфти ҷумлаҳо токени махсуси [SEP] хизмат мекунад. Ғайр аз ин, BERT намояндагии сегментӣ (Segment Embedding) илова мекунад, то маълум бошад, ки ҳар токен ба ҷумлаи якум ё дуюм тааллуқ дорад.

Ду ҳадафи омӯзиши пешакии BERT:

1. Моделсозии забонии ниқобшуда (MLM). Қисми муайяни токенҳо ба таври тасодуфӣ ниқоб карда мешаванд ва модел бояд онҳоро пешгӯӣ кунад. Ин имкон медиҳад, ки модел контексти дусамтаро истифода барад, бе он ки калимаи мақсаднокро бевосита бинад — агар калимаи пешгӯишаванда намоён мебуд, модел ҷавобро бевосита медид ва вазифа маънои омӯзишии худро гум мекард. Ҳолатҳои ниҳонии ниҳоии токенҳои ниқобшуда ба шабакаи пешрав (Feed-Forward Network) дода мешаванд ва бо функсияи Softmax дар тамоми луғат (Vocabulary) эҳтимолҳо ҳисоб карда мешаванд.
2. Пешгӯии ҷумлаи навбатӣ (Next Sentence Prediction — NSP). Модел бояд муайян кунад, ки оё ҷумлаи B воқеан баъд аз ҷумлаи A меояд. Дар нисфи мисолҳо B идомаи воқеии A аст, дар нисфи дигар — ҷумлаи тасодуфӣ. Модел яке аз ду тамғаро пешгӯӣ мекунад: IsNext (B идомаи A аст) ё NotNext (идомаи A нест). Натиҷа ба шабакаи пешрав бо Softmax дода мешавад, ки байни ин ду гурӯҳ интихоб мекунад.

Эзоҳ: Таҳқиқоти минбаъда (масалан, RoBERTa) нишон доданд, ки вазифаи NSP чандон муфид нест; бисёр моделҳои баъдинаи рамзгузор онро истифода намебаранд.

Сари гурӯҳбандӣ. Барои истифодаи BERT дар гурӯҳбандии матн ба болои модели асосӣ сари гурӯҳбандии пайдарпайӣ (Sequence Classification Head) — як қабати хаттӣ — илова мешавад. Он ҳолатҳои ниҳонии ниҳоиро ба логитҳо табдил медиҳад ва талафоти энтропияи салибӣ байни логитҳо ва тамғаи мақсаднок ҳисоб карда мешавад, то модел гурӯҳи эҳтимолитаринро омӯзад.

Машқ: Дастури «Text classification»-и ҳуҷҷатҳои Hugging Face танзими дақиқи DistilBERT-ро барои гурӯҳбандии матн нишон медиҳад.

Гурӯҳбандии токенҳо

Гурӯҳбандии токенҳо — таъин кардани тамға (Label) ба ҳар як токени пайдарпайӣ. Ин усул дар вазифаҳои зерин истифода мешавад:

• шинохти номҳои хос (NER);
• муайян кардани ҳиссаҳои нутқ (Part-of-Speech Tagging — POS).

Барои ин ба болои BERT сари гурӯҳбандии токенҳо (Token Classification Head) илова мешавад. Ин қабати хаттӣ ҳолати ниҳонии ниҳоии ҳар токенро ба логитҳо табдил медиҳад ва талафоти энтропияи салибӣ байни логитҳои ҳар токен ва тамғаи он ҳисоб карда мешавад. Дар натиҷа модел барои ҳар токен гурӯҳи эҳтимолитаринро муайян мекунад:

Машқ: Дастури «Token classification»-и ҳуҷҷатҳои Hugging Face танзими дақиқи DistilBERT-ро барои NER нишон медиҳад.

Ҷавоб додан ба саволҳо

Дар ин вазифа модел бояд ҷавобро дар дохили матни додашуда пайдо кунад. Масалан:

• Матн: «Силвен дар ширкати Hugging Face кор мекунад».
• Савол: «Силвен дар куҷо кор мекунад?»
• Ҷавоби истихроҷшуда: «Hugging Face».

Барои ин ба болои BERT сари гурӯҳбандии порча (Span Classification Head) илова мешавад. Ин қабати хаттӣ аз ҳолатҳои ниҳонии ниҳоӣ барои ҳар токен ду логит ҳисоб мекунад:

• логити оғози ҷавоб (Start Position);
• логити анҷоми ҷавоб (End Position).

Талафоти энтропияи салибӣ байни ин логитҳо ва мавқеъҳои дурусти ҷавоб ҳисоб мешавад ва модел меомӯзад, ки порчаи эҳтимолитарини матнро, ки ба савол ҷавоб медиҳад, муайян кунад.

Машқ: Дастури «Question answering»-и ҳуҷҷатҳои Hugging Face танзими дақиқи DistilBERT-ро барои ин вазифа нишон медиҳад.

Тавре мебинем, истифодаи BERT барои вазифаҳои гуногун пас аз омӯзиши пешакӣ хеле сода аст: кифоя аст ба модели қаблан омӯзонидашуда сари махсуси вазифа (Task-specific Head) илова кунед, ки ҳолатҳои ниҳониро ба шакли натиҷаи дилхоҳ табдил медиҳад.

Хулосабарорӣ бо BART

Хулосабарорӣ — кӯтоҳ кардани матни дароз бо нигоҳ доштани маълумоти асосӣ ва маъно. Моделҳои рамзгузор–рамзкушо, ба монанди BART ва T5, барои ин вазифа хеле мувофиқанд.

Рамзгузори BART. Рамзгузори BART ба BERT хеле монанд аст: намояндагиҳои вектории токенҳо ва мавқеъҳоро қабул мекунад. BART дар омӯзиши пешакӣ матни воридшударо «вайрон» мекунад ва сипас онро тавассути рамзкушо барқарор менамояд. Бар хилофи баъзе моделҳо, ки танҳо як навъи вайронкуниро истифода мебаранд, BART навъҳои гуногунро санҷидааст, аммо беҳтарин натиҷаро усули пур кардани порчаҳо (Text Infilling) додааст. Дар ин усул якчанд порчаи матн ҳар кадом бо як токени [MASK] иваз карда мешаванд. Ин муҳим аст, зеро модел бояд на танҳо токенҳои гумшударо пешгӯӣ кунад, балки муайян намояд, ки чанд токен ҳазф шудааст:

Ҷумлаи аслӣ:      Ман имрӯз ба мактаб рафта, бо дӯстонам вохӯрдам.  
Пас аз ниқоб:     Ман имрӯз [MASK] вохӯрдам.  
Бояд барқарор шавад: ба мактаб рафта, бо дӯстонам  

Воридот ва порчаҳои ниқобшуда тавассути рамзгузор коркард шуда, ҳолатҳои ниҳонии ниҳоиро ҳосил мекунанд. Бар хилофи BERT, дар охири рамзгузори BART шабакаи иловагии пешрав барои пешгӯии калима нест.

Рамзкушои BART. Натиҷаи рамзгузор ба рамзкушо дода мешавад. Рамзкушо бояд ҳам токенҳои ниқобшуда ва ҳам токенҳои тағйирнаёфтаи матни аслиро пешгӯӣ кунад; натиҷаи рамзгузор ба он контексти иловагӣ медиҳад. Натиҷаи рамзкушо ба сари моделсозии забонӣ ворид шуда, ба логитҳо табдил меёбад ва талафоти энтропияи салибӣ байни логитҳо ва токенҳои мақсаднок (ки нисбат ба воридоти рамзкушо як мавқеъ ҷобаҷо шудаанд) ҳисоб карда мешавад.

Машқ: Дастури «Summarization»-и ҳуҷҷатҳои Hugging Face танзими дақиқи T5-ро барои хулосабарорӣ нишон медиҳад.

Тарҷума бо BART

Тарҷума — табдили матн аз як забон ба забони дигар бо нигоҳ доштани маъно — низ вазифаи «пайдарпайӣ ба пайдарпайӣ» аст ва барои он метавон аз BART ё T5 истифода бурд.

Барои мутобиқ кардани BART ба тарҷума ба он рамзгузори алоҳидаи забони манбаъ илова карда мешавад, ки вазнҳояш дар оғоз тасодуфӣ мебошанд. Вазифаи ин рамзгузори нав табдил додани калимаҳои забони манбаъ ба намояндагие мебошад, ки онро ба забони мақсаднок рамзкушоӣ кардан мумкин аст. Намояндагиҳои сохтаи он ба ҷойи намояндагиҳои аслии калимаҳо (Word Embeddings) ба рамзгузори қаблан омӯзонидашуда дода мешаванд.

Омӯзиш дар ду марҳила сурат мегирад:

1. Аввал параметрҳои модели қаблан омӯзонидашуда ях карда мешаванд (Frozen Parameters) ва танҳо рамзгузори забони манбаъ, намояндагиҳои мавқеӣ (Positional Embeddings) ва намояндагиҳои воридот (Input Embeddings) бо талафоти энтропияи салибӣ навсозӣ мешаванд.
2. Сипас ҳамаи параметрҳои модел якҷоя омӯзонида мешаванд.

Баъдтар версияи бисёрзабонаи BART — mBART — таҳия гардид, ки махсус барои тарҷума пешбинӣ шуда, дар маълумоти забонҳои гуногун омӯзиши пешакӣ гирифтааст.

Машқ: Дастури «Translation»-и ҳуҷҷатҳои Hugging Face танзими дақиқи T5-ро барои тарҷума нишон медиҳад.

Тавре дидем, моделҳои гуногун бо вуҷуди иҷрои вазифаҳои мухталиф аз қонуниятҳои ба ҳам монанд истифода мебаранд. Донистани ин қонуниятҳо ба шумо кӯмак мекунад, ки тарзи кори моделҳои навро зуд дарк кунед ва моделҳои мавҷударо ба талаботи худ мутобиқ созед.

Берун аз матн: нутқ ва тасвир

Transformer-ҳо танҳо бо матн маҳдуд намешаванд: онҳоро барои коркарди нутқ, аудио, тасвир ва видео низ истифода мебаранд. Гарчанде ин китоб асосан ба матн бахшида шудааст, шинос шудан бо дигар намудҳои маълумот (Modalities) нишон медиҳад, ки меъмории Transformer то чӣ андоза умумӣ аст.

Нутқ ва аудио: Whisper

Коркарди нутқ ва аудио нисбат ба матн ва тасвир мушкилоти хоси худро дорад. Мисоли намоёни модели нутқӣ Whisper-и OpenAI мебошад — модели Transformer аз навъи рамзгузор–рамзкушо (Sequence-to-Sequence).

Сохтор. Whisper аз ду ҷузъи асосӣ иборат аст:

1. Рамзгузор — коркарди аудио. Сабти аудиоии хом аввал ба спектрограммаи Log-Mel (Log-Mel Spectrogram) табдил дода мешавад ва сипас ба рамзгузори Transformer ворид мегардад.
2. Рамзкушо — тавлиди матн. Рамзкушо намояндагии рамзгузоришудаи аудиоро қабул карда, токенҳои матнии мувофиқро ба таври худрегрессивӣ (Autoregressively) пешгӯӣ мекунад. Ин рамзкушои стандартии Transformer аст, ки токени навбатиро дар асоси токенҳои қаблӣ ва натиҷаи рамзгузор пешгӯӣ мекунад. Дар оғози воридоти рамзкушо токенҳои махсус гузошта мешаванд, ки моделро ба вазифаи мушаххас равона мекунанд, масалан:
   • табдили нутқ ба матн (Transcription);
   • тарҷумаи нутқ (Speech Translation);
   • муайян кардани забон (Language Identification).

Омӯзиш. Whisper дар маҷмӯаи бузург ва гуногуни 680 ҳазор соат аудиои тамғагузоришуда, ки аз интернет ҷамъоварӣ шудааст, омӯзиши пешакӣ гирифтааст. Ин омӯзиши пешакии васеъмиқёс бо назорати заиф (Weakly Supervised Pretraining) навоварии асосии Whisper аст: ба шарофати он модел ба забонҳо, лаҳҷаҳо ва вазифаҳои гуногун хуб мутобиқ мешавад ва дар забони англисӣ ва бисёр забонҳои дигар бе омӯзиши иловагӣ (Zero-shot) кор мекунад. Дар бисёр ҳолатҳо Whisper-ро бевосита истифода бурдан мумкин аст; барои беҳтар кардани натиҷа дар вазифаи мушаххас (масалан, барои забони камманбаъ) онро бо маълумоти худ танзими дақиқ мекунанд.

Шинохти худкори нутқ (ASR)

Барои шинохти худкори нутқ (Automatic Speech Recognition — ASR) тамоми сохтори рамзгузор–рамзкушо истифода мешавад: рамзгузор аудиоро коркард мекунад ва рамзкушо матнро токен ба токен тавлид менамояд. Ҳангоми танзими дақиқ модел бо талафоти стандартии «пайдарпайӣ ба пайдарпайӣ» (энтропияи салибӣ) омӯзонида мешавад, то аз рӯйи аудио токенҳои дурусти матнро пешгӯӣ кунад.

Осонтарин роҳи истифодаи модели тайёр — функсияи pipeline() аст (дар қисми навбатӣ муфассал шарҳ дода мешавад):

from transformers import pipeline

transcriber = pipeline(  
    task="automatic-speech-recognition",  
    model="openai/whisper-base.en",  
)  
transcriber("https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac")  

Натиҷа:

{'text': ' I have a dream that one day this nation will rise up and live out the true meaning of its creed.'}  

Тарҷумаи натиҷа: «Ман орзу дорам, ки рӯзе ин миллат бархезад ва маънои ҳақиқии эътиқоди худро дар амал татбиқ намояд».

Машқ: Дастури «Automatic speech recognition»-и ҳуҷҷатҳои Hugging Face танзими дақиқи моделро барои ASR нишон медиҳад. Кӯшиш кунед, ки Whisper-ро бо сабтҳои тоҷикӣ санҷед (ниг. боби 16).

Биниши компютерӣ

Биниши компютерӣ (Computer Vision) ба фаҳмидан ва тафсири маълумоти визуалӣ аз тасвир ё видео машғул аст. Барои ҳалли масъалаҳои он ду равиши асосӣ вуҷуд дорад:

1. Transformer-и тасвирӣ. Тасвир ба пайдарпайии қисмҳои хурд (Patches) тақсим мешавад ва ин қисмҳо тавассути Transformer ба таври мувозӣ коркард мегарданд (масалан, ViT).
2. Шабакаҳои муосири конволютсионӣ (Convolutional Neural Networks — CNN), ба монанди ConvNeXT, ки ба қабатҳои конволютсионӣ такя мекунанд, вале унсурҳои тарҳи муосири шабакаҳоро истифода мебаранд.

Равиши сеюм ин ду равишро омехта мекунад (масалан, Convolutional Vision Transformer ва LeViT); мо онро алоҳида баррасӣ намекунем.

ViT ва ConvNeXT одатан барои гурӯҳбандии тасвирҳо истифода мешаванд. Барои вазифаҳои дигар моделҳои махсус мувофиқтаранд:

• DETR — ошкор кардани объектҳо (Object Detection);
• Mask2Former — қисмбандии тасвир (Image Segmentation);
• GLPN — арзёбии умқи тасвир (Depth Estimation).

Гурӯҳбандии тасвир бо Vision Transformer (ViT)

Ҳам ViT ва ҳам ConvNeXT тасвирро тасниф карда метавонанд; фарқи асосӣ дар он аст, ки ViT механизми таваҷҷуҳро истифода мебарад, ConvNeXT бошад ба конволютсияҳо такя мекунад. ViT конволютсияҳоро пурра бо Transformer иваз мекунад ва агар шумо меъмории Transformer-ро донед, фаҳмидани он осон аст. Навоварии асосии ViT дар тарзи пешниҳоди тасвир ба Transformer аст:

1. Тақсими тасвир ба қисмҳо. Тасвир ба қисмҳои мураббаъи хурд, ки бо ҳам ҳампӯшӣ надоранд, тақсим мешавад. Масалан, тасвири 224 × 224 пикселиро ба шабакаи 14 × 14, яъне 196 қисми 16 × 16 пикселӣ ҷудо кардан мумкин аст. Ҳар қисм тавассути қабати конволютсионии дученака (2D Convolutional Layer) ба вектор — намояндагии қисм (Patch Embedding) — табдил дода мешавад; дар модели асосӣ ҳар чунин вектор 768 арзиш дорад. Ҳамон тавре ки матн ба токенҳо ҷудо мешавад, тасвир ба пайдарпайии қисмҳо тақсим мегардад — як навъ «токенсозии тасвир».
2. Илова кардани токени [CLS]. Ба аввали пайдарпайӣ намояндагии омӯзишпазири махсус (Learnable Embedding) — токени [CLS] — илова мешавад, монанди BERT. Ҳолати ниҳонии ниҳоии он ҳамчун воридот ба сари гурӯҳбандӣ хизмат мекунад ва намояндагии умумии тамоми тасвирро меомӯзад; натиҷаҳои дигар токенҳо барои гурӯҳбандӣ истифода намешаванд.
3. Илова кардани намояндагиҳои мавқеӣ. Transformer худ аз худ тартиби қисмҳоро намедонад, бинобар ин ба намояндагиҳои қисмҳо ва [CLS] намояндагиҳои мавқеии (Position Embeddings) омӯзишпазир, ки андозаашон ба Patch Embeddings баробар аст, илова карда мешаванд. Сипас ҳамаи векторҳо ба рамзгузори Transformer дода мешаванд.
4. Гурӯҳбандии ниҳоӣ. Натиҷаи рамзгузор барои токени [CLS] ба сари персептрони бисёрқабата (Multilayer Perceptron — MLP) дода мешавад, ки онро ба логитҳои гурӯҳҳо табдил медиҳад. Модел бо талафоти энтропияи салибӣ гурӯҳи эҳтимолитаринро муайян карданро меомӯзад. Ҳадафи омӯзиши пешакии ViT худ гурӯҳбандӣ аст.

Машқ: Дастури «Image classification»-и ҳуҷҷатҳои Hugging Face танзими дақиқи ViT-ро нишон медиҳад.

Монандии ViT ва BERT

Ҳар ду модел токени [CLS]-ро барои намояндагии умумии воридот истифода мебаранд, ба векторҳо маълумоти мавқеӣ илова мекунанд ва пайдарпайии токенҳо ё қисмҳоро бо рамзгузори Transformer коркард менамоянд. Ин монандӣ чандирии меъмории Transformer-ро нишон медиҳад: як принсипи ягона ҳам барои матн ва ҳам барои тасвир кор мекунад.

Истифодаи моделҳо дар амал: Pipeline-ҳои Hugging Face

Моделҳои Transformer дар соҳаҳои гуногун — коркарди забони табиӣ, биниши компютерӣ, коркарди аудио ва ғайра — истифода мешаванд. Ширкатҳо ва ташкилотҳои зиёд на танҳо аз онҳо истифода мебаранд, балки моделҳои худро бо ҷомеа мубодила мекунанд.

Маркази асосии ин мубодила Hugging Face Hub аст. Китобхонаи Hugging Face Transformers (🤗 Transformers) имкон медиҳад, ки моделҳои мубодилашуда бор ва истифода карда шаванд. Hub миллионҳо модели қаблан омӯзонидашуда (Pretrained Models)-ро дар бар мегирад, ки ҳар кас метавонад онҳоро боргирӣ кунад; шумо низ метавонед моделҳои худро ба он бор кунед. Hub танҳо бо моделҳои Transformer маҳдуд нест: дар он намудҳои гуногуни моделҳо ва маҷмӯаҳои маълумот (Datasets) ҷойгир карда мешаванд. Барои истифода аз ҳамаи имкониятҳо дар сомонаи huggingface.co ҳисоби корбарӣ созед.

Эзоҳ: Барои иҷрои мисолҳои ин қисм дар компютери худ Python ва китобхонаи transformers (ва чаҳорчӯбаи PyTorch) лозиманд: pip install "transformers>=4.41,<5" torch. Мисолҳои ин китоб бо версияи 4-и Transformers навишта шудаанд. Дар версияи 5 баъзе pipeline-ҳо тағйир ёфтаанд ё хориҷ шудаанд; агар мисол бо версияи нав хато диҳад, версияи 4-ро насб кунед ё ҳуҷҷатҳои навро бинед. Мисолҳоро дар Google Colab низ иҷро кардан мумкин аст.

Функсияи pipeline()

Содатарин абзори китобхонаи Transformers функсияи pipeline() аст. Он моделро бо марҳилаҳои зарурии пешкоркард (Preprocessing) ва паскоркард (Postprocessing) пайваст мекунад, то матнро бевосита ворид карда, ҷавоби фаҳморо гирифтан мумкин бошад:

from transformers import pipeline

classifier = pipeline("sentiment-analysis",  
                      model="distilbert/distilbert-base-uncased-finetuned-sst-2-english")  
classifier("I've been waiting for a HuggingFace course my whole life.")  

Натиҷа:

[{'label': 'POSITIVE', 'score': 0.9598047137260437}]  

Модел ҷумлаи «Ман тамоми умр интизори курси Hugging Face будам»-ро таҳлил карда, онро мусбат (POSITIVE) бо эътимоди тақрибан 0,96 донист. Якчанд ҷумларо якбора низ додан мумкин аст:

classifier(  
    [  
        "I've been waiting for a HuggingFace course my whole life.",  
        "I hate this so much!",  
    ]  
)  

Натиҷа:

[{'label': 'POSITIVE', 'score': 0.9598047137260437},  
 {'label': 'NEGATIVE', 'score': 0.9994558095932007}]  

Ҷумлаи дуюм — «Ман аз ин хеле нафрат дорам!» — манфӣ (NEGATIVE) муайян шуд.

Параметри model модели мушаххасро нишон медиҳад — дар ин ҷо модели хурде, ки барои таҳлили эҳсосоти матнҳои англисӣ танзими дақиқ шудааст. Агар онро нишон надиҳед, pipeline() модели пешфарзро худаш интихоб мекунад, вале модели пешфарз бо версияи китобхона иваз шуда метавонад. Барои ҳамин дар ҳамаи мисолҳои ин боб номи модел ошкоро навишта шудааст. Ҳангоми сохтани объекти classifier модел боргирӣ шуда, дар хотираи муваққатӣ (Cache) нигоҳ дошта мешавад; ҳангоми иҷрои дубора он аз Cache гирифта мешавад ва аз нав боргирӣ намегардад.

Се марҳилаи кори Pipeline:

1. Пешкоркард — матн ба шакле табдил дода мешавад, ки модел онро коркард карда тавонад (токенсозӣ).
2. Коркард дар модел (Model Inference) — маълумоти омодашуда ба модел дода мешавад ва модел пешгӯӣ мекунад.
3. Паскоркард — натиҷаҳои модел ба шакли фаҳмо барои корбар табдил дода мешаванд.

Pipeline-ҳои дастрас

pipeline() намудҳои гуногуни маълумот — матн, тасвир, садо ва вазифаҳои чанднавъиро (Multimodal) — дастгирӣ мекунад. Рӯйхати пурра ва навшудаи онҳо дар ҳуҷҷатҳои расмии Transformers оварда шудааст.

Акнун баъзе аз ин Pipeline-ҳоро муфассал дида мебароем.

Гурӯҳбандӣ бе омӯзиши махсус (Zero-shot)

Дар лоиҳаҳои воқеӣ аксар вақт матнҳо тамғагузорӣ нашудаанд ва тамғагузорӣ вақт ва дониши тахассусӣ талаб мекунад. Pipeline-и zero-shot-classification имкон медиҳад, ки гурӯҳҳоро (Labels) худатон муайян кунед — на танҳо гурӯҳҳое, ки модел барои онҳо омӯзонида шудааст:

from transformers import pipeline

classifier = pipeline("zero-shot-classification", model="facebook/bart-large-mnli")  
classifier(  
    "This is a course about the Transformers library",  
    candidate_labels=["education", "politics", "business"],  
)  

Натиҷа:

{'sequence': 'This is a course about the Transformers library',  
 'labels': ['education', 'business', 'politics'],  
 'scores': [0.8445963859558105, 0.111976258456707, 0.043427448719739914]}  

Матни воридшуда («Ин курс дар бораи китобхонаи Transformers аст») ба се гурӯҳ — маориф (education), сиёсат (politics) ва тиҷорат (business) — санҷида шуд. Модел онро бо 84,46% ба маориф, бо 11,20% ба тиҷорат ва бо 4,34% ба сиёсат нисбат дод. Ин усул Zero-shot ном дорад, зеро барои он моделро бо маълумоти худ танзими дақиқ кардан лозим нест: модел барои ҳар рӯйхати гурӯҳҳо бевосита холҳои эҳтимолиятро бармегардонад.

Машқ: Ҷумлаҳо ва гурӯҳҳои дигарро интихоб карда, санҷед, ки модел онҳоро чӣ гуна тасниф мекунад.

Тавлиди матн

Ғояи тавлиди матн сода аст: шумо матни оғозин ё дархост (Prompt) медиҳед ва модел онро бо тавлиди токенҳои минбаъда идома медиҳад — монанди пешгӯии калимаҳо дар клавиатураи телефон. Тавлид хусусияти тасодуфӣ дорад, бинобар ин натиҷаи шумо метавонад аз мисоли зер фарқ кунад:

from transformers import pipeline

generator = pipeline("text-generation", model="openai-community/gpt2")  
generator("In this course, we will teach you how to")  

Натиҷа:

[{'generated_text': 'In this course, we will teach you how to understand and use '  
                    'data flow and data interchange when handling user data. We '  
                    'will be working with one or more of the most commonly used '  
                    'data flows — data flows of various types, as seen by the '  
                    'HTTP'}]  

Модел ҷумлаи «Дар ин курс мо ба шумо меомӯзонем, ки чӣ гуна...»-ро идома дода, дар бораи ҷараёни маълумот (Data Flow) матн тавлид кард. Тавлидро бо параметрҳо идора кардан мумкин аст:

• num_return_sequences — шумораи матнҳои гуногуне, ки тавлид мешаванд;
• max_length — дарозии умумии матни натиҷа бо токенҳо (ҳамроҳи дархост).

Эзоҳ: Дар версияҳои нави китобхона барои маҳдуд кардани танҳо токенҳои навтавлидшуда параметри max_new_tokens тавсия дода мешавад. Параметрҳои дигари тавлид (ҳарорат, top_k, top_p ва ғайра) дар боби 9 шарҳ дода мешаванд.

Машқ: Бо параметрҳои num_return_sequences ва max_length ду ҷумлаи тақрибан 15-калимагӣ тавлид кунед.

Истифодаи модели дилхоҳ аз Hub

Дар мисолҳои боло моделҳое истифода шуданд, ки pipeline() барои ин вазифаҳо ба таври пешфарз интихоб мекунад. Ба ҷои онҳо ҳар модели дигари мувофиқро аз Hub низ истифода бурдан мумкин аст. Барои ёфтани он дар Hub аз филтрҳои вазифа (масалан, Text Generation) истифода баред — танҳо моделҳое нишон дода мешаванд, ки ин вазифаро дастгирӣ мекунанд. Масалан, модели HuggingFaceTB/SmolLM2-360M:

from transformers import pipeline

generator = pipeline("text-generation", model="HuggingFaceTB/SmolLM2-360M")  
generator(  
    "In this course, we will teach you how to",  
    max_length=30,  
    num_return_sequences=2,  
)  

Натиҷа:

[{'generated_text': 'In this course, we will teach you how to manipulate the world and '  
                    'move your mental and physical capabilities to your advantage.'},  
 {'generated_text': 'In this course, we will teach you how to become an expert and '  
                    'practice realtime, and with a hands on experience on both real '  
                    'time and real'}]  

Модел ду матни гуногун тавлид кард. Ҷустуҷӯро бо филтрҳои забонӣ низ маҳдуд кардан мумкин аст, то моделе ёбед, ки ба забони дигар матн тавлид мекунад; дар Hub ҳатто нуқтаҳои назоратии (Checkpoints) моделҳои бисёрзабона мавҷуданд. Саҳифаи ҳар модел одатан абзори интерактивӣ (Widget) дорад, ки имкон медиҳад моделро пеш аз боргирӣ бевосита дар браузер санҷед.

Машқ: Бо филтрҳо модели тавлиди матнро барои забони дигар (масалан, русӣ ё форсӣ) пайдо кунед, онро дар Widget санҷед ва сипас дар pipeline() истифода баред.

Провайдерҳои иҷрои моделҳо (Inference Providers)

Моделҳоро тавассути браузер бо хидмати Inference Providers-и Hugging Face низ санҷидан мумкин аст: матни дилхоҳро ворид карда, бевосита мебинед, ки модел онро чӣ гуна коркард мекунад. Ин хидмат, ки кори Widget-ҳоро таъмин мекунад, ҳамчун маҳсулоти пулакӣ низ пешниҳод мешавад ва барои пайваст кардани моделҳо ба равандҳои кории (Workflows) худ муфид аст. Маълумот дар бораи нархҳо дар саҳифаи нархгузории Hugging Face оварда шудааст.

Эзоҳ: Пештар ин хидмат Inference API ном дошт; дар маводи кӯҳна ҳамин ном вомехӯрад.

Пур кардани ҷойҳои холӣ (Fill-mask)

Pipeline-и fill-mask ҷойҳои холии матнро бо калимаҳои мувофиқ пур мекунад — ин бевосита вазифаи MLM аст, ки моделҳои рамзгузор бо он омӯзонида шудаанд:

from transformers import pipeline

unmasker = pipeline("fill-mask", model="distilbert/distilroberta-base")  
unmasker("This course will teach you all about  models.", top_k=2)  

Натиҷа:

[{'sequence': 'This course will teach you all about mathematical models.',  
  'score': 0.19619831442832947,  
  'token': 30412,  
  'token_str': ' mathematical'},  
 {'sequence': 'This course will teach you all about computational models.',  
  'score': 0.04052725434303284,  
  'token': 38163,  
  'token_str': ' computational'}]  

Барои ҷумлаи «Ин курс ба шумо ҳама чизро дар бораи моделҳои `` меомӯзонад» модел ду вариант пешниҳод кард: mathematical (математикӣ) ва computational (ҳисоббарорӣ). Параметри top_k муайян мекунад, ки чанд варианти эҳтимолӣ нишон дода шавад.

Модел токени махсуси ``-ро пур мекунад (Mask Token). Моделҳои гуногун токенҳои ниқоби гуногун доранд (масалан, BERT [MASK]-ро истифода мебарад), бинобар ин ҳангоми истифодаи модели нав токени ниқоби онро санҷед — масалан, дар мисолҳои Widget-и саҳифаи модел.

Машқ: Дар Hub модели bert-base-cased-ро ёбед, муайян кунед, ки он кадом токени ниқобро истифода мебарад ва санҷед, ки он барои ҷумлаи боло кадом калимаро пешгӯӣ мекунад.

Шинохти номҳои хос (NER)

Дар вазифаи NER модел муайян мекунад, ки кадом қисмҳои матн ба шахсон, маконҳо, ташкилотҳо ва дигар мавҷудиятҳо ишора мекунанд:

from transformers import pipeline

ner = pipeline("ner", model="dbmdz/bert-large-cased-finetuned-conll03-english",  
               aggregation_strategy="simple")  
ner("My name is Sylvain and I work at Hugging Face in Brooklyn.")  

Натиҷа:

[{'entity_group': 'PER', 'score': 0.99816, 'word': 'Sylvain', 'start': 11, 'end': 18},  
 {'entity_group': 'ORG', 'score': 0.97960, 'word': 'Hugging Face', 'start': 33, 'end': 45},  
 {'entity_group': 'LOC', 'score': 0.99321, 'word': 'Brooklyn', 'start': 49, 'end': 57}]  

Дар ҷумлаи «Номи ман Силвен аст ва ман дар Hugging Face, дар Бруклин кор мекунам» модел дуруст муайян кард:

• PER — Sylvain (шахс);
• ORG — Hugging Face (ташкилот);
• LOC — Brooklyn (макон).

Параметри aggregation_strategy="simple" ба Pipeline мегӯяд, ки қисмҳои матнро, ки ба як мавҷудият тааллуқ доранд, муттаҳид кунад. Масалан, Hugging ва Face ҳамчун як ташкилот гурӯҳбандӣ шуданд. Дар асл, дар марҳилаи пешкоркард баъзе калимаҳо ҳатто ба қисмҳои хурдтар ҷудо мешаванд (боби 2) — масалан, Sylvain ба чор қисм:

S ##yl ##va ##in  

Дар марҳилаи паскоркард Pipeline ин қисмҳоро дубора муттаҳид мекунад.

Эзоҳ: Дар версияҳои кӯҳнаи китобхона ба ҷойи aggregation_strategy="simple" параметри grouped_entities=True истифода мешуд, ки акнун кӯҳнашуда (Deprecated) ҳисобида мешавад.

Машқ: Дар Hub моделеро ёбед, ки ҳиссаҳои нутқи забони англисиро муайян мекунад (POS Tagging) ва санҷед, ки он барои ҷумлаи боло чӣ натиҷа медиҳад.

Ҷавоб додан ба саволҳо

Pipeline-и question-answering ба савол дар асоси матни додашуда (Context) ҷавоб медиҳад:

from transformers import pipeline

question_answerer = pipeline("question-answering",  
                             model="distilbert/distilbert-base-cased-distilled-squad")  
question_answerer(  
    question="Where do I work?",  
    context="My name is Sylvain and I work at Hugging Face in Brooklyn",  
)  

Натиҷа:

{'score': 0.6385916471481323, 'start': 33, 'end': 45, 'answer': 'Hugging Face'}  

Ба саволи «Ман дар куҷо кор мекунам?» модел аз матн ҷавоби «Hugging Face»-ро ёфт. Ин Pipeline ҷавоби нав тавлид намекунад, балки порчаи мувофиқро аз матн истихроҷ мекунад — маҳз бо ҳамон сари гурӯҳбандии порча, ки дар боло барои BERT шарҳ дода шуд.

Хулосабарорӣ

Pipeline-и summarization матни дарозро ба матни кӯтоҳтар табдил медиҳад ва маълумоти муҳимро нигоҳ медорад:

from transformers import pipeline

summarizer = pipeline("summarization", model="sshleifer/distilbart-cnn-12-6")  
summarizer(  
    """  
    America has changed dramatically during recent years. Not only has the number of  
    graduates in traditional engineering disciplines such as mechanical, civil,  
    electrical, chemical, and aeronautical engineering declined, but in most of  
    the premier American universities engineering curricula now concentrate on  
    and encourage largely the study of engineering science. As a result, there  
    are declining offerings in engineering subjects dealing with infrastructure,  
    the environment, and related issues, and greater concentration on high  
    technology subjects, largely supporting increasingly complex scientific  
    developments. While the latter is important, it should not be at the expense  
    of more traditional engineering.

    Rapidly developing economies such as China and India, as well as other  
    industrial countries in Europe and Asia, continue to encourage and advance  
    the teaching of engineering. Both China and India, respectively, graduate  
    six and eight times as many traditional engineers as does the United States.  
    Other industrial countries at minimum maintain their output, while America  
    suffers an increasingly serious decline in the number of engineering graduates  
    and a lack of well-educated engineers.  
    """  
)  

Тарҷумаи матни воридшуда:

Дар солҳои охир дар Амрико тағйироти назаррас ба амал омадаанд. На танҳо шумораи хатмкунандагони соҳаҳои анъанавии муҳандисӣ, аз қабили муҳандисии механикӣ, сохтмонӣ, барқӣ, кимиёвӣ ва ҳавопаймосозӣ коҳиш ёфтааст, балки дар аксари донишгоҳҳои пешрафтаи Амрико барномаҳои таълимии муҳандисӣ имрӯз бештар ба омӯзиши илмҳои муҳандисӣ равона шудаанд. Дар натиҷа, курсҳо дар соҳаҳои муҳандисие, ки бо инфрасохтор, муҳити зист ва масъалаҳои марбут сарукор доранд, кам шуда, таваҷҷуҳ ба фанҳои технологияҳои баланд, ки асосан ба рушди дастовардҳои торафт мураккабтари илмӣ мусоидат мекунанд, афзудааст. Ҳарчанд ин муҳим аст, он набояд аз ҳисоби муҳандисии анъанавӣ сурат гирад.

Иқтисодҳои босуръат рушдёбанда, аз қабили Чин ва Ҳиндустон, инчунин кишварҳои саноатии Аврупо ва Осиё таълими муҳандисиро дастгирӣ ва рушд медиҳанд. Чин ва Ҳиндустон мутаносибан шаш ва ҳашт маротиба бештар аз Иёлоти Муттаҳида муҳандисони соҳаҳои анъанавиро хатм мекунонанд. Кишварҳои дигари саноатӣ ҳадди ақал сатҳи пешинаро нигоҳ медоранд, дар ҳоле ки Амрико бо коҳиши торафт ҷиддии шумораи хатмкунандагони муҳандисӣ ва норасоии муҳандисони босавод рӯ ба рӯ аст.

Натиҷа:

[{'summary_text': ' America has changed dramatically during recent years . The '  
                  'number of engineering graduates in the U.S. has declined in '  
                  'traditional engineering disciplines such as mechanical, civil '  
                  ', electrical, chemical, and aeronautical engineering . Rapidly '  
                  'developing economies such as China and India, as well as other '  
                  'industrial countries in Europe and Asia, continue to encourage '  
                  'and advance engineering .'}]  

Тарҷумаи хулоса: «Дар солҳои охир дар Амрико тағйироти назаррас ба амал омадаанд. Шумораи хатмкунандагони соҳаҳои анъанавии муҳандисӣ, аз қабили муҳандисии механикӣ, сохтмонӣ, барқӣ, кимиёвӣ ва ҳавопаймосозӣ дар ИМА коҳиш ёфтааст. Иқтисодҳои босуръат рушдёбанда, аз қабили Чин ва Ҳиндустон, инчунин дигар кишварҳои саноатии Аврупо ва Осиё таълими муҳандисиро дастгирӣ ва рушд медиҳанд».

Мисли тавлиди матн, дарозии хулосаро бо параметрҳои max_length ва min_length идора кардан мумкин аст.

Тарҷума

Барои тарҷума метавон модели пешфарзро истифода бурд, агар ҷуфти забонҳо дар номи вазифа нишон дода шавад — масалан, "translation_en_to_fr" (аз англисӣ ба фаронсавӣ). Аммо роҳи осонтар интихоби модели мушаххас аз Hub аст. Дар мисоли зер матн аз фаронсавӣ ба англисӣ тарҷума мешавад:

from transformers import pipeline

translator = pipeline("translation", model="Helsinki-NLP/opus-mt-fr-en")  
translator("Ce cours est produit par Hugging Face.")  

Натиҷа:

[{'translation_text': 'This course is produced by Hugging Face.'}]  

Тарҷума ба тоҷикӣ: «Ин курс аз ҷониби Hugging Face таҳия шудааст». Дар ин ҷо низ дарозии натиҷаро бо max_length ва min_length танзим кардан мумкин аст.

Машқ: Дар Hub моделҳои тарҷумаро барои забонҳои дигар (аз ҷумла тоҷикӣ) ҷустуҷӯ кунед ва ҷумлаи болоро ба якчанд забон тарҷума кунед.

Гурӯҳбандии тасвир

Моделҳои Transformer бо тасвир ва садо низ кор мекунанд. Pipeline-и image-classification тасвирро таҳлил карда, гурӯҳи онро муайян мекунад. Дар мисоли зер модели ViT, ки дар боло шарҳ дода шуд, истифода мешавад:

from transformers import pipeline

image_classifier = pipeline(  
    task="image-classification",  
    model="google/vit-base-patch16-224",  
)  
result = image_classifier(  
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"  
)  
print(result)  

Натиҷа:

[{'label': 'lynx, catamount', 'score': 0.43350091576576233},  
 {'label': 'cougar, puma, catamount, mountain lion, painter, panther, Felis concolor',  
  'score': 0.034796204417943954},  
 {'label': 'snow leopard, ounce, Panthera uncia', 'score': 0.03240183740854263},  
 {'label': 'Egyptian cat', 'score': 0.02394474856555462},  
 {'label': 'tiger cat', 'score': 0.02288915030658245}]  

Модел якчанд гурӯҳи эҳтимолиро пешниҳод кард: силовсин (Lynx), пума (Cougar), бабри барфӣ (Snow Leopard), гурбаи мисрӣ (Egyptian Cat) ва гурбаи палангмонанд (Tiger Cat). Барои ҳар гурӯҳ хол (score) дараҷаи эътимоди моделро нишон медиҳад.

Шинохти худкори нутқ

Pipeline-и automatic-speech-recognition сабти овозиро ба матн табдил медиҳад. Дар боло модели хурди openai/whisper-base.en (танҳо англисӣ) истифода шуд; дар ин ҷо модели калон ва бисёрзабонаи openai/whisper-large-v3:

from transformers import pipeline

transcriber = pipeline(  
    task="automatic-speech-recognition",  
    model="openai/whisper-large-v3",  
)  
result = transcriber("https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac")  
print(result)  

Натиҷа:

{'text': ' I have a dream that one day this nation will rise up and live out the true meaning of its creed.'}  

Натиҷа ҳамон ҷумлаи машҳур аст: «Ман орзу дорам, ки рӯзе ин миллат бархезад ва маънои ҳақиқии эътиқоди худро дар амал татбиқ намояд». Чунин технология барои транскрипсияи мусоҳибаҳо, дарсҳо, суханрониҳо ва дигар сабтҳои овозӣ истифода мешавад.

Якҷоя кардани маълумот аз манбаъҳои гуногун

Яке аз имкониятҳои пурқуввати моделҳои Transformer муттаҳид кардан ва коркарди маълумот аз манбаъҳои гуногун аст. Ин махсусан вақте муфид аст, ки бояд:

• дар якчанд пойгоҳи додаҳо ё анбор (Repositories) ҷустуҷӯ кунед;
• маълумотро аз шаклҳои гуногун — матн, тасвир, аудио — ҷамъ ва муттаҳид намоед;
• аз маълумоти ба ҳам алоқаманд тасаввуроти ягона ҳосил кунед.

Масалан, системае сохтан мумкин аст, ки:

1. дар манбаъҳои гуногун ҷустуҷӯ мекунад — ҳамзамон дар якчанд пойгоҳи додаҳо ва дар намудҳои гуногуни маълумот (матн, тасвир);
2. натиҷаҳоро муттаҳид мекунад — маълумоти чанд манбаъро ба як ҷавоби ягона ва пайваста табдил медиҳад, масалан, мундариҷаи файли аудиоиро бо тавсифи матнӣ якҷоя истифода мебарад;
3. маълумоти мувофиқтаринро пешниҳод мекунад — аз пойгоҳи ҳуҷҷатҳо ва метамаълумот (Metadata) он чизеро меёбад, ки ба дархости корбар бештар мувофиқ аст.

Чунин системаҳо — тавлид бо ҷустуҷӯи иловагӣ (Retrieval-Augmented Generation — RAG) — дар боби 11 муфассал баррасӣ мешаванд.

Маҳдудиятҳои Pipeline-ҳо

Pipeline-ҳои дар боло овардашуда асосан барои намоиши имкониятҳо пешбинӣ шудаанд. Ҳар яке барои вазифаи мушаххас танзим шудааст ва худ аз худ шаклҳои дигари ҳамон вазифаро иҷро карда наметавонад. Барои кори ҷиддӣ бояд донист, ки дар дохили pipeline() чӣ рӯй медиҳад — токенсоз (Tokenizer), модел ва паскоркард — ва чӣ гуна моделро ба вазифаи худ мутобиқ кард; ин мавзӯъҳо дар бобҳои 2 ва 7 баррасӣ мешаванд.

Хулоса

Дар ин боб оилаҳои асосии моделҳои Transformer ва тарзи истифодаи онҳо баррасӣ шуданд. Нуктаҳои асосӣ:

• Таърих. Аз муаррифии Transformer (2017) то имрӯз роҳи GPT ва BERT (2018), T5 ва GPT-3, InstructGPT ва моделҳои кушодаи Llama, Mistral, Gemma ва SmolLM тай шудааст; LaMDA, PaLM ва Bard ҷойи худро ба Gemini доданд.
• Ду роҳи омӯзиш. Моделсозии забонии сабабӣ (CLM) токени навбатиро аз рӯйи контексти чап пешгӯӣ мекунад; моделсозии забонии ниқобшуда (MLM) токенҳои пинҳоншударо аз рӯйи контексти дусамта барқарор мекунад. Ҳарду бо омӯзиши худназоратӣ омӯзонида мешаванд.
• Омӯзиши интиқолӣ. Модел аввал дар ҳаҷми азими матн омӯзиши пешакӣ мегирад ва сипас бо маълумоти камтар танзими дақиқ мешавад; ин вақт, маблағ ва изи карбониро кам мекунад.
• Се оилаи меъморӣ:

• LLM-ҳои муосир асосан танҳо рамзкушо буда, дар ду марҳила — омӯзиши пешакӣ ва танзим ба дастурҳо — омӯзонида мешаванд ва тавлид, тарҷума, хулосабарорӣ, тавлиди код, андешаронӣ ва омӯзиш аз чанд мисолро иҷро мекунанд. Бо вуҷуди ин, онҳо маҳдудиятҳо низ доранд, аз ҷумла тавлиди маълумоти нодуруст (Hallucinations) ва ғаразнокӣ (Bias), ки дар боби 14 баррасӣ мешаванд.
• Ҳалли вазифаҳо. Модели қаблан омӯзонидашуда бо илова кардани сари махсуси вазифа ба гурӯҳбандӣ, гурӯҳбандии токенҳо ё ҷавоб ба саволҳо мутобиқ мешавад; GPT-2 тавлид мекунад, BART хулосабарорӣ ва тарҷума мекунад.
• Берун аз матн. Ҳамин принсипҳо дар нутқ (Whisper) ва тасвир (ViT) кор мекунанд; ViT аз бисёр ҷиҳат «BERT барои тасвирҳо» аст.
• Дар амал функсияи pipeline() ва Hugging Face Hub имкон медиҳанд, ки моделҳои тайёрро бо чанд сатр код истифода баред.

Моделҳои бузурги забонӣ аллакай дониш ва қобилиятҳои чашмгир нишон додаанд, гарчанде то чӣ андоза ба зеҳни инсон монанд будани онҳо ҳанӯз мавзӯи баҳс аст. Барои фаҳмидани он ки ин моделҳо чӣ гуна ба вуҷуд меоянд, дар бобҳои оянда меомӯзем:

• боби 6 — омӯзиши пешакӣ, маълумот ва қонунҳои миқёспазирӣ (Scaling Laws);
• боби 7 — танзими дақиқ ва мутобиқсозии моделҳо ба вазифаҳои мушаххас;
• боби 13 — механизмҳои самараноки таваҷҷуҳ, контексти дароз ва ҷорӣ кардани моделҳо (Deployment).

Манбаъҳо

Ин боб қисман дар асоси манбаъҳои зерин таҳия шудааст:

• Курси LLM-и Hugging Face (Hugging Face LLM Course). https://huggingface.co/learn/llm-course — оилаҳои моделҳо, тарзи ҳалли вазифаҳо бо Transformer ва мисолҳои pipeline().