Боби 2. Асосҳои кор бо матн: токенсозӣ ва векторҳо

Модели забонӣ матнро мисли инсон намехонад. Пеш аз он ки модел як ҷумлаи тоҷикиро «бифаҳмад», матн бояд аз ду марҳила гузарад: аввал ба воҳидҳои хурд — токенҳо — тақсим шавад ва сипас ҳар токен ба рӯйхати ададҳо — вектор — табдил ёбад. Ин боб ба ҳамин ду марҳила бахшида шудааст.

Дар ин боб меомӯзем

• токенсозӣ чист ва чаро он нахустин қадами коркарди матн аст;
• навъҳои токенсозӣ: калимавӣ, ҷумлавӣ, ҳарфӣ ва зерикалимавӣ (BPE, WordPiece, SentencePiece);
• мушкилоти токенсозӣ барои забони тоҷикӣ;
• токенҳои махсус (BOS, EOS, PAD, MASK, SEP, CLS ва нишонаҳои гӯянда) ва вазифаи онҳо;
• векторҳои калима ва эмбеддинг (Embedding): аз тасаввури содда то ҷузъиёти техникӣ;
• чаро маънои калима ба матни атроф вобаста аст ва модел инро чӣ гуна ба назар мегирад.

Коркарди матн аз куҷо оғоз мешавад?

Моделҳои шабакаи нейронии амиқ, аз ҷумла моделҳои бузурги забонӣ (LLM), матни хомро мустақиман коркард карда наметавонанд. Матн маълумоти категориявӣ аст: ҳарфу калимаҳо худ адад нестанд ва бо амалҳои риёзие, ки шабакаи нейронӣ бар онҳо сохта шудааст, мувофиқат намекунанд. Барои ҳамин коркарди матн одатан чунин зинаҳо дорад:

1. Токенсозӣ — матн ба токенҳо ҷудо карда мешавад.
2. Рақамгузорӣ — ба ҳар токен рақами тартибӣ (ID) аз луғати модел дода мешавад.
3. Сохтани эмбеддинг (Embedding) — ҳар рақам ба вектори ададҳои пайваста табдил меёбад, ки ба модел ворид мешавад.

Дар қисми аввали боб зинаи якум ва дар қисми охир зинаи сеюмро муфассал баррасӣ мекунем.

Расми 2.1. Се зинаи коркарди матн: токенсозӣ, рақамгузорӣ (ID) ва табдил ба векторҳо. Рақамҳо тасвирӣ мебошанд.

Токенсозӣ

Токенсозӣ чист?

Токенсозиро чунин тасаввур кардан мумкин аст: ин мисли буридани як нони калон ба пораҳои хурди хӯрданбоб аст. Матни хом ба як тӯдаи ба ҳам часпида монанд аст. Барои он ки мошин онро коркард карда тавонад, аввал бояд матнро ба қисмҳои хурдтар тақсим кунем. Ин қисмҳоро токен меномем.

Токенсозӣ (tokenization) равандест, ки дар он матни хом ба воҳидҳои хурдтаре бо номи «токен» тақсим мешавад. Вобаста ба усул, токен метавонад калима, қисми калима, ҳарф, аломати китобат ё ҳатто ҷумла бошад. Токенсозӣ яке аз қадамҳои аввалин ва асосии коркарди забони табиӣ (Natural Language Processing, NLP) ба ҳисоб меравад.

Масалан, ҷумлаи «Ман китоб мехонам.» ҳангоми токенсозии калимавӣ чунин тақсим мешавад:

["Ман", "китоб", "мехонам", "."]  

Навъҳои токенсозӣ

Токенсозии калимавӣ (word tokenization)

Матн ба калимаҳои алоҳида тақсим мешавад. Ин яке аз усулҳои маъмул ва фаҳмотарин аст.

«Имрӯз ҳаво хуб аст» → ["Имрӯз", "ҳаво", "хуб", "аст"]  

Камбудии асосии ин усул дар он аст, ки луғат хеле калон мешавад ва калимаи наве, ки дар луғат нест, барои модел «ношинос» мемонад. Барои забонҳои сарфӣ-ғанӣ, мисли тоҷикӣ, ин мушкил боз ҳам ҷиддитар аст, зеро як реша шаклҳои бисёр дорад: «китоб», «китобҳо», «китобам», «китобҳоямон», «китобхона»…

Токенсозии ҷумлавӣ (sentence tokenization)

Матн ба ҷумлаҳои алоҳида тақсим мешавад. Ин усул бештар барои пешкоркард ва таҳлили маънои матн муфид аст, масалан, барои ҷудо кардани ҳуҷҷат ба ҷумлаҳо пеш аз тарҷума ё хулосасозӣ.

«Имрӯз ҳаво хуб аст. Аммо пагоҳ борон меборад.»  
→ ["Имрӯз ҳаво хуб аст.", "Аммо пагоҳ борон меборад."]  

Токенсозии ҳарфӣ (character tokenization)

Матн ба ҳарфҳо ё аломатҳои алоҳида тақсим мешавад. Ин усул баъзан барои забонҳое мисли чинӣ ё дар моделҳои забонии бар асоси аломатҳо истифода мешавад.

"китоб" → ["к", "и", "т", "о", "б"]  

Луғати чунин токенсоз хеле хурд аст ва калимаи «ношинос» вуҷуд надорад, аммо пайдарпайиҳо хеле дароз мешаванд ва модел бояд маъноро аз ҳарфҳои ҷудогона барқарор кунад.

Токенсозии зерикалимавӣ (subword tokenization)

Моделҳои муосир, аз ҷумла BERT ва оилаи GPT, аз токенсозии зерикалимавӣ истифода мекунанд: калимаҳои маъмул як токени ягона мемонанд, калимаҳои камёфт ба қисмҳои хурдтар шикаста мешаванд. Ин усул миёнаи ду усули болост — луғат андозаи муътадил дорад ва ҳатто калимаҳои ношинос ҳам аз қисмҳои маълум сохта мешаванд.

Масалан, калимаи «китобҳоямон» метавонад тахминан чунин тақсим шавад (тақсимоти дақиқ аз токенсози ҳар модел вобаста аст):

"китобҳоямон" → ["китоб", "ҳо", "ям", "он"]  

Усулҳои маъмултарини токенсозии зерикалимавӣ инҳоянд:

• Рамзгузории ҷуфтҳои байтӣ (Byte-Pair Encoding, BPE) — аз ҳарфҳо (ё байтҳо) оғоз карда, ҷуфтҳои аз ҳама зиёд такроршавандаро қадам ба қадам ба як токен муттаҳид мекунад. Моделҳои GPT ва бисёр моделҳои дигар аз BPE-и сатҳи байт истифода мебаранд, ки ҳар матнро, новобаста ба алифбо, рамзгузорӣ карда метавонад.
• WordPiece — ба BPE монанд аст, вале ҷуфтҳоро бо меъёри эҳтимолӣ интихоб мекунад; дар BERT истифода шудааст.
• SentencePiece — китобхона ва усулест, ки матнро бе тақсимоти пешакӣ ба калимаҳо (фосила ҳамчун аломати оддӣ) коркард мекунад ва барои бисёр забонҳо, аз ҷумла забонҳои бе фосила, қулай аст.

Расми 2.2. Ҷумлаи «Китобҳоям наванд.» бо се усул: калимавӣ, зерикалимавӣ ва ҳарфӣ. Тақсимоти зерикалимавӣ ва ID-ҳо тасвирӣ мебошанд — ҳар токенсоз онҳоро ба таври худ муайян мекунад.

Чаро токенсозӣ муҳим аст?

• Тақсим кардани матн ба қисмҳои муносиб барои мошин. Мошин забони инсонро ба тарзи инсон намефаҳмад. Бо токенсозӣ матн ба қисмҳое табдил меёбад, ки модел метавонад онҳоро коркард кунад.
• Омода кардани матн барои таҳлили оморӣ. Барои ҳисоб кардани басомади калимаҳо, сохтани векторҳои маъноӣ ё таҳлили эҳсосоти дар матн ифодаёфта, аввал бояд муайян кунем, ки бо кадом токенҳо кор мекунем.
• Омода кардани вуруди моделҳои NLP. Қариб ҳамаи моделҳои коркарди забони табиӣ — аз тарҷумаи мошинӣ то гурӯҳбандии матн ва хулосасозӣ — матнро дар шакли токенҳо қабул мекунанд.
• Хароҷот ва дарозии контекст. Моделҳои бузурги забонӣ на бо калима, балки бо токен ҳисоб мекунанд: маҳдудияти дарозии вуруд (равзанаи контекст), суръати кор ва нархи истифода аз шумораи токенҳо вобаста аст. Барои ҳамин сифати токенсоз барои ҳар забон аҳамияти амалӣ дорад.

Мушкилоти токенсозӣ дар забони тоҷикӣ

Токенсозҳо асосан барои забонҳои калон, пеш аз ҳама англисӣ, таҳия ва омӯзонда шудаанд. Забони тоҷикӣ хусусиятҳое дорад, ки кори токенсозро душвор мекунанд.

Тақсими аз ҳад зиёди калимаҳо

Токенсози зерикалимавӣ ҷуфтҳои маъмултаринро аз маълумоти омӯзишӣ меомӯзад. Агар дар он маълумот матни тоҷикӣ кам бошад, калимаҳои тоҷикӣ ба токенҳои бисёр шикаста мешаванд — баъзан қариб ба ҳарфҳо ё байтҳои алоҳида. Масалан, калимаи англисии маъмул аксаран як токен аст, вале калимаи тоҷикии ҳамон дарозӣ метавонад ба се-чор токен ё бештар тақсим шавад. Оқибатҳои ин:

• нархи баландтар — хизматрасониҳои пулакӣ барои ҳар токен пул мегиранд, пас ҳамон мазмун ба тоҷикӣ гаронтар меафтад;
• контексти самараноки кӯтоҳтар — ба равзанаи контексти модел матни тоҷикии камтар ҷой мегирад;
• кори сусттар ва сифати пасттар — модел бояд маъноро аз пораҳои майда барқарор кунад.

Эзоҳ: Токенсозҳои моделҳои нави бисёрзабона луғати калонтар доранд ва забонҳои ғайрианглисиро беҳтар рамзгузорӣ мекунанд, вале фарқият барои забонҳои камманбаъ, аз ҷумла тоҷикӣ, ҳанӯз ҳам ба назар мерасад. Тафсилот дар боби 16 оварда мешавад.

Морфологияи бой ва пасвандҳо

Дар тоҷикӣ ба реша пасвандҳои ҷамъ, бандакҳои ҷонишинӣ ва феълӣ пай дар пай ҳамроҳ мешаванд: «китоб» → «китобҳо» → «китобҳоям» → «китобҳоямон». Ҳар шакл барои токенсози калимавӣ калимаи алоҳида аст, ҳарчанд реша як аст. Барои таҳлили дақиқ баъзан тақсимоти морфологӣ лозим мешавад:

"китобам" → "китоб" + "ам"  

Токенсози зерикалимавӣ ин тақсимотро худкор меомӯзад, вале сарҳадҳои токенҳо на ҳамеша бо сарҳадҳои морфемаҳо мувофиқат мекунанд.

Ҷудо ё якҷо навиштани калимаҳо

Калимаи «меравам» баъзан иштибоҳан бо фосила навишта мешавад:

меравам — дуруст  
ме равам — нодуруст  

Токенсози калимавӣ «меравам»-ро як воҳид, вале «ме равам»-ро ду воҳиди алоҳида мешуморад. Ҳамин гуна номуайянӣ дар навишти пешояндҳо, ҳиссачаҳо ва калимаҳои мураккаб низ вомехӯрад. Чунин фарқиятҳо як калимаро дар маълумот ба чанд шакл пароканда мекунанд.

Ҳарфҳои махсуси тоҷикӣ

Ҳарфҳои ӣ, ӯ, ҳ, қ, ҷ, ғ дар интернет ва паёмҳо аксаран бо и, у, х, к, ч, г иваз карда мешаванд, чунки дар баъзе клавиатураҳо нестанд. Дар натиҷа як калима бо чанд имло пайдо мешавад: «ҳаво» ва «хаво», «қалам» ва «калам», «ҷавоб» ва «чавоб». Барои токенсоз ин шаклҳо комилан гуногунанд ва модел маълумоти омӯзиширо барои як калима дар чанд «калима» тақсим мекунад. Баъзан ин ивазкунӣ ҳатто маъноро тағйир медиҳад («ҳол» — вазъ ва «хол» — доғ; «қаср» — кӯшк ва «каср» — ҳиссаи адад).

Матни омехта ва навишти лотинӣ

• Омехтаи тоҷикӣ ва русӣ. Дар матнҳои расмӣ, техникӣ ва гуфтугӯии рӯзмарра калимаву ибораҳои русӣ зиёд дучор мешаванд, баъзан дар дохили як ҷумла. Токенсоз ва модел бояд ҳар ду забонро дар як вақт коркард кунанд.
• Тоҷикӣ бо ҳарфҳои лотинӣ. Дар шабакаҳои иҷтимоӣ бисёриҳо тоҷикиро бо ҳарфҳои лотинӣ менависанд («salom», «chi khel»), ва барои ин навишт қоидаи ягона нест. Ин як калимаро боз ба шаклҳои бештар ҷудо мекунад.
• Матнҳо бо хатти форсӣ (арабӣ). Матнҳои классикӣ ва манбаъҳои форсӣ бо алифбои дигар навишта мешаванд; дар он ҷо мушкилоти махсуси худ, масалан нимфосила (ZWNJ) байни қисмҳои калима, вуҷуд дорад.

Аломатҳои китобат

Аломатҳои китобат ба калима мечаспанд. Масалан, «Салом!» ҳангоми токенсозии калимавӣ бояд ба ду қисм тақсим шавад:

["Салом", "!"]  

Агар токенсоз инро дуруст анҷом надиҳад, «Салом», «Салом!» ва «Салом,» се токени гуногун мешаванд.

Абзорҳои маъруфи токенсозӣ

• NLTK, spaCy — китобхонаҳои умумии NLP барои токенсозии калимавӣ ва ҷумлавӣ (асосан барои англисӣ ва дигар забонҳои калон).
• Hugging Face Tokenizers — китобхонаи тези токенсозҳои зерикалимавӣ; токенсози ҳар модели дар Hugging Face мавҷудбударо бо як сатр бор кардан мумкин аст.
• SentencePiece — китобхона барои омӯзонидан ва истифодаи токенсозҳои BPE ва unigram бевосита аз матни хом.
• tiktoken — китобхонаи токенсозии моделҳои OpenAI, ки барои ҳисоб кардани шумораи токенҳо қулай аст.
• Токенсози BERT (WordPiece) ва BPE — усулҳои токенсозии зерикалимавӣ барои моделҳои омӯзиши амиқ, ки дар боло шарҳ дода шуданд.

Хулоса, токенсозӣ маънои тақсим кардани матн ба воҳидҳои хурдтарро дорад, то коркарди он осонтар шавад — гӯё матнро ба пораҳои барои мошин «ҳазмшаванда» мебурем.

Токенҳои махсус

Ҳангоми токенсозӣ матн ба қисмҳои хурд тақсим мешавад. Аммо модел ба аломатҳое ҳам ниёз дорад, ки сохтори матнро нишон диҳанд: матн аз куҷо оғоз мешавад, дар куҷо анҷом меёбад ё кадом қисмҳо аз ҳам ҷудоанд. Ин аломатҳоро токенҳои махсус (special tokens) меноманд.

Барои тасаввур кардан, матнро ба як китоб монанд кунем. Калимаҳо мазмуни китобро мерасонанд, вале сарлавҳаҳо ва нишонаҳои оғози бобҳо ба хонанда барои ёфтани роҳи худ кумак мекунанд. Токенҳои махсус низ барои модел чунин вазифа доранд.

Мисолҳои зерин шартӣ ва соддаанд: дар модели воқеӣ ҳар калимаи тоҷикӣ метавонад ба чанд токен тақсим шавад.

Оғоз ва анҷоми матн: BOS ва EOS

BOS (Beginning of Sequence) оғози пайдарпайии токенҳоро нишон медиҳад. EOS (End of Sequence) анҷоми онро муайян мекунад. Шакли навишти онҳо аз модел вобаста аст (масалан, ва ё ``).

 Ман забони тоҷикӣ меомӯзам.   

Инро чунин хондан мумкин аст:

• `` — матн оғоз шуд;
• «Ман забони тоҷикӣ меомӯзам.» — мазмуни матн;
• `` — матн анҷом ёфт.

Нуқта анҷоми ҷумларо нишон медиҳад, аммо EOS метавонад анҷоми тамоми ҷавобро муайян кунад. Ҳангоми тавлиди матн модел маҳз бо тавлиди EOS «мефаҳмад», ки ҷавоб тамом шуд (ниг. боби 9).

Пур кардани ҷойҳои холӣ: PAD

Ҳангоми коркарди якҷояи чанд матн (дар як баста — batch) пайдарпайиҳои токенҳоро ба дарозии баробар меоранд. Барои пур кардани ҷойҳои иловагӣ PAD (padding) истифода мешавад. Ин ҷойҳо бо ниқоби мувофиқ (attention mask) дар коркард нодида гирифта мешаванд.

Ман   китоб   мехонам  
Ӯ     омад    [PAD]  

[PAD] калимаи ҷумла нест: он танҳо ҷойи иловагиро пур мекунад.

Пинҳон кардани як қисми матн: MASK

Дар омӯзиши баъзе моделҳо, аз ҷумла BERT, қисми матн пинҳон карда мешавад. MASK ҷойи пинҳоншударо нишон медиҳад ва модел бояд онро пешгӯӣ кунад.

Пойтахти Тоҷикистон [MASK] аст.  

Ҷавоби мувофиқ:

Душанбе  

Ин ба машқи «ҷойи холиро пур кунед» монанд аст.

Ҷудо кардани қисмҳо: SEP ва CLS

SEP (Separator) барои ҷудо кардани ду қисми вуруд истифода мешавад, масалан дар BERT:

Пойтахти Тоҷикистон кадом шаҳр аст? [SEP] Душанбе.  

Дар ин ҷо [SEP] сарҳади байни савол ва ҷавобро нишон медиҳад.

Дар BERT ба оғози вуруд инчунин токени CLS (Classification) гузошта мешавад. Вектори ниҳоии ин токен ҳамчун намояндагии тамоми матн хизмат мекунад ва барои гурӯҳбандӣ (масалан, муайян кардани эҳсоси матн) истифода мешавад:

[CLS] Пойтахти Тоҷикистон кадом шаҳр аст? [SEP] Душанбе. [SEP]  

Нишон додани гӯянда дар суҳбат

Дар моделҳои суҳбатӣ аломатҳои махсус нишон медиҳанд, ки паём аз корбар аст ё аз ёвари зеҳни сунъӣ. Баъзе моделҳо нишонаҳои монанди ва доранд.

  
Токен чист?

  
Токен як воҳиди матнест, ки модел онро коркард мекунад.  

Ин аломатҳо сохтори гуфтугӯро муайян мекунанд ва ба модел кумак мекунанд, ки паёми корбарро аз ҷавоби худ фарқ кунад.

Оё ҳамаи моделҳо токенҳои якхела доранд?

Не. Шакл ва вазифаи токенҳои махсус аз модел вобаста аст. Барои ҳамин, ҳангоми омода кардани суҳбат бояд аз қолаби мувофиқи ҳамон модел истифода бурд. Иваз ё такрор кардани худсаронаи ин аломатҳо метавонад сифати ҷавобро паст кунад. Қолабҳои суҳбат (chat templates) дар боби 10 муфассал баррасӣ мешаванд.

Ба таври мухтасар: токенҳои одӣ мазмуни матнро мерасонанд; токенҳои махсус ба модел барои шинохтани сохтор ва коркарди он кумак мекунанд.

Векторҳои калима ва эмбеддинг

Пас аз токенсозӣ ҳар токен танҳо як рақами тартибӣ дар луғат аст. Аммо рақами тартибӣ дар бораи маъно чизе намегӯяд: аз он ки «гурба» рақами 512 ва «саг» рақами 513 дорад, хулоса баровардан мумкин нест, ки онҳо ба ҳам наздиканд. Барои ҳамин модел ҳар токенро бо вектор ифода мекунад.

Вектори калима чист?

Мо барои навиштани калима аз ҳарфҳо истифода мебарем. Масалан, калимаи англисии cat — «гурба» — аз ҳарфҳои c-a-t иборат аст. Аммо модели забонӣ онро бо рӯйхати дарози ададҳо ифода мекунад. Ин рӯйхат вектори калима (word vector) ном дорад. Вектори калимаи cat метавонад чунин бошад:

[0.0074, 0.0030, -0.0105, 0.0742, 0.0765, -0.0011,  
 0.0265, 0.0106, 0.0191, 0.0038, -0.0468, -0.0212,  
 0.0091, 0.0030, -0.0563, -0.0396, -0.0998, -0.0796,  
 ..., 0.0002]  

Чаро аз чунин рӯйхати аҷиб истифода мешавад? Координатаҳои ҷуғрофии шаҳрҳоро тасаввур кунед. Ҷойи ҳар шаҳрро метавон бо ду адад — арзи ҷуғрофӣ ва тӯли ҷуғрофӣ — нишон дод. Бо муқоисаи координатаҳо мефаҳмем, ки Душанбе ба Ҳисор ва Лондон ба Париж наздик аст, аммо Париж аз Душанбе дур мебошад.

Моделҳои забонӣ низ равиши монанд доранд. Ҳар вектор нуқтаеро дар фазои ададии калимаҳо нишон медиҳад. Калимаҳои дорои маъно ё истифодаи монанд дар ин фазо ба ҳам наздиктар ҷой мегиранд. Масалан, калимаҳои «саг», «гурбача» ва «ҳайвони хонагӣ» метавонанд ба «гурба» наздик бошанд.

Аз ҷиҳати техникӣ моделҳои бузурги забонӣ на бо калимаҳо, балки бо токенҳо — калимаҳо, қисмҳои калимаҳо ё нишонаҳо — кор мекунанд. Барои соддагӣ дар ин бахш онҳоро «калима» меномем.

Бартарии векторҳо дар он аст, ки бо ададҳо амалҳои риёзӣ иҷро кардан мумкин аст — масофаро чен кардан, ҷамъу тарҳ кардан. Бо худи ҳарфҳо чунин ҳисоббарорӣ имконнопазир аст.

Чаро фазои чандҳазорченака лозим аст?

Маъно ва истифодаи калимаҳо хеле мураккабтар аз онанд, ки бо ду координата ифода шаванд. Аз ин рӯ, моделҳои забонӣ аз векторҳои дорои садҳо ё ҳазорҳо ченак истифода мебаранд. Инсон чунин фазоро тасаввур карда наметавонад — дарки мо ва графикҳои маъмулӣ бо се ченак маҳдуданд, — аммо компютер бо он бемалол ҳисоббарорӣ мекунад. Барои тасвир кардан векторҳоро одатан ба фазои дученака «фишурда», ҳамчун нуқтаҳо дар диаграммаи парокандагӣ нишон медиҳанд; дар он калимаҳои ҳаммаъно гурӯҳ-гурӯҳ ҷамъ меоянд.

Эмбеддинг: таърифи дақиқтар

Табдил додани маълумот ба шакли векторӣ эмбеддинг (Embedding), яъне сохтани намояндагии векторӣ, номида мешавад. Аз ҷиҳати риёзӣ, эмбеддинг инъикоси объектҳои дискретӣ ба нуқтаҳои фазои вектории пайваста мебошад. Ин объектҳо метавонанд калимаҳо, тасвирҳо ё ҳатто ҳуҷҷатҳои пурра бошанд. Ҳадафи асосии эмбеддинг табдил додани маълумоти ғайриададӣ ба шаклест, ки шабакаҳои нейронӣ онро коркард карда тавонанд.

Бо истифода аз қабати махсуси шабакаи нейронӣ ё модели дигари пешакӣ омӯзонидашуда метавон навъҳои гуногуни маълумот — матн, садо, тасвир ва видеоро — ба векторҳо табдил дод. Аммо шаклҳои гуногуни маълумот ба моделҳои гуногуни эмбеддинг ниёз доранд: модели эмбеддинги матнӣ барои табдил додани садо ё видео ба вектор мувофиқ нест.

Ҳарчанд намояндагии вектории калимаҳо маъмултарин навъи эмбеддинги матнӣ аст, барои ҷумлаҳо, сархатҳо ва ҳуҷҷатҳои пурра низ эмбеддингҳо вуҷуд доранд. Эмбеддинги ҷумлаҳо ва сархатҳо дар тавлиди тақвиятёфта бо ҷустуҷӯ (Retrieval-Augmented Generation, RAG) васеъ истифода мешавад: модел аввал аз пойгоҳи дониш порчаҳои мувофиқро бо наздикии векторҳо меёбад ва сипас ҷавобро бо такя ба онҳо тавлид мекунад. Ин усул дар боби 11 баррасӣ мешавад. Дар ин боб диққатамонро ба намояндагии вектории калимаҳо (токенҳо) равона мекунем, зеро маҳз онҳо вуруди моделҳои монанд ба GPT-ро ташкил медиҳанд.

Word2Vec: калима аз рӯи ҳамсояҳояш

Муҳаққиқон даҳсолаҳо боз векторҳои калимаро меомӯхтанд, аммо ин ғоя соли 2013 бо муаррифии лоиҳаи Word2Vec-и Google машҳур шуд. Муҳаққиқони Google миллионҳо санади хабариро таҳлил карданд, то муайян кунанд, ки кадом калимаҳо дар муҳитҳои монанд пайдо мешаванд.

Дар Word2Vec шабакаи нейронӣ тавре омӯзонида мешавад, ки аз рӯи калимаи мақсад калимаҳои атрофи онро пешгӯӣ кунад ё, баръакс, аз рӯи калимаҳои атроф калимаи мақсадро муайян намояд. Дар ҷараёни ин омӯзиш шабака тарзи ҷойгир кардани калимаҳоро дар фазои векторӣ худ азхуд мекунад. Ғояи асосӣ чунин аст: калимаҳое, ки дар контекстҳои монанд истифода мешаванд, одатан маъноҳои монанд доранд.

Ҳисоббарорӣ бо маъно: арифметикаи векторҳо

Векторҳои Word2Vec хусусияти ҷолиб доштанд: баъзе робитаҳои байни калимаҳоро метавон бо ҳисобҳои векторӣ нишон дод. Масалан, муҳаққиқон аз вектори «бузургтарин» вектори «бузург»-ро тарҳ карда, вектори «хурд»-ро илова карданд. Яке аз калимаҳои наздиктарин ба натиҷа «хурдтарин» буд:

бузургтарин − бузург + хурд ≈ хурдтарин  

Робитаҳои монанд дар мисолҳои дигар низ мушоҳида мешуданд:

• муносибати «швейтсарӣ» ба «Швейтсария» монанди муносибати «камбоҷагӣ» ба «Камбоҷа» аст;
• муносибати «Париж» ба «Фаронса» монанди муносибати «Берлин» ба «Олмон» аст;
• робитаи «ахлоқӣ» ва «ғайриахлоқӣ» ба робитаи «мумкин» ва «ғайримумкин» монанд аст;
• робитаи «мард» ва «зан» ба робитаи «шоҳ» ва «малика» монанд аст.

Расми 2.3. Тасвири соддаи векторҳои калима дар ду ченак (тасвирӣ). Калимаҳои ҳаммаъно гурӯҳ-гурӯҳ ҷамъ меоянд ва робитаҳои монанд — «мард → зан» ва «шоҳ → малика», «кишвар → пойтахт» — ба тирҳои қариб параллел табдил меёбанд.

Ин векторҳо маълумоти муҳимро дар бораи робитаи калимаҳо нигоҳ медоранд ва имкон медиҳанд, ки дониш аз як калима ба калимаҳои ҳамсоя «гузарад». Агар модел омӯзад, ки гурбаро баъзан ба дармонгоҳи байторӣ мебаранд, ин маълумот метавонад барои гурбача ё саг низ муфид бошад. Агар робитаи муайянеро байни Париж ва Фаронса омӯзад, метавонад робитаи монандро байни Берлин ва Олмон ё Рим ва Италия низ истифода барад.

Аммо азбаски ин векторҳо аз тарзи истифодаи забон аз ҷониби инсонҳо омӯхта мешаванд, онҳо метавонанд ғаразҳо ва қолабҳои табъизомези ҷомеаро низ инъикос кунанд. Масалан, дар баъзе моделҳо ҳисобе монанди «духтур − мард + зан» ба калимаи «ҳамшираи шафқат» наздик мешавад. Барои кам кардани чунин ғаразҳо таҳқиқоти зиёд анҷом дода мешавад (ниг. боби 14).

Эмбеддинг дар дохили моделҳои бузурги забонӣ

Барои сохтани эмбеддинг метавон аз моделҳои тайёр, мисли Word2Vec, истифода бурд. Аммо моделҳои бузурги забонӣ одатан намояндагиҳои вектории худро месозанд: қабати эмбеддинг қисми қабати вурудии модел аст — дар асл ҷадвале, ки барои ҳар токени луғат як вектор дорад. Ин векторҳо дар оғоз тасодуфӣ мебошанд ва дар ҷараёни омӯзиш ҳамроҳи дигар параметрҳои модел нав карда мешаванд. Бартарии ин равиш дар он аст, ки эмбеддингҳо ба вазифа ва маълумоти мушаххаси модел мутобиқ мешаванд.

Андозаи эмбеддинг метавонад аз чанд ченак то ҳазорҳо ченак бошад. Шумораи бештари ченакҳо робитаҳои нозуктарро инъикос мекунад, аммо ҳисоббарориро гаронтар месозад. Дар моделҳои GPT андозаи эмбеддинг, ки онро аксар вақт андозаи ҳолати ниҳонии модел низ меноманд, вобаста ба ҳаҷми модел фарқ мекунад:

Яъне дар бузургтарин версияи GPT-3 ҳар токен бо рӯйхати 12 288 адад ифода мешуд. Интихоби ин андоза тавозунест байни қобилияти модел ва самаранокии ҳисоббарорӣ.

Эзоҳ: Аксари моделҳои нав андозаи дақиқи ченакҳои худро ошкор намекунанд; моделҳои кушодаи муосир одатан эмбеддинги аз якчанд ҳазор то даҳ ҳазор ченак ва бештар доранд.

Маънои калима ба матни атроф вобаста аст

Ифода кардани ҳар калима бо як вектори собит, мисли Word2Vec, як хусусияти муҳими забонро нишон намедиҳад: калимаҳо метавонанд чанд маъно дошта бошанд. Ба ин ду ҷумла диққат диҳед:

Ҷон як маҷалларо гирифт.
Сюзан дар як маҷалла кор мекунад.

Дар ҷумлаи аввал «маҷалла» нашрияи коғазиро ифода мекунад. Дар ҷумлаи дувум он ба ташкилоте ишора мекунад, ки маҷалла нашр менамояд.

Баъзан маъноҳо комилан фарқ мекунанд. Дар тоҷикӣ калимаи «бар» метавонад «мева» («дарахт бар овард»), «паҳнӣ» («бари матоъ») ё пешоянд («бар болои кӯҳ») бошад. Дар англисӣ bank ҳам «бонк» ва ҳам «соҳили дарё» аст.

Моделҳои забонии муосир тасвири дохилии калимаро бо назардошти матни атроф тағйир медиҳанд. Аз ин рӯ, ифодаи ададии «маҷалла» дар ҷумлаи аввал аз ифодаи он дар ҷумлаи дувум фарқ мекунад. Чунин векторҳоро эмбеддингҳои контекстӣ (Contextual Embeddings) меноманд.

Ин барои фаҳмидани забони табиӣ муҳим аст, зеро забон пур аз номуайянӣ мебошад. Барномаи маъмул ҳангоми ҳисоб кардани 2 + 3 бо маънои равшани ҳар нишона кор мекунад. Аммо дар ҷумлаҳо муайян кардани маъно ҳамеша ин қадар осон нест:

Муштарӣ аз механик хоҳиш кард, ки мошини ӯро таъмир кунад.

«Ӯ» ба муштарӣ ишора мекунад ё ба механик?

Устод аз донишҷӯ хоҳиш кард, ки вазифаи худро иҷро кунад.

«Худ» ба устод бармегардад ё ба донишҷӯ?

Мо бо такя ба бофти ҷумла ва дониши худ чунин номуайяниҳоро ҳал мекунем: медонем, ки механик одатан мошини муштариро таъмир мекунад ва донишҷӯ вазифаи худро иҷро менамояд. Векторҳо ба модел роҳи чандир медиҳанд, то ҳамин корро анҷом диҳад.

Аз эмбеддинг то ҳолатҳои ниҳонӣ

Векторҳои эмбеддинг танҳо нуқтаи оғоз мебошанд. Моделҳое мисли GPT-3 ва GPT-4 аз қабатҳои зиёд иборатанд. Ҳар қабат пайдарпайии векторҳоро мегирад ва онҳоро тағйир медиҳад, то маълумоти матни атроф беҳтар инъикос шавад. Векторҳои навро ҳолатҳои ниҳонӣ (hidden states) меноманд. Модел маълумотро ҳамчун ёддошти матнӣ нигоҳ намедорад — он танҳо ададҳои векторро тағйир медиҳад.

Ҷумлаи нопурраи англисии зеринро тасаввур кунед:

John wants his bank to cash the …
(Ҷон мехоҳад, ки бонкаш … -ро нақд кунад.)

Дар як модели шартии содда қабати аввал метавонад ба векторҳо маълумот илова кунад, ки wants ва cash дар ин ҷумла феъланд (дар ҷумлаҳои дигар ин калимаҳо метавонанд вазифаи дигар дошта бошанд). Қабати баъдӣ метавонад равшан кунад, ки bank дар ин ҷо муассисаи молиявист ва ҷонишини his ба Ҷон ишора мекунад.

Ин мисол соддакардашуда аст. Моделҳои воқеӣ қабатҳои бештар доранд — масалан, бузургтарин версияи GPT-3 дорои 96 қабат буд. Таҳқиқот нишон медиҳад, ки қабатҳои аввал бештар бо сохтори ҷумла ва рафъи номуайянии калимаҳо кор мекунанд, қабатҳои баъдӣ бошанд робитаҳои васеътару мураккабтари матнро коркард мекунанд.

Ҳолати ниҳониро метавон ба дафтари қайдҳои дохилии модел монанд кард. Ҳар қабат маълумоти қабатҳои пешинаро мегирад ва онро такмил медиҳад. Ҳангоми коркарди қисса модел метавонад дар бораи қаҳрамонҳо маълумот пайгирӣ кунад:

• синну ҷинс;
• робита бо қаҳрамонҳои дигар;
• ҷойи пешина ва ҳозираи онҳо;
• хусусиятҳо ва ҳадафҳо.

Масалан, дар як қисса вектори вобаста ба «Ҷон» метавонад ба тарзе инъикос кунад, ки ӯ қаҳрамони асосист, мард аст, бо Шерил издивоҷ кардааст, хеши Доналд мебошад, дар Миннесота таваллуд шудааст, ҳоло дар Бойсе зиндагӣ мекунад ва ҳамёни гумшудаашро меҷӯяд. Як қисми ин маълумот метавонад дар векторҳои калимаҳои дигар — «Шерил», «Доналд», «ҳамён» ва «Бойсе» — низ инъикос шавад. Муҳаққиқон ҳамаи ҷузъиёти ин равандро намедонанд, аммо ин маълумот бояд дар тағйироти векторҳои ҳолати ниҳонӣ ифода ёбад.

Ҳадафи ниҳоӣ ин аст, ки қабати охирин барои токени охир ҳолати ниҳониеро ҳосил кунад, ки маълумоти заруриро барои пешгӯии токени навбатӣ дошта бошад. Ин қабатҳо чӣ гуна сохта шудаанд ва векторҳо чӣ гуна ба ҳамдигар «нигоҳ» мекунанд, дар бобҳои 3 ва 4 (шабакаҳои нейронӣ, механизми таваҷҷуҳ ва трансформер) шарҳ дода мешавад.

Хулоса

• Токенсозӣ нахустин қадами коркарди матн аст: матн ба токенҳо — калимаҳо, қисмҳои калима, ҳарфҳо ё аломатҳо — тақсим мешавад.
• Моделҳои муосир аз токенсозии зерикалимавӣ (BPE, WordPiece, SentencePiece) истифода мебаранд, ки луғати муътадил дорад ва калимаҳои ношиносро аз қисмҳои маълум месозад.
• Барои забони тоҷикӣ токенсозӣ мушкилоти махсус дорад: морфологияи бой, ивази ҳарфҳои ӣ, ӯ, ҳ, қ, ҷ, ғ, навишти ҷудо ё якҷоя, матни омехта бо русӣ ва навишти лотинӣ. Токенсозҳои ба англисӣ нигаронидашуда калимаҳои тоҷикиро ба токенҳои бештар мешикананд, ки нархро баланд ва контексти самаранокро кӯтоҳ мекунад.
• Токенҳои махсус (BOS, EOS, PAD, MASK, SEP, CLS, нишонаҳои гӯянда) сохтори матнро барои модел нишон медиҳанд ва дар ҳар модел шакли худро доранд.
• Эмбеддинг токенҳоро ба векторҳои ададӣ табдил медиҳад, ки дар онҳо калимаҳои ҳаммаъно ба ҳам наздиканд ва баъзе робитаҳои маъноӣ бо арифметикаи векторҳо ифода мешаванд. Ин векторҳо метавонанд ғаразҳои ҷомеаро низ инъикос кунанд.
• Моделҳои бузурги забонӣ қабати эмбеддинги худро ҳангоми омӯзиш меомӯзанд; андозаи он аз садҳо (GPT-2: 768) то даҳ ҳазорҳо ченак (GPT-3: 12 288) мерасад.
• Маънои калима ба контекст вобаста аст: қабатҳои модел векторҳоро ба ҳолатҳои ниҳонӣ табдил медиҳанд, ки маълумоти матни атрофро дар бар мегиранд ва барои пешгӯии токени навбатӣ хизмат мекунанд.

Дар боби навбатӣ мебинем, ки шабакаҳои нейронӣ бо ин векторҳо чӣ гуна кор мекунанд.

Манбаъҳо

Ин боб қисман дар асоси манбаъҳои зерин таҳия шудааст:

• Lee, T. B., Trott, S. (2023). Large language models, explained with a minimum of math and jargon. Understanding AI. https://www.understandingai.org/p/large-language-models-explained-with — қисми «Аз эмбеддинг то ҳолатҳои ниҳонӣ» ва мисолҳои он.