Боби 8. Моделҳое, ки агентҳоро ба кор меандозанд: имкониятҳо ва беҳинасозӣ

Боби 8. Моделҳое, ки агентҳоро ба кор меандозанд: имкониятҳо ва беҳинасозӣ

То ин ҷо шумо барои фаҳмидани тарзи тарҳрезии агентҳои зеҳни сунъӣ ва беҳтар кардани онҳо кори душворро анҷом додед. Акнун вақти муносиб аст, ки як қадам ба ақиб гузоред, ба паси саҳна назар кунед ва дар бораи моделҳое, ки ба онҳо қобилияти зеҳнӣ медиҳанд, амиқтар андеша намоед. Шояд аз худ бипурсед, ки чаро моделҳоро дар ибтидо муаррифӣ накардем. Ин сабаб дорад. Биёед онро шарҳ диҳем.

Барои ин боб фаҳмидани он ки бо агентҳои худ чӣ кор карда метавонед, бисёр муҳим аст: ин тасвири умумии тарзи фикр кардан дар бораи онҳоро пурра мекунад. Мо мехоҳем ба агентҳоятон тавре назар кунед, ки гӯё аъзои дастаеро ба кор қабул мекунед. Барои дуруст анҷом додани ин кор бояд тасвири калонтарро бинед: аъзои даста чӣ гуна ҳамкорӣ мекунанд, онро чӣ гуна ташкил мекунед ва чӣ гуна ба онҳо ёрӣ мерасонед, то беҳтар шаванд ва якҷоя кор кунанд. Ҳамаи ин дар бобҳои пешин баррасӣ шуд.

Ин тасаввури зеҳнии шахсии мо барои тарҳрезии агентҳои зеҳни сунъӣ аст. Мо агентҳоро системаҳои динамикӣ ва ҳамкор мешуморем, на ҷузъҳои ҷудогона. Ҳар андоза ва ҳар оилаи моделҳо маҷмӯи хоси малакаҳо дорад. Агар системаи бисёрагентиатонро бо дарназардошти ин хусусият созед, ҳам натиҷаи беҳтар мегиред ва ҳам маблағро сарфа мекунед. Биёед ба масъала аз ҷиҳати дигар нигарем. Шумо идора кардани дастаро омӯхтед; акнун вақти омӯхтани тарзи ба кор қабул кардани аъзои он аст. Дар ин боб меомӯзед, ки чӣ гуна муайян кунед кӣ ба даста ҳамроҳ шавад, чӣ малакаҳо меорад ва чаро ин барои самаранокӣ, такмил ва хароҷот аҳамият дорад.

Чун дар дастаҳои инсонӣ, ҳар узв ҷиҳатҳои қавӣ, заиф ва тарзи кори худро дорад ва малакаҳои онҳо ҳамдигарро пурра мекунанд. Барои агентҳои зеҳни сунъӣ низ ҳамин тавр аст: агар онҳоро бо андеша якҷоя кунед, онҳо нисбат ба ҳар модели алоҳида хеле бештар кор анҷом медиҳанд. Вақте ҷиҳатҳои қавӣ ва имкониятҳои ҳамкории онҳоро мефаҳмед, метавонед вазифаҳоро дуруст тақсим карда, иқтидори пурраи системаро истифода баред.

Барои ин боб донистани меъмории трансформер лозим нест. Ғояи асосиро аз бобҳои 1–2 медонед: модели забонӣ матнро ба токенҳо (порчаҳои хурди калима) ҷудо мекунад ва ҳар дафъа токени навбатиро пешгӯӣ менамояд; ҷавоби дароз аз ҳамин пешгӯиҳои пайдарпай сохта мешавад. Дар ин боб мебинем, ки моделҳо дар дохил чӣ фарқ доранд ва чаро интихоби модел барои агент муҳим аст. Тафсилоти техникӣ — формулаҳо, кэши KV, LoRA ва квантсозӣ — дар охири боб, дар қисми «Барои хонандагони пешрафта», оварда шудаанд.

Барои беҳтар фаҳмидани ин масъала меъмориҳои гуногунро аз ҳамин дидгоҳ меомӯзед ва моделҳои дорои вазнҳои кушодаро бо моделҳои пӯшидае, ки тавассути API дастрасанд, муқоиса мекунед. Ҳамчунин созишҳои марбут ба равзанаи контекстро бо стратегияҳои ҷорӣ кардан мепайвандед ва мефаҳмед, ки махсусгардонӣ тавассути танзими дақиқ ё адаптерҳо кай фоида меорад. Дар охир медонед, ки чӣ гуна дастаро пурра кунед, вазифаҳоро дуруст тақсим намоед ва ҳам самаранокӣ ва ҳам хароҷотро беҳина созед. Биёед бо номзадҳо шинос шавем, ҷиҳатҳои қавии онҳоро фаҳмем ва онҳоро дуруст интихоб кунем.

Тасвири умумӣ: интихоби меъмории мувофиқ

Навъҳои муосири трансформер барои сарбориҳо ва ниёзҳои муайяни ҷорӣ кардан тарҳрезӣ шудаанд. Интихоби дуруст ба ҳадафи шумо, ҷараёни иттилоот дар система ва маҳдудиятҳои хизматрасонӣ ё васеъ кардани моделҳо вобаста аст. Ҳар меъморӣ — танҳо рамзгузор, танҳо рамзкушо, рамзгузор–рамзкушо ё ҳатто MoE — нақши хоси худро дорад. Интихоби омезиши мувофиқ маънои мутобиқ кардани ҷиҳатҳои қавии ҳар модел ба ҳадафҳо, буҷаи ҳисоббарорӣ ва маҳдудиятҳои хизматрасониро дорад, то байни имконият ва самаранокӣ тавозуни беҳтарин ба даст ояд. Ҷадвали 8.1 тасаввури умумии ин меъмориҳо ва имкониятҳои онҳоро медиҳад.

Ҷадвали 8.1. Навъҳои меъмории трансформер

Се сатри аввал меъмориро нишон медиҳанд. Ду сатри охир дар як қатор бо онҳо нестанд: «модели эмбеддинг» вазифаро ифода мекунад, MoE бошад тарзи сохтани қабатҳои дохили модел аст. Масалан, модели танҳо рамзкушо метавонад ҳамзамон MoE бошад. Эмбеддинг рӯйхати ададҳоест, ки маънои матнро ифода мекунад; онро дар бахши моделҳои танҳо рамзгузор мебинем.

Биёед бо ҳар яке аз ин навъҳо кӯтоҳ шинос шавем: моделҳои танҳо рамзкушо, танҳо рамзгузор ва MoE пояи системаҳои муосири зеҳни сунъӣ мебошанд.

Моделҳои танҳо рамзкушо

Моделҳои танҳо рамзкушо ҳамон моделҳое мебошанд, ки одатан ҳангоми шунидани «LLM» ба хотир меоянд. Онҳо асоси системаҳои монанди GPT ё Claude ҳастанд ва ба як ғояи сода, вале тавоно такя мекунанд: дар ҳар қадам як токен тавлид намо ва тамоми чизҳои пешинаро ҳамчун контекст истифода бар.

Ин тарзи кор авторегрессивӣ ном дорад: «auto» ба маънои «худ» ва «regressive» ба маънои такя ба қиматҳои пешина. Модел дар пайдарпайӣ танҳо ба гузашта нигоҳ мекунад ва ҳар токени нав аз баромадҳои пешинаи худи модел вобаста аст: модел токенеро менависад, онро ба контекст илова мекунад ва аз рӯи тамоми матни то ин ҷо навишташуда токени навбатиро интихоб мекунад. Ҳамин тавр ҳалқаи бозхӯрд пайдо мешавад, ки ҳар қадами тавлид бар чизҳои пешина бунёд меёбад. Расми 8.1 меъмории танҳо рамзкушоро ба таври умум нишон медиҳад.

Расми 8.1. Намуди умумии меъмории танҳо рамзкушо. Матни вуруд аз қабатҳои пайдарпайи модел мегузарад ва дар охир модел ба ҳар токени имконпазир хол медиҳад: то чӣ андоза эҳтимол дорад, ки маҳз ҳамон токени навбатӣ бошад.

Ин моделҳо тавлидкунандагон, барноманависон ва ҳамсуҳбатони дастаи шумо мебошанд: ҳар агенте, ки матн, код ё нақша менависад, одатан дар асоси модели танҳо рамзкушо кор мекунад.

Кэши KV: чаро тартиби контекст муҳим аст

Модел ҳангоми тавлиди ҳар токени нав ба тамоми матни пешина нигоҳ мекунад. То ин корро ҳар дафъа аз сифр иҷро накунад, натиҷаҳои ҳисобҳои пешинаро дар хотира нигоҳ медорад; ин хотира кэши калид–арзиш (кэши KV) ном дорад. Кэш танҳо то ҷойе кор мекунад, ки аввали контекст тағйир наёфтааст: агар дар ибтидо ҳатто як калима иваз шавад, ҳамаи ҳисобҳои баъд аз он аз нав иҷро мешаванд. Аз ин барои агентҳо хулосаи амалӣ бармеояд: қисмҳои доимӣ — промпти системавӣ ва тавсифи абзорҳо — бояд дар аввали контекст бошанд, қисмҳои тағйирёбанда (паёмҳои нав, натиҷаҳои абзорҳо) дар охир. Он гоҳ ҳар даъвати нав қисми бештари кэшро дубора истифода мебарад ва ҷавоб тезтар ва аксар вақт арзонтар мешавад.

Формулаи таваҷҷуҳ, ҳисоби ҳаҷми кэши KV, GQA ва имкониятҳои кэш дар vLLM дар охири боб шарҳ дода шудаанд: «Моделҳои танҳо рамзкушо: таваҷҷуҳи сабабӣ ва кэши KV» (қисми «Барои хонандагони пешрафта»).

Моделҳои танҳо рамзгузор

Моделҳои танҳо рамзгузор, монанди BERT ва навъи муосири он ModernBERT, матн тавлид намекунанд, балки онро мефаҳманд: тамоми матнро якбора аз ҳарду тараф мехонанд ва онро ба як рӯйхати ададҳо — эмбеддинг (вектори маъно) — табдил медиҳанд. Матнҳои ҳаммаъно эмбеддингҳои ба ҳам наздик мегиранд. Аз ин рӯ ин моделҳо барои ҷустуҷӯи маъноӣ, гурӯҳбандии матн, санҷиши мувофиқати ҳуҷҷат ба савол ва RAG (тавлиди тақвиятёфта бо ҷустуҷӯ: пеш аз ҷавоб ёфтани ҳуҷҷатҳои мувофиқ) истифода мешаванд. Онҳо хурд, тез ва арзонанд. Дар дастаи агентҳо онҳо таҳлилгаронанд: пеш аз он ки модели тавлидкунанда ба кор шурӯъ кунад, иттилооти мувофиқро меёбанд ва месанҷанд. Дар бахши «Якҷоя кардани ҳамаи ҷузъҳо» мебинем, ки ModernBERT дар дастаи мо маҳз ҳамин корро мекунад.

Тафсилот дар охири боб: «Моделҳои танҳо рамзгузор: BERT ва навъҳои муосири он» (қисми «Барои хонандагони пешрафта»).

Моделҳои омехтаи коршиносон

Омехтаи коршиносон (Mixture of Experts, MoE) навъи алоҳидаи модел нест, балки тарзи сохтани қабатҳои дохили он аст. Модел аз чанд қисми хурд — «коршиносон» — иборат аст ва барои ҳар токен як шабакаи хурди масирдиҳанда танҳо чанд коршиноси мувофиқро интихоб мекунад; боқимонда дар ҳамон лаҳза кор намекунанд. Аз ин рӯ модели MoE метавонад хеле калон бошад, вале ҳар қадами он ба мисли модели хеле хурдтар тез ва арзон иҷро шавад. Масалан, Qwen3-235B-A22B, ки дар дастаи мо истифода мешавад, 235 миллиард параметр дорад, вале барои ҳар токен ҳамагӣ тақрибан 22 миллиардашро фаъол мекунад.

Тафсилот дар охири боб: «Омехтаи коршиносон: тафсилот» (қисми «Барои хонандагони пешрафта»).

Моделҳои андешаронӣ

Агар моделҳои танҳо рамзкушо тавлидкунандагон, моделҳои танҳо рамзгузор таҳлилгарон ва MoE мутахассисони шумо бошанд, моделҳои андешаронӣ андешамандони шумо ҳастанд. Онҳо пеш аз амал таваққуф мекунанд, масъалаҳоро ба қадамҳо ҷудо менамоянд ва хулосаҳои худро бозбинӣ мекунанд.

Моделҳои андешаронӣ танҳо аз рӯи меъморӣ муайян намешаванд, балки бо беҳинасозии рафтор фарқ мекунанд. Дар дохил онҳо аксаран рамзкушо мебошанд, аммо тавассути омӯзиш ё промпт ба истифодаи занҷираҳои сохторёфтаи мулоҳиза, пайгирии банақшагирӣ ё бозандешии бо абзорҳо тақвиятёфта ҳидоят мешаванд. Ба ҷойи пешгӯии мустақими ҷавоб, тавлиди андешаҳои миёнараверо меомӯзанд, ки ба ҷавоби беҳтар роҳ нишон медиҳанд.

Баъзе моделҳо, монанди DeepSeek-R1, Qwen3 ва навъҳои «андешаронӣ»-и GPT-и OpenAI, ин равишро бо беҳинасозии вақти иҷро боз ҳам пеш мебаранд: модел ташвиқ мешавад ҳангоми иҷро фазои мулоҳизаи худро ҷустуҷӯ кунад ва баъзан пеш аз интихоби роҳи мувофиқтарин чанд роҳи ҳалли мувозӣ тавлид намояд. Ин тағйир пайдоиши гурӯҳи нави моделҳоро нишон медиҳад: моделҳое, ки ҳам ҷавоб медиҳанд ва ҳам ба таври динамикӣ мулоҳиза мекунанд.

Аз ҷиҳати меъморӣ онҳо ба трансформерҳои танҳо рамзкушо наздик мемонанд, аммо навоварии асосӣ дар ҳалқаи иҷро аст, на дар қабатҳои шабака. Онҳо идомаи рамзии мулоҳизаро — тавассути токенҳои мулоҳиза ё истифодаи дубораи ҳолати ниҳонӣ — бо ҷустуҷӯи эҳтимолӣ, масалан рамзкушоии чанднамунаӣ ё санҷиши мутобиқати дохилӣ, якҷоя мекунанд. Натиҷа тавлиди сусттар, вале қабули қарорҳои амиқтару боэътимодтар аст.

Дар ташбеҳи даста, инҳо ҳамкоронеанд, ки барои сухан гуфтан шитоб намекунанд. Пеш аз ҷавоб фикр мекунанд, бозандешӣ менамоянд ва баъзан ҳатто бо худ баҳс мекунанд. Онҳо сусттаранд, аммо аксаран тамоми дастаро аз иштибоҳҳои пешгиришаванда наҷот медиҳанд. Дар системаи асосан вокунишгар онҳо зеҳнҳои бозандешанд.

Ҳолатҳои андешаронӣ

Моделҳои муосири андешаронӣ имкониятҳои идора кардани тарзи мулоҳизаро доранд. Бо калидҳои вобаста ба муҳити ҷорӣкунӣ метавонед байни ҳолати андешаронӣ ва ҷавоби зуд гузаред. Дар китобхонаи Transformers пайгирии дохилии мулоҳизаро мустақиман дар қолаби чат фаъол ё ғайрифаъол кардан мумкин аст (намунаи 8.1).

Намунаи 8.1. Гузариш байни ҳолати андешаронӣ ва бе андешаронӣ дар Transformers

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=True
)

enable_thinking=True андешарониро фаъол мекунад; ин ҳолати пешфарз аст.

Дар серверҳои мувофиқ бо OpenAI, монанди vLLM, калидҳои ҳолатро метавонед дар даъвати муштарӣ фиристед; намунаи 8.2-ро бинед.

Намунаи 8.2. Гузариш байни ҳолати андешаронӣ ва бе андешаронӣ дар vLLM

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3-8B",
    messages=[
        {"role": "user", "content":
        "What are reasoning models, in terms of large language models?"},
    ],
    max_tokens=8192,
    temperature=0.7,
    top_p=0.8,
    presence_penalty=1.5,
    extra_body={
        "top_k": 20,
        "chat_template_kwargs": {"enable_thinking": False},
    },
)

Маънои савол: «Моделҳои андешаронӣ дар доираи моделҳои бузурги забонӣ чистанд?». {"enable_thinking": False} ҳолати андешарониро ғайрифаъол мекунад.

Метавонед инчунин дар промпт ба модел бигӯед, ки андешарониро истифода набарад. Ҳатто вақте андешаронӣ хомӯш аст, бисёр моделҳо сохтори дохилии пайгирии пинҳониро нигоҳ медоранд. Ин мутобиқати қолабро ҳифз мекунад ва имкон медиҳад андешарониро бе тағйир додани коди марҳалаҳои баъдӣ фаъол ё ғайрифаъол кунед.

Аз ин калидҳо барои мутобиқ кардани таъхир ва сифат ба вазифа истифода баред. Андешарониро барои банақшагирӣ, ҷудо кардани масъала, интихоби абзор ва санҷиш фаъол кунед. Барои навбатҳои кӯтоҳи камхатар ё қадамҳое, ки нақшаашонро аллакай санҷидаед, онро ғайрифаъол намоед.

Буҷаи андешаронӣ

Токенҳои андеша ройгон нестанд. Бисёр моделҳо «буҷаи андешаронӣ» доранд: шумораи ҳадди аксари токенҳое, ки модел метавонад пеш аз ҷавоб барои андеша сарф кунад. Вақте буҷа тамом мешавад, модел андешаро қатъ карда, ба навиштани ҷавоб мегузарад. Тарзи муайян кардани буҷа ба таъминкунанда вобаста аст. Дар бахши «Якҷоя кардани ҳамаи ҷузъҳо» мо онро ҳамчун параметри иловагӣ дар extra_body ҳангоми танзими модел медиҳем:

thinker_llm = ChatOpenAI(
    model="Qwen/Qwen3-235B-A22B-Thinking-2507",
    extra_body={
        "chat_template_kwargs": {"enable_thinking": True},  # андешаронӣ фаъол
        "thinking": {"type": "token", "budget": 1536},       # то 1536 токени андеша
    },
)

Номи дақиқи параметрро дар ҳуҷҷатҳои таъминкунандаи худ санҷед.

Тарзи назорати буҷа ҳангоми иҷрои модел бо Transformers дар охири боб нишон дода шудааст: «Буҷаи андешаронӣ дар Transformers» (қисми «Барои хонандагони пешрафта»).

Ҳар токен ҳисоб мешавад

Фаромӯш накунед: хоҳ моделро худатон ҷойгир карда бошед, хоҳ тавассути API-и идорашаванда истифода баред, ҳар токен ҳисоб мешавад. Ҳар қадами мулоҳиза, даъвати абзор ва тавлиди миёнарав ба маблағи ниҳоӣ саҳм мегузорад.

Буҷаро аз рӯи таъхири қобили қабул ва мураккабии вазифа интихоб кунед. Буҷаи хеле хурд метавонад беҳбудии чандқадамиро маҳдуд ва мутобиқати ҷавобҳоро кам кунад. Дар амал барои мулоҳизаи ғайрисода одатан ҳазор токен ё бештар натиҷаи хуб медиҳад. Барои математика, тавлиди код ва нақшаҳои истифодаи чанд абзор буҷаро зиёд кардан мумкин аст, агар ҷустуҷӯи амиқтар фоида оварад.

Якҷоя кардани ҳамаи ҷузъҳо: тарҳрезии дастаи мутахассисон

То ин ҷо дидед, ки меъмориҳои гуногуни моделҳо ба системаҳои агентӣ ҷиҳатҳои қавии хос меоранд. Дар ин бахш аз рӯи ҳамин дониш системаи бисёрагентӣ (MAS) месозед. Ҳар агент дар тарҳи зерин қобилияти алоҳидаеро намояндагӣ мекунад, ки ба раванди умумии андешаронӣ, ҷустуҷӯ ва ҷамъбасти иттилоот саҳм мегузорад. Ҷадвали 8.2 нақшҳо ва моделҳои ин амалисозиро нишон медиҳад.

Ҷадвали 8.2. Дастаи агентҳо дар як нигоҳ

Ин агентҳои махсус якҷоя ҷараёни ҳамоҳангшудаи таҳқиқ ва навиштанро ташкил медиҳанд. Нозир тамоми равандро назорат мекунад, вазифаҳоро байни агентҳо равона менамояд ва муайян мекунад, ки система кай ба натиҷаи ниҳоӣ расидааст. Расми 8.2 пайвастшавии ҷузъҳо ва ҷараёни иттилооту мулоҳизаро дар система нишон медиҳад.

Расми 8.2. Тасвири дастаи таҳқиқотии дар LangGraph амалисозишуда.

Коди ин бахш ба тарзи таърифи ҳар агент диққат медиҳад. Коди пурра, аз ҷумла абзорҳо, пайваст кардани граф ва масирдиҳӣ, қасдан оварда нашудааст, то диққат ба тақсимоти нақшҳо ва интихоби меъмории онҳо равона монад.

Намунаи 8.3 маҷмӯи малакаҳои мушаххаси ҳар агенти дастаро муайян мекунад.

Намунаи 8.3. Тавлиди содаи матн

EXA_PROMPT = """Нақш: ёвари таҳқиқотӣ. Ту метавонӣ ҳамаи иттилооти навро
дар Exa Search ҷустуҷӯ кунӣ. Ҷавобат бояд нуктаҳои асосии ёфтаатро равшан баён кунад."""

PATENT_PROMPT = """Нақш: таҳқиқгари бозор бо таҷрибаи 20-сола.
Ту дар таҳқиқи патентҳо ва ёфтани иттилооти нав дар бораи онҳо
тавассути Google Patents API дониши бисёр дорӣ."""

NOTE_PROMPT = """Ту метавонӣ ҳуҷҷатҳоро бихонӣ ва барои нависандаи ҳуҷҷат
нақшаи матн созӣ. Саволҳои иловагӣ напурс."""

WRITER_PROMPT = """Ту метавонӣ ҳуҷҷатҳоро бихонӣ, нависӣ ва аз рӯи нақшаҳои
ёддоштбардор таҳрир кунӣ. Саволҳои иловагӣ напурс."""

ANALYST_PROMPT = """
Ту таҳлилгар ҳастӣ. Бояд `semantic_filter_tool`-ро маҳз як бор даъват кунӣ.
Вурудҳо:
- query: мавзӯъ ё саволи вазифаи ҷорӣ
- documents: рӯйхати сатрҳои хоме, ки ҳамдастаҳо ҷамъ кардаанд

Қоидаҳо:
- ба корбар ҷавоб надеҳ
- матни озод нанавис
- танҳо натиҷаи абзорро ба нозир баргардон
""".strip()

Барои моделҳои кушодаасос мо Nebius-ро истифода кардем, аммо шумо метавонед ҳар таъминкунандаи абрии мувофиқ бо OpenAI, монанди Novita ё Together AI-ро интихоб кунед. Намунаи 8.4 танзимоти моделҳои моро нишон медиҳад. Мебинед, ки андешаронии Qwen3-32B-ро ғайрифаъол кардаем ва барои Qwen3-235B-A22B буҷаи андешаронӣ муайян намудаем. Ин одатан ҳамон сохтори маъмул барои таъминкунандагони абрӣ аст ва аз ҳуҷҷатҳои Qwen оид ба ҷорӣкунии модел тавассути vLLM мутобиқ шудааст.

Барои омӯзиш. Дар ин мисол якчанд хизматрасонии пулакӣ бо калидҳои API-и алоҳида истифода шудаанд: Nebius, Exa, Serper, Tavily ва GPT-4.1. Барои омӯзиш ин ҳатмӣ нест: як модели API метавонад ҳамаи нақшҳоро бозӣ кунад. Ҳамон як моделро ба ҷойи fast_llm, thinker_llm ва supervisor_llm гузоред ва абзорҳои ҷустуҷӯро бо як абзори ҷустуҷӯе, ки дастрас доред, иваз кунед. Тақсими нақшҳо байни моделҳои гуногун баъдтар, барои сарфаи маблағ ва беҳтар кардани сифат, лозим мешавад.

Намунаи 8.4. Танзими моделҳо

fast_llm = ChatOpenAI(
    model="Qwen/Qwen3-32B-fast",
    temperature=0,
    api_key=NEBIUS_API_KEY,
    base_url="https://api.studio.nebius.ai/v1/",
    extra_body={
        "top_k": 20,
        "chat_template_kwargs": {"enable_thinking": False},
    },
)

thinker_llm = ChatOpenAI(
    model="Qwen/Qwen3-235B-A22B-Thinking-2507",
    temperature=0,
    api_key=NEBIUS_API_KEY,
    base_url="https://api.studio.nebius.ai/v1/",
    extra_body={
        "chat_template_kwargs": {"enable_thinking": True},
        "thinking": {"type": "token", "budget": 1536}
    },
)
supervisor_llm = ChatOpenAI(
    model="gpt-4.1",
    temperature=0
)

Намунаи 8.5 тарзи амалисозии функсияи ёрирасонро барои зудтар сохтани агентҳо нишон медиҳад.

Намунаи 8.5. Сохтани гиреҳи коргари ReAct

def make_react_worker_node(
    *,
    llm: ChatOpenAI,
    name: str,
    tools: list,
    prompt: str | None = None,
    goto: str = "supervisor",
):
    agent = create_react_agent(llm, tools=tools, prompt=prompt)

    def node(state: State) -> Command[Literal["supervisor"]]:
        result: Dict[str, Any] = agent.invoke(state)
        msgs: Sequence[BaseMessage] = result.get("messages", [])
        content = getattr(msgs[-1], "content", "") if msgs else ""
        return Command(
            update={"messages": [HumanMessage(content=content, name=name)]},
            goto=goto,
        )

    return node

Бо ин функсияи ёрирасон агентҳои алоҳидаро мувофиқи намунаи 8.6 сохтан мумкин аст.

Намунаи 8.6. Сохтани агентҳо

specs = [
    dict(
        name="search", tools=[tavily_search, tavily_extract],
        prompt=SEARCH_PROMPT, llm=fast_llm
        ),
    dict(
        name="exa_search", tools=[exa_search_tool],
        prompt=EXA_PROMPT, llm=fast_llm
        ),
    dict(
        name="patent_research", tools=[patent_search],
        prompt=PATENT_PROMPT, llm=fast_llm
        ),
    dict(
        name="analyst", tools=[semantic_filter_tool],
        prompt=ANALYST_PROMPT, llm=thinker_llm
        ),
    dict(
        name="note_taker", tools=[create_outline, read_document],
        prompt=NOTE_PROMPT, llm=fast_llm
        ),
    dict(
        name="doc_writer", tools=[write_document, edit_document, read_document],
        prompt=WRITER_PROMPT, llm=fast_llm
        ),
]

nodes = {
    s["name"]: make_react_worker_node(llm=s["llm"], name=s["name"],
    tools=s["tools"], prompt=s["prompt"])
    for s in specs
}

Вақте кодро иҷро карда, баромади агенти таҳлилгарро мебинед, чизе монанди ин пайдо мешавад:

Analyst (ModernBERT) processing 2 docs...
'analyst': {'messages': [HumanMessage(content='\n\n[\n {\n ""text": "### Latest
Developments in AI Agents: A Focus on Coding Agents\\n\\nAI agents, particularly
those focused on coding, are rapidly evolving and transforming the landscape of
software development.",\n "source": "Source Doc [1]",\n "score": 0.956\n  },
# Боқимондаи баромад оварда нашудааст.

Маънои паёми аввал: «Таҳлилгар (ModernBERT) 2 ҳуҷҷатро коркард мекунад…». Маънои порчаи натиҷа: «Пешрафтҳои охирин дар агентҳои зеҳни сунъӣ: таваҷҷуҳ ба агентҳои барноманавис. Агентҳои зеҳни сунъӣ, махсусан онҳое, ки ба барноманависӣ нигаронда шудаанд, босуръат рушд мекунанд ва соҳаи таҳияи нармафзорро тағйир медиҳанд». Манбаъ: «Ҳуҷҷати манбаъ [1]».

Дар сатри пеш аз охир холи 0.956-ро мебинед: ин холи мувофиқатест, ки ModernBERT ба ҳамин муҳтаво додааст.

Ин тарҳ натиҷаи дилхоҳро медиҳад: як таҳлилгари боандеша, ки далелҳоро бодиққат баррасӣ мекунад ва модели муосири рамзгузор онҳоро аз ҷиҳати мувофиқат месанҷад, дар ҳоле ки боқимондаи агентҳо тезу арзон мемонанд. Ин намунаи тарҳрезии системаҳои худсанҷ аст: ғайр аз талаб кардани пайванд ба манбаъҳо дар промпт, мувофиқати муҳтаво ва эҳтимоли маълумоти сохтаву беасос низ санҷида мешаванд.

Моделҳои кушода ва пӯшида: чаро интихоб муҳим аст?

Баҳси истифодаи моделҳои кушода ё пӯшида солҳо боз идома дорад. Аммо интихоби байни онҳо танҳо қарори техникӣ нест: он самти стратегии ширкати шуморо дар сохтани маҳсулот бо агентҳои зеҳни сунъӣ муайян мекунад. Агар амиқтар назар кунед, ин интихоб ба ҳама чиз таъсир мерасонад: аз сохтори хароҷот ва риояи талабот то суръати навоварӣ, вобастагӣ ба таъминкунанда ва соҳибихтиёрии дарозмуддат бар додаҳо. Ҳадафи ин бахш ёрӣ додан ба баррасии таҳлилии масъала бо дарназардошти омилҳои зерин аст.

Суръати навоварӣ ва ҷорӣкунӣ

Саҳми ҷомеаи ҷаҳонии таҳқиқотӣ меъмориҳо ва усулҳои нави беҳинасозиро пеш мебарад. Экосистемаҳои монанди Hugging Face, vLLM ё Ollama ин навовариҳоро дастрас мекунанд. Моделҳои пӯшида бошанд, бо суръати давраҳои дохилии таҳқиқу рушд ва нашрҳои банақшагирифта пеш мераванд. Аммо фақат суръати навоварии худи моделҳо муҳим нест. Суръати навоварии худро низ бояд баррасӣ кунед: суръати ҷорӣкунии шумо ба баҳс нозукии дигар меорад. Моделҳои пӯшида тавассути API фавран истифода мешаванд. Аксари моделҳои кушода низ тавассути хизматрасониҳои абрии идорашаванда, масалан Together.ai, дастрасанд. Ин озмоиши зудро имкон медиҳад, пеш аз он ки дастаҳо барои назорати хароҷот ва мутобиқсозӣ ба ҷойгиркунии мустақил гузаранд.

Дастрасӣ

Моделҳои кушодаасос барои озмоиш, баррасӣ ва арзёбии муқоисавӣ озодона дастрасанд. Онҳо аксаран имкони дидани додаҳои омӯзишӣ, меъморӣ ва вазнҳоро медиҳанд, ки барои аудит ва риояи талабот аҳамияти ҳалкунанда дошта метавонад. API-ҳои моделҳои пӯшида шаффофият ва назоратро маҳдуд мекунанд ва маҳдудиятҳои суръати дархост, сатҳҳои нархгузорӣ ва дастрасии минтақавӣ доранд. Дастрасӣ осонии амалиётиро низ дар бар мегирад. Моделҳои пӯшида мураккабии зерсохторро аз зиммаи шумо мегиранд ва дастрасии мустақим медиҳанд; моделҳои кушода метавонанд идоракунии зерсохторро талаб кунанд.

Беҳинасозӣ ва мутобиқсозии модел

Моделҳои кушода ҳанӯз васеътарин назоратро пешниҳод мекунанд. Ҳарчанд метавонед модели пӯшидае монанди GPT-4.1-ро тавассути DPO ё RL танзими дақиқ ё мутобиқ кунед, он ҳамоно танҳо дар муҳити таъминкунанда вуҷуд дорад. Вазнҳои модел, ҷойгиркунӣ ва муҳити иҷро дар ихтиёри шумо нестанд. Яъне мутобиқсозӣ имконпазир аст, аммо вобастагӣ ба таъминкунанда боқӣ мемонад. Моделҳои кушодаасос имкон медиҳанд беҳбудиҳои худро бо худ баред; системаҳои пӯшида чандириро ба шумо барои истифода медиҳанд, вале соҳибаш намегардонанд.

Самаранокӣ

Моделҳои пӯшида аксаран аз сабаби буҷаҳои хусусии ҳисоббарорӣ ва бартарии додаҳои омӯзишӣ дар ҷадвалҳои арзёбӣ пешсафанд. Аммо фарқи самаранокӣ хеле кам шудааст. Меъмориҳои муосири кушода, монанди Qwen3 ё Kimi K2, аз рӯи натиҷа ба моделҳои хусусӣ наздик мешаванд. Бо усулҳои беҳинасозие, ки дар боби 13 (барои хонандагони пешрафта) шарҳ дода мешаванд — бахшҳои «ART-и омӯзиш аз таҷриба» ва «Фароҳам кардани барномаҳои агентии умумӣ тавассути омӯзиши баъдӣ ва агентҳои ба ҷустуҷӯ асосёфта» — ҳатто метавонед моделҳои худро омӯзонед, ки абзорҳоро беҳтар истифода баранд ё ҳамчун даста беҳтар ҳамкорӣ кунанд.

Хароҷот

Мувофиқи нархҳои аввали соли 2026, ки муаллиф овардааст, моделҳои пӯшида метавонанд барои ҳар миллион токени вуруд то 150 доллар ва барои баромад то 600 доллар (o1-pro) арзиш дошта бошанд. Моделҳои кушода ҳангоми истифода тавассути таъминкунандагони арзони абрӣ тақрибан 0,3 доллар барои вуруд ва тақрибан 3 доллар барои баромад ба ҳар миллион токен меафтанд, ҳатто барои моделҳои зиёда аз 200 миллиард параметр.

Агар онҳоро худатон ҷойгир кунед, созиш ба масъалаи амалиётӣ табдил меёбад. Ҷорӣкунии кушодаасос GPU, зерсохтори васеъшаванда ва нигоҳдории доимиро талаб мекунад. Дар кӯтоҳмуддат API-ҳои идорашаванда метавонанд арзонтар намоянд, зеро ниёз ба кормандони махсусро бартараф мекунанд. Аммо дар дарозмуддат моделҳои кушодае, ки худ ҷойгир мекунед, пас аз васеъкунии самаранок одатан арзиши умумии соҳибии камтар медиҳанд.

Амнияти додаҳо ва риояи талабот

Ҳангоми ҷойгиркунии мустақил ё дар зерсохтори абрии хусусӣ моделҳои кушода соҳибии пурраи додаҳо ва назорати риояи талаботро таъмин мекунанд. Ин барои соҳаҳои танзимшаванда, монанди молия ё тандурустӣ, муҳим аст. Ташкилотҳо метавонанд назорати муфассали дастрасӣ, механизмҳои аудит ва қабатҳои рамзгузории дохилиро ҷорӣ кунанд. Дар моделҳои идорашаванда, хоҳ пӯшида ва хоҳ кушода, ба амният ва сертификатҳои риояи талаботи таъминкунанда — SOC-2, ISO-27001 ва ғайра — такя мекунед. Ин харидро осон мекунад, вале шаффофиятро кам ва вобастагӣ ба масъулиятшиносии таъминкунандаро зиёд менамояд.

Бо дарназардошти ҳамаи ин, стратегияи гибридӣ аксаран аз ҳама мувофиқ аст. Ҳангоми оғоз кардани сохтани системаи агентӣ API-ҳои пӯшидаи идорашаванда ё таъминкунандагони идорашавандаи моделҳои кушода метавонанд ба пешравии зуд ва диққат додан ба барнома, ба ҷойи зерсохтор, ёрӣ расонанд. Ҳангоми шакл гирифтани ҷараёнҳои кор ва масъулиятҳо ин роҳ содагиро нигоҳ медорад. Аммо дар муҳитҳои танзимшаванда роҳи идорашаванда ҳам харид ва идоракунии бодиққатро талаб мекунад: созишномаҳои коркарди додаҳо, баррасии амният, сиёсатҳои нигоҳдорӣ, назорати минтақаи иҷро ва талаботи аудит.

Бо гузашти вақт, вақте даста калон мешавад ва истифодаҳо назорати бештар, мутобиқсозӣ ё ҷудосозии додаҳоро талаб мекунанд, ба дохили ташкилот овардани ҷорӣкунии моделҳои кушодаасос амалӣтар мегардад. Ин назорати версияҳои модел, ҳудудҳои ҷойгиркунӣ ва муносибат бо додаҳоро зиёд мекунад, аммо масъулияти амалиётии бештарро низ ба даста мегузаронад. Вақте соҳибони масъулиятҳо равшананд, ба ихтиёри худ гирифтани идоракунии зерсохтор ва модел аксаран роҳи самараноктар мешавад.

Беҳинасозии моделҳои кушодаасос

Агар моделҳои кушодаро худатон ҷойгир кунед, онҳоро арзонтар ва ба вазифаи худ мувофиқтар кардан мумкин аст. Ду роҳи маъмул ҳаст. Якум, LoRA ва адаптерҳо: ба ҷойи аз нав омӯзонидани тамоми модел, танҳо қисми хеле хурди иловагиро барои вазифаи худ меомӯзонед; модели асосӣ бетағйир мемонад ва барои ҳар вазифа метавонед адаптери алоҳида дошта бошед. Дуюм, квантсозӣ: ададҳои дохили модел бо дақиқии камтар (масалан, 8 ё 4 бит) нигоҳ дошта мешаванд, то модел хотираи камтар гирад ва тезтар кор кунад. Барои оғоз ин усулҳо лозим нестанд; онҳо вақте муфиданд, ки система аллакай кор мекунад ва мехоҳед хароҷотро кам кунед.

Тафсилот дар охири боб: «Беҳинасозии моделҳои кушодаасос: LoRA, адаптерҳо ва квантсозӣ» (қисми «Барои хонандагони пешрафта»).

Хулоса

Дарси асосии ин боб чунин аст: қобилияти системаи агентии шумо аз мувофиқати вазифа, модел ва стратегияи иҷро пайдо мешавад. Моделҳо аъзои дастаанд, ки ҳар яке ҷиҳатҳои қавӣ ва малакаҳои хоси худро дорад. Моделҳои танҳо рамзкушо тавлидкунандагон ва банақшагирони шумо мебошанд. Моделҳои танҳо рамзгузор таҳлилгарон ва таҳқиқгаронанд. Моделҳои омехтаи коршиносон мутахассисони шумо ҳастанд, ки иқтидорро зиёд мекунанд, бе он ки барои ҳар токен тамоми ҳисоббарорӣ сарф шавад. Моделҳои андешаронӣ андешамандони боандешаи шумо мебошанд: пеш аз амал таваққуф мекунанд, бозбинӣ менамоянд ва натиҷаро такмил медиҳанд. Бо чунин тарзи ташкили система сифати баландтарро бо хароҷоти камтар ба даст меоред.

Дидед, ки интихоби меъморӣ ба ҳамон андоза масъалаи иҷро аст, ки масъалаи моделсозӣ мебошад. Кэши KV тавлидро тез мекунад, агар қисмҳои доимии контекст — промпти системавӣ ва тавсифи абзорҳо — дар аввал гузошта шаванд. Барои моделҳои андешаронӣ низ бояд қарор кунед, ки кай ҳолати андешарониро фаъол созед ва буҷаи онро чӣ гуна муайян намоед, то ҳисоббарорӣ дар ҷойи зарурӣ сарф шавад ва роҳҳои ҷавоби зуд дар дигар ҷойҳо нигоҳ дошта шаванд.

Шумо ин ҷузъҳоро ба сохтори коршоями агентҳо пайваст кардед: идоракунандаи боандеша мулоҳиза мекард, рамзгузор мувофиқатро месанҷид, рамзкушоҳои тез пешнавису таҳрирро анҷом медоданд ва нозир ҳамаи онҳоро ҳамоҳанг мекард, масир медод ва вақти анҷоми вазифаро муайян менамуд.

Омӯхтед, ки интихоби моделҳои кушода ва пӯшида сирф техникӣ нест. Он самти хароҷот, риояи талабот ва соҳибихтиёрӣ бар додаҳоро муайян мекунад. Роҳи гибридӣ аксаран амалӣ аст: барои такмили зуд аз API-ҳои идорашаванда оғоз кунед ва бо пухта шудани дастаю ҷараёнҳои кор ба ҷойгиркунии мустақили моделҳои кушодаасос гузаред.

Барои онҳое, ки моделҳои кушодаро худашон ҷойгир мекунанд, танзими дақиқ бо истифодаи самараноки параметрҳо имкон медиҳад моделҳоро бе тағйир додани ҳар вазн мутобиқ кунед. LoRA ва адаптерҳо махсусгардониҳои модулӣ медиҳанд, ки онҳоро барои ҳар вазифа ё соҳа иваз кардан мумкин аст. Квантсозӣ хотираро кам ва иҷрои моделро тез мекунад. Якҷоя бо чаҳорчӯбаҳои bitsandbytes ва unsloth, ин усулҳо беҳинасозии пешрафтаро ба қисми маъмулии раванди сохтани система табдил медиҳанд.

Ин ғояҳо дар маҷмӯъ фосилаи байни меъморӣ, иҷро ва амалиётро бартараф мекунанд. Нақшҳоро дуруст интихоб кунед, андешарониро дар ҷойҳое ҷудо намоед, ки фоида меорад, ҷузъҳои дар ихтиёри худро беҳина созед ва стратегияи ҷорӣкуниеро қабул кунед, ки ба марҳалаи рушди шумо мувофиқ бошад.

Чиро бояд дар ёд дошт

• Барои корҳои гуногун моделҳои гуногун лозиманд: моделҳои танҳо рамзкушо матн ва код тавлид мекунанд, моделҳои танҳо рамзгузор барои эмбеддинг, ҷустуҷӯ ва RAG хубанд, моделҳои андешаронӣ сусту гаронанд — онҳоро танҳо дар ҷойҳое истифода баред, ки воқеан фоида меоранд.
• Андешарониро фаъол ё хомӯш кардан мумкин аст (масалан, бо enable_thinking), ва токенҳои андеша, ҳатто агар пинҳон бошанд, пул ва вақт мегиранд.
• Қисмҳои доимии контекстро (промпти системавӣ, тавсифи абзорҳо) дар аввал гузоред ва қисмҳои тағйирёбандаро дар охир — он гоҳ кэш кор мекунад ва ҷавоб тезтару арзонтар мешавад.
• Моделҳои кушода ва пӯшида байни хароҷот, назорат, махфияти додаҳо ва осонии истифода созиш доранд. Аз API оғоз кунед ва баъдтар, агар лозим шавад, ба ҷойгиркунии мустақил гузаред.
• Барои омӯзиш як модели API кофист: ҳамон як модел метавонад ҳамаи нақшҳои дастаро бозӣ кунад; тақсими нақшҳо байни моделҳои гуногун баъдтар барои сарфаи маблағ ва сифат лозим мешавад.

Барои хонандагони пешрафта

Ин қисм барои хониши аввал ҳатмӣ нест. Дар он тафсилоти техникӣ, формулаҳо ва коди пурра оварда шудаанд. Агар китобро бори аввал мехонед, метавонед онро гузаронед ва ба боби навбатӣ гузаред.

Моделҳои танҳо рамзкушо: таваҷҷуҳи сабабӣ ва кэши KV

Дар расми 8.1 табдили ниҳоии баромад чунин аст: ҳолати ниҳонии рамзкушо аз қабати баромади омӯхташуда гузаронида мешавад, то логитҳои токени навбатӣ ҳосил шаванд. Ба таври формула: (\mathrm{logits}t = W{\mathrm{out}}, h_t), ки дар он (h_t) — ҳолати ниҳонии охирин ва (W_{\mathrm{out}}) — вазнҳои қабати баромад.

Тавлиди авторегрессивӣ ин моделҳоро барои тавлиди матн ва код, мулоҳиза ва гуфтугӯ бисёр мувофиқ мекунад. Моделҳои танҳо рамзкушо тавлидкунандагон, барноманависон, ҳамсуҳбатон ва банақшагирони шумо мебошанд. Онҳо қадам ба қадам фикр мекунанд ва ҳамеша ба андешаҳои пешинаи худ такя менамоянд. Аммо фаҳмидани тарзи идора кардани ин хотира, ҳам ба маънои воқеӣ ва ҳам мафҳумӣ, калиди тезтару самараноктар кардани онҳо аст. Биёед сабабро бо математика бинем. Барои чунин таваҷҷуҳи сабабӣ ё авторегрессивӣ, ниқоби худтаваҷҷуҳӣ сабабиятро таъмин мекунад:

[ \operatorname{Attention}(Q, K, V) = \operatorname{softmax}!\left(\frac{QK^{\top}}{\sqrt{d_k}} + M\right) V, \qquad M_{ij} = \begin{cases} 0, & j \le i \ -\infty, & j > i \end{cases} ]

Ин маънои онро дорад, ки бе истифодаи кэш ҳангоми тавлиди ҳар токени нав бояд ҳолатҳои пешинаи таваҷҷуҳ аз нав ҳисоб карда шаванд: модел танҳо ба токенҳои то қадами ҷорӣ таваҷҷуҳ карда метавонад. Аммо калидҳо ва арзишҳои пештар ҳисобшуда тағйир намеёбанд ва метавон онҳоро дар қадами навбатӣ дубора истифода бурд. Дар ҳамин ҷо кэшкунии калид–арзиш (KV) ба кор меояд. Ниқоби (M) ба токени (i) танҳо ба токенҳои (j \le i) нигоҳ карданро иҷозат медиҳад: барои токенҳои оянда қимати (-\infty) пас аз softmax ба вазни сифр табдил меёбад.

Кэшкунии KV: чаро он муҳим аст?

Кэшкунии калид–арзиш як усули оқилонаи беҳинасозӣ аст: калидҳо ва арзишҳои қабатҳои таваҷҷуҳро, ки пештар ҳисоб шудаанд, нигоҳ медорад, то модел онҳоро ба ҷойи ҳисобкунии дубора истифода барад. Он иҷрои моделро хеле тез мекунад, вале ин бепул нест. Бо дароз шудани пайдарпайӣ кэш низ қабат ба қабат калон мешавад, то истеъмоли хотира ба омили асосӣ табдил ёбад. Маҳорати асосӣ нигоҳ доштани тавозун байни суръат ва хотира аст; ҳангоми ҷорӣ кардани моделҳо дар миқёси калон ё барои чанд агент ин масъала ҳалкунанда мешавад.

Ба таври тахминӣ, ҳаҷми хотираи кэши KV аз рӯи ин ҳосилзарб меафзояд:

дарозии пайдарпайӣ × шумораи қабатҳо × шумораи сарҳои KV × андозаи ҳар сар × 2 × байт барои ҳар қимат.

Зарби 2 аз он сабаб аст, ки кэш ҳам калидҳо ва ҳам қиматҳоро нигоҳ медорад. Дар таваҷҷуҳи гурӯҳии дархостҳо (GQA), сарҳои KV аз сарҳои дархост камтаранд; аз ҳамин сабаб ҳангоми рамзкушоӣ ҳаҷми кэш хеле кам шуда метавонад. Дар маҷмӯъ қобилияти коркарди бештарро ба ивази истифодаи хотира ба даст меоред.

Ҳамчунин фаҳмидан лозим аст, ки моделҳои пешрафтаи муосир (SOTA) дигар одатан механизми аслии таваҷҷуҳро истифода намебаранд. Онҳо бештар GQA-ро истифода мекунанд: ба ҷойи он ки ҳар сари дархост проексияҳои алоҳидаи K ва V дошта бошад, чанд сари дархост калидҳо ва арзишҳоро муштарак истифода мебаранд. Ин ҳаҷми кэши KV-ро хеле кам мекунад. Дар Hugging Face меъмории моделро аз танзимоти он дида метавонед. Моделро бо AutoModelForCausalLM.from_pretrained(model_name) бор кунед ва баъд model.config-ро бинед. Барои Qwen2.5-7B-Instruct-1M танзимоти GQA чунин аст:

"num_attention_heads": 28,
"num_key_value_heads": 4,

Ин танзимоти Qwen 2.5 — 28 сари дархост бо ҳамагӣ 4 сари калид–арзиши муштарак — намунаи хуби муосири GQA дар амал аст. Ҷадвали 8.3 таъсири онро ба хотира нишон медиҳад.

Ҷадвали 8.3. Танзимоти таваҷҷуҳи гурӯҳии дархостҳо: мисоли Qwen 2.5

Идоракунии самараноки кэши KV барои васеъ кардани моделҳои танҳо рамзкушо зарур аст: он ҳам ба ҳаҷми хотира ва ҳам ба суръати ҷавоб таъсир мерасонад. Идоракунии дуруст муайян мекунад, ки система ба таври ҳамвор васеъ мешавад ё зери сарборӣ ба монеа дучор мегардад.

Меъмории навшудаи рамзгузор–рамзкушо: Flash Attention T5

Меъмориҳои рамзгузор–рамзкушо дар баъзе ҳолатҳо, махсусан дар вазифаҳои чандгона ё шароити бенамуна (zero-shot), метавонанд аз моделҳои танҳо рамзкушо беҳтар бошанд. Flash Attention T5 (FAT5) модели навшудаи рамзгузор–рамзкушо аст, ки тарҳи аслии T5¹-ро ба меъёрҳои самаранокии имрӯз мутобиқ мекунад. Бо ворид кардани Flash Attention ба меъмории T5, монеаи асосии таваҷҷуҳро бартараф мекунад, афзоиши хотираи тақрибан хаттӣ ба даст меорад ва равзанаҳои хеле дарозтари контекстро дастгирӣ менамояд. Модел қобилияти қавии тавлидро нигоҳ дошта, барои вазифаҳои тасниф танзими дақиқи самараноки танҳо рамзгузорро имкон медиҳад; ин вақти омӯзишро бе аз даст додани дақиқӣ кам мекунад.

Яке аз роҳҳо истифодаи дубораи кэши KV барои пешвандҳои муштарак байни шохаҳои ҷустуҷӯи шуоӣ (beam search) ҳангоми рамзкушоӣ аст. Ҳамин тавр ҳисобҳои такрории таваҷҷуҳ пешгирӣ мешаванд. Ин метавонад хотираро хеле кам ва иҷрои моделро тез кунад, махсусан вақте шумораи шохаҳо зиёд аст. Бо афзоиши контекст, вақте пайдарпайӣ ба ҳадди максималии контексти модел наздик мешавад, кӯтоҳ кардани пешванд ё равзанаи лағжандаро ҷорӣ кунед. Токенҳои кӯҳнае, ки дигар ба баромад саҳми муҳим намегузоранд, хориҷ карда мешаванд ва истифодаи хотира кам мешавад. Ғайр аз беҳинасозии хотира, ин роҳи амалии сабук кардани «мушкилоти сӯзан дар коҳ» низ ҳаст: контексти зиёди таърихӣ иттилооти мувофиқро пинҳон мекунад.

Softmax ва мушкилоти «сӯзан дар коҳ»

Дар трансформерҳо вазнҳои таваҷҷуҳ бо softmax ҳисоб мешаванд. Ҳангоми афзоиши контекст махраҷи softmax, ки ҷамъи холҳои ҳамаи токенҳоро дар бар мегирад, хеле калон мешавад, дар ҳоле ки ҳар холи алоҳида тақрибан ҳамон мемонад. Ин тақсимотро ҳамвор мекунад, фарқи байни токенҳои муҳим ва номувофиқро кам менамояд ва ёфтани иттилооти калидиро барои модел душвортар месозад. Ин мушкилот бо номи «мушкилоти сӯзан дар коҳ» маълум аст.

Ҳангоми ҷорӣ кардан бояд ҳиссаи муроҷиатҳое, ки маълумотро аз кэш меёбанд (cache hit ratio), ва фишор ба хотираро пайваста назорат кунед. Ҳиссаи пасти истифодаи муваффақи кэш аксаран аз ҷадвалбандии ғайрисамаранок ё беэътиборсозии нолозими кэш хабар медиҳад; фишори баланди хотира зарурати стратегияҳои саҳифабандӣ ё кӯтоҳкуниро нишон медиҳад. Чаҳорчӯбаҳои монанди vLLM аллакай саҳифабандии кэш ва истифодаи дубораи онро дар сатҳи блокҳои пешванди муштарак дастгирӣ мекунанд, то ҳангоми ҳамзамонии баланд устуворӣ нигоҳ дошта шавад. Ҷадвали 8.4 муҳимтарин имкониятҳои vLLM-ро барои идоракунии самараноки кэши KV нишон медиҳад.

Ҷадвали 8.4. Имкониятҳои идоракунии кэш дар vLLM

Масъалаи дигари муҳим таъсири муҳандисии контекст — тағйир додан, ворид кардан ё буридани ҳадафмандонаи токенҳо дар контексти вуруди модел — ба якпорчагии кэши KV аст. Кэш проексияҳои калид ва қимати токенҳои пештар коркардшударо нигоҳ медорад. Аз ин рӯ ҳар тағйире, ки тартиб ё ҳувияти токенҳоро дигар мекунад, метавонад қисмҳои онро беэътибор созад.

Ҳангоми ворид кардани ҳуҷҷатҳои нав, кӯтоҳ кардани пешвандҳои кӯҳна ё иваз кардани тартиби паёмҳо, сабтҳои кэш дигар ба рамзгузории мавқеи модел мувофиқ намеоянд. Истифодаи дубораи онҳо ба баромадҳои номуназзам ё сохтаву беасос меорад. Аз ин рӯ ҳар тағйири сохтории контекст бояд беэътиборсозии интихобии кэшро ба кор андозад. Сиёсати чандқабата, яъне якҷоя кардани равзанабандӣ, сегментбандӣ ва санҷиши ҳэш, имкон медиҳад дурустӣ ва самаранокӣ ҳамзамон нигоҳ дошта шаванд. Тарҳрезии оқилонаи контекст, масалан пешакӣ ҷудо кардани промптҳои доимии системавӣ, ҳатто дар RAG-и динамикӣ ё гуфтугӯҳои чанднавбатӣ нигоҳ доштани қисме аз кэшро имкон медиҳад. Чаҳорчӯбаҳои муосири иҷрои модел ин масъаларо бо чунин роҳҳо ҳал мекунанд:

• Кэшкунии равзанаи лағжанда: барои таваҷҷуҳи маҳдуд танҳо N токени охирин нигоҳ дошта мешавад.
• Кэшкунии қисмӣ ё сегментӣ: промпти система, контексти бозёфта ва навбатҳои корбар ҷудо мешаванд, то танҳо қисми зарурӣ беэътибор гардад.
• Хориҷ кардани калидҳои кӯҳна: кэшҳои ғайрифаъол баъди гузаштани муҳлати муайян ҳазф мешаванд.
• Ҳэшкунии контекст: пеш аз истифодаи дубораи кэш ҷамъҳои санҷишии токенҳо муқоиса мешаванд, то дурустӣ таъмин гардад.

Эзоҳ: Калидҳо ва қиматҳои ҳар токен на танҳо аз худи он, балки аз ҳамаи токенҳои пеш аз он вобастаанд: онҳо дар қабатҳои болоӣ аз натиҷаи таваҷҷуҳ ба тамоми контексти пешина ҳисоб мешаванд. Аз ин рӯ яксон мондани матни як сегмент барои истифодаи дубораи кэши он кофӣ нест. Агар чизе пеш аз сегмент тағйир ёбад, кэши худи сегмент ва ҳамаи қисмҳои баъдӣ низ беэътибор мешаванд. Хулосаи амалӣ: қисмҳои доимӣ (промпти системавӣ, тавсифи абзорҳо) дар аввал, қисмҳои тағйирёбанда дар охири контекст.

Бовар дорем, пас аз ин бахш равшан аст, ки ҷорӣ кардан ё тезтар кардани модели танҳо рамзкушо фақат ба бозомӯзӣ, квантсозӣ ё шумораи GPU-ҳо вобаста нест. Муҳандисии муҳити иҷро ва идоракунии самараноки кэши он низ нақши асосӣ доранд. Ҳарчанд аввал ин душвор намояд, чаҳорчӯбаҳои монанди vLLM онро бо хотираи саҳифабандишуда, истифодаи дубораи пешванд ва мубодилаи тақсимшудаи KV осон мекунанд. Дар амал аксаран танҳо фаъол кардани ин механизмҳо дар танзимот кофист: кэши KV бо сарбории ками амалиётӣ самаранок идора мешавад. Баъзе имкониятҳо, монанди кэшкунии пешванд, ҳатто ба таври пешфарз фаъоланд.

Моделҳои танҳо рамзгузор: BERT ва навъҳои муосири он

Ин бахш диққати шуморо ба моделҳои танҳо рамзгузор ҷалб мекунад, ки аксаран ба қадри кофӣ қадр намешаванд. Моделҳои танҳо рамзкушо пайдарпай токен тавлид мекунанд; моделҳои танҳо рамзгузор ба фаҳмиш нигаронда шудаанд. Онҳо матн тавлид намекунанд, балки онро таҳлил менамоянд. Вазифаи онҳо аз ҳар тараф баррасӣ кардани вуруд ва сохтани фаҳмиши амиқи контекстии маънои он аст.

Шумо пештар бо BERT² ва RoBERTa³ шинос шудаед. Ин моделҳо матнро дуҷониба мехонанд ва робитаҳои байни калимаҳоро дар тамоми пайдарпайӣ муайян мекунанд. Ба ҷойи пешгӯии токени навбатӣ, қисмҳои пинҳоншудаи вурудро барқарор карда, меомӯзанд, ки чӣ намерасад. Ин равиш — моделсозии забон бо ниқобгузорӣ (masked language modeling) — ба онҳо фаҳмидани сохтор ва нозукиҳои забонро меомӯзонад, на тавлиди матнро.

Меъмориҳои танҳо рамзгузор маҷмӯи қабатҳои рамзкушоро пурра хориҷ карда, ба таваҷҷуҳи дуҷониба такя мекунанд: ҳар токен ба ҳар токени дигари пайдарпайӣ таваҷҷуҳ карда метавонад. Расми 8.3 шакли содаи ин меъмориро нишон медиҳад.

Расми 8.3. Шакли содаи меъмории танҳо рамзгузор.

Азбаски ҳалқаи авторегрессивӣ вуҷуд надорад, ин моделҳо тамоми вурудро ба таври мувозӣ коркард мекунанд. Аз ҳамин сабаб тезтар, сабуктар ва дар хизматрасонӣ арзонтаранд. Ба кэшкунии калид–арзиш ё тавлиди токен ба токен ниёз надоранд ва барои гурӯҳбандӣ, ҷустуҷӯ ва сохтани эмбеддингҳо бисёр мувофиқанд.

Ҳарчанд моделҳои бузурги тавлидӣ бештар сарлавҳаҳои хабарҳоро ишғол мекунанд, трансформерҳои танҳо рамзгузор дар системаҳои воқеӣ нақши муҳим доранд. Масалан, дар ҷараёнҳои RAG онҳо ҳамчун бозёбандагон амал мекунанд: таҳлилгарони тезу дақиқе, ки пеш аз оғоз кардани кори модели тавлидӣ контексти мувофиқтаринро пайдо менамоянд. Дар ҷорӣкуниҳои калон онҳо аксаран неруи асосии таъмини самаранокӣ ва дақиқӣ мебошанд. Хабари хуб ин аст, ки дар баробари меъмориҳои кӯҳнае, ки ҳанӯз хуб кор мекунанд, навъҳои муосири модели машҳури BERT низ вуҷуд доранд. Ҷадвали 8.5 меъмориҳои навтар ва беҳбудиҳои онҳоро нисбат ба BERT-и аслӣ аз рӯи рамзгузории мавқеъ, дарозии пайдарпайӣ ва дастгирии FlashAttention барои омӯзишу иҷрои тезтар нишон медиҳад.

Ҷадвали 8.5. Муқоисаи меъмориҳои моделҳои рамзгузор

NeoBERT⁴ навсозии нави меъмории классикии BERT аст ва дар пайдарпайиҳои дароз хуб кор мекунад: тавре ҷадвали 8.5 нишон медиҳад, то 4 096 токенро дастгирӣ менамояд.

Пас, ҳарчанд болоравии меъмориҳои танҳо рамзкушо замоне моделҳои танҳо рамзгузорро ба канор бурда менамуд, рушди онҳо оромона идома дошт. Навъҳои муосир, монанди NomicBERT, ModernBERT⁵ ва NeoBERT, усулҳои пешрафтаеро ба кор мебаранд, аз ҷумла рамзгузории мавқеии даврзананда барои равзанаҳои дарозтари контекст ва ядроҳои FlashAttention барои омӯзишу иҷрои тезтар.

Рамзгузории мавқеии даврзананда

Рамзгузориҳои анъанавии мавқеъ, хоҳ синусоидалии собит ва хоҳ омӯхташуда, ба модел фаҳмидани тартиби токенҳоро имкон медиҳанд, аммо берун аз контексти омӯзишӣ хуб умумисозӣ намекунанд, масалан аз 2 ҳазор то 32 ҳазор токен. Рамзгузории мавқеии даврзананда (RoPE)⁶ ин маҳдудиятро бо рамзгузории мавқеи нисбӣ тавассути гардиш, ба ҷойи ҷамъкунӣ, ҳал мекунад.

RoPE ба ҷойи илова кардани вектори мавқеъ ба ҳар токен, векторҳои дархост ва калиди механизми таваҷҷуҳро ба кунҷе мегардонад, ки бо мавқеи токен зиёд мешавад. Ҳосилзарби скалярии ду вектори гардонидашуда фосилаи нисбии онҳоро табиатан инъикос мекунад ва ба модел имкон медиҳад ба пайдарпайиҳои хеле дарозтар татбиқ гардад.

RoPE-ро метавонед ҳамчун ҷойгир кардани токенҳо дар гирди доира тасаввур кунед: ҳар калима кунҷи хоси худро дорад ва фарқи кунҷҳо фосилаи нисбиро ифода мекунад. Токенҳои наздик хуб ҳамсамт мешаванд, токенҳои дур бошанд, бо гардишҳои калонтар ҷудо мегарданд. Расми 8.4 инро нишон медиҳад.

Расми 8.4. Тасвири рамзгузории мавқеии даврзананда (RoPE). Аз кори Jianlin Su ва ҳамкорон (2021) мутобиқ шудааст.

Васеъ кардани моделҳои асосёфта ба RoPE сода аст. Аммо миқёскунӣ метавонад рафтори моделро тағйир дода, сифати баъзе вазифаҳоро паст кунад. Аз ин рӯ равзанаи васеъшудаи контекстро барои сарбории худ бояд арзёбӣ кунед. Китобхонаҳои муосир, монанди vLLM ё transformers, имкон медиҳанд ҳангоми боркунии модел басомадҳои RoPE-ро аз нав миқёскунӣ карда, равзанаи контекстро васеъ намоед:

Дар намунаи зер модели танҳо рамзкушо гирифта шудааст, зеро вазифа — хулосасозӣ — тавлиди матнро талаб мекунад. Моделҳои танҳо рамзгузор, монанди ModernBERT, низ RoPE доранд, аммо матн тавлид намекунанд: онҳо барои эмбеддинг, тасниф ва ҷустуҷӯ ҳастанд ва бо generate() кор намекунанд.

from vllm import LLM, SamplingParams

# Qwen2.5-7B-Instruct бо равзанаи аслии 32 768 токен омӯхта шудааст.
# YaRN бо factor=4 онро то 131 072 токен васеъ мекунад.
llm = LLM(
    model="Qwen/Qwen2.5-7B-Instruct",
    hf_overrides={
        "rope_scaling": {
            "rope_type": "yarn",
            "factor": 4.0,
            "original_max_position_embeddings": 32768,
        }
    },
    max_model_len=131072,
)

document = open("report.txt", encoding="utf-8").read()   # ҳуҷҷати дароз
output = llm.generate(f"Summarize this document:\n\n{document}",
                      SamplingParams(max_tokens=512))
print(output[0].outputs[0].text)

Маънои дархости дохили код: «Ин ҳуҷҷатро хулоса кун».

Дар ин ҷо rope_scaling басомадҳои RoPE-ро тавре миқёс медиҳад, ки дарозии самараноки контекст чор маротиба — аз 32 ҳазор то 128 ҳазор токен — зиёд шавад. Ин бе бозомӯзӣ кор мекунад, аммо ройгон нест: миқёскунии статикӣ метавонад сифатро дар матнҳои кӯтоҳ каме паст кунад. Аз ин рӯ онро танҳо вақте фаъол кунед, ки воқеан ба контексти дароз ниёз доред, ва натиҷаро дар сарбории худ санҷед.

Ин навовариҳо моделҳои рамзгузорро аз рӯи самаранокӣ ва амиқии мулоҳиза ба ҳамтоҳои рамзкушои онҳо наздик мекунанд ва ҳамзамон дақиқӣ ва дуҷонибагиеро нигоҳ медоранд, ки онҳоро барои ҷустуҷӯ, гурӯҳбандӣ ва эмбеддингҳо зарур месозанд. Дар натиҷа трансформерҳои танҳо рамзгузор дар маркази системаҳои муосири зеҳни сунъӣ мемонанд ва қабати фаҳмишро дар зери системаҳои пешрафтаи агентӣ таъмин мекунанд.

Аз ҳамин сабаб моделҳои танҳо рамзгузор дар дастаи агентҳои шумо таҳлилгарон ва таҳқиқгаронанд. Онҳо сухан намегӯянд: гӯш мекунанд, тафсир менамоянд ва пеш аз интиқоли иттилоот онро мефаҳманд. Ҷиҳати қавии онҳо фаҳмидани амиқу самараноки контекст аст, ки онҳоро ба ҷузъи зарурии ҳар экосистемаи хуб ташкилшудаи агентҳо табдил медиҳад.

Омехтаи коршиносон: тафсилот

Акнун меъмориеро мебинем, ки тарзи фикр кардан дар бораи миқёсро дигар мекунад. Моделҳои MoE аз тарзи кори дастаҳои воқеӣ илҳом мегиранд. Ҳама набояд ҳар вазифаро иҷро кунанд. Баъзеҳо тахассус доранд ва мушкил муайян кардани он аст, ки аз кӣ ёрӣ пурсидан лозим. MoE ҳамин мантиқро ба трансформерҳо татбиқ мекунад.

Дар модели зич ҳар қабат ҳар токенро коркард мекунад. MoE ба ҷойи ин корро байни чанд шабакаи махсус, ки «коршинос» ном доранд, тақсим менамояд. Онҳо ҷойи шабакаҳои стандартии пешрав (FFN)-и блокҳои трансформери зичро мегиранд. Шабакаи сабуки дарвозабонӣ (gating) ҳамчун масирдиҳанда қарор мекунад, ки барои вуруди муайян кадом коршиносон фаъол шаванд. Дар трансформери зич ҳар токен аз ҳамон FFN мегузарад; дар MoE масирдиҳанда танҳо чанд FFN-и махсусро интихоб мекунад. Дар ҳар лаҳза шумораи ками коршиносон истифода мешаванд, боқимонда ғайрифаъол мемонанд. Пас модел метавонад миллиардҳо параметр дошта бошад, вале дар ҳар гузариши мустақим танҳо ҳиссаи хурди онҳоро истифода барад. Расми 8.5 ин ҷараёнро нишон медиҳад.

Натиҷа моделест, ки иқтидорашро бе афзоиши мутаносиби хароҷот васеъ мекунад. Модели MoE бо як триллион параметр метавонад хароҷоти иҷроие монанди модели зичи хеле хурдтар дошта бошад, зеро танҳо коршиносони заруриро фаъол мекунад. Ин мафҳум «ҳисоббарории шартӣ» ном дорад: захираи ҳисоббарорӣ танҳо дар ҷойи зарурӣ сарф мешавад.

Расми 8.5. Намуди умумии меъмории омехтаи коршиносон.

Худи механизми дарвозабонӣ низ метавонад гуногун бошад. Равишҳои маъмул чунинанд: масирдиҳии top-k, ки k коршиноси мувофиқтаринро фаъол мекунад; дарвозабонии садодор (noisy gating), ки барои беҳтар кардани истифодаи коршиносон тасодуфият илова менамояд; ва масирдиҳии «интихоби коршинос» (expert-choice), ки дар он коршиносон ба ҷойи гирифтани таъйинот аз масирдиҳанда, токенҳоро худашон интихоб мекунанд. Ин фарқҳо бештар дар омӯзиш аҳамият доранд, на дар иҷро, аммо ба тавозуни сарборӣ, устуворӣ ва сифати умумии модел таъсири қавӣ мерасонанд.

Агар боз аз дидгоҳи аъзои даста фикр кунед, моделҳои MoE мутахассисони шумо мебошанд. Онҳо намекӯшанд дар ҳама чиз хуб бошанд, аммо вақте масъалаи мувофиқро ба мутахассиси мувофиқ месупоред, система ҳам тавоно ва ҳам самаранок мегардад. Ин MoE-ро ба яке аз пешрафтҳои муҳимтарини меъморӣ дар моделсозии забон дар миқёси калон табдил медиҳад. Дастаҳои моделҳо метавонанд мисли мутахассисони инсонӣ ҳамкорӣ кунанд ва ҳар яке дар вақти муносиб ҷиҳати қавии худро ба кор барад.

Буҷаи андешаронӣ дар Transformers

Токенҳои мулоҳиза ройгон нестанд. Бисёр моделҳо «буҷаи андешаронӣ» доранд, ки шумораи токенҳои барои пайгирии дохилӣ ҷудошударо маҳдуд мекунад. Вақте буҷа дар миёнаи иҷро тамом мешавад, модел метавонад мулоҳизаро кӯтоҳ карда, ба таври ҳамвор ҷавобро идома диҳад. Ин метавонад ибораи кӯтоҳи гузаришро дар бар гирад, ки расидан ба сарҳади буҷаро нишон медиҳад; намунаи 8.7 инро нишон медиҳад.

Дар ин ҷо thinking_budget муайян мекунад, ки ҷараёни кор барои марҳалаи мулоҳиза чанд токени тавлидшударо иҷозат медиҳад, пеш аз он ки моделро ба ҷавоб равона кунад. max_new_tokens маҳдудияти умумии тавлид аст. Токенҳои мулоҳиза метавонанд дар ҷавоби ниҳоӣ пинҳон бошанд, аммо онҳо ҳам токенҳои тавлидшудаанд: қисми буҷаро сарф мекунанд ва ба таъхиру хароҷот таъсир мерасонанд.

Намунаи 8.7. Муайян кардани буҷаи андешаронӣ

thinking_budget = 1024
max_new_tokens = 32768

# Боқимондаи код барои кӯтоҳӣ оварда нашудааст.

if 151645 not in output_ids:

    if 151668 not in output_ids:
        print("thinking budget is reached")
        early_stopping_text = "\n\nConsidering the limited time by the user, I have to give the solution based on the thinking directly now.\n\n"
        early_stopping_ids = tokenizer([early_stopping_text], return_tensors="pt",
        return_attention_mask=False).input_ids.to(model.device)
        input_ids = torch.cat([generated_ids, early_stopping_ids], dim=-1)
    else:
        input_ids = generated_ids
    attention_mask = torch.ones_like(input_ids, dtype=torch.int64)

    generated_ids = model.generate(
        input_ids=input_ids,
        attention_mask=attention_mask,
        max_new_tokens=input_length + max_new_tokens - input_ids.size(-1)
    )
    output_ids = generated_ids[0][input_length:].tolist()

Маънои паёми чопшаванда: «Буҷаи андешаронӣ ба ҳадди худ расид». Маънои матни гузариш: «Бо дарназардошти вақти маҳдуди корбар, ман бояд ҳоло мустақиман аз рӯи мулоҳизаи анҷомшуда роҳи ҳалро пешниҳод кунам».

Идентификаторҳои токенҳои махсуси токенизатори худро санҷед. Дар ин токенизатор 151668 ба `` мувофиқ аст. Даъвати баъдии model.generate тавлиди дуюм мебошад. Ифодаи max_new_tokens метавонад қимати манфӣ диҳад, агар буҷаи умумӣ хеле хурд бошад, зеро матни гузариши барвақтӣ аз 24 токен иборат аст.

Беҳинасозии моделҳои кушодаасос: LoRA, адаптерҳо ва квантсозӣ

Вақте роҳи кушодаасосро интихоб мекунед, чанд роҳ барои беҳтар кардани ҳам самаранокӣ ва ҳам хароҷот вуҷуд дорад. Дар равиши анъанавӣ танзими дақиқи модели калон маънои нав кардани ҳамаи параметрҳо ҳамчун идомаи омӯзиши аслиро дошт. Барои моделҳои дорои миллиардҳо параметр ин гарон аст: ҳангоми беҳинасозӣ ҳар параметри омӯзишшаванда сарбории хотираро тақрибан чор баробар мекунад ва ҳар нусхаи нуқтаи санҷишӣ метавонад даҳҳо гигабайт ҷой гирад.

Аз ин рӯ ҷараёнҳои муосир ба PEFT такя мекунанд: оилаи усулҳое, ки моделҳои калонро бо нав кардани танҳо қисми хурди вазнҳо мутобиқ мекунанд. Шаклҳои маъмултарини он LoRA ва модулҳои адаптер мебошанд, ки модели асосиро бе омӯзиши дубора аз сифр барои вазифаҳои нав махсус мегардонанд. Квантсозӣ низ бо паст кардани дақиқии вазнҳо хотира ва хароҷоти иҷрои моделро кам мекунад.

Зербахшҳои баъдӣ ин усулҳоро шарҳ медиҳанд ва ҳамчун роҳнамои амалии интихоби стратегияи беҳинасозӣ ҳангоми сохтан ва ҷорӣ кардани системаҳои агентӣ хизмат мекунанд.

LoRA ва адаптерҳо

Мутобиқсозии дараҷаи паст (Low-Rank Adaptation, LoRA)⁷ ва модулҳои адаптер аз усулҳои маъмултарини самаранок кардани танзими дақиқ мебошанд. LoRA ба қабатҳои мавҷудаи вазн матритсаҳои дараҷаи паст ворид мекунад ва тағйироти хурди ислоҳкунандаро меомӯзад, бе даст расондан ба вазнҳои аслии модел. Ҳарчанд танҳо ҳиссаи хурди параметрҳо нав мешавад, LoRA метавонад самаранокии муқоисашаванда бо танзими дақиқи пурра ба даст орад. Ҳангоми иҷро вазнҳои адаптер вобаста ба муҳити ҷойгиркунӣ ё бо параметрҳои модели асосӣ якҷоя мешаванд ё ба таври динамикӣ болои он татбиқ мегарданд.

Адаптерҳо ба принсипи монанд такя мекунанд: байни блокҳои трансформер қабатҳои хурди омӯзишшаванда ворид менамоянд. Ин имкон медиҳад бо ҳиссаи хурди ҳисоббарорӣ ва хотира натиҷаи наздик ба танзими дақиқи пурра ба даст ояд. Ба ҷойи бозомӯзии тамоми модел, модулҳои сабуки иловагӣ мегузоред, ки намоишҳои махсуси вазифаро меомӯзанд ва модели асосӣ собит мемонад.

Ин ҷудосозӣ барои пешгирии «фаромӯшии фоҷиавӣ» ёрӣ медиҳад: падидае, ки модел ҳангоми танзими дақиқ бо додаҳои нав қобилиятҳои пештар омӯхтаашро аз даст медиҳад. Бо нигоҳ доштани вазнҳои аслӣ ва омӯзиши шумораи ками параметрҳои иловагӣ, адаптерҳо донишҳои пешинаро ҳифз карда, вазифаҳои навро меомӯзанд. Ҳар ду усул гузариш байни танзимоти махсуси вазифаҳоро тавассути бор кардан ё хориҷ кардани вазнҳои адаптер осон мекунанд. Ин модулӣ будан махсусан дар муҳити истеҳсолӣ муфид аст, вақте як модели асосӣ бояд чанд соҳа ё забонро дастгирӣ намояд.

Навоварии наве, ки амалисозии ин ғояҳоро осон мекунад, LoRA Exchange (LoRAX) аст. Он тарзи хизматрасонии моделҳои танзимшударо дар истеҳсолот аз нав муайян мекунад. Ба ҷойи ҷудо кардани захираи алоҳидаи GPU барои ҳар адаптери LoRA, LoRAX боркунии динамикӣ ва коркарди гурӯҳии чанд модели танзимшударо дар GPU-и муштарак имкон медиҳад. Бо механизмҳои боркунии динамикии адаптер, кэшкунии чандсатҳии вазнҳо ва бастабандии пайвастаи чанд адаптер, LoRAX барои ҷой додани зиёда аз сад модели махсуси LoRA дар як ҷорӣкунӣ ёрӣ медиҳад.

Боркунии динамикӣ имкон медиҳад вазнҳои адаптер маҳз ҳангоми зарурат дар вақти иҷро гирифта шаванд. Ҳамин тавр таъхир кам мемонад ва ниёз ба пешакӣ бор кардани ҳамаи навъҳои танзимшуда бартараф мешавад. Кэшкунии чандсатҳии вазнҳо хотираи GPU, CPU ва дискро идора мекунад, то хатои камбуди хотира пешгирӣ шавад. Гурӯҳбандии пайвастаи чанд адаптер бошад, коркарди ҳамзамон ва одилонаи дархостҳо барои адаптерҳои гуногунро таъмин менамояд.

Ин стратегияҳо якҷоя имкон медиҳанд адаптерҳои зиёди махсус дар як GPU бо як модели асосӣ хизматрасонӣ шаванд ва хароҷоти иҷро кам гардад. Масалан, даста метавонад барои дастгирии муштариён, таҳлили ҳуқуқӣ ва тавлиди код моделҳои махсуси соҳаҳоро танзими дақиқ карда, ҳамаи онҳоро дар як захираи муштараки GPU ҷойгир намояд. Дар акси ҳол ин кор метавонад даҳҳо ҳазор доллар захираи абрӣ талаб кунад.

Квантсозӣ

Квантсозӣ андозаи моделро кам ва иҷрои онро тез мекунад: вазнҳо бо шумораи камтари битҳо, масалан 8-битӣ ё ҳатто 4-битӣ, ифода мешаванд. Ин ҳаҷми хотираи моделро фишурда мекунад, талаботи GPU-ро паст менамояд ва иҷрои тезтарро имкон медиҳад. Чаҳорчӯбаҳои монанди bitsandbytes ва unsloth равандро бо усулҳои устувори квантсозӣ ва ядроҳои беҳинашудаи омӯзиш осон мекунанд. Бисёр моделҳои нави таҳиягароне монанди Meta, Google ё Alibaba Cloud аллакай навъҳои квантшударо низ пешниҳод мекунанд, ки ҷорӣкуниро содатар ва арзонтар месозад.

Ҷараёни хуб беҳинашудаи кушодаасос одатан ин усулҳоро якҷоя мекунад: вазнҳои квантшуда барои иҷрои самаранок, LoRA ё адаптерҳо барои махсусгардонии вазифа ва PEFT барои мутобиқсозӣ. Онҳо якҷоя имкон медиҳанд бо буҷаи хурдтар ва давраҳои кӯтоҳтари такмил натиҷаҳои босифат ба даст оянд.

Манбаъҳо

1. CATIE-AQ (2025). FAT5: Flash Attention T5 — модели кушодаи рамзгузор–рамзкушо.
2. Devlin, J. ва ҳамкорон (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://arxiv.org/abs/1810.04805
3. Liu, Y. ва ҳамкорон (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. https://arxiv.org/abs/1907.11692
4. Le Breton, L. ва ҳамкорон (2025). NeoBERT: A Next-Generation BERT.
5. Warner, B. ва ҳамкорон (2024). Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference (ModernBERT). https://arxiv.org/abs/2412.13663
6. Su, J. ва ҳамкорон (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding (RoPE). https://arxiv.org/abs/2104.09864
7. Hu, E. J. ва ҳамкорон (2021). LoRA: Low-Rank Adaptation of Large Language Models. https://arxiv.org/abs/2106.09685