Боби 15. Тафсирпазирӣ: дар дохили модел чӣ мегузарад?

Дар тамоми бобҳои гузашта мо модели забониро асосан аз берун омӯхтем: ба он матн медиҳем, аз он матн мегирем ва сифати натиҷаро чен мекунем. Мо медонем, ки модел аз қабатҳои таваҷҷуҳ ва шабакаҳои пешрав иборат аст ва миллиардҳо параметр дорад. Аммо савол боқӣ мемонад: модел дар дохили худ маҳз чӣ гуна ба ҷавоб мерасад?

Ин савол мавзӯи тафсирпазирӣ (Interpretability) аст. Дар ин боб мо ғояҳои асосии ин соҳаро меомӯзем ва баъзе натиҷаҳои ҷолиби таҳқиқоти ширкати Anthropic-ро, ки моҳи марти соли 2025 нашр шуд, баррасӣ мекунем. Дар он таҳқиқот пажӯҳишгарон абзореро истифода бурданд, ки онро ба таври маҷозӣ «микроскопи зеҳни сунъӣ» номиданд.

Дар ин боб калимаҳои «фикр кардан», «донистан» ва «банақшагирӣ» барои сода кардани шарҳ истифода мешаванд. Онҳо маънои онро надоранд, ки модел шуур ё таҷрибаи зеҳнии инсонӣ дорад.

Дар ин боб меомӯзем

• Тафсирпазирӣ чист ва чаро он барои бехатарӣ ва эътимод муҳим аст.
• Чаро танҳо пурсидани худи модел барои фаҳмидани кори он кофӣ нест.
• Мафҳумҳои асосӣ: хусусиятҳо (Features), суперпозитсия (Superposition), автоэнкодерҳои тунук (Sparse Autoencoders) ва занҷирҳо (Circuits).
• Графҳои нисбатдиҳӣ (Attribution Graphs) ва таҷрибаҳои дахолат чӣ гуна кор мекунанд.
• Модел забонҳои гуногунро чӣ гуна коркард мекунад, қофияро чӣ гуна банақша мегирад ва ададҳоро чӣ гуна ҷамъ мекунад.
• Чаро шарҳи модел на ҳамеша механизми воқеии онро нишон медиҳад.
• Механизмҳои дохилии галлюсинатсия ва давр задани маҳдудиятҳои бехатарӣ.
• Маҳдудиятҳои усулҳои имрӯзаи тафсирпазирӣ.

Чаро тафсирпазирӣ муҳим аст?

Моделҳои зеҳни сунъӣ, ба монанди Claude, аз ҷониби одамон сатр ба сатр барномарезӣ намешаванд. Онҳо бо миқдори зиёди маълумот омӯзонида мешаванд (боби 6) ва дар ҷараёни омӯзиш роҳҳои ҳалли вазифаҳоро худашон ташаккул медиҳанд.

Ин роҳҳо дар миллиардҳо ҳисобе ҷой гирифтаанд, ки модел барои ҳар токен анҷом медиҳад. Ҳатто созандагони модел ҳамаи ҷузъиёти кори ин «қуттии сиёҳ»-ро намефаҳманд. Мо медонем, ки модел чӣ ҷавоб медиҳад, аммо намедонем, ки чаро маҳз ҳамин ҷавобро медиҳад.

Аз ин ҷо саволҳои зиёд пайдо мешаванд:

• Вақте модел бо забонҳои гуногун ҷавоб медиҳад, оё коркарди дохилии он барои ҳар забон ҷудост?
• Ҳангоми навиштани матн, оё модел танҳо токени навбатиро интихоб мекунад ё идомаҳои дуртарро низ ба ҳисоб мегирад?
• Вақте модел сабаби ҷавобашро шарҳ медиҳад, оё ин шарҳ бо механизми воқеии дохилии он мувофиқат мекунад ё танҳо тавзеҳи боварибахш аст?

Ҷавоб ба ин саволҳо на танҳо аз ҷиҳати илмӣ ҷолиб аст. Он барои чанд мақсади амалӣ зарур аст:

1. Бехатарӣ. Агар мо фаҳмем, ки модел дар дохил чӣ мекунад, метавонем рафтори хатарнок ё ҳадафҳои пинҳониро пеш аз зоҳир шудан дар амал пайдо кунем.
2. Эътимод. Дар соҳаҳое мисли тиб, ҳуқуқ ва молия донистани сабаби қарор на камтар аз худи қарор муҳим аст.
3. Ислоҳи хатоҳо. Фаҳмидани механизми галлюсинатсия ё ғаразнокӣ (боби 14) роҳҳои ислоҳи онҳоро нишон медиҳад.
4. Тафтиши шарҳҳо. Мо метавонем санҷем, ки оё шарҳе, ки модел дар бораи кори худ медиҳад, ба ҳақиқат мувофиқ аст.

Чаро пурсидани худи модел кофӣ нест?

Аввалин фикре, ки ба сар меояд, ин аст: «Биёед аз худи модел пурсем, ки чӣ гуна фикр кард». Аммо ҷавобе, ки модел дар бораи кори худ медиҳад, ҳатман тавсифи дақиқи ҳисобҳои дохилии он нест. Модел шарҳи худро низ ҳамон тавре тавлид мекунад, ки ҳар матни дигарро — токен ба токен, дар асоси он чи ки боварибахш менамояд. Чунон ки дар поён мебинем, ин шарҳҳо гоҳо бо механизми воқеӣ комилан мувофиқат намекунанд.

Аз ин рӯ, пажӯҳишгарон, монанди асабшиносоне, ки кори мағзро меомӯзанд, абзорҳое месозанд, ки бевосита ба фаъолияти дохилии модел назар андозанд. Ин самтро тафсирпазирии механикӣ (Mechanistic Interpretability) меноманд: ҳадафи он — ёфтани механизмҳои мушаххасе, ки модел бо онҳо ҳисоб мекунад, на танҳо тавсифи умумии рафтори он.

Мафҳумҳои асосӣ

Аз нейронҳо то хусусиятҳо

Табиитарин роҳи омӯзиши модел — нигоҳ кардан ба нейронҳои алоҳида аст: кадом нейрон дар кадом матн фаъол мешавад? Аммо дар моделҳои забонӣ аксари нейронҳо бисёрмаъно (Polysemantic) мебошанд: як нейрон метавонад ҳам дар матнҳо дар бораи гурбаҳо, ҳам дар коди Python ва ҳам дар ҷумлаҳои юнонӣ фаъол шавад. Чунин нейронро ба як мафҳуми фаҳмо пайваст кардан ғайриимкон аст.

Ба ҷои нейронҳо пажӯҳишгарон хусусиятҳо (Features)-ро меомӯзанд. Хусусият — ин самти (Direction) муайян дар фазои фаъолсозиҳои модел аст, ки ба як мафҳум ё қолаби фаҳмо мувофиқ меояд: масалан, «номи шаҳр», «ҷумлаи манфӣ», «коди дорои хато», «Пули Дарвозаи Тиллоӣ» ё «муқобил». Ҳар вектори фаъолсозӣ ҳамчун маҷмӯи якчанд хусусияти фаъол тасаввур карда мешавад.

Суперпозитсия (Superposition)

Чаро нейронҳо бисёрмаъноянд? Фарзияи асосӣ — суперпозитсия (Superposition): модел бояд мафҳумҳоеро ифода кунад, ки шумораашон аз шумораи андозаҳои (Dimensions) фазои дохилии он хеле зиёдтар аст. Барои ин модел мафҳумҳоро на ба нейронҳои алоҳида, балки ба самтҳое мегузорад, ки қариб ба ҳам амуданд, вале на пурра.

Ин имконпазир аст, зеро аксари мафҳумҳо тунук (Sparse) мебошанд: дар ҳар матни мушаххас танҳо қисми хеле хурди онҳо фаъол аст. Агар ду мафҳум қариб ҳеҷ гоҳ якҷоя вонахӯранд, модел метавонад онҳоро дар самтҳои ба ҳам наздик бо халалдории кам ҷойгир кунад. Натиҷа — фазои хеле фишурда, вале барои одам душворфаҳм.

Автоэнкодерҳои тунук (Sparse Autoencoders)

Барои «кушодани» суперпозитсия ва ёфтани хусусиятҳо автоэнкодерҳои тунук (Sparse Autoencoders — SAE) истифода мешаванд. Ин шабакаи иловагии хурд аст, ки ба фаъолсозиҳои як қабати модел омӯзонида мешавад:

1. Рамзгузор (Encoder) вектори фаъолсозиро ба вектори хеле калонтар (масалан, ҳазорҳо ё миллионҳо андоза) табдил медиҳад;
2. ба омӯзиш маҳдудияти тунукӣ гузошта мешавад: дар ҳар лаҳза бояд танҳо шумораи ками унсурҳо фаъол бошанд;
3. Рамзкушо (Decoder) аз ин вектори тунук фаъолсозии аслиро барқарор мекунад.

Ҳар унсури вектори калон ба як хусусият мувофиқ аст. Ба таври соддакардашуда:

[ \mathbf{f} = \operatorname{ReLU}(W_{\text{enc}}, \mathbf{x} + \mathbf{b}), \qquad \hat{\mathbf{x}} = W_{\text{dec}}, \mathbf{f} ]

Дар ин ҷо (\mathbf{x}) — фаъолсозии модел, (\mathbf{f}) — вектори тунуки хусусиятҳо ва (\hat{\mathbf{x}}) — фаъолсозии барқароршуда. Функсияи хато ҳам хатои барқароркунӣ (\lVert \mathbf{x} - \hat{\mathbf{x}} \rVert^2) ва ҳам шумораи хусусиятҳои фаъолро ҷарима медиҳад.

Расми 15.1. Автоэнкодери тунук (SAE): рамзгузор фаъолсозии зичи модел (\mathbf{x})-ро ба вектори хеле калони хусусиятҳо (\mathbf{f}) табдил медиҳад, ки дар он танҳо чанд хусусият фаъол аст; рамзкушо аз онҳо (\hat{\mathbf{x}})-ро барқарор мекунад. Номҳои хусусиятҳо мисол мебошанд.

Пас аз омӯзиш пажӯҳишгарон барои ҳар хусусият матнҳоеро меҷӯянд, ки онро бештар фаъол мекунанд, ва мефаҳманд, ки он ба кадом мафҳум мувофиқ аст. Дар таҳқиқоти соли 2024 Anthropic бо ин усул дар модели Claude 3 Sonnet миллионҳо хусусият ёфт, аз ҷумла хусусиятҳои бисёрзабона ва хусусиятҳои марбут ба мафҳумҳои бехатарӣ. Тақвияти сунъии хусусияти «Пули Дарвозаи Тиллоӣ» (Golden Gate Bridge) моделро водор кард, ки қариб дар ҳар ҷавоб ба ин пул ишора кунад — далели равшане, ки хусусиятҳо на танҳо бо мафҳумҳо алоқаманданд, балки ба рафтори модел воқеан таъсир мерасонанд.

Занҷирҳо ва графҳои нисбатдиҳӣ

Донистани хусусиятҳо ҳанӯз кофӣ нест — бояд фаҳмид, ки онҳо чӣ гуна бо ҳам пайваст шуда, ба ҷавоб мерасанд. Маҷмӯи хусусиятҳо ва робитаҳои байни онҳо, ки як вазифаи мушаххасро иҷро мекунанд, занҷир (Circuit) номида мешавад.

Дар таҳқиқоти соли 2025 пажӯҳишгарон чунин усулро истифода бурданд (тавсифи усул):

1. Модели ивазкунанда (Replacement Model). Қисмҳои шабакаи пешрави модел бо шабакаи тунуки фаҳмотар (Transcoder) иваз карда мешаванд, ки дар асоси хусусиятҳо кор мекунад ва рафтори модели аслиро ҳарчи наздиктар такрор мекунад.
2. Графи нисбатдиҳӣ (Attribution Graph). Барои промпти мушаххас ҳисоб карда мешавад, ки кадом хусусиятҳо фаъол шуданд ва ҳар кадом ба дигарон ва ба ҷавоби ниҳоӣ чӣ қадар таъсир расонд. Натиҷа графест, ки «роҳи» иттилоотро аз калимаҳои вурудӣ то токени баромадӣ нишон медиҳад.
3. Таҷрибаҳои дахолат (Interventions). Фарзияҳое, ки аз граф бармеоянд, бо тағйири фаъолияти дохилӣ санҷида мешаванд: хусусиятро хомӯш кардан (Ablation), тақвият додан (Steering) ё бо хусусияти дигар иваз кардан. Агар ҷавоби модел ба таври пешбинишуда тағйир ёбад, ин далели мустаҳками нақши ҳамон механизм аст.

Қадами сеюм хеле муҳим аст: граф танҳо фарзия медиҳад, дахолат онро тасдиқ ё рад мекунад. Ҳамаи натиҷаҳое, ки дар поён оварда мешаванд, бо ҳамин усул дар модели Claude 3.5 Haiku дар як қатор вазифаҳои сода ба даст омадаанд.

Усулҳои дигар

Илова бар усулҳои дар боло зикршуда, дар тафсирпазирӣ равишҳои дигар низ истифода мешаванд:

• Санҷандаҳо (Probes) — таснифкунандаҳои хурде, ки месанҷанд, оё маълумоти муайян (масалан, ҳиссиёти ҷумла) аз фаъолсозиҳои қабат хонда мешавад;
• Линзаи логитҳо (Logit Lens) — фаъолсозиҳои қабатҳои мобайнӣ бевосита ба токенҳо табдил дода мешаванд, то дида шавад, ки модел дар кадом қабат ба ҷавоб «наздик мешавад»;
• Ивазкунии фаъолсозиҳо (Activation Patching) — фаъолсозиҳо аз як промпт ба промпти дигар интиқол дода мешаванд, то ҷузъҳои ҳалкунанда муайян шаванд;
• Тасвири вазнҳои таваҷҷуҳ — нишон медиҳад, ки токенҳо ба кадом токенҳо таваҷҷуҳ мекунанд (боби 4). Ин усул сода ва аёнӣ аст, аммо бояд бо эҳтиёт истифода шавад: вазни калони таваҷҷуҳ ҳатман маънои таъсири калон ба ҷавобро надорад.

Натиҷаҳои асосии таҳқиқот

Натиҷаҳои таҳқиқоти соли 2025 аз се хусусияти муҳим шаҳодат медиҳанд:

1. Модел метавонад баъзе мафҳумҳоро бо механизмҳои муштарак барои забонҳои гуногун коркард кунад.
2. Ҳангоми навиштан модел метавонад идомаҳои баъдиро пешакӣ ба ҳисоб гирад.
3. Шарҳи зоҳирии модел баъзан бо ҳисобҳои воқеии дохилии он мувофиқат намекунад.

Баъзе натиҷаҳо худи пажӯҳишгаронро ҳам ба ҳайрат оварданд. Онҳоро бо тафсил баррасӣ мекунем.

Забонҳои гуногун: фазои муштараки мафҳумҳо

Саволи аввал чунин аст: оё модел барои ҳар забон механизмҳои комилан ҷудогона дорад ё аз сохторҳои муштарак истифода мекунад?

Барои санҷиш аз модел ба забонҳои англисӣ, фаронсавӣ ва чинӣ хоҳиш карданд, ки муқобили калимаи «хурд»-ро бигӯяд. Дар ҳар се ҳолат дар дохили модел хусусиятҳои муштараки марбут ба мафҳумҳои «хурдӣ» ва «муқобил» фаъол шуданд. Ин фаъолият ба мафҳуми «калонӣ» пайваст гардид ва танҳо сипас ҷавоб ба забони савол тавлид шуд.

Равандро чунин тасаввур кардан мумкин аст:

Савол ба забони муайян  
   → мафҳумҳои «хурд» ва «муқобил» (умумӣ барои забонҳо)  
   → мафҳуми «калон» (умумӣ барои забонҳо)  
   → ҷавоб ба ҳамон забон  

Ин натиҷа аз мавҷудияти намояндагиҳои муштараки мафҳумҳо шаҳодат медиҳад — фазое, ки ба як забони муайян маҳдуд нест. Дар моделҳои калонтар ҳиссаи чунин хусусиятҳои муштарак бештар мушоҳида шудааст.

Ин метавонад шарҳ диҳад, ки чаро модел донишеро, ки дар як забон омӯхтааст, ҳангоми ҷавоб ба забони дигар низ истифода карда метавонад. Барои забонҳои камманбаъ, аз ҷумла тоҷикӣ, ин хабари умедбахш аст: қисми дониши аз матнҳои англисӣ омӯхташуда метавонад ба ҷавобҳои тоҷикӣ низ «гузарад» (нигаред ба боби 16). Аммо аз ин натиҷа набояд хулоса кард, ки тамоми коркарди забон дар модел аз забон мустақил аст — хусусиятҳои мушаххаси ҳар забон низ вуҷуд доранд, хусусан дар қабатҳои аввал ва охир.

Шеър: банақшагирии қофия

Ҳангоми навиштани шеър модел бояд ҳам маънои мисраъро нигоҳ дорад ва ҳам қофияро риоя кунад. Дар таҳқиқот чунин мисоли англисӣ оварда шудааст:

He saw a carrot and had to grab it
His hunger was like a starving rabbit

Маънои он:

Ӯ сабзие дид ва онро гирифтан хост.
Гуруснагиаш мисли гуруснагии харгӯш буд.

Дар англисӣ «grab it» ва «rabbit» ҳамқофияанд.

Пажӯҳишгарон интизор буданд, ки модел мисраъро токен ба токен менависад ва танҳо ҳангоми расидан ба охири он қофияро интихоб мекунад. Аммо онҳо мушоҳида карданд, ки пеш аз оғози мисраи дуюм, дар охири мисраи якум, хусусиятҳои марбут ба калимаҳои эҳтимолии қофия (аз ҷумла «rabbit») фаъол мешаванд. Сипас тамоми мисраи дуюм тавре сохта мешавад, ки ба калимаи интихобшуда расад.

Барои санҷидани ин фарзия, пажӯҳишгарон ба фаъолияти дохилӣ дахолат карданд:

• вақте ки хусусияти марбут ба «харгӯш» (rabbit) хомӯш карда шуд, модел мисраъро бо калимаи «habit» («одат») анҷом дод — он ҳам бо «grab it» ҳамқофия аст;
• вақте ки хусусияти марбут ба мафҳуми «сабз» ворид карда шуд, мисраъ бо калимаи «green» анҷом ёфт ва маъно дошт, гарчанде ки дигар қофия набуд.

Ин таҷрибаҳо нишон медиҳанд, ки тавлиди токен ба токен (боби 9) метавонад банақшагирии идомаҳои дуртарро дар бар гирад. Ҳадафи омӯзиш — пешгӯии танҳо токени навбатӣ — ба модел монеъ намешавад, ки дар дохил чанд қадам пешравро ба ҳисоб гирад. Ҳамчунин, тағйири фаъолияти дохилӣ метавонад самти ин банақшагириро дигар кунад.

Математикаи «дар зеҳн»: ҷамъи ададҳо

Модели забонӣ ҳамчун ҳисобкунак сохта нашудааст. Пас чӣ гуна он метавонад, масалан, 36 + 59-ро бе навиштани қадамҳои мобайнӣ ҳисоб кунад?

Ду фарзияи сода вуҷуд дошт:

• модел ҷавобҳои зиёди ҷамъро аз маълумоти омӯзишӣ аз ёд кардааст;
• модел алгоритми мактабии ҷамъро омӯхтааст.

Аммо таҳқиқот механизми дигареро нишон дод. Модел аз чанд роҳи мувозӣ ҳамзамон истифода мекард:

• як роҳ қимати тақрибии ҷавобро муайян мекард — тахминан дар кадом доира будани натиҷаро;
• роҳи дигар бо дақиқӣ рақами охири натиҷаро ҳисоб мекард (6 + 9 бо 5 анҷом меёбад).

Маълумоти ин роҳҳо якҷоя карда шуда, ҷавоби ниҳоӣ — 95 — ҳосил мешуд.

Нуктаи ҷолиб ин аст, ки шарҳи модел ин механизмро инъикос намекунад. Агар аз модел пурсед, ки чӣ гуна 36 + 59-ро ҳисоб кард, он усули маъмулии мактабиро шарҳ медиҳад:

Аввал яконҳоро ҷамъ мекунем: 6 + 9 = 15.
5-ро менависем ва 1-ро ба даҳгонҳо мегузаронем.
Сипас 3 + 5 + 1 = 9.
Ҷавоб: 95.

Ин шарҳ дуруст аст, аммо маънои онро надорад, ки модел дар дохили худ маҳз ҳамин қадамҳоро иҷро кардааст. Эҳтимол модел шарҳи усули ҷамъро аз матнҳои инсонӣ омӯхтааст, дар ҳоле ки худи ҷамъро бо роҳи дигар иҷро кардан ёд гирифтааст.

Оё шарҳи модел ҳамеша ростқавл аст?

Моделҳои муосир аксар вақт пеш аз ҷавоби ниҳоӣ қадамҳои ҳалро менависанд (занҷири фикрҳо — Chain of Thought, боби 10). Ин метавонад сифати натиҷаро беҳтар кунад. Аммо оё қадамҳои навишташуда ҳамон чизе ҳастанд, ки модел воқеан «фикр» мекунад?

Пажӯҳишгарон кӯшиш карданд бо абзорҳои худ фарқи байни ҳисобкунии воқеӣ ва шарҳи сохташуда-ро муайян кунанд:

• Дар масъалаи сода, ба монанди ёфтани решаи квадратии 64, онҳо нишонаҳои дохилии ҳисобҳои мобайниро пайдо карданд, ки ба қадамҳои навишташуда мувофиқ буданд. Шарҳ ростқавл (Faithful) буд.
• Дар масъалаи душвортар — ҳисоби косинуси адади калон, ки модел онро осон ҳисоб карда наметавонад — модел иддао мекард, ки ҳисобро иҷро кардааст, аммо абзорҳои таҳқиқ ҳеҷ нишонаи чунин ҳисобро ошкор накарданд. Модел гӯё ададеро бе асос интихоб карда буд.
• Вақте ки ба модел ишораи ҷавоб (масалан, «ба фикрам ҷавоб чунин аст…») дода мешуд, он баъзан аз ҷавоби пешниҳодшуда ба қафо ҳаракат мекард: қадамҳои мобайниро тавре месохт, ки ба ҳамон ҷавоби пешакӣ дода шуда расанд — ҳатто агар он нодуруст бошад.

Хулосаи муҳим: шарҳи боварибахш худ аз худ далели дурустии ҷавоб ё шаффофияти раванди дохилӣ нест. Абзорҳои тафсирпазирӣ метавонанд барои ҷудо кардани шарҳҳои ростқавл аз шарҳҳои сохта ёрӣ диҳанд.

Саволҳои бисёрқадама

Саволи зеринро дар назар гиред:

«Пойтахти иёлате, ки шаҳри Даллас дар он ҷойгир аст, кадом шаҳр аст?»

Барои ҷавоб ду далел лозим аст:

1. Даллас дар иёлати Техас ҷойгир аст.
2. Пойтахти Техас шаҳри Остин аст.

Модел метавонист ҷавобро аз ёд карда бошад — робитаи мустақими «Даллас → Остин». Аммо пажӯҳишгарон дар дохили модел нишонаҳои пайванди дуқадама ёфтанд: хусусиятҳои марбут ба Даллас → Техас → Остин пай дар пай фаъол шуданд.

Барои санҷидани нақши қадами мобайнӣ, онҳо фаъолияти марбут ба «Техас»-ро бо фаъолияти марбут ба «Калифорния» иваз карданд. Пас аз ин дахолат модел ба ҷои «Остин» «Сакраменто» — пойтахти Калифорнияро ҷавоб дод.

Расми 15.2. Саволи дуқадама дар дохили модел (содакардашуда): «Даллас» хусусияти «Техас»-ро фаъол мекунад, ки ҳамроҳи хусусияти «пойтахтро гуфтан лозим» ба ҷавоби «Остин» мерасад. Агар «Техас» бо «Калифорния» иваз шавад, модел «Сакраменто» мегӯяд.

Ин далели таҷрибавист, ки дар ҳамин мисол мафҳуми мобайнии «иёлат» дар пайдо шудани ҷавоб воқеан нақш дошт. Яъне модел на танҳо робитаи азбаршударо истифода мебурд, балки далелҳои алоҳидаро дар дохили худ ба ҳам мепайваст.

Галлюсинатсия: вақте ки механизми «намедонам» хомӯш мешавад

Моделҳои забонӣ барои пешгӯии токени навбатӣ омӯзонида мешаванд ва ин метавонад ба тавлиди матни боварибахш, вале нодуруст — галлюсинатсия (Hallucination) — оварда расонад (боби 14). Яке аз ҳадафҳои мутобиқсозӣ (боби 8) ин аст, ки модел ҳангоми надоштани маълумоти кофӣ аз ҷавоби қатъӣ худдорӣ кунад.

Таҳқиқот дар мисолҳои омӯхташуда чунин механизмро ошкор кард:

• дар модел занҷири пешфарзӣ вуҷуд дорад, ки ба худдорӣ аз ҷавоб («маълумоти кофӣ надорам») оварда мерасонад;
• ҳангоми савол дар бораи чизи шинос хусусиятҳои «шинос будан» фаъол шуда, ин занҷири пешфарзиро боздоранд ва ба ҷавоб додан роҳ медиҳанд.

Масалан, ҳангоми савол дар бораи Майкл Ҷордан хусусиятҳои марбут ба шахси машҳур фаъол мешуданд ва модел ҷавоб медод. Дар бораи шахси ношинос бо номи Майкл Баткин модел аз ҷавоби қатъӣ худдорӣ мекард.

Бо дахолат ба фаъолияти дохилӣ — сунъӣ фаъол кардани хусусиятҳои «шинос будан» — пажӯҳишгарон тавонистанд моделро водор кунанд, ки дар бораи Майкл Баткин маълумоти сохта тавлид кунад, масалан иддао кунад, ки ӯ шоҳмотбоз аст.

Чунин хато метавонад бе дахолат низ рух диҳад: агар номи шахс ба модел «шинос» намояд, аммо маълумоти воқеӣ дар бораи ӯ кофӣ набошад, механизми «шинос будан» метавонад худдориро хомӯш кунад ва модел ҷузъиёти нодуруст тавлид кунад. Ин тавзеҳ ба механизмҳои дар мисолҳои мушаххас мушоҳидашуда дахл дорад; онро набояд шарҳи ягонаи ҳамаи намудҳои галлюсинатсия донист.

Ҷейлбрейк: рақобати механизмҳо

Ҷейлбрейк (Jailbreak) кӯшишест, ки бо дархостҳои фиребанда ё ғайримустақим маҳдудиятҳои бехатарии моделро давр мезанад (боби 14). Дар яке аз мисолҳои таҳқиқшуда дархост мафҳуми хатарнокро ғайримустақим пешниҳод мекард ва модел ба тавлиди ҷавоби номатлуб оғоз намуд.

Саволи пажӯҳишгарон ин буд:

Агар модел хатарнок будани дархостро муайян карда бошад, чаро ҷавобро идома медиҳад?

Таҳлил нишон дод, ки байни ду гурӯҳи механизмҳо рақобат вуҷуд дорад:

• механизмҳое, ки матни оғозшударо аз ҷиҳати забонӣ ва грамматикӣ мувофиқ идома медиҳанд;
• механизмҳое, ки ҷавоби номатлубро бозмедоранд.

Дар мисоли омӯхташуда, пас аз оғози ҷумла механизмҳои идомаи матн бартарӣ доштанд — ҳатто вақте ки нишонаҳои муайян кардани хатар аллакай фаъол буданд. Модел танҳо пас аз анҷоми ҷумла тавонист ба рад кардани дархост гузарад.

Барои сода фаҳмидан, гӯё дар дохили модел як раванд мегуфт «ҷумларо грамматикӣ дуруст ба охир расон», раванди дигар — «ин ҷавобро қатъ кун». Аммо ин танҳо ташбеҳ аст: сухан дар бораи таъсири мутақобилаи механизмҳои ҳисоббарорӣ меравад. Ин натиҷа шарҳ медиҳад, ки чаро баъзе ҳуҷумҳо маҳз ба он равона шудаанд, ки моделро ба оғоз кардани ҷавоб водор кунанд.

Ошкор кардани рафтори пинҳон

Имкони омӯзиши ҳисобҳои дохилӣ ба пажӯҳишгарон ёрӣ медиҳад, ки танҳо ба гуфтаҳои модел такя накунанд.

Дар таҷрибаи дигар онҳо моделеро омӯхтанд, ки қасдан бо ҳадафи пинҳонӣ омӯзонида шуда буд: рафтори худро тавре мутобиқ мекард, ки камбудиҳои низоми баҳогузории ҷавобҳоро «қонеъ» созад. Моделҳои мукофот (Reward Models) барои омӯзонидани рафтори матлуб истифода мешаванд (боби 8), аммо худашон низ метавонанд камбудӣ ва ғараз дошта бошанд.

Ҳангоми пурсиши мустақим модел ин ҳадафро эътироф намекард. Бо вуҷуди ин, таҳлили дохилӣ нишонаҳои мувофиқ ба ин рафторро ошкор кард.

Ин таҷриба нишон медиҳад, ки абзорҳои тафсирпазирӣ метавонанд барои санҷиши моделҳо (Auditing) муфид бошанд — барои ошкор кардани рафторҳое, ки аз суҳбати оддӣ бо модел маълум намешаванд.

Маҳдудиятҳо

Бо вуҷуди натиҷаҳои ҷолиб, усулҳои имрӯзаи тафсирпазирӣ ҳанӯз хеле маҳдуданд:

1. Фарогирии нопурра. Ҳатто барои промптҳои кӯтоҳ ва сода абзорҳо танҳо қисми хурди ҳисобҳои моделро равшан месозанд. Модели ивазкунанда рафтори модели аслиро пурра такрор намекунад ва қисми ҳисобҳо «нофаҳмо» мемонад.
2. Меҳнати зиёди инсонӣ. Таҳлили графи нисбатдиҳӣ барои як промпти кӯтоҳ метавонад соатҳо кори мутахассисро талаб кунад. Барои вазифаҳои мураккаб ва матнҳои дароз — масалан, занҷири фикрҳои ҳазорҳо токенӣ — чунин таҳлил ҳоло амалан ғайриимкон аст.
3. Мисолҳои интихобшуда. Натиҷаҳо дар мисолҳои мушаххас ба даст омадаанд. Набояд онҳоро ба ҳамаи ҳолатҳо ва ҳамаи моделҳо бе санҷиш паҳн кард.
4. Тафсири хусусиятҳо субъективӣ аст. Номе, ки пажӯҳишгар ба хусусият медиҳад («муқобил», «шинос будан»), тахмини инсонӣ дар асоси мисолҳост ва метавонад маънои воқеии онро пурра ифода накунад.
5. Таваҷҷуҳ қисман пинҳон мемонад. Дар усули тавсифшуда қисми ҳисобҳои марбут ба механизми таваҷҷуҳ, ки иттилоотро байни токенҳо интиқол медиҳад, пурра шарҳ дода намешавад.
6. Миқёс. Моделҳои пешрафта аз моделҳои таҳқиқшуда хеле калонтаранд ва усулҳо бояд ба онҳо миқёс дода шаванд.

Барои омӯзиши вазифаҳои мураккабтар ҳам худи абзорҳо ва ҳам роҳҳои фаҳмидани натиҷаҳо бояд такмил дода шаванд — эҳтимол бо ёрии худи моделҳои зеҳни сунъӣ.

Хулоса

Тафсирпазирӣ кӯшиши ба «қуттии сиёҳ» назар андохтан ва фаҳмидани он аст, ки модели забонӣ дар дохили худ чӣ гуна ба ҷавоб мерасад.

Нуктаҳои асосӣ:

• Модели забонӣ барномарезӣ намешавад, балки механизмҳояшро ҳангоми омӯзиш худаш ташаккул медиҳад; аз ин рӯ, онҳоро бояд ба таври таҷрибавӣ кашф кард.
• Пурсидани худи модел кофӣ нест: шарҳи модел низ матни тавлидшуда аст ва метавонад бо механизми воқеӣ мувофиқ набошад.
• Нейронҳо аксар вақт бисёрмаъноянд, зеро модел мафҳумҳои зиёдро дар суперпозитсия нигоҳ медорад. Автоэнкодерҳои тунук онҳоро ба хусусиятҳои фаҳмо ҷудо мекунанд.
• Графҳои нисбатдиҳӣ нишон медиҳанд, ки хусусиятҳо чӣ гуна ба ҳам пайваст шуда, ба ҷавоб мерасанд; таҷрибаҳои дахолат ин фарзияҳоро месанҷанд.
• Таҳқиқоти соли 2025 нишон дод, ки модел мафҳумҳоро дар фазои қисман умумӣ барои забонҳо коркард мекунад, қофияро пешакӣ банақша мегирад, ададҳоро бо якчанд роҳи мувозӣ ҷамъ мекунад ва далелҳоро дар саволҳои бисёрқадама ба ҳам мепайвандад.
• Шарҳҳои модел гоҳо ростқавланд ва гоҳо сохта — модел метавонад қадамҳоро ба ҷавоби пешакӣ додашуда мутобиқ созад.
• Галлюсинатсия метавонад аз хомӯш шудани нодурусти механизми пешфарзии «намедонам» пайдо шавад; ҷейлбрейк аз рақобати механизмҳои идомаи матн ва механизмҳои бехатарӣ истифода мебарад.
• Абзорҳои тафсирпазирӣ метавонанд ҳадафҳои пинҳонии моделро ошкор кунанд, аммо ҳоло танҳо қисми хурди ҳисобҳоро фаро мегиранд ва меҳнати зиёд талаб мекунанд.
• Ин натиҷаҳо шаҳодати шуур ё кори яксон бо мағзи инсон нестанд; онҳо тавсифи механизмҳои ҳисоббарорӣ мебошанд.

Саволҳо барои санҷиши худ

1. Тафсирпазирии механикӣ чист ва аз арзёбии оддии рафтори модел чӣ фарқ дорад?
2. Чаро пурсидани худи модел дар бораи раванди фикрронии он барои фаҳмидани механизми воқеӣ кофӣ нест?
3. Нейрони бисёрмаъно чист? Фарзияи суперпозитсия онро чӣ гуна шарҳ медиҳад?
4. Автоэнкодери тунук чӣ кор мекунад ва чаро маҳдудияти тунукӣ барои он муҳим аст?
5. Графи нисбатдиҳӣ чиро нишон медиҳад? Чаро бе таҷрибаҳои дахолат натиҷаҳои он кофӣ нестанд?
6. Таҷрибаи «grab it / rabbit» чӣ гуна нишон медиҳад, ки модел пешакӣ банақша мегирад? Дахолатҳо дар ин таҷриба чӣ натиҷа доданд?
7. Модел 36 + 59-ро дар дохил чӣ гуна ҳисоб мекунад ва чӣ гуна шарҳ медиҳад? Аз ин фарқ чӣ хулоса бармеояд?
8. Таҷрибаи иваз кардани «Техас» бо «Калифорния» чиро исбот мекунад?
9. Механизми мушоҳидашудаи галлюсинатсия дар мисоли Майкл Баткин чӣ гуна кор мекунад?
10. Чаро модел баъзан ҷавоби номатлубро идома медиҳад, ҳатто агар хатарнок будани дархостро «фаҳмида» бошад?
11. Се маҳдудияти асосии усулҳои имрӯзаи тафсирпазириро номбар кунед.

Манбаъҳо

• Alain, G., Bengio, Y. (2016). Understanding Intermediate Layers Using Linear Classifier Probes. https://arxiv.org/abs/1610.01644
• nostalgebraist (2020). Interpreting GPT: the Logit Lens. LessWrong.
• Elhage, N. ва ҳамкорон (2022). Toy Models of Superposition. https://transformer-circuits.pub/2022/toy_model/index.html
• Bricken, T. ва ҳамкорон (2023). Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. https://transformer-circuits.pub/2023/monosemantic-features/index.html
• Turpin, M. ва ҳамкорон (2023). Language Models Don't Always Say What They Think. https://arxiv.org/abs/2305.04388
• Templeton, A. ва ҳамкорон (2024). Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. https://transformer-circuits.pub/2024/scaling-monosemanticity/
• Anthropic (2024). Golden Gate Claude. https://www.anthropic.com/news/golden-gate-claude
• Ameisen, E. ва ҳамкорон (2025). Circuit Tracing: Revealing Computational Graphs in Language Models. https://transformer-circuits.pub/2025/attribution-graphs/methods.html
• Lindsey, J. ва ҳамкорон (2025). On the Biology of a Large Language Model. https://transformer-circuits.pub/2025/attribution-graphs/biology.html
• Marks, S. ва ҳамкорон (2025). Auditing Language Models for Hidden Objectives. https://arxiv.org/abs/2503.10965