Трансформерҳои даврӣ: муҳокимаронии бештар бе калон кардани модел

Оё барои беҳтар кардани зеҳни сунъӣ ҳамеша модели калонтар лозим аст? Як самти таҳқиқот роҳи дигарро пешниҳод мекунад: истифодаи такрории қисмҳои мавҷудаи модел барои коркарди амиқтари маълумот.

Ин ғоя асоси «трансформерҳои даврӣ» (Looped Transformers) мебошад. Себастян Рашка дар мақолаи худ онро дар заминаи баҳсҳо дар бораи GPT-6 Astra ва муҳокимаронии дохилии моделҳо шарҳ медиҳад. Худи муаллиф таъкид мекунад, ки истифодаи ин меъморӣ дар Astra дар вақти навиштани мақола расман тасдиқ нашуда буд.

Истифодаи такрории як бахши модел

Трансформерро метавон низоме тасаввур кард, ки маълумотро дар чанд марҳила коркард мекунад. Дар навъи даврии он, натиҷаи мобайнӣ аз ҳамон бахши ҳисоббарорӣ дубора мегузарад. Параметрҳои он бахш муштарак мемонанд, аммо маълумоти воридшаванда дар ҳар давр тағйир меёбад.

Барои мисоли шартӣ, агар 10 блок 3 бор истифода шаванд, 30 амали коркарди блокӣ анҷом меёбад. Бо вуҷуди ин, барои ин бахш танҳо параметрҳои 10 блок нигоҳ дошта мешаванд. Ин сарфаи ҷой барои параметрҳост; ҳисоббарории даврҳои иловагӣ ҳамоно хароҷот дорад.

Оё ҳамаи қисмҳои матн ба коркарди баробар ниёз доранд?

Дар таҳқиқоти Universal Transformers, ки соли 2018 пешниҳод шуд, имкони таваққуфи мутобиқшаванда низ баррасӣ шудааст. Яъне низом метавонад коркарди баъзе мавқеъҳои матнро барвақттар қатъ кунад ва барои мавқеъҳои дигар даврҳои бештар гузаронад.

Барои тасаввур кардани ин ғоя, хонандаеро ба ёд оред: ӯ ҷумлаи осонро як бор мехонад, аммо ба ҷумлаи душвор чанд бор бармегардад. Ин танҳо ташбеҳ аст; дар модел сухан дар бораи амалҳои математикӣ меравад. Муҳаққиқон дар озмоишҳои худ нишон доданд, ки чунин механизми таваққуф метавонад дақиқиро дар баъзе вазифаҳо беҳтар кунад.

Муҳокимаронӣ дар дохили модел

Роҳи дигари зиёд кардани ҳисоббарорӣ тавлиди матни бештари мобайнӣ аст. Аммо дар муҳокимаронии ниҳонӣ — latent reasoning — коркарди иловагӣ дар тасвирҳои ададии дохилии модел сурат мегирад.

Таҳқиқоти Йонас Гайпинг ва ҳамкоронаш ин равишро бо модели дорои 3,5 миллиард параметр санҷид. Такрори блоки дохилӣ дар як қатор санҷишҳои муҳокимаронӣ натиҷаҳоро беҳтар кард. Ин натиҷа нишон медиҳад, ки афзоиши ҳисоббарории дохилӣ метавонад бе афзоиши шумораи параметрҳо муфид бошад. Он маънои онро надорад, ки ҳар қадар давр зиёд шавад, ҷавоб ҳатман беҳтар мегардад.

Оё ин «пинҳон кардани фикр» аст?

Такрори блокҳои модел ва нишон надодани матни муҳокимаронӣ ду масъалаи ҷудогонаанд. Ба назари муаллифи мақола, танҳо кӯтоҳ шудани шарҳи модел далели фиреб ё пинҳонкории қасдона нест. Ҳамзамон, шарҳи матнии модел ҳам кафолат намедиҳад, ки тамоми ҳисоббарории дохилии он дуруст инъикос шудааст.

Аз ин рӯ, ҳангоми арзёбии модел бояд ба натиҷаи санҷиданӣ аҳамият дод: оё масъала дуруст ҳал шуд, чӣ қадар вақт сарф гардид ва натиҷаро чӣ гуна метавон тасдиқ кард?