Қабати вуруд ҷойи ворид шудани хусусиятҳост. Қабатҳои байни вуруд ва баромад «пинҳонӣ» ном доранд. Сабаб асроромез будани онҳо нест, балки он аст, ки баромадашон натиҷаи ниҳоии модел нест.

Қабати баромад натиҷаи лозим барои масъаларо тавлид мекунад. Мавҷудияти чандин қабати ҳисоббарорӣ сабаб мешавад, ки истилоҳи «шабакаи амиқи нейронӣ» истифода шавад.

3.4. Ҳисоби ададии як гузариши рӯ ба пеш

Барои он ки шабакаи нейрониро мавҷуди асроромез тасаввур накунем, як шабакаи хурдро аз аввал то охир ҳисоб мекунем.

Ду вуруд дорем:

x₁ = 1  
x₂ = 2  

Қабати пинҳонӣ ду нейрон дорад. Вазнҳо ва узви озоди нейрони аввал:

w₁₁ = 0.5  
w₁₂ = 0.2  
b₁ = −0.1  

Ҳисоби нейрони аввал:

z₁ = 0.5×1 + 0.2×2 − 0.1 = 0.8  
h₁ = ReLU(0.8) = 0.8  

Барои нейрони дуюм:

w₂₁ = −0.3  
w₂₂ = 0.8  
b₂ = 0

z₂ = −0.3×1 + 0.8×2 = 1.3  
h₂ = ReLU(1.3) = 1.3  

Пас, қабати пинҳонӣ вуруди [1, 2]-ро ба намоиши [0.8, 1.3] табдил дод.

Акнун нейрони баромад ин ду қиматро мегирад. Вазнҳои баромадро 1.2 ва −0.5 ва узви озодро 0.2 фарз мекунем:

z_out = 1.2×0.8 − 0.5×1.3 + 0.2  
z_out = 0.96 − 0.65 + 0.2 = 0.51  

Агар ба баромад сигмоид татбиқ шавад:

ŷ = σ(0.51) ≈ 0.625  

Ҳамин тавр, шабака вуруди [1, 2]-ро гирифт ва баромади тақрибан 0.625 тавлид кард. Тамоми ин раванд «гузариши рӯ ба пеш» аст.

Дар ин марҳила ҳеҷ омӯзише рух надодааст: танҳо параметрҳои ҷорӣ барои ҳисоб кардани баромад истифода шуданд. Ҳамин гузариш ҳангоми омӯзонидан низ иҷро мешавад, аммо омӯзонидан баъди тавлиди баромад марҳилаҳои дигар ҳам дорад.

3.6. Шабакаи хурд чанд параметр дорад?

Нейрони аввали қабати пинҳонӣ ду вазн ва як узви озод дорад. Нейрони дуюм низ се параметр дорад. Пас, қабати пинҳонӣ шаш параметр дорад.

Нейрони баромад низ ду вазн ва як узви озод дорад, яъне се параметри дигар. Дар маҷмӯъ шабака 9 параметр дорад.

Ҳамин мафҳуми асосӣ дар ибораи «модел ҳафт миллиард параметр дорад» низ мавҷуд аст. Фарқ танҳо дар миқёс ва мураккабии меъморӣ мебошад.

Дар амал вазнҳо ҳамчун тензор ва матритса нигоҳ дошта мешаванд. Агар қабате ҳазор вуруд ва ду ҳазор баромад дошта бошад, матритсаи вазнҳои он ду миллион қимат дорад. Вектори узвҳои озод боз ду ҳазор қимати дигар илова мекунад.

3.7. Параметрҳои модел дар куҷоянд?

Баъди омӯзонидан вазнҳо дар файлҳои модел ё нуқтаҳои захира сабт мешаванд. Ҳангоми хулосабарорӣ ин додаҳои ададӣ ба хотираи асосӣ ё хотираи суръатбахш, монанди протсессори графикӣ, боргузорӣ мешаванд.

Пас, шумораи параметрҳо танҳо адади таблиғотӣ нест. Он мустақиман ба фазои нигоҳдорӣ, хотира ва хароҷоти ҳисоббарорӣ таъсир мерасонад.

Агар танҳо барои тасаввур фарз кунем, ки ҳар параметр чор байт мегирад, як миллиард параметр барои вазнҳо тақрибан чор гигабайт фазо талаб мекунад. Дар амал аз дақиқиҳои гуногуни ададӣ ва усулҳои фишурдасозӣ, монанди квантонӣ кардан, истифода мешавад. Аммо робитаи асосии байни шумораи параметрҳо ва захираҳои физикӣ боқӣ мемонад.

3.8. Дониши модел бо параметрҳо чӣ робита дорад?

Ибораи «дониш дар вазнҳо нигоҳ дошта шудааст» ҳамчун баёни кӯтоҳ фаҳмост. Аммо онро набояд ба маънои сабтҳои ҷудогона қабул кард.

Одатан наметавон як вазни муайянро пайдо карда гуфт: ин вазн ҷумлаи «Теҳрон пойтахти Эрон аст»-ро нигоҳ медорад. Рафтори омӯхташуда аз таъсири мутақобилаи параметрҳои зиёд, меъморӣ, функсияҳои фаъолсозӣ ва вуруди ҷорӣ ба вуҷуд меояд.

Дар модели нархи хона аз берун мегуфтем, ки модел омӯхтааст: бо зиёд шудани масоҳат нарх ҳам одатан зиёд мешавад. Дар дохили модел ин «дониш» ба шакли ҷумла вуҷуд надошт. Қимати мусбати вазн сабаб мешуд, ки афзоиши x баромадро зиёд кунад.

Дар шабакаи бузург низ бояд байни тавсифи инсонии қобилият ва механизми ададии дохилӣ фарқ гузошт.

3.9. Намоиш, умқ ва иқтидор

Қабатҳои пинҳонӣ метавонанд намоиши вурудро қадам ба қадам тағйир диҳанд. Дар тасвир қабатҳои аввал шояд ба намунаҳои содатар ҳассос шаванд ва қабатҳои баъдӣ таркибҳои мураккабтари онҳоро созанд.

Дар ошкорсозии қаллобӣ низ модел метавонад таркибҳои хусусиятҳоеро ба вуҷуд оварад, ки барои гурӯҳбандӣ муфиданд, ҳатто агар инсон барои он таркибҳо номи сода надошта бошад.

Зиёд кардани иқтидори модел имкон медиҳад, ки он функсияҳои мураккабтарро ифода кунад. Аммо иқтидори бештар ба танҳоӣ сифатро кафолат намедиҳад. Додаҳои бад, ҳадафи номуносиби омӯзонидан ё меъмории нодуруст метавонанд модели хеле бузург, вале заиф ба вуҷуд оваранд.

Аз ин рӯ, шумораи параметрҳоро набояд меъёри мустақими ҳушмандӣ донист.

3.10. Таъсири ин масъала ба меъморӣ

Дар нармафзори классикӣ бастаи иҷрошаванда ва танзимот аксар вақт унсурҳои асосии ҷойгиркунӣ мебошанд. Дар системаи омӯзиши мошинӣ вазнҳои модел низ бастаи мустақил ва дорои нусха мебошанд.

Мумкин аст тасвири контейнер ва коди сервис дар ду муҳит яксон бошанд, аммо нусхаи модел фарқ кунад ва баромад тағйир ёбад.

Пас, идоракунии нусхаҳои модел, нигоҳдорӣ, боргузорӣ ба хотира, мувофиқат бо коди сервис ва пайгирии модели ҷойгиршуда як қисми меъмории амалиётӣ мешаванд.

4. Омӯзонидан воқеан чӣ мекунад ва додаҳо чӣ гуна рафтори моделро шакл медиҳанд?

Акнун тасаввури гузариши рӯ ба пешро дорем. Медонем, ки вуруд ба шабака ворид мешавад, ҳисобҳо қабат ба қабат анҷом меёбанд ва баромад ҳосил мешавад.

Аммо саволи асосӣ ҳанӯз боқист: агар модел ҷавоби бад тавлид кунад, чӣ гуна мефаҳмад, ки кадом вазн бояд тағйир ёбад, дар кадом самт ва ба чӣ андоза?

Ҷавоби пурраи ин савол ба баҳсҳои баъдӣ тааллуқ дорад, зеро барои фаҳмиши дақиқи он бояд градиент, паҳнкунии баръакс, пастравии градиентӣ, даста, давра ва суръати омӯзишро алоҳида баррасӣ кард. Дар ин навишта танҳо то ҷое пеш меравем, ки раванди омӯзиш фаҳмо шавад.

4.1. Аз пешгӯӣ то талафот

Фарз кунед, модели қаллобӣ барои амалиёте баромади 0.82 тавлид кардааст, аммо барчаспи воқеӣ нишон медиҳад, ки амалиёт солим буд.

Дар ин лаҳза модел танҳо бо параметрҳои ҷорӣ гузариши рӯ ба пеш анҷом дода, ҷавоб додааст. Барои омӯзиш бояд муайян карда тавонем, ки ин ҷавоб то чӣ андоза номуносиб буд.

Функсияи талафот ҳамин нақшро дорад. Дар регрессия мумкин аст миёнаи квадрати хато истифода шавад. Дар гурӯҳбандӣ функсияҳои дигар, монанди энтропияи салибӣ, маъмуланд.

Ҷузъиёти риёзии онҳо дар ин ҷо ҳадафи асосӣ нест. Муҳим ин аст, ки омӯзонидан ба ададе ниёз дорад, то сифати маҷмӯи параметрҳои ҷориро баҳогузорӣ кунад.

4.2. Градиент чӣ маълумот медиҳад?

Агар танҳо бидонем, ки талафот зиёд аст, ҳанӯз намедонем кадом параметрро чӣ гуна тағйир диҳем.

Градиент маълумот медиҳад, ки тағйири хурди параметрҳо ба талафот чӣ таъсир хоҳад дошт. Қиёси маъмул ҳаракат дар нишебии кӯҳ аст: агар ҳадаф расидан ба нуқтаи пасттар бошад, нишебӣ нишон медиҳад, ки ба кадом самт бояд ҳаракат кунем.

Ин қиёс танҳо барои тасаввур аст. Фазои параметрҳои шабакаи бузург метавонад миллиардҳо андоза дошта бошад.

Паҳнкунии баръакс бо истифода аз қоидаи занҷирии ҳосилаҳо таъсири талафотро аз баромад ба қабатҳои пешина мегузаронад ва градиенти параметрҳои гуногунро ҳисоб мекунад. Сипас алгоритми беҳинасозӣ, монанди пастравии градиентӣ, бар асоси ин градиентҳо вазнҳо ва узвҳои озодро андаке тағйир медиҳад.

Параметрҳои аввалия  
→ пешгӯӣ  
→ муқоиса бо ҷавоби дилхоҳ  
→ талафот  
→ градиент  
→ танзими параметрҳо  
→ такрор  

Дар модели воқеӣ ин давра рӯйи намунаҳои хеле зиёд борҳо такрор мешавад. Омӯзиш одатан натиҷаи маҷмӯи бузурги навсозиҳои хурд аст, на ҷаҳиши ногаҳонӣ аз «намедонад» ба «медонад».

4.3. Додаҳо чӣ гуна рафтори ояндаро шакл медиҳанд?

Модел танҳо сигналҳоеро мебинад, ки додаҳо дар ихтиёраш мегузоранд. Агар намунаи муҳиме дар додаҳо набошад, модел барои омӯхтани он маълумоти кофӣ надорад.