Боби 9. Ғаразнокӣ ва парокандагӣ

Дар ин боб меомӯзем

• Ғаразнокӣ (bias) ва парокандагӣ (variance) чист.
• Каммутобиқшавӣ (underfitting) ва аз ҳад мутобиқшавӣ (overfitting).
• Мураккабии модел ба хато дар додаҳои омӯзишӣ ва санҷишӣ чӣ таъсир дорад.
• Бо кадом роҳҳо мувозинати байни ин ду ёфта мешавад.
• Регуляризатсия чӣ гуна мураккабии моделро маҳдуд мекунад.

Интихоби алгоритм қадами муҳим барои фаҳмидани қолабҳои додаҳост. Аммо сохтани моделе, ки қонуниятҳои умумиро омӯзад ва намунаҳои навро дақиқ пешгӯӣ кунад, метавонад душвор бошад.

Аксари алгоритмҳо гиперпараметрҳои гуногун доранд ва ин шумораи зиёди натиҷаҳои эҳтимолиро ба вуҷуд меорад.

Барои ёдоварӣ, гиперпараметрҳо танзимоти алгоритм мебошанд. Онҳоро метавон ба воситаҳои идоракунии панели ҳавопаймо ё тугмаҳои танзими басомади радио монанд кард.

Расми 9.1. Намунаи гиперпараметрҳои алгоритми тақвияти градиентӣ — gradient boosting — дар Python.

model = ensemble.GradientBoostingRegressor(
    n_estimators=150,
    learning_rate=0.1,
    max_depth=30,
    min_samples_split=10,
    min_samples_leaf=6,
    max_features=0.6,
    loss='huber'
)

Ҳар сатри дохили қавс як гиперпараметр аст. Маънои онҳоро дар боби 14 муфассал мебинем.

Каммутобиқшавӣ ва аз ҳад мутобиқшавӣ

Яке аз мушкилоти доимии омӯзиши мошинӣ ёфтани мувозинат байни каммутобиқшавӣ — underfitting ва аз ҳад мутобиқшавӣ — overfitting мебошад. Ин мафҳумҳо нишон медиҳанд, ки модел қолабҳои воқеии додаҳоро то чӣ андоза дуруст омӯхтааст.

Барои фаҳмидани онҳо аввал бояд бо ғаразнокӣ — bias ва парокандагӣ — variance шинос шавем.

Ғаразнокӣ ба дуршавии мунтазами пешгӯиҳои модел аз қиматҳои воқеӣ ишора мекунад. Ҳангоми ғаразнокии баланд пешгӯиҳо одатан ба самти муайян аз натиҷаҳои дуруст дур мешаванд.

Парокандагӣ нишон медиҳад, ки пешгӯиҳои модел ҳангоми тағйир ёфтани додаҳои омӯзишӣ то чӣ андоза тағйир меёбанд. Дар мисоли визуалӣ онро метавон ҳамчун паҳншавии пешгӯиҳо нисбат ба якдигар тасаввур кард.

Намунаи зерин барои фаҳмидани ин ду мафҳум ёрӣ медиҳад.

Расми 9.2. Нишонҳои тирпарронӣ барои шарҳи ғаразнокӣ ва парокандагӣ.

Нишонҳои тирпарронӣ, ки дар расми 9.2 оварда шудаанд, воситаи маъмули намоиши натиҷаҳои омӯзиши мошинӣ нестанд. Аммо дар ин ҷо барои шарҳи ғаразнокӣ ва парокандагӣ истифода мешаванд.

Тасаввур кунед, ки маркази нишон қимати комилан дурусти натиҷаро ифода мекунад. Ҳар нуқтаи рӯйи нишон як пешгӯии моделро нишон медиҳад.

Дар баъзе ҳолатҳо нуқтаҳо дар наздикии марказ зич ҷойгир мешаванд. Ин маънои онро дорад, ки пешгӯиҳо ба қиматҳои воқеӣ наздиканд.

Дар ҳолатҳои дигар нуқтаҳо дар қисмҳои гуногуни нишон пароканда мешаванд. Агар маркази умумии пешгӯиҳо аз маркази нишон дур бошад, ғаразнокӣ баланд аст. Агар худи пешгӯиҳо аз ҳам дур бошанд, парокандагӣ баланд аст.

Дар нишони якум ғаразнокӣ ва парокандагӣ ҳар ду пастанд. Пешгӯиҳо ба марказ наздиканд ва дар як минтақа зич ҷойгир шудаанд.

Дар нишони дуюм, ки дар тарафи рости сатри аввал аст, ғаразнокӣ паст, аммо парокандагӣ баланд мебошад. Нуқтаҳо дар атрофи марказ паҳн шудаанд, вале аз якдигар фосилаи зиёд доранд.

Нишони сеюм, дар тарафи чапи сатри дуюм, ғаразнокии баланд ва парокандагии пастро нишон медиҳад.

Нишони чорум, дар тарафи рости сатри дуюм, ҳам ғаразнокии баланд ва ҳам парокандагии баланд дорад.

Ҳолати дилхоҳ он аст, ки ҳар ду нишондиҳанда паст бошанд. Аммо дар амал аксар вақт байни онҳо мувозинат лозим мешавад.

Ҳам ғаразнокӣ ва ҳам парокандагӣ ба хато саҳм мегузоранд. Ҳадафи асосӣ кам кардани хатои пешгӯӣ мебошад, на танҳо кам кардани яке аз ин ду нишондиҳанда.

Мисли бори аввал велосипед рондан, нигоҳ доштани мувозинати мувофиқ яке аз ҷанбаҳои душвори омӯзиши мошинӣ аст. Иҷро кардани алгоритм дар додаҳо қисми осонтар мебошад; қисми душвор идора кардани ғаразнокӣ ва парокандагӣ аст.

Расми 9.3. Робитаи мураккабии модел бо хатои пешгӯӣ.

Ин масъаларо бо мисоли визуалӣ муфассалтар мебинем.

Дар расми 9.3 ду каҷ нишон дода шудааст. Каҷи боло хатои модел дар додаҳои санҷишӣ ва каҷи поён хатои онро дар додаҳои омӯзишӣ ифода мекунад.

Дар тарафи чапи график ҳар ду каҷ аз хатои баланди пешгӯӣ оғоз мешаванд. Дар ин минтақа модел сода буда, парокандагӣ паст ва ғаразнокӣ баланд аст.

Бо ҳаракат ба тарафи рост мураккабии модел зиёд мешавад: ғаразнокӣ кам ва парокандагӣ зиёд мегардад.

Дар натиҷа, хатои модел дар додаҳои омӯзишӣ паст мешавад, аммо хатои он дар додаҳои санҷишӣ метавонад баланд гардад.

Дар қисми миёнаи график мувозинати мувофиқ пайдо мешавад, ки дар он хатои додаҳои санҷишӣ паст аст. Ин намунаи маъмули мувозинати ғаразнокӣ ва парокандагӣ — bias–variance trade-off мебошад.

Расми 9.4. Каммутобиқшавӣ дар чап ва аз ҳад мутобиқшавӣ дар рост.

Идора накардани ин мувозинат метавонад натиҷаҳои заиф диҳад. Тавре дар расми 9.4 мебинем, модел метавонад аз ҳад сода ва чандирнопазир бошад — каммутобиқшавӣ — ё аз ҳад мураккаб ва чандир бошад — аз ҳад мутобиқшавӣ.

Дар диаграммаи чап каммутобиқшавӣ бо парокандагии паст ва ғаразнокии баланд нишон дода шудааст: хати рост шакли каҷи воқеиро намегирад. Дар диаграммаи рост аз ҳад мутобиқшавӣ бо парокандагии баланд ва ғаразнокии паст тасвир шудааст: модел аз ҳар нуқтаи омӯзишӣ мегузарад, аммо дар байни нуқтаҳо аз қонунияти воқеӣ дур меравад.

Табиист, ки барои беҳтар кардани дақиқӣ мехоҳем моделро мураккабтар кунем. Аммо ин кор метавонад ба аз ҳад мутобиқшавӣ оварда расонад.

Модели аз ҳад мутобиқшуда дар додаҳои омӯзишӣ пешгӯиҳои дақиқ медиҳад, вале дар додаҳои санҷишӣ камтар дақиқ аст. Он метавонад на танҳо қонуниятҳои умумӣ, балки ғавғо ва хусусиятҳои тасодуфии додаҳои омӯзиширо низ аз худ кунад.

Агар пеш аз тақсимкунӣ додаҳо дуруст омехта нашуда бошанд ва қолабҳо байни қисмҳои омӯзишӣ ва санҷишӣ нобаробар тақсим шаванд, фарқи натиҷаҳои ин ду қисм низ метавонад зиёд гардад.

Каммутобиқшавӣ вақте рух медиҳад, ки модел аз ҳад сода аст ва қолабҳои асосии додаҳоро ба қадри кофӣ намеомӯзад. Дар натиҷа, пешгӯиҳо ҳам дар додаҳои омӯзишӣ ва ҳам дар додаҳои санҷишӣ нодуруст мешаванд.

Сабабҳои дигари натиҷаҳои заиф метавонанд нокифоя будани додаҳои омӯзишӣ барои фаро гирифтани ҳолатҳои гуногун ва нодуруст тақсим шудани додаҳо бошанд.

Барои кам кардани каммутобиқшавӣ ва аз ҳад мутобиқшавӣ шояд лозим шавад, ки гиперпараметрҳоро тағйир диҳед. Ҳадаф он аст, ки модел қонуниятҳои умумиро омӯзад ва танҳо ба як қисми додаҳо мутобиқ нашавад.

Мутобиқати муносиб бояд тамоюлҳои муҳими додаҳоро ба назар гирифта, ба тағйироти хурди тасодуфӣ аҳамияти аз ҳад зиёд надиҳад.

Барои ин мумкин аст амалҳои зерин зарур шаванд:

• арзёбии модел бо санҷиши салибӣ (ниг. ба боби 4), то натиҷа аз як тақсимоти тасодуфӣ вобаста набошад. Тақсимро то он даме, ки хатои санҷишӣ хуб менамояд, аз нав иваз накунед: ин ҳам интихоб бо додаҳои санҷишӣ аст;
• илова кардани намунаҳои нав барои беҳтар ошкор кардани қолабҳои асосӣ;
• интихоби алгоритми дигар барои мувозинати беҳтари ғаразнокӣ ва парокандагӣ.

Масалан, регрессияи хаттии сода метавонад ба каммутобиқшавӣ дучор шавад, агар робитаҳои додаҳо аз ҳад мураккаб бошанд.

Гузариш аз регрессияи хаттӣ ба регрессияи ғайрихаттӣ метавонад бо зиёд кардани чандирии модел ғаразнокиро кам кунад, аммо парокандагиро зиёд намояд.

Дар k-NN, баръакс, зиёд кардани k одатан парокандагиро кам мекунад, зеро натиҷа аз рӯйи ҳамсояҳои бештар муайян мешавад.

Мисоли сеюм гузариш аз як дарахти қарор, ки ба аз ҳад мутобиқшавӣ майл дорад, ба ҷангали тасодуфӣ — random forest мебошад. Ҷангали тасодуфӣ аз чандин дарахти қарор истифода бурда, метавонад парокандагиро кам кунад.

Регуляризатсия

Яке аз роҳҳои пешрафтаи мубориза бо аз ҳад мутобиқшавӣ регуляризатсия — regularization мебошад.

Регуляризатсия бо маҳдуд кардани мураккабии модел хатари аз ҳад мутобиқшавиро кам мекунад.

Дар амал он ба мураккабшавии модел ҷарима илова мекунад. Ин метавонад ғаразнокиро андаке зиёд кунад, аммо барои назорат кардани парокандагии баланд ёрӣ медиҳад.

Ҳангоми санҷиш ва беҳтарсозии гиперпараметрҳои дигар, регуляризатсия ҳамчун воситаи маҳдудкунандаи мураккабии зиёдатӣ хизмат мекунад.

Қувваи баланди регуляризатсия метавонад аз ҳад мутобиқ шудани моделро ба додаҳои омӯзишӣ пешгирӣ кунад, аммо ҳамзамон боиси каммутобиқшавӣ гардад.

Дар регрессияи хаттӣ регуляризатсияи қавӣ метавонад коэффисиентҳоро ба сифр наздик кунад. Дар ҳолати як тағйирёбанда ин маънои ҳамвортар шудани хати регрессияро дорад.

Дар мошинҳои векторҳои такягоҳӣ — SVM — регуляризатсияи қавитар метавонад ба интихоби ҳошияи васеътар мусоидат кунад.

Эзоҳ: самти таъсири қимати гиперпараметр ба тарзи таърифи он вобаста аст. Масалан, дар бисёр татбиқҳои SVM хурд кардани параметри C маънои қавитар кардани регуляризатсияро дорад (ниг. боби 10).

Чиро бояд дар ёд дошт

• Ғаразнокӣ — дуршавии мунтазами пешгӯиҳо аз қимати дуруст; парокандагӣ — то чӣ андоза пешгӯиҳо бо тағйири додаҳои омӯзишӣ тағйир меёбанд.
• Модели аз ҳад сода ба каммутобиқшавӣ дучор мешавад (ғаразнокии баланд), модели аз ҳад мураккаб — ба аз ҳад мутобиқшавӣ (парокандагии баланд).
• Нишонаи аз ҳад мутобиқшавӣ: хато дар додаҳои омӯзишӣ паст, вале дар додаҳои санҷишӣ баланд.
• Мувозинатро бо тағйири гиперпараметрҳо, илова кардани додаҳо ё интихоби алгоритми дигар меҷӯянд ва ҳар тағйиротро бо санҷиши салибӣ месанҷанд.
• Регуляризатсия ба мураккабии модел ҷарима илова карда, хатари аз ҳад мутобиқшавиро кам мекунад.