Боби 5. Регрессияи хаттӣ

Дар ин боб меомӯзем

• Регрессияи хаттӣ чист ва хати регрессия чӣ гуна аз байни нуқтаҳо мегузарад.
• Боқимонда (хато) ва нишебии хат чӣ маъно доранд.
• Чӣ гуна коэффисиентҳои a ва b-ро дастӣ ҳисоб кардан мумкин аст.
• Регрессияи хаттии чандкарата ва кор бо тағйирёбандаҳои гурӯҳӣ.
• Мултиколлинеарӣ чист ва онро бо pairplot ва харитаи гармӣ чӣ гуна ошкор мекунанд.

Таҳлили регрессияро метавон «Hello World»-и алгоритмҳои омӯзиши назоратшаванда номид. Ин усули содаест, ки барои пешгӯии тағйирёбандаи номаълум аз натиҷаҳои маълум истифода мебарад.

Аввалин усули регрессияе, ки баррасӣ мекунем, регрессияи хаттӣ мебошад. Он барои тавсифи робитаи хаттии байни тағйирёбандаҳо хати рост месозад.

Аввал ҷузъҳои асосии регрессияи хаттии содаро бо як тағйирёбандаи мустақил меомӯзем. Сипас ба регрессияи чандкарата, ки чанд тағйирёбандаи мустақил дорад, мегузарем.

Ба сифати додаҳо силсилафилми мазҳакавии телевизионии «Сайнфелд» (Seinfeld)-ро истифода мебарем. Ду тағйирёбандаи зеринро дар график ҷой медиҳем:

• рақами мавсим — координатаи x;
• шумораи тамошобинони ҳар мавсим бо миллион нафар — координатаи y.

Ҷадвали 5.1. Маҷмӯи додаҳои «Сайнфелд»: шумораи миёнаи тамошобинони ҳар мавсим. Манбаъ: Nielsen, аз рӯйи Википедияи англисӣ (мақолаи Seinfeld). Қимати мавсими 9 қисми охирин ва силсилаи хотиравиро низ дар бар мегирад; бе онҳо — 32.15 миллион.

Расми 5.1. Додаҳои «Сайнфелд» дар диаграммаи парокандагӣ.

Акнун додаҳоро дар диаграммаи парокандагӣ мебинем. Шумораи тамошобинон аз мавсими чорум тамоюли афзоиш дошта, дар мавсими нӯҳум ба нуқтаи баландтарин мерасад.

Тағйирёбандаҳои мустақил ва вобастаро муайян мекунем. Дар ин мисол шумораи тамошобинони ҳар мавсим тағйирёбандаи вобаста, яъне он чизест, ки мехоҳем пешгӯӣ кунем. Рақами мавсим бошад, тағйирёбандаи мустақил мебошад.

Бо истифода аз регрессияи хаттии сода хати ростеро илова мекунем, ки тамоюли афзоишии ин маҷмӯи хурди додаҳоро тавсиф кунад.

Расми 5.2. Хати регрессияи хаттӣ.

Тавре дар расми 5.2 нишон дода шудааст, хати регрессия аз миёни маҷмӯи нуқтаҳои додаҳо мегузарад.

Истилоҳи умумии математикӣ барои чунин сатҳи пешгӯӣ гиперҳамворӣ — hyperplane мебошад. Дар омӯзиши мошинӣ бо ин истилоҳ зиёд рӯ ба рӯ мешавед. Дар фазои дученака гиперҳамворӣ хати рост аст ва ҳамчун хати тамоюл хизмат мекунад. Google Sheets низ регрессияи хаттиро дар менюи танзими диаграммаи парокандагӣ ҳамин тавр меномад.

Ҳадафи регрессияи хаттӣ ёфтани хатест, ки фарқи байни қиматҳои пешгӯишуда ва қиматҳои мушоҳидашударо то ҳадди имкон кам кунад.

Агар аз ҳар нуқтаи додаҳо то хати регрессия хатти амудӣ кашед, ин хатҳо фарқи байни натиҷаи воқеӣ ва пешгӯии моделро нишон медиҳанд.

Ин фарқ боқимонда — residual ё хато ном дорад. Ҳар қадар қиматҳои мушоҳидашуда ба хати регрессия наздик бошанд, пешгӯиҳои модел ҳамон қадар дақиқтаранд.

Расми 5.3. Хато — фарқи амудии байни хати регрессия ва қимати мушоҳидашуда.

Нишебӣ

Яке аз ҷузъҳои муҳими регрессияи хаттӣ нишебии хат — slope мебошад. Онро аз рӯйи хати регрессия муайян кардан мумкин аст.

Нишебӣ нишон медиҳад, ки ҳангоми як воҳид зиёд шудани як тағйирёбанда, тағйирёбандаи дигар мувофиқи модел ба ҳисоби миёна чӣ қадар тағйир меёбад.

Аз ин рӯ, нишебӣ барои пешгӯӣ муфид аст. Масалан, метавон шумораи тамошобинони мавсими даҳуми эҳтимолии «Сайнфелд»-ро пешгӯӣ кард.

Бо истифода аз хати регрессия, ба координатаи x қимати 10 медиҳем ва қимати мувофиқи y-ро меёбем. Дар ин мисол он тақрибан 39.8 миллион тамошобин мебошад.

Расми 5.4. Истифодаи нишебӣ ва хати регрессия барои пешгӯӣ.

Гарчанде регрессияи хаттӣ усули бехатои пешгӯии тамоюлҳо нест, хати тамоюл барои пешгӯии рӯйдодҳои номаълум ё оянда нуқтаи такяи ибтидоӣ медиҳад.

Формулаи регрессияи хаттӣ

Формулаи регрессияи хаттӣ чунин аст:

[ y = bx + a ]

Дар ин ҷо:

• y — тағйирёбандаи вобаста;
• x — тағйирёбандаи мустақил;
• a — нуқтаи буриши хати регрессия бо меҳвари y, яъне қимати y ҳангоми x = 0;
• b — коэффисиенти нишебӣ.

Коэффисиенти b робитаи байни x ва y-ро нишон медиҳад: агар x як воҳид тағйир ёбад, модел барои y чӣ қадар тағйирот пешгӯӣ мекунад.

Мисоли ҳисоб

Гарчанде барнома ин ҳисобҳоро худкор анҷом медиҳад, донистани тарзи кори регрессияи хаттии сода ҷолиб аст. Барои шарҳи формула маҷмӯи додаҳои зеринро истифода мебарем.

Ҷадвали 5.2. Маҷмӯи намунавии додаҳо.

Ду сутуни охирини ҷадвал — xy ва x² — қисми додаҳои аслӣ нестанд. Онҳо барои осон кардани ҳисобҳои формула илова шудаанд. Сатри охирин ҷамъи ҳар сутунро нишон медиҳад.

Формулаҳои ҳисоб кардани a ва b чунинанд:

[ a = \frac{(\sum y)(\sum x^2)-(\sum x)(\sum xy)} {n\sum x^2-(\sum x)^2} ]

[ b = \frac{n\sum xy-(\sum x)(\sum y)} {n\sum x^2-(\sum x)^2} ]

Дар ин ҷо:

Σ — аломати ҷамъбандӣ;

[ \sum x = 1+2+1+4+3 = 11 ]

Яъне, ҷамъи ҳамаи қиматҳои x.

[ \sum y = 3+4+2+7+5 = 21 ]

Яъне, ҷамъи ҳамаи қиматҳои y.

[ \sum xy = 3+8+2+28+15 = 56 ]

Яъне, ҷамъи ҳосили зарби x × y барои ҳар сатр.

[ \sum x^2 = 1+4+1+16+9 = 31 ]

Яъне, ҷамъи квадратҳои қиматҳои x.

n — шумораи умумии сатрҳо. Дар ин мисол:

[ n = 5 ]

Акнун a-ро ҳисоб мекунем:

[ a = \frac{(21\times31)-(11\times56)} {5\times31-11^2} ]

[ a = \frac{651-616}{155-121}

\frac{35}{34} \approx 1.029 ]

Сипас b-ро ҳисоб мекунем:

[ b = \frac{5\times56-(11\times21)} {5\times31-11^2} ]

[ b = \frac{280-231}{155-121}

\frac{49}{34} \approx 1.441 ]

Қиматҳои a ва b-ро ба формулаи хаттӣ мегузорем:

[ y = bx+a ]

[ y = 1.441x+1.029 ]

Ин формула муайян мекунад, ки хати регрессия чӣ гуна кашида шавад.

Акнун моделро барои x = 2 месанҷем:

[ y = 1.441x+1.029 ]

[ y = 1.441\times2+1.029 ]

[ y = 3.911 ]

Дар ин ҳолат пешгӯӣ ба натиҷаи воқеии 4.0 хеле наздик аст.

Расми 5.5. Хати (y = 1.441x+1.029) дар диаграммаи парокандагӣ.

Регрессияи хаттии чандкарата

Пас аз шиносоӣ бо регрессияи хаттии сода, ки як тағйирёбандаи мустақил дорад, метавонем регрессияи хаттии чандкарата — multiple linear regression-ро баррасӣ кунем.

Ин равиш барои бисёр вазифаҳои омӯзиши мошинӣ амалӣтар аст, зеро ташкилотҳо ҳангоми қабули қарор одатан зиёда аз як тағйирёбандаи мустақилро истифода мебаранд.

Регрессияи хаттии чандкарата ба регрессияи хаттии сода монанд аст, аммо чанд тағйирёбандаи мустақил дорад:

[ y = a+b_1x_1+b_2x_2+b_3x_3+\cdots+b_px_p ]

Нуқтаи буриш бо меҳвари y ҳамоно бо a ифода мешавад. Аммо акнун чанд тағйирёбандаи мустақил — x₁, x₂, x₃ ва ғайра — дорем, ки ҳар кадом коэффисиенти худро доранд: b₁, b₂, b₃ ва ғайра.

Мисли регрессияи хаттии сода, барои ёфтани a ва коэффисиентҳои b аз қиматҳои X ва y-и додаҳои омӯзишӣ, аз ҷумла ҷамъҳо ва қиматҳои квадратии онҳо, истифода мешавад.

Пас аз сохтани модел бо додаҳои омӯзишӣ, метавон қиматҳои X-и маҷмӯи санҷиширо ба формула дод ва y-ро пешгӯӣ кард. Сипас пешгӯиҳоро бо натиҷаҳои воқеӣ муқоиса карда, дақиқиро арзёбӣ мекунанд.

Тағйирёбандаҳои дискретӣ

Натиҷаи регрессияи хаттӣ — тағйирёбандаи вобаста — ададӣ мебошад ва метавонад ҳамчун адади касрӣ ё бутун ифода шавад. Тағйирёбандаҳои воридотӣ бошанд, метавонанд пайваста ё гурӯҳӣ бошанд.

Тағйирёбандаҳои гурӯҳӣ, масалан, ҷинс, бояд бо истифода аз рамзгузории ададӣ, аз қабили one-hot, ифода шаванд. Яъне, ба ҷойи матнҳои «мард» ва «зан» аз қиматҳои ададӣ, масалан, 0 ва 1, истифода мешавад.

Интихоби тағйирёбандаҳо

Пеш аз анҷоми боб, бояд масъалаи интихоби тағйирёбандаҳо ва шумораи мувофиқи тағйирёбандаҳои мустақилро баррасӣ кунем.

Аз як тараф, илова кардани тағйирёбандаҳо имкон медиҳад, ки омилҳои эҳтимолии бештари таъсиргузор ба қолабҳои додаҳо ба назар гирифта шаванд.

Аз тарафи дигар, ин танҳо вақте фоида дорад, ки тағйирёбандаҳо ба масъала мувофиқ бошанд ва бо тағйирёбандаи вобаста ягон робитаи хаттӣ дошта бошанд.

Афзоиши шумораи тағйирёбандаҳои мустақил шумораи робитаҳоеро низ зиёд мекунад, ки бояд баррасӣ шаванд.

Дар регрессияи хаттии сода робитаи байни як тағйирёбандаи мустақил ва як тағйирёбандаи вобастаро дидем. Дар регрессияи чандкарата бошад, чанд тағйирёбандаи мустақил бо як тағйирёбандаи вобаста робита доранд.

Ғайр аз ин, тағйирёбандаҳои мустақил метавонанд на танҳо бо натиҷа, балки бо якдигар низ робита дошта бошанд.

Расми 5.6. Регрессияи хаттии сода дар боло ва регрессияи хаттии чандкарата дар поён.

Агар байни ду тағйирёбандаи мустақил робитаи хаттии қавӣ мавҷуд бошад, мушкиле бо номи мултиколлинеарӣ — multicollinearity пайдо шуда метавонад.

Вақте ду тағйирёбандаи мустақил сахт ҳамбастаанд, маълумоти пешниҳодкардаи онҳо асосан такрор мешавад ва барои модел иттилооти нави кам медиҳад.

Мисоли чунин тағйирёбандаҳо ҳаҷми сӯзишвории масрафшуда ва ҳаҷми сӯзишвории боқимонда дар зарфи ҳавопаймо мебошанд, агар ҳадаф пешгӯии масофаи парвоз бошад.

Ин ду тағйирёбанда робитаи манфӣ доранд: ҳангоми зиёд шудани яке, дигаре кам мешавад ва баръакс. Агар ҳар ду барои пешгӯии масофаи парвоз истифода шаванд, қисми зиёди иттилооти онҳо такрорӣ мешавад.

Ба модел дохил кардани яке аз онҳо метавонад муфид бошад, аммо дохил кардани ҳар ду метавонад зиёдатӣ бошад.

Барои ошкор кардани мултиколлинеарӣ бояд робитаи байни ҷуфтҳои тағйирёбандаҳои мустақилро бисанҷем. Барои ин метавон аз воситаҳои зерин истифода бурд:

• диаграммаи парокандагӣ;
• pairplot — матритсаи графикҳои робитаи ҷуфтии тағйирёбандаҳо;
• коэффисиенти ҳамбастагӣ.

Дар pairplot-и расми 5.7 робитаи байни се тағйирёбандаи маҷмӯи додаҳои tips (ҳисобҳои тарабхона, ки бо китобхонаи Seaborn меояд) таҳлил карда мешавад:

• total_bill — маблағи умумии ҳисоб;
• tip — чойпулӣ;
• size — шумораи одамони гурӯҳ.

Агар tip-ро тағйирёбандаи вобаста интихоб кунем, бояд арзёбӣ намоем, ки оё ду тағйирёбандаи мустақил — total_bill ва size — бо ҳам робитаи қавӣ доранд ё не.

Дар pairplot ду диаграмма робитаи байни total_bill ва size-ро нишон медиҳанд: яке дар тарафи рости сатри якум ва дигаре дар тарафи чапи сатри сеюм.

Ин ду график айнан яксон нестанд, зеро меҳварҳои x ва y ҷой иваз кардаанд. Аммо барои таҳлил метавон аз ҳар кадоми онҳо истифода бурд.

Расми 5.7. Pairplot бо се тағйирёбанда.

Аз тамоюли хаттии болораванда мебинем, ки ин ду тағйирёбанда то андозае ҳамбастаанд. Аммо агар хати регрессия кашем, дар ҳар ду тарафи он боқимондаҳо ё хатоҳои назаррас мавҷуд мешаванд.

Инро метавон нишонаи он донист, ки робитаи байни ду тағйирёбанда он қадар қавӣ нест, ки яке аз онҳоро ҳатман хориҷ кунем. Аз ин рӯ, ҳар дуро ба модели регрессия дохил кардан мумкин аст.

Харитаи гармии расми 5.8 низ коэффисиенти ҳамбастагии 0.6-ро байни total_bill ва size нишон медиҳад.

Расми 5.8. Харитаи гармӣ бо се тағйирёбанда.

Ҳамчунин метавон аз pairplot, харитаи гармӣ ё коэффисиенти ҳамбастагӣ истифода бурд, то муайян кунем, ки тағйирёбандаҳои мустақил бо тағйирёбандаи вобаста робита доранд ё не. Ин барои арзёбии мувофиқати онҳо ба вазифаи пешгӯӣ ёрӣ медиҳад.

Дар расми 5.8 мебинем, ки ҳар ду тағйирёбанда бо tip, яъне чойпулӣ, ҳамбастагӣ доранд:

• total_bill: коэффисиенти 0.68;
• size: коэффисиенти 0.49.

Коэффисиенти ҳамбастагӣ аз −1 то 1 қимат мегирад:

• 1 — робитаи хаттии мусбати комил;
• −1 — робитаи хаттии манфии комил;
• 0 — набудани робитаи хаттӣ.

Ҳангоми интихоби тағйирёбандаҳо барои регрессияи хаттии чандкарата мехоҳем, ки онҳо барои пешгӯии натиҷа иттилооти муфид диҳанд ва байни худашон робитаи хаттии аз ҳад қавӣ надошта бошанд.

Чиро бояд дар ёд дошт

• Регрессияи хаттӣ хати ростеро меёбад, ки фарқи байни қиматҳои пешгӯишуда ва воқеиро то ҳадди имкон кам мекунад.
• Формулаи он y = bx + a аст: b — нишебӣ, a — нуқтаи буриш бо меҳвари y.
• Регрессияи чандкарата чанд тағйирёбандаи мустақилро истифода мебарад; тағйирёбандаҳои гурӯҳӣ аввал ба адад табдил дода мешаванд.
• Агар ду тағйирёбандаи мустақил сахт ҳамбаста бошанд (мултиколлинеарӣ), яке аз онҳо одатан зиёдатӣ аст.
• Pairplot, харитаи гармӣ ва коэффисиенти ҳамбастагӣ (аз −1 то 1) барои интихоби тағйирёбандаҳо ёрӣ медиҳанд.