Боби 6. Регрессияи логистикӣ

Дар ин боб меомӯзем

• Чаро регрессияи хаттӣ барои пешгӯии гурӯҳ (синф) мувофиқ нест.
• Функсияи сигмоид чӣ гуна ҳар ададро ба эҳтимол байни 0 ва 1 табдил медиҳад.
• Остонаи 0.5 ва сарҳади қарор.
• Регрессияи логистикии бисёрсинфӣ.
• Ба модел чӣ қадар ва кадом додаҳо лозим аст.

Тавре дар боби 5 дидем, регрессияи хаттӣ барои чен кардани робитаи байни тағйирёбандаҳо ва пешгӯии натиҷаи ададӣ муфид аст. Маблағи умумии ҳисоб ва шумораи меҳмонон намунаҳои тағйирёбандаҳои ададӣ мебошанд.

Аммо агар хоҳем тағйирёбандаи гурӯҳиеро, масалан, «муштарии нав» ё «муштарии такрорӣ»-ро пешгӯӣ кунем, чӣ бояд кард?

Дар ин ҳолат, бар хилофи регрессияи хаттӣ, тағйирёбандаи вобаста — y — дигар қимати пайвастае ба монанди маблағи чойпулӣ нест. Он тағйирёбандаи гурӯҳии дискретӣ мебошад.

Ба ҷойи чен кардани робитаи хаттии байни тағйирёбандаҳо, бояд аз усули тасниф, масалан, регрессияи логистикӣ истифода барем.

Регрессияи логистикӣ низ усули омӯзиши назоратшаванда мебошад, аммо ба ҷойи пешгӯии миқдорӣ пешгӯии гурӯҳӣ медиҳад. Ин алгоритм аксар вақт барои пешгӯии яке аз ду синфи ҷудогона, масалан, «ҳомиладор» ё «ҳомиладор нест», истифода мешавад.

Азбаски регрессияи логистикӣ дар таснифи дуӣ самаранок аст, онро дар соҳаҳои гуногун истифода мебаранд, аз ҷумла:

• ошкорсозии қаллобӣ;
• ташхиси беморӣ;
• ошкорсозии ҳолатҳои фавқулода;
• муайян кардани эҳтимоли барнагардондани қарз;
• шинохти паёмҳои спам тавассути ҷудо кардани синфҳои «спам» ва «ғайриспам».

Регрессияи логистикӣ бо истифода аз функсияи сигмоид эҳтимоли ба синфи муайян, масалан, «спам» ё «ғайриспам» тааллуқ доштани натиҷаро дар асоси тағйирёбандаҳои мустақил — X — ҳисоб мекунад.

Ин кор ду қадам дорад. Модел аввал хусусиятҳоро ба вазнҳои омӯхташуда зарб карда, ҷамъ мекунад ва узви озодро илова менамояд — мисли регрессияи хаттӣ дар боби 5:

[ z = b + w_1x_1 + w_2x_2 + \dots + w_nx_n ]

Дар ин ҷо x₁, …, xₙ — хусусиятҳо, w₁, …, wₙ — вазнҳои онҳо ва b — узви озод аст. (Дар боби 5, дар формулаи y = bx + a, узви озод a ва вазн b буд; дар ин ҷо ишораҳои маъмули омӯзиши мошиниро истифода мебарем.) Вазнҳо ва узви озодро модел ҳангоми омӯзиш аз додаҳо меёбад. Қимати z метавонад ҳар адад бошад: манфӣ, мусбат, хурд ё калон.

Сипас сигмоид ин натиҷаро ба эҳтимол табдил медиҳад: p = σ(z). Пас, хусусиятҳои хом бевосита ба сигмоид дода намешаванд; ба сигмоид танҳо як адад — z — дода мешавад.

Функсияи сигмоид чунин аст:

[ \sigma(z)=\frac{1}{1+e^{-z}} ]

Дар ин ҷо:

• z — ҷамъи вазндори хусусиятҳо, ки мехоҳем ба эҳтимол табдил диҳем;
• e — адади Эйлер, тақрибан 2.718.

Барои мисол, чанд қиматро ҳисоб мекунем:

[ \sigma(0)=\frac{1}{1+e^{0}}=\frac{1}{2}=0.5,\qquad \sigma(2)=\frac{1}{1+e^{-2}}\approx 0.88,\qquad \sigma(-2)=\frac{1}{1+e^{2}}\approx 0.12 ]

Расми 6.1. Истифодаи функсияи сигмоид барои таснифи нуқтаҳои додаҳо.

Функсияи сигмоид каҷи S-шакл месозад. Он ҳар ададро ба қимате байни 0 ва 1 табдил медиҳад, аммо барои қиматҳои ниҳоятноки воридотӣ ҳеҷ гоҳ маҳз ба ин ду ҳад намерасад.

Бо истифода аз ин функсия, натиҷаи ҳисоб ба эҳтимоле байни 0 ва 1 табдил меёбад, ки ба синфи муайяни тағйирёбандаи вобаста дахл дорад.

Дар ҳолати дуӣ:

• 0 маънои имконнопазир будани рӯйдодро дорад;
• 1 маънои ҳатман рӯй додани онро дорад.

Эҳтимоли қиматҳои байни ин ду ҳадро аз наздикии онҳо ба 0 ё 1 фаҳмидан мумкин аст.

Регрессияи логистикӣ дар асоси эҳтимолҳои ҳисобшуда ҳар намунаи додаҳоро ба синфи муайян мансуб мекунад.

Дар мисоли таснифи дуӣ, остонаи ҷудокунии синфҳо 0.5 мебошад. Нуқтаҳое, ки эҳтимолашон аз 0.5 бештар аст, ба синфи A ва нуқтаҳое, ки эҳтимолашон аз 0.5 камтар аст, ба синфи B дохил мешаванд.

Барои қимати дақиқи 0.5 бояд қоидаи интихоби синф пешакӣ муайян карда шавад, масалан, онро ба синфи A дохил кунем.

Пас аз табдили логистикӣ бо функсияи сигмоид, нуқтаҳои додаҳо ба яке аз ду синф тақсим мешаванд, тавре дар расми 6.2 нишон дода шудааст.

Расми 6.2. Намунаи регрессияи логистикӣ: ду тағйирёбандаи мустақил ва сарҳади қарор байни синфҳои A ва B.

Мисли регрессияи хаттӣ, тағйирёбандаҳои мустақиле, ки барои пешгӯии натиҷа истифода мешаванд, метавонанд гурӯҳӣ ё пайваста бошанд. Муҳим он аст, ки онҳо ҳамчун адад ифода шаванд, на ҳамчун матн.

Барои тағйирёбандаҳои гурӯҳӣ метавон аз рамзгузории one-hot истифода бурд. Ин усул маҷмӯи нави тағйирёбандаҳоро месозад, ки хусусияти аслиро ба шакли ададӣ ифода мекунанд.

Гарчанде намоиши регрессияи логистикӣ метавонад ба регрессияи хаттӣ монанд бошад, гиперҳамвории он сарҳади тасниф ё сарҳади қарор мебошад, на хати тамоюл барои пешгӯии ададӣ.

Яъне, ба ҷойи истифодаи гиперҳамворӣ барои пешгӯии қимати ададӣ, онро барои ҷудо кардани маҷмӯи додаҳо ба синфҳо истифода мебарем.

Фарқи дигари ин ду равиш ба тарзи намоиши онҳо вобаста аст. Дар графики сарҳади қарори регрессияи логистикӣ тағйирёбандаи вобаста — y — ҳатман дар меҳвари амудӣ ҷойгир намешавад.

Ба ҷойи ин, ҳар ду меҳвар метавонанд тағйирёбандаҳои мустақилро нишон диҳанд. Синфи натиҷавии ҳар нуқта аз ҷойгиршавии он нисбат ба сарҳади қарор муайян мешавад:

• нуқтаҳои як тарафи сарҳад ба синфи A дохил мешаванд;
• нуқтаҳои тарафи дигар ба синфи B дохил мешаванд.

Барои вазифаҳое, ки зиёда аз ду натиҷаи гурӯҳии имконпазир доранд, метавон аз регрессияи логистикии бисёрсинфӣ — multinomial logistic regression истифода бурд.

Расми 6.3. Намунаи регрессияи логистикии бисёрсинфӣ.

Регрессияи логистикии бисёрсинфӣ масъалаҳои тасниферо ҳал мекунад, ки зиёда аз ду натиҷаи имконпазири дискретӣ доранд.

Онро барои гурӯҳҳои дорои тартиб низ истифода бурдан мумкин аст. Масалан:

• то зинаи бакалаврӣ;
• зинаи бакалаврӣ;
• таҳсилоти баъд аз бакалаврӣ.

Аммо дар чунин истифода худи тартиби гурӯҳҳо ҳатман ба ҳисоб гирифта намешавад.

Дар хотир доред, ки таснифи дуӣ яке аз самтҳои асосии истифодаи регрессияи логистикӣ мебошад. Барои масъалаҳои бисёрсинфӣ алгоритмҳои дигар, аз ҷумла дарахтҳои қарор ё мошинҳои векторҳои такягоҳӣ, низ метавонанд интихоби мувофиқ бошанд.

Ҳангоми истифодаи регрессияи логистикӣ ду нуктаи зеринро ба назар гиред:

• дар маҷмӯи додаҳои барои модел омодашуда қиматҳои гумшуда набошанд;
• байни тағйирёбандаҳои мустақил ҳамбастагии аз ҳад қавӣ вуҷуд надошта бошад.

Барои ҳар синфи натиҷавӣ бояд намунаҳои кофӣ мавҷуд бошанд, то модел ба дақиқии муносиб расад.

Ҳамчун нуқтаи оғози тахминӣ барои ҳар синф тақрибан 30–50 намуна тавсия дода мешавад. Яъне, барои регрессияи логистикии дуӣ дар маҷмӯъ 60–100 намуна. Ин рақамҳо қоидаи қатъӣ нестанд.

Додаҳои бесарусомон, ки қиматҳои ғайримуқаррарӣ, робитаҳои мураккаб ва қиматҳои гумшуда доранд, метавонанд кори регрессияи логистикиро душвор кунанд.

Агар хоҳед асосҳои математикии регрессияи логистикиро бештар омӯзед, метавонед силсиладарсҳои «Statistics 101: Logistic Regression»-и Брэндон Фолтс — Brandon Foltz-ро дар YouTube (ба забони англисӣ) тамошо кунед.

Чиро бояд дар ёд дошт

• Регрессияи логистикӣ синфро пешгӯӣ мекунад, на ададро; бештар барои ду синф (ҳа/не, спам/ғайриспам) истифода мешавад.
• Модел аввал ҷамъи вазндори хусусиятҳоро ҳисоб мекунад: z = b + w₁x₁ + … + wₙxₙ. Сипас сигмоид z-ро ба эҳтимол байни 0 ва 1 табдил медиҳад: p = σ(z). Бо остонаи 0.5 эҳтимол ба синф табдил меёбад.
• Хати модел дар ин ҷо сарҳади қарор аст: нуқтаҳои як тарафи он ба як синф, нуқтаҳои тарафи дигар ба синфи дигар дохил мешаванд.
• Барои зиёда аз ду синф регрессияи логистикии бисёрсинфӣ ҳаст.
• Ба модел додаҳои бе қиматҳои гумшуда ва барои ҳар синф намунаҳои кофӣ (тақрибан 30–50) лозим аст.