Боби 3. Тоза кардани додаҳо

Дар ин боб меомӯзем

• Тозакунии додаҳо чист ва чаро он аз ҳама бештар вақт мегирад.
• Чӣ тавр хусусиятҳои нолозимро нест ва хусусиятҳои монандро якҷоя кардан мумкин аст.
• Фишурдани сатрҳо ва маҳдудиятҳои он.
• Табдил додани қиматҳои матнӣ ба ададӣ: рамзгузории one-hot ва binning.
• Нормализатсия ва стандартизатсия.
• Чӣ бояд кард, агар дар додаҳо қиматҳо гум бошанд.

Дар боби 2 дидем, ки модел аз мисолҳо меомӯзад. Аммо додаҳое, ки дар ҳаёти воқеӣ ҷамъ мешаванд, қариб ҳеҷ гоҳ барои омӯзиш тайёр нестанд: дар онҳо сутунҳои нолозим, қиматҳои такрорӣ, матн ба ҷойи адад ва ҷойҳои холӣ вомехӯранд. Пеш аз он ки ба алгоритмҳо гузарем, бояд бо додаҳо кор карданро омӯзем.

Мисли аксари меваҳо, маҷмӯаҳои додаҳо низ пеш аз истифода ба тозакунӣ ва коркарди инсон ниёз доранд. Ин раванди «тозакунӣ» дар омӯзиши мошинӣ ва бисёр самтҳои дигари илми додаҳо истифода шуда, дар соҳа тозакунии додаҳо — data scrubbing ном дорад.

Ин раванди техникии такмил додани маҷмӯи додаҳост, то кор бо он осонтар шавад. Он метавонад ислоҳ ё нест кардани додаҳои нопурра, дорои қолаби нодуруст, номарбут ё такрориро дар бар гирад. Ҳамчунин, метавонад табдил додани додаҳои матнӣ ба қиматҳои ададӣ ва аз нав тарҳрезӣ кардани хусусиятҳоро талаб кунад.

Барои мутахассисони додаҳо тозакунии додаҳо одатан аз ҳама бештар вақт ва заҳмат талаб мекунад.

Интихоби хусусиятҳо

Барои ба даст овардани натиҷаҳои беҳтарин аз додаҳо, бояд муайян кард, ки кадом тағйирёбандаҳо ба фарзия ё ҳадафи шумо бештар мувофиқанд. Дар амал ин маънои бодиққат интихоб кардани тағйирёбандаҳоеро дорад, ки ба модел дохил мекунед.

Нигоҳ доштани хусусиятҳое, ки бо қимати натиҷавӣ робитаи қавӣ надоранд, метавонад дақиқии моделро коҳиш диҳад ва онро ба роҳи нодуруст барад.

Порчаи зерини додаҳоро баррасӣ мекунем, ки аз kaggle.com гирифта шуда, забонҳои рӯ ба нобудиро дар бар мегирад.

Ҷадвали 3.1. Забонҳои зери хатари нобудӣ. Сутунҳо аз рӯйи маҷмӯи додаҳои Kaggle; қиматҳо тахминӣ ва барои мисол оварда шудаанд.

Фарз мекунем, ҳадафи мо муайян кардани тағйирёбандаҳоест, ки ба зери хатари нобудӣ қарор гирифтани забон таъсир мерасонанд.

Бо назардошти ҳадафи таҳлил, эҳтимол сутуни «Номи забон ба испанӣ» маълумоти муфиде намедиҳад. Аз ин рӯ, метавон ин вектор, яъне сутунро, аз маҷмӯи додаҳо нест кард. Ин амал аз мураккабшавии зиёдатӣ ва хатоҳои эҳтимолӣ пешгирӣ карда, суръати умумии коркарди моделро беҳтар мекунад.

Дуюм, маҷмӯи додаҳо маълумоти такрориро дар шакли ду сутуни ҷудогона — «Кишварҳо» ва «Рамзи кишвар» — нигоҳ медорад. Таҳлили ҳар ду сутун дониши иловагӣ намедиҳад. Бинобар ин, метавон якеро нест карда, дигареро нигоҳ дошт.

Роҳи дигари кам кардани шумораи хусусиятҳо якҷоя кардани чанд хусусият ба як хусусият мебошад. Мисоли зерин ин равишро нишон медиҳад.

Ҷадвали 3.2. Намунаи рӯйхати маҳсулот (1 — харидааст, 0 — нахаридааст).

Дар ҷадвали 3.2 рӯйхати маҳсулоте оварда шудааст, ки дар платформаи тиҷорати электронӣ фурӯхта мешаванд. Маҷмӯи додаҳо чор харидор ва ҳашт маҳсулотро дар бар мегирад.

Ин шумораи хурди харидорон ва маҳсулот аст, ки қисман ба маҳдудияти ҷой дар саҳифаҳои китоб вобаста мебошад. Дар платформаи воқеии тиҷорати электронӣ сутунҳо хеле бештар мебуданд, аммо ҳоло ҳамин мисоли содакардашударо истифода мебарем.

Барои самараноктар таҳлил кардани додаҳо, метавон хусусиятҳои монандро якҷоя карда, шумораи сутунҳоро кам кард. Масалан, метавон номҳои алоҳидаи маҳсулотро бардошта, ҳашт маҳсулотро бо шумораи камтари гурӯҳҳо ё зернавъҳо иваз намуд.

Азбаски ҳамаи маҳсулот ба бахши «фитнес» тааллуқ доранд, онҳоро аз рӯйи зернавъи маҳсулот гурӯҳбандӣ карда, ҳашт сутунро ба се сутун кам мекунем. Се сутуни нав чунинанд: «Ғизои солим», «Либос» ва «Маҳсулоти рақамӣ».

Ҷадвали 3.3. Рӯйхати маҳсулоти гурӯҳбандишуда (шумораи маҳсулоти харидашуда дар ҳар гурӯҳ).

Ин тағйирот имкон медиҳад, ки иттилоотро бо истифода аз шумораи камтари тағйирёбандаҳо нигоҳ дорем.

Камбудии ин равиш дар он аст, ки маълумоти мо дар бораи робитаи байни маҳсулоти мушаххас камтар мешавад. Ба ҷойи тавсия додани маҳсулот дар асоси робитаи байни маҳсулоти алоҳида, тавсияҳо ба робитаи байни зернавъҳои маҳсулот ё ба маҳсулоти ҳамон зернавъ асос меёбанд.

Бо вуҷуди ин, додаҳо ҳамоно мувофиқати баланди худро ба вазифа нигоҳ медоранд. Масалан, ба харидоре, ки ғизои солим ё либос мехарад, вобаста ба дараҷаи робитаи байни гурӯҳҳо, ғизои солим тавсия дода мешавад.

Албатта, ба ӯ китоби дарсии омӯзиши мошинӣ тавсия намешавад — магар ин ки дар ҳақиқат байни онҳо робитаи қавӣ вуҷуд дошта бошад! Аммо чунин тағйирёбанда ё гурӯҳ ба маҷмӯи додаҳои мазкур дохил нест.

Дар хотир доред, ки кам кардани ҳаҷми додаҳо инчунин қарори тиҷоратӣ мебошад. Соҳибони тиҷорат бояд дар машварат бо гурӯҳи илми додаҳо мувозинати байни осонии кор ва дақиқии умумии моделро ба назар гиранд.

Фишурдани сатрҳо

Илова ба интихоби хусусиятҳо, шояд лозим шавад, ки шумораи сатрҳо ва ба ин васила шумораи умумии намунаҳои додаҳоро кам кунед.

Ин кор метавонад якҷоя кардани ду ё чанд сатрро дар бар гирад. Масалан, дар маҷмӯи додаҳои зерин сатрҳои «Паланг» ва «Шер» якҷоя шуда, «Гӯштхӯр» ном гирифтаанд.

Ҷадвали 3.4. Намунаи якҷоя кардани сатрҳо.

Ҳангоми якҷоя кардани ин ду сатр, қиматҳои хусусиятҳои онҳо низ бояд муттаҳид шуда, дар як сатр сабт шаванд.

Дар ин мисол якҷоякунӣ имконпазир аст, зеро ҳар ду сатр барои ҳамаи хусусиятҳо қиматҳои гурӯҳии яксон доранд, ба истиснои «Вақти давидан», ки онро ба осонӣ ҷамъбаст кардан мумкин аст. Барои ин вақти давидани паланг ва шерро ҷамъ карда, ба ду тақсим мекунем.

Қиматҳои ададиро, агар маънои гурӯҳӣ надошта бошанд, одатан ба осонӣ ҷамъбаст кардан мумкин аст. Масалан, якҷоя кардани ҳайвони чорпоя ва ҳайвони дупоя бо ин усул дуруст нест. Мо наметавонем онҳоро муттаҳид карда, шумораи пойҳоро «се» гузорем.

Фишурдани сатрҳо дар ҳолатҳое, ки қиматҳои ададӣ вуҷуд надоранд, низ душвор мешавад.

Масалан, якҷоя кардани қиматҳои «Ҷопон» ва «Аргентина» осон нест. Аммо «Ҷопон» ва «Кореяи Ҷанубӣ»-ро метавон дар гурӯҳи умумии «Осиё» ё «Осиёи Шарқӣ» ҷой дод.

Бо вуҷуди ин, агар «Покистон» ва «Индонезия»-ро низ ба ҳамин гурӯҳ илова кунем, натиҷаҳо метавонанд таҳриф шаванд, зеро байни ин чор кишвар фарқиятҳои назарраси фарҳангӣ, динӣ, иқтисодӣ ва дигар тафовутҳо мавҷуданд.

Ҳамин тавр, якҷоя кардани қиматҳои ғайриададӣ ва гурӯҳӣ бо нигоҳ доштани маънои аслии додаҳо метавонад мушкил бошад. Фишурдани сатрҳо одатан нисбат ба фишурдани хусусиятҳо душвортар аст, махсусан дар маҷмӯаҳои додаҳое, ки хусусиятҳои зиёд доранд.

Рамзгузории one-hot

Пас аз муайян кардани хусусиятҳо ва сатрҳое, ки ба модел дохил мешаванд, қадами навбатӣ ёфтани қиматҳои матниест, ки онҳоро ба адад табдил додан мумкин аст.

Ба истиснои қиматҳои муайяне ба монанди True ва False, ки метавонанд мутаносибан ба 1 ва 0 табдил дода шаванд, аксари алгоритмҳо мустақиман бо додаҳои ғайриададӣ кор намекунанд.

Яке аз роҳҳои табдил додани қиматҳои матнӣ ба ададӣ рамзгузории one-hot мебошад. Ин усул қиматҳоро ба шакли дуӣ табдил медиҳад: 1 ё 0, яъне «дуруст» ё «нодуруст».

Қимати 0 нишон медиҳад, ки намуна ба гурӯҳи муайян тааллуқ надорад. Қимати 1, ки онро «фаъол» ё hot низ меноманд, тааллуқ доштани намунаро ба он гурӯҳ тасдиқ мекунад.

Дар зер порчаи дигари маҷмӯи додаҳои забонҳои рӯ ба нобудӣ оварда шудааст, ки бо он тарзи кори one-hot-ро мушоҳида мекунем.

Ҷадвали 3.5. Забонҳои зери хатари нобудӣ (қиматҳо тахминӣ).

Пеш аз оғоз диққат диҳед, ки қиматҳои сутуни «Шумораи гӯяндагон» вергул ё фосила надоранд. Яъне, онҳо ба шаклҳои 7,500,000 ё 7 500 000 навишта нашудаанд.

Гарчанде чунин қолаббандӣ хондани ададҳои калонро барои инсон осон мекунад, забонҳои барномасозӣ ба он ниёз надоранд. Вобаста ба забони барномасозӣ, чунин навишти адад метавонад боиси хатои синтаксисӣ ё натиҷаи номатлуб гардад. Аз ин рӯ, барои коркарди барномавӣ ададҳоро бе ҷудокунандаҳои ороишӣ нигоҳ доред.

Аммо дар марҳилаи намоиши додаҳо метавонед фосила ё вергул илова кунед. Ин кор фаҳмидани ададҳоро барои шунавандагон осон мекунад, махсусан вақте ададҳо калонанд.

Дар тарафи рости ҷадвал сутуне мавҷуд аст, ки дараҷаи хатари нобудии нӯҳ забони гуногунро нишон медиҳад. Ин сутунро метавон бо истифода аз рамзгузории one-hot ба қиматҳои ададӣ табдил дод.

Ҷадвали 3.6. Намунаи рамзгузории one-hot.

Пас аз рамзгузории one-hot маҷмӯи додаҳо панҷ сутун дорад. Аз хусусияти аслии «Дараҷаи хатари нобудӣ» се хусусияти нав сохта шудааст.

Қимати ҳар сутуни нав вобаста ба қимати хусусияти аслӣ 1 ё 0 гузошта мешавад. Акнун метавон додаҳоро ба модел ворид карда, аз доираи васеътари алгоритмҳои омӯзиши мошинӣ истифода бурд.

Камбудӣ ин аст, ки шумораи хусусиятҳо зиёд мешавад ва вақти коркард метавонад андаке дарозтар гардад. Одатан ин мушкили ҷиддӣ нест, аммо вақте хусусиятҳои аслӣ ба шумораи хеле зиёди хусусиятҳои нав ҷудо мешаванд, метавонад мушкил эҷод кунад.

Яке аз роҳҳои кам кардани шумораи умумии хусусиятҳо истифодаи танҳо як сутун барои ҳолатҳои дуӣ мебошад.

Масалан, маҷмӯи додаҳои мулоқотҳои кӯтоҳи шиносоӣ дар kaggle.com ҷинсро дар як сутун рамзгузорӣ мекунад. Ба ҷойи сохтани ду сутуни ҷудогона барои «Мард» ва «Зан», барои онҳо як сутун истифода шудааст.

Мувофиқи шарҳи маҷмӯи додаҳо, занон бо 0 ва мардон бо 1 нишон дода шудаанд. Муаллифи маҷмӯи додаҳо ҳамин равишро барои хусусиятҳои «Ҳамнажод будан» ва «Мувофиқат» низ истифода кардааст.

Ҷадвали 3.7. Натиҷаҳои мулоқотҳои кӯтоҳи шиносоӣ. Сутунҳо аз рӯйи маҷмӯи додаҳои Kaggle; сатрҳо барои мисол.

Гурӯҳбандӣ ба фосилаҳо — Binning

Binning, ки онро bucketing низ меноманд, усули дигари муҳандисии хусусиятҳост. Дар ин усул қиматҳои ададии пайваста аз рӯйи фосилаи қиматҳояшон ба гурӯҳҳо ё «сабадҳо» ҷудо шуда, метавонанд ба хусусиятҳои дуӣ табдил дода шаванд.

Шояд пурсед: магар қиматҳои ададӣ хуб нестанд?

Бале, дар аксари ҳолатҳо қиматҳои ададии пайваста бартарӣ доранд, зеро бо доираи васеътари алгоритмҳо мувофиқанд. Аммо вақте онҳо фарқиятҳоеро нишон медиҳанд, ки ба ҳадафи таҳлили шумо аҳамият надоранд, истифодаи ҷузъиёти пурраи онҳо метавонад номувофиқ бошад.

Арзёбии нархи хонаро мисол мегирем. Ҳангоми муайян кардани арзиши хона, андозаи дақиқи майдони теннис шояд аҳамияти зиёд надошта бошад. Маълумоти муҳимтар ин аст, ки хона майдони теннис дорад ё не.

Эҳтимол ҳамин мантиқ ба гараж ва ҳавзи шиноварӣ низ дахл дошта бошад: мавҷуд ё набудани онҳо одатан нисбат ба андозаи мушаххасашон таъсири бештар дорад.

Дар ин ҳолат метавон андозаҳои ададии майдони теннисро бо хусусияти «Ҳа/Не» ё қиматҳои гурӯҳие ба монанди «хурд», «миёна» ва «калон» иваз кард.

Роҳи дигар истифодаи рамзгузории дуӣ мебошад: барои хонаҳои бе майдони теннис 0 ва барои хонаҳои дорои майдони теннис 1 гузошта мешавад.

Нормализатсия

Гарчанде алгоритмҳои омӯзиши мошинӣ бе ду усули навбатӣ низ кор карда метавонанд, нормализатсия ва стандартизатсия ҳангоми истифода бо алгоритми мувофиқ ба беҳтар шудани дақиқии модел ёрӣ медиҳанд.

Нормализатсия қиматҳои хусусияти муайянро ба фосилаи муқарраршудае меорад, ки ҳадди ақал ва ҳадди аксари муайян дорад. Масалан:

• аз 0 то 1;
• аз −1 то 1.

Бо маҳдуд кардани фосилаи қиматҳо, ин усул таъсири фарқияти миқёсҳои хусусиятҳоро кам мекунад. Дар акси ҳол, воҳиди ченак метавонад фарқияти байни қиматҳоро аз ҳад калон ё хурд нишон диҳад.

Масалан, хусусияте, ки бо сантиметр чен шудааст, метавонад диққати алгоритмро аз хусусияти дигаре дур кунад, ки тағйирпазирии монанд ё бештар дорад, аммо бо метр чен шудааст. Дар чунин ҳолат ададҳои хурдтар метавонанд тағйирпазирии воқеии хусусиятро камтар нишон диҳанд.

Аммо нормализатсия одатан барои хусусиятҳое, ки қиматҳои фавқулода дур аз ҳам доранд, тавсия намешавад. Сабаб ин аст, ки фосилаи нави маҳдуд метавонад фарқи байни қиматҳои маъмулиро хеле фишурда кунад.

Стандартизатсия

Усули дуюми тағйир додани миқёс стандартизатсия мебошад.

Дар ин усул қиматҳо тавре тағйир дода мешаванд, ки миёна ба сифр ва инҳирофи стандартӣ — σ — ба як баробар шавад.

Стандартизатсия қиматҳоро ба фосилаи собит маҳдуд намекунад. Барои ҳамин қимати хеле баланд ё хеле паст фишурда намешавад ва ҳамчун қимате ифода мегардад, ки аз миёна ба андозаи се ё зиёда инҳирофи стандартӣ дур аст.

Аммо стандартизатсия таъсири нуқтаҳои ғайримуқаррариро бартараф ҳам намекунад. Миёна ва инҳирофи стандартӣ худашон аз рӯйи ҳамаи қиматҳо ҳисоб мешаванд, бинобар ин чанд қимати хеле дур онҳоро тағйир медиҳанд ва миқёси қиматҳои маъмулӣ низ иваз мешавад. Агар дар додаҳо нуқтаҳои ғайримуқаррарии зиёд бошанд, усулҳое, ки ба медиана ва фосилаи байни чорякҳо такя мекунанд, масалан, RobustScaler дар Scikit-learn, мувофиқтаранд.

Расми 3.1. Намунаҳои тағйир додани миқёси додаҳо бо истифода аз нормализатсия ва стандартизатсия.

Вақте тақсимоти қиматҳои хусусият шакли зангӯлаи тақсимоти нормалиро дорад, стандартизатсия одатан нисбат ба нормализатсия самараноктар аст. Он аксар вақт дар омӯзиши беназорат истифода мешавад.

Дар ҳолатҳои дигар метавон нормализатсия ва стандартизатсияро алоҳида татбиқ карда, натиҷаҳои онҳоро аз рӯйи дақиқӣ муқоиса намуд.

Стандартизатсия одатан ҳангоми омода кардани додаҳо барои усулҳои зерин тавсия мешавад:

• мошинҳои векторҳои такягоҳӣ — SVM;
• таҳлили ҷузъҳои асосӣ — PCA;
• усули k ҳамсояи наздиктарин — k-NN.

Додаҳои гумшуда

Кор бо додаҳои гумшуда ҳеҷ гоҳ вазъияти дилхоҳ нест. Тасаввур кунед, ки қуттии муаммои тасвириро мекушоед, аммо панҷ дарсади пораҳои он намерасанд.

Қиматҳои гумшудаи маҷмӯи додаҳо низ метавонанд ҳамин қадар нороҳаткунанда бошанд ва ба таҳлил ва пешгӯиҳои модел халал расонанд. Бо вуҷуди ин, барои кам кардани таъсири манфии онҳо чанд роҳ вуҷуд дорад.

Яке аз роҳҳо иваз кардани қиматҳои гумшуда бо мода мебошад. Мода қиматест, ки дар маҷмӯи додаҳо аз ҳама бештар такрор мешавад.

Ин равиш барои тағйирёбандаҳои гурӯҳӣ ва дуӣ бештар мувофиқ аст. Масалан:

• низоми баҳогузорӣ аз як то панҷ ситора;
• натиҷаи мусбат ё манфии санҷиши маводи мухаддир.

Роҳи дуюм иваз кардани қиматҳои гумшуда бо медиана мебошад. Медиана қимати миёнаҷойи додаҳо пас аз ба тартиб даровардани онҳост. Агар шумораи қиматҳо ҷуфт бошад, миёнаи ду қимати миёнаҷой гирифта мешавад.

Расми 3.2. Намоиши мода ва медиана: дар қатори 1, 3, 3, 3, 4, 6, 7, 8, 9 мода 3 ва медиана 4 аст.

Ин равиш барои тағйирёбандаҳои пайваста, ки метавонанд қиматҳои бисёр дошта бошанд, масалан, нархи хонаҳо, бештар мувофиқ аст.

Ҳамчун чораи охирин метавон сатрҳои дорои қиматҳои гумшударо пурра нест кард. Камбудии равшани ин равиш он аст, ки барои таҳлил додаҳои камтар боқӣ мемонанд ва дониши ҳосилшуда метавонад камтар фарогир бошад.

Огоҳӣ. Мода, медиана, ҳадди ақал ва ҳадди аксар барои нормализатсия, миёна ва инҳирофи стандартӣ барои стандартизатсия — ҳамаи ин қиматҳо аз худи додаҳо ҳисоб карда мешаванд. Онҳоро аз тамоми маҷмӯа ҳисоб накунед: аввал додаҳоро ба қисмҳои омӯзишӣ ва санҷишӣ тақсим кунед, қиматҳоро танҳо аз қисми омӯзишӣ ёбед ва баъд ба ҳарду қисм татбиқ кунед. Сабабашро дар боби 4, дар қисми «Нашти иттилоот», мебинем. Қадамҳое, ки аз додаҳо чизе намеомӯзанд, масалан, нест кардани сутунҳои нолозим, пеш аз тақсимкунӣ ҳам бехатаранд.

Чиро бояд дар ёд дошт

• Пеш аз омӯзиш додаҳоро тоза мекунанд: сутунҳои нолозим ё такрориро нест мекунанд ва хусусиятҳои монандро якҷоя месозанд.
• Аксари алгоритмҳо танҳо бо адад кор мекунанд; матнро бо рамзгузории one-hot ба сутунҳои 0 ва 1 табдил медиҳанд.
• Нормализатсия қиматҳоро ба фосилаи муайян (масалан, аз 0 то 1) меорад; стандартизатсия онҳоро тавре тағйир медиҳад, ки миёна 0 ва инҳирофи стандартӣ 1 шавад.
• Қиматҳои гумшударо бо мода (барои додаҳои гурӯҳӣ) ё медиана (барои додаҳои пайваста) иваз мекунанд; нест кардани сатрҳо чораи охирин аст.
• Мода, медиана ва қиматҳои миқёсро танҳо аз додаҳои омӯзишӣ ҳисоб мекунанд ва баъд ба додаҳои санҷишӣ татбиқ менамоянд (ниг. ба боби 4).