KDD vs Data mining
KDD (Маалыматтар базаларында билимди ачуу) – санариптештирилген маалыматтардын чоң жыйнактарынан пайдалуу жана мурда белгисиз маалыматты (мисалы, билимди) алууга адамдарга жардам берүү үчүн инструменттерди жана теорияларды камтыган информатика тармагы. KDD бир нече кадамдардан турат жана алардын бири Data Mining. Data Mining бул маалыматтардан үлгүлөрдү алуу үчүн белгилүү бир алгоритмди колдонуу. Ошого карабастан, KDD жана Data Mining бири-биринин ордуна колдонулат.
KDD деген эмне?
Жогоруда айтылгандай, KDD – чийки маалыматтардан мурда белгисиз жана кызыктуу маалыматтарды алуу менен алектенген информатика тармагы. KDD - бул тиешелүү ыкмаларды же ыкмаларды иштеп чыгуу менен маалыматтардын маанисин табууга аракет кылуунун бүт процесси. Бул процесс төмөнкү деңгээлдеги маалыматтарды компакттуу, абстракттуу жана пайдалуу болгон башка формаларга түшүрүү менен алектенет. Бул кыска отчетторду түзүү, маалыматтарды генерациялоо процессин моделдөө жана келечектеги учурларды алдын ала айта ала турган болжолдуу моделдерди иштеп чыгуу аркылуу жетишилет. Берилиштердин экспоненциалдуу өсүшүнөн улам, айрыкча бизнес сыяктуу тармактарда, KDD бул чоң маалыматтарды бизнес-интеллектке айландыруу үчүн абдан маанилүү процесс болуп калды, анткени акыркы бир нече он жылдыкта үлгүлөрдү кол менен алуу мүмкүн эместей сезилет. Мисалы, учурда ал социалдык тармактарды талдоо, алдамчылыкты аныктоо, илим, инвестиция, өндүрүш, телекоммуникация, маалыматтарды тазалоо, спорт, маалымат издөө жана көбүнчө маркетинг үчүн колдонулат. KDD адатта Wal-Martта келерки жылы жогорку киреше алууга жардам бере турган негизги продуктылар кайсылар деген суроолорго жооп берүү үчүн колдонулат. Бул жараян бир нече кадамдарды камтыйт. Бул колдонмо доменин жана максатын түшүнүү жана андан кийин максаттуу маалыматтар топтомун түзүү менен башталат. Андан кийин маалыматтарды тазалоо, алдын ала иштетүү, кыскартуу жана проекциялоо жүргүзүлөт. Кийинки кадам үлгүнү аныктоо үчүн Data Mining (төмөндө түшүндүрүлгөн) колдонуу болуп саналат. Акырында, табылган билим визуалдаштыруу жана/же чечмелөө аркылуу бекемделет.
Data Mining деген эмне?
Жогоруда айтылгандай, Data Mining жалпы KDD процессиндеги бир кадам гана. Колдонмонун максаты менен аныкталган эки негизги Data Mining максаттары бар жана алар текшерүү же ачылыш болуп саналат. Текшерүү бул колдонуучунун маалыматтар жөнүндө гипотезасын текшерүү, ал эми ачылыш автоматтык түрдө кызыктуу үлгүлөрдү табуу. Маалыматтарды иштетүүнүн төрт негизги милдети бар: кластерлөө, классификациялоо, регрессия жана ассоциация (жыйынтыктоо). Кластерлөө структураланбаган маалыматтардан окшош топторду аныктоо болуп саналат. Классификация жаңы маалыматтарга колдонула турган үйрөнүү эрежелери. Регрессия – бул маалыматтарды моделдөө үчүн минималдуу ката менен функцияларды табуу. Ал эми ассоциация өзгөрмөлөр ортосундагы мамилелерди издеп жатат. Андан кийин, белгилүү бир маалыматтарды казып алуу алгоритмин тандоо керек. Максатка жараша сызыктуу регрессия, логистикалык регрессия, чечим дарактары жана Naïve Bayes сыяктуу ар кандай алгоритмдерди тандаса болот. Андан кийин бир же бир нече өкүлчүлүк формадагы кызыкчылыктын үлгүлөрү изделет. Акырында, моделдер болжолдуу тактык же түшүнүктүүлүк менен бааланат.
KDD менен Data mining ортосунда кандай айырма бар?
KDD жана Data Mining эки термини бири-бирин алмаштырып колдонулганына карабастан, алар бири-бирине байланыштуу, бирок бир аз башкача түшүнүктөрдү билдирет. KDD бул маалыматтардан билим алуунун жалпы процесси, ал эми Data Mining KDD процессинин ичиндеги бир кадам, ал маалыматтардагы үлгүлөрдү аныктоо менен алектенет. Башка сөз менен айтканда, Data Mining бул KDD процессинин жалпы максатына негизделген белгилүү бир алгоритмди колдонуу гана.
