تحلیل تکنیکال
دادهکاوی چیست؟
دادهکاوی فرآیندی برای کشف الگوها و دانش پنهان در دادههای بزرگ با استفاده از تکنیکهایی مانند دستهبندی، خوشهبندی و تحلیل پیشبینیکننده است.
دادهکاوی شامل بررسی و تحلیل حجم زیادی از اطلاعات برای استخراج الگوها و روندهای معنادار است. این روش در مدیریت ریسک اعتباری، تشخیص تقلب و فیلتر کردن اسپم استفاده میشود. همچنین ابزاری برای تحقیقات بازار است که به آشکار کردن احساسات یا نظرات گروه مشخصی از افراد کمک میکند. فرآیند دادهکاوی به چهار مرحله تقسیم میشود:
- دادهها جمعآوری و در انبارهای داده در محل یا در یک سرویس ابری بارگذاری میشوند.
- تحلیلگران کسبوکار، تیمهای مدیریتی و متخصصان فناوری اطلاعات به دادهها دسترسی پیدا میکنند و نحوه سازماندهی آنها را تعیین میکنند.
- نرمافزار کاربردی سفارشی، دادهها را مرتب و سازماندهی میکند.
- کاربر نهایی دادهها را در قالبی با قابلیت اشتراک آسان، مانند نمودار یا جدول، ارائه میدهد.
نرمافزار انبارداری و دادهکاوی
برنامههای دادهکاوی روابط و الگوها را در دادهها بر اساس درخواستهای کاربر تجزیه و تحلیل میکنند. این برنامهها اطلاعات را به دستههای مختلف سازماندهی میکنند.به عنوان مثال، یک رستوران ممکن است بخواهد از دادهکاوی برای تعیین اینکه چه غذاهای ویژهای را در چه روزهایی ارائه دهد، استفاده کند. دادهها را میتوان بر اساس زمان مراجعه مشتریان و آنچه سفارش میدهند، به دستههای مختلف تقسیم کرد.در موارد دیگر، دادهکاوان خوشههای اطلاعات را بر اساس روابط منطقی پیدا میکنند یا به ارتباطات و الگوهای متوالی نگاه میکنند تا در مورد روندهای رفتار مصرفکننده نتیجهگیری کنند.انبارداری جنبه مهمی از دادهکاوی است. انبارداری به معنای تمرکز دادههای یک سازمان در یک پایگاه داده یا برنامه است. این امر به سازمان اجازه میدهد تا بخشهایی از دادهها را برای تجزیه و تحلیل و استفاده کاربران خاص بر اساس نیازهایشان جدا کند.راهحلهای انبار داده ابری از فضا و قدرت یک ارائهدهنده ابری برای ذخیره دادهها استفاده میکنند. این امر به شرکتهای کوچکتر اجازه میدهد تا از راهحلهای دیجیتال برای ذخیرهسازی، امنیت و تجزیه و تحلیل استفاده کنند.
تکنیکهای دادهکاوی
دادهکاوی از الگوریتمها و تکنیکهای مختلف دیگر برای تبدیل مجموعههای بزرگ داده به خروجی مفید استفاده میکند. محبوبترین انواع تکنیکهای دادهکاوی شامل قوانین انجمنی، دستهبندی، خوشهبندی، درختهای تصمیم، K-نزدیکترین همسایه، شبکههای عصبی و تحلیل پیشبینیکننده است.
- قوانین انجمنی: که به آن تحلیل سبد بازار نیز گفته میشود، به دنبال روابط بین متغیرها است. این رابطه به خودی خود ارزش اضافی در مجموعه داده ایجاد میکند زیرا تلاش میکند قطعات داده را به هم مرتبط کند. به عنوان مثال، قوانین انجمنی تاریخچه فروش یک شرکت را جستجو میکند تا ببیند کدام محصولات معمولاً با هم خریداری میشوند. با این اطلاعات، فروشگاهها میتوانند برنامهریزی، تبلیغ و پیشبینی کنند.
- دستهبندی: از دستههای از پیش تعریف شده برای اختصاص به اشیاء استفاده میکند. این دستهها ویژگیهای موارد را توصیف میکنند یا نشان میدهند که نقاط داده چه چیزی با یکدیگر مشترک دارند. این تکنیک دادهکاوی به دستهبندی و خلاصه کردن منظمتر دادههای زیربنایی در ویژگیها یا خطوط تولید مشابه کمک میکند.
- خوشهبندی: مشابه دستهبندی است. با این حال، خوشهبندی شباهتها بین اشیاء را شناسایی میکند، سپس آن موارد را بر اساس آنچه آنها را از موارد دیگر متمایز میکند، گروهبندی میکند. در حالی که دستهبندی ممکن است منجر به گروههایی مانند "شامپو"، "نرمکننده"، "صابون" و "خمیر دندان" شود، خوشهبندی ممکن است گروههایی مانند "مراقبت از مو" و "بهداشت دهان و دندان" را شناسایی کند.
- درختهای تصمیم: برای دستهبندی یا پیشبینی یک نتیجه بر اساس مجموعهای از معیارها یا تصمیمات از پیش تعیین شده استفاده میشوند. یک درخت تصمیم برای درخواست ورودی مجموعهای از سؤالات آبشاری استفاده میشود که مجموعه داده را بر اساس پاسخهای داده شده مرتب میکند. درخت تصمیم که گاهی به صورت تصویری شبیه درخت نشان داده میشود، هنگام بررسی عمیقتر دادهها، جهت خاص و ورودی کاربر را فراهم میکند.
- K-نزدیکترین همسایه (KNN): الگوریتمی است که دادهها را بر اساس مجاورت آنها با سایر دادهها دستهبندی میکند. اساس KNN ریشه در این فرض دارد که نقاط دادهای که به یکدیگر نزدیک هستند، بیشتر از سایر بیتهای داده به یکدیگر شبیه هستند. این تکنیک غیرپارامتری و نظارت شده برای پیشبینی ویژگیهای یک گروه بر اساس نقاط داده فردی استفاده میشود.
- شبکههای عصبی: دادهها را از طریق استفاده از گرهها پردازش میکنند. این گرهها از ورودیها، وزنها و یک خروجی تشکیل شدهاند. دادهها از طریق یادگیری نظارت شده، مشابه نحوه اتصال مغز انسان، نگاشت میشوند. این مدل را میتوان به گونهای برنامهریزی کرد که مقادیر آستانه را برای تعیین دقت یک مدل ارائه دهد.
- تحلیل پیشبینیکننده: تلاش میکند تا از اطلاعات تاریخی برای ساخت مدلهای گرافیکی یا ریاضی برای پیشبینی نتایج آینده استفاده کند. این تکنیک که با تحلیل رگرسیون همپوشانی دارد، هدفش پشتیبانی از یک رقم ناشناخته در آینده بر اساس دادههای فعلی موجود است.
فرآیند دادهکاوی
برای بیشترین اثربخشی، تحلیلگران داده معمولاً جریان خاصی از وظایف را در طول فرآیند دادهکاوی دنبال میکنند. بدون این ساختار، یک تحلیلگر ممکن است در اواسط تجزیه و تحلیل خود با مشکلی روبرو شود که به راحتی میتوانست با آمادگی قبلی از آن جلوگیری کند. فرآیند دادهکاوی معمولاً به مراحل زیر تقسیم میشود.
- مرحله 1: درک کسبوکار: قبل از هرگونه دست زدن، استخراج، پاکسازی یا تجزیه و تحلیل دادهها، مهم است که نهاد زیربنایی و پروژه در دست را درک کنیم. اهدافی که شرکت با دادهکاوی به دنبال دستیابی به آنهاست چیست؟ وضعیت فعلی کسبوکار آنها چیست؟ یافتههای یک تحلیل SWOT چیست؟ قبل از نگاه کردن به هر دادهای، فرآیند دادهکاوی با درک آنچه موفقیت را در پایان فرآیند تعریف میکند، شروع میشود.
- مرحله 2: درک دادهها: هنگامی که مشکل کسبوکار به وضوح تعریف شد، زمان شروع فکر کردن در مورد دادهها فرا میرسد. این شامل منابع موجود، نحوه ایمنسازی و ذخیره آنها، نحوه جمعآوری اطلاعات و شکل ظاهری نتیجه یا تجزیه و تحلیل نهایی است. این مرحله همچنین شامل تعیین محدودیتهای داده، ذخیرهسازی، امنیت و جمعآوری و ارزیابی چگونگی تأثیر این محدودیتها بر فرآیند دادهکاوی است.
- مرحله 3: آمادهسازی دادهها: دادهها جمعآوری، بارگذاری، استخراج یا محاسبه میشوند. سپس پاک میشوند، استاندارد میشوند، برای یافتن دادههای پرت بررسی میشوند، از نظر اشتباهات ارزیابی میشوند و از نظر منطقی بودن بررسی میشوند. در این مرحله از دادهکاوی، دادهها ممکن است از نظر اندازه نیز بررسی شوند زیرا یک مجموعه اطلاعات بیش از حد بزرگ ممکن است محاسبات و تجزیه و تحلیل را بیجهت کند کند.
- مرحله 4: ساخت مدل: با داشتن یک مجموعه داده تمیز، زمان انجام محاسبات فرا میرسد. دانشمندان داده از انواع دادهکاوی ذکر شده در بالا برای جستجوی روابط، روندها، ارتباطات یا الگوهای متوالی استفاده میکنند. دادهها همچنین ممکن است به مدلهای پیشبینیکننده وارد شوند تا ارزیابی شود که چگونه بیتهای قبلی اطلاعات ممکن است به نتایج آینده تبدیل شوند.
- مرحله 5: ارزیابی نتایج: جنبه داده محور دادهکاوی با ارزیابی یافتههای مدل یا مدلهای داده به پایان میرسد. نتایج حاصل از تجزیه و تحلیل ممکن است جمعآوری، تفسیر و به تصمیمگیرندگانی ارائه شود که تا این مرحله عمدتاً از فرآیند دادهکاوی کنار گذاشته شدهاند. در این مرحله، سازمانها میتوانند تصمیماتی را بر اساس یافتهها بگیرند.
- مرحله 6: اجرای تغییر و نظارت: فرآیند دادهکاوی با انجام اقداماتی توسط مدیریت در پاسخ به یافتههای تجزیه و تحلیل به پایان میرسد. شرکت ممکن است تصمیم بگیرد که اطلاعات به اندازه کافی قوی نبوده یا یافتهها مرتبط نبودهاند، یا شرکت ممکن است به صورت استراتژیک بر اساس یافتهها تغییر مسیر دهد. در هر صورت، مدیریت تأثیرات نهایی کسبوکار را بررسی میکند و با شناسایی مشکلات یا فرصتهای جدید کسبوکار، حلقههای دادهکاوی آینده را دوباره ایجاد میکند.
مدلهای مختلف پردازش دادهکاوی مراحل متفاوتی خواهند داشت، اگرچه روند کلی معمولاً بسیار مشابه است. به عنوان مثال، مدل پایگاههای داده کشف دانش دارای نه مرحله، مدل CRISP-DM دارای شش مرحله و مدل فرآیند SEMMA دارای پنج مرحله است.
کاربردهای دادهکاوی
در عصر اطلاعات امروزی، تقریباً هر بخش، صنعت، بخش یا شرکتی میتواند از دادهکاوی استفاده کند.
- فروش: دادهکاوی استفاده هوشمندانهتر و کارآمدتر از سرمایه را برای افزایش درآمد تشویق میکند. صندوق فروش در کافیشاپ محلی مورد علاقه خود را در نظر بگیرید. برای هر فروش، آن کافیشاپ زمان خرید و محصولات فروخته شده را جمعآوری میکند. با استفاده از این اطلاعات، فروشگاه میتواند به صورت استراتژیک خط تولید خود را طراحی کند.
- بازاریابی: هنگامی که کافیشاپ خط تولید ایدهآل خود را شناخت، زمان اجرای تغییرات فرا میرسد. با این حال، برای مؤثرتر کردن تلاشهای بازاریابی خود، فروشگاه میتواند از دادهکاوی برای درک اینکه مشتریانش تبلیغات را کجا میبینند، کدام گروههای جمعیتی را هدف قرار دهند، تبلیغات دیجیتال را کجا قرار دهند و کدام استراتژیهای بازاریابی بیشترین تأثیر را بر مشتریان دارند، استفاده کند. این شامل هماهنگ کردن کمپینهای بازاریابی، پیشنهادات تبلیغاتی، پیشنهادات فروش متقابل و برنامهها با یافتههای دادهکاوی است.
- تولید: برای شرکتهایی که کالاهای خود را تولید میکنند، دادهکاوی نقش مهمی در تجزیه و تحلیل میزان هزینه هر ماده خام، اینکه کدام مواد به طور مؤثرتری استفاده میشوند، نحوه صرف زمان در طول فرآیند تولید و اینکه کدام گلوگاهها تأثیر منفی بر فرآیند دارند، ایفا میکند. دادهکاوی به اطمینان از جریان بدون وقفه کالاها کمک میکند.
- تشخیص تقلب: هسته اصلی دادهکاوی یافتن الگوها، روندها و همبستگیهایی است که نقاط داده را به هم مرتبط میکنند. بنابراین، یک شرکت میتواند از دادهکاوی برای شناسایی دادههای پرت یا همبستگیهایی که نباید وجود داشته باشند، استفاده کند. به عنوان مثال، یک شرکت ممکن است جریان نقدی خود را تجزیه و تحلیل کند و یک تراکنش مکرر به یک حساب ناشناخته را پیدا کند. اگر این غیرمنتظره باشد، شرکت ممکن است بخواهد بررسی کند که آیا بودجه به درستی مدیریت نمیشود یا خیر.
- منابع انسانی: بخشهای منابع انسانی اغلب طیف گستردهای از دادهها را برای پردازش در اختیار دارند، از جمله دادههای مربوط به حفظ کارکنان، ارتقاء، محدوده حقوق، مزایای شرکت، استفاده از آن مزایا و نظرسنجیهای رضایت کارکنان. دادهکاوی میتواند این دادهها را با هم مرتبط کند تا درک بهتری از چرایی ترک کارمندان و آنچه استخدامکنندگان جدید را جذب میکند، به دست آورد.
- خدمات مشتری: رضایت مشتری ممکن است ناشی از (یا نابود شده توسط) بسیاری از رویدادها یا تعاملات باشد. شرکتی را تصور کنید که کالا حمل میکند. یک مشتری ممکن است از زمان حمل و نقل، کیفیت حمل و نقل یا ارتباطات ناراضی باشد. همین مشتری ممکن است از طولانی بودن زمان انتظار تلفن یا پاسخهای کند ایمیل ناامید شود. دادهکاوی اطلاعات عملیاتی در مورد تعاملات مشتری را جمعآوری میکند و یافتهها را برای مشخص کردن نقاط ضعف و برجسته کردن کارهایی که شرکت به درستی انجام میدهد، خلاصه میکند.
مزایا و معایب دادهکاوی
مزایای دادهکاوی
- سودآوری و کارایی را افزایش میدهد.
- میتواند برای هر نوع داده و مشکل کسبوکار اعمال شود.
- میتواند اطلاعات و روندهای پنهان را آشکار کند.
معایب دادهکاوی
- پیچیده است.
- نتایج و مزایا تضمین شده نیستند.
- میتواند پرهزینه باشد.
توضیح مزایا
- سودآوری و کارایی: دادهکاوی تضمین میکند که یک شرکت دادههای قابل اعتماد را جمعآوری و تجزیه و تحلیل میکند. این اغلب یک فرآیند دقیقتر و ساختاریافتهتر است که به طور رسمی یک مشکل را شناسایی میکند، دادههای مربوط به مشکل را جمعآوری میکند و تلاش میکند راه حلی ارائه دهد. بنابراین، دادهکاوی به یک کسبوکار کمک میکند تا سودآورتر، کارآمدتر یا از نظر عملیاتی قویتر شود.
- کاربردهای گسترده: دادهکاوی میتواند در برنامههای مختلف بسیار متفاوت به نظر برسد، اما فرآیند کلی تقریباً با هر برنامه جدید یا قدیمی قابل استفاده است. اساساً هر نوع دادهای را میتوان جمعآوری و تجزیه و تحلیل کرد و تقریباً به هر مشکل کسبوکاری که به شواهد قابل اندازهگیری متکی است، میتوان با استفاده از دادهکاوی پرداخت.
- اطلاعات و روندهای پنهان: هدف نهایی دادهکاوی این است که بیتهای خام اطلاعات را بگیرد و تعیین کند که آیا انسجام یا همبستگی بین دادهها وجود دارد یا خیر. این مزیت دادهکاوی به یک شرکت اجازه میدهد تا با اطلاعاتی که در اختیار دارد و در غیر این صورت چندان آشکار نخواهد بود، ارزش ایجاد کند. اگرچه مدلهای داده میتوانند پیچیده باشند، اما میتوانند نتایج شگفتانگیزی نیز به دست آورند، روندهای پنهان را کشف کنند و استراتژیهای منحصر به فردی را پیشنهاد دهند.
توضیح معایب
- پیچیدگی: پیچیدگی دادهکاوی یکی از بزرگترین معایب آن است. تجزیه و تحلیل دادهها اغلب به مجموعههای مهارت فنی و ابزارهای نرمافزاری خاص نیاز دارد. شرکتهای کوچکتر ممکن است این را مانعی برای ورود بدانند که غلبه بر آن بسیار دشوار است.
- بدون تضمین: دادهکاوی همیشه به معنای نتایج تضمین شده نیست. یک شرکت ممکن است تجزیه و تحلیل آماری انجام دهد، بر اساس دادههای قوی نتیجهگیری کند، تغییراتی را اعمال کند و هیچ منفعتی نبرد. این ممکن است به دلیل یافتههای نادرست، تغییرات بازار، خطاهای مدل یا جمعیتهای داده نامناسب باشد. دادهکاوی فقط میتواند تصمیمات را هدایت کند و نتایج را تضمین نکند.
- هزینه بالا: همچنین یک جزء هزینه برای دادهکاوی وجود دارد. ابزارهای داده ممکن است به اشتراکهای پرهزینه نیاز داشته باشند و به دست آوردن برخی از دادهها ممکن است گران باشد. نگرانیهای مربوط به امنیت و حریم خصوصی را میتوان برطرف کرد، اگرچه زیرساختهای اضافی فناوری اطلاعات نیز ممکن است پرهزینه باشند. دادهکاوی همچنین ممکن است هنگام استفاده از مجموعههای داده بزرگ بسیار مؤثر باشد. با این حال، این مجموعههای داده باید ذخیره شوند و برای تجزیه و تحلیل به قدرت محاسباتی زیادی نیاز دارند.
حتی شرکتهای بزرگ یا آژانسهای دولتی نیز با دادهکاوی چالشهایی دارند. مقاله سفید FDA در مورد دادهکاوی را در نظر بگیرید که چالشهای اطلاعات بد، دادههای تکراری، گزارشدهی کم یا گزارشدهی بیش از حد را تشریح میکند.
دادهکاوی و رسانههای اجتماعی
یکی از سودآورترین کاربردهای دادهکاوی توسط شرکتهای رسانههای اجتماعی انجام شده است. پلتفرمهایی مانند فیسبوک، تیکتاک، اینستاگرام و ایکس (توییتر سابق) حجم عظیمی از دادهها را در مورد کاربران خود بر اساس فعالیتهای آنلاین آنها جمعآوری میکنند.این دادهها میتوانند برای استنباط در مورد ترجیحات آنها استفاده شوند. تبلیغکنندگان میتوانند پیامهای خود را برای افرادی که به نظر میرسد به احتمال زیاد پاسخ مثبت میدهند، هدف قرار دهند.دادهکاوی در رسانههای اجتماعی به یک نقطه بحث بزرگ تبدیل شده است، با چندین گزارش تحقیقی و افشاگری نشان میدهد که دادهکاوی دادههای کاربران چقدر میتواند مزاحم باشد. در قلب این موضوع این است که کاربران ممکن است با شرایط و ضوابط سایتها موافقت کنند و ندانند که چگونه اطلاعات شخصی آنها جمعآوری میشود یا اطلاعات آنها به چه کسی فروخته میشود.
مثالهایی از دادهکاوی
دادهکاوی میتواند برای خوب استفاده شود یا میتواند به طور غیرقانونی مورد استفاده قرار گیرد. در اینجا مثالی از هر دو آورده شده است.
- eBay و تجارت الکترونیک: eBay هر روز بیتهای بیشماری از اطلاعات را از فروشندگان و خریداران جمعآوری میکند. این شرکت از دادهکاوی برای نسبت دادن روابط بین محصولات، ارزیابی محدودههای قیمت مورد نظر، تجزیه و تحلیل الگوهای خرید قبلی و تشکیل دستههای محصول استفاده میکند.
eBay فرآیند توصیه را به شرح زیر تشریح میکند:
- فراداده خام مورد و دادههای تاریخی کاربر جمعآوری میشوند.
- اسکریپتها بر روی یک مدل آموزش دیده اجرا میشوند تا مورد و کاربر را تولید و پیشبینی کنند.
- یک جستجوی KNN انجام میشود.
- نتایج در یک پایگاه داده نوشته میشوند.
- توصیه بیدرنگ شناسه کاربر را میگیرد، نتایج پایگاه داده را فراخوانی میکند و آنها را به کاربر نمایش میدهد.
- رسوایی فیسبوک-کمبریج آنالیتیکا: یک مثال هشداردهنده از دادهکاوی، رسوایی دادههای فیسبوک-کمبریج آنالیتیکا است. در طول دهه ۲۰۱۰، شرکت مشاوره بریتانیایی کمبریج آنالیتیکا با مسئولیت محدود، دادههای شخصی میلیونها کاربر فیسبوک را جمعآوری کرد. این اطلاعات بعداً برای استفاده در کمپینهای ریاست جمهوری ۲۰۱۶ تد کروز و دونالد ترامپ تجزیه و تحلیل شد. گمان میرود که کمبریج آنالیتیکا در سایر رویدادهای قابل توجه مانند همهپرسی برگزیت دخالت داشته است.
در پرتو این دادهکاوی نامناسب و سوء استفاده از دادههای کاربر، فیسبوک موافقت کرد که ۱۰۰ میلیون دلار برای گمراه کردن سرمایهگذاران در مورد استفاده خود از دادههای مصرفکننده بپردازد. کمیسیون بورس و اوراق بهادار ادعا کرد که فیسبوک این سوء استفاده را در سال ۲۰۱۵ کشف کرده اما بیش از دو سال افشاگریهای خود را اصلاح نکرده است.
انواع دادهکاوی چیست؟
دو نوع اصلی دادهکاوی وجود دارد: دادهکاوی پیشبینیکننده و دادهکاوی توصیفی. دادهکاوی پیشبینیکننده دادههایی را استخراج میکند که ممکن است در تعیین یک نتیجه مفید باشد. دادهکاوی توصیفی، کاربران را از یک نتیجه مشخص آگاه میکند.
دادهکاوی چگونه انجام میشود؟
دادهکاوی به دادههای بزرگ و فرآیندهای محاسباتی پیشرفته از جمله یادگیری ماشین و سایر اشکال هوش مصنوعی (AI) متکی است. هدف یافتن الگوهایی است که میتواند منجر به استنتاج یا پیشبینی از مجموعههای داده بزرگ و بدون ساختار شود.
اصطلاح دیگر برای دادهکاوی چیست؟
دادهکاوی همچنین با اصطلاح کمتر استفاده شده "کشف دانش در داده" یا KDD شناخته میشود.
دادهکاوی کجا استفاده میشود؟
برنامههای دادهکاوی به گونهای طراحی شدهاند که تقریباً هر تلاشی را که به دادههای بزرگ متکی است، انجام دهند. شرکتهای بخش مالی به دنبال الگوهایی در بازارها هستند. دولتها سعی در شناسایی تهدیدات امنیتی بالقوه دارند. شرکتها، به ویژه شرکتهای آنلاین و رسانههای اجتماعی، از دادهکاوی برای ایجاد کمپینهای تبلیغاتی و بازاریابی سودآور استفاده میکنند که مجموعههای خاصی از کاربران را هدف قرار میدهند.
نکته پایانی
کسبوکارهای مدرن این توانایی را دارند که اطلاعات مربوط به مشتریان، محصولات، خطوط تولید، کارمندان و فروشگاههای خود را جمعآوری کنند. این قطعات تصادفی اطلاعات ممکن است داستانی را بیان نکنند، اما استفاده از تکنیکها، برنامهها و ابزارهای دادهکاوی به کنار هم قرار دادن اطلاعات کمک میکند.هدف نهایی فرآیند دادهکاوی، گردآوری دادهها، تجزیه و تحلیل نتایج و اجرای استراتژیهای عملیاتی بر اساس نتایج دادهکاوی است.