اجداد ما انسان‌ها تا قبل از کشف وجود اجرام آسمانی هیچ ایده‌ای درباره نقاط نورانی که هر شب می‌دیدند نداشتند. آنها وقتی به آسمان شب خیره می‌شدند سعی می‌کردند با وصل کردن نقاط نورانی در تخیل خود موجوداتی بسازند یا آنها را به اتفاقات روزمره ربط دهند. هزاران سال از آن شب‌های مبهم گذشته است و اکنون خیلی چیزها را فهمیده‌‌ایم. انسان‌ها عاشق وصل کردن نقاط مبهم برای پیدا کردن معنی و ارتباط هستند.
حالا انسان‌ها با کمک رایانه‌ها به راحتی می‌توانند مفاهیم و اطلاعات به‌دردبخوری را از میان انبوهی از داده‌های نامفهوم و بدون ساختار استخراج کنند. این انبوه داده همان چیزی است که به آن می‌گوییم بیگ دیتا (big data) یا کلان داده.
بیگ دیتا یک واژه باب روز (Buzzwords) برای فرایند‌هایی شامل جمع‌آوری، استخراج و تحلیل داده‌هایی پیچیده است که با ابزارهای معمول نمی‌توان از آنها برای دستیابی به اهداف استفاده کرد.
این تعریف ساده بیگ دیتا همه ماجرا را بیان نمی‌کند. در واقع اصطلاح بیگدیتا فقط به داده‌ها اشاره می‌کند در حالی که بخش بزرگی از این فرایند بر عهده علم داده (Data science)، استخراج داده (data mining)، تحلیل داده (Data analysis)، یادگیری ماشین (Machine learning) و در ابعاد بزرگتر، هوش مصنوعی است.
در این مقاله قرار است تعریف بیگ دیتا یا همان کلان‌داده را واضح‌تر بیان کنیم و بعد کاربردها، راهکارها، ابعاد و چالش‌های آن را مرور کنیم.
بیگ دیتا چیست؟ به زبان ساده
اگر بخواهیم بیگدیتا را خیلی ساده و خودمانی تعریف کنیم، داستان کتابفروشی آقای جعفری کار را راحت می‌کند.
آقای جعفری یک کتابفروشی قدیمی در مرکز شهر دارد. او از همان دوران جوانی که کتابفروشی را از پدرش به ارث برد یک دفتر روی میزش گذاشت و عنوان هر کتابی که فروخته می‌شد را در کنار تاریخ و قیمت کتاب می‌نوشت. با این دفتر هم حساب و کتابش را داشت، هم موقع سفارش کتاب از آن استفاده می‌کرد.
آقای جعفری هر وقت می‌خواست به توزیع‌کننده‌های کتاب سفارش خرید دهد نگاهی به دفتر فروش می‌انداخت و کتاب‌هایی را سفارش می‌داد که بیشتر فروش می‌رفت، موضوعاتی که طرفدار بیشتری داشتند انتخاب می‌کرد و حواسش به این هم بود که کتاب‌هایی را لیست کند که در طیف قیمتی کتاب‌های پرفروش باشند.
کتابفروش داستان ما با این کار توانست تا چندین سال فروش خود را بیشتر کند و نسبت به دیگر کتابفروشی‌ها درآمد بیشتری داشته باشد. او در این مدت علایق مشتریان ثابتش را فهمیده بود و حتی در مواردی به انتخاب‌های او اعتماد بیشتری داشتند.
آقای جعفری وقتی به دوران پیری رسید پسر جوانش در کتابفروشی کمکش می‌کرد. علی پسر آقای جعفری کامپیوتری را به کتابفروشی آورد تا جستجوی موجودی کتاب‌ها، ثبت سفارش اینترنتی، حسابرسی مالیات و … را با نرم‌افزارهای رایانه انجام دهد.
علی متوجه شد فروش کتاب کمتر و کمتر می‌شود و یکی از دلایل آن تمایل مردم به خرید اینترنتی بود. پس او هم به سرعت یک فروشگاه اینترنتی راه‌اندازی کرد و فروش کتاب با فروشگاه اینترنتی بهتر شد.
علی از افزایش فروش خوشحال بود؛ اما فکر کرد حتماً راه‌های دیگری هم برای افزایش هرچه بیشتر فروش باید باشد، پس شروع به جستجو و تحقیق کرد تا راهی برای افزایش فروش پیدا کند.
علی متوجه شد اگر اطلاعاتی دقیق درباره مشتریان داشته باشد می‌تواند پیش‌بینی کند هر مشتری در آینده تمایل دارد چه کتابی بخواند و همان کتاب را به او پیشنهاد دهد. این همان تجربه و مهارتی بود که پدرش در طول سال‌ها به دست آورده بود.
علی که در ابتدا نمی‌دانست چه کار باید بکند ساعت‌ها جستجو کرد، تا این که مطالبی درباره داده و داده‌کاوی خواند.
او به سرعت یک شرکت داده‌کاوی پیدا کرد و درخواستش را مطرح کرد. آنها به علی پیشنهاد دادند که با جمع‌آوری داده‌هایی از اینترنت کتاب بعدی که هر مشتری می‌خواهد بخواند را پیش‌بینی کنند.
آنها داده‌هایی از منابع زیر جمع کردند:
- مشخصات فردی مشتریان
- لیست کتاب‌هایی که خوانده‌اند
- فعالیتشان در شبکه‌های اجتماعی مثل لایک‌ها
- علاقه‌‌مندی‌هایی مثل تیم فوتبال یا موسیقی مورد علاقه
- واکنش به تبلیغات و پیشنهادها
- داده‌هایی از فعالیت سایر مردم در شبکه‌های اجتماعی مثل نظر در پست‌های اینستاگرامی
- توئیت‌هایی که درباره کتاب هستند
- مقالات منتشر شده با موضوع کتاب
- آمارهایی از کتاب‌های پرجستجو در اینترنت
اگر یک نفر علاقه به خواندن رمان‌های علمی-تخیلی دارد و در تحلیل داده‌های حاصل از شبکه‌های اجتماعی مشخص شود مردم در حال گفتگو درباره کتاب علمی-تخیلی جدید هستند، با مطابقت دادن پرسونای مشتری و کتاب جدیدی که هنوز نخوانده است، میتوان در قالب یک پیام، کتاب جدید را به او پیشنهاد داد.
علی که توانسته بود فروشگاه اینترنتی خودش را با موفقیت راه‌اندازی کند از وارد شدن به دنیای داده‌ها هم نترسید و پیشنهاد شرکت داده کاوی را قبول کرد.
بعد از جمع‌آوری حجم زیادی از داده‌ها و طراحی مدلی مبتنی بر بیگدیتا، فروشگاه علی به یکی از پرفروش‌ترین کتابفروشی‌های اینترنتی تبدیل شد. رمز موفقیت علی همین پیشنهادهای کتاب هوشمندی بود که از طریق بیگ دیتا به دست آمد.
با این روش هر کتاب جدیدی که منتشر می‌شد به صورت هدفمند به اطلاع مشتری‌هایی که به احتمال بالای ۹۰ درصد علاقه به خواندنش داشتند می‌رسید و بالای ۵۰ درصد مشتریان کتاب پیشنهادی را می‌خریدند.
اگر علی از همان روش پدرش برای فهرست کردن همه اطلاعات مشتریان و علایق جامعه به کتاب‌های جدید استفاده می‌کرد، حتماً نمی‌توانست با این کیفیت و در زمانی محدود راهی برای پیشنهاد کتاب به مشتریان پیدا کند.
در این مثال از دو نوع منبع برای جمع‌آوری داده‌ها استفاده شد:
- داده‌های از مشتریان سابق
- داده‌های از محتواهای تولید شده توسط مردم در فضای مجازی
ارتباط داده‌های حاصل از این دو منبع مدلی ایجاد کرد که به کمک آن میتوان پیشنهادهای شخصی‌سازی شده و هدفمندی به مشتریان ارائه داد.
این فقط یک مثال فرضی و ساده از چگونگی کاربرد بیگ دیتا بود.
داده‌ها از کجا و چطور تولید میشوند؟
داده (Data) مجموعه‌ای از حقایق و آمارها است که برای تحلیل ذخیره می‌شود. این تعریف خیلی کلی است.
در کلان داده منظور از داده در هر مرحله از کار متفاوت است. داده خام داده‌ای است که بدون ترتیب و طبقه‌بندی جمع‌آوری شده‌اند و در نتیجه مفهوم خاصی را بیان نمی‌کند. در صورتی که روی داده خام پردازش انجام دهیم تبدیل به اطلاعات می‌شود که انتقال دهنده مفهومی هستند.
داده‌ها از صدها راه مختلف تولید و ذخیره میشوند. همین چند دقیقه قبل که روی لینکی کلیک کردید تا این مقاله باز شود داده‌هایی از فعالیت شما در سرورهای گوگل ذخیره شد. داده‌هایی مثل مدل سیستم عامل، دستگاه موبایل یا رایانه شما و محل اتصال شما به اینترنت.
داده‌ها فقط از فعالیت اینترنت جمع نمی‌شوند. هر منبع دیگری مثل پرسشنامه کاغذی، فیلم دوربین‌های نظارتی شهرها، موقعیت موبایل، بلیط اتوبوسی که می‌خرید، بیمه خودرو و درمانی، اطلاعات تحصیلی و … همه داده خام هستند.
در نهایت همه این داده‌ها دیجیتال میشوند تا مراحل بعدی انجام شود.
خب حالا چند کاربرد عملی کلان‌داده را در دنیای امروزی ببینیم و بعد به سراغ جزئیات آن برویم.
کاربردهای بیگ دیتا؛ از امید تا ترس
کاربردهای بی‌شماری را برای بیگ دیتا میتوان تصور کرد. در ادامه با چند مثال واقعی به کاربردهای امیدوار کننده بیگ دیتا در حوزه‌های مختلف و یک نمونه استفاده ترسناک اشاره می‌کنیم.
بیگ دیتا در آموزش
بیگدیتا در هر مرحله از آموزش یعنی از کودکی تا آموزش عالی یا هر دوره آموزشی دیگر می‌تواند کاربرد متنوعی داشته باشد.
برای مثال؛ میتوان انتخاب رشته و کاریابی را برای دانشجویان آسانتر کرد، به جای برنامه‌های همسان آموزشی برای هر دانشجو ترتیب یادگیری دروس متفاوتی با بهره‌وری بالاتر پیشنهاد داد یا با شناسایی نقاط ضعف دوره‌‌های آموزشی از انصراف و رد شدن دانشجویان جلوگیری کرد.
یک نمونه اجرا شده از این مثال‌ها تغییر برنامه آموزشی در دانشگاه ایالتی جورجیا است. تا چند سال قبل میانگین دانشجویانی که موفق می‌شدند در این دانشگاه فارغ‌التحصیل شوند ۳۲ درصد بود که درصد بسیار پایینی است. این دانشگاه برای پیدا کردن نقاط چالش‌برانگیز از داده‌ها استفاده کرد.
آنها با تحلیل داده‌های دانشجویان سابق و فعلی خود ۸۰۰ رفتار مرتبط با عدم موفقیت در دانشگاه را پیدا کردند. یکی از نشانه‌های عدم موفقیت این بود که اگر دانشجوی رشته علوم سیاسی در دوره مقدماتی علم سیاست نمره C می‌گرفت، احتمال موفقیت آن تا ۲۵ درصد کم می‌شد.
حالا هر دانشجویی که در این وضعیت قرار گیرد مشاوری با او ملاقات می‌کند و به موفقیت او کمک می‌کند.
این فقط یکی از ۸۰۰ مشکل کشف شده بود. مدیران دانشگاه برای بزرگترین چالش‌های دانشجویان برنامه‌های متعددی پیاده کردند و در عرض چند سال میانگین فارغ‌التحصیلی دانشجویان به ۵۴ درصد رسید!
بیگ دیتا در رسانه و تلویزیون
سریال‌های تلویزیونی که در سال‌های گذشته منتشر شده‌اند داستان‌هایی به مراتب جذاب‌تر دارند. به علاوه پیدا کردن یک سریال که با روحیات و علایق هر فرد مطابقت داشته باشد کار چندان سختی نیست.
یک نمونه مشهور استفاده از بیگ دیتا در سریال‌های تلویزیونی پروژه کمپانی نتفلیکس است. این شرکت با کمک بیگ دیتا علایق مردم را شناسایی می‌کند تا در وهله اول سریال‌های بهتری را به مخاطبان پیشنهاد دهد و سپس از این داده‌ها در ساخت سریال‌های جدید خود استفاده کند.
حتی همزمان با ساخت و انتشار سریال House of Cards از بیگدیتا برای نوشتن داستان فصل‌های بعدی – به نحوی که مخاطب بیشتری جذب کند – استفاده کردند.
بیگ دیتا در پزشکی و سلامت
در حوزه سلامت نیز پروژه‌های زیادی با بیگدیتا اجرا شده است. بیشتر این پروژه‌ها با هدف پالایش اطلاعات سلامت شهروندان، دستیابی به دلایل بروز بیماری‌ها و پیشگیری از بیماری‌ها اجرا شده است.
شرکت AlayaCare یک نمونۀ عالی از کاربرد بیگدیتا در حوزۀ پزشکی و سلامت است. این اپلیکیشن که در زمینه مراقبت از سالمندان و بیماران در خانه فعالیت می‌کند، با پایش اطلاعات مشتریان از راه دور و بررسی هوشمند سوابق بیماران، تعداد دفعات مراجعه پزشکان متخصص به خانه افراد را تا ۷۳ درصد کاهش داده است.
یک نمونه دیگر که در حال متداول شدن در کشورهای پیشرفته است شناسایی فاکتورهای خطرناک در بدن افراد، پیش از بروز بیماری است.
برای مثال با شناسایی الگوی تغییرات ضربان قلب افرادی که در معرض سکته هستند، میتوان از سکته قلبی پیشگیری کرد. با وجود ساعت‌های هوشمند که ضربان قلب، فشار خون، ساعت خواب و … را ضبط میکنند، جمع‌آوری داده‌های سلامت راحت‌تر از گذشته شده است.
بیگ دیتا در بورس
پیدا کردن زمان درست خرید و فروش سهام یکی از مهم‌ترین اصول فعالیت در بازار بورس است. کارگزارها سعی میکنند با نگاهی به گذشته و پیش‌بینی با فرضیات این زمان را تعیین کنند.
در سال‌های گذشته شرکتهای سرمایه‌گذاری زیادی به کمک کلان‌داده و یادگیری ماشین توانستند سیستم‌هایی با دقت بسیار بالا، برای تعیین میزان تاثیرگذاری اتفاقات مختلف روی بازار بورس بسازند.
تاثیر ترسناک بیگ دیتا در انتخابات
بیگ دیتا مثل هر ابزار دیگری قابل استفاده برای کارهای خلاف قانون یا اخلاق است. مشهورترین نمونه آشکار شده از استفاده نادرست بیگدیتا در انتخابات ریاست جمهوری سال ۲۰۱۶ امریکا اتفاق افتاد.
البته در این موضوع هیچ کار خلاف قانونی انجام نشد، در اصل آنها از خلاء قانون و ناآگاهی شهروندان سوءاستفاده کردند.
برنده شدن ترامپ در انتخابات ریاست جمهوری حاشیه‌های زیادی به دنبال داشت. یک بخش از این حاشیه‌ها درباره استفاده از بیگ دیتا برای تبلیغات هدفمند میکرو (Microtargeting) بود.
تبلیغات هدفمند میکرو یا میکروتارگتینگ، یعنی محتوا یا تبلیغی که بیشترین تاثیر را روی فرد دارد، به او نمایش می‌دهند و تبلیغاتی که تاثیر بدی می‌گذارد را نمایش نمی‌دهند.
برای مثال اگر فردی دچار بیماری خاصی است که به طور مداوم باید دارو مصرف کند، طرح کاندید ریاست جمهوری برای پوشش بیمه‌ای داروها را به او نشان می‌دهند و همزمان چون این فرد به حفظ محیط زیست اهمیت زیادی می‌دهد هیچ حرفی از سیاست خروج از معاهده‌های بین‌المللی محیط زیستی نمی‌زنند.
لازمه چنین کاری داشتن داده‌هایی کامل از هر شهروند جامعه است. با داده‌های شهروندان میتوان فهمید کدام شهروندان رای خواهند داد، چه گرایش سیاسی دارند، چه مشکلاتی در زندگی دارند، کدام یک هنوز شک دارند به چه کسی رای دهند و ده‌ها اطلاعات کاربردی دیگر.
ستاد تبلیغاتی ترامپ همین کار را با کمک داده‌های شهروندان امریکایی کرد؛ اما چطور این اتفاق افتاد و چرا در همان دوره کسی متوجه نشد؟
رئیس جمهور شدن ترامپ با کمک بیگ دیتا
در انتخابات‌های قبل از سال ۲۰۱۶ از بیگ دیتا برای پیش‌بینی نتایج یا شناسایی مناطق مناسب برای تبلیغات استفاده شده بود اما اتفاقی که در سال ۲۰۱۶ افتاد وسیع‌تر و جدید بود.
داستان از یک شرکت داده‌کاوی به نام کمبریج آنالتیکا شروع شد که در ابتدا با هدف تحقیقات آکادمیک شکل گرفت (آنطور که ادعا می‌شود) اما بعد از چند سال در چندین انتخابات به خدمت کمپین‌های تبلیغاتی درآمد. گفته می‌شود این شرکت در ۴۴ انتخابات روی رای‌دهنده‌ها تاثیر گذاشته است.
کاری که کمبریج آنالتیکا می‌کرد چندان هم پیچیده نبود. آنها با جمع‌آوری دو دسته داده، اولی داده‌های حاصل از فعالیت کاربران در شبکه‌های اجتماعی و سرویس‌های مختلف اینترنتی که اطلاعات حریم خصوصی را شامل نمی‌شوند و دسته دوم داده‌هایی از طریق اپلیکیشن‌های تست شخصیت و روانشناسی (مثل اپ‌های «my personality» و «This Is Your Digital Life»که خودشان منتشر کرده بودند) اطلاعات کاملی درباره حدود ۸۰ میلیون کاربر را تحلیل و ارزیابی کردند.
شرکت کمبریج آنالتیکا از ستاد تبلیغاتی ترامپ مبلغ ۵ میلیون دلار دریافت کرد تا با استفاده از داده‌ها، شهروندان را قانع کند که به ترامپ رای دهند.
این شرکت توانست با داده‌های حاصل از متریک‌های روانشناسی مثل پنج عامل بزرگ شخصیت (five-factor model)، علایق فردی، محل سکونت، وضعیت اقتصادی و … مدلی بسازد که نشان می‌داد به احتمال قوی به چه کسی رای خواهد داد یا برای رای دادن چقدر شک دارد.
این اطلاعات در اختیار ستادهای انتخاباتی هر شهر قرار می‌گرفت تا محتوای تبلیغاتی به شکلی کاملاً هدفمند و مطابق وضعیت شهروندان پخش شود. با داشتن اطلاعاتی مثل آدرس ایمیل یا آدرس خانه کافی بود محتوایی که هر شهروند علاقه به شنیدنش دارد را به او برسانند.
حتی کارکنان این ستادها از همین اطلاعات در تبلیغات خانه‌به‌خانه استفاده می‌کردند. افراد داوطلب کمپین‌ها به در خانه‌ها مراجعه می‌کردند و با گفتگوی مستقیم شهروندان را برای رای دادن به ترامپ قانع می‌کردند.
بعد از انتخابات و برنده شدن ترامپ، اخبار جنجالی زیادی درباره همکاری فیسبوک که بیشترین سهم از داده‌های جمع شده توسط کمبریج آنالتیکا را داشت منتشر شد.
بعد از سروصداهایی که شد، فیسبوک و چند شرکت دیگر که به نوعی داده‌ها را در اختیار کمپین ترامپ گذاشته بودند، سیاست‌های فروش داده را تغییر دادند و دسترسی اپلیکیشن‌های تست شخصیت و روانشناسی آنها هم قطع شد.
در نهایت شرکت کمبریج آنالتیکا در سال ۲۰۱۸ اعلام ورشکستگی کرد اما ترامپ حالا رئیس جمهور امریکا است!
فکر می‌کنید این آخرین استفاده از بیگدیتا در انتخابات بود؟
در بخش‌های بعد ویژگی‌های بیگدیتا را مرور می‌کنیم و با چند نکته تعریف بیگدیتا را واضح‌تر می‌کنیم.
ویژگی های بیگ دیتا
برای کلان داده در ابتدا سه ویژگی (۳V) گفته می‌شد؛ اما حالا می‌گویند کلان‌داده دارای ۵ ویژگی زیر است.
۱. حجم زیاد (Volume)
وقتی از داده‌های کلان صحبت می‌کنیم، مشخص است که منظورمان چند صد ردیف مشخصات افراد در فایل اکسل باشگاه مشتریان نیست.
زمانی میتوان از اصطلاح کلان‌داده استفاده کرد که حجم داده‌های جمع شده آنقدر بزرگ باشد که با ابزارهای معمولی نتوانیم آنها را تحلیل کنیم.
در ضمن دقت کنید که استفاده از واحدهای اندازه‌گیری مثل ترابایت یا پتابایت هم برای تعریف حجم داده چندان درست نیست؛ چون وابسته به نوع داده است. مثلاً حجم فیلم و تصویر قابل مقایسه با نوشتار نیست.
۲. نرخ تولید بالا (Velocity)
در بسیاری از موارد جمع‌آوری داده‌ها به صورت مقطعی نیست. یعنی این داده‌ها همچنان تولید میشوند و حجم اطلاعات بزرگتر و بزرگتر می‌شود.
به لطف اینترنت و فناوری‌های جمع‌آوری داده (از سنسورها بگیرید تا اپلیکیشن‌های گوشی)، جمع‌آوری حجم زیاد اطلاعات کار آسانی شده است.
بهترین مثال از نرخ تولید بالای داده، شبکه‌های اجتماعی هستند. در هر ثانیه میلیون‌ها نفر در شبکه‌های اجتماعی فعالیت میکنند.
۳. تغییر پذیری و تنوع زیاد (Variety)
همه این اطلاعات یک‌دست و یک نوع نیستند. برای مثال در شبکه اجتماعی توئیتر روزانه میلیون‌ها نوشته، عکس، ویدیو و لینک به اشتراک گذاشته می‌شود. هرکدام از توئیت‌ها خودشان حاوی ده‌ها اطلاعات دیگر هستند؛ از اطلاعات ساده‌ای مثل ساعت و تاریخ توئیت تا اطلاعات عمیق‌تر مثل موضوع محتوا و چگونگی واکنش کاربران به آن.
داخل پرانتر: پس یادتان نرود که اگر در توئیتر فعالیت می‌کنید، مواظب توئیت‌هایی که یک‌دفعه فیواستار میشوند و از شما می‌خواهند نام شهر، خاطره، سن و … را بگویید، باشد. این داده‌ها ممکن است بعدها در جاهای دیگری استفاده شوند.
راستی اگر یادتان باشد، در داستان کتابفروشی آقای جعفری هم از چند نوع داده مختلف استفاده شده بود.
۴. صحت داده‌ها (Veracity)
داده‌هایی را میتوان در رده بیگ دیتا قرار داد که از صحت آن مطمئن باشیم. این ویژگی کلان داده شاید بدیهی به نظر برسد اما همین اطمینان از صحت منابع، استاندارها و شاخص‌های پیچیده و تخصصی دارد که به تحلیل‌گرها کمک می‌کند به خطا نروند.
در مرحله فیلتر کردن داده‌ها اطمینان یافتن از صحت خیلی مهم است. اگر داده‌ها صحت کافی نداشته باشند، همه مراحل بعدی تحت تاثیر قرار می‌گیرد و نتایج درستی حاصل نخواهد شد.
۵. ارزش (value)
برای فهمیدن این که داده ارزش دارد یا نه، باید پاسخ یک سوال مهم را پیدا کرد:
چطور میتوان از داده‌ها برای استخراج چیزی بامعنی در راستای اهداف افراد یا کسب‌وکارها استفاده کرد؟
داده‌ای ارزشمند است که در رسیدن به این هدف کمک کند؛ واگرنه بیشتر داده‌ها بی‌ارزش هستند. در بسیاری از سازمان‌ها و شرکت‌ها، روزانه حجم زیادی داده تولید می‌شود که شاید مدیران در نگاه اول فکر کنند با ارزش هستند اما در واقع داده‌هایی هرز باشند.
بیگ دیتا چه چیزی نیست؟
تا مدت‌ها بعد از این که فناوری و مفهوم جدیدی وارد بازار می‌شود، همه می‌خواهند موج‌سواری کنند. این تلاش برای بهرهبرداری هرچه بیشتر از فناوری جدید باعث می‌شود هر کس بنا به نیازهای خود تعریف جدیدی ارائه دهد.
بیگ دیتا هم مثل دیگر فناوری‌های پیچیده و تخصصی، دارای ده‌ها تعریف درست و نادرست است. در ادامه با اشاره به ۳ نکته سعی می‌کنیم اشتباهات متداول را از ذهن دور کنیم.
بیگ دیتا فقط انبوهی از داده‌ها نیست
یک اشتباه متداول در تعریف بیگ دیتا، مساوی فرض کردن هر حجم بزرگی از داده (در حد یک پتابایت) با بیگ دیتا است. اگر یک بانک با سابقه از ده‌ها سال قبل شروع به ذخیره تمام اطلاعات مشتریان خود کند و هر روز به این حجم از داده‌ها اضافه شود، باز هم نمی‌توان به آن بیگ دیتا گفت.
چند منبعی بودن داده‌ها یک ویژگی مشترک در بیگ دیتا است. یعنی اطلاعات جمع‌آوری شده مربوط به یک دیتاست بدون تنوع زیاد نیست. همانطور که در مثال ساده کتابفروشی گفته شد شرکتی که پروژه بیگ دیتا را اجرا کرد، فقط از دیتاست فروش یا کلیدواژه‌های جستجو شده قبل از ورود به سایت استفاده نکرد.
در این مثال، داده‌های جمع شده از شبکه‌های اجتماعی، علایق افراد، اخبار و محتواهای منتشر شده با موضوع کتاب در کنار اطلاعات هر مشتری بررسی شد، تا الگویی دقیق برای پیش‌بینی کتاب بعدی که هرمشتری تمایل به خواندش دارد ساخته شود.
درست است که گفتیم ویژگی اول بیگدیتا حجم زیاد آن است؛ اما هر داده بزرگی بیگدیتا نیست.
بیگ دیتا پاسخی به همه سوالات نیست
استفاده از بیگ دیتا همیشه مساوی با پیدا کردن جواب سوالات نیست. اگر کسب‌وکار بزرگی دارید که با مشکلات و سوالات متعددی روبرو است و فکر می‌کنید میتوان با تحلیل بیگ دیتا راه حل همه سوالات و مشکلات را پیدا کرد در اشتباهید.
خیلی وقت‌ها هدف از بیگ دیتا پیدا کردن سوالات است نه جواب‌ها! برای مثال رصد بازار یک نمونه پرکاربرد است که هر تغییر پیش‌بینی نشده یک سوال ایجاد می‌کند.
همیشه بیگ دیتا یک راهکار زودبازده و تضمین شده نیست
بسیاری از کسب‌وکارها با شنیدن وعده شرکتهای بیگدیتا تصور میکنند در عرض چند ماه می‌توانند از نتایج حاصل از کلان داده بهره‌مند شوند؛ اما در واقعیت اینطور نیست! گاهی امکان دارد پروژه‌های بزرگ مبتنی بر کلان‌داده، به سرمایه‌گذاری ۱۰ ساله نیاز داشته باشند.
فکر می‌کنم حالا به‌طور کامل با مفهوم بیگدیتا آشنا شده‌اید. در ادامه با انواع تحلیل بیگدیتا و اهداف آنها آشنا خواهیم شد.
انواع تحلیل کلان داده
هدف تحلیل بیگ دیتا، به هدف کسب‌وکاری است که می‌خواهد آن را اجرا کند وابسته است. اما به‌هرحال خروجی هر تحلیل باید گزارش، الگو، روند، مدل یا پیش‌بینی باشد.
در کل میتوان انواع تحلیل مبتنی بر بیگ دیتا را به ۴ نوع تقسیم کرد.
۱. تحلیل توصیفی (Descriptive)
نتیجه تحلیل توصیفی یک نمودار، جدول یا هر نوع گزارش دیگر است که به مدیران کمک می‌کند بفهمند در یک نقطه معین چه اتفاقی در حال رخ دادن است. این نوع تحلیل، متمرکز بر رخدادهای گذشته است.
مثال: همین حالا مردم درباره عملکرد دولت چطور چه نظری دارند؟
۲. تحلیل تشخیصی (Diagnostic)
تحلیل تشخیصی به دنبال چرایی به وجود آمدن یک مشکل است. این نوع تحلیل نسبت به توصیفی پیچیده‌تر و عمیق‌تر است و به همین دلیل در بیشتر موارد نیازمند سیستم‌های مبتنی بر هوش مصنوعی و یادگیری ماشین است.
مثال: دلیل کاهش فروش چیست؟
تحلیل داده‌ها توسط پدر خانواده
۳. تحلیل پیش‌بینی (Predictive)
با در کنار هم قرار گرفتن الگوریتم‌‌های پیشرفته و هوش مصنوعی میتوان قبل از وقوع مشکل آن را پیش‌بینی کرد. وقتی مشکلی قبل از وقوع پیش‌بینی شود میتوان تا حد زیادی در هزینهها صرفه‌جویی کرد.
مثال: تقاضا برای خرید محصول چقدر خواهد بود؟
۴. تجویزی (Prescriptive)
این نوع از تحلیل پیچیده‌‌ترین و پرهزینه‌ترین نوع تحلیل بیگ دیتا است. در این نوع تحلیل راهکار مشکلاتی که هنوز اتفاق نیافتاده‌‌اند هم مشخص می‌شود.
مثال: کدام روش بازاریابی در زمان رکود بازار آینده بیشترین بهره‌وری را خواهد داشت؟
بیگ دیتا در دیجیتال مارکتینگ هم کاربرد دارد؟
خب، تا به اینجا از سیاست، سلامت، آموزش و … حرف‌ها زدیم و ویژگی‌های بیگ دیتا را با هم مرور کردیم. حالا می‌رسیم به دیجیتال مارکتینگ که بیگدیتا در آن کاربردهای بسیاری دارد و مطمئنم در آینده نیز بیش از این‌ها ما را شگفت‌زده خواهد کرد.
از بیگدیتا در دیجیتال مارکتینگ، برای دستیابی به این اهداف مختلفی استفاده می‌شود که عبارتند از:
- شناخت مشتریان
- عقیده کاوی (Sentiment analysis)
- هدف‌گیری شخصی‌سازی شده
- افزایش تاثیرگذاری کمپین‌های تبلیغاتی
- بهینه‌سازی هزینهها
در ادامه هر هدف را مختصر و همراه با مثال‌هایی توضیح می‌دهیم.
شناخت مشتریان
هر کسب‌وکاری باید پرسونای مشتریانش را بداند (اگر با مفهوم پرسونا و کاربردهایش آشنا نیستید مطلب پرسونای مشتریان را در وبلاگ نوین بخوانید). اگر از بیگ دیتا در شناخت مشتریان استفاده شود، میتوان به صورت زنده تغییرات را دنبال کرد و 
به آن واکنش نشان داد.
مثلاً با استفاده از دیتاها می‌توانیم بدانیم که:
- کدام دسته از مشتری‌ها را جذب می‌کنیم؟
- مشتری‌ها چطور ما را پیدا میکنند؟
- مشتری‌ها با ایمیل‌های ما چگونه ارتباط برقرار میکنند؟
- ارتباط آنلاین ما با مشتریان چگونه است؟
این اطلاعات بعداً در ترسیم پرسونا به ما کمک می‌کند تا مخاطبان هدفمان و رفتار آنلاین مشتری‌ها را بشناسیم.
عقیده کاوی (Sentiment analysis)
در حال حاضر راه‌های زیادی برای کاوش در دیدگاه مشتریان وجود دارد. یک روش متداول در شناخت مشتریان با بیگ دیتا عقیده کاوی (Sentiment analysis) است. با عقیده کاوی میتوان فهمید همین حالا مردم نسبت به برند کسب‌وکار نظر مثبتی 
دارند یا نه.
برای مثال اگر توئیت‌های مردم درباره برند Z به طور دائم مورد ارزیابی قرار بگیرد در هر لحظه میتوان صداهای مثبت یا منفی مشتریان را دنبال کرد.
فرض کنید روزانه هزاران نظر مثل موارد زیر درباره برندی منتشر می‌شود؛ با داشتن این داده‌ها عقیده کاوی کار آسانی می‌شود.
- امروز از Z سفارش دادم بعد از واریز پول زنگ زدن موجودی نداریم. اگر موجود نداشتید چرا برای فروش گذاشتید؟ (منفی)
- من عاشق برند Z هستم. پشتیبانی عالی، سرعت عالی اصلاً همه چی عالی (مثبت)
- قیمت‌های Z اینقدر بالاست که هر بار سایتش رو باز می‌کنم از زندگی ناامید می‌شم (منفی)
با تحلیل این نوشته‌ها توسط نرم‌افزار میتوان:
- نقاط ضعف و قوت برند را پیدا کرد
- خدمات مشتریان را ارتقا داد
- کیفیت محصولات را بهبود بخشید
- فرصت‌های جدیدی پیدا کرد
هدف‌گیری شخصی‌سازی شده
این روزها تبلیغ هدفمند و شخصی‌سازی شده به یک ضرورت برای کسب‌وکارها تبدیل شده است. ابزارهای بیگدیتا می‌توانند با بررسی موقعیت جغرافیایی، سابقه اینترنت‌گردی، سابقه کلیک‌ها، سابقه خرید و لایک‌ها تشخیص دهند چه تبلیغی باید 
به کدام کاربر نمایش داده شود.
یک مثال آشنا از این نوع تبلیغ را گوگل انجام می‌دهد. نمی‌دانم تابه‌حال با گوگل ادز کار کرده‌اید یا نه؛ اما با این غول تبلیغات گوگل، آنقدر هدفمند می‌توانید تبلیغات را به مشتریان نمایش دهید که بازدهی آن چندین برابر روش‌های دیگر می‌شود.
برای مثال شما می‌توانید یک کمپین تبلیغاتی را در گوگل اجرا کنید و از آن بخواهید تا تبلیغ شما را به مردهای ۲۳ تا ۳۸ که به بازاریابی دیجیتال علاقه دارند نشان دهد. گوگل با دیتاهایی که در اختیار دارد به‌خوبی خواسته شما را هدف قرار می‌دهد و تبلیغاتتان را به افراد مناسب نمایش می‌دهد.
افزایش تاثیرگذاری کمپین‌های تبلیغاتی
وقتی قرار است یک کمپین پیامکی اجرا کنید اول باید به ۳ سوال مهم جواب دهید:
- برای چه کسانی بفرستیم؟
- چه زمانی ارسال کنیم؟
- چه چیز جذابی پیشنهاد کنیم؟
با تحلیل کلان‌داده‌ها به راحتی میتوان به این سه سوال جواب داد.
در روش سنتی، از طریق آزمون و خطا و تحلیل شهودی تصمیم گرفته می‌شود که مثلاً پیامک در ساعت ۹ شب برای مشتریان رده سنتی ۲۰ تا ۳۰ سال و حاوی کد تخفیف ۱۰ درصد ارسال شود. اما با تحلیل بیگدیتا میتوان ده پیامک هدفمند ساخت که در ۱۰ زمان متفاوت و با پیشنهادهای متنوع ارسال شود.
چون می‌دانیم کدام کاربر در چه زمانی وقتش آزاد است و چه چیزی می‌تواند او را به یک سرنخ (Lead) یا مشتری تبدیل کند.
بهینه‌سازی بودجه بازاریابی
تعیین و اختصاص بودجه برای مدیران بازاریابی کار چالش‌برانگیزی است. در کدام مرحله قیف فروش باید هزینه بیشتری شود؟ کدام مرحله نیازی به هزینه ندارد؟ کدام کانال‌ها ارزش هزینه دارند؟
جواب دادن به هر کدام از این سوالات و ده‌ها سوالات دیگر، نیاز به ساعت‌ها تحلیل و بررسی دارد. تازه بعضی وقت‌ها موضوع پیچیده‌تر هم می‌شود؛ چون دنبال کردن سفر مشتری از چند کانال، پلتفرم و دستگاه مختلف کار سختی است.
برای مثال اگر کاربری صبح وقتی سر کار است با خبر شود که فردا تولد مادرش است، برای خرید هدیه روز تولد با رایانه شرکت در گوگل جستجو می‌کند و چند پست وبلاگ می‌خواند، چند محصول هم می‌بیند اما چیزی نمی‌خرد.
وقتی در مسیر سوار تاکسی است با موبایل برای چند محصول مشابه دیگر جستجو می‌کند و باز هم چیزی نمی‌خرد.
در نهایت وقتی شب در کنار همسرش است، مشورت میکنند و یکی از محصولات را که همسرش در اینستاگرام دیده بود را سفارش می‌دهند.
دنبال کردن این نوع کاربران و بهینه‌سازی بودجه بازاریابی در این حالت کار آسانی نیست؛ به این دلیل که چندین کلیدواژه مختلف را در چند دستگاه متفاوت جستجو کرد، در شبکه‌های اجتماعی سرک کشید، چند لندینگ پیج و صفحه محصول را دید و در نهایت یکی را انتخاب کرد.
یک ابزار عالی برای دستیابی به این هدف سرویس Google Attribution است که با کمک بیگدیتا و یادگیری ماشین کاربران را رصد می‌کند.
اگر صاحب کسب‌وکاری هستید که نیاز به داده‌کاوی دارد تا مشکلی را حل کند یا صرفاً به دنبال پیشرفت هستید، با توجه به سطح پیچیدگی اهداف خود باید یکی از راهکارهای موجود را انتخاب کنید.
در بخش بعدی یک ابزار متداول را معرفی می‌کنیم.
ابزارهای داده‌کاوی برای کسب‌وکارهای کوچک و متوسط
فهرست ابزارهای حوزه بیگدیتا آنقدر وسیع است که در این مقاله نمی‌توان همه را معرفی کرد. برای این که یک دورنمای کلی از این ابزارها به دست آورید تصویر زیر خلاصه‌ای از ابزارها و کاربردشان است. برای مشاهده تصویر بزرگتر کلیک کنید.
ابزارهای زیادی هستند که فقط با مشخص کردن نیازها و اهداف، کار را برای کسب‌وکارها آسان کرده‌اند.
اما شاید هیچ‌کدام از این ابزارها نیاز شما را برطرف نکند، چون داده‌هایی دارید که می‌خواهید خودتان به طور مستقیم تحلیل کنید.
برای مثال؛
من فروشگاه اینترنتی پوشاک دارم. برند من در مجموعِ شبکه‌های اجتماعی یک میلیون دنبال‌کننده دارد. می‌خواهم با تحلیل نظرات کاربران در سایت و شبکه‌های اجتماعی بدانم کاربران بیشتر به دنبال چه محصولاتی هستند و نسبت به برند من چه دیدگاهی دارند؟
در پاسخ به این نیاز چندین راهکار مختلف میتوان پیشنهاد داد. اگر صاحب کسب‌وکاری کوچک یا متوسط هستید و می‌خواهید از داده‌های موجود بهرهبرداری کنید، ما استفاده از یک ابزار نسبتاً ساده و بدون کدنویسی مثل رپیدماینر (RapidMiner) را پیشنهاد می‌کنیم.
با RapidMiner می‌توانید از داده‌ها در کارهای زیر استفاده کنید:
- تحلیل و دسته‌بندی مشتریان
- تحلیل صدای مشتری
- پیش‌بینی تقاضا
- شناسایی تقلب و فعالیت‌های مشکوک
- بهینه‌سازی قیمت‌ها
- پیش‌بینی خرید مشتری
- مدیریت ریسک
- استخراج اطلاعات کاربردی از داده‌های نوشتاری
ابزارهای جایگزین دیگر موارد پیشنهادی زیر هستند:
- IBM SPSS Modeler
- Knime
- Orange
- SAS
معرفی این ابزارها در همین حد که کلیدواژه‌هایی برای جستجوی راهکارهای مورد نیاز خود پیدا کنید، مفید خواهد بود.
آینده بیگ دیتا
متخصصین علوم داده می‌گویند هر انسانی که در حال حاضر در شهری پیشرفته زندگی می‌کند و به لوازم دیجیتال دسترسی دارد در هر ثانیه حدود ۱/۵ مگابایت داده تولید می‌کند. این رقم هر روز بزرگتر می‌شود و این داده‌ها با سرعت بیشتری ذخیره می‌شود.
بیگ دیتا در معنای دقیقش چیز عجیبی نیست. در واقع ما انسان‌ها می‌دانستیم که با داشتن داده‌های بیشتر میتوان ارتباط پدیده‌ها را کشف کرد، اما امکانات و بستری برای این کار نداشتیم.
به لطف اینترنت و ظهور سایر فناوری‌ها این بستر فراهم شد و در آینده‌ای نزدیک با گسترش بیشتر اینترنت اشیاء سرعت و حجم تولید داده افزایش چشم‌گیری خواهد داشت.
در این که کسب‌وکارها ناچارند به سمت فرایندهای داده‌محور بروند شکی نیست اما آن‌هایی موفق خواهند شد که هرچه زودتر وارد این عرصه شوند.
پیش‌بینی شما از آینده چیست؟ داده‌ها قرار است آینده را تاریک کنند یا روشن؟
نوشته بیگ دیتا یا کلان داده چیست و چه کاربردهایی دارد؟ اولین بار در نوین. پدیدار شد.
