مفاهیم پایه اقتصاد دیجیتال؛ کلان داده (Big data)
خشایار خدایی
کلان داده مجموعهای از تکنیکها و تاکتیکهایی است که نیازمند شکل جدیدی از یکپارچگی هستند تا بتوانند ارزشهای بزرگی را که در مجموعههای بزرگ، وسیع، پیچیده و متنوع داده پنهانشدهاند، آشکار سازند.
با ورود به عصر اطلاعات و ارتباطات و آغاز استفاده از دادهها و اطلاعات بهعنوان سرمایههای اصلی درحرکت علمی، اقتصادی، اجتماعی و فرهنگی جوامع، سازمانها و شرکتهای مختلف و توسعه مشارکت افراد در جهان اینترنت و ارتباطات شبکهای در دنیا، دغدغهای بروز پیدا کرد که از جنس همین دادههایی بود که همه روز و با سرعت وحشتناک در دنیا و در عرصههای مختلفی که فناوری اطلاعات ورود پیداکرده بود، تولید میشود و آن اینکه چگونه این حجم بزرگ و متنوع دادهها و اطلاعات را با توجه به ساختارهایی که در فضای فناوری اطلاعات وجود دارد، میتوان مدیریت، کنترل و پردازش کرد و از آن در جهت بهبود ساختارها و سودآوری بیشتر بهره جست؟
از سال ۲۰۱۲ به بعد در هرروز هزار پتا بایت (۱۰۰۰ Pebibyte) داده تولید میشود که به دنبال خود مستلزم ذخیرهسازی، تحلیل، جستجوها، تمیزکاری دادهها، اشتراکها و … در دادههاست که باید در حوزه مختلف انجام شود.
این موضوع باعث شده است که پژوهشگران و دانشمندان به دنبال ایجاد ساختارها، متدلوژیها، روشها و رویکردهای جدیدی برای مدیریت، کنترل و پردازش این حجم از دادهها باشند که این تلاشها در ذیل سایه «دادههای بزرگ» مطرحشده است.
” اقتصادالکترونیکی“ آخرین و به روزترین محتوی در اقتصاددیجیتال
دادههای عظیم یا کلان داده (Big data)
کلان داده معمولا به مجموعهای از دادهها اطلاق میشود که اندازه آنها فراتر از حدی است که با نرمافزارهای معمول بتوان آنها را در یکزمان معقول اخذ، دقیق سازی، مدیریت و پردازش کرد. مفهوم «اندازه» در دادههای بزرگ بهطور مستمر در حال تغییر است و بهمرور بزرگتر میشود.
کلان داده مجموعهای از تکنیکها و تاکتیکهایی است که نیازمند شکل جدیدی از یکپارچگی هستند تا بتوانند ارزشهای بزرگی را که در مجموعههای بزرگ، وسیع، پیچیده و متنوع داده پنهانشدهاند، آشکار سازند.
تفاوت کلان داده و هوش تجاری
با توجه به آنچه گفته شد، بین کلان داده و هوش تجاری (Business Intelligence) نیز تفاوتهایی وجود دارد.
هوش تجاری از آمار توصیفی از دادههای با چگالی بالا برای اندازهگیری و نیز تشخیص روندهای موجود استفاده میکند.
دادههای بزرگ از آمار استقرایی و مفهومی برای ارایه قوانین (رگرسیون، روابط غیرخطی و …) در مجموعه بزرگی از دادهها که چگالی اطلاعاتی کمتری دارند، استفاده میکند تا روابط، وابستگیها و پیشبینیهایی را از رفتارها و خروجیها ارایه نماید.
با این توضیحات ویژگیها و مشخصات ارایه شده برای دادههای بزرگ را میتوان به شرح ذیل برشمرد:
الف. حجم: مقدار و میزان داده تولیدشده در حوزه دادههای بزرگ بسیار مهم است. در واقع حجم داده تعیین میکند که آیا میزان خاصی از دادهها در چهارچوب دادههای بزرگ قرار میگیرد یا نه چراکه نام «دادههای بزرگ» خود مفهوم بزرگی را به دنبال دارد.
ب. تنوع: تنوع دادهها برای کسانی که با تحلیل دادهها سروکار دارند بسیار مهم است، چراکه به آنها کمک میکند تا بهطور مؤثرتری بتوانند دادهها را در جهت مزیتهای خود به کار بگیرند.
ج. سرعت و شتاب: شتاب و سرعت در حوزه دادههای کلان بهسرعت تولید دادهها و نیز به چگونگی سرعت تولید و پردازش دادهها برای اهداف پیش روی توسعه و رشد اشاره دارد.
د. تغییرات پذیری: این ویژگی مشکل بزرگی را برای تحلیل گران دادهها ایجاد میکند چراکه باگذشت زمان تناقضاتی را در دادهها ایجاد میکند که مانع مدیریت و پردازش موثر آنها میشود.
ه. صحت: کیفیت دادههایی که از حوزههای مختلف بهدستآمده است میتواند بسیار مهم باشد. دقت تجزیهوتحلیل دادهها به صحت اطلاعات منابع دادهای وابسته است.
و. پیچیدگی: مدیریت دادهها میتواند به یک فرآیند پیچیده تبدیل شود، مخصوصا زمانی که حجم زیادی از دادهها از منابع متعدد آمده باشد. این دادهها باید با همدیگر متصل شوند و ارتباط درستی بین آنها ایجاد گردد تا بتواند درک درستی از اطلاعات به وجود آورد. از این وضعیت در دادههای بزرگ به پیچیدگی یاد میشود
جهت مشاهده ودانلود فایل pdf ماهنامه ” اقتصاد دیجیتال” اینجا کلیک نمایید.
تکنولوژیهای دادههای بزرگ
کلان داده به تکنولوژیهای فوقالعادهای برای پردازش دادههای عظیم در مجموعههای بزرگ نیازمند است تا بتواند درزمانی معقول پاسخگوی نیازها و اهداف تحلیل و پردازش دادهها باشد. در سال ۲۰۱۱ موسسه مککینزی (McKinsey) تکنولوژیهایی را برای دادههای بزرگ پیشنهاد داد که تجمع، تولید و یکپارچهسازی اطلاعات، الگوریتم ژنتیک، یادگیری ماشین، پردازش زبان طبیعی، پردازش سیگنال، شبیهسازی، تحلیل سریهای زمانی و مصورسازی ازجمله آنها بوده است.
دارپا (Defense Advanced Research Projects Agency (DARPA)) نیز در سال ۲۰۰۸ تحت عنوان شرکتی به نام Ayasdi از تکنولوژی خود که به دنبال ساختارهای بنیادی در مجموعههای وسیع داده و تحلیل آنهاست، رونمایی کرده است.
کاربردهای دادههای بزرگ
دادههای بزرگ تقاضا برای متخصصان در این حوزه را بهشدت بالابرده است و شرکتهایی چون Oracle، IBM، Microsoft، SAP و … بیش از ۱۵ میلیارد دلار برای توسعه نرمافزارهای مدیریت و تحلیل داده سرمایهگذاری کردهاند.
کلان داده، نحوه کار سازمانها و افراد را تحت تاثیر قرار میدهد. دادههای بزرگ فرهنگی را در سازمانها ایجاد میکند که از طریق آن کسبوکارها و مدیران فناوری اطلاعات را به سمت استفاده از تمامی ارزشهای پنهان در دادهها سوق میدهد. ادراک این ارزشها به همه کارکنان سازمانها این امکان را میدهد که با بینش وسیعتری تصمیمگیری کنند، نزدیکی بیشتری با مشتریان داشته باشند، فعالیتهای خود را بهینه کنند، با تهدیدات مقابله کنند و درنهایت سرمایههای خود را بر روی منبع جدیدی از سود سرشار پنهان در دادهها متمرکز سازند. سازمانها برای رسیدن به این مرحله نیازمند معماری جدید، ابزارهای نو و فعالیتها و تلاشهای مستمری هستند تا بتوانند از مزیتهای چهارچوبهای مبتنی بر دادههای بزرگ بهرهمند گردند.
مثالهای زیادی از کاربردهای دادههای بزرگ میتوان برشمرد. شرکت eBay از دو انباره داده ۷.۵ پتابایتی (۷.۵ PebiBytes) به همراه دو انباره ۴۰ پتابایت (۴۰ PetaBytes) در Hadoop برای تحقیقات و سیستم پیشنهاد به مشتری و فروش استفاده میکند.
شرکت آمازون روزانه میلیونها عملیات را در داخل شرکت و نیز عملیات مربوط به همکاران خود را مدیریت میکند بهطوریکه از سال ۲۰۰۵ سه دیتابیس بزرگ جهان بر روی لینوکس را به خود اختصاص داده است.
مثال دیگری نیز میتوان ازجمله شرکت والمارت (Walmart) که روزانه بیش از ۱ میلیون تراکنش مشتریان خود را مدیریت میکند بیان کرد.
در انتها مزایا، چالشها و موانعی که بر سر راه Big Data قرار دارد را با توجه به آمار بررسی میکنیم:
با توجه به نتایج تجزیهوتحلیل کلان داده توسط TDWI، مزایای دادههای حجیم عبارتاند از: بازاریابی هدفمندتر، بینش درونبینی کسبوکار بهطور صریحتر، تقسیمبندی مبتنی بر مشتری، تشخیص فروشها و شانس بازار، خودکاری سازی تصمیمگیری، تعریف رفتارهای مشتری، بازگشت بیشتر سرمایهگذاری، تعریف خطرها و روند بازار، فهم تغییر تجارت و کسبوکار، برنامهریزی و پیشبینی بهتر، شناسایی رفتار مصرفکننده از جریان کلی و گسترش عملکرد تولید.
بهعلاوه، TDWI موانع بالقوه تجزیهوتحلیل دادههای حجیم را ارائه داده است؛ مانند عدم توانایی دریافتن کارشناسان دادههای حجیم جهت بهکارگیری، هزینه، محرومیت از ضمانت و حمایت از کسبوکار، سختی طراحی سیستمهای تجزیهوتحلیل، فقدان نرمافزار پایگاه داده فعلی درزمینه تجزیهوتحلیل و زمان پردازش سریع، مشکلات مقیاسپذیری، ناتوانی در ساخت دادههای حجیم قابلاستفاده برای کاربران نهایی، بارگذاری دادهها در نرمافزار پایگاه داده فعلی سریع نیست، فقدان مورد کسبوکار قانعکننده.
بر اساس نتایج مرکز فناوری اطلاعات تجزیهوتحلیل دادههای حجیم Intel، چالشهای متعددی برای دادههای حجیم وجود دارد: رشد دادهها، زیرساختهای داده، سیاست دادهها، اجتماع دادهها، سرعت دادهها، تنوع دادهها، مقررات یا انطباق دادهها، تجسم دادهها (تصویرسازی).
بعلاوه، مرکز فناوری اطلاعات Intel، موانع دادههای حجیم را مشخص کرده است: نگرانیهای امنیتی، هزینههای عملیاتی، افزایش گلوگاههای شبکهای، کمبود متخصصان ماهر علم اطلاعات، نرخ داده غیرقابلکنترل و مدیریت، قابلیت تکرار دادهها، نبود قابلیتهای متراکم سازی رکود شبکهای بزرگتر و نارسایی قدرت پردازنده.
باوجود موانع بالقوه و چالشهای دادههای حجیم، Big Data هماکنون و همچنین در آینده از اهمیت زیادی برخوردار خواهد بود.
منبع:
www.iotiran.com
www.behido.ir
www.armanica.ir
www.eworldco.ir
www.dadekavan.ir