فرآیند داده کاوی (مرحله دوم)
لینک به بخش قبلی
مرحله 2: انتخاب داده مناسب :
داده کاوی به داده نیاز دارد. در بهترین حالت ممکن، داده مورد نیاز در یک انبار داده مجتمع، پالایش شده، در دسترس، با سابقه درست، و بطور متناوب در حال اصلاح، قرار دارد. اما در واقعیت تمام این موارد ممکن نیست. منابع داده مفید و دردسترس، از مسئله ای به مسئله دیگر و از صنعتی به صنعت دیگر، متنوع هستند.
چه چیزی در دسترس است ؟
فرآیند داده کاوی (مرحله اول)
مرحله 1: تبدیل مسئله کسب و کار به مسئله داده کاوی:
اهداف داده کاوی برای یک پروژه خاص نباید با عبارت کلی نوشته شده باشد، مثلا:
1- کسب درکی از رفتار مشتری
2- کشف داده های معنی دار از داده ها
3- یادگیری چیزهای جالب
فرآیند داده کاوی
داده کاوی نیازمند شناسایی یک مسئله همراه با مجموعه ای از داده هاست که می تواند منجر به درک بهترومدل های کامپیوتری به منظورفراهم اوردن تحلیل آماری یا مقاصد دیگرگردد . این کار با ابزارهای تجسم فکری که داده را نمایش میدهد یا تحلیل اماری کاملاً بنیادی مثل تحلیل همبستگی ممکن است پشتیبانی شود .
ابزارهای داده کاوی نیاز دارند که متنوع ، درجه بندی شده ، قادر به واکنش های پیشگویی دقیق بین عملیات و نتایج و اجرای خودکارباشند. تنوع به توانایی ابزاری اشاره دارد که انواع وسیعی ازمدل ها را به کار گیرد. ابزارهای مقیاس اشاره به این موضوع می کنند که اگراین ابزارها روی یک مجموعه داده کوچک کارکند باید روی مجموعه داده های بزرگتر نیز کار کند .کنترل خودکار سودمند است اما کاربردش وابسته به اموری است.
فصلنامه McKinsey Quarterly 2016 No. 4
شرکت McKinsey & Company ،شرکتی چند ملیتی است که در زمینه مشاوره مدیریتی فعالیت می کند. این شرکت تحلیل های کمی و کیفی را به منظور ارزیابی تصمیمات مدیریتی انجام می دهد.حدود هشتاد درصد از بزرگترین شرکت های جهان تا کنون در موارد مختلف از خدمات مشاوره ای این شرکت استفاده کرده و یا می کنند. که این مشاوره ها به عنوان معتبرترین خدمات مشاوره مدیریتی جهان شناخته شده اند. این شرکت فصلنامه McKinsey Quarterly را منتشر می کند، که در آن بر روی مباحث مدیریتی و تئوری های سازمانی تمرکز شده است. برای دریافت شماره چهارم سال 2016 این فصلنامه بر روی لینک زیر کلیک کنید.
Download Link:
فصلنامه McKinsey Quarterly 2016 No. 1
شرکت McKinsey & Company ،شرکتی چند ملیتی است که در زمینه مشاوره مدیریتی فعالیت می کند. این شرکت تحلیل های کمی و کیفی را به منظور ارزیابی تصمیمات مدیریتی انجام می دهد.حدود هشتاد درصد از بزرگترین شرکت های جهان تا کنون در موارد مختلف از خدمات مشاوره ای این شرکت استفاده کرده و یا می کنند. که این مشاوره ها به عنوان معتبرترین خدمات مشاوره مدیریتی جهان شناخته شده اند. این شرکت فصلنامه McKinsey Quarterly را منتشر می کند، که در آن بر روی مباحث مدیریتی و تئوری های سازمانی تمرکز شده است. برای دریافت شماره اول سال 2016 این فصلنامه بر روی لینک زیر کلیک کنید.
Download Link:
McKinsey_Quarterly_Q1_2016
حجم: 2.9 مگابایت
سسله مباحث اینترنت اشیاء بخش اول
اینترنت اشیا چیست؟
در حین اینکه تجهیزات کامپیوتری ثابت و متحرک مانند کامپیوتر های رومیزی، گوشی های هوشمند و تبلت ها به عنوان اجزاء اینترتت اشیاء در نظر گرفته نمی شوند، ولی گوشی های هوشمند داری ویژگی هایی مانند سنسورهای موقعیت و حرکت هستند که موجب نامشخص شدن این تفاوت می شود. بعضی از گوشی های هوشمند دارای برنامه هایی هستند که آنها را قادر می سازد تا در بدن سازی و دیگر موارد پایش سلامت استفاده گردند.
به عبارت دیگر اینترنت اشیاء شامل تعداد عظیمی از انواع اشیایی است که به هم متصل شده اند. در عمل اینترنت اشیاء به یک شبکه ساده و یکنواخت از اشیاء اشاره ندارد بلکه به مجموعه پیچیده ای از اشیاء و شبکه ها اشاره دارد. ابعاد خاصی از اینترنت اشیاء ممکن است به اصطلاحاتی مانند شبکه توزیع برق هوشمند، شهر های متصل (connected cities) و اینترنت صنعتی (Industrial Internet) اشاره داشته باشد. اصطلاحات دیگری نیز در زمینه اینترنت اشیاء ممکن است به منظور مشخص کردن مفاهیم استفاده شود، مانند سیستم فیزیکی-سایبری (cyber-physical systems) و اینترنت همه چیز (Internet of Everything) .
اینترنت اشیاء اغلب به عنوان مرحله مهم بعدی در انقلاب فضای مجازی در نظر می گیرند. اولین کامپیوتر در سال 1940 ایجاد شد، ولی چهل گذشت تا اتصال کامپیوتر های از طریق سیم در سال 1980 گسترش یابد. در اولین دهه قرن 21 شاهد مرحله بعدی بودیم، که با گسترش سریع گوشی های هوشمند و دیگر تجهیزات متحرک که از ارتباط بی سیم استفاده می کنند و همچنین رسانه های اجتماعی، تحلیل داده های بزرگ (Big data) و محاسبات ابری (Cloud computing) مشخص می گردد. بر اساس این پیشرفت ها، اتصال مابین دو یا چند ماشین (M2M) و ماشین ها و مردم، بسیاری از کارشناسان انتظار دارند که در سال 2020 رشد چشمگیری در اینترنت اشیاء و کاربرد های آن به وجود آید.
منبع:
The Internet of Things: Frequently Asked Questions, Eric A. Fischer, Senior Specialist in Science and Technology, October 13, 2015, Congressional Research Service
شبکه توزیع برق : انرژی، داده بزرگ و اینترنت اشیاء
What is big data and why should you care?
ارتقاء عملکرد در صنعت نفت و گاز با استفاده از داده های بزرگ
توانایی دسترسی، تجزیه و تحلیل و مدیریت حجم عظیمی از داده ها که با سرعت فزاینده ای درحال معماری اطلاعات اند، برای صنایعی که دست اندرکار اکتشاف و استخراج نفت و گاز هستند بسیار حیاتی است. این شرکتها در پی ارتقاء راندمان کسب و کار و عملکرد خود هستند و در عین حال با چالشهایی همانند نوسانات در قیمت نفت و گاز، تغییر سیاستگذاریها در حوزه انرژی، دغدغه های زیست محیطی (مانند گرم شدن زمین و عواقب ناشی از استخراج نفت شیل)، رقابت بر سر منابع انرژی نو ظهور و هزینه های مدیریت عملکرد و کاهش راندمان دست به گریبان هستند.
در مواجهه با چنین چالشهایی، بسیاری بر این باورند که "داده های بزرگ" و حسگرهایی که میتوانند به عنوان منابع مهم اطلاعات چنین داده هایی را فراهم آورند، برای بهینه کردن اکتشاف، حفاری، تولید و استخراج مورد نیازند. منابع اطلاعاتی جدید همانند رسانه های اجتماعی میتوانند دید مهمی نسبت به احساسات جوامع محلی که با امکانات و خطوط لوله تحت تاثیر قرار میگیرند، ایجاد کنند. همچنین مدریت درست بنگاههای املاک و مستغلات در حفظ خوشنامی و آوازه آنها هنگام ارزیابی ضروری است.
امروزه، شرکت های نفت و گاز داده ها را از منابع مختلفی مورد تجزیه و تحلیل قرار میدهند. این منابع اطلاعاتی عبارتند از:
....
برای ادامه مطلب فایل زیر را دریافت کنید.
دریافت فایل
Improving Oil & Gas Performance with Big Data
حجم: 1.19 مگابایت
حجم اطلاعات در جهان امروز به سرعت رو به افزایش است. بر اساس تحقیقات دفتر فناوری تجارت شرکت MGI (موسسه جهانی McKinsey)، تحلیل چنین مجموعه اطلاعات وسیعی - که اصطلاحاً "داده بزرگ" (Big data) نامیده میشوند –کلید اصلی رقابت و سنگ بنای رشد بهره وری، خلاقیت و مازاد مصرف کننده[1] است. پیشگامان و راهبران در تمامی بخشها باید با مفهوم "داده بزرگ"، (نه داده های اندکی که برای مدیران طبقه بندی میشوند) ، درگیرشده و دست و پنجه نرم کنند. حجم و جزئیات رو به افزایش اطلاعاتی که در اختیار موسسات اقتصادی قرار دارد، رشد ابزارهای چند رسانه ای، رسانه های اجتماعی و اینترنت باعث رشد تصاعدی اطلاعات برای آینده ای قابل پیش بینی گردیده است.
MGI، "داده بزرگ" را در پنج دسته مورد مطالعه قرار داده است. 1- بخش بهداشت و درمان (Healthcare) در ایالات متحده، 2- بخش عمومی در اروپا، 3- خرده فروشیها در ایالات متحده، 4- بخش تولید و 5- اطلاعات موقعیت فردی (personal location) بصورت جهانی. "داده بزرگ" در هرکدام از موارد فوق میتواند منجر به تولید ارزش شود. به عنوان مثال، خرده فروشی که از "داده بزرگ" برای فروش کلی خود استفاده میکند، میتواند تا 60 درصد دامنه کسب و کار خود را افزایش دهد. در اختیار داشتن "داده بزرگ" در بخش عمومی نیز ظرفیت عظیمی ایجاد میکند. اگر بهداشت و درمان ایالات متحده از "داده بزرگ" بشکلی خلاقانه و موثر برای پیش برد بهره وری و کیفیت استفاده کند، این بخش میتواند سالانه بیش از 300 میلیارد دلار ارزش افزوده داشته باشد. دو سوم این مقدار میتواند از طریق کاهش 8 درصدی هزینه های بخش بهداشت و درمان حاصل شود. در اقتصادهای توسعه یافته اروپایی، مدیران دولتی میتوانند بیش از 100 میلیارد یورو (149 میلیارد دلار) را با افزایش بهره وری در عملکرد و تنها با استفاده از "داده بزرگ" صرفه جویی کنند. لازم بذکر است این مقدار صرفه جویی بدون در نظر گرفتن استفاده از "داده بزرگ" در کاهش کلاهبرداری و تخلفات و افزایش مالیات است. کسانیکه از سرویسهای مجهز به داده های موقعیت فردی استفاده میکنند، میتوانند تا 600 میلیارد دلار از مازاد مصرف کننده بدست آورند. محققین هفت بینش کلیدی را در این زمینه پیشنهاد میکنند:
1- اطلاعات در هر صنعت و تجارتی بصورت گسترده وارد شده است و در حال حاضر در کنار دو بازوی کار و سرمایه، فاکتور مهمی برای تولید محسوب میشود. تخمین زده می شود تا پایان سال 2009، اکثر قریب به اتفاق بخشهای اقتصادی در ایالات متحده، حداقل 200 ترابایت به ازای هر شرکتی که بیش از 1000 کارمند داشته است، داده ذخیره شده در اختیار داشته اند.
2- پنج مسیر اصلی که در آنها میتوان از "داده بزرگ" تولید ارزش کرد: 1- "داده بزرگ" میتواند با ایجاد گردش اطلاعات و قابل استفاده کردن آن با سرعت بیشتر، باعث تسهیل در بدست آوردن ارزشهای قابل ملاحظه گردد. 2- با ایجاد و ذخیره اطلاعات تجاری و معاملاتی بصورت دیجیتالی، ارگانها میتوانند اطلاعات کارکردی دقیق و مفصلی از هرآنچه از موجودی کالا تا دوران رکود وجود دارد را جمع آوری کرده و تغییر پذیری و افزایش راندمان را آشکار سازند. شرکتهای پیشرو از جمع آوری داده ها و تحلیل آنها برای هدایت کنترل شده تجربیات و آزمایشات خود برای مدیریت و تصمیمات بهتر استفاده میکنند در حالیکه سایر شرکتها از داده ها برای پیش بینی نوسانات به منظور تطبیق خود در حال حاضر استفاده میکنند. 3- "داده بزرگ" حتی طیف بسیار کوچک از مصرف کننده را نیز در می پذیرد و بنابراین محصولات و خدمات را متناسب و در خور آنها در نظر میگیرد. 4- اساساً تجزیه و تحلیل پیچیده در "داده بزرگ" میتواند منجر به ارتقاء تصمیم سازی گردد. 5- نهایتاً "داده بزرگ" میتواند برای افزایش گسترش نسل های بعدی تولید و خدمات استفاده شود. به عنوان مثال، تولید کنندگان میتوانند از داده هایی که از حسگرهای نصب شده در محصولاتشان بدست آمده است استفاده کنند تا بتوانند خدمات پس از فروش خلاقانه ای ارائه کنند، همانند نگهداری پیشگیرانه (Proactive maintenance) که شامل اندازه گیریهای پیشگیرانه قبل از خرابی دستگاه میگردد.
3- استفاده از "داده بزرگ" به عنوان شاه کلید رقابت پذیری و رشد شرکتهای منفرد است. از نقطه نظر رقابت پذیری و ظرفیت جذب ارزش، همه شرکتها نیازمند استفاده جدی از "داده بزرگ" هستند. در بسیاری از صنایع، شرکتها از استراتژیهایی متکی به داده ها به عنوان اهرمی جهت خلاقیت، رقابت و جذب سرمایه از اطلاعات عمیق و به روز استفاده میکنند.
4- استفاده از "داده بزرگ" بنیان گذار موج جدیدی در رشد بهره وری و مازاد مصرف کننده خواهد بود. به عنوان مثال تخمین ما این است که استفاده از "داده بزرگ" این قابلیت را داد که کارکرد خرده فروشان را تا بیش از 60 درصد افزایش دهد. "داده بزرگ" منافع زیادی برای مصرف کنندگان و شرکت ها دارد. به عنوان مثال سرویس های مبتنی بر داده های مکانی این امکان را برای مشتریان فراهم می آورد تا از 600 ملیارد دلار مازاد اقتصادی (Economic surplus) برخوردار شوند.
5- استفاده از "داده بزرگ" موضوع تمامی بخش ها می باشد ولی بعضی از بخش ها برخورداری بیشتری از این امکان خواهند داشت. مقایسه تاریخچه بهروری در بخش های مختلف در امریکا با قابلیت های این بخش ها در استفاده از "داده بزرگ" و همچنین پیدا کردن فرصت ها و چالش های این بخش ها مشخص کرد که محصولات کامپیوتری و الکترونیکی و بخش اطلاعات و همین طور بخش های مالی، بیمه و دولتی امکان بهترین استفاده و بهروری را از "داده بزرگ" دارند.
6- مطالعات نشان می دهد که در خصوص استعداد و نیروی انسانی مورد نیاز سازمان ها برای برخورداری از مزایای "داده بزرگ" کمبود وجود دارد. در سال 2018 امریکا با کمبود 140000 تا 190000 نفر نیروی انسانی که دارای توانایی تحلیل بالا باشند و همچنین 5/1 میلیون نفر مدیر و تحلیل گر که بتوانند با استفاده از تحلیل های "داده بزرگ" تصمیم های موثر بگیرند، مواجه خواهد بود.
7- چندین مورد وجود دارد که برای به دست آوردن پتانسیل کامل "داده بزرگ" می بایست به آنها رسیدگی شود. قوانین حریم خصوصی، امنیت، حقوق معنوی و حتی مسولیت ها می بایست در جهان "داده بزرگ" مشخص شود. سازمان ها نه تنها نیاز دارند تا استعداد ها و فن آوری ها را در جای خود به کارگیرند بلکه جریان های کاری و انگیزه های را برای استفاده بهینه از "داده بزرگ" می بایست فراهم کنند. دسترسی به اطلاعات نیاز به مشارکت اساسی دارد و نیاز به یکپارچه سازی اطلاعات از منابع داده های متفاوت ، که اغلب در اختیار شخص ثالثی است، را ایجاب می کند، لذا انگیزه های لازم برای انجام این کار می بایست ایجاد گردد.
[1] - Consumer surplus ( اختلاف میان حداکثر قیمتی که مصرف‌کننده مایل است بپردازد و قیمتی که عملا برای کالایی پرداخت میشود)
