بڑا ڈیٹا: ایک مشکل 'کھرب ڈالر کا موقع'

کل کے بلومبرگ انٹرپرائز ٹکنالوجی سمٹ میں ایک چیز جس نے مجھے متاثر کیا وہی نئے طریقوں سے اعداد و شمار سے نمٹنے پر توجہ مرکوز تھی - دوسرے لفظوں میں ، اس معاملے سے نمٹنے کے جو اکثر کہا جاتا ہے "بڑا ڈیٹا"۔

کچھ گفتگو میں بڑے اعداد و شمار کی قیمت سے نمٹا گیا ، اور کیا یہ واقعی ایک "ٹریلین ڈالر کا موقع" تھا ، جب کہ دوسروں نے ان نئی تکنیکوں کو زیادہ وسیع پیمانے پر متعین کرنے میں انفرادی تنظیموں اور صنعت کو پورے چہرے کے طور پر مخصوص چیلنجوں سے نمٹا ہے۔

بلومبرگ ایل پی کے بلومبرگ ایل پی کے عالمی سربراہ جیرڈ فرانسس نے اس دن کی شروعات یہ تجویز کرتے ہوئے کی تھی کہ سب سے اہم کام کمپنیاں کر سکتی ہیں کہ "ڈیٹا کی قدر کو اس کا استعمال کرکے فائدہ پہنچائیں" ، اور اس کی رسائی ، معیار اور اس کے بہاؤ پر توجہ مرکوز کرنا۔ کسی تنظیم میں موجود ڈیٹا۔ اس کے بعد کے پینلز میں ، نئے ٹولز کے بارے میں بہت سی باتیں ہوئیں جو اعداد و شمار سے نمٹنے کے ساتھ ساتھ لوگوں کو ڈیٹا سے نمٹنے کے ل st اسٹور کرنے ، سنبھالنے اور ڈھونڈنے میں مخصوص امور کے بارے میں بھی باتیں کرتی ہیں۔

انٹرپرائز رجحانات کے بارے میں ایک عمومی پینل میں ، منگو ڈی بی کے چیئرمین اور شریک بانی ، ڈوائٹ میری مین نے کہا کہ ایپلی کیشن ٹریک کے ڈیٹا پرت میں "سب سے بڑی رکاوٹ اور تبدیلی ہے جو ہم نے 25 سالوں میں دیکھا ہے۔" انہوں نے کہا کہ کمپنیاں 25 سال یا اس سے زیادہ عرصے سے رشتہ دار ڈیٹا بیس کا استعمال کررہی ہیں جس کی وجہ سے یہ اسٹیک میں سب سے قدیم ٹیکنالوجی ہے۔ لیکن اب فائلوں پر مبنی اسٹوریج کے ساتھ ایسی باتیں ہو رہی ہیں جیسے ہڈوپ اور نئی ڈیٹا بیس ٹیکنالوجیز ، جنہیں اکثر "NoSQL" کہا جاتا ہے۔ انہوں نے یہ نکتہ پیش کیا کہ بگ ڈیٹا "بگ" کے بارے میں نہیں ہے بلکہ اعداد و شمار کی شکل ، ڈیٹا کی اقسام اور اصل وقت کے اعداد و شمار سے نمٹنے کی طرف پیش قدمی کے بارے میں ہے۔

گوگل کے چیف انفارمیشن آفیسر بینجمن فرائڈ نے اتفاق کیا کہ زیادہ تر کاروباری اداروں کو "بگ ڈیٹا" کی پریشانی نہیں ہوتی ہے۔ انہوں نے کہا کہ بہت سارے ڈیٹا سیٹ - ایچ آر ڈیٹا اور مالی اعداد و شمار جیسی چیزوں کے ساتھ۔ اتنا بڑا نہیں ہے۔ اہم بات یہ ہے کہ اعداد و شمار سے نمٹنے کے ل you آپ کو لچک کی ضرورت ہے۔

بگ ڈیٹا ویسے بھی کیا ہے؟

مارک لوجک کے گیری بلوم ، نیوسٹر کے مارک بریگ مین ، اسٹریم بیس کے مارک پامر ، اور بلومبرگ کے وپول ناگراتھ

یہ تصور - وہ لچک اتنی ہی اہم ہے جتنا ڈیٹا کی جسامت - بعد کے دن ایک اور پینل میں بھی گونج اٹھی۔ وہاں ، شرکاء نے اس بات پر اتفاق کیا کہ کمپنیاں ایک لمبے عرصے سے ڈیٹا ہیوی ایپلی کیشنز سے نمٹ رہی ہیں ، لیکن حال ہی میں پیمانہ بدلا ہے۔ مثال کے طور پر ، نوسٹر کے سینئر نائب صدر اور چیف ٹکنالوجی آفیسر مارک ایف. بریگ مین نے نوٹ کیا کہ اب کچھ کمپنیاں اس امید پر "سب کچھ ذخیرہ" کر رہی ہیں کہ یہ قیمتی ثابت ہوگی۔

مارک لاجک کے سی ای او اور صدر گیری بلوم کے مطابق ، "بڑی کو پیچیدگی کے طور پر بہتر سمجھا جاتا ہے۔" انہوں نے نوٹ کیا کہ بہت سے نام نہاد "بگ ڈیٹا" ایپلی کیشنز میں بہت سارے طرح کے ڈیٹا شامل ہوتے ہیں ، لیکن عام طور پر "بگ ڈیٹا" ایپلی کیشنز میں جس طرح کا حجم آپ سنتے ہیں وہ نہیں۔

انہوں نے ہوائی ٹریفک کی ایک مثال پیش کی جس میں موسم کے اعداد و شمار ، ہوائی اڈے کے اعداد و شمار ، جغرافیائی اعداد و شمار ، فلائٹ کا ڈیٹا ، ایئر لائن بکنگ کے اعداد و شمار اور سماجی اعداد و شمار شامل ہیں۔ انہوں نے کہا کہ متنازعہ اعداد و شمار سے نمٹنے کے لئے روایتی رشتہ دار ڈیٹا بیس کے ساتھ کرنا بہت مشکل تھا ، مونگڈ ڈی بی کے میریریمین کے ابتدائی تبصروں کی بازگشت کرتے ہوئے کہ یہ "پچیس سالوں میں ڈیٹا بیس میں پہلی نسل کی تبدیلی" ہے کیونکہ ہم مین فریم سے رشتہ دار ڈیٹا بیس کے دور میں چلے گئے۔

انہوں نے بتایا کہ بہت سارے لوگ سوشل میڈیا ڈیٹا کے بارے میں بات کرتے ہیں ، لیکن واقعتا other اس میں دوسرے اعداد و شمار کے ساتھ مل کر کام کرنے کی ضرورت ہے تاکہ آپ واقعی کچھ حاصل کرسکیں جس پر آپ فائدہ اٹھاسکیں۔ اس ڈیٹا کو یکجا کرنا "اصل قدر" ہے۔

بلاگ ، کچھ ایپلی کیشنز میں بہت سی معلومات شامل ہوتی ہیں ، بریگ مین کے ساتھ یہ کہتے ہیں کہ نسلی امتیاز صرف ایک عنصر ہے۔ انہوں نے ڈی این ایس ڈیٹا کا حوالہ دیا ، جو ایک دن میں 8TB معلومات آسانی سے پیدا کرسکتا ہے ، اور ہڈوپ میں ایسی چیزوں کو ذخیرہ کرنے کی ضرورت ہے۔ بریگ مین اور دیگر نے نوٹ کیا کہ جب "ڈیٹا کیپیٹلائزیشن" کی بات آتی ہے تو ، اصلی قدر خام اعداد و شمار میں نہیں ہوتی ، بلکہ اس کے بجائے تجزیات میں ہوتی ہے جب یہ ایسی چیز بن جاتی ہے جب آپ استعمال کرسکتے ہو۔ پینل کے دیگر افراد نے اس پر اتفاق کیا۔

اسٹریم بیس کے سی ای او مارک پامر نے کہا کہ بہت ساری ایپلی کیشنز میں اسٹریم تجزیات کے ساتھ ڈیٹا کی بڑی مقدار کو جوڑنا اہم تھا۔ اور اضافی قیمت کے بارے میں بات کی جو روایتی اور اصل وقت کے تجزیات کو ملا کر پیدا کی جاسکتی ہے۔

لیکن انہوں نے اتفاق کیا کہ اعداد و شمار کی پیچیدگی ایک مسئلہ ہے۔ انہوں نے اس بات کا حوالہ دیا کہ کس طرح ٹیوکو (جو اب اسٹریم بیس کا مالک ہے) چلانے والے ویویک راناڈیو نے ایک باسکٹ بال ٹیم خریدی تاکہ یہ معلوم کیا جا سکے کہ کس طرح ٹیکنالوجی مداحوں کے تجربے کو بہتر بنا سکتی ہے۔ انہوں نے ایک بار پھر "مختلف قسم کے ڈیٹا کو اپنانے ،" کے بارے میں بات کی جو ٹویٹر اسٹریم سے شروع ہوتی ہے بلکہ دوسرے قسم کے ڈیٹا کو بھی فائدہ اٹھاتی ہے۔

بلوم نے نوٹ کیا کہ یہ سب کا انحصار اس درخواست پر ہوتا ہے کہ ، "یہ دیکھنے والے کی آنکھ میں تاخیر ہے۔" کچھ ایپلی کیشنز کو اس سے پہلے کہ ڈیٹا بیس کو ٹکرانے سے پہلے ہی تار پر موجود ڈیٹا کو پارس کرنے کی ضرورت ہوتی ہے ، جبکہ دوسرے ایسا نہیں کرتے ہیں۔

بریگ مین نے اس مسئلے کو سامنے لایا کہ اس کے بجائے کمپیوٹ وسائل کو منتقل کرنا مشکل ہے ، اب اعداد و شمار کو منتقل کرنا بہت مشکل ہو رہا ہے۔ انہوں نے نوٹ کیا کہ بہت سے ایپلی کیشنز کے لئے ، "لاک ان" اعداد و شمار کی جگہ ہے۔ ایک بار جب آپ اپنے ڈیٹا کو عوامی بادل میں محفوظ کر لیتے ہیں تو اسے منتقل کرنا بہت مشکل ہوتا ہے۔ اس کے نتیجے میں ، انہوں نے کہا ، بہت ساری تنظیمیں اپنے اپنے مقامات پر بڑے پیمانے پر ڈیٹا اسٹور کرنا چاہتی ہیں ، اس کے بعد کمپیوٹ کی فعالیت کے لiders مختلف فراہم کنندگان میں منتقل ہوجائیں۔ مارک لاجک بلوم سے ایک اصطلاح لیتے ہوئے ، اس نے اس بارے میں بات کی کہ کس طرح تنظیموں کو "ڈیٹا سنٹرڈ ڈیٹا سینٹر" کی ضرورت ہوسکتی ہے جہاں آپ بڑے پیمانے پر ڈیٹا رکھتے ہیں۔

کیا بگ ڈیٹا ایک 'ٹریلین ڈالر کا موقع ہے؟'

پورٹربی بی بی آف میڈیا ٹیک ٹیک کیپیٹل پارٹنرز ، کلوڈیرہ کی ڈگ کٹنگ ، سنیپلاگک کے گوراو ڈھیلون ، اور بلومبرگ لنک کی جیسن کیلی

ایک اور پینل نے بڑے اعداد و شمار کے ذریعہ لائے گئے مواقع اور چیلنجوں کے بارے میں تبادلہ خیال کیا ، جس میں میڈیا ٹیک کیپٹل پارٹنرز میں شریک پارٹنر بیب ، کے مینیجنگ پارٹنر کے تبصرے پر غور کیا گیا۔ بی بی نے کہا کہ نئی تکنیکوں کا استعمال کرتے ہوئے کارپوریشنوں کو در حقیقت ایک کھرب ڈالر سے زیادہ کے فوائد ہیں۔ آج تک ، انہوں نے کہا ، ہم نے "اس ٹکنالوجی کی پیش کردہ صلاحیتوں کو بھی استعمال کرنا شروع نہیں کیا ہے۔"

بی بی نے اس بارے میں بات کی کہ کس طرح تنظیموں کے لئے اپنے ڈیٹا کی حکمت عملی کو کاروباری حکمت عملی کے ساتھ موافق بنانا ضروری ہے ، اور وہ پریشان تھے کہ زیادہ تر کارپوریٹ اور حکومتی نظام غلط ہیں۔

اس پہلے سیشن میں ، اینڈریسن ہورووٹز کے اسکاٹ وائس نے کہا کہ "ہڈوپ کرائیوجینک اسٹوریج کی طرح ہے ،" لہذا بلومبرگ لنک کے ماڈریٹر جیسن کیلی نے کلوڈرا کے چیف آرکیٹیکٹ ڈوگ کٹنگ سے پوچھا ، جو پہلے جگہ ہڈوپ کے تخلیق کاروں میں سے تھا ، اس نے کس طرح دیکھا۔ کہ

کٹنگ نے کہا کہ ہڈوپ لوگوں کو زیادہ سے زیادہ ڈیٹا کے ساتھ کام کرنے کی اجازت دے رہا ہے۔ انہوں نے کہا کہ تنظیمیں ڈیٹا کو ٹیپ سے دور کررہی ہیں ، بجائے اس کے کہ اسے آن لائن اور قابل استعمال بنایا جائے۔ صارفین 90 دن کے ڈیٹا کے ساتھ کام کرنے سے "فعال آرکائو" میں پانچ یا 10 سال کے ڈیٹا کی طرف بڑھ رہے ہیں۔

اس سارے ڈیٹا سے نمٹنے کے متعدد مخصوص امور ایک بار پھر اس پینل میں سامنے آئے۔ اسنیپ لاجک کے سی ای او گروور ڈھیلون نے "ڈیٹا کشش ثقل" کے بارے میں بات کرتے ہوئے کہا کہ ہڈوپ میں موجود اعداد و شمار کو رکھنے اور اسے بادل میں منتقل کرنے کا کوئی مطلب نہیں ہے۔ لیکن اسی کے ساتھ ، اگر بادل میں ڈیٹا موجود ہے ، جیسے کلک اسٹریم تجزیہ ، اس کو اس احاطے میں منتقل کرنے کا کوئی مطلب نہیں ہے۔ انہوں نے کہا کہ اس کے نتیجے میں ، وہ اعداد و شمار کو منتقل کرنے میں بہت کم "سرحد پار کے مواقع" دیکھ رہے ہیں۔

کٹنگ نے کہا کہ انہیں یقین نہیں ہے کہ واقعی میں ڈیٹا سائنسدانوں کی کمی ہے۔ اس کے بجائے ، اس نے کہا کہ بہت سارے لوگ ہیں جو ریاضی اور کاروبار کو سمجھتے ہیں ، لیکن ان کے پاس ٹولز نہیں ہیں۔ انہوں نے کہا ، آپ اوزار کی بنیادی باتیں اور جو کچھ ہفتوں میں کرتے ہیں وہ سیکھ سکتے ہیں ، لیکن آپ کے کاروبار کو سمجھنے میں کئی سال درکار ہیں۔ پھر بھی بہت سارے لوگ ہیں جو یہ سمجھتے ہیں۔

ڈھلن نے قانون سازی کے بارے میں خدشات کی بھی عکاسی کی کہ اس سے متعلق معاملات میں کیا معلومات کو کہاں محفوظ کیا جاسکتا ہے۔ انہوں نے کہا کہ کچھ عمودی منڈیوں میں معلومات ضروری ہوتی ہیں کہ وہ جگہ جگہ موجود ہوں ، لیکن ایسی چیزوں کے بارے میں پریشان ہیں جیسے اعداد و شمار کو اپنے اصلی ملک سے باہر نہ منتقل کرنا۔ اس نے سنوڈن کے انکشافات اور اعداد و شمار کی خلاف ورزی جیسی چیزوں پر بہت زیادہ ردعمل ظاہر کیا ہے ، انہوں نے کہا ، "قانون سازی کرنے میں جلد بازی کبھی اچھی نہیں ہوتی ہے۔"

یہ پوچھے جانے پر کہ کیا اس کو پریشانی ہے کہ سنوڈن اور ہدف کی خلاف ورزیوں سے صارفین کو ڈیٹا سے خوفزدہ کیا جا رہا ہے ، کٹنگ نے کہا کہ وہ پریشان ہیں کہ بہت سارے لوگ پریشان ہیں۔ انہوں نے کہا کہ بہت سارے لوگ ٹکنالوجی سے خوفزدہ ہیں ، اور یہ اس صنعت کی ناکامی ہے کہ صارفین کو اس خیال میں راحت پیدا کرنا کہ ان کا ڈیٹا استعمال نہیں ہورہا ہے۔ "آپ کو عجیب و غریب ہونے کی ضرورت نہیں ہے ،" انہوں نے کہا۔

آخر میں ، تشخیص کے بارے میں بہت بحث ہوئی ، بی بی نے کلڈیرا میں حالیہ انٹیل سرمایہ کاری کو "بڑا سودا" قرار دیا ، کیونکہ یہ توثیق کرتا ہے کہ کمپنی کیا کررہی ہے۔ انہوں نے کہا کہ دوسری بڑی کمپنیاں جیسے اوریکل ، آئی بی ایم ، مائیکرو سافٹ اور امازون پیش گوئی کرنے والے تجزیاتی کمپنیوں کے گرد گھوم رہی ہیں۔ "سونے کا رش ابھی شروع ہوا ہے۔"

ڈھلون نے کہا کہ قیمتوں سے ظاہر ہوتا ہے کہ پلمبنگ کمپنیاں بڑی ڈیٹا مارکیٹ میں کیا لاتی ہیں۔ انہوں نے کہا کہ اس طرح کے "پک اینڈ بیلچہ" لڑکوں کو اچھی قیمت ملتے ہوئے خوشی ہوئی ، لیکن انہوں نے کہا کہ انھیں تھوڑا سا خوف تھا کہ مارکیٹ سے پہلے ہی قیمتیں مل رہی ہیں۔

بی بی بی نے کہا کہ ان کا خیال ہے کہ میڈیا میں بڑے اعداد و شمار کو بڑھاوا دیا جاسکتا ہے ، لیکن اسے "سی سوٹ" (جس کا مطلب سی ای اوز ، سی ایف اوز ، اور دیگر اعلی عہدیداران ہیں۔) میں اس کا اندازہ نہیں کیا جاسکتا ہے۔ انہوں نے کہا کہ اس میں "بہت بڑی معاشی صلاحیت موجود ہے جس کا ابھی دریافت نہیں کیا جاسکتا ہے۔ "