ڈیٹا لیکس ، کی وضاحت

بڑے اعداد و شمار کے انقلاب نے کاروباری اداروں کے کام کرنے کے طریقوں کی نئی تعریف کی ہے۔ ڈیٹا ہر چیز کو زیر کرتا ہے۔ نہ صرف اوپن سورس ٹولز جیسے اپاچی ہڈوپ اور اسپرک نے وسیع پیمانے پر ڈیٹا کو حقیقی وقت میں جمع کرنے ، اس پر عمل کرنے اور اسٹور کرنے میں آسانی پیدا کردی ہے ، بلکہ کاروباری انٹیلیجنس (بی آئی) اور ڈیٹا ویزائلائزیشن ٹولز نے تجزیہ کی سطح کو کھرچنے میں ہماری مدد کرنا شروع کردی ہے۔ اور کاروبار کے بنیادی فیصلوں سے آگاہ کرنے کے لئے اس ڈیٹا کو تبدیل کرنا۔

اگرچہ ، کتنا بڑا اعداد و شمار اور BI ٹیکنالوجی تیار ہوئی ہے ، اس کے باوجود ہم اس طرح کے بڑے پیمانے پر اعداد و شمار کے مرکب اعداد و شمار سے نمٹ رہے ہیں جو تجزیہ کرنے کے لئے صحیح نکات ڈھونڈنے میں اب بھی کبھی نہ ختم ہونے والے گھاس میں سوئوں کے لئے غوطہ لگانے کی طرح محسوس ہوتا ہے۔ حل؟ گھاس کو دوبارہ ڈیزائن کریں۔

ڈیٹا لیکس ، ایک نئی قسم کا کلاؤڈ بیسڈ انٹرپرائز فن تعمیر درج کریں جو ڈیٹا کو زیادہ توسیع پذیر انداز میں تشکیل دیتا ہے جس سے تجربہ کرنا آسان ہوجاتا ہے۔ سخت اسکیموں اور سائلوس میں بند ہونے کی بجائے اسے تلاش اور ہیرا پھیری کے ل more مزید کھلا بنا دیتا ہے۔ فاریسٹر ریسرچ کے انٹرپرائز آرکیٹیکچر محقق ، ناصری انجل نے بتایا کہ کاروباری افراد ڈیٹا جھیل کے فن تعمیر کو کیوں گلے لگا رہے ہیں۔

فرشتہ نے کہا ، "یہ بات معل .ک ہے ، لیکن جب آپ جدید ڈیٹا کے موثر ماحول کے بارے میں سوچتے ہیں تو یہ بہت زیادہ تجرباتی ہوتا ہے۔" "آپ کو تیزی سے سیکھنے اور تیزی سے ناکام ہونے کے قابل ہونے کی ضرورت ہے۔ ماضی میں ، ڈیٹا کو سنبھالنا ، خاص طور پر کسی گودام میں ، اعشاریہ ایک اعشاریہ quality تک تھا sure اس بات کو یقینی بنانا کہ ہر چیز مکمل طور پر درست اور درست ہے۔ اسے واحد کا پیچھا کرنا کہا جاتا ہے۔ حقیقت کا ورژن۔ پھر ایک پکسل کامل رپورٹ تیار کرنا اور اس کو 5000 صارفین تک پہنچانا۔

"آج کل ، یہ ایک زیادہ سائنسی عمل ہے۔ آپ جس اعداد و شمار کی جانچ کرنا چاہتے ہیں اس کے بارے میں ایک قیاس آرائی کے ساتھ چلتے ہیں اور آپ چاہتے ہیں کہ آپ ڈیٹا کے ساتھ کھیل سکیں ، اختلاط کریں اور ملاپ کریں ، آپ جانے سے پہلے مختلف چیزوں کو آزمانے اور کچھ پیدا کرنے کے ل.۔ "

ڈیٹا لیک میں کیا ہے؟

ڈیٹا جھیل اسٹوریج کی دکان ہے۔ اگرچہ ، اعداد و شمار کے گودام یا "ڈیٹا مارٹ" کے برعکس ، فرشتہ نے وضاحت کی کہ ڈیٹا لیکس اسکیموں پر انحصار کرنے والے ڈیٹا گودام کے فکسڈ ، ساختی ماحول کے بجائے متعدد نوڈس پر تقسیم کی جاتی ہے (ذیل میں انفوگرافک دیکھیں)۔

"جب آپ ڈیٹا گودام کے مقابلے میں ڈیٹا لکھتے ہیں تو اعداد و شمار کی جھیل آپ کو اسکیمہ لگانے کی اجازت دیتی ہے جس کے ل read آپ کو پڑھنے پر اسکیمہ لگانے کی ضرورت ہوتی ہے۔ لہذا ، بنیادی طور پر ، کسی ڈیٹا گودام سے آپ کو اس کے سیاق و سباق کو سمجھنے سے پہلے اس ڈیٹا کو ماڈل بنانے کی ضرورت ہوتی ہے ، جس کی وجہ سے آپ کو کوئی فائدہ نہیں ہوتا ہے۔ فرشتہ نے کہا ، 'واقعی میں کوئی معنی نہیں رکھتا۔

ماخذ: JustOne ڈیٹا بیس ، انکارپوریٹڈ (مکمل نظارہ دیکھنے کے لئے اوپر گرافک پر کلک کریں۔)

انہوں نے مزید کہا ، "عام طور پر ، کسی گودام میں ، آپ کے پاس آئی ٹی پروفیشنلز آتے ہیں جو وہ سمجھتے ہیں کہ وہ ڈیٹا کے بہترین نمونے ہیں اور وہ اعداد و شمار کے حتمی استعمال کنندہ نہیں ہیں۔ آپ جلدی سے دیکھ سکتے ہیں کہ اس سے پیداواری اور کاروباری قیمت میں رکاوٹ کیسے پڑتی ہے۔" . "آخر کار ، آپ کو اور کاروباری صارفین کو اعداد و شمار کی ساخت کے بارے میں فیصلے کرنے والے افراد کی ضرورت ہے ، اور ، ڈیٹا جھیل میں ، آپ پہلے وہاں کی کھوج کرسکتے ہیں اور اس کا پتہ لگاسکتے ہیں اور پھر اس کا بہترین انتظام کرنے کے لئے کوئی اسکیمہ نکال سکتے ہیں۔"

ڈیٹا لیکس عام طور پر ہڈوپ پر تعمیر کی جاتی ہیں ، اور انٹرپرائز ہڈوپ ڈسٹری بیوشن جیسے ہارٹ ورکس اور میپ آر ڈیٹا لیک لیکچر کی پیش کش کرتے ہیں۔ کاروباری ادارے انفراسٹرکچر آس-سروس (IAAS) بادلوں کا استعمال کرکے بھی ڈیٹا لیکس بنا سکتے ہیں جن میں ایمیزون ویب سروسز (اے ڈبلیو ایس) اور مائیکروسافٹ ایذور شامل ہیں۔ ایمیزون کا لچکدار کمپیوٹ کلاؤڈ (ای سی 2) ڈیٹا لیکس کی حمایت کرتا ہے جبکہ مائیکروسافٹ کے پاس ریئل ٹائم ڈیٹا کو اسٹور اور تجزیہ کرنے کے لئے ایک سرشار ایزور ڈیٹا لیک پلیٹ فارم موجود ہے۔ فرشتہ نے کہا کہ ڈیٹا لیکس بڑے اعداد و شمار کی جگہ کے لحاظ سے پختہ ہو رہی ہیں جہاں کاروبار مناسب اعتماد کے ساتھ ان میں سرمایہ کاری کا آغاز کرسکتے ہیں۔

فرشتہ نے کہا ، "کچھ سال پہلے ، ہیدوپ سارے غصے میں تھا۔ اب ہم ایک نقطہ پر پہنچ رہے ہیں جہاں ہڈوپ کو اجناس کا سامان بنایا گیا ہے۔" "سوال یہ نہیں ہے کہ اگر ہڈوپ لیکن جب ، اور آپ اس کے ساتھ کیا کرنے جا رہے ہیں۔ ایک بار جب آپ ڈیٹا جھیل کی طرح کسی عام جگہ پر ڈیٹا حاصل کرلیں گے تو آپ ہڈوپ کے اوپر کس قسم کی ایپلی کیشنز تیار کرنے جارہے ہیں؟ اس مقام پر ، آپ کی مخصوص کاروبار کی ضروریات کو پورا کرنے کے لئے ایپلی کیشنز تیار کرنے کے لئے اعداد و شمار کا استعمال کرنا ہے۔

ڈیٹا ریزروائر کے اوپر عمارت بنانا

بگ ڈیٹا کے بارے میں سب سے زیادہ دلچسپ حصہ وہ تمام امکانات ہیں جن کے کھلا ہوا ہے۔ ایک بار جب آپ ایک ڈیٹا جھیل ترتیب دیں گے جس میں مختلف اعداد و شمار کے امتزاجات اور کاروباری نتائج کے ساتھ کھیلنا اور تجربہ کرنا ہے تو ، آپ جدید تجزیہ کی تکنیکوں کو اولیت دینا شروع کرسکتے ہیں۔

مشین لرننگ (ایم ایل) الگورتھم پہلے ہی کلاؤڈ انفراسٹرکچر کے تانے بانے کا حصہ بن رہے ہیں ، اور محققین پیچیدہ نمونوں کو پہچاننے کے ل and مشینیں اور ڈیٹا سسٹم کی تربیت کے لئے گہری سیکھنے کی تکنیک اور عصبی نیٹ ورک میں مسلسل بہتری لا رہے ہیں۔ پیش گوئی کے تجزیات کو زیادہ سے زیادہ ڈیٹا ٹولز اور انٹرپرائز پلیٹ فارموں میں بھی بنایا جارہا ہے ، جس میں کسٹمر ریلیشنشمنٹ مینجمنٹ (سی آر ایم) کے لئے پیش گوئی کرنے والے اسکورنگ اور خودکار طبقہ سے لے کر مالیاتی منڈی کے رجحانات کی نشاندہی کرنے اور مشینری میں مکینیکل ناکامیوں کو فوری طور پر پکڑنے تک ہر چیز کے لئے استعمال کیا جاتا ہے۔

یہ سب کچھ آپ کے کاروبار میں جو بھی ڈیٹا اسٹور کرتا ہے اس کی سب سے اوپر ہوتا ہے اور اس کی ضروریات کے مطابق پیمانہ ہوتا ہے۔ فرشتہ نے کچھ حقیقی دنیا کے استعمال کے معاملات کے بارے میں بات کی جس میں اس نے دیکھا ہے کہ ڈیٹا کی جھیلوں سے تنظیموں کے کام کرنے کا طریقہ بدلتا ہے۔

"میں ایک پبلشنگ کمپنی کے ساتھ کام کر رہا تھا جس کے پاس مختلف رسالوں کا قلمدان موجود ہے۔ ان کے پاس وکلاء کے لئے اشاعت ہے ، کوئی اکاؤنٹنٹ کے لئے ، دوسرا کنسلٹنٹس کے لئے۔۔ اور ہر اشاعت کا اپنا ڈیٹا گودام تھا۔ مؤثر طور پر ، ہر اشاعت کا اپنا ایک مخصوص ادارہ تھا۔ سیلو ، "فرشتہ نے وضاحت کی۔

"لہذا ہم نے ایک گودام سے سارا ڈیٹا نکالا اور اسے ڈیٹا جھیل میں ڈال دیا ، اور ڈیٹا جھیل نے انہیں سائلوس کے آر پار دیکھنے کی اجازت دی۔ وہ ڈیٹا کی کھوج کرنے اور اعداد و شمار کی دریافت کرنے میں کامیاب ہوگئے ، اور انھیں محسوس ہوا کہ ان تمام مختلف اشاعتوں میں ، ہر رسالے کے صارفین سائبرسیکیوریٹی میں دلچسپی رکھتے تھے۔ سائبرسیکیوریٹی کے قارئین کی تعداد ان تمام مختلف کرداروں میں مستحکم تھی۔ تو انہوں نے کیا کیا؟ انہوں نے سائبرسیکیوریٹی کو اپنی سالانہ کانفرنس کا موضوع بنایا۔ "

ایک اور مثال فرشتہ نے جس کے بارے میں بات کی وہ ہے ای کامرس۔ ایک اور مؤکل ، ایک آن لائن آرٹ خوردہ فروش ، ایک ٹن معلومات کو ڈیٹا جھیل میں پھینک رہا تھا اور اسے نہ صرف ایک مخزن کے طور پر بلکہ کاروباری بصیرت کو آگے بڑھانے کے لئے ہر طرح کے کینوس کے طور پر استعمال کررہا تھا۔ خوردہ فروش ٹرانزیکشن ڈیٹا (آرڈرز ، رسیدیں ، ادائیگیاں ، وغیرہ) ، کلک اسٹریم ڈیٹا (ہر ویب سائٹ وزٹرز کا کلکس اور صفحات کا تسلسل) ، اور خوردہ فروش کے ڈیٹا گودام سے حاصل کردہ ڈیٹا کو جھیل میں لے جاتا ہے ، اور خریداری کی ٹوکری سے لڑنے کے لئے محفل موسیقی میں اس کا استعمال کرتا ہے ترک اور تبدیلی۔

فرشتہ نے کہا ، "آپ ڈیٹا جھیل کی چوٹی پر تعمیر کرنا چاہتے ہیں اور اسے پیچیدہ کاروباری بصیرت تیار کرنے کے لئے استعمال کرنا چاہتے ہیں۔" "آرٹ خوردہ فروش کسی صارف کے کلک اسٹریم کے اعداد و شمار کو دیکھنے اور کسٹمر کے پروفائلز کے ساتھ کلکس کو میچ کرنے کے قابل تھا ، پھر ماضی میں کسٹمر نے کیا خریدا تھا کو دیکھنے کے ل transaction ٹرانزیکشنل ڈیٹا کا استعمال کریں اور بہت ہی مخصوص ای میل مہم چلانے کے ل those ان بصیرت کا استعمال کریں۔ لہذا ، اگر کوئی صارف ترک ہوجاتا ہے۔ ان کی ٹوکری میں ، خوردہ فروش دو گھنٹے بعد اس کی پیروی کرسکتا تھا اور کہتا تھا ، 'ہم نے دیکھا کہ آپ اس پکاسو کو چیک کر رہے ہیں؛ اگر آپ اسے دوبارہ دیکھنا چاہتے ہیں تو لنک یہاں ہے۔ "

ہر طرح کے کاروباری استعمال کے معاملات میں ڈیٹا لیکس کا اطلاق عالمی سطح پر ہوتا ہے۔ لیکن ، ایک چیف ٹیکنیکل آفیسر (سی ٹی او) یا چیف انفارمیشن سیکیورٹی آفیسر (سی آئی ایس او) کے لئے فن تعمیر کی طرف ہجرت کرنے پر غور ، فرشتہ نے زور دے کر کہا کہ ڈیٹا گودام ابھی تک متروک نہیں ہیں ، کسی حد تک نہیں۔ زیادہ تر انٹرپرائز تنظیموں کے لئے ، چاہے آپ کلاؤڈ پرووائڈر یا کسٹم ہڈوپ ڈسٹری بیوشن استعمال کررہے ہو ، کاروباریوں کو اب بھی دونوں کی ضرورت ہے۔

ڈیٹا لیکس آپ کو کسی خاص اسکیما سے مطابقت رکھنے والے اعداد و شمار کی حدود کو ختم کرکے غیر متزلزل بصیرت تک رسائی فراہم کرتی ہے ، اور سستے ، لچکدار کلاؤڈ اسٹوریج جیسے AWS کے پیمانے اور نیچے کے استعمال سے ملکیت کی بہت کم لاگت آتی ہے جبکہ صرف آپ واقعی میں استعمال ہونے والی پروسیسنگ پاور کی ادائیگی کرنا۔ ڈیٹا کے گودام کو چلانے میں زیادہ مہنگا پڑتا ہے اور ، اس کے نتیجے میں ، آئی ٹی پروفیشنلز کو اس بات کے بارے میں زیادہ انتخابی بناتا ہے کہ کون سا ڈیٹا آتا ہے اور کیا آتا ہے۔ لیکن کسی انٹرپرائز کے سب سے زیادہ مشن ناگزیر اعداد و شمار کے ل that's ، یہ کوئی بری چیز نہیں ہے۔

فرشتہ نے کہا ، "ڈیٹا گودام کو سیکیورٹی کے لحاظ سے فوائد ہیں اور ڈیٹا گورننس کو کنٹرول کرنے کا ایک بہت آسان ٹول ہے۔" "لہذا آپ اب بھی اپنی انتہائی حساس معلومات گودام میں رکھنا چاہتے ہیں ، مشن ناگزیر چیزیں۔ لیکن جب کاروبار کے نئے مواقع اور چھپی ہوئی بصیرت کا پتہ چلتا ہے تو ، آپ ڈیٹا جھیل کا فائدہ اٹھانا چاہتے ہیں۔"