ڈیٹا گورننس پلان تیار کرنے کا طریقہ

ہم نے جدید کاروبار میں ڈیٹا کے کردار کے بارے میں بہت کچھ لکھا ہے۔ چھوٹے کاروبار سے شروع کرنے والے اور چھوٹے چھوٹے کاروباروں (ایس ایم بی) سے لے کر بڑے کاروباری اداروں تک ، ڈیٹا بصیرت اور تجزیہ پہلے کے مقابلے میں ہر سائز کے کاروبار میں زیادہ قابل رسائی ہے۔ یہ ، جزوی طور پر ، سیلف سروس بزنس انٹیلیجنس (BI) اور ڈیٹا ویژنائزیشن ٹولز کے عروج کی بدولت ہے۔

اگرچہ ، آپ BI ٹولز کو ملازمت دینے یا ڈیٹا سیٹ پر پیش گوئی کرنے والے تجزیات چلانے سے پہلے ، بہت سارے عوامل رکھتے ہیں۔ یہ صرف یہ سمجھنے کے ساتھ شروع ہوتا ہے کہ بگ ڈیٹا کیا ہے ، کیا نہیں ہے (اشارہ: کرسٹل بال نہیں) ، اور اپنے انٹرپرائز ڈیٹا فن تعمیر کے اندر ڈیٹا اسٹوریج ، تنظیم ، اجازتوں ، اور سیکیورٹی کا انتظام کیسے کریں۔ یہیں سے ڈیٹا گورننس آتی ہے۔ جس عمل کے ذریعے آپ انٹرپرائز میں حکمرانی کو یقینی بناتے ہیں اس پر منحصر ہوتا ہے کہ آپ کس سے بات کرتے ہیں۔ لیکن ، اصل میں ، ڈیٹا گورننس ڈیٹا اعتماد اور احتساب کے بارے میں ہے ، جس میں شادی شدہ ڈیٹا سیکیورٹی کے بہترین طریقہ کار کے ساتھ شادی کی گئی ہے۔

میں نے ہارٹن ورکس اور میپ آر سے بات کی ، جو مارکیٹ میں سب سے بڑے انٹرپرائز ہڈوپ فروشوں میں سے دو ہے۔ ہارٹن ورکس کے چیف ٹکنالوجی آفیسر اسکاٹ گناؤ ، اور میپ آر میں ڈیٹا اور ایپلی کیشنز کے سینئر نائب صدر ، جیک نورس ، ہر ایک نے بتایا کہ ان کی تنظیموں کے لئے ڈیٹا گورننس کا کیا مطلب ہے۔ انہوں نے اس بات پر تبادلہ خیال کیا کہ ایک بڑے انٹرپرائز کے پیچیدہ ڈیٹا فن تعمیرات اور تنظیمی درجہ بندی کے اندر ڈیٹا گورننس کو یقینی بنانے کے پیچیدہ چیلنج سے کیسے نپٹا جائے۔

بالکل وہی جو ڈیٹا گورننس اور ہمیں اس کی کیا ضرورت ہے؟

گورننس کا مطلب یہ ہے کہ رازداری اور سیکیورٹی دونوں کو برقرار رکھتے ہوئے اس بات کو یقینی بنائے کہ انٹرپرائز ڈیٹا کو ڈیٹا بیس میں جتنا ممکن ہو سکے غلطیوں کے ساتھ مجاز ، منظم اور اجازت دی جائے۔ ہڑتال کرنا کوئی آسان توازن نہیں ہے ، خاص طور پر جب ڈیٹا کو کہاں اور کیسے رکھا جاتا ہے اور اس پر کارروائی کی جاتی ہے تو اس کی حقیقت مسلسل بہاؤ میں ہے۔ میپ آر کے نورس نے وضاحت کی کہ کیوں کاروباری اداروں کو اعداد و شمار کی حکمرانی کو اعلی سطح سے دیکھنے کی ضرورت ہے اور کھیل میں بڑی ڈیٹا پائپ لائن پر توجہ دینے کی ضرورت ہے۔

"جب آپ جس بڑے اعداد و شمار سے نمٹنے کے ل dealing ہم مختلف قسم اور رفتار کو اسکیل کرنا شروع کردیتے ہیں تو آپ کو ڈیٹا گورننس حاصل کرنا پڑے گا لیکن یہ اس وسیع تر سیاق و سباق میں ہے۔ آپ کے پاس کون سا ڈیٹا ہے ، کس تک اس تک رسائی ہے اور آپ کیسے ہیں؟ وقت کے ساتھ ساتھ اس اعداد و شمار کے سلسلے کا انتظام کرنا؟ " نورس نے کہا۔ "ڈیٹا گورننس کے نقطہ نظر سے ، آپ کو اعداد و شمار کے مختلف مراحل ہوسکتے ہیں جو اس سسٹم میں موجود ہیں جو اسنیپ شاٹ میں لگایا جاسکتا ہے تاکہ آپ پائپ لائن میں کسی بھی وقت واپس آسکیں۔ اس سے متعلق ڈیٹا پلیٹ فارم میں آڈٹ ایبلٹی کی اہلیت اور رسائی پر قابو پانا ہے۔ یقینی طور پر ڈیٹا کی دریافت اور تجزیات شفاف ہیں ، چاہے آپ مالی اعداد و شمار کے سیٹوں کو تلاش کرنے والے بزنس مینیجر ہوں یا خام اپ اسٹریم ڈیٹا کے ساتھ کام کرنے والا ڈیٹا سائنسدان۔ "

ماخذ: رمز مکمل نظارے کے لئے تصویر پر کلک کریں۔

ہارٹن ورکس 'گنو نے بھی اسی طرح کی بات کی۔ چاہے آپ ڈیٹا گودام یا ڈیٹا جھیل فن تعمیر کے ساتھ کام کر رہے ہوں ، ڈیٹا گورننس مخالف قوتوں کو متوازن کرنے کے بارے میں ہے۔ اس میں ڈیٹا کو جدت طرازی کرنے اور بصیرت حاصل کرنے ، اور دانے اجازتوں اور رازداری سے بیک وقت اعداد و شمار تک رسائی حاصل کرنے کے بارے میں ہے جو بیک وقت اس ڈیٹا کو اختتام پذیر تک حفاظت فراہم کرسکتے ہیں۔

"ڈیٹا کی جگہ میں روایتی طرز حکمرانی کی پرانی دنیا کا موازنہ کریں اور اس کے برخلاف؛ یہ قدرے آسان تھا۔" "ملازمت کے کردار یا اطلاق سے اعداد و شمار کی اچھی طرح سے تعریف کی جاتی تھی۔ نئی دنیا میں ، آپ کو سب سے زیادہ اہمیت اس وقت ملتی ہے جب ڈیٹا سائنسدانوں کو زیادہ سے زیادہ ڈیٹا تک رسائی حاصل ہوجاتی ہے ، اور اس خوش کن میڈیم کی تلاش بہت ضروری ہے۔

"یہ ایک مکمل نئی مثال دے رہی ہے کہ کس طرح آپ کو حکمرانی سے رجوع کرنے کی ضرورت ہے۔" "اس نئی دنیا میں ، میں گورننس اور سیکیورٹی کے موضوعات پر غور کرتا ہوں جن پر ایک ساتھ احاطہ کرنے کی ضرورت ہے۔ بہت ساری کمپنیاں اب بھی اس کے لئے آگے بڑھنے کی جدوجہد کر رہی ہیں تاکہ ان کے ڈیٹا سائنسدانوں کو ان نئے استعمال کے معاملات کو تلاش کرنے میں کارآمد ثابت ہوسکیں جبکہ ایک ہی وقت میں ، سیکیورٹی ، رازداری ، نظم و نسق کو سنبھالنے کے طریقہ کار کو سمجھنا - وہ تمام چیزیں جو نیچے والے نقطہ نظر سے اور کمپنی کی ساکھ کے نقطہ نظر سے بھی اہم ہیں۔ "

ایک انٹرپرائز ڈیٹا گورننس پلان ان تمام مخالف قوتوں کو گھیرے اور مطمئن کرنے کا طریقہ کیسے ہے؟ ہر ضرورت کو تدبیر سے نمٹا کر ، ایک وقت میں ایک قدم۔

ڈیٹا گورننس پلان کیسے بنایا جائے

ہارڈون ورکس ، میپ آر ، اور کلوڈیرہ ہڈوپ اسپیس میں تین سب سے بڑے آزاد کھلاڑی ہیں۔ جب ڈیٹا گورننس کی بات ہوتی ہے تو کمپنیوں کے اپنے اپنے دائرہ کار ہوتے ہیں۔ میپآر نے اس موضوع پر متعدد وائٹ پیپرز جاری کیے ہیں اور اپنے کنورجڈ ڈیٹا پلیٹ فارم میں ڈیٹا گورننس بنائے ہیں ، جبکہ ہارٹ ورکس کا اپنا ڈیٹا سیکیورٹی اور گورننس سلوشن ہے اور اس نے 2015 میں ڈیٹا گورننس انیشیٹو (ڈی جی آئی) کی مشترکہ بنیاد رکھی تھی۔ -سورس اپاچی اٹلس پروجیکٹ جو ہڈوپ کے لئے کھلی ڈیٹا گورننس فریم ورک فراہم کرتا ہے۔

لیکن جب بات آتی ہے کہ ہر دکاندار جامع ڈیٹا گورننس اور سیکیورٹی حکمت عملی کو کس طرح تیار کرتا ہے تو ، گنو اور نورس دونوں نے اسی طرح کی باتیں کیں۔ ڈیٹا گورننس پلان بنانے کے دوران ہارٹن ورکس اور میپ آر کاروباری افراد کو دھیان میں رکھنے کی تجویز کرتے ہیں۔

ایک بڑا: دانے دار ڈیٹا تک رسائی اور اجازت

دونوں کمپنیاں اس بات پر متفق ہیں کہ آپ دانے دار کنٹرول کے بغیر ڈیٹا گورننس کی موثر نہیں ہوسکتے ہیں۔ میپآر بنیادی طور پر ایکسیس کنٹرول ایکسپریشن (ACEs) کے ذریعہ اس کو پورا کرتا ہے۔ جیسا کہ نورس نے واضح کیا ، ACEs لچکدار ڈیٹا تک رسائی اور اجازت کو کنٹرول کرنے کے لئے گروپنگ اور بولین منطق کا استعمال کرتے ہیں ، کردار پر مبنی اجازت اور مرئیت کی ترتیبات کے ساتھ۔

اس نے گارٹنر ماڈل کی طرح اس کے بارے میں سوچتے ہوئے کہا۔ نچلے سرے پر وائی محور پر سخت حکمرانی اور کم چستی ہے ، اور سب سے آخر میں ایکس محور پر زیادہ چستی اور کم حکمرانی ہے۔

نورس نے کہا ، "نچلی سطح پر ، آپ حساس اعداد و شمار کو اوجھل کرکے محفوظ رکھتے ہیں۔ اوپری سطح پر ، آپ کو ڈیٹا سائنسدانوں اور بی آئی تجزیہ کاروں کے لئے خفیہ معاہدے ملے ہیں۔" "ہم یہ کام کرنے کی صلاحیتوں اور مختلف نظارے کے ساتھ کرتے ہیں جہاں آپ خام ڈیٹا کو جتنا ممکن ہو نیچے سے بند کردیتے ہیں اور آہستہ آہستہ اوپری سرے تک ، جب تک آپ منتظمین کو وسیع تر نمائش دے رہے ہوتے ہیں اس تک مزید رسائی فراہم کرتے ہیں۔ صحیح لوگوں تک رسائی؟

نوریس نے مزید کہا ، "اگر آپ آج ایکسیس کنٹرول لسٹ پر نگاہ ڈالیں تو ، وہ ایسا کچھ کہے گا کہ 'انجینئرنگ کے ہر فرد اس تک رسائی حاصل کرسکتے ہیں۔" "لیکن اگر آپ چاہتے ہیں کہ آئی ٹی کے اندر کسی پروجیکٹ کے کچھ منتخب ڈائریکٹرز ان تک رسائی حاصل کریں یا کسی کے علاوہ ہر شخص ، آپ کو ایک خصوصی گروپ بنانا ہوگا۔ رسائیاں دیکھنے کا یہ ایک انتہائی پیچیدہ اور پیچیدہ طریقہ ہے۔"

نورس کے مطابق ، اسی مقام پر مختلف سطحوں اور گروہوں کو رسائی کے حق میں آگیا ہے۔ "ہم نے ACEs کو مختلف طریقوں سے جوڑا ہے جس سے آپ فائلوں ، ٹیبلز ، اسٹریمز وغیرہ کے ذریعہ اعداد و شمار تک رسائی حاصل کرسکتے ہیں۔ اور اعداد و شمار کی کوئی علیحدہ کاپیاں نہیں رکھتے ہیں۔ لہذا ہم اسی خام اعداد و شمار پر نظارے فراہم کر رہے ہیں۔ رسائی کی مختلف سطحیں ہوسکتی ہیں۔ اس سے آپ کو مزید مربوط سلامتی ملتی ہے جو زیادہ براہ راست ہے۔ "

ہارٹن ورکس اسی طرح کے انداز میں دانے دار رسائی کو سنبھالتا ہے۔ گورننس اور اپاچی رینجر کے لئے اپاچی اٹلس کو مربوط کرتے ہوئے ، گناؤ نے کہا کہ کمپنی شیشے کے ایک پین کے ذریعہ انٹرپرائز کی سطح پر اجازت کا انتظام کرتی ہے۔ انہوں نے کہا ، کلید ، ٹیگ پر مبنی پالیسیاں استعمال کرکے ڈیٹا بیس اور مخصوص میٹا ڈیٹا ٹیگز پر سیاق و سباق تک رسائی کی صلاحیت ہے۔

"ایک بار جب کوئی ڈیٹا بیس میں ہے ، تو وہ اعداد و شمار کے ذریعہ ان کی رہنمائی کرنے کے بارے میں ہے جس میں ان کو متعلقہ رسائی حاصل ہونی چاہئے۔" "رینجر کی حفاظتی پالیسیاں آبجیکٹ کی سطح پر ، عمدہ اور ہر جگہ ہر جگہ اس کو سنبھال سکتی ہیں۔ اس سیکیورٹی کو گورننس میں جوڑنا وہیں ہے جہاں معاملات واقعی دلچسپ ہوجاتے ہیں۔

"بڑی تنظیموں میں پیمانے کے ل you ، آپ کو ان کرداروں کو گورننس اور میٹا ڈیٹا ٹیگنگ کے ساتھ مربوط کرنے کی ضرورت ہے ،" گنو نے مزید کہا۔ "اگر میں سنگاپور سے لاگ ان ہوں تو ، شاید مقامی رازداری کے قوانین یا کارپوریٹ حکمت عملی پر مبنی مختلف قواعد موجود ہوں۔ ایک بار جب کوئی کمپنی ان اصولوں کو کلی طور پر اوپر والے نقطہ نظر سے بیان کرتی ہے ، مرتب کرتی ہے اور اسے سمجھ جاتی ہے تو ، آپ اس کی بنیاد پر رسائی کو دفع کرسکتے ہیں۔ کور پلیٹ فارم کے اندر ہر چیز کو نافذ کرتے ہوئے مخصوص اصول طے کرتے ہیں۔ "

ماخذ: IBM بگ ڈیٹا اور تجزیات مرکز۔ مکمل نظارے کے لئے تصویر پر کلک کریں۔

2. پیرامیٹر سیکیورٹی ، ڈیٹا پروٹیکشن ، اور انٹیگریٹڈ تصدیق

حکومت اختتامی نقطہ تحفظ کے بغیر نہیں ہوتی ہے۔ گناؤ نے کہا کہ اعداد و شمار کے آس پاس ایک عمدہ فریم اور فائر وال تیار کرنا ضروری ہے جو موجودہ توثیق کے نظام اور معیارات کے ساتھ مطابقت رکھتا ہو۔ نورس نے اتفاق کیا کہ ، جب تصدیق کی بات آتی ہے تو ، کاروباری اداروں کے لئے آزمائشی اور جانچ شدہ نظاموں کے ساتھ ہم آہنگی کرنا ضروری ہے۔

نوریس نے کہا ، "توثیق کے تحت ، یہ اس بارے میں ہے کہ آپ ایل ڈی اے پی ، ایکٹو ڈائرکٹری ، اور تیسری پارٹی کے ڈائرکٹری خدمات کے ساتھ کس طرح ضم ہوجاتے ہیں۔ "ہم کربیروز کے صارف نام اور پاس ورڈ کی بھی حمایت کرتے ہیں۔ اہم بات یہ نہیں کہ ایک مکمل علیحدہ انفراسٹرکچر بنائیں ، لیکن آپ موجودہ ڈھانچے اور کیربروز جیسے لیوریج سسٹم کے ساتھ یکجا ہوجاتے ہیں۔"

3. ڈیٹا انکرپشن اور ٹوکنائزیشن

اپنے دائرہ کار کو محفوظ بنانے اور آپ جو گرانولر ڈیٹا تک رسائی دے رہے ہیں اس کی توثیق کرنے کے بعد اگلا مرحلہ: یقینی بنائیں کہ فائلوں اور ذاتی طور پر قابل شناخت معلومات (PII) کو آپ کے ڈیٹا پائپ لائن کے ذریعے اختتام سے آخر تک مرموز اور ٹوکنائزڈ بنایا گیا ہے۔ گنو نے اس بات پر تبادلہ خیال کیا کہ ہارٹن ورکس نے PII ڈیٹا کو کس طرح محفوظ کیا ہے۔

"ایک بار جب آپ حدود سے گزر جائیں اور نظام تک رسائی حاصل کرلیں تو ، PII کے ڈیٹا کو بچانے کے قابل ہونا انتہائی ضروری ہے ،" Gnau نے کہا۔ "آپ کو اس ڈیٹا کو خفیہ اور ٹوکنائز کرنے کی ضرورت ہے لہذا اس سے قطع نظر کہ اس تک رسائی کس کے پاس ہے ، وہ اس تجزیہ کو چلاسکتے ہیں جس کی انہیں ضرورت نہیں ہے بغیر کسی PII ڈیٹا کو سامنے لائے۔"

جہاں تک آپ محفوظ اور محفوظ طور پر خفیہ کردہ ڈیٹا تک کیسے محفوظ رسائی حاصل کرتے ہیں ، میپ آر کے نورس نے وضاحت کی کہ بیک اپ اور ڈیزاسٹر ریکوری (DR) جیسے استعمال کے معاملات کو بھی ذہن میں رکھنا ضروری ہے۔ انہوں نے میپ آر کے نامی منطقی حجم کے تصور پر تبادلہ خیال کیا ، جو فائلوں اور ڈائریکٹریوں کے بڑھتے ہوئے کلسٹر پر گورننس پالیسیاں لاگو کرسکتی ہے۔

نوریس نے کہا ، "نچلی سطح پر ، میپآر نے ڈی آر کے لئے ڈبلیو وان کی نقل تیار کی ہے ، اور تمام اعداد و شمار میں وقت کے مطابق اسنیپ شاٹس کو ڈائرکٹری یا حجم کے ذریعہ مختلف تعدد پر ترتیب دیا جاسکتا ہے۔" "یہ صرف ڈیٹا گورننس سے بھی وسیع تر ہے۔ آپ کے پاس ڈائریکٹریز والا فزیکل کلسٹر ہوسکتا ہے ، اور پھر منطقی حجم کا تصور واقعی ایک دلچسپ مینجمنٹ یونٹ ہے اور ڈیٹا کے تحفظ اور تعدد کو کنٹرول کرتے ہوئے گروپوں کو گروپ بنانے کا طریقہ ہے۔ آئی ٹی ایڈمن کے اعداد و شمار میں یہ ایک اور تیر ہے گورننس کوئور۔ "

4. مستقل آڈٹنگ اور تجزیات

حکومت کی وسیع تر تصویر کو دیکھتے ہوئے ، ہارٹ ورکس اور میپآر دونوں نے کہا کہ حکمت عملی آڈٹ کیے بغیر کام نہیں کرتی ہے۔ اس عمل کے ہر مرحلے میں اہلیت اور احتساب کی وہی سطح ہے جو آئی ٹی کو دراصل پالیسیوں اور رسائی کے کنٹرول کو ترتیب دینے اور بہترین کی امید کے برخلاف اعداد و شمار کو "حکومت" کرنے دیتی ہے۔ یہ بھی ہے کہ کاروباری ادارے اپنی حکمت عملی کو ایسے ماحول میں کس طرح برقرار رکھ سکتے ہیں جس میں ہم ڈیٹا کو کس طرح دیکھتے ہیں اور اس کے نظم و نسق اور تجزیے کے ل we ہم جو ٹکنالوجی استعمال کرتے ہیں وہ روز بروز بدلا جاتا ہے۔

گنو نے کہا ، "جدید حکمرانی کی حکمت عملی کا آخری حصہ لاگ ان اور ٹریکنگ ہے۔" "ہم بگ ڈیٹا اور آئی او ٹی کی ابتدا میں ہیں ، اور اعداد و شمار میں نمونوں کی پہچان اور پہچان کے ل be یہ ضروری ہے کہ حکمت عملی کو اپ ڈیٹ کرنے کی ضرورت ہے ، ہم وکر سے آگے ہیں۔"

نورس نے کہا کہ آڈٹ کرنا اور تجزیہ اتنا ہی آسان ہوسکتا ہے جتنا جاوا اسکرپٹ آبجیکٹ نوٹیشن (جے ایس این) فائلوں کا سراغ لگانا۔ ہر ایک اعداد و شمار سے باخبر رہنے اور تجزیہ کرنے کے قابل نہیں ہوں گے لیکن آپ کے کاروبار کو کبھی پتہ نہیں چل سکے گا کہ جب تک آپ کھیل کو تبدیل کرنے والی بصیرت یا کسی بحران کی نشاندہی نہیں کرتے اور آپ کو آڈٹ ٹریل چلانے کی ضرورت نہیں ہے۔

نورس نے کہا ، "ہر JSON لاگ فائل تجزیہ کے لئے کھولی گئی ہے اور ہمارے پاس اسکیما کے ساتھ JSON فائلوں سے استفسار کرنے کے لئے اپاچی ڈرل ہے ، لہذا میٹا ڈیٹا تجزیہ مرتب کرنے کے لئے یہ دستی IT اقدام نہیں ہے۔" "جب آپ تمام اعداد و شمار تک رسائی والے واقعات اور ہر انتظامی کارروائی کو شامل کرتے ہیں تو ، تجزیات کی ایک وسیع رینج ممکن ہے۔"

5. ایک متحد ڈیٹا فن تعمیر

آخر کار ، ٹیکنولوجی آفیسر یا آئی ٹی ایڈمن جو انٹرپرائز ڈیٹا گورننس حکمت عملی کی نگرانی کرتا ہے ان کو دانے دار رسائی ، توثیق ، ​​سلامتی ، خفیہ کاری ، اور آڈیٹنگ کی خصوصیات کے بارے میں سوچنا چاہئے۔ لیکن ٹیکنالوجی افسر یا آئی ٹی ایڈمن کو وہاں نہیں رکنا چاہئے۔ بلکہ ، اس شخص کو یہ بھی سوچنا چاہئے کہ ان میں سے ہر ایک اجزا اپنے بڑے ڈیٹا فن تعمیر میں کیسے کھلتا ہے۔ اسے یا اس کے بارے میں یہ بھی سوچنا چاہئے کہ بنیادی ڈھانچے کو توسیع پزیر اور محفوظ ہونے کی ضرورت ہے data ڈیٹا اکٹھا کرنے اور اسٹوریج سے لے کر بی آئی ، تجزیات اور تیسری پارٹی کی خدمات تک۔ گناؤ نے کہا کہ ڈیٹا گورننس پر غور کرنے کی حکمت عملی اور عملدرآمد کے بارے میں اتنا ہی کام ہے جتنا یہ ٹیک ہی ہے۔

" یہ شیشے کی ایک پین یا حفاظتی قواعد کے ایک مجموعہ سے آگے ہے۔" "یہ ایک واحد فن تعمیر ہے جہاں آپ یہ کردار تخلیق کرتے ہیں اور وہ پورے پلیٹ فارم اور اس میں لائے جانے والے تمام ٹولز میں آپس میں ہم آہنگ ہوتے ہیں۔ محفوظ طریقے سے زیر انتظام بنیادی ڈھانچے کی خوبصورتی وہ چستی ہے جس کے ساتھ نئے طریقوں کی تشکیل ہوتی ہے۔ ہر پلیٹ فارم کی سطح پر ، یا اس میں بھی ایک ہائبرڈ کلاؤڈ ماحول ، آپ کو یہ سمجھنے کے لئے ایک نقطہ نظر ملا ہے کہ آپ نے اپنے قواعد کو کس طرح نافذ کیا ہے۔ تمام اعداد و شمار سیکیورٹی اور گورننس کی اس پرت سے گزرتے ہیں۔ "