گوگل bigquery جائزہ اور درجہ بندی

گوگل بگ کیوئری ، جو ماہانہ 10 گیگا بائٹس (جی بی) کے لئے مفت ہے ، تجزیاتی تجزیہ کے لئے سرچ جائنٹ کا جینوموس ، پیٹا بائٹ (پی بی) اسکیل ڈیٹا گودام ہے۔ یہ انٹرپرائز لیول ، ایس کیو ایل پروڈکٹ ہے ، اور بگ ڈیٹا گوگل کے ڈی این اے میں ہے۔ کمپنی کے تمام اوزار اور خدمات اس کا ثبوت ہیں۔ مختصر میں ، اگر آپ ڈیٹا کے ساتھ کچھ کرنا چاہتے ہیں تو ، پھر آپ شرط لگا سکتے ہیں کہ گوگل کے پاس ایسا کرنے کا ایک ٹول ہے۔ اگر آپ کے پاس وسیع پیمانے پر ڈیٹا سیٹ ہیں یا آپ اپنے ڈیٹا کو عوامی یا تجارتی ڈیٹا سیٹوں سے ملا کر اپنے اعداد و شمار کو بڑھا رہے ہیں تو گوگل بگ کوری ٹھوس انتخاب ہوسکتا ہے۔ یہ سیکنڈوں میں ٹیرا بائٹس (ٹی بی) اور منٹ میں پی بی ایس اسکین کرنے کے لئے ڈیزائن کیا گیا ہے۔ آج تک کی سب سے بڑی استفسار 2.1 پی بی ہے اور گوگل بگ کووری نے بغیر کسی مسئلے کے اسے سنبھالا۔ ان صلاحیتوں کے باوجود ، بگ ڈیٹا تجزیات چیلنج کررہا ہے اور ، اگر آپ چھوٹے ڈیٹا سیٹ کے ساتھ کام کر رہے ہیں تو ، اس سے زیادہ حد سے زیادہ حد تک ہوسکتی ہے۔ پھر بھی ، گوگل بگ کیوئری ایک ٹھوس انتخاب ہے جو مائیکروسافٹ ایزور ایس کیو ایل ڈیٹا بیس اور مونگو ڈی بی اٹلس کے بالکل پیچھے ہے ، ایڈیٹرز کے انتخاب ہمارے ڈی بی اے ایس سلوشنز کا جائزہ لینے کے چکر میں لیتے ہیں۔

قیمتوں کا تعین کرنے والا ماڈل

گوگل بگ کیوئیر ایک سرور بے لاگ ڈیٹا تجزیاتی ماڈل ہے۔ اسٹوریج اور کمپیوٹ کی علیحدگی آپ کو قیمتوں کا بہتر کنٹرول فراہم کرتی ہے ، جو خاص طور پر بڑے منصوبوں کو چلانے والے لوگوں کے لئے زیادہ دلچسپی رکھتے ہیں۔ اسٹوریج کی قیمت فلیٹ نرخ اور استعمال کی شرح پر حساب کتاب ہے۔ پہلے 10 جی بی اسٹوریج ہر مہینے مفت ہے اور اس کے بعد ہر مہینہ 2 سینٹ فی جی بی لاگت شروع ہوتی ہے۔ مثال کے طور پر ، اگر آپ ایک مہینے کے لئے 1 ٹیرابائٹ (ٹی بی) اسٹور کرتے ہیں تو اس کی لاگت 20 پونڈ ہوگی۔ اسٹریمنگ والے ڈیٹا کے اندراجات 1 سینٹ فی 200 میگا بائٹ (ایم بی) سے شروع ہوتی ہیں۔ پہلے 1 TB سوالات مفت ہیں ، اس کے بعد فی TB 5 $ اضافی تجزیہ کریں گے۔ میٹا ڈیٹا آپریشن مفت ہیں۔

آپ کے پاس جاتے وقت ادائیگی کرنے کا اختیار یا ماہانہ فلیٹ فیس بھی ہے۔ کچھ ڈویلپر بجٹ کی بے چینی سے نجات کے ل the فلیٹ فیس کو ترجیح دیتے ہیں۔ چونکہ اسٹوریج پہلے سے ہی ایک فلیٹ فیس میں ہے ، اس اختیار کا صرف یہ مطلب ہے کہ کمپیوٹ بھی ایک فلیٹ ، ماہانہ فیس انتظام پر ہے۔ لیکن اس سے پہلے کہ آپ فلیٹ ریٹ قیمتوں پر دستخط کرنے میں بہت پرجوش ہوجائیں ، آگاہ رہیں کہ ماہانہ تجزیات میں صرف spend 40،000 + والے اکاؤنٹ ہی اس اختیار کے اہل ہیں۔

گوگل بگ کیوئری کا فری ٹیر ہر ماہ 1TB تک ڈیٹا اور 10GB ڈیٹا اسٹوریج کا تجزیہ کرتا ہے ، لیکن سنجیدگی سے ، اگر آپ اس نشان سے نیچے ہیں تو ، اس کام کے ل suited مناسب اور بھی مناسب اوزار موجود ہیں ، جیسے مائیکروسافٹ ایذور ایس کیو ایل ڈیٹا بیس ، IBM کلاؤڈ پر Db2 ، یا گوگل تجزیات 360 کے ساتھ گوگل کلاؤڈ۔

قدم بہ قدم

آپ کو ایک گوگل اکاؤنٹ کی ضرورت ہوگی لہذا اگر آپ کے پاس پہلے سے موجود نہیں ہے تو اسے ایک سیٹ اپ کریں۔ آپ کو گوگل کلاؤڈ پلیٹ فارم اکاؤنٹ کے لئے اندراج کرنے کی ضرورت ہوگی ، جس میں مفت آزمائش کو استعمال کرنے کیلئے کریڈٹ کارڈ کی بھی ضرورت ہوگی۔ لیکن پریشان نہ ہوں کیوں کہ آزمائشی مدت کے اختتام پر آپ کو خود بخود اپ گریڈ اور بل نہیں لیا جائے گا۔ آپ کو اپنے کریڈٹ کارڈ سے کسی بھی چیز کا معاوضہ لینے کیلئے دستی طور پر اپ گریڈ کرنا ہوگا۔

گوگل کلاؤڈ یوزر انٹرفیس (UI) سے ، بگ کیوئری پر جائیں۔ بگ کووری کا UI تھوڑا سا سادہ جین ہے ، لیکن اس کا جامع استعمال کرنا بھی آسان بنا دیتا ہے۔ گوگل مجھے بتاتا ہے کہ اب یہ ایک نئے UI پر کام کر رہا ہے۔ موجودہ UI کے ساتھ ، اگر آپ صرف ڈھونڈنا چاہتے ہیں تو کمپوز کوئری پر کلیک کریں اور خیرمقدم صفحے پر عوامی اعداد و شمار میں سے کسی ایک کا انتخاب کریں۔ کوئری ایڈیٹر یا صارف کی وضاحت شدہ فنکشن (UDF) ایڈیٹر استعمال کرکے استفسار خانے میں ایک معیاری ایس کیو ایل استفسار لکھیں ، اور آپ خود ہی جائیں۔

کُل اسٹارٹ گائیڈز کلاؤڈ بگ ٹیبل ، کلاؤڈ اسپینر ، کلاؤڈ ایس کیو ایل ، یا کلاؤڈ ڈیٹا اسٹور (NoSQL ڈیٹا بیس) میں ڈیٹا کی منتقلی یا آپ کا اپنا ڈیٹا بیس گھومنے میں کارآمد ہیں۔ بگ کُوری امریکن نیشنل اسٹینڈرڈ انسٹی ٹیوٹ (اے این ایس آئی) کے مطابق کمپلینٹ ایس کیو ایل کے ساتھ ساتھ اوپن ڈیٹا بیس کنیکٹیویٹی (او ڈی بی سی) اور جاوا ڈیٹا بیس کنیکٹوٹی (جے ڈی بی سی) ڈرائیوروں کو دیگر کلاؤڈ پروڈکٹس اور اضافی قسم کی ایپلی کیشنز کے ڈیٹا کے ساتھ مربوط کرنے کے لئے استعمال کرتی ہے۔ استفسار ہموار کرنے کے لئے بنائے گئے انوکھے ایس کیو ایل کے نفاذ کا مطلب ہے کہ متعدد ایس کیو ایل بولیاں ہیں ، جو مبہم ہوسکتی ہیں۔ میں نے محسوس کیا کہ جبکہ "لیگیسی ایس کیو ایل" میں پہلے سے طے شدہ حالت موجود ہے ، میں سچائی معیاری ایس کیو ایل میں واپس جانے کے ل I میں ایس کیو ایل بولی باکس کو غیر چیک کرسکتا ہوں۔

گوگل بگ کیوئریری میں ریئل ٹائم ڈیٹا کیپچر اور تجزیہ کے لئے ایک اسٹریمنگ انجریشن انجن بھی ہے۔ ڈیٹا سیٹ بنانے کیلئے میرے پہلے پروجیکٹ پل-ڈاؤن مینو کے تحت ڈیٹا سیٹ بنائیں ٹیب کا استعمال کریں۔ ڈیٹا سیٹ ID درج کریں ، ڈیٹا کا مقام (امریکہ ، یوروپی یونین ، یا ایشیا - شمال مشرق) کا انتخاب کریں ، اور ڈیٹا کی میعاد ختم ہونے کو مرتب کریں۔ گوگل بگ کووری خود بخود اسکیمہ کا پتہ لگاسکتی ہے۔ ایک بار جب ڈیٹا سیٹ اپ ہوجاتا ہے ، آپ سوالات چلانے کے لئے تیار ہوجاتے ہیں۔

ٹول باکس

بیشتر بزنس انٹیلیجنس (BI) ٹولز سے رابط رکھنے والے موجود ہیں۔ لیکن آپ شاید ڈیٹا اسٹوڈیو استعمال کرنا چاہیں گے ، جو گوگل کا بی آئی ویزائلائزیشن ٹول ہے ، اور یہ مفت ہے۔ گوگل ٹولز کی فہرست جو آپ استعمال کرسکتے ہیں وہ لمبی ہے۔ میری تجویز ہے کہ آپ گوگل کلاؤڈ پلیٹ فارم کے مفت درجات کی فہرست کا جائزہ لیں۔

گوگل کلاؤڈ پلیٹ فارم میں 15 خطے ، 45 زون ، 100 سے زیادہ پوائنٹس کی موجودگی ، اور 100،000+ میل فائبر آپٹک کیبل کے ساتھ ایک اچھی طرح سے مہی globalا عالمی نیٹ ورک ہے۔ عالمی خدمت کا استعمال کرتے ہوئے آپ کو قیمتوں میں بہتر قیمت ملتی ہے ، لیکن آپ اپنی مرضی کے مطابق علاقوں کی وضاحت کرنے کے لئے آزاد ہیں۔

بیک اپ اور خدمت کی سطح کے معاہدے (ایس ایل اے) گوگل ایس کیو ایل کلاؤڈ کے زیراہتمام آتے ہیں۔ مکمل SLA یہاں ہے۔ کلاؤڈ ایس کیو ایل ہر مثال کے لئے سات خودکار بیک اپ رکھتا ہے۔ پہلی نسل (جین) کے بیک اپ ہر چیز پر قبضہ کرتے ہیں اور آپ کی مثال کے طور پر لاگت (فی استعمال ماڈل پر) شامل ہوتے ہیں۔ ان کے اسٹوریج کی جگہ آپ کے الاٹ کردہ اسٹوریج اسپیس کے مقابلہ نہیں کرتی ہے۔ دوسری نسل کے بیک اپ نے صرف اس اعداد و شمار کو پکڑا جو بدلا ہے اور ان کی اسٹوریج کو کم شرح سے وصول کیا جاتا ہے۔

مجموعی طور پر ، گوگل بگ کیوئری شاندار طور پر ڈیزائن کیا گیا ہے۔ یہ ڈیٹا سیٹ اور ان کے ساتھ کام کرنے میں ہنر مند افراد کے ل better بہتر ہے۔ اگر آپ مشین لرننگ (ML) ایپس تحریر کرنے یا ایم ایل ٹریننگ ڈیٹا کو ڈیزائن کرنے میں مصروف ہیں تو آپ خاص طور پر اس پروڈکٹ کو پسند کریں گے۔ انٹرنیٹ ڈوائسز (IoT) ایپس یا کسی بھی ایسی ترقی پر کام کرنے والے ڈویلپرز کا بھی یہی حال ہے جس میں اعداد و شمار کے لچکدار لگاؤ ​​اور اعداد و شمار کے بڑے تجزیہ کی ضرورت ہوتی ہے۔