گوگل کلاؤڈ ٹی اسپیشل حص specificہ ii مخصوص پروسیسرز کی طرف رجحان کا ایک حصہ

پچھلے چند ہفتوں میں ، نئے کمپیوٹنگ پلیٹ فارمز کے متعدد اہم تعارف ہوئے ہیں جن کو خاص طور پر مشین لرننگ کے لئے گہرے نیورل نیٹ ورکس پر کام کرنے کے لئے ڈیزائن کیا گیا ہے ، جس میں گوگل کا نیا "کلاؤڈ ٹی پی یو" اور نویڈیا کا نیا وولٹا ڈیزائن شامل ہے۔

میرے نزدیک ، یہ کمپیوٹر فن تعمیر کا سب سے زیادہ دلچسپ رجحان ہے AM یہاں تک کہ اے ایم ڈی اور اب انٹیل نے 16 کور اور 18 کور سی پی یو متعارف کرایا ہے۔ یقینا. ، یہاں متبادل متبادلات بھی موجود ہیں ، لیکن نیوڈیا اور گوگل اپنے انوکھے اندازوں پر کافی توجہ دے رہے ہیں۔

گوگل I / O میں ، میں نے اسے "بادل ٹی پی یو" متعارف کرانے میں دیکھا (ٹینسر پروسیسنگ یونٹ کے لئے ، جس سے یہ ظاہر ہوتا ہے کہ یہ گوگل کے ٹینسرفلو مشین لرننگ فریم ورک کے لئے موزوں ہے)۔ پچھلی نسل کا ٹی پی یو ، جو گذشتہ سال کے شو میں متعارف کرایا گیا تھا ، ایک ASIC ہے جو بنیادی طور پر چلانے والی مشین سیکھنے کی کارروائیوں کے لئے تیار کیا گیا ہے لیکن نیا ورژن ایسے الگورتھم کی تفہیم اور تربیت کے لئے ڈیزائن کیا گیا ہے۔

ایک حالیہ مقالے میں ، گوگل نے اصل ٹی پی یو کے بارے میں مزید تفصیلات بتائیں ، جس میں اس نے بتایا ہے کہ اس میں میٹرک 256 بہ 256 ملٹی جمع (میک) اکائیوں (مجموعی طور پر 65،536) ہے جس کی اعلی کارکردگی 92 ٹراپ (ٹریلین آپریشنز) ہے دوسرا) اسے PCIe Gen 3 بس کے اوپر میزبان سی پی یو سے ہدایات ملتی ہیں۔ گوگل نے کہا کہ یہ ایک 28nm ڈائی ہے جو انٹیل ہاسویل ژون 22nm پروسیسر کے سائز کے نصف سے بھی کم تھی ، اور اس نے اس پروسیسر اور Nvidia کے 28nm K80 پروسیسر کو پیچھے چھوڑ دیا۔

نیا ورژن ، ڈبڈ ٹی پی یو 2.0 یا کلاؤڈ ٹی پی یو ، (اوپر دیکھا گیا) ، بورڈ پر درحقیقت چار پروسیسرز پر مشتمل ہے ، اور گوگل نے کہا کہ ہر بورڈ 180 ٹیرافلوپس (فی سیکنڈ 180 ٹریلین فلوٹنگ پوائنٹ آپریشن) تک پہنچنے کی اہلیت رکھتا ہے۔ جس طرح اہم بات یہ ہے کہ ، بورڈ ایک کسٹم ہائی اسپیڈ نیٹ ورک کا استعمال کرتے ہوئے مل کر کام کرنے کے لئے ڈیزائن کیا گیا ہے ، لہذا وہ ایک ہی مشین لرننگ سوپرکمپٹنگ کے طور پر کام کرتے ہیں جس کو گوگل "TPU پوڈ" کہتے ہیں۔

یہ ٹی پی یو پوڈ 64 دوسری نسل کے ٹی پی یو پر مشتمل ہے اور ایک ہی بڑے مشین لرننگ ماڈل کی تربیت کو تیز کرنے کے لئے 11.5 تک پیٹ فلاپس فراہم کرتا ہے۔ کانفرنس میں ، گوگل کی AI تحقیق کے سربراہ ، فی فی لی نے کہا کہ جب ترجمے کے لئے کمپنی کے ایک بڑے پیمانے پر سیکھنے کے نمونوں میں سے 32 کو تجارتی لحاظ سے دستیاب بہترین GPUs میں سے 32 کو تربیت دینے میں پورا دن لگتا ہے ، تو اب یہ تربیت حاصل کرسکتا ہے TPU پوڈ کے آٹھویں حصے کا استعمال کرتے ہوئے ایک سہ پہر میں اتنی ہی درستگی۔ یہ ایک بہت بڑی چھلانگ ہے۔

یہ سمجھیں کہ یہ چھوٹے سسٹم نہیں ہیں - ایک پوڈ لگتا ہے کہ چار عمومی کمپیوٹنگ ریکوں کے سائز کے بارے میں ہیں۔

اور لگتا ہے کہ انفرادی پروسیسروں میں سے ہر ایک میں حرارت کی بہت بڑی ڈوبی ہوتی ہے ، یعنی بورڈز کو زیادہ مضبوطی سے اسٹیک نہیں کیا جاسکتا ہے۔ گوگل نے ابھی تک اس بارے میں زیادہ تفصیل نہیں دی ہے کہ پروسیسرز یا انٹرکنیکٹ کے اس ورژن میں کیا بدلا ہے ، لیکن امکان ہے کہ یہ بھی 8 بٹ میکس کے آس پاس پر مبنی ہے۔

ایک ہفتہ قبل ، نویڈیا نے اس زمرے میں اپنی تازہ ترین اندراج متعارف کروائی تھی ، جسے ایک بڑے پیمانے پر چپ ٹیلسا V100 وولٹا کہا جاتا ہے ، جس نے اس نئے وولٹا فن تعمیر کے ساتھ پہلے سی پی یو کے طور پر بیان کیا ہے ، جو اعلی کے آخر میں جی پی یو کے لئے ڈیزائن کیا گیا ہے۔

نیوڈیا نے کہا کہ نئی چپ 120 ٹینسرفلو ٹرافلوپس (یا 15 32 بٹ ٹی ایف ایل او ایس یا 7.5 64 بٹ والے) کی صلاحیت رکھتی ہے۔ اس میں ایک نیا فن تعمیر استعمال کیا گیا ہے جس میں 80 اسٹریمنگ ملٹی پروسیسرز (ایس ایم ایس) شامل ہیں ، جن میں سے ہر ایک میں آٹھ نئے "ٹینسر کور" شامل ہیں۔ اور ایک 4x4x4 سرنی ہے جو فی گھڑی میں 64 ایف ایم اے (فیوز ملٹی پلائی ایڈ) آپریشن کرنے کے قابل ہے۔ نیوڈیا نے کہا کہ وہ تیسری سہ ماہی میں 8 V100 بورڈز کے ساتھ اپنے DGX-1V ورک سٹیشنوں میں چپ پیش کرے گی ، اس فرم کے پہلے کے ڈی جی ایکس 1-کے بعد جو P100 فن تعمیر کو استعمال کرتی ہے۔

کمپنی نے کہا کہ اس $ 149،000 باکس کو 3200 واٹ کا استعمال کرتے ہوئے 960 ٹیلی ٹاپ تربیت کی کارکردگی فراہم کرنا چاہئے۔ بعد میں ، پہلے نے کہا ، یہ ایک پرسنل ڈی جی ایکس اسٹیشن کو چار V100s کے ساتھ بھیجے گا ، اور چوتھی سہ ماہی میں ، اس نے کہا کہ بڑے سرور فروش V100 سرور بھیجیں گے۔

اس چپ نے ٹی ایس ایم سی کے 12 این ایم پروسیسر کو استعمال کرنے کا پہلا اعلان کیا ہے ، اور یہ 815 مربع ملی میٹر ڈائی پر 21.1 بلین ٹرانجسٹروں کے ساتھ ایک بہت بڑی چپ ہوگی۔ نیوڈیا نے چپ کے ابتدائی صارفین کے طور پر مائیکرو سافٹ اور ایمیزون دونوں کا حوالہ دیا۔

نوٹ کریں کہ ان طریقوں کے مابین بڑے فرق موجود ہیں۔ گوگل ٹی پی یو واقعتا custom اپنی مرضی کے مطابق چپس ہیں ، جن کو ٹینسرفلو ایپلی کیشنز کے لئے ڈیزائن کیا گیا ہے ، جبکہ نویڈیا وی 100 کسی حد تک زیادہ عام چپ ہے ، جو دوسرے ایپلی کیشنز کے لئے مختلف قسم کے ریاضی کی صلاحیت رکھتی ہے۔

دریں اثنا ، دوسرے بڑے بادل فراہم کرنے والے متبادلات کی تلاش کر رہے ہیں ، مائیکروسافٹ تربیت کے لئے جی پی یو دونوں استعمال کرتا ہے اور فیلڈ پروگرامی گیٹ ارای (ایف پی جی اے) کا تعی .ن کرنے کے لئے ، اور صارفین کو دونوں پیش کرتے ہیں۔ ایمیزون ویب سروسز اب جی پی یو اور ایف پی جی اے دونوں مواقع کو ڈویلپرز کے لئے دستیاب کراتی ہیں۔ اور انٹیل ایف پی جی اے اور بہت ساری دیگر تکنیکوں کو آگے بڑھا رہا ہے۔ دریں اثنا ، متعدد نئے اسٹارٹ اپ متبادل طریق کار پر کام کر رہے ہیں۔

کچھ طریقوں سے ، یہ ہم سب سے سخت تبدیلی ہے جو ہم نے سالوں میں ورک سٹیشن اور سرور پروسیسرز میں دیکھا ہے ، کم از کم چونکہ ڈویلپرز نے پہلے کئی سال پہلے "جی پی یو کمپیوٹ" استعمال کرنا شروع کیا تھا۔ یہ دیکھنا دلچسپ ہوگا کہ اس کی ترقی کیسے ہوتی ہے۔