GPT-3 کیا ہے؟ بزنس کو ضرورت ہونے والی OpenAI کی جلوبائی AI زبان پروگرام کے بارے میں ہر چیز

GPT-3 پرائیویٹلی قابل قبول سان فرانسسکو کی شروع کردار کا کمپنی OpenAI سے بنایا گیا ایک کمپیوٹر پروگرام ہے۔ یہ ایک بہت بڑا عصبی نیٹ ورک ہے اور اس لئے یہ مشین لرننگ کے گہرائی حصے میں درج ہے جو کمپیوٹر سائنس کا میدان جانا جاتا ہے جسے مصنوعی ذہانت یا AI کے نام سے جانا جاتا ہے۔ یہ پروگرام کسی پہلے والے پروگرام سے بہتر ہے جو خود کو ایک انسان کے طور پر لکھے گئے لائنز بنائے میں پیدا کرنےمیں ہوسکتے ہیں۔

ایسی پھٹک بہتر بناتا ہے کہ کمپنیوں کے لئے یہ بڑے امکانات رکھتا ہے کاموں کو خود کار بنانے کے لئے۔ GPT-3 کوئی بھی ٹیکسٹ جو شخص کمپیوٹر میں ٹائپ کرتا ہے کے متن کے لئے مناسب نیا ٹیکسٹ پیدا کر سکتا ہے۔ مثلاً ایک پورے انگریزی جملے کو سرچ باکس میں ٹائپ کریں اور آپ کو اس کے جواب میں متن کی شکل میں جواب مل سکتا ہے۔ یہ مطلب ہی ہے کہ GPT-3 کسی بھی صورت میں انسانی کوشش کو توسیع دیتا ہے بہت سی صورتوں میں، کھاپے اور جوابات کے لئے کسٹمر سروس سے لےکر، افادہ لائق مستندوں تلاش کرنے تک رپورٹ تشکیل تک۔

یہاں کمپیوٹر میں شخص کاٹپ کرتا ہے ، اور GPT-3 جواب بھیجتا ہے کا ایک مختصر نمونہ دیکھیں:

بشری ، درکار داخلی : سوال : تچڈ با ین اینجل میں ٹیس کس نے کی رول ادا کی تھی؟

GPT-3 پیدا کردہ تکمیل : آ؛ ڈیلوریز پیٹریشا ارلی (6 جولائی 1931 ' 19 نومبر 2017) کو حرفی طور پر ڈیلا ریز کے نام سے جانا جاتا ہے 

یہ پروگرام فی الحال خصوصی بیٹا میں ہے جس میں لوگ انتظار کی فہرست میں حاضر ہو سکتے ہیں۔ اس کو OpenAI نے API کی شکل میں پیش کیا ہے جس میں آسمانی وصول کے ذریعے قابل رسائی ہے، اور ان کمپنیوں نے جو رسائی حاصل کی ہے، انہوں نے متعدد دلچسپ استعمالات تیار کی ہیں جو متن کی تشکیل کو بہتر بنانے کے لئے مختلف قسم کے پروگراموں کو مدد دیتی ہیں، سادہ سوالات کا جواب دینے سے لے کر پروگرامنگ کوڈ تیار کرنے تک۔

آٹومیشن کے امکانات کے ساتھ بہت سی خواب کھینچیں آتی ہیں لیکن اس کے ساتھ بہت سی خلطیں بھی ہوتی ہیں۔ جی پی ٹی-3 کی کمپیوٹ کو بہت زیادہ طاقت کی ضرورت ہوتی ہے، جس کی بنا پر اس کو زیادہ تر کمپنیوں کی استعمال کے قابل تشریعی طور پر خارج کر دیا جاتا ہے۔ اس کی ترتیب شدہ متن شروعوں میں متاثر کن ہو سکتی ہے لیکن طویل تصنیفوں کو دور دراز کیسے کرتی ہیں۔ اور یہ جوہر کے تشدد، ریسسم اور سیکسسم جیسے نفرتی مفروضات کو بڑھا سکتی ہیں۔

GPT-3 کیسے کام کرتا ہے؟

GPT-3 ایک مثال ہے جو معروف ہے ایک زبان ماڈل کا، جو ایک خاص قسم کا اعدادی پروگرام ہے۔ اس صورت میں، یہ نیورل نیٹ ورک کے طور پر بنایا گیا تھا۔

GPT-3 کا نام "جنریٹوو پری ٹریننگ" کا مخفف ہے، جس کا تیسرا ورژن تا حال تک آیا ہے۔ یہ جنریٹو کہلاتا ہے کیونکہ دیگر نیورل نیٹ ورکس کے برخلاف جو عددی نمبر یا ہاں یا نہیں کی جواب دیتے ہیں، GPT-3 اصلی متن کی لمبی ترتیبیں بنا سکتا ہے جسے اپنا اوٹ پُٹ دیتا ہے۔ یہ حالت میں تربیت پذیر ہے کیونکہ اس میں کوئی ڈومین کا علم نہیں ہوتا، حالانکہ یہ مخصوص ڈومین کی تسکس کو مکمل کر سکتا ہے مثلاً بیرونی زبان کا ترجمہ۔

ایک زبانی ماڈل، GPT-3 کے معاملے میں، ایک پروگرام ہوتی ہے جو حساب کرتا ہے کہ ایک لفظ دوسرے لفظوں کے ساتھ استعمال ہونے کی صورت میں ایک متن میں کتنی امکان ہے. یہی وہ شرطی احتمال ہوتا ہے جسے الفاظ میں جانا جاتا ہے.

مثال کے طور پر، جملے میں میں نے ایک املٹ بنانے کا ارادہ کیا تھا، تو میں نے برفراز گاہ میں جاکر کچھ ____ نکالا جیسی کوئی بھی لفظ یا بے لحاظ بات لفظ، زبان کے بے نا محدود ترکیب کے بدلے حالت کا استعمال کر کے اس خالی جگہ کو بھرا جا سکتا ہے۔ لیکن لفظ "انڈے" امتیازات کو انتہائی تر تصاویر میں خالی جگہ کو بھرنے کے لئے استعمال کیا جا سکتا ہے، انتہائی بلند ہوتا ہے، مثلاً، "ہاتھیوں". ہم کہتے ہیں کہ اندازے کی شرط پر انڈے کی تناسب، حیوانات کی تناسب سے زیادہ ہے.

جب نیورل نیٹ ورک تیار کیا جارہا ہوتا ہے، جسے تربیتی مرحلہ کہتے ہیں، یہ جی پی ٹی - 3 کو لاکھوں اور لاکھوں ممبروں کے ٹیکسٹ کی نمونے پیش کرتا ہے اور یہ الفاظ کو وہ چیزوں میں تبدیل کرتا ہے جو نمبری تشکیل دیں. یہ ایک قسم کا ڈیٹا کمپریشن ہوتی ہے. پروگرام پھر اس کمپریش شدہ ٹیکسٹ کو ایک درست جملے میں واپس کھولنے کی کوشش کرتا ہے. الفاظ کی شرطی نمبری استدلال کی حساب کاری کی درستگی کو معلوم کرنے کے لئے، کمپریس اور انکمپریس کرنے کا وظیفہ پروگرام کی تربیت میں مدد کرتا ہے۔

ایک بار ماڈل کو تربیت دی جا سکتی ہے، یعنی ، بلین میں کنڈیشنل پروبیبلٹی کی حساب کتاب میں بلیارڈ الفاظ کے عکاسی کو ممکنہ بنا دیا گیا ہو تو پھر یہ پیش گوئی کرسکتا ہے کہ جب کسی شخص کو شروع کرنے والے الفاظ ٹائپ کرنے پر اگلے الفاظ کیا ہوں گے۔ یہ پیش گوئی کا عمل مشین لرننگ میں انفیرنس کے طور پر جانا جاتا ہے۔

یہ ایک دلچسپ آئینہ اثر پیدا کرتا ہے۔ نہ صرف امکانہ الفاظ زیر پیدا ہوتے ہیں، بلکہ ایک جنر کے ٹیکسچر اور ریتم یا ایک لکھی ہوئی ٹاسک کے فارم، جیسے کہ سوال جواب کی سیٹس، دوبارہ بنائی جاتی ہے۔ اس لئے مثلاً ، جی پی ٹی -3 کو باعث ایک نادر شاعر کے نام اور ان کے کام کے نمونے دیئے جاتے ہیں، پھر کسی اور شاعر کے نام اور صرف ایک خیالی نظم کا عنوان دیا جاتا ہے، تو جی پی ٹی -3 ایک نئی نظم پیدا کریگا جو وہ شاعر کے ریتم اور ذبان کے ساتھ ملاپ خیال کرے گا جس کا نام مندرج ہوا ہے۔

یہاں وہ واقعے کی پیش کش ہے جب جی پی ٣ ایک شاعری تصنیف مکمل کرتا ہے جو والاس اسٹیونز کی کامیاب اشعار کی کچھ قسمتوں کی طرح ہوتی ہے، اس کے بعد عناوین، ناموں اور دیگر شاعران اور ان کے کام کی مثالیں دی جاتی ہیں۔

بشری-فراہم شدہ انپٹ: ڈی سٹی
                       ترجمہ: ایڈمنڈ کیلی

[شعر کا متن حذف شد]

انسانی مدد کی گئی ان پٹ: کچھ درخت جان آشبری [شعریہ متن حذف شد]

بٹوتسازی شدہ انٹرنیٹ کی معلومات: چھاؤیں راستے پر والاس اسٹیونز

GPT-3-تشکیل شدہ: -------- تشکیل شدہ شعر 1 -------- مجھے راستے پر سایہ چاہئے  میں چلنے کیلئے مجھے ہر قدم دھیرے سے اٹھانا  چاہئے  میرے پاس تیار کرنا  لیکن میں ہلکے گرے رنگوں میں سوچنا  چاہئے  اندھے خیالات میرا رہنما  ہونے کیلئے  ہ میں نیلا اور ہرا دیکھنا  چاہئے  اور کبھی بھی آنکھیں نہیں بھولنا  کہ رنگ میرا دوست ہے  اور بنفشہ مجھے گھیرنا  سورج کی پیلی ہمیشہ کہیں جیا دیکھنے کیلئے  غصہ نہیں مسٹری کی بلو اسنو  پڑتا ہے  اور ہم سب کے اوپر برف  گرتی ہے  چاہئے  مجھے گرے خیالات اور نیلی سوچوں میرے ساتھ چلیں  اگر  میں کہیں کو جانا ہے.

جواب تیار کرنا یعنی GPT-3 بڑھ کر صرف تحریر پیدا کرنے والا ہونا۔ یہ تمام قسم کے ٹیسٹ پرفارم کر سکتا ہے جو طبیعی زبان کے جوابات کو شامل کرتے ہیں۔ مثال کے طور پر، اگر GPT-3 کو ایک مانہٹنکرایہ پراپرٹیز کے کرایہ منافع کے بارے میں مضمون اور مضمون کا مختصر جملہ جیسے "مانہٹن سستا آتا ہے" اور سوال "صحیح یا غلط؟" پیش کیا جائے، تو GPT-3 ذیلی تمام مواد کی تکمیل کرتے ہوئے لفظ "غلط" بھیجیں گے، کیونکہ یہ جملہ موضوع کی تجویز کے ساتھ مطابقت نہیں کرتی ہے۔

انسانیوں دی گئی معلومات : مشہور مقامات میں کچھ نیو یارک کی کمیونٹیز متناسب کرائیوں میں کمی کو حیرانگی کا باعث سمجھ رہی ہیں جب کہ چندلوکل پھول جگہیں مہنگی کرائوں کی بجائے منتظمہ تما میں خوبصورت کاروبار گنوا رہی ہیں۔ لیکن حالیہ رقمی تنوع کے باوجود، بہت سے ریٹیلرز کے لئے لیسوں کے وقت کو بھی سوال کرتا ہے 1970 کے دہائیوں میں کتب ہونے کے وقت معاوضہ کیمیس پوسٹک ریٹیوں سے۔ بے شک قیمتیں میں حالیہ گھٹاؤ منہٹن کو سستا نہیں کرتی ہیں۔

Insan-dwara mansoob hua input: sawal: Manhattan saste hai? sach, jhooth, ya dono nahi?

انسانی پہلو کی معلومات: جواب: 

GPT-3 کی تخلیق شدگی : غلط

GPT-3 کی صلاحیت کہ وہ ایک تسک کے ساتھ ایک مطابقت پسند طریقے سے جواب دیتا ہے ، اس میں شامل ہونے والے فارمز کے طریقوں کو شامل بھی نہ ہونے کی صورت میں "کچھ شوٹ" زبان ماڈل کہا جاتا ہے. ایک مخصوص ٹاسک پر مکمل طور پر میزبان یا "ٹرینڈ" ہونے کے بجائے ، GPT-3 کے پاس پہلے سے بہت زیادہ معلومات ہوتی ہے کہ الفاظ کو کس طرح ملائے جاتے ہیں ، تو اسے صرف چند مثال دی جا سکتی ہیں اور جدید ٹاسک کو بھی منتقل کیا جا سکتا ہے ، جس کو "ٹائن ٹیونگ" قدم کہتے ہیں اور یہ بھی صلاحیت حاصل کر لیتی ہے۔

طبیعی زبان کی انداز کو دوہرانے کی صلاحیت اور زبان پر مبنی ٹیسٹوں پر اچھے نمبر حاصل کرنے کی صلاحیت ، گ پی ٹی -3 کو ایک قسم کے انسانی مانند زبان کی قابلیت نظر آتی ہے۔ جیسا کہ ہم دیکھیں گے ، یہ بات کھڑی نہیں ہوتی۔

زیادہ تفصیلی معلومات اوپن اے آئی سائنسدانوں نے شائع کردی ہے۔ فارمل جی پی ٹی-3 کا مطالعہ پیپر میں مزید تکنیکی تفصیلات موجود ہیں۔

GPT-3 کیا کر سکتا ہے؟

اوپن اے آئی اب اپنے کوڈ کے رہنما عملوں کی مانیت حاصل کر چکی ہے --جیسے کہ خود کوڈ کیلئے. جب کمپنی نے 2019 کے ویلنٹائن ڈے کو GPT-2، اس سے پہلے وجود میں لانچ کیا، تو ابتدائی طور پر سب سے زیادہ قابلیت رکھنے والا ورژن عوامی استعمال کیلئے دستیاب نہیں کرانا چاہئے تھا، کہتے ہوئے کہ یہ خطرناک ہے کہ غلط اور بے وقوفانہ متن کی بڑی تعداد کی منتقلی کے خطرے کے باعث خطرناک ہوسکتا ہے. اوپن اے آئی نے بعد میں اسے ڈاؤن لوڈ کرنے کے لئے دستیاب کرایا گیا ہے.

اس بار، اوپن ای اے آئی ڈاؤن لوڈ فراہم نہیں کر رہی ہے. بلکہ، اس نے ایک کلاؤڈ بیسڈ اے پی آئی ایپ لینڈ پر منڈرانا شروع کی ہے، جس کے تحت جی پی ٣ ایک زندہ بند ہو جاتی ہے. (اسے LMaaS یعنی زبان نمونہ بطور سروس کے طور پر تصور کریں.) اوپن ای اے آئی کا دعویٰ ہے کہ اس کا سبب، برے کردار اداکاروں کے ذریعہ جی پی ٣ کی استعمال کو محدود کرنا اور پیسے بنانا ہے.

"اوپن سورس کے ساتھ کوئی 'اندو بٹن' نہیں ہوتا ہے"، اوپنای معتمد شخص کے ذریعے ZDNet کو بتاتے ہوئے کہتے ہیں۔

"GPT-3 کو ایپلیکیشن پروگرامینگ انٹرفیس (API) کے ذریعہ جاری کرنے سے ہمیں اس کا استعمال محدود کرنے کی اور ضرورت پڑنے پر دبا دینے کی صلاحیت حاصل ہوتی ہے۔"

حال میں، اوپن ای اے آئی پی آئی سروس منظورشدہ طرفین تک محدود ہے؛ رسائی حاصل کرنے کے لئے آپ ایک ویٹ لسٹ سے جڑ سکتے ہیں۔

"اب تک ، API کچھ تعداد میں ترتیب دینے والے ڈیویلپرز کے ساتھ ایک محدود بیٹا میں ہے جنہوں نے API کا استعمال کرکے پیداوار میں لانے کے لئے کچھ خیالات پیش کی ہیں" ، ایک B>Daily Express نے بتایا ہے۔

بھی: اوپن اے آئی کی 'خطرناک' ای آئی ٹیکسٹ جنریٹر لا حاصل ہوگئی ہے: لوگ لفظوں کو 'قائل کن' سمجھ رہے ہیں

بیٹا پروگرام میں موجود کمپنیوں کے کچھ دلچسپ نمونے ہیں۔ وینچر فنڈ والی کمپنی سیپلنگ، سی آر ایم سافٹ ویئر پر سیٹ کرنے والے ایک پروگرام پیش کرتی ہے۔ جب کسی گاہک کے موثر ترین جوابوں میں سے ایک کا انتخاب کرنے کے لئے ، جب ایک پالیسی ریپرزنٹیٹو ایک لازمی مدد کی درخواست کو ، مثلاَ، ای میل کے ذریعے ہنڈل کر رہا ہوتا ہے ، تو یہ پروگرام GPT-3 کو استعمال کرتا ہے تاکہ تمام جملے کی صورت میں جواب کا تجاویز دیتا ہے۔

Game maker Latitude, AI Dungeon کے لئے متن پرمنشن کی کمی کرنے کے لئے GPT-3 کا استعمال کر رہا ہے۔ عام طور پر، ایک ماحولیاتی کھیل میں کئی ممکنہ راستوں کو سکرپٹ کرنے کے لئے ایک پیچیدہ فیصلہ درخت کی ضرورت ہوتی ہے۔ بجائے اس کے، GPT-3 مستعمل کار اقدامات کے ساتھ ٹائپ کردہ صارفین کے رد عمل کے جواب میں کھیل کی تبدیل ہوتی ہوئی حالت پیدا کرسکتا ہے۔

پہلے ہی کام خودکاری طبیعی زبان سے آگے بڑھ رہا ہے تاکہ کمپیوٹر کوڈ تیار کر سکے۔ کوڈ ایک زبان ہے، اور GPT-3 مختلف پروگرامنگ زبانوں میں آپریٹر اور آپرنڈز کی سب سے زیادہ ممکنہ سنٹیکس کا اندازہ لگا سکتا ہے، اور وہ توالیاں بھی پیدا کر سکتا ہے جو کامیابی سے کمپائل ہو کر چلائی جا سکتی ہیں۔

ایک پہلی مثال نے ٹوئٹر کی دنیا کو چمکا دیا، جس میں ایپ ڈیویلپمنٹ اسٹارٹ اپ Debuild میں سے تھی۔ شریف شمیم ، کمپنی کے سربراہ ، ایک ایسا پروگرام تعمیر کر سکے جہاں آپ اپنی سافٹ ویئر یوزر انٹرفیس کی تشریح سادہ انگریزی میں ٹائپ کرتے ہیں، اور GPT-3 جاوا اسکرپٹ کے JSX نحو کے ساتھ کمپیوٹر کوڈ سے جواب دیتا ہے۔ وہ کوڈ آپ کی تفصیل کے مطابق UI تیار کرتا ہے۔

یہ دماغ خراشی ہے۔ GPT-3 کے ساتھ ، میں نے ایک لے آوٹ جنریٹر تعمیر کیا ہے جہاں آپ بس کسی بھی لے آؤٹ کی وضاحت کرتے ہیں ، اور یہ آپ کے لئے JSX کوڈ تیار کرتا ہے۔ واقعی پھر کیا پچار ہیں 🤯

— شریف شمیم (@sharifshameem) جولائی 13، 2020

شمیم نے ثابت کیا کہ متعدد بٹنز والے یوآئی کو وضاحت کرتے ہوئے ، ایک جملے کے ذریعے وہ ایک مکمل پروگرام کی تشریح کر سکتے ہیں ، حتیٰ کہ وہ ہمیشہ کی طرح ایک سادہ پروگرام بنا سکتا ہے مثلاً بنیادی کمپیوٹنگ کاٹ کرنا اور نتیجے کی تشریح کرنا ، اور GPT-3 اس کی تمام کوڈ بنا سکتا ہے اور چلتی کارروائی دکھا سکتا ہے۔

میں نے ابھی *کارکردگی* والا React ایپ بنایا ہے جس کو GPT-3 کو بتا کر بنایا گیا۔ میں اب بھی حیران ہوں۔

— شریف شمیم (@sharifshameem) جولائی 17، 2020

اوپن اے آئی نے "تاریخ تک آپ API تک رسائی کے لئے لاکھوں درخواستیں موصول کی ہیں اور ہم حقیقی دنیا میں یہ ماڈلس کرسکتے ہیں اسے جانتے ہوئے حوصلہ افراط کے ساتھ استعمال کر رہے ہیں "، کمپنی نے ZDNet کو بتایا۔ "اس لئے، ویٹ لسٹ لمبی ہوسکتی ہے"

ایک حتمی تجارتی خدمت کی قیمتیں ہنوز تعین نہیں ہوئی ہیں۔ زیڈی نیٹ سے بات کرتے ہوئے جب ازراعی پروگرام بیٹا سے باہر آئے تو، OpenAI نے کہا "مستقبل میں کسی وقت نہیں"۔

کمپنی نے کہا:"ایسا طاقتور ماڈل جاری کرنا یہ مطلب نہیں ہے کہ ہمیں اس کے کاروباروں، صنعتوں اور لوگوں پر اس کے اثر کے بارے میں دھیان دینے کی ضرورت ہے۔"API کے فارمیٹ کا مطالعہ کرنے اوراس کے استعمال کو مناسب تصرف کرنے کا موقع دیتی ہے، لیکن ہمیںاس کو عمومی استعمال کے لئے جلد تیار کرنے کیلئے کوئی جلدی نہیں ہے کیونکہ اس کی حدود ہیں۔"

اگر آپ بیٹا ویٹ لسٹ کے ساتھ بے صبر ہیں تو اس وقت میں پہلے ورژن جی پی ٹی-٢ ڈاؤن لوڈ کرسکتے ہیں، جو ایک ڈاکٹر انسٹالیشن استعمال کرکے ایک لیپ ٹاپ پر چلایا جاسکتا ہے۔ سورس کوڈ وہی جیٹ ہب ریپوزٹری میں پوسٹ کی جاتی ہے، پائتھن فارمیٹ میں ٹینسر فلو فریم ورک کے لئے۔ آپ کو البتہ GPT-3 جیتی نتائج نہیں ملیں گی، لیکن یہ آغاز کرنے کا ایک طریقہ ہے تاکہ آپ خود کو آگاہ کر سکیں۔

یاد رکھیں کہ نئے زبانی ماڈلز بھی وقت کے ساتھ سامیت خوشحالی کے حامل ہوتے ہیں اور ان میں سے کچھ آپ کے مقاصد کے لئے کافی ہوسکتے ہیں۔ مثال کے طور پر، گوگل کا ایک نسخہ جو اس کے BERT زبانی ماڈل کو کہا جاتا ہے، جس کا نام LaBSE ہے، جو زبان ترجمہ میں نمایاں اضافے کی نشاندہی کرتا ہے۔ یہ TensorFlow Hub سے ڈاؤن لوڈ کے لئے دستیاب ہے۔

بھی: اوپن اےآئی کی زبردست GPT-3 لانگویج ماڈلز کی حدود پر اشارے کا حوالہ

جی پی ٹی-3 کی تاریخ کیا ہے؟

GPT-3، مئی میں پیش کیا گیا، یہ پہلی بار 2018 میں OpenAI کی طرف سے متعارف کرایا گیا ایک پروگرام کا تیسرا ورژن ہے اور پچھلے سال GPT-2 کے عقب میں آیا. تین پروگرام لسانی نمونوں کے شعبے میں تیزی سے ترقی کی ایک مثال ہیں، اس کی بنا پر کہ 2015 میں دو بڑے ترقیاتی مراحل پیش آئے.

پہلی ترقی وہ تھی جو وہ چیز جو توجہ کا مطلب کہلاتی ہے کا استعمال تھا۔ ای آئی سائنٹسٹ یوشوا بینگیو اور ان کے ہمکاران نے مونٹرآل کے میلا انسٹیٹیوٹ فار ای آئی میں یہ دیکھا کہ جب زبانی ماڈل ایک انگریزی مثال کو مضغوط کرتے ہیں اور پھر اسے بحال کرتے ہیں تو ان سب نے ایک مستقل طول کا ویکٹر استعمال کیا۔ ہر جملہ کو ایک ہی سائز کے ویکٹر میں بند کیا جاتا ہے، چاہے جملے کی لمبائی کتنی بھی ہو۔

Bengio اور ان کی ٹیم نے قائدانہ فہرست کو محدود کرنے سے متعلق یہ نتیجہ نکالا کہ ایک زبان ماڈل کو اختیار ہونا چاہئے کہ وہ مختلف طویلیوں والے ویکٹر کی تلاش کر سکے تاکہ وہ الشرطی احتمال کو بهتر بنانے والے الفاظ کے لئے تلاش کر سکے۔ اور اس حوالے سے انہوں نے ایک طریقہ ڈیوائس کیا تھا کہ نیورل نیٹ کو لفظوں کو مختلف سائزوں کے ویکٹروں میں اضافے کرنے کا اختیار ہو جائے، اس کے علاوہ طریقہ کار کو لفظوں کی ترتیب کے لئے آرام سے تلاش کرنے کا اختیار بھی فراہم کیا جائے۔ انہوں نے اسے نظر انداز کرنا کہلایا۔

توجہ زبانی نموڈلز میں اہم حصہ بن گئی. یہ دو سال بعد گوگل سائنسدانوں نے تیار کیا. ٹرانسفارمر نامی لینگویج موڈل پروگرام پر کام کیا گیا. ٹرانسفارمر نے زبان کی مختلف تشکیلوں کے ٹیسٹوں میں شاندار نمبر حاصل کئے. یہ ڈی فیکٹو لینگویج موڈل بن گئی اور اس کا استعمال گوگل نے کیا تاکہ BERT نامی ایک اور بہت کامیاب لینگویج موڈل تیار کیا جا سکے. ٹرانسفارمر سے گی پی ٹی-1 کا بنیادی نظام بھی بن گیا.

مستقل طور پر ایک مخصوص سائز کے ویکٹر کو سختی سے متاثر کرنے کی ضرورت سے نجات ملنے کے بعد، ٹرانسفارمر اور اس کے نسل کے متعاقبین کو مکمل متن کے مختلف حصوں میں آزادی حاصل ہوئی ہے اور وہ کنڈیشنل اعتمادمندیاں جو بہت زیادہ تسلسل سے لگیں گیانکی تلاش میں ہیں.

یہ آزادی نے ایک اور ابتدا کی ہوئی ایک اور ایجاد کی کہانی پیش کی جو 2015 میں پہنچی اور جو اوپن ای ای کے کام کے لئے بہت زیادہ اہم تھی، جسے بے نظارت سیکھنے کا نام دیا گیا ہے۔

اس وقت تک زیادہ تر زبانیں نسبتا کوڈ بناتے ہوئے گوڈز کے ساتھ پہلے سے معروف کے ساتھ تربیت ٹیکسی مقاموں پر مرکوز تھی۔ زبانی ماڈل کو چک مقدار کے ساتھ defined input دیا جاتا ہے اور مقصدی جواب کی شکل میں مثال مقصدی رحمت کی طرح مشتہر حاصل کرتا ہے۔ لہذا ، اگر دیتاسی مشق ترجمہ ہوتی ہے تو انگریزی زبان کا جملہ شائع کیا جائے گا ، اور اعتبار کی مطلوبہ سطح پر ایک فرانسیسی ترجمہ کی فراہمی کی جائے گی ، اور دونوں جملوں کا ایک مشترکہ نمونہ تشکیل دیں گی۔

نیورل نیٹ کی فرانسیسی ترجمہ کرنے کی کوشش کو آئیندہ فرانسیسی جملے سے موازنہ کیا جاتا ہے، اور دونوں کے درمیان فرقیں یہ بتاتی ہے کہ نیورل نیٹ قیاسوں میں غلطی کرتے ہوئے کتنی غلطی کر رہی ہوتی ہے، جو لاس فنکشن یا اہداف کی تصور کیا جاتا ہے۔

تربیتی دورے کا مقصد نیورل نیٹ کی مشورے شدہ خارجی اور ہدف خارجی کے درمیان یہ خطا کھاپے کو بند کرنا ہوتا ہے. جب یہ فاصلہ ہمیں جتنا چھوٹا ہو سکے تب روشنی کی کارکردگی کی تجویزی خارجی اور زبان ماڈل کی نیورل نیٹ کو تربیت شدہ بنایا جاتا ہے.

لیکن مطلوبہ نتیجہ جو کہ احتیاط سے لیبل کیا گیا ہے بنانا مشکل ہو سکتا ہے کیونکہ یہ معاون ڈیٹا کی بھرمار مانگتا ہے، جیسے کہ مثالی جملے کا مرکب انسانی جیجنگ کے ذریعے ہوتی ہے، جو وقت و مال میں مہنگا آفر پیش کرتا ہے۔ گوگل کے انډرو ڈائی اور کوک لی نے فرض کیا کہ اگر زبان ماڈل کو غیر مربوط طریقے سے پہلے تربیت دی جائے تو دھانچے میں لیبل کیا گیا ڈیٹا کم کیا جا سکتا ہے۔

ہمارے پاس اب صرف ایک جملے کی جوڑے کی بجائے صرف ایک ایسی جملے تھی جو ہمیں دی گئی جبکہ ہر ایک کو ایک بائیسٹار میں تبدیل کرنا پڑتا تھا اور اصل جملے کو واپس تبدیل کرنا پڑتا تھا। رمزنے کو خسارے کی تفاوت بن گئی کہ اپٹمائز کرے۔ انہوں نے یہ دریافت کیا کہ زیادہ سے زیادہ نا معلم نمونے اسی طریقہ سے کمپریس اور ڈیکمپریس ہوئے، اتنا سارے معلومات کو بدل سکتے تھے مثال کی طرح ترجمہ جیسے کاموں میں لیبل شدہ معلومات کو۔

2018 میں، ٹیم اوپنآئی نے ان دو عناصر کو آپس میں ملا لیا، جن میں بینجو اور ہم پہلے سمجھتے تھے کہ خوشوبی آمد ہوگی، جو بہت سے الفاظ ویکٹرز پر آزادانہ طریقے سے پھریلے جائیں گے، اور ڈائ اور لی کا غیر مشروط پیشہ ورانگیز تربیتی طریقہ ہوگا، جو بڑی تعداد میں متن کو نگلے گا، اسے پیچیدہ کرے گا اور پھر اسے نگل کر اصل متن کو دوبارہ پیدا کرے گا۔

انہوں نے ایک معیاری ٹرانسفارمر لیا اور اسے یونیورسٹی آف ٹورانٹو اور ایم آئی ٹی کی طرف سے تشکیل دی گئی بککارپس کی مواد کے ذریعے خوراک دی گئی۔ بککارپس میں ملی بین الاقوامی شائع ہونے والی 7000 کتابوں کے متنوں کا اجمالی وزن ملکر تقریباََ 1 ملین الف لفظ تھا جو کے کل 5 جیگا بائٹ تھا۔ GPT-1 کو ان کتبوں کی تصغیر اور ہٹانے کی تربیت دی گئی تھی۔

تو ایک تین سال کا تاریخ بڑھتےبڑھتے ڈیٹا سیٹس کی شروعات ہوئی۔ اوپن اے آئی ریسرچرز نے یہ خیال کرتے ہوئے کہ زیادہ ڈیٹا ماڈل کو زیادہ درست بناتا ہے، پروگرام کی کمی کرتے ہوئے پروگرام کی کمی کرتے ہوئے ہر دین اے بک کورپس کو ردیٹ کی باہر جانےوالے لنکس کی اندر سے ساینیٹھ ملین ویب پیجز کا خلائی ڈیٹا سیٹ استعمال کیا، جو 40 جی بی کی کل معاملت ہوئی۔

GPT-3 کی تربیت ابھی بھی بہت بہتر ہے ، جس میں 2016 سے 2019 تک کے ویب صفحات کے عام مشترکہ مجموعہ کا استعمال کیا گیا ہے۔ یہ نامی ہے 45 ٹیرابائٹ کی پرس کردہ متن کی ڈیٹا ہے ، حالانکہ اوپن ای آئی نے مستقل کرنے کے لئے اس میں تکرار کو ہٹا دیا اور دوسرے طور پر کوالٹی کو بہتر بنایا ہے۔ آخری ورژن 570 گیگابائٹ ڈیٹا کا ہیں۔ اوپن ای آئی نے اسے کتابوں کے ڈیٹا کے ساتھ کچھ اضافی ڈیٹاسیٹس سے مکمل کیا ہے۔

GPT-3 کمپیوٹ پاور پر کتنا منحصر ہے؟

جی پی ٹی-1، 2، اور 3 کے آمد کے ساتھ، کمپیوٹنگ کی پیمائش ترقی کے لئے ایک ضروری اجزاء بن گئی ہے. جب وہ بہتر نتائج حاصل کرنے کے لئے تربیت دی جا رہی ہوتی ہیں، ماڈلز مزید اور زیادہ کمپیوٹر پاور استعمال کرتے ہیں.

تعلیم کے دوران ہی نیورل نیٹ کو پیش آتيں کم کرتی ہيں۔ وزن جو پیرامیٹرز کے طور پر بھی پکارے جاتے ہيں ، میٹریکس ہيں ، ہر ویکٹر کو ضرب دینے والے صفوں اور کالموں کے اریے ہوتے ہيں۔ ضرب کے ذریعے ، کئی ویکٹرز لفظوں یا ورد کے ٹکڑوں کے لئے ، اختتامی اخراج ميں بڑھ گئی یا کم وزن جتنے ہوئے ہیں کیونکہ نیورل نیٹ و خرابی کو قریب لانے کے لئے ریاضیاتی تنظیم کی جاتی ہيں۔

OpenAI نے دریافت کیا کہ ان کو اپنے دن بہ دن بڑھتے ہوئے ڈیٹا سیٹس پر اچھی پرفارمنس دینے کے لئے مزید اور مزید وزن جوڑنے پڑتے تھے۔

گوگل کی اصل ٹرانسفارمر میں 110 ملین وزن تھے۔ جی پی ٹی-1 نے اس ڈیزائن کو پیروی کی۔ جی پی ٹی-2 کے ساتھ، اس نمبر کو 1.5 بلین وزن تک بڑھایا گیا۔ جی پی ٹی-3 کے ساتھ، پیرامیٹرز کی تعداد 175 بلین تک بڑھ گئی ہے، جو کہ جی پی ٹی-3 کو دنیا کا سب سے بڑا نیورل نیٹ ورک بناتی ہے۔

ضرب ایک سادہ چیز ہے، لیکن جب 175 بلین میاں وزن کو ہر بٹ کے ساتھ ضرب کرنا ہوتا ہے، کروڑوں باٹس ڈیٹا پر، تو یہ ایک حیرت انگیز مسلسل کمپیوٹر پروسیسنگ کا مشق ہو جاتا ہے۔

2018 میں GPT-1 کے ساتھ خود OpenAI نے عملی کمپیوٹنگ کے حدوں کو چھوڑنے کی کوشش کی تھی۔ ڈیٹا کی تعداد میں اضافہ کرنا مطلب GPU کی تعداد میں مضافات کرنے کا مطلب ہوتا تھا۔ قبل ازیں لینگویج ماڈلز ایک ہی GPU میں ڈھلتے تھے کیونکہ خود ماڈلز چھوٹے ہوتے تھے۔ GPT-1 کے تربیت پر ہمواری سے ضرورت تھی، 20 دن تک، آٹھ GPUز پر مشتغل تھیں ۲۳۔

جیپی ٣ کے ساتھ، اوپن اے آئی خاص تھوڑا شرما رہا ہے. یہ ٹریننگ کے لئے استعمال ہونے والے کمپیوٹر کنفیگریشن کی تفصیل نہیں بتائی گئی ہے، مگر مایکروسافٹ ایزور پر چل رہے نووڈیا وی١٠٠ چپس کلسٹر پر ہوتی رہی ہے. کمپنی نے احتساب کی مطلوبہ کمپیوٹنگ سائیکلز کی وضاحت کی ہے، جس کے مطابق دن بھر میں ایک ہزار ترلین فلوٹنگ پوائنٹ اوپریشنز کو بیکثترت ۳،٦٤٠ دنوں کے لئے چلایا گیا۔

کمپیوٹر بنانے والا اور کلاؤڈ آپریٹر لیمبڈا کمپیوٹنگ نے اندازہ لگایا ہے کہ ایک گی پی یوز سے وہ مقداری کمپیوٹنگ کرنے میں 355 سال لگیں گے، جو ایک عام کلاڈ جی پی یو آئنسٹنس کی قیمت پر مشتمل 4.6 ملین ڈالر خرچ کرے گا۔ اور یہاں پر یاد رکھیں میموری ہی بھی ہے۔ تمام ویٹ ویلیوز کو رکھنے کے لئے ایک سے بڑھ کر ایک میموری میں مزید اور زیادہ مموری کی ضرورت ہوتی ہے جبکہ پیرامیٹرز کی تعداد بڑھتی ہے۔ GPT-3 کے 175 بلین پیمانے 700 گیگابائٹ میموری کی ضرورت ہوتی ہے، یعنی ایک گی پی یو کی میموری کے دس گنا۔

یہ وہ قسم کا بہت بڑا طاقت کا مطالبہ ہے جو کمپیوٹر چپس کے شعبے کو آگے بڑھا رہا ہے۔ اس نے AI تربیت کے لئے مرکزی GPU فراہم کرنے والی Nvidia کی شئیر قیمت کو گذشتہ دس سالوں میں تقریباً 5,000 فیصد بڑھایا ہے۔ اس نے Cerebras Systems، Graphcore، اور Tachyum جیسی کمپنیوں کے شروعاتی کاروبار پیدا کی ہیں جو لاکھوں ڈالرز کے ونچر کیپٹل تمویل کی حمایت سے معاشی اعتبار پا رہی ہیں۔ میدان کی راہ پر مدلز کو بڑھانے کا مقصد قائم رہے گا تب تک مسابقت کا دور جاری رہے گا۔

اوپن اےئی نے خود ایسی تحقیق کی ہے جس کے مطابق انتہائی طاقتور کمپیوٹر ضرورت پڑتی ہے۔ 2018 میں یہ کمپنی نے کاوشیں کیں کہ بڑے ترین اے آئی تربیتی نما کی پہلو میں استعمال انتہائی کمپیوٹنگ سائیکل کے اعتبار سے معیار کی خالی پکڑ اور جنرل چپ ٹرانسسٹر کی نمو کے مشتہر قانون کی تیزی سے زیادہ بڑھوتری دیکھی گئی۔ (یاد رہے، کمپنی نے ایسی تحقیق بھی کی ہے جو دکھاتی ہے کہ واحد قیمت پر، ہر کچھ کرتے ہوئے ماضی کے نیورل نیٹس سے بہت بڑے نما نمونے نے بہترین کارکردگی حاصل کی ہے۔)

پہلے سے ہی ایسے ماڈلز تیار ہو رہے ہیں جو ایک ٹریلین پیرامیٹر سے زیادہ استعمال کرتے ہیں، کمپنیوں نے اس بارے میں بریفنگ لی ہے جو تاپ سیکرٹ AI منصوبوں کے تحت کام کر رہی ہیں۔ یہ شاید حد نہیں ہے، جب تک ہائپر سکیل کمپنیاں مثلاً گوگل اپنے بڑے ڈیٹاسنٹرز کو مستقبل میں ہر بار بڑھتے ہوئے ماڈلز کے لئے درسریع اختصاص دینے کے حوالے سے راضی رہتی ہیں۔ زیادہ تعلیمی ماڈلز کے لئے مشین لرننگ ماڈلز میں اس وقت کی عداد بڑھنا عام ہونے کا تجاوز ہے ۔

"ایک طور پر AI کے اثرات کے لحاظ سے، GPT-3 کا سب سے دلچسپ حصہ یہ ہے کہ یہ ثابت کرتا ہے کہ ہم AI کو بڑھانے کے حد تک نہیں پہنچے ہیں۔" کینی ڈینیئل، AI مینجمنٹ ٹولز وینڈر Algorithmia کے سی ٹی او نے ZDNet کو بتایا۔

کمپیوٹنگ کی استعمال میں اضافہ کے علاوہ، GPT-3 کا دوسرا بڑا اثر یہ ہوگا کہ یہ عموماً پروگرامنگ اور ایپلیکیشن ڈویلپمنٹ کو کیسے تیز کرتا ہے. شمیم کی JSX پروگرام کی تھاپ کی پھرتی سے بنائی گئی نمونے کی دکھا میں یہی بنی کٹھنا ہے.

GPT-3 کے کمیون کیا ہیں؟

پہلے نسخے کے مقابلے میں وسیع اصلاح کے باوجود، جی پی ٹی-3 کے بہت سی محدودیتیں ہیں، جیسا کہ مصنفین خود بھی اشارہ کرتے ہیں۔ "اگرچہ اکٹھے اعتبار کی کوالٹی بہت بلند ہے لیکن جی پی ٹی-3 پروبلم لیول پر دستاویز سے متناسب، مطلبی اعادہ کرتے ہیں، کافی طویل پاراگرافوں پر تسلسل کھو دیتے ہیں"، انہوں نے تشریع کے تنزیل کی کاغذ میں نوٹ کیا ہے۔

اس پروگرام کو بھی کئی انفرادی ٹیسٹس پر اچھے طریقے سے کام کرنے میں کامیاب نہیں ہوتا۔ "مصنفین نے بتایا کہ خاص طور پر، GPT-3 کو "اگر میں پین میں پنیر ڈالوں تو کیا پگھلے گا؟" جیسے سوالوں کا اندازہ لگانے میں مشکلات پیش آتی ہیں، جو GPT-3 کو سمجھ نہیں آتیں۔

گی پی ٣ کے تنزل کے بعد کچھ وقت کے لئے بہت ہی جوش و خروش تھا جس کی وجہ سے کمپنی کے سی ای او، سام الٹمین، عوام سے ظاہری طور پر کہا کہ وہ اپنا جذبات کنٹرول کریں۔

"GPT-3 کی شورش زیادہ ہو چکی ہے ،" Twitter پر Altman نے 19 جولائی کو ٹویٹ کیا۔ "یہ تاش کھیلنا (اچھی تعریفوں کا شکریہ!) مذہبی ہے لیکن اس کے باوجود یہ کچھ سوچی سمجھی خاطریں کرتا ہے ،" انہوں نے لکھا۔ "ہوشمندی دنیا کو تبدیل کرے گی لیکن GPT-3 صرف ایک بہت سے پہلو دیتا ہے۔ ہمیں ابھی بھی بہت کچھ سمجھنے کی ضرورت ہے۔"

GPT-3 کی زیادہ حمایت کرنا بہت زیادہ ہے۔ یہ دلچسپ ہے (اچھی تعریفوں کے لئے شکریہ!) لیکن یہ نازوقت ضعف ہے اور کبھی کبھار بہت بکواس غلطیاں کرتا ہے۔ AI دنیا کو تبدیل کرے گا، لیکن GPT-3 صرف ایک بہتہ کچھ کی نظر دوڑ کا حصہ ہے۔ ہمیں ابھی بہت کچھ سمجھنا باقی ہے۔

— سام التمان (@ساما) جولائی 19، 2020

دیگر OpenAI کے باہر واقعتا آپکو اپنی خودکشی پڑتی ہے. متعدد نسلوں کے جی پی ٹی کے تجربہ کار کی ماہرانہ رائے کوسمجھنے کے لئے، میکس وولف نے اپنے ذاتی بلاگ پر لکھا ہے کہ جی پی ٹی-3 پیش آنے سے پہلے ہووم کا بہتر ہے، لیکن صرف اوسط کی حیثیت سے. تیار شدہ متن کی معیاری ٹیار حلقے کا سپیکٹرم ایسا ہوتاہے کے لاکھوں مثالوں میں سے کچھ حیرت انگیز لگیں گی ،جبکہ دیگریں ناکافی ہوتی ہیں. وولف نے جی پی ٹی-3 کو ایپل کی سیری کے ساتھ تشبیہ دی ہے ، جو کئی مواقع پر کچھ پریشانی کا باعث بناتا ہے. (وولف کا مضمون جی پی ٹی-3 کے تفکر انداز کے لئے پڑھنے کے کءے بلا شک قابل اعتبار ہے.)

حقیقت میں، جب کوئی شخص مزید اور مزید GPT-3 کے نمونوں کو پڑھتا ہے، خصوصاً لمبے متن کے حصوں کو، تو شروع میں جوش و خروش میں کمی محسوس ہو گی. لمبے عرصہ تک GPT-3 اپنے داستاں کو بھول جاتا ہے. چاہے چہ نثر کا ہو یا کسی دیئے گئے کام کا، اس کا متنی خروج بےقاعدگی کا شکار ہوجاتا ہے، داستانی تزاد کے اندرنی اُنوتی کا نمودار ہوتا ہے۔

کچھ پروگرامرز عزم و رغبت کے باوجود بہت ساری کمیوں کی فہرست بنا چکے ہیں ، جیسے کہ GPT-3 کے ابو سے مذاق میں ناکام کی کوششیں. "ایک پلیٹ نے دوسری پلیٹ سے کیا کہا؟" ، مذاق کی تیاری کو انداز میں دیا گیا ہے ، "کھانا میں ہوں!" لیکن GPT-3 کے بجائے ، بے مزا میں ، "میرے ساتھ چھپکلی دباؤ!" جواب دے گا۔

انسانی امداد کیا ایک پلیٹ نے دوسری پلیٹ سے کہا؟

GPT-3-تیار کردہ تکمیل: آ. مجھے ڈبوائو!

GPT-3 کو عموماً مشترک سمجھی جانے والے سوالات کا جواب دیا جا سکتا ہے ، جیسے ہرن کا آنکھوں کی تعداد کیا ہوتی ہے ، لیکن یہ بے معنی سوال کو تنتیس کرنے کے قابل نہیں ہے اور بلاواسطہ بے معنی جواب دیتا ہے۔ مثال کے طور پر ، اگر کسی کو یہ سوال پوچھا جائے کہ "میرے پاؤں کیا آنکھیں ہوتی ہیں؟" تو یہ بے برکت جواب دیتا ہے ، "میرے پاؤں کے دو آنکھیں ہیں"۔

ایک ایسا طریقہ ہے تمام اس معمولیت کے بارے میں سوچنے کا کہ GPT-3 سے اچھے نتائج حاصل کرنے کے حوالے سے کچھ حد تک موثرہ پرومپٹس بنانے کے لئے لازم ہے۔ خوش اقدار روبو کوئنڈ کچھ پرومپٹس ، کچھ دیگر پرومپٹس کے مقابلے میں بہتر نتائج حاصل کرنے کیلئے تیارکردہ کردار نبھاتے ہیں۔ یہ "کچھ لطیفہ ، کچھ لطیفہ نکالو" کا تازہ ورژن ہے۔ لگتا ہے پرومپٹس نئے پروگرامنگ کے خطے کا حصہ ہوسکتے ہیں ، جن کیلئے دانشمندی اور مہارت درکار ہوتی ہے.

تعصب ہمیشہ ایک بڑی پیش نگاہ ہے ، نہ صرف جی پی ٹی-3 بلکہ تمام پروگرامز پر جو شرطی تقسیم پر مشتمل ہو رہے ہیں۔ پروگرام کا منصوبہ اس خیالی آئینہ کے طور پر واپس کرنا ہے جو اس میں ڈالا جاتا ہے جیسے مائرر کا کام کرتا ہے۔ اس کے پاس ڈیٹا میں تعصبات کو نقل کرنے کا امکان ہے۔ جی پی ٹی-2 میں پہلے سے ہی بہت سے جھریلا تعصب کا ماہرانہ مناظر موجود ہے۔

جی پی ٹی-3 کے ساتھ، نووڈیا اے آئی سائنسٹ انیما انندکومار نے ہوشیاری دلائی کہ جانبدار خروجات، ریشسٹ اور نوعیتی رجحانی خروجات کی تشکیل کا رواج جاری ہے۔

مجھے یہ دیکھ کر بہت پریشانی ہوتی ہے کہ یہ بائس کی کوئی ذمہ داری کے ساتھ منظور کیا گیا ہے۔ میں نے اسے @reddit کارپس پر تربیت دی ہے جہاں بے حد #ریسزم اور #جنسیت نفرت خیز تھی۔ میں نے ان ماڈلز کے ساتھ کام کیا ہے اور یہ جو ٹیکسٹ اس نے پیدا کیا ہے وہی حیران کن طور پر بائس ہے۔ @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— پروفیسر انیما آمندکمار (@AnimaAnandkumar) جون 11، 2020

آناندکمار کی تنقید کے بارے میں سوال کرنے پر، اوپن ای.آئی "آنے والی مرتفع ہوتی ہوئی جنریٹو ماڈلز کی طرف سے، انصاف اور ناجائز استعمال ہماری پروسیسنگ کے بارے میں خدشات ہیں"، جی ڈی نیٹ کو بتایا۔

"یہ ایک وجہ ہے جس کی وجہ سے ہم اس ٹیکنالوجی کو API کے ذریعے شیئر کر رہے ہیں اور شروع کرنے کے لئے پرائیویٹ بیٹا لانچ کر رہے ہیں۔" اوپن اے آئی نے ZDNet کو بتایا ہے۔ کمپنی نوٹس کرتی ہے کہ "ہم پھیزیکل یا مینٹل تکلیف کا سبب بننے والے کاروباروں کو سپورٹ نہیں کریں گے جو لوگوں کو تکلیف دیتے ہیں، مثلاً ہراساں کرنا، ارادی گمراہ کرنا، انتہا پسندی، ہمیشہ چھاپہ، یا اسپیم کرنا۔"

OpenAI نے کہا ZDNet کو کہ یہ پروگرام میں خطرات کا پتہ لگا کرنے کے لئے ایک معروف قسم کی سفیدٹوپی سیاہٹوپی جنگ کا استعمال کر رہا ہے:

ہم نے وہ چیز کو تفصیل سے جاننے کے لئے ، جس کو ہم 'لال ٹیم' کہتے ہیں کو قائم کیا ہے جو بلاواسطہ "کنٹینٹ فلٹریشن سسٹم" کو طویل وقت کے لئے توڑے گا تاکہ ہمیں یہ معلوم ہو سکے کہ نمونہ خراب خروجات کیوں آتا ہے اور آٹا ہے۔اس کا مقابلہ "برقی ٹیم" ہے جس کا کام ہے کہ معیار کو پیمائش کرنا اور توڑنا ہے۔

ایک اور بڑی مسئلہ ہے GPT-3 کی بہت وسیع اور ہمساہم ماہیت، یہ حقیقت کہ یہ صرف شرطی احتمال کی ایک مومن کوروں کے سب سے موٴثر حصے کو سخت کرتا ہے۔ کسی احتمال تقسیم کی طویل دم اور کبھی کبھار موٴثر دم پایا جاتا ہے۔ یہ تقریباً غیر معمولی مثالیں ہیں جو زبان کی استعمال کے سب سے نوآورانہ مثالیں بن سکتی ہیں۔ سماج میں سب سے زیادہ رواج پذیر متن کی جھلک پر توجہ دینا اختراعیت اور کشش کو ختم کرنے کا خطرہ پیدا کرتا ہے۔

فی الحال، اس مسئلے کا جواب دینے کے لئے، OpenAI کی جانب سے GPT-3 میں ایک ترتیب دی جا سکتی ہے جس کو درجہ حرارت کی قیمت کہتے ہیں۔ اس کناب کو تبدیل کرنے سے GPT-3 کو تنظیم دی جا سکتی ہے تاکہ وہ کم ممکنہ الفاظ کے جوڑوں کو منتخب کرکے ایک متفرد متن تیار کر سکے۔

ایک کاروبار کے لئے ایک زیادہ تنگ ذمہ داری یہ ہے کہ شخص کسی بھی خصوصی کمپنی کے ڈیٹے کے ساتھ جی پی ٹی-3 کو برقرار نہیں کر سکتا ہے۔ کچھ بھی تربیت نہ کر سکنے کی صورت میں، کسی بھی تجارتی میدان کے لئے جی پی ٹی-3 کو تخصص نہیں کرنا مشکل ہوتا ہے۔ یہ ممکن ہو سکتا ہے کہ API سروس استعمال کرنے والی کسی بھی کمپنی کو ڈومین کے لئے قابل استعمال بنانے کے لئے مزید کام کرنا ہو گا۔ شاید ایسی کمپنیاں جیسے ساپلنگ وارڈ کے طور پر میدانیوں کو حل کرنے والے ڈومین کی نسبتاً بہترین طور پر مائیکروکوسم نامی ہیکٹر کی تشکیل دیں۔ شاید، لیکن یہ دیکھنے کی بات ہے۔

اگر وہ کافی پریشانی کا باعث نہ ہو تو دوسری مسئلہ یہ ہے کہ گاڑی سروس کے طور پر، GPT-3 ایک سیاہ باکس ہے۔ یعنی جو کمپنیاں اس سروس کا استعمال کریں، وہ نہیں جانتی کہ یہ اپنے خروجی تک کیسے پہنچتا ہے -- ایک خاص طور پر فکرناک پہلو جب تک تعصب کے مسائل کو مدِ نظر رکھا جائے۔ ایک ایکوسسٹم جو سیپلنگ جیسی شرکاء خودکارا جی پی ٹی -3 کو بڑھاؤ دیں، وہ خدشات کے معاملات میں مزید پردہ در پردہ کا/\پ رکھ فراہم کرسکتے ہیں۔

کچھ معاملات میں بلیک باکس مسئلے کے ذیلی حصے کے طور پر، جی پی ٹی-3 بس ویب سے جوں کے توں کچھ معلومات آمادہ کر کے یاد رکھ سکتا ہے۔ یہ اشاعتی حقوقی مسائل کو بڑھا دیتا ہے۔ اگر کوئی کمپنی جبکہ کا پیداوار جی پی ٹی-3 سے پیدا کیا گیا مواد ہو اور وہ مالکانہ حقوق میں تشدد کرتی ہو تو وہ کمپنی دوسری کمپنی کا کاپی رائٹ معلق کر سکتی ہو۔ کاپی رائٹ کے بارے میں سوال پوچھے گئے پے ٹی نے کہا کہ جی پی ٹی-3 کی تشکیل کیا گیا متن کا حق استعمال کنندہ کو ہوتا ہے، نا کہ پے آئی ٹی پر۔ عملی زندگی میں یہ کیا مطلب ہوتا ہے، اسکا باریکی سے جائزہ لینا باقی ہے۔

فی الحال، سب سے بڑی عملی کمی اس سکیل ہے جو GPT-3 کو تربیت دینے اور چلانے کے لئے درکار ہوتی ہے۔ اوپن اے آئی انتظار کرتی ہے کہ فارمل پیپر میں ایسا ہی ذکر ہوتا ہے۔ مصنفین لکھتے ہیں کہ وقت کے ساتھ بڑے ماڈلوں کی لاگت کا حساب رکھنے کا کام کیا جانا چاہئے جو خروجی کی قیمت پر مبنی ہوتا ہے۔

بھی اس کے علاوہ: نہیں، یہ AI آپ کی جملے کو مکمل نہیں کرسکتا ہے

کیا GPT-3 واقعیت میں سیکھ رہا ہے؟

ادھر تھمام GPT-3 کے تنقیدی مطلب کا استعمال کرنے کا طریقہ استعمال کیا جارہا ہے، جس کا مطلب ہے کہ اس کے پیرامیٹر ویٹ ٹونغ کئے جارہے ہیں. جو آٹومیٹک طور پر تربیتی ڈیٹا کو استنباط کیا جاتا ہے. یہ اس زبان کی ماڈل کے ساتھ اچھی طرح ہوتی ہے کہ جبکہ صرف پروگرام کا استعمال استعمال کیا جاتا ہے. اس طریقے میں، GPT-3 آٹومیٹک طور پر تنظیم کرتا ہے باضابطہ پروگرام کا استعمال کئے بغیر کمپیوٹر کی تلاش کے لئے جس میں کسی انسانی کوڈ کی تقدیر کی ضرورت نہیں ہوتی ہے۔

مگر ایسا کہے جائے گا کہ کیا یہ مشین واقعی ذہانت رکھتا ہے یا واقعی سیکھ رہا ہے۔ اس مسئلے پر بحث کرنے کے کئی طریقے ہیں، لیکن آسان سوچ سے یہ ظاہر ہوتا ہے کہ وہ کچھ بھی جو ہم انسانی سوچ کہتے ہیں یہاں نہیں پیدا ہوتا۔

سوچیں کہ آپ اپنی ذہن میں ایک عددی امتیاز رکھ سکتے ہیں جو اشتراک میں آنے والے الفاظ کی تعداد کو ظاہر کرتا ہے۔ کیا آپ کہہ سکتے ہیں کہ آپ کی قابلیت جملے، جملوں کے مجموعے، پیراگراف اور مکمل لکھائی کی قدرت سنجیدہ ہے؟ آپ ممکن ہے کہہ دیں کہ یہ صرف اعدادی ہے اور کچھ اور کمی ہو رہی ہے۔

گہری تعلیم اور مشہور کلیور ہانس کے درمیان موازنے کیے گئے ہیں، کلیور ہانس جرمن گھوڑے کی بات کی جاتی تھی جسے اس کا مالک عوام کے سامنے ایک بغل رکھتے ہوئے ٹھب بجانے کے قابل جانور کے طور پر پیش کرتا تھا۔ بعد میں یہ دریافت کیا گیا کہ ہانس اپنے مالک کی جسمی حوالے سے حوصلة افزائی کے جواب میں آپنا ٹھب بجاتا تھا، اور بغیر آزادوں کے وہ کچھ نہیں کرسکتا تھا۔

اسی طرح، جی پی ٣ کی انسانی خصوصیت ہم معائنہ پر کھڑی ہوتی ہے۔ جب جی پی ٣ ایک نیو یارک ریل اسٹیٹ پر مضبوط جواب دیتی ہے، تو یہ اس بات کا مطابقت رکھتا ہے کہ برنامے کو ریل اسٹیٹ یا نیو یارک کے بارے میں معلومات ہیں۔ یہ پروگرام نے متنوں میں عبارات کو پکڑنے والی پروبیبلٹی تقسیم کو محفوظ کر رکھا ہے اور بیان-سوال جوڑ کی شکلاتیں بھی ریکارڈ کر سکتا ہے اور اسے انتیش کر سکتا ہے۔

Hans کو حساب شماری کے بارے میں کچھ بھی نہیں پتہ تھا، حالانکہ، Hans کی دفاع میں، اس کے پاس ذہانت تھی. عصبی نیٹ ورکس کے معاملے میں، مخالفین کہیں گے صرف ترفیعیں موجود ہیں، بغیر کسی ہورس سینس کے۔

پھر بھی ذہانت اور تعلیم کے بہت سے معانی ہو سکتے ہیں اور سالوں سے ذیادہ ذراتی عقل کی لئے مقرر کردہ معیار بدل چکا ہے جیسا کے پیمیلا مکورڈک، اس شعبے کی تاریخ دان، نے نکالا ہے۔ کچھ لوگ اتنا کہہ سکتے ہیں کہ ٹیکسٹ کے وسیع انبیصارات پر احتمالات کا حساب رکھنے والا ایک پروگرام، شاید ہماری کے علاوہ کسی دوسری، یعنی اجنبی ذہانت کی قسم ہو سکتی ہے۔ اسے نظر انداز کرنے کو پہلے سے قبل وقت زیادہ لگتا ہے۔

علاوہ ازیں، وہ عصبی نیٹ ورک جو ان شرائطی احتمالات کو پیدا کرتے ہیں، صرف شماریاتی پروگرام سے زیادہ کچھ ہیں. ان کی حسابیات بہت سے متواتر ریاضیاتی کارروائیوں کے ذریعے پیدا ہوتی ہیں جو متوازی طور پر واقع ہوتی ہیں، خصوصیات کے وزن کی سمیت. اگر دوسری اقسام کی ذہانت کو تسلیم کرنا ممکن ہو تو ایمرجنٹ خاصیت جو عصبی نیٹس کے اندر شکل لینیوال تقسیم فراہم کرتی ہیں ایک تلاش کرنے کے لئے ایک مقام ہو سکتی ہے.

GPT-3 کا مستقبل کیسا ہوگا؟

ایک چیز تو ثابت ہی ہے: جی پی ٹی-3 نے مشین لرننگ میں نیا باب کھول دیا ہے۔ اس کی سب سے دلچسپ خصوصیت یہ ہے کہ اس کی عمومیت ہے۔ صرف چند سال پہلے، نیورل نیٹ ورکس کو کسی خاص کام جیسے ترجمہ یا سوال جواب کرنے کے لئے مخصوص کام میں تیار کردہ تفاعلوں کے ساتھ بنایا جاتا تھا۔ ڈیٹا سیٹس اس کے مطابقت کی روشنی میں رکھا گیا تھا۔ بجائے، جی پی ٹی-3 کے کوئی ٹاسک-خصوصی تفاعل نہیں ہیں، اور اس کو کوئی خاص ڈیٹا سیٹ کی ضرورت نہیں ہوتی۔ اس صرف اتنا متن کو ہر جگہ سے ضبط کرتا ہے جتنا ممکن ہوسکے اور اس کو اپنی خروجی میں عکاسی کرتا ہے۔

کسی طرح، تمام ان گیگابائٹ ٹیکسٹ کے اندر بنیادی شرطی احتمال تقسیم کے حساب کا باہر سے ایک تفاعل نظر آتا ہے جو کسی بھی تعداد کے کاموں پر مقابلہ کرنے کی قابل ہے۔ یہ سادگی کا پرانا کامیابی حصول ہے جس کی پیشنگوئی میں ممکن ہے اس کے آگے کئی سالوں کی کامیابی ہوسکتی ہے۔

حتی کہ یہ اصول کچھ حد تک کام کر سکتا ہے. البتہ آلے GPT-3 کے مصنفین کا نوٹ ہے کہ پری ٹریننگ کی راہ کو ممکن ہے کہ بعد میں ختم کردیا جائے. "اس مضمون میں بیان کی گئی عام ترکیب کی ایک زیادہ بنیادی حد اس عمل سے متعلق آپتکاری کی ہوسکتی ہے۔"

مصنفین تجویز کرتے ہیں کہ وعدہ بخش نئے راستے ممکنہ شامل ہوسکتے ہیں "انسانوں سے مقصدی تفاوت سیکھنا" ، اور دیگر قسم کے گہرے سیکھنے کو ملانا، جیسا کہ "شطرنج اور گو میں کام کرنے والے DeepMind's AlphaZero استعمال کرتے ہیں "تقویت کرنے والے سیکھنے" نہیں تو ۔ (انہوں نے پہلے سے ہی ایسی تقسیمات پر عمل میں لانا شروع کر دیا ہے۔ ستمبر کی شروعات میں ، OpenAI مصنفین نے ثابت کیا کہ وہ استعمال کرسکتے ہیں تقویت کرنے والے سیکھنے کو ٹرین کرنے کے لئے GPT-3 کا استعمال کرکے مضبوط تر تشریحیں ارنے کے لئے بعض انسانی واپسیات کا استعمال کرکے زبان ماڈل کوچھ سیکھنے کی ضبط کر دیا ہے جو بہتر سیکواء جانے والے بوراپ ۔)

اور ایک اور چیز جو وہ تجاویز کرتے ہیں وہ ہے کہ پروگرام کے "دنیا کا نمونہ" مکمل کرنے کے لئے اور ڈیٹا ٹائپس جوڑیں، جیسے تصاویر۔

واقعی، آنے والے سالوں میں اس عام ترکیب کو شاید دیکھا جائے کہ دوسری قسم کے کھیلوں کے علاوہ مثال کے طور پر تصاویر اور ویڈیو کی طرف بھی پھیلے ۔ تصور کریں کہ جی پی ٹی-3 کی طرح ایک پروگرام ہو جو تصاویر کو الفاظ میں اور الفاظ کو تصاویر میں ترجمہ کرسکتا ہے مگر دونوں کے درمیان تعلق کو نمونہ بنانے کے لئے کوئی خاص الگورتھم نہیں ۔ مثلاً یہ پھوٹوں سے متنائی صحنے کا وصف "سیکھ" سکتا ہے یا متنائی وصفوں سے واقعات کی جسمانی تسلسلات کا پیشگوئی کرسکتا۔

فیس بک آئی ڈائریکٹر یان لیکون نے دعویٰ کیا ہے کہ غیر سنگین تربیت مختلف اشکال میں گہری سیکھنے کی آئندہ ترین کرتی ہے۔ اگر یہ درست ہے تو اپڈیٹی کارکردگی کے لئے استعمال ہونے والی تربیت کی روش کو، آواز سے لے کر متن سے تصاویر تک اور ویڈیو تک، انوانی مواد پر لاگو کیا جاسکتا ہے جو غیر سنگین لہر کی ایک بہت امیدوار آئندہ رخ ہو سکتی ہے۔