گوگل مدلی از "زبان هوش مصنوعی" با هزار میلیارد پارامتر ایجاد کرد

سعید ناصریمارس 23, 20211min0

محققان Google Brain اخیراً از پیشرفت عمده بعدی در مدل های زبان هوش مصنوعی رونمایی کردند: ایجاد یک سیستم ترانسفورماتور عظیم با تریلیون پارامتر.

پارامترها کلید الگوریتم های یادگیری ماشین هستند. آنها بخشی از الگویی هستند که از داده های آموزشی گذشته آموخته اند. به طور کلی ، در زمینه زبان ، رابطه بین تعداد پارامترها و پیچیدگی به طور قابل توجهی حفظ می شود. به عنوان مثال ، GPT-3 ، متعلق به OpenAI ، با 175 میلیارد پارامتر قادر به تولید تشبیهات اساسی ، تولید دستورالعمل ها و حتی تکمیل یک کد اساسی ، یکی از بزرگترین مدل های زبان تا به امروز است.

محققان گوگل اخیراً تکنیک های استانداردی را توسعه داده اند که ادعا می کنند قادر به آموزش یک زبان با بیش از یک تریلیون پارامتر هستند. طبق گفته آنها ، سرعت مدل پارامتر 1.6 تریلیون ، که یکی از بزرگترین مدل های تاکنون است ، با استفاده از مدل زبان توسعه یافته گوگل چهار برابر می شود.

محققان قبلاً اظهار داشتند كه آموزش در مقیاس بزرگ یكی از م waysثرترین روشهای مدیریت مدلهای قدرتمند است. اما این آموزش در مقیاس بزرگ نیاز به محاسبات بسیار فشرده دارد و به همین دلیل محققان روشی به نام Switch Transformer را ایجاد کردند که فقط از زیرمجموعه ای از وزن مدل یا پارامترهایی استفاده می کند که داده های ورودی را در مدل تغییر می دهد.

نوآوری Transformer Switch نفوذ سخت افزاری مانند GPU ها و واحدهای پردازشی Google Tensor است که برای ضرب ماتریس های متراکم طراحی شده اند. به گفته محققان ، سوئیچ ترانسفورماتور می تواند منجر به برخی از کارهای سطح پایین شود. به عنوان مثال ، می توان از مدلهای پراکنده بزرگ برای ایجاد مدلهای کوچکتر و متراکم که 30٪ کیفیت بهتری نسبت به مدلهای بزرگتر دارند ، استفاده کرد. همچنین در آزمایشی که در آن یک مدل سوئیچ ترانسفورمر برای ترجمه به بیش از 100 زبان مختلف در سراسر جهان آموزش دیده بود ، محققان توانستند بهبود جهانی را چهار برابر سریعتر از مدل های پایه مشاهده کنند.

در آینده ، محققان قصد دارند زبان هوش مصنوعی گوگل را برای انواع کارهای جدید مانند استفاده از آنها بر روی تصاویر و متن آزمایش کنند. آنها معتقدند که این پراکندگی مدل در طیف وسیعی از رسانه های مختلف و همچنین مدل های چند حالته می تواند مزایایی را به همراه داشته باشد.

پیشنهاد ویژه

خرید sabzafrooz.ir

یک نظر بدهید

ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت گذاری شده اند *

پنج × 1 =