هوش مصنوعی تشنه انرژی است _ هوش مصنوعی با وجود همه ی مزایا و پیشرفت‌ها، انرژی زیادی مصرف می‌کند و اثر محیطی زیادی را به‌جای می‌گذارد.
گوگل در تحقیقی ناامیدکننده، به خطرات هوش مصنوعی پردازش زبان اشاره کرد. این نوع هوش مصنوعی در جست‌وجوی گوگل و دیگر محصولات تحلیل متنی به‌کار می‌رود. یکی از خطرات این نوع هوش مصنوعی، اثر کربنی فراوان آن می باشد.
طبق تخمین‌ها، آموزش مدل هوش مصنوعی به‌اندازه‌ی تولید اتومبیل و رانندگی با خودروها در طول عمر آن‌ها به انرژی نیاز دارد. کیت سائنکو، پژوهشگر و نویسنده‌ی اصلی این نوشته، مدل‌های هوش مصنوعی بررسی می‌کند و آن را توسعه می‌دهد، و با انرژی و هزینه‌های مالی پژوهش‌های هوش مصنوعی آشنا می باشد. به چه دلیل مدل‌های هوش مصنوعی تا این اندازه تشنه‌ی انرژی می باشند و چه تفاوتی با رایانش دیتاسنتری یا مرکزداده‌ای سنتی دارند؟
فرآیند آموزش AI غیر بهینه است
عملیات سنتی پردازش داده در دیتاسنترها قسمت ویدئو و ایمیل و رسانه‌های اجتماعی را شامل می‌شود. هوش مصنوعی ازنظر محاسباتی متمرکز می باشد. بدلیل اینکه به خواندن مقادیر زیادی داده و یادگیری و درک آن‌ها نیاز دارد. این نوع فرایند آموزشی درمقایسهبا یادگیری انسانی غیربهینه می باشد. هوش مصنوعی مدرن از شبکه‌های عصبی استفاده می‌کند، که محاسبات ریاضی را به تقلید از مغز آدم انجام می‌دهند. اندازه قدرت اتصال هر نورون به همسایه‌ی آن یکی از پارامترهای شبکه به نام وزن است. شبکه برای یادگیری چگونگی درک زبان با وزن‌های تصادفی شروع می‌شود و این وزن‌ها را تا وقتی تطبیق می‌دهد که خروجی منطبق با پاسخی صحیح باشد.
یکی از روش‌های رایج آموزش شبکه‌ی زبانی، تغذیه‌ی شبکه با مقادیر زیادی متن از وب‌سایت‌هایی مانند ویکی‌پدیا و اخباری دارای کلمات نشانه‌گذاری شده می باشد. پس از آن شبکه کلمات جداشده را حدس می‌زند. به عنوان مثال، جمله‌ی «گربه من خوشگل است» را با کلمه‌ی «خوشگل» در نظر بگیرید. در ابتدا، مدل کلمات را به‌اشتباه تشخیص می‌دهد، ولی با تطبیق بیشتر، وزن‌های اتصالی تغییر کرده و الگوهای داده‌ای را کشف می‌کنند. سرانجام، شبکه به دقت چشمگیری می‌رسد.
یکی از مدل‌های تازه به نام BERT (نمایش رمزنگار دوطرفه از مبدل‌ها) از ۳/۳ میلیارد کلمه‌ی کتاب‌های انگلیسی و مقاله‌های ویکی‌پدیا استفاده می‌کند. افزون براین، BERT در طول آموزش مجموعه‌های داده‌ای را یک جا ۴۰ مرتبه می‌خواند. درمقابل، کودک به‌طور‌میانگین می‌تواند تا پنج‌سالگی ۴۵ میلیون کلمه را بشنود که ۳ هزار مرتبه کمتر از داده‌های BERT می باشد.
جستجوی ساختار مناسب
فرایند آموزش که همراره در طول توسعه چند بار تکرار می‌شد، مدل‌های زبانی را پرهزینه می‌سازد. علت این مسئله جستجوی بهترین ساختار برای شبکه ازجمله تعداد نورونها، تعداد اتصال بین نورونها، سرعت تغییر پارامترها در طول یادگیری و… می باشد. هرچقدر ترکیب‌های آزمایشی بیشتر باشند، بخت شبکه برای رسیدن به دقت زیاد افزایش پیدا می کند. درمقابل مغز آدم به یافتن ساختار بهینه نیازی ندارد و از ساختار پیش‌ساخته‌ای برخوردار می باشد که در فرایند تکامل شکل گرفته است.
با افزایش شرکت‌ها و مؤسسه‌های پژوهشی در حیطه هوش مصنوعی، فشار برای بهبود جدیدترین تکنولوژی افزایش یافت. حتی دستیابی به پیشرفت یک درصدی در دقت وظایف دشواری همانند ترجمه‌ی ماشینی هم معنادار می باشد و می‌تواند به‌معنی تولید محصولات بهتر باشد. باوجوداین برای رسیدن به این بهبود یک درصدی، باید مدل را هزاران مرتبه و هر بار با ساختار متفاوتی آموزش داد تا بهترین نتیجه انجام شود.
پژوهشگران دانشگاه آمهرست ماساچوست با سنجش مصرف برق سخت‌افزارهای متداول به‌کاررفته در فرایند آموزش، هزینه‌ی انرژی توسعه‌ی مدل‌های زبانی هوش مصنوعی را تخمین زدند. طبق نتایج، مصرف انرژی BERT معادل اثر کربنی حاصل از پرواز بین نیویورک و سان‌فرانسیسکو می باشد. با این وجود، جستجو در ساختارهای مختلف و آموزش چندباره‌ی الگوریتم براساس داده‌ها با مقدار متغیر نورونها و اتصال‌ها و پارامترهای دیگر، هزینه‌ی انرژی هم‌ارز با پرواز ۳۱۵ مسافر یا هواپیمای ۷۴۷ کامل است.
هوش مصنوعی تشنه انرژی است
عظیم تر و داغ تر
مدل‌های هوش مصنوعی هر سال عظیم می‌شوند. GPT-2، مدل زبانی جدید مشابه BERT، در شبکه‌ی خود حدودا ۱/۵ میلیارد و GPT-3 با دقتی بیشتر ۱۷۵ میلیارد وزن دارد. روی هم رفته، شبکه‌های بزرگ‌تر دقت بیشتر دارند؛ حتی اگر تنها قسمت کوچکی از شبکه‌ی مفید و کاربردی باشد. فرایند مشابهی در مغز کودکان رخ می‌دهد، در آغاز اتصال‌های عصبی اضافه می‌شوند و پس از آن کاهش می‌یابند. ولی به‌طور‌کلی مغز بیولوژیکی بهینه‌تر از مغزهای کامپیوتری می باشد.
مدل‌های هوش مصنوعی طبق سخت‌افزار ویژه‌ای مانند واحدهای پردازنده‌ی گرافیکی آموزش می‌بینند، که انرژی بیشتری درمقایسهبا CPUهای قدیمی مصرف می‌کند. همواره در لپتاپهای بازی از این واحدهای پردازنده برای تولید گرافیک پیشرفته برای بازی‌هایی همانند ماینکرفت RTX استفاده می‌شود. این لپ‌تاپها معمولا داغ‌تر از لپتاپهای معمولی می باشند.
بطور‌کلی، توسعه‌ی مدل‌های پیشرفته‌ی هوش مصنوعی نشر کربنی را افزایش خواهد داد. تا وقتی که از منابع ۱۰۰% تجدیدپذیر استفاده نکنیم، پیشرفت هوش مصنوعی در تضاد با کاهش گازهای گلخانه‌ای و کاهش سرعت تغییرات اقلیمی قرار خواهد گرفت. هزینه‌ی نهایی توسعه هم بسیار گران می باشد و فقط تعداد اندکی از آزمایشگاه‌ها از عهده‌ی آن برمی‌‌آیند.
کاربیشتر و انرژی کمتر
کار بیشتر و انرژی کمتر به درستی چه مفهومی برای پژوهش‌های هوش مصنوعی دارد؟ هزینه‌ی آموزش با ابداع روش‌های بهینه کاهش پیدا می کند. بطور‌مشابه طبق پیش‌‌بینی سال‌های پیش، قرار بود مصرف انرژی دیتاسنترها رو به انفجار باشد. ولی این اتفاق بدلیل پیشرفت در بازدهی دیتاسنترها و تکنولوژی های سرمایش و سخت‌افزاری بهینه رخ نداد.
علاوه براین، مبادله‌ای بین هزینه‌ی آموزش مدل‌ها و هزینه‌ی استفاده از آن‌ها وجود دارد. سرانجام مصرف بیشتر انرژی در زمان آموزش با تولید مدل کوچک‌تری همراه می باشد، که استفاده از آن می‌تواند ارزان‌تر تمام شود. از‌آنجا‌که از یک مدل چند بار استفاده می‌شود، انرژی بیشتری ذخیره خواهد شد.
منبع: zoomit