مدل زبان بزرگ: آینده هوش مصنوعی و یادگیری تقویتی

مدل زبان بزرگ به عنوان یکی از پیشرفته‌ترین دستاوردهای هوش مصنوعی، انقلابی در روش‌های پردازش و تحلیل زبان ایجاد کرده است. با استفاده از یادگیری تقویتی، این مدل‌ها قادر به بهبود خود هستند و این مطلب نشان دهنده اهمیت آن‌ها در تحولات آینده هوش مصنوعی است.

دو سال پیش، یک گروه از دو دوست 22 ساله که در دوران دبیرستان در میشیگان باهم آشنا شده بودند، در لابراتور مغز دانشگاه تسینگ‌هوا در پکن نشسته و به یک پیشنهاد چند میلیون دلاری از ایلان ماسک فکر می‌کردند. این دو نفر اقدامی غیرمعمول انجام داده بودند: آن‌ها یک مدل زبان بزرگ (LLM) ساخته بودند که نه روی داده‌های عظیم اینترنت، بلکه بر روی مجموعه‌ای کوچک و گزینش شده از گفتگوهای باکیفیت آموزش دیده بود. آن‌ها به این مدل آموخته بودند که با استفاده از یادگیری تقویتی (RL)، خود را بهبود بخشد؛ تکنیکی که مدل از طریق تصمیم‌گیری، دریافت بازخورد، و سپس تصحیح رفتار از طریق پاداش و تنبیه یاد می‌گیرد. در آن زمان، تقریباً هیچ‌کس از این رویکرد با مدل‌های زبانی استفاده نمی‌کرد.

تنها گروه دیگری که در این زمینه فعالیت می‌کرد، DeepSeek، رقیب چینی OpenAI بود که بعداً سیلیکون ولی را ترساند. این دو دانشجو، ویلیام چن و گوان وانگ، مدل خود را OpenChat نامیدند و به طور اتفاقی آن را به‌صورت متن‌باز منتشر کردند. به طرز شگفت‌انگیزی، OpenChat به شهرت رسید. محققان در دانشگاه‌های برکلی و استنفورد، کد آن را برداشته و موفقیت آن را مستند کردند. در محافل علمی، OpenChat به یکی از اولین نمونه‌های نشان‌دهنده این تبدیل شد که چگونه یک مدل کوچک آموز نشده بر اساس داده‌های مناسب، می‌تواند به نتایجی فراتر از انتظارات دست یابد.

در نهایت، OpenChat به صندوق ورودی ایلان ماسک رسید. ماسک از طریق شرکتی که در آن زمان جدید بود، یعنی xAI، ایمیلی ارسال کرد که می‌خواست این دانشجویان را به یک بسته پرداخت چند میلیون دلاری استخدام کند. این پیشنهادی بود که هر بنیان‌گذاری رویای آن را در سر داشت. اما آن‌ها تردید کرده و در نهایت آن را رد کردند. چن اظهار داشت: «ما تصمیم گرفتیم که مدل‌های زبان بزرگ محدودیت‌هایی دارند. ما به یک معماری جدید نیاز داریم که بر محدودیت‌های ساختاری یادگیری ماشین مقیاس بزرگ غلبه کند.»

به‌جای پذیرش این پیشنهاد، آن‌ها از زنجیره راحت OpenChat جدا شده و به دنبال چیزی بسیار فراتر از آن رفتند: یک سیستم استدلالی “الهام گرفته از مغز” که به باور آن‌ها می‌تواند از مدل‌های فعلی هوش مصنوعی بهتر عمل کند. این تصمیم پس از دو سال به “هوشمندی آگاه” رسیده است؛ مدلی که در آزمون‌های استدلال انتزاعی از برخی از بزرگترین سیستم‌های هوش مصنوعی جهان بهتر عمل می‌کند. آن‌ها باور دارند که مدل آن‌ها اولین مدلی خواهد بود که به “هوش عمومی مصنوعی” (AGI) دست می‌یابد؛ به نظریه‌ای که در آن هوش یک ماشین می‌تواند با یا فراتر از آنچه انسان‌ها در هر وظیفه شناختی انجام می‌دهند، رقابت کند.

چن می‌گوید که مدل‌های آن‌ها نسبت به LLM‌های سنتی کمتر دچار هذیان می‌شوند و هم‌اکنون در کارهای پیش‌بینی سری‌های زمانی، مانند پیش‌بینی آب و هوا، معامله‌گری کمی، و پایش پزشکی، عملکرد مشابه و برتری دارند. آن‌ها در حال کار بر روی مقیاس‌دهی HRM به یک موتور استدلال عمومی هستند، با نظریه‌ای ساده اما انقلابی: که AGI از مدل‌های بزرگ‌تر نمی‌آید، بلکه از معماری‌های کوچک‌تر و کارآمدتر حاصل می‌شود.

مدل‌های مرزی کنونی بسیار بزرگ هستند – در برخی موارد، صدها میلیارد پارامتر – ولی حتی سازندگان آن‌ها هم اذعان می‌کنند که در زمینه استدلال، برنامه‌ریزی، و تجزیه مسئله‌های چند مرحله‌ای مشکل دارند. چن باور دارد که این محدودیت ساختاری است و نه موقتی. “شما می‌توانید لایه‌های بیشتری اضافه کنید،” او می‌گوید. “اما هنوز هم با محدودیت‌های یک مدل احتمالی مواجه هستید.” در نهایت، هوشمندی آگاه منتظر است تا دفتری در ایالات متحده راه‌اندازی کند و روی نسخه دوم مدل خود کار کند. چن می‌گوید: “AGI گویای مقدس هوش مصنوعی است” و او انتظار دارد که این دستاورد در دهه آینده نمایان شود.

چن و وانگ دائما می‌گویند: “روزی ما AI خواهیم داشت که از انسان‌ها باهوش‌تر است.” آنها معتقدند که اگر ما نتوانیم این کار را انجام دهیم، شخص دیگری خواهد کرد. بنابراین امیدوارند که آن‌ها نخستین افرادی باشند که این دستاورد را تحقق می‌بخشند.

مدل زبان بزرگ به‌عنوان یکی از پیشرفت‌های کلیدی در زمینه هوش مصنوعی به شمار می‌آید. با به کارگیری روش‌های نوین مانند یادگیری تقویتی، این مدل‌ها قادر به بهبود خود هستند و ظرفیت‌های جدیدی را در زمینه‌های مختلف از جمله استدلال منطقی و تحلیل داده‌ها ایجاد می‌کنند. آینده هوش مصنوعی با مدل‌های زبان بزرگ، نویدبخش تحولاتی شگرف خواهد بود.