به گزارش آماج، پژوهشگران در مطالعهای جدید نشان دادهاند که اعمال محدودیتهایی مشابه حافظه انسان بر مدلهای هوش مصنوعی میتواند توانایی آنها را در یادگیری زبان و درک ساختارهای گرامری به شکل قابلتوجهی افزایش دهد. این یافته میتواند مسیر تازهای را برای توسعه نسل آینده مدلهای زبانی و سیستمهای هوش مصنوعی باز کند.
در حالی که مدلهای زبانی امروزی از پنجرههای متنی بسیار بزرگ و حافظه تقریباً نامحدود برای پردازش اطلاعات استفاده میکنند، پژوهشگران دریافتهاند که فراموشی تدریجی اطلاعات، برخلاف تصور رایج، میتواند به یادگیری بهتر قواعد زبان کمک کند.
هوش مصنوعی با حافظه محدود چگونه بهتر یاد میگیرد؟
محققان دانشگاه آمستردام و مؤسسه ماکس پلانک با الهام از نحوه عملکرد حافظه در انسان، معماری جدیدی با عنوان «Fleeting Memory Transformer» یا «ترنسفورمر با حافظه گذرا» طراحی کردهاند. در این مدل، اطلاعات قدیمی بهتدریج از حافظه حذف میشوند و تنها بخشی از دادههای اخیر در دسترس باقی میمانند.
بر اساس نتایج این پژوهش، محدود کردن دسترسی مدل به اطلاعات گذشته باعث میشود سیستم به جای حفظ کردن واژهها و جملات، بر کشف الگوهای گرامری و ساختارهای انتزاعی زبان تمرکز کند.
نقش مهم حافظه کوتاهمدت ۳ تا ۷ کلمهای
یکی از مهمترین یافتههای این تحقیق، اهمیت وجود یک «بافر حافظه پژواکی» کوتاهمدت است. این بخش از حافظه تنها سه تا هفت کلمه آخر را بهصورت دقیق نگه میدارد و سپس فرآیند فراموشی آغاز میشود.
پژوهشگران دریافتند که مزایای یادگیری تنها زمانی ظاهر میشود که فراموشی تدریجی با این حافظه کوتاهمدت ترکیب شود. در غیر این صورت، مدل نمیتواند ارتباط میان واژهها و ساختارهای زبانی را بهدرستی تشخیص دهد.
آزمایش روی دادههایی در مقیاس یادگیری کودکان
برای ارزیابی عملکرد این مدل، محققان از مجموعه داده BabyLM استفاده کردند؛ مجموعهای که حجم آن تقریباً معادل میزان زبانی است که یک کودک در سالهای ابتدایی زندگی میشنود.
نتایج نشان داد مدلهای دارای حافظه گذرا در مقایسه با ترنسفورمرهای استاندارد، عملکرد بهتری در یادگیری زبان و تعمیم قواعد نحوی از خود نشان میدهند؛ آن هم در شرایطی که دادههای آموزشی محدود باشند.
پارادوکس عجیب در پیشبینی رفتار انسان
با وجود بهبود چشمگیر در یادگیری زبان، پژوهشگران با یک نتیجه غیرمنتظره روبهرو شدند. مدلهای دارای حافظه گذرا در پیشبینی زمان مطالعه و پردازش متن توسط انسان عملکرد ضعیفتری داشتند.
این یافته با یکی از فرضیات رایج در علوم شناختی در تضاد است؛ فرضیهای که میگوید هرچه یک مدل در پردازش زبان قویتر باشد، باید رفتار زبانی انسان را نیز بهتر پیشبینی کند.
به گفته محققان، این نتیجه نشان میدهد سازوکارهایی که به یادگیری مؤثر زبان کمک میکنند، الزاماً همان سازوکارهایی نیستند که مغز انسان هنگام پردازش لحظهای زبان از آنها استفاده میکند.
چرا این کشف اهمیت دارد؟
این پژوهش نشان میدهد که داشتن حافظه نامحدود لزوماً بهترین راه برای یادگیری زبان نیست. در برخی شرایط، محدودیتهای شناختی مشابه انسان میتوانند باعث شوند سیستمهای هوش مصنوعی کارآمدتر، کممصرفتر و توانمندتر در درک قواعد زبانی عمل کنند.
این یافته همچنین میتواند الهامبخش طراحی نسل جدید مدلهای زبانی باشد؛ مدلهایی که به جای اتکا به حجم عظیم داده و حافظه، از سازوکارهای نزدیکتر به مغز انسان برای یادگیری استفاده میکنند.
جمعبندی
نتایج این مطالعه نشان میدهد فراموشی کنترلشده و محدودیت حافظه میتواند به بهبود یادگیری زبان در شبکههای عصبی مدرن کمک کند. مدلهای «حافظه گذرا» با تمرکز بر ساختارهای گرامری به جای حفظ اطلاعات خام، عملکرد بهتری در یادگیری زبان از خود نشان دادهاند. این دستاورد میتواند در آینده مسیر توسعه هوش مصنوعی را به سمت مدلهایی کارآمدتر و نزدیکتر به شیوه یادگیری انسان هدایت کند.
به نظر شما آیا تقلید بیشتر از سازوکارهای مغز انسان میتواند نسل بعدی هوش مصنوعی را قدرتمندتر کند؟ دیدگاه خود را با مخاطبان آماج به اشتراک بگذارید.
“`
