شبکه‌های عصبی مصنوعی برای یادگیری بهتر می‌خوابند

با توجه به سن، انسان در ۲۴ ساعت شبانه‌روز به ۷ الی ۱۳ ساعت خواب کامل نیاز دارد. در طول فرآیند خوابیدن، اتفاقات زیادی در بدن می‌افتد که شامل ضربان آرام قلب و تنفس، کند شدن متابولیسم بدن و تنظیم سطح هورمون‌ها می‌شود. در چنین حالتی بدن کاملا در آرامش به سر می‌برد، اما در این میان مغز رفتار دیگری را در پیش می‌گیرد.

مغز در هنگام خواب بسیار مشغول است، چراکه آنچه را که در طول روز آموخته‌ایم را به منظور یادگیری بهتر تکرار می‌کند. درواقع خواب به سازماندهی مجدد اطلاعات و خاطرات کمک می‌کند تا در زمان بیداری این موارد را به کارآمدترین شکل ممکن ارائه دهد. جالب است بدانید که همین رویه برای شبکه‌های عصبی مصنوعی، این مخلوقات عجیب انسان هم صادق است!

فراموشی فاجعه‌بار در شبکه‌های عصبی مصنوعی

شبکه‌های عصبی مصنوعی از معماری‌ای مشابه با مغز انسان برای بهبود فناوری‌ها و سیستم‌های متعدد، از علوم پایه و پزشکی گرفته تا امور مالی و شبکه‌های اجتماعی استفاده می‌کنند. در همین راستا جالب است بدانید که اگرچه از برخی جهات، این مخلوقات انسان به عملکردهای مافوق بشری، همچون سرعت محاسبات بسیار بالا دست یافته‌اند، اما در یک جنبه کلیدی شکست خورده‌اند. زمانی که شبکه‌های عصبی مصنوعی به‌طور متوالی مواردی را یاد می‌گیرند، اطلاعات جدید را بر روی اطلاعات قبلی بازنویسی می‌کنند، چنین اتفاقی پدیده‌ی فراموشی فاجعه‌بار «Catastrophic Forgetting» نامیده می‌شود.

هنگامی که شبکه‌های عصبی مصنوعی به‌طور متوالی چیزهایی را یاد می‌گیرند، اطلاعات جدید را بر روی اطلاعات قبلی بازنویسی می‌کنند، که به نوعی شکست در پیشرفت این سیستم‌ها منجر شده است.

در مقابل شبکه‌های عصبی مصنوعی، مغز انسان به طور مداوم در حال یادگیری است و داده‌های جدید را در کنار دانش موجود از قبل می‌گنجاند. در این سبک یادگیری معمولاً زمانی که آموزه‌های جدید با دوره‌های منظم خواب همراه می‌شود به تثبیت بهتر اطلاعات و یادگیری عمیق‌تر کمک می‌کند. بنابراین در ۱۸ نوامبر ۲۰۲۲ زیست‌شناسان محاسباتی به جست‌وجوی بیشتر در این زمینه پرداختند که چگونه مدل‌های بیولوژیکی می‌توانند به کاهش خطر فراموشی فاجعه‌بار در شبکه‌های عصبی مصنوعی کمک کنند و کاربرد آن‌ها را در طیف وسیعی از زمینه‌های تحقیقاتی افزایش دهند.

خوابیدن به یادگیری بهتر شبکه‌های عصبی مصنوعی کمک می‌کند

در همین راستا دانشمندان از شبکه‌های عصبی خاصی استفاده کردند که به‌طور مصنوعی رفتار سیستم‌های عصبی طبیعی را تقلید می‌کند. درواقع در این رویکرد جدید به‌جای اینکه اطلاعات دائما جابه‌جا شود و به طور مداوم کل سیستم با هم ارتباط داشته باشد، اطلاعات به‌صورت رویدادهای گسسته (به شکل خوشه‌ای) در مقاطع زمانی خاصی منتقل می‌شود.

طی همین رویه دانشمندان متوجه شدند که وقتی این شبکه‌های خوشه‌ای اطلاعات جدید را به شکل دوره‌های گاه به گاه و خارج از حالت پیوسته (که شبیه خواب است) یاد می‌گیرند، نرخ فراموشی فاجعه‌بار کاهش می‌یابد. به گفته نویسندگان این مطالعه، همچون مغز انسان، خواب به شبکه‌های عصبی اجازه می‌دهد تا خاطرات قدیمی را بدون استفاده صریح از داده‌های آموزشی قدیمی یادآور شود. در مغز انسان خاطرات با الگوهایی به نام وزن سیناپسی «synaptic weight» که به معنی قدرت یا دامنه‌ی ارتباط بین دو نورون است، نشان داده می‌شود.

زمانی که شبکه‌های خوشه‌ای اطلاعات جدید را به شکل دوره‌های گاه به گاه و خارج از حالت پیوسته (که شبیه خواب است.) یاد می‌گیرند، نرخ فراموشی فاجعه‌بار کاهش می‌یابد.

اصولا زمانی که در حال یادگیری اطلاعات جدیدی هستیم، نورون‌ها به ترتیب خاصی روشن می‌شوند و همین مساله هم عاملی برای افزایش سیناپس‌ها در بین نورون‌های مختلف است. در طول خواب، همین الگوهای سیناپسی (که در حالت بیداری انجام می‌شوند)، خود به خود تکرار می‌شوند که به آن فعال‌سازی مجدد یا پخش مجدد می‌گویند.

به فضای کوچک میان دو نورون، سیناپس می‌گویند که از طریق آن پالس عصبی توسط نوروترنزمیترها از فرستنده به گیرنده منتقل می‌شود.

انعطاف‌پذیری سیناپسی که شامل ظرفیت تغییر یا قالب‌گیری جدید اتصالات می‌شود، در طول خواب هم وجود دارد و می‌تواند الگوهای وزن سیناپسی که نماینده‌ی حافظه هستند را تقویت کند و به جلوگیری از فراموشی یا بازنویسی مجدد اطلاعات بر روی اطلاعات جدید کمک کند. محققانِ این مطالعه این رویکرد را برای شبکه‌های عصبی مصنوعی به کار بردند و دریافتند که چنین رویه‌ای به این شبکه‌ها کمک می‌کند از فراموشی فاجعه‌بار جلوگیری کنند. نتیجه‌ی این تحقیقات بدان معناست که این شبکه‌ها می‌توانند مانند انسان‌ها یا حیوانات به طور مداوم اطلاعات جدیدی را یاد بگیرند.

در پایان باید خاطر نشان کرد که درک اینکه مغز انسان چگونه اطلاعات را در طول خواب پردازش می‌کند که می‌تواند به تقویت حافظه کمک کند از جمله حوزه‌های مطالعاتی است که می‌تواند رقم زننده‌ی پیشرفت چشمگیر در بهبود شبکه‌های عصبی مصنوعی هم باشد.