توکنسازی قلب تپنده مدلهای هوشمند تحلیل سریهای زمانی
تیم پژوهشی دانشکدگان علوم دانشگاه تهران، به نتایج پیشرو در طبقهبندی سریهای زمانی با تمرکز بر معماری «میکسر ماتریسی» و روش «توکنسازی» دست یافت.
به گزارش روابطعمومی دانشگاه تهران، در پی دستیابی تیم پژوهشی دانشکدگان علوم، متشکل از دکتر باقر باباعلی، دانشیار دانشکده ریاضی، آمار و علوم کامپیوتر و محمدمهدی عزیزی، دانشجوی دکترای علوم کامپیوتر دانشکدگان علوم، به نتایج پیشرو در طبقهبندی سریهای زمانی با تمرکز بر معماری «میکسر ماتریسی» و روش «توکنسازی» دکتر باباعلی، سرپرست تیم، ابعاد نظری و عملی این دستاورد را تشریح کرد.
وی در تحلیل یافتههای پژوهشی جدید با عنوان «توجه به توکنسازی» گفت: «موفقیت مدلهای مبتنی بر توجه در حوزههای پیچیدهای مانند تشخیص پزشکی و پیشبینی مالی، بیش از هر چیز وابسته به شیوه هوشمندانه قطعهبندی و درک معنای دادههای زمانی است. وی این فرآیند را کلید غلبه بر چالش تنوع گسترده در دنیای سریهای زمانی دانست».
دکتر باباعلی با اشاره به چالش اصلی این حوزه گفت: «تنوع بینظیر در ماهیت، نویز، مقیاس و فرکانس دادههای سری زمانی، رؤیای ساخت یک مدل پایه جهانی را به یکی از مسائل دشوار هوش مصنوعی تبدیل کرده بود. پژوهش حاضر با بازتعریف چارچوب میکسر ماتریسی به عنوان یک جعبه ابزار، گامی ساختاریافته به سوی این هدف برداشته است».
وی در توضیح اهمیت یافته «توجه به توکنسازی» افزود: «نتایج به وضوح نشان میدهد که صرف استفاده از یک معماری قدرتمند مانند ترنسفورمر کافی نیست. «توکنسازی» مرحله تبدیل داده خام به زبانی است که مدل میفهمد. اگر این ترجمه ناقص یا نادرست انجام شود، مدل هرچقدر هم قوی باشد، بر روی دادههای اشتباه آموزش دیده است. تمرکز این تحقیق بر بهینهسازی دقیق این مرحله، یعنی «تعبیه قطعات» یا Patch Embedding، دلیل اصلی ارتقای چشمگیر دقت مدلهاست».
این استاد دانشگاه در مقایسه روشهای ادغام اطلاعات زمانی اظهار داشت: «مکانیزم توجه (Attention) به مدل این توانایی را میدهد که به صورت پویا، روابط بلندمدت و کوتاهمدت بین همه قطعات داده را کشف و وزن دهد. این برتری کیفی نسبت به روشهایی مانند MLP-Mixer که صرفاً ترکیبی خطی انجام میدهند، به خصوص در دادههای پیچیدهای مانند سیگنالهای مغزی که وابستگیهای زمانی ظریفی دارند، کاملاً حیاتی و تعیینکننده است».
دکتر باباعلی در پاسخ به سؤالی درباره آینده این پژوهشها گفت: «مسیر پیشرو، حرکت به سمت «توکنسازی تطبیقی» و «هوشمند» است. آیا میتوانیم به مدل بیاموزیم که خودش بهترین روش برای قطعهبندی داده را بیابد؟ این یک سوال پژوهشی عمیق در تقاطع یادگیری ماشین و پردازش سیگنال است. دستیابی به آن، انقلابی در تحلیل دادههای زیستی و صنعتی ایجاد خواهد کرد».
وی در پایان با اشاره به نتایج عددی تحقیق خاطرنشان کرد: «دستیابی به دقت متوسط ۸۶ درصد در حالت خودنظارتی روی بنچمارکهای معتبر، تنها یک عدد نیست. این رقم نشان میدهد که مدل توانسته است بدون نیاز به برچسبهای پرهزینه، مفاهیم نهفته در دادههای زمانی را به خوبی بیاموزد. این ویژگی، گنجینهای برای کاربردهای واقعی در شرایطی است که دادههای برچسبدار محدود هستند».
به نظر میرسد با تلفیق بینشهای عمیق آماری و علوم داده با معماریهای نوین یادگیری عمیق، افقهای تازهای برای هوشمندسازی تحلیل دادههای پیوسته در حال گشوده شدن است.
https://www.sciencedirect.com/science/article/pii/S1566253525010711
