توجه تمام آن چیزیست که نیاز داریم

تکمیل این اپیزود

اگر مهمان یا اسپانسری جا افتاده، از فهرست موجود انتخاب کن یا نام تازه‌ای پیشنهاد بده. پیشنهادها بعد از بررسی مدیر عمومی می‌شوند.

متن منتشرشده توسط پادکستر

توضیحات اپیزود

این پادکست معماری ترنسفورمر (Transformer) را توضیح می‌دهد که در مقاله تاریخی «Attention Is All You Need» معرفی شد. هدف اصلی این بود که مدل‌های توالی‌به‌توالی (Seq2seq) از وابستگی به شبکه‌های عصبی بازگشتی (RNNs) رهایی یابند. مدل ترنسفورمر صرفاً بر مکانیسم توجه (Attention) متکی است و شبکه‌های بازگشتی را به طور کامل حذف می‌کند تا امکان موازی‌سازی گسترده و آموزش سریع‌تر روی GPUها فراهم شود. این معماری از جاسازی موقعیتی (Positional Encoding) (با استفاده از توابع سینوسی) برای حفظ ترتیب کلمات استفاده می‌کند و هسته آن سلف-اتنشن چند-سر (Multi-Head Self-Attention) است که اطلاعات متنی را با استفاده از ماتریس‌های Query، Key و Value محاسبه می‌کند. ترنسفورمر با این نوآوری‌ها، عملکرد پیشرو (State-of-the-Art) را در وظایف ترجمه ماشینی با هزینه آموزشی بسیار پایین‌تر از مدل‌های قبلی به دست آورد.

نظرها