هی بهتون میگم برنامه نویسی نون و آب نداره😂
برید سمت طراحی
گوش نمیدین😁

یک نگاه به تعرفه هاشون بندازید، وسوسه انگیزه
تازه تعرفه هاشون واسه نیمه اول امسال بوده

این پست جدیدم توی لینکدین خیلی دوست دارم
سعی کردم یک سوالی که خیلی پرسیده میشد و دغدغه خیلی ها بود را با مثال واقعی بررسی کنم

لینک پست

یکی از بچه ها می پرسید: "چرا مدلم overfitting میشه؟"

نگاه کردم به کدش، ۵۰۰ تا سمپل داشت
۱۵ تا فیچر ساخته بود

مدلش ۱۰ لایه داشت
بهش گفتم مشتی، تو داری با تفنگ ژ3 به گنجشک شلیک می‌کنی!

قاعده کوچولوی امروزمون:
اگر دیتاست کوچیک داری، مدل ساده بساز
اگر دیتاست بزرگ داری، مدل پیچیده

ترین مدل سنگین و مصرف کلی GPU هنر نیست و جایزه نمیدن بابتش
توی محیط صنعت اتفاقا گاهی با روش های ساده تر حل کردن، ترندتره

اگه بخام نکته کنکوریش بگم: (علمی و وحی منزل نیست)

کمتر از ۱۰۰۰ سمپل → Logistic Regression یا Decision Tree
۱۰۰۰ تا ۱۰۰۰۰ → Random Forest یا XGBoost
بیشتر از ۱۰۰۰۰ → حالا می‌تونی سراغ Deep Learning بری

پند نهایی☺️
همیشه از ساده شروع کنید
بعد پیچیده‌ترش کنید، نه برعکس

پ.ن: گاهی مشکلاتمون با یک مدل ساده حل میشه، نه GPT-5 😅

یک چیز جالب امروز فهمیدم:
مدل Claude یک ویژگی داره به اسم "Extended Thinking"

یعنی چی؟
یعنی مدل قبل از جواب دادن، چند ثانیه فکر می‌کنه
مثل وقتی که شما یک مسئله ریاضی دارید و قبل جواب دادن، روی کاغذ محاسبه می‌کنین

و اینش برام جالبه که این مدل ها تا می تونن از هوش انسانی تقلید می کنن
یعنی هر ویژگی مغزمون داره را دارن به هوش مصنوعی اضافه میکنن و شده منبع الهامشون (صحبتم شبیه کلاس دینی راهنمایی شد😂)

در سال ۲۰۲۴، سازمان غذا و دارو آمریکا ۲۲۳ دستگاه پزشکی مبتنی بر AI رو تایید کرد، در حالی که ۲۰۱۵ فقط ۶ تا بودش
و این یعنی AI واقعا داره وارد زندگی روزمره میشه

آمارش خیلی عجیب بود و آدم حسابی به فکر فرو میبره که چقدر فرصت و ظرفیت پول در آوردن هست

این سوال توی یک گروه تلگرامی دیدم:

"ما می‌خوایم یک مدل custom بسازیم، چقدر هزینه داره؟"
برام سوال شد: "چرا custom؟ مدل‌های آماده رو امتحان کردن؟"


چی میخام بگم؟ حرف اینه که توی کشوری که قیمت جی پی یو سر به فلک کشیده و از هر نوع خدمت و سرویس خارجی به واسطه کاغذ پاره های تحریم، محروم هستیم
چه اصراریه به تیون کردن مدل های سنگین
قشنگ شبیه مسابقه شده، مدل من بزرگتره...
یا من پول بیشتری خرج کردم...

خب اخر سال میلادی هستش و داشتم به ترندهای ۲۰۲۵ نگاه می‌کردم یک چیز خیلی جالب به چشمم خورد:

در کمتر از ۲ سال، هزینه انجام یک تسک مشابه با MMLU چندین برابر برابر کاهش پیدا کرده

یعنی الان کارایی که سال پیش هزار دلار هزینه داشت، حالا با چند دلار انجام میشه
یک مثال ملموس و بغل گوشمون:

دو سال پیش میشد این حرف زد
"نمی‌تونیم از GPT-4 استفاده کنیم، خیلی گرونه"

الان ولی خیلی هزینه ها کمتر شده
تحقیقات اخیر میگفتن که بهبود الگوریتمی سالانه حدود ۴۰۰٪ هست (به نظرم در این حد هم نیست البته)
یعنی نتایج امروز رو می‌شه یک سال بعد با ربع compute بدست آورد (طبق همون تحقیقاتی که دیدم)
خلاصه دیگه بهونه نداریم که AI گرونه

راستی
اگه قبلا پروژه‌ای داشتید که به دلیل گرون بودن API کنسلش کردین، دوباره امتحان کنید احتمالا الان ارزون‌تر شده😂😂😂

ترند این روزها که همه دارن در موردش حرف میزنن: Agentic AI

یه بنده خدایی میگفت
ما دنبال کسی هستیم که بتونه AI Agent بسازه
پرسیدم: "می‌دونید چیه؟"
گفتن: "خب چیزیه که خودش کار می‌کنه دیگه!"

ولی خب Agentic AI یعنی سیستمی که خودش تصمیم می‌گیره و چند مرحله‌ای کار رو انجام میده

یک مثال ساده:
شما می‌گید "یک گزارش از فروش سه ماهه بساز"
حالا Agent خودش داده رو جمع می‌کنه، تحلیل می‌کنه، نمودار می‌سازه، گزارش می‌نویسه

البته اگه می‌خواید وارد این حوزه بشید، اول workflow رو بفهمید
بعد Agent رو بسازید چون
تحقیقات Gartner نشون میده که بیش از ۴۰٪ از پروژه‌های Agentic AI تا پایان ۲۰۲۷ کنسل میشن😂😂😂

چرا؟ چون همه دنبال هایپ رفتن، نه حل مشکل واقعی

سلام به همگی.
به نوبه خودم بابت این عزای شوکه کننده تسلیت می گم

این اولین پست من توی این کاناله.
هدفم اینه که بیام و مباحث اقتصادی‌ای که این مدت یاد گرفتم رو به زبان خیلی ساده بیان کنم.
شاید یه مقدار تمرکزم از بحث‌های هوش مصنوعی کمتر بشه و خب این بی‌دلیل نیست.

حسی که من دارم اینه که هوش مصنوعی فعلاً توی کشور ما اون‌قدری که باید، ظرفیت و جای رشد نداره؛ مخصوصاً از نظر کاری و درآمدی. یعنی سقف رشدش محدوده. ساده شدش، خیلی نمیشه ازش پول درآورد.
این میشه دلیل اول.

دلیل دوم اینه که ما توی کشوری زندگی می‌کنیم که تورم مزمن داره. وقتی تورم مزمن وجود داره، اتفاقی که می‌افته اینه که ما مجبور می‌شیم اول به این فکر کنیم که ارزش دارایی‌هامون رو حفظ کنیم.
در واقع توی حالت بقا هستیم و بعد، اگر شد، توی گام دوم به فکر رشد باشیم؛ رشد اقتصادی فردی، نه ملی. چون رشد اقتصادی فردی باعث رفاه میشه. باز ساده شدش یعنی این که من خاورمیانه ای همین که دخل و خرجم متوازن باشه و بقام به خطر نیفتاده، برد کردم.

این دغدغه‌ها باعث شده که من گاهی حتی تا دوازده ساعت در روز مطالعه داشته باشم. به عنوان یه دانشجویی که خودخوان شروع کرده مباحث اقتصادی رو یاد بگیره، همیشه دیدم که اقتصاد رو با زبان پیچیده توضیح میدن.

ولی من سعی می‌کنم هرجوری شده این مفاهیم رو بفهمم و بعد به دوستان و نزدیکانم، خیلی ساده و خودمونی منتقلشون کنم.

احساس می‌کنم از این مسیر می‌تونم کمک بیشتری به جامعه بکنم تا صرفاً توی حوزه هوش مصنوعی.
البته کانال هوش مصنوعی سر جاش هست، کانال دیتاهاب فعاله و بچه‌هایی از تیممون اونجا محتوا تولید می‌کنن.

اما واقعیت اینه که مردم توی کشور ما، به خاطر مشکلات اقتصادی، بیشتر نیاز دارن بدونن چطوری پول دربیارن و چطوری ارزش پولشون رو حفظ کنن.
این آموزش‌ها رو معمولاً نه توی مدرسه می‌بینیم، نه توی صدا و سیما. استادهای دانشگاه هم اغلب خیلی پیچیده، خیلی تئوریک و دور از زندگی واقعی توضیح میدن.

ما نیاز داریم اطلاعاتی رو یاد بگیریم که همون موقع بفهمیم، ساده باشه، همون موقع اجراش کنیم و نتیجه‌ش رو ببینیم.
یکی از تفاوت‌های اصلی اقتصاد و بازار با هوش مصنوعی برای من دقیقاً همین بوده. چیزهایی که یاد می‌گیرم رو همون امروز اجرا می‌کنم و می‌تونم ازش درآمد داشته باشم و نتیجش ببینم.

ولی توی هوش مصنوعی، از فهمیدن یه موضوع تا اجراش، تا تبدیلش به محصول و بعد درآمدزایی، خیلی زمان می‌بره.

رفقا ته حرفم اینه
در حالی که ما الان درگیر خورد و خوراک، برنج و روغنیم. من از طریق این مباحث کمک بیشتری به عزیزان و هم وطن هام میکنم، و توی این شرایط انگار آدم مجبور میشه موقتاً استراتژیش رو عوض کنه
امیدوارم بتونم توی این مسیر، موثر واقع بشم.

سوال اصلی این روزها، بخرم یا بفروشم؟ اصلا چی بخرم؟ طلا بهتره یا دلار؟
چیکار کنم که زیر بار تورم له نشم

طبیعتا باید قبلش به یک سوال دیگه جواب داد، اونم این که جنگ میشه یا نه؟ این خیلی مهم تره

حالا واسه پاسخ به این سوال که جنگ میشه یا نه باید یکم روضه گوش بدین

ما توی بحث اقتصادی سعی می‌کنیم سناریومحور فکر کنیم.
یعنی چی؟ یعنی قبل از هر تصمیم اقتصادی (مثل خرید یا فروش، یا اصلا اینکه چی بخرم طلا یا دلار یا ...)، اول سناریوها رو بچینیم.

من راستش علاقه شخصی زیادی به تحلیل بنیادی کلاسیک ندارم، چون بیشتر ذهنم درگیر مباحث تحلیلی و مهندسی هوش مصنوعیه.
ولی نکته جالب اینه که کاری که ما توی هوش مصنوعی انجام می‌دیم، یعنی تحلیل داده‌ها، بررسی سناریوها و تصمیم‌گیری بر اساس احتمالات، توی تحلیل بنیادی هم دقیقاً همینه، فقط عمیق‌تر.

ما مهندسا توی تحلیل قوی هستیم و این نگاه تحلیلی اینجا خیلی به کار میاد.
نگاهی که من توی اقتصاد دارم، کاملاً سناریومحوره.

یعنی قبل از اینکه بپرسم:

الان طلا بخرم یا بفروشم؟

دلار بخرم یا نفروشم؟

یا هر اقدام اقتصادی دیگه‌ای


اول باید بپرسم: سناریوهای ممکن چیه؟
چون از دل سناریوهاست که می‌فهمیم خریدن به‌صرفه‌تره یا فروختن، و اصلاً باید سراغ کدوم بازار رفت.

معمولاً توی تحلیل بنیادی میگن حداقل سه سناریو داریم:

سناریوی خوش‌بینانه
سناریوی بدبینانه
سناریوی واقع‌بینانه


حالا سؤال اصلی امروز من و شما اینه:
ما توی کشوری زندگی می‌کنیم که تورم داریم. تورم اسمی‌ای که مثلاً بانک مرکزی میگه 50 یا 60 درصده، ولی تورم واقعی خیلی بیشتر از این حرفاست.

شما خودتون نگاه کنید:
برنج، شیر و خیلی از اقلام مصرفی توی یک سال گذشته بعضاً بین ۲ تا ۵ برابر گرون شدن.
این یعنی دیگه با تورم سبک طرف نیستیم. داریم کم‌کم به سمت تورم‌های خیلی شدید می‌ریم یا همون ابرتورم.

کاری ندارم بانک مرکزی میگه تورم نقطه‌به‌نقطه خوراکی‌ها مثلاً ۷۰ یا ۸۰ درصده.
مهم اینه که من و شما وقتی می‌ریم کف بازار، یا قیمت‌ها دو برابر شده یا پنج برابر.
این با اون میانگین‌های ۵۰-۶۰ درصدی که اعلام میشه، اصلاً هم‌خوانی نداره و نشون میده شاخص‌هایی که باهاش تورم رو حساب می‌کنن، مثل CPI، ضعف‌های جدی دارن. وارد بحث تخصصیش نمی‌خوام بشم.

پس پیش‌فرض اول ما اینه که باید سناریومحور باشیم.
هر اقدام اقتصادی‌ای که می‌خوایم انجام بدیم، اول میایم سناریوها رو می‌چینیم و می‌بینیم توی هر سناریو چه کاری درسته.

بعدش ریسک‌پذیری خودمون رو در نظر می‌گیریم و تصمیم می‌گیریم.
نه یه‌دفعه‌ای، بلکه پله‌کانی.

پله‌کانی می‌خریم، پله‌کانی می‌فروشیم.

مثلاً به این نتیجه می‌رسید که توی سناریوی بدبینانه‌ای که احتمال وقوعش بالاتره، طلا قراره گرون‌تر بشه.
به جای اینکه کل پولتون رو یک‌جا طلا بخرید، پول رو تقسیم می‌کنید.
یه بخشش رو امروز می‌خرید، صبر می‌کنید، می‌بینید واقعاً طلا گرون شد یا نه.

اگر دیدید گرون شد، این یه سیگناله که حدستون درست بوده.
یه پله دیگه می‌خرید.
به این میگن میانگین‌گیری.

ولی اگه دیدید فردا یا پس‌فردا اوضاع برعکس شد و طلا ارزون‌تر شد، این داره بهتون هشدار میده که صبر کن.
بی‌گدار به آب نزن.

چرا؟
چون ما توی کشوری زندگی می‌کنیم که:

تورم مزمن داره
رکود تورمی داره (هم رکوده، هم تورم)
و تازه داریم به سمت تورم‌های خیلی شدید هم حرکت می‌کنیم


ابرتورم یعنی چی؟
یعنی خریدی که امروز انجام دادی، دفعه بعد که میری همون خرید رو بکنی، ممکنه ۳۰ یا ۵۰ درصد گرون‌تر شده باشه.
این ساده‌ترین تعریف ابر تورمه.

خود تورم ذاتاً چیز بدی نیست. خیلی از کشورها تورم ۲ تا ۵ درصدی دارن و حتی نمی‌ذارن کمتر از این بشه، چون اگه خیلی پایین بیاد، رکود ایجاد میشه.

جمع‌بندی:
ما باید نگاه سناریومحور داشته باشیم؛
سناریوی خوش‌بینانه، بدبینانه و واقع‌بینانه رو بچینیم
و بعد بر اساس این سناریوها تصمیم بگیریم که بخریم، نفروشیم، یا صبر کنیم.

توی پست قبلی چند تا پیش‌فرض رو گفتم. به نظرم بد نیست چند تا پیش‌فرض مهم دیگه هم در نظر بگیریم.

یکی از پیش‌فرض‌ها اینه که اگر به شرایط فعلی نگاه کنیم، به قول یکی از دوستان توی توییتر، آمریکا این‌همه خرجِ ناو و تجهیزات نظامی و این چیزها رو بی‌دلیل نمی‌کنه واسه عروسی بابای ترامپ نیاوردن.
یعنی قطعاً پشتش هدف وجود داره. هیچ کاری بی‌هدف انجام نمی‌شه.

مخصوصاً کشوری مثل ایالات متحده آمریکا که الان با بدهی بسیار سنگینی روبه‌روئه، کسری بودجه داره، بین دموکرات‌ها و جمهوری‌خواه‌ها سر بودجه دعواست و حتی چند وقت دولتش تعطیل شده.
یعنی به لحاظ مالی اصلاً در شرایط فوق‌العاده‌ای نیست.
پس وقتی توی چنین وضعیتی می‌بینید هزینه‌های نظامی بالا می‌ره و تجهیزات جابه‌جا می‌شن، این خودش یه پیش‌فرض مهمه که این کارها هدفمنده.

یه پیش‌فرض خیلی مهم دیگه اینه که ما الان وسط یک جنگ بین آمریکا و چین هستیم.
جنگی که بخش اصلیش، جنگ تجاری و اقتصادیه.

این شاید مهم‌ترین پیش‌فرض برای اینه که چرا من می‌گم جنگ قطعیه.

بذارید ساده بگم.
الان واحد پول غالب دنیا دلاره.
ولی این دلار دیگه پشتوانه طلا نداره. سال‌هاست که از سیستم پشتوانه طلا خارج شده.
به این می‌گن پول فیات، یعنی پول بدون پشتوانه.

اقتصاد آمریکا سه تا ویژگی مهم داره:

مصرف‌محوره
بدهی‌محوره
وام‌محوره

آمریکا مصرف می‌کنه، بدهی ایجاد می‌کنه و با وام جلو می‌ره.
این بدهی‌ها هم باید یه‌جوری تسویه بشه. راهش چیه؟ چاپ دلار.

این دلارهای چاپ‌شده می‌ره دست کشورهای دیگه.
کشورهایی مثل چین و اروپا در ازاش کالا می‌دن و دلار می‌گیرن.
یعنی آمریکا مصرف می‌کنه و دلار می‌ده.

حالا تصور کنید چین بگه من دیگه دلار از تو قبول نمی‌کنم.
اون‌وقت چی می‌شه؟
ارزش دلار فرو می‌ریزه و هژمونی اقتصادی آمریکا از بین می‌ره.

پس پشتوانه دلار چیه؟
طلا نیست؛ اعتبار آمریکاست.
اعتبار نظامی، سیاسی و قدرتش.

ولی این اعتبار داره کم‌کم تضعیف می‌شه.
الان می‌بینید کشورهایی مثل چین دارن اوراق دلاری آمریکا رو نقد می‌کنن و به‌جاش طلا می‌خرن.
این یعنی اعتماد به دلار داره کم می‌شه.

این یکی از مهم‌ترین پیش‌فرض‌هاست.
هر کسی بخواد درباره جنگ تحلیل کنه، حتماً باید این فاکتورها رو ببینه.

حتی اگر دلار رو نسبت به ارزهایی مثل یورو نگاه کنید، می‌بینید وضعیتش اون‌قدرها هم خوب نیست.
از اون طرف آمارها می‌گن ممکنه در ده یا پانزده سال آینده، GDP چین برای اولین بار از آمریکا جلو بزنه.

آمریکا این‌ها رو می‌بینه.
کور نیست.
می‌بینه ارزش پولش داره پایین میاد و دست روی دست نمی‌ذاره.

چون اگر یه روزی بخش بزرگی از جهان تصمیم بگیره با دلار تبادل نکنه،
هم اقتصاد آمریکا به هم می‌ریزه، هم کل نظم اقتصادی جهان.

الان یه نظم اقتصادی جهانی وجود داره که آمریکا می‌گه امنیتش با منه، مدیریتش با منه،
ولی در کنارش بخشی از سودش هم با منه؛
من دلار چاپ می‌کنم و تورمش رو بین بقیه پخش می‌کنم.

برای همینه که می‌بینید بحث‌هایی مثل بریکس مطرح می‌شه؛
ایده‌هایی که قراره وابستگی به دلار رو کمتر کنن.

پس بقیه کشورها هم بیکار ننشستن.

جمع‌بندی این بخش اینه:
ما عملاً وسط یک جنگ اقتصادی بزرگ بین چین و آمریکا هستیم؛
و این جنگ، یکی از پایه‌ای‌ترین پیش‌فرض‌ها برای درک اتفاقات پیشِ روئه.

واسه درک و فهم ساز کار دلار و اینکه دعوای چین و امریکا سر چیه گزاف نیست بگم یک ماه مطالعه کردم تا یک درک کلی پیدا کنم...

یک سوال مهم، چرا برنامه‌نویسی توی ایران ارزونه؟

خیلی از بچه‌هایی که تازه می‌خوان برنامه‌نویسی رو شروع کنن، مخصوصاً تو حوزه‌ی علم داده و هوش مصنوعی، ازم می‌پرسن چرا محدوده حقوق‌ها اینقدر پایینه؟

حتی بعضیا مقایسه می‌کنن میگن چرا یه نفر تو وب کار می‌کنه بعضی وقتا از یه نفر تو دیتا یا AI بیشتر می‌گیره؟
(کاری به استثناها ندارم، طبیعتاً همه جا استثنا هست. دارم کلی حرف می‌زنم)

جوابش خیلی ساده‌ست.
ما تو اقتصاد یه اصل چندصد ساله داریم به اسم

عرضه و تقاضا

.
حالا ربطش چیه؟
وقتی می‌خوایم بریم سر کار، یعنی یه شرکتی باید باشه که فرصت شغلی ایجاد کنه. چه دولتی، چه خصوصی.
آره، یه عده هم فریلنسی یا ریموت کار می‌کنن، ولی نسبتشون خیلی کمه.
پس سمت «عرضه‌ی شغل» دست شرکت‌هاست.

حالا وضعیت هوش مصنوعی تو ایران چطوره؟
+ داده‌ی زیاد و تمیز نداریم.
+ سخت‌افزار مناسب نداریم. (کافیه قیمت GPU ببینیم...)
+ اینترنت و دسترسی آزاد به ابزارها نداریم.
+ تحریم و فیلترینگ داریم.

در ایران:
- بسیاری از صنایع هنوز دیجیتال‌محور نیستند. (شرکت های دولتی اصلا چنین دغدغه هایی ندارن)
- مدل‌های درآمدی سنتی‌اند و الزام رقابتی برای هوشمندسازی ندارند. (صنعت ما واسه 50 سال پیشه)
- هزینه سرمایه‌گذاری در AI بالاست و بازگشت سرمایه نامطمئن است.
- تحریم‌ها و محدودیت زیرساختی هزینه را افزایش می‌دهد. (تقریبا به اکثر ابزارهای جهانی دسترسی نداریم)

پس چی شد؟
تقاضای واقعی برای نیروی AI کمه.

حالا بیایم سمت تقاضای نیروی کار.
یه نگاه بندازین ببینین چقدر دوره‌ی هوش مصنوعی برگزار میشه.
چقدر آدم از رشته‌های مختلف میان میگن: "بریم AI یاد بگیریم شاید یه فرجی بشه."

یه موج بزرگ راه افتاده.
یعنی عرضه‌ی نیروی کار تو این حوزه خیلی زیاده.

پس یه طرف قضیه: کشوری که صنعتش هنوز سنتیه و داده‌محور نیست ← تقاضا برای AI کمه.
طرف دیگه: آدم‌هایی که AI یاد گرفتن زیادن ← عرضه زیاده.

خب الان قدرت چانه‌زنی دست کیه؟
دست شرکته.

بهت میگه با چه حقوقی میای؟
میگی مثلاً ۳۰ تومن.
میگه نه، نمی‌خوام.
چون می‌دونه یکی دیگه هست با ۲۰ هم میاد.

همین جمله‌ی معروف که زیاد میشنویم: "نمی‌خوای، ده تا دیگه هستن."

این یعنی چی؟
یعنی عرضه از تقاضا بیشتره.
وقتی عرضه زیاد باشه و تقاضا کم، قدرت چانه‌زنی میره سمت کارفرما.
طرف دنبال کاره، میگه: هر شرایطی باشه، هر حقوقی باشه، فقط استخدامم کن.
اونجا دیگه قدرت چانه‌زنی پایینه.

🖤🖤🖤
وطن عزیزم
قربون اون زخم‌های جدیدی که داره به پیکره نحیفت‌ وارد میشه

سال نوی همگی مبارک❤️🤍💚

امیدوارم امسال دیگه سال ما باشه!
با آرزوی سربلندی ایران و ایرانی...

من طبیعتا پیشگو نیستم، و اقتصاد هم محل پیشگویی نیست ولی میشه پیش بینی کرد
اگر با همین دست و فرمون جلو رفته بشه (خصوصا محاصره دریایی ادامه داشته باشه)

مشکل شدید در پخش و توزیع بنزین - احتمالا در خرداد (بخشی از بنزین مصرفی، وارداتی هست)
ابرتورم در تابستان (احتمالا مرداد) - میشه گفت تابستان بسیار گرمی در پیش خواهیم داشت

پ.ن: الان هم ابرتورم هستیم (وقتی فقط طی یک سال، مرغ 4 برابر میشه) ولی چیزی ک میگم شبیه به F(f(x)) هست یعنی ابرتورم در ابرتورم
پ.ن 2: اصلا شرایط اقتصادی مناسب نیست (فاجعه اس) و خودمون را برای شرایط بسیار سختی آماده می کنیم و اصلا خرید اضافه و غیرضروری نمی کنیم و تصمیم های مهم زندگی را ترجیحا به تعویق می اندازیم.

بعد از مدت‌ها دوباره برگشتیم
درود به همگی

اول از همه وظیفه خودم می‌دونم اتفاقات تلخی که دیماه افتاد رو به همه تسلیت بگم. غمیه که فکر می‌کنم تا مدت‌ها توی فکر و قلب خیلی‌هامون می‌مونه.

واقعیتش بعضی دردها اون‌قدر بزرگن که واقعاً چیزی برای گفتن پیدا نمی‌کنه. فقط می‌تونم امیدوار باشم که
امانت‌دار خوبی باشیم و نام و یادشون را اونجوری که شایسته‌‌شون باشه، زنده نگه داریم.

یک ایده به ذهنم رسیده که به نظرم ارزش زیادی داره و اگر روش کار بشه، می‌تونه تبدیل به یه مقاله‌ی خیلی خوب بشه.

شاید بپرسید اگر این ایده این‌قدر خوبه، چرا خودت انجامش نمی‌دی؟

دو تا دلیل داره. اول اینکه خودم فعلاً فرصت انجامش رو ندارم. دوم اینکه دوست دارم یکی از شماها این ایده رو برداره، روش کار کنه، یه مقاله‌ی خوب ازش دربیاره و نتیجه‌ش رو هم توی یه کنفرانس خفن منتشر کنه و رزومه خوبی برای خودش بسازه.

حالا ایده چیه؟

بچه‌هایی که با معماری Transformer آشنا هستن می‌دونن که یکی از مشکلات مدل‌های ترنسفورمری، عملکردشون روی متن‌های خیلی بلنده.

قبل از Transformer، شبکه‌های عصبی بازگشتی (RNN) مشکل Long-term Dependency داشتن؛ یعنی وابستگی‌های بلندمدت رو خوب یاد نمی‌گرفتن. بعد Transformer اومد و Attention رو معرفی کرد تا این ضعف رو تا حد زیادی برطرف کنه.

اما الان یه مشکل جدید داریم.

فرض کنید از یک مدل زبانی یه گزارش ۵۰ صفحه‌ای می‌خواید، یا ۲۰۰ صفحه متن بهش می‌دید، یا حتی ۲۰ هزار توکن ورودی. هرچقدر طول ورودی بیشتر میشه، حتی مکانیزم Attention هم دیگه نمی‌تونه وابستگی بین همه‌ی کلمات رو به خوبی حفظ کنه و عملکرد مدل افت می‌کنه.

اینجا ایده‌ای که به ذهن من رسیده اینه که از مفهوم Convolution استفاده کنیم.

توی CNNها یک Kernel یا فیلتر داریم که روی ورودی حرکت می‌کنه. پیشنهاد من اینه که همین منطق رو برای متن استفاده کنیم، ولی به جای Kernel، از Attention استفاده کنیم.

فرض کنید یک متن ۲۰ هزار توکنی داریم. به جای اینکه Attention روی کل متن یکجا محاسبه بشه، متن رو به بخش‌های کوچکتر تقسیم کنیم؛ مثلاً ۲۰ بخش هزار توکنی.

بعد مثل Convolution روی این بخش‌ها حرکت کنیم، اما عملیاتی که انجام می‌دیم از جنس Attention باشه، نه Convolution.

یعنی برای هر بخش، Attention جداگانه محاسبه بشه و این فرآیند به صورت Sliding Window روی کل متن حرکت کنه.

می‌دونم که این روش Information Loss ایجاد می‌کنه و بعضی وابستگی‌های دور از بین میره. مثلاً ممکنه کلمات هزار توکن اول با کلمات هزار توکن پنجم ارتباط داشته باشن و این ارتباط کامل حفظ نشه.

ولی به نظرم بخش زیادی از این ارتباط‌ها قابل چشم‌پوشیه و هزینه‌ای که بابت از دست دادن اون مقدار اطلاعات می‌دیم، در مقابل بهبود مقیاس‌پذیری ارزشش رو داره.

به نظرم ترکیب Convolution و Attention می‌تونه ایده‌ی جالبی باشه و شاید حتی راه‌حلی برای یکی از مشکلات مهم مدل‌های زبانی امروزی باشه.

چون الان یکی از دردسرهای اصلی LLMها اینه که هرچقدر طول ورودی بیشتر میشه، بعد از یک نقطه عملکرد مدل به شکل محسوسی افت می‌کنه و Performance واقعاً Drop می‌کنه.