‏🤖 آموزش LLM از صفر با PyTorch

‏🚀 این مخزن PyTorch به نام "Train LLM From Scratch" یک راهنمای عملی برای ساخت، آموزش و استفاده از مدل زبان ترانسفورمر (Transformer Language Model) از پایه است.
‏💡 هدف آن تبدیل درک نظری از معماری ترانسفورمر به یک پایپ‌لاین آموزشی عملی و قابل اجرا، شامل کد مدل، اسکریپت‌های داده، پیکربندی و تولید متن است.

‏

‏⚙️ ویژگی‌های کلیدی:
‏🔹 اجزای ترانسفورمر: پیاده‌سازی ماژول‌های PyTorch جداگانه برای MLP (شبکه چندلایه پرسپترون)، Attention و بلاک‌های ترانسفورمر از صفر.
‏🔸 پایپ‌لاین داده: اسکریپت‌هایی برای دانلود و پیش‌پردازش فایل‌های The Pile (مجموعه داده بزرگ متنی) به فرمت HDF5 (فرمت فایل برای ذخیره‌سازی داده‌های عددی بزرگ) توکن‌گذاری شده.

📊 Data➕Science 🇮🇷 — هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#آموزش #PyTorch

‏💡 نقشه راه مهندسی هوش مصنوعی: گام‌های کلیدی

‏با وجود رشد ۳۰۰ درصدی بازار کار هوش مصنوعی، ۹۰ درصد مهندسان این حوزه به دلیل فقدان نقشه راه موفق نمی‌شوند. یک مسیر ۱۰ مرحله‌ای برای موفقیت در این حوزه پیشنهاد شده که گام‌های اصلی آن عبارتند از:

‏

‏🔹 مبانی پایتون: تسلط بر پایتون، Jupyter Notebook و Git.
‏📈 ریاضیات و آمار: یادگیری مفاهیم کلیدی با NumPy و SciPy (کتابخانه علمی و فنی).
‏🧠 الگوریتم‌های یادگیری ماشین: scikit-learn، pandas، XGBoost/LightGBM.
‏🚀 یادگیری عمیق: PyTorch، TensorFlow، Keras و Weights & Biases (پلتفرم ردیابی آزمایش‌های ML).

📊 Data➕Science 🇮🇷 — هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#آموزش #PyTorch

‏🤖 آموزش ساخت مدل شبه GPT در PyTorch با ۱۰ نوت‌بوک گام‌به‌گام

‏اگر به دنبال درک عمیق معماری داخلی LLM‌های مدرن هستید، یک مخزن گیت‌هاب عالی پیدا شده که شامل ۱۰ نوت‌بوک Jupyter با توضیحات دقیق و پیاده‌سازی عملی اجزای اصلی مدل‌های زبانی است. این مخزن از صفر تا صد مراحل ساخت یک مدل مشابه GPT را در PyTorch پوشش می‌دهد و برای یادگیری مفاهیمی مانند self-attention، transformer blocks، tokenization و آموزش گام‌به‌گام مناسب است.

‏🔗 مخزن llms-from-scratch در گیت‌هاب

📊 Data➕Science 🇮🇷 — هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#آموزش #PyTorch