شیائومی وارد رقابت مدل‌های زبانی شد؛ معرفی MiMo-7B، اولین مدل متن‌باز برای استدلال و برنامه‌نویسی

در حرکتی نسبتاً بی‌سروصدا اما تأثیرگذار، شیائومی با معرفی MiMo-7B به جمع توسعه‌دهندگان مدل‌های زبانی بزرگ (LLM) پیوست. این مدل هوش مصنوعی که به‌صورت متن‌باز عرضه شده، اولین محصول تیم جدید شیائومی موسوم به Big Model Core Team است و تمرکز اصلی آن بر روی وظایف پیچیده‌ی استدلالی و تولید کد قرار دارد.

به گفته شرکت، MiMo-7B توانسته در برخی حوزه‌ها از مدل‌های مطرحی همچون o1-mini از OpenAI و Qwen-32B-Preview علی‌بابا عملکرد بهتری ثبت کند.

MiMo-7B چیست؟

همان‌طور که از نام آن پیداست، MiMo-7B یک مدل با ۷ میلیارد پارامتر است. این عدد در مقایسه با مدل‌های پرحجم‌تر بازار، نسبتاً کوچک محسوب می‌شود؛ اما شیائومی مدعی است که این مدل با وجود ابعاد کوچکش، کارایی‌ای در حد مدل‌های چند ده میلیارد پارامتری دارد.

عملکرد و نتایج بنچمارک

براساس داده‌های داخلی شرکت، نسخه RL از MiMo-7B توانسته است در مجموعه داده ریاضی MATH-500 امتیاز ۹۵.۸٪ و در آزمون AIME 2024 امتیازی بیش از ۶۸٪ را کسب کند.

همچنین در رقابت‌های کدنویسی نیز نتایج قابل توجهی ثبت شده است: ۵۷.۸٪ در LiveCodeBench v5 نزدیک به ۵۰٪ در LiveCodeBench v6. در حوزه‌های عمومی‌تر مانند MMLU-Pro و GPQA نیز امتیازهایی در بازه ۵۰ تا ۶۰ درصد ثبت شده‌اند؛ که با توجه به اندازه مدل، عملکردی مناسب تلقی می‌شود.

MiMo-7B شیائومی در استدلال ریاضی (AIME 24-25) و رقابت برنامه‌نویسی (LiveCodeBench v5) عملکردی بهتر از مدل‌های OpenAI و علی‌بابا دارد

ویژگی‌های فنی مدل

MiMo-7B با استفاده از یک رژیم آموزشی سنگین توسعه یافته است. به گفته شیائومی، این مدل با بیش از ۲۵ تریلیون توکن در سه مرحله آموزشی و با تمرکز ویژه بر ۲۰۰ میلیارد توکن استدلالی آموزش دیده است.

یکی از تفاوت‌های کلیدی این مدل با دیگر LLMها، استفاده از هدف پیش‌بینی چندتوکنی به‌جای روش مرسوم پیش‌بینی توکن بعدی است. این روش، بدون آن‌که کیفیت پاسخ‌ها را کاهش دهد، به کاهش زمان استنتاج کمک می‌کند.

در بخش یادگیری تقویتی (Reinforcement Learning)، شیائومی از الگوریتم اختصاصی خود با عنوان پاداش مبتنی بر سختی آزمون (Test Difficulty Driven Reward) بهره برده که برای حل مشکل پاداش‌های پراکنده در وظایف پیچیده طراحی شده است. همچنین از روشی به نام نمونه‌گیری مجدد داده‌های ساده (Easy Data Re-Sampling) برای تثبیت فرایند آموزش استفاده شده است.

بهینه‌سازی زیرساختی

در حوزه زیرساخت، شیائومی سیستمی تحت عنوان Seamless Rollout توسعه داده که زمان خاموشی (Downtime) GPUها را در طول آموزش و ارزیابی به حداقل می‌رساند. این بهینه‌سازی‌ها، به گفته شرکت، منجر به افزایش ۲.۲۹ برابری در سرعت آموزش و نزدیک به ۲ برابر شدن عملکرد در مرحله اعتبارسنجی شده است.