مایکروسافت خانواده مدل‌های هوش مصنوعی Phi-3.5 (AI) را به عنوان جانشین مدل‌های Phi-3 که در ماه آوریل معرفی شد، منتشر کرد.
نسخه جدید شامل مدل های Phi-3.5 Mixture of Experts (MoE)، Phi-3.5 Vision و Phi-3.5 Mini است. اینها مدل‌های دستورالعمل هستند، بنابراین به عنوان یک هوش مصنوعی مکالمه معمولی کار نمی‌کنند، اما از کاربران می‌خواهند دستورالعمل‌های خاصی را برای دریافت خروجی مورد نظر اضافه کنند. مدل‌های AI منبع باز برای دانلود از فهرست‌های Hugging Face غول فناوری در دسترس هستند.
مایکروسافت مدل های هوش مصنوعی Phi-3.5 را منتشر کرد
انتشار مدل‌های جدید هوش مصنوعی توسط Weizhu Chen، مدیر مایکروسافت در پستی در X (که قبلاً توییتر نامیده می‌شد) اعلام شد.
مدل‌های Phi-3.5 قابلیت‌های ارتقا یافته‌ای نسبت به مدل‌های قبلی ارائه می‌دهند، اما معماری، مجموعه داده‌ها و روش‌های آموزشی تا حد زیادی یکسان باقی می‌مانند. مدل Mini با پشتیبانی چند زبانه به‌روزرسانی شده است و مدل‌های MoE و Vision گنجانده‌های جدیدی در خانواده مدل‌های هوش مصنوعی هستند.
از نظر فنی، Phi-3.5 Mini دارای 3.8 میلیارد پارامتر است. از همان توکنایزر (ابزاری که متن را به واحدهای کوچکتر تجزیه می کند) و یک ترانسفورماتور متراکم فقط برای رمزگشا استفاده می کند. این مدل فقط از متن به عنوان ورودی پشتیبانی می کند و از یک پنجره زمینه 128000 توکن پشتیبانی می کند.
این شرکت ادعا می کند که با استفاده از 3.4 تریلیون توکن بین ژوئن تا آگوست آموزش دیده است و سطح دانش آن اکتبر 2023 است.
یکی از نکات برجسته این مدل این است که اکنون از چندین زبان جدید از جمله عربی، چینی، چکی، دانمارکی، هلندی، انگلیسی، فنلاندی، فرانسوی، آلمانی، عبری، مجارستانی، ایتالیایی، ژاپنی، کره ای، نروژی، لهستانی، پرتغالی، روسی، اسپانیایی، سوئدی، تایلندی، ترکی و اوکراینی پشتیبانی می کند.
مدل Phi-3.5 Vision AI دارای 4.2 میلیارد پارامتر است و شامل یک رمزگذار تصویر است که به آن اجازه می دهد اطلاعات درون یک تصویر را پردازش کند. با طول متنی مشابه مدل Mini، هم متن و هم تصاویر را به عنوان ورودی می پذیرد. بین ژوئیه و آگوست بر روی 500 میلیارد توکن داده آموزش داده شد و دانش متنی آن در ماه مارس است.
در نهایت، مدل Phi-3.5 MoE AI دارای 16×3.8 میلیارد پارامتر است. با این حال، تنها 6.6 میلیارد از آنها هنگام استفاده از دو متخصص، پارامترهای فعال هستند. قابل ذکر است، MOE تکنیکی است که در آن چندین مدل (متخصص) به طور مستقل آموزش داده می شوند و سپس برای بهبود دقت و کارایی مدل ترکیب می شوند. این مدل بین آوریل تا آگوست بر روی 4.9 تریلیون توکن داده آموزش داده شده است و تاریخ قطع دانش آن اکتبر 2023 است.
در مورد عملکرد، مایکروسافت امتیازات معیار همه مدل‌های جداگانه را به اشتراک گذاشت و بر اساس داده‌های به اشتراک‌گذاشته‌شده، Phi-3.5 MoE بهتر از Gemini 1.5 Flash و GPT-4o mini در معیار SQuALITY عمل می‌کند که خوانایی و دقت را هنگام خلاصه‌سازی طولانی آزمایش می‌کند. بلوک متن این پنجره زمینه طولانی مدل هوش مصنوعی را آزمایش می کند.
با این حال، لازم به ذکر است که مقایسه منصفانه ای نیست زیرا مدل های MoE از معماری متفاوتی استفاده می کنند و برای اجرا به فضای ذخیره سازی بیشتر و سخت افزار پیچیده تری نیاز دارند. به طور جداگانه، مدل‌های Phi-3.5 Mini و Vision نیز در برخی معیارها از مدل‌های رقیب هوش مصنوعی در همان بخش بهتر عمل کرده‌اند.
