llama.cpp به نسخه ۱.۰ رسید؛ قواعد تازه برای توسعهدهندگان

پروژه متنباز llama.cpp در ۱۳ نوامبر ۲۰۲۶ به نسخه ۱.۰ رسید و همزمان کتابخانه پایه آن، ggml، نیز نسخه ۱.۰.۰ را دریافت کرد. مهمترین تغییر فقط بالا رفتن شماره نسخه نیست: تیم سازنده اعلام کرده از این پس تغییرهای ناسازگار در رابط برنامهنویسی عمومی C با افزایش شماره اصلی نسخه مشخص میشوند. این تصمیم به برنامهها و ابزارهایی که روی llama.cpp ساخته شدهاند کمک میکند بهتر بفهمند یک بهروزرسانی ساده است یا ممکن است به اصلاح کد نیاز داشته باشد.
llama.cpp ابزاری برای اجرای مدلهای زبانی و چندرسانهای روی سختافزارهای گوناگون است؛ از رایانههای شخصی و دستگاههای کوچکتر گرفته تا سرورهای قدرتمند. این پروژه مدل هوش مصنوعی تازهای معرفی نکرده و بهتنهایی وزنهای مدلها را ارائه نمیدهد. نقش آن اجرای مدلهایی است که جداگانه تهیه میشوند. توسعهدهندگان میتوانند از آن برای ساخت برنامههایی استفاده کنند که بخشی از پردازش را روی دستگاه کاربر انجام میدهند، نه اینکه همه درخواستها را به یک سرویس ابری بفرستند.
نسخه ۱.۰ علاوه بر قواعد تازه نسخهگذاری، تغییرهای فنی متعددی دارد: تعدادی از رابطهای قدیمی حذف شدهاند، قالبی کمحافظهتر برای نگهداری حافظه موقت مدل افزوده شده، چند معماری مدل تازه پشتیبانی میشوند و سرور داخلی پروژه اصلاحات امنیتی دریافت کرده است. همین ترکیب، نسخه جدید را برای سازندگان برنامههای محلی مهم میکند؛ اما به این معنی نیست که هر کاربری باید بیدرنگ نرمافزار خود را بهروزرسانی کند. کسانی که برنامهشان به رابطهای حذفشده وابسته است، ممکن است پیش از ارتقا به تغییر کد نیاز داشته باشند.
چرا رسیدن به نسخه ۱.۰ اهمیت دارد؟
شمارهگذاری نسخههای نرمافزاری فقط یک نشانه ظاهری نیست. بسیاری از پروژهها برای نشاندادن نوع تغییر از الگوی سهبخشی استفاده میکنند: شماره اصلی، فرعی و اصلاحی. این روش که «نسخهگذاری معنایی» نام دارد، در حالت معمول کمک میکند توسعهدهنده بفهمد بهروزرسانی چه اثری بر برنامههای وابسته دارد. در اعلام رسمی ggml-org، قاعده از این پس چنین است: تغییر ناسازگار در API عمومی C به افزایش شماره اصلی میانجامد؛ قابلیت تازهای که با نسخههای پیشین سازگار باشد شماره فرعی را بالا میبرد؛ و رفع باگ بدون تغییر API در شماره اصلاحی منعکس میشود.
API یا رابط برنامهنویسی، مجموعهای از توابع و قراردادهایی است که یک نرمافزار برای استفاده از قابلیتهای نرمافزار دیگر به آن تکیه میکند. اگر یک برنامه از تابعی در llama.cpp استفاده کند، آن تابع بخشی از پلی است که برنامه را به موتور اجرای مدل متصل میکند. وقتی نام یا رفتار آن تابع تغییر کند، برنامه وابسته ممکن است دیگر ساخته نشود یا نتیجه پیشبینیناپذیری بدهد. برای کاربری که فقط از یک برنامه آماده استفاده میکند، این جزئیات ممکن است پنهان بماند؛ اما برای سازنده برنامه یا توزیعکننده لینوکس، تفاوت میان تغییر سازگار و ناسازگار میتواند تعیین کند که ارتقای کتابخانه چند دقیقه زمان میبرد یا نیازمند تغییر و آزمون مجدد است.
پروژه در سه سال و نیم گذشته به یکی از قطعات زیربنایی اجرای مدلهای هوش مصنوعی روی سختافزارهای متنوع تبدیل شده است. با افزایش برنامههایی که به کتابخانههای آن متصل میشوند، نگهداری یک رابط مشخص اهمیت بیشتری پیدا میکند. نسخهگذاری روشن میتواند به تیمهای پاییندستی کمک کند نسخه مناسب را انتخاب و تغییرهای بزرگ را برای زمان مناسب برنامهریزی کنند. این مزیت بهویژه زمانی کاربرد دارد که یک برنامه همزمان به مدلهای تازه، اصلاحهای امنیتی یا پشتیبانی از سختافزار جدید نیاز داشته باشد.
بااینحال، نسخه ۱.۰ به معنی ثابتشدن کامل نرمافزار یا پایان تغییرات نیست. قاعده اعلامشده مشخصاً درباره API عمومی C در رابطهای رسمی پروژه است. خود تیم گفته قابلیتهای سازگار، پشتیبانی از مدلها و بهروزرسانیهای backend همچنان در نسخههای فرعی عرضه میشوند. بنابراین توسعهدهندگان نباید از شماره ۱.۰ نتیجه بگیرند که همه بخشهای پروژه، از جمله رابط وب، سرور، فرمت مدلها یا برنامههای جانبی، برای همیشه تغییرناپذیر شدهاند.
حذف رابطهای قدیمی و هزینه ارتقا
یکی از نکتههای مهم نسخه تازه، حذف بخشی از رابطهای قدیمی است. یادداشت انتشار llama.cpp میگوید ۳۵ تابع منسوخشده از رابط عمومی حذف شدهاند. تابع منسوخشده قابلیتی است که سازندگان از مدتی پیش استفاده از آن را توصیه نمیکنند؛ معمولاً چون راه بهتر یا ایمنتری جایگزین آن شده است. منسوخشدن بهخودیخود به معنی حذف فوری نیست، اما انتشار نسخه اصلی تازه میتواند فرصتی برای کنارگذاشتن این اجزای قدیمی باشد.
در این نسخه، llama_set_warmup نیز حذف شده و نام چند پارامتر یا تابع تغییر کرده است. همچنین بخشی از رابط NextN که پیشتر در سرآیند جداگانه قرار داشت، به llama.h منتقل شده است. برای برنامهای که به این اجزا وابسته نیست، احتمال دارد تغییر مستقیمی احساس نشود. اما اگر یک افزونه، رابط کاربری یا برنامه واسط از تابع حذفشده استفاده کند، سازنده آن باید کد را با رابط تازه تطبیق دهد.
«سازگاری» در اینجا به این معنا نیست که هر نسخه تازه با هر برنامه قبلی بیدردسر کار خواهد کرد. وعده اصلی نسخهگذاری این است که تغییرهای ناسازگار بهتر علامتگذاری شوند. توسعهدهندگان همچنان باید یادداشت انتشار و تغییرهای API را بررسی کنند، وابستگیهای برنامهشان را شناسایی کنند و پیش از عرضه عمومی نسخه تازه را در محیط آزمایشی بسنجند. نرمافزارهایی که llama.cpp را از راه یک لایه واسط استفاده میکنند نیز ممکن است از تغییرها اثر بگیرند، حتی اگر کاربر نهایی مستقیماً نام این کتابخانه را نبیند.
این تغییر میتواند برای بستهبندهای لینوکس و سازندگان برنامههای چندسکویی اهمیت ویژهای داشته باشد. آنها معمولاً یک کتابخانه را برای چندین برنامه آماده میکنند و باید بدانند کدام نسخه با کدام بسته سازگار است. اگر تغییر ناسازگار با شماره اصلی مشخص شود، نگهداری نسخههای قدیمی و برنامهریزی برای مهاجرت سادهتر میشود. این موضوع بهویژه برای پروژههای متنباز کوچک مهم است؛ چون ممکن است تیم کوچکی مسئول پشتیبانی از تعداد زیادی کاربر و سیستمعامل باشد.
حافظه موقت مدل و کش FP8
در میان تغییرهای فنی، پشتیبانی از کش FP8 برای حافظه موقت کلید و مقدار مدل به چشم میخورد. برای فهم این ویژگی، باید به نحوه تولید متن در مدل زبانی نگاه کرد. مدل هنگام ساخت هر واژه تازه، اطلاعاتی از واژههای قبلی را در حافظه نگه میدارد تا مجبور نباشد در هر مرحله همه متن را از ابتدا دوباره پردازش کند. این حافظه را معمولاً KV cache مینامند؛ دو حرف آن به دو مجموعه داده میانیِ «کلید» و «مقدار» در سازوکار توجه مدل اشاره دارند.
با طولانیشدن گفتوگو یا افزایش پنجره متنی، این حافظه میتواند بخش قابل توجهی از حافظه گرافیکی را اشغال کند. ذخیرهسازی دادهها در قالب FP8، یک قالب عددی ممیز شناور هشتبیتی، میتواند در مقایسه با قالبهای بزرگتر فضای کمتری بخواهد. در نتیجه ممکن است اجرای درخواستهای طولانی روی سختافزارهایی با حافظه محدود آسانتر شود یا ظرفیت استفاده از مدل افزایش یابد. بااینحال، اثر دقیق آن به مدل، نوع سختافزار، روش مقیاسبندی و تنظیمات اجرا وابسته است.
یادداشت انتشار بهتنهایی نمیگوید این قابلیت در همه مدلها چه مقدار حافظه کم میکند یا آیا کیفیت خروجی را تغییر میدهد. FP8 یک نوع نمایش عددی کمحجمتر است و هر روش کمدقتسازی میتواند میان مصرف حافظه، سرعت و دقت محاسبه بدهبستان ایجاد کند. بنابراین نباید از وجود این قابلیت نتیجه گرفت که هر رایانهای ناگهان میتواند هر مدل بزرگی را بدون افت یا محدودیت اجرا کند. اعداد دقیق باید از آزمون روی مدل و دستگاه موردنظر به دست بیایند.
نسخه تازه همچنین کشی برای بخشهایی از مدلهای «ترکیب متخصصان» یا MoE فراهم میکند. این معماری به جای استفاده از همه اجزای مدل برای هر ورودی، گروههایی از شبکه را در اختیار دارد و برای هر بخش از ورودی بخشی از آنها را به کار میگیرد. این اجزای تخصصی را میتوان بهطور ساده مانند چند گروه محاسباتی در نظر گرفت که هرکدام برای نوعی از پردازش مناسبترند. ذخیره برخی از این وزنها در حافظه میزبان و تعیین سهم CPU میتواند به مدیریت بهتر منابع کمک کند؛ اما میزان سود به مدل، سرعت حافظه و تعادل میان پردازنده و شتابدهنده بستگی دارد.
پشتیبانی از مدلها و سختافزارهای بیشتر
اعلام رسمی تیم میگوید llama.cpp اکنون از بیش از ۱۵۰ گونه معماری مدل پشتیبانی میکند. این عدد به معماریها و گونههای ساختاری اشاره دارد، نه اینکه الزاماً ۱۵۰ مدل مشخص از نظر کیفیت یا سرعت ارزیابی مستقل شده باشند. هر مدل ممکن است نسخهها، تنظیمات، روشهای کمدقتسازی یا نیازهای سختافزاری متفاوتی داشته باشد. به همین دلیل، پشتیبانی از یک معماری به معنی تضمین اجرای بینقص هر فایلی که بر پایه آن ساخته شده نیست.
یادداشت انتشار نسخه ۱.۰ چند معماری متنی تازه، از جمله Kimi-K3.1-Pro، Ripple و xing4_0 را فهرست میکند. برای پردازش چندرسانهای نیز پشتیبانیهایی برای MageVL-Cowork و Kimi-K3.1 Vision افزوده شده است. نسخه همچنین امکان تولید گفتار برای مدل drama-3 را ذکر میکند. این تغییرها میتوانند به توسعهدهندگان اجازه دهند مدلهای بیشتری را از طریق یک موتور اجرایی مشترک آزمایش کنند؛ اما خود llama.cpp مدلها را جایگزین نمیکند و وزنهای آنها معمولاً باید از منبع جداگانه دریافت شوند.
پشتیبانی از سختافزار هم بخشی از هویت این پروژه است. تیم ggml-org در مقاله معرفی به بکاندهای مختلف اشاره میکند؛ یعنی بخشهایی از نرمافزار که محاسبه را برای نوع خاصی از پردازنده یا شتابدهنده آماده میکنند. از پردازندههای مرکزی و گرافیکی تا پلتفرمهای مبتنی بر CUDA، Metal، Vulkan، SYCL و چند فناوری دیگر، هر بکاند مسیر متفاوتی برای اجرای محاسبات دارد. مزیت داشتن چند بکاند این است که یک برنامه میتواند روی دستگاههایی با قطعات متفاوت اجرا شود؛ اما عملکرد یکسانی روی همه آنها تضمین نمیشود.
این تفاوت برای کاربران اهمیت عملی دارد. مدلی که روی یک کارت گرافیکی خاص سریع اجرا میشود، ممکن است روی پردازنده مرکزی یا سختافزار موبایل کندتر باشد. حتی روی دو کارت گرافیکی از یک خانواده نیز ظرفیت حافظه، پهنای باند و نسخه درایور میتواند نتیجه را تغییر دهد. بنابراین عبارت «قابل اجرا روی سختافزارهای گوناگون» به معنی سرعت یا کیفیت برابر نیست؛ فقط میگوید پروژه مسیرهایی برای پشتیبانی از سختافزارهای متنوع دارد.
اصلاحات امنیتی در سرور داخلی
llama.cpp همراه با ابزار اجرای مدل، سروری نیز دارد که برنامههای دیگر میتوانند از طریق شبکه با آن ارتباط بگیرند. نسخه ۱.۰ برای این بخش تغییرهای امنیتی مهمی در نظر گرفته است. یادداشت انتشار از اصلاح مشکلات مرتبط با CORS، جعل درخواست سمت سرور یا SSRF، حمله بازپیوند DNS و دسترسی مستقیم مرورگر به نمونههای فرزند نام میبرد. همچنین استفاده از ابزارها در آدرسهایی که سرور را خارج از رایانه محلی در دسترس قرار میدهند، نیازمند انتخاب صریح شده است.
CORS مجموعهای از قواعد است که مرورگر بر اساس آن تعیین میکند یک صفحه وب از کدام مبدأ اجازه دارد به سرور دیگری درخواست بفرستد. تنظیم نادرست آن میتواند دسترسی ناخواسته را ممکن کند. SSRF زمانی رخ میدهد که یک سرویس فریب بخورد و بهجای انجام درخواست مورد انتظار، از طرف مهاجم به نشانیهای داخلی یا منابع محافظتشده دسترسی بگیرد. بازپیوند DNS نیز نوعی سوءاستفاده از تغییر پاسخهای نام دامنه در زمانهای مختلف است. این اصطلاحها تخصصیاند، اما نکته ساده این است که وقتی یک سرور محلی از شبکه در دسترس باشد، کنترل دسترسی و اعتبارسنجی درخواستها اهمیت زیادی پیدا میکند.
نسخه جدید همچنین امکان لغو فراخوانی ابزارهای MCP را زمانی که کاربر ارتباط را قطع میکند یا درخواست به پایان میرسد، اضافه کرده است. MCP پروتکلی برای وصلکردن مدلها به ابزارها و منابع بیرونی است. لغو بهموقع درخواست میتواند از ادامه کار غیرضروری جلوگیری کند و به مدیریت بهتر نشستها کمک کند. از سوی دیگر، درگاه سازگار با رابط OpenAI برای تبدیل متن به گفتار نیز به سرور افزوده شده است؛ این API میتواند اتصال برنامههای مختلف به قابلیت صوتی را سادهتر کند.
این تغییرها به معنی آن نیستند که راهاندازی سرور بدون تنظیم ایمن است. کاربران باید بدانند سرور روی چه نشانی شبکهای گوش میدهد، چه ابزارهایی فعالاند و آیا دیگران به آن دسترسی دارند یا خیر. اجرای مدل روی رایانه شخصی بهتنهایی حریم خصوصی را تضمین نمیکند؛ اگر سرور به شبکه عمومی باز باشد یا برنامههای دیگر بیدلیل به آن متصل شوند، دادهها میتوانند از مسیرهای دیگری در معرض خطر قرار گیرند. اصلاحات نسخه، بخشی از سطح خطر را هدف میگیرند، اما پیکربندی نهایی همچنان بر عهده گرداننده سامانه است.
این نسخه برای چه کسانی مهم است؟
مهمترین مخاطبان این انتشار، توسعهدهندگان و نگهدارندگان برنامههایی هستند که مستقیم یا غیرمستقیم از libllama و libggml استفاده میکنند. آنها میتوانند از قواعد جدید برای تصمیمگیری درباره زمان ارتقا کمک بگیرند. اگر برنامهای تابع منسوخشدهای را صدا میزند، ابتدا باید نسخه فعلی آن بررسی شود و سپس رابط جایگزین یا راه مهاجرت از مستندات پروژه پیدا شود. نصب نسخه جدید بدون بررسی، ممکن است برنامهای را که قبلاً کار میکرد از کار بیندازد.
برای کاربران عادی، اثر فوری کمتر است. اگر یک برنامه آماده بهروزرسانی را از سازندهاش دریافت میکند، ممکن است تغییرها پشت صحنه اعمال شوند. اما کاربرانی که نسخههای شبانه، بستههای آزمایشی یا ساختهای دستی را نصب میکنند، باید تفاوت میان انتشار رسمی و ساخت روزانه را در نظر بگیرند. تیم پروژه برای انتشار رسمی و ساختهای توسعه مسیرهای جداگانه تعریف کرده است؛ بستهها و مدیرهای بسته ممکن است نسخههای جدید را در زمانهای متفاوت دریافت کنند.
یکی دیگر از مرزهایی که باید روشن بماند، تفاوت میان مجوز کتابخانه و مجوز مدل است. کد llama.cpp با مجوز MIT عرضه میشود، اما این مجوز خودبهخود درباره وزنهای هر مدل که با آن اجرا میشوند تصمیم نمیگیرد. سازنده یک مدل میتواند برای وزنها یا کاربردهای تجاری آن شرایط جداگانهای تعیین کرده باشد. بنابراین استفاده از یک موتور متنباز و اجرای محلی، بهتنهایی به معنی آزادبودن همه مدلها یا مجازبودن هر نوع استفاده از آنها نیست.
در نهایت، خبر نسخه ۱.۰ بیش از آنکه قابلیت مصرفکنندهای تازه را معرفی کند، درباره بلوغ زیرساخت و روشنترشدن قرارداد میان یک کتابخانه پرکاربرد و نرمافزارهایی است که به آن متکیاند. برای سازندگان برنامه، نسخهگذاری تازه میتواند ارتقا را قابلپیشبینیتر کند؛ در مقابل، حذف رابطهای قدیمی به این معناست که برخی پروژهها باید کد خود را اصلاح کنند. قابلیتهای FP8، کش MoE، پشتیبانی از معماریهای جدید و تغییرهای سرور نیز دامنه فنی نسخه را گسترش میدهند، اما کارایی واقعی هرکدام باید با مدل، سختافزار و کاربرد موردنظر سنجیده شود.



