Mooncake: معماری توزیع‌شدهٔ ارائهٔ LLM با محوریت KVCache

برای جزئیات، اعلان رسمی را بخوانید.

زبان منبع اصلی · انگلیسی

بررسی شد · ۱۸ مهر ۱۴۰۵