{"slug": "moonshot-ai-s-kimi-k3-is-here-a-2-8-trillion-parameter-open-moe-model-that-long", "title": "Moonshot AI's Kimi K3 Is Here: A 2.8 Trillion Parameter Open MoE Model That Pushes Long-Context AI Forward", "summary": "Moonshot AI released Kimi K3, a 2.8 trillion parameter open Mixture-of-Experts model with a 1 million token context window. The model introduces innovations such as Kimi Delta Attention for faster long-context decoding, Attention Residuals for improved training efficiency, and Stable LatentMoE with Quantile Balancing for better routing. On benchmarks, Kimi K3 outperforms Fable 5 and GPT-5.6 Sol in 6 of 35 categories, though it trails in areas like FrontierSWE and HLE-Full.", "body_md": "The race to build better large language models isn't slowing down, and this week Moonshot AI introduced another major milestone: Kimi K3.\n\nAt first glance, the headline is impressive enough—a 2.8 trillion parameter open Mixture-of-Experts (MoE) model with support for a 1 million token context window. But after reading through the technical paper, what stood out to me wasn't just the size of the model. It was the engineering behind it.\n\nInstead of simply scaling parameters, Moonshot AI focused on solving several practical bottlenecks that affect training efficiency, inference speed, and long-context reasoning.\n\nLet's take a closer look.\n\nOne of the biggest innovations in Kimi K3 is Kimi Delta Attention (KDA).\n\nTraditional attention mechanisms become increasingly expensive as context length grows. KDA introduces a hybrid linear attention approach designed specifically for extremely long contexts.\n\nAccording to Moonshot AI, it can deliver up to 6.3× faster decoding when working with million-token contexts.\n\nAn interesting technical detail is that KDA changes how prefix caching works, which required Moonshot AI to contribute an implementation upstream to vLLM.\n\nFor developers building applications around long documents, codebases, or research data, this could be one of the most practical improvements in the model.\n\nAnother innovation focuses on model depth instead of sequence length.\n\nRather than treating every layer equally, Attention Residuals selectively retrieve useful representations across different layers of the network.\n\nThis improves information flow without introducing significant computational overhead.\n\nThe reported results are impressive:\n\nAround 25% higher training efficiency\n\nLess than 2% additional computational cost\n\nIt's a clever example of improving efficiency through architecture instead of simply adding more compute.\n\nScaling Mixture-of-Experts models introduces another challenge: routing tokens to the right experts.\n\nKimi K3 addresses this with Stable LatentMoE.\n\nInstead of relying on heuristic balancing techniques, Moonshot AI introduces Quantile Balancing, which allocates experts directly from router-score quantiles.\n\nThe result is a simpler routing mechanism with fewer sensitive hyperparameters and approximately 2.5× better scaling efficiency compared to Kimi K2.\n\nBenchmark Performance\n\nOn its highest reasoning setting, Kimi K3 reports strong benchmark results:\n\n91.2 on BrowseComp\n\n88.3 on Terminal Bench 2.1\n\n77.8 on Program Bench\n\nAccording to the published benchmarks, Kimi K3 outperforms Fable 5 and GPT-5.6 Sol on 6 of the 35 published benchmark categories.\n\nIt still trails Fable 5 in areas such as FrontierSWE and HLE-Full, which suggests there is still room for improvement depending on the workload.\n\nWhy This Matters\n\nThe most exciting part isn't simply that Kimi K3 is another powerful language model.\n\nIt's that we're seeing open models continue to close the gap with proprietary systems.\n\nLong-context reasoning, efficient inference, and better MoE routing are becoming increasingly important as AI applications expand beyond chatbots into software engineering, research, legal analysis, enterprise search, and autonomous agents.\n\nCompetition in the open-source AI ecosystem is accelerating, and developers are benefiting from it.\n\nKimi K3 is another strong example of how innovation is no longer just about increasing parameter counts—it's about building smarter architectures that make large models more practical to use.\n\nI'm looking forward to seeing how the community benchmarks it in real-world applications over the coming weeks.\n\nWhat are your thoughts on Kimi K3? Do you think open models are catching up faster than expected?\n\nMoonshot AI-এর Kimi K3: ২.৮ ট্রিলিয়ন প্যারামিটারের ওপেন MoE মডেল যা Long-Context AI-কে আরও এক ধাপ এগিয়ে নিল\n\nAI জগতের অগ্রগতি যেন থামছেই না। প্রতিনিয়ত নতুন নতুন মডেল আসছে, আর প্রতিটি মডেলই আগের সীমাবদ্ধতাগুলো ভাঙার চেষ্টা করছে। সেই ধারাবাহিকতায় Moonshot AI নিয়ে এসেছে তাদের নতুন Kimi K3 মডেল।\n\nপ্রথম দেখায় সবচেয়ে চোখে পড়ে এর বিশাল আকার—২.৮ ট্রিলিয়ন প্যারামিটারের একটি ওপেন Mixture-of-Experts (MoE) মডেল, যা ১ মিলিয়ন টোকেন পর্যন্ত কনটেক্সট সমর্থন করে।\n\nতবে বিষয়টি শুধু এত বড় মডেল হওয়ার মধ্যেই সীমাবদ্ধ নয়। এর পেছনের আর্কিটেকচার এবং ইঞ্জিনিয়ারিং উদ্ভাবনই আসল আকর্ষণ।\n\nচলুন সংক্ষেপে দেখে নেওয়া যাক কী কী নতুনত্ব নিয়ে এসেছে Kimi K3।\n\n১. Kimi Delta Attention\n\nKimi K3-এর অন্যতম গুরুত্বপূর্ণ উদ্ভাবন হলো Kimi Delta Attention (KDA)।\n\nপ্রচলিত Attention Mechanism-এ কনটেক্সট বড় হলে প্রসেসিং ধীর হয়ে যায়। KDA একটি Hybrid Linear Attention পদ্ধতি ব্যবহার করে, যা দীর্ঘ কনটেক্সটেও অনেক বেশি দক্ষতার সঙ্গে কাজ করতে পারে।\n\nMoonshot AI-এর দাবি অনুযায়ী, এটি ১ মিলিয়ন টোকেন কনটেক্সটে সর্বোচ্চ ৬.৩ গুণ দ্রুত ডিকোডিং করতে সক্ষম।\n\nআরও একটি উল্লেখযোগ্য বিষয় হলো, KDA-এর জন্য Moonshot AI vLLM-এ নিজস্ব ইমপ্লিমেন্টেশন যুক্ত করেছে।\n\n২. Attention Residuals\n\nএই প্রযুক্তি কনটেক্সটের দৈর্ঘ্যের পরিবর্তে মডেলের গভীরতার (Depth) উপর গুরুত্ব দেয়।\n\nসব লেয়ারকে সমানভাবে ব্যবহার না করে এটি প্রয়োজনীয় লেয়ার থেকে তথ্য নির্বাচন করে, ফলে তথ্য প্রবাহ আরও কার্যকর হয়।\n\nএর মাধ্যমে অর্জিত হয়েছে—\n\nপ্রায় ২৫% বেশি ট্রেনিং দক্ষতা\n\nমাত্র ২% এর কম অতিরিক্ত কম্পিউটেশনাল খরচ\n\n৩. Stable LatentMoE\n\nMixture-of-Experts (MoE) মডেলের অন্যতম বড় চ্যালেঞ্জ হলো সঠিক Expert নির্বাচন।\n\nKimi K3-এ Stable LatentMoE এবং Quantile Balancing প্রযুক্তি ব্যবহার করে এই সমস্যার সমাধান করা হয়েছে।\n\nফলে রাউটিং আরও কার্যকর হয়েছে এবং Kimi K2-এর তুলনায় প্রায় ২.৫ গুণ ভালো Scaling Efficiency অর্জন করা সম্ভব হয়েছে।\n\nBenchmark ফলাফল\n\nMoonshot AI-এর প্রকাশিত ফলাফল অনুযায়ী, সর্বোচ্চ Reasoning Mode-এ Kimi K3 অর্জন করেছে—\n\n91.2 – BrowseComp\n\n88.3 – Terminal Bench 2.1\n\n77.8 – Program Bench\n\nপ্রকাশিত Benchmark-এর ৩৫টি ক্যাটাগরির মধ্যে ৬টিতে এটি Fable 5 এবং GPT-5.6 Sol-কে ছাড়িয়ে গেছে।\n\nতবে FrontierSWE এবং HLE-Full-এর মতো কিছু ক্ষেত্রে এখনও Fable 5 এগিয়ে রয়েছে।\n\nকেন এটি গুরুত্বপূর্ণ?\n\nআমার কাছে সবচেয়ে আকর্ষণীয় বিষয় হলো—AI এখন শুধু বড় মডেল তৈরির প্রতিযোগিতায় সীমাবদ্ধ নেই।\n\nএখন মূল প্রতিযোগিতা হচ্ছে—\n\nকে আরও দক্ষ আর্কিটেকচার তৈরি করতে পারে?\n\nকে কম কম্পিউটিং রিসোর্স ব্যবহার করে বেশি পারফরম্যান্স দিতে পারে?\n\nকে বাস্তব জীবনের সমস্যাগুলো আরও কার্যকরভাবে সমাধান করতে পারে?\n\nওপেন AI মডেলগুলো খুব দ্রুত উন্নতি করছে, যা ডেভেলপার, গবেষক এবং ব্যবসা প্রতিষ্ঠান—সবার জন্যই ইতিবাচক খবর।\n\nআপনার কী মনে হয়? ওপেন AI মডেলগুলো কি খুব দ্রুত Closed Model-এর কাছাকাছি পৌঁছে যাচ্ছে?", "url": "https://wpnews.pro/news/moonshot-ai-s-kimi-k3-is-here-a-2-8-trillion-parameter-open-moe-model-that-long", "canonical_source": "https://dev.to/sraurora/moonshot-ais-kimi-k3-is-here-a-28-trillion-parameter-open-moe-model-that-pushes-long-context-ai-53e6", "published_at": "2026-07-17 16:01:58+00:00", "updated_at": "2026-07-17 16:29:40.945338+00:00", "lang": "en", "topics": ["large-language-models", "ai-research", "ai-infrastructure", "artificial-intelligence"], "entities": ["Moonshot AI", "Kimi K3", "Kimi Delta Attention", "Stable LatentMoE", "Quantile Balancing", "vLLM", "Fable 5", "GPT-5.6 Sol"], "alternates": {"html": "https://wpnews.pro/news/moonshot-ai-s-kimi-k3-is-here-a-2-8-trillion-parameter-open-moe-model-that-long", "markdown": "https://wpnews.pro/news/moonshot-ai-s-kimi-k3-is-here-a-2-8-trillion-parameter-open-moe-model-that-long.md", "text": "https://wpnews.pro/news/moonshot-ai-s-kimi-k3-is-here-a-2-8-trillion-parameter-open-moe-model-that-long.txt", "jsonld": "https://wpnews.pro/news/moonshot-ai-s-kimi-k3-is-here-a-2-8-trillion-parameter-open-moe-model-that-long.jsonld"}}