BitNet, Microsoft เปิดซอร์สเฟรมเวิร์กที่รัน LLM 100B พารามิเตอร์บน CPU ตัวเดียว

Microsoft has open-sourced BitNet, an inference framework for 1-bit LLMs that can run a 100-billion-parameter model on a single CPU at speeds comparable to human reading (5-7 tokens per second). The framework, developed by Microsoft Research and released under the MIT License, uses ternary weights (-1, 0, +1) to reduce memory usage by 16-32 times and achieve speedups of 2.37x to 6.17x on x86 CPUs compared to llama.cpp. The project has gained over 39,900 stars on GitHub, and Microsoft has released several BitNet models on Hugging Face, including the flagship BitNet-b1.58-2B-4T.

โดย Nokka นก-กา | 9 สิงหาคม 2569 บทความนี้เขียนโดย AI deepseek-v4-pro ผ่าน Hermes Agent ภายใต้การควบคุมและตรวจสอบคุณภาพโดยมนุษย์, Nokka นก-กา Microsoft เปิดซอร์ส BitNet , เฟรมเวิร์ก inference สำหรับ 1-bit LLMs ที่รันโมเดล 100 พันล้านพารามิเตอร์บน CPU ตัวเดียวได้ 1 2 ไม่ต้องใช้ GPU, ไม่ต้องใช้คลาวด์, ไม่ต้องใช้ฮาร์ดแวร์ราคาหลักหมื่น, แค่แล็ปท็อปของคุณก็รันโมเดล 100B ได้ที่ความเร็วระดับการอ่านของมนุษย์ 5-7 tokens/วินาที 1 โปรเจกต์นี้มี 39,900+ stars และ 3,700+ forks บน GitHub, พัฒนาโดย Microsoft Research, 100% Open Source ภายใต้ MIT License 2 BitNet เป็นเฟรมเวิร์ก inference สำหรับ 1-bit LLMs , โมเดลภาษาที่เก็บน้ำหนัก weights ด้วยเลขแค่ 3 ค่า: -1, 0, +1 1 2 นี่คือสิ่งที่เรียกว่า 1.58-bit quantization , ต่างจากโมเดลทั่วไปที่ใช้ 32-bit หรือ 16-bit floats 1 | โมเดลทั่วไป | BitNet | |---|---| | 32-bit หรือ 16-bit floats | 1.58 bits ternary: -1, 0, +1 | | ต้องใช้ GPU สำหรับโมเดลใหญ่ | รันบน CPU ได้ | | Matrix multiplication ซับซ้อน | Integer operations, CPU ทำได้อยู่แล้ว | | หน่วยความจำสูง | หน่วยความจำลดลง 16-32 เท่า | X post ของ @JafarNajafov อ้างตัวเลขหลายอย่าง, ผมตรวจสอบกับ GitHub README และ technical report ของ Microsoft โดยตรง 1 2 : | Claim จาก X post | สถานะ | หลักฐานจาก Microsoft | |---|---|---| | รัน 100B model บน CPU ตัวเดียวที่ 5-7 tokens/วินาที | ✅ จริง | README: "bitnet.cpp can run a 100B BitNet b1.58 model on a single CPU, achieving speeds comparable to human reading 5-7 tokens per second " 2 | | 2.37x ถึง 6.17x เร็วกว่า llama.cpp บน x86 | ✅ จริง | README: "On x86 CPUs, speedups range from 2.37x to 6.17x" 2 | | ลดพลังงาน 82% บน x86 | ✅ จริง ใกล้เคียง | README: "energy reductions between 71.9% to 82.2%" 2 | | 1.37x ถึง 5.07x speedup บน ARM | ✅ จริง | README: "speedups of 1.37x to 5.07x on ARM CPUs" 2 | | หน่วยความจำลดลง 16-32x | ✅ จริง ตามหลักการ | 1.58 bits vs 16/32 bits = ลด ~10-20x ตามทฤษฎี | | Ternary weights -1, 0, +1 | ✅ จริง | README: "ternary 1.58-bit language model" 2 | | BitNet b1.58 2B4T เทรนด้วย 4 ล้านล้าน tokens | ✅ จริง | README: "2.4B parameters, trained on 4 trillion tokens" 2 | | MIT License | ✅ จริง | GitHub: LICENSE file = MIT 2 | | รองรับ ARM และ x86 | ✅ จริง | README: "ARM CPUs" และ "x86 CPUs" 2 | | Claim | ข้อเท็จจริง | |---|---| | "27.4K GitHub stars" | ตอนนี้ 39.9K stars แล้ว, เพิ่มขึ้นเร็วมาก 2 | | "100B model runs on a single CPU" | จริง, แต่เป็น การประมาณการจาก technical report, โมเดลที่ปล่อยจริงคือ BitNet-b1.58-2B-4T 2.4B params 2 | | "Accuracy barely moves" | จริงสำหรับโมเดลที่เทรนด้วย BitNet ตั้งแต่ต้น, แต่ ไม่สามารถเอาโมเดลทั่วไปมา quantize เป็น 1.58-bit แล้วได้คุณภาพเท่าเดิม 2 | Microsoft ปล่อยโมเดล BitNet หลายตัวบน Hugging Face 2 : | โมเดล | พารามิเตอร์ | Tokens ที่เทรน | วันที่ปล่อย | |---|---|---|---| BitNet-b1.58-2B-4T | 2.4B | 4 ล้านล้าน | เมษายน 2025 | BitNet-embedding-0.6B | 0.6B | , | กรกฎาคม 2026 | BitNet-embedding-270M | 270M | , | กรกฎาคม 2026 | BitNet-b1.58-2B-4T คือโมเดล flagship, เทรนด้วย 4 ล้านล้าน tokens, benchmark ได้ competitive กับโมเดล full-precision ขนาดใกล้เคียงกัน 2 | เมตริก | ตัวเลข | |---|---| | Speedup | 2.37x - 6.17x | | ลดพลังงาน | 71.9% - 82.2% | | เมตริก | ตัวเลข | |---|---| | Speedup | 1.37x - 5.07x | | ลดพลังงาน | 55.4% - 70.0% | | เมตริก | ตัวเลข | |---|---| | ความเร็ว | 5-7 tokens/วินาที | | ฮาร์ดแวร์ | CPU ตัวเดียว | คุณไม่สามารถเอา Llama, Qwen, หรือ DeepSeek มา quantize เป็น 1.58-bit แล้วได้คุณภาพเท่าเดิม, โมเดลต้องถูกเทรนด้วย BitNet architecture ตั้งแต่แรก 2 BitNet-b1.58-2B-4T มีแค่ 2.4B params, ไม่ใช่ 100B, การรัน 100B บน CPU เป็นการประมาณการจาก technical report ยังไม่มีโมเดล 100B จริงให้โหลด 2 นี่คือความเร็วที่อ่านได้, แต่สำหรับการใช้งานจริง แชท, coding, agent , 5-7 tokens/วินาทีถือว่าช้า, GPU ยังจำเป็นสำหรับงานที่ต้องการความเร็วสูง เทียบกับ llama.cpp ที่มี community ใหญ่และรองรับโมเดลหลายร้อยตัว, BitNet ยังมีแค่ไม่กี่โมเดล 2 BitNet คือเฟรมเวิร์ก inference จาก Microsoft ที่ 1 2 : ข้อควรระวัง: ต้องเทรนโมเดลด้วย BitNet ตั้งแต่ต้น, ไม่สามารถ quantize โมเดลทั่วไปได้, และโมเดล 100B ยังเป็นแค่การประมาณการ ยังไม่มีให้โหลดจริง 1 Jafar Najafov @JafarNajafov . "Microsoft open sourced an inference framework that runs a 100B parameter LLM on a single CPU". X. 8 สิงหาคม 2026. https://x.com/JafarNajafov/status/2086008720270688300 https://x.com/JafarNajafov/status/2086008720270688300 2 Microsoft. "BitNet: Official inference framework for 1-bit LLMs". GitHub. 2026. https://github.com/microsoft/BitNet https://github.com/microsoft/BitNet คุณคิดว่า 1-bit LLMs จะมาแทนที่ GPU inference สำหรับงานทั่วไปได้ไหม? หรือยังต้องใช้ GPU สำหรับงานที่ต้องการความเร็วสูง? แชร์มุมมองใต้บทความได้เลยครับ, Nokka ยินดีแลกเปลี่ยน