Kamis pukul 16.40, draf kontrak terbuka di satu jendela. Kamu ingin AI merapikan kalimatnya, tapi dokumen itu tidak boleh keluar dari laptop, dan kamu tidak yakin model open mana dari ratusan model di Hugging Face yang bahkan bisa jalan dengan memori 16 GB. Menghabiskan malam di terminal untuk mencari tahu juga bukan pilihan yang menarik.
Local Model adalah bagian dari osFoundry yang mengurus model open-weight yang berjalan di hardware milikmu sendiri. Di sidebar aplikasi desktop, ia punya kategori sendiri yang dibagi menjadi tiga subjudul: Run (Explore, Providers, Servers, Playground, Deployments, Cloud GPU, GPU Endpoints), Build (My Models, Datasets, Training, Quantize, Notebooks), dan Measure (Eval, Benchmarks, Safety). Kalau pernah pakai Ollama atau LM Studio, bagian Run pasti terasa familier: cari model, unduh, lalu ajak ngobrol. Bedanya, grup yang sama juga bisa dipakai untuk mengecilkan model, melakukan fine-tuning dengan contohmu sendiri, dan mengujinya dengan pertanyaanmu sendiri, jadi seluruh siklus hidup model tetap ada di satu aplikasi. Inferensi di perangkat memakai server llama.cpp bawaan, jadi tidak perlu instalasi terpisah. Panduan ini membahas sembilan layar yang paling sering dipakai: Explore, Servers, Playground, My Models, Datasets, Training, Quantize, Eval, dan Benchmarks.
Kebanyakan orang mulai dari Explore, dan tata letaknya menunjukkan cara berpikir seluruh kategori ini: mesinmu dulu, baru modelnya.
Maya mengerjakan proyek sampingan di MacBook 16 GB. Ia ingin model lokal untuk menulis pesan commit dan catatan singkat, terutama supaya bisa bekerja offline di kereta.
Ia membuka Explore, memfilter Text Generation, dan melewati semua yang berlabel merah. Dua kandidat berlabel hijau, jadi ia memasang keduanya dengan Install Locally. Lalu ia membuka Playground, mengetik satu prompt, dan menambahkan kedua model sebagai panel. Playground mengirim prompt yang sama ke dua sampai empat model sekaligus dan menampilkan jawabannya berdampingan, dengan waktu ke token pertama dan jumlah kata di bawah tiap panel.
Belakangan ia menemukan model yang ia suka, tapi hanya tersedia sebagai file F16 presisi penuh. Ukurannya sekitar 15 GB, terlalu besar untuk laptopnya. Di Quantize ia memilihnya di "The model to shrink", memilih Q4_K_M, level yang direkomendasikan aplikasi untuk kebanyakan orang, lalu menjalankannya. llama-quantize bawaan menulis ulang file itu di mesinnya; tidak ada yang diunggah.
Pada contoh di atas hasilnya 4.58 GiB, 3.3 kali lebih kecil dari aslinya. Sebelum memercayainya, ia mengeklik Measure quality, yang membandingkan file baru dengan file asli dan mengisi kolom "same top token" dan rata-rata KLD di tabel Compare, lalu Measure speed untuk melihat token per detik. Satu klik Try it in Playground menaruhnya lagi di samping dua model lainnya. Malam itu ia selesai dengan model yang muat, angka yang menunjukkan berapa harga dari pengecilan itu, dan tanpa riwayat terminal sama sekali.
Sebuah agensi berisi empat orang punya satu desktop bermemori besar di kantor dan beberapa laptop tipis. Model besar hanya muat di desktop, tapi semua orang ingin memakainya.
Di desktop, seseorang membuka Servers, memilih This Mac, lalu masuk ke tab Access. Ia mencentang "Allow access from other devices on the local network (LAN)" dan mengaktifkan Remote Access. Panel itu kemudian menampilkan semua model lokal yang akan dilayani mesin tersebut. Di bawah Device keys ia mengeklik New key, menamainya sesuai laptop seorang rekan, lalu Create key. Setiap key bisa dicabut sendiri-sendiri, dan key khusus inferensi bisa menjalankan model tapi tidak bisa mengakses sesi agen.
Di tiap laptop, rekannya membuka Servers, mengeklik Add Server, memasukkan alamat desktop, menempelkan key, lalu memakai Test Connection. Begitu tersambung, model-model di desktop muncul di pemilih model laptop seperti model lainnya. Aplikasinya sendiri mencatat bahwa lalu lintas ini memakai HTTP biasa, jadi memang ditujukan untuk jaringan tepercaya seperti LAN kantor.
Lalu seseorang membuka Benchmarks, mengeklik New Benchmark, memilih model, dan membiarkan suite Quick. Hasilnya mencatat token per detik, waktu ke token pertama, dan latensi, jadi tim bisa tahu apakah model bersama itu cukup cepat dipakai saat meeting atau hanya cocok untuk batch semalam. Kalau terasa lambat, Servers juga punya tab Config tempat model draf kecil bisa dipasang di Speculative Decoding, lalu Restart now, dan benchmark bisa dijalankan lagi untuk membandingkan.
Hasilnya, tim punya satu mesin yang mengerjakan tugas berat, satu key per laptop yang bisa dicabut tanpa mengganggu yang lain, dan jawaban terukur untuk pertanyaan "cukup cepat atau belum?".
Ken menangani layanan pelanggan sebuah toko online kecil. Ia punya dua pertanyaan: model mana yang membaca total invoice dengan benar, dan bisakah model belajar membalas dengan gaya bahasa toko?
Untuk yang pertama, ia membuka Eval dan mengeklik Custom Benchmark. Ia memberinya nama, menempelkan sepuluh invoice beserta total yang ia harapkan untuk masing-masing, membiarkan Exact Match, lalu mengeklik Create Benchmark. Berikutnya New Eval Run: ia mencentang dua model di komputernya, mencentang benchmark-nya, lalu mengeklik Start Evaluation. Pertanyaan dikirim ke tiap model di mesinnya sendiri.
Pada contoh ini satu model mendapat 90 dan yang lain 70, dan kolom Diff menunjukkan selisih 20 poin. Itu hasil dari dokumennya sendiri, bukan leaderboard milik orang lain.
Untuk soal gaya bahasa, ia mengumpulkan beberapa ratus pesan pelanggan lama beserta balasan yang benar-benar dikirim tim, satu pasang per baris. Di Datasets ia bisa memasukkan file itu, atau mencari data publik lewat tab Hub, lalu memakai "Use for Training" untuk meneruskannya. Di Training ia mengeklik New Job dan mengikuti empat langkah: Base Model, Dataset, Config, dan Review. Di Training Target ia memilih Local (This Device), yang menurut layar berjalan di GPU perangkat dan gratis, dengan LoRA sebagai metodenya.
Setelah Start Training, job menampilkan nilai loss selama berjalan. Begitu selesai, adapter hasil training muncul di My Models di samping model dasar asalnya, dan "Chat with your model" pada run yang selesai menyiapkannya untuk runtime di perangkat sehingga ia bisa bertanya sesuatu di Playground. Akhirnya ia punya model kecil yang privat dan benchmark yang bisa dijalankan ulang setiap kali mempertimbangkan model baru.
Kategori ini tidak berdiri sendiri. Model yang kamu pasang atau hubungkan muncul di daftar model yang sama dengan yang dipakai chat, jadi model lokal bisa menjawab percakapan biasa atau dibandingkan di Playground dengan model cloud yang kamu tambahkan di Providers. Dari Explore, "Use in Notebook" membuka notebook JupyterLab yang sudah disiapkan untuk model itu, baik secara lokal maupun di instance hosting. Saat model butuh GPU sungguhan alih-alih laptopmu, Deployments dan Cloud GPU mengambil alih dan menaruhnya di endpoint terkelola. Sebelum model dipakai pelanggan, Safety menjalankan rangkaian uji red team terhadap model yang sudah di-deploy. Halaman inferensi lokal membahas mesin di perangkat lebih dalam, dan halaman fine-tuning LoRA membahas sisi training-nya.
Apakah saya butuh GPU atau PC gaming?
Tidak. Laptop yang cukup baru sudah bisa untuk model kecil dan menengah; label kecocokan di Explore memberi tahu apa yang muat di mesinmu sebelum mengunduh. Desktop yang lebih kuat atau server remote hanya memperpanjang daftarnya.
Apakah ada yang dikirim ke cloud?
Inferensi lokal, Quantize, dan training lokal berjalan di mesinmu. Training dengan Cloud GPU, endpoint Cloud GPU, dan Providers adalah bagian yang memakai layanan luar, dan layarnya diberi keterangan, misalnya "Managed cloud GPU · needs credits" di dialog training.
Apa bedanya Eval dan Benchmarks?
Eval menilai kualitas jawaban berdasarkan pertanyaan yang kamu tentukan. Benchmarks mengukur kecepatan dan memori: token per detik, waktu ke token pertama, dan latensi.
Di mana saya bisa mendapatkan aplikasinya?
Local Model berjalan di aplikasi desktop, yang bisa kamu unduh di osfoundry.io/id/download.