Runtime edge global untuk inferensi AI berlatensi rendah.
Menangani 14 miliar request/bulan di 18 region dengan cold start di bawah 40ms. Dibangun dengan Rust di atas WasmEdge; menyediakan SDK untuk TS / Go / Python.
Berawal dari eksperimen pribadi, projek ini tumbuh menjadi karya yang paling dikenal dari saya. Premis teknisnya sederhana — kebanyakan tim terlalu sibuk membangun runtime dan kurang membangun antarmukanya — dan respons pengguna awal membenarkan itu.
Runtime ditulis ulang sepenuhnya dengan Rust, CLI dikirim sebagai satu binary, dan control plane-nya berjalan santai di tiga mesin. Seluruh sistemnya muat dalam sesuatu yang tim normal sebut prototipe.
"Konsol deploy tercepat yang pernah saya pakai. Rasanya lebih dekat ke plugin Vim daripada produk SaaS — dan itu pujian tertinggi dari saya."
Eka Setiawan — Staff Eng, Anthemic