Tether Data hat QVAC Fabric LLM als ein „Edge-First“-Laufzeit- und Feinabstimmungsframework eingeführt, das Entwicklern ermöglicht, große Sprachmodelle direkt auf alltäglicher Hardware, einschließlich Verbraucher-GPUs, Laptops und Smartphones, auszuführen und zu trainieren.
Was ist QVAC Fabric LLM? QVAC Fabric LLM ist ein einheitliches System, das LLM-Inferenz, LoRA-Fine-Tuning und Instruction-Tuning in einem tragbaren Framework kombiniert. Es zielt auf eine breite Palette von Betriebssystemen und Geräten ab, einschließlich iOS, Android, Windows, macOS, Linux und Standardserverumgebungen.
Unterstützt vollständige LLM-Inferenz sowie LoRA und Instruction-Tuning im selben Stapel, anstatt separate Tools für Bereitstellung und Training zu benötigen.
Läuft auf verschiedenster Hardware, einschließlich AMD, Intel, NVIDIA, Apple Silicon und mobilen GPUs wie Qualcomm Adreno und ARM Mali. Fügt Unterstützung für Fine-Tuning für moderne offene Modelle wie Llama 3, Qwen 3 und Gemma 3 innerhalb des llama.cpp-Ökosystems hinzu."