llama.cpp

Yerel model ekosisteminin temeli; dil modellerini sıradan işlemci ve ekran kartlarında verimli çalıştıran C ve C++ ile yazılmış çıkarım motoru. Ollama, LM Studio, Jan ve KoboldCpp gibi araçların çoğu bunun üzerine kurulu. GGUF model formatı da buradan çıktı. Georgi Gerganov'un başlattığı proje, açık kaynak yapay zekanın en önemli altyapılarından biri.

github.com/ggml-org/llama.cpp