Package: llama.cpp (8064+dfsg-2 and others)

[ Source: llama.cpp  ]

LLM-inferens i C/C++ - metapakke

Hovedformålet med llama.cpp er at gøre LLM-inferens mulig med minimal opsætning og moderne ydelse på en bred vifte af udstyr - lokalt og i skyen.

 * Ren C/C++-implementering uden nogen afhængigheder
 * Apple silicon er en førsteklasses borger - optimeret via ARM NEON,
   Accelerate og Metal-rammer
 * Understøttelse af AVX, AVX2, AVX512 og AMX for x86-arkitekturer
 * 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit og 8-bit heltalskvantisering
   for hurtigere inferens og reduceret hukommelsesforbrug
 * Egne CUDA-kerne til afvikling af LLM'er på NVIDIA GPU'er (understøttelse
   for AMD GPU'er via HIP og Moore Threads MiT GPU'er via MUSA)
 * Understøttelse for Vulkan- og SYCL-motor
 * CPU+GPU hybrid-inferens til delvist at accelerere modeller større end
   den samlede VRAM-kapacitet

Beregningsfunktionaliteten er tilbudt af ggml. Som standard installeres Ggmls' cpu-motor, men der er mange andre motorer for cpu'er og gpu'er.

Dette er en metapakke, der afhænger af alle de relevante binære pakker.

Other Packages Related to llama.cpp

• dep: libc6.1 (>= 2.38) [alpha]

  GNU C-bibliotek: Delte biblioteker
  also a virtual package provided by libc6.1-udeb

• dep: libcurl4t64 (>= 7.16.2) [alpha]

  nemt at bruge adresseoverførelsesbibliotek for klientsiden (OpenSSL-variant)

• dep: libgcc-s1 (>= 3.4) [alpha]

  GCC støttebibliotek

• dep: libggml-cpu (<< 0.0~git20250713) [alpha]

  Tensor library for machine learning - CPU backend

  or libggml-backend (<< 0.0~git20250713)

  Package not available

  dep: libggml-cpu (>= 0.0~git20250712) [alpha]

  or libggml-backend (>= 0.0~git20250712)

• dep: libstdc++6 (>= 14) [alpha]

  GNU Standard C++ bibliotek v3

• dep: llama.cpp-tools [all]

  LLM inference in C/C++ - main utilities

• dep: python3 [alpha]

  Interaktivt objektorienteret højniveausprog - standardversion af Python 3

• rec: llama.cpp-tools-extra

  LLM inference in C/C++ - extra utilities

• rec: python3-gguf

  Python library for working with GGUF files

• sug: llama.cpp-examples

  LLM-inferens i C/C++ - eksempelprogrammer

Download llama.cpp

Download for all available architectures

Architecture	Version	Package Size	Installed Size	Files
all	8064+dfsg-2	8.0 kB	22.0 kB	[list of files]
alpha (unofficial port)	5882+dfsg-2	7,704.8 kB	67,836.0 kB	[list of files]