Package: llama.cpp-examples (5882+dfsg-3)

[ Source: llama.cpp  ]

LLM-inferens i C/C++ - eksempelprogrammer

Hovedformålet med llama.cpp er at gøre LLM-inferens mulig med minimal opsætning og moderne ydelse på en bred vifte af udstyr - lokalt og i skyen.

 * Ren C/C++-implementering uden nogen afhængigheder
 * Apple silicon er en førsteklasses borger - optimeret via ARM NEON,
   Accelerate og Metal-rammer
 * Understøttelse af AVX, AVX2, AVX512 og AMX for x86-arkitekturer
 * 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit og 8-bit heltalskvantisering
   for hurtigere inferens og reduceret hukommelsesforbrug
 * Egne CUDA-kerne til afvikling af LLM'er på NVIDIA GPU'er (understøttelse
   for AMD GPU'er via HIP og Moore Threads MiT GPU'er via MUSA)
 * Understøttelse for Vulkan- og SYCL-motor
 * CPU+GPU hybrid-inferens til delvist at accelerere modeller større end
   den samlede VRAM-kapacitet

Beregningsfunktionaliteten er tilbudt af ggml. Som standard installeres Ggmls' cpu-motor, men der er mange andre motorer for cpu'er og gpu'er.

Denne pakke indeholder redskaber, som opstrøm sender som eksempler.

Other Packages Related to llama.cpp-examples

• dep: libc6 (>= 2.38)

  GNU C-bibliotek: Delte biblioteker
  also a virtual package provided by libc6-udeb

• dep: libcurl4t64 (>= 7.16.2)

  nemt at bruge adresseoverførelsesbibliotek for klientsiden (OpenSSL-variant)

• dep: libgcc-s1 (>= 3.0)

  GCC støttebibliotek

• dep: libggml0 (>= 0.0~git20250712.d62df60)

  Tensor library for machine learning - libraries

• dep: libllama0 (>= 5882+dfsg)

  LLM inference in C/C++ - libraries

• dep: libstdc++6 (>= 14)

  GNU Standard C++ bibliotek v3

• dep: llama.cpp-tools (= 5882+dfsg-3)

  LLM inference in C/C++ - main utilities

Download llama.cpp-examples

Download for all available architectures

Architecture	Package Size	Installed Size	Files
amd64	2,866.7 kB	27,617.0 kB	[list of files]