Package: libsimdutf-dev (8.0.0-1) [debports]

[ Source:  ]

validazione e transcodifica veloci di Unicode - file di sviluppo

La maggior parte dei software moderni si appoggia allo standard Unicode. In memoria, le stringhe Unicode sono rappresentate usando UTF-8 oppure UTF-16. Il formato UTF-8 è lo standard di fatto sul web (JSON, HTML, ecc.) ed è stato adottato come predefinito in molti linguaggi di programmazione popolari (Go, Zig, Rust, Swift, ecc.). Il formato UTF-16 è lo standard in Java, C# e in molte tecnologie di Windows.

Non tutte le sequenze di byte sono stringhe Unicode valide. Non è sicuro usare le stringhe Unicode in UTF-8 e UTF-16LE senza prima validarle. Inoltre, spesso si ha bisogno di convertire le stringhe da una codifica a un'altra, tramite una procedura detta transcodifica. Ai fini della sicurezza, tale transcodifica deve essere validante: deve rifiutare di transcodificare le stringhe scorrette.

Questa libreria fornisce funzioni veloci per Unicode come:

 * validazione di ASCII, UTF-8, UTF-16LE/BE e UTF-32, con identificazione
   degli errori e senza,
 * transcodifica da Latin1 a UTF-8,
 * transcodifica da Latin1 a UTF-16LE/BE,
 * transcodifica da Latin1 a UTF-32,
 * transcodifica da UTF-8 a Latin1, con validazione o senza, con
   identificazione degli errori e senza,
 * transcodifica da UTF-8 a UTF-16LE/BE, con validazione o senza, con
   identificazione degli errori e senza,
 * transcodifica da UTF-8 a UTF-32, con validazione o senza, con
   identificazione degli errori e senza,
 * transcodifica da UTF-16LE/BE a Latin1, con validazione o senza, con
   identificazione degli errori e senza,
 * transcodifica da UTF-16LE/BE a UTF-8, con validazione o senza, con
   identificazione degli errori e senza,
 * transcodifica da UTF-32 a Latin1, con validazione o senza, con
   identificazione degli errori e senza,
 * transcodifica da UTF-32 a UTF-8, con validazione o senza, con
   identificazione degli errori e senza,
 * transcodifica da UTF-32 a UTF-16LE/BE, con validazione o senza, con
   identificazione degli errori e senza,
 * transcodifica da UTF-16LE/BE a UTF-32, con validazione o senza, con
   identificazione degli errori e senza,
 * da una stringa UTF-8, calcolo della dimensione della stringa Latin1
   equivalente,
 * da una stringa UTF-8, calcolo della dimensione della stringa UTF-16
   equivalente,
 * da una stringa UTF-8, calcolo della dimensione della stringa UTF-32
   equivalente (equivalente al conteggio dei caratteri UTF-8),
 * da una stringa UTF-16LE/BE, calcolo della dimensione della stringa
   Latin1 equivalente,
 * da una stringa UTF-16LE/BE, calcolo della dimensione della stringa UTF-8
   equivalente,
 * da una stringa UTF-32, calcolo della dimensione della stringa UTF-8 o
   UTF-16LE equivalente,
 * da una stringa UTF-16LE/BE, calcolo della dimensione della stringa
   UTF-32 equivalente (equivalente al conteggio dei caratteri UTF-16),
 * conteggio dei caratteri UTF-8 e UTF-16LE/BE,
 * cambiamento dell'endianness UTF-16 (da UTF16-LE/BE a UTF-16-BE/LE),
 * WHATWG tollerante da base64 a binario (con codifica URL o senza),
 * da binario a base64 (con codifica URL o senza).

Le funzioni sono accelerate usando istruzioni SIMD (es. ARM NEON, SSE, AVX, AVX-512, RISC-V Vector Extension, LoongSon, POWER, ecc.). Quando le stringhe contengono centinaia di caratteri, si possono spesso transcodificare a velocità che superano un miliardo di caratteri al secondo. Ci si devono attendere alte velocità non solo con stringhe in inglese (ASCII) ma anche in cinese, giapponese, arabo e così via. È gestita l'intera gamma di caratteri (che include, per esempio, le emoji).

La libreria viene compilata in una piccola libreria di poche centinaia di kilobyte. Le funzioni non sollevano eccezioni e non allocano. Ci sono test e benchmark esaustivi.

Questo pacchetto contiene i file di sviluppo.

Other Packages Related to libsimdutf-dev

• dep: libsimdutf31 (= 8.0.0-1)

  validazione e transcodifica veloci di Unicode

Download libsimdutf-dev

Download for all available architectures

Architecture	Package Size	Installed Size	Files
ppc64 (unofficial port)	54.5 kB	604.0 kB	[list of files]