Package: golang-gopkg-neurosnap-sentences.v1-dev (1.0.6-1.1)

[ Source: golang-gopkg-neurosnap-sentences.v1  ]

suddivisione in token di frasi per Go

Un pacchetto golang che converte un pezzo di testo in una lista di frasi.

Questo pacchetto cerca di gestire molti linguaggi: ceco, danese, olandese, inglese, estone, finlandese, francese, tedesco, greco, italiano, norvegese, polacco, portoghese, sloveno, spagnolo, svedese e turco.

Una libreria per rilevamento non supervisionato di confini tra frasi multilingua per golang. Lo scopo di questa libreria è di essere in grado di spezzare qualsiasi testo in una lista di frasi in più lingue. Questo obiettivo viene raggiunto dal sistema punkt attraverso l'allenamento del tokenizer con testo nella lingua data. Una volta che cose come abbreviazioni, posizioni e inizi di frasi sono determinate, trovare i confini delle frasi diventa più facile.

Ci sono molti problemi che si presentano quando si suddivide testo in frasi, tra cui il problema principale sono le abbreviazioni. Il sistema punkt cerca di determinare quando una parola è un'abbreviazione, la fine di una frase o persino entrambe, attraverso l'allenamento del sistema con testo nella lingua data. Il sistema punkt incorpora sia analisi sul testo basata su token, sia basata su tipi, sebbene attraverso due diverse fasi di annotazione.

Articolo originale sulla ricerca: http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=BAE5C34E5C3B9DC60DFC4D93B85D8BB1?doi=10.1.1.85.5017&rep=rep1&type=pdf

Download golang-gopkg-neurosnap-sentences.v1-dev

Download for all available architectures

Architecture	Package Size	Installed Size	Files
all	3,840.7 kB	19,589.0 kB	[list of files]