Utworzenie usługi
Usługa tokenizacyjna na bazie np. NLTK:
- wejscie plik tekstowy z tekstem
- wyjscie plik tekstowy: tokney rozdzielane spacjami, zachowana wielkość liter, zdania rozdielane enterami
- język - na razie pl, ale w przyszłości kolejne
Przykład: Wejście: Ala z Krakowa jeździ Audi. Marek Nowak z Politechniki Wrocławskiej mieszka przy ul. Sądeckiej.
Wyjście: Ala z Krakowa jeździ Audi Marek Nowak z Politechniki Wrocławskiej mieszka przy ul . Sądeckiej