Chunkowanie dłuższych danych
Dla formatu wyjsciowego JSON, jak długość dokuemntu wejściowego przekroczy n=50 000 bajtów (pole w config.ini) to plik wejściowy jest cięty na fragmenty o długości n/2 (kod podzialu z dividera https://gitlab.clarin-pl.eu/nlpworkers/divider/-/blob/chunker/src/chunker.py) i kazde zadanie jest wykonywane w osobno a na koncu wyniki laczone w jeden (zachowana kolejnosc) jako JSONL (kazdy json w oddzielnej linii)