nlpworkers issueshttps://gitlab.clarin-pl.eu/groups/nlpworkers/-/issues2023-11-17T12:52:33Zhttps://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/issues/9Uporządkowanie logów2023-11-17T12:52:33ZPaweł WalkowiakUporządkowanie logów* Usuń log https://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/blob/master/src/tagger.py#L167
* W miejscach jak https://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/blob/master/src/tagger.py#L238, https://gitlab.clarin-pl.eu/nlpworkers/po...* Usuń log https://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/blob/master/src/tagger.py#L167
* W miejscach jak https://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/blob/master/src/tagger.py#L238, https://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/blob/master/src/tagger.py#L276-277 zmień na poziom logów debug (tam gdzie nie jes t to faktycznie złapanie exception)
* Na nowym branchu i MR do masterBartosz MatysiakBartosz Matysiakhttps://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/issues/5Uporządkowanie logów2023-11-17T12:52:27ZPaweł WalkowiakUporządkowanie logów* Usuń logi https://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/blob/master/src/converter.py#L162, https://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/blob/master/src/converter.py#L205, https://gitlab.clarin-pl.eu/nlpworkers/pos_co...* Usuń logi https://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/blob/master/src/converter.py#L162, https://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/blob/master/src/converter.py#L205, https://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/blob/master/src/converter.py#L218
* Jeśli są jakieś inne które są ustawione na poziom error ale nie są wyłapaniem błędu zmień na poziom debug
* Na nowym branchu i MR do masterBartosz MatysiakBartosz Matysiakhttps://gitlab.clarin-pl.eu/nlpworkers/archive_extractor/-/issues/4Add tests2023-11-14T13:37:05ZBartosz WalkowiakAdd testsBartosz MatysiakBartosz Matysiakhttps://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/issues/4Clarin-json2023-11-10T13:50:24ZPaweł WalkowiakClarin-json- [x] Przerobić [ccl2json](https://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/blob/master/src/converter.py#L84) żeby zwracało obiekt clarin-json.Document, który będzie zapisywany jako wyjście z worker-a
- [x] Budować CI z tagiem `cla...- [x] Przerobić [ccl2json](https://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/blob/master/src/converter.py#L84) żeby zwracało obiekt clarin-json.Document, który będzie zapisywany jako wyjście z worker-a
- [x] Budować CI z tagiem `clarin-json` jak w [postagger CI](https://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/blob/clarin_json/.gitlab-ci.yml)Bartosz MatysiakBartosz Matysiakhttps://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/issues/8Clarin-json2023-11-10T13:50:06ZPaweł WalkowiakClarin-json- [ ] Wykorzystać bibliotekę [clarin-json](https://gitlab.clarin-pl.eu/libraries/clarin-json) w postagger
- [ ] Poczekać aż zbudują bibliotekę (kiedy to będzie ? ;( )/ zbudować samemu biorąc pod uwagę że coś może się jeszcze tam zmienić
...- [ ] Wykorzystać bibliotekę [clarin-json](https://gitlab.clarin-pl.eu/libraries/clarin-json) w postagger
- [ ] Poczekać aż zbudują bibliotekę (kiedy to będzie ? ;( )/ zbudować samemu biorąc pod uwagę że coś może się jeszcze tam zmienić
- [x] Zastąpić kod podziału elementem `open_chunks` z clarin-json
- [ ] Wykorzystać obiektowość i metody dla tych obiektów z clarin-json
- [ ] Zapisywać obiekty clarin_json.Document zwracane przez subtaskiBartosz MatysiakBartosz Matysiakhttps://gitlab.clarin-pl.eu/nlpworkers/nlp_ws/-/issues/9Add name for processes2023-11-10T12:10:13ZBartosz WalkowiakAdd name for processesExample:
https://gitlab.clarin-pl.eu/sentworkers/multi_bert_sim/-/blob/master/src/worker.py#L166Example:
https://gitlab.clarin-pl.eu/sentworkers/multi_bert_sim/-/blob/master/src/worker.py#L166Bartosz WalkowiakBartosz Walkowiakhttps://gitlab.clarin-pl.eu/nlpworkers/archive_extractor/-/issues/5Parallel operation of the worker2023-10-27T08:27:41ZBartosz WalkowiakParallel operation of the workerParallel operation on directories with more than X files.Parallel operation on directories with more than X files.Bartosz WalkowiakBartosz Walkowiakhttps://gitlab.clarin-pl.eu/nlpworkers/archive_extractor/-/issues/6Add metadata to worker2023-10-24T08:18:42ZBartosz WalkowiakAdd metadata to workerCreate metadata template based on report.jsonCreate metadata template based on report.jsonBartosz WalkowiakBartosz Walkowiakhttps://gitlab.clarin-pl.eu/nlpworkers/wordifier/-/issues/2Redeploy2023-09-01T07:58:10ZMateusz GniewkowskiRedeployMateusz GniewkowskiMateusz Gniewkowskihttps://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/issues/7Fix dir_style cheking bug2023-08-11T11:48:59ZPaweł WalkowiakFix dir_style cheking bug- [x] Fix in line https://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/blob/master/src/tagger.py#L140
- [x] Error occurs on `lpmn_client_biz "['divider', {'postagger': {'lang': 'pl'}}]" maj.zip -it file -v`
[maj.zip](/uploads/2fee9c203b6b...- [x] Fix in line https://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/blob/master/src/tagger.py#L140
- [x] Error occurs on `lpmn_client_biz "['divider', {'postagger': {'lang': 'pl'}}]" maj.zip -it file -v`
[maj.zip](/uploads/2fee9c203b6b82f177b82fb4e8ec0b89/maj.zip)Bartosz MatysiakBartosz Matysiakhttps://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/issues/3Nowa opcja2023-08-07T09:44:18ZPaweł WalkowiakNowa opcja- [x] Opcja konwersji jsonline -> ccl `{'posconverter': {'input_format': 'json', 'output_format': 'ccl'}}`- [x] Opcja konwersji jsonline -> ccl `{'posconverter': {'input_format': 'json', 'output_format': 'ccl'}}`Bartosz MatysiakBartosz Matysiakhttps://gitlab.clarin-pl.eu/nlpworkers/pos_tagger/-/issues/6Dodać wsparcie TEI2023-08-02T07:18:50ZPaweł WalkowiakDodać wsparcie TEI- jako opcję `output`: `tei`
- automatycznie rozpoznaj że wejściem jest plik tei (xml z metadanymi tekstu)
- wykonaj akcję z `method` taggowanie lub ner na tekstach wyciągniętych z wejściowego xml
- na wyjściu zwróć plik TEI z oryginalny...- jako opcję `output`: `tei`
- automatycznie rozpoznaj że wejściem jest plik tei (xml z metadanymi tekstu)
- wykonaj akcję z `method` taggowanie lub ner na tekstach wyciągniętych z wejściowego xml
- na wyjściu zwróć plik TEI z oryginalnymi metadanymi i dodana warstwą powstałą w wyniku działania tagger-a/ner-a
- Rozpoznawaj wejście w sposób "sprytny", poprzez próbę sparsowania, wykrycie czy to xml a nie tylko poprzez rozszerzenie
Przykładowe wejście: [text_structure.xml](/uploads/e988b9de84337cfe25b4fa2bf4512cb5/text_structure.xml)
Przykładowe wyjście: [ann_morphosyntax.xml](/uploads/631d35b6b343690bdbf79b2462d98b6a/ann_morphosyntax.xml)Bartosz MatysiakBartosz Matysiakhttps://gitlab.clarin-pl.eu/nlpworkers/nlp_ws/-/issues/8Show logs from many worker instances2023-07-31T07:43:41ZBartosz WalkowiakShow logs from many worker instancesChange `_log = logging.getLogger(__name__)` to `_log = logging.getLogger("nlp_ws._worker")` in worker module to use logger from "nlp_ws._worker"
Whole magic is [here](https://gitlab.clarin-pl.eu/nlpworkers/nlp_ws/-/blob/master/nlp_ws/lo...Change `_log = logging.getLogger(__name__)` to `_log = logging.getLogger("nlp_ws._worker")` in worker module to use logger from "nlp_ws._worker"
Whole magic is [here](https://gitlab.clarin-pl.eu/nlpworkers/nlp_ws/-/blob/master/nlp_ws/logserver.py#L28), all files `nlp_ws.*` has good logger
But logger for [service](https://gitlab.clarin-pl.eu/nlpworkers/nlp_ws/-/blob/master/nlp_ws/logserver.py#L32), has strange name (`'<service-remote>'`) and works only with [Warning level](https://gitlab.clarin-pl.eu/nlpworkers/nlp_ws/-/blob/master/nlp_ws/logserver.py#L89)Bartosz WalkowiakBartosz Walkowiakhttps://gitlab.clarin-pl.eu/nlpworkers/easymatcher/-/issues/2Read not only .txt files2023-07-04T11:14:03ZKonrad WojtasikRead not only .txt filesWe should read jsonline files with key "text", otherwise look for .txtWe should read jsonline files with key "text", otherwise look for .txtJakub GołuchJakub Gołuchhttps://gitlab.clarin-pl.eu/nlpworkers/easymatcher/-/issues/1Save output as a json not as string2023-06-21T11:33:16ZKonrad WojtasikSave output as a json not as stringRight now json is converted to string, we should return jsonRight now json is converted to string, we should return jsonJakub GołuchJakub Gołuchhttps://gitlab.clarin-pl.eu/nlpworkers/lpmn_client2/-/issues/1Add run llm2023-06-20T09:11:34ZBartosz WalkowiakAdd run llmrun llm will be used with [`run_with_header`](https://gitlab.clarin-pl.eu/nlpworkers/lpmn_client2/-/blob/master/lpmn_client_biz/task.py#L251)
llm endpoints (in swagger):
- https://services-test.clarin-pl.eu/api/v1/docs#/tasks/get_chat_c...run llm will be used with [`run_with_header`](https://gitlab.clarin-pl.eu/nlpworkers/lpmn_client2/-/blob/master/lpmn_client_biz/task.py#L251)
llm endpoints (in swagger):
- https://services-test.clarin-pl.eu/api/v1/docs#/tasks/get_chat_completions_tasks_llm_completions_post
- https://services-test.clarin-pl.eu/api/v1/docs#/tasks/get_chat_edits_tasks_llm_edits_post
llm endpoints (in cb-ws-rest):
- https://gitlab.clarin-pl.eu/clarinbiz/cb-ws-rest/-/blob/master/src/rest.py#L408-496Paweł WalkowiakPaweł Walkowiakhttps://gitlab.clarin-pl.eu/nlpworkers/archive_extractor/-/issues/3Add fields to report.json2023-06-09T10:06:07ZBartosz WalkowiakAdd fields to report.json- [x] creation time
- [ ] ???- [x] creation time
- [ ] ???Bartosz WalkowiakBartosz Walkowiakhttps://gitlab.clarin-pl.eu/nlpworkers/winer/-/issues/1Fix gpu CI2023-06-02T11:28:48ZBartosz WalkowiakFix gpu CIBartosz WalkowiakBartosz Walkowiakhttps://gitlab.clarin-pl.eu/nlpworkers/winer/-/issues/2Brak identyfikatorów przy entity2023-05-22T11:10:13ZTomasz NaskretBrak identyfikatorów przy entitydodać id w entity
obecnie -> [{"text": "zakładów im. Cegielskiego", "type": "nam_org_organization", "tokens": [132, 136], "positions": [844, 869]},
po zmianie np:
[{"id":15, "text": "zakładów im. Cegielskiego", "type": "nam_org_organi...dodać id w entity
obecnie -> [{"text": "zakładów im. Cegielskiego", "type": "nam_org_organization", "tokens": [132, 136], "positions": [844, 869]},
po zmianie np:
[{"id":15, "text": "zakładów im. Cegielskiego", "type": "nam_org_organization", "tokens": [132, 136], "positions": [844, 869]},Wiktor WalentynowiczWiktor Walentynowiczhttps://gitlab.clarin-pl.eu/nlpworkers/pos_converter/-/issues/2Add option to convert json -> lemmas2023-05-16T10:50:01ZPaweł WalkowiakAdd option to convert json -> lemmas- [ ] Add support for json -> lemmas convertion (used when in postagger `output`: `lemmas`, `lang`: `en`)
- [ ] If you see lack of other option, we can discuss implementing it- [ ] Add support for json -> lemmas convertion (used when in postagger `output`: `lemmas`, `lang`: `en`)
- [ ] If you see lack of other option, we can discuss implementing itBartosz MatysiakBartosz Matysiak