... | ... | @@ -51,30 +51,57 @@ Ten sposób uruchomienia nie jest zalecany, ponieważ *kwazon* wymaga zasobów k |
|
|
1. Dostęp SSH (wymaga klucza oraz zdefiniowanego tunelu - instrukcja https://gitlab.clarin-pl.eu/snippets/8)
|
|
|
```ssh root@clarin-2-17.e-science.pl```
|
|
|
|
|
|
2. Budowanie i uruchomienie
|
|
|
* Wszystkie workery znajdują się w ```/opt/azon2/worker```
|
|
|
* Zbudowanie zależnych kontenerów
|
|
|
```bash
|
|
|
cd /opt/azon2/worker/kwazon2
|
|
|
2. Budowanie i uruchomienie
|
|
|
* Wszystkie workery znajdują się w ```/opt/azon2/worker```
|
|
|
|
|
|
2.1 Krótka instrukcja
|
|
|
2.1.1 Zbudowanie zależności
|
|
|
```
|
|
|
./build.sh base
|
|
|
./build.sh gtpprmc
|
|
|
```
|
|
|
lub
|
|
|
```
|
|
|
./build.sh base --no-cache
|
|
|
./build.sh gtpprmc-precomp --no-cache
|
|
|
```
|
|
|
lub
|
|
|
```
|
|
|
./build.sh base
|
|
|
./build.sh gtpprmc-precomp
|
|
|
```
|
|
|
jeśli chcemy korzystać z pośrednich obrazów z ostatniego budowania.
|
|
|
Jeśli chcemy kompilować ze źródeł to należy użyć *gtpprmc*
|
|
|
zamiast *gtpprmc-precomp*:
|
|
|
```
|
|
|
./build.sh gtpprmc --no-cache
|
|
|
```
|
|
|
2.1.2 budowanie narzędzia
|
|
|
```
|
|
|
cd ..
|
|
|
docker-compose build kwazon
|
|
|
```
|
|
|
2.1.3 Uruchomienie narzędzia
|
|
|
```
|
|
|
docker-compose up -d kwazon
|
|
|
```
|
|
|
|
|
|
* z poziomu katalogu ```/opt/azon2/worker``` budujemy narzędzie kwazon:
|
|
|
```
|
|
|
docker-compose build kwazon2
|
|
|
docker-compose up -d kwazon2
|
|
|
docker-compose build kwazon
|
|
|
docker-compose up -d kwazon
|
|
|
```
|
|
|
Uwaga! W przypadku samych zmian w repozytorium w celu użycia nowych zmian należy wywołać budowanie bez cache:
|
|
|
```
|
|
|
docker-compose build --no-cache kwazon2
|
|
|
docker-compose build --no-cache kwazon
|
|
|
```
|
|
|
* w razie potrzeby zrestartowania narzędzia z poziomu katalogu ```/opt/azon2/worker``` wywołujemy:
|
|
|
```
|
|
|
docker-compose restart kwazon2
|
|
|
docker-compose restart kwazon
|
|
|
```
|
|
|
* logi (z poziomu ```/opt/azon2/worker```)
|
|
|
```
|
|
|
docker-compose logs kwazon2
|
|
|
docker-compose logs kwazon
|
|
|
```
|
|
|
3. Budowanie gtpprmc i instalacja w określonej lokalizacji
|
|
|
|
... | ... | @@ -93,13 +120,13 @@ $ make install |
|
|
W katalogu ```/opt/data/in``` są pliki z danymi (w tym mwe.txt).
|
|
|
W katalogu ```/opt/azon2``` jest skrypt test.py:
|
|
|
```bash
|
|
|
python test.py -F 'any2txt|morphoDita|conv({"type":"ccl2iob"})|poldeepner|liner21({"in":"iob","model":"events"})|liner21|wsd|elinker|kwazon2|conv({"type":"ccl2json"})|merazon' mwe.txt
|
|
|
python test.py -F 'any2txt|morphoDita|conv({"type":"ccl2iob"})|poldeepner|liner21({"in":"iob","model":"events"})|liner21|wsd|elinker|kwazon|conv({"type":"ccl2json"})|merazon' mwe.txt
|
|
|
```
|
|
|
Przetwarzanie katalogu (testdir.py):
|
|
|
```bash
|
|
|
python testdir.py -F 'any2txt|morphoDita|conv({"type":"ccl2iob"})|poldeepner|liner21({"in":"iob","model":"events"})|liner21|wsd|elinker|kwazon2|ner2json|conv({"type":"ccl2json"})|merazon' sma sam_oute
|
|
|
python testdir.py -F 'any2txt|morphoDita|conv({"type":"ccl2iob"})|poldeepner|liner21({"in":"iob","model":"events"})|liner21|wsd|elinker|kwazon|ner2json|conv({"type":"ccl2json"})|merazon' sma sam_oute
|
|
|
```
|
|
|
lub z bezwzględnymi ścieżkami:
|
|
|
```bash
|
|
|
python testdir.py -F 'any2txt|morphoDita|conv({"type":"ccl2iob"})|poldeepner|liner21({"in":"iob","model":"events"})|liner21|wsd|elinker|kwazon2|ner2json|conv({"type":"ccl2json"})|merazon' /opt/tmp/testy/sma /opt/tmp/testy/sam_oute
|
|
|
python testdir.py -F 'any2txt|morphoDita|conv({"type":"ccl2iob"})|poldeepner|liner21({"in":"iob","model":"events"})|liner21|wsd|elinker|kwazon|ner2json|conv({"type":"ccl2json"})|merazon' /opt/tmp/testy/sma /opt/tmp/testy/sam_oute
|
|
|
``` |
|
|
\ No newline at end of file |