Merge branch 'tests' into 'master'

Tests

See merge request !20

.gitignore

@@ -2,4 +2,7 @@ __pycache__
 .tox
 /data
 /venv
-/test.ipynb
\ No newline at end of file
+/test.ipynb
+/tests/testdata/models
+.coverage
+/htmlcov
\ No newline at end of file

.gitlab-ci.yml

@@ -6,6 +6,8 @@ cache:
 
 stages:
   - check_style
+  - tests
+  - pages
   - build
   - build_develop
   # - deploy
@@ -17,6 +19,34 @@ pep8:
   script:
     - tox -v -e pep8
 
+tests:
+  stage: tests
+  before_script:
+    - pip install tox==3.18.1
+    - apt-get update && apt-get install -y openjdk-8-jdk && apt-get install -y ant && apt-get clean
+    - apt-get update && apt-get install ca-certificates-java && apt-get clean && update-ca-certificates -f
+    - JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
+    - export JAVA_HOME
+  script:
+    - tox -v -e pytest
+  artifacts:
+    paths:
+      - htmlcov
+    expire_in: 1 week
+    reports:
+      junit:
+        - report.xml
+
+pages:
+  stage: pages
+  script:
+    - mkdir -p public/coverage
+    - cp -r htmlcov/* public/coverage/
+  artifacts:
+    name: coverage
+    paths:
+      - public
+
 build_image:
   stage: build
   image: 'docker:18.09.7'

example_texts/expected/en.txt

-Water plays an important role in the world economy. Approximately 70% of the freshwater used by humans goes to agriculture. Fishing in salt and fresh water bodies is a major source of food for many parts of the world. Much of the long-distance trade of commodities (such as oil, natural gas, and manufactured products) is transported by boats through seas, rivers, lakes, and canals. Large quantities of water, ice, and steam are used for cooling and heating, in industry and homes. Water is an excellent solvent for a wide variety of substances both mineral and organic; as such it is widely used in industrial processes, and in cooking and washing. Water, ice and snow are also central to many sports and other forms of entertainment, such as swimming, pleasure boating, boat racing, surfing, sport fishing, diving, ice skating and skiing.
\ No newline at end of file
+Water plays an important role in the world economy. Approximately 70% of the freshwater used by humans goes to agriculture. Fishing in salt and fresh water bodies is a major source of food for many parts of the world. Much of the long distance trade of commodities such as oil, natural gas, and manufactured products is transported by boats through seas, rivers, lakes, and canals. Large quantities of water, ice, and steam are used for cooling and heating in industry and homes. Water is an excellent solvent for a wide variety of substances, both mineral and organic. As such, it is widely used in industrial processes and in cooking and washing Water, ice and snow are also central to many sports and other forms of entertainment, such as swimming, pleasure boating, boat racing, surfing, sport fishing, diving, ice skating, and skiing.
\ No newline at end of file

example_texts/expected/pl.txt

-Woda odgrywa ważną rolę w gospodarce światowej. Około 70% słodkiej wody zużywanej przez człowieka jest przeznaczane na rolnictwo. Połowy w słonych i słodkich zbiornikach wodnych są głównym źródłem pożywienia w wielu częściach świata. Duża część długodystansowego handlu towarami (takimi jak ropa naftowa, gaz ziemny i produkty przemysłowe) jest transportowana łodziami przez morza, rzeki, jeziora i kanały. Duże ilości wody, lodu i pary są wykorzystywane do chłodzenia i ogrzewania w przemyśle i domach. Woda jest doskonałym rozpuszczalnikiem dla szerokiej gamy substancji zarówno mineralnych, jak i organicznych; jako taka jest szeroko stosowana w procesach przemysłowych, a także w gotowaniu i praniu. Woda, lód i śnieg są również podstawą wielu sportów i innych form rozrywki, takich jak pływanie, żeglarstwo, wyścigi łodzi, surfing, wędkarstwo sportowe, nurkowanie, łyżwiarstwo i narciarstwo.
\ No newline at end of file
+Woda odgrywa ważną rolę w gospodarce światowej. Około 70% słodkiej wody zużywanej przez człowieka jest przeznaczane na rolnictwo. Połowy w słonych i słodkich zbiornikach wodnych są głównym źródłem pożywienia w wielu częściach świata. Duża część długodystansowego handlu towarami, takimi jak ropa naftowa, gaz ziemny i produkty przemysłowe jest transportowana łodziami przez morza, rzeki, jeziora i kanały. Duże ilości wody, lodu i pary są wykorzystywane do chłodzenia i ogrzewania w przemyśle i domach. Woda jest doskonałym rozpuszczalnikiem dla szerokiej gamy substancji, zarówno mineralnych, jak i organicznych. Jako taka jest szeroko stosowana w procesach przemysłowych, a także w gotowaniu i praniu. Woda, lód i śnieg są również podstawą wielu sportów i innych form rozrywki, takich jak pływanie, żeglarstwo, wyścigi łodzi, surfing, wędkarstwo sportowe, nurkowanie, łyżwiarstwo i narciarstwo.
\ No newline at end of file

example_texts/expected/ru.txt

-Вода играет важную роль в мировой экономике. Примерно 70% пресной воды, используемой человеком, идет на нужды сельского хозяйства. Рыболовство в соленых и пресных водоемах является основным источником пищи для многих регионов мира. Большая часть торговли товарами (такими как нефть, природный газ и промышленные товары) на дальние расстояния осуществляется с помощью судов по морям, рекам, озерам и каналам. Большое количество воды, льда и пара используется для охлаждения и отопления в промышленности и домах. Вода является прекрасным растворителем для широкого спектра веществ, как минеральных, так и органических; поэтому она широко используется в промышленных процессах, а также при приготовлении пищи и стирке. Вода, лед и снег также играют центральную роль во многих видах спорта и других формах развлечений, таких как плавание, прогулочные суда, гонки на лодках, серфинг, спортивная рыбалка, дайвинг, катание на коньках и лыжах.
\ No newline at end of file
+Вода играет важную роль в мировое экономике. Примерно 70 % пресное воды, используемое человеком, идет на нужды сельского хозяйство. Рыболовство в соленых и пресных водоемах является основным источником пищи для многих регионов мира. Большая часть торговли товарами, такими как нефть, природные газ и промышленные товары на дальние расстояния осуществляется с помощью судов по морям, рекам, озерам и каналам. Большое количество воды, льда и пара используется для охлаждения и отопления в промышленности и домах. Вода является прекрасным растворителем для широкого спектра веществ, как минеральных, так и органических, поэтому она широко используется в промышленных процессах, а также при приготовлении пищи и стирке. Вода, лед и снег также играют центральную роль во многих видах спорта и других формах развлечении, таких как плавание, прогулочные суда, гонки на лодках, серфинг, спортивная рыбалка, дайвинг, катание на коньках и лыжах
\ No newline at end of file

tests/conftest.py

+import json
+import os
+
+import pytest
+
+from src.punctuator_worker import PunctuatorWorker
+
+
+@pytest.fixture(scope="session")
+def anyio_backend():
+    return 'asyncio'
+
+
+@pytest.fixture(scope="session")
+async def testdata_dir():
+    return 'tests/testdata/'
+
+
+@pytest.fixture
+async def output_dir(testdata_dir):
+    return f"{testdata_dir}output/"
+
+
+@pytest.fixture
+async def input_dir(testdata_dir):
+    return f"{testdata_dir}input/"
+
+
+@pytest.fixture
+async def expected_dir(testdata_dir):
+    return f"{testdata_dir}expected/"
+
+
+@pytest.fixture(autouse=True)
+async def run_around_tests(output_dir):
+    yield
+    for file in os.listdir(output_dir):
+        if not file.startswith('.'):
+            os.remove(os.path.join(output_dir, file))
+
+
+@pytest.fixture(scope="session")
+async def model_location(testdata_dir):
+    return os.path.join(testdata_dir, "models")
+
+
+@pytest.fixture
+async def test_text():
+    return "Woda odgrywa ważną rolę w gospodarce światowej. Około 70% słodkiej wody zużywanej przez człowieka " \
+           "jest przeznaczane na rolnictwo."
+
+
+@pytest.fixture(scope="session")
+async def language_tool_location():
+    return "/builds/nlpworkers/punctuator/.tox/pytest/lib/python3.8/site-packages/language_tool_python"
+
+
+@pytest.fixture(scope="session")
+def worker(model_location, language_tool_location):
+    return PunctuatorWorker(model_location, language_tool_location)
\ No newline at end of file

tests/test.py

+from src.punctuator_worker import PunctuatorWorker
+from src.language_tool import LanguageToolFixer
+from filecmp import cmp
+import pytest
+
+
+def language_process_test(worker, input_dir, output_dir, expected_dir, language='pl'):
+    worker.process(f"{input_dir}{language}.txt", {"language": language}, f"{output_dir}{language}.txt")
+    assert(cmp(f"{output_dir}{language}.txt", f"{expected_dir}{language}.txt"))
+
+
+@pytest.mark.anyio
+async def test_punctuator_init(model_location, language_tool_location):
+    punctuator = PunctuatorWorker(model_location, language_tool_location)
+    assert type(punctuator).__name__ == 'PunctuatorWorker'
+
+
+@pytest.mark.anyio
+async def test_punctuator_init_no_lt(model_location):
+    punctuator = PunctuatorWorker(model_location, None)
+    assert type(punctuator).__name__ == 'PunctuatorWorker'
+
+
+@pytest.mark.anyio
+async def test_process_en(worker, input_dir, output_dir, expected_dir):
+    language_process_test(worker, input_dir, output_dir, expected_dir, 'en')
+
+
+@pytest.mark.anyio
+async def test_process_pl(worker, input_dir, output_dir, expected_dir):
+    language_process_test(worker, input_dir, output_dir, expected_dir)
+
+
+@pytest.mark.anyio
+async def test_process_ru(worker, input_dir, output_dir, expected_dir):
+    language_process_test(worker, input_dir, output_dir, expected_dir, 'ru')
+
+
+@pytest.mark.anyio
+async def test_language_tool(test_text, language_tool_location):
+    fixer = LanguageToolFixer(language_tool_location)
+    assert (test_text == fixer.fix_punctuation(test_text, 'invalid'))
+
+

tests/testdata/expected/en.txt

+Water plays an important role in the world economy. Approximately 70% of the freshwater used by humans goes to agriculture. Fishing in salt and fresh water bodies is a major source of food for many parts of the world. Much of the long distance trade of commodities such as oil, natural gas, and manufactured products is transported by boats through seas, rivers, lakes, and canals. Large quantities of water, ice, and steam are used for cooling and heating in industry and homes. Water is an excellent solvent for a wide variety of substances, both mineral and organic. As such, it is widely used in industrial processes and in cooking and washing Water, ice and snow are also central to many sports and other forms of entertainment, such as swimming, pleasure boating, boat racing, surfing, sport fishing, diving, ice skating, and skiing.
\ No newline at end of file

tests/testdata/expected/pl.txt

+Woda odgrywa ważną rolę w gospodarce światowej. Około 70% słodkiej wody zużywanej przez człowieka jest przeznaczane na rolnictwo. Połowy w słonych i słodkich zbiornikach wodnych są głównym źródłem pożywienia w wielu częściach świata. Duża część długodystansowego handlu towarami, takimi jak ropa naftowa, gaz ziemny i produkty przemysłowe jest transportowana łodziami przez morza, rzeki, jeziora i kanały. Duże ilości wody, lodu i pary są wykorzystywane do chłodzenia i ogrzewania w przemyśle i domach. Woda jest doskonałym rozpuszczalnikiem dla szerokiej gamy substancji, zarówno mineralnych, jak i organicznych. Jako taka jest szeroko stosowana w procesach przemysłowych, a także w gotowaniu i praniu. Woda, lód i śnieg są również podstawą wielu sportów i innych form rozrywki, takich jak pływanie, żeglarstwo, wyścigi łodzi, surfing, wędkarstwo sportowe, nurkowanie, łyżwiarstwo i narciarstwo.
\ No newline at end of file

tests/testdata/expected/ru.txt

+Вода играет важную роль в мировое экономике. Примерно 70 % пресное воды, используемое человеком, идет на нужды сельского хозяйство. Рыболовство в соленых и пресных водоемах является основным источником пищи для многих регионов мира. Большая часть торговли товарами, такими как нефть, природные газ и промышленные товары на дальние расстояния осуществляется с помощью судов по морям, рекам, озерам и каналам. Большое количество воды, льда и пара используется для охлаждения и отопления в промышленности и домах. Вода является прекрасным растворителем для широкого спектра веществ, как минеральных, так и органических, поэтому она широко используется в промышленных процессах, а также при приготовлении пищи и стирке. Вода, лед и снег также играют центральную роль во многих видах спорта и других формах развлечении, таких как плавание, прогулочные суда, гонки на лодках, серфинг, спортивная рыбалка, дайвинг, катание на коньках и лыжах
\ No newline at end of file

tests/testdata/input/en.txt

+water plays an important role in the world economy approximately 70 of the freshwater used by humans goes to agriculture fishing in salt and fresh water bodies is a major source of food for many parts of the world much of the longdistance trade of commodities such as oil natural gas and manufactured products is transported by boats through seas rivers lakes and canals large quantities of water ice and steam are used for cooling and heating in industry and homes water is an excellent solvent for a wide variety of substances both mineral and organic as such it is widely used in industrial processes and in cooking and washing water ice and snow are also central to many sports and other forms of entertainment such as swimming pleasure boating boat racing surfing sport fishing diving ice skating and skiing
\ No newline at end of file

tests/testdata/input/pl.txt

+woda odgrywa ważną rolę w gospodarce światowej około 70 słodkiej wody zużywanej przez człowieka jest przeznaczane na rolnictwo połowy w słonych i słodkich zbiornikach wodnych są głównym źródłem pożywienia w wielu częściach świata duża część długodystansowego handlu towarami takimi jak ropa naftowa gaz ziemny i produkty przemysłowe jest transportowana łodziami przez morza rzeki jeziora i kanały duże ilości wody lodu i pary są wykorzystywane do chłodzenia i ogrzewania w przemyśle i domach woda jest doskonałym rozpuszczalnikiem dla szerokiej gamy substancji zarówno mineralnych jak i organicznych jako taka jest szeroko stosowana w procesach przemysłowych a także w gotowaniu i praniu woda lód i śnieg są również podstawą wielu sportów i innych form rozrywki takich jak pływanie żeglarstwo wyścigi łodzi surfing wędkarstwo sportowe nurkowanie łyżwiarstwo i narciarstwo
\ No newline at end of file

tests/testdata/input/ru.txt

+вода играет важную роль в мировой экономике примерно 70 пресной воды используемой человеком идет на нужды сельского хозяйства рыболовство в соленых и пресных водоемах является основным источником пищи для многих регионов мира большая часть торговли товарами такими как нефть природный газ и промышленные товары на дальние расстояния осуществляется с помощью судов по морям рекам озерам и каналам большое количество воды льда и пара используется для охлаждения и отопления в промышленности и домах вода является прекрасным растворителем для широкого спектра веществ как минеральных так и органических поэтому она широко используется в промышленных процессах а также при приготовлении пищи и стирке вода лед и снег также играют центральную роль во многих видах спорта и других формах развлечений таких как плавание прогулочные суда гонки на лодках серфинг спортивная рыбалка дайвинг катание на коньках и лыжах
\ No newline at end of file

tox.ini

 [tox]
-envlist = unittest,pep8
+envlist = unittest,pep8,py39
 skipsdist = True
 
 [flake8]
@@ -18,6 +18,7 @@ exclude =
     .eggs
     data
     generated
+    tests
 max-complexity = 10
 min_python_version = 3.8
 max-line-length = 88
@@ -34,3 +35,22 @@ basepython = python
 commands =
     flake8 {posargs}
 
+[testenv:pytest]
+deps =
+    pytest
+    coverage
+    nlp_ws
+    asyncio
+    pytest-asyncio
+    anyio==3.7.1
+    punctuator==2.1.0
+    language-tool-python==2.5.4
+    awscli==1.20.11
+commands =
+    aws --no-sign-request --endpoint-url https://s3.clarin-pl.eu s3 sync --delete s3://workers/punctuator/models_2_0 tests/testdata/models
+    coverage run --source=src -m pytest --junitxml=report.xml tests/test.py
+    coverage html
+
+[run]
+relative_files = True
+branch = True
\ No newline at end of file