Add itos and stoi tests for Vocabulary

tests/data/test_vocabulary.py

@@ -59,6 +59,29 @@ class VocabularyTest(unittest.TestCase):
         self.assertEqual(v.get_token_from_index(2, 'padded_example'), 'test_token1')
         self.assertEqual(v.get_token_from_index(3, 'padded_example'), 'test_token2')
 
+
+    def test_add_tokens_to_padded_namespace_correct_index_to_token_dict(self):
+        padded_namespaces = ['padded_example']
+        non_padded_namespaces = ['non_padded_example']
+        v = Vocabulary(non_padded_namespaces=non_padded_namespaces)
+        v.add_tokens_to_namespace(['test_token1', 'test_token2'], 'padded_example')
+        self.assertEqual(v.get_index_to_token_vocabulary('padded_example'),
+                         {0: '@@PADDING@@',
+                          1: '@@UNKNOWN@@',
+                          2: 'test_token1',
+                          3: 'test_token2'})
+
+    def test_add_tokens_to_padded_namespace_correct_token_to_index_dict(self):
+        padded_namespaces = ['padded_example']
+        non_padded_namespaces = ['non_padded_example']
+        v = Vocabulary(non_padded_namespaces=non_padded_namespaces)
+        v.add_tokens_to_namespace(['test_token1', 'test_token2'], 'padded_example')
+        self.assertEqual(v.get_token_to_index_vocabulary('padded_example'),
+                         {'@@PADDING@@': 0,
+                          '@@UNKNOWN@@': 1,
+                          'test_token1': 2,
+                          'test_token2': 3})
+
     def test_add_token_to_non_padded_namespace_correct_vocab_size(self):
         padded_namespaces = ['padded_example']
         non_padded_namespaces = ['non_padded_example']
@@ -103,6 +126,24 @@ class VocabularyTest(unittest.TestCase):
         self.assertEqual(v.get_token_from_index(0, 'non_padded_example'), 'test_token1')
         self.assertEqual(v.get_token_from_index(1, 'non_padded_example'), 'test_token2')
 
+    def test_add_tokens_to_non_padded_namespace_correct_index_to_token_dict(self):
+        padded_namespaces = ['padded_example']
+        non_padded_namespaces = ['non_padded_example']
+        v = Vocabulary(non_padded_namespaces=non_padded_namespaces)
+        v.add_tokens_to_namespace(['test_token1', 'test_token2'], 'non_padded_example')
+        self.assertEqual(v.get_index_to_token_vocabulary('non_padded_example'),
+                         {0: 'test_token1',
+                          1: 'test_token2'})
+
+    def test_add_tokens_to_non_padded_namespace_correct_token_to_index_dict(self):
+        padded_namespaces = ['padded_example']
+        non_padded_namespaces = ['non_padded_example']
+        v = Vocabulary(non_padded_namespaces=non_padded_namespaces)
+        v.add_tokens_to_namespace(['test_token1', 'test_token2'], 'non_padded_example')
+        self.assertEqual(v.get_token_to_index_vocabulary('non_padded_example'),
+                         {'test_token1': 0,
+                          'test_token2': 1})
+
 
 if __name__ == '__main__':
     unittest.main()