add remove_all_lexemes to token, useful for tagging

libcorpus2/token.h

@@ -115,6 +115,11 @@ public:
 		lexemes_.push_back(lex);
 	}
 
+	/// Leaves a faulty token with no lexemes (use with care!)
+	void remove_all_lexemes() {
+		lexemes_.clear();
+	}
+
 	/// Replaces all the lexemes with the given vector
 	void replace_lexemes(const std::vector<Lexeme>& new_lexemes) {
 		lexemes_ = new_lexemes;

swig/token.i

@@ -50,6 +50,8 @@ namespace Corpus2 {
 
     void add_lexeme(const Lexeme& lex);
 
+    void remove_all_lexemes();
+
     const Lexeme& get_preferred_lexeme(const Tagset& tagset) const;
     size_t get_preferred_lexeme_index(const Tagset& tagset) const;