C# Class Yamool.CWSharp.UnigramTokenizer

The standard unigram tokenizer that converting text into a sequence of tokens.
Inheritance: ITokenizer
Afficher le fichier Open project: zhengchun/CWSharp

Méthodes publiques

Méthode Description
Traverse ( string text ) : IEnumerable
UnigramTokenizer ( ) : System

Method Details

Traverse() public méthode

public Traverse ( string text ) : IEnumerable
text string
Résultat IEnumerable

UnigramTokenizer() public méthode

public UnigramTokenizer ( ) : System
Résultat System