C# Class Yamool.CWSharp.BigramTokenizer

The standard bigram tokenizer that converting text into a sequence of tokens.
Inheritance: ITokenizer
Afficher le fichier Open project: zhengchun/CWSharp

Méthodes publiques

Méthode Description
BigramTokenizer ( ) : System
Traverse ( string text ) : IEnumerable

Method Details

BigramTokenizer() public méthode

public BigramTokenizer ( ) : System
Résultat System

Traverse() public méthode

public Traverse ( string text ) : IEnumerable
text string
Résultat IEnumerable