C# Class Yamool.CWSharp.WhiteSpaceTokenBreaker

The tokenizer that used a whitespace to split text into tokens.
Inheritance: ITokenBreaker
Afficher le fichier Open project: zhengchun/CWSharp

Méthodes publiques

Méthode Description
Next ( ) : Token
WhiteSpaceTokenBreaker ( RewindStringReader stringReader ) : System

Private Methods

Méthode Description
WhiteSpaceTokenBreaker ( ) : System

Method Details

Next() public méthode

public Next ( ) : Token
Résultat Token

WhiteSpaceTokenBreaker() public méthode

public WhiteSpaceTokenBreaker ( RewindStringReader stringReader ) : System
stringReader RewindStringReader
Résultat System