C# Класс Schemin.Tokenize.Tokenizer

Показать файл Открыть проект Примеры использования класса

Открытые методы

Метод Описание
Tokenize ( string input ) : List

Приватные методы

Метод Описание
GetColNumber ( char input, int position ) : int
GetLineNumber ( char input, int position ) : int
GetNextToken ( char input, int position ) : int>.KeyValuePair
MakeTokenPair ( TokenType type, String tokenName, char input, int beginPosition, int endPosition ) : int>.KeyValuePair
MapEscaped ( char escaped ) : char
Newline ( char candidate ) : bool
NumberLiteral ( char input, int position ) : int>.KeyValuePair
Numerical ( char candidate ) : bool
NumericalPart ( char candidate ) : bool
QuoteSugar ( char input, int position ) : int>.KeyValuePair
StringLiteral ( char input, int position ) : int>.KeyValuePair
Symbol ( char input, int position ) : int>.KeyValuePair
SymbolPart ( char candidate ) : bool
VectorOrBooleanOrChar ( char input, int position ) : int>.KeyValuePair
Whitespace ( char candidate ) : bool

Описание методов

Tokenize() публичный Метод

public Tokenize ( string input ) : List
input string
Результат List