C# 클래스 Schemin.Tokenize.Tokenizer

파일 보기 프로젝트 열기: imphasing/schemin 1 사용 예제들

공개 메소드들

메소드 설명
Tokenize ( string input ) : List

비공개 메소드들

메소드 설명
GetColNumber ( char input, int position ) : int
GetLineNumber ( char input, int position ) : int
GetNextToken ( char input, int position ) : int>.KeyValuePair
MakeTokenPair ( TokenType type, String tokenName, char input, int beginPosition, int endPosition ) : int>.KeyValuePair
MapEscaped ( char escaped ) : char
Newline ( char candidate ) : bool
NumberLiteral ( char input, int position ) : int>.KeyValuePair
Numerical ( char candidate ) : bool
NumericalPart ( char candidate ) : bool
QuoteSugar ( char input, int position ) : int>.KeyValuePair
StringLiteral ( char input, int position ) : int>.KeyValuePair
Symbol ( char input, int position ) : int>.KeyValuePair
SymbolPart ( char candidate ) : bool
VectorOrBooleanOrChar ( char input, int position ) : int>.KeyValuePair
Whitespace ( char candidate ) : bool

메소드 상세

Tokenize() 공개 메소드

public Tokenize ( string input ) : List
input string
리턴 List