C# 클래스 Shovel.Compiler.Tokenizer

파일 보기 프로젝트 열기: mbrezu/Shovel 1 사용 예제들

공개 메소드들

메소드 설명
Tokenizer ( SourceFile source, int initialPos, int limit = -1 ) : System

비공개 메소드들

메소드 설명
CurrentChar ( ) : char
EatWhiteSpace ( ) : void
Finished ( ) : bool
LookAhead ( int howFar = 1 ) : char?
MakePunctuationToken ( int length ) : Token
NextChar ( ) : void
RaiseTokenizerError ( string message ) : void
Tokenize ( ) : List
TokenizeComment ( ) : void
TokenizeIdentifier ( ) : Token
TokenizeMultilineComment ( ) : void
TokenizeNumber ( ) : Token
TokenizePred ( Token type, bool>.Func pred ) : Token
TokenizePunctuation ( ) : Token
TokenizeStringLiteral ( char quote ) : Token

메소드 상세

Tokenizer() 공개 메소드

public Tokenizer ( SourceFile source, int initialPos, int limit = -1 ) : System
source SourceFile
initialPos int
limit int
리턴 System