C# Класс Shovel.Compiler.Tokenizer

Показать файл Открыть проект Примеры использования класса

Открытые методы

Метод Описание
Tokenizer ( SourceFile source, int initialPos, int limit = -1 ) : System

Приватные методы

Метод Описание
CurrentChar ( ) : char
EatWhiteSpace ( ) : void
Finished ( ) : bool
LookAhead ( int howFar = 1 ) : char?
MakePunctuationToken ( int length ) : Token
NextChar ( ) : void
RaiseTokenizerError ( string message ) : void
Tokenize ( ) : List
TokenizeComment ( ) : void
TokenizeIdentifier ( ) : Token
TokenizeMultilineComment ( ) : void
TokenizeNumber ( ) : Token
TokenizePred ( Token type, bool>.Func pred ) : Token
TokenizePunctuation ( ) : Token
TokenizeStringLiteral ( char quote ) : Token

Описание методов

Tokenizer() публичный Метод

public Tokenizer ( SourceFile source, int initialPos, int limit = -1 ) : System
source SourceFile
initialPos int
limit int
Результат System