• Главная
• Parrot
• Lexer
• Tokenizer

C# Класс Parrot.Lexer.Tokenizer

Показать файл Открыть проект Примеры использования класса

Открытые методы

Метод	Описание
Tokenizer ( Stream source ) : System
Tokens ( ) : IList

Приватные методы

Метод	Описание
Consume ( ) : char
ConsumeIdentifier ( ) : string
ConsumeMultiCharToken ( char currentCharacter, Func contentFunc ) : Token
ConsumeQuotedStringLiteral ( char quote ) : string
ConsumeSingleCharToken ( char currentCharacter ) : Token
ConsumeToken ( TokenType type, Func contentFunc ) : Token
ConsumeUntilNewlineOrEndOfStream ( ) : string
ConsumeWhitespace ( ) : string
GetNextToken ( ) : Token
IsIdTail ( char character ) : bool
IsIdentifierHead ( char character ) : bool
IsIdentifierUnicode ( char character ) : bool
IsNewLine ( char character ) : bool
IsSingleCharToken ( char currentCharacter ) : bool
IsWhitespace ( char character ) : bool
PeekCurrentCharacter ( ) : char
Tokenize ( ) : List
initToken ( Token token, Func contentFunc ) : Token

Описание методов