C# Класс Lucene.Net.Analysis.Wikipedia.WikipediaTokenizer

Extension of StandardTokenizer that is aware of Wikipedia syntax. It is based off of the Wikipedia tutorial available at http://en.wikipedia.org/wiki/Wikipedia:Tutorial, but it may not be complete.

@lucene.experimental

Наследование: Tokenizer
Показать файл Открыть проект Примеры использования класса

Открытые свойства

Свойство Тип Описание
TOKEN_TYPES string[]

Открытые методы

Метод Описание
Dispose ( ) : void
End ( ) : void
IncrementToken ( ) : bool
Reset ( ) : void
WikipediaTokenizer ( AttributeFactory factory, TextReader input, int tokenOutput, IEnumerable untokenizedTypes ) : System.Collections.Generic

Creates a new instance of the org.apache.lucene.analysis.wikipedia.WikipediaTokenizer. Attaches the input to a the newly created JFlex scanner. Uses the given org.apache.lucene.util.AttributeSource.AttributeFactory.
WikipediaTokenizer ( TextReader input ) : System.Collections.Generic

Creates a new instance of the WikipediaTokenizer. Attaches the input to a newly created JFlex scanner.
WikipediaTokenizer ( TextReader input, int tokenOutput, IEnumerable untokenizedTypes ) : System.Collections.Generic

Creates a new instance of the org.apache.lucene.analysis.wikipedia.WikipediaTokenizer. Attaches the input to a the newly created JFlex scanner.

Приватные методы

Метод Описание
Init ( int tokenOutput, IEnumerable untokenizedTypes ) : void
collapseAndSaveTokens ( int tokenType, string type ) : void
collapseTokens ( int tokenType ) : void
setupSavedToken ( int positionInc, string type ) : void
setupToken ( ) : void

Описание методов

Dispose() публичный Метод

public Dispose ( ) : void
Результат void

End() публичный Метод

public End ( ) : void
Результат void

IncrementToken() публичный Метод

public IncrementToken ( ) : bool
Результат bool

Reset() публичный Метод

public Reset ( ) : void
Результат void

WikipediaTokenizer() публичный Метод

Creates a new instance of the org.apache.lucene.analysis.wikipedia.WikipediaTokenizer. Attaches the input to a the newly created JFlex scanner. Uses the given org.apache.lucene.util.AttributeSource.AttributeFactory.
public WikipediaTokenizer ( AttributeFactory factory, TextReader input, int tokenOutput, IEnumerable untokenizedTypes ) : System.Collections.Generic
factory AttributeFactory
input TextReader The input
tokenOutput int One of , ,
untokenizedTypes IEnumerable
Результат System.Collections.Generic

WikipediaTokenizer() публичный Метод

Creates a new instance of the WikipediaTokenizer. Attaches the input to a newly created JFlex scanner.
public WikipediaTokenizer ( TextReader input ) : System.Collections.Generic
input TextReader The Input Reader
Результат System.Collections.Generic

WikipediaTokenizer() публичный Метод

Creates a new instance of the org.apache.lucene.analysis.wikipedia.WikipediaTokenizer. Attaches the input to a the newly created JFlex scanner.
public WikipediaTokenizer ( TextReader input, int tokenOutput, IEnumerable untokenizedTypes ) : System.Collections.Generic
input TextReader The input
tokenOutput int One of , ,
untokenizedTypes IEnumerable
Результат System.Collections.Generic

Описание свойств

TOKEN_TYPES публичное статическое свойство

String token types that correspond to token type int constants
public static string[] TOKEN_TYPES
Результат string[]