C# Класс QACExperimenter.Approaches.Text.Tokenizer

Provides string tokenization and cleaning

Показать файл Открыть проект

Открытые методы

Метод	Описание
TokenizeString ( string inputText, bool returnFirstNgramOnly = false ) : List	Simple whitespace tokenizer TODO: fix this to do filtering etc

Приватные методы

Метод	Описание
NormalizeQueryOrTitle ( string inputText ) : string	Normalizes a query or title to the same format, with punctuation removed.
StripPunctuation ( string inputString ) : string	Remove any punctuation (high-performance single pass method)

Описание методов

TokenizeString() публичный статический Метод

Simple whitespace tokenizer TODO: fix this to do filtering etc

public static TokenizeString ( string inputText, bool returnFirstNgramOnly = false ) : List
inputText	string
returnFirstNgramOnly	bool
Результат	List