C# 클래스 QACExperimenter.Approaches.Text.Tokenizer

Provides string tokenization and cleaning
파일 보기 프로젝트 열기: stewhir/recent-robust-qac

공개 메소드들

메소드 설명
TokenizeString ( string inputText, bool returnFirstNgramOnly = false ) : List

Simple whitespace tokenizer TODO: fix this to do filtering etc

비공개 메소드들

메소드 설명
NormalizeQueryOrTitle ( string inputText ) : string

Normalizes a query or title to the same format, with punctuation removed.
StripPunctuation ( string inputString ) : string

Remove any punctuation (high-performance single pass method)

메소드 상세

TokenizeString() 공개 정적인 메소드

Simple whitespace tokenizer TODO: fix this to do filtering etc
public static TokenizeString ( string inputText, bool returnFirstNgramOnly = false ) : List
inputText string
returnFirstNgramOnly bool
리턴 List