tokenizer分词、tokenizer分词器

它使用一个名为“ngram_tokenizer”的Ngram分词器可以用如下语句测试charSplit分析器，可以看到一字一词的效果curlPOST。