bert-japaneseのモデルを使っているとsentencepieceへの入力と出力が異なる場合がしばしばあって、文字数のずれが気になったのでsentencepieceについてもう少し調べた。 sentencepieceのNormalizerは何をしてる sentencepieceのテキストのノーマライズ処理は…