bert-japaneseでは日本語のテキストのトークン化にsentencepieceが使われる。 日本語版wikipedia(リポジトリのconfig.iniによると20181220のダンプ)で学習されたsentencepieceのモデルが作者のサイトのgoogle driveで公開されている。 今回はこのsentencepie…