Hugging Face tokenizers v1 发布：编码解码与扩展性能实测

Hugging Face 发布 tokenizers v1 候选版本，输出与 v0.23 完全一致的 token ID，速度最高提升数十倍。v1 将单个 crate 拆分为工作区，引入 bitcannon 用 SIMD 位流替代正则切分、无分配合并循环、线程本地词缓存和原生多线程并行。