tokenizer.encode转为onehot的简单介绍

huggingfacetokenizervocab，encode，decode原理及细节，大模型全栈总览tokenizer，动手写bert系列BertTokenizersubword，wordpiece如何处理海量。