fastBERTtokens: Tokenizing for BERT in parallel

This function simply divides your text into batches, and tokenizes in parallel. Provides significant speed-up.

Scarica
Scarica

Al momento, stai seguendo questo contributo

Cita come

Ralf Elsas (2026). fastBERTtokens: Tokenizing for BERT in parallel (https://it.mathworks.com/matlabcentral/fileexchange/125295-fastberttokens-tokenizing-for-bert-in-parallel), MATLAB Central File Exchange. Recuperato .

Riconoscimenti

Ispirato da: Transformer Models

Informazioni generali

Compatibilità della release di MATLAB

  • Compatibile con R2021a e release successive

Compatibilità della piattaforma

  • Windows
  • macOS
  • Linux
Versione Pubblicato Note della release Action
1.0.0

Scarica