fastBERTtokens: Tokenizing for BERT in parallel
This function simply divides your text into batches, and tokenizes in parallel. Provides significant speed-up.
Al momento, stai seguendo questo contributo
- Vedrai gli aggiornamenti nel tuo feed del contenuto seguito
- Potresti ricevere delle email a seconda delle tue preferenze per le comunicazioni
Cita come
Ralf Elsas (2026). fastBERTtokens: Tokenizing for BERT in parallel (https://it.mathworks.com/matlabcentral/fileexchange/125295-fastberttokens-tokenizing-for-bert-in-parallel), MATLAB Central File Exchange. Recuperato .
Riconoscimenti
Ispirato da: Transformer Models
Informazioni generali
- Versione (1,43 KB)
Compatibilità della release di MATLAB
- Compatibile con R2021a e release successive
Compatibilità della piattaforma
- Windows
- macOS
- Linux
| Versione | Pubblicato | Note della release | Action |
|---|---|---|---|
| 1.0.0 |