Text Analytics Toolbox

Analisi e modellazione di dati di testo

Text Analytics Toolbox fornisce algoritmi e visualizzazioni per la pre-elaborazione, l’analisi e la modellazione di dati di testo. I modelli creati con il toolbox possono essere utilizzati in applicazioni quali la sentiment analysis, la manutenzione predittiva e il topic modeling.

Text Analytics Toolbox include strumenti per l’elaborazione di testi non elaborati estratti da registri delle apparecchiature, feed di notizie, sondaggi, report di operatori e social media. È possibile estrarre testo dai formati di file più diffusi, pre-elaborare testo non elaborato, estrarre singole parole, convertire testo in rappresentazioni numeriche e sviluppare modelli statistici.

Utilizzando le tecniche di machine learning quali LSA, LDA e Word Embedding, è possibile trovare cluster e creare feature da set di dati di testo di grandi dimensioni. Le feature create con Text Analytics Toolbox possono essere combinate con le feature di altre fonti di dati per sviluppare modelli di machine learning che sfruttano dati di testo, numerici e di altro tipo.

Inizia ora:

Importazione e visualizzazione di dati di testo
Pre-elaborazione dei dati di testo
Conversione del testo in formati numerici
Machine learning con dati di testo
Deep learning con dati di testo

Che cos'è Text Analytics Toolbox?

Documentazione

Introduzione all’analisi del testo in MATLAB

Scarica il white paper

Importazione e visualizzazione di dati di testo

Estrai dati di testo da fonti quali social media, feed di notizie, registri di apparecchiature, report e sondaggi.

Estrazione di dati di testo

Importa dati di testo in MATLAB da file singoli o da grandi serie di file, inclusi file PDF, HTML, Microsoft^® Word^® e Excel^®.

Estrazione di dati di testo da file

Analisi di HTML ed estrazione di contenuto testuale

Analisi di dati di testo contenenti emoji

Estrazione di testo da una serie di documenti Microsoft Word.

Visualizzazione del testo

Esplora visivamente i set di dati di testo tramite nuvole di parole e grafici a dispersione di testo.

Visualizzazione di dati di testo tramite nuvole di parole

Visualizzazione di Word Embedding tramite grafici a dispersione di testo

Word cloud che illustra la frequenza relativa delle parole sulla base delle dimensioni e del colore del font.

Supporto linguistico

Text Analytics Toolbox fornisce funzionalità di pre-elaborazione specifiche per la lingua inglese, giapponese, tedesca e coreana. La maggior parte delle funzionalità è compatibile anche con testo in altre lingue.

Supporto linguistico

Analisi di dati di testo in giapponese

Rilevamento della lingua di un testo

Analisi di dati di testo in tedesco

Importazione, preparazione e analisi di testo giapponese.

Pre-elaborazione dei dati di testo

Estrai parole significative da testo non elaborato.

Pulizia dei dati di testo

Applica filtri di alto livello per rimuovere il contenuto non rilevante come URL, tag HTML, punteggiatura e per correggere l’ortografia.

Preparazione dei dati di testo per l’analisi

Rimozione della punteggiatura da testi e documenti

Rimozione di URL HTTP e HTTPS dal testo

Correzione degli errori ortografici nei documenti

Attività di Live Editor di pre-elaborazione dei dati di testo

Semplificazione di testo non elaborato per lavorare con le parole più significative.

Utilizza l'attività di pre-elaborazione dei dati di testo di Live Editor per preparare i dati di testo per l'analisi.

Filtraggio delle stop word e normalizzazione delle parole alla forma radice

Dai priorità ai dati di testo significativi nella tua analisi filtrando le parole comuni, quelle che compaiono troppo frequentemente o raramente, quelle molto lunghe o molto brevi. Limita il lessico e concentrati sul senso più generale o sul sentiment di un documento, eseguendo lo stemming delle parole alla loro forma radice o convertendole in lemmi.

Rimozione delle stop word dai documenti

Stemming o lemmatizzazione delle parole

Stemming

Lemmatizzazione

Rimozione di stop word come articoli e preposizioni (“un” e “di”, per esempio) dai documenti.

Estrazione delle feature linguistiche

Dividi automaticamente il testo non elaborato in una serie di parole utilizzando un algoritmo di tokenizzazione. Aggiungi i limiti delle frasi, le varie parti del discorso e altre informazioni rilevanti per il contesto.

Ripartizione del testo in parole tramite la tokenizzazione

Aggiunta di tag per le parti del discorso ai documenti

Riconoscimento dell’entità denominata

Analisi della struttura della frase mediante analisi grammaticale valenziale

Aggiunta di dettagli relativi a parti del discorso e frasi ai documenti sottoposti a tokenizzazione.

Conversione del testo in formati numerici

Converti i dati di testo in formato numerico per utilizzarli con il machine learning e il deep learning.

Conteggio di parole e n-grammi

Calcola le statistiche di frequenza delle parole per rappresentare numericamente i dati di testo.

Analisi dei dati di testo tramite frasi composte da più parole

Matrice tf-idf (Term Frequency–Inverse Document Frequency)

Individuazione e visualizzazione delle parole che ricorrono più frequentemente in un modello.

Word Embedding e codifica

Addestra modelli di Word Embedding come i modelli word2vec, CBOW (continuous bag-of-words) e skip gram. Importa modelli pre-addestrati tra cui fastText e GloVe.

Visualizzazione di Word Embedding tramite grafici a dispersione di testo

Word Embedding di FastText pre-addestrato

Mappatura di una parola sul vettore di embedding

Bag-of-Words (BoW)

Visualizzazione dei cluster in un grafico a dispersione di testo tramite Word Embedding.

Machine learning con dati di testo

Esegui topic modeling, sentiment analysis, classificazione, riduzione della dimensionalità ed estrazione di sintesi utilizzando algoritmi di Machine Learning.

Topic modeling

Scopri e visualizza pattern, trend e relazioni complesse sottostanti in grandi serie di dati di testo usando algoritmi di machine learning come l’allocazione Dirichlet latente (LDA) e l’analisi semantica latente (LSA).

Analisi di dati di testo tramite il topic model

Scelta del numero di topic per il modello LDA

Confronto tra solutori LDA

Individuazione dei topic nei dati di un report su un temporale.

Sintesi di documenti ed estrazione di parole chiave

Estrai automaticamente una sintesi e le parole chiave rilevanti da uno o più documenti e valuta i documenti in termini di importanza e somiglianza.

Estrazione di una sintesi dai documenti

Estrazione di parole chiave dai dati di testo con TextRank

Somiglianza tra documenti con l’algoritmo BM25

Classificazione di un documento con l’algoritmo TextRank

Estrazione di una sintesi da un testo.

Sentiment analysis

Identifica gli atteggiamenti e le opinioni espressi nei dati di testo per classificare le affermazioni come positive, neutre o negative. Costruisci modelli che possono prevedere il sentiment in tempo reale.

Analisi del sentiment in un testo

Addestramento di un classificatore di sentiment

Generazione di un lessico di sentiment specifico del dominio

Identifica le parole che predicono il sentiment positivo e negativo.

Deep learning con dati di testo

Esegui sentiment analysis, classificazione, sintesi e generazione di testo utilizzando algoritmi di Deep Learning.

Modelli di trasformatori

Sfrutta i modelli di trasformatori come BERT, FinBERT, e GPT-2 per eseguire il transfer learning con i dati di testo per attività come sentiment analysis, classificazione e sintesi.

Modelli di trasformatori per MATLAB