Big Data con MATLAB

Big Data con MATLAB

Scoperta, analisi e sviluppo di modelli predittivi sui Big Data

MATLAB semplifica il lavoro con i Big Data tramite l’accesso e l’integrazione con la tua archiviazione di Big Data esistente e si adatta alle tue esigenze di elaborazione dei dati in base alle risorse disponibili.

MATLAB consente di:

  • Accedere ai Big Data da diverse archiviazioni come sistemi di file tradizionali, archiviazioni basate su Cloud (AWS® S3, Azure® Blob), database SQL e NoSQL e piattaforme di dati.
  • Pulire, analizzare e sviluppare modelli di Machine Learning su campioni di dati più piccoli.
  • Scalare e applicare lo stesso codice su Big Data senza riscrivere gli algoritmi.
  • Utilizzare la potenza di elaborazione personalizzata in base alle esigenze dal proprio dispositivo locale, cluster HPC, cluster Spark™ e piattaforme di dati Cloud.

“L’elaborazione ad alte prestazioni con MATLAB ci permette di trattare dei Big Data non analizzati in precedenza. Traduciamo le nozioni apprese in conoscenze su come l’attività dell’uomo influisce sulla salute degli ecosistemi per prendere decisioni responsabili su ciò che l’uomo deve fare negli oceani e sulla terra.”

Prof. Christopher Clark, Cornell University

Accesso ai dati

È possibile utilizzare MATLAB per la lettura di dati da grandi raccolte di file, database, piattaforme di dati e sistemi di archiviazione Cloud. I datastore su MATLAB consentono di accedere ai dati che non sono allocabili nella memoria di un singolo computer o che sono distribuiti su più file. Questi datastore supportano vari formati di file (CSV, Parquet, MDF, ecc.) e sistemi di archiviazione (AWS S3, Azure Blob, HDFS, database, piattaforme di dati). È anche possibile creare il proprio datastore per formati di file personalizzati.

L’illustrazione mostra che è possibile accedere ai dati da diversi CSV, Parquet, fogli di calcolo, database, Databricks, Domino, Cloudera e archiviazioni Cloud come AWS, Azure e altro ancora.
Elenco di funzioni che puliscono, preparano, esplorano, analizzano e sviluppano modelli di Machine Learning sui Big Data.

Scoperta, pulizia, trasformazione e sviluppo di modelli predittivi

Con MATLAB è possibile eseguire l’analisi dei dati e l’ingegneria dei dati sui Big Data in modo efficiente. MATLAB supporta Predicate Pushdown per file Parquet, affinché sia possibile filtrare Big Data alla fonte. Dopo la lettura, è possibile trasformare e combinare dati da diversi datastore per la pre-elaborazione e l’ingegneria dei dati.

I tall array di MATLAB utilizzano un framework di valutazione pigra che consente di eseguire il codice table in memoria e il codice basato su timetable sui Big Data senza la riscrittura. I tall array supportano centinaia di funzioni di manipolazione dei dati, matematiche, statistiche e di Machine Learning, che si possono utilizzare per semplici analisi statistiche o per lo sviluppo di modelli predittivi sui Big Data.

Integrazione ed esecuzione sull’infrastruttura IT per i Big Data

MATLAB consente di elaborare i Big Data in modo efficiente integrandoli con l’infrastruttura esistente. È possibile scalare ed eseguire il codice MATLAB in modo interattivo utilizzando l’elaborazione parallela e nella modalità di produzione distribuita. È possibile distribuire le analisi in streaming e le applicazioni batch senza royalty. È anche possibile eseguire il codice e i modelli MATLAB con i Big Data su diverse piattaforme di dati Cloud come Databricks, Domino Data Lab e Google® BigQuery.

L’illustrazione mostra una persona che esegue il codice MATLAB su Databricks, Domino, AWS, Azure e altri sistemi di Big Data.