Traitement de Big Data avec MATLAB

Détails de la formation

Cette formation d'une journée a pour sujet principal l'adaptation d'algorithmes existants à une collection de fichiers de données ou à un seul fichier de données trop volumineux pour tenir en mémoire. Apprenez à représenter des big data dans MATLAB^®, ajustez du code existant pour qu'il y soit adapté, et passez à l'échelle pour tirer parti de vos ressources de calculs ou du cloud.

Les sujets abordés comprennent :

Création de datastores pour importer les données
Représentation et manipulation de données volumineuses avec les tall arrays
Importation de données de formats personnalisés ou spéciaux tels que le format Apache Parquet™ et utilisation de fonctions personnalisées pour des tall arrays ou des datastores
Utilisation des clusters et des environnements cloud

Jour 1 sur 1

Prototypage d'algorithmes pour des big data

Objectif: Appliquer des algorithmes existants à des jeux de données ne rentrant pas en mémoire.

Importation de données via les datastores
Création de tall arrays
Exécution d'algorithmes sur des tall arrays
Optimisation du code pour les tall arrays
Lecture de données depuis des environnements cloud

Gestion de données et d'algorithmes spécifiques

Objectif: Importer des données de formats non standards et appliquer des algorithmes non compatibles directement avec des tall arrays

Importer des données de formats spéciaux tels que le format Apache Parquet
Importation de données de formats non standards avec les fileDatastores et les customDatastores
Importation partielle d'un fichier unique
Application de transformations, réductions et d'opérations sur fenêtres glissantes pour les tall arrays
Transformer des datastores

Utilisation des clusters et du cloud

Objectif: Exécuter des algorithmes avec des big data sur un cluster de serveurs ou sur le cloud.

Clusters locaux et distants
Recherche et connexion aux clusters
Configuration d'un cluster dans un environnement cloud
Considérations sur l'accès aux fichiers

Niveau: Intermédiaire

Pré-requis:

MATLAB pour le traitement et la visualisation de données

Durée: 1 jour

Langues: English, 한국어

Afficher le calendrier et s'inscrire

Formations associées

Accélération et parallélisation de code MATLAB

Accélérez l'exécution du code MATLAB. Compilez le code MATLAB dans des fichiers MEX et résolvez des problèmes nécessitant beaucoup de calcul et de données en utilisant des processeurs multicœurs, des GPU et des clusters d'ordinateurs.

MATLAB pour le Traitement et la Visualisation de Données

Importez des données à partir de fichiers mixtes, manipulez et groupez des données, créez des visualisations personnalisées et utilisez des données irrégulières.