Quel service peut exécuter, de manière serverless, le processus ETL qui extrait des données de diverses sources, les transforme dans un format propice à l'analyse et les charge vers une autre destination ?
Choisir un service qui réalise l'ETL de manière serverless.
Amazon EMR
Amazon EMR est une plateforme de traitement big data qui exécute Spark et Hadoop sur un cluster.
Il peut gérer des traitements à grande échelle, mais il implique de configurer et de gérer un cluster, donc l'exigence d'un ETL serverless et managé est satisfaite par Glue, et ceci est incorrect.
AWS Glue
Correct. AWS Glue est un service managé qui peut exécuter l'extraction, la transformation et le chargement (ETL) de manière serverless. Il découvre automatiquement les sources de données, construit un catalogue de données et exécute des tâches de transformation pour mettre les données dans un format propice à l'analyse. Aucune gestion de serveur n'est requise.
Amazon Data Firehose
Amazon Data Firehose est un service qui livre en continu des données de streaming vers des destinations telles que S3 tout en les transformant.
Il cible le chargement de données qui circulent en continu, donc l'exigence d'une extraction, transformation et chargement (ETL) de type batch depuis diverses sources est satisfaite par Glue, et ceci est incorrect.
AWS Lambda
AWS Lambda est un service serverless polyvalent d'exécution de code et peut être utilisé pour de petites transformations de données.
Cependant, il n'a aucun mécanisme spécifique à l'ETL tel qu'un catalogue de données, des crawlers ou la gestion des tâches et a une limite de durée d'exécution, donc l'exigence d'un ETL managé est satisfaite par Glue, et ceci est incorrect.
« ETL », « extraire, transformer, charger » et « serverless » désignent AWS Glue. Les requêtes SQL sont Athena, la visualisation est QuickSight et le streaming est Kinesis, les rôles sont donc répartis au sein du pipeline d'analytique.