Layanan manakah yang dapat menjalankan, secara serverless, proses ETL yang mengekstrak data dari berbagai sumber data, mengubahnya menjadi bentuk yang ramah analisis, dan memuatnya ke tujuan lain?
Memilih layanan yang melakukan ETL secara serverless.
Amazon EMR
Amazon EMR adalah platform pemrosesan big data yang menjalankan Spark dan Hadoop pada cluster.
EMR dapat menangani pemrosesan skala besar, tetapi melibatkan konfigurasi dan pengelolaan cluster, sehingga persyaratan untuk ETL terkelola yang serverless dipenuhi oleh Glue, dan opsi ini tidak tepat.
AWS Glue
Benar. AWS Glue adalah layanan terkelola yang dapat menjalankan extract, transform, dan load (ETL) secara serverless. Layanan ini secara otomatis menemukan sumber data, membangun data catalog, dan menjalankan job transformasi untuk membentuk data menjadi bentuk yang ramah analisis. Tidak diperlukan pengelolaan server.
Amazon Data Firehose
Amazon Data Firehose adalah layanan yang terus mengirimkan data streaming ke tujuan seperti S3 sambil mentransformasinya.
Layanan ini menargetkan pemuatan data yang mengalir terus-menerus, sehingga persyaratan untuk extract, transform, dan load (ETL) bergaya batch dari berbagai sumber dipenuhi oleh Glue, dan opsi ini tidak tepat.
AWS Lambda
AWS Lambda adalah layanan eksekusi kode serverless serbaguna dan dapat digunakan untuk transformasi data kecil.
Namun, Lambda tidak memiliki mekanisme khusus ETL seperti data catalog, crawler, atau pengelolaan job dan memiliki batas waktu eksekusi, sehingga persyaratan untuk ETL terkelola dipenuhi oleh Glue, dan opsi ini tidak tepat.
'ETL', 'extract, transform, load', dan 'serverless' menunjuk ke AWS Glue. Kueri SQL adalah Athena, visualisasi adalah QuickSight, dan streaming adalah Kinesis, sehingga peran terbagi di seluruh pipeline analitik.