Suatu organisasi di umur tertentu mempunyai banyak data dari berbagai macam aplikasi yang ada pada perusahaan tersebut (database customer, database traksaksional, database internal dan sebagainya) dan tentu saja database tersebut akan terus menerus tumbuh dengan cepat. Dengan banyaknya data yang semakin banyak, semakin variatif dan tak terstruktur, hal yang menjadi masalah adalah ketika ada kebutuhan untuk menganalisis data yang sangat banyak dan tak terstruktur, karena data berasal dari berbagai macam database. Analisis yang dilakukan dengan cara analisis konvensional seperti data warehouse di titik tertentu akan sangat tidak efektif, karena data yang terlalu besar atau datanya yang tidak terstruktur.
Big data merupakan salah satu solusi untuk bisa menganalisa data yang sangat banyak yang sulit untuk dianalisis dengan konsep analisis data yang konvensional. Sehingga kita dapat melakukan prediksi dan analisis data dari berbagai database yang ada. Dalam training ini peserta akan memahami bagaimana cara untuk melakukan konversi dari database biasa ke format big data untuk tujuan analisis, proses ini disebut ETL (Extract, Transform, Loading) agar bisa dianalisis dengan cara big data.
OBJECTIVE
Setelah mengikuti pelatihan ini, peserta akan mampu:
- Mampu memahami infrastruktur dan teknologi HADOOP yang digunakan untuk Big Data
- Mampu memahami teknologi sistem file terdistribusi berbasis HDFS
- Mampu memahami teknologi database HBASE yang berjalan diatas HDFS
- Mampu memahami teknologi pemrosesan Big Data dengan Map Reduce
- Mampu memahami teknologi tambahan yang berjalan diatas HADOOP, seperti PIG, HIVE
- Dapat melakukan instalasi komponen Big Data
- Dapat menggunakan Infrastruktur Big Data untuk menyimpan dan memproses data
COURSE OUTLINE
- Hadoop
- Map Reduce : Sistem berbasis YARN untuk memproses data secara parallel
- File Sistem Terdistribusi Hadoop
- Hadoop I/O
- Develop Map Reduce Application
- Map Reduces Type and Format
- Map Reduces Feature
- Mengkonfigurasi Hadoop Cluster
- Administering Hadoop
- Pig (Bahasa untuk mengatur aliran data dan eksekusi secara parallel)
- Hive
- HBase (Database terdistribusi yang mendukung data terstruktur)
- ZooKeeper (Layanan koordinasi untuk aplikasi terdistribusi)
- Sqoop (Tool untuk transfer data dari database relasional ke Hadoop)
