Apa itu Data Engineer dan Apa Saja Tugasnya?

Data Science adalah bidang ilmu yang sangat terkenal belakangan ini, salah satu cabang dari Data Science adalah Data Engineering. mungkin pekerjaan Data Engineer tidak se terkenal Data Scientist. tapi, pekerjaan ini memiliki posisi penting di suatu perusahaan.

apa saja job desk dari data engineer? dan apa saja skill yang harus disiapkan untuk menjadi data engineer? mari kita bahas lebih lanjut.

Siapa itu data Engineer

saat ini sudah banyak perusahaan yang menerapkan data science di berbagai sektor. hal tersebut menyebabkan meningkatkan kebutuhan akan data scientist. tapi, pernahkan anda berfikir dari mana data yang digunakan data scientist di dapat?

data-data dari sebuah perusahaan biasanya akan tersimpan di dalam beberapa table data yang terpisah dan dengan format data yang berbeda pula. disinilah Data Engineer hadir, mereka akan membangun pipeline yang mengubah data acak tersebut menjadi data yang siap digunakan oleh data scientist.

data scientist dan data Engineer memiliki peran yang sama-sama penting di sebuah perusahaan, hanya saja mereka kurang terekspos dibanding data scientist.

Apa yang dilakukan data Engineer?

Data Engineering adalah bidang yang sangat luas, setiap data Engineer bisa memiliki job desk yang berbeda beda sesuai dengan kebutuhan perusahaan. namun, secara keseluruhan anda harus memiliki pemahaman yang kuat tentang manajemen database dan struktur data yang efisien karena anda akan berurusan dengan susunan data dan merubah data tersebut menjadi format yang berguna untuk analisis data.

Mengumpulkan Data

Mengumpulkan Data adalah salah satu tugas yang harus dilakukan oleh data engineer. Data-data ini dapat berasal dari banyak sumber, contohnya database perusahaan dan app analytics. namun, dalam beberapa kasus anda diharuskan mencari dari sumber data external seperti melakukan scraping data, dll.

Menggabungkan Data

Data-data yang sudah terkumpul tidak selalu menjadi satu bagian utuh dan beberapa diantaranya ada yang tidak terstruktur. anda harus menggabungkan beberapa data tadi menjadi satu data utuh. dalam hal ini mereka bisa menggunakan berbagai tools atau bahkan menggunakan bahasa pemrograman seperti excel,python dan R.

Baca juga : Mengenal 3 Jenis Relasi Database Beserta Contoh Kasusnya

Membersihkan Data

Pekerjaan data Engineer yang berikutnya adalah membersihkan data dan mencari anomali dari data tersebut. seperti yang saya kata kan sebelumnya, tugas utama data engineer adalah menyiapkan data yang akan digunakan oleh data scientist. hal ini termasuk membersihkan data yang sudah didapat.

sering kali setelah proses penggabungan, data yang dihasilkan menjadi kotor dan memiliki banyak data yang tidak valid. disinilah mereka dituntut untuk membersihkan data tersebut sedemikian rupa sehingga tidak ada data yang bersifat null,nan atau bahkan data yang tidak sesuai.

Membuat arsitektur Data Store

Selain menyajikan data yang akan digunakan oleh data scientist, dibeberapa kasus data Engineer juga diharuskan untuk merancang alur dari penyimpanan data di sebuah aplikasi yang nantinya akan diteruskan ke database engineer.

dalam hal ini anda bisa menggunakan DFD,ERD atau sistem arsitektur data lainnya.

Pengetahuan yang harus dimiliki seorang Data Engineer

SQL

SQL adalah skill wajib yang harus dimiliki oleh semua Data Engineer. karena hampir setiap hari kita akan berhubungan dengan database baik yang bersekala kecil maupun besar.

SQL (Structured Query Language) adalah salah satu bahasa yang dapat digunakan untuk memanipulasi data. SQL juga sering dipakai untuk mengkomunikasikan keinginan programmer di dalam database, seperti mengambil data, menggabungkan data, menghapus data, dll.

SQL masih cukup populer sampai saat ini. masih banyak juga modern big data warehouse yang masih menggunakan SQL, Contohnya:

• Redshift Amazon
• HP Vertica
• ORACLE
• DLL

Algoritma & struktur data

Dengan menggunakan Struktur Data yang tepat, kita dapat meningkatkan kecepatan sebuah algoritma secara signifikan dan membuatnya menjadi efisien.

Algoritma & struktur data adalah mata kuliah wajib di setiap jurusan Teknik Informatika, dan mungkin sebagian dari anda belum merasakan manfaat dari mata kuliah tersebut. namun, mata kuliah tersebut akan sangat terpakai saat kita bekerja di bidang data.

Cloud paltform

Ada beberapa perusahaan yang menyimpan data mereka di dalam Cloud. dan itu artinya, seorang Data Engineer harus memiliki kemampuan untuk menggunakan cloud platform tersebut.

ada banyak sekali cloud platform yang tersedia di pasaran, sebut saja Amazon Web Service, Google Cloud Platform, Kamatera, Cloudways, dll. untuk menjadi Data Engineer, setidaknya anda harus paham salah satu diantaranya.

Big Data Tools

Dalam Era Big Data, data yang dikumpulkan tidak selalu terstruktur secara rapi. selain itu, data yang di kumpulkan juga sangat besar dan masive, mustahil bagi anda untuk mengolah data tersebut dengan cara manual.

oleh karena itu diperlukan Big Data Tools untuk menangani hal tersebut. ada banyak sekali Big Data Tools saat ini dengan kegunaan yang berbeda beda. beberapa contohnya:

• Hadoop
• HPCC
• SPARK
• QUBOL
• CASSANDRA
• dll.

Programming in Python , R ,Java / Scala

Python dan R adalah bahasa yang paling sering digunakan untuk melakukan pengolahan data. python dan R juga menyediakan banyak tools yang dapat digunakan untuk mengolah data, contohnya di python mereka memiliki pandas, Numpy dan untuk visualisasi data python memiliki seaborn dan matplotlib.

Java dan Scala bisa digunakan untuk pemrosesan data tingkat lanjut dengan performa yang lebih baik dibanding python & R. Mereka juga digunakan untuk membangun sistem big data tool. contohnya saja Apache kafka dan Spark yang dibuat menggunakan scala dan Hadoop, Cassandra dan hive yang dibuat menggunakan java.

data pipelines

Sebagian besar data Engineer ditugaskan untuk membangun Data Pipelines yang terbaik. seperti membangun pengiriman suatu data dari database 1 ke database lainnya. bisa dengan skrip khusus, External API, SQL Query,dll. data-data tersebut akan disimpan ke dalam data warehouse perusahaan ataupun ke dalam data lakes.

itulah beberapa hal yang dapat saya sampaikan mengenai apa itu data engineer dan pekerjaannya, semoga bermanfaat.