Pengertian Data Warehouse, Jenis, Komponen dan Karakteristik

Pengertian Data Warehouse jenis, komponen dan karakteristik – data dapat dikumpulkan dari berbagai sumber dan disimpan di suatu database, namun beberapa waktu kebelakang, database relasional sudah tidak mampu lagi menyimpan dan mengontrol data yang jumlahnya sangat besar, disitulah Data Warehouse hadir sebagai pemecah masalah. lalu apa pengertian data warehouse? dan apa bedanya dengan database relasional? mari kita bahas.

Pengertian Data Warehouse & Data Warehousing

pengertian Data Warehousing (DW) adalah proses mengumpulkan dan mengelola data dari berbagai sumber untuk memberikan wawasan bisnis yang berarti.

lalu apa itu Data Warehouse? Pengertian Data Warehouse adalah penyimpanan elektronik dalam jumlah besar informasi dengan bisnis yang dirancang untuk query dan analisis.

Teknologi ini biasanya digunakan oleh data sceintist untuk melakukan data science dan menganalisis data bisnis dari sumber yang heterogen. Data Warehouse adalah inti dari sistem Business Intellegent (BI) yang dibangun untuk analisis data dan pelaporan.

Gudang Data adalah kombinasi dari teknologi dan komponen yang yang akan membantu anda membuat strategi. Ini adalah proses konversi data menjadi informasi dan membuatnya bisa diakses oleh users untuk membuat perbandingan.

The decision support database dikelola secara terpisah dari basis data operasional organisasi. ini bukanlah produk tetapi environment (lingkungan).kita harus membangun arsitektur sistem informasi yang menyediakan informasi terbaru untuk users dengan dukungan historis. metode ini sulit dilakukan bila kita menggunakan penyimpanan data manual

Anda mungkin tahu tentang database 3NF yang dirancang untuk sistem penyimpanan dan memiliki banyak tabel yang terkait satu sama lain. Misalnya, laporan tentang informasi persediaan saat ini yang bisa menyediakan 12 joined table. Hal ini dapat memperlambat waktu respon query dan laporan. Gudang Data menyediakan desain yang lebih baru yang dapat membantu mengurangi waktu respon aplikasi dan membantu meningkatkan kinerja response server.

Sejarah Data Warehouse

Datawarehouse berguna bagi pengguna untuk memahami dan meningkatkan kinerja organisasi mereka.Seiring berjalannya waktu Kebutuhan untuk menyimpan data berkembang dengan pesat ,sistem komputer menjadi lebih kompleks dan diperlukan teknologi untuk menangani meningkatnya jumlah informasi.

Berikut adalah beberapa peristiwa penting dalam perkembangan Data Warehouse- *

• 1960 – Dartmouth dan General Mills dalam sebuah proyek penelitian bersama, mengembangkan dimensi syarat dan fakta.
• 1970 A Nielsen dan IRI memperkenalkan data mart untuk penjualan ritel.
• 1983 – Tera Data Corporation memperkenalkan database management system (DBMS) yang khusus dirancang untuk mendukung keputusan
• teknologi Data Warehousing pertama kali digunakan pada akhir 1980-an ketika pekerja IBM Paul Murphy dan Barry Devlin mengembangkan Bisnis Penyimpanan data.
• Namun, konsep ini sebenarnya diberikan oleh Bill Inmon. Dia dianggap sebagai ayah dari Data Warehouses. Dia telah menulis tentang berbagai topik tentang pembangunan, penggunaan dan pemeliharaan warehouse& Corporate Information Factory.

baca : berapa gaji data scientist?

Bagaimana Datawarehouse Bekerja?

Data Warehouse berfungsi sebagai repositori utama di mana informasi datang dari satu atau lebih sumber data. Data mengalir ke dalam gudang data , misalnya data di dapat dari sistem transaksional dan database relasional lainnya dan disimpan ke dalam gudang data.

Data yang masuk dapat:

1. Terstruktur
2. Semi-terstruktur
3. Tidak terstruktur

Setelah itu Data akan melalui phase pengolahan data, pengubahan, dan perncernaan sehingga pengguna dapat mengakses data yang diolah dalam storage dengan menggunakan alat bantuan seperti :Business Intelligence, SQL client, dan spreadsheet. Teknologi ini menggabungkan informasi dari sumber yang berbeda ke dalam satu basis data yang komprehensif.

Dengan menggabungkan semua informasi ini dalam satu tempat, organisasi dapat menganalisis pelanggan lebih holistik. Hal ini membantu untuk memastikan bahwa ia telah mempertimbangkan semua informasi yang tersedia. Data Warehousing membuat data mining menjadi mungkin. Data Mining dilakukan dengan cara melihat pola dalam data yang dapat menyebabkan penjualan dan keuntungan yang lebih tinggi.

baca: apa itu data science

Tiga jenis Data Warehouse

1.Enterprise Data Warehouse:

Enterprise Data Warehouse adalah penyimpanan terpusat. ia akan menyediakan layanan pendukung keputusan di seluruh perusahaan. Ia akan mengelola semua data dan merepresentasikannya. Enterprise Gudang Data juga menyediakan kemampuan untuk mengklasifikasikan data sesuai dengan subjek dan menyediakan akses sesuai dengan divisi.

2.Operational Data Storage:

Operational Data Store, yang juga disebut ODS, ODS dibutuhkan untuk kebutuhan report perusahaan, Gudang Data jenis ini akan di-refresh secara real time. Oleh karena itu jenis ini lebih disukai untuk kegiatan rutin seperti menyimpan catatan karyawan.

3.Data Mart:

data mart adalah bagian dari data warehouse. Data Mart dirancang khusus untuk bagian tertentu bisnis, seperti penjualan, keuangan. Data Mart dapat mengumpulkan data langsung dari sumbernya.

Komponen dari data warehouse

data diambil dari : https://www.guru99.com/data-warehouse-architecture.html

Database

ini adalah komponen terpenting dari ruang lingkup data warehousing. semua data yang didapat dari berbagai sumber akan disimpan di dalam Database.

Sourcing, Acquisition, Cleanup and Transformation Tools

Data Source, Transformation, dan migration tools digunakan untuk melakukan semua konversi, ringkasan, dan semua perubahan yang diperlukan untuk mengubah data menjadi format utuh di gudang data. Mereka juga disebut Extract, Transform and Load Tools (ETL) Tools.

metadata

Meta Data dipakai di beberapa konsep teknologi tingkat tinggi. Namun, ini cukup sederhana. Metadata adalah data tambahan tentang suatu data seperti kapan data itu masuk, size, dll . Ini digunakan untuk membangun, memelihara, dan mengelola gudang data.

Dalam Arsitektur Data Gudang, meta-data memainkan peran penting karena menentukan sumber, penggunaan, nilai, dan gudang data fitur. Ini juga mendefinisikan bagaimana data dapat ditransformasikan dan diproses.

Query tools

Salah satu kegunaan utama data warehouse adalah memberikan informasi kepada bisnis untuk membuat keputusan strategis. Query tools memungkinkan pengguna untuk berinteraksi dengan sistem data warehouses.

Fungsi mereka meliputi:

• Menganonimkan data sesuai ketentuan peraturan.
• Menghilangkan data yang tidak diinginkan dalam database operasional
• Cari dan ganti nama dan definisi umum untuk data yang datang dari berbagai sumber.
• Menghitung ringkasan dan data turunan
• Jika ada data yang hilang, isilah dengan default.
• De-duplikasi data berulang yang datang dari berbagai sumber data.

Baca Juga : Pengertian, Fungsi, Dan Metode Penyimpanan barang di warehouse

Karakteristik data warehouse

Subject-Oriented

Data Warehouse menggunakan prinsip subject-oriented dan menawarkan informasi sesuai dengan tema yang merujuk pada operasi perusahaan. misalnya penjualan, pemasaran, distribusi, dll

Data warehouse tidak pernah fokus pada operasi yang sedang berlangsung. Sebaliknya, ia menekankan pada pemodelan dan analisis data untuk pengambilan keputusan.Prinsip ini memungkinkan sistem untuk mengambil data yang spesifik dan mengabaikan data yang tidak mendukung proses pengambilan keputusan.

Intergrations

Dalam Data Warehouse, Intergration berarti penggabungan beberapa data yang sama yang berasalh dari database yang berbeda. Data juga perlu disimpan dalam lokasi yang tempat yang bisa di akses semua pengguna.

Data warehouse dikembangkan untuk mengintegrasikan data dari berbagai sumber seperti mainframe, relational database, flat file, dll Selain itu, sehingga penamaan dari semua data tersebut harus konsisten.

Integrasi ini membantu agar analisis data menjadi lebih efektif. Konsistensi dalam konvensi penamaan bisa dilakukan terhadap atribut,ukuran,struktur, dll.

variasi waktu

zona waktu dalam gudang data lebih luas jika dibandingkan dengan sistem operasi. Data yang dikumpulkan dalam data warehouse memiliki atribut waktu tertentu yang nantinya akan di delivery berdasarkan historynya. Ini berisi unsur waktu, secara eksplisit maupun implisit.

Satu tempat di mana varians waktu dalam Datawarehouse berguna adalah ketika kita akan menampilkan data yang terkait dalam struktur record key. Masing-masing kunci yang terkandung dalam DW harus memiliki elemen waktu, baik secara implisit maupun eksplisit. Seperti hari, bulan, minggu, dll

bersifat tetap Non-volatile(tidak bisa dihapus)

Data Warehouse bersifat tetap dan tidak dapat dihapus, jika kamu memasukan data baru maka data yang lama tidak dihapus.

Data bersifat read-only dan periodicall refresh. Hal ini juga membantu untuk menganalisis data historis dan memahami apa dan kapan itu terjadi. Tidak memerlukan proses pertukaran, restored dan concurrency control mechanisms.

Kegiatan seperti menghapus, update, dan insert dilakukan di lingkungan aplikasi saja dan diabaikan di dalam lingkungan gudang data. Hanya ada dua jenis operasi data dilakukan dalam Data Warehouse

Data loading
Data access

Proses utama dari data warehouse

Data Warehousing terdiri dari empat komponen yaitu:

Load Manager: Load Manager juga disebut sebagai komponen depan. dia mengerjakan semua operasi yang berhubungan dengan ekstraksi dan pemuatan data ke dalam Warehouse. Operasi ini termasuk mempersiapkan data agar data tersebut bisa masuk ke dalam Gudang Data. jadi komponen ini bisa disebut juga sebagai tempat pengolahan data

Warehouse Manager: Warehouse Manager melakukan operasi yang berhubungan dengan manajemen data di gudang. Ia melakukan operasi seperti analisis data untuk memastikan konsistensi dari data yang disimpan. membuat indeks dan views,transformasi dan menata sumber data serta mengarsipkan data dan melakukan backup.

Query Manager: Query manager juga dikenal sebagai komponen backend. Yang melakukan semua operasi yang berhubungan dengan operasi pengelolaan permintaan user. oprasi ini akan melakukan permintaan langsung ke table yang tepat untuk mengksekusi query.

end-user access tools: operasi ini akan membantu user untuk melakukan manipulasi data yang ada di dalam gudang.Ini dikategorikan menjadi lima kelompok yang berbeda yaitau: Data Reporting,Query Tools, Application Development Tools,IES Tools,OLAP Tools,Data Mining Tools

Siapa yang membutuhkan data warehouse?

Data Warehouse diperlukan untuk semua jenis pengguna seperti:

• Para pengambil keputusan yang mengandalkan sejumlah big data
• Pengguna yang menggunakan proses kompleks yang disesuaikan untuk mendapatkan informasi dari berbagai sumber data.
• orang-orang yang menginginkan teknologi sederhana untuk akses data
• orang yang ingin membuat suatu sistem untuk membuat keputusan.
• Jika user ingin kinerja yang cepat pada saat pengolahan sejumlah besar data, yang mana data tersebut digunakan untuk laporan, grid atau graph, data warehouse akan sanagat berguna.
• Anda yang ingin mencari pola tersebunyi dari sebuah data.

Keuntungan dan Kerugian Data Warehouse

Keuntungan

• Data Warehouse memungkinkan pengguna bisnis untuk menyimpan data penting agar cepat di-akses dari berbagai sumber, semua dapat dilakukan dalam 1 tempat penyimpanan.
• Data warehouse menyediakan informasi yang konsisten tentang kegiatan di seluruh fungsi. Ini juga mendukung pelaporan dan permintaan ad-hoc.
• Data Warehouse membantu mengintegrasikan berbagai sumber data untuk mengurangi tekanan pada sistem produksi.
• data warehouse membantu mengurangi total waktu turnaround untuk analisis dan pelaporan.
• Resructing dan intergration memudahkan pengguna untuk melakukan pelaporan dan analisis.
• Data warehouse memungkinkan pengguna untuk mengakses data penting di beberapa sumber di satu tempat. Oleh karena itu,ini akan menghemat waktu pengguna untuk mengambil data dari berbagai sumber.
• data warehouse menyimpan sejumlah besar data historis. Ini membantu pengguna untuk menganalisis berbagai periode waktu dan tren untuk membuat prediksi di masa depan.

Kerugian

• Tidak pilihan ideal untuk data yang tidak terstruktur.
• pembuatan dan implementasinya membutuhkan waktu yang cukup lama.
• Sulit untuk melakukan perubahan pada jenis data yang berasal dari berbagai sumber data, data source schema, indeks, dan queries.
• data warehouse mungkin tampak mudah, namun pada kenyataannya, itu terlalu rumit untuk rata-rata pengguna.
• Membutuhkan usaha lebih untuk Project Manager untuk mempertimbangkan jenis gudang data yang dipakai.
• Kadang-kadang pengguna akan mengembangkan aturan bisnis yang berbeda dan belum ada sebelunya, jadi perlu effort lebih untuk membuat sistemnya.
• Organisasi harus menghabiskan banyak sumber daya mereka untuk tujuan pelatihan dan implementasi.

itulah beberapa hal yang dapat saya sampaikan mengenai Pengertian Data Warehouse jenis, komponen dan karakteristiknya, semoga dapat menambah wawasan, dan sampi jumpa di artikel selanjutnya.