Dari Data Warehouse menuju Agentic Data Architecture
Albertus Dwiyoga Widiantoro
1. Perubahan Peran Arsitektur Data Perusahaan
Arsitektur data perusahaan pada awalnya dikembangkan untuk mengumpulkan, menyimpan, mengolah, dan menyajikan data agar dapat digunakan oleh manajemen dalam memahami kondisi organisasi. Dalam pendekatan tradisional, data dari berbagai sistem operasional, seperti sistem penjualan, keuangan, persediaan, sumber daya manusia, dan pelayanan pelanggan, dikumpulkan melalui proses Extract, Transform, Load atau ETL. Data tersebut kemudian disimpan dalam data warehouse dan disajikan dalam bentuk laporan, dashboard, grafik, serta indikator kinerja. Melalui pendekatan ini, organisasi dapat mengetahui apa yang telah terjadi, misalnya jumlah penjualan, tingkat persediaan, jumlah pelanggan, pendapatan, biaya operasional, dan kinerja setiap unit kerja.
Meskipun data warehouse mampu memberikan informasi yang terstruktur dan relatif konsisten, sistem tersebut pada dasarnya masih bersifat pasif. Data warehouse hanya menyediakan informasi untuk dibaca, dianalisis, dan diinterpretasikan oleh manusia. Sistem belum mampu memahami konteks permasalahan, mencari penyebab suatu kejadian, mempertimbangkan beberapa pilihan tindakan, maupun menentukan apakah suatu tindakan sesuai dengan kebijakan organisasi. Sebagai contoh, dashboard dapat menunjukkan bahwa penjualan suatu produk menurun, tetapi dashboard tidak selalu mampu menjelaskan apakah penurunan tersebut terjadi karena stok habis, harga terlalu tinggi, promosi tidak berjalan, penempatan produk kurang tepat, atau perubahan perilaku pelanggan.
Kebutuhan organisasi modern tidak lagi terbatas pada penyediaan laporan. Organisasi memerlukan sistem yang dapat membantu proses pengambilan keputusan secara lebih aktif. Sistem diharapkan mampu mendeteksi masalah, mengumpulkan bukti, menghubungkan berbagai sumber data, memahami aturan bisnis, memberikan rekomendasi, serta mengarahkan keputusan kepada pihak yang berwenang. Perubahan kebutuhan tersebut menjadi dasar munculnya konsep Agentic Data Architecture. Arsitektur ini tidak hanya menjadikan data sebagai sumber informasi, tetapi juga sebagai dasar bagi sistem cerdas untuk melakukan penalaran, memberikan rekomendasi, dan mendukung tindakan bisnis secara terkendali.
Agentic Data Architecture bukan berarti menggantikan data warehouse. Sebaliknya, data warehouse tetap menjadi fondasi utama karena menyediakan data historis dan terintegrasi. Perbedaannya terletak pada bagaimana data tersebut digunakan. Dalam pendekatan tradisional, data berhenti pada laporan. Dalam pendekatan agentic, data dilanjutkan ke proses penalaran, pemeriksaan kebijakan, pemberian rekomendasi, persetujuan, pelaksanaan tindakan, dan evaluasi hasil. Dengan demikian, arsitektur data berkembang dari sistem pelaporan menjadi sistem pendukung keputusan yang lebih aktif, kontekstual, dan dapat dipertanggungjawabkan.
2. Perubahan dari Dashboard menuju Decision Workflow
Dalam data warehouse tradisional, proses analisis biasanya dimulai ketika pengguna membuka dashboard atau menjalankan laporan tertentu. Pengguna kemudian membaca indikator yang tersedia, membandingkan angka, mencari penyebab masalah, menghubungi unit lain, dan menentukan tindakan berdasarkan pengalaman serta pemahamannya. Proses ini sangat bergantung pada kemampuan pengguna. Dua orang yang melihat dashboard yang sama dapat menghasilkan interpretasi dan keputusan yang berbeda karena memiliki pengalaman, pengetahuan, dan konteks yang berbeda.
Dalam Agentic Data Architecture, proses tidak lagi berpusat pada dashboard, tetapi pada decision workflow atau alur kerja pengambilan keputusan. Decision workflow merupakan rangkaian proses yang dimulai dari munculnya pertanyaan, peristiwa, anomali, atau sinyal tertentu, kemudian dilanjutkan dengan pengumpulan bukti, analisis, pemeriksaan kebijakan, penyusunan rekomendasi, persetujuan, hingga evaluasi hasil. Sistem tidak hanya menampilkan data, tetapi ikut membantu mengarahkan proses keputusan dari awal sampai akhir.
Pemicu decision workflow dapat berasal dari pengguna maupun dari sistem. Pemicu dari pengguna dapat berupa pertanyaan, misalnya mengapa margin menurun, mengapa jumlah pelanggan berkurang, atau mengapa persediaan meningkat. Pemicu dari sistem dapat berupa anomali, seperti penurunan penjualan secara tiba-tiba, peningkatan keluhan pelanggan, keterlambatan pemasok, pelanggaran batas diskon, atau ketidaksesuaian antara stok dan transaksi. Ketika pemicu tersebut muncul, sistem dapat secara otomatis memulai proses analisis tanpa harus menunggu pengguna membuka dashboard.
Proses decision workflow dimulai dengan menentukan masalah yang harus dianalisis. Setelah itu, sistem mengumpulkan data dan dokumen yang relevan. Sistem kemudian menerjemahkan pertanyaan bisnis ke dalam definisi metrik yang telah disepakati. Selanjutnya, sistem mengambil konteks historis, memeriksa kebijakan, menjalankan analisis, dan menyusun beberapa pilihan tindakan. Apabila tindakan tersebut memiliki risiko atau dampak besar, sistem akan meminta persetujuan manusia. Setelah keputusan dilaksanakan, hasilnya dicatat dan dievaluasi untuk menentukan apakah tindakan tersebut berhasil.
Perubahan dari dashboard menuju decision workflow membuat proses pengambilan keputusan menjadi lebih terstruktur. Sistem membantu memastikan bahwa keputusan tidak hanya didasarkan pada satu indikator atau intuisi individu. Keputusan didasarkan pada bukti yang lebih lengkap, definisi yang konsisten, kebijakan yang berlaku, dan pengalaman organisasi sebelumnya. Dengan demikian, Agentic Data Architecture berfungsi bukan hanya sebagai alat untuk melihat informasi, tetapi sebagai sarana untuk mengelola proses keputusan secara menyeluruh.
3. Data Foundation sebagai Dasar Agentic Data Architecture
Lapisan pertama dalam Agentic Data Architecture adalah data foundation atau fondasi data. Fondasi data mencakup seluruh sumber data yang digunakan oleh sistem, baik data terstruktur maupun tidak terstruktur. Data terstruktur dapat berupa transaksi penjualan, data pelanggan, persediaan, data keuangan, dan data produksi. Data tidak terstruktur dapat berupa dokumen kebijakan, kontrak, laporan, surat elektronik, catatan layanan pelanggan, notulensi rapat, dan dokumen operasional lainnya.
Agentic system membutuhkan data yang lebih terkelola dibandingkan sistem pelaporan biasa. Hal ini disebabkan karena sistem tidak hanya menampilkan data, tetapi menggunakan data tersebut untuk menghasilkan rekomendasi. Apabila data yang digunakan tidak lengkap, terlambat, tidak konsisten, atau memiliki definisi yang berbeda, maka rekomendasi yang dihasilkan juga berisiko salah. Jawaban sistem dapat terlihat logis dan meyakinkan, tetapi sebenarnya dibangun dari data yang tidak tepat.
Untuk memastikan kualitas data, setiap sumber data perlu dikelola sebagai data product. Data product merupakan kumpulan data yang dirancang agar dapat digunakan oleh pihak lain secara jelas dan bertanggung jawab. Setiap data product sebaiknya memiliki pemilik, tujuan penggunaan, struktur data, definisi atribut, aturan kualitas, jadwal pembaruan, hak akses, dan dokumentasi sumber data. Dengan pendekatan ini, data tidak hanya dianggap sebagai hasil sampingan dari aplikasi, tetapi sebagai produk yang harus memiliki kualitas dan layanan yang terukur.
Fondasi data juga memerlukan data contract. Data contract adalah kesepakatan antara sistem penghasil data dan pengguna data. Kesepakatan tersebut dapat menjelaskan nama kolom, tipe data, format nilai, identitas yang digunakan, waktu pembaruan, aturan kualitas, serta prosedur apabila terjadi perubahan struktur. Data contract penting karena sistem agentic sangat bergantung pada kestabilan struktur dan makna data. Perubahan kecil pada kode produk, kategori pelanggan, atau struktur transaksi dapat menyebabkan agen menghasilkan analisis yang salah apabila perubahan tersebut tidak dikendalikan.
Selain kualitas, aspek kesegaran data juga harus diperhatikan. Beberapa sumber data dapat diperbarui setiap menit, sedangkan sumber lainnya hanya diperbarui sekali sehari. Agen harus mengetahui kapan data terakhir diperbarui. Sistem tidak boleh menyimpulkan bahwa suatu barang masih tersedia apabila data persediaan terakhir diperbarui beberapa jam sebelumnya. Oleh karena itu, freshness atau tingkat kebaruan data harus menjadi bagian dari informasi yang dipertimbangkan dalam proses penalaran.
Fondasi data yang baik memungkinkan sistem agentic menghasilkan jawaban yang lebih dapat dipercaya. Tanpa fondasi tersebut, penggunaan model kecerdasan buatan justru dapat memperbesar risiko karena sistem mampu menyampaikan informasi yang salah dalam bahasa yang sangat meyakinkan. Oleh sebab itu, keberhasilan Agentic Data Architecture tidak hanya ditentukan oleh kemampuan model AI, tetapi terutama oleh kualitas, struktur, konsistensi, dan tata kelola data yang digunakan.
4. Trust, Meaning, Context, dan Memory
Lapisan berikutnya adalah trust and meaning atau kepercayaan dan makna. Data yang tersedia dalam organisasi belum tentu langsung dapat digunakan untuk pengambilan keputusan. Sistem perlu mengetahui arti setiap data, asal data, tingkat sensitivitas, serta aturan penggunaannya. Dalam Agentic Data Architecture, metadata, data lineage, semantic layer, klasifikasi data, dan kebijakan akses menjadi bagian aktif dari proses penalaran.
Metadata menjelaskan karakteristik data, seperti nama atribut, pemilik data, waktu pembaruan, sumber data, dan tingkat kerahasiaan. Data lineage menjelaskan perjalanan data dari sistem sumber hingga menjadi informasi yang digunakan dalam analisis. Dengan data lineage, organisasi dapat mengetahui dari mana suatu angka berasal, transformasi apa yang telah dilakukan, dan sistem apa saja yang terlibat. Informasi tersebut penting karena rekomendasi yang dihasilkan oleh agen harus dapat ditelusuri kembali ke sumber buktinya.
Semantic layer berfungsi menerjemahkan bahasa bisnis ke dalam definisi data yang konsisten. Pengguna biasanya tidak bertanya menggunakan nama tabel atau kode kolom. Pengguna akan bertanya apakah promosi berhasil, apakah pelanggan menguntungkan, atau apakah suatu pemasok dapat diandalkan. Istilah-istilah tersebut memiliki makna bisnis yang kompleks. Sebagai contoh, keberhasilan promosi tidak dapat ditentukan hanya berdasarkan peningkatan penjualan. Sistem juga harus mempertimbangkan margin, jumlah produk terjual, biaya promosi, ketersediaan stok, kepatuhan terhadap program, dan kemungkinan perpindahan penjualan dari produk lain.
Tanpa semantic layer, agen dapat memberikan jawaban berdasarkan definisi yang berbeda dengan pemahaman organisasi. Sebagai contoh, bagian pemasaran dapat menganggap pelanggan aktif sebagai pelanggan yang melakukan pembelian dalam tiga bulan terakhir, sedangkan bagian keuangan menggunakan periode enam bulan. Perbedaan tersebut dapat menghasilkan kesimpulan yang berbeda. Semantic layer memastikan bahwa agen menggunakan definisi yang telah disepakati, sehingga jawaban dan rekomendasi menjadi lebih konsisten.
Selain memahami makna data, agen juga memerlukan konteks dan memori. Konteks adalah informasi yang relevan dengan masalah yang sedang dianalisis. Memori dapat mencakup keputusan sebelumnya, insiden historis, hasil kampanye terdahulu, catatan operasional, dokumen kebijakan, dan hasil evaluasi. Melalui konteks tersebut, agen dapat menghubungkan kondisi saat ini dengan pengalaman organisasi sebelumnya.
Namun, memori dalam Agentic Data Architecture tidak boleh diberikan tanpa batas. Sistem perlu menggunakan scoped memory, yaitu memori yang dibatasi berdasarkan kasus, peran pengguna, domain bisnis, periode waktu, dan hak akses. Seorang pengguna hanya boleh memperoleh konteks yang relevan dengan tugas dan kewenangannya. Pembatasan ini penting untuk mencegah kebocoran data sensitif dan penggunaan informasi di luar tujuan yang diperbolehkan.
Pengambilan konteks dilakukan melalui hybrid retrieval. Sistem dapat menggabungkan query ke data warehouse, pencarian dokumen, event terbaru, data historis, dan catatan keputusan. Sebagai contoh, untuk menjelaskan penurunan penjualan, agen dapat memeriksa transaksi, persediaan, status pemasok, laporan promosi, keluhan pelanggan, dan catatan kepala toko. Dengan cara ini, agen tidak hanya melihat angka, tetapi memahami situasi bisnis secara lebih lengkap.
5. Agent Execution dan Pembagian Kewenangan
Agent execution merupakan lapisan tempat agen menjalankan proses analisis dan penalaran. Pada tahap ini, agen menggunakan data, definisi bisnis, konteks, memori, dan alat analisis untuk menjawab pertanyaan atau menyelesaikan masalah. Agen dapat menjalankan query, membaca dokumen, memanggil model prediksi, melakukan simulasi, membandingkan alternatif, dan menyusun rekomendasi.
Dalam kasus yang sederhana, organisasi dapat menggunakan satu agen. Namun, dalam kasus yang lebih kompleks, fungsi agen dapat dibagi menjadi beberapa agen khusus. Evidence agent bertugas mencari bukti yang relevan. Metric validation agent memastikan bahwa definisi metrik digunakan secara benar. Policy agent memeriksa aturan organisasi. Forecasting agent menjalankan model prediksi. Simulation agent menguji dampak dari beberapa pilihan tindakan. Recommendation agent menyusun saran, sedangkan coordinating agent menggabungkan seluruh hasil menjadi rekomendasi akhir.
Pembagian agen dapat meningkatkan kejelasan tanggung jawab, tetapi tidak selalu harus digunakan. Penggunaan terlalu banyak agen dapat meningkatkan biaya, waktu pemrosesan, dan kompleksitas sistem. Oleh karena itu, organisasi perlu menentukan apakah suatu proses benar-benar membutuhkan multi-agent system atau cukup menggunakan workflow deterministik dengan satu agen. Pemilihan arsitektur harus disesuaikan dengan tingkat kompleksitas, risiko, dan kebutuhan bisnis.
Salah satu prinsip penting dalam agent execution adalah membedakan tool access dengan action rights. Tool access berarti agen memiliki kemampuan teknis untuk menggunakan suatu alat atau memanggil suatu layanan. Action rights berarti agen memiliki kewenangan untuk melakukan tindakan bisnis. Agen mungkin dapat mengakses sistem harga, tetapi belum tentu berhak mengubah harga. Agen mungkin dapat membaca data keuangan, tetapi tidak boleh menyetujui pembayaran.
Kewenangan agen dapat dibagi menjadi beberapa tingkat. Pada tingkat read, agen hanya dapat membaca data. Pada tingkat analyze, agen dapat melakukan perhitungan dan analisis. Pada tingkat recommend, agen dapat menyusun rekomendasi. Pada tingkat escalate, agen dapat meneruskan masalah kepada pihak yang lebih berwenang. Pada tingkat request approval, agen dapat meminta persetujuan. Pada tingkat execute, agen dapat menjalankan tindakan tertentu.
Tindakan berisiko rendah dapat diberikan kewenangan otomatis dalam batas tertentu, misalnya mengirim peringatan atau membuat tiket pemeriksaan. Tindakan yang berdampak besar, seperti mengubah harga, menghentikan pemasok, atau menyetujui pembayaran, tetap memerlukan persetujuan manusia. Pembagian kewenangan ini memastikan bahwa agen tidak bertindak melampaui batas meskipun secara teknis mampu melakukannya.
6. Governed Outcomes, Evidence Packet, dan Audit Trail
Hasil dari Agentic Data Architecture tidak seharusnya hanya berupa jawaban singkat. Sistem perlu menghasilkan governed outcome, yaitu hasil yang disertai bukti, batas kewenangan, risiko, kebijakan, dan jalur persetujuan. Rekomendasi harus dapat dipahami, diperiksa, dan dipertanggungjawabkan.
Salah satu bentuk governed outcome adalah evidence packet. Evidence packet merupakan kumpulan informasi yang mendukung suatu rekomendasi. Isinya dapat mencakup masalah yang dianalisis, sumber data, waktu pembaruan data, definisi metrik, asumsi, temuan, alternatif tindakan, tingkat keyakinan, kebijakan yang diperiksa, risiko, pengecualian, dan persetujuan yang diperlukan.
Sebagai contoh, sistem tidak cukup mengatakan bahwa penjualan menurun karena promosi tidak efektif. Sistem harus menjelaskan bahwa penjualan di wilayah tertentu menurun, stok tersedia, jumlah pengunjung tetap stabil, tetapi penempatan produk tidak sesuai panduan. Sistem juga perlu menunjukkan sumber data yang digunakan, kapan data terakhir diperbarui, dan seberapa yakin sistem terhadap kesimpulan tersebut. Berdasarkan bukti tersebut, sistem dapat merekomendasikan perbaikan penempatan produk sebelum melakukan perubahan harga.
Setiap rekomendasi juga perlu dikelompokkan berdasarkan tingkat tindakan. Tindakan informasional hanya menyampaikan informasi. Tindakan rekomendasi memberikan saran tanpa pelaksanaan. Tindakan tertentu memerlukan persetujuan satu pihak, sedangkan tindakan lain membutuhkan persetujuan beberapa pihak. Beberapa tindakan dapat diblokir apabila bertentangan dengan kebijakan. Tindakan berisiko rendah dapat dijalankan secara otomatis dalam batas yang telah ditetapkan.
Agentic Data Architecture juga membutuhkan audit trail. Audit trail mencatat seluruh proses yang terjadi, mulai dari pertanyaan awal, data yang digunakan, alat yang dipanggil, kebijakan yang diperiksa, rekomendasi yang dihasilkan, pihak yang menyetujui, tindakan yang dilakukan, hingga hasil akhirnya. Catatan tersebut memungkinkan organisasi merekonstruksi proses keputusan apabila terjadi kesalahan, sengketa, atau pemeriksaan.
Audit trail sangat penting karena dalam arsitektur agentic, sistem tidak hanya menyediakan data, tetapi ikut berpartisipasi dalam proses pengambilan keputusan. Organisasi perlu mengetahui mengapa suatu tindakan direkomendasikan, siapa yang menyetujuinya, dan bukti apa yang digunakan. Dengan demikian, tanggung jawab tetap dapat ditetapkan secara jelas antara sistem dan manusia.
7. Control, Evaluation, dan Learning
Lapisan terakhir adalah control and learning. Agentic system harus terus dipantau dan dievaluasi untuk memastikan bahwa rekomendasi yang dihasilkan benar, aman, berguna, dan sesuai kebijakan. Evaluasi tidak cukup hanya mengukur apakah jawaban sistem akurat secara bahasa atau teknis. Organisasi juga perlu menilai apakah rekomendasi didukung bukti, menggunakan sumber data yang tepat, mematuhi aturan, dan memberikan dampak positif.
Beberapa aspek yang dapat dievaluasi meliputi groundedness, yaitu tingkat keterkaitan jawaban dengan bukti; relevansi informasi; kepatuhan terhadap kebijakan; ketepatan jalur persetujuan; keamanan tindakan; serta manfaat bisnis. Sistem juga perlu dievaluasi apakah mengambil terlalu banyak informasi, mengabaikan sumber penting, menggunakan data yang sudah lama, atau menghasilkan rekomendasi yang terlalu umum.
Setelah tindakan dijalankan, hasilnya harus dibandingkan dengan rekomendasi yang diberikan. Organisasi perlu mengetahui apakah keputusan tersebut meningkatkan penjualan, menurunkan biaya, mengurangi risiko, meningkatkan kepuasan pelanggan, atau justru menimbulkan masalah baru. Evaluasi tersebut menghasilkan learning signal yang dapat digunakan untuk memperbaiki sistem.
Learning signal tidak berarti agen dibiarkan menyimpan seluruh percakapan secara otomatis. Pembelajaran dilakukan secara terstruktur dengan mengubah pengalaman nyata menjadi evaluation cases, golden cases, regression tests, perbaikan data contract, perubahan kebijakan, dan penyempurnaan retrieval. Golden case merupakan contoh kasus yang telah diketahui jawaban dan hasil yang benar, sehingga dapat digunakan untuk menguji apakah sistem tetap menghasilkan keputusan yang sesuai.
Sebagai contoh, apabila agen pernah menyimpulkan bahwa penurunan penjualan disebabkan oleh lemahnya permintaan, tetapi setelah pemeriksaan ditemukan bahwa penyebab sebenarnya adalah kehabisan stok, kasus tersebut perlu disimpan sebagai bahan evaluasi. Sistem kemudian diperbaiki agar pada kasus berikutnya memeriksa persediaan sebelum menyimpulkan adanya penurunan permintaan.
Melalui proses evaluasi dan pembelajaran, Agentic Data Architecture dapat berkembang secara bertahap. Sistem tidak hanya menjadi lebih cerdas, tetapi juga lebih terkendali dan dapat dipercaya. Namun, organisasi tetap harus mempertahankan pengawasan manusia, terutama untuk keputusan yang kompleks, strategis, atau berisiko tinggi.
Secara keseluruhan, perjalanan dari data warehouse menuju Agentic Data Architecture merupakan perubahan dari sistem yang hanya menyajikan informasi menjadi sistem yang mendukung proses keputusan secara aktif. Data warehouse tetap menjadi dasar, tetapi dilengkapi dengan semantic layer, metadata, context retrieval, agent execution, governance, approval workflow, audit trail, serta evaluation and learning. Tujuan akhirnya bukan menciptakan sistem yang menggantikan manusia sepenuhnya, melainkan membangun kolaborasi antara manusia dan mesin agar keputusan organisasi menjadi lebih cepat, konsisten, berbasis bukti, dan dapat dipertanggungjawabkan.
Albertus Dwiyoga Widiantoro