Teknologi dan Algoritma Untuk Mengolah Big Data yang Harus Kalian Tahu
UMUM
Berbicara dengan big data, kita sering membicarakan apa yang disebut penambangan data, proses mengoptimasi, proses penyortiran kumpulan big data, mengidentifikasi trren dan pola dan membangun korelasi.
Pada saat ini, perusahaan data dipasar sedang mengumpulkan sejumlah infrmasi melalui berbagai saluran, dari situs wen, aplikasi perusahaan, media sosial, perangkat sosial dan internet of things yang terus berkembang.
Misalkan saja mesin pencari yang kita sering gunakan ini. Dalam bidang pemrosesan bahasa alami, ada beberapa model algoritma yang sangat populer yang disebut dengan model bag-of-words, yang memperlakukan sepotong teks sebagai sekantong buah buahan.
Dalam mengihutng berapa banyak apel, pisang dan pir dalam kantong buah. Mesin pencari akan mencatat angka tersebut. Jika kalian menginginkan apel, maka mereka akan member kalian tas ini dengan apel.
Entah kalian sadar atau nggak. ketika kalian sedang melakukan scroling instagram, atau menonton film online, situs web yang kalian baca akan merekomendasikan berbagai produk atau film yang mungkin cocok dengan yang kalian cari dan terkadang rekomendasi tersebut cukup akurat.
Setiap tahun baru, situs web dan aplikasi yang kalian gunakan akan mengirim laporan ulasan tahun sebelumnya kepada kalian. Misalkan saja, paypal akan memberikan penggunaan berapa banyak yang kalian belanjakan pada tahun kemarin, berapa banyak yang mereka beli di e-commerce, dan kemana kalian pergi makan.
Aplikasi travel akan merekam perjalanan udara dan akan memberi tahu pengguna berapa banyak pesawat yang dia ambil tahun lalu total jarak tempuh penerbangan, dan kota-kota yang paling banyak dikunjungi.
Nah lalu apa saja kah algrotima yang digunakan untuk memproses big data? yuk simak berikut ini
1. Local Beam Search
Local beam search merupakan algoritma pencarian heuristik yang mengeksplor sebuah graaf dengan cara meng-expand node anak yang paling "menjanjikan" ( yang oaling optimal) dalam sebuah memori yang terbatas. Algoritma ini merupakan optimisasi dari algoritma pencarian breadth-first search dan best-first search dalam hal penggunaan memori.
Algoritma ini pada setiap langkahnya akan memotong/memangkas node yang dianggap "kurang menjanjikan"( tidak optimal ) untuk mengurangi kebutuhan memori enyimpanan yang akan digunakan. Pemotongan atau pemangkasan node tadi ditentukan berdasarkan nilai heuristik yang spesifik terhadap permasalahan yang dihadapi.Node - node anak yang disimpan sebagai kandidat node untuk di-expand inilah yang disebut dengan beam.
2. Binary Search
Binary search merupakan sebuah teknik pencarian data dengan cara berulang kali membagikan separuh dari jumlah data yang dicari sampai memperkecil lokasi pencarian menjadi satu data. Dengan teknik ini kita akan membuang setengah dari jumlah data. Apabila ditemukan kecocokan data maka program akan mengembalikan output, jika tidak pencarian akan terus berlanjut sampai akhir dari jumlah data tersebut.
Algoritma ini biasanya banyak digunakan untuk mencari diprogram dengan jumla data yang banyak, dimana kompleksitas dari algoritma ini adalah 0(log n) dimana n merupakan jumlah item. Pada saat menggunakan binary search, data yang berada didalam array harus diurutkan terlebih dahulu.
3. Algoritma Diffie-Hellman Big Data
Algoritma Diffie Hellman merupakan salah satu protokol komunikasi dengan sistem kriptografi kunci asimetri atau kunci publik. Algoritma ini berguna untuk mempertukarkan kunci sesi (kunci rahasia untuk komunikasi dengan sistem kriptografi simetri) antara dua orang atau lebih. Algoritma Diffie Hellman mempunyai dua buah kunci, yaitu: kunci publik dan kunci privat. Kunci publik sendiri berupa dua pasang bilangan, yaitu bilangan prima aman dan elemen primitif.
Teknologi Big Data
Dilain pihak, pekerjaan big data analistis cenderung diproses dengan mengimplementasikan sistem database MPP dan MapReduce. Munculnya teknologi ini juga merupakan reaksi terhadapt keterbatasan dan kurangnya kemampuan relational database tradisional untuk mengelola database dalam skala lebihd ari satu server ( terdistribusi). Disamping itu, MapReduce juga menawarkan metode baru dalam menganalisa data yang dapat berfungsi sebagai pelengkap terhadapt kapabilitas SQL.
Dengan semakin populernya penggunaan berbagai jenis aplikasi dan para penggunaannya terus menerus memproduksi data dari pemakaian aplikasi tersebut, terdapat sejumlah upaya analisa retrospektif yang benar benar dapat memberikan nilai berarti terhadap kemajuan bisnis. Ketika upaya tersebut pasti melibatkan algoritma yang lebih rumit. Beberapa sistem NoSQL juga menyediakan fungsi MapReduce bawaan yang memungkinkan proses analisa diterapkan pada data operasional. Sebagai alternatif lain, data juga dapat dikopi dari sistem NoSQL ke dalam sistem analitis seperti halnya Hadoop dengan MapReduce-nya.
Setelah MapReduce ( yang telah menjadi komponen utama dari Hadoop), kemudian muncul apache spark sebagai jawaban terhadapt kebutuhan akan platform analitik yang lebih cepat dan terpadu. Dikatakan bahwa kemampuan processing apache spark ini 100 kali lebih cepat dibandingkan dengan Hadoop.
Sebenarnya terdapat dua type teknologi untuk memberdayakan bigdata, yaitu teknologi untuk memproses big dara demi kebutuhan operasional, yakni database NoSQL ( mongoDB, HBase, ..) dan teknologi untuk memproses big data untuk kebutuhan analitis seperti halnya Hadoop.
Manfaat Pemberdayaan Big Data
1. Membuat aplikasi baru. Big fata memungkinkan suatu perusahaan untuk mengumpulkan data realtime dari prosuk yang mereka pasarkan, dari sumber daya yang digunakan dan dari data yang erkaitan dengan pelanggannya. Data tersebut bisa dimanfaatkan untuk mengoptimalkan kepuasan pelanggan atau untuk fisiensi penggunaan sumber daya.
Contoh : Sebuah perusahaan di amerika serikat telah menggunakan mongoDB, sebuah dikumen based NoSQL database, untuk menurunkan angka kejahatan dan meningkatkan pelayanan umum dengan mengumpulkan data adan menganalisa data geospatial secara real-time dari 30 departement yang berbeda.
2. Mengingkatkan efektifitas dan menurunkan biaya dari aplikasi yang telah ada. Teknologu big data dapat menggantikan sistem bersppesifikasi tinggi yang mahal dengan sistem yang dapat dijalankan dengan spesifikasi standar. Disamping itu, karena banyak teknologi big daa yang sifatnya open source, tentu mereka dapat diimplementasikan dengan biaya yang lebih murah dibandingkan eknolog yang hanya dimiliki dan dijual oleh suatu perusahaan.
3. Meningkatkan loyalitas pelanggan, dengan semakin banyaknya data yang bisa diakses oleh berbagai bagian dalam suatu organisasi, juga dengan semakin cepatnya update yang dilakukan pada data tersebut akan memungkinkan respon yang makin cepat dan akurat pula terhadap berbagai pemintaan pelanggan.
Silahkan tinggalkan pesan jika Anda punya saran, kritik, atau pertanyaan seputar topik pembahasan.