Fluentd sebagai pengumpul log/data

Hallo ...

Selamat datang di blog saya.

Kali ini saya akan menjelaskan sedikit mengenai perangkat lunak yang berfungsi untuk memforward dan memparsing log. Perangkat lunak tersebut bernama fluentd atau di sebut td-agent. OK langsung saja ke penjelasan ya.

Bekerja sebagai IT operation/datacenter ops pasti sering bergelut dengan yang namanya log. Banyak kasus-kasus yang memaksa kita untuk membaca log dalam menyelesaikan masalah. Kadang banyaknya aplikasi yang tersebar di beberapa server sangat menyulitkan ketika ingin mengaksesnya. Di lain sisi mengakses server production juga kadang terbentuk dengan policy perusahaan dan sangat riskan bekerja dalam lingkungan production.

Dahulu, beberapa log aplikasi di kumpulkan dalam 1 buah server (di sebut log server) dengan menggunakan tools rsyslog, namun saat ini sudah banyak tools lain selain rsyslog yang mempunyai kemampuan forwarding log dan beberapa feature tambahan. Salah satunya adalah fluentd. Fluentd adalah salah satu tools log forwarding open source yang di buat oleh Sadayuki "Sada" Furuhashi pada tahun 2011 dan di sponsori oleh Treasure Data Inc. yang memungkinkan kamu untuk memadukan data yang di kumpulkan untuk penggunaan yang lebih baik dan memahami data tersebut.

Mengapa fluentd? Fuentd sudah teruji dan telah di gunakan oleh 5.000+ perusahaan di dunia. Dengan di dukung plugins yang banyak, sederhana dan fleksibel membuat fluentd mudah untuk di konfigurasi.

Dahulu sebelum ada fluentd 

Dengan adanya fluentd

Fluentd akan mencoba menyusun data berbagai macam sumber data menjadi format JSON. Dengan cara ini memungkinkan fluentd untuk menyatukan semua aspek data log mulai dari pengumpulan data, penyaringan data, membuat buffer dan mengeluarkan output ke beberapa tujuan. Format JSON ini yang membuat fluentd menjadi fleksibel dan terstruktur.

Fluentd adalah lisensi Apache 2.0 yang keseluruhannya merupakan open source. Source code tersedia di GitHub.

Fluentd memiliki moto sederhana, mudah namun fleksibel. Fluentd dapat di pasang kurang dari 10 menit (lihat postingan selanjutnya mengenai instalasi fluentd). Fluentd memiliki lebih dari 500+ plugins yang membuatnya kompatibel dengan berbagai sumber data dan keluaran data. Plugins mudah untuk di tulis dan di sebarkan juga.

Terbukti keandalan dan kinerjanya. Sudah digunakan oleh 5000+ perusahaan, mengandalkan fluentd untuk membedakan produk dan layanan mereka melalui penggunaan dan pemahaman yang lebih baik terhadap data log mereka. Fluentd juga masuk kedalam 7 aplikasi teratas yang digunakan menggunakan teknologi docker. Fluentd juga menggunakan memory yang kecil sekitar 30-40MB sehingga dapat menghemat banyak memory pada penggunaan skala besar.

Fluentd juga di dukung oleh komunitas yang terus memperbaharui perangkat lunak dan saling membantu satu sama lain, sehingga fluentd dapat berguna untuk semua orang. Disamping itu Fluentd juga tersedia dalam bentuk layanan bantuan berbayar yang di tawarkan dalam versi Enterprise.

Sekian penjelasan singkat mengenai fluentd/td-agent. Sebagian besar adalah terjemahan dari halaman asli fluentd di https://www.fluentd.org/ dan beberapa tambahan dari pengalaman menggunakan perangkat lunak tersebut. Pada postingan selanjutnya saya akan menjelaskan tentang tata cara instalasi dan konfigurasi awal fluentd. Keep connected.

Indra-

sumber: fluentd.org