3.4. Log Processor#
Log Processor, RDBMS üzerine yazılmış logları yüksek hızlarla okuyan ve işleyen uygulamadır.
Yetenekler#
- RDBMS üzerinden okuduğu verileri kafkaya göndermektedir.
- Yoğun yüke göre tasarlanmıştır.
- Verileri işleyen thread mekanizması tamamen konfigüratif yapıda olup sistemin ihtiyaçlarına göre düzenlenebilmektedir. Bu konfigürasyonlar içerisinde worker sayısı, işlem sayısı büyüklüğü, işlem aralığı süresi gibi bilgiler mevcuttur.
- Sistemde çalışmış olan job geçmişlerinin otomatik silinmesini sağlayan bir yapı mevcuttur ve tamamen esnektir.
Topoloji#
Genel topoloji Logger topolojisi bölümünde görülebilir.
İstek Yaşam Döngüsü(Request Lifecycle)#
Async istek yaşam döngüsü:
- Producer RDBMS üzerine yazar
- Processor RDBMS üzerinden okur
- Processor Kafka üzerine yazar
- Fluentd Kafkadan okur
- Fluentd Elasticsearch üzerine yazar