Ana içeriğe geç

3.4. Log Processor#

Log Processor, RDBMS üzerine yazılmış logları yüksek hızlarla okuyan ve işleyen uygulamadır.

Yetenekler#

  • RDBMS üzerinden okuduğu verileri kafkaya göndermektedir.
  • Yoğun yüke göre tasarlanmıştır.
  • Verileri işleyen thread mekanizması tamamen konfigüratif yapıda olup sistemin ihtiyaçlarına göre düzenlenebilmektedir. Bu konfigürasyonlar içerisinde worker sayısı, işlem sayısı büyüklüğü, işlem aralığı süresi gibi bilgiler mevcuttur.
  • Sistemde çalışmış olan job geçmişlerinin otomatik silinmesini sağlayan bir yapı mevcuttur ve tamamen esnektir.
  • İşlenen olay kayıtlarının tutulduğu history tablosunu bir job vasıtasıyla temizleyebilir.

Topoloji#

Genel topoloji Logger topolojisi bölümünde görülebilir.

İstek Yaşam Döngüsü(Request Lifecycle)#

Async istek yaşam döngüsü:

  1. Producer RDBMS üzerine yazar
  2. Processor RDBMS üzerinden okur
  3. Processor Kafka üzerine yazar
  4. Fluentd Kafkadan okur
  5. Fluentd Elasticsearch üzerine yazar