SIEM Çözümlerinde Index (Canlı Log- Anında Loga Erişim) Maliyetleri

Loglara hızlı erişebilmek için bu logların indexli yani canlıda tutulması gerekir. Bu indexlerin disk miktarı olarak ek maliyetleri vardır.

SIEM ve Log Yönetimi çözümlerinde disk yönetimi nasıl yapılır?

Log erişim hızı açısından kritik olan logları canlıda tutup tutamadığınızdır. Arşivde tuttuğunuz loga erişim canlıya göre çok uzun sürer. Bu süre arşivden son 1 hafta ararken birkaç gün, arşivden son 6 ay ararken 15–20 gün, arşivden son 1 yıl ararken 1-2 ay sürer. Bunu indexlenmiş logdan (canlı) ararken dakika ve saat mertebesinde olur.
Canlı ve arşiv arasındaki en önemli farkı logun indexlenip indexlenmemesi oluşturur.
2000 EPS bir sistem günlük 100 GB civarı log oluşturur. Bunu indexlerseniz oluşacak index boyutu SIEM çözümünden SIEM çözümüne değişiklik gösterir. Kimi sistemde 100 GB logun index boyutu indexlenen alan sayısına göre değişir. Örneğin inexlenen 20 alan(kolon) için 5 TB a kadar çıkarken bazı SIEM sistemlerinde ise 2.5 GB a düşer. Bu düşmenin sebebi de indexlerin ne kadar sıkıştırıldığı veya sıkıştırılıp sıkıştırılamadığı belirler.
Elasticsearch hem kendi başına oldukça yoğun kullanılır, hem de ticari olarak satılan pek çok log yönetimi ve SIEM çözümünün alt yapısını oluştur. Bundan dolayı Elasticsearch hesaplama yöntemine inceleyelim.

Elasticsearch örnek hesaplama:

disk space used(original) = 1/3 original for each indexed field + 1 * original for stored + 2 * original per field with term vectors

Gördüğünüz gibi indekslenen alan (kolon) sayısına göre oluşacak index miktarı çok değişmektedir.

Ayrıca piyasada 200 civarı alan(kolon) indexleyip 100 GB logu 2.5 GB a sıkıştırarak indexleyebilen ve aynı anda canlıda kullanıma sunabilen çözümler vardır.