Storing 50 million events per second in Elasticsearch

datadome.co

DataDome là một công ty an ninh mạng toàn cầu cung cấp giải pháp SaaS được thiết kế để bảo vệ các trang web của khách hàng. 

Giải pháp của DataDome sử dụng Apache Flink để phân tích sự kiện theo thời gian thực nhằm phát hiện các mối đe dọa mới và Elaticsearch để lưu trữ các yêu cầu từ tất cả khách hàng. 

Một vài con số thống kê: cụm của họ lưu trữ hơn 150TB dữ liệu, 15 nghìn tỷ sự kiện trong 60 tỷ document, trải đều trong 3 000 chỉ mục và 15 000 shard trên 80 node. Mỗi document lưu trữ 250 event trong field riêng biệt.

Mỗi ngày, trong thời gian tính phí cao nhất, cụm Elaticsearch của họ viết hơn 200 000 document mỗi giây và có tốc độ tìm kiếm hơn 20 000 request mỗi giây.

Read more...
Linkedin

Want to receive more content like this in your inbox?