An inside look at LinkedIn’s data pipeline monitoring system

engineering.linkedin.com

Giám sát các data pipeline thường tương đương với việc chờ đợi một loạt các công việc hoàn thành và quan sát trạng thái thực thi. Trạng thái kết quả có thể là “Failed” hoặc “Successful” hoặc thậm chí là “Incomplete.” . Từ đó, công việc tiếp theo là cần hiểu được các tác động, điều tra tình huống để xác định giải pháp. Cách giám sát này không hiệu quả khi thiếu tầm nhìn về tiến độ công việc và thời gian chờ đợi để hoàn thành công việc.

Trong blog này, linkedIn giải thích cách họ đã thiết kế một kiến ​​trúc để chia nhỏ một data pipeline thành các phân đoạn nhỏ hơn có thể đo lường bằng cách sử dụng các event. Ví dụ trong bài viết sử dụng Kafka Ingestion Pipeline để minh họa về thời gian và tài nguyên đã được tiết kiệm.

Read more...
Linkedin

Want to receive more content like this in your inbox?