Uber Case Study: Choosing the Right HDFS File Format for Your Apache Spark Jobs

eng.uber.com

Ở Uber, có một team chuyên thu thập hình ảnh và dữ liệu meta tương ứng từ ứng dụng điện thoại để liên tục cải thiện chất lượng bản đồ, ví dụ như hình ảnh bảng chỉ đường, ... Những hình ảnh này sẽ được xử lý bởi Apache Spark và lưu trữ vào HDFS

Apache Spark hỗ trợ nhiều loại định dạng file khác nhau. Và trong bài blog này, các tác giả chia sẻ về quá trình lựa chọn định dạng file phù hợp với bài toán của họ.

Read more...
Linkedin

Want to receive more content like this in your inbox?