Introduction to Apache Doris

 

Apache Doris là gì ?

Apache Doris là một interactive SQL real-time data warehouse dựa vào kiến trúc MPP ( Massive Parallel Processing ). Hình ảnh dưới đây là những gì Apache Doris có thể đại diện trong data pipeline

Technical

Kiến trúc của Apache Doris được chia làm 2 loại

  • Frontend (FE):
    • user request processing: xử lý request từ người dùng
    • query parsing and planning: xử lý parsing và xử lý plan của query
    • metadata management: quản lý metadata
    • node management: quản lý node
  • Backend (BE):
    • data storage: lưu trữ dữ liệu
    • query execution: thực thi câu query

  • Storage Engine:

    • Apache Doris có engine lưu trữ dạng columnar ( encode, compress, read data by column ).
    • Hỗ trợ nhiều cấu trúc index: Sorted Compound Key Index, MIN/MAX Indexing, Bloom Filter, Invert Index
    • Hỗ trợ nhiều mô hình dữ liệu ( data model ): Aggregate Key Model, Unique Key Model, Duplicate Key Model
    • Hỗ trợ Materialized Views ( tự động được select và update )

  • Query Engine:

    • MPP-based query engine: thực thi parallel giữa các node, hỗ trợ phân tán shuffle join cho các bảng lớn

    • Query engine của Doris được fully vectorized ( C++ ): quá trình chuyển đổi các scalar operations ( ví dụ 1 hàm a = b + c ) thành các SIMD operation ( ví dụ như dùng parallel trong Stream API của Java hoặc Vector API trong Java 17 ). Trong SIMD, dữ liệu được xử lý đồng thời.
    • Memory structure đc cấu tạo từ columnar format, điều này giảm thiểu virtual function call, tăng cache hit rate.

    • Doris dùng Adaptive Query Execution ( 1 cơ chế cũng có trong Spark 3 ) để điều chỉnh execution plan linh động dựa vào các thống kê runtime.

    • Query optimizer của Doris là sự kết hợp giữa CBO ( Cost-Based Optimization ) và RBO ( Rule-Based Optimization ).

      • RBO hỗ trợ folding liên tục, viết lại subquery và predicate pushdown
      • CBO hỗ trợ sắp xếp lại câu JOIN

Comments

Post a Comment

Popular posts from this blog

Một số câu hỏi về 'difference between'

Image
 Một số câu hỏi về 'difference between' ( P1 ) 1. What is the difference between row_number() and rank() in SQL ? Khác nhau ở chỗ xử lý giá trị bằng nhau, đối với: row_number(): thì sẽ đánh số tăng dần ( mặc định bắt đầu từ 1 ) đối với mỗi dòng rank(): thì sẽ đánh số có giá trị bằng nhau ( ví dụ 2 dòng đều là rank 1 ) đối với 2 dòng có giá trị bằng nhau 2. What is the difference between IN and EXISTS and providing me example ? Khác nhau ở chỗ khi filter các giá trị trong 1 list, đối với: in(): thì đó là 1 list biết trước các giá trị exists() thì đó là 1 list chưa biết trước giá trị ( ta sẽ chạy câu này để kiểm trả xem có match giá trị nằm trong vế subquery của exists hay ko ) 3. What is the difference between true column store and row store ? Khác nhau ở chỗ cách lưu trữ, đối với: row store: dữ liệu được nhóm với nhau theo hàng Row 1: [Value1, Value2, Value3] Row 2: [Value4, Value5, Value6] Row 3: [Value7, Value8, Value9] column store: dữ liệu được nhóm với nhau theo ...
Read more

Introduction to Apache Hudi

  Introduction to Apache Hudi Data Lake Integration Hudi có thể đẩy dữ liệu realtime vào các hệ lưu trữ distributed file systems (DFS), như là  HDFS  hoặc cloud stores ( MinIO ) Có thể chứa đc dữ liệu lớn trên file ( parquet, … ), tiết kiệm hơn so với lưu trữ trên các hệ OLAP ( Kudu, Pinot ) Tương thích với nhiều loại query engine nên ta có thể dễ dàng query data từ Hudi table Core Components Tables : Hudi tổ chức data dưới dạng bảng, dễ dàng quản lý và query. Transactions : Hudi hỗ trợ những hoạt động transactional như UPDATE , DELETE ( nếu chỉ dùng Hive thì ko có ) trên từng dòng data. Bảo đảm consistency và durability trong các hành động write data ( Tính chất C và D trong ACID ). Upserts/Deletes : Hudi hỗ trợ update và delete, cho phép bạn thay đổi dòng data hiện tại nhưng ko cần phải xử lý hết toàn bộ dataset ( toàn bộ file ) Advanced Indexes : Hudi hỗ trợ đánh index, giúp cải thiện query performance. Streaming Ingestion Services : Hudi hỗ trợ ing...
Read more