Kiểm Toán ClickHouseCalc: MergeTree Trên NVMe VDS So Với Cụm Elasticsearch / OpenSearch ELK
Theo phương trình lưu trữ định lượng của ClickHouseCalc, chỉ mục đảo Lucene cộng bản gốc `_source` trên Elasticsearch/OpenSearch thường chiếm 1.1x–1.6x dung lượng JSON gốc kèm yêu cầu JVM Heap lớn, trong khi ClickHouse MergeTree nén ZSTD(3) thu gọn luồng log xuống chỉ còn ~0.095x kích thước ban đầu.
Bảng Đối Chiếu Biểu Phí & Kiến Trúc ClickHouseCalc (ultahost-nvme-vds-vs-elasticsearch-logs)
| Tiêu Chí Kiểm Toán OLAP | Nền Tảng Đám Mây / Cũ | ClickHouse MergeTree Tự Chủ |
|---|---|---|
| Dung lượng đĩa mô phỏng cho 10 TB log JSON gốc | ~11.0 TB – 15.5 TB (Lucene inverted postings + `_source`) | ~0.95 TB – 1.22 TB (Columnar ZSTD(3) + 22% merge buffer) |
| Kiến trúc bộ nhớ ở quy mô 250 triệu log/ngày (~370 GB/ngày) | Multi-node cluster keeping JVM Heap <= 31 GB Compressed OOPs | Single 64 GB UltaHost NVMe VDS ($58.00/tháng published rate) |
| Thế mạnh tìm kiếm toàn văn so với thống kê gộp nhóm | Strong relevance-scored fuzzy search & BM25 ranking | Strong columnar `GROUP BY` + `tokenbf_v1` bloom skip filtering |
| Cơ chế dọn dẹp dữ liệu hết hạn lưu trữ | Index Lifecycle Management (ILM) shard rollover & delete | Metadata-level MergeTree partition `DROP` with minimal I/O |
Phân Tích Đánh Đổi Kiến Trúc ClickHouseCalc: ultahost-nvme-vds-vs-elasticsearch-logs
Khi Nào ClickHouseCalc Khuyên Giữ Lại Elasticsearch Thay Vì Chuyển Sang MergeTree?
Nếu bài toán chính của bạn là thanh tìm kiếm sản phẩm thương mại điện tử cần chấm điểm độ liên quan BM25 và sửa lỗi chính tả mờ, Elasticsearch hoặc OpenSearch vẫn là công cụ chuyên dụng đúng đắn. Ngược lại, với dữ liệu log máy chủ chỉ ghi nối thêm (append-only) lọc theo mốc thời gian và `service_name`, chỉ mục thưa của ClickHouse giúp giảm hàng chục lần dung lượng ổ cứng.
Thiết Kế Chỉ Mục Nhảy Bloom (`tokenbf_v1`) Trên ClickHouseCalc Khi Tìm Chuỗi Con
Gắn chỉ mục `TYPE tokenbf_v1(32768, 3, 0)` lên cột `body` chỉ làm tăng dưới 3% dung lượng đĩa nhưng cho phép ClickHouse bỏ qua ngay các khối 8.192 dòng không chứa mã lỗi hiếm. Số liệu đối chiếu trực tiếp trên cùng phần cứng được đánh dấu rõ tại quy trình tự kiểm thử thông số vận hành trực tiếp trên máy chủ đích.