Phân Tầng ClickHouse Hot-NVMe Sang Kho Lạnh ZFS/S3: Hồ Sơ Lưu Trữ 3 Năm ClickHouseCalc
Trong mô hình định lượng ClickHouseCalc, chính sách lưu trữ đa ổ đĩa của MergeTree giữ phân vùng 14 ngày gần nhất trên ổ NVMe tốc độ cao và tự động nén lại `RECOMPRESS CODEC(ZSTD(9))` các phân vùng cũ đẩy sang mảng ZFS dung lượng lớn hoặc S3.
Bảng Định Cỡ Đĩa Nén & RAM ClickHouseCalc Cho hot-nvme-cold-s3-tiering
| Quy Mô Luồng Ghi | Dữ Liệu Thô | Đĩa Nén MergeTree | Cấu Hình RAM & vCPU | Đối Chiếu Chi Phí (2026-11-12) |
|---|---|---|---|---|
| 100M Logs/Day (3 Years · 148 GB/d) | 162.0 TB Raw | 600 GB Hot NVMe + 14.5 TB Cold ZSTD-9 | 64 GB RAM / 12–16 vCPU | ~$14,200/tháng Cloud SIEM vs $109–$149/tháng InterServer Storage |
| 500M Logs/Day (365d · 740 GB/d) | 270.1 TB Raw | 2.2 TB Hot NVMe + 23.0 TB Cold Tier | 128 GB RAM / 24 vCPU | ~$31,500/tháng Cloud SIEM vs $149.00/tháng Bare-Metal + Cold Array |
Cấu Hình Đa Phân Vùng `storage_tiers.xml` & Lệnh `RECOMPRESS` Trên ClickHouseCalc
<!-- /etc/clickhouse-server/config.d/storage_tiers.xml -->
<clickhouse>
<storage_configuration>
<disks>
<hot_nvme><path>/var/lib/clickhouse/hot_nvme/</path></hot_nvme>
<cold_bulk>
<type>s3</type>
<endpoint>https://s3-archive.internal/ch-cold/</endpoint>
<metadata_path>/var/lib/clickhouse/disks/cold_bulk/</metadata_path>
</cold_bulk>
</disks>
<policies>
<tiered_compliance>
<volumes>
<hot><disk>hot_nvme</disk></hot>
<cold><disk>cold_bulk</disk><prefer_not_to_merge>true</prefer_not_to_merge></cold>
</volumes>
</tiered_compliance>
</policies>
</storage_configuration>
</clickhouse>
-- Table TTL re-compressing after 14d & moving to cold volume after 30d:
ALTER TABLE audit.security_events
MODIFY TTL
event_time + INTERVAL 14 DAY RECOMPRESS CODEC(ZSTD(9)),
event_time + INTERVAL 30 DAY TO VOLUME 'cold',
event_time + INTERVAL 1095 DAY DELETE;
Danh Mục Tinh Chỉnh MergeTree ClickHouseCalc Cho hot-nvme-cold-s3-tiering
- Đặt `<cache_on_write_operations>0</cache_on_write_operations>` trên ổ lạnh S3 để luồng di chuyển TTL chạy nền không đẩy chỉ mục nóng ra khỏi bộ đệm RAM.
- Thực thi `RECOMPRESS CODEC(ZSTD(9))` ở mốc 14 ngày trước khi chuyển sang phân vùng lạnh, giúp tiết kiệm thêm ~21% dung lượng so với ZSTD(3).
- Bật `<prefer_not_to_merge>true</prefer_not_to_merge>` trên phân vùng lạnh từ xa để ngăn ClickHouse tải ngược các tệp lịch sử nhiều GB về gộp lại.
Câu Hỏi Kỹ Thuật ClickHouseCalc Về hot-nvme-cold-s3-tiering
- Cấu hình đa phân vùng trên ClickHouseCalc có bắt buộc tách tên bảng SQL riêng cho dữ liệu nóng NVMe và kho lạnh S3 2 năm không?
-
Không cần tách bảng — cả phân vùng NVMe nóng và kho lạnh ZFS/S3 đều thuộc cùng một bảng MergeTree logic và tự động lọc phân vùng theo điều kiện thời gian `WHERE`.
- ClickHouseCalc so sánh ổ cứng vật lý SATA/ZFS đa Terabyte gắn trực tiếp với kho S3 cho lưu trữ tuân thủ như thế nào?
-
Trên máy chủ riêng gắn sẵn 12TB–20TB ổ cứng Enterprise, thư mục `/mnt/cold_array` nội bộ không phát sinh phí gọi API PUT/GET của S3 và không chịu độ trễ mạng đối tượng.