TPC-DS 基准测试
TPC-DS 是由事务处理性能委员会 (TPC) 开发的决策支持基准测试。它使用比 TPC-H 更全面的测试数据集和复杂的 SQL 查询。
TPC-DS 模拟了决策支持系统的几个普遍适用的方面，包括查询和数据维护。TPC-DS 旨在为测试和评估数据库系统在零售环境中的性能提供一个全面且真实的工作负载。TPC-DS 基准测试模拟了零售企业中三个销售渠道（商店、互联网和 catalog）的销售和退货数据。除了为销售和退货数据模型创建表之外，它还包括一个简单的库存系统和促销系统。
该基准测试对 24 个表的 99 个复杂 SQL 查询进行了测试，这些表的数据大小从 1 GB 到 3 TB 不等。主要的性能指标是每个查询的响应时间，即从查询提交到结果返回的时间间隔。
测试结论
测试在 StarRocks 和 Trino 上对 TPC-DS 1 TB 数据集进行。以下结果的单位是毫秒。
对于 StarRocks，测试查询在其内表（在存算一体和存算分离架构下）和 Iceberg Catalog（在存算分离架构下）上进行。对于 Trino，测试查询在相同的 Iceberg Catalog 上进行。StarRocks 和 Trino 在 Iceberg Catalog 上的测试都使用 AWS Glue 作为元存储，并使用 ZSTD 压缩的 Parquet 格式数据。
测试结果为：
- 在 StarRocks 存算一体集群的 OLAP 表上执行的查询耗时 314 秒。
- 在 StarRocks 存算分离集群的 OLAP 表上执行的查询耗时 326 秒。
- 在 StarRocks 存算分离集群的 Iceberg Catalog 上执行的查询耗时 368 秒。
- 在 Trino 的 Iceberg Catalog 上执行的查询耗时 2552 秒。
结论是：
-
StarRocks 在存算一体和存算分离架构中表现出相当的性能
在 OLAP 表查询场景中，StarRocks 在存算一体模式下的性能是存算分离模式的 1.04 倍，表明存算分离带来的性能开销很小。
-
StarRocks 在 Lakehouse 查询场景中开箱即用地显著优于 Trino，在 OLAP 表查询中优势更大
- 在 Iceberg Catalog 查询场景中，StarRocks 的性能是 Trino 的 6.93 倍。
- 在 OLAP 表查询中，性能差距进一步扩大——StarRocks 在存算一体模式下的性能是 Trino 的 8.13 倍，在存算分离模式下是 7.82 倍。
测试准备
硬件
StarRocks 和 Trino 部署在相同配置的主机上 - AWS m6id.4xlarge。
| 规格 | |
|---|---|
| 实例数量 | 5 |
| vCPU | 16 |
| 内存 (GiB) | 64 |
| 实例存储 (GB) | 1x950 NVMe SSD |
| 网络带宽 (Gbps) | 高达 12.5 |
| EBS 带宽 (Gbps) | 高达 10 |
软件
| StarRocks | Trino | |
|---|---|---|
| 集群大小 | 一个 FE，四个 BE | 一个协调器，四个工作节点 |
| 版本 | 3.5.0 | 475 |
| 发布日期 | 2025.6.13 | 2025.6.5 |
| 配置 | set query_mem_limit=66571993088; (62 GB) | query.max-memory=224GBquery.max-memory-per-node=35GB |
测试结果
下表显示了 99 个查询的性能测试结果。查询延迟的单位是毫秒。所有查询预热 1 次，然后执行 3 次，取平均值作为结果。表头中的 Trino vs StarRocks on Iceberg 表示使用 Trino 的查询响应时间除以 StarRocks 的查询响应时间。值越大表示 StarRocks 的性能越好。在 Iceberg Catalog 上测试之前，StarRocks 执行 ANALYZE TABLE 和 EXPLAIN COST 语句以收集统计信息。
| 查询 | StarRocks | Trino | Trino vs StarRocks on Iceberg | ||
|---|---|---|---|---|---|
| OLAP 表 | Iceberg Catalog | Iceberg Catalog | |||
| 存算一体 | 存算分离 | 存算分离 | |||
| SUM | 313582 | 326163 | 368404 | 2552076 | 6.93 |
| Q01 | 675 | 636 | 727 | 2276 | 3.13 |
| Q02 | 935 | 925 | 1949 | 21289 | 10.92 |
| Q03 | 220 | 140 | 399 | 1764 | 4.42 |
| Q04 | 17185 | 16206 | 16744 | 200249 | 11.96 |
| Q05 | 417 | 543 | 1724 | 5574 | 3.23 |
| Q06 | 200 | 180 | 343 | 2909 | 8.48 |
| Q07 | 814 | 959 | 1795 | 3638 | 2.03 |
| Q08 | 235 | 181 | 319 | 2534 | 7.94 |
| Q09 | 7097 | 6503 | 23153 | 36125 | 1.56 |
| Q10 | 297 | 343 | 497 | 2471 | 4.97 |
| Q11 | 11229 | 10249 | 9777 | 133230 | 13.63 |
| Q12 | 128 | 130 | 207 | 1067 | 5.15 |
| Q13 | 417 | 447 | 2218 | 18297 | 8.25 |
| Q14 | 15112 | 15055 | 15310 | 143172 | 9.35 |
| Q15 | 455 | 474 | 525 | 2158 | 4.11 |
| Q16 | 476 | 523 | 975 | 14035 | 14.39 |
| Q17 | 895 | 948 | 1645 | 5487 | 3.34 |
| Q18 | 802 | 973 | 1544 | 4736 | 3.07 |
| Q19 | 209 | 268 | 507 | 1870 | 3.69 |
| Q20 | 147 | 176 | 253 | 1257 | 4.97 |
| Q21 | 83 | 80 | 405 | 945 | 2.33 |
| Q22 | 1462 | 1823 | 2384 | 7871 | 3.30 |
| Q23 | 82887 | 84426 | 50719 | 488653 | 9.63 |
| Q24 | 7649 | 9064 | 11902 | 43436 | 3.65 |
| Q25 | 795 | 919 | 1404 | 4347 | 3.10 |
| Q26 | 376 | 511 | 868 | 2961 | 3.41 |
| Q27 | 458 | 532 | 1397 | 4219 | 3.02 |
| Q28 | 6489 | 6004 | 18727 | 24678 | 1.32 |
| Q29 | 1296 | 2168 | 2129 | 10640 | 5.00 |
| Q30 | 295 | 330 | 529 | 2770 | 5.24 |
| Q31 | 2172 | 2162 | 2535 | 10260 | 4.05 |
| Q32 | 110 | 225 | 277 | 1035 | 3.74 |
| Q33 | 235 | 245 | 734 | 2743 | 3.74 |
| Q34 | 402 | 422 | 696 | 2455 | 3.53 |
| Q35 | 1353 | 1393 | 1562 | 8023 | 5.14 |
| Q36 | 553 | 559 | 1193 | 3342 | 2.80 |
| Q37 | 263 | 243 | 217 | 6178 | 28.47 |
| Q38 | 5002 | 5207 | 5519 | 38408 | 6.96 |
| Q39 | 356 | 367 | 820 | 5696 | 6.95 |
| Q40 | 124 | 134 | 575 | 1554 | 2.70 |
| Q41 | 43 | 50 | 76 | 271 | 3.57 |
| Q42 | 81 | 104 | 197 | 996 | 5.06 |
| Q43 | 487 | 733 | 722 | 4108 | 5.69 |
| Q44 | 2087 | 2102 | 9364 | 16468 | 1.76 |
| Q45 | 431 | 470 | 514 | 2212 | 4.30 |
| Q46 | 1468 | 1829 | 1976 | 4780 | 2.42 |
| Q47 | 2921 | 3120 | 3130 | 42704 | 13.64 |
| Q48 | 467 | 573 | 1441 | 12464 | 8.65 |
| Q49 | 496 | 547 | 1715 | 3827 | 2.23 |
| Q50 | 3768 | 5135 | 3899 | 21771 | 5.58 |
| Q51 | 4826 | 4633 | 3244 | 12247 | 3.78 |
| Q52 | 87 | 106 | 219 | 1007 | 4.60 |
| Q53 | 446 | 635 | 955 | 1768 | 1.85 |
| Q54 | 198 | 266 | 763 | 31864 | 41.76 |
| Q55 | 82 | 105 | 221 | 1187 | 5.37 |
| Q56 | 175 | 186 | 499 | 2133 | 4.27 |
| Q57 | 1848 | 1787 | 1916 | 26042 | 13.59 |
| Q58 | 241 | 245 | 503 | 3032 | 6.03 |
| Q59 | 3935 | 3908 | 3160 | 20819 | 6.59 |
| Q60 | 262 | 292 | 643 | 2749 | 4.28 |
| Q61 | 330 | 344 | 913 | 2054 | 2.25 |
| Q62 | 500 | 519 | 840 | 5104 | 6.08 |
| Q63 | 448 | 629 | 937 | 1719 | 1.83 |
| Q64 | 4508 | 8886 | 8602 | 16990 | 1.98 |
| Q65 | 5690 | 5617 | 5445 | 20616 | 3.79 |
| Q66 | 387 | 390 | 1335 | 3511 | 2.63 |
| Q67 | 31286 | 29240 | 21439 | 89430 | 4.17 |
| Q68 | 240 | 341 | 683 | 2883 | 4.22 |
| Q69 | 260 | 292 | 501 | 2181 | 4.35 |
| Q70 | 2904 | 3012 | 3751 | 21499 | 5.73 |
| Q71 | 272 | 1111 | 631 | 2578 | 4.09 |
| Q72 | 1642 | 1899 | 4969 | 504573 | 101.54 |
| Q73 | 186 | 228 | 388 | 1933 | 4.98 |
| Q74 | 9433 | 9133 | 8890 | 78071 | 8.78 |
| Q75 | 6446 | 7718 | 9082 | 26270 | 2.89 |
| Q76 | 2356 | 2331 | 5028 | 11266 | 2.24 |
| Q77 | 238 | 241 | 701 | 2785 | 3.97 |
| Q78 | 17583 | 16590 | 18614 | 51497 | 2.77 |
| Q79 | 2201 | 2474 | 1597 | 5572 | 3.49 |
| Q80 | 800 | 855 | 2672 | 4762 | 1.78 |
| Q81 | 518 | 533 | 769 | 4040 | 5.25 |
| Q82 | 623 | 613 | 854 | 11622 | 13.61 |
| Q83 | 158 | 217 | 404 | 2274 | 5.63 |
| Q84 | 195 | 434 | 351 | 3086 | 8.79 |
| Q85 | 455 | 733 | 1087 | 5424 | 4.99 |
| Q86 | 725 | 736 | 819 | 3422 | 4.18 |
| Q87 | 4816 | 5004 | 5535 | 41300 | 7.46 |
| Q88 | 8712 | 8444 | 19465 | 30738 | 1.58 |
| Q89 | 530 | 730 | 915 | 2227 | 2.43 |
| Q90 | 587 | 581 | 1150 | 3890 | 3.38 |
| Q91 | 95 | 96 | 227 | 2035 | 8.96 |
| Q92 | 78 | 140 | 228 | 994 | 4.36 |
| Q93 | 3723 | 4705 | 5781 | 22926 | 3.97 |
| Q94 | 601 | 963 | 962 | 5884 | 6.12 |
| Q95 | 1747 | 3106 | 2575 | 29607 | 11.50 |
| Q96 | 1444 | 1428 | 2562 | 4905 | 1.91 |
| Q97 | 4795 | 4844 | 5383 | 22726 | 4.22 |
| Q98 | 284 | 323 | 365 | 1911 | 5.24 |
| Q99 | 1132 | 1184 | 1594 | 10970 | 6.88 |