TPC-DS 基准测试
TPC-DS 是事务处理性能委员会 (TPC) 开发的决策支持基准测试。与 TPC-H 相比，它使用了更全面的测试数据集和复杂的 SQL 查询。
TPC-DS 模拟了决策支持系统的几个通用方面，包括查询和数据维护。TPC-DS 旨在为测试和评估数据库系统在零售环境中的性能提供全面而实际的工作负载。 TPC-DS 基准测试模拟了零售企业中三个销售渠道（商店、互联网和目录）的销售和退货数据。除了创建销售和退货数据模型的表之外，它还包括一个简单的库存系统和一个促销系统。
此基准测试针对 24 个表执行总共 99 个复杂的 SQL 查询，这些表的数据大小范围从 1 GB 到 3 TB。 主要性能指标是每个查询的响应时间，即查询提交到返回结果之间的时间。
测试结论
该测试针对 StarRocks 和 Trino 上的 TPC-DS 1 TB 数据集执行。 以下结果的单位为毫秒。
对于 StarRocks，测试查询在其原生表（在 Shared-Nothing 和 Shared-Data 架构下）和 Iceberg Catalog（在 Shared-Data 架构下）上执行。 对于 Trino，测试查询在相同的 Iceberg Catalog 上执行。 StarRocks 和 Trino 在 Iceberg Catalog 上的测试都使用 AWS Glue 作为元数据存储，并使用带有 ZSTD 压缩的 Parquet 格式数据。
测试结果如下：
- 在 StarRocks Shared-Nothing 集群中的 OLAP 表上执行的查询耗时 314 秒。
- 在 StarRocks Shared-Data 集群中的 OLAP 表上执行的查询耗时 326 秒。
- 在 StarRocks Shared-Data 集群中的 Iceberg Catalog 上执行的查询耗时 368 秒。
- 在 Trino 中的 Iceberg Catalog 上执行的查询耗时 2552 秒。
结论如下：
-
StarRocks 在 Shared-Nothing 和 Shared-Data 架构中都具有相当的性能
在 OLAP 表查询场景中，Shared-Nothing 模式下的 StarRocks 的性能是 Shared-Data 模式的 1.04 倍，表明存储计算分离带来的性能开销非常小。
-
StarRocks 在 Lakehouse 查询场景中明显优于 Trino，并且在 OLAP 表查询中具有更大的优势
- 在 Iceberg Catalog 查询场景中，StarRocks 的性能是 Trino 的 6.93 倍。
- 在 OLAP 表查询中，性能差距进一步扩大——StarRocks 的性能是 Trino 的 8.13 倍（在 Shared-Nothing 模式下）和 7.82 倍（在 Shared-Data 模式下）。
测试准备
硬件
StarRocks 和 Trino 部署在相同配置的主机上 - AWS m6id.4xlarge。
| 规格 | |
|---|---|
| 实例数量 | 5 |
| vCPU | 16 |
| 内存 (GiB) | 64 |
| 实例存储 (GB) | 1x950 NVMe SSD |
| 网络带宽 (Gbps) | 高达 12.5 |
| EBS 带宽 (Gbps) | 高达 10 |
软件
| StarRocks | Trino | |
|---|---|---|
| 集群大小 | 一个 FE，四个 BE | 一个 Coordinator，四个 Worker |
| 版本 | 3.5.0 | 475 |
| 发布日期 | 2025.6.13 | 2025.4.23 |
| 配置 | set query_mem_limit=66571993088; (62 GB) | query.max-memory=224GBquery.max-memory-per-node=35GB |
测试结果
下表显示了 99 个查询的性能测试结果。 查询延迟的单位为毫秒。 所有查询预热 1 次，然后执行 3 次以取平均值作为结果。 表头中的 Trino vs StarRocks on Iceberg 表示使用 Trino 的查询响应时间除以 StarRocks 的查询响应时间。 值越大表示 StarRocks 的性能越好。 在 Iceberg Catalog 上进行测试之前，在 StarRocks 上执行 ANALYZE TABLE 和 EXPLAIN COST 语句以收集统计信息。
| 查询 | StarRocks | Trino | Trino vs StarRocks on Iceberg | ||
|---|---|---|---|---|---|
| OLAP 表 | Iceberg Catalog | Iceberg Catalog | |||
| Shared-Nothing | Shared-Data | Shared-Data | |||
| 总和 | 313582 | 326163 | 368404 | 2552076 | 6.93 |
| Q01 | 675 | 636 | 727 | 2276 | 3.13 |
| Q02 | 935 | 925 | 1949 | 21289 | 10.92 |
| Q03 | 220 | 140 | 399 | 1764 | 4.42 |
| Q04 | 17185 | 16206 | 16744 | 200249 | 11.96 |
| Q05 | 417 | 543 | 1724 | 5574 | 3.23 |
| Q06 | 200 | 180 | 343 | 2909 | 8.48 |
| Q07 | 814 | 959 | 1795 | 3638 | 2.03 |
| Q08 | 235 | 181 | 319 | 2534 | 7.94 |
| Q09 | 7097 | 6503 | 23153 | 36125 | 1.56 |
| Q10 | 297 | 343 | 497 | 2471 | 4.97 |
| Q11 | 11229 | 10249 | 9777 | 133230 | 13.63 |
| Q12 | 128 | 130 | 207 | 1067 | 5.15 |
| Q13 | 417 | 447 | 2218 | 18297 | 8.25 |
| Q14 | 15112 | 15055 | 15310 | 143172 | 9.35 |
| Q15 | 455 | 474 | 525 | 2158 | 4.11 |
| Q16 | 476 | 523 | 975 | 14035 | 14.39 |
| Q17 | 895 | 948 | 1645 | 5487 | 3.34 |
| Q18 | 802 | 973 | 1544 | 4736 | 3.07 |
| Q19 | 209 | 268 | 507 | 1870 | 3.69 |
| Q20 | 147 | 176 | 253 | 1257 | 4.97 |
| Q21 | 83 | 80 | 405 | 945 | 2.33 |
| Q22 | 1462 | 1823 | 2384 | 7871 | 3.30 |
| Q23 | 82887 | 84426 | 50719 | 488653 | 9.63 |
| Q24 | 7649 | 9064 | 11902 | 43436 | 3.65 |
| Q25 | 795 | 919 | 1404 | 4347 | 3.10 |
| Q26 | 376 | 511 | 868 | 2961 | 3.41 |
| Q27 | 458 | 532 | 1397 | 4219 | 3.02 |
| Q28 | 6489 | 6004 | 18727 | 24678 | 1.32 |
| Q29 | 1296 | 2168 | 2129 | 10640 | 5.00 |
| Q30 | 295 | 330 | 529 | 2770 | 5.24 |
| Q31 | 2172 | 2162 | 2535 | 10260 | 4.05 |
| Q32 | 110 | 225 | 277 | 1035 | 3.74 |
| Q33 | 235 | 245 | 734 | 2743 | 3.74 |
| Q34 | 402 | 422 | 696 | 2455 | 3.53 |
| Q35 | 1353 | 1393 | 1562 | 8023 | 5.14 |
| Q36 | 553 | 559 | 1193 | 3342 | 2.80 |
| Q37 | 263 | 243 | 217 | 6178 | 28.47 |
| Q38 | 5002 | 5207 | 5519 | 38408 | 6.96 |
| Q39 | 356 | 367 | 820 | 5696 | 6.95 |
| Q40 | 124 | 134 | 575 | 1554 | 2.70 |
| Q41 | 43 | 50 | 76 | 271 | 3.57 |
| Q42 | 81 | 104 | 197 | 996 | 5.06 |
| Q43 | 487 | 733 | 722 | 4108 | 5.69 |
| Q44 | 2087 | 2102 | 9364 | 16468 | 1.76 |
| Q45 | 431 | 470 | 514 | 2212 | 4.30 |
| Q46 | 1468 | 1829 | 1976 | 4780 | 2.42 |
| Q47 | 2921 | 3120 | 3130 | 42704 | 13.64 |
| Q48 | 467 | 573 | 1441 | 12464 | 8.65 |
| Q49 | 496 | 547 | 1715 | 3827 | 2.23 |
| Q50 | 3768 | 5135 | 3899 | 21771 | 5.58 |
| Q51 | 4826 | 4633 | 3244 | 12247 | 3.78 |
| Q52 | 87 | 106 | 219 | 1007 | 4.60 |
| Q53 | 446 | 635 | 955 | 1768 | 1.85 |
| Q54 | 198 | 266 | 763 | 31864 | 41.76 |
| Q55 | 82 | 105 | 221 | 1187 | 5.37 |
| Q56 | 175 | 186 | 499 | 2133 | 4.27 |
| Q57 | 1848 | 1787 | 1916 | 26042 | 13.59 |
| Q58 | 241 | 245 | 503 | 3032 | 6.03 |
| Q59 | 3935 | 3908 | 3160 | 20819 | 6.59 |
| Q60 | 262 | 292 | 643 | 2749 | 4.28 |
| Q61 | 330 | 344 | 913 | 2054 | 2.25 |
| Q62 | 500 | 519 | 840 | 5104 | 6.08 |
| Q63 | 448 | 629 | 937 | 1719 | 1.83 |
| Q64 | 4508 | 8886 | 8602 | 16990 | 1.98 |
| Q65 | 5690 | 5617 | 5445 | 20616 | 3.79 |
| Q66 | 387 | 390 | 1335 | 3511 | 2.63 |
| Q67 | 31286 | 29240 | 21439 | 89430 | 4.17 |
| Q68 | 240 | 341 | 683 | 2883 | 4.22 |
| Q69 | 260 | 292 | 501 | 2181 | 4.35 |
| Q70 | 2904 | 3012 | 3751 | 21499 | 5.73 |
| Q71 | 272 | 1111 | 631 | 2578 | 4.09 |
| Q72 | 1642 | 1899 | 4969 | 504573 | 101.54 |
| Q73 | 186 | 228 | 388 | 1933 | 4.98 |
| Q74 | 9433 | 9133 | 8890 | 78071 | 8.78 |
| Q75 | 6446 | 7718 | 9082 | 26270 | 2.89 |
| Q76 | 2356 | 2331 | 5028 | 11266 | 2.24 |
| Q77 | 238 | 241 | 701 | 2785 | 3.97 |
| Q78 | 17583 | 16590 | 18614 | 51497 | 2.77 |
| Q79 | 2201 | 2474 | 1597 | 5572 | 3.49 |
| Q80 | 800 | 855 | 2672 | 4762 | 1.78 |
| Q81 | 518 | 533 | 769 | 4040 | 5.25 |
| Q82 | 623 | 613 | 854 | 11622 | 13.61 |
| Q83 | 158 | 217 | 404 | 2274 | 5.63 |
| Q84 | 195 | 434 | 351 | 3086 | 8.79 |
| Q85 | 455 | 733 | 1087 | 5424 | 4.99 |
| Q86 | 725 | 736 | 819 | 3422 | 4.18 |
| Q87 | 4816 | 5004 | 5535 | 41300 | 7.46 |
| Q88 | 8712 | 8444 | 19465 | 30738 | 1.58 |
| Q89 | 530 | 730 | 915 | 2227 | 2.43 |
| Q90 | 587 | 581 | 1150 | 3890 | 3.38 |
| Q91 | 95 | 96 | 227 | 2035 | 8.96 |
| Q92 | 78 | 140 | 228 | 994 | 4.36 |
| Q93 | 3723 | 4705 | 5781 | 22926 | 3.97 |
| Q94 | 601 | 963 | 962 | 5884 | 6.12 |
| Q95 | 1747 | 3106 | 2575 | 29607 | 11.50 |
| Q96 | 1444 | 1428 | 2562 | 4905 | 1.91 |
| Q97 | 4795 | 4844 | 5383 | 22726 | 4.22 |
| Q98 | 284 | 323 | 365 | 1911 | 5.24 |
| Q99 | 1132 | 1184 | 1594 | 10970 | 6.88 |