ds4/speed-bench/gb10.csv

1	ctx_tokens	prefill_tokens	prefill_tps	gen_tokens	gen_tps	gen_first_ms	gen_steady_tokens	gen_steady_tps	kvcache_bytes
2	2048	2048	825.76	128	18.05	71.721	127	18.20	52184460
3	4096	2048	899.52	128	15.47	57.061	127	15.54	80373132
4	6144	2048	888.62	128	15.37	65.899	127	15.45	108561804
5	8192	2048	882.80	128	15.21	65.667	127	15.29	136750476
6	10240	2048	874.95	128	15.13	67.430	127	15.21	164939148
7	12288	2048	872.74	128	15.08	67.877	127	15.16	193127820
8	14336	2048	867.76	128	15.02	67.140	127	15.10	221316492
9	16384	2048	872.44	128	15.10	67.128	127	15.18	249505164
10	18432	2048	871.75	128	15.04	67.562	127	15.12	277693836
11	20480	2048	869.55	128	15.00	67.678	127	15.08	305882508
12	22528	2048	866.37	128	14.96	68.248	127	15.04	334071180
13	24576	2048	864.65	128	14.91	68.667	127	14.99	362259852
14	26624	2048	861.34	128	14.86	68.919	127	14.94	390448524
15	28672	2048	859.07	128	14.82	69.044	127	14.90	418637196
16	30720	2048	856.88	128	14.80	68.233	127	14.87	446825868
17	32768	2048	855.94	128	14.43	68.704	127	14.51	475014540
18	34816	2048	850.96	128	14.36	70.661	127	14.43	503203212
19	36864	2048	849.83	128	14.34	70.827	127	14.41	531391884
20	38912	2048	849.59	128	14.30	70.971	127	14.38	559580556
21	40960	2048	847.40	128	14.28	70.881	127	14.36	587769228
22	43008	2048	843.24	128	14.24	71.968	127	14.32	615957900
23	45056	2048	840.41	128	14.19	71.406	127	14.26	644146572
24	47104	2048	839.95	128	14.16	71.523	127	14.23	672335244
25	49152	2048	836.64	128	14.12	72.153	127	14.19	700523916
26	51200	2048	837.72	128	14.08	71.579	127	14.15	728712588
27	53248	2048	837.01	128	14.04	72.138	127	14.11	756901260
28	55296	2048	829.92	128	14.00	73.733	127	14.08	785089932
29	57344	2048	830.16	128	13.98	72.862	127	14.05	813278604
30	59392	2048	829.11	128	13.94	73.157	127	14.01	841467276
31	61440	2048	827.26	128	13.90	73.924	127	13.97	869655948
32	63488	2048	825.04	128	13.86	73.787	127	13.93	897844620
33	65536	2048	822.98	128	13.84	73.966	127	13.91	0