ds4/speed-bench/pro_model_m3_ultra.csv

1	ctx_tokens	prefill_tokens	prefill_tps	gen_tokens	gen_tps	kvcache_bytes
2	2048	2048	183.06	128	12.42	75564572
3	4096	2048	176.23	128	9.98	115910172
4	6144	2048	151.52	128	9.85	156255772
5	8192	2048	150.88	128	9.88	196601372
6	10240	2048	148.95	128	9.79	236946972
7	12288	2048	148.29	128	9.83	277292572
8	14336	2048	147.32	128	9.76	317638172
9	16384	2048	146.74	128	9.77	357983772
10	18432	2048	145.05	128	9.69	398329372
11	20480	2048	144.17	128	9.71	438674972
12	22528	2048	143.45	128	9.64	479020572
13	24576	2048	142.72	128	9.68	519366172
14	26624	2048	141.22	128	9.60	559711772
15	28672	2048	140.45	128	9.63	600057372
16	30720	2048	139.65	128	9.57	640402972
17	32768	2048	138.82	128	9.56	680748572