OwnerSunshine530 adc99b5b41 feat: emb_fp16 选项(Embedding表转FP16,查表带宽减半)；bench --emb-fp16 ...

embedding查表是显存带宽瓶颈(profile 16%)；FP16表读一半字节。按token量算应
能等比例翻译到评测。代价:embedding权重存FP16微小精度损失,须先测AUC。默认关。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-06-15 12:26:55 +08:00

..

tests

perf: searchsorted 构造因果mask，消除最后一个同步点(repeat_interleave张量repeats)

2026-06-15 12:09:40 +08:00

bench.py

feat: emb_fp16 选项(Embedding表转FP16,查表带宽减半)；bench --emb-fp16

2026-06-15 12:26:55 +08:00

build_env.sh

fix: build_env.sh 简化为纯净版本（避免 CUDA 预热导致异常）

2026-06-12 21:55:09 +08:00

EXPERIMENTS.md

feat: infer.py 接入 CONFIG 实验开关 + 新增 bench.py 测量闭环

2026-06-14 16:48:38 +08:00

infer.py

feat: emb_fp16 选项(Embedding表转FP16,查表带宽减半)；bench --emb-fp16

2026-06-15 12:26:55 +08:00

requirements.txt

revert: requirements.txt 还原为原始完整依赖列表

2026-06-12 21:24:22 +08:00