本地推理

把 7440 亿参数塞进 25GB 内存：MoE 流式卸载的账本

2026-11-04T07:11:22+08:00

一台 25GB 内存的笔记本跑 744B 模型，0.05 tok/s。把硬盘当第三层内存这件事，有人跑通了，也有人用算术证明了它只能救「差一点就装下」的模型。

两分钟录音,0.1 秒出字:语音听写的延迟被谁吃掉了

2026-11-03T07:10:59+08:00

从 HEX 这个 Rust 写的本地听写工具切入,把语音输入的延迟拆成四笔账:流式与整段的算法差、分段窗口的准确率代价、静音幻觉的两级门、以及跨平台把字塞进光标的最后一步。

本地推理换赛道了：从拼算力到拼内存层级

2026-10-07T08:00:00+08:00

antirez 的 ds4 和 colibri 同时登上趋势榜，加上一批 SSD 流式推理论文，指向同一件事：本地跑前沿模型的瓶颈已经从算力换成了内存层级。