开源项目Cortex尝试让低内存CPU流式运行大模型

10月11日，Hugging Face论坛出现一个开源工程求助帖。项目Cortex试图构建实验性AI推理系统，核心思路是从存储中流式加载模型权重，而不是要求整个模型常驻内存，长期目标是在老旧、便宜的CPU电脑上运行更大的AI模型。

作者基于BitNet、GGUF和llama.cpp相关实验取得部分进展：已在AMD Athlon Silver 3050U上实现CPU-only推理，获得约每秒10个token的基线；完成外部tiled输出投影并通过logits验证；流式读写输入输出张量；使用可复用的16 MiB tile缓冲；对选定流式计算与基线进行逐位验证。

当前卡点在于把模型存储与模型驻留分离后，现有推理运行时的部分环节仍要求张量注册并保持驻留。作者表示要真正解决问题，而不是用swap或zram掩盖内存占用。他公开邀请llama.cpp与GGML开发者、系统程序员、量化专家、性能工程师和AI研究者参与，共同验证该架构能否推广到不同Transformer模型。