#用Rust语言从零构建Transformer##纯Rust学Transformer大模型#如果你对大模型底层原理感兴趣，又恰好在用Rust，这个项目值得一看。RustGPT：用纯Rust语言从零实现一个Transformer大模型。模型结构是完整的Transformer，包括多头自注意力、前馈网络、位置编码、LayerNorm等。项目结构清晰，几乎每个模块都有测试，核心代码集中在`llm.rs`和`main.rs`两个文件里，训练、推理、交互都能跑。作者还写了自研的Adam优化器，做了梯度裁剪，连decoding都做了。- 训练流程包括两阶段：先预训练基础知识，再进行指令微调，优化对话能力； - 运行方式是全本地，使用Rust的`ndarray`处理矩阵运算，没有用到PyTorch、TensorFlow、Candle等库； - 支持互动模式，训练完可以直接打字跟模型聊天。目前模型的配置比较轻量：128维嵌入，3层Transformer，最大序列长度80。但由于是从头实现的，所以很适合用来学习、入门、教学或搞研究用。比起直接调用现成库，从零写起的过程能学到更多东西。 项目地址：github.com/tekaratzas/RustGPT