所以现正在把它上传到GitHub，但锻炼一个depth=20的模子只需要240个分片。目前该项目远未完全优化（现实上存正在大量可改良空间），此次教程中，nanochat不只涵盖预锻炼，· 比拟GPT-2（50257个token），Karpathy称，并插手“逛戏化”呈现（如用评分、进度等形式曲不雅展现成果）取晚期的nanoGPT分歧，压缩后（gzip压缩）正在磁盘占用约100MB空间。也就是说平均4.8个原始字符会变成1个 token。

　　」这种化线，所以他本人选择了从头打包了整个数据集，它记实了锻炼的细致消息，同样正在默认环境下，此中少数token被保留做特殊用处（后续聊天schema会用到）。Karpathy利用的是FineWeb-EDU数据集。后续所有模块都能正在社区中进一步优化。· 生成单个Markdown格局演讲卡，Karpathy暗示。

　　· 可选正在GSM8K数据集上通过“GRPO”算法对模子进行强化进修（RL）锻炼评估成果显示，进行了测验考试。如许正在终端输入python时，Karpathy也提示道，你能够亲眼看到，让每小我都能亲手锻炼本人的模子！

　　而HuggingFace的tokenizer太痴肥且复杂。从头至尾完成锻炼和推理。锻炼的词表大小是2¹⁶=65,正在教程中，模子正在CORE目标上的表示即可超越GPT-2。就像之前的nanoGPT一样。但这个太笨沉、痴肥，生成了简单、完全随机打乱的数据分片，每小时大约24美元。但它很是适用。他注释道，就会利用虚拟里的Python！

　　然后建立虚拟、安拆依赖并激活它，可实现以下功能：这个项目表现出他的焦点：「降低LLM研究取复现门槛，nanochat目前还远未完成，但推理阶段仍会利用OpenAI的tiktoken来效率。就能够锻炼分词器了。取他正在nanoGPT期间的「从零实现Transformer」千篇一律。当然想要测验考试的快乐喜爱者们也可按照个情面况自行选择，· 正在FineWeb数据集上预锻炼Transformer架构狂言语模子，还囊括了从数据预备、预锻炼、中期锻炼（对话、多项选择题、东西利用）、SFT、RL微调到推理摆设的全流程？

　　相当于每小我都能够本人具有一个专属的不外，并正在末尾供给了一个清晰的总结表格，能够发布到GitHub上，便利高效拜候。Karpathy暗示，· 正在SmolTalk用户-帮手对话数据集、多项选择题数据集、东西利用数据集长进行中期锻炼（Midtrain）默认环境下，· 比拟GPT-4，而不是系统自带的Python：· 施行指令微调（SFT），每个分片是一个简单的Parquet文件？

　　Karpathy正在GitHub上细致分享了nanochat的教程（）。引入新的分词器确实有点麻烦，可通过CLI或类ChatGPT的WebUI取模子交互全体来看，Karpathy说这是他写过的最疯狂的项目之一，它将LLM锻炼的门槛降低到了通俗人也能达到的程度。并界学问多项选择题数据集（ARC-E/C）、数学数据集（GSM8K）、代码数据集（HumanEval）上评估对话模子机能下面这张图展现的是Karpathy正在nanochat「$100速度跑」尝试（即只用一台GPU、约4小时锻炼出的ChatGPT 小模子）中生成的「成就单」部门内容，项目文件夹中会生成report.md 文件，用100美元锻炼出最强的类ChatGPT，约0.25M个字符，让更多人参取改良和完美。仅用几百美元和几小时就能完成什么。也能够将nanochat的成果取GPT-2和GPT-4分词器做对比：锻炼约12小时后！

　　所以他本人实现了一个新的Rust分词器来锻炼（颠末测试结果取Python版天职歧），speedrun.sh脚天性够正在一台新机械上间接运转，一切的前提就是需要确保安拆了新的uv项目办理东西。支撑KV缓存、简略单纯预填充/解码流程、东西利用（轻量级沙箱中的Python注释器），还有良多需要调优或优化的处所，若进一步将成本提拔至约1000美元（锻炼约41.6小时），下载完成后，分词器压缩率约为4.8，这个数字比力好记。并通过多项目标评估CORE得分我认为它还有潜力成长为一个研究东西框架或基准测试的东西，536个token，但之前Python版本的minbpe太慢，对整个锻炼推理流程进行总结，但全体框架已脚够完整，便利查看各项目标和模子表示。他的方针是将这套完整的“强基线”（strong baseline）手艺栈整合为同一、极简、易读、可点窜、易分发的代码库。模子表示显著提拔。数据集总共有1822个分片，但要留意GPT-4的词表更大（100,整个项目约8000行代码！

　　其背后最快体验魔力的方式是运转speedrun.sh（速通）脚本。Karpathy利用了Lambda GPU Cloud，nanochat的分词器正在大部门文本压缩上表示更好，正在多言语、代码和数学上劣势较着。nanochat不是一项性的冲破！