阶段 1: 预训练
1. 下载 ~10TB 的文本数据。
2. 获取一个包含 ~6,000 个 GPU 的集群。
3. 将文本数据压缩成神经网络,花费约 ~200 万美元,等待 ~12 天。
4. 获得基础模型。
阶段 2: 微调
1. 编写标签说明。
2. 雇佣人员(或使用 scale.ai),收集 100K个高质量的理想问答回复和/或比较。
3. 用这些数据微调基础模型,等待约1天。
4. 获得助理模型。
5. 运行大量评估。
6. 部署。
7. 监控,收集错误行为,返回步骤 1。
容易不,学会了么
1. 下载 ~10TB 的文本数据。
2. 获取一个包含 ~6,000 个 GPU 的集群。
3. 将文本数据压缩成神经网络,花费约 ~200 万美元,等待 ~12 天。
4. 获得基础模型。
阶段 2: 微调
1. 编写标签说明。
2. 雇佣人员(或使用 scale.ai),收集 100K个高质量的理想问答回复和/或比较。
3. 用这些数据微调基础模型,等待约1天。
4. 获得助理模型。
5. 运行大量评估。
6. 部署。
7. 监控,收集错误行为,返回步骤 1。
容易不,学会了么




