首页 电脑 电脑学堂 查看内容

特斯拉前AI总监Andrej Karpathy用简单通俗的语言告诉你如何整出一个AI大模型

2024-3-15 16:14 2051 0

摘要: 阶段 1: 预训练1. 下载 ~10TB 的文本数据。2. 获取一个包含 ~6,000 个 GPU 的集群。3. 将文本数据压缩成神经网络,花费约 ~200 万美元,等待 ~12 天。4. 获得基础模型。 阶段 2: 微调1. 编写标签说明。2. 雇佣人员( ...
关键词: 模型 微调 数据 文本 收集 获得 阶段 等待 基础 神经网络

阶段 1: 预训练
1. 下载 ~10TB 的文本数据。
2. 获取一个包含 ~6,000 个 GPU 的集群。
3. 将文本数据压缩成神经网络,花费约 ~200 万美元,等待 ~12 天。
4. 获得基础模型。

阶段 2: 微调
1. 编写标签说明。
2. 雇佣人员(或使用 scale.ai),收集 100K个高质量的理想问答回复和/或比较。
3. 用这些数据微调基础模型,等待约1天。
4. 获得助理模型。
5. 运行大量评估。
6. 部署。
7. 监控,收集错误行为,返回步骤 1。

容易不,学会了么

本文出处: https://www.toutiao.com/w/1793019440469004/
声明:文章版权归原作者所有 部分文章转自互联网 如有侵权请联系 [邮箱地址] 删除

路过

雷人

握手

鲜花

鸡蛋

最新评论

返回顶部