ColossalChat

ColossalChat是由HPC-AI Tech开源的一款聊天机器人大模型，其基础模型源自Meta开源的LLaMA。

Colossal人工智能是由加州大学伯克利分校的杰出教授James Demmel和新加坡国立大学总统青年教授Yang You的专业知识开发的。自开源以来，Colossal AI已多次成为GitHub Trending上的第一名，拥有约20000名GitHub stars，并成功成为SC、AAAI、PPoPP、CVPR和ISC等国际人工智能和HPC顶级会议的官方教程。

ColossalChat的特点包括：

1、提供免费且无需注册的在线演示网站。
2、训练代码完全开源，是全球首个公开RLHF训练代码的模型，包括70亿参数和130亿参数的预训练结果。
3、公开了包含10.4万条中英文数据的数据集。
4、运行4-bit量化的70亿参数模型仅需4GB的GPU显存。

ColossalChat是第一个基于LLaMA预训练模型实现的开源RLHF pipeline，包括有监督数据收集、有监督微调、奖励模型训练和强化学习微调。用户可以在1.6GB GPU内存下复制ChatGPT训练过程，并在训练中体验7.73倍的加速。

该项目包括：

在线Demo：提供交互式演示，用户可以在无需注册或等待名单的情况下在线尝试。
训练代码：完整的RLHF训练代码，适用于7B和13B的模型。
数据集：开源的104K中英文双语数据集。
推理：仅需要4GB GPU内存的70亿参数模型的4位量化推理。
模型权重：可以在单个服务器上以较小计算成本快速复制。
ColossalChat不到100亿个参数就能通过RLHF微调达到中英文双语水平，达到与ChatGPT和GPT-3.5相当的效果。

Meta已经开源了LLaMA模型，提供了70亿至650亿的参数大小。在大多数基准测试中，130亿参数的模型可以优于1750亿的GPT-3模型。然而，由于缺乏指令调优阶段，实际生成的结果可能不尽如人意。

Alpaca通过调用OpenAI的API自学生成训练数据。该轻量级模型只有70亿个参数，可以以较小的成本进行微调，实现与GPT-3.5相似的大型语言模型的会话性能。

然而，现有的开源解决方案只涉及到RLHF的第一阶段，即监督微调模型，而未执行后续的调整和微调阶段。此外，Alpaca的训练数据集仅限于英语，这在一定程度上限制了模型的性能。

ChatGPT和GPT-4的卓越效果归功于在训练过程中引入的RLHF，增加了生成内容与人类价值观的一致性。