广州二手空调回收公司：嘉楠科技Canaan开源通用大语言模型Toucan

广州二手空调回收网 8月31日 报道:近日，嘉楠科技（Canaan）公布了参数量为70亿的通用大语言模型 Toucan-7B 及 INT4量化版本 Toucan-7B-4bit。

Toucan-7B 或者达成文案写作、代码解析、快讯抽取等多种自然语言处置任务，并在测试中闪现优于 ChatGLM-6B。Toucan-7B-4bit 使用了最新的 INT4量化技术，显存占用量更低，与 Toucan-7B-fp16模型相比，具有较好的推理效果。

据悉，Toucan 是一个基于 Meta LLaMa 架构的开源中文交流语言模型。它具有70亿参数，并结合了模型量化和稀疏技术，可以在端侧进行推理。Toucan-7B 的效果略好于 ChatGLM-6B，而通过4bit 量化后的模型与 ChatGLM-6B 的效果非常。

项目地址：https://github.com/kendryte/Toucan-LLM

（投诉）