莫名其妙从 Cerebras 测算 OpenAI 前沿模型真实体量
起因是一个三流投资播客里吹嘘国外模型动辄 10T、15T。为了验证这个离谱的说法,我借助 Cerebras CS-3 晶圆平台的物理特性与开源模型部署速度,逆推了 OpenAI 前沿模型的真实体量。最终推导在黄金稀疏度下模型大小就在 2T 到 3T 左右,反正绝不可能是 10T。
起因是一个三流投资播客里吹嘘国外模型动辄 10T、15T。为了验证这个离谱的说法,我借助 Cerebras CS-3 晶圆平台的物理特性与开源模型部署速度,逆推了 OpenAI 前沿模型的真实体量。最终推导在黄金稀疏度下模型大小就在 2T 到 3T 左右,反正绝不可能是 10T。