百度开源文心5.5 Flash Base：280B总参数、14B激活，称拿下同尺寸SOTA

百度发布并开源文心5.5 Flash Base（ERNIE-5.5-Flash-Base），采用稀疏MoE架构，总参数280B、每token激活14B，在33.5T tokens上从零预训练，微调与推理支持1M tokens上下文。

🔗 阅读原文

via 无言AIGC · https://aihot.wuyanshuo.cn/items/im6v8uv5e5cdfv4y0ki7fnrv1