推荐
传字节跳动设立“Seed Edge”研究项目,探索AGI前沿技术
据晚点LatePost报道,字节跳动于1月下旬正式设立了一个代号为“Seed Edge”的研究项目。该项目的核心目标是开展比预训练和大模型迭代更为长期和基础的人工智能通用智能(AGI)前沿研究。目前,Seed Edge已经拟定了五大研究方向。
在“下一代推理”方面,Seed Edge将探索更高效且更通用的方法,以提升模型的推理能力。而在“下一代感知”方面,项目团队将致力于找到统一生成和理解表示的方法,以表示和压缩真实世界,并构建“世界模型”。
“软硬一体的模型设计”是另一个重要方向,Seed Edge将从软硬一体的角度出发,探索除Transformer+GPU之外的模型设计,充分发挥下一代硬件的能力。同时,在“下一代范式”方面,项目团队将探索在反向传播、Transformer架构、预训练+对齐的模式之外,更高效的模型结构和学习方法。
此外,“下一代Scaling方向”也是Seed Edge的研究重点之一。项目团队将探索在预训练和推理阶段的Scaling Laws之外,Multi-Agent(多智能体)和Test-Time Training(测试时间训练,动态调整模型参数)等方向。
据了解,Seed Edge将以虚拟项目组的方式运行,先探索这些不确定性更强的研究方向。过去一年,字节跳动已经密集发布了多款AI大模型产品,并在昨天推出了豆包大模型1.5 Pro,据称在知识、代码、推理、中文等多个测评基准上,综合得分优于GPT-4o、Claude 3.5 Sonnet等模型。
字节跳动官方介绍称,豆包大模型1.5 Pro在模型训练过程中,未使用任何其他模型生成的数据。同时,豆包大模型1.5全产品,包括Doubao-1.5-pro、Doubao-1.5-lite、Doubao-1.5-vision-pro等,将继续保持原有模型价格不变,实现加量不加价。