Anthropic 在 2024 年 6 月 20 日发布 Claude 3.5 Sonnet,在编码和推理基准测试上超过 GPT-4o,同时推出 Artifacts 功能,可在对话中实时生成和预览代码、网页、图表。该模型免费向 Claude.ai 用户开放。
事件详情
Claude 3.5 Sonnet 是 Anthropic Claude 3.5 系列的第一款模型。发布当天,它在 SWE-bench(软件工程基准测试,让 AI 修 GitHub 上的真实 bug)上拿到 31.2% 的成绩,超过 GPT-4o(约 22%)和自家上一代 Claude 3 Opus。GPQA(研究生级推理)和 MMLU(知识问答)等基准上同样排在第一梯队。
价格反而比上一代低。Claude 3.5 Sonnet 的 API 输入 3 美元/百万 token,输出 15 美元/百万 token,和 Claude 3 Sonnet 同价,但能力接近甚至超过更贵的 Claude 3 Opus。
Artifacts 是这次发布的另一个亮点。用户让 Claude 写一段 React 代码、一个 SVG 图表或一份 HTML 页面,模型会在对话窗口右侧生成一个独立面板,实时渲染结果,可以交互、可以复制。之前这类需求要来回复制代码到本地跑,现在对话里直接看效果。
关键信息
| 项目 | 参数 |
|---|---|
| 模型名 | Claude 3.5 Sonnet |
| 发布日期 | 2024 年 6 月 20 日 |
| SWE-bench 得分 | 31.2%(当时最高) |
| API 输入价格 | 3 美元/百万 token |
| API 输出价格 | 15 美元/百万 token |
| 新功能 | Artifacts(对话内实时渲染) |
| 上下文窗口 | 200K token |
| 免费可用 | 是(Claude.ai 有用量限制) |
我们的观察
我们日常写代码主要用 Claude 3.5 Sonnet,几个对比结论:写前端组件它比 GPT-4o 强,尤其是 React + Tailwind 的组合,一次出的代码改两行就能跑;长上下文处理(200K)对读整个仓库很有用,GPT-4o 当时还是 128K。中文写作它不如国产模型接地气,但英文输出明显比 GPT-4o 干净,少翻译腔。
Artifacts 这个功能我们用了一段时间,体验比想象中好。改一个图表的配色,它边写边渲染,你能立刻看到效果。这个交互方式后来被不少产品借鉴,Cursor 的 Composer、v0 都有类似设计。
定价策略值得注意。Anthropic 把中端型号(Sonnet)卖到接近旗舰的能力,价格还压着 OpenAI,这是在抢开发者市场。Claude 3.5 Opus 和 Haiku 之前没出,2024 年 10 月才补上 3.5 Haiku,Opus 至今没出 3.5 版本。