自从谷歌9月30号发起安全测试,推出gemini 4 argon灰测,以后的几乎每一天我都雷打不动地去gemini官网看有没有向普通用户推出。
为了能更好地使用和测试,我还提早就搬好了小板凳:早早充好了pro会员,就等着它的发布。
说实话,自从9月30号小部分地推出测试,推特上就接连着讨论了好几天,也有很多拿到测试名额的,做出的效果和claude,gpt做对比,我看着确实是对这个马上要跌到“美国豆包”的大模型另眼相待了。
终于在今天12点多,它发布了!
一、前言
谷歌这大半年可以说都没什么起色,无论是3.5flash,3.6flash,3.8flash可以说对比3.1pro不进反退,其实在上半年我一直以为谷歌是不是在憋什么大招,还是在大模型方面真的竞争不过openai和A÷了。
年初3.1pro发布被称为“地表最强”的那时候还历历在目,我始终不敢相信谷歌会真的不再卷入大模型的研发竞争中。
所以几个星期前当听到gemini 4刚有消息的时候,就一直对谷歌这次的重磅升级充满期待,这次发布的终于不再是一如既往的flash轻量化模型了,而是Gemini 4 Argon
之后我就赶紧去试了试,看看到底能不能平替掉claude opus 5.5,能不能代替gpt 6处理日常任务。
毕竟claude不仅套餐贵、封号快,封号之后还不退钱。相比之下,gemini pro的套餐算是几个里最便宜的了。
我们先看看arena的文本模型的测试报告。

Arena
当然这只是文本测试,gemini算是挤上了第一梯队。

AA
这是综合测评的报告,AAII综合跑分和gpt可以说是旗鼓相当了。

DeepMind
我解释一下这张Google DeepMind(谷歌旗下的人工智能研究机构)跑分表的意义:
二、最亮眼的5项成绩
1. GraphWalks(超长上下文):84.2%
这是我认为最值得关注的一项。模型最多支持256K~1M 长上下文,Gemini 4 Argon领先 GPT-6 12.4个百分点,领先 Claude Opus 17.4个百分点。
长上下文自gemini 3.1 pro的首次惊艳亮相就是谷歌一直的优势,直到现在看来一直保持的很好。
那么这个测试到底是干什么的?
主要考察模型能不能从几十万甚至上百万 Token 的上下文中,找到并整合相关信息,完成复杂的多步骤推理。
比如:
一次性给 AI 一本几十万字的书。
让它找出分散在不同章节的信息。
要求它结合这些信息回答复杂问题。
Gemini 在这个测试中表现特别突出。
实际意义:在日常任务中,对于阅读超长文档、分析大型代码库、处理海量资料等任务,这是一个很积极的信号。
2. Harvey's Legal Agent Benchmark(法律智能体):19.6%
Vals Finance Agent v2(金融智能体):65.4%
这里Gemini 4 Argon跑分来到了19.6% 和65.4%,
而Claude Fable 5.1,GPT-6 Astra,Claude Opus 5.5在这方面只有个位数,这个差距非常夸张。
Gemini 的成绩大约是:GPT-6 的 3.6倍,Claude Opus 的 5.2倍。
这个测试是干什么的?
考察 AI 完成复杂法律工作任务的能力,例如法律文件分析、法律研究及需要多步骤操作的专业任务。
Gemini 在这个法律和金融的测试上有极其明显的相对优势。这对法学学生、金融学生、律师、会计是一个很大的帮助,这意味着它的准确性得到了大幅度的提高。
3. AutomationBench(自动化能力):51.3%
Gemini 4 Argon跑到了51.3%
Claude Opus 5.5是42.5%,GPT-6 Astra是41.4%,Claude Fable 5.1是31.4%。Gemini 领先第二名 8.8个百分点。
这个测试是干什么的?
主要考察 AI 自动执行任务、调用工具以及完成多步骤工作流程的能力。
举个例子:
你告诉 AI:
帮我整理这些文件,提取数据,生成Excel,再根据数据制作报告。
AI 需要自己规划步骤,使用工具,并完成任务。
这类能力通常被称为 Agent(智能体)能力。
如果你关注 AI Agent、自动化办公、AI 自动完成工作,那么这项成绩非常值得关注。
⭐ 4. LVBench(长视频理解):91.7%
Gemini 领先 GPT-6 4.2个百分点。
这个测试是干什么的?
主要考察模型理解长视频内容的能力。
例如:
给 AI 一段很长的视频,然后让它总结视频内容
找到视频中特定时间发生的事情
理解不同片段之间的联系
回答需要跨越多个片段才能解决的问题
这是 Gemini 多模态能力的一项亮眼成绩。
如果你用 AI 分析视频、总结课程、理解长视频内容,这项能力就很有价值。
这里我特别想说一下:
Vibe Code Bench 达到91.9%,不代表 Gemini 的编程能力就全面超过 GPT-6 和 Claude。
因为几个模型都已经达到90%左右,分数差距并不大。
三、Gemini 的几个明显短板
虽然 Gemini 在这张表中领先的项目很多,但有些领域并没有占据优势。
1. FrontierSWE v2(复杂软件工程)
GPT-6 Astra
65.5%
Claude Opus 5.5
62.3%
Claude Fable 5.1
56.3%
Gemini 4 Argon
55.0%
Gemini 落后 GPT-6 10.5个百分点。
这个测试关注真实软件工程问题的解决能力。
它表明,在部分复杂代码修改和软件工程任务上,GPT-6 可能更有优势。
2. Terminal-bench 4.0(终端操作)
Claude Opus 5.5
66.4%
GPT-6 Astra
58.2%
Claude Fable 5.1
57.9%
Gemini 4 Argon
57.4%
Claude Opus 领先 Gemini 9个百分点。
这项测试特别值得关注。
因为它测试的是 AI 在终端环境中执行操作、使用命令和解决复杂任务的能力。例如你平时使用的 Linux 终端、Codex 等相关工作场景,就需要模型的这类能力。
如果你主要用 AI 来编程、开发网站、使用 Linux、部署项目,我反而建议重点关注 FrontierSWE v2、Terminal-bench 4.0 和 OSWorld-2.0 这三项,而不是只看 Gemini 拿了多少个第一。
只是可惜做开发Gemini还是差点意思。
不过实际情况还得自己动手看看效果到底怎么样。
四、使用体验
先看看最近大模型都在卷的3D建模。

3D

3D
这方面不用说,做工确实相较于gpt 6有过之而无不及,随着大模型这方面的强力进步,独立游戏开发相信不久也会迎来第一春的。
下面来看个对比:

四大模型对比
除了建模这点我不喷,也没得喷。
不过我真的很想吐槽gemini的前端UI审美设计,先看一张纯html的网页。

前端审美
虽然提示词简单,但这至少也反映了模型的原生审美能力吧,如果我不说谁敢相信都到现在了,还有AI能生成这样的网页设计,这谁绷得住…
其实自从3.1 pro一直到后面,我是一直对谷歌的gemini前端设计印象一直挺好的,但没想到升级迭代了几次反而水平不如以前了。。。
下面这个是我一句话做的赛车竞速游戏:(提示词在末尾)

gemini

gemini
还是那个问题:这个界面太丑了,两年前的AI做出来的塑料质感,放到现在多少不太合适。
不过说实话,整体没什么大问题,而且城市场景渲染的也可以,至少楼层都不相同,还特意加了桥和隧道,还能换场景视角,这点倒是在我意料之中。
此外速度方面这次gemini也明显做了升级,同样是这段赛车游戏提示词,gpt足足跑了23分钟才做好,而gemini则仅仅用了10分钟!
最重要的是,gpt 6 astra的bug还是挺多的,连左右方向都搞混了。而且对城市的还原度也没有gemini高,最让我绷不住的是gpt做的氮气加速,竟然给后盖加了两个水滴。。。
这是我觉得gemini比较强的地方。

gpt

gpt
五、价格,值不值?要不要订阅?

价格
这里价格我只能给到人上人,性价比上相比gpt 6.1还是不太够看,不过就目前跑分以及测试上也只能说摆脱了“美国豆包”的称号,算是勉强挤进了第一梯队,可编程开发方面的短板以及审美上的缺陷,很难让别人愿意再次将它捧在手心,只能说留个备用。
想完全平替掉claude可能还是差一截,也可能是我之前的期望值有点高。
可gpt性价比都那么高了,谁还会留gemini做备胎呢?
感谢你的观看。
提示词:做一个赛车游戏,要求3D建模,城市场景,建模一定要精细化,真实还原城市场景,模仿真实的赛车游戏核心玩法
