自从谷歌9月30号发起安全测试,推出gemini 4 argon灰测,以后的几乎每一天我都雷打不动地去gemini官网看有没有向普通用户推出。

为了能更好地使用和测试,我还提早就搬好了小板凳:早早充好了pro会员,就等着它的发布。

说实话,自从9月30号小部分地推出测试,推特上就接连着讨论了好几天,也有很多拿到测试名额的,做出的效果和claude,gpt做对比,我看着确实是对这个马上要跌到“美国豆包”的大模型另眼相待了。

终于在今天12点多,它发布了!

一、前言

谷歌这大半年可以说都没什么起色,无论是3.5flash,3.6flash,3.8flash可以说对比3.1pro不进反退,其实在上半年我一直以为谷歌是不是在憋什么大招,还是在大模型方面真的竞争不过openai和A÷了。

年初3.1pro发布被称为“地表最强”的那时候还历历在目,我始终不敢相信谷歌会真的不再卷入大模型的研发竞争中。

所以几个星期前当听到gemini 4刚有消息的时候,就一直对谷歌这次的重磅升级充满期待,这次发布的终于不再是一如既往的flash轻量化模型了,而是Gemini 4 Argon

之后我就赶紧去试了试,看看到底能不能平替掉claude opus 5.5,能不能代替gpt 6处理日常任务。

毕竟claude不仅套餐贵、封号快,封号之后还不退钱。相比之下,gemini pro的套餐算是几个里最便宜的了。

我们先看看arena的文本模型的测试报告。

Arena

当然这只是文本测试,gemini算是挤上了第一梯队。

AA

这是综合测评的报告,AAII综合跑分和gpt可以说是旗鼓相当了。

DeepMind

我解释一下这张Google DeepMind(谷歌旗下的人工智能研究机构)跑分表的意义:

二、最亮眼的5项成绩

1. GraphWalks(超长上下文):84.2%

这是我认为最值得关注的一项。模型最多支持256K~1M 长上下文,Gemini 4 Argon领先 GPT-6 12.4个百分点,领先 Claude Opus 17.4个百分点。

长上下文自gemini 3.1 pro的首次惊艳亮相就是谷歌一直的优势,直到现在看来一直保持的很好。

那么这个测试到底是干什么的?

主要考察模型能不能从几十万甚至上百万 Token 的上下文中,找到并整合相关信息,完成复杂的多步骤推理。

比如:

一次性给 AI 一本几十万字的书。

让它找出分散在不同章节的信息。

要求它结合这些信息回答复杂问题。

Gemini 在这个测试中表现特别突出。

实际意义:在日常任务中,对于阅读超长文档、分析大型代码库、处理海量资料等任务,这是一个很积极的信号。

 

2. Harvey's Legal Agent Benchmark(法律智能体):19.6%

Vals Finance Agent v2(金融智能体):65.4%

这里Gemini 4 Argon跑分来到了19.6% 和65.4%,

而Claude Fable 5.1,GPT-6 Astra,Claude Opus 5.5在这方面只有个位数,这个差距非常夸张。

Gemini 的成绩大约是:GPT-6 的 3.6倍,Claude Opus 的 5.2倍。

这个测试是干什么的?

考察 AI 完成复杂法律工作任务的能力,例如法律文件分析、法律研究及需要多步骤操作的专业任务。

Gemini 在这个法律和金融的测试上有极其明显的相对优势。这对法学学生、金融学生、律师、会计是一个很大的帮助,这意味着它的准确性得到了大幅度的提高。

 

3. AutomationBench(自动化能力):51.3%

Gemini 4 Argon跑到了51.3%

Claude Opus 5.5是42.5%,GPT-6 Astra是41.4%,Claude Fable 5.1是31.4%。Gemini 领先第二名 8.8个百分点。

这个测试是干什么的?

主要考察 AI 自动执行任务、调用工具以及完成多步骤工作流程的能力。

举个例子:

你告诉 AI:

帮我整理这些文件,提取数据,生成Excel,再根据数据制作报告。

AI 需要自己规划步骤,使用工具,并完成任务。

这类能力通常被称为 Agent(智能体)能力。

如果你关注 AI Agent、自动化办公、AI 自动完成工作,那么这项成绩非常值得关注。

 

⭐ 4. LVBench(长视频理解):91.7%

Gemini 领先 GPT-6 4.2个百分点。

这个测试是干什么的?

主要考察模型理解长视频内容的能力。

例如:

给 AI 一段很长的视频,然后让它总结视频内容

找到视频中特定时间发生的事情

理解不同片段之间的联系

回答需要跨越多个片段才能解决的问题

这是 Gemini 多模态能力的一项亮眼成绩。

如果你用 AI 分析视频、总结课程、理解长视频内容,这项能力就很有价值。

 

这里我特别想说一下:

Vibe Code Bench 达到91.9%,不代表 Gemini 的编程能力就全面超过 GPT-6 和 Claude。

因为几个模型都已经达到90%左右,分数差距并不大。

 

三、Gemini 的几个明显短板

虽然 Gemini 在这张表中领先的项目很多,但有些领域并没有占据优势。

1. FrontierSWE v2(复杂软件工程)

GPT-6 Astra

65.5%

Claude Opus 5.5

62.3%

Claude Fable 5.1

56.3%

Gemini 4 Argon

55.0%

Gemini 落后 GPT-6 10.5个百分点。

这个测试关注真实软件工程问题的解决能力。

它表明,在部分复杂代码修改和软件工程任务上,GPT-6 可能更有优势。

 

2. Terminal-bench 4.0(终端操作)

Claude Opus 5.5

66.4%

GPT-6 Astra

58.2%

Claude Fable 5.1

57.9%

Gemini 4 Argon

57.4%

Claude Opus 领先 Gemini 9个百分点。

这项测试特别值得关注。

因为它测试的是 AI 在终端环境中执行操作、使用命令和解决复杂任务的能力。例如你平时使用的 Linux 终端、Codex 等相关工作场景,就需要模型的这类能力。

 

如果你主要用 AI 来编程、开发网站、使用 Linux、部署项目,我反而建议重点关注 FrontierSWE v2、Terminal-bench 4.0 和 OSWorld-2.0 这三项,而不是只看 Gemini 拿了多少个第一。

只是可惜做开发Gemini还是差点意思。

不过实际情况还得自己动手看看效果到底怎么样。

 

四、使用体验

先看看最近大模型都在卷的3D建模。

3D

3D

这方面不用说,做工确实相较于gpt 6有过之而无不及,随着大模型这方面的强力进步,独立游戏开发相信不久也会迎来第一春的。

下面来看个对比:

四大模型对比

除了建模这点我不喷,也没得喷。

不过我真的很想吐槽gemini的前端UI审美设计,先看一张纯html的网页。

前端审美

虽然提示词简单,但这至少也反映了模型的原生审美能力吧,如果我不说谁敢相信都到现在了,还有AI能生成这样的网页设计,这谁绷得住…

其实自从3.1 pro一直到后面,我是一直对谷歌的gemini前端设计印象一直挺好的,但没想到升级迭代了几次反而水平不如以前了。。。

下面这个是我一句话做的赛车竞速游戏:(提示词在末尾)

gemini

gemini

还是那个问题:这个界面太丑了,两年前的AI做出来的塑料质感,放到现在多少不太合适。

不过说实话,整体没什么大问题,而且城市场景渲染的也可以,至少楼层都不相同,还特意加了桥和隧道,还能换场景视角,这点倒是在我意料之中。

此外速度方面这次gemini也明显做了升级,同样是这段赛车游戏提示词,gpt足足跑了23分钟才做好,而gemini则仅仅用了10分钟!

最重要的是,gpt 6 astra的bug还是挺多的,连左右方向都搞混了。而且对城市的还原度也没有gemini高,最让我绷不住的是gpt做的氮气加速,竟然给后盖加了两个水滴。。。

这是我觉得gemini比较强的地方。

gpt

gpt

五、价格,值不值?要不要订阅?

价格

这里价格我只能给到人上人,性价比上相比gpt 6.1还是不太够看,不过就目前跑分以及测试上也只能说摆脱了“美国豆包”的称号,算是勉强挤进了第一梯队,可编程开发方面的短板以及审美上的缺陷,很难让别人愿意再次将它捧在手心,只能说留个备用。

想完全平替掉claude可能还是差一截,也可能是我之前的期望值有点高。

可gpt性价比都那么高了,谁还会留gemini做备胎呢?

 

感谢你的观看。

 

提示词:做一个赛车游戏,要求3D建模,城市场景,建模一定要精细化,真实还原城市场景,模仿真实的赛车游戏核心玩法