利益相关声明:文中产品由厂商提供

紧赶慢赶,终于在体验到最后一天的时候把体验文给写完了,收到 Khadas Mind2 并深入使用了一个月之后,我认为,这不是一台性价比神机,也不是一台性能怪兽,而是 AI 时代,可以给你松弛感的刚刚好。如果你想优雅地拥有一个性能足够且随时在线、隐私第一的本地 AI 助理,Khadas Mind2 是现阶段可以考虑的一个选项。

2023 年 6 月,经过漫长的等待,终于收到了 GPT-4 API 试用资格,在通过账号套利还是留下继续探索 AI 可能性之间,我选择了后者,如今也算得偿所愿,进入了一家 AI 公司,憧憬着 AGI 的未来。

2023年以来,闭源模型一路狂奔,从 GPT-3.5 的 aha moment 到 GPT-4 的价格爆炸,从 Gemini 1.5 的平平无奇到 Gemini 2.5 Pro 的秒杀众生以及 Claude 在编程领域的一骑绝尘。与此同时,在开源世界里也是百花齐放,不同大小,不同能力的模型层出不穷。AI 是这个时代个人能力的兴奋剂,各类大模型已经足以支撑为每一个普通人配备一个强大个人助理的梦想。留给所有人的新考题则是,如何做出最佳的选择,尤其当我们的视野越广,了解的信息越多,越是在这个行业里,就越容易焦虑,越容易FOMO。如何从这种AI时代的FOMO中稍稍喘息呢?一个非常俗套的说法就是:AI 只是一个工具,选择金斧头、银斧头还是铁斧头,归根结底在于我们要做什么事情。


这篇文章里我们先不去探讨Gemini,Claude,GPT这些金斧头,先来看看那些适合在个人电脑上本地部署的铁斧头小模型能做些啥。尤其是在配备了 RTX4060Ti 16 GB 的 Khadas Mind2 这台 AI 入门斧头上,我们能做些啥。

由于个人工作的需要,我对于数据隐私和保密要求较高,对于本地模型能做什么事情,一直有浓厚的兴趣和需求。自 Qwen 2.5 发布之后,便开始了大量的本地 AI 部署实验,先后购入了 RTX A4000 和 4090@48GB 用于本地 AI 实践,也算是有点经验了。本地小参数模型只要选取恰当,如今已经是非常可用的水平了。

到处裸露的接线的ITX,因为水冷散热器太长而合不上前盖的ATX机箱,如果说 RTX A4000 和 4090@48GB 是一次粗糙的 DIY 探索。那么这次收到的 Khadas Mind 2 Family 就是一次优雅地刚刚好的甜点本地AI解决方案。它有足够强劲的 CPU 处理器——Intel Ultra7 155H,有 64 GB DDR5 高速内存,有 2 TB SSD 以及一张显存足够大(16 GB可以在辅以CPU offload,最高可以跑30B MoE模型)且性能算是刚刚好的 RTX 4060Ti 显卡。要是看完这篇文章你觉得还需要更强大的性能,在刚刚过去的 2026 年 CES 上,Khadas Mind 系列还更新到了最新的 Intel Ultra X9 388H 处理器和 RTX 5060Ti 16 GB 显卡。

Oculink连接RTX A4000,张牙舞爪的桌面

关注这台机器的朋友肯定对它的性能有了初步的了解了,我这里就不去做详细的跑分测试,这里非常主观的结合已有的机器,给一个性能体验感受。参与对比的机器有:

  • 配备了Ultra 7 255H+32 GB内存的 ThinkPad X1C,
  • 5900X+64 GB内存+4090@48GB 的 DIY 台式机,
  • 7840HS+64 GB内存+Oculink 外接RTX A4000 的 mini 小主机。

玩游戏上,毫无疑问 4090 是绝对的王者,黑神话悟空可以全特效拉满。但是对于每天能抽个 30 分钟玩一把游戏的我来说,热爱以及高游戏性带来的乐趣,要远高于数毛带来的快感的。在老电脑上玩仙剑 4 以及在 Switch 上和家人一起玩胡闹厨房,并不会比 4090 全画质黑神话悟空的乐趣低。

日常办公,几台机器没有任何区别,它们都拥有足够大的内存、足够多的 SSD 以及早就性能过剩的 CPU,参数上的差异更多的影响是办公软件和浏览器的标签能打开数量的多寡,至于能打开 100个还是 50 个,着实没有什么实质区别。至于视频剪辑、图片编辑这些,我不是专业的,就不随意输出了,可以看站内其他大佬的体验文。

不得不说的一点是,模块化设计让这台机器有了超级多的接口,USB、视频输出管够,SD卡插槽、2.5G网口等也应有尽有。


在我这里,生产力的主要体现,是本地 AI 模型经过这两年的蓬勃发展,让我真的看到了在隐私完全隔离的情况下,把AI变成工作生活助理的落地可能性。接下来我会先给大家几个我用的小场景,带大家对本地AI现在能做到的事情有个粗浅地认知。在展开案例之前,也先抛出几个结论性的内容:

  • 16 GB 显存 + 32G以上内存,是目前爽完本地LLM、VLM的最低配置,更小的显存和内存配置,建议直接使用云端 API,不要强求跑本地模型了
  • 16 GB 显存机器上最合适的模型是参数量小于20B的小模型,平衡速度和质量的最佳选择是14B模型。但在部分简单的任务上,比如事件路由、文章分类,更小参数加更长的上下文,也许是更好的选择,比如我的n8n录音处理工作流中,就有用到 Qwen3 0.6B 模型作为任务分流模型的节点,提示词调教之后,对录音转写文件按照:会议纪要、灵光一现、日报周报回顾等类别分类,速度非常快,JSON输出效果稳定,运行的一个多月时间中,几乎没有报错过。
  • 更大参数量的模型,比如30B模型即使使用Q4量化,也超过了 Mind Graphics 的 16 GB 显存大小,好在MoE架构的激活参数不高,可以通过CPU计算保持运行,也不至于特别慢。主要用于配合Claude Code来做一些提问后丢一边等结果的任务,比如针对敏感数据和信息的整合总结,比如对每日或者每周复盘的整理与总结,抛出问题,最小化,等待回复,实现异步处理。
  • VLM视觉模型的发展超乎想象,比如Qwen3-VL:8B甚至更小就已经有了很强的OCR能力,且回复速度很快,除了OCR这种单一任务来,简单问答也可以做,个人用户也可以用Claude Code这种Vibe Coding工具编写出很多使用VLM的工具,重点是要有灵感。

如果具体到模型选择,我的经验是这样的:对于拥有 16 GB 显存的 Mind Graphics ,需要根据模型能力和上下文长度的需求,选择不同参数量的模型承担不同的任务:

  • 小模型(0.6B-2B)做事件路由,
  • 中等模型(7B-20B)做大部分具体执行,
  • 大模型(30B以内)做异步综合任务,
  • 同时添加VLM辅助非结构化的输入。

本次文章中我使用的是Windows版的Ollama部署本地AI服务,事件路由模型使用Qwen3 0.6B,执行层面模型是 Qwen 3 8B,TranslateGemma:12B,gpt-oss:20B 等(持续迭代中,这个参数量模型更新速度最快,各家打得最难舍难分),异步任务上使用的是GLM 4.7 Flash(最新的SOTA模型) 和 Qwen 3 30B A3B instruct(老当益壮),VLM使用的是Qwen3 VL:8B,无特别说明,全部使用Q4KM量化版本。接下来是我的几个本地应用实例:

1. 如何获取和云端模型几乎一致的翻译效果,同时又不在翻译速度上有妥协,同时还注重隐私和保密?

我认为在 16 GB 显卡上的版本答案是 Google 最新发布的 TranslateGemma:12B 配合沉浸式翻译。

  • 翻译速度上已经和调用DeepSeek API没有区别了,基本在打开页面加载过程中,翻译内容就出现了。
  • 翻译质量上,DeepSeek有点古风,或者说往信达雅中雅的方向走的更远,但TranslateGemma在理解文字,语句通顺,用词准确上已经做的足够好了。

我现在已经使用本地模型彻底替换了沉浸式翻译中的翻译模型,省点蚊子腿肉,投入到无尽的Claude Code消耗战中。具体翻译对比,可以看下图中的内容,这是前段时间特别火的一篇Claude Code实战分享,来自Molly Cantillon。

2. 如何构建一个基于录音的个人的助理?

想象一个注重隐私的 AI 个人助理能够随时待命,把你的录音文件进行分类,再根据分类转入不同的工作流,通过借助本地模型、云端模型和在线工具,进行最终的操作。精致的 Mind2,是 AI 助理的一次很好的实体化,它足够安静,恰到好处且配色克制的长亮灯,是桌面电脑能给的最好陪伴。

我最近购买了Plaud的录音笔,官方目前不提供将转写总结内容的批量导出接口,但我又有将每日,每周内容进行分类,归档,信息萃取的功能,于是我手动导出所有的转录和总结文档,然后存到 Obsidian 的宝库文件夹中。通过按周归集,然后用一个 n8n 工作流对所有在本周存入的内容,按照类型分类,然后分流到不同的子工作流。篇幅有限,这里只展示下我的大致框架,具体细节还在不断迭代过程中。

同时我也拿灵光一现这个子工作流,做个简单实例。为了让我自己的浴室灵感不至于如流星般闪过就消失不见,我设计了这个工作流,我会对着 Plaud 说下我灵光一现的内容,然后转录为文字,当路由节点把某段文字识别为灵光一现时,就会调用本地模型对灵光一现的主题关键词进行提取,同时撰写后续研究用的prompt,如果涉及敏感内容,则会用本地模型进行脱敏。最后然后通过调用 NotebookLM API,发起调研需求,最后返回PPT和info card。流星划过,转瞬即逝,如果有一瞬间留下了一点内容,便可能是未来最大的一笔财富。

3. 如何让 Mind2 变身24小时在线的发票报销助手?

最后一个案例是从个人的需求出发,简单Vibe Coding了一个出差旅游发票助手,通过调用本地部署的Qwen3 VL模型,实现发票的信息提取,内容整理,输出报销文件,提高出差和旅游费用控制效率。在世界各地行走的时候,你不需要带着Mind 2 到处漂流,只需要部署好内网穿透,随时随地,他就在手机上、电脑上。低功耗的笔记本处理器加克制的 4060ti 显卡,全天候待机也不用心疼钱包。

我通过Antigravity沟通需求,生成了一个后端调用VLM,前端以网页呈现的SPA程序,基础功能就是按项目制提供发票,VLM提取信息并进行归集整理,当项目归档时,根据是出差还是旅游,输出整体数据包还是大类合计信息。比如我这个新加坡短期出差,就直接输出了这份报销清单,虽然币种识别尚有缺陷,但已经可以直接作为报销附件提交了。这些问题也可以通过深入和Antigravity交流进行修复。


这里只是举了几个简单的例子,其实还有很多其他的AI应用可以操作,甚至突破某些限制,比如闪电说这样的本地AI语音输入法,比如memo.ac为大家带来的本地视频笔记体验,比如很多人酷爱的酒馆游戏,比如ComfyUI文生图。

ComfyUI 使用Z-image-Turbo生成文字可控的图片
Memo使用本地模型对YouTube视频进行转写、翻译以及总结

最好的 AI 并不是跑在云端的最强金斧子,而是那个随时待命、保护隐私、且能被揣在兜里的趁手工具。如果你也想试试本地AI,此时此时就是最好的开始时机,下载Ollama,拉取几个Qwen模型,然后尝试融入到日常工作流中吧。”属于你“比”最强大“更重要!

Khadas Mind2的模块化形态和相对较高的售价,注定不会是一款大众的产品,它更像一种“把本地 AI 变成生活方式”的设备:不是最强,但足够强;不是最便宜,但足够省心;不是炫技,而是让你在 AI 狂飙的时代里,保留一点“刚刚好的松弛感”。