昨天朋友给我推荐了一个搜索工具:perplexity。这是一个基于大语言模型的搜索引擎。

试用了一下,初上手问了一些比较简单的问题,感觉比谷歌精准、快速多了。

谷歌只能带我到别人写的文章和网站,但这个可以直接告诉我答案,但这个答案也不是大模型直接生成的,而是结合了检索的结果,分析现有的网站、文章、视频,然后经过大语言模型的推理得到的。

最让我惊喜的是能够检索视频内容并进行推理,这是目前谷歌做不到的。

对于一个问题,谷歌只能推荐给我一些视频,但是面对两三个视频,加起来长度可能有十分钟甚至一个小时,想要迅速找到答案是非常困难的。

perplexity可以根据视频的内容进行回答,盲猜应该是对视频的语音和字幕做了转文本,然后当成自然语言进行处理了。

非常直观的工程技巧,但是非常管用、好用,这是我一直想要的功能,youtube没有实现,perplexity实现了。youtube可能运用了这个技术进行视频推荐,但是并没有让用户基于这个技术进行问答。

 

用了一天下来,perplexity最突出的特性是快,回答非常迅速。与之相对的,gpt-4有时候“思考”真的很慢。但这也让我产生了一个怀疑,总是这么快,准确率能高吗。

针对这个问题,我看了一些评测,perplexity的特性就是fast and comprehensive answers,看来这个就是产品设计的特征,快、全面、详尽。

关于准确率

关于准确率,这是目前大模型的普遍问题,暂时无法解决。大模型是一定会产生幻觉的,也就是乱说,这个只能自己加强警惕。好的大模型幻觉率会低很多,可用性极高。

我对比了perplexity的免费档和付费档。简单的问题两个准确率都还可以。但免费版对于较为深入的专业问题的准确率需要高度警惕。

我问他“in unreal engine, can modules written in python (called by blueprints) be used at runtime?”

反复尝试下,免费版给出的都是错误回答。事实上,python在ue里面只能用来写编辑器相关的流程,游戏的运行时无法使用(不包括第三方)。这里,免费档自信满满跟我说可以在runtime使用,还捏造了一大堆细节。

然后我勾选了copilot(付费版),他给出了正确的回答,而且确实做到了全面、详尽,因为它还贴心的列出了哪些runtime不能使用python。

除此之外,付费档可以进行更深入、更细节的问答,直觉上,这对于需要深度的内容创作者是非常有用的功能。它甚至还能引导用户,对用户的需求进行细化提问。

由于免费版模型模型说胡话的概率远高于付费版,对于比较专业、深入的内容创作者,可能付费是必需的。那么是否选择perplexity作为主力就是每个人自己需要评估的了。

关于套壳gpt

perplexity,包括最近一些其他app的出现,让我对套壳gpt的想法产生了一些改变。

之前openai的ceo Sam Altman说套壳gpt必死,我是有点赞同的。但最近几个月对于各种ai产品的使用让我觉得,产品设计独立于模型能力,对于ai产品也很重要。

GPT-4的能力普遍来讲仍然是最强的,但是有时候它也提供不了最好的结果和体验,反而是对某个任务深度优化的产品更好用,即便背后的模型能力不如gpt-4.

比如pdf.ai,perplexity这种工具。

 

总结:体验不错,但是还是大模型的老问题,准确率无法保证, 需要保持警惕。创作者应该把它们当成加速工具,而不是替代自己的思考。