寻找二次元图片的一般方法是在 Pixiv、Danbooru 这样的网站上搜索,缺点比较明显:你需要组合各种标签来寻找特定的图片,低效且不灵活,有时还需要使用英语或日语。

这篇文章介绍 nekon.app 的新功能 - AI 搜图:只需要用自然语言描述图片内容,就能搜索到图片。相当于用 AI 绘图的方式来搜图。

寻找特定图片

搜索内容:“城市,赛博朋克风格,女孩在桥上”

屏幕截图 2024-05-29 175202
搜索结果

搜索内容:“2个女孩在床上,画面精细”

屏幕截图 2024-05-29 175627
搜索结果

此外,还支持结合传统搜索的功能,通过标签、日期、收藏数等条件进行筛选。这在寻找特定主题或角色的图片时很有用。

筛选

搜索相似图片

基于多模态的 CLIP 模型,支持通过图片以图搜图,搜索相似内容、风格的图片

搜索内容
搜索结果

 

搜索内容
搜索结果

此外,还可以同时输入图片和文字描述,不同字段可以设置不同的权重。还可以将权重设置为负数来排除一些内容。

(修改权重需启用“高级选项”)

寻找原图

既然可以输入图片,那么自然可以用模糊、残缺的图片来搜索原图。此功能对应的传统方式应该是 iqdbascii2d。相较而言,AI 搜图效果会更好:能够通过残缺得更多的图片找到原图。

比如下面的图片,面积仅为原图的 32.7%,用 iqdb 和 ascii2d 均无法找到原图,但用我们的 AI 搜图就可以。

illust_6810880_original_cut1
搜索内容
在搜索结果中排第一个

更多用例

搜索内容:水面反射

 

搜索内容:“像素”

 

搜索内容:“USSR”

 

搜索内容:“GLaDOS”

技术原理

基于 OpenAI 的 CLIP 模型实现的,用它提取特征,然后索引。多语言其实是通过微软翻译,将描述翻译成英文然后搜索实现的。根据我的测试,综合效果反而比直接使用多语言 CLIP 模型更好,性能也更好。

网站链接

nekon.app  AI 搜图