寻找二次元图片的一般方法是在 Pixiv、Danbooru 这样的网站上搜索,缺点比较明显:你需要组合各种标签来寻找特定的图片,低效且不灵活,有时还需要使用英语或日语。
这篇文章介绍 nekon.app 的新功能 - AI 搜图:只需要用自然语言描述图片内容,就能搜索到图片。相当于用 AI 绘图的方式来搜图。
寻找特定图片
搜索内容:“城市,赛博朋克风格,女孩在桥上”
搜索内容:“2个女孩在床上,画面精细”
此外,还支持结合传统搜索的功能,通过标签、日期、收藏数等条件进行筛选。这在寻找特定主题或角色的图片时很有用。
搜索相似图片
基于多模态的 CLIP 模型,支持通过图片以图搜图,搜索相似内容、风格的图片
此外,还可以同时输入图片和文字描述,不同字段可以设置不同的权重。还可以将权重设置为负数来排除一些内容。
寻找原图
既然可以输入图片,那么自然可以用模糊、残缺的图片来搜索原图。此功能对应的传统方式应该是 iqdb 和 ascii2d。相较而言,AI 搜图效果会更好:能够通过残缺得更多的图片找到原图。
比如下面的图片,面积仅为原图的 32.7%,用 iqdb 和 ascii2d 均无法找到原图,但用我们的 AI 搜图就可以。
更多用例
搜索内容:水面反射
搜索内容:“像素”
搜索内容:“USSR”
搜索内容:“GLaDOS”
技术原理
基于 OpenAI 的 CLIP 模型实现的,用它提取特征,然后索引。多语言其实是通过微软翻译,将描述翻译成英文然后搜索实现的。根据我的测试,综合效果反而比直接使用多语言 CLIP 模型更好,性能也更好。