自 iPhone X 系列以来,苹果加入了前所未有的 TrueDepth 原深感摄像头,也就是平常大家所说的刘海屏。在如今安卓阵营刘海越做越小的趋势下,苹果为什么仍然保留这么大一块区域呢?原因就是这个「刘海」不仅仅只是一颗前置摄像头那么简单。

图片来源:extremetech.com


苹果称这一套组件为「TrueDepth Camera System」。就是这些密布的传感器让捕捉精细化的动作成为了可能。苹果加它的主要目的还是为了取代指纹解锁,同时推出了 Animoji 拟态表情功能,初露了这套系统的潜力。

它的出现在我看来更像是 Kinect 之于 Xbox,是一种全新的交互体验。如果只是用来解个锁或者捏个脸,未免有点太大材小用了。

​苹果不仅硬件完美,配套软件也非常完善。查阅开发者文档和 WWDC 的视频,我惊喜地发现了苹果已经贴心地把面部捕捉的 API 开放出来了,而且极其完善,精度可以细微到眼皮的左右移动。利用这些现成的 API,我开发了一款面部操控的游戏 —— 【FaceJoy - 脸趣】。


这是一个小游戏合集,首批开发了 8 个游戏,都是通过脸部动作完成游戏,同时这也是一个类解谜游戏。你不会直接知道游戏的玩法,需要不断推理找到正确玩法。同时,不要错过任何一段文字,因为这里面或许就藏着玩法的线索。游戏的基本操作包括但不限于眨眼、鼓腮、嘟嘴、微笑、旋转头部.....在这之上,游戏内容方面还有竞速类、推理类、沙雕类,每个关卡的解锁方式都各不相同,乐趣也不尽相同。游戏里还埋了不少隐藏彩蛋。说了这么多,不如大家亲自去体验一下吧,点击文末【阅读原文】可以跳转 App Store 免费下载(但有开发成本所需的广告,不过不影响使用)


同时,游戏背景还可以开启人脸模式,把自己游戏过程中的画面实时显示出来。你可以选择录屏,把自己搞怪的操作录制下来。

顺便地,我把用到的 ARKIt Face Tracking 核心代码封装了一下,使用更简单,开源在了我的Github 主页,欢迎程序员朋友使用或者 Pull Request。

未来还有很多畅想,比如两台 iPhone 联机就各自变成了 Switch Joy Con,Joy Con 上有的传感器 iPhone 有过之而无不及;把 iPhone 屏幕投射到电视,用 TrueDepth Camera System 捕捉人物肢体动作操控游戏,那就又变成 Kinect 了。总之留给开发者的想象空间巨大。​据说 iPhone 12 会加强 TrueDepth Camera System,还有可能在后置摄像系统中也加入3D识别,那就又有好多创意可以实现了,保持期待。

最后,最近正值肺炎爆发的季节,大家出门记得戴口罩,进门记得勤洗手,合理安排出行计划,一同度过难关。武汉加油!

6
1