编者按:在 2023 年春节到来的前夕,我派有机会与上海交通大学的顾昌展教授及其团队建立了联系。顾教授的主要研究方向就是毫米波雷达的应用,他曾在 Google ATAP 实验室工作,并作为 Project Soli 的项目创立人之一参与了 Soli 的立项、研发和落地。目前,顾教授团队的研究方向是利用毫米波雷达探测人体体征,进而提升身体机能监测的精准度和舒适度。
在与顾教授团队取得联系后,我派同事们都认为顾教授的研究方向很值得关注,毫米波雷达也很有可能成为改变未来智能健康领域的技术。为此,我们与顾教授进行了一场对话,并以播客的方式向大家展示顾教授团队当下的研究成果。节目此前已经通过《少数派播客》发布,并为少数派 Prime 会员制作了「播客 Plus」文字精华版。为了让更多朋友们了解到这项技术的新趋势,我们特别开放了本篇「播客 Plus」的阅读权限,帮你更好地提炼和概括我们与顾教授团队的沟通过程。
如果你关注手机领域,可能还记得 Google 曾在 Pixel 4 手机上使用过毫米波雷达,用来探测用户手势以实现一些非接触式的交互。在智能汽车领域,毫米波雷达也被广泛使用,用来探测汽车四周的车况和路况。而在本期节目中,我们将要关注的是毫米波雷达一个尚且冷门但未来可期的应用场景——身体机能检测。我们和来自上海交大的顾昌展教授及他的团队成员凯丽进行了一场对话,了解到了当下毫米波雷达在智能健康场景的技术进程和应用前景。
直接收听
拓展阅读
- 顾昌展
- Google ATAP 实验室
- Project Soli
- 美国国防部下设的 DARPA
- 多普勒效应(Doppler effect)
订阅《一派・Podcast》
人物介绍
- 老麦:少数派创始人
- 张奕源 Nick:少数派编辑部成员,少数派播客主播
- 顾昌展:上海交通大学长聘教轨副教授,博士生导师,IEEE 高级会员
- 凯丽:顾教授团队成员,主要负责技术落地及推广方向
开场
Nick:各位听众朋友们大家好,欢迎大家收听最新一期的节目,我是 Nick。今天我们要跟大家聊一个话题,这个话题是毫米波雷达。听众朋友们对于毫米波雷达的认识可能更多地在于车载雷达。如果大家还有印象,早期的 Google Pixel 有一代也是搭载过毫米波雷达的。
但我们今天要聊的毫米波雷达的应用场景和我们之前熟悉的那些场景不太一样。我们也请到了这个领域的专家,他们带着最前沿的一些研究成果来和我们分享。
今天的节目嘉宾是上海交通大学的顾昌展教授和他的团队。
顾昌展:Hello,大家好,我是来自上海交大的顾昌展。我目前在交大的人工智能研究院做一些跨领域、跨学科的研究,主要是做毫米波雷达的感知,从芯片底层做成毫米波系统到一些人工智能相关的算法实现一些应用。我们现在主要是做医疗健康和人际交互这两方面的应用。特别在医疗健康方面,我们过去几年跟交大系的一些附属医院有合作,我们技术在临床上也进行了验证,应用前景很好。
我是 2019 年回国的。在回国前,我原来在美国硅谷工作了 6 年时间,包括在 Google 做跟毫米波雷达相关的一些工作,当时也参与了 ATAP 实验室关于人机交互方面的项目,叫 Soli。刚才 Nick 提到 Google Pixel 4 上面有搭载了这个技术,我当时是这个项目射频技术的创始的成员。这是世界上第一款集成了毫米波雷达传感器的消费级的产品。
凯丽:大家好,我是凯丽,现在也是在顾教授的团队里面,主要是负责技术跟医疗的合作,以及未来可能在 ToC 端怎么把技术用到千家万户,帮助大家做更多健康上面的感知这方面的工作。
老麦:大家好,我觉得今天聊天还是比较特别的,所以我也要亲自参与一下。因为少数派在过往其实一直比较关注一些新技术,还有一些新创产品的情况,但是以往的新技术一般来讲都是在大公司发布以后我们才了解。但这次能够在比较早期的时候去了解产品的一些背景和落地过程,我觉得是一个非常有意义的事情。
从 Google Pixel 上的 Soli 聊起
Nick:我们先请顾教授跟大家聊一聊之前在 Google 手机团队的一些工作的情况吧,包括为什么 Project Soli 想到要把毫米波雷达这样一个东西搭载在手机上,以及你们当初考虑它具体在哪些场景上体现价值。
顾昌展:对其实对我来说,从事雷达领域不是加入 Soli 团队才开始的。我在国内是在浙大读的本科跟硕士,那时候开始已经开始从事毫米波相关研究了,我们那时候就用雷达来探测生命体征。那个年代我们应该是国内最早的几个将毫米波雷达用于呼吸心跳探测的团队。我自己的一直在基于毫米波来实现近距离探测这方面的应用,出国以后也是在继续这个领域的研究,我的 PhD 论文探讨的是基于毫米波雷达实现对微运动的探测。微运动既包括建筑物的微振动,也包括我们的人体生命体征。所以加入 Soli 团队也是某种必然。
我是 Soli 团队射频技术的创始成员。整个 Soli 是在 ATAP 实验室下面的一个部门。ATAP 实验室则隶属美国国防部下属的国防高级研究计划局(DARPA),他是由 DARPA 的前主任创立的,他把 DARPA 的研究方式从国防部带到了 ATAP 实验室,目标就是做一些颠覆式的创新。
Soli 的目标是革新人机交互方式,希望它能够成为下一代的鼠标。在 2015 年的时候,我已经开始研究 AI 时代人类是否能跟机器更自然、更智能地交互,所以提出了脱离屏幕的交互场景。
当时的技术也可用摄像头来实现这个效果,但摄像头存在一些问题。一个是隐私的问题,你装在很多设备上面,家里面大家可能都不大愿意装。另外一个是功耗问题。如果你想实现这种连续的对动作的识别、捕捉,摄像头要一直开着,它的功耗非常大,很难用到这种移动端的设备上面。所以当时经过一些探索以后,决定用毫米波方式来实现我们对于运动的探测。
用毫米波雷达来探测运动的技术并不新鲜。我们可能在小学或者中学的课本上都有学过一个叫多普勒效应——如果像一辆车开过来,声音会越来越尖,车如果远离人,声音会越来越弱,越来越舒缓。毫米波雷达就是基于这个原理的。毫米波雷达在 1935 年就被发明了出来,大多应用在军事方面或者一些专用的领域。民用的毫米波雷达起始自 2012 年半导体技术实现突破,毫米波雷达可以做成芯片了,所以在此之后,很多车上开始搭载毫米波雷达。
2015 年的时候,毫米波雷达基本上都是跟车相关的,消费级还是零,没有任何芯片或者现有的产品可以拿过来用。所以那个时候我们只好从芯片开始定义,自己来设计一颗针对消费级的毫米波雷达芯片。
谷歌不是一个芯片公司,所以不会投人去做芯片。当时采用的模式就是我们实验室找供应商、找一些芯片公司给我们开发芯片,我们来定义。刚开始找做毫米波消费级的人机交互芯片其实很难,因为从芯片的厂商来说,他们要的是量。我们是一个实验室,我们是没有量的。最终碰了很多壁,跟很多公司去聊,他都不大愿意给我们去做这个事情。实验室比较支持,也花了很多钱。最后采用了工厂代工、IP 产权共有的模式,推进了芯片落地。
老麦:前一阵子特斯拉也干了一件事情,就是他为了做纯视觉的路线,所以要把毫米波雷达的硬件去掉。但没过多久,最近又说要装回来,说明汽车行业内对于毫米波雷达的作用还是有争议的,也说明毫米波雷达的应用场景有它独特的价值。
顾昌展:对,如果从技术原理上讲,纯视觉肯定有限制。下雨的时候就看不见了,有雾的时候也看不见了。品牌方理论上肯定希望各种传感器都用上,毫米波雷达、激光雷达和摄像头都有。但从商业落地上,这又涉及到成本的问题。
毫米波雷达如何感知生命体征
顾昌展:毫米波雷达用作生命体征探测,也在学术界研究了蛮多年了。我个人研究的方向和车载毫米波雷达是有一些区别。对雷达来说,汽车可以看做一个铁盒子,是一个均匀的面或者一个点,雷达需要测距离、测速度,归根到底是测多普勒平移。车载雷达测的是车辆频率的偏移,需要依靠一套阵列。
人体则是一个复杂的散射体,生命体征的各种移动都很小。从物理上来说,我们测的是多普勒相移,测相位,不是测频率。我们对于生命体征探测也是基于这个原理。肺或者心脏跳动会引起人体表面的微微震动,它就是一个位移运动,毫米波雷达则可以通过芯片和算法探测和计算这个震动,实现生命体征探测的效果。
Nick:毫米波雷达目前能监测到哪些具体的生命体征数据呢?
顾昌展:这个问题很好,涉及到我们人体的很多方面。除了生命体征引起的胸腔的外振动,也包含人体的各个部位的运动。整个学术界研究了蛮多年怎么样去比如去区分这些运动。目前对于毫米波雷达来说,因为它不像摄像头,他看不见我们的脸,他不知道你是谁,他也不能区分到底是你的手在动,还是你的生命体征,还是你的胸腔在动。所以我们设定了一个基本的使用场景,那就是在你睡眠的时候。此时你身体的其它部位基本都不会乱动了,之后你能够测到你的心跳、呼吸、微震动等,都会更准确。
夜里面睡觉的时候,也是老年人和病人的「魔鬼时间」,所以如果这个时候能够实现一些安全健康的监测是很重要的。
我们人体有四大生命体征,其中的两大是我们的心跳跟呼吸,这两个是可以通过毫米波雷达获取的。当我们说心率、呼吸率的时候,其实它有两层含义。心率可以是「频率」的「率」——多少次每分钟;另外一个是「节律」的「律」,节律你可以测到你呼吸个心跳曲线,类似于心电的概念,我们做的是「节律」的「律」。
另外,除了在时间轴上频率可以测,我们可以测到纵向的位移尺度。比如呼吸弱跟呼吸强,它其实有区别的。这有什么用?比如在睡眠的时候,你可能有低通气,低通气的时候你胸腔其实在动,它动得很微弱,你的气流进去就变弱了,变小了,可以通过这种无感方式获取。还有最重要的,像呼吸暂停。呼吸暂停如果从曲线来说就是一根线变平了。但呼吸暂停分两种,一个是中枢性的呼吸暂停,另外一个叫阻塞进呼吸暂停,阻塞进,你还是有一点弱在呼吸的。
不管是哪一种,你的蓄氧其实都会下降。通过我们这个技术,它可以非接触的获取。无论你是低通气的时候,你在呼吸但你呼吸变弱了,我们可以探测出来。另外一个像刚才讲的,中枢性的,你完全停止了,肯定也可以测到。通过这种毫米波雷达技术,就可以无感地来监测跟呼吸相关的一些问题。
老麦:其实以往这些场景,医院里可能更多地是用一些比如夹在手指上或者贴在胸前的一些心电监测设备之类的。现在我们无感监测的准确率跟这些设备相比,它大概能达到一个什么样的程度?
顾昌展:呼吸还是相对容易监测的,它幅度在相对比较大,胸腔的起伏,特别是你如果测呼吸率,就频率的率多少次每分钟,这个来说是相对容易做到的。但可以更难测的是从外部去监测心脏跳动,确实难度很大。像呼吸咱们刚讲的它的大概位移在毫米级别,大概 1 到 4 毫米,但你一旦涉及到心跳,大概在几百个微米。
我们一直以来跟医院在做临床验证,想要知道我们这个技术到底有个多准。首先来说,刚才我们提到心跳引起的胸部变化非常小,大概在几百个微米,我们技术也在实验室验证了,可以测到不到 1 微米的微震动。我们有精度去测我们心脏,几百微米肯定是足够了。我们跟临床 ECG 对比,我们的误差不到百分之四。这是什么样的精度级别呢?我们可以举个例子,咱们家里面都有血压计,自动充气的那种,大概误差百分之 15 到百分之 20。我们刚开始也不知道误差居然这么大,后来跟医院一起做这个事情之后他跟我们讲的,他们在临床上其实并不用这种充气式的血压计。
整体来说,可穿戴的检测设备对佩戴者来说确实会不舒服。比如我们跟高血压科有在合作,他就提到在高血压科的病房里面需要对病人持续监测血压,病人在医院睡觉的时候就要带着袖带,设定好时间,每晚都会多次测试。每次测量都会把病人给叫醒,这样整个觉都睡不好。所以通过这种无感非接触的方法,如果能够测到我们的健康的状态、生病、生命体征参数,这是非常有用的。
老麦:刚才其实我们好像没有具体聊血压,血压也是通过毫米波来测量的吗?
顾昌展:从科研上来说,我们有在跟医院合作测量血压,我们现在对于个体可以测到比较好的结果。我们做了一个叫可穿戴式的毫米波血压计,它可以实现连续无感的血压监测。它是根据你的脉搏波一些信号来推算你的血压。
如果血压能够真的用起来,确实是一个很大的市场领域。不仅毫米波技术,你用其它的一些类似的激光等介质,也可以测到,也可以实现。但是它有个很大问题,它的泛化很难。我可以针对某一个个体把模型训练得很好,但是我们不同的人的心血管的结构都不一样。要通过某个体测准再把它泛化开来,比如我自己用,我让我的小孩、我的爷爷奶奶、我朋友去用也能够同样测准,这其实很难的,因为逻辑不一样。
另外一个很难的点就是你血压这个东西,你要把它泛化好,必须要大数据,用到不同人的心血管相关的数据。咱们刚里提到过,袖带式的血压计并不是一个精标准,在医学上它其实有 15% 到 20% 的偏差。医院里面做手术的时候有血压针,它一根针从你的手部、腕部插入你的动脉,一直延伸到肘关节来保证精准测量。它是一种侵入式的血压针,你要用这种侵入式血压针测出最精的精标准做参考,来校准你的模型,你的数据。这个数据你可以想象,只有医院这种医疗级的场景才会用到这种侵入式的,所以数据量也比较少。
从技术到实际场景的应用
凯丽:对,我也想补充一下刚刚两位问的问题。我们怎么去做延展,在生命体征上面其实是两个方向的,一个是人群上面的延展,一个是具体的病症上面的延展。我们现在的目标是先把体征给测准,在测准的这些体动、呼吸和心率的基础上去做睡眠分析。等于在把硬件开发好、测准体征的基础上,还需要睡眠分析的算法。
我们刚刚也聊到呼吸暂停,是很多人睡不好的元凶。但是可能目前大家对呼吸暂停的重视度还不够。另外一方面是心肺相关的疾病。举个例子,我们现在也会把这个技术用来跟医院去合作。大家都知道,心脏疾病演变到了最后一个阶段,就叫心衰。这个病它的 5 年致死率是比肿瘤比癌症还要高的,所以大家非常希望能找到一种相对舒服的方式来监测心衰的发展,但目前没有。
即使是在国外,监测方式也是植入式的,总归得动手术开膛破肚把 sensor 植入到胸腔里面。我们希望通过一种很舒服的方式,无接触地长期监测来帮大家监测这些心肺相关的慢病。
现在大家生活好了,就开始越来越重视健康,我们看到趋势也是怎么可以让健康监测变得越来越舒服,也能更多维度地给我们提供一些数据。各家科技公司也会加入整一个浪潮里面来,我觉得真的是一个非常好的趋势。
我们其实现在想法是,真的要能去解决一个问题,一定是先从跟医院的合作做起,「降维打击」。我们不能先弄一个好像可以工作的、准确率只有 60% 或 70% 的 ToC 产品。一个医疗健康产品的整个研发到后续的生产、营销、销售迭代是一个很漫长的过程,但是第一步我们得在实验室把技术打磨到最好,以及第二步我们在医院也找技术要求最高的场景,并把产品做出来。通过跟医院的合作,医生也会认可我们这些数据。我们在这个过程中也通过医生的帮助,帮我们解读这些数据怎么去用,后续怎么去看,到了相应的病症采取什么样的措施。只有把这一步做好了之后,我觉得后面才是真正造出来一个对大家有用的产品。
老麦:对,这一点我非常认同,过去这几年其实有很多公司炒一些这种所谓的健康概念,有用没用,其实谁也说不准。反正产品先做了,先卖了,最后大部分也是一地狼藉。所以我觉得这种严谨的态度其实是非常非常重要的。而且从目前比较成功的一些大厂的产品来看,也确实是要从医院的合作以及包括医疗机构的认证这个领域开始。
接下来,在有了技术能力之后,是自己创业还是去选择合作,顾教授你们团队有什么想法吗?
顾昌展:我觉得,怎么样使技术能够更好的产品化,能够带来更多更大的价值,这是我们都是可以考虑的。另外我也觉得在上海交大平台特别好。现在整个国家其实都在鼓励科技向生活转化,上海交大也有相关政策配套。像我们已经走完了上海交大科技成果转换了整个流程,相当于学校的一些专利授权出来,我们可以去合法合规的去做一些跟创业相关的事情。
另外,刚才凯丽提到的我们跟医院的合作很重要。上海的医疗资源其实基本分为两块,就是交大系跟复旦系。现在上海交大在上海有 14 家比较顶尖的附属医院,我们在上海交大的框架下面,可以开展很多交叉的项目合作,对我们技术的验证开发非常有用。
老麦:有哪些已经在落地的场景,可以给我们简单讲讲吗?
顾昌展:好,比如我们有跟一家上海顶尖的医院,我们先不说名字,我们跟他有在心内科的 ICU 合作。心内科的重症病人在入院的时候就可以用毫米波雷达来持续监测,获取他的心肺相关的数据,病人出院以后就可以把这设备带回家。
医院的想法就是病人出院之后,我不知道他在家里康复怎么样了,我如果有生命体征传感器,就算我病人在家的时候,我也可以持续去了解病人的健康状况。
我们数据全部在云端,开放给医院去获取那些生命体征,它就可以成为医院对患者一个触点。病人没有在院的时候,也可以获取健康相关的参数指标。
医院关心的不只是某一次治疗或者手术情况,而是怎么可以把病患的全生命周期或全流程管理做得更好。后续院方获得数据之后,就可以为病人提供进一步的咨询服务。
还有一个场景是跟新生儿医院合作的。小朋友出生之后,他们的整个呼吸道没有发育得特别好,就很容易犯间歇性呼吸暂停,也是呼吸暂停的一种。这个病对小朋友来说影响更大,因为严重的可能会导致窒息死亡。大部分的时候,小朋友身体获得的氧气不够多,影响他的发育,这里面包括神经发育、脑发育、他长得没有那么高之类。这些医院也非常在意这些问题。
他们目前用的方式都是接触式的,但是现在这个方案它又有两个问题。一个是小朋友新生儿皮肤特别娇嫩,接触式的设备撕来撕去,很容易伤害小朋友的皮肤,产生感染。另外一个就是通过血氧仪测试,但只有缺氧的 10 秒、15 秒之后才体现在测量结果里,这时候再去预警其实已经有点晚了。
使用我们的毫米波雷达设备之后,在小朋友发生呼吸暂停的当下立刻就能发现。能比脉搏血氧仪更早发现小朋友的呼吸暂停的情况。
老麦:你们现在有一些想象中的产品或者形态吗?
凯丽:哈哈,说到想象,我们聊天的压力就小了很多。我们的确是有一些远大的构想,比如像刚刚提到睡眠。国内外各种对睡眠产品的评论,大家吐槽前三点是:第一,我本来睡眠就有问题,你现在还要让我戴一个可穿戴设备,更影响我睡眠了;第二,我即使戴了,我发现也不准,我明明睡前半小时我都爱看书,但它说我在睡觉;第三个,你帮我发现了,我知道问题,但是我仍然不知道怎么解决。
基于以上三点,我们在自己设计的睡眠监测产品里加了一个非常重要的维度,呼吸暂停是最重要的一个维度,我们可以做得更准,而且无接触。与此同时,我们是不是可以把一些跟声音有关的、跟气味有关的、以及跟光有关的元素都加入进来,产品最终形态是一个床头台灯的形式。
我们跟睡眠科医生有合作,他们普遍认为最有效的干预睡眠的方式除了吃药就是声、光和味等。而且跟我们技术结合起来,它有个优点,就是我们可以让这一切的解决方案变得很智能。譬如我发出不同的声音,我告诉你哪一个对于你来说最有用的,我以后就给你用。而且我也可以监测到你处于快速眼动期,这时候你如果能听到一些比较悦耳的声音,或闻到一些比较让人舒服的气味,其实更容易做更好更愉悦的梦,这样人醒来的时候就会很舒服。
此外,人如果在深睡的时候被闹钟叫醒,感觉是生不如死。很多人就觉得起床特别难,因为刚刚好你进入了深睡的期间,闹钟把你叫醒了。那我们就可以通过对睡眠的监测,先把你拉到一个浅睡期,再把你叫醒,你这样醒来都很舒服。
我们还有一个想象中的产品方向,毫米波雷达技术其实跟宝宝监视器也能做特别好的结合。
目前的宝宝监视器只能看到小朋友是不是在那儿,他有没有摔下床,但是我并不知道小朋友的健康状态。比如小朋友身体发炎的时候心率是偏高的,我们也希望未来的监视器不仅可以帮助家长确保小朋友有没有摔下床,同时也知道小朋友是一个健康的状态。在此基础上甚至还能跟睡眠监测结合,让家长更好地了解宝宝的休息和发育情况。