2月25日消息在MWC2019发布会上,微软宣布推出Azure Kinect,这是Kinect for Windows的继任者。全新的Azure Kinect是一款连接深度摄像头,可帮助企业构建AI视觉解决方案。
Azure Kinect旨在使开发人员可以轻松使用Azure,但无论是否有任何云提供商,都可以使用它。
Azure Kinect DK是一款开发者工具包,它将业界领先的人工智能传感器集成于一个设备中。其核心为HoloLens 2开发的TOF深度传感器、高清RGB摄像头,以及一个七麦克风圆形阵列,从而通过Azure开发高级计算机视觉和语音解决方案。
这种解决方案不但能感知世界,而且能够理解世界,无论是人、地点和事物。这种解决方案在医疗领域一个很好的示例就是Ocuvera,他们正在使用这种技术来预防病人在医院摔倒。仅在美国,每年就有100多万病人在医院摔倒,对于其中的1.1万人来说,这样的摔倒是致命的。利用Azure Kinect,可以确认病人可能摔倒的环境前兆,并在摔倒前及时通知护士赶到病人身边。
Azure Kinect内置内容:
1MP深度传感器,具有宽窄FOV选项,使用户能够针对其应用进行优化
7-mic阵列,可实现远场语音和声音捕获
12MP RGB摄像机,用于与深度串流对应的额外色彩串流
加速度计和陀螺仪(IMU),可实现传感器定向和空间跟踪
外部同步引脚可轻松同步多个Kinect的传感器流
Azure Kinect重量为440克,尺寸为4.96 x 4.05 x1.53 英寸。它由USB Type-C连接器供电,并且与Windows 10(不包括S模式)和Ubuntu 18.04系统兼容。它适用于环境温度在10到25摄氏度之间的房间。
Azure Kinect 开发工具包将在美国和中国首发,即日起接受预定,价格为399美元。Azure Kinect的中国区市场定价为人民币2988元。
吊打Magic Leap,微软HoloLens 2不只为炫技
2015年1月,微软HoloLens横空出世。
四年后,在2月25日的MWC 2019上,“HoloLens之父”Kipman登台宣布HoloLens 2 问世。受邀出席的雷锋网(公众号:雷锋网)现场第一时间发回报道《时隔四年,HoloLens 2终于来了》。
雷锋网也整理了HoloLens 2相关资料,并第一时间采访到业界多位AR行业资深人士针对HoloLens 2的解读,并从产品、技术及产业等层面剖析HoloLens 2的影响及特别之处。
HoloLens 2:功能更强大,体验更好,价格更贵
“视场角太小、穿戴不舒服、上手有难度” 不少体验过HoloLens 1代的朋友都曾向雷锋网表达过类似感受。
随着微软大幅升级的HoloLens 2出来,上述问题似乎都有所改善,当然除了高昂的价格。
那么相比1代,HoloLens 2在参数上有哪些变化和升级?下面我们通过一张表格简单对比一下。
雷锋网整理发现,首先,HoloLens 2由此前英特尔处理器更换成了ARM架构的高通骁龙850,与此同时,微软专为HoloLens开发的HPU全息处理器也升级到2.0。
HoloLens的处理器:为何从英特尔变成了高通?
原因有几点,首先,英特尔早在2017年8月就发布公告宣布将在10月停产Atom X5-Z8100P芯片,公告表示在截止日期交付完订单产品后,这款产品永久停产。
不知是因为HoloLens价格高昂等原因导致出货量太少致使英特尔该款芯片订单太少,所以英特尔选择停产Atom X5。还是像外界猜测的那样,微软在寻求功耗更优的方案因而放弃了英特尔的方案。
雷锋网曾多次体验HoloLens 1代产品,由于眼镜前端高度集成了处理器、多摄像头和光学元件等,在使用时需处理大量3D图像数据,导致发热较严重,加之并不友好的穿戴设计,造成其佩戴的体验一直都很差。
毫无疑问, 微软HoloLens 1 是一款划时代的计算设备 ,但在体验这一点上,HoloLens所遭受的指责足以与赞美持平。所以,微软不会不明白体验的重要性。
视+AR联合创始人兼COO涂意接受雷锋网采访时认为, 微软HoloLens 此次从英特尔切换到ARM应该是为了降低功耗,让设备待机时间更长和性能更优 。他接着表示,苹果也在计划放弃英特尔,转而在其Mac系列电脑上使用ARM架构的自研芯片,由此看来在移动平台,英特尔可能将逐渐被边缘化。
AR光学模组研发商珑璟光电联合创始人王鹏告诉雷锋网,高通本来就在移动端SoC相对较强,AR眼镜是与智能手机类似的终端,微软选择高通可能单纯是因为高通的芯片性能更强也更适合移动端。
Kipman在回应HoloLens 2为何选择ARM芯片时表示,很简单,我们还没有看到哪款使用电池的移动设备不采用ARM芯片的。
高通也是有备而来。随着智能手机市场趋于饱和,VR/AR浪潮兴起,高通很早就瞄准了这块颇具潜力的市场。不管是国内还是国外,许多移动端高端VR头显纷纷选择高通平台,去年5月高通针对VR/AR市场还推出专用芯片—骁龙XR1平台,还提供专门的VR SDK供开发者使用。小米VR、HTC Vive、爱奇艺VR、Meta均在其移动头显中使用高通处理器。
显示:2倍视场角是误会?
果不其然,微软此次将视场角从34°提升至52°, 同时采用了3:2的显示比例 ,效果就是增加了纵向显示区域,人眼不用像此前要上下移动来查看未被显示出来的虚拟画面。
据外媒RoadtoVR报道,由于翻译或理解的不同,此前有部分人士将HoloLens 2发布会中的“Field of view increased more than 2X” 理解成了视场角增加了2倍多 ,但微软在这里想表达的意思是“可视区域增加2倍多”。不过微软并没有在演示中特意解释,似乎有意模糊了视场角与显示区域这两者间的区别,从而导致外界出现一些关于视场角问题的误会。
显然微软官方有意宣传显示区域增加2倍多,但RoadtoVR却质疑其中的真实性。微软在回复RoadtoVR的询问时,声称当时显示的只是一张图片,而且只是演示中的一小部分内容。RoadtoVR认为微软在对待这件事上有些不够谨慎。
关于HoloLens 2视场角的提升,视+AR联合创始人涂意认为这与微软 在2017年4月申请了一份显示方案的专利有很大关系 。
珑璟光电联合创始人王鹏告诉雷锋网,由于暂时没有看到HoloLens 2的实物,还不能确定具体原因。但从光学模组层面来看, 他猜测应该是设计和生产工艺的进步,用了一些特殊的方法实现了扩瞳,因为HoloLens 2用的还是第一代的浮雕光栅技术 。
他介绍说,HoloLens使用的光学是全息光波导(又叫全息光栅,全息光栅光波导,衍射光波导),而这种全息光波导的实现方式包括布拉格光栅、浮雕光栅。
至于如何判断HoloLens 2用的还是第一代的浮雕光栅技术,王鹏解释称,根据网上流传的HoloLens 2产品照片来看,其中有很明显的彩虹反射,而采用浮雕光栅技术就会很明显能看到彩虹一样的反光。
此外,HoloLens 2还新增加了眼球追踪功能,这是1代所没有的技术。但是眼球追踪和注视点渲染技术早已在其他VR/AR产品中应用,注视点渲染技术在VR设备中多用于 游戏 和视频渲染。
炫酷的眼球追踪和手势识别
经常被拿来与HoloLens 1做对比的 Magic Leap One也内置了眼球追踪功能 。据青亭网报道,Magic Leap One除了通过多焦点自动测量瞳距外,还具有重新聚焦窗口的功能。这点类似 游戏 笔记本中配备的Tobii设备,当眼镜聚焦在哪个区域时,鼠标会自动移动到此位置,或者重新进行聚焦等操作。
HoloLens 2中的眼球追踪与上述提到的类似,除了测瞳距自动微调图像显示位置外,还可以描虹膜解锁设备登录Windows Hello 、帮助用户与全息内容直接交互。 Kipman还表示,HoloLens 2的眼球追踪能够观察人眼微弱的变化,从而感知和预测人的情绪 。
涂意告诉雷锋网,从发布会现场看,眼球追踪的演示效果很精准,这改善了上一代必须在视野正中央选中目标的尴尬交互,更加符合人的本能习惯也更像鼠标的体验,极大的提升用户交互体验和使用效率。
可圈可点的升级还有手部全节点追踪,据青亭网报道, 微软将手势追踪模块升级为Azure Kinect,实现双手全关节模型追踪,覆盖到每根手指,单手追踪最多25个关节点,密度更高 。举个例子,你可以用双手在“空气”中弹奏钢琴,或者触摸操控全息图像,做放大缩小拖拽等动作。
佩戴设计更人性
HoloLens 2 使用了碳纤维材料,别看2代的重量没有下降多少,但是HoloLens 2头戴的整体设计更加人性科学,佩戴体验有了不小提升。
其一是, 微软将HoloLens 2的电池模块移至眼镜后端 ,从而减轻眼镜前后两端重量失衡的问题,并增加了支撑受力面积,这样就不会出现1代那样因为重量失衡对人脑的异常压迫感,前端还增加额头面罩,舒适性有所提升。据雷锋网了解, 爱奇艺VR曾在去年发布的VR一体机上采用了电池模块后置的设计 。
其二是, HoloLens 2借鉴了在MR头显上的翻转设计 ,意义在于用户能随时能把眼镜翻开直接回到现实世界。这个贴心设计在许多场景下提升了用户体验例如减轻长时间佩戴产生的压迫感、通风排汗、缓解眼疲劳等等。
“翻盖结构挺好的,很实用,感觉微软是实际对工业场景做过功课的。而且又提出了很多高度定制化的方案。看得出微软对B端市场的决心,因为B端市场的特点就是高度定制化,很多特殊的需求是很细微的。因为一款产品打不了所有B端市场。”珑璟光电联合创始人王鹏如此评价。
最后,除了价格令某些业内人士感到过高外,还有就是微软并没有过多提及在本届MWC上大热的5G技术,国内外不少智能手机品牌均将支持5G作为产品的重要卖点之一。
“3500美元这个价格大家可能依旧很难接受,与1代一样,最后还是被少数公司、开发者和高校,包括我们这种光学公司买单。但是相比较实际销量,HoloLens这款产品对于微软的战略意义大于实际营收意义”王鹏告诉雷锋网,最后他又强调“即使是B端我也觉得很难接受这个价格”。
“ 很大的遗憾就是HoloLens 2没有支持5G ,如果直接支持5G加上云渲染,我相信它在很多非企业应用会有特别好的效果,比如 旅游 ”视+AR联合创始人兼COO涂意认为,因为微软缺位智能手机时代,所以并没有推出连接智能手机的外设式AR眼镜,而这一块的市场还很大,这也让我觉得挺遗憾的,不过这可能是苹果、Google、华为或者创业公司的一些机会。
雷锋网也注意到HoloLens 2在系统、摄像头、分辨率等方面做了许多提升,这些配合前面提到的重要功能和体验的升级,就将HoloLens 2打造成了一款强大的“生产力工具”。
显然微软并不满足于将其定义为一款硬件设备,所以在发布会上,主角还有微软Azure云。
硬件只是载体,微软真正的目标是云服务
在HoloLens 2的发布会上,微软 CEO萨提亚·纳德拉在演讲开始就强调了智能云(Intelligent Cloud)和智能端(Intelligent Edge)的重要性。毫无疑问,智能云微软有Azure ,智能端则有HoloLens。
因为Azure,连早已被放弃的体感外设Kinect都被复活了。随后,微软公司全球副总裁Julia White 登台发布一款开发者工具包—Azure Kinect DK,售价 399 美元。据雷锋网了解,Azure Kinect DK与HoloLens 2一样,拥有 TOF 深度传感器、高清 RGB 摄像头,以及一个七麦克风圆形阵列,重点是它能通过Azure云端获取视觉和语音计算能力。
官方表示,Azure Kinect是一款智能边缘设备,能够感知周围的人、环境、物体和动作。这样看来,Azure Kinect更像是一个简化版HoloLens ,价格更便宜,这点对于某些开发者来说,还是挺有吸引力的,如果他们恰好并不需要HoloLens 2某些功能,Azure Kinect是很好的第二选择。
与此前仅被当作Xbox的一款消费级体感外设不同,此次升级后的Azure Kinect定位与HoloLens 2一样, 也是聚焦于B端应用场景。
微软现场展示了几个应用案例,例如利用Azure Kinect开发的病房监控系统,当Azure Kinect感知到病人存在摔倒的可能性时,会及时通知护士赶到病人身边。
Azure 能让 Kinect“起死回生”,同样也能让HoloLens 走的更远。
Azure Spatial Anchors(可以理解为一个AR Cloud)能够帮助企业和开发者在混合现实程序中,精准映射、指定和调用可在HoloLens、iOS和安卓平台上访问的点。言外之意,就是它能支持其他两个重要的AR平台—谷歌ARCore和苹果ARKit。从中能够看出微软采取了更加开放的策略,这点对在不同的AR平台创造内容和协作的开发者来说,还是颇为受用。
Azure Spatial Anchors可以与ARKit和ARCore结合使用,这点出乎了涂意的意料 。他认为这验证了未来会有一个跨平台的AR Cloud服务存在。而云服务是微软的战略,微软会重点去卖他们的Azure云服务。
他进一步解释,随着5G技术的发展,未来的趋势是向云端发展,以后的硬件会越来越“瘦”,很多计算会放到云端。而HoloLens 2也注意到这个趋势,在发布会上明确发布了两个版本,其中一个就是包含云端渲染服务的版本,未来一定是云的销售大于硬件的销售,这是很重要的。 微软Azure云也希望硬件终端能构建AR Cloud,也就是Spatial Anchors ,地图数据将会成为云服务的重要一环,还有云渲染服务也会降低硬件的运算负荷。
微软在现场演示了如何跨平台跨设备与HoloLens 2进行协作和交互, 此前微软展示更多的是HoloLens设备之间以及与微软其他终端之间的互相协作 。现场,一个工作人员演示了怎么通过苹果iPad,利用ARkit与头戴HoloLens 2的Kipman协作研究一台虚拟工业设备。
Azure Remote Rendering可以帮助人们在不降低图像质量的情况下体验3D内容,这点适合在智能手机与MR设备交互时的场景使用。而该服务将在云端渲染高质量的 3D 内容,并将在每个细节都完好无损的情况下实时传输到边缘设备。
HoloLens软硬件技术再强大,可能也就是一款高 科技 “玩具”,但微软给它插上了Azure 云的翅膀。通过终端+云的战略,聚焦B端应用场景,再整合各种技术服务,一个围绕HoloLens的商业生态的雏形初现。
微软对于B端商业场景的重视,早在去年5月HoloLens入华商用一周年活动上展露无遗。微软在其北京总部向媒体展示 HoloLens及混合现实技术入华一年来取得的发展情况。官方重点介绍了来自建筑设计、医疗 健康 、 汽车 制造、教育行业的商业用户及合作伙伴,并展示众多面向不同行业用户量身定制的解决方案和实践案例。
外界越发感到微软的开放节奏在加快,尤其是在HoloLens的生态上。
发布会接近尾声时,Kipman身后的大屏幕打出了一个大大的“Open” 。他介绍了微软混合现实生态的开放原则共包含三个部分:开放应用商店、开放浏览器平台和开放API和底层平台。这是否让你联想到Windows PC或IOS、 Android生态?
Mozilla基金会将会把火狐浏览器的原型引入 HoloLens 2,而 Epic Games 创始人兼 CEO Tim Sweeney 来到现场并宣布,Unreal Engine 4 即将支持 HoloLens。
务实路线:把HoloLens打造成一款合格的生产力工具
在开放的PC时代和封闭的智能手机时代之后,Kipman认为世界将进入“计算的第三个时代”,所以微软这些年来一直在变化,也更加开放,目的就是要构建一个围绕混合现实的统一架构平台。
同样这么想的可能还有谷歌与苹果,只不过微软稍微走得远了一点。
“目前来看,微软HoloLens 2是唯一一个可以形成开放平台的AR硬件,其他AR硬件创业公司基本都是自己做硬件、做应用,没有办法形成生态,现在只有微软做到了,这对HoloLens 2的意义是非凡的。”涂意告诉雷锋网。
另一位业内资深人士向雷锋网谈了谈自己的感受,从硬件层面看,他觉得HoloLens 2的形态更成熟,虽然这次没有超乎想象的黑 科技 ,但是更合理。 微软走了务实路线,一切设计都向实际应用场景服务 。
“从行业生产力工具的角度看,某种意义上看是推动了MR生态的起步,这点很重要。HoloLens 2开始正儿八经地提供价值。”他总结道, HoloLens 2已经是一款合格的生产力工具 。
个人消费者往往喜欢追逐黑 科技 ,与1代对比,官方并没有强调太多黑 科技 的点。因为微软对于HoloLens 2的定位更加清晰,就是专为B端打造的,B端要的就是体验稳定、功能好用的服务。
所以,黑 科技 的预期就留给其他的吧,最后这位业内人士调侃道。
微软Azure Kinect DK解析:小型AI终端就此诞生
在此之前,我一度以为Kinect几乎要凉了,不过微软默默在MWC 2019更新了它。Azure Kinect DK显然和此前用于Xbox主机中的Kinect不同,这是一款专门具备一定AI能力的专注于商用场景的开发套件,下面我们一一来看。
最强Kinect来袭
微软对于Azure Kinect DK的定义是一款开发者工具包,集多个人工智能传感器于单个设备中们,包括应用在HoloLens 2上的TOF深度传感器。其能够同时感知人、物体和地理环境。
另外,微软并没有将Kinect限定在深度感知领域,本次的Azure Kinect DK还加入1200万像素RGB摄像头和一个由七个麦克风组成的圆形阵列,这样一来则可以实现完整的计算机视觉、语音解决方案。
外媒The Verge在发布会现场体验了Azure Kinect DK,其表示:上手的第一感觉就是它的尺寸足够小巧,而且也更轻,440g的重量较970g(Kinect 2.0)还是有质的变化。
Kinect 2.0仅配备4个麦克风,而最新Azure Kinect DK升级至7个圆形麦克风阵列,可提供更好的降噪和收音效果。
以下是具体硬件规格
微软官网也明确,Azure Kinect DK不是Xbox Kinect的替代品,仅适用于专业开发人员及商业场景,不适用于普通消费者。设备周边环境温度应介于 10-25 摄氏度之间。
Azure加持,小型AI终端就此诞生
同时,我们还注意到“Azure”字样,显然微软已将Kinect与云打通,基于云端的视觉和语音解决方案扩宽应用领域和场景。
未来,微软计划为Azure Kinect DK推出更多开发工具,包括身体姿态追踪的SDK、视觉API、语音服务DSK等。
不过,现有Kinect for Windows的应用无法直接兼容Azure Kinect DK,还需要开发者进行迁移适配。
至于应用场景,包括需要改善和监控动作的场景,以及其它需要深度和视觉领域的场景基本都能胜任。微软在发布会上讲到了几个案例,一个是美国的Ocuvera医院,其通过在病房放置一台Azure Kinect DK,然后会自动检测病人状态,甚至能在预测快要摔倒的动作,提前通知护士台。
另外一个就是智能化无人超市,其在超市货架顶端安装Azure Kinect DK,其可实现自动检测客人是否拿去商品,拿去哪件商品,既可以实现无人收银,还能直接提供商品的库存和管理。
Azure Kinect DK将在美国和中国首发,现已开启预定,价格为2988元(很显然比Kinect 2贵几倍),感兴趣的可以到微软官网预定。
更多图片:
微软HoloLens 2现身:科技魔法走进真实世界
作者现在正处微软公司总部,亲身体验HoloLens 2的演示项目。通过位于地下的长长走廊,穿过一扇沉重的金属侧拉门,我在微软员工的引导下进入了这个如 汽车 生产车间般的项目所在地。这里弥漫着一股橡胶轮胎的味道。在我面前的底座上,摆有一辆ATV全地形车。另外,房间各处都堆放着工具与零件。
这时候,工作人员将一部HoloLens 2交到我手中,并提醒我如何用它学习修车。
微软公司的HoloLens终于回来了。3年前,该公司发布了这款混合现实头戴设备的初代版本,而如今的新版本已经开始接受预订,价格为3500美元,计划于今年晚些时候全面出货。通过试戴,我发现不用摘眼镜就能很轻松地将它套在头上。这种感觉有点像 配戴 一台工业工具,或者焊工面具。设备显示内容非常清晰,我进行了眼动追踪设置,眼前出现了一个网格点。我跟随着该点从一个角落看向另一个角落,又从一侧望向另一侧。整个过程完全没问题,效果也很好。据了解,接下来微软最新打造的Dynamics 365 Guides还将引导应用正式启动,负责为使用者提供使用指令集。
更确切地说,这台设备就像是拥有了实际转向指示的谷歌地图,或者是能够直接显示拼装手册的乐高产品。当我把目光移向漂浮在面前空中的一张张指示卡片时,系统就会提醒我首先要让车子保持稳定。现在,一个浮动的箭头从3D空间中延伸向前,提醒我车子上的换档部位以及我应该如何对其进行切 换。 完成之后,我眨了眨眼睛并进行下一步。接下来,我开始调整车子底部已经松掉的链条。一个长长的虚线箭头指向靠近墙壁的一只工具箱,并进一步提示使用其中的棘轮。在这一步操作中我差一点抓错了,好在及时意识到箭头指向的是另一个工具。我把目光投向下一张卡片,有一条弧线向我展示了前往螺丝盒的路径,并将其拧进正确的孔位。
有时候,箭头的排列会出现一些问题。同时,我也很好奇,我会不会抓到错误的工具?如果我犯了错误,程序会及时加以纠正吗?我真的应该试着抓起错误的工具,看看设备会有什么反应——有点后悔。而且必须承认,在空间当中放置指向箭头有点像构建一个大型3D导航器,感觉上有点奇怪。在试用过程中,我不禁想到任天堂产品特别是Labo的使用经验——这是一款任天堂专门为其Nintendo Switch开发的 游戏 ,能够指导玩家通过屏幕上的指示利用精美的纸板进行创作小玩具。想象一下,配合HoloLens 2,这款 游戏 可能会到处弹出指导信息,并指向玩家面前的真实物体,而且整个系统完全以3D方式呈现。这样,世界一下子变会成乐高主题套装的模样!
值得一提的是,这次试用没有出现蜘蛛织网 游戏 ,我也没有玩到《我的世界》或者《光环》。四年之前,微软公司一直在强调HoloLens当中的 游戏 载体属性,但如今微软的整体态度也发生了转变,更多地展示其在企业应用场景下的巨大潜能。HoloLens 2是一台能够切实帮助企业员工的实用性设备,这意味着AR技术开始成为员工完成工作的重要助力。这台头戴式设备非常舒适,能够提供更好的视频以及更出色的眼睛与手部追踪体验。另外,它还与更多微软云服务相关联,而这些服务又能够进一步对接各类iOS与Android应用。
我还记得去年曾在Magic Leap上体验过《查理的巧克力工厂》,而微软HoloLens 2在使用感受上就像是Magic Leap的终极追求。当然,双方可能还需要沟通以确定这项技术的下一步发展方向。
显然,增强现实技术不再只是痴人说梦。苹果与谷歌公司一直在手机领域中 探索 这一技术,而包括Magic Leap在内的不少头戴设备厂商也在努力设计出一种舒适、功能性强且能够随身携带的全息显示解决方案。
第一款HoloLens的问世更像是一项成就或者一种标志,因为它可以自成一体、不需要电线甚至完全无需接入任何设备。而微软如今推出的新一代HoloLens 2也并没有引入什么全新概念,但却确立了一款头戴式设备必须具备的三大核心要素:眼动追踪、更大的视野以及更出色的手部追踪能力。当然,它也更加舒适,而且对需要佩戴眼镜的用户非常友好(包括我本人以及我的同事们),能够让我们轻轻松松罩在眼镜之上,带来非常好的体验。另外,HoloLens当中使用了一块高通850移动处理器负责运算执行,同时还配合微软自己的AI引擎以替换上一代HoloLens所使用的英特尔处理器。
对于没有实际比较的朋友们来说,这一次的新设计在观感上似乎与上代产品没什么区别。但我得告诉大家,新一代版本明显没那么笨重,份量也确实轻了一点。通过咨询,我们确定本代版本的重量减少至566克,折合1.25磅。虽然相较于初代版本的579克,折合1.28磅,减去的重量似乎非常有限,但之所以使用感受得到极大提升,主要归功于其重心分布的大幅调整。这一次的新版本加厚了用户后脑部位的护垫,而前部布置则相对较小。如今产品的整体重心位于耳朵再靠后一点的地方,这意味着使用感受有点像“戴上一顶棒球帽”。我松开头带,将设备戴在眼镜之上,仍然没有任何问题。新的重心转换意味着我们再也不用花整整5分钟时间才找到舒服的配戴的位置。通过试用,我们觉得新版本更像是背上一个背带设计更出色的背包。
另外,新版本甚至还提供了翻盖式的显示部分设计。显示镜处能够向上掀起,用户可以轻松回归真实视觉或者更轻松地执行常规工作——此前由合作伙伴开发的微软Windows Mixed Reality品牌VR设备就一直采用这样的设计。我很喜欢这种自在的感觉,现在我可以在演示当中随时擦擦自己的眼镜,或者挠挠额头。
HoloLens 2的硬件仍然自成一体,与前代设计一样,它不需要任何额外的腰部配戴装置(Magic Leap One就使用了这样的设计)。当然,这同时意味着HoloLens的头戴本体部分要比Magic Leap One更大(后者价格为2295美元),售价也比其贵上1000多美元。这样的差价无可厚非,因为Magic Leap One逼迫我戴上隐形眼镜,或者再配一副能够与其槽位匹配的镜片——目前,Magic Leap还不支持我的这种镜片。相比之下,HoloLens 2能够直接容纳我的眼镜,我非常喜欢这样的设计。
眼动追踪并不是VR及AR当中最重要的因素,至少目前还不是。第一款HooLens并不提供眼动追踪功能。当然,Magic Leap One已经支持这项功能,HTC Vive Pro Eye以及Varjo VR-1等高端企业级VR设备也开始引入。眼动追踪功能可以识别出用户使用内置摄像头时的位置,这意味着大家不再需要移动头部。
HoloLens 2的眼动追踪主要用于两大场景:它能够测量眼球运动并借此与虚拟物体进行交互。另外,微软也开始利用新的眼动追踪摄像头进行生物识别以保障安全。HoloLens 2通过Windows Hello进行虹膜扫描,因此用户可以立即登录Windows并启动个人账户,或者借此保存自己的个人设置选项。
更令人印象深刻的是,我之前体验过的大部分眼动追踪技术都会因为配戴眼镜而受到一定影响。比如,必须把带子调松一些,才能避免HTC Vive Pro Eye早期版本的演示无法正常起效。使用Tobii的眼动追踪VR技术时,也曾经发生过类似的情况。好消息是,在进行几轮HoloLens 2演示体验的过程中,这种问题一次也没有出现。
在此次体验当中,我试用过的唯一一项眼动追踪实际用途,就是利用自己的快速眼动在无需移动头部的情况下选定某个虚拟物体。我可以直接盯着这些物体并通过指令使其爆开,从而制造出大量虚拟水晶碎片。当然,这项功能还有更多实际用途:以Tobii为代表的众多企业软件厂商正在利用眼部追踪技术为用户创建所需要的分析结果与热图,从而改进培训效果。
但在谈到其它眼动追踪技术的应用方向时,似乎出现了一点偏差。微软公司技术研究员Alex Kipman表示,HoloLens 2的眼动追踪摄像头能够通过微小的眼部变化以及用户的注视位置来测量相应情绪。
但是,如果HoloLens都开始预测用户的感受,甚至是脑中的想法了,那接下来又会怎样?我不太确定。
在微软的Human Factors实验室当中,这款硬件经历了舒适性与可访问性测试。我们走进一个摆放着无数原型设备模型的房间,里面还有一张放着大量不同橡胶耳朵的桌子。微软公司高级设计总监Carl Ledbetter向我们展示了如何针对各种头型与耳廓特征对这款新设备进行舒适度、疲劳感以及眼部观看效果测试。另外,在某个角落的桌子上,还摆着一个嵌有传感器网的人体模型头部,这是一个脑电感应头盔。一眼望过去,我还以为自己来到了《少数派报告》电影里的场景。
Ledbetter介绍称:“我们用它来测量脑波活动,甚至可以测量对象的思维负荷有多大。当然,我们并没有把所有成果都真正引入HoloLens。不过我们觉得这是个好机会,相关的结论可以被应用到其它一些项目当中。”
跟我一起参加这次体验的同事Ian SHerr问道,“HoloLens 3是不是就能读心了?”
“这个嘛……有可能吧”,我猜Ledbetter是在半开玩笑。当然,他没准是说真的。
全息显示就像一场魔术,而如果栩栩如生的显示效果在用户的视野之内就被硬生生切断,那么观感体验必然要大打折扣。第一代HoloLens的纵向可视角度约为30度,这种感觉就像是通过一扇窗户观看虚拟物体,而窗户的大小则是一张距离用户的脸只有几英寸的扑克牌。
HoloLens 2将视野扩展到了52度,微软公司表示这意味着新一代产品的有效可视区域达到了上代产品的两倍。这感觉就像是通过一扇与课本差不多大的窗户观看全息图像,纵向观察空间提升了不少。具体来看,如今的虚拟显示空间类似于使用台式机上的大号显示器,而上代HoloLens的使用感受则像是使用笔记本上的小屏幕。虽然HoloLens 2上仍然存在着某些3D效果被拦腰截断的情况,毕竟我的余光视觉没有受到任何遮挡,因此上下左右都存在着显示断层。但是,它的视野仍然要比Magic Leap One好得多,而Magic Leap One又比初代HoloLens好得多。
除此之外,HoloLens 2的有效分辨率也得到有效提升,如今它能够实现单眼显示内容的2K分辨率——远高于初代HoloLens的单眼720p分辨率。然而,图像显示的密度仍然相同,为每度47像素(单位为PPD)。PPD是一种用于测量光学显示中像素密度的方法,类似于手机或者平板电脑上的每英寸像素数。Kipman将其称为等同于苹果“视网膜显示”效果的分辨率。但老实说,虽然观感上已经非常接近,我仍然能够从中看到像素,这与我的日常视觉体验有所不同。不过,这已经比许多传统的VR设备好上太多了。(Varjo的全新VR头戴设备在视觉中心位置提供更高的PPD分辨率,但周边区域的分辨率则有所下降。)另外,其中的全息图视觉效果仍然比较怪异,这一点与Magic Leap以及初代HoloLens差不多。画面很明亮,足以让我在室内空间中清晰识别并遵从指引。而微软同时也表示,在户外环境下的显示效果也一样出色。
新版本的图形处理效果与上一代HoloLens并没有太大的差别,最显著的应该就是以上提到的观看区域的大幅扩展。另外,考虑到处理器配置,Magic Leap提供的图形效果可能仍然优于HoloLens 2——至少在双方都不依赖云计算资源时是这样。
简单说一下其中的工作原理:HoloLens的基本目标就是让用户出现“对眼”。微软公司光学工程总经理Zulfi Alam解释了显示内容如何配合多份图表及放大镜功能共同起效。与初代HoloLens一样,新版本的显示镜处同样拥有波导管,可以利用LCOS(片上液晶)通过MEMS(微电子机械系统)弯曲光线以使其投射至眼部。
下面来看HoloLens 2中的新特性:初代HoloLens采用的是一块尺寸较小的显示屏,因此视野相对比较有限。如今,HoloLens 2上的显示屏采用了基于镜面的激光系统进行蚀刻。该系统能够生成每秒120帧的图像与三道激光速,如同老式显示器一样,只是响应速度更快。另外,它还支持超宽视野,这意味着我们观看暗光区域时镜片将完全透明。从体验上来看,我只能说,虽然原理听起来非常复杂,但最终结果看起来确实不错。
HoloLens 2并不提供任何物理控制器:微软公司决定完全依赖于手部追踪加语音控制。值得一提的是,手部追踪技术同样向前迈出了一大步。传感器如今可以通过手腕与手指在一只手上识别最多25个关节点。此外,其还能够识别手掌的方向,这意味着手指弯曲、手部动作以及拾取物体等功能全部可以直接实现。初代HoloLens只能基于手势支持手指点击与其它一些简单的动作。这一次,HoloLens 2已经能够支持捏、拉、按等操作。这感觉要比Magic Leap One的手部追踪更加先进。
此外,我们还尝试了微软公司提供的“Shell演示”全体验。在一个类似于起居室的园区大房间,我看到一张摆着大量全息虚拟物体的桌子,其中包括一部引擎以及一架风车。我走到旁边,并看到它们被纳入一个框体轮廓。系统提示我抓住框体的一角然后向外拉,依样操作之后整个全息图即可快速缩放,类似于拖动Windows中窗口的一角。
这就是HoloLens 2上提供的3D窗口。为了移动物体,我需要将手伸进物体的中心,握拳,而后移动自己的拳头。我也可以把两只拳头一起放进去,然后把拳头分开,这样物体就会放大。整个操作过程有点奇怪,因为没有触觉反馈会让人觉得操作很“假”。但这一切都能够正常起效。
接下来,我观察了整个房间,并发现沙发那边放着一个发光的水晶状物体。这里也有自己的框体,只是附带的是一个三角形的播放按钮。我用手指按下按钮,随之开启了眼动追踪的演示。
我望着四块水晶,目光掠过时对应的水晶就会闪闪发光。这种感觉很好,轻松愉快。当我说出“爆炸”这个词时,我望着的水晶就会立刻炸裂。微软随后展示了另一个眼动追踪的示例:一只飘逸的蜂鸟以全息图的形式悬停在一个类似维基百科的文本框旁边,上面有一篇关于蜂鸟的文章。我读了一会,并在眼睛向下望时触发了文本框滚动操作。有时候滚动速度可能太快或者太慢,但我很快学会了如何用眼睛控制滚动速度。而且最重要的是,我也可以用眼部控制的方式移动物体,这让我的双手能够休息一下。
这一切在真实场景下的配合体验是怎样的?
说回引导程序中包含的虚拟修车环节。让我好奇的是——我以后还会记得这些操作说明吗?是继续上一次未结束的引导培训,还是依赖一步步的后续提示?几周之后,在撰写这篇文章时,我真的完全想不起自己当时在那个房间里进行过哪些操作。有人提醒我,现在的人在开车的时候,也经常会变成“导航地图依赖症患者”——完全依靠导航指引,而忘记了自己到底想去哪。有一些出租车司机喜欢背下地图从而实现知识内化。我想知道的是,这种导航式的分步教学是否会降低学习或者帮助效果?对此,微软方面回应,这确实是个很好的问题,值得他们认真研究。
很明显,这个问题还没有确定的答案,但HoloLens 2确实展现出了一种可能性。分步指引与PowerPoint deck一样易于开发。也许在未来的某个时间点上,人们将会在现实世界当中留下指引,以便其他人稍后发现并借此“导航”——这有点像赛车 游戏 中的“幽灵对手”,以幻影的形式存在提示玩家对方的先进轨迹与当前成绩。此前,谷歌公司在手机版本的谷歌地图上就曾经发布过类似的AR功能。
微软公司这一次反复强调了多用户混合现实的重要意义,也就是通过微软Azure提供云服务。这些服务使得人们能够在HoloLens甚至是自己的手机上体验混合现实。谷歌公司去年发布了自己的多用户AR项目,而苹果也推出了iOS平台上的ARKit。
想象一下,如果能够共享同一个3D对象,进而在同一3D模型之上协同工作,那么未来的办公场景会是怎样。微软公司的Dynamics 365 Layout应用可以通过云端存储对象,以确保这些对象始终被绑定在某一位置以供他人查找。另外,其提供的“云锚点”机制也可以确保每一位用户都共享同样的显示内容,甚至可以在iPhone上利用相同的AR工具通过微软应用程序在iPad与Android设备之间建立AR体验。
在这一次的演示当中,我们得以体验大房间、圆桌子以及一套面向合作小组的简短操作展示。我头戴着HoloLens 2,坐在身边的是我的同事Ian Sherr与Gabriel Sama——他们同样戴着HoloLens 2。整个场景就像是星际代表团的成员们围坐在一起。桌面上显示的是微软园区的一份发光3D虚拟地图,由HoloLens 2设备创建而成。一位女士从桌上的图形中出现,向我们介绍微软公司的未来园区扩展计划。Ian与Gabriel也在观看。我们从三个不同的角度观看着同样的内容。有趣的是,他们头顶弹出了自己的姓名。如果能望向自己,相信我的头顶也浮现出了自己的名字。微软公司明显希望借此展示混合现实的未来发展方向:协作与多用户。为了展示这一切是如何跨平台实现的,几位手持手机的助理来到我们身旁,并向我们示范如何通过手机屏幕看到同样的全息图。是的,我们所看到的都是相同的内容。
我立刻注意到视野在这种情况下得到了极大的改善。我在桌子上看到的一切对象,都不存在被硬生生切断的情况。
当然,这一切还远达不到完美。微软方面提醒,我们使用的只是早期工程模型。果然,当我转向观察自己所处的房间时,以半透明3D形式呈现在桌面上的微软园区图出现了一次倾斜。虽然其随后自动完成了调整,但这不禁让我好奇——如果企业客户需要利用空间计算以精确渲染现实,那么他们对于这样的小问题又有怎样的容忍度?
微软公司的云服务旨在进一步提升混合现实质量。如果现有HoloLens设备能够实现厘米级别的精度,那么在云计算的加持之下,其精度将提升至毫米级别。同样的,3D渲染的质量也将大幅提高。Kipman通过几张幻灯片向我们展示了当前混合现实图形只支持观看,但还无法实现创建。他展示了一个引擎对象,介绍如何通过添加Azure云渲染向其中添加更多细节。
据透露,微软还计划利用Azure服务渲染HoloLens中所显示的更多对象,从而改善设备上的图形展示效果——具体来讲,单凭HoloLens能够渲染3D对象上的10万个多边形,但对接云端后多边形数量可提升至1亿个。微软公司的最终目标是缩小头戴设备的尺寸并尽可能将资源负担转移至云端。就目前来看,这意味着HoloLens 2应该能够更多地使用云账户与云文档,但我还没想明白这一切将如何被结合在一起。
当前,HoloLens 2设备的设计基本上能够自给自足。如前文所说,它自成一体,能够实现脱机工作,它通过Wi-Fi接入网络,但不支持蜂窝网络连接。根据微软方面的说法,这主要是考虑到HoloLens 2的设计使用方式。但最终,当5G网络将高速数据覆盖至全球之后,HoloLens也一定会迎头赶上,成为一款高度依赖云端资源且更为强大的设备。
值得注意的是,HoloLens 2当中仍然没有提供任何物理控制器。与初代HoloLens一样,这款头戴设备是专门针对手势与语音控制而设计。虽然使用手感已经大大改善,但触觉控制器或者力反馈功能的缺失仍令人非常失望,甚至让我觉得有些不安。相比之下。Magic Leap One就提供一个单手物理控制器——虽然有限但却能够增加一点与事物互动时的真实感,而且通过振动反馈提供触觉响应。
微软公司表示正在考虑控制与触觉问题,但目前还未提供相关解决方案。
Alex Kipman告诉我:“我们当然很喜欢触觉。我可以先朝你扔一份全息图,然后你接住它再推回来,这种沉浸感确实要好得多。我在抓住全息图时,应该能够感受到它的温度——是冷、是暖、还是温度适中。这将彻底改变渲染感与体验可信度的水平。”
然而,Kipman补充称这样的触觉“显然只存在于梦想当中,”而且微软并没有使用Windows VR头戴设备中出现过的那些控制器。“我们认为手上没有实物或者触觉回馈,并不代表着用户就无法做出操作的行动。事实上,在我们的Windows VR头戴设备中,我们有着一些相当不错的方案,可以用到与HoloLens相同的传感器套件。”遗憾的是,虽然微软已经决定为这些周边产品冠以“混合现实”品牌的名号,但Kipman到目前还没有见过任何能够实际体验的Windows VR控制器。
也许这一切会在HoloLens 3当中成为现实?“在我们的发展路线图当中,自然也会考虑到物体交互时的触觉需求,让用户不仅仅能够拿起我们创造的东西,还能与虚拟对象交互。例如,如果我手里拿着一把真实世界中的锤子,那么该如何进行虚拟对象交互?如果我的手没有闲着,比如端着一个咖啡杯,但仍想操作自己的全息图,又该怎么办?”
我也好奇随着时间推移,新的控制机制会带来怎样的使用变化。现在抓取物体与按下按钮的感觉已经更加真实,但这究竟是我真正想要的真实感,还是仅仅只属于一种刚刚上手的新鲜感以及心理安慰?这些将如何在HoloLens 2上发挥作用?
显而易见,微软公司正在利用其Azure云计算为HoloLens 2持续注入能量。这意味着HoloLens 2将能够在3D空间中更准确地放置物体,同时提供更为详细的图形显示与绘图能力。Kipman还强调称,像HoloLens这样的产品将成为未来大规模连续性体验中的组成部分。支持计算机视觉功能的HoloLens 2能够实现真实世界追踪,这意味着这款头戴设备能够像自动驾驶 汽车 与无人机安装的导航摄像头传感器一样起效,并在一定程度上趋近于家庭、工厂以及家用电器中的扫描摄像头。(如今,微软公司正在销售一款采用HoloLens传感器的新型云连接版Kinect。)
听起来,整个世界似乎都将被大量边缘计算设备所占据,并依靠云环境带来越来越快的执行速度。也许在5G技术的支持下,一切未来推出的HoloLens设备乃至其它VR头戴设备都将高度依赖于云端。虽然HoloLens 2还不支持蜂窝网络——其仅提供Wi-Fi与蓝牙,但这只是因为LTE领域尚未做好准备。
就连Kipman本人也承认,HoloLens 2并不适合每一位用户,也不适合一切使用场景。虽然Kipman自己每天都会花上几个小时来使用HoloLens,“但只要待在办公室里,我大多数情况下还是宁愿使用键盘、鼠标加上PC显示屏来完成工作。”
但是,如果5G成为现实,触觉技术也成为现实,结果会如何?正如AR/VR/MR领域的所有参与厂商一样,微软公司显然也有着自己的大棋。毕竟下一代HoloLens距离我们可能并不遥远。Kipman本人甚至也无法断言接下来五年当中这方面技术会发生怎样的变化:“老实说,我没法面向未来五年做出预期。我只能谈谈这款产品生命周期之内的趋势,而且只能专注于其中的一到两个发展方向。我认为一切成功的产品都将围绕企业使用场景进行设计。”
也许到那个时候,新的产品将真正成为我个人长久以来所期待的5G超级装备!