微软的东京计划(Project东京)帮助视觉障碍的用户“看到”了AI和AR

 
据估计，全球各个年龄段的视障人士总数为2.85亿，其中3900万是盲人。为了尽力提供帮助，微软于2016年启动了东京计划，这是美国，英国，中国，日本和印度研究人员之间的合作伙伴关系，旨在探索可能帮助残障人士与周围世界互动的技术。四年后，它随设备(微软的HoloLens增强现实头戴式耳机的改良版)结出硕果，并配备了算法，可提供有关佩戴者周围环境中人的信息。
根据微软发布的博客文章，研究小组首先从英国到巴西里约热内卢残奥会的旅程中追踪具有不同视觉水平的运动员和观众，观察他们如何与其他人互动浏览机场，参加运动场馆并进行观光等活动。然后，东京计划(Project Tokyo)团队的机器学习专家开发了上述算法，该算法在安装在与HoloLens连接的PC中的图形处理单元上运行，该HoloLens已从中移除了前透镜。
固定在HoloLens摄像带上方的LED灯带跟踪最靠近用户的人，并在识别到该人后变绿，以使通信伙伴或旁观者知道他们已被看见或提示他们离开。设备的视野。一种计算机视觉模型可以检测环境中人员的姿势，从而提供他们在何处以及相距多远的感觉。另一个分析耳机摄像机的镜头，以识别人员并确定他们是否选择使系统知道他们的名字。
东京计划

 
所有这些信息都通过音频提示传递给佩戴者。例如，如果经过修改的HoloLens在用户左侧一米远的地方检测到一个人，它会发出一声听起来像是来自左侧的大致距离的咔嗒声。如果识别出该人的脸部，它将发出“颠簸”的声音，并且如果发现该系统已知的人，则将宣布其姓名。类似于伸展的松紧带的单独的第二层声音将用户的视线引导到人的脸部。
当HoloLens的摄像头对准人的鼻子时，用户会听到尖锐的喀哒声，如果系统知道该人，则他们会听到他们的名字。用户也可以要求进行概述，并获得已被系统识别的所有人员的姓名的空间读数，并且当有人直接看着他们时，他们会收到空间警报声。
微软表示，它正在使用缩小版的技术来帮助盲人和弱视儿童发展社交互动能力。
东京计划(Project Tokyo)仍在进行中，紧随诸如Microsoft的Seeing AI这样的努力之后，Seeing AI是一款移动应用程序，旨在帮助弱视和弱视用户导航他们周围的世界。最近，这家科技巨头推出了Soundscape，这是一种导航应用程序，它使用双耳音频来帮助视障用户构建思维导图并在陌生空间中选择个人路线。
通过2018年5月宣布的AI for Accessibility，微软承诺在五年内为大学，慈善组织和其他机构提供2500万美元，用于为残疾人开发AI工具。
该计划旨在通过每个财政季度的种子拨款和后续融资，奖励工作，生活和人际关系这三个类别中最有前途的候选人。