其实你很可能比汤姆·克鲁斯还酷:当你在空中对着机器打手势的时候，就不再是“对牛弹琴”了。微软亚洲研究院的手写识别技术使计算机、智能家电和游戏机能够识别我们书写的字符。识别内容包括汉字、日文、韩文、数字和英文单词。就像“我做个手势，你猜”的游戏一样，不同的是，另一个猜我们做了什么的人，现在变成了和人一样“聪明”的机器。空中识别书法的技术，只需要一台普通的电脑，一个摄像头，一个控制台手柄就可以实现，可以脱离鼠标键盘，甚至可以取代iPhone这样的触摸技术的人机交互。

如果说键盘鼠标输入和手写触摸分别代表了人机交互的两个阶段，那么空中书法的识别可以说是让这种交互进入了3.0时代。“对于这种基本的创新技术，想到在此基础上开发的无数最具想象力的应用程序，令人兴奋。这也是作为研究者最期待的时刻。没有人能预测软件开发者和应用微软平台的开发者在空中识别书法技术上会开发出什么样的应用。可以说，能想到的都想到了。”微软亚洲研究院语音组首席研究员霍强说这些话的时候，空中手写识别项目的主要负责人马雷正拿着一个橘子在旁边给记者演示微软的“软”字。

机器要“理解”人类的思想并“表达”出来并不容易。传统上，键盘输入和现在智能手机上流行的触摸输入是用来给电脑“灌输”信息的。但是，空中手写识别技术更像是中国传统的太极拳方法。它的动作不仅像太极拳一样流畅，还能“手随心随”。

空中识别书法的项目组设计了两种方案进行演示:最便宜的方式是使用网络摄像头观察用户手部的动作；或者使用一种带有传感器的设备，称为“陀螺仪”和“加速度计”，来捕捉用户手部的运动。当捕捉到用户手的运动时，就进行补偿。经过增强后，手写识别模块可以识别用户在空中书写的字符。

“机器从捕捉、映射、识别到显示的整个过程涉及两项技术。一个是动态运动物体的捕捉；第二个是手写识别。”马雷告诉记者。选择一个能与周围环境颜色相区分的物体，放在视频捕捉框的中央，按下游戏手柄的按钮开始书写。在捕捉运动物体的过程中，要教会计算机捕捉哪个目标物体。计算机知道选择的运动目标，周围环境中其他物体的运动不会产生干扰。

在物体空中运动的过程中，产生三维图像轨迹，将扁平化的轨迹图形映射到二维摄像机上。这种平坦的轨迹要求能够很好地处理模糊和抖动。当计算机得到清晰的运动轨迹后，就可以对后台手写识别进行分析，从而得到用户想要书写的字符。“这种看似简单的图像分析和字符识别，在相应领域已经做了几十年，绝对可以称之为高科技。”霍强告诉记者，“比如数字3会有类似‘了’这样的词，这无疑增加了识别的难度。”最后，识别结果综合了机器对书写动作和图像结果的分析。“形状信息很重要，首先是图像；另一方面，动态信息也是非常重要的参考。”

马雷告诉记者，空中手写识别和在书写板上书写的区别在于，书写板有笔画和尖锐的折点。而在空中写字，需要一笔一划，没有虚实观念，不用写字。在空中书写的过程中，“太极，类似中国，比较流畅，流动。当速度变为零时，不存在对应拐点的可能，这种字体情况需要特殊处理。”

盖茨曾经说过，人与计算机的交互会越来越像人与人之间的交互。苹果公司的iPhone和任天堂公司的Wii游戏机以其在用户界面上的出色表现赢得了消费者的青睐。微软下一代操作系统Windows7，作为自然的用户界面，也内置了触控支持功能；微软smart touch台式电脑微软Surface看起来更像是一个多功能的桌面屏幕。

谈及空中识别书法这一技术的最初想法，微软亚洲研究院首席研究员、语音组组长宋平表示，“想法是解决在没有键盘、平板电脑的特定环境下，如何通过手势输入字符的问题。空中书法识别在技术和用户体验方面都是一个杰出的创新。我相信这种创新很可能会应用到微软目前和未来的许多产品和服务中。”

从R&D的角度来看，与键盘鼠标分离的空中识别书法的技术将拉近想象力，或者提前预览未来的主流交互体验。这将为微软在人机交互体验上培养出越来越多的“手语者”。

对于识别空中书法未来应用的三种场景，马雷告诉记者，在互动游戏环境中，用户在空中输入一些字符，如姓名、答案，甚至解密游戏的符号，以获得不同的游戏体验；在联网设备上，比如IPTV和Xbox，甚至智能家电上，需要输入短信的时候，远距离“手势”是非常方便的。比如在互联网电视上搜索视频，在Xbox上搜索游戏动画等等；对于家长来说，手势这种寓教于乐的方式，更适合好动、喜欢视觉冲击的孩子。由于远距离输入更能体现出不用键盘鼠标输入信息的优势，未来微软亚洲研究院希望空中识别书法的技术能为用户解决更多的实际问题，让其他有趣有意义的事情得以发生。而且未来还会有不止一个追踪点，应用于微软地图搜索服务的搜索和缩放。

“我们研发的目的是改善用户体验。微软亚洲研究院在与产品部门的互动和沟通过程中，会讨论这些创新技术应用于产品或技术转出的时间。然而，作为一名研究人员，能够让千家万户应用他们的创新理念，是我们最兴奋的事情。”霍强告诉记者。

霍强和马雷最近刚从微软的雷德蒙总部回来。他们在微软研究院一年一度的技术节上展示了空中识别书法的技术，引起了微软产品部门、全球其他微软研究院同事以及媒体的关注。著名博主克里斯·皮里洛(Chris Pirillo)在博客中写道:“虽然这个软件仍然只是一个技术原型，还没有得到应用，但我非常看好它。这是一项惊人的研究。你能想象这个软件什么时候可以应用吗？我们所有的Xbox粉丝都会拭目以待！”