“哇,这朵花好美!这是什么花?”“额,我来上网搜一下……”然而搜索起来却无从下手。很多人都遇到过这种措手不及的小尴尬,尤其是带好奇宝宝出游的家长们。

日前,微软在iOS平台新上架的一款App“微软识花”,或解“见花不识花”的燃眉之急。这款“黑科技”应用是微软亚洲研究院与中国科学院植物研究所多年来合作的成果。根据开发团队介绍,该应用能做到精确地识别中国的绝大多数花卉品种,深度学习技术是其幕后的核心。

 

随身携带的植物专家

“微软识花”的打开方式应该是这样的:打开App,现场拍摄或从手机图库里打开一张花儿的照片,将花朵移动至指定位置,然后应用会自动识别出花朵的名称和类型,并显示出匹配度,告诉你花的基本特征、药用价值等。以上动作甚至还可以在不联网的条件下实现,这就意味着,当你在流量捉襟见肘的情况下,照样可以用手机识别出新奇的花卉品种。

更有意思的是,赏花要懂花语,“微软识花”还有一个独特的“花语”功能。

此外,应用里还有两个彩蛋。一个是花儿搜索包,“微软识花”应用将400种园艺花卉收录在系统中,并按字母顺序排序。也许有的花你只听说过名字,没见过“真容”,那么这款应用就可以帮你提前见识一下,想看哪种花都可以搜索到。

另外,“微软识花”还能对其他常见的日常物体进行识别,在内部测试中,识别精度可以达到90%。

 

精确识别不仅仅是人工智能

“微软识花”使用流程很简单,但其背后的技术却并不简单。

这款App主要应用了深度学习技术。研究员们借助中科院植物所提供的260万张花的鉴定照片,对机器识别模型进行训练。但是在弱监督的条件下,对260万张图片进行机器学习是一个相对低效率的过程,因为人的抽象能力和想象能力是计算机很难做到的。

“传统的深度学习技术是自下而上的学习过程。如果我们能在人工智能之外加入人类智能,对机器的深度学习进行指导,将自下而上和自上而下的学习过程相结合,会大大提升深度学习的精度和效率。”微软亚洲研究院研究员傅建龙介绍。

众所周知,分类学家对种类繁多的生物界做了一个阶层划分,即制定了“界门纲目科属种”的分类系统,做精确识别也需要一层一层递进,才能提高识别的准确性。

在识花方面,主要是需要机器对“科—属—种”三个基本层级有一个提前的认知。研究员先加入一个花卉本身的层级结构来指导机器学习,按照“科—属—种”的层级划分,首先确定花的“科”,再通过一些细节的特征,例如花瓣的分布、形态等来确定它归于哪个“属”,最后通过花瓣的颜色、纹理等更为细微的特征来具体判断它属于哪个“种”。

那么人类又是如何识别出花的种类的呢?微软亚洲研究院常务副院长芮勇表示,研究员们独具创新地开发了一个自动的视觉多级注意力模型,并结合深层神经网络技术,用于图像的处理与识别。

 

跨界合作只为让生活更便捷

植物专家的帮助对提高花卉的识别能力起到了基础支持的作用,跨学科的学术合作也是微软亚洲研究院长期耕植的领域。

芮勇表示,“微软识花”App的开发,中科院植物所不仅提供了260万张花卉的识别图片,还提供了经过专家鉴定的中国常见花列表。而微软亚洲研究院的研究员们则利用先进的技术开发出识别花卉的算法,并把识别结果挑选出来,经植物所专家鉴定。经过了两三次迭代的过程,才得到了最终训练机器识别的样本集合。

芮勇表示,一款看似简单的应用背后却是微软长期以来在机器学习领域的技术积累和跨界合作的成果。

在谈及微软识花之后的技术走向时,傅建龙提到了多个发展方向,比如加入更多花卉的种类,将识别的范围拓展到多个国家,并且提供多语言的产品以及更多的平台;提高识别的精确度,在学术合作中推进数据库在质量和范围上的提升;拓展产品的科普功能,丰富关于花的知识,提供更多的互动功能,从而实现更好的科普等等。

 

更多精彩内容,敬请关注科学原理一点通官方微信公众平台(ID:kxylydt)

 

“微软识花”破译精细物体识别

图文简介

芮勇表示,“微软识花”App的开发,中科院植物所不仅提供了260万张花卉的识别图片,还提供了经过专家鉴定的中国常见花列表。芮勇表示,一款看似简单的应用背后却是微软长期以来在机器学习领域的技术积累和跨界合作的成果。