Bing利用AI改善图像搜索结果

 
正如Google最近结合新语言模型所展示的那样，人工智能和机器学习有可能显着提高网络搜索结果的准确性。微软不甘示弱，今天透露，它为Bing的图像搜索引擎注入了许多技术，这些技术可以更好地处理对具有特定上下文或属性的图片的搜索。
“ [我们]图像搜索通过多粒度匹配，对用户查询，图像和网页以及它们之间的关系的更好理解，正在朝着更智能，更精确的搜索引擎发展。”博客文章。 “深度学习技术是一套非常令人兴奋且很有前途的工具，非常适合文本和图像。”
这些工具之一是矢量匹配，它可以将查询和文档映射到语义空间，以帮助找到更多相关的结果。在Bing的堆栈中增加了BERT和Transformer技术，该技术使用预训练和注意力机制来建模单词之间的关系，并在彼此意识到的情况下嵌入图像和页面，从而导致上述文档对照片和页面的显着性进行了更强的概括地区。
变形金刚是一种新型的神经结构，在2017年由Google AI研究部门Google Brain的科学家合着的论文中介绍。与所有深层神经网络一样，它们包含排列在互连层中的神经元(数学功能)，这些层传输来自输入数据的信号并缓慢调整每个连接的突触强度(权重)。这就是所有AI模型提取特征并学习进行预测的方式，但是Transformers的独特之处在于，每个输出元素都连接到每个输入元素。它们之间的权重可以有效地动态计算。
最近应用于Bing图像搜索的另一种方法-属性匹配-从查询和候选文档中提取一组对象属性，并将这些属性用于匹配。该团队使用多任务优化策略对检测器进行了培训，使他们甚至可以在文本信息不足的网页上从图像内容和周围文本中识别某些属性，尽管目前仅适用于有限的场景和属性。
Bing团队还致力于通过高质量的信息丰富图像元数据，他们说这支持了上述的向量匹配和属性匹配方法。图像的最佳代表查询(自然语言查询，用于对网页和图像内容进行汇总)，是通过将网页中的文本输入到机器学习模型中生成的，该模型将网页上的长文本输出为短短语。然后将文本信息与图像一起嵌入到单个语义向量中，然后将其与存储库中的其他查询进行比较以识别紧密匹配。
Bing小组说，由于有了这些和其他改进，图像搜索得到了显着改善。对于诸如“ Chevy impala 96的汽车座椅”之类的棘手查询，Bing以前主要显示汽车而不是汽车座椅，但现在返回“更清洁”和更相关的结果。该团队补充说：“必应[正在采取步骤]摆脱简单的查询词匹配，以更深入地理解用户查询，并从一个优秀的搜索引擎发展到一个真正智能的引擎。”