如果你不是很好,必须解释,你通常会选择问谁?现在,不经意间,许多人的选择已经成为一个搜索引擎。气温、交通路线、照片、视频、作业答案、搜索引擎都可以回答人们日常生活中遇到的许多难题。即使对许多人来说,如果在搜索引擎上找不到答案,世界上也不会有这个问题的答案,我们必须自己去探索。

在这种情况下,搜索引擎似乎是最强大的人工智能技术之一。20年前,它刚刚开始在人们周围的日常生活。搜索引擎是如何一步步变得越来越强大的,它下一步会在哪里发展?这篇文章简单地开始解释搜索引擎的发展历史。

  搜索引擎的问世与发展趋势

搜索引擎的出现源于对互联网技术上信息的高效搜索的最初需求。选择传统的公共图书馆信息搜索技术,最初的搜索引擎,并不考虑每个人的要求。无论是网页排名的准确性、回应率还是数据库中索引网页的数量,都不能考虑互联网技术客户的要求。在新的要求下,现阶段有许多大的搜索引擎被普遍使用:谷歌、微软必应、雅虎(雅虎已选择微软必应作为其搜索技术服务提供商)和百度搜索。其中大多数始于2001年。在这个搜索引擎诞生之初,互联网大数据、机器学习和分布式体系结构等词与它们紧密相连。

首先,当代搜索引擎灵活运用了互联网数据的特点。网页中间的网页链接和网民自发在网页上留下的痕迹,如产品评价和关注,都成为搜索引擎对网页进行更强排序的基础。此外,搜索引擎的控制系统设计也把它变成了一个可以不断学习和自我完善的系统软件。搜索引擎根据客户对结果的个人行为来评估他们自己的算法。

根据机器学习算法排序系统软件的不断学习和训练,以及用户对搜索引擎的不同反馈,微软公司在2006年明确提出了一系列基于神经网络和决策树算法的网页排序算法:RankNet、LambdaRank和LambdaMART。该算法基于大规模机器学习系统软件,不断提高搜索引擎的排序精度。此外,机器学习算法还应用于其他几个层面,如检查浪费的网页和提高搜索引擎出价的相关性。

除了上面提到的算法开发,系统软件的进步也促进了搜索引擎的发展。在谷歌成立之初,提出一项系统软件创新,将所有网络信息尽可能多地存储在计算机内存中,而不是硬盘中,这是一项开拓性的、明确的举措,可以将回应客户难题的时间从几秒钟缩短到几毫秒

微软的必应搜索引擎刚刚在2008年启动。针对固态硬盘的特点,重新设计了网络数据库的索引结构。这种新的多级数据库索引结构不仅可以保证在内存系统软件完全运行的情况下有很高的搜索率,而且可以将网页数量和每台设备的搜索量增加几十倍,从而保证搜索引擎可以对数据库进行索引,并在互联网技术上为大量网页提供服务。

大信息系统也与搜索引擎的发展趋势密切相关。为了更方便地存储和解决网页信息,著名的分布式体系结构如MapReduce、BigTable、GFS等。谷歌发布的这一产品揭开了互联网时代的序幕。此外,微软中国还部署了宇宙、得律阿德斯、Scope、麒麟等系统软件。其中,得律阿德斯和Scope系统软件因其更具前瞻性的设计理念,已成为下一代大数据处理系统的参考设计样本。

  更人工智能技术的检索感受

机器学习算法的不断发展,搜索引擎合适的人机交互设计方案,以及分布式架构的创新,使得搜索引擎成为我们日常生活中不可或缺的一部分。此外,随着新需求的不断出现,搜索引擎并没有停止变革的步伐。一方面,搜索引擎试图以不同的方式展现在你眼前。例如,Cortana、Siri和谷歌Now,它们都是对话和智能交互模式,对搜索引擎的应用都是不可或缺的。此外,它还在不断扩展其新的工作能力。

如果你足够小心,你会发现当前的搜索引擎可以更快地对你搜索的实际问题做出反应。例如,在百度搜索页面的右侧,会有其他与您的搜索相关的类似实体信息。在页面的顶部,有一些结果(如气温、航班信息等。)将以更丰富的方式展示他们的答案。最近,一个更明显的变化是,对于许多教育问题,搜索引擎刚刚开始尝试获得即时答案,而不是几个网络链接。例如,如果你问如何制作美味的传统节日小吃以及如何安装新的手机软件,微软必应搜索可以立即得到答案。

  让搜索引擎更智能化必须亲身经历哪些?

搜索引擎如何确保这一点?为了回答这个问题,有必要提及从过去到现在深入神经网络产业的研究成果。根据大量的数据信息,搜索引擎使用DNN/RNN等新算法来更充分地了解网页内容与客户问题之间的相关性,然后可以帮助客户立即找到与网页问题相关的答案。苹果巴是一家深度神经网络初创公司,最近被微软收购,并由著名的深度神经网络权威专家优胜华本吉奥(YoshuaBengio)具体指导。苹果巴还致力于增强微软在深度阅读和理解行业的整体实力。在深层文本理解层面,微软的科研团队也处于领先地位。

随着算法的发展趋势,搜索引擎的后台管理也在快速发展。为了应用于新一代的机器学习算法,即深层神经网络,他们定制的GPU、FPGA和ASic集成芯片已经慢慢步入搜索引擎的大数据中心。数据库索引和排序服务系统也在进一步发展,以考虑算法对解决工作能力的要求。为了以更直接的方式解决更大规模的数据信息,极低延迟的互联网也被广泛使用。

  智能化搜索引擎的下一个总体目标

上面提到的所有努力都是为了更好地考虑搜索引擎的要求。但是搜索引擎真的能彻底理解人们的整个知识结构吗?它的下一个日常任务是什么?

显然,现阶段的搜索引擎已经能够很好地总结互联网技术的信息,考虑每个人的搜索请求,并且能够立即对一些难题做出反应。然而,还不知道搜索引擎是否能真正理解这些信息的本质含义,他们是否能创造性地处理以前从未出现过的问题,以及他们是否能有效地进行自己的训练。然而,毫无疑问,更具创造性的机器学习算法、更强大的数学计算和创新的人机交互技术是一切的基础。这也是工业界和学术界共同努力的方向。