通过了解AI的过去来了解未来的发展方向。本文对AI的过去，现在和未来进行了深入的概述。
毫无疑问，在过去的十年中，人工智能，机器学习和数据科学已经成为技术上最强大和最具前瞻性的力量。 这些技术提供了突破性的见识和应用，可以真正改变世界。 当然，这要归功于数据收集，硬件创新和驱动研究人员的共生，这些研究在2010年代占据了上风。 这使我们赋予计算机从视觉，自然语言处理，到音频理解再到复杂信号处理的一切能力。 要了解我们的前进方向，重要的是要了解这些突破是如何形成的以及我们目前的立场。 本文旨在做到这一点，并帮助阐明AI在当前状态下的局限性，从而形成对未来的愿景。
在这篇文章中
· 我们来自哪里
· 我们现在在哪里
· 我们要去的地方
自1900年代中期以来，人工智能已经采取了许多不同的形式。 这包括从自动机到线性回归，感知器到决策树，以及神经网络和深度学习的所有内容。 随着进步的发展和公众逐渐意识到"人工智能"的真正含义，这些方法通常会不可避免地从情报技术转变为统计技术。 2010年代将这些形式中的大多数都抛在了后面，并允许从简单的神经网络转向突破性的深度学习方法。
神经网络到深度学习
尽管从1900年代中期开始对神经网络进行理论化，但直到2000年代，计算和数据约束才使它们得以成功实现。 这导致这种数学方法的研究和功能呈指数级扩展，使机器可以学习线性和非线性数据形式的模式。 神经网络背后的概念或多或少是一组具有激活函数的堆叠和连接的线性回归。 随着更多"神经元"的加入，网络具有更多需要训练的变量，因此可以对更复杂的模式进行建模。 数学和结构已在此处进一步详细介绍。
Feed Forward Neural Network (Source[9])
在2010年左右及以后，计算和数据功能实际上已经开始追赶这些理论。 因此，研究人员和工程师意识到，随着每层添加更多的层和神经元，这种统计技术可以以接近人类的方式为回归或分类模式建模。 与基于规则的系统相比，这些系统能够在更简单的数据集上迅速产生相同或更好的结果。 随着GPU技术允许更深层的网络，深度学习占据了机器学习空间，实际上引发了前所未有的更加广泛的机器学习革命。
卷积和递归神经网络
随着深度学习的形成，人们很快意识到，使用这种新形式的AI可以更有效地解决语言和图像领域的计算机科学问题。 由于研究已经变得如此广泛，而不仅仅是建立越来越深的网络，因此在现有框架内开发并利用了新的和旧的方法。 语言模型开始利用和适应递归神经网络的概念，计算机视觉实现了卷积神经网络。 到本世纪末，这两种形式不可避免地以多种方式混合在一起，但是它们的独立路径对它们的突出地位至关重要。
递归神经网络的思想是，当前输出取决于先前时间步长的先前输出。 当然，这是语言和大多数其他基于时间序列的数据类型的本质。 当人们说话时，下一个单词不是从基本上下文中随机决定的，而是取决于前一个单词和上下文。 正是出于这个原因，实现了RNN，尤其是LSTM（长期短期记忆）。 该网络体系结构将过去的输出作为输入反复提供，以产生下一个输出。 这些输入可以馈入典型神经网络的前端，也可以操纵更复杂的内部矩阵操作（如LSTM中所示）。 这种方法允许NLP与其他许多时间序列数据集一起实现最强大的飞跃。 语言的生成和预测第一次变得更加可行。 有关LSTM的更多详细信息，请参见此处。
Generic Convolutional Neural Network (Source[10])
卷积神经网络目前已经占据了大部分AI空间，其创建者Yann LeCun预测它们可以处理我们可能想到的几乎任何AI任务。不管这是真的还是事实，CNN在复杂的计算机视觉任务中都允许近乎完美的准确性。由于图像的3维性质，出现了这个概念。经典的深度学习网络通常使用一维输入，因此图像像素值将被展平为单个矢量。这种活动导致每个像素的大部分空间关系的信息丢失。卷积的概念允许进行3D输入（即RGB图像），并使用一组过滤器值在输入上执行滑点积运算。这允许学习多个特征图，这些特征图在训练期间通常解剖图像的不同特征。总体而言，这可以减少权重，因为滤镜覆盖了所有3个维度和网络，可以提取图像的更深层特征。在过去的十年中，操纵CNN的许多努力导致了计算机视觉的巨大突破。这些成就中有许多在胜利中得到了详细说明，例如ImageNet结果。
训练和库
当然，如果不是要训练这些数学模型并通过可访问的代码进行训练，就不可能取得任何进展。 反向传播是用于训练任何神经网络的典型方法。 该概念基于输出权重为每一层利用导数梯度，以调整网络内部的每个权重。 这需要复杂的编程和硬件来实现，尤其是对于更复杂形式的体系结构。
幸运的是，已经开发了GPU技术以及更多数学方法来使这种训练方法高效。 诸如NVIDIA CUDA之类的技术允许在大规模并行GPU上执行数学运算，从而将训练时间从几天缩短到了几分钟。 这样可以加快迭代速度，进而获得更快的结果。 同时，诸如批处理规范化，辍学之类的方法以及诸如ADAM之类的强大优化器将这一点进一步扩大，并允许进行可预测和有效的培训课程。
(Source[12])
最后，如果没有Python和Tensorflow，Keras或PyTorch之类的库的兴起带来的语言和库支持的爆炸式增长，就不可能取得任何进展。 由于Python的易用性和库支持，它已成为最杰出的编程语言。 同样，它也是数学编程最理想的语言之一。 这使更多的人可以尝试并建立新的概念，而消除了更复杂的语言的麻烦。 最重要的是，像上面列出的那些库的创建，使更多的人可以使用该技术。 反过来，这将创建一个更加民主化的技术生态系统。 总而言之，最近十年给更大范围的人们提供了更多的功能，这就是技术真正发生指数式变化的方式。
自然语言处理
语言处理的当前水平已有效地融合了循环神经网络和卷积神经网络，同时在其中创建了新方法。 所有这些都围绕着Transformer，自我关注和单词嵌入。 这些概念都有助于为可以有效理解完整语料的大规模并行CNN或FCN中的单词关系建模。
Transformer转换器完全按照其名称的用途进行工作-将一组词嵌入转换为另一组词嵌入或类似结构。 这对于机器翻译，单词生成或用于分类的矢量创建特别有效。 这是对Transformer的深入了解，但简而言之，它们基本上是一对编码器和解码器网络，它们经过训练可以完成上述任务。 专注于Transformer核心的强大概念是自我关注。 自我注意力是Google最近开发的一种方法，可以在单次网络传递中模拟语言的递归和空间性质。 为此，使用查询，键和值矩阵在每个输入序列上执行复杂的数学方法。 调整这些值可对序列中所有单词的空间关系进行建模。
Transformer Encoder (Source[2])
这些概念已通过BERT和GPT-2架构成功实现。 尽管每个网络的方式各不相同，但它们都实现了超深层Transformer模型，以成功完成序列到序列和多任务目标。 GPT-2的创建者OpenAI目前具有可供下载的模型（经过一番争议），该模型使研究人员可以提示网络并接收创意的" AI"书面文本。 在内容创建，聊天机器人和文本生成中有许多用例。 如此强大的网络的可用性将使技术继续其指数级增长。
引用我创建的经过哲学培训的GPT-2：
"生命的意义是为那些缺乏这种能力的人创造可能性的幻觉……。"
计算机视觉
随着卷积对于图像处理任务和其他方面的作用越来越有效，社区已经决定将其网络体系结构做得越来越深。 这带来了残留网络的强大趋势。 残差神经网络（例如，在最先进的Google Inception网络中）将残差块拼凑在一起，以构建功能最强大的CNN。 残差块通常是2个或更多并行CNN，这些CNN在末尾串联或添加。 反过来，这又利用了强大的并行计算架构来获得比以往更好的结果。
Google Inception (Source[10])
同时，已经开发出新的卷积方法以进一步发展。 Xception Network是Google Inception Network之上的一步。 该网络与其前身几乎相同，但是使用一种新型的卷积，称为深度可分离卷积。 该概念可减少参数数量并提高准确性。 上面的论文对此进行了更好的描述，但总而言之，它将卷积运算分为两部分。 分别在每个通道上滑动的深度卷积和逐个像素在所有通道上滑动的点状卷积。 这是我们所知道的方法深处的创新力量的又一个例子。
转移学习是最终趋势，不仅在计算机视觉方面，而且在所有用例中，最终趋势都是如此。 由于训练有素的网络对于每个用例都无需重复，因此迁移学习的概念十分突出。 转移学习通常采用经过预先训练的特征提取网络减去其分类层并冻结权重。 然后将这些附加到用户自己的分类器作为输入。 现在，训练过程只是训练新的分类器，以利用训练有素的网络的输出。 这允许像Xception这样的计算机视觉网络经过数月的培训，可以适应任何域用例。
生成对抗网络
Art Generated By My GAN implementation
尽管尚未将它们广泛用于业务用例，但是生成对抗网络是当今最有趣的AI形式之一。 概念是建立将矢量映射到图像矩阵或类似图像中的生成器网络。 该输出被馈送到鉴别器网络，该鉴别器网络学会解密所生成内容与实际内容之间的差异。 随着两个网络的训练同时进行，生成器在欺骗鉴别器方面也变得更好，同时也变得更好。 这种博弈论平衡的最终结果是能够生成接近真实内容的生成器。 这导致了一些相当惊人的艺术，写作，当然还有"深造"。
训练与部署
人工智能已经到了可以使用的地步，对某些生产软件系统而言几乎至关重要。 详细的方法已允许可接受的精度水平，以使这项技术如虎添翼。 这在很大程度上要归功于强大的云技术，该技术可实现可扩展的部署和理想的培训方案。
为了向公众部署功能强大的模型，需要理想的训练和体系结构。 这正是神经体系结构搜索和超参数优化发挥作用的地方。 使用大量的计算资源，神经体系结构搜索可以对潜在体系结构（层，神经元，方法等）的组合级集合进行培训。 然后可以将结果用于部署理想模型以进行训练和部署。 在此过程中，将采取进一步的步骤来调整超参数，以获得更理想的模型。
2020年，库和云功能使部署基于AI的应用程序变得简单。 云可容纳通用形式的AI，并为其提供资源以扩展和管理应用程序生命周期。 同时，库允许数据科学和软件开发角色分开。 这是由于通用模型文件类型所致，它仅要求开发人员以几乎任何编程语言理解给定的库，即可部署数据科学家的模型。
在不久的将来，更复杂的架构和搜索算法的趋势将继续扩散。 但是很快，就会有人质疑这些蛮力方法的效率和智能程度。 已经显示出这些方法如何产生碳足迹。 随着越来越多的社会开始了解AI的真正含义，并考虑到这些后果，社区将需要新的方法。 最近浮出水面的一种方法是修改训练方法，以从资源密集型反向传播方法开始。 其中一个示例是贪婪的InfoMax优化（GIM）。 这种方法可以进行层级训练，尤其是在转移学习的情况下，可以大大减少以较小的梯度形式进行训练所需的变量数量。
Hype Cycle (Source[11])
技术进步是发现的过程，导致对方法的研究和发明，并最终导致实施。 在我们经历这个周期时，比当前阶段要强调的要多。 当前，我们正处于所谓的AI的实施阶段，其中深度学习的发现和创新正在迅速应用于几乎所有业务问题。 当然，这扼杀了对于全新机器学习方法的整体发现工作。 在接下来的几年中，随着我们在狭窄的空间中不断进行创新，当看到真的深度学习时，可能会发生广泛的幻灭。 随着世界学习" AI"不是魔术，并开始看到实际上只是很多数学的局限性，他们可能会要求研究更加努力地接近真实的人工智能。 这是AI炒作周期将退出幻灭阶段并让稳步进行新创新的时候。
这意味着深度学习之外的全新方法将初具规模。强化学习将继续创新，但要真正达到人类或更高水平的智慧，可能需要发生不可预测的范式转变。这些方法可能开始以量子物理和计算系统为中心，因为量子计算的概念允许AI的概率的性质，并且决策以前所未有的方式建模。量子还允许使用极高维的系统，该系统可以一次包含比单个输入更多的因素。作为人类，我们做决定并与周围的物理世界互动。我们每个动作的整体决定因素或智力是宇宙的整体物理系统。利用量子力学的概念而不是大脑作为AI系统的最终决定者可能更有意义。总而言之，如果我们打算在AI上投入大量时间，我们的目标难道不应该是比我们自己的大脑更好的东西吗？这可能是决定我们大多数生命的技术的不可预测的未来。
机会无穷无尽，因为任何独特的思想都可以使方法发生巨大变化，有关人工智能和数据伦理的争论将继续，并且企业将越来越依赖这些方法作为其最宝贵的资源。 花时间了解我们来自何处以及将要去往何处，可以使每个人对自己的未来都有自己的看法。 这些独特的人类愿景的全球矩阵将带领我们进入人工智能的美好未来。
"智力的度量是改变的能力" —艾伯特·爱因斯坦
参考文献
[1] Krizhevsky，A.，Sutskever，I。和Hinton，G。（2017年）。 使用深卷积神经网络进行ImageNet分类。 ACM通讯，60（6），第84–90页。
[2]插图transformer，http： //jalammar.github.io/illustrated-transformer/
[3] A.Vaswani，N.Shazeer，N.Parmar，Uszkoreit，J.Jones，L.，Gomez.A.N。，Kaiser，Ł和Polosukhin，I。注意是您所需要的。 《神经信息处理系统的进展》，第5998–6008页，2017年。
[4] Devlin，J.，Chang，M.-W.，Lee，K.和Toutanova，K. Bert：对语言理解的深度双向转换器的预培训。 arXiv预印本arXiv：1810.04805，2018
[5]亚历克·雷德福德，杰弗里·吴，李原子，大卫·栾，达里奥·阿莫迪和伊利亚·萨茨克弗。 2019。语言模型是无监督的多任务学习者。 OpenAI博客，1（8）。
[6]乔列，弗朗索瓦。 " Xception：深度学习与深度可分卷积"。2017IEEE计算机视觉和模式识别会议（CVPR）（2017）：n。 帕格 交叉引用。 网络。
[7] utm_medium =社交＆utm_campaign = site_visitor.unpaid.engagement＆utm_source = LinkedIn＃Echobox = 1564764717
[8] SLöwe，P O'Connor，B Veeling。 2019年。端到端：表示法的梯度隔离学习。 arXiv预印本
[12]前5名：最受欢迎的机器学习库[Python…
(本文翻译自Ian Rowan的文章《The State of AI in 2020》，参考： https://towardsdatascience.com/the-state-of-ai-in-2020-1f95df336eb0)
免责声明：本文来自闻数起舞客户端，不代表超天才网的观点和立场。文章及图片来源网络，版权归作者所有，如有投诉请联系删除。
匿名
暂无
超天才网©2017 www.supergenius.cn All Rights Reserved ICP备09005826号 京ICP证130304号
联系我们| 加入我们| 法律声明| 关于我们| 评论互动
超天才网©2013-2014 All Rights Reserved ICP备09005826号 京ICP证130304号
登录
2020年全球AI的发展情况
通过了解AI的过去来了解未来的发展方向。本文对AI的过去，现在和未来进行了深入的概述。
毫无疑问，在过去的十年中，人工智能，机器学习和数据科学已经成为技术上最强大和最具前瞻性的力量。 这些技术提供了突破性的见识和应用，可以真正改变世界。 当然，这要归功于数据收集，硬件创新和驱动研究人员的共生，这些研究在2010年代占据了上风。 这使我们赋予计算机从视觉，自然语言处理，到音频理解再到复杂信号处理的一切能力。 要了解我们的前进方向，重要的是要了解这些突破是如何形成的以及我们目前的立场。 本文旨在做到这一点，并帮助阐明AI在当前状态下的局限性，从而形成对未来的愿景。
在这篇文章中
· 我们来自哪里
· 我们现在在哪里
· 我们要去的地方
我们来自哪里
自1900年代中期以来，人工智能已经采取了许多不同的形式。 这包括从自动机到线性回归，感知器到决策树，以及神经网络和深度学习的所有内容。 随着进步的发展和公众逐渐意识到"人工智能"的真正含义，这些方法通常会不可避免地从情报技术转变为统计技术。 2010年代将这些形式中的大多数都抛在了后面，并允许从简单的神经网络转向突破性的深度学习方法。
神经网络到深度学习
尽管从1900年代中期开始对神经网络进行理论化，但直到2000年代，计算和数据约束才使它们得以成功实现。 这导致这种数学方法的研究和功能呈指数级扩展，使机器可以学习线性和非线性数据形式的模式。 神经网络背后的概念或多或少是一组具有激活函数的堆叠和连接的线性回归。 随着更多"神经元"的加入，网络具有更多需要训练的变量，因此可以对更复杂的模式进行建模。 数学和结构已在此处进一步详细介绍。
Feed Forward Neural Network (Source[9])
在2010年左右及以后，计算和数据功能实际上已经开始追赶这些理论。 因此，研究人员和工程师意识到，随着每层添加更多的层和神经元，这种统计技术可以以接近人类的方式为回归或分类模式建模。 与基于规则的系统相比，这些系统能够在更简单的数据集上迅速产生相同或更好的结果。 随着GPU技术允许更深层的网络，深度学习占据了机器学习空间，实际上引发了前所未有的更加广泛的机器学习革命。
卷积和递归神经网络
随着深度学习的形成，人们很快意识到，使用这种新形式的AI可以更有效地解决语言和图像领域的计算机科学问题。 由于研究已经变得如此广泛，而不仅仅是建立越来越深的网络，因此在现有框架内开发并利用了新的和旧的方法。 语言模型开始利用和适应递归神经网络的概念，计算机视觉实现了卷积神经网络。 到本世纪末，这两种形式不可避免地以多种方式混合在一起，但是它们的独立路径对它们的突出地位至关重要。
递归神经网络的思想是，当前输出取决于先前时间步长的先前输出。 当然，这是语言和大多数其他基于时间序列的数据类型的本质。 当人们说话时，下一个单词不是从基本上下文中随机决定的，而是取决于前一个单词和上下文。 正是出于这个原因，实现了RNN，尤其是LSTM（长期短期记忆）。 该网络体系结构将过去的输出作为输入反复提供，以产生下一个输出。 这些输入可以馈入典型神经网络的前端，也可以操纵更复杂的内部矩阵操作（如LSTM中所示）。 这种方法允许NLP与其他许多时间序列数据集一起实现最强大的飞跃。 语言的生成和预测第一次变得更加可行。 有关LSTM的更多详细信息，请参见此处。
Generic Convolutional Neural Network (Source[10])
卷积神经网络目前已经占据了大部分AI空间，其创建者Yann LeCun预测它们可以处理我们可能想到的几乎任何AI任务。不管这是真的还是事实，CNN在复杂的计算机视觉任务中都允许近乎完美的准确性。由于图像的3维性质，出现了这个概念。经典的深度学习网络通常使用一维输入，因此图像像素值将被展平为单个矢量。这种活动导致每个像素的大部分空间关系的信息丢失。卷积的概念允许进行3D输入（即RGB图像），并使用一组过滤器值在输入上执行滑点积运算。这允许学习多个特征图，这些特征图在训练期间通常解剖图像的不同特征。总体而言，这可以减少权重，因为滤镜覆盖了所有3个维度和网络，可以提取图像的更深层特征。在过去的十年中，操纵CNN的许多努力导致了计算机视觉的巨大突破。这些成就中有许多在胜利中得到了详细说明，例如ImageNet结果。
训练和库
当然，如果不是要训练这些数学模型并通过可访问的代码进行训练，就不可能取得任何进展。 反向传播是用于训练任何神经网络的典型方法。 该概念基于输出权重为每一层利用导数梯度，以调整网络内部的每个权重。 这需要复杂的编程和硬件来实现，尤其是对于更复杂形式的体系结构。
幸运的是，已经开发了GPU技术以及更多数学方法来使这种训练方法高效。 诸如NVIDIA CUDA之类的技术允许在大规模并行GPU上执行数学运算，从而将训练时间从几天缩短到了几分钟。 这样可以加快迭代速度，进而获得更快的结果。 同时，诸如批处理规范化，辍学之类的方法以及诸如ADAM之类的强大优化器将这一点进一步扩大，并允许进行可预测和有效的培训课程。
(Source[12])
最后，如果没有Python和Tensorflow，Keras或PyTorch之类的库的兴起带来的语言和库支持的爆炸式增长，就不可能取得任何进展。 由于Python的易用性和库支持，它已成为最杰出的编程语言。 同样，它也是数学编程最理想的语言之一。 这使更多的人可以尝试并建立新的概念，而消除了更复杂的语言的麻烦。 最重要的是，像上面列出的那些库的创建，使更多的人可以使用该技术。 反过来，这将创建一个更加民主化的技术生态系统。 总而言之，最近十年给更大范围的人们提供了更多的功能，这就是技术真正发生指数式变化的方式。
我们今天在哪里
自然语言处理
语言处理的当前水平已有效地融合了循环神经网络和卷积神经网络，同时在其中创建了新方法。 所有这些都围绕着Transformer，自我关注和单词嵌入。 这些概念都有助于为可以有效理解完整语料的大规模并行CNN或FCN中的单词关系建模。
Transformer转换器完全按照其名称的用途进行工作-将一组词嵌入转换为另一组词嵌入或类似结构。 这对于机器翻译，单词生成或用于分类的矢量创建特别有效。 这是对Transformer的深入了解，但简而言之，它们基本上是一对编码器和解码器网络，它们经过训练可以完成上述任务。 专注于Transformer核心的强大概念是自我关注。 自我注意力是Google最近开发的一种方法，可以在单次网络传递中模拟语言的递归和空间性质。 为此，使用查询，键和值矩阵在每个输入序列上执行复杂的数学方法。 调整这些值可对序列中所有单词的空间关系进行建模。
Transformer Encoder (Source[2])
这些概念已通过BERT和GPT-2架构成功实现。 尽管每个网络的方式各不相同，但它们都实现了超深层Transformer模型，以成功完成序列到序列和多任务目标。 GPT-2的创建者OpenAI目前具有可供下载的模型（经过一番争议），该模型使研究人员可以提示网络并接收创意的" AI"书面文本。 在内容创建，聊天机器人和文本生成中有许多用例。 如此强大的网络的可用性将使技术继续其指数级增长。
引用我创建的经过哲学培训的GPT-2：
计算机视觉
随着卷积对于图像处理任务和其他方面的作用越来越有效，社区已经决定将其网络体系结构做得越来越深。 这带来了残留网络的强大趋势。 残差神经网络（例如，在最先进的Google Inception网络中）将残差块拼凑在一起，以构建功能最强大的CNN。 残差块通常是2个或更多并行CNN，这些CNN在末尾串联或添加。 反过来，这又利用了强大的并行计算架构来获得比以往更好的结果。
Google Inception (Source[10])
同时，已经开发出新的卷积方法以进一步发展。 Xception Network是Google Inception Network之上的一步。 该网络与其前身几乎相同，但是使用一种新型的卷积，称为深度可分离卷积。 该概念可减少参数数量并提高准确性。 上面的论文对此进行了更好的描述，但总而言之，它将卷积运算分为两部分。 分别在每个通道上滑动的深度卷积和逐个像素在所有通道上滑动的点状卷积。 这是我们所知道的方法深处的创新力量的又一个例子。
转移学习是最终趋势，不仅在计算机视觉方面，而且在所有用例中，最终趋势都是如此。 由于训练有素的网络对于每个用例都无需重复，因此迁移学习的概念十分突出。 转移学习通常采用经过预先训练的特征提取网络减去其分类层并冻结权重。 然后将这些附加到用户自己的分类器作为输入。 现在，训练过程只是训练新的分类器，以利用训练有素的网络的输出。 这允许像Xception这样的计算机视觉网络经过数月的培训，可以适应任何域用例。
生成对抗网络
Art Generated By My GAN implementation
尽管尚未将它们广泛用于业务用例，但是生成对抗网络是当今最有趣的AI形式之一。 概念是建立将矢量映射到图像矩阵或类似图像中的生成器网络。 该输出被馈送到鉴别器网络，该鉴别器网络学会解密所生成内容与实际内容之间的差异。 随着两个网络的训练同时进行，生成器在欺骗鉴别器方面也变得更好，同时也变得更好。 这种博弈论平衡的最终结果是能够生成接近真实内容的生成器。 这导致了一些相当惊人的艺术，写作，当然还有"深造"。
训练与部署
人工智能已经到了可以使用的地步，对某些生产软件系统而言几乎至关重要。 详细的方法已允许可接受的精度水平，以使这项技术如虎添翼。 这在很大程度上要归功于强大的云技术，该技术可实现可扩展的部署和理想的培训方案。
为了向公众部署功能强大的模型，需要理想的训练和体系结构。 这正是神经体系结构搜索和超参数优化发挥作用的地方。 使用大量的计算资源，神经体系结构搜索可以对潜在体系结构（层，神经元，方法等）的组合级集合进行培训。 然后可以将结果用于部署理想模型以进行训练和部署。 在此过程中，将采取进一步的步骤来调整超参数，以获得更理想的模型。
2020年，库和云功能使部署基于AI的应用程序变得简单。 云可容纳通用形式的AI，并为其提供资源以扩展和管理应用程序生命周期。 同时，库允许数据科学和软件开发角色分开。 这是由于通用模型文件类型所致，它仅要求开发人员以几乎任何编程语言理解给定的库，即可部署数据科学家的模型。
我们要去的地方
在不久的将来，更复杂的架构和搜索算法的趋势将继续扩散。 但是很快，就会有人质疑这些蛮力方法的效率和智能程度。 已经显示出这些方法如何产生碳足迹。 随着越来越多的社会开始了解AI的真正含义，并考虑到这些后果，社区将需要新的方法。 最近浮出水面的一种方法是修改训练方法，以从资源密集型反向传播方法开始。 其中一个示例是贪婪的InfoMax优化（GIM）。 这种方法可以进行层级训练，尤其是在转移学习的情况下，可以大大减少以较小的梯度形式进行训练所需的变量数量。
Hype Cycle (Source[11])
技术进步是发现的过程，导致对方法的研究和发明，并最终导致实施。 在我们经历这个周期时，比当前阶段要强调的要多。 当前，我们正处于所谓的AI的实施阶段，其中深度学习的发现和创新正在迅速应用于几乎所有业务问题。 当然，这扼杀了对于全新机器学习方法的整体发现工作。 在接下来的几年中，随着我们在狭窄的空间中不断进行创新，当看到真的深度学习时，可能会发生广泛的幻灭。 随着世界学习" AI"不是魔术，并开始看到实际上只是很多数学的局限性，他们可能会要求研究更加努力地接近真实的人工智能。 这是AI炒作周期将退出幻灭阶段并让稳步进行新创新的时候。
这意味着深度学习之外的全新方法将初具规模。强化学习将继续创新，但要真正达到人类或更高水平的智慧，可能需要发生不可预测的范式转变。这些方法可能开始以量子物理和计算系统为中心，因为量子计算的概念允许AI的概率的性质，并且决策以前所未有的方式建模。量子还允许使用极高维的系统，该系统可以一次包含比单个输入更多的因素。作为人类，我们做决定并与周围的物理世界互动。我们每个动作的整体决定因素或智力是宇宙的整体物理系统。利用量子力学的概念而不是大脑作为AI系统的最终决定者可能更有意义。总而言之，如果我们打算在AI上投入大量时间，我们的目标难道不应该是比我们自己的大脑更好的东西吗？这可能是决定我们大多数生命的技术的不可预测的未来。
机会无穷无尽，因为任何独特的思想都可以使方法发生巨大变化，有关人工智能和数据伦理的争论将继续，并且企业将越来越依赖这些方法作为其最宝贵的资源。 花时间了解我们来自何处以及将要去往何处，可以使每个人对自己的未来都有自己的看法。 这些独特的人类愿景的全球矩阵将带领我们进入人工智能的美好未来。
参考文献
[1] Krizhevsky，A.，Sutskever，I。和Hinton，G。（2017年）。 使用深卷积神经网络进行ImageNet分类。 ACM通讯，60（6），第84–90页。
[2]插图transformer，http：
//jalammar.github.io/illustrated-transformer/
[3] A.Vaswani，N.Shazeer，N.Parmar，Uszkoreit，J.Jones，L.，Gomez.A.N。，Kaiser，Ł和Polosukhin，I。注意是您所需要的。 《神经信息处理系统的进展》，第5998–6008页，2017年。
[4] Devlin，J.，Chang，M.-W.，Lee，K.和Toutanova，K. Bert：对语言理解的深度双向转换器的预培训。 arXiv预印本arXiv：1810.04805，2018
[5]亚历克·雷德福德，杰弗里·吴，李原子，大卫·栾，达里奥·阿莫迪和伊利亚·萨茨克弗。 2019。语言模型是无监督的多任务学习者。 OpenAI博客，1（8）。
[6]乔列，弗朗索瓦。 " Xception：深度学习与深度可分卷积"。2017IEEE计算机视觉和模式识别会议（CVPR）（2017）：n。 帕格 交叉引用。 网络。
[7] utm_medium =社交＆utm_campaign =
site_visitor.unpaid.engagement＆utm_source = LinkedIn＃Echobox = 1564764717
[8] SLöwe，P O'Connor，B Veeling。 2019年。端到端：表示法的梯度隔离学习。 arXiv预印本
[12]前5名：最受欢迎的机器学习库[Python…
(本文翻译自Ian Rowan的文章《The State of AI in 2020》，参考：
https://towardsdatascience.com/the-state-of-ai-in-2020-1f95df336eb0)
免责声明：本文来自闻数起舞客户端，不代表超天才网的观点和立场。文章及图片来源网络，版权归作者所有，如有投诉请联系删除。