危险的AI算法以及如何识别它们

在讨论人工智能的威胁时，首先想到的是天网，黑客帝国和机器人启示录的图像。排名第二的是技术失业，这是在可预见的未来的愿景，在该愿景中，人工智能算法将接管所有工作，并促使人们在不再需要人工劳动的世界中为无意义的生存而斗争。

这些威胁中的任何一个还是两个都是真实存在的，在科学家和思想领袖之间引起了激烈的争论。但是，人工智能算法还以不那么明显和难以理解的方式构成了当今更加迫在眉睫的威胁。

数学家凯茜·奥尼尔（CathyO’Neil）在她的著作《数学破坏的武器：大数据如何增加不平等并威胁民主》中探讨了盲目相信算法来做出敏感决策如何损害许多接受决策的人。

AI算法的危险可以表现在算法偏差和危险的反馈循环中，并且可以扩展到日常生活的各个领域，从经济到社会互动，再到刑事司法系统。

尽管在决策中使用数学和算法并不是什么新鲜事，但深度学习的最新进展以及黑匣子AI系统的泛滥放大了它们的影响，无论是好是坏。如果我们不了解AI的当前威胁，我们将无法从AI的优势中受益。

[阅读：可自我解释的AI优于可解释的AI的优势]

危险AI算法的特征

我们使用算法进行建模以理解和处理许多事情。“毕竟，模型只不过是某种过程的抽象表示，无论是棒球比赛，石油公司的供应链，外国政府的行为还是电影院的出席，”奥尼尔在《数学武器》中写道破坏。“无论它是在计算机程序中运行还是在我们的头脑中运行，该模型都会利用我们所知道的知识，并用其预测各种情况下的响应。”

但是，由于深度学习的进步以及我们生活各个方面的数字化日益增强，越来越多的模型从我们的头脑中转移到了计算机上。借助宽带互联网，云计算，移动设备，物联网（IoT），可穿戴设备以及一系列其他新兴技术，我们可以收集和处理越来越多的有关任何事物的数据。

对数据和计算能力的这种不断增长的访问帮助创建了可以自动执行越来越多任务的AI算法。以前仅限于研究实验室的深度神经网络已经进入许多以前对计算机具有挑战性的领域，例如计算机视觉，机器翻译，语音和面部识别。

到目前为止，一切都很好。有什么问题吗？

在数学破坏武器中，O’Neil指定了使AI模型变得危险的三个因素：不透明度，规模和破坏。

算法与公司不透明

窗雨透明度

AI系统的不透明性有两个方面：技术和公司。近年来，技术上的不透明性（也称为人工智能的黑匣子问题）受到了很多关注。

简而言之，问题是，我们如何知道AI算法正在做出正确的决定？随着AI逐渐进入贷款申请处理，信用评分，教师评级，累犯预测以及许多其他敏感领域，这个问题变得越来越关键。

许多媒体已经发表文章，将AI算法描述为神秘的机器，其行为甚至对于开发人员来说都是未知的。但是，与媒体所描述的相反，并不是所有的AI算法都是不透明的。

传统的软件通常以AI术语称为符号人工智能，以其可解释和透明的特性而闻名。它们由手工编码的规则组成，由软件开发人员和领域专家精心组合而成。可以对它们进行探测和审核，并且可以将错误追溯到发生错误的代码行。

相反，近年来变得越来越流行的机器学习算法通过分析许多训练示例并创建统计推断模型来发展其行为。这意味着开发人员不一定对AI算法的行为拥有最终决定权。

但同样，并非所有的机器学习模型都是不透明的。例如，决策树和线性回归模型是两种流行的机器学习算法，它们将对决定其决策的因素给出清晰的解释。如果您训练决策树算法来处理贷款申请，它可以为您提供树状分解（因此称为名称），说明如何确定要确认和拒绝哪些贷款申请。这为开发人员提供了发现潜在问题因素并纠正模型的机会。

贷款申请决策树

决策树提供了其决策过程的详细细分（来源：Medium）

但是，在过去几年中非常流行的深度神经网络在揭示其工作方式方面尤其不利。它们由一层层的人工神经元，小的数学函数组成，这些函数将其参数调整为训练期间看到的数千个示例。在很多情况下，很难探究深度学习模型并确定哪些因素有助于他们的决策过程。

贷款申请处理深度学习算法是一个端到端模型，在该模型中，贷款申请进入，并得出最终结论。关于AI算法的决策方式，没有逐个特征的细分。在大多数情况下，训练有素的深度学习模型的性能将比其不太复杂的兄弟姐妹（决策树，支持向量机，线性回归等）更好，并且甚至可能发现相关模式，这些模式对于人类专家来说是不会被注意到的。

但是，即使是最精确的深度学习系统也会偶尔出错，而一旦出错，就很难确定出了什么问题。但是深度学习系统不需要在不透明性成为问题之前就犯错误。假设一个生气的客户想知道为什么AI应用程序拒绝了他们的贷款申请。当您拥有可解释的AI系统时，就可以对做出决定的步骤提供清晰的解释。当系统不透明时，您可以耸耸肩说：“计算机是这样说的。”

但是，尽管人工智能算法在技术上的不透明性在科技媒体上引起了广泛关注，但很少讨论的是公司使用其算法的不透明方式，即使算法本身是微不足道的且可解释的。

“即使参与者知道要建模，或者模型的用途是什么，该模型还是不透明的，甚至是不可见的？”奥尼尔在《数学毁灭性武器》中的问题。

将AI算法视为公司机密的公司会尽力将其隐藏在围墙花园后面，以保持领先于竞争对手的优势。对于支持Google搜索的AI算法，我们知之甚少。这些模型在Facebook上定义了我们的朋友建议，在Twitter上填充了我们的供稿。

这种机密性是有道理的。例如，如果Google发布了其搜索算法的内部结构，那么它将很容易受到游戏的攻击。实际上，即使没有Google透露有关其搜索算法的详细信息，整个行业也随时准备寻找捷径，直指Google搜索排名第一的位置。毕竟，算法是无意识的机器，它们按照自己的规则运行。他们不使用常识性判断来识别扭曲行为准则的邪恶行为者。

但是，以同样的例子为例，如果没有透明度，我们如何确保Google本身不会操纵搜索结果来实现自己的政治目标和经济利益？2018年，美国总统唐纳德·特朗普（DonaldTrump）指控谷歌在其搜索结果中掩埋了保守的新闻媒体，并偏爱自由媒体。这项索赔使Google处于防御状态，该公司的发言人只能保证不会做这种事情。

这仅显示了组织在使用AI算法时所走的细线。当AI系统不透明时，它们甚至不需要犯错误就可以造成破坏。甚至对系统性能的怀疑阴影也足以引起对系统的不信任。另一方面，过多的透明度也会适得其反，并导致其他灾难性的后果。

O’Neil在GDPR和CCPA等规则生效之前，于2016年撰写了《数学毁灭性武器》。这些法规要求公司对AI算法的使用保持透明，并允许用户调查其自动化系统背后的决策过程。其他发展，例如欧盟委员会的道德AI规则，也激励了透明度。

在解决有关AI透明性的技术，道德和法律问题方面已经取得了很大的进步，还需要做更多的工作。随着监管机构通过新法律来规范公司机密性，公司会找到新方法来规避这些规则，而又不会陷入困境，例如，很长的服务条款对话框会明显地剥夺您获得算法透明性的权利。