来源：SSIR 斯坦福社会创新评论

来自专辑

科技向善

"

最近，数百家公司和品牌参与到“停止以仇恨牟利”的运动中，批评脸书和推特对平台上的假讯息和煽动性言论无所作为，可口可乐公司等决定暂停在这些平台上投放社交媒体广告。

这些平台背后的算法显然助长了假消息的传播。事实上，一个未经审视的算法可能包含并持续固化现有的偏见和不道德的行为模式。

人类应该警惕算法对伦理准则的挑战。本文作者提出，对算法的伦理讨论是商人、非营利组织、公民行动组织和技术专家们必须进行的，而远不是将它们作为技术探讨推给工程师们就可以的。

作者进一步提供了五项建议，用于指导组织对所使用的算法进行伦理发展和评估。这些建议包括：符合伦理的结果优先，速度和效率在次；让伦理指导原则在组织中居于显著位置；雇佣精通伦理准则的程序员；用组织的伦理标准来审视算法；让利益相关者参与进来。

"

议题编辑：林夕、姚森

学术顾问：段伟文

作者：鲁本·曼查、夏士莲娜·阿里

翻译：WaterStill

校对：齐菁博、林夕、慧子

1983年，冷战正酣，在一场因算法而可能在一线之间爆发的核战中，一个人起了决定性作用。苏联防空部队的斯坦尼斯拉夫·彼得罗夫上校正在一个秘密指挥中心执勤，突然早期预警警报大作，提示一枚洲际弹道导弹从美国基地飞来。系统显示该警报属于最高可信级别。彼得罗夫的职责是向上级建议该警报的真实性，这反过来会影响上级关于是否发动报复性核攻击的决定。彼得罗夫选择了相信直觉而不是算法，将警报判别为故障。事实证明，他的判断是正确的。

这桩历史轶闻代表了算法对我们生活影响的一个极端事例。原来，当时的探测算法将阳光反射误判为导弹发射。一个设计不当或失灵的算法可能会改变历史进程并使数百万人丧命，令人唏嘘。

01

现代社会中的算法

人工智能（AI）、增强现实（AR）、自动驾驶汽车、物联网这样的技术正引领我们进入第四次工业革命。它们正在弥合物质世界与数码领域之间的鸿沟，并预示着技术作为人类沟通与体验中介的模式将会发生根本性变化。这些技术的运行是复杂算法的产物。组成人工智能代理（AI Agents）的代码决定着一个消费者是否会收到某个特定的广告或产品信息。运算规则决定了增强现实（AR）展现在我们眼前世界的信息。程序指引着自动驾驶汽车在拥堵的路上行驶，并在一个小孩穿过它们的路线时踩下刹车。物联网设备的运算规则决定何时触发海啸警报。这些例子凸显了算法在现代社会中扮演的隐蔽却关键的角色。

一项电脑算法（一组用于解决一个问题的数字编码规则），当它内部的程序或代表的解决方案不违反我们的道德准则时，便是符合伦理的。虽然我们认同任何特定的伦理原则，但我们相信算法的运行和结果应与它们的利益相关者的伦理观念相一致。我们呼吁技术界与商业界基于各自的标准评估其算法的伦理，而不是深究一个可能随着环境或地理位置变化的具体准则。技术与算法有能力帮助人类解决大的社会和环境问题。

与此同时，随着算法驱动越来越多融入我们日常生活的程序和科技的运行，我们应当慎之又慎，避免造成新的、意想不到的麻烦：我们是否花精力确保支配我们社会运行的伦理准则同样支配着算法的运行？我们是否精确评估了算法的社会影响？我们如何能开发出遵循我们的伦理准则的算法？

02

当算法挑战我们的伦理准则时

Facebook和Twitter这样的社交平台正因为通过算法向个人推送可能加剧恐惧、动摇人心的政治广告而受到审查。在美国现代史上最致命的大规模枪击案前夜，Google和Facebook又一次深陷争议，因为它们转载了消息来源可疑的未经核实的新闻报道，并且其中包含了虚假信息。这些平台背后的算法显然助长了假消息的传播，但是我们却无法指责算法。因为它们只是完成了被编程的任务——找到新闻并将信息个性化地呈现给用户。

谷歌母公司（Alphabet）董事长、用户精准推送策略的狂热支持者艾瑞克·施密特（Eric Schmidt）在一篇访谈中这样解释精准（个性化）算法的进化，“个性化精准定位推送技术和力量将会非常发达，以至于人们很难在某种程度上为其专门定制的东西之外，进行观看或消费”。施密特也分享了他在提高定向算法并将其营利化上的立场：“唯一能解决（新闻采集营收不足）问题的办法将是提高新闻的营利性，据我所知，唯一提高营利性的办法就是定向广告。我们就是做这门生意的”。在他关于算法能帮助目标选择走多远的评论中，明显缺失了对创收以外后果的考虑。

仅几周之前，当九月中旬，“依尔玛”（Irma）飓风席卷佛罗里达半岛的时候，由于受影响的居民试图撤离高危地区，航空公司的动态定价算法因需求上涨而提高了票价。这是航空公司的典型做法，有的人或许会说他们不应该为此做法而受到惩罚。甚至学者如马特·兹沃林斯基（Matt Zwolinsk）——圣迭戈大学哲学教授和伦理、经济与公共政策中心主任——也认为物价随需求动态调整是自由市场的典型特征，是对高需求物资的供给调配的理性机制。即便如此，在“依尔玛”飓风登陆大陆之前，航空公司纷纷停掉了算法运转，并且对离开受灾地区的机票价格增设了上限。如果不这样做，带来的社会影响将是无法承受的。

当涉及少数族裔的应用场景中，算法同样也会跨越伦理红线，比如在招聘算法、贷款审批算法和人脸识别算法。多年以前，作为一项研究计划的一部分，笔者之一（鲁本）曾为一家非营利机构寻找贷款还款的预测因子，以建立一个小额贷款审批算法。这样做的目的是为了建立一套不使用传统信用评分的模型：一个更公平的算法。初始方案具有良好的预测能力，但是当我们发现算法所使用的预测因子是我们所避免使用的社会经济指标（socioeconomic indicators）的代用指标，并且这些指标被算法用于歧视少数族裔时，项目的工作便停止了。由于美国的非裔美国人在争取执法部门的平等待遇的斗争中面临着不断的挫折，有种族偏见的人脸识别算法会过度地误认少数族裔，导致无辜的非裔美国人成为目标，这只会使现有的歧视模式永久化。

03

忘掉又快又好：你的算法符合伦理吗？

算法导致违反伦理道德决策后果的例子比比皆是。对机构来说，使用未经审视的（可能不合伦理的）算法会导致偏见的数字化和对原则性伦理的视而不见。对算法的伦理讨论是商人、非营利组织、公民行动组织和技术专家们必须进行的，而远不是将它们作为技术探讨推给工程师们就可以的。我们提供五项建议用于指导你的组织对所使用的算法进行伦理发展和评估：

1、符合伦理的结果优先，速度和效率在次。通过算法自动化追求速度和效率的组织需要记住，客户价值来源于更高的战略速度而不是运营速度，在运用算法时，组织不应该忘记它们的终极目标是创造客户价值，高效但可能不道德的算法玷污了这一目标。

2、让伦理指导原则在你的组织中居于显著位置。你的组织应该对其伦理指导原则进行反思，并向其员工、生意伙伴和客户明确传达这些原则。企业社会责任框架可以成为帮助任何一个准备好明确表达伦理原则组织的良好起点。

3、雇佣精通伦理准则的程序员。负责设计并编程算法的计算机工程师们应该了解其工作成果存在的伦理内涵。即使有些伦理决定看上去很直观（比如不要用算法来窃取用户电脑中的数据），大多数决定并不那么简单。伦理学研究和伦理实践探究应当融于每个编程项目之中。

4. 用你的组织的伦理标准来审视你的算法。通过对算法运行和结果的仔细评估，你的组织能够识别出那些不符合伦理准则的真实或者模拟的情景。

5. 让利益相关者参与进来。透明地与你的客户、员工和商业伙伴分享有关你的算法程序和后果的细节。利益相关者们能够帮助你识别并解决道德差距。

算法可以是非营利组织的资产，降低开支并提高流程效率，但它们同时也可以是一项道德层面的负担。一个未经审视的算法可能包含并持续固化现有的偏见和不道德行为模式。在一个数字化与自动化成为标准、算法无需人力便可完成愈发精深的任务的年代里，确保算法和组织的其他部分遵循一样的伦理标准是必不可少的。

议题编辑：

林夕，关注社会创新和教育，MPA主修影响力投资，本职工作为美国教育科技公司MobLab国际市场负责人，曾任AI早期基金投资总监，数据教育公司联合创始人，Alchemist 斯坦福孵化器兼职小顾问。中美倒班无时差，爱好徒步露营、攀岩、网球、瑜伽，希望保持一颗初心，做现实的理想主义好青年；

姚森，《斯坦福社会创新评论》中文版编辑；

学术顾问：

段伟文，中国社科院哲学所科技哲学研究室主任、研究员，中国社科院科学技术和社会研究中心主任；主要研究方向为科技哲学、科技伦理、信息与智能的哲学、伦理与社会研究等。现任中国大数据专家委员会副主任委员，中国发展战略研究会常务理事，国家社科基金重大项目“智能革命与人类深度科技化前景的哲学研究”首席专家等。著有《可接受的科学：当代科学基础的反思》、《网络空间的伦理反思》等；

作者：

鲁本·曼查是巴布森学院信息系统学助理教授和“40岁以下40强”商学教授之一。他研究数字创新和技术的社会环境影响，并在F.W.奥林商学院教授技术课程；

夏士莲娜·阿里是巴布森学院F.W.奥林商学院的研究助理、Forté研究员和在读MBA。她还拥有9年的战略顾问、私募行业工作与创业家的工作经验。