人工智能的应许之地
作为一种看似凭空出现的技术,生成式人工智能在短短两年内惊人崛起。难以置信 ChatGPT(至今仍是此革命之代表)直到 2022 年 11 月 30 日才广为人知。虽炒作甚多且只会更多,但即使有人云泡沫即将破裂亦无法降低其热度分毫。叫卖者倒也有理。生成式人工智能正在颠覆众多行业,且多数人以为它无比强大且有用。
于我而言,人工智能重塑了我处理日常与专业任务的方式,在语言学习上这一转变尤甚。即使对代码一窍不通,我还是拼凑出了一个应用,调用三种人工智能服务生成带有母语发音的定制短篇故事。这些故事充斥针对我学习盲点量身定制的难词和惯用语。当我为 Vergesslichkeit 此类单词头疼时,它们会三番五次出现,附带其他数十个我正努力掌握的词汇。
在超过二十年的语言学习中,我从未使用过如此强大的工具。它不仅提升了我的生产力,还重新定义了效率本身。其规模和速度令人印象深刻:还有什么办法能在短短十五分钟内获得六十个个性化故事外加六种语言的数小时音频,且在此期间你还能随意浏览其他网页?整个应用静静运行在我的笔记本电脑上,在 ChatGPT 的帮助下用了不到一个下午便构建完成。
但生成式人工智能不仅带来了令人振奋的技术体验,同时也带来了新的痛点。比如在教育领域:如果 ChatGPT 有望实现个性化辅导,它同样可能导致大规模舞弊。降低恶作剧之成本必然引发道德恐慌。因此公众对此技术可能产生的(或已感受到的)负面影响的担忧日益增长。从政府和企业机构的自动决策到其在监视、刑事司法乃至战争中的角色,人工智能的影响深深渗透到社会和政治生活中。它可能会加剧偏见、扩大财富不平等,并在高风险流程中掩盖问责难题。
这些担忧指向一个更大的结构性问题:该技术之控制权集中在少数公司手中。放任大型科技公司管理云计算、文字处理甚至搜索尚可接受,这些领域的潜在危害似乎较小,但生成式人工智能风险更大,于是关于技术和民主更广泛关系的争论再次甚嚣尘上。
普遍观点认为人工智能更需要民主,尽管对其具体内涵仍争执不休。一些人认为民主化人工智能意味着模型和数据集需要更高的透明度;另一些人则主张采用开源替代方案以挑战像 OpenAI 或 Anthropic 此类科技巨头。然而这些方案大多局限在实施阶段弥补民主赤字,侧重于对已有系统进行调整。持此观点之人(现实主义者)认为人工智能将长期存在,其价值取决于我们如何使用它,且至少应受严肃的政治监督。
与此同时,一小群新兴学者和活动家正针对更深层次的基础性、系统性问题展开批判,尤其是起源于冷战时期的计算技术。于他们而言,人工智能不只是有缺陷的技术,它是一个殖民主义、沙文主义、种族主义甚至优生学的项目,其腐烂深入骨髓,将其民主化宛如试图将英国绅士俱乐部改造成无产阶级图书馆:表面改革远远不够。
就此而言,人工智能研究人员声称他们拥有巨大的独立性,正如在一篇广受讨论的论文(1997)中所写:「如果那几十年里人工智能是军方的仆人,那么它就拥有一个极其放纵的主人。」若情况属实,为何颠覆性的激进创新如此之少?保守主义和军工复合体的纠缠是否从一开始就根植于人工智能的研究议程中?反体制人工智能可能存在吗?会是何等模样?更重要的是,这一切问题在今天是否仍有意义?或者我们应该接受现实并将重点放在民主化之上?
对人工智能批评的轮廓随着时间不停演变。比如反对者曾经包括一大批「虚无主义者」,他们乐于剖析人工智能永远不可能成功的诸多理由。随着生成式人工智能发展这一立场摇摇欲坠,因其运作原理与他们所攻击的截然不同。迄今尚存的虚无主义者将矛头对准杀手机器人幽灵及尚未实现的通用人工智能(科技界未来愿景的核心标志)。
当然还有其他立场,以上概述并非全部,但我们必须面对这一事实:两大阵营(现实主义者和反对者)最终都将人工智能具象化,前者将其视为唯一或几乎唯一可行的人工智能形式,后者则将其贬低为军工复合体或科技行业自利幻想无可救药的产物。人们很少思考其他可能:人工智能作为研究议程、政治方案、技术,或是更好 —— 三者合一?
为弥合这一鸿沟,我想提供另一种关于人工智能和民主的思考方式。与其站在现实主义者或反对者一边,不如提出一个激进的乌托邦式的问题:如果时光倒流,计算机科学家免受冷战的腐蚀性影响,会出现何种更民主、更具公共精神且不太军事化的技术议程?这一另类愿景,无论称之为「人工智能」或其他,旨在提供一个有意义的视角,用于衡量当今智能发展中的承诺与风险。
要了解我们可能走过的道路,必须回到人工智能诞生之初。它的起源可追溯到二十世纪五十年代中期 —— 就在 ENIAC(第一台数字计算机)在宾夕法尼亚大学建成仅十年之后 —— 当时研究界毫不避讳他们试图创造的机器智能是一种目的论的智能:面向实现特定目标,或曰「telos」。【译者注】:Telos(希腊语:τέλος)是古希腊哲学中的核心概念,意为「目的」、「终极目标」或「最终归宿」。为英文单词 teleological(目的论的)的词根来源。
拿 General Problem Solver 来说(这是 1957 年 RAND Corporation 开发的软件程序),其作者 Herbert A. Simon、Allen Newell 和 J. C. Shaw 使用一种称为「means-ends analysis」的技术创建了所谓「通用」问题求解器,但实际上软件能处理的问题必须高度形式化。它在目标明确、求解环境稳定(即自始确定过程规则)以及允许多次迭代尝试各种手段以实现期望结果的情况下表现良好。
当然,这种「基于规则」的人工智能研究范式最终败给了神经网络,它是所有现代机器学习算法的基础,包括驱动 ChatGPT 等系统的大语言模型。即便如此,初代神经网络方法仍基于问题构建。感知机(一种用于模式识别的早期神经网络)设想的应用之一便是军事:筛选卫星图像以检测敌方目标。神经网络需要一个明确定义的目标并通过训练模型来实现该任务。如果没有具体目标或明确历史尝试记录,它们就无法工作。
我认为早期人工智能工具和在推动研究的政府、企业、军队等机构中的文职和行政工作者的工具理性如此相似并非巧合。他们的时间与注意力有限,错误代价高昂。通过机器自动化其任务既合乎逻辑也可高效降低错误和成本。这种目标导向的部分原因可归结于资金需求,毕竟早期人工智能必须证明其实际应用价值,但更深层次的原因在于其智慧继承自控制论,这是一门塑造其早期议程的学科,但在人工智能试图确立自身的独立领域时被边缘化。
控制论先驱们对反馈驱动的技术 —— 从导弹到恒温器 —— 能够在无意识下表现出目标导向行为充满兴趣。他们将这些系统与人工智能的目的论面向进行类比(比如举起玻璃杯或转动门把手),这种反馈控制使之能实现目标。在这种控制论框架下,人工智能将这一隐喻进一步推向极致。如果恒温器可以追求目标温度,为什么数字计算机不能追求目标呢?
不过他们之间有个重要区别。早期控制论学者结合机器工程与生物科学,将类比视为理解大脑和神经系统实际运作方式的方法并在必要时修正其基础模型,有时甚至通过设计新装置来更好地反映(或用他们的话说,体现)现实。换言之,他们将模型视为「实际存在智能的模型」。相反,人工智能先驱大多是数学家和逻辑学家,缺乏生物学或神经科学根基,于是智能被定义为能够在数字计算机上复制的任何事物 —— 这通常意味着在受生物启发的神经网络下追求目标或解决问题。
讽刺的是,这种对目标驱动问题解决的执着没有受到人工智能最早、最具影响力的哲学批评者们,尤其是伯克利哲学教授,闻名遐迩的《What Computers Can’t Do》(1972)作者 Hubert Dreyfus 的批判。Dreyfus 借鉴了海德格尔在《存在与时间》中对敲钉子的思考,强调了将人类传统和文化中的隐性知识形式化的困难。Dreyfus 主张即便是最日常的任务也必定深受文化语境的影响,我们并不遵循可以形式化为明确、普遍指南的固定规则。【译者注】:这是海德格尔一个很经典的隐喻,用于区分事物向我们显现的两种基本方式,一是上手(Zuhandenheit)一是现成在手(Vorhandenheit)。在「上手」状态中工具隐退在使用之后,此时锤子本身不是我们注意的对象,关注点是钉钉子这个动作。此时锤子消失在使用中,成为身体和实践的延伸。工具「断裂」之后实践活动被打断(比如锤子某个部位坏了),锤子方从「上手」转变为「现成在手」,此时我们开始审视这个对象。海德格尔的核心论点是:上手状态是一种更根本的状态。我们对世界的原初体认并非理论性观察而是实践性操劳,科学式对象化的认知是一种派生模式,只有在实际行动断裂时才浮现。Dreyfus 借此论证人类智能奠基于不可形式化的具身默会技能,传统智能试图用规则编码一切恰恰错失了智能之本质。
这个论点表明我们不能指望教会机器像我们一样行动,但它未能针对人工智能之目的论精神本身进行批判。考虑到海德格尔本人也提供了该批评的变体,这一点就更加令人困惑。他并不执着于生产力,也没有将以目标为导向的行动视为人类生活的本质特征。相反,他指出并非只有锤子断裂时我们才会注意到世界的运作方式,当我们厌倦敲击时亦是如此。在这种无聊时刻我们会脱离追逐目标的紧迫感,以更敞开的姿态体验世界。这暗示了一种更广阔、流动、情境化的智能形式:不仅仅高效完成任务,也与环境进行更深层次的互动,引导我们以难以形式化的方式获得目的和意义。虽然海德格尔的世界可能略显孤寂(大多是锤子和此在),但我们彼此间的互动同样可以激发对目标的重新审视。
但这些对二十世纪五十年代的人工智能先驱而言根本行不通。无聊或主体间性等概念缺乏明确的目的论基础,似乎与智能无关。相反,早期人工智能致力于复制一种全情投入、受外部动机驱动且在情感上保持距离的办公室职员式智能,即用更可靠的数字复制体取代 William Whyte 所称的「组织人」。【译者注】:Whyte 在 1956 年出版的《The Organization Man》中提出此概念,指因长期依附大型组织(如大企业)而逐渐丧失个人独特性并将自我价值与组织目标深度绑定的中产阶级白领群体。Whyte 认为该现象的背后是一种他称之为「社会伦理」的新意识形态,其建立在三个核心信念上:群体优于个人、归属感即幸福以及社会问题可被工程化。大型组织通过复杂的审核体系与多层结构构建了一个封闭、可自我延续的世界,游离于组织之外的人被视为「外围」人员。此种形态的组织由于过度依赖群体决策从而扼杀个人创造力和想象力,导致一种「常态的暴政」,并使用人格测试、科学主义等手段磨平个人棱角来换取组织内部承诺的「幸福」,代价是个体对组织的绝对顺从。
几乎用了整整十年 Dreyfus 的海德格尔式批判才在人工智能界产生共鸣,但共鸣一旦产生便影响深远。最显著者莫过于斯坦福大学计算机科学教授 Terry Winograd 的工作。Terry Winograd 在自然语言处理领域地位甚高,其研究也获得了 Dreyfus 的认可。二十世纪八十年代 Terry Winograd 决定不再复制人类智能,转向理解人类行为和情境,设计能够增强人类智能而非模仿人类智能的工具。
该转变在 Coordinator 中具象化,该软件系统由 Winograd 与智利政治家、哲学家、创业者 Fernando Flores 合作开发。如其名所示,该软件通过让员工对电子互动进行分类(请求?承诺?还是指令?)来促进协作,从而减少回应的歧义。正确分类后信息可被追踪并得到适当处理。【译者注】:Coordinator 的设计哲学和传统信息处理范式完全不同。它不是将电子邮件视作传递信息的容器,而是借用哲学家 John Searle 和 J.L. Austin 的言语行为理论(Speech Act Theory)以及海德格尔的现象学理论,认为语言本身就是一种行动,说话即做事。也就是说,组织是「通过基于请求和承诺的对话进行行动协调」的结构。因此,组织协作软件应当支持面向行动的对话(conversation for action)而非单纯的文件传输。由此出发,Coordinator 将协作建模为一个有限状态机式的对话过程,参与者间透过一系列言语行为从「未决状态」走向「已决状态」。在整个过程中,系统强制用户将发出的每一封消息归类为某种言语行为类型,例如 Request(请求对方完成某事)、Offer / Counter-Offer(讨价还价)、Promise(承诺完成某个请求)、Decline(拒绝)等,系统的对话状态解释器会根据对话历史和当前状态动态显示合理的下一步选项,比如一旦应答方已经「Promise」则「Decline」选项自动从菜单中消失。除了核心的对话管理器之外,Coordinator 还包括内置的文字处理模块、日历以及通讯模块。该软件被广泛视为最早的群件(groupware)和计算机支持的协同工作系统(CSCW)之一,其背后的语言-行动框架成为 CSCW 领域的重要流派,并直接催生了后来的 Action Workflow 工作流管理方法与技术。
通过以人与计算机交互以及交互设计原则为基础,该方法设定了新的智识议程:与其努力在机器中复制人类智能,不如利用机器来增强人类智能,使人们能够更高效地实现目标。随着对传统智能的信任减弱,Winograd 的愿景获得了巨大关注并吸引了未来科技巨头如 Larry Page、Reid Hoffman 和 Peter Thiel 等,他们曾经上过他的课程。
Coordinator 同样面临批评。一些人指责它加强了官僚组织中抑制创造力的层级控制。正如前文提到的感知机一般,该论点认为 Coordinator 最终服务于称之为 Efficiency Lobby 的公司和政府部门的议程。它帮助简化了沟通但往往符合管理层的目标,巩固权力而非分散权力。但这并非不可避免,想象在社会运动中(在这种运动中沟通的模糊性随处可见)使用该软件。(它可能更适合拥有集中结构和明确目标的运动,例如 civil rights movement,而不太适合像 Occupy Wall Street 或 Zapatistas 这样的去中心化运动。)【译者注】:Efficiency Lobby 中译「效率游说团」,可理解为追求精简运营、提高生产力、加强层级控制的组织。但个人倾向保留使用英文原词。
更深层的问题在于 Winograd 和 Flores 试图促进的社会协同概念本身。虽然他们已将自己从人工领域中疏离开来,但其方法仍位于目的论的思维方式中。它仍然关于解决问题、实现既定目标,没有完全摆脱他们希望抛弃的人工智能工具理性框架。
Winograd 值得称道的是他比人工智能社群中的绝大多数人都更具自反精神。1987 年的一次演讲中他指出符号人工智能(当时主要由规则驱动的程序构成,试图复制医生、律师等专业人士的判断)与韦伯式官僚制之间的惊人相似之处。他说「人工智能的技术之于心智如同官僚制之于人类社会互动」,二者都在缺乏歧义、情感和情境的环境中蓬勃发展,而这些正是常被视为官僚思维对立面的特质。他并未考察产生这种类比的历史力量,但最新历史记载表明人工智能研究自诞生之初就可能吸引了那些已经在研究或优化官僚系统的人群。技术史学家 Jonnie Penn 指出 Herbert A. Simon 即是典型案例:他在 1940 年代致力于建立「公共行政科学」之后,1950 年代中期随即成为构建「情报科学」的关键人物。这两项事业尽管承认理性局限却赞颂同一价值:提高实现目标的效率。简而言之,这些项目旨在完善工具理性理想。
这倒也不足为奇,从企业到政府资助机构再到军方的 Efficiency Lobby 官僚体系都被吸引向人工智能。早在常被视为人工智能起点的 1956 年达特茅斯研讨会之前这些机构就已经在追求类似目标。冷战因素在此显得尤为重要。当时的地缘政治紧张局势催生了对技术、监视和防御快速进步的需求,迫使机构开发能够处理海量信息、提升决策水平并在与苏联竞争中保持优势的工具。学术界对人工智能的推动恰好与这些机构已有的自动化议程相吻合:加强规则遵循、简化生产流程、处理情报、作战数据。将决策机械化、最大化效率长期以来一直是它们的核心愿景。
在此我们应当后退一步:如果没有冷战压力可能会怎样?为什么计算的世界历史承诺必须局限于复制官僚理性?为何机构之外的所有人会接受如此狭窄的视野,关于有前景的新技术 —— 数字计算机 —— 在人的生活中可能扮演的角色?难道这就是机器所能提供的极限吗?科学不应该被引导去探索计算机如何服务于公民、民间社会以及广阔的公共领域吗?不仅是通过自动化流程,而是通过模拟可能性、建模可替代的未来。谁(如果有人的话)在为这些更广泛的利益发声呢?
在一个科学领域拥有表面民主监督的社会中我们本可期待这些问题激发严肃探索和研究。但这并非上世纪五十年代中期的美国。相反,John McCarthy,这位创造了「人工智能」一词并与达特茅斯研讨会关联最为紧密的科学家按照他和最亲近盟友的意愿定义了该领域。他们与 IBM 等企业巨头结盟并获得了军方资助,完全绕开了更广泛的科学共同体。后来 McCarthy 还公开赞扬其非民主起源,声称「如果我们必须说服顾问委员会上大多数物理学家、数学家、生物学家、心理学家或电气工程师才允许将大量 NSF 经费分配给人工智能研究,那么人工智能在美国的发展将会更为缓慢… 人工智能是计算机科学领域之一… DARPA 认为与国防部问题相关。科学界几乎没有,甚至根本没有被咨询。」【译者注】:NSF 全称 U.S. National Science Foundation,美国国家科学基金会。DARPA 全称 Defense Advanced Research Projects Agency,美国国防高级研究计划局,为美国国防部下属独立研究与开发机构,专注于为军事用途开发新兴前沿技术。
人工智能在回顾性反思中常常对其他学科的无知感到愤懑,然其早期从业者亦有盲点:他们无法概念化「无聊」这类主题。这并非孤立疏漏,而是反映出他们根本未能考虑非目的论的智能形式。通过将所有智能归结为目的论事务,他们忽视了另一些路径,那些探索计算机技术如何放大、增强或转化为其他形式的智能之路径,或者技术自身需如何演化以适应和培育此类智能之路径。
从客观角度看,他们没有提出这些问题也并不惊讶。Efficiency Lobby 清楚自己的需求,而新兴的人工智能范式承诺了所有甚至更多。与此同时,公民或社会运动没有成组织的反对声音,或曰无 Humanity Lobby 来倡导替代方案。如果当时有,这条道路会是怎样?【译者注】:Humanity Lobby 正是 Efficiency Lobby 的对立面,可视为「人本主义」的组织。
1953 年,Colorado Quarterly 在 Hans Otto Storm 去世后发表了其文章《Eolithism and Design》。Storm 是一位发明家和无线电工程师,亦以小说家身份成名。他在珍珠港事件发生仅四天后不幸离世:在旧金山为美国陆军安装无线电发射器时触电身亡。尽管他文学成就斐然,但正是这篇最初被出版商拒绝的短文让他青史留名。
Storm 是激进非正统经济学家 Thorstein Veblen 的学生和朋友。虽然 Veblen 因倡导「工匠精神」并将其视为工程师对抗资本主义过度的解药而广为人知,但他在接触科学界时,其思想出现了令人着迷甚至玩味的转折。大概受他与实用主义者的联系影响,Veblen 在那里发现了另一种力量,他称之为「闲散的好奇心」,一种无特定目的却推动科学发现的意识。这种有向思维与无向思维之间的张力随后成为 Storm 自身理论创新的关键。【译者注】:Veblen 认为人类有一种本能、内在的倾向,倾向有效精巧地制作有用之物,他称之为「工匠本能」(workmanship)。这种本能驱使人们关注「实际的权宜之计、手段方法、效率与节约的装置和技巧、创造性工作以及对事实的技术掌握」。之所以将其视为非正统经济学家是因为当时的主流经济学假定劳动是令人厌恶的,人们只想要劳动的产物却想避免劳动本身,但 Veblen 的观点与此直接冲突:他认为人天生就有把工作做好、追求工艺精湛的内在驱动力。具体可以参考其论文《The Instinct of Workmanship and the Irksomeness of Labor》以及专著《The Instinct of Workmanship and the State of the Industrial Arts》。个人认为译成「工艺」、「工匠」等都可以。
Storm 对他所称的「工艺」作出类似区分,分为两种模式。一是更为熟悉的「设计模式」,根植于 Veblen 工程师的思维方式,从具体目标开始,比如建造建筑,通过选择最适合的材料来实现该目标。本质上这只是工具理性。(Storm 对韦伯的作品相当熟悉并纂写过相关批论。)
对于另一种工艺模式,Storm 为其起了一个奇怪名字:「eolithism」。为了解释它,Storm 让我们想象石器时代的「eolith」,即「被人捡起并使用,甚至稍作加工以供使用的石头」。现代考古学家怀疑 eolith 并非人类干预之结果,可能仅仅是自然过程(如风化或随机断裂)的产物。用 Storm 的话说,该模式的关键是:
石头被捡起,以一种已经相当适合眼前目标的形态,并且更重要的是,强烈暗示着眼前目标的形态。我们可以想象古人在原野中漫步,吃饱喝足无所事事(因为这些正是艺术的有利条件),当他的目光偶然落在一块可能适合作为矛头的石头上,正是在这个瞬间,矛的构想诞生了。石头被捡起,用现代的说法,矛此时正处于制造阶段… 如果在这个短暂的加工过程中,矛头完全做错了,那么总是可以迅速将其转向其他可能的用途。
此模式与工具理性设计模式的对比显而易见。「eolithism」并不设定预先的、待解决的问题,亦无固定目标可供追求。Storm 的石器时代漫游者与冷战时期诸如囚徒困境等思想实验所展示的理性形式形成了鲜明对比,也正因如此,它更为出色。缺乏预定目标反而使漫游者能够更丰富地观察世界,潜在目标的多样性扩展了实现这些目标的手段的意义范围。
在此 Veblen 的「闲散的好奇心」发挥作用。设计原则的一个根本限制是它们需要预设目标并且消除方法和材料的多样性,使其固有价值仅服务于这些预设目标。Storm 进一步论证,使用大规模生产的统一方法将设计应用于解决问题的努力使人们渴望只能由「eolithism」提供的本土、异质的解决方案。这种精神延续到现代,体现在意想不到的人物中:Storm 将「junkman」视为典型的 eolithic 角色。【译者注】:这里的「junkman」意指「拾荒者」,在原文中 Storm 写道「事实上拾荒者买卖着各种零碎杂物,将它们用于天真而出人意料之处,他们代表 eolithism 公然入侵设计领地。」
使 Storm 与其他探索过类似智识领域的思想家(如 Claude Lévi-Strauss 的「bricolage」概念以及 Jean Piaget 对儿童和玩具的观察)区别开来的,是他拒绝将旧石器时代的思维方式视为陈旧的或仅仅是原始社会或幼儿的一个阶段。这种对异质性胜过僵化的渴望并不是人们或社会在发展过程中预期会摆脱的东西,它是人类经验的根本部分且如今依然持续存在。事实上,这种追求可能正是后现代精神(顽皮、特立独行、口语化、反僵化、反「一刀切」解决方案)的根源。【译者注】:「bricolage」是法国人类学家 Claude Lévi-Strauss 在其 1962 年著作《野性的思维》(La Pensée Sauvage)中提出的核心概念,意为「修补 / 拼凑」,名词为「bricoleur」,与「工程师」(ingénieur)对立。「bricoleur」擅长用手边已有五花八门的工具和材料来完成多种不同任务,其工具箱收集了各种零碎物件,每一件都是以往任务幸存下的残余。他们不会为特定目的去获取精确合适的工具,而是利用手边现有之物灵活应对当下出现的问题。Lévi-Strauss 用「bricolage」来类比一种野性的思维,即前科学时代所谓「原始社会」的思维方式。他论证道:神话思维就是 bricolage,它用手边已有的概念碎片拼凑出对世界的解释,神话思想没有自己的专属概念,而是借用现成的、已有意义的符号来组织出新的叙述。值得注意的是 Lévi-Strauss 并未简单将 bricolage 等同于落后,而是认为科学与 bricolage 是两种不同的认知策略,前者通过概念建构事物,后者通过事物建构概念,两者都是人类思维的合法形态。实际上 Lévi-Strauss 自己的人类学方法(从不同文化中收集神话碎片并重组其深层结构)本身就是一种 bricolage 策略。作者此处对于 Lévi-Strauss 的评价或许有失偏颇。
在 Storm 的时代 eolithic 倾向同样受到威胁,尤其考虑到 Efficiency Lobby 所偏好的对于追逐效率的迫切。事实上,Storm 指出许多职业教育本身就带有反 eolithic 的偏见,谓叹道「优秀的、尚不成熟的 eolithic 工匠被迫学习工程学,并迟迟发现曾经令他们着迷的那份巧妙精炼之节约竟成了必须摒弃的东西」。然而即便在科学和工程领域,有效学习(尤其在早期阶段)之精髓恰恰在于避免设计模式僵硬的算法化。更多时候,它始于教育哲学家,曾和 Simon 合作的学者 David Hawkins 所称的「messing about」。(他是 Storm 的朋友,曾任 Robert Oppenheimer 的前助手,他们在 1930 年代末的加州左翼圈子里交往,Hawkins 确保了 Storm 的文章在他死后顺利出版,并大力推广,甚至在技术人员之间。)【译者注】:这里的「messing about」可译为「随意摆弄」。
Storm 并非哲学家,他的短文也未被广泛引用,但其观点唤起了实用主义哲学的一个关键主题:我们真能把手段和目的视作独立范畴吗?当我们与手段、彼此之间的互动常常使我们重新审视所要实现的目的时,区分就模糊了。用 Storm 的话说,目的性行为本身也可能是一系列 eolithic 冲动的结果。
这与乌托邦式的人工智能愿景有何关联?如果我们仅仅把智能定义为解决问题和实现目标的话,那也许关系不大。在 Storm 的史前田园诗中,没有要跑腿的差事,亦无需实现的宏大愿景。据我所知,他想象中的石器时代漫游者很可能正经历着深沉的无聊,或者用 Storm 的话说,「更倾向于什么都不想」。
但我们真的可以把漫游者突然注意到的那块原石 —— 无论是设想其用途或仅仅被其美貌吸引 —— 这一时刻视作与我们的思考智能无关吗?若可以,那我们该如何看待长期以来被视为人类理性标志的活动:想象、好奇、原创?Efficiency Lobby 可能对此不感兴趣,但关注教育、艺术或辩论探索可替代未来的健康民主文化的人们也要忽视它们吗?
乍看之下,Storm 笔下的漫游者似乎仅仅是在进行一次有所意味的重分类练习:将石头从自然物领域提升到工具范畴。然而这一过程既非机械也非无智。某件事物是有用工具还是趣味人工制品往往取决于观察者的视角。只需询问 Marcel Duchamp(杜尚宣称小便池是艺术对象)或 Brian Eno(他在杜尚的小便池中小便以重新确立其作为颠覆性人工制品的地位,而非单纯的画廊展品)即可。
Storm 将儿童游戏视为 eolithism 的典型例子并明确指出并非所有社会情境、参与者和制度都同等有利于它。一些人在学校可能已经被教育剥离了这种思维方式,另一些人可能被高度复杂、不可更改的技术对象所包围,而这些对象恰恰抵制重新用途化。还有许多其他因素在发挥作用,从漫游者的技能、好奇心和教育水平到指导个人行为的规则和规范的刚性再到 eolithic 对象「暗示」和「接受」其潜在用途的能力。
至此我们已经形成了一幅人类智能图景,它远超工具理性,相对而言我们可将其称之为「生态理性」—— 一种强调不确定性以及人与环境之间互动关系的智能观。独一无二的个体生命使得 eoliths 的众多潜在用途在每个人身上各自显现。
不同于工具理性几乎无关情境且易于形式化,生态理性在细微差别和多样性中蓬勃发展,因此抵制自动化。不存在将它所产生的整个不断变化的意义宇宙形式化的可能性。这并非是否可行的问题,而是逻辑一致性问题:让机器发挥此类智能如同让它进行罗夏墨迹测验,它可能产生回应,尤其当模型在大量人类回应的语料库训练过时。但这些答案必然会因一个简单的原因而空洞:机器没有以一种能够使其对罗夏图像解释有意义的方式被社会化。
但不能形式化并不意味着生态理性不能以其他方式被技术化。正确的问题也许正呼应了四十年前 Winograd 提出的:与其询问人工智能是否能够体现生态理性,不如问它们能否通过人类来增强其实践。这为谨慎乐观态度提供了支撑。自上世纪八十年代 Winograd 批评以来,人工智能已发生了根本性变化。如今的人工智能允许更为多样化和开放式的使用,其通用性及无内置目标的特性使其适合各种实验。早期系统可能会默认输出生硬的「computer says no」,而现代智能则通过幻觉得到答案。这一转变源于其底层方法:不同于 Winograd 批评的韦伯式官僚制的基于规则的专家系统,如今的大语言模型由数据和统计驱动。尽管仍受规则影响,其输出由不断变化的数据驱动而非固定协议。而更重要的是,这些模型更偏向灵活的市场化而非僵化的官僚制。正如市场参与者依赖过往趋势并可能误判快速变化的情境,大语言模型基于统计模式生成输出,风险在于偶发幻觉和上下文误判。这也许并非巧合。Friedrich Hayek 的心理学工作(大脑与市场运作的等价性)影响了早期神经网络的研究(Frank Rosenblatt,感知机作者,赞同地引用了 Hayek)。
在我的语言应用小项目中,起点就像无忧无虑的 Storm 式漫游者,不专注于解决特定问题。我没有计算学习语言或寻找最高效策略的条件,反之,当我使用三种人工智能驱动服务中的一种(相当于偶然发现 Storm 的石头)时,我注意到一个功能,让我想知道是否可以将此工具与另外二者相连。我不禁在想像我这样对代码几乎一窍不通的人是否能够轻松组合这些服务?我不必凭空猜测,有了 ChatGPT,我可以立即进行测试。对此而言,ChatGPT 并不是原始的 eolith —— 它太模糊、太缥缈、太通用 —— 它更像实验工坊,漫游者将发现的石头带入,检视其真正用途。换言之,它让我们测试这块石头更适合作为矛头、玩具还是艺术品。
这里有些 eolithism 元素,但远非我们所能期待的最佳状态。首先,我使用的三项服务都收取订阅费或使用费,其中将文本转换为音频的服务每月收费高达 99 美元,且该服务极有可能受到风投资本的大力补贴且毫不考虑运行如此高能耗的生成式人工智能模型的能源成本。这就好像有人将最初发现 eolith 的石场私有化并收取高额入场费。这并不是一种最大化生态智能的方式。
在整体设定中还有些过度个人主义的东西,这是 Storm 那种不合群、原始的例子所回避的问题。当然,我可以使用各种私人服务构建个性化的语言学习应用,并且它可能非常有效,但这种模式可扩展吗?它是社会所期望的吗?能否牺牲少许效率和个性化去复用我在应用中已经生成的一些句子或者短篇故事,从而降低为每个用户重新运行这些服务所需的能源成本?
这将我们带到了当今生成式人工智能的核心问题:它不仅反映了市场的运营原则,更体现了其精神。这并不新奇,毕竟这些服务被技术巨头主导,而他们把用户视作最重要的消费者。OpenAI 或其他任何人工智能服务怎可能会鼓励我在构建应用时向他们的服务器发送更少的查询或重复使用他人已经得到的回复?这样只会削弱他们的商业模式,即使从社会或政治(毋论生态)角度来看可能更好。相反,OpenAI 的 API 会向我收费,产生相当数量的碳排放,即使只是为了告诉我伦敦是英国的首都或者一公斤等于一千克。
诸如 ChatGPT 的工具将我们的活动框定在孤立疏离的后现代消费者身份上,在更深层面上削弱了生态理性。当我们使用它们来解决问题时,我们并不对一切保持开放,而更像是在预设的、以利润为导向的格局中寻找套利机会的创业者。虽然在这些条件下也可能出现 eolithic 式的实践,但整体设置还是限制了生态理性的全部潜能和游戏性。
在此 ChatGPT 类似于上述的 Coordinator,正如后现代资本主义仍类似先前的福利-战争式现代性。Coordinator 加强了组织人对工具理性的运用,而 ChatGPT 让当今的新自由主义主体 —— 既是消费者也是创业者 —— 得以惊鸿一瞥(甚至蜻蜓点水般触及)生态理性。表面自由的增加遮掩了更深的非自由 —— 二者背后是仍掌控着的 Efficiency Lobby。是故我们通过如此强大的技术获得的解放感却仍无比受限。【译者注】:福利-战争式现代性指二战后西方发达资本主义国家(美国尤甚)所形成的由凯恩斯主义驱动的国家形态,它将福利国家和战争国家两个面向合二为一,一方面通过公共支出维持社会保障和民众福祉,一方面通过军事支出和对外干预维持全球霸权,政府依靠这些大规模公共支出来驱动经济并透过福利、军事双重手段进行社会治理。新自由主义则主张以自由市场为核心来组织社会生活,此时资本主义不再需要大规模常备军队,转而投资「智能武器」和高科技军事手段,但国家对经济和社会生活的深层控制结构并未发生根本转变。
尽管硅谷屡次保证,但这种被阉割的解放感始终未减,即使技术已然获得更强的问题解决能力。如果深度学习系统的主要吸引力在于它们以相对简单(即使成本高且不环保)的方式执行极其多样复杂甚至独特的任务,那么我们应当铭记我们已经拥有了这种技术:市场。如果你想把购物清单变成一首莎士比亚的十四行诗,你不必使用 ChatGPT,只要找到合适的人并愿意支付相应价钱便可完成。
新自由主义者早早意识到了这点。至少在理论上市场承诺提供一种普遍的问题解决方法,且该方法比民主政治更加高效便捷。然而现实振聋发聩:市场常常失灵,往往连问题都难以解决,甚至雪上加霜。它们经常不如基于民间智慧或公共监督的非市场体系表现。它们的有效运作需要巨大努力,难以轻易利用公民拥有的庞大的隐性或显性知识,或者至少是那种无法简化成创业思维的知识。市场只能通过殖民存在的广阔领域来动员它们。(官僚体系早在新自由主义出现前就面临类似局限,只不过它们对公民参与的漠视出于不同动机。)
这些限制众所周知,也是人们一直抵制基本服务商品化并日益呼吁扭转公共产品私有化的原因。生成式人工智能商业发展两年过后,对它的类似审视即将来临。只要人工智能仍然主要受企业限制,寄希望于这项技术来解决重大社会问题就如同将信任交给市场。
有何替代方案?要获得摆脱工具理性的有效进展,需要一个与 Efficiency Lobby 割裂的议程。这种割裂必须发生在远超日常、社区甚至城市层面的范围当中,需要国家乃至洲际层面转移关注重心。虽然美国从未如此做过(或许「新政」的某些元素除外,比如通过联邦艺术计划为艺术家提供支持),但其他国家的历史确实提供了一些线索。
1970 年代初,Salvador Allende(阿连德)领导的智利政府希望通过让工人成为所有者和关键行业的领导者来赋予他们权利。在最终导致政变的高度动荡的政治氛围中,阿连德政府试图利用信息技术来推动这一转型。Project Cybersyn 这一系统旨在促进工具理性和技术理性,将日常行政任务的执行与对国家、行业和全公司层面的备选方案审议相结合,担任管理职务的工人将在著名的 Operations Room 使用可视化和统计工具作出明智决策。该项目的委托人正是 Fernando Flores,阿连德的部长,也是 Winograd 未来的合作者。【译者注】:Cybersyn 项目让智利政府把对经济的决策集中到一个作战室里,也就是上文提到的「Operations Room」,从而实现近乎实时的经济调控。系统通过约 500 台电传机(Telex)连接 150 多家国营企业并将数据汇总到作战室进行决策。作战室的设计基于格式塔原则,不设桌子,只有椅子,配备图形化数据显示面板和按钮控制台。整个项目在 1973 年军事政变推翻阿连德政府后被迫终止,从未完全投入运作,但它作为控制论社会主义的标志性实验至今仍在科技史、设计史和政治思想史中被广泛讨论。
大约在同一时间,一群阿根廷科学家开始自行致力于利用计算机激发关于潜在国家以及全球形态替代方案的讨论。最突出的倡议来自 Bariloche Foundation,该基金会质疑许多报告中出现的地缘政治假设,例如 1972 年的《The Limits to Growth》,尤其是那种认为欠发达的 Global South 必须作出牺牲来「拯救」过度发达的 Global North 的观念。【译者注】:《The Limits to Growth》是 1972 年 MIT 团队完成的报告,使用名为 World3 的计算机模型模拟五个关键变量之间的相互作用:工业化、人口增长、粮食生产、资源消耗和污染。最终得出结论:地球资源有限,无法长期支撑指数式的经济增长和人口增长,如果不改变现有趋势,全球社会可能在二十一世纪中叶之前出现崩溃,即使有先进技术也难以逆转。Bariloche Foundation 批判 MIT 的 World3 模型事实上只反映了发达国家的视角,随后开发了 LAWM(拉丁美洲世界模型)作为回应。World3 模型将全球人口和资源合并处理,忽视了人口和资源在不同国家、地区之间极度不平等的分布,该报告要求「全球共同停止增长」本质上剥夺了发展中国家的发展权,这也就是上文所说的「Global South」和「Global North」之间的对立。LAWM 模型反驳称人类发展的真正限制是社会政治性的,而非物理性的,World3 模型所预测的灾难对当时已经生活在贫困和欠发达国家中的三分之二人口而言已是现实,是故应当建立以满足基本人类需求为导向的平等主义全球社会,而非以消费主义和利润为导向。LAWM 主张发达国家主动降低经济增长以减轻环境压力,同时发展中国家应开辟基于区域团结和自力更生的自主发展道路。
在此知识氛围中,另一位关键人物是 Oscar Varsavsky,一位才华横溢的科学家转活动家,他倡导「规范性规划」(normative planning)。与利用计算机预测单一、预定的经济和政治进步轨迹的现代化理论倡导者不同,Varsavsky 及其盟友设想技术是一种通过他们所谓的「数值实验」(numberical experimentation)方法绘制多元社会轨迹的手段,用于描绘可供替代的社会经济发展模式。在这些模式中,Varsavsky 辨识出包括「嬉皮」、「权威」、「公司中心」、「创意」、「以人为本」多个光谱,其中后两者是其首选模型。【译者注】:Varsavsky 明确反对从美国兴起、当时正席卷拉美的科学线性创新模型(Modelo Lineal de Innovación Científica, MLIC),也反对以「缩小技术差距」(cerrar la brecha tecnológica)为目标的发展观。他认为把「进步」理解为照搬发达国家的设备、生产流程等就如同「走私式地」引入该国的生活方式和发展风格,即使口头上拒绝其社会模式,技术上仍在模仿。他认为很少有人(甚至马克思主义者)认真对待社会层面与技术层面之间的本质联系。同时批评主流科学史被呈现为「单线的、别无其它选择」的发展叙事,并声称最终「必然」通向当前的科学,并以「研究自由」作为唯一引擎。他认为这种叙事掩盖了科学对资本扩张战略和市场规律的从属。Varsavsky 于 1960 年代初构建了阿根廷第一个宏观经济模型 MEIC(Modelo Económico Instituto de Cálculo)并在 1967~68 年间为多个国家建立数学模型,用以科学检验某些接近乌托邦构想的社会类型的可行性。这与上述提到 Bariloche Foundation 的 LAWM 模型相似,二者都企图用复杂多元的数学模型证明一个平等、可满足人类基本需要的秩序是可行的。区别在于 LAWM 模型面向全球尺度而 MEIC 面向国家尺度。
计算机技术因此能够赋予公民探索每条路径的可能性、后果以及成本的能力,使之可以选择与自己的价值观和可用资源相契合的选项。从这个意义上说,信息技术类似于旧石器时代漫游者的工作坊:它不用于管理或追求效率,而是想象、模拟和实验。
在现代参与式预算实验中使用统计软件(即使它们大多数仍局限于地方层面而非国家层面)也体现了同样的承诺:目标是利用统计工具阐明不同支出方案的后果并让公民选择其偏好的方案。以上二者的流程既是为了践行 Paulo Freire 所谓的「problem posing」(通过将问题暴露于公共审视之下使其争议性定义得以显现)方法,也是为了解决问题。
将这些拉丁美洲案例联系在一起的是它们的共识:推动生态理性不能在把本国项目与发达国家强加的效率议程(无论是意识形态、金融还是军事上的)脱钩的情况下实现。他们认识到这种所谓的「现代化」表面上看似毫无政治色彩,但却常常掩盖了 Efficiency Lobby 内部各派系的政治利益。换言之,他们首先从政治层面提出问题,其次才是技术层面。
通往生态理性的道路布满了未能实现这一转变的失败。1960 年代后期,一群技术怪才(许多与 MIT 相关)受 Storm 文章的启发,创建了私人资助的环境生态实验室,其目标是探索技术如何能够促成不以解决问题或特定目标为驱动的行动。但作为嬉皮士、叛逆者和反战活动家,他们对与 Efficiency Lobby 合作毫无兴趣,也未能采取实际步骤走向政治替代方案。
一位与该实验室创始人有联系的年轻建筑学教授 Nicholas Negroponte 并不认同这种厌恶。受其影响,他随后创立了 MIT Media Lab,一个通过计算机庆祝玩乐的空间,资金来自美国企业界和五角大楼。在其 1970 年的著作《The Architecture Machine: Toward a More Human Environment》中他甚至引用了 Storm 的文章。但随时间推移,这种玩乐精神逐渐变成更具功利性的东西。它被重新包装成「交互性」或「智能」,成为消费电子展上最新小工具的卖点,这与 Storm 所设想的工匠精神和创意相去甚远。
同样,早在 1970 年代,Seymour Papert(Nicholas Negroponte 的同事,另一位人工智能先驱者)就已经认识到对效率和工具理性的执着会对整个计算机文化产生不利影响,更糟的是这种执着使许多年轻学习者对理性的具象化 —— 计算机产生了疏离感。虽然 Papert(Winograd 的论文导师)并未完全放弃人工智能,但他愈发将重心转至教育,倡导一种 eolithic 方法。(他曾与 Piaget 合作,也熟悉教育哲学家 David Hawkins 的工作,后者发表了 Storm 的文章。)然后,像上述两个实验室一样,Papert 的解决方案最终仍然倾向于技术修补,并提出了「每个孩子一台笔记本」这一注定失败的倡议。剥离政治因素后,eolithism 很容易演变成 「solutionism」。【译者注】:Jean Piaget 是瑞士心理学家和认识论学家,提出了「发生认识论」和认知发展阶段理论,主张人类是主动意义建构者,通过「建构」而非「接收」来获取知识并将儿童认知发展划分成四个阶段。Papert 曾在日内瓦与 Piaget 合作共事五年,深入研究儿童认知发展。他将 Piaget 的「建构主义」进一步发展为「建构 / 制作主义」,区别在于 Piaget 关注内在的认知过程而 Papert 强调学习者透过创造有形的实物和作品(比如编写计算机程序)来学习。「每个孩子一台笔记本」(OLPC)是 Papert 提出的非营利项目,目标是为发展中国家的儿童设计并分发一台仅 100 美元的低成本、耐用的笔记本电脑,以此变革全球教育。Papert 希望儿童通过「创造某些东西」主动构建知识。从这一点上讲 Papert 倡导的是一种 eolithic 方法。这个项目如今看极具理想主义色彩,当时笔记本零售价普遍超过 1000 美元,但 OLPC 深信可通过大规模量产将笔记本成本压到 100 美元(简直天方夜谭)。倡议的失败除了经济因素外还有以下几点,核心原因是 OLPC 把 Papert 的建构主义推向了极端 —— 相信孩子们拿到电脑就能自己学会学习,因此在项目设计上系统性地边缘化了教师(在 Piaget 看来教师的角色应是学习的促进者而非直接的讲授者,应该鼓励学生主动发现和建构知识。显然在 Piaget 处教师仍在教育中占据了重要地位。)。秘鲁的大规模随机对照研究发现笔记本电脑没有改善学生的学业成绩、认知技能、升学率或教育轨迹。学生的电脑使用技能提升了,但并没有转化成认知或教育收益(因为电脑不教孩子,老师才教)。另外该项目采用一次性部署,只分发电脑但并不提供技术支持、教师培训、社区参与和后续评估,实际电脑使用率很低,且有相当比例发生机器故障。另外,笔记本的硬件和软件界面都自带西方隐喻,对非西方文化背景的儿童而言并不自然,同时家长担心互联网接入让孩子「西化」,引发对其怀疑和抵触。具体例子如乌拉圭孩子发现笔记本中的音乐创作软件无法做出符合本地音乐节奏的乐曲,于是不愿再用。当然,OLPC 并非一败涂地,乌拉圭的 Plan Ceibal 被视为相对成功的特例:每个孩子和教师都拿到了设备,教师接受了培训,在政府支持下实现了互联网接入,且内容与课程相结合,效果上佳。相比之下肯尼亚把同样的笔记本发到了没有电力以及相关支持的地区。成功失败之隔恰恰在于教师培训、基础设施和本土化上,这些都是 OLPC 忽视的东西。OLPC 出于 eolithic 初心,但最终将理想压缩成了大规模的硬件分发工程方案。「solutionism」一词出自 Evgeny Morozov,指一种将复杂的社会问题简化成技术方案解决的主张。OLPC 项目就是一个从 eolithism 滑向 solutionism 的例子,OLPC 不处理教育中的权力关系(谁决定课程?教师和社区的角色为何?本土文化和西方技术范式之间的关系为何?),而是将 eolithism 退化成一个表面自由开放但实质空洞的姿态。为了让 eolithism 落地,OLPC 不得不赋予其一个可操作的技术载体(笔记本),而一旦这个载体被大规模部署,就必然需要预设目标、衡量效果、标准化流程 —— 于是 eolithism 的反目的论内核被掏空,只剩下一个单纯的技术方案。一言以蔽之,OLPC 缺乏足够的政治反思。
拉丁美洲的例子让 Global North(发达国家)秉承的「技术发展没有替代方案」这一意识形态完全站不住脚。二十世纪七十年代初,这一意识形态根植于现代化理论,如今则根植于新自由主义。结果却相同:禁止想象这些技术的替代制度或归宿。通过真实的原型和制度改革将这些工具从以市场为驱动的开发模式中解脱出来不仅是可能的,而且对民主、人类和地球都十分有益。
在实践中,这意味着将生成式人工智能的 eolithic 潜能重新导向公共、基于团结、社会化的基础设施替代方案。虽然我为我的小语言应用感觉自豪,但我知道一定有成千上万类似的半成品程序在同样的实验精神下构建而成。尽管许多科技公司通过分化个人语言学习者的解决问题能力而获利,但我们没有理由不重新整合它们,推动更少个人主义、更多集体主义的解决方案。这同样适用于许多其它领域。
同时我们不能就此止步(仅仅列举使大语言模型反新自由主义的方式),这会错误暗示统计预测工具是促进生态理性的唯一途径。显然,促进人类智慧的技术远不止我们目前设想的这么少。我们应当把生态理性转变成一种完整的研究范式,探讨技术能够为人类做些什么,前提是我们不再将技术仅仅视为恒温器或导弹。【译者注】:此处呼应前文中讨论控制论和目的论的相关段落:「… 控制论先驱们对反馈驱动的技术 —— 从导弹到恒温器 —— 能够在无意识下表现出目标导向行为充满兴趣。他们将这些系统与人工智能的目的论面向进行类比(比如举起玻璃杯或转动门把手),这种反馈控制使之能实现目标。在这种控制论框架下,人工智能将这一隐喻进一步推向极致。如果恒温器可以追求目标温度,为什么数字计算机不能追求目标呢?…」
在此过程中,我们不能忘记拉美实验的核心洞见:技术的解放潜力只有通过激进的政治项目才能得到保障。若非如此,我们将难以聚集足够的资源以确保 Efficiency Lobby 不会压倒 Humanity Lobby 之议程。上述实验的悲剧性失败预示着这不会是一段轻松的旅程。
至于最初的问题 —— 人工智能和民主 —— 答案很直接。「民主人工智能」需要真正的民主,同时尊重公民的尊严、创造力和智慧。这不仅仅是让当今模型更加透明或是降低成本,也不能仅依赖政策微调或技术创新来解决。真正的挑战在于培养一种正确的、以生态理性为基础的世界观(这个应用可以漫游!)。在这方面,人工智能为现行体制进行意识形态干预的能力(无论是早期的官僚体制还是今天的市场)构成了最大威胁。
顺便一说,正是美国实用主义者的描述最接近生态理性的运作。若早期的人工智能界对 John Dewey(杜威) 及其「具身智能」研究有所关注,许多错误方向本可避免。我们只能想象如果批评者们去研究杜威而非海德格尔,人工智能及其批评会是怎样。但也许现在也并不算晚,仍有可能走上那条替代的道路。【译者注】:「具身智能」概念系作者对 Dewey 的总结概括,Dewey 本人并没有使用过。相同思想者还有梅洛-庞蒂,他们从根本上否定了心灵与身体的二元分离,将智能视作有机体和环境持续交互中涌现之物。Dewey 原文如下:「没有习惯,只有烦躁和困惑的犹豫。仅有习惯,则是机器般的重复。当习惯之间发生冲突并释放冲动时,有意识的探索诞生 —— 这就是智能的本质功能。」