Icfj 的一个项目

人工智能新闻应用注意:来自开发团队的分享

作者 Ali Tehrani
Oct 5, 2023 发表在 媒体创新
Blue data steam on a dark blue background

人工智能(AI)是新闻业的热议话题,媒体专业人士和学者都在争相探讨这一轮技术创新将如何重塑本已岌岌可危的新闻业。AI 能成为收入下降的新闻编辑室的资源吗?它会夺走工作,还是能让本已工作量超载的记者腾出时间精心去製作高品质的报道?

AI 与自然语言处理(NLP)浅介

首先,让我们澄清一些定义。AI 是指机器执行通常与人类认知和智力相关的任务的能力;在新闻领域,AI 通常指的是无需人为干预即可分析、理解和产生文字的应用程式。

自然语言处理(NLP)则是 AI 的一个子集,专注于电脑和人类透过自然语言进行互动。另外值得注意的是,“自然语言” 指的是人类所说的语言,例如英语,与 Python 等程式语言不同。

新闻业中有关 AI 的大部分讨论都是围绕 NLP 功能。AI 正是透过 NLP 帮助记者总结文章、翻译内容和佐证信息。本质上,所有使用我们日常语言的 AI 应用程式都是透过 NLP 实现的。

我们如何为记者开发 AI 工具

2021 年,我是一个跨领域团队的一员,致力于解决调查问题。我们试图从数百万页的非结构化信息(即文字)中解析重要信息。由于我们正在处理非英语文本,这一事实变得更加困难。我们开始尝试 GPT-3 API,就在那时我们得到了技术上茅塞顿开的 “啊哈!” 时刻。

那是在 ChatGPT 出现之前,当时记者对 AI 非常怀疑;我们忙于建立证据,以展示 OpenAI 这项创新的潜在力量。

我们开始以 NPR 的文章为试点,并开发了一个摘要工具,将这些文本转换为简明的要点摘要,类似于 Axios 的文章风格。我们选择这种风格主要是因为我们都喜欢 NPR 的故事,但它们往往较长。我们开发的工具会在 NPR 文章发表后立即进行总结,并在记者审阅并批准摘要后,将其发佈在我们的网站 Gist 上。

在早期,我们意识到当句子长于几行时,我们的初始模型会出现 “幻觉”。摘要产生了一些在语境脉络和语法上都有意义的引述,但这些引述从未出现在 NPR 来源文章中。

NLP 上下文中的 “幻觉” 是指模型产生的输出不准确、在输入资料中没有凭据,或出现完全无意义的情况。在我们的例子中,我们需要确保摘要中的引述确实存在于原始文章中。在新闻的语境中,发布这类幻觉可能是致命的,或将导致错误信息的传播。

我们开始对模型进行调整以防止这些幻觉的出现。这是一个迭代过程,因为我们必须不断训练模型并测试它。我们还在这个过程中添加了更多的新闻审核程序,这个过程为我们提供了未来 AI 在新闻业应用的一些关键起点。

我们的经验总结

训练一个能顾及新闻标准的模型并不容易,但这漫长过程让我们清楚了四点:

1)AI 辅助报道是可行的,但 AI 报道则不然。人类监督是新闻报道过程中的必要一环。

人类的判断和认可是任何新闻工作过程中不可或缺的一部分,虽然我们可以使用科技来承担繁琐、重複乏味的任务,但它不能完全取代记者的角色。例如在我们的模型中,每个摘要在发布之前都会由记者审阅并认可。

2)AI 模型的好坏取决于其训练过程。为了从任何语言模型中获得最佳结果,它的目标应该有明确定义。然后,你可以判定最有效的训练途径,并开始展开训练过程。

模型也不是一刀切的解决方案。新闻编辑室在探索 AI 解决方案时应考虑自己独特的挑战和需要,记者也需要在训练演算法方面扮演积极角色,而不是将之留给开发人员独力处理。例如,一个仅按德克萨斯州法院文件进行训练的模型,就可能无法在阿拉斯加法院文件的解析上发挥最佳结果,因为两地撰写法律意见的风格不同。

3)跨领域合作对于 AI 在新闻领域的应用是至关重要的。没有记者,开发人员无法单独处理事实查核、内容摘要和翻译等任务;反之而然,记者也不能独力成事。

我们需要为记者和开发人员创造协作空间,最重要的是确保记者在 AI 将如何应用于他们的工作这方面拥有发言权。

4) 目前的模型仅使用来自个别组织的训练资料即可达到出色的效能。我们发现,在仅使用我们创建的资料进行训练时,我们可以配合我们想要的风格和品质。

记者製作的高品质范例,比从其他来源抓取的类似内容具有更高的价值和效能。这过程不应该是一个单一的步骤——团队应识别当前模型的弱点,并准备额外的范例,来协助向模型展示理想的表现。


图片来源:Conny Schneider on Unsplash.