GAITC 2021智媒专题论坛丨罗杰波：自动检测虚假信息

　　6月6日下午，由中国人工智能学会(以下简称CAAI)主办，新浪新闻联合中国传媒大学共同承办的2021全球人工智能技术大会(GAITC 2021)“发展与挑战”专题论坛在杭州拉开帷幕。罗彻斯特大学教授、ACM/AAAI/IEEE/SPIE/IAPR Fellow罗杰波在本次专题论坛上，以视频接入的方式与来自业界，学术界的嘉宾们分享了《矛与盾：虚假信息的甄别与散布之战》的报告。

　　罗彻斯特大学教授、ACM/AAAI/IEEE/SPIE/IAPR Fellow罗杰波。

　　罗杰波教授提到，社交媒体由于它的通用性和开放性，同时也带来了其他问题。最大的问题就是虚假信息，包括谣言以及不实的消息，从而成为巨大的社会问题。为了控制谣言的散布增强新闻的可信度，我们必须用自动检测的方法来检测这些虚假信息。

　　以下为罗杰波教授演讲实录，内容经编辑略有删减：

　　大家好，今天给大家报告的题目是《矛与盾：虚假信息的甄别与散布之战》。社交媒体近年来已经成为获取新闻和了解舆情的重要渠道。社交媒体由于它的通用性和开放性，同时也带来了其他问题。最大的问题就是虚假信息，包括谣言以及不实的消息， 已经成为巨大的社会问题，为了控制谣言的散布增强新闻的可信度，我们必须用自动检测的方法来检测这些虚假信息。

　　今天给大家介绍一下我的研究小组在这方面的工作，包括在一些重大的事件中谣言的影响。

　　众所周知社交媒体上充满各种谣言和虚假新闻。虚假信息检测有很多的应用，对于社交媒体平台来说，这有助于保证他们的可信度;对于新闻、媒体来说，有助于保证新闻的可信度。

　　谣言检测具体的做法有两个重点：一点就是特征提取，另外一点就是建立一个检测模型。从特征提取来说有这么几大类：有文本的特征、有图像的特征、有用户的特征也有传播的特征，这些特征都是有用的。

　　对于检测模型来说有两大类的方法，前期大家用的都是检测模型，也就是说建立一个模型把任何一条新闻分类成要么是真实要么是虚假的。这是针对内容来的，针对内容的方法有一个缺点，它忽略了谣言传播上的特性。

　　所以后来有以传播模型为主的检测方法，把新闻传播中的各种entity变成了网络，通过网络的分析进行谣言检测。这样的方法比前面根据内容的方法一般来说要准确的多。但我们可以证明把这两种方法结合在一起，以取得最高的检测度。

　　今天我大概介绍一下前期的三个工作和我们最近正在做的工作。前期三个工作第一个工作是AAAI2016的，它代表的是用graph-based传播模型进行检测的。.ACM Multimedia 2017这个工作主要是对多媒体的内容和特征进行检测。

　　先讲第一个：我们想通过社交媒体上消息传播过程中自然会产生的对立的观点来进行谣言检测。 图示这个就是框架，有一条消息传播的过程中有人支持这个消息有人反对这个消息。

　　有三条消息，这两条消息互相支持，这两条消息互相反对。 对互相支持的消息来说，如果我们知道其中一条是可信的，那么另外一条也是可信的。反之，对立的观点如果其中一个是真实的，那么另外一个就是虚假的。 这个特性在以前的工作中没有被采用，我们在这个工作中利用互相支持和互相反对的关系来做谣言检测。

　　第一步首先要把互相支持和互相冲突的观点找出来。 首先有Topic Model，然后有传播网络，传播网络中把冲突的观点找出来，也就是互相支持的消息就把它标成绿的，互相反对就标成红的。

　　有了这样的网络之后可以计算这个可信度，具体的可以参见这篇论文，通过互相支持和互相反对的关系在网络中把谣言要么证实要么证伪。

　　这是具体怎么计算传播中权重的公式。下面讲一下结果，我们会看到这两个工作是前面的工作，是基于内容的，第三个工作是我们计算所合作者组里早先的工作，他们考虑到了传播中的特性。 CPCV就是我刚刚介绍的方法，是考虑到了传播过程中消息之间互相支持互相反对的关系，因而我们取得了最好的效果。 值得一提的是这个方法CPCV有一个特点：谣言传播的早期它的检测的正确率很高，比起前人的工作来说很高。 我们要控制谣言，当然最好控制在早期和萌芽之中。 这种方法给我们很重要的工具就是可以尽早地控制谣言，这就是我刚刚指出的优点。

　　第二个工作是2017年的工作，就是怎么样用多媒体的特征来进行谣言检测。 我想强调一下我们是用图像信息的，因为我们是多媒体信息。 为什么图像信息很重要?图像在社交多媒体中越来越广泛的应用，新浪微博有一个统计，超过一半新浪微博的消息有图片的。 有图片消息的传播更为迅速，有统计表明，有图片的微博和没图片的微博传播的速度和数量差一个数量级。

　　我给大家举个例子说明一下图像在虚假消息中的价值，有的是张冠李戴，把早先出现的图片安到新的事件上，有的是容易引起误解的图片。

　　还有一个虚假图片，图片是造出来。 在带图片消息中文本和图像都有可能暴露消息的虚假性，有的在图片里，有的在文字里也是耸人听闻的，因此暴露虚假性。

　　这个框架有三个部分：第一部分是通过LSTM来Model文本消息，当然LSTM同时把文本和社交上下文信息整合在一起。第二部分这个网络是提取视觉的特征，第三个部分的模块通过注意力机制把文本信息，上下文信息和图片的信息整合到一起进行统一的训练。 上下文我们指的是标点符号的应用和链接等等，这个看起来不是很多信息，但反而能够暴露虚假信息。

　　最后这个注意力机制，把文本和视觉信息进一步整合起来。 我们做的实验就是用两个都是多媒体的数据集，一个是从微博抓取的，一个是从推特抓取的。比如说单模态的做法，我们把三个模态分别拿来做监测能做到什么效果。 还有一个比较简单、直观的融合模型。还有，我们做了两个以神经网络为基础整合的方式，一个是借用了VQA，另外一个是借用了NeuralTalk。我们把所有的其他方法跟我们提出的框架进行对比，这些就是实验结果。 有意思的是社交上下文的信息在微博里面比图像和文本更有效，在推特就不是很有效，这说明文化上的差异。

　　我们也做了消融实验。 一些用词也会帮助我们检测谣言，还有一些通过两个模态分别不是很确定，加在一起就可以确信这个是虚假消息。

　　为了检查相似度， 第一大类方法是term based， 主要是TF-IDF。 有一个改进的版本是BM25，是改进了TF-IDF，是把数据进行了归一化。

　　讲一下最新的工作，是针对新冠流行病的。这个工作还没有发表，我们抓取了大概有160万条关于新冠疫苗的推文。 我们通过一些手段知道这些推文是不是发真实的消息或者谣言，要么是假的要么是正常的。我们借用美国CDC打疫苗的tracker还有统计局的数据，包括疫情的一些死亡率阳性率，最后用回归进行分析。有关疫苗的虚假信息占比情况大概是1%左右，平均下来大概不到1%是谣言。

　　下面用了time window计算谣言的数量。这边time window用的是四天，另外正常发的消息用的是五天。为什么用四天和五天呢?是通过Granger Causality test决定的。关于疫情或者疫苗用的是七天，这些做法都是为了去除噪声。

　　我们怎么把这些变量加到回归关系中去?早先被另外一个研究组用的时候，他们考虑一些用户的特性，比如说性别、年龄等等。 我们同时也考虑了用户的经济能力等等。

　　最后提一下另外的相关工作。 现在网络上有很多散布仇恨的言论，有一个现象就是这些散布仇恨言论的人，他们会试图逃避检测软件。 检测软件会靠关键字检测仇恨言论，为了逃避这些检测，他们用了代码，这个是比较狡猾的方法。

　　我们做了一个工作，我们检测这些仇恨言论，是通过仇恨代码，而不是根据关键字。 而且是根据文字上下文来检测是不是仇恨言论。 还有一个特点， 这个方法可以继续跟踪仇恨代码演变。 这些散布仇恨的人很狡猾，当他们知道软件发现是这样用的时候会改仇恨代码。我们怎么样持续地跟踪?我们是用自然语言理解的方法分析经常出现在一起别的信息，只要这些别的信息同时出现，可以反推，继续跟踪。

　　最后我做个小结。 第一，虚假信息检测是非常重要的研究方向，同时对社会有很大的应用价值。第二，虚假信息检测中多媒体内容的分析非常重要，而且可以和信息传播的分析一起结合来提高检测率。 第三， 现在讲可解释的AI，对虚假信息检测而言可解释性也很重要，我们要知道为什么算法说它是虚假信息。

　　最后，在重大事件期间通过检测和发现虚假信息，我们可以发现很重要的公共意见和舆情信息。关于虚假信息散布和甄别的战争是长期的战争，将会是一个持续的研究课题。