2020年第1期Seminar报告总结

2020年第1期Seminar报告总结

第一位主讲人是19级的王柯,他此次为大家分享的是一篇名为《Topic-Aware Neural Keyphrase Generation for Social Media》的论文。

为了让大家了解该论文所做的工作,王柯在seminar开头进行了一些背景介绍:每天在社交媒体上有大量用户生成的内容发布,为了便于自动语言理解,该论文研究关键词预测,即从大量帖子中提取显著信息。相比于大多数从源帖子中提取单词以形成关键短语的现有方法,该论文提出了基于序列到序列(seq2seq)的神经关键词生成框架,使得不出现在帖子中的关键词也可以被生成。此外,论文的模型有主题感知的特性,能对跨文本级的隐性主题表示进行联合建模,这有助于缓解在社交媒体语言中广泛存在的数据稀疏性。

       随后,王柯解释道,社交媒体语言的关键词预测是非常难得,因为它通常是一种非正式的写作方式和口语化的表达。研究的难点就在于社交媒体语言是带有很大的噪音以及自身非正式的写作方式,这带来了很大的数据稀疏性,给模型带来很大的挑战。之前的工作都是基于抽取做的,这个可能比较适合一些正式的文体,比如论文,报纸。但是对于社交媒体语言来说,就存在比较大的困难,因为它的关键词很有可能不在原帖子里

       王柯指出,该论文提出的解决方案就是——主题感知的关键词生成,即使用跨文本级的隐主题来改善数据稀疏问题,使用序列生成来产生新关键词。论文中整个模型的结构,主要由两部分构成:用于探索隐主题的神经主题模块和用于关键词生成的seq2seq模块。

模型的两个模块的输入分别是经过bag of words(词袋模型)编码的向量Xbow ,用于神经主题模型的输入,和词的索引Xseq ,用于关键词生成模块的输入,模型的输出则是关键词序列。考虑到介绍的简洁性,王柯把下面的这块称作神经主题生成模块,上面的部分叫做神经关键词生成模块。神经主题模块的输入Xbow首先由词袋编码器编码为连续的隐变量z(代表x的主题),然后,词袋解码器基于隐变量z尝试重建x并输出Xbow的向量X‘bow。其实解码器模拟了主题模型的生成过程。

       论文在三个社交媒体数据集上进行了实验,一个中文数据集微博和两个英文数据集Twitter和stackexchange。其中,Twitter是来自2011年的推文,微博是2014年1月到8月的实时趋势。Stackexchange则是从公开的语料库随机采样得到。

训练数据和样本标签

在展示完实验结果后,王柯总结和分析道:

  • 本论文提出了一种新的社交媒体关键字生成模型,该模型允许联合学习潜在主题表示。
  • 论文模型为这个任务构建了三个新的社交媒体数据集
  • 实验结果表明,论文提出的模型在社交媒体语言上有着更好的表现

 

第二位主讲人是18级的曾琦,他此次为大家分享的是一篇名为《Leveraging percolation theory to single out influential spreaders in networks》的论文。

在背景部分,曾琦介绍道,识别网络中重要节点对于控制疾病或谣言的传播,或者最大化信息的传播是非常重要的,预测网络中节点传播能力的方法有很多,例如degree, betweenness centrality , k-shell (or k-core) , and eigenvector centrality等等。

同时,曾琦补充说明道,一个完全通用的预测节点重要性的方法并不存在,因为不同中心性的预测能力不仅取决于底层网络的拓扑结构,而且还取决于具体的扩散过程。而他本次seminar所介绍的论文,则是针对专注于SIR传播模型,提出了一个识别重要节点的指标。

SIR模型

该论文首先提出了一种名为Non-Backtracking centrality的方法:首先将网络表示成一个2E*2E的非回溯矩阵M;其后,求解非回溯矩阵的主特征向量V,由于渗流理论与SIR模型可以相互映射,故而可以计算出边渗流的边占据概率。

曾琦解释道,这种中心性类似于一般的特征向量中心性,但是它忽略了顶点i对它的邻居的中心性的贡献,从而避免了在某些情况下自我强化的效应,在局部树状网络中,对于边渗流和点渗流,其渗流阈值正好是NB矩阵的最大特征值的倒数。节点属于渗流簇的概率与疾病爆发规模是成正比的。

实验结果

在展示了相应的实验结果后,曾琦的总结如下:

  • NB centrality是所有方法中最好的,并且时间复杂度很低。
  • k-shell在所有方法中效果最不好。
  • NB centrality在SIR传播模型效果很好,在其他传播模型上是否适用还有待研究。
  • 对于SIR模型上,多点传播情况下,寻找最有影响力节点集,NB是否可以应用也有待研究。

以下是王柯、曾琦同学在这次seminar中的表现评分。

2020年第1期Seminar——王柯、曾琦

2020年第1期Seminar——王柯、曾琦

Talk 1

Title:Topic-Aware Neural Keyphrase Generation for Social Media

Speaker: Ke Wang

Abstract:

A huge volume of user-generated content is daily produced on social media. To facilitate automatic language understanding, we study keyphrase prediction, distilling salient information from massive posts. While most existing methods extract words from source posts to form keyphrases, we propose a sequence-to-sequence (seq2seq) based neural keyphrase generation framework, enabling absent keyphrases to be created. Moreover, our model, being topic-aware, allows joint modeling of corpus level latent topic representations, which helps alleviate the data sparsity that widely exhibited in social media language. Experiments on three datasets collected from English and Chinese social media platforms show that our model significantly outperforms both extraction and generation models that do not exploit latent topics.1 Further discussions show that our model learns meaningful topics, which interprets its superiority in social media keyphrase generation.

Supervisor: Yan Chen, Shixiang Jiao

Talk 2

Title:Leveraging percolation theory to single out influential spreaders in networks

Speaker: Qi Zeng

Abstract:

The formulation of an accurate method to optimally identify influential nodes in complex network topologies remains an unsolved challenge..Here, we present the exact solution of the problem for the specific, but highly relevant, case of the Susceptible-Infected-Removed (SIR) model for epidemic spreading at criticality. By exploiting the mapping between bond percolation and the static properties of SIR, we prove that the recently introduced Non-Backtracking centrality is the optimal criterion for the identification of influential spreaders in locally tree-like networks at criticality.

Supervisor: Ying Liu, Jiaxing Chen

 

Time:16:00  January 02, 2020

Address:MingLi Buliding C1102

Chair:Han Du

2019年第29期Seminar报告总结

2019年第29期Seminar报告总结

第二位主讲人是19级的张巍,他此次为大家分享的是一个为《Learning Network-to-Network Model for Content-rich Network Embedding》的论文,这篇文章主要讲述对于丰富内容的网络的表示学习问题。

张巍同主要通The framework of network embedding,Methodology,Experiments,Conclusion四个方面进行文章内容的讲解,首先张巍同学介绍了一下模型的大致框架,并指出对于给定的内容丰富的网络,每个结点被作为ego网路的中心结点,ego网络由结点自身和它的领居结点组成。作者提出的网络到网络的嵌入学习使用的是encoder-decoder的结构。

The framework of network embedding

张同学紧接着介绍了内容丰富网络的表示学习问题,其节点与丰富的内容信息相关联。内容丰富的网络嵌入在融合复杂的结构依赖和丰富的内容方面具有挑战性。为了解决这一问题,作者提出了一种生成式模型——网络到网络的网络嵌入(Net2Net-NE)模型,该模型能够有效地将结构和内容信息融合为一个连续的每个节点的嵌入向量。具体而言,首先将内容丰富的网络视为一对具有不同模式的网络,即内容网络和节点网络。利用中心节点与所连接节点之间的强相关性,提出了一种多层递归可组合编码器,将整个ego网络的结构和内容信息融合到egocentric的节点嵌入中。

最后,张巍同学指出此外,一个跨模态解码器被部署到映射以egocentric的节点嵌入到一个互连网络的节点身份。通过对每个节点的内容进行识别,生成内容网络到节点网络的映射。具体所用技术为cnn提取文本信息,gcn融合结构信息,最后再用一层全连接来预测结点表示的分布是否为网络结点的分布表示。

 

接着出场的是19级的杜涵,她此次为大家分享的是一篇名为《ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks》的论文,这篇论文提出了非对称卷积块(ACB)作为CNN的构造块,它使用一维非对称卷积核来增强方形卷积核,用ACBs代替标准的方形卷积核来构造一个非对称卷积网络ACNet,该网络可以训练到更高的精度。训练后,我们等价地将ACNet转换为相同的原始架构,因此将不需要额外的计算。

杜涵同学为大家介绍了该网络实现的过程。我们通过简单地将每个3×3卷积层替换为ACB来构建ACNet,该ACB模块包含三个并行层,内核大小分别为3×3,1×3,和3×1。和标准CNN的常规做法类似,在三层中的每一层之后都进行批量归一化,作为一个分支,并将三个分支的输出综合作为ACB的输出。我们可以使用与原始模型相同的配置来训练ACNet,而无需调整任何额外的超参数。训练完成后,我们尝试将每个ACB转换为产生相同输出的标准卷积层这样,与经过常规训练的对等方相比,我们可以获得不需要任何额外计算的功能更强大的网络。该转换通过两个步骤完成,即BN融合和分支融合。

在介绍完整个流程之后,她为我们介绍了非对称卷积块(ACB)的优点。通过使用ACB替换成熟体系结构中的方形核卷积层来构建非对称卷积网络(ACNet),并在训练后将其转换为原始网络结构。ACNet可以增强模型对旋转失真的鲁棒性,并显著增强方形卷积核的骨骼部分。并且ACNet也易于使用主流框架实现。

 

以下是张巍、杜涵同学在这次seminar中的表现评分。

 

 

2019年第28期Seminar报告总结

2019年第28期Seminar报告总结

第一位主讲人是19级的邓丹,她此次为大家分享的是一篇名为《The Gradual Resampling Ensemble for mining imbalanced data streams with concept drift》的论文,这篇论文主要提出了一种特殊的模型来解决漂移和类不平衡这两种联合问题。

邓丹同学首先对数据流、在线学习以及类别不均衡等基础概念做了详细的解释。然后提到过采样方法的现状:一般都是通过评估过去少数样本与当前少数样本集的相似性,将之前接收到的少数样本有选择地吸收到当前少数样本集中。但是这些过采样技术通常忽略了大多数类的分布,因此有类重叠的风险。基于该问题,论文提出了GRE算法(渐进重采样集成)。GRE算法由选择性重采样机制、集成更新机制、加权机制和最终决策四部分构成,其基本思路为首先从之前时刻的少数类中选择一部分添加到当前的少数类集合中,使得当前的不平衡类变成平衡类。并且把当前时刻的少数类和多数类反馈给之前的数据块,使整体快速反应不同的概念漂移。然后对当前的少数集合重新采样后,将某时刻放大后的数据块随机分为p个子块,根据这p个子块建立p个分类器。其次,分别对新分类器和已有的分类器的权值进行评估,新的分类器替换组中性能最差的p个分类器,一个训练集相对平衡的分类器可以获得更高的权重。最后,在得到所有分类器的权值后,使用加权投票规则进行聚合做出最终决定。

GRE算法的系统级框架

接下来,邓丹同学对实验结果进行了分析,她指出该论文选择了七个二分类问题且平衡比都为1:19的数据集进行试验, 验证了不同数据块大小和分类器数量对GRE算法的影响以及GRE与其他算法在不同数据集上的表现。实验结果显示:

  • 预定义的数据块大小不会对GRE的预测能力产生显著影响;
  • GRE使用较小的分类器数量可以充分保存过去数据块的信息,具有良好的泛化性能;
  • 与其他算法相比,GRE提高了少数样本模型的识别率,并且通过使用当前的观测结果更新以前的集成成员,GRE可以快速地对不同类型的概念漂移做出反应,大多数示例中获得良好的性能。

 

第二位主讲人是18级的陈嘉兴,他此次为大家分享的是一篇名为《A new propagation model coupling the offline and online social networks》的论文,该论文主要提出了一种通过在线和离线交互对信息进行传播的模型,通过开发多层网络传播模型来表征在线和离线通信的耦合效果。

多层网络传播模型

陈嘉兴同学在seminar开头便详细解释起论文所提出的多层网络传播模型的主要结构,其中,一、三层表示社交层(在线),节点是账号;二层表示真实网络(线下),节点是个体。实线代表两个账号或个体是朋友或熟人关系,虚线表示账号属于哪个个体。S表示个体或账号没有转发信息;I表示节点已被通知并准备转发消息;R表示节点对消息反感不会转发消息;两种商品的广告信息在一三层传播。

实验对比图

进入实验部分后,陈嘉兴开始对比模型之间的性能差异:传统的SIR模型源于对疾病的研究,其中S为易感,I为感染者,SIR本质上属于社交层上的传播模型;而改进的SIR模型,S先转变为感兴趣或不感兴趣状态。左图社交层上运行的是经典的SIR模型,右图则是改进后的SIR模型经典模型,随着传播的时间增加,R态逐渐增加到1,这是不实际的,而改进的SIR模型在经历一段爆发式增长后趋于平稳,符合实际状况。

在总结阶段,陈嘉兴分析道,通过在线和离线交互对信息传播进行建模,如今已经成为一个具有挑战性的话题,逐渐引起了工业信息学领域的广泛关注。为此,该论文通过开发多层网络传播模型来表征在线和离线通信的耦合效果,该论文所提出的多层网络传播模型主要考虑了以下三个新颖的方面:

  • 在两种类型的社交软件上发生了两种不同的传染;
  • 在个人选择和信息传播的共同影响下,它们之间的竞争和动态过程;
  • 离线和在线社交网络之间的信息耦合。

 

以下是邓丹、陈嘉兴同学在这次seminar中的表现评分。

2019年第29期Seminar——张巍、杜涵

2019年第29期Seminar——张巍、杜涵

Talk 1

Title:Learning Network-to-Network Model for Content-rich Network Embedding

Speaker: Wei Zhang

Abstract:

Recently, network embedding (NE) has achieved great successes in learning low dimensional representations for network nodes and has been increasingly applied to various network analytic tasks. In this paper, we consider the representation learning problem for content-rich networks whose nodes are associated with rich content information. Content-rich network embedding is challenging in fusing the complex structural dependencies and the rich contents. To tackle the challenges, we propose a generative model, Network-to-Network Network Embedding (Net2Net-NE) model, which can effectively fuse the structure and content information into one continuous embedding vector for each node. Specifically, we regard the content-rich network as a pair of networks with different modalities, i.e., content network and node network. By exploiting the strong correlation between the focal node and the nodes to whom it is connected to, a multilayer recursively composable encoder is proposed to fuse the structure and content information of the entire ego network into the egocentric node embedding. Moreover, a cross-modal decoder is deployed to mapping the egocentric node embeddings into node identities in an interconnected network. By learning the identity of each node according to its content, the mapping from content network to node network is learned in a generative manner. Hence the latent encoding vectors learned by the Net2Net-NE can be used as effective node embeddings. Extensive experimental results on three real-world networks demonstrate the superiority of Net2Net-NE over state-of-the-art methods.

Supervisor: Biao Wang, Lanlan Yu

Talk 2

Title:ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks

Speaker: Han Du

Abstract:

As designing appropriate Convolutional Neural Network (CNN) architecture in the context of a given application usually involves heavy human works or numerous GPU hours, the research community is soliciting the architecture-neutral CNN structures, which can be easily plugged into multiple mature architectures to improve the performance on our real-world applications. We propose Asymmetric Convolution Block (ACB), an architecture-neutral structure as a CNN building block, which uses 1D asymmetric convolutions to strengthen the square convolution kernels.For an off-the-shelf architecture, we replace the standard square-kernel convolutional layers with ACBs to construct an Asymmetric Convolutional Network (ACNet), which can be trained to reach a higher level of accuracy. After training, we equivalently convert the ACNet into the same original architecture, thus requiring no extra computations anymore. We have observed that ACNet can improve the performance of various models on CIFAR and ImageNet by a clear margin. Through further experiments, we attribute the effectiveness of ACB to its capability of enhancing the model’s robustness to rotational distortions and strengthening the central skeleton parts of square convolution kernels.

Supervisor: Jin Zheng, Zilu Gan

 

Time:16:00  December 26, 2019

Address:MingLi Buliding C1102

Chair: Dan Deng