第二位主讲人是19级的张巍,他此次为大家分享的是一个为《Learning Network-to-Network Model for Content-rich Network Embedding》的论文,这篇文章主要讲述对于丰富内容的网络的表示学习问题。

张巍同主要通The framework of network embedding,Methodology,Experiments,Conclusion四个方面进行文章内容的讲解,首先张巍同学介绍了一下模型的大致框架,并指出对于给定的内容丰富的网络,每个结点被作为ego网路的中心结点,ego网络由结点自身和它的领居结点组成。作者提出的网络到网络的嵌入学习使用的是encoder-decoder的结构。

The framework of network embedding

张同学紧接着介绍了内容丰富网络的表示学习问题,其节点与丰富的内容信息相关联。内容丰富的网络嵌入在融合复杂的结构依赖和丰富的内容方面具有挑战性。为了解决这一问题,作者提出了一种生成式模型——网络到网络的网络嵌入(Net2Net-NE)模型,该模型能够有效地将结构和内容信息融合为一个连续的每个节点的嵌入向量。具体而言,首先将内容丰富的网络视为一对具有不同模式的网络,即内容网络和节点网络。利用中心节点与所连接节点之间的强相关性,提出了一种多层递归可组合编码器,将整个ego网络的结构和内容信息融合到egocentric的节点嵌入中。

最后,张巍同学指出此外,一个跨模态解码器被部署到映射以egocentric的节点嵌入到一个互连网络的节点身份。通过对每个节点的内容进行识别,生成内容网络到节点网络的映射。具体所用技术为cnn提取文本信息,gcn融合结构信息,最后再用一层全连接来预测结点表示的分布是否为网络结点的分布表示。

 

接着出场的是19级的杜涵,她此次为大家分享的是一篇名为《ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks》的论文,这篇论文提出了非对称卷积块(ACB)作为CNN的构造块,它使用一维非对称卷积核来增强方形卷积核,用ACBs代替标准的方形卷积核来构造一个非对称卷积网络ACNet,该网络可以训练到更高的精度。训练后,我们等价地将ACNet转换为相同的原始架构,因此将不需要额外的计算。

杜涵同学为大家介绍了该网络实现的过程。我们通过简单地将每个3×3卷积层替换为ACB来构建ACNet,该ACB模块包含三个并行层,内核大小分别为3×3,1×3,和3×1。和标准CNN的常规做法类似,在三层中的每一层之后都进行批量归一化,作为一个分支,并将三个分支的输出综合作为ACB的输出。我们可以使用与原始模型相同的配置来训练ACNet,而无需调整任何额外的超参数。训练完成后,我们尝试将每个ACB转换为产生相同输出的标准卷积层这样,与经过常规训练的对等方相比,我们可以获得不需要任何额外计算的功能更强大的网络。该转换通过两个步骤完成,即BN融合和分支融合。

在介绍完整个流程之后,她为我们介绍了非对称卷积块(ACB)的优点。通过使用ACB替换成熟体系结构中的方形核卷积层来构建非对称卷积网络(ACNet),并在训练后将其转换为原始网络结构。ACNet可以增强模型对旋转失真的鲁棒性,并显著增强方形卷积核的骨骼部分。并且ACNet也易于使用主流框架实现。

 

以下是张巍、杜涵同学在这次seminar中的表现评分。