第一位主讲人是19级的廖梦羽,她此次为大家分享的是2020年新出的《ConSinGAN: Improved Techniques for Training Single-Image GANs》,这篇论文是2019年《SinGAN: Learning a Generative Model from a Single Natural Image》的改进,这篇论文设置了一个学习率缩放因子,减小较低阶段的学习率,有助于减小模型的过拟合;改进了image rescaling的方法,使得处于低分辨率的阶段密度大于处于高分辨率阶段的密度,提高了模型对于图像全局一致性的掌控。
改进了训练策略,使用并行地策略训练,极大加快了训练速度。我们的模型产生的结果更加一致,而且更小,训练效率更高。同时,ConSinGAN允许通过调整同时训练的阶段数量和较低阶段的学习率比列来控制生成图像的多样性。在每个阶段生成 feature maps 传给下一个阶段,而不是生成图像传播。
廖梦羽同学在讲解学习率缩放技术
廖梦羽同学先介绍了生成对抗网络的原理和损失函数,再讲解了SinGAN的网络结构,训练流程和损失函数,sinGAN是第一个可以基于单张图片训练的对抗生成网络,在2019年发表之时大受关注。最后,廖梦羽同学详细地为我们讲解了ConSinGAN的结构,训练策略,改进的学习率缩放技术,以及新的image rescaling技术,对比了ConSinGAN与SinGAN两个模型的生成效果和生成速度,ConSinGAN都有着明显的提升和提高。
第二位主讲人是19级的代永芳,她此次主要讲的是在社交网络中使用基于motif的PageRank对用户进行排名的内容。在介绍今天的内容之前,代永芳同学首先引入motif的概念以及定义,指出motif是反复出现的重要的相互联系模式,也是复杂网络的构建模块。接下来提出传统的PageRank仅仅使用基于边的关系,忽略了复杂网络中由motif,子图组成的少量节点所捕获的高阶结构,并用一个示例解释高阶结构对社交网络的重要性。
代永芳同学讲解传统的PageRank
对于今天的内容,主要分为两个部分,第一个部分是介绍基于3-node simple motif 的PageRank对用户进行排名的内容,在这部分中,首先介绍该模型的四个主要步骤,(1)计算基于motif的邻接矩阵;(2)将edge-based 和motif-based 邻接矩阵线性结合,得到混合邻接矩阵;(3)基于邻接矩阵计算转移概率;(4)通过PageRank得出最终的排序。介绍完该模型的步骤之后用实验证明在PageRank中加入高阶结构的优势。在结束这部分之前,提出的一些思考引出了下一篇基于该模型改进的论文。
第二部分主要是着重介绍基于上篇论文改进的部分。(1)除了线性结合motif-based 和edge-based 邻接矩阵,提出其他非线性结合方法,并进行了对比实验的结果展示,指出非线性组合方法和线性组合方法结果类似,但非线性组合方法相对局限,所以认为线性组合是首选。(2)除了3-node simple motifs,还将3-node anchor motif,K-node motifs纳入PageRank中进行训练,经过实验对比,认为motifs中拥有更多的节点并不会带来更好的性能,同时也指出需要在不同网络中为特定任务选择最合适的motif类型。(3)将多个motifs进行ensemble,在这里只将7种3-node simple motifs进行了组合,实验证明不同的motifs组合不一定会进一步提高社交网络种用户排名任务的性能。在介绍完改进部分后,提出了一些思考。
代永芳同学讲解motif-based的邻接矩阵
最后她也介绍了motifs的其他应用如是否能增强其他graph-based任务,在链路预测上的应用等等。
在结束汇报之后,李平老师和陈雁老师提出了许多关于motif研究的方向和建议,能够启发从另一种方式去思考motif的应用。
以下是代永芳、廖梦羽同学在这次seminar中的表现评分。