第一位出场的是19级的杨洋,他此次为大家分享的是一篇名为《Interactive Paths Embedding for Semantic Proximity Search on Heterogeneous Graphs》的论文,这篇论文主要介绍了一种比较异构图中节点相似性的方法。

杨洋在PPT的开头对论文做了一个简要的介绍,介绍了一种新的交互路径概念,用于模拟查询对象与目标对象之间多条路径之间的相互依赖关系。并提出用于邻近度估计的交互式路径嵌入(IPE)模型。

交互式路径嵌入(IPE)模型

接着杨洋介绍了论文中使用的主要方法,即采用IPE模型来学习交互式路径的低维表示,从而实现相似度预测。杨洋通过对论文的理解,并根据自己所学的知识,认为论文中考虑到了更高层次的结构问题来进行embedding,增加交互式路径后的实验效果更好。

 

第二位展示的同学为18级的贾兆军,贾兆军同学给大家分享的是一篇名为《Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks》的论文,该论文的任务为:基于无监督的方式生成图片。

他主要从DCGAN(深度卷积对抗式生成网络)的模型结构、建模方法以及应用场景三个方面对任务进行了阐述与分享。

贾兆军同学介绍模型训练的代码实现

贾兆军同学从判别器D和生成器G两个方面阐述了训练过程:

1)    对于判别器D:在用real数据进行训练时,计算的是输出和 label=1 的损失并进行反向传播计算梯度,在用fake数据进行训练时,计算的是输出和 label=0 的损失并进行反向传播计算梯度,然后对这两次的梯度累加的结果进行网络参数的更新

2)    对于生成器G:用的是判别器D的输出和 label=1 的损失并进行反向传播计算梯度,判别器D的输入是生成器输出(也就是fake数据)

Model Architecture

该种方法的生成器中服从均匀分布的噪声Z在一个小范围卷积表征空间中投影为许多特征映射,接着连续4个小步长卷积,将这个噪声作成一个64*64的像素图像,采样的视觉质量改善了对过拟合的关注和对训练样本的记忆。

最后,贾兆军展示了DCGAN用于脸抽样并反卷积生成图片的实验结果(真实人物头像和漫画人物头像),根据实验结果分析了该模型的优势与目前还存在的问题,对于大家提出的疑问,贾兆军同学也做出了合理清晰的解释。

真实人物脸抽样结果展示与对比

其中Loss函数可以是平方损失或逻辑损失,T代表叶子节点数,w代表叶子节点的分数。加入正则项的好处是防止过拟合,这个好处是由两方面体现的:一是预剪枝,因为正则项中有限定叶子节点数;二是正则项里leaf scroe的L2模平方的系数,对leaf scroe做了平滑。

 

以下是杨洋、贾兆军同学在这次seminar中的表现评分。