青大主页 加入收藏 旧版回顾
学院信息

青年博士赵其鲁讲述“深度学习前沿之自监督学习”

上传时间 :2021-07-12    浏览次数 :    编辑 :刘曼平

7月12日上午,我院青年博士赵其鲁在博知楼510会议室为学院师生作出了主题为“深度学习前沿之自监督学习”的夏季学期高端学术报告。学院70余名师生代表参加报告会。

赵其鲁首先提出,我们现在正处于深度学习引领的人工智能热潮之中。他提出示例说明,Geoffrey Hinton及其团队提出的AlextNet在Imagenet图像分类比赛中取得了令人惊讶的成绩,随后在整个学术界和工业界引发了一轮人工智能热潮,而这股热潮随着AlphaGo在围棋界大杀四方最终蔓延到了整个人类社会。对于深度学习热潮,赵其鲁从个人视角出发,尝试给出一些简单的解读,并介绍深度学习前沿的研究方向——自监督学习。

随后,赵其鲁又通过介绍,实际的场景里通常有海量的无监督数据,而有监督数据却很少。自监督学习(Self-supervised Learning)作为Unsupervised Learning的一个重要分支,给出了很好地解决方案。它的目标是更好地利用无监督数据,提升后续监督学习任务的效果。其基本思想是:Predicting everything from everything else。具体方法是首先定义一个Pretext task (辅助任务),即从无监督的数据中,通过巧妙地设计自动构造出有监督(伪标签)数据,学习一个预训练模型。构造有监督(伪标签)数据的方法可以是:假装输入中的一部分不存在,然后基于其余的部分用模型预测缺失的这部分。如果学习的预训练模型能准确预测缺失部分的数据,说明它的表示学习能力很强,能够学习到输入中的高级语义信息、泛化能力比较强。而深度学习的精髓正在于强大的表示学习能力。

最后,赵其鲁解答了同学们的疑问,帮助同学们更深入的理解该主题。

专家简介:赵其鲁,男,1987年11月出生,山东省临沂市人。2006年-2018年期间就读于中国石油大学(华东),获本硕博学位。2019年1月至2020年12月,工作于中国海洋大学信息科学与工程学院视觉实验室,博士后。2021年1月至今,工作于青岛大学计算机科学技术学院,讲师。

主要研究方向:无监督特征学习,自监督学习,深度学习等。在《IEEE Transactions on Neural Networks and Learning Systems》、《Knowledge-Based Systems》、《Applied Soft Computing》、《计算机学报》等国内外期刊上发表论文数篇,其中SCI一区3篇。

 

版权所有  青岛大学计算机科学技术学院  | copyright 2019 School of Computer Science, Qingdao University. All Rights Reserved.