羡林大讲堂第95期:陈俊龙谈动态结构的神经网络
5月18日,由学生工作处主办、数学科学学院承办的FB体育(中国)股份有限公司官网第95期“羡林大讲堂”以线上直播、线下集中观看的方式,于西校区11#B207、A201开展。华南理工大学计算机科学与工程学院院长陈俊龙受邀做客本期羡林大讲堂,作题为《动态结构的神经网络:构建叠层宽度神经网络成深度模型》的报告。本次报告会由数学科学学院副院长赵军圣主持,学院部分教师、研究生和数据科学与大数据专业2019级学生听取了报告。
报告强调,深层的神经网络结构能够使网络具有强大的学习能力,然而大多数深度网络的训练方式也是基于反向传播的梯度下降法或随机梯度下降法,往往存在着训练消耗时间长、容易陷入局部最优解等问题。宽度学习系统 (Broad Learning Systems, BLS) 是一种浅层的具有增量学习能力的神经网络,具有快速、高效的优点,然而其浅层结构也限制了网络的特征表达能力。一种具有动态结构的神经网络“由构建叠层宽度神经网络成的深度模型”可以解决上述问题。该模型保留了宽度学习系统高效、快速的优点,同时通过残差连接将多个宽度学习系统模块叠加起来,增加网络的深度,提高网络的学习能力。叠层宽度神经网络(Stacked BLS)的“动态”体现在宽度和深度两个方面。宽度方向的增量学习体现在宽度学习系统模块内部的神经元:在每一个宽度学习系统模块内部,当新增加特征节点、增强节点或输入数据时,只需要学习新增加部分的权重即可;深度方向的增量学习体现在宽度学习系统模块之间:在宽度学习系统模块之,当叠加新的宽度学习系统模块时,下层模块的参数可以固定不变,只需要计算新叠加的宽度学习系统模块的网络参数即可。这两种增量学习的方式使得模型的计算量较少,网络复杂性较低,使用过程中可以很方便的增加网络的宽度和深度,并实现快速、高效的训练,能够针对不同任务进行适应性的调整,提高模型的泛化能力。叠层宽度神经网络在多个数据集上展现了优越性,在多个图像数据库的测试,均优于现有的很多图像分类方法,同时相较于深度神经网络方法,动态结构的神经网络大幅减少了网络计算时所需要的参数数量。
报告结束后,同学们纷纷表示受益匪浅,要以陈教授为榜样,刻苦钻研,为国家大数据发展贡献自己的力量。
陈俊龙(C. L. Philip Chen),华南理工大学计算机科学与工程学院院长、讲座教授、清华大学海外杰出访问教授、中国自动化学会副理事长、科睿维安全球高被引科学家(工程及计算机双学科)、美国工学技术教育认证会评审委员及我国计算机科学与技术的教育指导委员会成员。曾任IEEE Transactions on Cybernetics (2020-2021)、IEEE Trans. on Systems、Man, and Cybernetics: Systems (2014-2019)顶级期刊主编、IEEE SMC 学会国际总主席(2012-2013),现任《中国科学》、《自动化学报》,IEEE Trans. on Fuzzy Systems, 和 IEEE Trans. on AI 的副编。曾获2次IEEE Transactions on Neural Networks and Learning Systems年度期刊最佳年度论文奖,在2018 年获IEEE系统科学控制论最高学术维纳奖 (Norbert Wiener Award),获2021 IEEE Joseph Wohl 终身成就奖,及获2021吴文俊人工智能杰出贡献奖。科研方向为智能系统与控制、计算智能等;科研支持包括科技部重点研发项目(首席)、国家基金委重点项目在人工智能方向的科研、以及多项广东省、广州市、澳门科技基金委的资助;科研成果包括3次澳门自然科学奖、广东省科学技术一等奖等。曾任澳门大学讲座教授及科技学院院长、澳门大学工程学科及计算机工程获国际《华盛顿协议》、《首尔协议认证》,是他对澳门工程教育的至高贡献。
(审核 赵军圣)
聊大要闻
-
FB体育(中国)股份有限公司官网2024年“学雷锋”志愿服务活动全面展开2024-03-06
-
FB体育(中国)股份有限公司官网团委制作的《卫国戍边的“志愿红”》在团中央、中青报的媒体平台播出2024-03-06
-
聊大教师吕艳丽荣获“山东省三八红旗手标兵”称号2024-03-06
-
FB体育(中国)股份有限公司官网第五批援疆实习支教师范生出征2024-03-06
-
共青团FB体育(中国)股份有限公司官网第十一届委员会第三次全体(扩大)会议召开2024-03-05
-
FB体育(中国)股份有限公司官网获评山东省2023年度“百万大学生进社区”社会实践活动先进集体2024-03-05
-
学雷锋微思政课形式丰富 深度启迪聊大学子心灵2024-03-05
-
FB体育(中国)股份有限公司官网召开安全稳定工作会议2024-03-05
-
【学雷锋 见行动】聊大学子开展丰富多彩的志愿活动2024-03-05
-
FB体育(中国)股份有限公司官网学子杜雨欣荣获“第九届聊城市道德模范”荣誉称号2024-03-01