手机浏览器扫描二维码访问
另一方面,它的实现和结构简洁,抛弃了大量人类看来很有道理和价值,但实际上其实用处不大的设计。
将简洁好用的结构反复重复,这也大大降低了孟繁岐所需要的开工程量。
a1exnet是八层的结构,各自有一些独立的设计,在此时,8层已经是革命性的深度网络了。
更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这个深度推进到22层和19层。
而Resnet的思想,彻底从根本上解决了网络变深就没法顺利训练的问题。它让5o,1oo,15o,甚至1ooo层网络的训练成为可能。
“从去年的8,到今年的1oo+层,甚至1ooo层也可以训练。在2o13年的视角来看,这一剂猛药应该够劲了。”
不仅是深度上取得了开创性的突破,Resnet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。
如果综合几个不同方式训练的Resnet,平均他们的输出再去预测的话,其Top-5错误率甚至低至3.7%。
“其实在ImageneT上做得太准了反而是一件怪事。”考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。
Resnet的Res指residua1,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。
再说的浅显一点,假设原本的操作为f(x),Resnet就是把计算过程从f(x)改为f(x)+x。
这也是孟繁岐最早与付院长讨论的内容之一。
这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。
在此之后的几乎所有aI文章,都很难绕得开这个思路。恺明本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。
不得不说这是一个文数字。要知道即便是naturenetce三大世界级顶刊常客,著名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。
当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。
很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。
但就aI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。
大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。
学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。
恺明凭借几篇代表作奠定自己历史位后,就总有个别人喜欢说什么“Resnet的思想早就有人提过了”,“几十年前的东西不算什么东西”,“这篇文章也就是流量大罢了,和流量明星是一样的”。
酸味都要溢出屏幕了。
孟繁岐不是没读过一些理论类的文章,但他个人觉得时代的aI,p话谁都会说,代码写出来才是本事。你说几十年前就有的东西,怎么不写一个Resnet突破人类水准呢?
Resnet的核心代码难写吗?不难的。
基于阿里克斯的框架,只需几个小时的时间,他就可以基本复现出Resnet论文中的所有结构。
弱小和无知不是生存的障碍,傲慢才是。
作品简介少年云羡,逆天改命,诛魔屠神,自成境界。我云羡不是魔,也不屑做神,神魔与我何干!魔若犯我,我便诛魔,神若挡我,我便屠神!...
作品简介她是美艳的包子美人,一朝变身,费尽心机步步为营,左手撕渣,右手引郎他是冷峻的玉面朗中,将计就计,见招拆招步步紧逼,前方撒饵,后方掏心。正是小村女身负大梦,劈渣男,踩毒女,虐白莲,素手纤纤眼波横甩勾郎中俏郎中暗藏身世,拨迷雾,寻始末,报亲仇,药香阵阵大手斜挑戏姑娘。只是,这郎中身世一日至少双更ing,希望大家喜欢。...
简介关于开局缥缈宗主,召唤大乘期护卫穿越天武大6,被玉女宗退婚后,楚风意外激活了最强宗门系统,开局直接奖励散仙修为,召唤两名大乘期护卫,号称金刚双煞,打造最强仙门!大弟子龙羽苍天霸体,肉身无敌!二弟子慕容雪冰霜圣体,冰封万里!三弟子徐长卿混沌剑体,一剑可开天门!…不知不觉,原本一座落魄宗门,如同彗星般崛起,纵横四海八荒,人称缥缈仙宗!这时,看到楚风崛起,前未婚妻追悔莫及,要求复合,踏入了追夫火葬场的痛苦道路。某一日,魂族复苏,玉女宗覆灭,前未婚妻与她老母狼狈逃命至缥缈仙宗请求收留,呜呜,楚风,我错了,当初我不应该跟你退婚,求让我进来当杂役弟子也行!是啊,楚风,嫣然其实一直喜欢着你的,当初只是为了不给你增加负担!楚风,滚!众弟子宗主说滚听见没,我们杂役弟子都是化神期大圆满,你配吗?多年后,仙域有一宗门,让诸天万界颤抖,人称缥缈仙宗,门下弟子皆仙人,就连看门狗都是大罗金仙!(简介无力,请各位老爷移步正文)...
简介关于穿越女尊之强势宠夫郎孙月一个勤勤恳恳的社畜一朝穿越到了女尊社会。穿就穿吧!非得穿成个又穷又胖的混子。开局就被下药,强占了良家小公子。原主给孙月留下这么一个烂摊子。且看孙月如何白手起家,顺带把个个夫郎培养成金字塔顶端的存在。...
作品简介兵荒马乱的世道,赵康一朝穿越成乾国元江县九品县令。胸无大志的他并不想争霸天下,只想当个混吃等死,为非作歹的土皇帝。于是在元江县出现了许多奇奇怪怪的东西。老八洗...
...