手机浏览器扫描二维码访问
激活函数是什么?——用故事和比喻讲解
故事比喻:门卫老张的筛选机制
想象一个大型科技公司的总部大楼,每天有很多人想进公司。但并不是所有人都能进去,只有符合某些条件的员工才能进入工作,而其他人要被拦在门外。
这座大楼的门口站着一个门卫——老张。他的任务是检查进来的人,决定谁能进,谁不能进。他的决策规则就像神经网络中的“激活函数”!
第一种情况:老张完全放行(恒等函数)
有一天,老张心情很好,他决定:“今天所有人都能进!”
?
不管是正式员工、游客,还是快递小哥,只要有人过来,老张就让他们进大楼。
?
这就像是**“线性函数”或“恒等函数”**(identity
function),没有任何筛选,数据怎么进来,就怎么传递出去。
问题:
?
如果门口有太多人,会导致办公楼人满为患,甚至干扰员工工作(信息过载)。
?
这种情况下,神经网络可能无法学习复杂的特征,因为它没有任何“过滤”或“激活”机制。
第二种情况:老张只让合格员工进(re露
激活函数)
第二天,公司老板告诉老张:“从现在开始,只有正式员工能进,其他人一律不准进!”
?
于是,如果有人出示正式员工证,老张就让他进去。
?
但如果是游客、闲杂人等,老张直接摇头:“不行,回去吧!”
这就像re露(修正线性单元)激活函数:
?
如果输入是正数(正式员工),就直接通过,传递给下一层神经网络。
?
如果输入是负数(闲杂人等),直接变成
0,相当于拒绝进入。
优点:
?
过滤掉无用信息(负数变成
0,相当于屏蔽了一些干扰)。
?
计算简单,速度快,不会引入复杂的计算。
问题:
?
兵王在地府的甜蜜生活 我是赵梦凡 混沌疯魔 重生后被亿万富豪逼婚,渣男傻眼 玉孤 徒儿快下山,你师姐等不及了 迷雾中的真相:侦探手记 开局校花太太向我道歉,东京末日 我一身神功全靠努力,给我变身! 黑芒科技之途 尸之仙 黄帝内经百姓版 穿越兽世,日日扶腰求放过 万星吞天诀 鬼怪奇谭:兵王与小仙女 夺我灵根骂我狠?先天绝情圣体已成! 夫人算卦缺灵力,亲口冷面侯爷加气运 神谕之十二生肖 叶尘:重生在赘婿逆袭之路 女将带球跑后,死对头一夜哭白头
时锦从小长在白云观,十五岁时跟随萧家家主萧鹤川回京。二十二岁的萧鹤川看着面前娇娇小小的小孩儿你跟着行远叫我爸爸也可以。眼底毫无波澜的时锦你要是觉得你七岁的时候能生下我,我是不介意叫你爹的。萧鹤川二十五岁的萧鹤川面对出落的亭亭玉立的时锦锦锦时锦爹爹萧鹤川卒...
很显然,这是跳舞的又一套新书。也将会是跳舞在起点的第五套全本。(注意,这本书是都市YY,呵呵。几乎没有什么神话色彩,更不会再有什么教皇教会宗教圣骑士吸血鬼玉皇大帝之类的东西了)...
女侠且慢,你可知我是什么人?知道,女帝身边的宠臣,反贼头目的相好,江湖名门的少主。脚踏三只船,我砍得就是你!...
论穿越到甜宠文大结局后是一种什么体验?姜澜雪表示,这金手指压根没用。原身入宫三月,却从未见过宣宁帝,因此,后宫嫔妃压根没将她放在眼里。不曾想姜澜雪穿越第一日就被召侍寝了,对此,众人依旧摇摇头表示不用担心。哪知接下来一连三日,宣宁帝都流连在姜澜雪的清光殿中。对此,众人表示,这不可能,肯定是因为齐王妃的缘故,陛下定然是...
一朝穿越七十年代,成为了一个将要遭受迫害,面临下乡窘境的物理教授的女儿林听绾,无奈之下被迫相亲!据说那人比她大八岁带三个娃,还不能生育!别人避之不及,林听绾见之却眼前一亮,宽肩窄腰大长腿,一身正气不说,还是个妥妥的纯情小狼狗!结婚后,众人八卦的DNA启动!听说了吗?陆云铮带回来一个漂亮媳妇,可这后妈不好当啊...
万订爆款,火爆爽文有一刀斩杀黄金巨龙的低等骷髅种有身怀十大宠兽秘技的看门土狗更有自称为神的打工妹这是一个得到系统开店,在破碎远古培育宠兽的故事。当荣光覆灭,血脉逆流,昔日的存在将再度回归,一切都是毁灭!...