手机浏览器扫描二维码访问
第606章 用故事解释softmax函数的溢出问题（第1页）
用故事解释softmax函数的溢出问题
故事背景：龙族宴会上的金碗
在一座神秘的龙族王国，龙族每年都会举行一次盛大的宴会，宴会上有一个传统：每条龙要把自己的财富（金币数量）放进一个金碗，然后让智慧长老计算每条龙的“财富占比”，来决定谁是这一年的财富之王。
宴会当天，四条龙分别报出了自己的金币数量：
?
火龙：100万金币
?
冰龙：200万金币
?
雷龙：300万金币
?
风龙：10亿金币
智慧长老准备使用一个古老的计算方法——softmax规则，将这些财富转换成概率来比较。但他很快发现了一个严重的问题：
金碗炸了！
为什么？因为按照softmax的计算方法，他需要计算每个金币数量的指数值：
但这些数值实在是太大了，远远超出了王国的计算能力，直接导致金碗崩溃（计算溢出）。
智慧长老陷入了困境，他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧：
“我们不直接放金币，我们可以先让大家的金币数减去最大的金币数！”
于是，他重新计算：
?
火龙的金币数变为
100万
-
10亿
=
-9.99亿
?
冰龙的金币数变为
200万
-
10亿
=
-9.98亿
?
雷龙的金币数变为
300万
黑芒科技之途 神谕之十二生肖 玉孤 穿越兽世，日日扶腰求放过 徒儿快下山，你师姐等不及了 万星吞天诀 女将带球跑后，死对头一夜哭白头 夺我灵根骂我狠？先天绝情圣体已成！ 混沌疯魔 开局校花太太向我道歉，东京末日 我是赵梦凡 我一身神功全靠努力，给我变身！ 鬼怪奇谭：兵王与小仙女 夫人算卦缺灵力，亲口冷面侯爷加气运 兵王在地府的甜蜜生活 叶尘：重生在赘婿逆袭之路 重生后被亿万富豪逼婚，渣男傻眼 黄帝内经百姓版 迷雾中的真相：侦探手记 尸之仙
年代58：进场成为食堂采购员
脆皮大学生李友仁玩着一款生存游戏时，一道绿光在头顶浮现，刺眼的绿光让李友仁闭紧双眼，感受到刺眼的光芒消失，李友仁已经来到了1958年。李友仁在这红火的年代面对历史的浪潮，他会如何过好自己的小日子呢。...
光芒万丈不及你
...
女侠且慢
女侠且慢，你可知我是什么人？知道，女帝身边的宠臣，反贼头目的相好，江湖名门的少主。脚踏三只船，我砍得就是你！...
金刚不坏大寨主
内练一口九阳气，外练一身金刚骨，金背九环刀在手，挥手间滚滚头颅落地。大寨主江大力雄壮之极的身躯静坐在雕花梨木大椅上，虎皮大衣下满是鼓凸强健的肌肉，坚硬，霸...
开局虐哭极品：我在大院风生水起
刚存够首付，中了五百万实现财务自由的白婉清一口卡嗝屁。一睁眼，穿到刷过几页的爆款年代文里，成了个炮灰路人甲，还带了个恶毒女配。地狱般的开局，没关系，抛开剧情杀穿满地。只要我没道德，谁也别想绑架我，干尽缺德事，功德999。继妹白莲，脏水泼她和老癞子滚苞米地，撕毁大学通知书，让她去大西北喂猪。后娘恶毒，举报投诉铁窗泪...
我本无意成仙
我本他乡客，无意成仙。深山修道二十年，师父让宋游下山，去见识妖魔鬼怪，人生百态，去寻访名山大川，传说中的仙，说那才是真正的修行。没有想到，走遍大江南北，仙人竟是我自己。...