第26章 博士很了不起吗？
？？
小林惊讶地说不出话。
竟然被一个高中生鄙视了……
他试探地这个定积分当然不算难，但是绝对不是一个高中生隨隨便便就能做出来的。
更何况还是一个学渣！
而且，他还看出这是个可以利用区间对称性消元的定积分！
齐物又好像不是学渣？
一个定积分好像没达到效果，小林又掏出一张卡片。
再试探一下！
上难度！
“同学，听君一席话，非常受用，我这里还有一道难题，你能帮我看看吗？”
小林递上卡片。
齐物已然察觉眼前这人很奇怪，但是能进校园，应当不是什么坏人。
出於对难题的渴望，他接过卡片，看向题干：
【考虑一个深度为l的多层感知机（mlp），设损失函数为 e(w，b)。第l层的仿射变换为z^(l)=w^(l)a^(l-1)+b^(l)，激活函数为a^(l)=σ(z^(l))。
定义误差项δ^(l)=▽z^(l)e。
请利用多元微积分的链式法则，推导出δ(l)}与δ(l+1)之间的递推张量表达式，並从雅可比矩阵的谱范数角度，证明当网络深度 l→∞时，梯度消失或爆炸的必然几何条件。】
齐物眉头一皱。
这道题比刚刚那道定积分难太多了！
多元微积分链式法则、神经网络求导、雅可比矩阵、谱范数、动力系统叠代视角……
“你连定积分都不会，看这种题干啥？”
【写到这里我希望读者记一下我们域名101??????.??????】
齐物不解，“年轻人不要好高騖远啊。”
？？
小林无语凝噎。
齐物在潜意识里是不想解答的，因为不知道来人身份。
但是他的脑子和手却诚实地运算起来——
死手，快停住！
“基础的反向传播推导，不算难。”齐物淡淡道。
小林再次愣住，这道题，普通高中生连符號都看不懂，更別说推导雅可比矩阵的谱半径了。
“根据多元链式法则，第l层的误差项对z^(l)求偏导，可以直接写出递推关係：
δ^(l)=((w^(l+1))^tδ^(l+1)⊙σ(z^(l))
⊙你看得懂吧，就是哈达玛乘积。
梯度消失的几何条件，这本质上是一个连续线性映射的范数放缩问题。”
齐物抬手在虚空中比划了一下：“將第l层到第l层的反向传播看作是多个雅可比矩阵的连乘：
j=n(k=l)→(l-1) diag(σz^(k)) w^(k+1)
取其谱范数‖j‖?。如果每一层的权重矩阵初始化使得‖w‖?·‖σ‖∞<1，那么根据范数的次乘法性，连乘后的雅可比矩阵谱范数將以指数级衰减，即liml→∞‖j‖?=0。这就是梯度消失的必然几何条件。
反之，若大於1，则发生梯度爆炸。
为了避免这个问题，你需要引入残差连接或者正交初始化策略。
这里一时半会说不清楚，我要下课了，再见哈。”
齐物说完，拿起手机，转身走向教学楼。
小林坐在长椅上，嘴巴张得能塞下一个鸡蛋。
草稿纸都没用，就给出了张量表达式？
这傢伙绝对不是学渣，成绩榜有误！
他连忙掏出手机，拨通了张宙的电话，激动地道：“张总，信息有误，齐物……他绝不是学渣！我出了两道题考他，都是不到一分钟就算出来了！
他可能就是我们要找的人！”
电话那头的张宙沉默了半晌，道：“我知道了。”
此时他刚跟著王德发主任，踏进了兰苍二中陈校长的办公室。
他放下手机，道：“张局、陈校长、王主任，重新认识一下，我是阿力八八达摩院首席ai科学家，张宙。”
王德发愣住了：“啊？您不是来设置奖学金的吗？”
“不全是。”
张宙道，“我星夜兼程，从杭城赶到兰苍县，只为了寻找贵校一名叫齐物的学生。”
“齐物？”
王德发再次愣住，齐物的大名已经传到杭城了吗？
不仅琅琊一中抢人，就连阿力八八这种华夏顶级大企业都对他感兴趣？
“齐物？摸底考数学物理满分的那名同学吗？”
陈校长也没想到阿力八八首席科学家竟然会亲自蒞临兰苍二中，亲切地沏茶，“他摸底考600多分吧。”
“是的，校长，齐物摸底考数理满分，总分615。”
我去……
张宙倒吸一口凉气。
看来信息果然有误！
他刚刚才看过，两个月前的高二期末考试，齐物的成绩仅仅是452，数理不及格。
两个月，提分160，数理双满分？
亏贼！
差点错过一个天才！
他接过陈校长的茶，又抖出一个惊天消息：“陈校长，王主任，贵校的齐物同学，在我们阿力八八全球数学竞赛预赛中的成绩，排名全球第一。我此次前来，是为了和齐物见个面，拍点物料宣传视频，请贵校大力支持。”
什么！
张局、陈校长和王主任手里的茶水差点抖出来！
全球第一！
什么鬼！
他们虽然不太了解阿力八八数学竞赛的含金量，但是掛著全球第一的头衔，就算是一坨屎，那也是顶级中的顶级！
“我们的比赛含金量极高，选手都是清北、剑桥、普林斯顿、哈佛的博士……”
张局、陈校长和王主任完全呆滯。
你是说？
齐物一个高中生，碾压一眾名校博士，登顶全球第一？
开什么国际玩笑。
他们仨真怀疑张宙是骗子。
“这是我的工作证和身份证。”
张宙拿出证件，“还请您安排一下，让齐物过来见个面。”
“好好好……”
陈校长有些懵，齐物全球第一，那所有的宣传物料必定会突出齐物是兰苍二中的！
二中要出名了！
这是多少钱都买不来的gg啊！
“王主任，快给老周打电话！”
另一边，齐物刚回教室坐下，老周就风风火火地出现在后门：“齐物，快出来一下！”
齐物走出教室，老周拉著他就往行政楼走。
“发生什么事了？老周？”
“阿力八八来了两个人，在校长那里等著见你呢。”
“阿力八八？”
齐物想了想，为了自己的预赛成绩而来？
跟著老周风风火火赶到校长办公室，刚打开门，就看到五个人坐在沙发上投来了目光。
陈校长、王主任以及一个县里的领导？
另外两个——
咦？
那个年轻点的不是刚刚在操场上问自己数学题的人吗？
另一个看起来三十七八岁——
张宙盯著走进门的齐物，第一感觉就是沉静。
面对五个人的目光，他很从容。
內秀之人。
气质上倒是很像一个学霸。
“齐物，这是阿力八八达摩院首席ai科学家张宙张总，这位是林助理。”
王德发主任笑著介绍道，“他们俩是从杭城赶过来的，想问你点事。”
“齐物同学你好！”
张宙直接起身，伸手，对面若是天才，受得住他的尊敬，“冒昧来访，是有事相商，没打扰你上课吧。”
“张总好，各位领导好。”
齐物保持基本的礼貌，“不打扰，您有事就请问。”
“据我们初步阅卷，你在此次阿力八八全球数学竞赛预赛中，排名全球第一。”
张宙缓缓道，“出於对成绩真实性的严谨考证，我们必须对你进行复查，请你谅解。我们同时会拍下相关视频佐证，后续可能会当做宣传物料，你是否同意？”
齐物倒也理解。
一个高中生斩获全球第一，简直是不敢想像的、骇人听闻的。
阿力出於严谨，复查情有可原。
“无妨，你们拍就是。”齐物淡淡道。
张宙心中暗喜。
若齐物真的有真才实学，那么这件事必定会引爆网络，到时候阿力会承接破天流量，赛事的知名度进一步打响。
小林打开了摄像机。
“好的，齐物同学，请你介绍一下自己。”
“齐物，17岁，兰苍二中高三在读。”
“齐物同学，请问这次阿力八八全球数学竞赛的预赛试卷，真的是你独立完成的吗？”
“是。”齐物点头。
张宙仔细观察过齐物的眼神，毫无波动。
无论是公布他成绩全球第一，还是问他是否独立完成，他都安然应对。
张宙心里信了三分。
他继续问道：“请恕我冒昧。阿力八八全球数学竞赛和传统imo並不一样，它主要针对的是本科以上的学生。你明明只是一个高中生，我也没查到你参加竞赛获奖的履歷，为什么你能在一个半小时內拿下满分呢？”
“为什么无法理解？”
齐物反问，“高中生拿了好成绩就应该被质疑吗？”
张宙连忙道：“我不是这个意思。齐物同学，你可知道你的对手都是谁？清北、剑桥、普林斯顿、哈佛……来自世界各地的顶尖博士。
据我们初步阅卷，目前的第二名得分仅115分。”
博士？很牛吗？
齐物心想，我洞察、专注和逻辑都是顶尖博士级別，代数几何、微积分更是教授级。
“博士很了不起吗？我看也良莠不齐。”
齐物语出惊人，“而且，坦白说，最后一题我有些失误，多花了十分钟。”
小林惊讶地说不出话。
竟然被一个高中生鄙视了……
他试探地这个定积分当然不算难，但是绝对不是一个高中生隨隨便便就能做出来的。
更何况还是一个学渣！
而且，他还看出这是个可以利用区间对称性消元的定积分！
齐物又好像不是学渣？
一个定积分好像没达到效果，小林又掏出一张卡片。
再试探一下！
上难度！
“同学，听君一席话，非常受用，我这里还有一道难题，你能帮我看看吗？”
小林递上卡片。
齐物已然察觉眼前这人很奇怪，但是能进校园，应当不是什么坏人。
出於对难题的渴望，他接过卡片，看向题干：
【考虑一个深度为l的多层感知机（mlp），设损失函数为 e(w，b)。第l层的仿射变换为z^(l)=w^(l)a^(l-1)+b^(l)，激活函数为a^(l)=σ(z^(l))。
定义误差项δ^(l)=▽z^(l)e。
请利用多元微积分的链式法则，推导出δ(l)}与δ(l+1)之间的递推张量表达式，並从雅可比矩阵的谱范数角度，证明当网络深度 l→∞时，梯度消失或爆炸的必然几何条件。】
齐物眉头一皱。
这道题比刚刚那道定积分难太多了！
多元微积分链式法则、神经网络求导、雅可比矩阵、谱范数、动力系统叠代视角……
“你连定积分都不会，看这种题干啥？”
【写到这里我希望读者记一下我们域名101??????.??????】
齐物不解，“年轻人不要好高騖远啊。”
？？
小林无语凝噎。
齐物在潜意识里是不想解答的，因为不知道来人身份。
但是他的脑子和手却诚实地运算起来——
死手，快停住！
“基础的反向传播推导，不算难。”齐物淡淡道。
小林再次愣住，这道题，普通高中生连符號都看不懂，更別说推导雅可比矩阵的谱半径了。
“根据多元链式法则，第l层的误差项对z^(l)求偏导，可以直接写出递推关係：
δ^(l)=((w^(l+1))^tδ^(l+1)⊙σ(z^(l))
⊙你看得懂吧，就是哈达玛乘积。
梯度消失的几何条件，这本质上是一个连续线性映射的范数放缩问题。”
齐物抬手在虚空中比划了一下：“將第l层到第l层的反向传播看作是多个雅可比矩阵的连乘：
j=n(k=l)→(l-1) diag(σz^(k)) w^(k+1)
取其谱范数‖j‖?。如果每一层的权重矩阵初始化使得‖w‖?·‖σ‖∞<1，那么根据范数的次乘法性，连乘后的雅可比矩阵谱范数將以指数级衰减，即liml→∞‖j‖?=0。这就是梯度消失的必然几何条件。
反之，若大於1，则发生梯度爆炸。
为了避免这个问题，你需要引入残差连接或者正交初始化策略。
这里一时半会说不清楚，我要下课了，再见哈。”
齐物说完，拿起手机，转身走向教学楼。
小林坐在长椅上，嘴巴张得能塞下一个鸡蛋。
草稿纸都没用，就给出了张量表达式？
这傢伙绝对不是学渣，成绩榜有误！
他连忙掏出手机，拨通了张宙的电话，激动地道：“张总，信息有误，齐物……他绝不是学渣！我出了两道题考他，都是不到一分钟就算出来了！
他可能就是我们要找的人！”
电话那头的张宙沉默了半晌，道：“我知道了。”
此时他刚跟著王德发主任，踏进了兰苍二中陈校长的办公室。
他放下手机，道：“张局、陈校长、王主任，重新认识一下，我是阿力八八达摩院首席ai科学家，张宙。”
王德发愣住了：“啊？您不是来设置奖学金的吗？”
“不全是。”
张宙道，“我星夜兼程，从杭城赶到兰苍县，只为了寻找贵校一名叫齐物的学生。”
“齐物？”
王德发再次愣住，齐物的大名已经传到杭城了吗？
不仅琅琊一中抢人，就连阿力八八这种华夏顶级大企业都对他感兴趣？
“齐物？摸底考数学物理满分的那名同学吗？”
陈校长也没想到阿力八八首席科学家竟然会亲自蒞临兰苍二中，亲切地沏茶，“他摸底考600多分吧。”
“是的，校长，齐物摸底考数理满分，总分615。”
我去……
张宙倒吸一口凉气。
看来信息果然有误！
他刚刚才看过，两个月前的高二期末考试，齐物的成绩仅仅是452，数理不及格。
两个月，提分160，数理双满分？
亏贼！
差点错过一个天才！
他接过陈校长的茶，又抖出一个惊天消息：“陈校长，王主任，贵校的齐物同学，在我们阿力八八全球数学竞赛预赛中的成绩，排名全球第一。我此次前来，是为了和齐物见个面，拍点物料宣传视频，请贵校大力支持。”
什么！
张局、陈校长和王主任手里的茶水差点抖出来！
全球第一！
什么鬼！
他们虽然不太了解阿力八八数学竞赛的含金量，但是掛著全球第一的头衔，就算是一坨屎，那也是顶级中的顶级！
“我们的比赛含金量极高，选手都是清北、剑桥、普林斯顿、哈佛的博士……”
张局、陈校长和王主任完全呆滯。
你是说？
齐物一个高中生，碾压一眾名校博士，登顶全球第一？
开什么国际玩笑。
他们仨真怀疑张宙是骗子。
“这是我的工作证和身份证。”
张宙拿出证件，“还请您安排一下，让齐物过来见个面。”
“好好好……”
陈校长有些懵，齐物全球第一，那所有的宣传物料必定会突出齐物是兰苍二中的！
二中要出名了！
这是多少钱都买不来的gg啊！
“王主任，快给老周打电话！”
另一边，齐物刚回教室坐下，老周就风风火火地出现在后门：“齐物，快出来一下！”
齐物走出教室，老周拉著他就往行政楼走。
“发生什么事了？老周？”
“阿力八八来了两个人，在校长那里等著见你呢。”
“阿力八八？”
齐物想了想，为了自己的预赛成绩而来？
跟著老周风风火火赶到校长办公室，刚打开门，就看到五个人坐在沙发上投来了目光。
陈校长、王主任以及一个县里的领导？
另外两个——
咦？
那个年轻点的不是刚刚在操场上问自己数学题的人吗？
另一个看起来三十七八岁——
张宙盯著走进门的齐物，第一感觉就是沉静。
面对五个人的目光，他很从容。
內秀之人。
气质上倒是很像一个学霸。
“齐物，这是阿力八八达摩院首席ai科学家张宙张总，这位是林助理。”
王德发主任笑著介绍道，“他们俩是从杭城赶过来的，想问你点事。”
“齐物同学你好！”
张宙直接起身，伸手，对面若是天才，受得住他的尊敬，“冒昧来访，是有事相商，没打扰你上课吧。”
“张总好，各位领导好。”
齐物保持基本的礼貌，“不打扰，您有事就请问。”
“据我们初步阅卷，你在此次阿力八八全球数学竞赛预赛中，排名全球第一。”
张宙缓缓道，“出於对成绩真实性的严谨考证，我们必须对你进行复查，请你谅解。我们同时会拍下相关视频佐证，后续可能会当做宣传物料，你是否同意？”
齐物倒也理解。
一个高中生斩获全球第一，简直是不敢想像的、骇人听闻的。
阿力出於严谨，复查情有可原。
“无妨，你们拍就是。”齐物淡淡道。
张宙心中暗喜。
若齐物真的有真才实学，那么这件事必定会引爆网络，到时候阿力会承接破天流量，赛事的知名度进一步打响。
小林打开了摄像机。
“好的，齐物同学，请你介绍一下自己。”
“齐物，17岁，兰苍二中高三在读。”
“齐物同学，请问这次阿力八八全球数学竞赛的预赛试卷，真的是你独立完成的吗？”
“是。”齐物点头。
张宙仔细观察过齐物的眼神，毫无波动。
无论是公布他成绩全球第一，还是问他是否独立完成，他都安然应对。
张宙心里信了三分。
他继续问道：“请恕我冒昧。阿力八八全球数学竞赛和传统imo並不一样，它主要针对的是本科以上的学生。你明明只是一个高中生，我也没查到你参加竞赛获奖的履歷，为什么你能在一个半小时內拿下满分呢？”
“为什么无法理解？”
齐物反问，“高中生拿了好成绩就应该被质疑吗？”
张宙连忙道：“我不是这个意思。齐物同学，你可知道你的对手都是谁？清北、剑桥、普林斯顿、哈佛……来自世界各地的顶尖博士。
据我们初步阅卷，目前的第二名得分仅115分。”
博士？很牛吗？
齐物心想，我洞察、专注和逻辑都是顶尖博士级別，代数几何、微积分更是教授级。
“博士很了不起吗？我看也良莠不齐。”
齐物语出惊人，“而且，坦白说，最后一题我有些失误，多花了十分钟。”