Transformer 的注意力机制本质上是矩阵运算吗？
Is the Transformer attention mechanism essentially matrix algebra?
是的。自注意力把输入做成查询 Q、键 K、值 V 三个矩阵，计算 softmax(QKᵀ/√d)V，即“按相关性加权求和”。它让模型并行捕捉长程依赖。
Yes—self-attention forms Q, K, V matrices and computes softmax(QKᵀ/√d)V, a relevance-weighted sum enabling parallel long-range modeling.
难度 进阶 · 适合 高中(15-18)
CC BY 4.0 · 来源待核验 · Source pending review
来源 · Source
出处备注：本题原挂出处与答案内容不符，已撤回；具体书目待补，暂不展示来源。
本题原挂出处与答案内容不符，已撤回；具体书目待补。
Previous citation withdrawn as unsupported for this answer; a specific source is pending.
#机器学习数学 #注意力
海森矩阵在机器学习中有什么用？
What is the Hessian used for in machine learning?
海森矩阵是损失函数对所有参数的二阶偏导数矩阵，描述“曲率”。牛顿法用它加速收敛，其正定性能判断极小值；但高维下计算昂贵，故常用近似。
The Hessian is the matrix of second derivatives of the loss; Newton's method uses it for faster convergence, and its definiteness reveals minima—but it's costly in high dimensions.
难度 进阶 · 适合 高中(15-18)
CC BY 4.0 · 已核验 · Verified 2026-08-23 · 2 条独立证据
来源 · Source
同济大学数学系 编,《高等数学》第7版,高等教育出版社,2014
Tongji University Dept. of Math, Advanced Mathematics, 7th ed., Higher Education Press, 2014
独立核验依据 · Independent verification: 核验依据 2 ISBN 9787040396638（豆瓣书目条目: 高等数学·上册）
#机器学习数学 #海森矩阵
反向传播的数学本质是什么？
What is the mathematical essence of backpropagation?
反向传播就是多元链式法则的工程化：从输出层往回逐层计算损失对各参数的梯度。它让深层网络能用梯度下降高效训练。
Backpropagation is the multivariate chain rule in engineering form, propagating gradients of the loss backward so deep nets train via gradient descent.
难度 进阶 · 适合 高中(15-18)
CC BY 4.0 · 已核验 · Verified 2026-10-04
来源 · Source
《深度学习》Goodfellow、Bengio 与 Courville
Deep Learning by Goodfellow Bengio and Courville
独立核验依据 · Independent verification: 核验依据 1 ISBN 978-0-262-03561-3 (MIT Press)
#机器学习数学 #反向传播
核技巧是什么？
What is the kernel trick?
核技巧不显式地把数据映射到高维，而是用核函数 K(x,y)=⟨φ(x),φ(y)⟩ 直接算高维内积，从而在高维空间做线性分类（SVM）而无需承受维度灾难。
The kernel trick uses K(x,y)=⟨φ(x),φ(y)⟩ to compute high-dimensional inner products implicitly, enabling linear separation in high dimensions without the cost.
难度 进阶 · 适合 高中(15-18)
CC BY 4.0 · 已核验 · Verified 2026-11-02
来源 · Source
《机器学习》（周志华）
Machine Learning (Zhou Zhihua)
独立核验依据 · Independent verification: 核验依据 1 ISBN 9787302423287（豆瓣书目条目: 机器学习）
#机器学习数学 #核技巧
VC 维是什么？
What is the VC dimension?
VC 维衡量一个分类模型家族的“表达能力”：能打散的最大样本点数。它给出泛化误差的理论上界，解释为什么模型太复杂会过拟合。
VC dimension measures a hypothesis class's capacity—the largest set it can shatter; it bounds generalization error and explains overfitting.
难度 进阶 · 适合 高中(15-18)
CC BY 4.0 · 已核验 · Verified 2026-11-02
来源 · Source
《机器学习》（周志华）
Machine Learning (Zhou Zhihua)
独立核验依据 · Independent verification: 核验依据 1 ISBN 9787302423287（豆瓣书目条目: 机器学习）
#机器学习数学 #VC维