线性代数

• 内积/外积/点乘/叉乘
• 范数
• 矩阵的迹
• 行列式
• 矩阵的秩(rank)
• 正定矩阵
• 正交矩阵
• 相似矩阵
• 特征值/特征向量
• 特征值/奇异值分解

微积分

• 导数/偏导数/方向导数/梯度
• 雅克比/海森矩阵
• sigmoid/softmax函数
• 泰勒展开
• 洛必达法则
• 拉格朗日乘数法
• KKT条件

概率统计

• 贝叶斯公式
• 离散/连续随机变量
• 伯努利/二项分布
• 连续随机变量/概率密度函数(PDF)/累积分布函数
• 均匀/正态分布
• 离散/连续随机向量
• 多项分布
• Dirichlet分布
• 边际分布
• 条件概率/条件概率分布/条件概率密度函数
• 期望方差标准差协方差
• 大数定律
• 中心极限定理
• T检验/F检验

信息论

• 熵/联合熵/条件熵
• 互信息
• 交叉熵/KL散度
• 距离