线性代数

标量、向量、矩阵和张量

  1. 标量：一个标量一个单独的数。
    • 斜体小写的变量名称表示；
  2. 向量：一个向量就是一列数。
    • 粗体小写的变量名称表示；
  3. 矩阵：矩阵是一个二维数组。
    • 粗体的大写变量名称表示；
    • “:”表示水平坐标。Ai,:表示A中i行上的一排元素。
    • f(A)i,j表示汉书f的作用下在A上输出的矩阵的第i行第j列元素。
  4. 张量：一般的，一个数组中的元素分布在若干维坐标的规则网络，我们称之为张量。记作Ai,j,k

深度学习中会使用一些简化的式子，如：C=A+b。其中Ci,j=Ai,j+bj。这种隐式地复制向量b到很多位置的方式，称为广播。

矩阵和向量相乘

C = AB
其中要求A为mxn,B为nxp，则C为mxp。
**元素对应乘积(Hadamard乘积)**：两个矩阵对应元素乘积。

单位矩阵和逆矩阵

A-1A=In

  • 行列式为0的矩阵一定不可逆.
  • 若矩阵可逆则他的逆一定唯一.