Misc

1. IoU: 对于目标检测问题, 预测框与标准框之间重叠度的计算:

\[IoU=\frac{A\cap B}{A\cup B}\]

1. 防止梯度消失 / 爆炸的方式

   1. Batch Normalization / Layer Normalization
   2. Dropout
   3. Regularization
   4. Xavier / He initialization

   防止过拟合

   1. Dropout
   2. Regularization (ML)

   这里防止梯度爆炸与防止过拟合类似

   防止模型退化

   1. ResNet

2. Xavier / He initialization

   Xavier 针对 sigmoid / tanh

   \[Var = \frac{2}{n_{in}+n_{out} }\]

   He针对 ReLU

   \[Var = \frac{2}{n_{in} }\]

3. PCA: 降维

   先进性奇异值分解, 选出奇异值最大的 \(k\) 个维度, 将原数据映射到这 \(k\) 个维度上

4. 数据生成相关:

   大模型生成完整句子 + 格式化字符串

   标注方式:

   人工 + 大模型 + 直接 format string 填入

5. BERT 相关:

   BERT 与 BERT + CRF 在 NER 上的区别: