醉里挑灯赏猫

pytorch tensor 操作：合并、分割、维度变换

发布： 2021-08-18 分类： Deep Learning 评论：阅读：

torch.Tensor — PyTorch 1.9.0 documentation

查看维度：

1
2
3

a=torch.randn(3,4)
a.size()
# torch.Size([3, 4])

发布： 2021-08-03 分类： NLP 评论：阅读：

RoBERTa: A Robustly Optimized BERT Pretraining Approach (arxiv.org)

发布： 2021-08-02 分类： NLP 评论：阅读：

MLM，全称 “Masked Language Model”，可以翻译为 “掩码语言模型”，实际上就是一个完形填空任务，随机 Mask 掉文本中的某些字词，然后要模型去预测被 Mask 的字词，示意图如下：

其中被 Mask 掉的部分，可以是直接随机选择的 Token，也可以是随机选择连续的能组成一整个词的 Token，后者称为 WWM（Whole Word Masking）。

开始，MLM 仅被视为 BERT 的一个预训练任务，训练完了就可以扔掉的那种，因此有一些开源的模型干脆没保留 MLM 部分的权重，然而，随着研究的深入，研究人员发现不止 BERT 的 Encoder 很有用，预训练用的 MLM 本身也很有用。

发布： 2021-08-01 分类： Deep Learning 评论：阅读：

soft label：软标签，例如：probs 0.3, 0,8, 0,2…

hard label：硬标签，例如：实际label值 0, 1, 2…

发布： 2021-08-01 分类： NLP 评论：阅读：