如何在nlp中加入attention机制?

做句子的encoding,发现通常的encoding方法无法提取句子中的关键因素,易受无关词汇干扰。

请问如何在句子编码中加入attention机制?在哪里可以阅读相关代码?

另外请问无监督是否可以加入attention机制?

你好,通过阅读代码是最能搞懂知识点的方法,这里我给出pytorch版本中dot_attention的简单实现。

def dot_attention(self, seq, cond, lens):
    """
    Arguments
    :param seq:  (b_s, m_s, h_s)
    :param cond: (b_s, h_s)
    :param lens: [len_1, len_2] the real len of the seq for mask the eos.
    :return: contexts, scores
    """
    scores = cond.unsqueeze(1).expand_as(seq).mul(seq).sum(2)

    # seq = self.dropout(seq)
    max_len = max(lens)

    for i, l in enumerate(lens):
        if l < max_len:
            scores.data[i, l:] = -np.inf

    scores = F.softmax(scores, dim=1)

    context = scores.unsqueeze(2).expand_as(seq).mul(seq).sum(1)

    return context, scores  # context (b_s, h_s)  scores (b_s, m_s)

返回的context是做完attention的context vector,scores是attention分值,其中输入lens是为了解除padding的影响。

发表评论

电子邮件地址不会被公开。 必填项已用*标注