如何通过余弦相似度判断两个单词的嵌入是否相似

admin管理员组

文章数量:1442038

如何通过余弦相似度判断两个单词的嵌入是否相似

笔者最近在学习 Transformer 模型的设计，书中对如何通过余弦相似度，判断两个单词的嵌入是否相似，只是简单提了一下，没有深入介绍。所以笔者花了一些时间在网上查了资料，了解了一下这个概念的更多细节。

余弦相似度 (Cosine Similarity) 是一种非常常用的相似度计算方法，尤其在自然语言处理 (NLP) 中被广泛应用，用于衡量两个向量之间的相似性。其核心思想是通过计算两个向量在多维空间中的夹角来反映它们之间的关系。当两个向量的夹角较小时，余弦相似度值会趋近于 1，说明它们方向相似，代表的含义也非常接近。反之，如果余弦值接近 -1 或 0，表明它们的方向差异显著，代表的含义相差较大。

在 NLP 中，单词的嵌入（即词向量）可以通过一些预训练模型（如 Word2Vec、GloVe、BERT）得到，这些嵌入将单词转换为具有多个维度的数字向量，使计算机能够“理解”单词之间的关系。例如，“猫”和“狗”这样意义相近的单词，它们的嵌入在高维向量空间中的位置会很接近，而与“汽车”这样的词距离较远。余弦相似度就可以帮助我们定量地评估这些向量的接近程度。

余弦相似度的公式

具体来说，余弦相似度的计算公式为：

$$

\text{Cosine Similarity} = \frac{A \cdot B}{|A| |B|}

$$

其中：

• A 和 B 分别是两个词嵌入向量。
• $A \cdot B$ 代表向量 A 和 B 的点积。
• $|A|$ 和 $|B|$ 代表向量 A 和 B 的范数（也称为向量的长度或模）。

余弦相似度的结果在 (-1) 到 (1) 之间。当两个向量方向一致时，余弦相似度为 (1)；当两个向量相互垂直时，余弦相似度为 (0)；当两个向量方向完全相反时，余弦相似度为 (-1)。

实际例子：衡量单词相似性

为了具体说明余弦相似度的用法，假设我们使用 Word2Vec 模型对一些单词进行嵌入。假设单词“猫”（cat）、“狗”（dog）和“汽车”（car）对应的嵌入向量分别是 (A)、(B)、和 (C)。我们想要确定“猫”与“狗”之间的相似性，以及“猫”与“汽车”之间的相似性。

具体来说，假设这些向量为：

• 向量 (A)（“猫”） = 0.4, 0.7, 0.3
• 向量 (B)（“狗”） = 0.5, 0.6, 0.4
• 向量 (C)（“汽车”） = 0.1, -0.4, 0.9

我们来计算“猫”与“狗”之间的余弦相似度，以及“猫”与“汽车”之间的余弦相似度。

代码实现

以下是 Python 代码示例，用于计算上述单词嵌入之间的余弦相似度：

import numpy as np

# 定义向量
cat_vector = np.array([0.4, 0.7, 0.3])
dog_vector = np.array([0.5, 0.6, 0.4])
car_vector = np.array([0.1, -0.4, 0.9])

# 计算余弦相似度的函数
def cosine_similarity(vec1, vec2):
    dot_product = np.dot(vec1, vec2)
    norm_vec1 = np.linalg.norm(vec1)
    norm_vec2 = np.linalg.norm(vec2)
    return dot_product / (norm_vec1 * norm_vec2)

# 计算相似度
cat_dog_similarity = cosine_similarity(cat_vector, dog_vector)
cat_car_similarity = cosine_similarity(cat_vector, car_vector)

print(f'猫与狗之间的余弦相似度: {cat_dog_similarity:.2f}')
print(f'猫与汽车之间的余弦相似度: {cat_car_similarity:.2f}')

结果解读

运行上述代码，我们会得到以下结果：

猫与狗之间的余弦相似度: 0.96
猫与汽车之间的余弦相似度: 0.08

从结果可以看出，“猫”和“狗”之间的余弦相似度为 0.96，这说明它们的含义非常相似。而“猫”和“汽车”之间的相似度仅为 0.08，表示它们之间几乎没有什么联系。这符合我们对这些单词的直观认知，因为“猫”和“狗”都是宠物，彼此关系较近，而“汽车”显然与“猫”不相关。

真实世界的应用案例

为了让这种抽象概念更为具体化，考虑一个真实场景：客户评论分析。在电子商务平台中，我们往往希望了解客户对商品的评价是否积极。这时可以用词嵌入和余弦相似度来分析评论文本。

假设我们有一组积极评价的标准词汇，比如“excellent”、“good”、“fantastic”，以及一组消极评价的词汇，比如“bad”、“poor”、“terrible”。我们可以把用户的评论和这些标准词汇进行词向量嵌入，然后通过计算余弦相似度来判断这些评论与积极或消极评价之间的相似度。

举例来说，用户评论中提到“the product quality is superb”，我们将其与标准词汇“excellent”进行比较。如果嵌入向量之间的余弦相似度接近 1，那么我们可以推断用户的评价是积极的。这种方法大大提升了对自然语言的自动化处理能力，并在情感分析中被广泛采用。

余弦相似度的优缺点及应用场景

余弦相似度由于其简单高效，被广泛应用于文本和 NLP 领域。但在实际应用中，也有一些值得注意的点。

优点

1. 无关向量的大小： 余弦相似度只考虑向量的方向，而不考虑它们的长度，这使得它对文本向量表示特别有效。例如，在句子向量化中，句子可能有不同的长度，但只要它们的内容相似，余弦相似度就能有效地捕捉到这种相似性。
2. 高效计算： 由于只涉及点积和范数的计算，余弦相似度的计算复杂度非常低，适用于大规模数据集。

缺点

1. 对零向量不适用： 如果其中一个向量是零向量，则其范数为零，余弦相似度将无法计算。
2. 不能区分向量的大小： 余弦相似度只关注方向，但不考虑嵌入的具体值大小，因此可能在某些任务中对量级的信息忽略不计。

应用场景

1. 文本分类与聚类： 余弦相似度常被用来对文档或短文本进行聚类分析。例如，可以将新闻文章嵌入为向量，通过余弦相似度找到主题相近的文章。
2. 推荐系统： 在推荐系统中，余弦相似度也用于衡量用户偏好之间的相似性。例如在电影推荐中，可以通过用户评分的向量化表示，来判断哪些用户具有相似的口味，从而推荐其他用户喜欢的电影。

实际操作中的注意事项

在实际工程中应用余弦相似度时，往往还需考虑数据的质量和嵌入的精度。比如，在使用 Word2Vec 或 GloVe 之类的嵌入模型时，我们需要确保模型是从高质量的语料中训练得到的，才能确保嵌入向量有效地捕捉到了单词的语义关系。

假设我们在分析社交媒体上的帖子，试图找出用户对某个新发布的手机的看法。考虑以下两个评论：

1. I love the camera of this phone, it's so crisp and vivid.
2. The phone's battery life is disappointing.

我们可以将这些评论嵌入为向量，计算它们与一组积极和消极评价向量之间的余弦相似度。这样，我们可以自动分类这些评论是正面的还是负面的。这种自动化的分析对产品改进和市场分析非常有帮助。

示例：句子级别的相似性判断

扩展到更复杂的场景，余弦相似度不仅可以用于单词之间的相似性比较，还可以用于判断句子或段落之间的相似性。假设我们有两个句子：

• I enjoy going to the beach during summer.
• I love visiting the sea when it's warm.

可以将每个句子的嵌入计算为该句子中所有单词嵌入的平均值（或者使用更复杂的模型如 BERT 来获取句子嵌入）。然后，我们可以计算这些句子嵌入之间的余弦相似度，以衡量它们在语义上的相似性。

这里的关键在于：尽管这两个句子的表达方式不同，但它们描述的活动和场景是类似的，因此它们的余弦相似度应该较高。这就是余弦相似度在 NLP 中的一个重要价值所在，它可以帮助我们捕捉到语言表达上的多样性，同时识别出这些表达的语义一致性。

代码示例：句子相似性

下面我们使用简单的平均词向量的方法来计算句子相似性：

from sklearn.feature_extraction.text import CountVectorizer
import numpy as np

# 句子
sentence_1 = 'I enjoy going to the beach during summer'
sentence_2 = 'I love visiting the sea when it is warm'

# 使用 CountVectorizer 转换句子为向量
vectorizer = CountVectorizer().fit([sentence_1, sentence_2])
vector_1 = vectorizer.transform([sentence_1]).toarray()[0]
vector_2 = vectorizer.transform([sentence_2]).toarray()[0]

# 计算余弦相似度
def cosine_similarity(vec1, vec2):
    dot_product = np.dot(vec1, vec2)
    norm_vec1 = np.linalg.norm(vec1)
    norm_vec2 = np.linalg.norm(vec2)
    return dot_product / (norm_vec1 * norm_vec2)

similarity = cosine_similarity(vector_1, vector_2)

print(f'句子之间的余弦相似度: {similarity:.2f}')

通过这段代码，我们可以看到，这两个句子的相似度较高，因为它们描述的概念非常相近。这在实际应用中可以用于诸如检索相似句子、查找重复内容等任务。

结语

余弦相似度在自然语言处理中的应用十分广泛，通过简单而有效的方式衡量嵌入向量的相似性，为文本分类、聚类、推荐系统等领域提供了重要的支持。在实际应用中，结合高质量的嵌入模型，可以帮助我们有效地捕捉文本的语义，从而实现更智能、更高效的文本分析和理解。

本文标签： 如何通过余弦相似度判断两个单词的嵌入是否相似