Home HKUST_RA

# 检索增强生成（Retrieval-Augmented Generation，RAG）

是一种结合了信息检索和生成式模型的技术，旨在提高生成模型（如 GPT 等大语言模型）的回答准确性和信息丰富度。RAG 模型通过从外部知识库或文档集合中检索相关信息，来增强生成模型的能力，从而生成更加精确和上下文相关的回答。以下是 RAG 的主要概念和工作机制：

# 1. 核心概念

  • 检索模块：首先，RAG 模型包括一个检索模块，该模块负责从外部知识库或文档集合中找到与输入查询最相关的内容。这些知识库可以是结构化的数据库、非结构化的文本集合、或网络资源等。
  • 生成模块：检索到的相关内容会被传递给生成模块。这个模块通常是一个大型生成式模型，如 GPT 或 BART 等。生成模块利用这些检索到的信息和输入查询，生成最终的回答。

# 2. 工作机制

  • 查询输入：用户输入一个查询（问题或请求）。
  • 信息检索：检索模块根据输入查询，从预定义的知识库中检索出若干个与查询相关的文档或信息片段。
  • 信息整合：生成模块将输入查询与检索到的信息进行整合，生成一个基于检索内容的响应。这一过程使得生成的内容不仅基于模型的内置知识，还基于外部检索到的最新或更精确的信息。
  • 生成输出：最终，模型输出一个结合了检索信息的生成式回答。

# 知识图谱（Knowledge Graphs, KGs）

知识图谱（Knowledge Graphs, KGs）是一种用于表示知识的结构化形式，它将实体及其关系以图的形式组织起来，提供了一种直观的方式来展示和利用知识。知识图谱在自然语言处理、信息检索、推荐系统等多个领域有广泛的应用。以下是对知识图谱的详细介绍：

# 1. 基本概念

  • 实体（Entities）：在知识图谱中，实体是图中的节点，表示实际世界中的对象或概念。实体可以是人物、地点、事件、公司、产品等。例如，“苹果公司” 可以是一个实体。
  • 关系（Relations）：关系是图中的边，连接两个实体，表示它们之间的关联或交互。例如，“苹果公司” 与 “iPhone” 的关系可以是 “制造”。
  • 属性（Attributes）：每个实体可以有多个属性，用来描述实体的特征。例如，“苹果公司” 可以有属性 “成立时间”、“创始人” 等。
  • 三元组（Triples）：知识图谱中的信息通常以三元组的形式表示，即 (实体1, 关系, 实体2) ，例如 (苹果公司, 制造, iPhone) 。

# 2. 知识图谱的结构

  • 节点（Nodes）：节点代表实体或概念。
  • 边（Edges）：边代表实体之间的关系。
  • 子图（Subgraphs）：子图是图的一部分，代表特定主题或领域的知识。

# 3. 知识图谱的构建

  • 数据来源：知识图谱的数据可以来源于结构化数据（如数据库）、半结构化数据（如 XML、JSON）、非结构化数据（如文本、文档）等。
  • 信息提取：从文本中抽取实体和关系，生成知识图谱。技术包括命名实体识别（NER）、关系抽取、事件抽取等。
  • 知识融合：将来自不同数据源的知识整合到一个统一的图谱中，解决数据冗余、冲突和不一致的问题。
  • 实体消歧（Entity Disambiguation）：当不同数据源中使用不同的名称表示相同的实体时，需要通过消歧技术将其合并。
  • 本体（Ontology）：本体为知识图谱定义了一套标准的词汇和层次结构，以便不同数据源的知识可以被一致地理解和使用。

# 4. 知识图谱的查询

  • SPARQL：一种用于查询知识图谱的标准查询语言。用户可以通过 SPARQL 查询知识图谱中的特定信息。
  • 图遍历（Graph Traversal）：通过遍历图中的节点和边，可以发现实体之间的复杂关系。

# 现有知识图谱遇到的三个关键问题

  1. 巨大搜索空间：现实世界的知识图谱通常包含数百万个三元组（即实体、关系、目标的组合），这使得在提示生成过程中检索相关知识变得极其复杂和耗时。找到合适的提示需要在庞大的数据中进行搜索，这增加了系统的复杂性。
  2. 高 API 成本：很多最先进的大语言模型（LLMs）如 GPT-4 和 Claude 3 是通过专有 API 访问的。使用这些 API 进行大规模的知识图谱提示会产生显著的费用，因此，如何在不影响性能的情况下选择最有用的知识来生成提示以减少成本就显得尤为重要。
  3. 繁琐的提示设计：LLMs 对提示非常敏感，甚至细微的提示变化可能导致模型输出完全不同的结果。然而，现有方法主要依赖于手动设计或基于规则的提示，这些提示通常是固定的，缺乏灵活性，无法适应问题语义和知识图谱结构的变化。

# KnowGPT 框架

# 面临两个问题

如何在一个大型 KG 中有效且高效地检索与查询相关的事实性知识？ 这个问题关注的是如何从庞大的知识图谱中找到与用户输入的查询最相关的信息。

在提取了原始知识后，如何将这些知识转换成 LLM 易于理解的有效提示？ 这个问题关注的是如何将提取的知识以适合大语言模型处理和生成的格式进行表达，以确保模型能够正确理解并利用这些知识。

# 两个核心框架

# 深度强化学习（Reinforcement Learning, RL）

知识提取：KnowGPT 框架使用深度强化学习（RL）从知识图谱（KGs）中提取最有信息量的知识。为了激励 RL 代理发现更有价值的知识链，设计了一种定制的奖励机制，该机制鼓励路径的可达性、与上下文的相关性和简洁性。通过最大化奖励，代理可以在训练问题和未见过的问题上有效提取相关知识。

# 多臂老虎机（Multi-Armed Bandit, MAB）

提示构建：为了应对如何将提取的知识转化为大语言模型（LLM）可理解的提示这一问题，KnowGPT 引入了基于多臂老虎机（MAB）的提示构建策略。MAB 用于在不同的知识提取策略和提示模板之间进行选择，以平衡探索和利用。通过学习，MAB 可以自动选择最有效的策略组合来生成提示，从而最大化模型的表现。

# 深度强化学习

深度强化学习（Deep Reinforcement Learning, DRL）是人工智能领域的一种方法，它结合了强化学习（Reinforcement Learning, RL）和深度学习（Deep Learning）的技术，旨在解决复杂的决策问题。通过结合深度神经网络和强化学习算法，DRL 可以处理高维状态空间下的复杂任务，如游戏、机器人控制和自动驾驶等。以下是对深度强化学习的系统性介绍：

# 1. 强化学习的基本概念

  • ** 强化学习（RL）** 是一种以学习智能体（Agent）在环境（Environment）中通过行动（Actions）来最大化累积奖励（Cumulative Reward）的方法。RL 的基本框架包括以下几个关键元素：
    • 状态（State, s）：描述环境的当前状况，智能体根据状态做出决策。
    • 行动（Action, a）：智能体在某一状态下可以采取的动作或决策。
    • 奖励（Reward, r）：智能体执行某一行动后从环境中获得的反馈，奖励信号帮助智能体评估该行动的优劣。
    • 策略（Policy, π）：智能体根据当前状态选择行动的策略，可以是确定性的或随机的。
    • 价值函数（Value Function, V）：用来评估某一状态或状态 - 行动对在长期内的期望累积奖励。

MDP:ValueFunction给上面的intuition一个数学的表示V∗(s)=max⁡πE[∑t=0HγtR(st,at,st+1)∣π,s0=s]⋅每个State都有一个Value⋅这个Value为,在当前的state,根据一个最佳策略π之的reward,再根据discountfactorGamma(γ)求和。\begin{aligned} &MDP:ValueFunction \\ &给上面的intuition一个数学的表示 \\ &V^*(s)=\max_\pi\mathbb{E}\left[\sum_{t=0}^H\gamma^tR(s_t,a_t,s_{t+1})\mid\pi,s_0=s\right] \\ &·每个State都有一个Value \\ &·这个Value为,在当前的state,根据一个最佳策略\pi 之 \\ &的reward,再根据discountfactorGamma(\gamma)求和。 \end{aligned}

# 最终抽象出来的方法

Vk∗(s)←max⁡a∑s′P(s′∣s,a)(R(s,a,s′)+γVk−1∗(s′))πk∗(s)←arg⁡max⁡a∑s′P(s′∣s,a)(R(s,a,s′)+γVk−1∗(s′))V_{k}^{*}(s)\leftarrow\max_{a}\sum_{s^{\prime}}P(s^{\prime}|s,a)\left(R(s,a,s^{\prime})+\gamma V_{k-1}^{*}(s^{\prime})\right)\\\pi_{k}^{*}(s)\leftarrow\arg\max_{a}\sum_{s^{\prime}}P(s^{\prime}|s,a)\left(R(s,a,s^{\prime})+\gamma V_{k-1}^{*}(s^{\prime})\right)

# 2. 深度学习与强化学习的结合

  • 在传统 RL 中，价值函数和策略通常通过表格方法或线性函数来表示。然而，当状态空间或行动空间过大时，这些方法难以扩展。深度学习（Deep Learning），特别是深度神经网络（Deep Neural Networks, DNNs）的出现，使得在高维空间下进行近似成为可能。
  • 深度 Q 网络（Deep Q-Network, DQN）：DQN 是 DRL 中一种经典方法，它使用深度神经网络来近似 Q 值函数，即在给定状态下采取某一行动的预期累积奖励。DQN 成功地在像 Atari 游戏这样的高维度环境中取得了良好的表现。

# 3. DRL 中的关键算法

  • DQN（Deep Q-Network）：DQN 使用一个深度神经网络来近似 Q 值函数，并通过经验回放（Experience Replay）和固定目标网络（Target Network）来稳定训练过程。经验回放通过在每个训练步骤随机抽取过往经验，打破了训练数据的相关性，从而提高模型的收敛性。
  • 策略梯度方法（Policy Gradient Methods）：与 Q-learning 不同，策略梯度方法直接优化策略，而不是间接地通过 Q 值来推导策略。这类方法的典型算法包括 REINFORCE 和 Actor-Critic 方法。
  • A3C（Asynchronous Advantage Actor-Critic）：A3C 是 Actor-Critic 方法的一种变体，它通过多个并行环境中的异步更新来加速训练，并且在稳定性和效率上都有显著提高。
  • DDPG（Deep Deterministic Policy Gradient）：DDPG 是一种针对连续动作空间的算法，它结合了 DQN 和策略梯度方法的优点，在高维连续控制任务中表现出色。