CollegeAdvisor
答案应该带有来源。

一座图书馆,出口处设有一道关卡。
为本站用 Blender 制作的示意图。它用于解释思路,并非项目数据。
项目原始图片、图表和视频保留原文。
录取、经济资助和转学途径都取决于具体的信息。在 Athena AI Labs,我参与开发了一款应用,它会先检索支撑材料再组织答案,并会识别现有来源无法支持的问题。设计目标朴素而严格:答案要么说明出处,要么拒绝回答。
连接整个应用程序
我开发了 SwiftUI 界面、Python API 和用于大学咨询问题的检索增强生成工作流程。学生档案集成支持个性化推荐,而文档摄取则组织系统可以参考的信息。
五个集合,彼此分开
知识库分为五个集合:经济资助政策、专业录取要求、Common Data Set 数据、转学学分衔接协议,以及附引用的示例答案。将它们分开,可以让关于转学学分的问题与关于资助的问题检索不同的材料,也能让结果说明它来自哪类来源。
生成前检索
问题首先按语义与这些集合进行匹配,来自官方 .edu 和 .gov 来源的结果权重高于其他材料。已发布的设计文档还描述了关键词检索;这里介绍的是稠密检索路径。语言模型的任务是组织答案的措辞,事实则由检索到的证据提供。
引用、计算,或拒答
有些问题根本不应该基于文本作答。资助和费用数字由确定性计算器计算,而不是生成。涉及法律判断、预测或个人偏好的问题会在检索之前被拦截。当最佳证据仍然薄弱时,系统会拒绝作答并解释原因。在项目自己的压力测试集上,大多数情况是以拒绝作答来处理的。
使工作可检查
我在 Hugging Face 上发布了 CollegeAdvisor-RAG,附有架构说明和使用说明。Kaggle 上也有该模型的页面。本作品集重点介绍检索与引用设计;模型卡中的基准测试结论不应被视为对每个招生问题的保证。
检索进行事实工作。
- 01
按语义检索,按权威排序
每条记录都会被嵌入并存入五个 ChromaDB 集合之一。一个问题会从每个集合中检索候选结果,引用权威域名的候选结果会先获得加权,再保留排名靠前的结果。最低分数阈值把弱匹配排除在答案之外。
- 02
检查问题和来源
专门的处理程序把有关资助、转学和录取的问题导向相应材料。“引用或拒答”检查让证据不足的情况保持可见,而不是强迫每个问题都给出自信的答案。学生的背景信息通过应用和 API 传入。
- 03
更小的模型,更窄的工作
所发布的架构使用适应LoRA的TinyLlama 1.1B模型来进行响应格式化。检索到的证据提供了事实内容。将这些职责分开可以更轻松地检查答案是否得到引用的支持。
架构细节依据已发布的模型卡以及我本人在项目中的工作。它们描述的是系统设计,并不保证检索到的每条事实都是最新的,也不保证每个答案都正确。
探索模型卡诚实的边界。
- 评估由项目自身编写。没有独立的基准测试,也没有真实用户的准确率数据。
- 引用说明答案从何而来,但并不能证明来源是最新的。
- Hugging Face 上发布的是一个附有文档的模型制品,而不是托管的咨询服务。
遵循证据。
- 01问题
学生背景和特定信息需求。
- 02检索
在五个来源集合中检索,并提高权威域名的权重。
- 03验证
专门处理和引用或弃权检查。
- 04回应
用支持引文格式化的答案。


