physics_repeat_check

考试院查重文档说明:

初始化方式：

注：若keyword_mapping.json不存在，则首先运行 python comparison.py # 计算知识点/物理量映射ID

python db_train_app.py # mongodb数据清洗与向量化/计算物理量/知识点转ID/计算求解类型

python hm_ir_train_app.py # hnsw模型/关键词检索/公式查重模型初始化

启动方式：

1、全部功能重启命令

conda activate dup_search
python restart_server.py

2、部分功能重启命令

conda activate dup_search
python restart_server.py 0/1/2/3

其中：

0表示重启考试院题库查重功能

1表示重启考试院题库HNSW模型检索功能

2表示重启多维度(求解类型/难度)分类模型功能

3表示重启服务监控功能

查重功能主要分三个部分（公式查重、关键词检索、文本查重、语义查重）：

〇、数据初始化

• config.py: 基础配置信息，包含数据库地址、调用接口地址、日志初始化配置、相似度阈值等
• main_clear/sci_clear.py: 数据清洗模块
• data_preprocessing.py: 数据预处理代码，包含数据清洗、字段数据拼接、数据向量化等
• hnsw_model_train.py: 初始化训练HNSW模型

一、公式查重

• formula_process: 公式规则抽取、训练词袋模型和计算题库所有公式向量

二、关键词检索

• word_segment.py: 文档分词功能
• ir_db_establish.py: 构建倒排索引并将结果存入sqlite数据库
• info_retrieval.py: 使用BM25算法进行关键词检索打分排序

三、文本查重

• hnsw_retrieval.py: HNSW召回、文本相似查重、语义相似查重
• hnsw_model.py: HNSW模型加载保存以及查操作
• hnsw_app: 全学科题库查重接口服务

四、语义查重

• dim_classify.py: 求解类型分类/难度分类
• dim_classify_app.py: 求解类型分类/难度分类服务
• physical_quantity_extract: 物理量规则提取
• comprehensive_score.py: 题型/求解类型/难度/物理量/知识点打分规则