沃巴蒂
ff22ed3a8b
本次同步 09-12 至 09-28 的代码变更，主要内容： 新增功能 - 修改密码：后端新增 ChangePasswordRequest DTO 与UserController/UserService 对应接口，前端新增 ChangePasswordDialog 并在 Header 接入入口 - 文件预览组件重构：file-preview 目录拆分出 VideoPreview（支持 blobUrl 直传）、 ImagePreview、AudioPreview，index.tsx 统一调度各类型预览器 - 新增 my_ops 算子模块：markitdown_parser、mineru_pdf_parser、text_quality_evaluator - 新增 tools/minio-file-server MinIO 文件服务 功能增强 - 数据清洗：cleaning_task_service/scheduler/routes 重构， data_juicer_executor 与 wrapper 增强，OperatorTable/LogsTable/TaskDetail 同步调整 - 数据标注：annotation sync.py、project.py 接口与schema 更新 - 数据采集、算子市场、首页与菜单路由相关页面调整 - DataJuicer 算子接入（useOperatorOperations、dj_ops_schema） 结构调整 - deepflow/ 更名为 deep-flow/（419 个文件重命名） - 新增 helm 部署编排、GitHub Actions 之外的自建镜像构建脚本 未纳入本次提交 - scripts-backup/、runtime/python-executor-backup/、components_backup/（备份目录） - *.backup*、__pycache__ 产物 - zh_core_web_sm-3.8.0-py3-none-any.whl（46MB 构建产物） - DataX/（内嵌独立仓库，远程亦未收录其源码）
90 lines
2.4 KiB
YAML
90 lines
2.4 KiB
YAML
name: "文本质量评估算子"
|
|
description: "基于大语言模型对文本进行多维度质量评分。支持自定义模型、分块策略及评估维度，并发处理长文本。"
|
|
language: "python"
|
|
raw_id: "TextQualityEvaluator"
|
|
version: "1.0.0"
|
|
vendor: "DeepData User"
|
|
modal: "text"
|
|
inputs: "text"
|
|
outputs: "text"
|
|
types:
|
|
- 'consolidate'
|
|
|
|
release:
|
|
- '修复缺失 accessType 和 isHttps 参数'
|
|
|
|
runtime:
|
|
memory: 2147483648
|
|
cpu: 0.5
|
|
storage: 50MB
|
|
|
|
settings:
|
|
# --- LLM 核心配置 ---
|
|
LLMUrl:
|
|
name: "LLM API 地址"
|
|
type: "input"
|
|
defaultVal: "http://ollama.ailab.ccoop.cc:18585/v1/chat/completions"
|
|
required: true
|
|
|
|
accessType:
|
|
name: "使用标准 HTTP 请求"
|
|
type: "switch"
|
|
description: "开启后使用标准 requests 请求，关闭则尝试加载内部证书 (本地 Ollama 必须开启)"
|
|
defaultVal: "true"
|
|
|
|
isHttps:
|
|
name: "使用 HTTPS"
|
|
type: "switch"
|
|
defaultVal: "false"
|
|
|
|
LLMHeaders:
|
|
name: "请求头 (JSON)"
|
|
type: "textarea"
|
|
defaultVal: '{"Content-Type": "application/json"}'
|
|
|
|
LLMModel:
|
|
name: "模型名称"
|
|
type: "input"
|
|
defaultVal: "qwen2.5:7b-instruct-q4_0"
|
|
|
|
LLMBody:
|
|
name: "请求体模板 (JSON)"
|
|
type: "textarea"
|
|
description: "使用 {model} 和 {prompt} 占位符"
|
|
defaultVal: '{"model": "{model}", "messages": [{"role": "user", "content": "{prompt}"}]}'
|
|
|
|
# --- 业务参数 ---
|
|
chunk_size:
|
|
name: "分块大小"
|
|
type: "inputNumber"
|
|
defaultVal: 2000
|
|
min: 500
|
|
max: 8000
|
|
step: 100
|
|
|
|
chunk_overlap:
|
|
name: "重叠字符数"
|
|
type: "inputNumber"
|
|
defaultVal: 100
|
|
min: 0
|
|
max: 1000
|
|
step: 50
|
|
|
|
dimensions:
|
|
name: "评估维度 (JSON)"
|
|
type: "textarea"
|
|
defaultVal: '[{"name": "连贯性", "desc": "逻辑通顺度"}, {"name": "信息密度", "desc": "有效信息占比"}]'
|
|
|
|
prompt_template:
|
|
name: "评估提示词"
|
|
type: "textarea"
|
|
defaultVal: "请作为资深数据专家，对以下文本进行多维度质量打分（0.0~1.0）：\n\n【待评估文本】\n{context}\n\n【评估维度】\n{dimensions}\n\n请严格按照格式返回对应数量的逗号分隔的浮点数，不要输出其他内容。"
|
|
|
|
max_workers:
|
|
name: "并发线程数"
|
|
type: "inputNumber"
|
|
defaultVal: 5
|
|
min: 1
|
|
max: 20
|
|
step: 1
|