Table of Contents

DeepData 一站式数据工作平台

一句话定位
八大核心模块
系统架构一览
核心概念
百科目录
快速上手
版本与分支

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

DeepData 一站式数据工作平台

面向模型微调与 RAG 检索的企业级数据处理平台。覆盖数据归集、数据管理、算子市场、数据清洗、数据合成、数据标注、数据评估、知识生成八大核心模块。

本百科随代码演进，内容以 deepdata-20260928 分支（commit ff22ed3）为基准。所有技术细节均标注来源文件路径，可溯源核查。

一句话定位

DeepData 把「原始数据」变成「可训练、可检索的语料」——中间的清洗、标注、增强、评估全部在平台内编排完成。

对比自建流水线：不需要自己拼 DataX + Spark清洗脚本 + Label Studio + 向量库 + 调度器，DeepData 提供的是可视化编排 + 算子生态 + 一体化存储。

八大核心模块

模块	作用	主要入口
数据归集	从 NFS/S3/API/数据库拉数据入库	`/data/collection`
数据管理	数据集、文件、标签、血缘管理	`/data/management`
算子市场	算子注册、打包、上传、复用	`/data/operator-market`
数据清洗	可视化编排清洗流水线	`/data/cleansing`
数据合成	指令数据合成、配比任务	`/data/synthesis/task`、`/data/synthesis/ratio-task`
数据标注	标注项目、自动标注、对接 Label Studio	`/data/annotation`
数据评估	质量与效果评估	`/data/evaluation`
知识生成	RAG 知识库构建、索引	`/data/knowledge-base`

另有可视化编排（/orchestration）与 Agent 对话入口（/chat）。

系统架构一览

                    ┌─────────────────────────┐
   浏览器 ─────────▶ │  前端 React18 + Vite7│  :30000
                    └───────────┬─────────────┘
                                │ /api
                    ┌───────────▼─────────────┐
                    │  网关 Spring Cloud GW   │  :8080
                    │  JWT 认证 / SSO / 限流   │
                    └───────────┬─────────────┘
             ┌──────────────────┴──────────────────┐
┌────────────▼─────────────┐        ┌───────────────▼──────────────┐
│  主应用 Spring Boot 3.5│        │  Python 后端 FastAPI        │
│  集成所有业务服务       │        │  :18000                      │
│  data-management       │◀──────▶│  归集/清洗/标注/算子调度    │
│  rag-indexer           │        │  MCP endpoint /mcp          │
└──────┬──────────┬───────┘        └────────┬──────────────┬───────┘
       │          │                          │              │
  ┌────▼────┐ ┌───▼────────┐          ┌──────▼─────┐  ┌────▼─────┐
  │PostgreSQL│ │  Milvus    │          │   Redis    │  │Ray 集群  │
  │  :5432  │  │  :19530    │          │   :6379    │  │ 算子执行  │
  │ 主元数据 │  │ 向量索引   │          │            │  │(可选)    │
  └─────────┘  └────────────┘          └────────────┘  └──────────┘
                  ▲
            ┌─────┴──────┐
            │   MinIO    │ S3 兼容对象存储
            └────────────┘

关键特征：主应用与 Python 后端是双后端架构 —— Java 侧做数据管理与 RAG 索引，Python 侧做算子编排与调度，两者通过 HTTP 互调。

核心概念

概念	定义	说明
数据集 Dataset	一批文件的集合	UUID 主键，存于 `t_dm_datasets`
算子 Operator	单一处理能力的最小单元	有 metadata.yml 描述，支持打包上传
算子实例 Operator Instance	算子在具体任务中的一次配置	存于 `t_operator_instance`
任务 Task	一次数据处理执行	清洗/标注/合成/评估各自有任务表
血缘 Lineage	数据加工的上下游关系	`t_lineage_node` + `t_lineage_edge`

百科目录

章节	内容
需求与定位	谁在用、解决什么问题、典型场景与选型判断
产品功能	八大模块的功能边界与设计意图
技术架构	技术栈、服务拆分、算子执行引擎、数据模型
部署指南	Docker Compose 与 Helm K8s 两种形态
运维手册	日志、健康检查、备份、排障、已知坑
使用说明	界面操作指南、标注作业 SOP（Label Studio 对接 + 原始参考材料）

快速上手

# 1. 准备环境变量
cp deployment/docker/deepdata/.env.example deployment/docker/deepdata/.env
# 编辑 .env，至少填写 DB_PASSWORD / JWT_SECRET / MINIO_* / LABEL_STUDIO_*

# 2. 启动核心服务
docker compose -f deployment/docker/deepdata/docker-compose.yml up -d

# 3. 访问
#    前端http://<host>:30000
#    网关   http://<host>:8080

首次部署注意：PostgreSQL 初始化脚本只在数据卷为空时执行一次（docker-entrypoint-initdb.d 机制）。修改 scripts/db/*.sql 后不会自动生效，需手工执行或重建数据卷。

版本与分支

分支	说明	commit
`main`	早期基线（含 Casdoor SSO 认证与 GitHub Actions CI）	`cbb1048`
`deepdata-20260928`	当前开发基线，本次代码与功能变更所在分支	`ff22ed3`

main 上的 .github/workflows/ CI 与 Casdoor SSO 模块在 deepdata-20260928 中不存在 —— 后者基于国内交付版本（走自建镜像仓库）。详见运维手册。