figmar/deepdata
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
deepdata-20260928
deepdata/my_ops/markitdown_parser/test_output/().md
T
沃巴蒂 ff22ed3a8b feat(deepdata): 引入修改密码、文件预览组件与清洗算子增强，deepflow 改名为 deep-flow 
本次同步 09-12 至 09-28 的代码变更，主要内容：

新增功能
- 修改密码：后端新增 ChangePasswordRequest DTO 与UserController/UserService
  对应接口，前端新增 ChangePasswordDialog 并在 Header 接入入口
- 文件预览组件重构：file-preview 目录拆分出 VideoPreview（支持 blobUrl 直传）、
  ImagePreview、AudioPreview，index.tsx 统一调度各类型预览器
- 新增 my_ops 算子模块：markitdown_parser、mineru_pdf_parser、text_quality_evaluator
- 新增 tools/minio-file-server MinIO 文件服务

功能增强
- 数据清洗：cleaning_task_service/scheduler/routes 重构，
  data_juicer_executor 与 wrapper 增强，OperatorTable/LogsTable/TaskDetail 同步调整
- 数据标注：annotation sync.py、project.py 接口与schema 更新
- 数据采集、算子市场、首页与菜单路由相关页面调整
- DataJuicer 算子接入（useOperatorOperations、dj_ops_schema）

结构调整
- deepflow/ 更名为 deep-flow/（419 个文件重命名）
- 新增 helm 部署编排、GitHub Actions 之外的自建镜像构建脚本

未纳入本次提交
- scripts-backup/、runtime/python-executor-backup/、components_backup/（备份目录）
- *.backup*、__pycache__ 产物
- zh_core_web_sm-3.8.0-py3-none-any.whl（46MB 构建产物）
- DataX/（内嵌独立仓库，远程亦未收录其源码）
2026-10-03 22:44:56 +08:00

13 lines
6.4 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
| | | | | | | |
| --- | --- | --- | --- | --- | --- | --- |
| **序号** | **重要性** | **指标项** | **技术规格要求** | **技术规格要求 修改后** | **开发量** | **证明材料** |
| 1 | | 数据采集能力 | 平台支持不少于20个类型的数据库连接，支持全量快照与基于 CDC 日志（binlog/WAL/oplog）的增量拉取两种模式 | 平台支持不少于20个类型的数据库连接，支持全量快照与周期/定期拉取两种模式 | 基于 CDC 日志（binlog/WAL/oplog）的增量拉取两种模式 目前不支持，需要开发2人天 | 提供产品功能截图 提供产品白皮书 提供产品操作手册 |
| 2 | ★ | 数据预处理能力 | 平台提供覆盖全模态（图像、视频、音频、文本、时序、半结构化）的数据预处理能力。（1）半结构化包括：CSV、XLSX、JSON、XML、SQL 等常见格式。 （2）图片包括：JPEG、PNG、BMP、WEBP等常见格式。 （3）视频包括：MP4、AVI、MOV、MKV等常见格式。 （4）音频包括：WAV、MP3、FLAC、OGG、AAC等常见格式。 （5）文本包括：txt、Markdown、PDF、doc、docx。 （6）时序包括：CSV、Parquet、HDF5 及各类时序库导出流。 | 平台提供覆盖全模态（图像、视频、音频、文本、时序、半结构化）的数据预处理能力。（1）半结构化包括：CSV、XLSX、JSON、XML、SQL 等常见格式。 （2）图片包括：JPEG、PNG、BMP、WEBP等常见格式。 （3）视频包括：MP4、AVI、MOV、MKV等常见格式。 （4）音频包括：WAV、MP3、FLAC、OGG、AAC等常见格式。 （5）文本包括：txt、Markdown、PDF、doc、docx。 | | 提供产品功能截图 提供产品白皮书 提供产品操作手册 |
| 3 | | 数据预处理能力 | 平台内置不少于 100加工算子，同时支持脚本扩展自定义算子 | 平台内置不少于 100加工算子，同时支持脚本扩展自定义算子，并覆盖覆盖文本、图片、音频、视频的多模态数据处理。 | | 提供产品功能截图 提供产品白皮书 提供产品操作手册 |
| 4 | ▲ | 数据标注能力 | 平台图像标注支持图像级分类、矩形框、多边形分割、关键点骨骼等全品类 2D 标注任务，可接入预训练检测/分割模型实现一键智能辅助标注 | 平台图像标注支持图像级分类、矩形框、多边形分割、关键点骨骼等全品类 2D 标注任务，可接入预训练检测/分割模型实现一键智能辅助标注 | | 提供产品功能截图 提供产品白皮书 提供产品操作手册 |
| 5 | ▲ | 数据标注能力 | 平台视频标注支持时间轴抽帧与关键帧插值，集成多目标追踪算法，目标框沿时间轴自动传播，实现连贯目标轨迹生成与时序行为片段高效打标 | 平台视频标注支持时间轴抽帧、关键帧标注，支持时序行为片段打标；支持扩展接口接入外部多目标追踪算法服务，实现目标框沿时间轴自动传播预生成标注结果，完成连贯目标轨迹辅助生成，提升视频样本标注效率。 | 需要配置调试2人天 | 提供产品功能截图 提供产品白皮书 提供产品操作手册 |
| 6 | ▲ | 数据标注能力 | 平台音频标注基于波形图支持毫秒级精确切分，结合语音端点检测自动剔除静音段，集成 ASR 引擎进行预转写填空，支持声学事件（如异常异响）分类打标 | 平台音频标注基于波形图支持毫秒级精确切分，支持声学事件（如异常异响）分类打标；支持扩展接口接入外部语音端点检测与 ASR 能力，将静音分段识别结果、语音预转写内容作为预标注回填至标注界面完成填空，实现音频样本高效辅助标注。 | 需要配置调试2人天 | 提供产品功能截图 提供产品白皮书 提供产品操作手册 |
| 7 | ▲ | 数据标注能力 | 平台文本标注支持嵌套实体识别（最大三级嵌套）、复杂关系分类、文本跨度高亮划词，支持基于正则表达式或自定义词典的批量自动高亮匹配 | 平台文本标注支持文本跨度高亮划词、多类型实体标注、复杂语义关系分类，支持实体间多维度关联关系搭建，可完成文本三元组、多组复杂关系标注；支持基于平台标准导入能力实现正则表达式、自定义词典匹配结果批量预标注导入，实现文本样本批量智能高亮匹配，满足文本结构化标注与高效批量打标需求。 | | 提供产品功能截图 提供产品白皮书 提供产品操作手册 |
| 8 | | 数据标签能力 | 平台提供跨数据类型（图像、文本、时序等）的统一标签树管理，支持为单条或批量数据灵活绑定自定义业务标签，支持基于文件元信息（大小、时长）或内容特征（关键词、直方图分布）配置自动化打标规则，实现自定打标。 | 平台提供跨数据类型（图像、文本、视频）的统一标签树管理，支持为单条或批量数据灵活绑定自定义业务标签，支持基于文件元信息（大小、时长）或内容特征（关键词、直方图分布）配置自动化打标规则，实现自动打标。 | 需要开发算子1人天 | 提供产品功能截图 提供产品白皮书 提供产品操作手册 |
| 9 | ★ | 数据服务能力 | 平台提供开放规范的 RESTful 元数据查询接口，支持第三方业务系统按条件灵活检索数据集概览、标签分布及样本详情。 | 平台提供开放规范的 RESTful 元数据查询接口，支持第三方业务系统按条件灵活检索数据集概览、标签分布及样本详情。 | 需要开发接口2人天 | 提供产品功能截图 提供产品白皮书 提供产品操作手册 |
| 10 | | 数据服务能力 | 支持将高质量数据集自动推送至训练集群启动训练流水线，支持定向推送测评集，并能自动拉回评测指标与困难样本至本平台，形成"数据-训练-评测-数据优化"自动化闭环。支持将结构化知识库、规则库或配置参数等数据资产精准下发至各类下游业务端 | 支持将高质量数据集下载至训练集群启动训练流水线，支持测评集下载，并能评测指标与困难样本上传至本平台，形成"数据-训练-评测-数据优化"自动化闭环。支持将结构化知识库、规则库或配置参数等数据资产精准下发至各类下游业务端 | | 提供产品功能截图 提供产品白皮书 提供产品操作手册 |
Reference in New Issue View Git Blame Copy Permalink