deepdata/my_ops/markitdown_parser/test_output/().md at deepdata-20260928

Files

T

沃巴蒂 ff22ed3a8b feat(deepdata): 引入修改密码、文件预览组件与清洗算子增强，deepflow 改名为 deep-flow

本次同步 09-12 至 09-28 的代码变更，主要内容：

新增功能
- 修改密码：后端新增 ChangePasswordRequest DTO 与UserController/UserService
  对应接口，前端新增 ChangePasswordDialog 并在 Header 接入入口
- 文件预览组件重构：file-preview 目录拆分出 VideoPreview（支持 blobUrl 直传）、
  ImagePreview、AudioPreview，index.tsx 统一调度各类型预览器
- 新增 my_ops 算子模块：markitdown_parser、mineru_pdf_parser、text_quality_evaluator
- 新增 tools/minio-file-server MinIO 文件服务

功能增强
- 数据清洗：cleaning_task_service/scheduler/routes 重构，
  data_juicer_executor 与 wrapper 增强，OperatorTable/LogsTable/TaskDetail 同步调整
- 数据标注：annotation sync.py、project.py 接口与schema 更新
- 数据采集、算子市场、首页与菜单路由相关页面调整
- DataJuicer 算子接入（useOperatorOperations、dj_ops_schema）

结构调整
- deepflow/ 更名为 deep-flow/（419 个文件重命名）
- 新增 helm 部署编排、GitHub Actions 之外的自建镜像构建脚本

未纳入本次提交
- scripts-backup/、runtime/python-executor-backup/、components_backup/（备份目录）
- *.backup*、__pycache__ 产物
- zh_core_web_sm-3.8.0-py3-none-any.whl（46MB 构建产物）
- DataX/（内嵌独立仓库，远程亦未收录其源码）

2026-10-03 22:44:56 +08:00

6.4 KiB

Raw Permalink Blame History


序号	重要性	指标项	技术规格要求	技术规格要求修改后	开发量	证明材料
1		数据采集能力	平台支持不少于20个类型的数据库连接，支持全量快照与基于 CDC 日志（binlog/WAL/oplog）的增量拉取两种模式	平台支持不少于20个类型的数据库连接，支持全量快照与周期/定期拉取两种模式	基于 CDC 日志（binlog/WAL/oplog）的增量拉取两种模式目前不支持，需要开发2人天	提供产品功能截图提供产品白皮书提供产品操作手册
2	★	数据预处理能力	平台提供覆盖全模态（图像、视频、音频、文本、时序、半结构化）的数据预处理能力。（1）半结构化包括：CSV、XLSX、JSON、XML、SQL 等常见格式。（2）图片包括：JPEG、PNG、BMP、WEBP等常见格式。（3）视频包括：MP4、AVI、MOV、MKV等常见格式。（4）音频包括：WAV、MP3、FLAC、OGG、AAC等常见格式。（5）文本包括：txt、Markdown、PDF、doc、docx。（6）时序包括：CSV、Parquet、HDF5 及各类时序库导出流。	平台提供覆盖全模态（图像、视频、音频、文本、时序、半结构化）的数据预处理能力。（1）半结构化包括：CSV、XLSX、JSON、XML、SQL 等常见格式。（2）图片包括：JPEG、PNG、BMP、WEBP等常见格式。（3）视频包括：MP4、AVI、MOV、MKV等常见格式。（4）音频包括：WAV、MP3、FLAC、OGG、AAC等常见格式。（5）文本包括：txt、Markdown、PDF、doc、docx。		提供产品功能截图提供产品白皮书提供产品操作手册
3		数据预处理能力	平台内置不少于 100加工算子，同时支持脚本扩展自定义算子	平台内置不少于 100加工算子，同时支持脚本扩展自定义算子，并覆盖覆盖文本、图片、音频、视频的多模态数据处理。		提供产品功能截图提供产品白皮书提供产品操作手册
4	▲	数据标注能力	平台图像标注支持图像级分类、矩形框、多边形分割、关键点骨骼等全品类 2D 标注任务，可接入预训练检测/分割模型实现一键智能辅助标注	平台图像标注支持图像级分类、矩形框、多边形分割、关键点骨骼等全品类 2D 标注任务，可接入预训练检测/分割模型实现一键智能辅助标注		提供产品功能截图提供产品白皮书提供产品操作手册
5	▲	数据标注能力	平台视频标注支持时间轴抽帧与关键帧插值，集成多目标追踪算法，目标框沿时间轴自动传播，实现连贯目标轨迹生成与时序行为片段高效打标	平台视频标注支持时间轴抽帧、关键帧标注，支持时序行为片段打标；支持扩展接口接入外部多目标追踪算法服务，实现目标框沿时间轴自动传播预生成标注结果，完成连贯目标轨迹辅助生成，提升视频样本标注效率。	需要配置调试2人天	提供产品功能截图提供产品白皮书提供产品操作手册
6	▲	数据标注能力	平台音频标注基于波形图支持毫秒级精确切分，结合语音端点检测自动剔除静音段，集成 ASR 引擎进行预转写填空，支持声学事件（如异常异响）分类打标	平台音频标注基于波形图支持毫秒级精确切分，支持声学事件（如异常异响）分类打标；支持扩展接口接入外部语音端点检测与 ASR 能力，将静音分段识别结果、语音预转写内容作为预标注回填至标注界面完成填空，实现音频样本高效辅助标注。	需要配置调试2人天	提供产品功能截图提供产品白皮书提供产品操作手册
7	▲	数据标注能力	平台文本标注支持嵌套实体识别（最大三级嵌套）、复杂关系分类、文本跨度高亮划词，支持基于正则表达式或自定义词典的批量自动高亮匹配	平台文本标注支持文本跨度高亮划词、多类型实体标注、复杂语义关系分类，支持实体间多维度关联关系搭建，可完成文本三元组、多组复杂关系标注；支持基于平台标准导入能力实现正则表达式、自定义词典匹配结果批量预标注导入，实现文本样本批量智能高亮匹配，满足文本结构化标注与高效批量打标需求。		提供产品功能截图提供产品白皮书提供产品操作手册
8		数据标签能力	平台提供跨数据类型（图像、文本、时序等）的统一标签树管理，支持为单条或批量数据灵活绑定自定义业务标签，支持基于文件元信息（大小、时长）或内容特征（关键词、直方图分布）配置自动化打标规则，实现自定打标。	平台提供跨数据类型（图像、文本、视频）的统一标签树管理，支持为单条或批量数据灵活绑定自定义业务标签，支持基于文件元信息（大小、时长）或内容特征（关键词、直方图分布）配置自动化打标规则，实现自动打标。	需要开发算子1人天	提供产品功能截图提供产品白皮书提供产品操作手册
9	★	数据服务能力	平台提供开放规范的 RESTful 元数据查询接口，支持第三方业务系统按条件灵活检索数据集概览、标签分布及样本详情。	平台提供开放规范的 RESTful 元数据查询接口，支持第三方业务系统按条件灵活检索数据集概览、标签分布及样本详情。	需要开发接口2人天	提供产品功能截图提供产品白皮书提供产品操作手册
10		数据服务能力	支持将高质量数据集自动推送至训练集群启动训练流水线，支持定向推送测评集，并能自动拉回评测指标与困难样本至本平台，形成"数据-训练-评测-数据优化"自动化闭环。支持将结构化知识库、规则库或配置参数等数据资产精准下发至各类下游业务端	支持将高质量数据集下载至训练集群启动训练流水线，支持测评集下载，并能评测指标与困难样本上传至本平台，形成"数据-训练-评测-数据优化"自动化闭环。支持将结构化知识库、规则库或配置参数等数据资产精准下发至各类下游业务端		提供产品功能截图提供产品白皮书提供产品操作手册

6.4 KiB Raw Permalink Blame History Unescape Escape

6.4 KiB

Raw Permalink Blame History