feat(deepdata): 引入修改密码、文件预览组件与清洗算子增强，deepflow 改名为 deep-flow

本次同步 09-12 至 09-28 的代码变更，主要内容：新增功能 - 修改密码：后端新增 ChangePasswordRequest DTO 与UserController/UserService 对应接口，前端新增 ChangePasswordDialog 并在 Header 接入入口 - 文件预览组件重构：file-preview 目录拆分出 VideoPreview（支持 blobUrl 直传）、 ImagePreview、AudioPreview，index.tsx 统一调度各类型预览器 - 新增 my_ops 算子模块：markitdown_parser、mineru_pdf_parser、text_quality_evaluator - 新增 tools/minio-file-server MinIO 文件服务功能增强 - 数据清洗：cleaning_task_service/scheduler/routes 重构， data_juicer_executor 与 wrapper 增强，OperatorTable/LogsTable/TaskDetail 同步调整 - 数据标注：annotation sync.py、project.py 接口与schema 更新 - 数据采集、算子市场、首页与菜单路由相关页面调整 - DataJuicer 算子接入（useOperatorOperations、dj_ops_schema）结构调整 - deepflow/ 更名为 deep-flow/（419 个文件重命名） - 新增 helm 部署编排、GitHub Actions 之外的自建镜像构建脚本未纳入本次提交 - scripts-backup/、runtime/python-executor-backup/、components_backup/（备份目录） - *.backup*、__pycache__ 产物 - zh_core_web_sm-3.8.0-py3-none-any.whl（46MB 构建产物） - DataX/（内嵌独立仓库，远程亦未收录其源码）
2026-10-03 22:44:56 +08:00
parent cbb1048e18
commit ff22ed3a8b
1156 changed files with 129912 additions and 21716 deletions
@@ -1,52 +1,52 @@
-#!/user/bin/python
-# -*- coding: utf-8 -*-
-
-"""
-Description: 电话号码匿名化
-Create: 2024/12/26 15:43
-"""
-import re
-import time
-from typing import Dict, Any
-
-from loguru import logger
-
-from deepdata.core.base_op import Mapper
-
-
-class AnonymizedPhoneNumber(Mapper):
-    def __init__(self, *args, **kwargs):
-        super().__init__(*args, **kwargs)
-        self.phone_re_compile = self.get_phone_re_compile()
-
-    @staticmethod
-    def get_phone_re_compile():
-        """按照格式粗略匹配电话号码，支持以下格式电话号码
-        前缀：（0086）、（86）、(0086)、(86) 、无
-        电话号码：第一位1，第二位3-9，后续数字可以为0-9，数字按照3-4-4进行间隔，间隔符为空格、-、无
-        固定电话号码：0AX-CXXX-XXXX、0BXX-CXXX-XXXX、0BXX-CXX-XXXX A为1-2、B为3-9、C为2-8、X为0-9
-        约束：电话号码前后皆为非数字
-        """
-        number_prefix = r'([\(（]?\+?(00)?86[)\）]?[- ]?)?'
-        cellphone_pattern = r"1[3-9]\d[- ]?\d{4}[- ]?\d{4}"
-        landline_pattern = (r'[(（]?(0?[12]\d)[)）]?[ -]?[2-8]\d{3}[ -]?\d{4}'
-                            r'|[(（]?(0?[3-9]\d{2})[)）]?[ -]?[2-8]\d{2}\d?[ -]?\d{4}')
-        phone_numbers_pattern = rf'(?<=[^\d]){number_prefix}({cellphone_pattern}|{landline_pattern})(?=[^\d])'
-        phone_re_compile = re.compile(phone_numbers_pattern)
-        return phone_re_compile
-
-    def execute(self, sample: Dict[str, Any]) -> Dict[str, Any]:
-        start = time.time()
-        self.read_file_first(sample)
-        sample[self.text_key] = self._phone_number_filter(sample[self.text_key])
-        logger.info(
-            f"fileName: {sample[self.filename_key]}, method: PhoneNumberCleaner costs {time.time() - start:6f} s")
-        return sample
-
-    def _phone_number_filter(self, input_data: str):
-        """ 电话号码匿名化"""
-        # 正则匹配：电话号码前需匹配不是数字的字符串
-        # 为避免处于文章开头和结尾的电话号码不可被识别，需要在输入字符串的前后手动加上字符串
-        input_data = ''.join(['【', input_data, '】'])
-        input_data = self.phone_re_compile.sub("<tel>", input_data)
-        return input_data[1:-1]
+#!/user/bin/python␍
+# -*- coding: utf-8 -*-␍
+␍
+"""␍
+Description: 电话号码匿名化␍
+Create: 2024/12/26 15:43␍
+"""␍
+import re␍
+import time␍
+from typing import Dict, Any␍
+␍
+from loguru import logger␍
+␍
+from deepdata.core.base_op import Mapper␍
+␍
+␍
+class AnonymizedPhoneNumber(Mapper):␍
+    def __init__(self, *args, **kwargs):␍
+        super().__init__(*args, **kwargs)␍
+        self.phone_re_compile = self.get_phone_re_compile()␍
+␍
+    @staticmethod␍
+    def get_phone_re_compile():␍
+        """按照格式粗略匹配电话号码，支持以下格式电话号码␍
+        前缀：（0086）、（86）、(0086)、(86) 、无␍
+        电话号码：第一位1，第二位3-9，后续数字可以为0-9，数字按照3-4-4进行间隔，间隔符为空格、-、无␍
+        固定电话号码：0AX-CXXX-XXXX、0BXX-CXXX-XXXX、0BXX-CXX-XXXX A为1-2、B为3-9、C为2-8、X为0-9␍
+        约束：电话号码前后皆为非数字␍
+        """␍
+        number_prefix = r'([\(（]?\+?(00)?86[)\）]?[- ]?)?'␍
+        cellphone_pattern = r"1[3-9]\d[- ]?\d{4}[- ]?\d{4}"␍
+        landline_pattern = (r'[(（]?(0?[12]\d)[)）]?[ -]?[2-8]\d{3}[ -]?\d{4}'␍
+                            r'|[(（]?(0?[3-9]\d{2})[)）]?[ -]?[2-8]\d{2}\d?[ -]?\d{4}')␍
+        phone_numbers_pattern = rf'(?<=[^\d]){number_prefix}({cellphone_pattern}|{landline_pattern})(?=[^\d])'␍
+        phone_re_compile = re.compile(phone_numbers_pattern)␍
+        return phone_re_compile␍
+␍
+    def execute(self, sample: Dict[str, Any]) -> Dict[str, Any]:␍
+        start = time.time()␍
+        self.read_file_first(sample)␍
+        sample[self.text_key] = self._phone_number_filter(sample[self.text_key])␍
+        logger.info(␍
+            f"fileName: {sample[self.filename_key]}, method: PhoneNumberCleaner costs {time.time() - start:.6f} s")␍
+        return sample␍
+␍
+    def _phone_number_filter(self, input_data: str):␍
+        """ 电话号码匿名化"""␍
+        # 正则匹配：电话号码前需匹配不是数字的字符串␍
+        # 为避免处于文章开头和结尾的电话号码不可被识别，需要在输入字符串的前后手动加上字符串␍
+        input_data = ''.join(['【', input_data, '】'])␍
+        input_data = self.phone_re_compile.sub("<tel>", input_data)␍
+        return input_data[1:-1]␍