沃巴蒂
ff22ed3a8b
本次同步 09-12 至 09-28 的代码变更，主要内容： 新增功能 - 修改密码：后端新增 ChangePasswordRequest DTO 与UserController/UserService 对应接口，前端新增 ChangePasswordDialog 并在 Header 接入入口 - 文件预览组件重构：file-preview 目录拆分出 VideoPreview（支持 blobUrl 直传）、 ImagePreview、AudioPreview，index.tsx 统一调度各类型预览器 - 新增 my_ops 算子模块：markitdown_parser、mineru_pdf_parser、text_quality_evaluator - 新增 tools/minio-file-server MinIO 文件服务 功能增强 - 数据清洗：cleaning_task_service/scheduler/routes 重构， data_juicer_executor 与 wrapper 增强，OperatorTable/LogsTable/TaskDetail 同步调整 - 数据标注：annotation sync.py、project.py 接口与schema 更新 - 数据采集、算子市场、首页与菜单路由相关页面调整 - DataJuicer 算子接入（useOperatorOperations、dj_ops_schema） 结构调整 - deepflow/ 更名为 deep-flow/（419 个文件重命名） - 新增 helm 部署编排、GitHub Actions 之外的自建镜像构建脚本 未纳入本次提交 - scripts-backup/、runtime/python-executor-backup/、components_backup/（备份目录） - *.backup*、__pycache__ 产物 - zh_core_web_sm-3.8.0-py3-none-any.whl（46MB 构建产物） - DataX/（内嵌独立仓库，远程亦未收录其源码）
70 lines
2.0 KiB
Bash
70 lines
2.0 KiB
Bash
# 数据库核心密码【必须修改】
|
|
DB_PASSWORD=Apescale123
|
|
|
|
# JWT配置 (必须 >= 32 字符，即 256 bits)
|
|
JWT_SECRET=ApescaleSuperSecureJwtSecretKey2026v1
|
|
DEEPDATA_JWT_ENABLE=true
|
|
|
|
# 日志轮转配置
|
|
LOG_ROTATION_MAX_SIZE=100MB
|
|
LOG_ROTATION_BACKUP_COUNT=30
|
|
LOG_LEVEL=INFO
|
|
|
|
# 日志磁盘监控
|
|
LOG_PVC_MONITOR_ENABLED=true
|
|
LOG_PVC_MONITOR_PATH=/var/log/deepdata
|
|
LOG_PVC_MONITOR_THRESHOLD=0.9
|
|
LOG_PVC_MONITOR_INTERVAL_SECONDS=300
|
|
LOG_PVC_MONITOR_DELETE_BATCH_SIZE=10
|
|
LOG_PVC_MONITOR_FILE_SUFFIXES=log,out,err
|
|
|
|
# Milvus向量库配置（启用milvus profile生效）
|
|
MILVUS_URI=http://milvus:19530
|
|
MINIO_ACCESS_KEY=minioadmin
|
|
MINIO_SECRET_KEY=Minio@Passw0rd
|
|
|
|
# LabelStudio配置
|
|
LABEL_STUDIO_USERNAME=admin@demo.com
|
|
LABEL_STUDIO_PASSWORD=LabelStudio@123
|
|
LABEL_STUDIO_USER_TOKEN=50d54c9fa842a1cd8e26c55efa7113db22870c47
|
|
LABEL_STUDIO_HOST=http://labelstudio.ailab.ccoop.cc:18585
|
|
LABEL_STUDIO_BASE_URL=http://label-studio:8000
|
|
|
|
# MinerU额外启动参数
|
|
EXTRA_ARGS=
|
|
|
|
|
|
MINIO_ACCESS_KEY_ID=minioadmin
|
|
MINIO_SECRET_ACCESS_KEY=Minio@Passw0rd
|
|
AWS_REGION=us-east-1
|
|
|
|
# ==========================================
|
|
# Ray 分布式集群配置
|
|
# ==========================================
|
|
|
|
RAY_REDIS_PASSWORD=ray_redis_secret
|
|
# 内部使用的board地址
|
|
RAY_DASHBOARD_ADDRESS=http://deepdata-ray-head:8265
|
|
# 内部使用的GCS/head地址
|
|
RAY_HEAD_GCS_ADDRESS=deepdata-ray-head:6379
|
|
# 宿主机映射的head端口
|
|
RAY_HEAD_PORT=6379
|
|
# 宿主机映射的dashboard端口
|
|
RAY_DASHBOARD_PORT=8267
|
|
# 宿主机映射的client端口
|
|
RAY_CLIENT_PORT=10002
|
|
RAY_WORKER_NUM_CPUS=4
|
|
RAY_WORKER_NUM_GPUS=0
|
|
ENABLE_RAY_EXECUTION=true
|
|
MAX_ACTOR_NUMS=40
|
|
NUM_RAY_WORKERS=2
|
|
RAY_WORKER_MEMORY_MB=8000
|
|
|
|
# ==========================================
|
|
# Collection Task Execution Mode
|
|
# - local: Backend 本地执行 (默认，兼容旧版)
|
|
# - runtime: 提交给 Runtime -> Ray 集群执行
|
|
# ==========================================
|
|
COLLECTION_EXECUTION_MODE=runtime
|
|
|