refactor(api,expo): 多智能体与会话收敛、回忆录兼容层移除、后端测试集大幅删减

- 对齐「多智能体收敛」与「回忆录 stories-first / markdown-first」方向:收紧运行时契约、
  删除过渡兼容路径与双轨逻辑,并同步更新客户端与文档。

- Chat:以 ChatOrchestrator 为实时编排入口;删除独立 conversation_agent,精简 prompts。
- Memoir:删除 memory_agent;MemoirOrchestrator、classification / story_route 与 prompts 收敛到
  prepare_batches + run_story_pipeline_for_category_batch 主链路。
- 将 agents 侧 processor 迁入 feature 层为 background_runner,并移除 features 下重复/过时
  processor 封装。

- 新增 history_store,强化「conversation_messages 为 DB 真源、Redis 为缓存」模型。
- 调整 models、repo、service、session_history;精简 WS message_types,重构 pipeline 与 router。

- 移除章节占位、整章再生等旧路径;章节列表与封面逻辑要求 story 关联;收紧 cover 资格与
  enqueue。
- helpers、repo、service、router、reading_segment_materialize、story_pipeline_sync、pdf_service
  等按 canonical markdown / cover_asset_id 收缩;删除 memoir_images/provider 等冗余。
- tasks:memoir_tasks、chapter_cover_tasks 等大幅瘦身;story_image_tasks 等与当前图片任务对齐。

- core:config、logging、redis、task_tracker 小幅调整。
- auth / user / payment / quota:路由或服务侧删减过时接口或逻辑(如 payment router 行数减少)。

- pyproject.toml、development.sh、.env.example / .env.production、README 等同步说明或变量。

- Alembic 0001_initial_schema 微调(与当前 schema 叙事一致的小改动)。

- 回忆录:types / mappers / api、章节页与 memoir 页与后端契约对齐;markdown-renderer 调整。
- 语音:删除 voice/player,voice-segment-store 相应精简。

- api/tests:删除 conftest 及绝大部分既有测试文件(websocket_baseline、conversation、memoir
  图片、PDF、SMS 等),属有意收缩/待按 backend-test-system 重建的信号。
- docs:新增多智能体收敛与移除兼容层计划摘要;更新 story-first 设计、backend-test-system、
  multi-agent-refactor-plan、实施总结等。

BREAKING CHANGE: 后端对外契约、回忆录章节字段与若干路由/任务行为已变更;大量 API 测试被移除,
  CI 若依赖这些用例需按新策略补测或调整流水线。
This commit is contained in:
Kevin
2026-03-22 16:45:57 +08:00
parent 70070216c4
commit 786ebf8ae6
122 changed files with 2802 additions and 7941 deletions

View File

@@ -2,7 +2,7 @@ import json
import re
from typing import Any
from app.features.memoir.asset_resolver import strip_legacy_image_placeholders
from app.features.memoir.asset_resolver import strip_image_placeholders
from .json_payload import extract_json_payload
from .schema import IMAGE_STATUS_PENDING
@@ -87,7 +87,7 @@ def parse_narrative_json(raw: str) -> list[dict[str, Any]]:
def split_plain_narrative_into_sections(narrative: str) -> list[dict[str, Any]]:
"""非 JSON 叙事:去掉遗留占位符后按空行拆段,不产生段落配图。"""
text = strip_legacy_image_placeholders(narrative or "")
text = strip_image_placeholders(narrative or "")
if not text.strip():
return []
parts = [p.strip() for p in text.split("\n\n") if p.strip()]

View File

@@ -1,9 +0,0 @@
"""
LiblibImageProvider 已迁至 app.adapters.image_gen.liblib_provider
此处仅 re-export以便 memoir 与 tasks 的既有引用不中断。
Feature 应通过 port ImageGenerator + get_image_generator() 使用图生能力。
"""
from app.adapters.image_gen.liblib_provider import LiblibImageProvider # noqa: F401
__all__ = ["LiblibImageProvider"]

View File

@@ -21,8 +21,8 @@ _PLACEHOLDER_DESCRIPTION_RE = re.compile(
def normalize_image_asset(asset: dict[str, Any] | None) -> dict[str, Any] | None:
"""归一化单条图片 dict。
- 兼容旧正文中的 {{{{IMAGE:…}}}} / {{IMAGE:…}} 占位符(需能解析出 description
- 新模型:插图不嵌入 markdown可无占位符;已完成且带 url/storage_key 即可通过,
- 可解析 {{{{IMAGE:…}}}} / {{IMAGE:…}} 占位符中的 description。
- 插图不嵌入 markdown可无占位符;已完成且带 url/storage_key 即可通过,
description 缺省时用「插图」pending/processing 至少要有 description、占位符或 prompt。
"""
if not isinstance(asset, dict):

View File

@@ -1,9 +1,10 @@
from app.core.logging import get_logger
from urllib.parse import urlparse, urlunparse
from qcloud_cos import CosConfig, CosS3Client
from qcloud_cos.cos_exception import CosClientError, CosServiceError
from app.core.logging import get_logger
logger = get_logger(__name__)
@@ -148,8 +149,14 @@ class TencentCosStorageService:
)
etag = response.get("ETag", "")
request_id = response.get("x-cos-request-id", "")
logger.info(
"COS upload ok: key=%s, ETag=%s, request_id=%s", key, etag, request_id
public_url = f"{self.base_url}/{key}"
logger.debug(
"COS upload ok: key=%s url=%s ETag=%s request_id=%s bytes=%s",
key,
public_url,
etag,
request_id,
len(image_bytes),
)
except (CosClientError, CosServiceError) as exc:
retryable = _is_retryable_cos_error(exc)
@@ -161,7 +168,7 @@ class TencentCosStorageService:
retryable=retryable,
request_id=request_id,
) from exc
return f"{self.base_url}/{key}"
return public_url
def get_download_url(self, key: str, expires: int = 3600) -> str:
try: