数据库 - 新增迁移 0003:timeline_events.memory_source_id 外键 → memory_sources,便于按 ingest 源做时间线幂等 后端 - 记忆 - 新增 ingest 后 LLM 富化(摘要/事实/时间线),可配置开关与最大字符数 - 新增证据包组装:合并 chunk、摘要、事实、时间线、故事等检索结果;支持空 query 时是否仍带 rolling 等开关 - repo/retriever/service/router/schemas/summarizer/timeline/extractor 等扩展;文档 memory-retrieval.md 更新 后端 - 对话 WS - 增加 PING/PONG;分段 ASR 日志与空音频处理;转写失败与「无助手回复」错误提示更明确 - 助手多段回复持久化使用统一分隔符,与分段逻辑一致 后端 - Agent - reply_limits:按 [SPLIT] 与段落拆段,并保证非空 fallback,供 WS 与 TTS 多段下发 后端 - 回忆录任务 - transcript ingest 记录 source_id;任务成功结?
2.6 KiB
2.6 KiB
记忆检索:异步 API 与 Celery 同步路径
两条路径
| 路径 | 入口 | 检索能力 |
|---|---|---|
| **异步(HTTP / MemoirService) | MemoryService.retrieve → HybridRetriever → evidence.retrieve_evidence_bundle_async |
FTS + 向量(pgvector),RRF 融合 chunks;facts / timeline 按 query ILIKE,无命中则 fallback 最近条;rolling + ILIKE 摘要;stories(标题/摘要匹配) |
| **同步(Celery) | retrieve_evidence_sync(repo 薄封装 → evidence.retrieve_evidence_bundle_sync) |
仅 FTS chunks;其余与上类似(无向量) |
证据组装在 app/features/memory/evidence.py;memory/repo 仅提供原子查询(chunk FTS、facts/timeline 搜索、摘要列表等),story 合并在 evidence 层完成。
为何 Celery 与 Hybrid 不完全一致
ingest_transcript_sync仅写入 chunk + FTS,跳过 embedding(见MemoryService.ingest_transcript_sync注释),与异步 ingest 行为对齐策略不同。- 在 worker 中补齐同步向量检索需注入
EmbeddingProvider与同会话查询,成本与可用性需单独评估。
业务上应假设:线上章节生成任务以 FTS 证据为主;异步 API 若配置了 embedding,检索语义更富。
空 query
- 默认:
relevant_*均为空(与历史行为一致)。 - 若设置
memory_evidence_empty_query_include_rolling=true:返回无 chunk FTS,但含 rolling 摘要、最近 facts / timeline(用于「浏览」模式)。
富化(ingest 后 LLM)
memory_enrichment_enabled(默认true):ingest_transcript/ingest_transcript_sync后执行摘要、事实、时间线;false时跳过。memory_enrichment_max_chars:截断送入 LLM 的文本长度。- 同一
memory_source_id的时间线在重跑富化前会先删后插入,避免重复事件。
Celery 任务中的顺序
process_memoir_segments(app/tasks/memoir_tasks.py)在同一任务内先执行 ingest_transcript_sync(并 commit),再执行 MemoirOrchestrator 与 run_story_pipeline_for_category_batch。因此 retrieve_evidence_sync 能看到本批刚写入的 memory chunks(无竞态)。
章节分类上,若模型返回 none 或命中零散档案启发式,Story 侧会统一落入 summary 章节并继续叙事落库,与「本批 transcript 已进 memory」一致,避免误以为内容被丢弃。
Evidence 与叙事 Prompt
format_evidence_chunks_for_prompt 拼接 chunks、摘要(若有)、facts、timeline、故事摘要(若有);模型应把摘录视为参考材料,非本段口述。