feat(api): Memory compaction 管线与调度修复,同步环境变量示例
Memory compaction(近重复 chunk 软排除) - 新增 compaction 调度:Redis debounce、scheduler gate、增量游标;任务结束时 finalize,避免 gate 长期占用并处理运行期新 trigger。 - Celery memory_compaction_run:debounce 未到点则 retry;用户级 Redis 锁;成功路径更新游标并 finalize;异常时释放 scheduler gate 并 self.retry,避免静默卡死调度与瞬时失败不重试。 - compaction_service:多层判定 + canonical 打分;无 embedding 时停止前移游标(awaiting_embeddings);curation details 补全 trigger 等上下文。 - ingest_transcript_sync:同步路径尽力写入 embedding,与异步 ingest 行为对齐,避免 compaction 永远扫不到无向量 chunk。 - repo:新增 update_chunk_embedding_sync。 测试 - 扩展 test_memory_compaction:调度合并、finalize、ingest embedding、无向量游标、异常路径 gate+retry 等回归用
This commit is contained in:
@@ -5,6 +5,7 @@ Celery 任务模块
|
||||
from .celery_app import celery_app
|
||||
from .chapter_cover_tasks import generate_chapter_cover
|
||||
from .memoir_tasks import process_memoir_segments
|
||||
from .memory_compaction_tasks import memory_compaction_run
|
||||
from .story_image_tasks import generate_story_image
|
||||
|
||||
__all__ = [
|
||||
@@ -12,4 +13,5 @@ __all__ = [
|
||||
"process_memoir_segments",
|
||||
"generate_chapter_cover",
|
||||
"generate_story_image",
|
||||
"memory_compaction_run",
|
||||
]
|
||||
|
||||
Reference in New Issue
Block a user