kevin/life-echo
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
340 Commits 1 Branch 0 Tags
3ae39838c0f8f5cb8d3c076516636f7a1aff55b7
Commit Graph

158 Commits

Author SHA1 Message Date
Kevin
3ae39838c0 feat(memoir): 路由阶段不要求标题，按正文字数门闸延迟 LLM 标题 
- 从 story 路由 prompt/校验中移除 new_story_title，改由叙事管线在正文足够长时生成
- 新增 story_title_min_body_chars；短正文使用章节类别占位标题
- CATEGORY_TO_CHAT_STAGE 对齐访谈 state.slots 的 stage 键
- 删除相对口述长度的叙事回退，仅保留 merge JSON 极端缩水类 fallback
- evidence_format：解析 object_json 并优化事实条目标点符号
- 更新 narrative / experience 相关单测
 2026-04-02 14:38:40 +08:00
Kevin
bb16d3a5c9 refactor(agents): 抽取阶段常量与对话上下文；快档 LLM；图片 prompt 可禁止回退 
访谈与阶段
- 新增 app/agents/stage_constants.py：集中 CHAT_STAGES、章节分类/顺序、阶段到默认 memoir 类别等，与 MemoirState 默认槽位顺序对齐；减少散落在 prompts 内的重复常量。
- 新增 app/agents/chat/prompt_context.py：以 ChatPromptContext 汇总 guided 系统提示所需字段（阶段、槽位、轮次、人设、记忆证据、回复长度模式、背景声线、职业等），统一走 get_guided_conversation_prompt。
- 大幅收敛 app/agents/chat/prompts_conversation.py；调整 prompts.py、stage_prompts.py、stage_detection.py；同步 interview_agent、profile_agent、helpers 与 state_schema，使对话侧构造提示的方式一致、可测。

回忆录流水线
- memoir/prompts.py 删除已迁至 stage_constants / 独立模板的大段常量与图片占位相关逻辑；classification / extraction / fidelity / narrative agents 与 orchest（全量历史仍可用于计数，注入模型时按轮次与字符上限截断）、image_prompt_fallback_disabled。
- dependencies 增加 get_llm_provider_fast（LRU 缓存，可与默认共用密钥与 base_url）。

任务与编排
- memoir_tasks：prepare_batches 注入 llm_fast；开启独立快档模型时打结构化日志。
- chapter_cover_tasks、story_image_tasks：与图片 prompt / JSON 工具路径或策略变更对齐（import 与行为一致）。
- story_pipeline_sync 等小处同步。

其它核心
- langchain_llm、text_normalize 随上述调用链微调。

开发者体验
- .cursor/settings.json：启用 redis-development、postman 插件。

测试
- 新增 test_image_prompt_policy：覆盖「禁止回退」等图片 prompt 策略。
- 更新 test_interview_prompts、test_interview_reply_length、test_experience_regressions、test_json_and_memory_utils，匹配新常量位置、json_utils 与对话/长度行为。
 2026-04-02 12:00:00 +08:00
Kevin
43ef260ae2 fix/ 修复后端dockerworkflow会跑两次alembic的问题 2026-04-01 16:29:18 +08:00
Kevin
53d9e003af feat(api): 叙事 prompt、职业上下文、读路径章节、WS 解耦与错误脱敏 
- 回忆录：事实边界补充允许清单；传记文体示例与 JSON 叙事要求对齐
- default 职业提示 occupation_context；cadre/military 退休语境
- GET 章节读路径零写入，prepare_chapter_read_view + markdown_for_response
- 文本归一抽到 core/text_normalize；移除弃用 reply 策略与 recompose_chapters_for_story
- ConversationService：WS 连接/用户段落/结束对话；对外错误固定文案
- 测试：HTTP 脱敏契约、章节读视图、occupation 与 background_voice
 2026-04-01 11:55:52 +08:00
Kevin
37df0d48ac fix(chat): 禁止开场/引导回复中的括号策略与元旁白 
收紧 prompts_conversation 中开场与引导对话的格式约束，明确禁止括号内策略说明、舞台旁白与元注释，并要求仅输出自然口语。
 2026-04-01 09:33:40 +08:00
Kevin
69a673e6c6 feat(api): 访谈人格/回复长度策略、口述归一、背景语气与输入净稿全链路 
Chat 访谈
- 新增 persona 系统（default / warm_listener / curious_guide）与 background_voice 语气层
- 回复长度由 compute_reply_plan 统一决策（brief / standard / expanded），融合信息密度启发式
- 输入净稿（input_normalize）：编排层可选 rules/llm 归一用户口语后再喂模型与记忆检索
- 记忆证据注入：按用户话检索 memory evidence 并注入 prompt

Memoir 回忆录
- 口述归一（oral_normalize）：segment 原文保留，story 管线取派生净稿作叙事输入
- segment 入队批次门闸：累计字数 + 最长等待秒数，减少零碎提交
- fidelity_check / prompts / narrative_agent 微调
- Alembic 0005：清理跨章节 story 外键

Infra
- Dockerfile 加入 ffmpeg
- pyproject.toml 新增依赖并同步 uv.lock
- .env.example / .env.production 补全新配置项

Tests
- 新增 test_background_voice、test_chat_input_normalize、test_experience_regressions
- 扩展 test_interview_prompts、test_interview_reply_length、test_story_route_oral_invariant

Made-with: Cursor
 2026-03-31 23:55:26 +08:00
Kevin
42ae2a5e91 feat(api): 接入智谱 embedding-3（1024 维）并迁移 memory_chunks 向量列 2026-03-30 13:54:35 +08:00
Kevin
aac484463d feat(api): 拆分章节物化与 Story 后处理，并加固 Redis 锁与腾讯 ASR 
回忆录 Story 流水线（同步）
- 同步路径仅写入 Story 与章节关联，改为 mark_chapter_dirty_sync，不再内联 compose
- 物化由 Celery recompose_chapter 异步完成；compose 不变量与异常时保留 dirty 的语义在 repo 中补充说明
- Evidence：大批次时降低 top_k；路由候选 story 携带 char_count/version_count；append 超长/版本过多时强制新开 story
- 叙事 prompt：relevant_chunks 去重，减少重复证据噪声
- 叙事回退与忠实度 gate：返回 fallback 类型并记录结构化日志（含耗时、JSON 有效性等）

Post-commit 与任务编排
- 新增 post_commit.enqueue_story_post_commit_effects：统一派发 generate_story_image（Redis 去重）、延迟 recompose_chapter、可选 memory compaction
- memoir_tasks / story_service / story_image_tasks 改为调用 post-commit 入口；主图回填后按关联章节重算并调度物化与 compacs（锁委托、Redis 单例、ASR to_thread）
- 更新 test_narrative_pipeline 以适配 _apply_narrative_fallbacks 返回值
 2026-03-30 11:53:04 +08:00
Kevin
e884409410 feat(api): Memory compaction 管线与调度修复，同步环境变量示例 
Memory compaction（近重复 chunk 软排除）
- 新增 compaction 调度：Redis debounce、scheduler gate、增量游标；任务结束时 finalize，避免 gate 长期占用并处理运行期新 trigger。
- Celery memory_compaction_run：debounce 未到点则 retry；用户级 Redis 锁；成功路径更新游标并 finalize；异常时释放 scheduler gate 并 self.retry，避免静默卡死调度与瞬时失败不重试。
- compaction_service：多层判定 + canonical 打分；无 embedding 时停止前移游标（awaiting_embeddings）；curation details 补全 trigger 等上下文。
- ingest_transcript_sync：同步路径尽力写入 embedding，与异步 ingest 行为对齐，避免 compaction 永远扫不到无向量 chunk。
- repo：新增 update_chunk_embedding_sync。
测试
- 扩展 test_memory_compaction：调度合并、finalize、ingest embedding、无向量游标、异常路径 gate+retry 等回归用
 2026-03-30 10:46:35 +08:00
Kevin
e4bf0710c7 feat(memory,conversation): 记忆富化/证据包、时间线幂等字段与对话分段全链路 
数据库
- 新增迁移 0003：timeline_events.memory_source_id 外键 → memory_sources，便于按 ingest 源做时间线幂等

后端 - 记忆
- 新增 ingest 后 LLM 富化（摘要/事实/时间线），可配置开关与最大字符数
- 新增证据包组装：合并 chunk、摘要、事实、时间线、故事等检索结果；支持空 query 时是否仍带 rolling 等开关
- repo/retriever/service/router/schemas/summarizer/timeline/extractor 等扩展；文档 memory-retrieval.md 更新

后端 - 对话 WS
- 增加 PING/PONG；分段 ASR 日志与空音频处理；转写失败与「无助手回复」错误提示更明确
- 助手多段回复持久化使用统一分隔符，与分段逻辑一致

后端 - Agent
- reply_limits：按 [SPLIT] 与段落拆段，并保证非空 fallback，供 WS 与 TTS 多段下发

后端 - 回忆录任务
- transcript ingest 记录 source_id；任务成功结?
 2026-03-27 16:24:43 +08:00
Kevin
1374f6e8f5 feat(memoir+conversation): 章节/故事最小可读字数；会话 hasUserMessage 与 UI 优化 
- 后端：300 字门槛统一物化、hydrate、列表/PDF/详情；过短章节对读者隐藏
- 对话：首包前打字动画、大字模式排版、朗读/TTS 交互与布局稳定
- 首页：复用无用户消息会话；空列表「继续对话」与文案 i18n
- 章节阅读：标题进正文、封面与去重标题；阅读 Markdown 字号上调
 2026-03-26 16:28:33 +08:00
Kevin
d990399112 feat(conversation): TTS 投递与 WebSocket 管线；客户端播放门禁与会话页联动；COS 键与迁移脚本调整 2026-03-26 15:51:24 +08:00
Kevin
c23931ec91 chore: track legacy pg_dump for Actions migrate workflow 
- Allow life_echo_20260313_182756.sql under api/backups via .gitignore exception
- Legacy migrate workflow: checkout, verify file, scp to server before migrate
- Point docker-build-deploy readers to one-shot legacy workflow

Made-with: Cursor
 2026-03-26 15:30:10 +08:00
Kevin
a3f61fcc0f feat(api+app): 对话阶段化、回忆录流水线与客户端会话体验 
- DB: segments 用户输入文本（Alembic 0002）
- Chat: 阶段检测/阶段提示/回复限制，编排与访谈/画像 prompts 调整
- Memoir: 忠实度检查 agent，叙事与分类等链路更新
- Core: agent 日志、Alembic 启动、LangChain/日志/配置等
- Story: time_hints；Memory 检索与相关测试
- Expo: 助手头像、会话页与消息拆分、实时会话与文案/i18n
- Docs/scripts/tests: 迁移脚本、LLM JSON/记忆检索文档、新增单测
 2026-03-26 12:13:36 +08:00
Kevin
49b089354c Merge remote-tracking branch 'origin/development' 2026-03-25 17:40:16 +08:00
Kevin
805da8d789 replace with docker compose 2026-03-25 17:40:04 +08:00
Kevin
56c67871dd feat/ move caddy out of container 2026-03-25 10:26:21 +08:00
Kevin
c3378015a7 fix production env 2026-03-23 14:59:45 +08:00
Kevin
f58adb9670 修复环境变量，UI问题 2026-03-23 13:54:41 +08:00
Kevin
b9ecfd02a4 various fixes 2026-03-23 13:21:07 +08:00
Kevin
ac0bdba8ba 修改caddy为国内镜像 2026-03-23 10:48:28 +08:00
Kevin
f8b3de6ff8 优化工作流，添加app-icon 2026-03-23 10:25:51 +08:00
Kevin
584fb9ffe9 deploy: use pgvector postgres mirror for prod and staging 2026-03-23 09:20:38 +08:00
Kevin
b6d9eab44d deploy: use mainland-accessible postgres and redis mirrors 2026-03-22 20:27:16 +08:00
Kevin
d8378bb326 chore/ 删除过期文档和skills 2026-03-22 18:17:43 +08:00
Kevin
786ebf8ae6 refactor(api,expo): 多智能体与会话收敛、回忆录兼容层移除、后端测试集大幅删减 
- 对齐「多智能体收敛」与「回忆录 stories-first / markdown-first」方向：收紧运行时契约、
  删除过渡兼容路径与双轨逻辑，并同步更新客户端与文档。

- Chat：以 ChatOrchestrator 为实时编排入口；删除独立 conversation_agent，精简 prompts。
- Memoir：删除 memory_agent；MemoirOrchestrator、classification / story_route 与 prompts 收敛到
  prepare_batches + run_story_pipeline_for_category_batch 主链路。
- 将 agents 侧 processor 迁入 feature 层为 background_runner，并移除 features 下重复/过时
  processor 封装。

- 新增 history_store，强化「conversation_messages 为 DB 真源、Redis 为缓存」模型。
- 调整 models、repo、service、session_history；精简 WS message_types，重构 pipeline 与 router。

- 移除章节占位、整章再生等旧路径；章节列表与封面逻辑要求 story 关联；收紧 cover 资格与
  enqueue。
- helpers、repo、service、router、reading_segment_materialize、story_pipeline_sync、pdf_service
  等按 canonical markdown / cover_asset_id 收缩；删除 memoir_images/provider 等冗余。
- tasks：memoir_tasks、chapter_cover_tasks 等大幅瘦身；story_image_tasks 等与当前图片任务对齐。

- core：config、logging、redis、task_tracker 小幅调整。
- auth / user / payment / quota：路由或服务侧删减过时接口或逻辑（如 payment router 行数减少）。

- pyproject.toml、development.sh、.env.example / .env.production、README 等同步说明或变量。

- Alembic 0001_initial_schema 微调（与当前 schema 叙事一致的小改动）。

- 回忆录：types / mappers / api、章节页与 memoir 页与后端契约对齐；markdown-renderer 调整。
- 语音：删除 voice/player，voice-segment-store 相应精简。

- api/tests：删除 conftest 及绝大部分既有测试文件（websocket_baseline、conversation、memoir
  图片、PDF、SMS 等），属有意收缩/待按 backend-test-system 重建的信号。
- docs：新增多智能体收敛与移除兼容层计划摘要；更新 story-first 设计、backend-test-system、
  multi-agent-refactor-plan、实施总结等。

BREAKING CHANGE: 后端对外契约、回忆录章节字段与若干路由/任务行为已变更；大量 API 测试被移除，
  CI 若依赖这些用例需按新策略补测或调整流水线。
 2026-03-22 18:10:28 +08:00
Kevin
70070216c4 修复一些已知问题 2026-03-20 17:25:42 +08:00
Kevin
8af37e5e8e 修复：CI 部署环境与 ref 错配、迁移碎片化、图片意图 source_span、章节物化脏版式、会话历史与本地语音不一致 
新增：TTS 上传 COS 与分片、章节 reading_segments 物化与快照、markdown 清洗、会话消息 repository、语音 store 重构与相关测试
 2026-03-20 16:43:02 +08:00
Kevin
7317bf10cd fix/various fixes 2026-03-20 15:15:35 +08:00
Kevin
7f57f96c25 重构回忆录为 story-first / markdown-first 架构并整合图片意图与前端 UI 修复 
本次 squash merge 将 codex-story-first-image-intent 的整体改动合入 development，核心内容包括：

1. 后端数据与迁移：新增 stories、story_versions、story_image_intents、chapter_cover_intents、assets 等模型与 Alembic 迁移，建立 story-first、markdown-first、asset-first 的主数据链路。

2. 生成与任务链：引入 StoryBuilderOrchestrator、ChapterComposerOrchestrator、story_image_tasks、chapter_cover_tasks，图片生成从正文占位符改为结构化 intent -> asset -> markdown 回填。

3. 并发与一致性：为 story/chapter intent 增加 claim_token、claimed_at、attempt_count，采用数据库原子 claim 为主、Redis 锁为辅，避免重复生成、锁误删和 processing 卡死。

4. Memoir 读写路径：章节 canonical_markdown 成为正文真源，列表/详情接口补齐 markdown、cover_asset、word_count 等字段，PDF 与 asset 解析链路同步升级。

5. Memory / Retrieval：扩展 transcript ingest、chunking、evidence 检索与 story 聚合基础设施，为后续 story-first RAG 与多 agent 编排提供底座。

6. App 端体验：章节页继续走 MarkdownRenderer 阅读链，同时吸收 fix3-19 的跨平台 UI glitch 修复；更新对话页、首页、文案资源与章节列表映射逻辑。

7. 测试与文档：补充 asset resolver、story image task、章节封面派发、markdown 映射等回归测试，并加入图片占位符退役设计文档。
 2026-03-20 10:31:51 +08:00
Kevin
13e3124b85 docs: add story-first markdown-first design 2026-03-19 16:01:49 +08:00
Kevin
c6e07ce5ca chore/ 删除无用文件 2026-03-19 14:36:40 +08:00
Kevin
2f60858c9c Merge feat/multi-agent into development 
- Resolved conflict in api/app/agents/memoir/prompts.py: kept archived_section for get_narrative_prompt compatibility
- Resolved conflict in api/app/tasks/memoir_tasks.py: use MemoirOrchestrator flow (feat/multi-agent)
- Multi-agent architecture: ChatOrchestrator, MemoirOrchestrator, ImagePromptOrchestrator
 2026-03-19 14:23:27 +08:00
Kevin
7237b53b9b feat/调整tts音色，调整封面图prompt，修复对话页输入框显示逻辑，待验证封面图生成功能 2026-03-19 14:14:52 +08:00
yangshilin
8dc47d200b fix: 修复回忆录celery异常 2026-03-19 14:02:21 +08:00
yangshilin
4c75c6f4f4 feat: 引入deepseek结构化输出 2026-03-19 11:27:43 +08:00
yangshilin
f3629efec3 fix: 去除LLM直接生成图片占位符逻辑 2026-03-19 11:18:58 +08:00
yangshilin
67fb5d2cb6 refactor: 进一步重构agents目录结构 符合多agent架构 2026-03-19 10:54:48 +08:00
Kevin
9a1d31c71f feat: 章节软删除、对话左滑删除，移除已读状态 
- 章节：详情页增加删除按钮，软删除（is_active=False），AI 不再修改但保留供参考
- 章节：get_chapter 增加 is_active 校验，已删除章节返回 404
- 章节：AI 生成时参考同类别已删除章节摘要
- 对话：左滑显示删除，调用 hard delete API，删除前二次确认
- 对话：根布局包裹 GestureHandlerRootView 以支持 Swipeable
- 对话：移除已读/未读状态展示及相关 i18n
 2026-03-19 10:45:07 +08:00
yangshilin
c21cda3e78 feat: 生成图片提示词agent结构封装 2026-03-19 10:43:34 +08:00
yangshilin
4a1d6f0dcc feat: 生成回忆录agent结构封装 2026-03-19 10:38:11 +08:00
yangshilin
b16bb2b96c feat & refactor: 重构agents目录结构；AI回复模块agent结构封装 2026-03-19 10:36:55 +08:00
Kevin
1aa3d8593c Merge origin/development: 整合 TTS（远端结构为主）+ memoir-cover，保留本地环境配置 
Made-with: Cursor
 2026-03-19 10:30:54 +08:00
Kevin
15512834d2 feat/ 添加app-expo三种环境切换，待测试 调整tts 2026-03-19 09:58:02 +08:00
Sully
b73370a9b5 feat/ memoir-cover (#16) 
Co-authored-by: Kevin <kevin@brighteng.org>
 2026-03-19 09:11:54 +08:00
Sully
92b7848c48 feat/tts (#15) 
Co-authored-by: Kevin <kevin@brighteng.org>
 2026-03-19 09:11:25 +08:00
yangshilin
48b70e1350 Merge branch 'refactor/backend-architecture' into development 2026-03-18 17:18:23 +08:00
yangshilin
2070a03d35 fix: 用户开始录音5s后ai反馈“我在认真听” 2026-03-16 11:24:40 +08:00
Sully
c2ce4c61f1 修复版本1.0.7的若干问题 (#11) 
* fix/ 0:00 audio ui

* fix/ persist memoir image state and collapse voice history

Keep generated chapter images from staying in processing after successful uploads, and restore segmented voice recordings as a single audio message when reopening conversations.

Made-with: Cursor

* fix/ persist local conversation state and stabilize voice UI

Keep CreateMemory conversations driven by Room so recent text and audio survive page exits, and prevent stale 0:00 voice bubbles while list ordering follows the latest local message time.

Made-with: Cursor

* fix/ server-side root cause for conversation list time and message timestamps

- Add Conversation.last_message_at column with migration and index
- Update last_message_at on text message, audio segment, and AI response
- Sort conversation list by COALESCE(last_message_at, started_at) DESC
- Return real per-message timestamps from Redis history instead of now()
- Pass user_message_timestamp through agent pipeline to avoid LLM delay skew
- Remove all debug logging from server, client, and CI workflow
- Restore import json in conversation_agent (was broken by debug removal)
- Client: remove DebugRuntimeLogger, stop sending transcript as text message

Made-with: Cursor

---------

Co-authored-by: Kevin <kevin@brighteng.org>
 2026-03-14 23:58:46 +08:00
Sully
9636c059d0 更新docker构建cd (#10) 
* update github actions

* update github actions

* update github actions

* update github actions

* update github actions

* update github actions

* update github actions

---------

Co-authored-by: Kevin <kevin@brighteng.org>
 2026-03-13 23:41:56 +08:00