kevin/life-echo
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
374 Commits 1 Branch 0 Tags
17b9fa346684d85574fa196b95589499458b0dfd
Commit Graph

374 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
yangshilin
17b9fa3466 fix: 
1. 修复登录界面文字被遮挡问题
2. 大字模式关闭后显示异常问题
3. 重新调整大字模式是否开启时的字体显示效果
 2026-04-10 20:35:57 +08:00
Kevin
abf8497c2e fix/ 修复workflow对env占位符的处理 2026-04-10 16:44:26 +08:00
Kevin
1b2aeb98ee fix/ 修复后端的pytest 2026-04-10 16:09:44 +08:00
Kevin
ccf7125473 fix(chat): 重复追问被拦截时再多问一次模型 
防重复问句会把整段回复削成「这一段我记住了。」只剩一句套话时，用带纠偏说明的 system 再调一次 LLM，尽量避免用户只看到干巴巴_ack。仍只重试一次，并打日志与 meta 标记 duplicate_question_guard_llm_retry。
 2026-04-10 15:35:34 +08:00
Kevin
5ff495729e feat(chat): server-side interview turn plan (mode, anchor slot, snippet) 
- Add plan_interview_turn: emotion_first / memoir_push / follow_user_only
- Inject hard directive block at top of guided system prompt
- Pass stage_switched_this_turn from ChatOrchestrator after stage detection
- Log interview_turn_plan for observability; add unit tests
 2026-04-10 14:34:38 +08:00
Kevin
df6eafeae2 feat(chat): host-style memoir prompts and strip parenthetical stage directions 
- Add strip_parenthetical_asides_for_chat in reply pipeline before [SPLIT]
- Expand output_rules bans (performance parens) and voice as warm host
- Refocus opening/guided prompts on pulling conversation toward memoir oral history
- Align interview opening fallbacks with memoir-first tone
- Add unit tests for parenthetical stripping
 2026-04-10 13:55:56 +08:00
Kevin
deeacfb7ee fix(eval): use ev_cap for structured evidence slice in memoir judge prompt 
_merge left an undefined _MEMOIR_EVIDENCE_MAX; align with evidence budget from settings.
 2026-04-10 10:42:14 +08:00
Kevin
204ae24697 Merge branch 'eval/elapsed-time-memoir-batch-chunk' into development 2026-04-10 10:27:41 +08:00
Kevin
ac49bc7f23 feat(eval): memoir A/B chapter judging and eval-web parity with dialogue 
- Judge baseline excerpt and library chapter separately; build_memoir_compare_summary for gate, nine-dim and leaf deltas.

- Memoir SSE chapter payload: baseline_judge, compare_summary, baseline_judge_error.

- MemoirJudgeOutput: loose score coercion and post-validate clamp; memoir judge prompt caps from settings.

- app-eval-web: two-column MemoirScoreCard layout, MemoirCompareSummary, chapter blocks and CSS.

- Add memoir_compare_summary, log_events, celery_log_context, memoir_pipeline_progress; tests and migration 0014.

- Misc: memory/evidence and enrichment paths, task/orchestrator updates, internal-eval docs, env examples.
 2026-04-10 10:25:15 +08:00
yangshilin
31fc1c24cf fix: 优化模型提示词，照顾用户情绪 2026-04-09 18:18:28 +08:00
yangshilin
8ac1de02c1 feat: 丰富问题模板库大纲 2026-04-09 15:44:14 +08:00
yangshilin
e1341c6d18 feat: 
1. 建立问题库大纲，对应每个人生阶段槽位
2. 鼓励使用更生活化的交流语言共情与总结
3. 降低评审模型可能发生截断的概率
4. 成稿质量维度强化情感表达和上下文连贯性
 2026-04-09 15:32:35 +08:00
Kevin
b0251e5b26 feat(eval): server-side replay/phase1 timing + memoir phase1 batch chunking 
- Replay and memoir-submit responses include started/finished UTC and elapsed_ms;
  Phase1 poll exposes Redis-backed submit time and elapsed_ms_since_submit.
- Phase1 batch LLM splits segments by memoir_phase1_batch_llm_chunk_size with
  bisect fallback per chunk; Playground shows server timings.

Made-with: Cursor
 2026-04-09 13:39:04 +08:00
Kevin
064ad2161d refactor(eval+memoir)：精简内部评测路由与服务，composite/对话摘要与 judge 能力补强 
- 访谈：新增 interview_state_hints，联动 orchestrator 与提示词
- 回忆录：story_pipeline_sync/state/memory/post_commit 与 Celery 任务调整
- 基建：开发用 celery broker、compose/development 脚本、依赖注入
- eval-web：移除数据集/实验/版本等页面与流式轮询，突出 Playground
- 文档与单测同步
 2026-04-08 21:36:12 +08:00
Kevin
2a0c80987d test/ 调整prompt，提高共情能力 2026-04-08 17:10:09 +08:00
Kevin
78b61c076e feat(eval): Playground GLM 评分落库并可恢复 
在 conversations 表增加 playground_conversation_judge_json，流式/非流式对话评审结束后写入最近一次快照（整体分、逐轮分、对比文案、错误与基线文件名等）。新增只读 GET 供前端按会话拉取；评测台 Playground 切换会话时自动恢复，并提示基线是否和当时一致。
 2026-04-08 16:51:08 +08:00
Kevin
309a051038 feat: 回忆录证据血缘与内部评测可追溯，顺带对齐本地评测台与 CI 
数据库与模型：新增多版迁移（章节证据快照、对话血缘、记忆事实/时间线 lineage 等），把「成稿 ↔ 对话/记忆」的溯源信息落到表结构里。
业务链路：会话与 WS、回忆录/故事流水线、记忆写入与 enrichment 等跟着接上线索与快照；新增章节证据快照与评测侧 EvalTraceService 等模块，方便组评审用的证据包。
内部评测：自动化 run 与手工 memoir 评审共用可追溯证据；rubric/ judge 相关脚本与文档有配套调整。
app-eval-web：Memoir/实验详情里能展开看证据摘要与 evidence_trace（含对话轮次 id）；Vite 代理与 development.sh 注入的 API 端口与当前默认内部评测端口一致，避免改端口后页面连错服务。
工程杂项：GitHub Actions / 仓库说明有更新；各适配器与支付/配额/plan 等多处为小改动或跟随主改动的收尾；新增/扩充了?
 2026-04-08 15:37:09 +08:00
Kevin
6772e1269c feat(evaluation): memoir readiness, judge/replay updates, eval web playground 
Add memoir_readiness_service and router tests; extend judge schemas/services, replay_service, and conversation rubric; align story route agent, payload, prompts, and story_pipeline_sync; update agent logging, config, and DI. Document internal-eval; add replayDraft util and PlaygroundPage changes in app-eval-web.
 2026-04-08 09:43:34 +08:00
Kevin
99543d04c6 feat(eval): internal-eval stack, judge fixes, and eval web overhaul 
- Merge internal-eval into development.sh (single Celery/infra); internal-eval.sh
  wraps with LIFE_ECHO_WITH_INTERNAL_EVAL; EVAL_ATTACH_ONLY for attaching 8001
  when :8000 is already up; document in api/docs/internal-eval.md.
- Evaluation: transcript_for_judge, judge error surfacing, rubric/schema tweaks,
  execution_service and router updates; tests for judge and composite eval.
- Memory: ingest nested transaction for embedding/enrichment rollback safety.
- Conversation WS: logger.exception for pipeline errors (avoid loguru KeyError).
- app-eval-web: Playground saved replays, dialogue turns helper, hash user_id
  for Memoir; Memoir chapter baseline↔DB row compare with title heuristics;
  Stories page (#memoir-stories); Markdown + copy buttons; toolbar/panel UI;
  react-markdown; development proxy and fixture updates.
 2026-04-07 17:18:47 +08:00
Kevin
a50b72e7b5 feat(app-eval-web): 评测台 UI/UX 重构（侧栏导航、分页、数据集与实验能力） 
- 采用 hash 路由与会话式壳层（Playground / Datasets / Experiments / Versions / Memoir）
- 抽取 api、types、hooks（轮询、通知、实验 SSE）与 NoticeContext
- Playground：基线/实际生成双栏、重放、流式自动评分与 ScoreCard
- Datasets：回归集与用例列表、Markdown/JSON 导入、会话快照
- Experiments：创建实验、提交运行、SSE 进度、DiffTable 与门禁展示
- 样式与无障碍：DM Sans + JetBrains Mono、侧栏响应式、? 快捷键帮助
 2026-04-07 11:06:41 +08:00
Kevin
5972b0e721 feat(evaluation): 成稿 100 分 rubric、证据评审与评测台调整 
- 回忆录细项上限收紧为合计 100 分，去掉 110 折算与 raw_dimension_total
- judge_memoir 拼接原始访谈与可选导出基线；无证据时提示保守打真实性相关分
- 自动评测 run 与手动章节/故事评审统一带 transcript 证据（会话/用户聚合、截断）
- 访谈打分仍为情绪强化版 15 细项、总分 100
- 评测台默认基准改为 zuckxu 导出 MD；移除逐轮用户句对齐表及相关逻辑
- 新增 judge schema 与 memoir prompt 组装的单元测试
 2026-04-07 10:36:22 +08:00
Kevin
ea97427767 fix(dev): idempotent Alembic chain for squashed 0001 + clearer dev scripts 
- Make migrations 0002–0008 skip schema changes already applied when
  0001_initial creates current ORM (rename segments column, timeline FK,
  memoir phase flags, drop content_tsv, eval_* tables).
- development.sh / internal-eval.sh: surface Alembic stderr, warn on
  docker-style DB hosts, TCP port checks without lsof, verify Uvicorn
  listens before claiming started.
 2026-04-07 10:34:18 +08:00
Kevin
29dec8fe32 feat/ eval 2026-04-06 23:19:20 +08:00
Kevin
2fded6fbd9 refactor(chat): AI-native prompts, remove interview heuristics 
- Drop interview_reply_length and utterance_substance; always run stage LLM
  and memory retrieval when enabled; trim Settings fields and .env.example.
- Replace guided/opening prompts with compact fact blocks plus unified
  behavior guidance; slim background_voice and persona to tone hints.
- InterviewAgent uses fixed chat_interview max_tokens/chars/segments.

Also includes stacked work: profile followup/extract path, evaluation rubric
and judge schema updates, transcript SPLIT handling in execution service,
user export markdown split tests, and golden case fixture.
 2026-04-06 22:23:46 +08:00
Kevin
ca8bcc8489 feat(evaluation): session catalog, user export import, and eval web UI 
- Extend evaluation API: schemas, router, repo, admin and execution services
- Improve user export markdown importer; add fixtures and importer tests
- Session catalog repo/service updates; internal app wiring and docs
- Add internal-eval.sh helper; refresh app-eval-web (App, styles, Vite)
 2026-04-06 13:49:28 +08:00
Kevin
b75edacb5f feat/ 导出开发容器内的数据用于评估 2026-04-03 14:44:46 +08:00
Kevin
828a29748e fix/ 修复AI聊天时回复markdown导致聊天气泡布局问题 2026-04-03 14:06:55 +08:00
Kevin
4cfa3843a7 chore/ 精简展示AI活动的日志 2026-04-03 13:49:24 +08:00
Kevin
43d1689e9c feat(api): 统一 LLM JSON 调用层 llm_json_call，按域 Schema 迁移 chat/memoir agents 2026-04-03 13:44:11 +08:00
Kevin
41518bda11 聊天和回忆录证据检索都走 pgvector，去掉 Postgres FTS/content_tsv，新迁移删掉 content_tsv 列（部署要先 alembic upgrade）。 
Embedding 端口增加 is_available()，聊天和回忆录日志用统一方式表示向量是否真能调用。

记忆整理（compaction）支持 Beat 定期扫用户；

事实抽取提示与 subject 归一化，减少同一人多种称呼；
 2026-04-03 11:43:16 +08:00
Kevin
b853b986dd fix(memoir): 改善 story 合并决策，少生碎片篇 
以前模型只看到很短预览，还容易被引导成新建 story。现在优先用已有摘要、
按需带正文片段，并区分「像续写同一主题」和「像换了一件事」；
beliefs/summary 更鼓励接着写， career/童年等仍可按新事件新开。
 2026-04-03 11:02:05 +08:00
Kevin
545d5a4ae0 feat/ 导出3位用户的数据用于测试AI质量 2026-04-03 10:29:36 +08:00
Kevin
07c6478742 feat(api): 访谈路径轻量门控、Memoir Phase1 批处理与叙事/记忆管线加固 
- 新增 utterance_substance：短时/应答/元话语可跳过记忆检索、阶段 LLM 与资料抽取 LLM；可配置
- 输入归一化：LLM 模式默认仅语音/ASR；配置项写入 .env.example
- Memoir Phase1：可选 batch LLM 一次性抽取+分类（失败回退逐段）；Extraction 空槽位时阶段与 current_stage 对齐，prompt 约束收紧
- 叙事与忠实度：narrative_safety、证据重叠/场合锚点、标题 slots 与履历短语 grounded；fidelity 解析失败 fail-open 可配置
- 章节管线：锁 TTL 上调、锁竞争 Celery 重试、Phase2 immediate singleflight 等；story_pipeline_sync / chapter_compose / memoir_tasks 联动
- Memory：compaction / repo / summarizer / evidence 小修；事实 FTS 未命中是否回退最近事实可配置
- 新增 memoir_pipeline_trace；补充 memoir_reliability 文档与多项回归/门控测试
 2026-04-03 10:12:59 +08:00
Kevin
6b930808a3 feat(memoir): 回忆录分段两阶段管线（Phase1 分类 / Phase2 叙事）与配置、测试 2026-04-02 16:37:14 +08:00
Kevin
3ae39838c0 feat(memoir): 路由阶段不要求标题，按正文字数门闸延迟 LLM 标题 
- 从 story 路由 prompt/校验中移除 new_story_title，改由叙事管线在正文足够长时生成
- 新增 story_title_min_body_chars；短正文使用章节类别占位标题
- CATEGORY_TO_CHAT_STAGE 对齐访谈 state.slots 的 stage 键
- 删除相对口述长度的叙事回退，仅保留 merge JSON 极端缩水类 fallback
- evidence_format：解析 object_json 并优化事实条目标点符号
- 更新 narrative / experience 相关单测
 2026-04-02 14:38:40 +08:00
Kevin
bb16d3a5c9 refactor(agents): 抽取阶段常量与对话上下文；快档 LLM；图片 prompt 可禁止回退 
访谈与阶段
- 新增 app/agents/stage_constants.py：集中 CHAT_STAGES、章节分类/顺序、阶段到默认 memoir 类别等，与 MemoirState 默认槽位顺序对齐；减少散落在 prompts 内的重复常量。
- 新增 app/agents/chat/prompt_context.py：以 ChatPromptContext 汇总 guided 系统提示所需字段（阶段、槽位、轮次、人设、记忆证据、回复长度模式、背景声线、职业等），统一走 get_guided_conversation_prompt。
- 大幅收敛 app/agents/chat/prompts_conversation.py；调整 prompts.py、stage_prompts.py、stage_detection.py；同步 interview_agent、profile_agent、helpers 与 state_schema，使对话侧构造提示的方式一致、可测。

回忆录流水线
- memoir/prompts.py 删除已迁至 stage_constants / 独立模板的大段常量与图片占位相关逻辑；classification / extraction / fidelity / narrative agents 与 orchest（全量历史仍可用于计数，注入模型时按轮次与字符上限截断）、image_prompt_fallback_disabled。
- dependencies 增加 get_llm_provider_fast（LRU 缓存，可与默认共用密钥与 base_url）。

任务与编排
- memoir_tasks：prepare_batches 注入 llm_fast；开启独立快档模型时打结构化日志。
- chapter_cover_tasks、story_image_tasks：与图片 prompt / JSON 工具路径或策略变更对齐（import 与行为一致）。
- story_pipeline_sync 等小处同步。

其它核心
- langchain_llm、text_normalize 随上述调用链微调。

开发者体验
- .cursor/settings.json：启用 redis-development、postman 插件。

测试
- 新增 test_image_prompt_policy：覆盖「禁止回退」等图片 prompt 策略。
- 更新 test_interview_prompts、test_interview_reply_length、test_experience_regressions、test_json_and_memory_utils，匹配新常量位置、json_utils 与对话/长度行为。
 2026-04-02 12:00:00 +08:00
Kevin
43ef260ae2 fix/ 修复后端dockerworkflow会跑两次alembic的问题 2026-04-01 16:29:18 +08:00
Kevin
53d9e003af feat(api): 叙事 prompt、职业上下文、读路径章节、WS 解耦与错误脱敏 
- 回忆录：事实边界补充允许清单；传记文体示例与 JSON 叙事要求对齐
- default 职业提示 occupation_context；cadre/military 退休语境
- GET 章节读路径零写入，prepare_chapter_read_view + markdown_for_response
- 文本归一抽到 core/text_normalize；移除弃用 reply 策略与 recompose_chapters_for_story
- ConversationService：WS 连接/用户段落/结束对话；对外错误固定文案
- 测试：HTTP 脱敏契约、章节读视图、occupation 与 background_voice
 2026-04-01 11:55:52 +08:00
Kevin
a5473e8fe2 fix/ 修复打个招呼计时器问题，修复聊天页输入框文字模式切换到语音的问题 2026-04-01 09:40:24 +08:00
Kevin
37df0d48ac fix(chat): 禁止开场/引导回复中的括号策略与元旁白 
收紧 prompts_conversation 中开场与引导对话的格式约束，明确禁止括号内策略说明、舞台旁白与元注释，并要求仅输出自然口语。
 2026-04-01 09:33:40 +08:00
Kevin
69a673e6c6 feat(api): 访谈人格/回复长度策略、口述归一、背景语气与输入净稿全链路 
Chat 访谈
- 新增 persona 系统（default / warm_listener / curious_guide）与 background_voice 语气层
- 回复长度由 compute_reply_plan 统一决策（brief / standard / expanded），融合信息密度启发式
- 输入净稿（input_normalize）：编排层可选 rules/llm 归一用户口语后再喂模型与记忆检索
- 记忆证据注入：按用户话检索 memory evidence 并注入 prompt

Memoir 回忆录
- 口述归一（oral_normalize）：segment 原文保留，story 管线取派生净稿作叙事输入
- segment 入队批次门闸：累计字数 + 最长等待秒数，减少零碎提交
- fidelity_check / prompts / narrative_agent 微调
- Alembic 0005：清理跨章节 story 外键

Infra
- Dockerfile 加入 ffmpeg
- pyproject.toml 新增依赖并同步 uv.lock
- .env.example / .env.production 补全新配置项

Tests
- 新增 test_background_voice、test_chat_input_normalize、test_experience_regressions
- 扩展 test_interview_prompts、test_interview_reply_length、test_story_route_oral_invariant

Made-with: Cursor
 2026-03-31 23:55:26 +08:00
Kevin
42ae2a5e91 feat(api): 接入智谱 embedding-3（1024 维）并迁移 memory_chunks 向量列 2026-03-30 13:54:35 +08:00
Kevin
aac484463d feat(api): 拆分章节物化与 Story 后处理，并加固 Redis 锁与腾讯 ASR 
回忆录 Story 流水线（同步）
- 同步路径仅写入 Story 与章节关联，改为 mark_chapter_dirty_sync，不再内联 compose
- 物化由 Celery recompose_chapter 异步完成；compose 不变量与异常时保留 dirty 的语义在 repo 中补充说明
- Evidence：大批次时降低 top_k；路由候选 story 携带 char_count/version_count；append 超长/版本过多时强制新开 story
- 叙事 prompt：relevant_chunks 去重，减少重复证据噪声
- 叙事回退与忠实度 gate：返回 fallback 类型并记录结构化日志（含耗时、JSON 有效性等）

Post-commit 与任务编排
- 新增 post_commit.enqueue_story_post_commit_effects：统一派发 generate_story_image（Redis 去重）、延迟 recompose_chapter、可选 memory compaction
- memoir_tasks / story_service / story_image_tasks 改为调用 post-commit 入口；主图回填后按关联章节重算并调度物化与 compacs（锁委托、Redis 单例、ASR to_thread）
- 更新 test_narrative_pipeline 以适配 _apply_narrative_fallbacks 返回值
 2026-03-30 11:53:04 +08:00
Kevin
e884409410 feat(api): Memory compaction 管线与调度修复，同步环境变量示例 
Memory compaction（近重复 chunk 软排除）
- 新增 compaction 调度：Redis debounce、scheduler gate、增量游标；任务结束时 finalize，避免 gate 长期占用并处理运行期新 trigger。
- Celery memory_compaction_run：debounce 未到点则 retry；用户级 Redis 锁；成功路径更新游标并 finalize；异常时释放 scheduler gate 并 self.retry，避免静默卡死调度与瞬时失败不重试。
- compaction_service：多层判定 + canonical 打分；无 embedding 时停止前移游标（awaiting_embeddings）；curation details 补全 trigger 等上下文。
- ingest_transcript_sync：同步路径尽力写入 embedding，与异步 ingest 行为对齐，避免 compaction 永远扫不到无向量 chunk。
- repo：新增 update_chunk_embedding_sync。
测试
- 扩展 test_memory_compaction：调度合并、finalize、ingest embedding、无向量游标、异常路径 gate+retry 等回归用
 2026-03-30 10:46:35 +08:00
Kevin
0d999cb769 feat(app-expo): render chat bubbles as Markdown with correct bold 
- Add ChatBubbleMarkdown using react-native-markdown-display; disable images
  in bubbles for safety.
- Strip fontWeight from leaf text styles so **strong** is not overridden by
  chatBubbleTextStyle (nested Text on RN).
- Wire MessageBubble and StreamingBubbles; keep streaming cursor appended
  to markdown string.
 2026-03-27 17:38:20 +08:00
Kevin
e4bf0710c7 feat(memory,conversation): 记忆富化/证据包、时间线幂等字段与对话分段全链路 
数据库
- 新增迁移 0003：timeline_events.memory_source_id 外键 → memory_sources，便于按 ingest 源做时间线幂等

后端 - 记忆
- 新增 ingest 后 LLM 富化（摘要/事实/时间线），可配置开关与最大字符数
- 新增证据包组装：合并 chunk、摘要、事实、时间线、故事等检索结果；支持空 query 时是否仍带 rolling 等开关
- repo/retriever/service/router/schemas/summarizer/timeline/extractor 等扩展；文档 memory-retrieval.md 更新

后端 - 对话 WS
- 增加 PING/PONG；分段 ASR 日志与空音频处理；转写失败与「无助手回复」错误提示更明确
- 助手多段回复持久化使用统一分隔符，与分段逻辑一致

后端 - Agent
- reply_limits：按 [SPLIT] 与段落拆段，并保证非空 fallback，供 WS 与 TTS 多段下发

后端 - 回忆录任务
- transcript ingest 记录 source_id；任务成功结?
 2026-03-27 16:24:43 +08:00
Kevin
1374f6e8f5 feat(memoir+conversation): 章节/故事最小可读字数；会话 hasUserMessage 与 UI 优化 
- 后端：300 字门槛统一物化、hydrate、列表/PDF/详情；过短章节对读者隐藏
- 对话：首包前打字动画、大字模式排版、朗读/TTS 交互与布局稳定
- 首页：复用无用户消息会话；空列表「继续对话」与文案 i18n
- 章节阅读：标题进正文、封面与去重标题；阅读 Markdown 字号上调
 2026-03-26 16:28:33 +08:00
Kevin
d990399112 feat(conversation): TTS 投递与 WebSocket 管线；客户端播放门禁与会话页联动；COS 键与迁移脚本调整 2026-03-26 15:51:24 +08:00
Kevin
c23931ec91 chore: track legacy pg_dump for Actions migrate workflow 
- Allow life_echo_20260313_182756.sql under api/backups via .gitignore exception
- Legacy migrate workflow: checkout, verify file, scp to server before migrate
- Point docker-build-deploy readers to one-shot legacy workflow

Made-with: Cursor
 2026-03-26 15:30:10 +08:00
Kevin
aa6df9eb55 docs: add TTS interrupt and read-aloud design plan 
Made-with: Cursor
 2026-03-26 14:32:30 +08:00