feat(memory,conversation): 记忆富化/证据包、时间线幂等字段与对话分段全链路

数据库
- 新增迁移 0003:timeline_events.memory_source_id 外键 → memory_sources,便于按 ingest 源做时间线幂等

后端 - 记忆
- 新增 ingest 后 LLM 富化(摘要/事实/时间线),可配置开关与最大字符数
- 新增证据包组装:合并 chunk、摘要、事实、时间线、故事等检索结果;支持空 query 时是否仍带 rolling 等开关
- repo/retriever/service/router/schemas/summarizer/timeline/extractor 等扩展;文档 memory-retrieval.md 更新

后端 - 对话 WS
- 增加 PING/PONG;分段 ASR 日志与空音频处理;转写失败与「无助手回复」错误提示更明确
- 助手多段回复持久化使用统一分隔符,与分段逻辑一致

后端 - Agent
- reply_limits:按 [SPLIT] 与段落拆段,并保证非空 fallback,供 WS 与 TTS 多段下发

后端 - 回忆录任务
- transcript ingest 记录 source_id;任务成功结?
This commit is contained in:
Kevin
2026-03-27 16:01:28 +08:00
parent 1374f6e8f5
commit e4bf0710c7
70 changed files with 3404 additions and 557 deletions

View File

@@ -1,5 +1,5 @@
import { useMutation, useQuery, useQueryClient } from '@tanstack/react-query';
import { File } from 'expo-file-system';
import { File, Paths } from 'expo-file-system';
import { useCallback, useEffect, useRef, useState } from 'react';
import type { WsConnectionState } from '@/core/ws/types';
@@ -20,6 +20,48 @@ import {
} from './types';
import { voiceSegmentStore } from '@/features/voice/voice-segment-store';
/** Expo `File` 需要规范 `file://` URI部分录音 API 会返回裸绝对路径。 */
function ensureFileUri(uri: string): string {
const u = uri.trim();
if (u.startsWith('file://')) return u;
if (u.startsWith('/')) return `file://${u}`;
return u;
}
function guessAudioExtension(uri: string): string {
const pathOnly = uri.split('?')[0] ?? uri;
const m = /\.[^/.]+$/u.exec(pathOnly);
return m ? m[0] : '.m4a';
}
/**
* 使用主包 `File`/`Paths`(见 Expo 文档:新 File 与旧 readAsStringAsync 互操作示例)。
* 先 copy 到 cache 下唯一文件名再 `base64()`,避免直接读源路径时偶发读到陈旧/错误内容。
*/
async function readRecordingPayload(uri: string): Promise<string> {
const resolved = ensureFileUri(uri);
const source = new File(resolved);
if (!source.exists) {
throw new Error('recording file missing');
}
const stagedName = `voice-upload-${Date.now()}-${Math.random().toString(36).slice(2, 10)}${guessAudioExtension(resolved)}`;
const staged = new File(Paths.cache, stagedName);
try {
source.copy(staged);
} catch {
return await source.base64();
}
try {
return await staged.base64();
} finally {
try {
staged.delete();
} catch {
// ignore
}
}
}
// ─── Query hooks ───
// TODO: 连接不上后端时 isLoading 可能一直为 true需加超时或展示错误态
@@ -265,8 +307,7 @@ export function useRealtimeSession({
if (durationSec < MIN_RECORDING_DURATION_SEC) return false;
try {
const file = new File(uri);
const base64 = await file.base64();
const base64 = await readRecordingPayload(uri);
if (!base64) return false;
const voiceSessionId = generateUUID();