Files
life-echo/api/app/agents/memoir/fidelity_check_agent.py

115 lines
4.4 KiB
Python
Raw Normal View History

"""
FidelityCheckAgent比较用户口述与叙事 JSON 输出判定是否存在明显编造或越界
续写合并append时传入 `existing_canonical_markdown`将已有故事正文一并视为允许来源
失败时由流水线回退 story_pipeline_sync续写为已有 + 口述新建为口述原文
"""
from __future__ import annotations
import json
import re
from typing import Any
from app.core.config import settings
from app.core.langchain_llm import invoke_json_object
from app.core.logging import get_logger
from app.features.memoir.memoir_images.json_payload import extract_json_payload
logger = get_logger(__name__)
# 生成稿中出现的四位年份,若口述中未出现同串,仅打日志(不误杀)
_YEAR_4_RE = re.compile(r"(?<!\d)(19|20)\d{2}(?!\d)")
def _log_suspicious_years_not_in_oral(oral_text: str, narrative_json: str) -> None:
oral = oral_text or ""
gen = narrative_json or ""
for m in _YEAR_4_RE.finditer(gen):
y = m.group(0)
if y not in oral:
logger.debug(
"event=fidelity_heuristic_year_not_in_oral year={} oral_len={} gen_len={}",
y,
len(oral),
len(gen),
)
class FidelityCheckAgent:
"""叙事忠实度检查json_object失败时上层应回退为口述原文。"""
def passes(
self,
*,
oral_text: str,
narrative_json: str,
llm: Any,
existing_canonical_markdown: str | None = None,
) -> bool:
if not llm or not settings.memoir_fidelity_check_enabled:
return True
oral = (oral_text or "").strip()
gen = (narrative_json or "").strip()
if not oral or not gen:
return True
existing = (existing_canonical_markdown or "").strip()
_log_suspicious_years_not_in_oral(oral, gen)
if existing:
prompt = f"""你是事实核对员。当前为**续写合并**:模型需要把「已有故事正文」与「本轮口述」合成一篇,生成稿**允许且应当**保留已有正文中的事实(可改写语序、合并段落),并融入本轮口述中的新事实。
用户本轮口述本段亲口补充
{oral[:8000]}
已有故事正文已落库允许在生成稿中出现或改写出现于此处的内容**不算**本轮编造
{existing[:12000]}
模型生成的 JSON 叙事
{gen[:16000]}
判断生成稿是否出现**既明显不在本轮口述也明显不在已有故事正文**的具体人名地名时间数字事件经过对话或把摘录/档案里才有的信息写成了用户亲口经历
若内容可归因于已有故事本轮口述的合理整理pass=true
若存在无法归因的明显编造或越界pass=false
**JSON 输出**只输出一个合法 JSON 对象
{{"pass": true, "reason": null}}
{{"pass": false, "reason": "一句话说明"}}
只输出 JSON不要其它文字"""
else:
prompt = f"""你是事实核对员。比较下面两段文字。
用户口述亲历内容
{oral[:8000]}
模型生成的 JSON 叙事应只含口述中已有事实的整理不得添油加醋
{gen[:16000]}
判断生成稿是否出现**口述中明显没有**的具体人名地名时间数字事件经过对话或把摘录/档案里才有的信息写成了用户亲口经历
若存在明显编造或越界pass=false若仅口语转书面删赘词合并指代pass=true
**JSON 输出**只输出一个合法 JSON 对象
{{"pass": true, "reason": null}}
{{"pass": false, "reason": "一句话说明"}}
只输出 JSON不要其它文字"""
try:
raw = invoke_json_object(
llm,
prompt,
max_tokens=settings.memoir_fidelity_check_max_tokens,
agent="FidelityCheckAgent.passes",
)
data = json.loads(extract_json_payload(raw))
ok = bool(data.get("pass", True))
if not ok:
logger.warning(
"event=fidelity_check_fail reason={}",
(data.get("reason") or "")[:200],
)
return ok
except Exception as e:
logger.warning("FidelityCheckAgent 解析失败,放行: {}", e)
return True