o
Y4i/ @ sP d Z ddlmZ ddlmZ ddlZddlZG dd dejZ G dd dZ
dS ) u 文档清洗器 )Optional)loggerNc @ s@ e Zd ZdZdd Zdd Zdd Zdd Zd
d Zd d
Z dS )TaxMarkdownConverteru
税务文档专用 Markdown 转换器
- 表格保留为原始 HTML（避免 pipe 格式被分片器截断）
- 其余节点按标准 markdownify 规则处理
c C s dt | d S )N
)strselfeltextconvert_as_inline r ^/lsinfo/ai/hellotax_ai/data_center/backend/app/services/tax_data_processor/document_cleaner.py
convert_table s z"TaxMarkdownConverter.convert_tablec C dS N r r r r r
convert_tr z TaxMarkdownConverter.convert_trc C r r r r r r r
convert_td r z TaxMarkdownConverter.convert_tdc C r r r r r r r
convert_th r z TaxMarkdownConverter.convert_thc C d| dS Nzz r r r r r
convert_strong z#TaxMarkdownConverter.convert_strongc C r r r r r r r
convert_b r z TaxMarkdownConverter.convert_bN)
__name__
__module__ __qualname____doc__r r r r r r r r r r
r s r c @ s e Zd ZdZdd ZdedefddZdedefd d
Zd edefd d
Zd edefddZ dedefddZ
e dedefddZ dedefddZ
dedefddZdS )DocumentCleanerud
文档清洗器
- HTML转Markdown
- 移除特定噪声文本
- 格式规范化
c C r )u 初始化文档清洗器Nr )r r r r
__init__+ s zDocumentCleaner.__init__ html_contentreturnc
C s zt ddddgd|}| |}|W S ty@ } z td| ddlm} ||d }|jd
d d W Y d
}~S d
}~ww )uJ
HTML 转 Markdown（表格保留为 HTML 原始格式）
ATX-scriptstyle)
heading_stylebulletsstripu HTML 转 Markdown 失败: r
BeautifulSouplxml
T separatorr) N) r convertclean_markdown Exceptionr errorbs4r+ get_text)r r! markdown_contenter+ soupr r r
html_to_markdown/ s"
z DocumentCleaner.html_to_markdownr6 c C s t dd|}dd |dD }d|}g d}|D ] }t |d|}q t jdd|t jd }| |}| |}t dd|}| S )
u
清洗 Markdown 内容
Args:
markdown_content: Markdown 内容
Returns:
清洗后的 Markdown
\n{3,}r c S s g | ]}| qS r )r) ).0liner r r
Q s z2DocumentCleaner.clean_markdown..r- ) z$!\[.*?\]\(.*?huibiao.*?\)\s*\S+.*?\nu \[下载文字版\]\(.*?\)\n?u \[下载图片版\]\(.*?\)\n?u- 字体：\s*【大】\s*【中】\s*【小】u 分享到：.*u 全文有效u 成文日期：.*u 【打印】u 【下载】u 纠错或建议z [^\n]*\{[^\n]*font[^\n]*\}[^\n]*r z[^\n]*\{[^}]*font[^}]*\}flags)resubsplitjoinDOTALL_normalize_headings_normalize_listsr) )r r6 linesnoise_patternspatternr r r
r1 C s
z DocumentCleaner.clean_markdowncontentc C sf | d}g }|D ]$}|dr(|r |d dkr |d || |d q || q d|S )u
规范化标题格式
Args:
content: Markdown 内容
Returns:
规范化后的内容
r- #r )rB
startswithappendrC )r rJ rG normalized_linesr< r r r
rE t s
z#DocumentCleaner._normalize_headingsc C s, t jdd|t jd}t jdd|t jd}|S )u
规范化列表格式
Args:
content: Markdown 内容
Returns:
规范化后的内容
z
^\s*[\*\+]\s+z- r> z^\s*(\d+)\.\s+z\1. )r@ rA MULTILINE)r rJ r r r
rF s z DocumentCleaner._normalize_listsr
c C s$ t dd|}t dd|}| S )u
清洗纯文本
Args:
text: 文本内容
Returns:
清洗后的文本
z\s+ z&[\x00-\x08\x0b-\x0c\x0e-\x1f\x7f-\x9f]r )r@ rA r) )r r
r r r
clean_text s zDocumentCleaner.clean_textmarkdownc C s* t jdd| t jd} t dd| } | S )u5 移除 content_markdown 中的 OCR 图片内容段落u$ \n\n---\n\n## 正文图片内容\b.*r r> u \n?)r@ rA rD r) )rS r r r
strip_ocr_content s z!DocumentCleaner.strip_ocr_contentc s |sdS g fdd}t jd||t jd}t dd|}t dd|}t jd d|t jd}t d
d|}t jd d|t jt jB d}t jd d|t jt jB d}t jd
d|t jt jB d}t jdd|t jd}t dd|}t D ]\}}|d| d|}qqt dd|}| S )u
将 content_markdown 转换为 RAG 专用纯文本：
- 去掉 Markdown 格式符号（标题 #、加粗 **、图片 ![]()、链接 []()、分隔线 ---）
- 表格保留原始 HTML 格式（）
- 标签还原为纯文本
- 压缩多余空行
Args:
markdown: content_markdown 内容
Returns:
RAG 专用纯文本
r c s$ | d dt d dS )Nr z
__TABLE_ z__
)rN grouplen)mtablesr r
_save_table s z9DocumentCleaner.markdown_to_rag_text.._save_tablezr> z!\[.*?\]\(.*?\)z\[([^\]]*)\]\([^)]*\)z\1z
^#{1,6}\s+z\*{1,2}([^*]+)\*{1,2}z(.*?)z (.*?)z(.*?)z ^\s*---+\s*$z `([^`]*)`__TABLE___r: r )r@ rA
IGNORECASErP rD enumeratereplacer) )r rS r[ r
itabler rY r
markdown_to_rag_text s$ z$DocumentCleaner.markdown_to_rag_textc C sL ddl m} ||d}|ddgD ]}| q|jddd}| |}|S ) u
从 HTML 提取纯文本
Args:
html_content: HTML 内容
Returns:
纯文本
r r* r, r% r& r- Tr. )r4 r+ decomposer5 rR )r r! r+ r8 r% r
r r r
extract_plain_text s
z"DocumentCleaner.extract_plain_textN)r r r r r r r9 r1 rE rF rR staticmethodrT rc re r r r r
r # s 16r ) r typingr logurur r@ markdownify _markdownifyMarkdownConverterr r r r r r
s