如何从HTML网页抓取数据并映射成XML_技术教程

用BeautifulSoup解析HTML后，用xml.etree.ElementTree构建XML树最轻量可控；需手动定义字段映射、严格处理空值与转义，优先使用.select()和.get_text()。

用 Python 的 BeautifulSoup 解析 HTML 并生成 XML 结构

直接用 BeautifulSoup 解析 HTML，再用标准库 xml.etree.ElementTree 构建 XML 树是最轻量、可控性最强的方式。不推荐用正则硬匹配 HTML，也不建议用 lxml.html 直接转 XML（它会补全 DOM、引入命名空间，常导致结构失真）。

关键点：HTML 是松散语法，XML 要求严格嵌套和闭合；必须手动定义字段映射规则，不能依赖“自动转换”。

BeautifulSoup(html_content, "html.parser") 足够应付绝大多数网页，不用上 lxml 解析器（除非需 XPath 或处理严重破损 HTML）
提取数据时优先用 .select()（CSS 选择器），比 .find_all() 更直观、更接近前端调试习惯
每个 XML 元素内容必须调用 str().strip()，否则可能混入换行、空格或 None

字段映射需显式声明，不能靠标签名自动推导

HTML 中的 和都可能表示价格，但没有任何通用规则能自动识别。你必须写明："price" 字段对应哪个 CSS 选择器、是否取文本、是否取属性值、是否需要清洗。

常见错误：把 item["title"] = soup.select_one("h1").text 写成 item["title"] = soup.select_one("h1").get_text() —— 表面一样，但 .text 在节点为空时返回 None，而 .get_text() 返回空字符串，后者更

适合 XML 内容赋值。

用字典预先定义映射关系，例如：{'title': {'selector': 'h1', 'attr': None, 'method': 'text'}, 'price': {'selector': '.price', 'attr': 'data-value', 'method': 'get'}}
对多值字段（如商品图集），用 [el.get('src') for el in soup.select('.gallery img')] 显式提取列表，再逐个创建 XML 子节点
避免用 innerHTML 类逻辑拼接字符串生成 XML，易引入未转义字符（如 &、），导致 XML 解析失败


生成 XML 时必须处理字符转义和编码
XML 不允许直接出现 &、、>、"、'，而 HTML 文本中极常见。Python 的 ElementTree 默认会转义，但前提是内容以字符串形式传入——若误把 Tag 对象（如 soup.p）直接塞进 Element.text，会触发 TypeError 或输出意外字符串。

所有文本内容必须经 str(val or "").strip() 处理，再传给 Element.text

若需保留 HTML 片段（如富文本描述），不能直接插入 XML，应先用 html.escape() 转义，或改用 CDATA 包裹（需手动拼接字符串，ElementTree 不原生支持）
写入文件时明确指定 encoding='utf-8'，并加 XML 声明：

遇到动态渲染页面时，静态解析必然失败
如果目标网页依赖 JavaScript 渲染核心数据（比如 React/Vue 应用、分页加载的商品列表），requests + BeautifulSoup 拿到的只是骨架 HTML，关键字段为空。这时候不是映射逻辑错了，而是根本没抓到数据源。
解决方案只有两个：一是找官网提供的 API（检查浏览器 Network 面板中的 XHR/Fetch 请求），直接请求 JSON；二是用 Playwright 或 Selenium 启动真实浏览器，等待 JS 执行完毕再提取 —— 但注意，这已不属于“HTML 抓取+XML 映射”的范畴，而是自动化交互。

判断是否为动态页面：禁用浏览器 JS 后刷新，看关键信息是否消失
不要在 Playwright 中再用 BeautifulSoup 解析 page.content()，直接用 page.inner_text() 或 page.eval_on_selector() 提取更稳
即使用了浏览器自动化，XML 映射规则仍要手写，没有银弹


实际最难的从来不是怎么生成 XML，而是如何稳定、准确地从千奇百怪的 HTML 结构里定位出你要的那几块数据——每个网站都是独立协议，得一个一个对。