adk-fetch-url-content

URL 正文提取——从网页提取结构化内容

jiying2007 0 Updated 5mo ago

Install

npx skillscat add jiying2007/agent-dev-kit/adk-fetch-url-content

Install via the SkillsCat registry.

SKILL.md

URL 正文提取

Goal

从网页 URL 提取结构化正文内容，转为 Markdown 格式。

Prerequisites

确认 URL 格式正确且可达。
获取最小上下文：目标 URL。

Workflow

check-config: 验证 URL 格式和可达性
dry-run: 检查 robots.txt 和页面类型
fetch: 提取正文内容并转为 Markdown

Quality Gate

正文内容已成功提取
输出为结构化 Markdown
遵守 robots.txt 规则

Evidence Template

- URL: <url>
- 提取状态: pass / needs-fix
- 内容大小: <size> bytes

健壮性规范

输入验证: URL 格式校验（http/https）
重试策略: 网络错误最多重试 3 次
超时控制: 单页抓取不超过 30 秒
异常隔离: 抓取失败不阻塞后续流程
日志记录: 记录 URL、状态码、内容大小

Categories