JNHFlow21

social-fetcher

统一抓取社交媒体内容(Twitter/X、小红书、抖音)。使用 Playwright + 持久化浏览器上下文,支持登录状态保存,一次登录后重复抓取。

JNHFlow21 1 1 Updated 3mo ago
GitHub

Install

npx skillscat add jnhflow21/ocl-social-fetcher

Install via the SkillsCat registry.

SKILL.md

Social Fetcher

统一抓取社交媒体内容,支持 Twitter/X、小红书、抖音。

特点

  • 多平台支持: Twitter/X、小红书、抖音
  • 登录状态持久化: 一次登录,永久使用
  • 智能内容提取: 自动提取正文、作者、截图
  • 统一存储: 所有数据按平台分类存储

使用方法

1. 首次使用 - 登录各平台

# Twitter/X 登录
~/.openclaw/scripts/social-fetcher.sh twitter login

# 小红书登录
~/.openclaw/scripts/social-fetcher.sh xiaohongshu login

# 抖音登录
~/.openclaw/scripts/social-fetcher.sh douyin login

浏览器会弹出,手动登录后关闭窗口即可。

2. 抓取内容

# 抓取推文
~/.openclaw/scripts/social-fetcher.sh twitter fetch <url>

# 抓取小红书笔记
~/.openclaw/scripts/social-fetcher.sh xiaohongshu fetch <url>

# 抓取抖音视频页面
~/.openclaw/scripts/social-fetcher.sh douyin fetch <url>

3. 检查登录状态

~/.openclaw/scripts/social-fetcher.sh <platform> status

数据存储

~/.openclaw/data/social-fetcher/
├── profiles/           # 登录状态
│   ├── twitter/
│   ├── xiaohongshu/
│   └── douyin/
└── downloads/          # 抓取内容
    ├── twitter/
    ├── xiaohongshu/
    └── douyin/

依赖

  • Node.js 18+
  • Playwright (npm install -g playwright)
  • Google Chrome / Chromium

迁移说明

此 skill 合并了原有的 x-stealth-fetchchina-sites-fetcher

  • 旧 Twitter 数据: chrome_data/ → 新位置 profiles/twitter/
  • 旧中国站点数据: china-sites/ → 新位置 profiles/