X 抓取 (x-scraper) Skill

X 抓取 (x-scraper)

概述

通过已连接 CDP 的浏览器（agent-browser）抓取 X (Twitter) 内容，包含两个脚本：

scrape_x_user.sh — 抓取指定用户时间线，可选关键词过滤
scrape_x_home.sh — 抓取当前登录用户的首页推荐流（For you / Following）

输出格式统一支持 Markdown / RSS / JSON。

工具路径

用户抓取：./scrape_x_user.sh
首页推荐：./scrape_x_home.sh
依赖：agent-browser（CDP 已连接且已登录 X）、python3

1. 用户帖子抓取 (scrape_x_user.sh)

按用户名抓取最新帖子，可选关键词搜索过滤。

用法

././scrape_x_user.sh [-u <username>] [-k <keyword>] [-p <cdp_port>] [-n <max_scrolls>] [-o <output_file>] [-f <format>]

参数

| 参数 | 说明 | 默认 | |------|------|------| | -u | X 用户名（不带 @） | Alibaba_Qwen | | -k | 搜索关键词（可选，不指定则抓取用户全部最新帖子） | - | | -p | CDP 端口 | 9222 | | -n | 最大滚动次数 | 10 | | -o | 输出文件路径 | stdout | | -f | 格式：md | rss | json | md |

示例

././scrape_x_user.sh
././scrape_x_user.sh -k qwen3
././scrape_x_user.sh -u chenchengpro -k claw -f rss -o feed.xml
././scrape_x_user.sh -u chenchengpro -f json -n 20 -o data.json

2. 首页推荐流抓取 (scrape_x_home.sh)

抓取当前登录用户的 X 首页推荐内容，支持 For you / Following 两个 Tab 切换。

用法

././scrape_x_home.sh [-t <tab>] [-p <cdp_port>] [-n <max_scrolls>] [-o <output_file>] [-f <format>]

参数

| 参数 | 说明 | 默认 | |------|------|------| | -t | 推荐 Tab：foryou | following | foryou | | -p | CDP 端口 | 9222 | | -n | 最大滚动次数 | 5 | | -o | 输出文件路径 | stdout | | -f | 格式：md | rss | json | md |

输出字段

每条帖子包含：author（作者名 + handle）、time（ISO 时间戳）、text（正文）、link（帖子链接）、hasMedia（是否含图片/视频）、retweet（转推/置顶上下文）

示例

././scrape_x_home.sh                           # 抓取 For you 推荐流
././scrape_x_home.sh -t following -n 10        # 抓取 Following 时间线
././scrape_x_home.sh -f json -o feed.json      # JSON 输出到文件
././scrape_x_home.sh -n 3 -f rss -o home.xml   # 少量抓取，RSS 输出

Agent Skills: X 抓取 (x-scraper)

Install this agent skill to your local

Skill Files