wos-crawler
by @grizzlyccc
WOS 文献一站式工具：Web of Science 检索爬取 + PDF 批量下载，全部在同一个 Web 界面完成。 基于 Selenium 爬取 WOS 文献列表，导出 Excel 后自动调用多渠道 PDF 下载器（Sci-Hub/CORE/S2 OA/OpenAlex/Unpaywall/Publisher...
clawhub install wos-crawler📖 About This Skill
name: wos-literature-toolkit version: 1.0.0 description: | WOS 文献一站式工具：Web of Science 检索爬取 + PDF 批量下载，全部在同一个 Web 界面完成。 基于 Selenium 爬取 WOS 文献列表，导出 Excel 后自动调用多渠道 PDF 下载器（Sci-Hub/CORE/S2 OA/OpenAlex/Unpaywall/Publisher）。 This skill should be used when the user wants to search and download academic papers from WOS, or mentions "WOS", "Web of Science", "文献检索下载", "论文下载", "WOS爬虫". tags: [wos, pdf, academic, paper, download, scihub, crawler, literature]
WOS Literature Toolkit
WOS 文献一站式解决方案：从 Web of Science 检索爬取到 PDF 批量下载，全部在同一个 Web 界面完成。
功能概览
Phase 1 - WOS Crawl:
Phase 2 - PDF Download:
下载渠道优先级: Sci-Hub (CDN + 爬取) -> Semantic Scholar OA -> CORE -> Unpaywall -> OpenAlex -> Publisher Direct
使用方式
python {SKILL_DIR}/scripts/web_ui.py
启动后自动打开 http://localhost:5678
工作流程
1. 打开 Web UI，在 WOS Crawl 标签页填写检索条件 2. 点击 Start WOS Crawl，浏览器自动打开 WOS 并开始爬取 3. 爬取完成后自动导出 Excel，点击 Download PDFs 按钮切换到下载标签 4. 在 PDF Download 标签页确认设置，点击开始下载 5. 下载完成后点击 Open PDF Folder 查看所有 PDF 文件
也可以跳过爬取直接下载
如果已有 WOS 导出的 Excel 文件： 1. 切换到 PDF Download 标签页 2. 在 Option B 区域上传 Excel 文件 3. 选择输出目录，点击开始下载
前置条件
pip install selenium pandas openpyxl flask requestsAgent 使用指南
当用户需要从 WOS 检索并下载文献 PDF 时：
1. 启动 Web UI: python {SKILL_DIR}/scripts/web_ui.py
2. 引导用户在浏览器中填写检索条件
3. WOS 爬取需要用户登录机构账号（首次运行时浏览器会自动打开 WOS 页面）
4. 爬取完成后引导用户点击 "Download PDFs" 按钮
5. 下载完成后帮助用户打开输出文件夹查看结果