首页 > 微博干货

小红书全网笔记批量采集工具实操教程

2026-07-08 阅读846 微博干货

在内容创作领域,小红书已成为不可忽视的灵感来源库。但面对海量优质笔记,手动逐条保存效率低下且易遗漏关键素材。本文将深度解析开源工具XHS-Downloader的实战应用,帮助创作者实现小红书笔记的智能化批量采集,覆盖图文、视频、LivePhoto全格式,支持账号发布、收藏、点赞等多场景数据获取。

一、工具核心优势解析

XHS-Downloader作为专为小红书设计的Python开源工具,具备三大技术突破:

1. 全链路采集能力:支持账号主页、搜索结果、专辑合集等12类链接提取,单次可处理500+条链接

2. 智能文件管理:自动创建"作者昵称/作品标题"双层级文件夹,内置MD5校验确保文件完整性

3. 多模式操作:提供图形界面、命令行、浏览器脚本三端入口,满足不同用户操作习惯

实测数据显示,该工具处理单条笔记平均耗时12秒,较传统方法效率提升20倍。在200M宽带环境下,同时下载20个高清视频时CPU占用率稳定在35%以下,展现优秀资源调度能力。

二、环境部署与基础配置

(一)系统准备

1. 硬件要求:建议配置8GB内存+50GB可用存储空间

2. 软件依赖:Python 3.12+、Git、Chrome浏览器(用于Cookie获取)

(二)安装流程

```bash

git clone https://gitcode.com/gh_mirrors/xh/XHS-Downloader

cd XHS-Downloader

pip install -r requirements.txt 或使用uvsync --no-dev加速安装

```

(三)关键配置

1. Cookie配置(解锁高清视频):

- 登录小红书网页版→按F12打开开发者工具→Network面板→筛选web_session请求→复制Cookie值

- 粘贴至settings.json中的"cookie"字段

2. 文件命名规则:

```json

{

"name_format": "发布时间_作者昵称_作品标题",

"image_format": "WEBP",

"video_preference": "resolution"

}

```

三、核心功能实操演示

(一)图形界面操作

1. 链接输入:支持三种格式

- 单链接:`https://www.xiaohongshu.com/explore/64e8f7c0000000001b023456`

- 多链接:用空格分隔多个URL

- 文本导入:点击"读取剪贴板"自动解析复制的链接列表

2. 下载控制:

- 并发数设置:家庭宽带建议5-8线程

- 超时控制:图文15秒/视频30秒

- 重试机制:默认3次,网络异常时可调至5次

(二)命令行高级应用

```bash

批量下载指定作者全部笔记

python main.py --url "$(cat author_links.txt)" --work_path "./output/美妆合集"

定时任务设置(Windows批处理)

schtasks /create /tn "XHS_Daily" /tr "python main.py --url '关注列表链接' --download true" /sc daily /st 09:00

```

(三)浏览器脚本集成

1. 安装Tampermonkey扩展

2. 导入XHS-Downloader用户脚本

3. 网页端操作:

- 点击"提取当前页链接"自动获取20条笔记URL

- 勾选"智能滚动"实现无限加载页面采集

- 右键图片选择"下载原图"获取无压缩素材

四、典型应用场景

(一)竞品分析工作流

1. 采集行业TOP100笔记:

```python

示例代码:自动化采集美妆类笔记

keywords = ["防晒测评","粉底液推荐"

for kw in keywords:

search_url = f"https://www.xiaohongshu.com/search_results?keyword={kw}"

调用Selenium模拟滚动加载

提取结果页链接存入links.txt

subprocess.run(["python", "main.py", "--url", f"@links.txt", "--work_path", f"./竞品分析/{kw}"])

```

2. 数据清洗:使用Pandas对采集的CSV文件进行去重、点赞数排序等操作

(二)素材库建设

1. 图片管理:

- 自动转换HEIC格式为WEBP

- 按色系分类(通过OpenCV提取主色调)

- 生成缩略图缓存(节省存储空间)

2. 视频处理:

- 提取关键帧作为封面

- 自动添加品牌水印

- 转换分辨率(1080P→720P)

五、常见问题解决方案

(一)403错误处理

1. 检查User-Agent是否为Chrome/Firefox真实浏览器标识

2. 增加请求间隔(建议2-3秒/次)

3. 启用代理IP池(配置settings.json中的proxy字段)

(二)文件损坏修复

1. 启用MD5校验:在配置中设置`"download_record": true`

2. 使用FFmpeg修复视频:

```bash

ffmpeg -i input.mp4 -c copy output.mp4

```

(三)大规模采集策略

1. 分时段采集:将1000条链接拆分为5个200条任务,间隔1小时执行

2. 混合采集模式:

```bash

先采集图文后下载视频

python main.py --url "链接" --index 1,3,5 仅下载第1,3,5张图片

python main.py --url "链接" --download_video true 后续下载视频

```

六、合规使用指南

1. 采集频率控制:单账号每小时不超过200次请求

2. 素材使用规范:

- 个人学习:可保存不超过500条笔记

- 商业用途:需获得原作者授权

- 二次创作:注明素材来源并添加原创内容占比超30%

3. 数据存储期限:建议保存不超过6个月,定期清理过期素材

结语:

XHS-Downloader通过技术手段解决了小红书内容采集的效率痛点,但其本质仍是辅助创作的工具。建议创作者在合法合规框架下,将其应用于灵感收集、竞品分析等正向场景,避免过度依赖采集而忽视原创能力培养。掌握这套智能化采集体系后,创作者可将更多精力投入到内容策划与创意实现,真正实现降本增效的创作升级。