scrapy和playwright的结合爬取

发表于 更新于 分类于 ， 阅读次数： Waline： 阅读次数：

1、环境配置

安装scrapy
pip install scrapy

安装playwright
 pip install playwright
 
安装scrapy-playwright
pip install scrapy-playwright

2、创建一个scrapy项目

scrapy startproject 项目名称

会有提示，根据提示进行操作

先cd进去

scrapy genspider 爬虫文件名称 爬取的网址
例如：scrapy genspider douban douban.com

image-20240926203720663

3、对项目进行配置