时间:2022-12-06 01:54
php中常见的爬虫框架有Beanbun、PHPCrawl和phpspider
1.Beanbun
Beanbun是一款使用php编写的多进程网络爬虫框架,具有良好的开放性和高可扩展性,Beanbun遵循PSR-4标准,且支持守护进程与普通进程、支持内存、Redis队列、支持广度优先和深度优先、支持自定义URI过滤。
2.PHPCrawl
PHPCrawl是一款开源的php Web检索爬虫类库,使用PHPCrawl可以选择性指定爬虫的行为,如内容类型,过滤器、 cookie的处理等方式。
3.phpspider
phpspider是一个爬虫开发框架,其是利用框架封装的多进程Worker类库,代码简洁,执行效率高,使用phpspider可以快速的创建一个爬虫。