您的足迹:首页 > 语言程序 >scrapy使用自定义参数来抓取内容

scrapy使用自定义参数来抓取内容

scrapy运行时,想通过命令行参数来控制scrapy进行不同关键字的采集工作


import urllib
class NewsSpider(scrapy.Spider):
    ...  
    def __init__(self, search):
        keyword = urllib.urlencode({'wd':search})
        self.start_urls = {
            'https://www.baidu.com/s?' + keyword,            
        }
    ...

通过下面的方法调用scrapy,可以增加参数


scrapy crawl news -a search="some value"
scrapy crawl news -a search="other value"


本博客所有文章如无特别注明均为原创。作者:nevergreen复制或转载请以超链接形式注明转自
原文地址《scrapy使用自定义参数来抓取内容

相关推荐

发表评论

路人甲 表情
Ctrl+Enter快速提交

网友评论(0)