爬虫进阶开发——之自动JS渲染

当需要爬取JS动态生成的数据时,该怎么处理呢?神箭手为你提供了一个核武器,只需设置一个参数就可让爬虫爬取这类动态网页。

开启自动JS渲染后,爬取速度会变慢,请耐心等待。如果想要提高爬取速度,可以自己解析JS数据,具体参考如何爬取JS动态生成的数据?

举个栗子:
在configs对象中添加成员enableJS并设置为true,就开启了自动JS渲染,然后就可以像爬取普通网页一样爬取动态网页了

var configs = {
    // configs的其他成员
    ...
    enableJS: true, // 开启JS渲染
    ...
};