puppeteer脱坑指南

记录puppeteer爬虫遇到的坑

1.page.$(selector)中,selector不精确

2.page.goto(url[, options]),跳转多个页面卡死的情况

page.$(selector)中,selector不精确

打开控制台,在页面查看器里右键点击需要用到的DOM,Copy -> Copy Selector,此时复制到的就是DOM元素在本页面最精确的节点路径

比如我要拿到思否首页的logo的节点路径

body > div.global-nav.sf-header.sf-header--index > nav > div.row.hidden-xs.hidden-sm > div.col-sm-8.col-md-9.col-lg-9 > div.sf-header__logo > h1 > a

page.goto(url[, options]),跳转多个页面卡死的情况

puppeteer爬虫是去拿的页面的dom,{waitUntil: 'domcontentloaded'},加上这句话表示等待页面DOM加载完成后才有返回值,这样避免了页面DOM没加载完就去爬数据而导致的错误

await page.goto(url, {waitUntil: 'domcontentloaded'});

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章