Java爬虫:使用Jvppeteer(Puppeteer)轻松爬淘宝商品

Java爬虫:使用Jvppeteer(Puppeteer)轻松爬淘宝商品

想要爬取某宝的商品,如果只是用HttpURLConnection发个请求,失败率是很高的。一般想要保证成功率的话,都会选择真实的浏览器去抓取。

以前常用的解决方案是selenium或phantomjs,但是它两的环境配置太麻烦了,对程序员极度不友好,自从谷歌推出Puppeteer后,puppeteer迅速流行起来,获得大家一致称赞。它是一个NodeJS库,但今天并不是要使用它来爬取某宝商品,而是使用Java语言写的Jvppeteer,Jvppeteer与Puppeteer是同样的实现原理。

思路

  1. 使用多线程,一个线程负责一个页面的爬取(接下来的内容会使用page代替页面)
  2. 创建与线程池线程数相同的page队列,page放在LinkedBlockingQueue队列里,每当有爬取任务时,就从队列里取出一个page,爬取任务完成时,将page放回队列的后面。这样做的原因是重复利用page,减少页面的创建频率,但是要注意的是一个页面不能利用太久或者次数太多,防止出现crash的情况
  3. 拦截图片和多媒体资源的加载,多媒体资源和图片的加载会极大影响页面的加载速度,从而影响爬虫效率,所以要拦截(可选)。
  4. 我们选择获取整个页面内容,然后解析得到商品信息

    代码实现

    1.启动浏览器

    //指定启动路径,启动浏览器
            String path = new String("F:\\java教程\\49期\\vuejs\\puppeteer\\.local-chromium\\win64-722234\\chrome-win\\chrome.exe".getBytes(), "UTF-8");
            ArrayList<String> argList = new ArrayList<>();
            LaunchOptions options = new OptionsBuilder().withArgs(argList).withHeadless(false).withExecutablePath(path).build();
            argList.add("--no-sandbox");
            argList.add("--disable-setuid-sandbox");
            Browser browser = Puppeteer.launch(options);

    2.创建page队列与线程池

    //启动一个线程池多线程抓取
            int threadCount = 5;
            ThreadPoolExecutor executor = new ThreadPoolExecutor(threadCount, threadCount, 30, TimeUnit.SECONDS, new LinkedBlockingDeque<>());
            CompletionService service = new ExecutorCompletionService(executor);
            //打开5个页面同时抓取,这些页面可以多次利用,这样减少创建网页带来的性能消耗
            LinkedBlockingQueue<Page> pages = new LinkedBlockingQueue<>();
            for (int i = 0; i < threadCount; i++) {
                Page page = browser.newPage();
                //拦截请求,可选,但是存在线程切换比较严重,建议不拦截
    //            page.onRequest(request -> {
    //                if ("image".equals(request.resourceType()) || "media".equals(request.resourceType())) {
    //                    //遇到多媒体或者图片资源请求,拒绝,加载页面加载
    //                    request.abort();
    //                } else {//其他资源放行
    //                    request.continueRequest();
    //                }
    //            });
    //            page.setRequestInterception(true);
                pages.put(page);//往队列后面放,阻塞
            }

    3.定义爬虫线程静态内部类

    static class CrawlerCallable implements Callable<Object> {
    
            private LinkedBlockingQueue<Page> pages;
    
            public CrawlerCallable(LinkedBlockingQueue<Page> pages) {
                this.pages = pages;
            }
    
            @Override
            public Object call() {
                Page page = null;
                try {
                    page = pages.take();
                    PageNavigateOptions navigateOptions = new PageNavigateOptions();
                    //如果不设置 domcontentloaded 算页面导航完成的话,那么goTo方法会超时,因为图片请求被拦截了,页面不会达到loaded阶段
                    navigateOptions.setWaitUntil(Arrays.asList("domcontentloaded"));
                    page.goTo("https://item.taobao.com/item.htm?id=541605195654", navigateOptions);
                    String content = page.content();
                    return parseItem(content);
                } catch (Exception e) {
                    e.printStackTrace();
                } finally {
                    if (page != null) {
                        try {
                            pages.put(page);//把已经抓取完的网页放回队列里
                        } catch (InterruptedException e) {
                            e.printStackTrace();
                        }
                    }
                }
                return null;
            }
       }

    4.解析商品,获取结果

    //结果集
            List<Future<Object>> futures = new ArrayList<>();
            //抓取100次
            long start = System.currentTimeMillis();
            for (int i = 0; i < 100; i++) {
                Future<Object> future = service.submit(new CrawlerCallable(pages));
                futures.add(future);
            }
    
            //关闭线程池
            executor.shutdown();
            //获取结果
            int i = 0;
            for (Future<Object> result : futures) {
                Object item = result.get();
                i++;
                System.out.println(i + ":" + Constant.OBJECTMAPPER.writeValueAsString(item));
            }
            long end = System.currentTimeMillis();
            System.out.println("时间:" + (end - start));

经过测试,爬取的速度非常之快,100个任务用了15s就完成了,但不同的电脑配置和带宽有不同结果,因为爬虫是比较吃配置还有带宽的。

小结

除了创建page队列以外,还可以创建browser队列,因为一个browser永久也有可能发生crash的时候,可以在项目启动的时候启动一定数量的browser,当某个browser到达某个使用次数(比如2000)或者使用时间(2h)后关闭browser,然后取出队列中的另外一个browser,同时启动一个bowser放进队列里。

完整的代码地址: demo

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章