응용 sw 및 블록체인

크롤링을 하기위해서 작업하던 도중 수백 수천개의 정보를 크롤링 해야하는 데 하나씩 처리기 하기에는 시간이 너무 오래걸린다. 병렬로 처리하여 여러개를 동시에 작업 해야한다. 기존 하나씩 하는 코드 app.js const { browser, newPage } = require('./puppeteer') const { urls } = require("./urls"); (async () => { const Browser = await browser(); // url 배열 만큼 반복문 돌리기 for (link of urls) { try { // 한 브라우져에서 작업하기 위해 인자값으로 브라우져와 urlf를 인자로 준다. await newPage(Browser, link) } catch (e) { // 에러가 나도..

puppeteer 란? 구글에서 만든 웹브라우져 자동화 라이브러리 구글에서 만들었기 때문에 크롬 혹은 크로미엄 에서만 작동 하다. nodejs 가 깔린 상태에서 먼저 빈폴더를 생성 후 npm init of yarn init npm install puppeteer or yarn add puppeteer 파일을 하나 생성하자 나는 server.js 로 만들겠다 잘 불러왔는지 확인하기 위해 함수를 만들고 실행 시켜보자 const puppeteer = require('puppeteer'); ( async()=>{ console.log('starting...'); console.log('puppeteer',puppeteer); })() $ node server.js 하면 잘 실행 된걸 알 수있다. 여기서 .js ..