Node JS 5

[PUPPETEER] 병렬로 처리하기

크롤링을 하기위해서 작업하던 도중 수백 수천개의 정보를 크롤링 해야하는 데 하나씩 처리기 하기에는 시간이 너무 오래걸린다. 병렬로 처리하여 여러개를 동시에 작업 해야한다. 기존 하나씩 하는 코드 app.js const { browser, newPage } = require('./puppeteer') const { urls } = require("./urls"); (async () => { const Browser = await browser(); // url 배열 만큼 반복문 돌리기 for (link of urls) { try { // 한 브라우져에서 작업하기 위해 인자값으로 브라우져와 urlf를 인자로 준다. await newPage(Browser, link) } catch (e) { // 에러가 나도..

Node JS/puppeteer 2022.07.30

[node JS] websocket (ws)

express-generator 을 사용 해서 프로젝트를 만들었다. $ npm install -g express-generator //라이브러리 설치 $ express [프로젝트 명] // 프로젝트 생성 $ cd [프로젝트명] //프로젝트에 들어가기 $ npm i //기본 라이브러리 설치 $ npm start //실행 http://localhost:3000 으로 들어가면 express 라는 화면이 뜰것이다. $ npm install ejs ws //html을 불어오기위한 라이브러리 ejs ,웹소켓을 사용하기 위한 ws 설치 websocket.js const WebSocket = require('ws'); const clients = [] module.exports = () => { const websoc..

Node JS 2022.07.19

puppeteer (기본기)

puppeteer 란? 구글에서 만든 웹브라우져 자동화 라이브러리 구글에서 만들었기 때문에 크롬 혹은 크로미엄 에서만 작동 하다. nodejs 가 깔린 상태에서 먼저 빈폴더를 생성 후 npm init of yarn init npm install puppeteer or yarn add puppeteer 파일을 하나 생성하자 나는 server.js 로 만들겠다 잘 불러왔는지 확인하기 위해 함수를 만들고 실행 시켜보자 const puppeteer = require('puppeteer'); ( async()=>{ console.log('starting...'); console.log('puppeteer',puppeteer); })() $ node server.js 하면 잘 실행 된걸 알 수있다. 여기서 .js ..

Node JS/puppeteer 2022.07.04

Nest JS (프로젝트 생성 및 module,controller,service 생성 작업)

Nest프로젝트 생성하기 명령어 npm install -g @nest/cli nest new [프로젝트명] 원하는 팩키지 관리자를 선택하면 프로젝트가 생성 될 것이다. 생성된 파일을 보면 .eslintrc.js 개발자들이 특정한 규칙을 가지고 코드를 깔끔하게 도와주는 라이브러리 타입스크립드를 쓰는 가이드 라인 제시,문법에 오류가 나면 알려줌 .prettierrc 주로 코드 형식을 맞추는데 사용 에러를 찾는것이 아닌 코드 포맷터 역할 tsconfig.build.json 어떻게 타입스크립드를 컴파일 할지 설정 package.json src main.ts 파일의 시작 package.json 을 보고 npm run start:dev or yarn run start:dev 이렇게 보여지기 까지의 원리는 먼저 ma..

Node JS/Nest Js 2022.07.02