주식회사 반월 대표 홈페이지 | 빅데이타 수집방법

컨텐츠 수집 과정

컨텐츠 수집할 사이트 찾기

사이트의 코드를 분석

웹 파셔 룰 만들기

파셔 룰을 실행

수집된 컨텐츠 확인

컨텐츠를 가공하여 퍼블리싱

코드 분석 과정

웹 사이트를 소스로 보기

수집할 곳의 반복되는 코드의 앞부분 찾기 – 루프 스플리터

데이타 영역을 추출하기 위해 항목의 앞과 끝을 구분할 문자를 찾기

파셔 룰에 필요한 값 등록

파셔 룰 제작 과정

테스트 모듈을 이용하여, 루프스플리터, 앞짜르기, 뒷짜르기 문자열 을 입력하고 루프 테스트

페이지 변수를 등록하고, 페이지 테스트

상세페이지에 해당하는 부분에 대해서도 필요한 값 입력하고, 상세페이지 테스트

서버 도메인을 발급하여 RSS 형식으로 배포

파싱 실행

수집할 URL 을 입력

수집 목적을 선택. DB화, csv, wordpress화

수집 형식을 선택. 스케쥴러를 통한 지속적인 수집, 또는 일회성 수집

페이지 변수에 데이타베이스의 필드 세트를 주입하는 인젝션 기능 채크

쿠키변수를 오버라이딩 하는 하이젝 기능을 채크

수집된 컨텐츠 확인

DB로 수집된 결과를 DB 클라이언트로 확인

항목이 비었거나, 누락되거나 하는 경우, 코드 분석 과정 부터 다시 진행

수집된 컨텐츠를 퍼블리싱하거나, 자체 KMS 로써의 활용

원 클릭 퍼블리싱

퍼블리싱할 곳의 서버 도메인 세팅

도메인이 세팅되면 수집된 DB 의 테이블, 필드 정보를 변수로 맞추고 저장

미리 준비된 디자인 프레셋을 선택하고 퍼블리싱 버턴 클릭

수집된 컨텐츠를 단순하게 디자인된 형태로 접근 가능