대구 광역시 중구 삼덕1가동 43-12 번지
+82 010 2467 1456
cs@banwol.kr
인트라넷
공지사항
HOME
주식회사 반월 대표 홈페이지
미래를 여는 기업 – 반월
회사소개
인사말
회사 개요
업무 내용
찾아오시는 길
부동산 개발
반월타워
쌍봉빌딩
봉성빌딩
임대 문의
빅데이타
빅데이타 수집방법
웹사이트 분석
상권 분석
바이오정보 분석
자료실
MENU
CLOSE
back
빅데이타 수집방법
You are here:
Home
빅데이타 수집방법
컨텐츠 수집 과정
컨텐츠 수집할 사이트 찾기
사이트의 코드를 분석
웹 파셔 룰 만들기
파셔 룰을 실행
수집된 컨텐츠 확인
컨텐츠를 가공하여 퍼블리싱
코드 분석 과정
웹 사이트를 소스로 보기
수집할 곳의 반복되는 코드의 앞부분 찾기 – 루프 스플리터
데이타 영역을 추출하기 위해 항목의 앞과 끝을 구분할 문자를 찾기
파셔 룰에 필요한 값 등록
파셔 룰 제작 과정
테스트 모듈을 이용하여, 루프스플리터, 앞짜르기, 뒷짜르기 문자열 을 입력하고 루프 테스트
페이지 변수를 등록하고, 페이지 테스트
상세페이지에 해당하는 부분에 대해서도 필요한 값 입력하고, 상세페이지 테스트
서버 도메인을 발급하여 RSS 형식으로 배포
파싱 실행
수집할 URL 을 입력
수집 목적을 선택. DB화, csv, wordpress화
수집 형식을 선택. 스케쥴러를 통한 지속적인 수집, 또는 일회성 수집
페이지 변수에 데이타베이스의 필드 세트를 주입하는 인젝션 기능 채크
쿠키변수를 오버라이딩 하는 하이젝 기능을 채크
수집된 컨텐츠 확인
DB로 수집된 결과를 DB 클라이언트로 확인
항목이 비었거나, 누락되거나 하는 경우, 코드 분석 과정 부터 다시 진행
수집된 컨텐츠를 퍼블리싱하거나, 자체 KMS 로써의 활용
원 클릭 퍼블리싱
퍼블리싱할 곳의 서버 도메인 세팅
도메인이 세팅되면 수집된 DB 의 테이블, 필드 정보를 변수로 맞추고 저장
미리 준비된 디자인 프레셋을 선택하고 퍼블리싱 버턴 클릭
수집된 컨텐츠를 단순하게 디자인된 형태로 접근 가능
본사주소 : 대구광역시 중구 삼덕동1가동 43-12번지 (주)반월 | 개인정보관리자 : 김동현 | 대표 : 김희숙 사업자등록번호 : 514-81-33289
Copyright (c) 2015 (주) 반월, All Right Reserved. 전화번호 : 010-2467-1456 | 메일 : cs@banwol.kr