KR20180130910A

KR20180130910A - 스크래핑 장치 및 방법

Info

Publication number: KR20180130910A
Application number: KR1020170067114A
Authority: KR
Inventors: 김대희; 김동환; 여용주; 권정운; 서성권
Original assignee: 주식회사 희남
Priority date: 2017-05-30
Filing date: 2017-05-30
Publication date: 2018-12-10

Abstract

본 발명의 스크래핑 장치 및 방법에 관한 것으로, 스크래핑 장치는 스크래핑할 정보 수집을 요청 받으면, 요청받은 정보 수집을 분석해서 수집 대상과 수집할 정보를 확인하고, 상기 수집 대상의 보안 모듈을 확인하고 로딩하고, 상기 수집 대상의 접속 및 인증 방법에서 요구하는 인증정보를 확인하고, 사용자에게 인증정보를 요청하고, 상기 사용자로부터 인증정보를 수신하면, 수신한 인증정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청하고, 상기 수집 대상으로부터 인증 성공의 인증 결과를 수신하면, 상기 수집할 정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 수집할 정보를 상기 수집 대상으로 송신하여 정보를 요청하고, 상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신하면, 상기 수집된 정보를 상기 사용자가 설정한 형태 또는 기설정된 형태로 가공하여 상기 사용자에게 제공한다.

Description

스크래핑 장치 및 방법{APPARATUS AND METHOD FOR SCRAPING}

이하의 일 실시 예들은 복수의 수집 대상으로부터 필요로 하는 데이터만을 스크래핑하는 장치 및 방법에 관한 것이다.

스크래핑이란 자동으로 시스템에 접속해 데이터를 화면에 나타나게 한 후 필요한 자료만을 추출해 가져오는 기술이다. 웹사이트에 있는 정보를 끄집어내 다른 사이트나 데이터베이스에 저장하기 때문에 웹스크래핑(Web Scraping)이라고도 한다. 스크래핑은 데이터를 저장하므로 필요에 따라 수시로 조회가 가능하며, 저장된 데이터를 가공하여 비교분석 자료로 활용할 수도 있다. 특히, 스크래핑 기술은 인터넷 뱅킹에 이용되기 용이하여 각 금융기관에서 활발하게 이용 중이며, 호텔과 항공사·렌터카·주유소 등의 마일리지와 같은 보상프로그램, 전자우편 통합조회, 뉴스·채팅·날씨 등 사용자가 클릭해 정보를 얻을 수 있는 곳이라면 어디에도 이용할 수 있다.

하지만, 개인이 웹 사이트를 통해 스크래핑을 하기 위해서는 수집 대상 기관에서 요구하는 보안 프로그램을 설치해야 하고, 설치된 보안 프로그램을 통해서만 스크래핑을 할 수 있다.

이때, 하나의 웹 사이트에서 설치를 요구하는 보안 프로그램은 대략 3개 정도이기 때문에, 복수의 수집 대상으로부터 스크래핑을 수항하기 위해서는 수많은 보안 프로그램을 설치하고 로딩해야 하기 때문에 복수의 수집 대상에서 요구하는 보안 프로그램을 설치하고 업데이트 하는 과정에서 상호 충돌하는 오류가 빈번하게 발생하는 문제를 가지고 있어, 복수의 수집 대상으로부터 스크래핑을 멀티 스레드 형태로 동시에 수행할 수 없는 문제를 가지고 있다.

또한, 개인이 웹 사이트를 통한 스크래핑은 특정 장치에서 특정 운영체제로 한정되어 서비스 되고 있을 뿐, 멀티 플랫폼을 지원하지 못하고 있다.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하고자 도출된 것으로서, 스크래핑 장치 및 방법을 제공하는 것을 목적으로 한다.

구체적으로, 본 발명은 복수의 수집 대상으로부터 보안 모듈의 충돌없이 병렬적으로 정보를 스크래핑할 수 있는 스크래핑 장치 및 방법을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 스크래핑 장치는, 스크래핑할 정보 수집을 요청 받으면, 요청받은 정보 수집을 분석해서 수집 대상과 수집할 정보를 확인하는 스크래핑 요청 수신부; 상기 수집 대상의 보안 모듈을 확인하고 로딩하는 보안 모듈 로딩부; 상기 수집 대상의 접속 및 인증 방법에서 요구하는 인증정보를 확인하고, 사용자에게 인증정보를 요청하고, 상기 사용자로부터 인증정보를 수신하면, 수신한 인증정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청하고, 상기 수집 대상으로부터 인증 결과를 수신하는 인증정보 처리부; 상기 수집 대상으로부터 수신한 인증 결과가 인증 성공이면, 상기 수집할 정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 수집할 정보를 상기 수집 대상으로 송신하여 정보를 요청하고, 상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신하는 수집부; 및 상기 수집된 정보를 상기 사용자가 설정한 형태 또는 기설정된 형태로 가공하여 상기 사용자에게 제공하는 가공부를 포함한다.

이때, 상기 보안 모듈 로딩부는, 상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있는지 확인하고, 상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있으면 상기 최신 버전의 보안 모듈을 로딩하고, 상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있지 않으면 상기 수집 대상에 대응하는 최신 버전의 보안 모듈을 스크래핑 관리서버로 요청해서 다운받아 로딩할 수 있다.

이때, 상기 인증정보 처리부는, 상기 수집 대상으로부터 인증 결과를 수신할 때, 상기 수집 대상으로부터 암호화된 인증 결과를 수신하면, 상기 암호화된 인증 결과를 상기 수집 대상의 보안 모듈을 이용해서 상기 인증 결과로 복호화할 수 있다.

이때, 상기 수집부는, 상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신할 때, 상기 수집 대상으로부터 암호화된 수집된 정보를 수신하면, 상기 암호화된 수집된 정보를 상기 수집 대상의 보안 모듈을 이용해서 상기 수집된 정보로 복호화할 수 있다.

이때, 상기 암호화된 인증정보와 상기 암호화된 수집할 정보는, 상기 수집 대상의 보안 모듈에 포함된 서로 다른 암호화 알고리즘을 통해서 암호화된 것을 특징으로 할 수 있다.

이때, 상기 보안 모듈 로딩부는 상기 수집 대상이 복수개인 경우, 상기 수집 대상 별로 스레드를 생성하고, 상기 스레드 별로 상기 수집 대상의 보안 모듈을 확인할 수 있다. 그리고, 상기 인증정보 처리부는 상기 스레드 각각에 대응하는 상기 수집 대상의 보안 모듈을 이용해서 상기 수집 대상에 대응하는 인증정보를 암호화하고, 상기 수집 대상의 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청하고, 상기 수집 대상 각각으로부터 인증 결과를 수신할 수 있다. 그리고, 상기 수집부는 상기 스레드 각각에 대응하는 상기 수집 대상으로부터 수신한 인증 결과가 인증 성공이면, 상기 수집할 정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 수집할 정보를 상기 수집 대상으로 송신하여 정보를 요청하고, 상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신할 수 있다.

이때, 상기 인증정보 처리부는, 상기 사용자로부터 인증정보를 입력받아 수신하고, 상기 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청한 이후에 저장하지 않고 폐기할 수 있다.

이때, 상기 인증정보 처리부는, 상기 사용자의 인증정보가 저장된 인증정보 데이터베이스에 접속할 수 있는 패스워드를 상기 사용자로부터 수신하고, 상기 패스워드를 통해서 상기 인증정보 데이터베이스에 접속하여 상기 수집 대상에 대응하는 상기 사용자의 인증정보를 검색함으로써, 상기 사용자로부터 인증정보를 수신할 수 있다.

본 발명의 일 실시 예에 따른 스크래핑 방법은, 스크래핑할 정보 수집을 요청 받은 단계; 요청받은 정보 수집을 분석해서 수집 대상과 수집할 정보를 확인하는 단계; 상기 수집 대상의 보안 모듈을 확인하고 로딩하는 단계; 상기 수집 대상의 접속 및 인증 방법에서 요구하는 인증정보를 확인하는 단계; 사용자에게 인증정보를 요청하는 단계; 상기 사용자로부터 인증정보를 수신하는 단계; 수신한 인증정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청하는 단계; 상기 수집 대상으로부터 인증 결과를 수신하는 단계; 상기 수집 대상으로부터 수신한 인증 결과가 인증 성공이면, 상기 수집할 정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 수집할 정보를 상기 수집 대상으로 송신하여 정보를 요청하는 단계; 상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신하는 단계; 및 상기 수집된 정보를 상기 사용자가 설정한 형태 또는 기설정된 형태로 가공하여 상기 사용자에게 제공하는 단계를 포함한다.

이때, 상기 수집 대상의 보안 모듈을 확인하고 로딩하는 단계는, 상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있는지 확인하는 단계; 상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있으면, 상기 최신 버전의 보안 모듈을 로딩하는 단계; 및 상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있지 않으면, 상기 수집 대상에 대응하는 최신 버전의 보안 모듈을 스크래핑 관리서버로 요청해서 다운받아 로딩하는 단계를 포함할 수 있다.

이때, 상기 수집 대상으로부터 인증 결과를 수신하는 단계는, 상기 수집 대상으로부터 암호화된 인증 결과를 수신하는 단계; 및 상기 암호화된 인증 결과를 상기 수집 대상의 보안 모듈을 이용해서 상기 인증 결과로 복호화하는 단계를 포함할 수 있다.

이때, 상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신하는 단계는, 상기 수집 대상으로부터 암호화된 수집된 정보를 수신하는 단계; 및 상기 암호화된 수집된 정보를 상기 수집 대상의 보안 모듈을 이용해서 상기 수집된 정보로 복호화하는 단계를 포함할 수 있다.

이때, 상기 수집 대상이 복수개인 경우, 상기 수집 대상 별로 스레드를 생성하고, 상기 수집 대상 별 스레드 각각을 통해서 상기 수집 대상의 보안 모듈을 확인하고 로딩하는 단계에서 상기 수집된 정보를 수신하는 단계를 수행하는 것을 특징으로 할 수 있다.

이때, 상기 사용자로부터 인증정보를 수신하는 단계는, 상기 사용자로부터 인증정보를 입력받아 수신할 수 있다. 그리고, 상기 인증정보는, 상기 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청하는 단계 이후에 저장하지 않고 폐기하는 것을 특징으로 할 수 있다.

이때, 상기 사용자로부터 인증정보를 수신하는 단계는, 상기 수집 대상에 대응하는 상기 사용자의 인증정보가 저장된 인증정보 데이터베이스에 접속할 수 있는 패스워드를 상기 사용자로부터 수신하는 단계; 및 상기 패스워드를 통해서 상기 인증정보 데이터베이스에 접속하여 상기 수집 대상에 대응하는 상기 사용자의 인증정보를 검색하는 단계를 포함할 수 있다.

본 발명은 스크래핑 장치 및 방법에 관한 것으로, 수집 대상 기관들 각각이 요구하는 보안 모듈을 관리하는 스크래핑 관리서버로부터 수신함으로써 복수의 수집 대상들 각각으로부터 보안 프로그램을 설치하는 과정에서 발생하는 충동 오류를 회피할 수 있으며, 멀티 스레드를 이용해서 복수의 수집 대상들로부터 스크래핑을 병렬적으로 수행할 수 있으며, 장치와 운영체제에 종속적이지 않은 멀티 플랫폼을 지원할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 스크래핑 장치의 개략적인 연결 관계를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 스크래핑 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 스크래핑 장치에서 스크래핑 하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 스크래핑을 위한 아키텍쳐를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 아키텍쳐를 기반으로 스크래핑을 하는 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시 예에 따라 스크래핑 모듈을 최신 버전으로 유지하기 위한 소스 코드를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따라 스크래핑을 수행하기 위해서 다중 스레드를 생성하는 소스 코드를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 스크래핑 모듈 응답 인터페이스의 소스 코드를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 스크래핑 모듈의 소스 코드를 도시한 도면이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시 예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

이하에서는, 본 발명의 일 실시 예에 따른 스크래핑 장치 및 방법을 첨부된 도 1 내지 도 9를 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 스크래핑 장치의 개략적인 연결 관계를 도시한 도면이다.

도 1을 참조하면, 스크래핑 장치(110)는 일종의 단말기로 개인용 컴퓨터 또는 모바일 단말기 등이 될 수 있다.

스크래핑 장치(110)는 스크래핑을 위해서 스크래핑 관리서버(120)로부터 스크래핑을 위한 스크래핑 프로그램을 다운로드하여 설치할 수 있으며, 스크래핑 관리서버(120)로부터 정보를 수집할 대상인 수집 대상 기관(131, 132, 135)에서 요구하는 보안 프로그램에 대응하는 보안 모듈을 다운로드 하여 설치할 수 있다.

스크래핑 관리서버(120)는 스크래핑 장치(110)의 사용자가 정당하게 등록된 사용자인 경우, 스크래핑 장치(110)가 요구하는 스크래핑 프로그램 또는 보안 모듈을 제공할 수 있다.

스크래핑 장치(110)는 사용자로부터 정보 수집을 요청 받으면, 수집 대상 기관(131, 132, 135)의 보안 모듈을 로딩하고, 사용자에게 수집 대상 기관(131, 132, 135) 각각의 인증정보를 요청하고, 사용자로부터 수집 대상 기관(131, 132, 135) 각각의 인증정보를 수집 대상 기관(131, 132, 135) 각각의 보안 모듈을 이용해서 수집 대상 기관(131, 132, 135) 각각으로 송신하여 인증하고, 수집 대상 기관(131, 132, 135) 각각의 보안 모듈을 이용해서 수집 대상 기관(131, 132, 135) 각각으로 수집할 정보를 요청하여 수집된 정보를 수신하고, 수집된 정보를 가공하여 사용자에게 제공 할 수 있다.

스크래핑 장치(110)의 보다 구체적인 구성은 이후 도 2를 통해 후술하고자 한다.

도 2는 본 발명의 일 실시 예에 따른 스크래핑 장치의 구성을 도시한 도면이다.

도 2를 참조하면, 스크래핑 장치(110)는 제어부(210), 스크래핑 요청 수신부(211), 보안 모듈 로딩부(212), 인증정보 처리부(213), 수집부(214), 가공부(215), 통신부(220) 및 저장부(230)를 이용해서 스크래핑을 수행할 수 있다.

통신부(220)는 수신기(Receiver)와 송신기(transmitter)를 포함하는 통신 인터페이스 장치로서 유선 또는 무선으로 데이터를 송수신한다. 통신부(220)는 스크래핑 관리서버(120) 및 수집 대상 기관(131, 132, 135) 과 통신할 수 있다.

저장부(230)는 스크래핑 장치(110)의 전반적인 동작을 제어하기 위한 운영체제, 응용 프로그램 및 저장용 데이터를 저장한다. 또한, 저장부(230)는 본 발명에 따라 스크래핑 알고리즘에 따라 스크래핑을 수행하는 스크래핑 모듈과 수집 대상 기관(131, 132, 135)에서 요구하는 보안 모듈을 저장할 수 있다.

스크래핑 요청 수신부(211)는 사용자로부터 스크래핑할 정보 수집을 요청 받으면, 요청받은 정보 수집을 분석해서 수집 대상과 수집할 정보를 확인할 수 있다.

보안 모듈 로딩부(212)는 수집 대상의 보안 모듈을 확인하고 로딩할 수 있다.

보안 모듈 로딩부(212)는 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있는지 확인하고, 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있으면 최신 버전의 보안 모듈을 로딩하고, 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있지 않으면 수집 대상에 대응하는 최신 버전의 보안 모듈을 스크래핑 관리서버(120)로 요청해서 다운받아 로딩할 수 있다.

보안 모듈 로딩부(212)는 수집 대상이 복수개인 경우, 수집 대상 별로 스레드(Thread)를 생성하고, 스레드 별로 수집 대상의 보안 모듈을 확인하여 로딩 할 수 있다.

인증정보 처리부(213)는 수집 대상의 접속 및 인증 방법에서 요구하는 인증정보를 확인하고, 사용자에게 인증정보를 요청하고, 사용자로부터 인증정보를 수신하면, 수신한 인증정보를 수집 대상의 보안 모듈로 암호화하고, 암호화된 인증정보를 수집 대상으로 송신하여 인증을 요청하고, 수집 대상으로부터 인증 결과를 수신할 수 있다.

인증정보 처리부(213)는 수집 대상으로부터 인증 결과를 수신할 때, 수집 대상으로부터 암호화된 인증 결과를 수신하면, 암호화된 인증 결과를 수집 대상의 보안 모듈을 이용해서 인증 결과로 복호화할 수 있다.

인증정보 처리부(213)는 수집 대상이 복수인 경우, 보안 모듈 로딩부(212)에서 생성한 스레드 각각에 대응하는 수집 대상의 보안 모듈을 이용해서 수집 대상에 대응하는 인증정보를 암호화하고, 수집 대상의 암호화된 인증정보를 수집 대상으로 송신하여 인증을 요청하고, 수집 대상 각각으로부터 인증 결과를 수신할 수 있다.

인증정보 처리부(213)에서 사용자로부터 인증정보를 수신하는 방법은 대표적으로 아래의 2가지 방법으로 인증정보를 수신할 수 있다.

첫번째 방법으로, 인증정보 처리부(213)는 사용자로부터 인증정보를 입력받아 수신하고, 암호화된 인증정보를 수집 대상으로 송신하여 인증을 요청한 이후에 저장하지 않고 폐기할 수 있다.

두번째 방법으로 인증정보 처리부(213)는 사용자의 인증정보가 저장된 인증정보 데이터베이스에 접속할 수 있는 패스워드를 사용자로부터 수신하고, 패스워드를 통해서 인증정보 데이터베이스에 접속하여 수집 대상에 대응하는 사용자의 인증정보를 검색하고, 검색된 사용자의 인증정보를 수신한 인증정보로 판단할 수 있다. 이때, 인증정보 데이터베이스는 저장부(230)에 저장될 수 있다.

수집부(214)는 수집 대상으로부터 수신한 인증 결과가 인증 성공이면, 수집할 정보를 수집 대상의 보안 모듈로 암호화하고, 암호화된 수집할 정보를 수집 대상으로 송신하여 정보를 요청하고, 수집 대상으로부터 수집할 정보에 대응하는 수집된 정보를 수신할 수 있다.

수집부(214)는 수집 대상으로부터 수집할 정보에 대응하는 수집된 정보를 수신할 때, 수집 대상으로부터 암호화된 수집된 정보를 수신하면, 암호화된 수집된 정보를 수집 대상의 보안 모듈을 이용해서 수집된 정보로 복호화할 수 있다.

수집부(214)는 수집 대상이 복수인 경우, 보안 모듈 로딩부(212)에서 생성한 스레드 각각에 대응하는 수집 대상으로부터 수신한 인증 결과가 인증 성공이면, 수집할 정보를 수집 대상의 보안 모듈로 암호화하고, 암호화된 수집할 정보를 수집 대상으로 송신하여 정보를 요청하고, 수집 대상으로부터 수집할 정보에 대응하는 수집된 정보를 수신할 수 있다.

한편, 암호화된 인증정보와 암호화된 수집할 정보는, 수집 대상의 보안 모듈에 포함된 서로 다른 암호화 알고리즘을 통해서 암호화될 수 있다. 예를 들어, 인증정보는 해시 알고리즘에 의해서 암호화되고, 수집할 정보는 공개키 암호화 방식에 의해서 암호화 될 수 있다.

가공부(215)는 수집부(214)를 통해서 수집된 정보를 사용자가 설정한 형태 또는 기설정된 형태로 가공하여 사용자에게 제공할 수 있다. 예를 들어, 여러 은행에서 1월의 거래내역을 수신한 경우, 거래내역의 입금과 출금 중에서 입금만을 은행 별로 분류해서 제공하는 형태로 가공할 수 있다. 또는, 여러 은행에서 1월의 거래내역을 수신한 경우, 입금 또는 출금의 금액이 기설정한 금액을 초과하는 내역만을 분류해서 제공하는 형태로 가공할 수도 있다.

제어부(210)는 스크래핑 장치(110)의 전반적인 동작을 제어할 수 있다. 그리고, 제어부(210)는 스크래핑 요청 수신부(211), 보안 모듈 로딩부(212), 인증정보 처리부(213), 수집부(214) 및 가공부(215)의 기능을 수행할 수 있다. 제어부(210), 스크래핑 요청 수신부(211), 보안 모듈 로딩부(212), 인증정보 처리부(213), 수집부(214) 및 가공부(215)를 구분하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 제어부(210)는 스크래핑 요청 수신부(211), 보안 모듈 로딩부(212), 인증정보 처리부(213), 수집부(214) 및 가공부(215) 각각의 기능을 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다. 또한, 제어부(210)는 스크래핑 요청 수신부(211), 보안 모듈 로딩부(212), 인증정보 처리부(213), 수집부(214) 및 가공부(215) 각각의 기능 중 일부를 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 스크래핑 장치에서 스크래핑 하는 과정을 도시한 흐름도이다.

도 3을 참조하면, 스크래핑 장치(110)는 사용자로부터 스크래핑할 정보 수집을 요청 받으면(310), 요청받은 정보 수집을 분석해서 수집 대상과 수집할 정보를 확인한다(312).

그리고, 스크래핑 장치(110)는 수집 대상의 보안 모듈을 확인하고 로딩한다(314). 이때, 스크래핑 장치(110)는 314단계에서 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있는지 확인하고, 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있으면, 최신 버전의 보안 모듈을 로딩하고, 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있지 않으면, 수집 대상에 대응하는 최신 버전의 보안 모듈을 스크래핑 관리서버(120)로 요청해서 다운받아 로딩할 수 있다.

그리고, 스크래핑 장치(110)는 수집 대상의 접속 및 인증 방법에서 요구하는 인증정보를 확인하고(316), 사용자에게 인증정보를 요청한다(318).

이후, 스크래핑 장치(110)는 사용자로부터 인증정보를 수신하면(320), 수신한 인증정보를 수집 대상의 보안 모듈로 암호화하고, 암호화된 인증정보를 수집 대상으로 송신하여 인증을 요청한다(322).

그리고, 스크래핑 장치(110)는 수집 대상으로부터 인증 결과를 수신하면(324), 인증 결과가 인증 성공인지 여부를 확인한다(326). 324단계에서 스크래핑 장치(110)는 수집 대상으로부터 암호화된 인증 결과를 수신할 수 있으며, 암호화된 인증 결과를 수집 대상의 보안 모듈을 이용해서 복호화 할 수 있다.

326단계의 확인결과 수집 대상으로부터 수신한 인증 결과가 인증 성공이면, 스크래핑 장치(110)는 수집할 정보를 수집 대상의 보안 모듈로 암호화하고, 암호화된 수집할 정보를 수집 대상으로 송신하여 정보를 요청한다(328).

그리고, 스크래핑 장치(110)는 수집 대상으로부터 수집할 정보에 대응하는 수집된 정보를 수신하면(330), 수집된 정보를 사용자가 설정한 형태 또는 기설정된 형태로 가공하여 사용자에게 제공한다(332). 330단계에서 스크래핑 장치(110)는 수집 대상으로부터 암호화된 수집된 정보를 수신할 수 있으며, 암호화된 수집된 정보는 수집 대상의 보안 모듈을 이용해서 수집된 정보로 복호화 할 수 있다.

326단계의 확인결과 수집 대상으로부터 수신한 인증 결과가 인증 성공이 아니면, 스크래핑 장치(110)는 사용자에게 인증에 성공하지 못하였음을 오류 보고를 통해서 통보할 수 있다(334).

한편, 스크래핑 장치(110)는 수집 대상이 복수개인 경우, 수집 대상 별로 스레드를 생성하고, 수집 대상 별 스레드 각각을 통해서 314단계에서 330단계를 병렬로 수행하도록 할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 스크래핑을 위한 아키텍쳐를 도시한 도면이다.

도 4를 참조하면, 스크래핑 장치(110)의 아키텍쳐는 어플리케이션(application)(410)과 스크래핑 모듈(420)를 포함할 수 있다.

어플리케이션(410)은 사용자와 스크래핑 모듈(420) 사이에 위치하며, 스크래핑 모듈(420)을 실행하는 인터페이스 역할을 수행할 수 있다.

스크래핑 모듈(420)은 데이터 상호 인터페이스(Data Interactive APIs)(421), 데이터 처리 계층(Data Transaction Layer)(422), 보안 알고리즘 모듈(Secure Algorithm Module)(423), 다중 플랫폼 인터페이스 모듈(Multi Platform Interface Module)(424), 다중 채널 연결 모듈(Multi Channel Connector Module)(425) 및 스크래핑 엔진(Script Engine)(426)를 이용해서 스크래핑 서비스를 제공할 수 있다.

데이터 상호 인터페이스(Data Interactive APIs)(421)는 어플리케이션(410)과의 인터페이스를 제공하여 어플리케이션(410)으로부터 스크래핑할 정보 수집을 요청받고, 수집 대상의 인정정보를 수신하고, 어플리케이션(410)으로 수집된 정보를 제공하는 구성으로, RESTFUL 표준 API에 따라서 동작할 수 있다.

데이터 처리 계층(Data Transaction Layer)(422)는 각 수집 대상 기관들 각각의 입력 데이터와 출력 데이터의 형태를 정의한 정보를 관리하는 구성으로, 수집 대상 기관으로는 국민건강보험공단, 국민연금공단, 국세청, 민원24, 은행, 증권사, 카드사, 보험사, 등이 될 수 있다.

보안 알고리즘 모듈(Secure Algorithm Module)(423)은 공개키 기반의 암호 알고리즘, 해시 기반의 암호 알고리즘 등 각종 암호화 알고리즘을 제공하는 구성이다.

다중 플랫폼 인터페이스 모듈(Multi Platform Interface Module)(424)은 다양한 운영체제 및 다양한 장치들을 지원하기 위한 구성이다.

다중 채널 연결 모듈(Multi Channel Connector Module)(425)은 다양한 통신을 지원하기 위한 구성이다. 다양한 통신에는 http, https, protocol 등이 존재한다.

스크래핑 엔진(Script Engine)(426)은 스크래핑 모듈(420)을 제어하고, 스크래핑 모듈(420)의 확장과 관리를 위한 구성이다.

도 5는 본 발명의 일 실시 예에 따른 아키텍쳐를 기반으로 스크래핑을 하는 과정을 도시한 흐름도이다.

도 5를 참조하면, 어플리케이션(410)은 사용자로부터 스크래핑할 정보 수집을 요청 받으면(510), 스크래핑 모듈(420)을 호출하고(512), 스크래핑 모듈(420)로 요청받은 스크래핑할 정보를 제공하여 정보 수집을 요청한다(514). 512단계에서 스크래핑 모듈(420)을 호출할 때, 저장된 스크래핑 모듈(420)이 위변조 되었는지 여부를 확인하고, 스크래핑 모듈(420)이 최신 버전인지 여부를 확인할 수 있다. 저장된 스크래핑 모듈(420)이 위변조 되지 않았고 최신 버전이면, 어플리케이션(410)은 저장된 스크래핑 모듈(420)을 호출하고, 저장된 스크래핑 모듈(420)이 위변조 되었거나 또는 최신 버전이 아니면, 어플리케이션(410)은 최신 버전의 스크래핑 모듈을 스크래핑 관리서버(120)로 요청해서 다운받아 설치하고 호출할 수 있다.

스크래핑 모듈(420)은 요청받은 스크래핑할 정보를 분석해서 수집 대상과 수집할 정보를 확인한다(516).

그리고, 스크래핑 모듈(420)은 수집 대상의 보안 모듈을 확인하고 로딩한다(518). 이때, 스크래핑 모듈(420)은 518단계에서 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있는지 확인하고, 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있으면, 최신 버전의 보안 모듈을 로딩하고, 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있지 않으면, 수집 대상에 대응하는 최신 버전의 보안 모듈을 스크래핑 관리서버(120)로 요청해서 다운받아 로딩할 수 있다.

그리고, 스크래핑 모듈(420)은 수집 대상의 접속 및 인증 방법에서 요구하는 인증정보를 확인하여 어플리케이션(410)에게 인증정보를 요청한다(520).

어플리케이션(410)은 사용자로 인증정보를 요청하고, 사용자로부터 입력받은 인증정보를 스크래핑 모듈(420)로 제공한다(522).

이후, 스크래핑 모듈(420)은 수신한 인증정보를 수집 대상의 보안 모듈로 암호화하고(524), 암호화된 인증정보를 수집 대상으로 송신하여 인증을 요청한다(526).

그리고, 스크래핑 모듈(420)은 수집 대상으로부터 인증 결과를 수신한다(528).

528단계에서 스크래핑 모듈(420)은 수집 대상으로부터 암호화된 인증 결과를 수신할 수 있으며, 암호화된 인증 결과를 수집 대상의 보안 모듈을 이용해서 복호화 할 수 있다.

그리고, 스크래핑 모듈(420)은 인증 결과가 인증 성공이면, 수집할 정보를 수집 대상의 보안 모듈로 암호화하고(530), 암호화된 수집할 정보를 수집 대상으로 송신하여 정보를 요청한다(532).

그리고, 스크래핑 모듈(420)은 수집 대상으로부터 수집할 정보에 대응하는 수집된 정보를 수신하면(534), 수집된 정보를 사용자가 설정한 형태 또는 기설정된 형태로 가공하여(536) 어플리케이션(410)으로 제공한다(538). 534단계에서 스크래핑 모듈(420)은 수집 대상으로부터 암호화된 수집된 정보를 수신할 수 있으며, 암호화된 수집된 정보는 수집 대상의 보안 모듈을 이용해서 수집된 정보로 복호화 할 수 있다.

이후, 어플리케이션(410)은 가공된 정보를 출력하여 사용자에게 제공한다(540).

도 6은 본 발명의 일 실시 예에 따라 스크래핑 모듈을 최신 버전으로 유지하기 위한 소스 코드를 도시한 도면이다.

도 6을 참조하면, 스크래핑 모듈을 최신 버전으로 유지하기 위한 소스 코드는 스크래핑 모듈이 저장되어 있는지 여부를 확인하고, 저장되어 있으면, 스크래핑 모듈의 위변조 여부를 확인하고, 스크래핑 모듈이 위변조 되지 않았으면, 스크래핑 모듈을 복호화하고, 스크래핑 모듈의 버전을 확인하여 스크래핑 모듈이 최신버전이면 스크래핑 모듈을 실행되도록 구성되어 있습니다.

또한, 도 6의 소스 코드는 스크래핑 모듈이 위변조 되어 있으면, 스크래핑 모듈이 위변조 되었음을 알리는 오류를 출력하고, 스크래핑 모듈의 복호화에 실패하면 복호화 오류를 출력하고, 스크래핑 모듈이 최신버전이 아니면, 최신버전의 스크래핑 모듈을 다운로드 하도록 구성되어 있음을 확인할 수 있습니다.

한편 도 6의 스크래핑 모듈의 최신 버전을 유지하는데 적용하는 것 외에도, 보안 모듈의 최신 버전을 유지하기 위해서도 적용 가능하다.

도 7은 본 발명의 일 실시 예에 따라 스크래핑을 수행하기 위해서 다중 스레드를 생성하는 소스 코드를 도시한 도면이다.

도 7을 참조하면, 수집 대상이 되는 기관 수만큼 스레드를 생성하고, 다중 스레드 각각에 잡(job)을 균등 분할 하고, 다중 스레드의 실행 결과를 암호화해서 콜백함을 확인 할 수 있습니다.

도 8은 본 발명의 일 실시 예에 따른 스크래핑 모듈 응답 인터페이스의 소스 코드를 도시한 도면이다.

도 8을 참조하면, 콜백 함수는 EngineResultCallback, EngineJobStatusCallback 및 EngineStatusCallBack를 포함한다.

EngineResultCallback은 실행한 Job에 대한 결과를 리턴 할 수 있다. 이때, 리턴 인자는 thread index, job index, error, error message, result data를 포함할 수 있다. EngineJobStatusCallback은 각 실행 작업의 상태를 리턴 할 수 있다. 이때, 리턴 인자는 thread index, job index, status code를 포함할 수 있고, status code의 예로 스크래핑 관련한 처리시 초기화, 로그인, 데이터변화, 가공, 결과 처리 등이 될 수 있다.

EngineStatusCallBack은 스크래핑 모듈의 엔진에 대한 상태 코드를 반환 할 수 있다. 이때, 엔진의 상태로 initalize, start, stop, suspend, resume, done 등의 상태코드를 반환할 수 있다.

도 9는 본 발명의 일 실시 예에 따른 스크래핑 모듈의 소스 코드를 도시한 도면이다.

도 9를 참조하면, 스크래핑 모듈은 importModule()를 이용해서 수집 대상 기관의 보안 모듈에 해당하는 암호화 알고리즘들을 로딩한다.

그리고, 수집 대상 기관으로 요청할 입력 데이터인 inputParam을 생성한다. inputParam에는 수집 대상에서 요청하는 인증 정보 또는 정보 수집을 요청하기 위한 정보가 포함될 수 있다. 예를 들어, 수집 대상이 은행인 경우 정보 수집을 요청하기 위한 정보에는 사용자의 계좌번호, 은행명, 거래내역, 거래기간 등 이 존재할 수 있다.

그리고, 스크래핑 모듈은 수집 대상이 요구하는 암호화 알고리즘에 따라 makePKCSData(), encryptData() 및 hashData() 중에서 대응하는 암호화 알고리즘을 이용해서 inputParam을 암호화 해서 그 결과를 requestData(inputParam)를 이용해서 수집 대상으로 송신한다.

이후, 스크래핑 모듈은 수집 대상으로부터 수신하는 데이터를 decryptData() 및 hashData() 중에서 대응하는 암호화 알고리즘을 이용해서 복호화하고, 그 결과를 API를 이용해서 사용자에게 제공할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 실시 예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시 예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

110; 스크래핑 장치
210; 제어부
211; 스크래핑 요청 수신부
212; 보안 모듈 로딩부
213; 인증정보 처리부
214; 수집부
215; 가공부
220; 통신부
230; 저장부

Claims

스크래핑할 정보 수집을 요청 받으면, 요청받은 정보 수집을 분석해서 수집 대상과 수집할 정보를 확인하는 스크래핑 요청 수신부;
상기 수집 대상의 보안 모듈을 확인하고 로딩하는 보안 모듈 로딩부;
상기 수집 대상의 접속 및 인증 방법에서 요구하는 인증정보를 확인하고, 사용자에게 인증정보를 요청하고, 상기 사용자로부터 인증정보를 수신하면, 수신한 인증정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청하고, 상기 수집 대상으로부터 인증 결과를 수신하는 인증정보 처리부;
상기 수집 대상으로부터 수신한 인증 결과가 인증 성공이면, 상기 수집할 정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 수집할 정보를 상기 수집 대상으로 송신하여 정보를 요청하고, 상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신하는 수집부; 및
상기 수집된 정보를 상기 사용자가 설정한 형태 또는 기설정된 형태로 가공하여 상기 사용자에게 제공하는 가공부
를 포함하는
스크래핑 장치.
제1항에 있어서,
상기 보안 모듈 로딩부는,
상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있는지 확인하고, 상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있으면 상기 최신 버전의 보안 모듈을 로딩하고, 상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있지 않으면 상기 수집 대상에 대응하는 최신 버전의 보안 모듈을 스크래핑 관리서버로 요청해서 다운받아 로딩하는
스크래핑 장치.
제1항에 있어서,
상기 인증정보 처리부는,
상기 수집 대상으로부터 인증 결과를 수신할 때, 상기 수집 대상으로부터 암호화된 인증 결과를 수신하면, 상기 암호화된 인증 결과를 상기 수집 대상의 보안 모듈을 이용해서 상기 인증 결과로 복호화하는
스크래핑 장치.
제1항에 있어서,
상기 수집부는,
상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신할 때, 상기 수집 대상으로부터 암호화된 수집된 정보를 수신하면, 상기 암호화된 수집된 정보를 상기 수집 대상의 보안 모듈을 이용해서 상기 수집된 정보로 복호화하는
스크래핑 장치.
제1항에 있어서,
상기 암호화된 인증정보와 상기 암호화된 수집할 정보는,
상기 수집 대상의 보안 모듈에 포함된 서로 다른 암호화 알고리즘을 통해서 암호화된 것을 특징으로 하는
스크래핑 장치.
제1항에 있어서,
상기 보안 모듈 로딩부는,
상기 수집 대상이 복수개인 경우, 상기 수집 대상 별로 스레드를 생성하고, 상기 스레드 별로 상기 수집 대상의 보안 모듈을 확인하고,
상기 인증정보 처리부는,
상기 스레드 각각에 대응하는 상기 수집 대상의 보안 모듈을 이용해서 상기 수집 대상에 대응하는 인증정보를 암호화하고, 상기 수집 대상의 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청하고, 상기 수집 대상 각각으로부터 인증 결과를 수신하고,
상기 수집부는,
상기 스레드 각각에 대응하는 상기 수집 대상으로부터 수신한 인증 결과가 인증 성공이면, 상기 수집할 정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 수집할 정보를 상기 수집 대상으로 송신하여 정보를 요청하고, 상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신하는
스크래핑 장치.
제1항에 있어서,
상기 인증정보 처리부는,
상기 사용자로부터 인증정보를 입력받아 수신하고, 상기 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청한 이후에 저장하지 않고 폐기하는
스크래핑 장치.
제1항에 있어서,
상기 인증정보 처리부는,
상기 사용자의 인증정보가 저장된 인증정보 데이터베이스에 접속할 수 있는 패스워드를 상기 사용자로부터 수신하고, 상기 패스워드를 통해서 상기 인증정보 데이터베이스에 접속하여 상기 수집 대상에 대응하는 상기 사용자의 인증정보를 검색함으로써, 상기 사용자로부터 인증정보를 수신하는
스크래핑 장치.
스크래핑할 정보 수집을 요청 받은 단계;
요청받은 정보 수집을 분석해서 수집 대상과 수집할 정보를 확인하는 단계;
상기 수집 대상의 보안 모듈을 확인하고 로딩하는 단계;
상기 수집 대상의 접속 및 인증 방법에서 요구하는 인증정보를 확인하는 단계;
사용자에게 인증정보를 요청하는 단계;
상기 사용자로부터 인증정보를 수신하는 단계;
수신한 인증정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청하는 단계;
상기 수집 대상으로부터 인증 결과를 수신하는 단계;
상기 수집 대상으로부터 수신한 인증 결과가 인증 성공이면, 상기 수집할 정보를 상기 수집 대상의 보안 모듈로 암호화하고, 암호화된 수집할 정보를 상기 수집 대상으로 송신하여 정보를 요청하는 단계;
상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신하는 단계; 및
상기 수집된 정보를 상기 사용자가 설정한 형태 또는 기설정된 형태로 가공하여 상기 사용자에게 제공하는 단계
를 포함하는
스크래핑 방법.
제9항에 있어서,
상기 수집 대상의 보안 모듈을 확인하고 로딩하는 단계는,
상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있는지 확인하는 단계;
상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있으면, 상기 최신 버전의 보안 모듈을 로딩하는 단계; 및
상기 수집 대상에 대응하는 최신 버전의 보안 모듈이 저장되어 있지 않으면, 상기 수집 대상에 대응하는 최신 버전의 보안 모듈을 스크래핑 관리서버로 요청해서 다운받아 로딩하는 단계
를 포함하는
스크래핑 방법.
제9항에 있어서,
상기 수집 대상으로부터 인증 결과를 수신하는 단계는,
상기 수집 대상으로부터 암호화된 인증 결과를 수신하는 단계; 및
상기 암호화된 인증 결과를 상기 수집 대상의 보안 모듈을 이용해서 상기 인증 결과로 복호화하는 단계
를 포함하는
스크래핑 방법.
제9항에 있어서,
상기 수집 대상으로부터 상기 수집할 정보에 대응하는 수집된 정보를 수신하는 단계는,
상기 수집 대상으로부터 암호화된 수집된 정보를 수신하는 단계; 및
상기 암호화된 수집된 정보를 상기 수집 대상의 보안 모듈을 이용해서 상기 수집된 정보로 복호화하는 단계
를 포함하는
스크래핑 방법.
제9항에 있어서,
상기 암호화된 인증정보와 상기 암호화된 수집할 정보는,
상기 수집 대상의 보안 모듈에 포함된 서로 다른 암호화 알고리즘을 통해서 암호화된 것을 특징으로 하는
스크래핑 방법.
제9항에 있어서,
상기 수집 대상이 복수개인 경우,
상기 수집 대상 별로 스레드를 생성하고, 상기 수집 대상 별 스레드 각각을 통해서 상기 수집 대상의 보안 모듈을 확인하고 로딩하는 단계에서 상기 수집된 정보를 수신하는 단계를 수행하는 것을 특징으로 하는
스크래핑 방법.
제9항에 있어서,
상기 사용자로부터 인증정보를 수신하는 단계는,
상기 사용자로부터 인증정보를 입력받아 수신하고,
상기 인증정보는,
상기 암호화된 인증정보를 상기 수집 대상으로 송신하여 인증을 요청하는 단계 이후에 저장하지 않고 폐기하는 것을 특징으로 하는
스크래핑 방법.
제9항에 있어서,
상기 사용자로부터 인증정보를 수신하는 단계는,
상기 수집 대상에 대응하는 상기 사용자의 인증정보가 저장된 인증정보 데이터베이스에 접속할 수 있는 패스워드를 상기 사용자로부터 수신하는 단계; 및
상기 패스워드를 통해서 상기 인증정보 데이터베이스에 접속하여 상기 수집 대상에 대응하는 상기 사용자의 인증정보를 검색하는 단계
를 포함하는
스크래핑 방법.
제9항 내지 제16항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.