KR20170080768A

KR20170080768A - 데이터 스크래핑 시스템, 방법 및 컴퓨터 프로그램

Info

Publication number: KR20170080768A
Application number: KR1020150189547A
Authority: KR
Inventors: 박성용
Original assignee: 주식회사쿠콘
Priority date: 2015-12-30
Filing date: 2015-12-30
Publication date: 2017-07-11
Anticipated expiration: 2035-12-30
Also published as: JP2017120607A; KR101815235B1; JP6209626B2

Abstract

데이터 스크래핑(data scrapping) 시스템은, 스크래핑이 필요한 조회 또는 수행을 호출하는 서비스 프로그램을 구비하며, 스크래핑을 위한 사용자 정보를 수신하고, 내부 스케줄 알고리즘을 사용하여 사용자 정보와 작업을 할당하는 관리 모듈; 및 상기 관리 모듈에 의해 할당된 사용자 정보와 작업에 기초하여, 서로 상이한 복수의 기관에 통신 가능하게 연결되어 상기 복수의 기관으로부터 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑하도록 구성된 스크래핑 모듈을 포함한다. 상기 스크래핑 모듈은, 스크래핑될 데이터 항목을 지정하는 메타 데이터베이스(meta database)를 포함하며, 상기 기관이 제공하는 데이터 셋으로부터 상기 메타 데이터베이스에 기반하여 스크래핑할 데이터를 추출하도록 구성된다. 상기 데이터 스크래핑 시스템에 의하면, 모바일 컴퓨팅 장치 등 다양한 플랫폼에서 데이터 스크래핑이 동작될 수 있으며, 다중의 스크래핑 정보를 보안 모듈의 제약사항 없이 하나의 장치에서 수집할 수 있다.

Description

데이터 스크래핑 시스템, 방법 및 컴퓨터 프로그램{SYSTEM, METHOD AND COMPUTER PROGRAM FOR DATA SCRAPPING}

실시예들은 데이터 스크래핑(data scrapping) 시스템, 방법 및 컴퓨터 프로그램에 관한 것으로, 특히 다양한 플랫폼에서의 다중의 스크래핑 정보를 보안 모듈의 제약사항 없이 하나의 시스템에서 처리하는 기술에 대한 것이다.

일반적으로, 스크린 스크래핑(screen scraping)은 스크린에 보이는 데이터 중 필요한 것만 추출해 주는 소프트웨어로서, 자동으로 시스템에 접속해 데이터를 화면에 나타나게 한 후 필요한 자료만을 추출해 가져오는 기술이다. 웹 사이트에 있는 정보를 끄집어내 다른 사이트나 데이터베이스에 저장하기 때문에 웹 스크래핑(web scraping)이라고도 한다. 데이터를 저장하므로 필요에 따라 수시로 조회가 가능하며, 저장된 데이터를 가공하여 비교분석 자료로 활용할 수도 있다. 특히 인터넷 뱅킹에 필수적인 프로그램으로 각 금융기관에서 활발하게 운영 중이며, 호텔과 항공사·렌터카·주유소 등의 마일리지와 같은 보상프로그램, 전자우편 통합조회, 뉴스·채팅·날씨 등 사용자가 클릭해 정보를 얻을 수 있는 곳이라면 어디에도 사용할 수 있다.

스크린 스크래핑 기술은 미국 등에서는 1990년대 말부터 보편화되었으며, 국내에서는 2000년 설립된 핑거(Finger) 사가 이 기술을 처음 개발하여 금융서비스를 시작한 후 금융기관을 중심으로 널리 사용되고 있다. 현재 대표적인 것으로는 개인이 가진 여러 금융기관의 계좌들을 통합하여 관리할 수 있는 금융자산통합관리소프트웨어(PFMS: Personal Finance Management Software)를 들 수 있다. 일일이 각 웹사이트를 방문할 필요가 없어 시간과 경비를 절약할 수 있는 장점이 있으나 사생활 침해가 우려되며, 사이트가 갱신될 때마다 프로그래밍을 수정해야 한다는 단점도 있다.

상기 스크린 스크래핑 기술은 크게 클라이언트(client) 방식과 서버(server) 방식으로 구분되며, 계좌통합 서비스나 개인자산관리, 기업자산관리 프로그램에서 그 활용도가 높으나 단 대 단(end-to-end) 정책을 지켜야 하는 국내 보안 정책상의 이유로 서버 방식보다는 클라이언트 방식의 스크린 스크래핑 기술이 절대 우위를 점하고 있다.

도 1은 종래의 클라이언트 방식의 스크린 스크래핑을 이용한 계좌통합 서비스 시스템의 구성도이다.

종래의 계좌통합 서비스 시스템은 도 1에 도시한 바와 같이, 사용자(10)가 계좌통합 서비스 프로그램(20)을 통해 제1 내지 제n 기관(40-1 내지 40-n)에 등록된 웹 서비스 프로그램(41)에 인터넷망(30)을 통해 접속하여, 상기 제1 내지 제n 기관(40-1 내지 40-n)의 통신 보안 정책에 따라 서비스를 수행한다. 이때, 상기 스크린 스크래핑은 상기 계좌통합 서비스 프로그램(20)에서 수행된다.

종래의 클라이언트 방식의 스크린 스크래핑을 이용한 계좌통합 서비스 시스템은 도 1과 같이, 금융 관련 웹 서비스의 스크린 스크래핑 시 서비스의 안정성이나 기술적 제약으로 인해 복수의 스크린 스크래핑 작업을 순차적으로 실행하고 결과를 받는 구성이다. 이는, 예들 들어, 은행 계좌 개수가 많은 경우 거래내역 조회 스크래핑을 할 때 심각한 성능저하를 체감하게 되는 문제점이 있었다.

위와 같은 문제점을 해결하기 위하여, 복수의 스크래핑 머신에 의해 병렬적으로 스크린 스크래핑을 수행하는 기술이 개발되기도 하였다. 그러나, 이 경우 금융기관에서 요구하는 보안 정책을 준수하기 위해서 각각의 스크래핑 머신은 서로 별개의 윈도우(Windows) 운영체제(operating system) 기반 개인용 컴퓨터(personal computer)로 구성되어야 하므로, 다중의 정보를 수집하기 위해서는 투입되어야 하는 장비의 규모 및 비용이 비례적으로 증가하는 문제가 있다. 또한, 윈도우 운영체제 기반의 PC 외에 리눅스(Linux)나 OS X 기반의 컴퓨터, 또는 iOS와 안드로이드(android) 등 모바일 운영체제를 기반으로 한 모바일 컴퓨팅 장치에서는 스크래핑을 이용하는 것이 불가능한 단점이 있다.

등록특허공보 제10-0494975호

본 발명의 일 측면에 따르면, 금융 관련 목적 기관에 스크래핑(scrapping)을 함에 있어서 복수의 기관으로부터 정보를 수집할 수 있으며, 다양한 플랫폼에서 동작 가능하고, 다중의 스크래핑 정보를 보안 모듈의 제약사항 없이 하나의 장치에서 수집할 수 있는 데이터 스크래핑(data scrapping) 시스템, 방법 및 컴퓨터 프로그램을 제공할 수 있다.

일 실시예에 따른 데이터 스크래핑(data scrapping) 시스템은, 스크래핑이 필요한 조회 또는 수행을 호출하는 서비스 프로그램을 구비하며, 스크래핑을 위한 사용자 정보를 수신하고, 내부 스케줄 알고리즘을 사용하여 사용자 정보와 작업을 할당하는 관리 모듈; 및 상기 관리 모듈에 의해 할당된 사용자 정보와 작업에 기초하여, 서로 상이한 복수의 기관에 통신 가능하게 연결되어 상기 복수의 기관으로부터 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑하도록 구성된 스크래핑 모듈을 포함한다.

일 실시예에서, 상기 스크래핑 모듈은, 스크래핑될 데이터 항목을 지정하는 메타 데이터베이스(meta database)를 포함하며, 상기 기관이 제공하는 데이터 셋으로부터 상기 메타 데이터베이스에 기반하여 스크래핑할 데이터를 추출하도록 구성된다.

일 실시예에서, 상기 스크래핑 모듈은, 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑하기 위하여 상기 복수의 기관에서 요구하는 인증 방식에 대한 정보를 포함하며, 상기 사용자 정보가 상기 인증 방식으로 처리된 인증값을 상기 기관에 전송하도록 구성된다.

일 실시예에서, 상기 관리 모듈은 호출된 조회 또는 수행에 대응되는 데이터를 사용자 장치에 제공하도록 더 구성된다. 이때, 상기 사용자 장치는 모바일 컴퓨팅 장치를 포함할 수 있다.

일 실시예에 따른 데이터 스크래핑 시스템을 이용한 데이터 스크래핑 방법은, 사용자 장치로부터, 사용자에 의해 호출된 조회 또는 수행의 정보 및 사용자 정보를 포함하여 스크래핑에 필요한 정보를 수신하는 단계; 스크래핑될 데이터 항목의 정보를 메타 데이터베이스에 저장하는 단계; 내부 스케줄 알고리즘을 사용하여 스크래핑 모듈에 사용자 정보와 작업을 할당하는 단계; 및 상기 스크래핑 모듈이, 할당된 상기 사용자 정보와 작업에 기초하여, 서로 상이한 복수의 기관과 통신함으로써 상기 복수의 기관으로부터 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑하는 단계를 포함한다.

일 실시예에서, 상기 데이터를 스크래핑하는 단계는, 상기 기관이 제공하는 데이터 셋으로부터 상기 메타 데이터베이스에 기반하여 스크래핑할 데이터를 추출하는 단계를 포함한다.

일 실시예에서, 상기 스크래핑 모듈은 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑하기 위하여 상기 복수의 기관에서 요구하는 인증 방식에 대한 정보를 포함한다. 이때, 상기 데이터를 스크래핑하는 단계는, 상기 스크래핑할 데이터를 추출하는 단계 전에, 상기 사용자 정보가 상기 인증 방식으로 처리된 인증값을 상기 기관에 전송하는 단계를 더 포함한다.

일 실시예에 따른 데이터 스크래핑 방법은, 상기 데이터를 스크래핑하는 단계 후에, 호출된 조회 또는 수행에 대응되는 데이터를 사용자 장치에 제공하는 단계를 더 포함한다. 이때, 상기 사용자 장치는 모바일 컴퓨팅 장치를 포함할 수 있다.

일 실시예에 따른 컴퓨터 프로그램은, 하드웨어와 결합되어 전술한 실시예들에 따른 데이터 스크래핑 방법을 실행하기 위한 것으로서, 컴퓨터로 판독 가능한 매체에 저장될 수 있다.

본 발명의 일 측면에 따른 데이터 스크래핑(data scrapping) 시스템, 방법 및 컴퓨터 프로그램에 의하면, 사용자가 원하는 수집 정보가 기록된 메타 데이터베이스(meta database)에 기반하여 스크래핑 정보를 추출하여 수집할 수 있으며, 은행, 증권사, 카드사 등의 금융기관, 공공기관, 또는 실물 정보를 제공하는 기관 등으로부터 해당 기관 등에서 요구하는 인증 방식에 따라 처리된 사용자 정보의 인증값을 기관에 전달하여 목적하는 데이터, 예컨대, 계좌 잔액, 계좌 거래 내역, 카드 승인 내역, 카드 청구 내역, 카드 한도, 증권 잔고, 보험 가입내역 등과 같은 금융 정보, 또는 국세청 소득 증빙, 사업자 등록증명, 사업자휴폐업 정보, 납세사실증명, 부가가치세과세표준증명, 표준재무재표증명, 건강보험 자격확인서, 건강보험자격득실확인서, 직장보험료 개인별조회 내역, 국민연금 납부 내역, 민원24 신분증 진위 정보 등과 같은 공공 정보 등을 스크래핑할 수 있다.

본 발명의 일 측면에 따른 데이터 스크래핑 시스템, 방법 및 컴퓨터 프로그램에 의하면, 윈도우(Windows) 운영체제 기반의 개인용 컴퓨터(Personal Computer) 외에도 Linux나 OS X 기반의 컴퓨터, 또는 iOS와 안드로이드(android) 등 모바일 운영체제를 기반으로 한 모바일 컴퓨팅 장치 등 다양한 플랫폼에서 데이터 스크래핑이 동작될 수 있으며, 다중의 스크래핑 정보를 보안 모듈의 제약사항 없이 하나의 장치에서 수집할 수 있다.

도 1은 종래의 스크린 스크래핑을 이용한 계좌통합 서비스 시스템의 구성도이다.
도 2는 일 실시예에 따른 데이터 스크래핑 시스템의 구성을 나타내는 블록도이다.
도 3은 도 2에 도시된 관리 모듈 및 스크래핑 모듈의 상세 구성을 나타내는 블록도이다.
도 4는 도 3에 도시된 스크래핑 모듈의 하드웨어 제원을 나타내는 블록도이다.
도 5는 일 실시예에 따른 데이터 스크래핑 방법의 각 단계를 나타내는 순서도이다.
도 6은 도 5에 도시된 실시예의 보다 구체적인 형태를 나타내는 순서도이다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 2는 일 실시예에 따른 데이터 스크래핑(data scrapping) 시스템의 구성을 나타내는 블록도이다.

도 2를 참조하면, 본 실시예에 따른 데이터 스크래핑 시스템(1)은 관리 모듈(100) 및 스크래핑 모듈(200)을 포함한다. 실시예들에 따른 데이터 스크래핑 시스템(1)은, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 데이터 스크래핑 시스템(1)을 구성하는 관리 모듈(100)과 스크래핑 모듈(200) 및 이에 포함된 각 부는, 특정 형식 및 내용의 데이터를 전자통신 방식으로 주고받기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "서버", "시스템", "플랫폼", "장치" 또는 "단말" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

데이터 스크래핑 시스템(1)은 사용자 장치(10)와 통신하면서 사용자 장치(10)로부터 스크래핑이 필요한 조회 또는 수행에 대한 호출 명령, 및 인증을 위하여 필요한 사용자 정보 등을 수신하도록 구성된다. 사용자 장치(10)는 윈도우(Windows) 운영체계(Operating System; OS) 기반의 개인용 컴퓨터(Personal Computer; PC)일 수도 있으나, 이에 한정되지 않으며, 리눅스(Linux)나 OS X 기반의 컴퓨터, iOS와 안드로이드(android) 등 모바일 OS를 기반으로 한 스마트폰(smartphone) 등의 모바일 컴퓨팅 장치, 노트북(notebook) 컴퓨터, PDA(personal digital assistant), 태블릿(tablet), IPTV(Internet Protocol Television) 등을 위한 셋톱박스(set-top box) 또는 다른 임의의 장치일 수 있다.

또한, 데이터 스크래핑 시스템(1)은 제1 내지 제n 기관(40-1 내지 40-n)에 등록된 웹 서비스 프로그램(41)에 인터넷망(30)을 통해 접속하여, 상기 제1 내지 제n 기관(40-1 내지 40-n)으로부터 데이터를 스크래핑하도록 구성된다. 인터넷망(30)을 통한 통신 방법은 객체와 객체가 네트워킹 할 수 있는 모든 통신 방법을 포함할 수 있으며, 유선 통신, 무선 통신, 3G, 4G, 혹은 그 이외의 방법으로 제한되지 않는다. 예를 들어, 인터넷망(30)은 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX (IEEE 802.16e), UMB (formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access) 및 초음파 활용 통신으로 이루어진 군으로부터 선택되는 하나 이상의 통신 방법에 의한 통신 네트워크를 지칭할 수 있으나, 이에 한정되는 것은 아니다.

본 실시예에 따른 데이터 스크래핑 시스템(1)은, 도 2에 도시한 바와 같이, 스크래핑이 필요한 조회 또는 수행을 호출하는 정보수집 프로그램을 구비하며 스크래핑을 위한 사용자 정보를 내부 스케줄 알고리즘을 사용하여 스크래핑 모듈(200)에 사용자 정보와 작업을 할당하는 관리 모듈(100)과, 관리 모듈(100)에 의해 할당된 사용자 정보와 작업에 기초하여 인터넷망(30)에 접속함으로써, 인터넷망(30)에 연결되며 웹 서비스 프로그램(41)을 각각 구비한 제1 내지 제n 기관(40-1 내지 40-n)으로부터 데이터를 스크래핑하는 스크래핑 모듈(200)을 포함한다.

제1 내지 제n 기관(40-1 내지 40-n)은 본 실시예에 따른 데이터 스크래핑 시스템(1)에 의한 정보 수집의 대상이 되는 단체에서 운용하는 시스템을 지칭하는 것으로서, 은행, 증권사, 카드사 등의 금융기관이나, 공공기관, 또는 실물 정보를 제공하는 다른 임의의 기관일 수 있으며, 특정 단체로 한정되지 않는다. 또한, 본 실시예에 따른 데이터 스크래핑 시스템(1)에 의한 정보 수집이 가능한 기관의 수는 복수이다.

스크래핑 모듈(200)은 이에 의해 접속되는 기관에 따라 제1 내지 제n 데이터 스크래핑 정보수집부(200-1 내지 200-n)로 기능적으로 구분될 수 있다. 즉, 제1 내지 제n 데이터 스크래핑 정보수집부(200-1 내지 200-n)는 각각 제1 내지 제n 기관(40-1 내지 40-n)으로부터 데이터를 스크래핑할 수 있다. 제1 내지 제n 데이터 스크래핑 정보수집부(200-1 내지 200-n) 각각은 스크래핑 모듈(200)에 의하여 운용되는 가상머신(virtual machine)상에서 동작할 수 있으나, 이에 한정되는 것은 아니며, 하나의 OS를 이용하여 운용되는 스크래핑 모듈(200)이 제1 내지 제n 기관(40-1 내지 40-n)으로부터 데이터를 스크래핑하도록 구성하는 것도 가능하다.

본 실시예에서, 스크래핑 모듈(200)은 스크래핑될 데이터 항목을 지정하는 메타 데이터베이스(meta database)를 포함하여, 제1 내지 제n 기관(40-1 내지 40-n)이 각각 제공하는 데이터 셋(data set)으로부터 메타 데이터베이스에 기반하여 스크래핑할 항목에 해당되는 데이터를 추출하도록 구성된다. 또한 스크래핑 모듈(200)은, 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑하기 위하여 제1 내지 제n 기관(40-1 내지 40-n)이 각각 요구하는 인증 방식에 대한 정보를 저장하고 있으며, 데이터 스크래핑을 위하여 사용자 정보가 상응하는 인증 방식(예컨대, 비대칭 암호화 등)으로 처리된 인증값을 제1 내지 제n 기관(40-1 내지 40-n)에 전송하여 제1 내지 제n 기관(40-1 내지 40-n)으로부터 데이터를 수신하도록 구성된다.

사용자는 사용자 장치(10)를 이용하여 데이터 스크래핑 시스템(1)에 접속함으로써 정보수집 프로그램(110)을 사용하게 되며, 데이터 스크래핑 시스템(1) 내부적으로 스크래핑 작업은 데이터를 대상 기관의 종류에 따라 상기 제1 내지 제n 데이터 스크래핑 정보수집부(200-1 내지 200-n)로 분산처리가 되어 작업이 수행된다. 그러나, 스크래핑 정보수집부(200-1 내지 200-n)는 하나의 하드웨어 장치를 이용하여 구현되는 스크래핑 모듈(200)을 단지 기능적으로 구분한 것이며, 본 실시예에 따른 스크래핑 모듈(200)은 종래와 같이 분산처리를 위하여 복수의 윈도우 OS 기반 PC를 요하지 않는다. 정보수집 프로그램(110)과 스크래핑 모듈(200) 사이의 구간에서는 공개키기반구조(公開-基盤構造, Public Key Infrastructure; PKI)의 시스템 인증으로 프로그램과 스크래핑 모듈을 인증하고 사용자 정보 및 결과는 SSL(Secure Sockets Layer)로 통신을 한다.

상기 정보수집 프로그램(110)과 스크래핑 모듈(200) 사이의 인증 및 통신구간을 통해 스크래핑 모듈(200)로 전달된 스크래핑을 위한 사용자 정보는 상기 스크래핑 모듈(200)에서 각 기관들(40-1 내지 40-n)의 통신 보안 정책에 맞게 처리된다. 스크래핑 모듈(200)에서는 각 기관들(40-1 내지 40-n)의 통신 보안 정책에 상응하는 방식으로 사용자 정보를 처리하고, 처리 결과에 해당하는 인증값을 각 기관들(40-1 내지 40-n)에 전송하여 데이터를 스크래핑한다. 예컨대, 스크래핑되는 데이터는 계좌 잔액, 계좌 거래 내역, 카드 승인 내역, 카드 청구 내역, 카드 한도, 증권 잔고, 보험 가입내역 등과 같은 금융 정보, 또는 국세청 소득 증빙, 사업자 등록증명, 사업자휴폐업 정보, 납세사실증명, 부가가치세과세표준증명, 표준재무재표증명, 건강보험 자격확인서, 건강보험자격득실확인서, 직장보험료 개인별조회 내역, 국민연금 납부 내역, 민원24 신분증 진위 정보 등과 같은 공공 정보일 수 있으나, 이에 한정되지 않는다. 스크래핑 결과는 스크래핑 모듈(200)과 상기 인증 및 통신구간을 통해 상기 정보수집 프로그램(110)에서 취합될 수 있다.

도 3은 도 2에 도시된 관리 모듈 및 스크래핑 모듈의 상세 구성을 나타내는 블록도이다.

도 3에 도시한 바와 같이, 일 실시예에 따른 데이터 스크래핑 시스템의 관리 모듈(100)은 정보수집 프로그램(112), 업데이터부(120), 작업 할당 스케줄러(130), 인증서 분배부(140), 스크래핑 엔진 관리부(150)를 포함한다. 또한, 일 실시예에 따른 스크래핑 모듈(200)은 인증 관리부(210), 스크래핑 작업 관리부(220), 스크래핑 작업 모니터(230), 감사용 자료 관리부(240), 스크래핑 엔진부(250), 스크래핑 환경 관리부(260), 데이터베이스(database; DB) 파일부(270), 및 메타 DB(280)를 포함한다.

정보수집 프로그램(110)은 사용자 장치(10)에 의하여 접속하여 사용됨으로써 스크래핑이 필요한 조회 또는 수행이 호출되며, 또한 인증을 위한 사용자 정보가 입력될 수 있는 프로그램이다. 예를 들면, 정보수집 프로그램은 은행 계좌 잔액 및/또는 거래내역이 조회될 수 있는 잔액 거래내역 조회 업무용 프로그램, 계좌간 이체가 수행될 수 있는 집금 업무용 프로그램 등일 수 있으나 이에 한정되는 것은 아니다. 또한, 정보수집 프로그램은 사용자가 하나의 프로그램을 통하여 다수의 기관에 분산된 계좌에 대한 조회 등을 수행할 수 있는 계좌통합 서비스를 위하여 구성된 것일 수도 있다.

상기 업데이터부(120)는 관리 모듈(100) 및 스크래핑 모듈(200)의 프로그램이나 라이브러리, 인증서를 갱신하고 동기화하기 위한 전처리 작업이나 파일 송수신을 담당한다.

상기 작업 할당 스케줄러(130)는 상기 정보수집 프로그램(112)에서 전달받은, 스크래핑을 위한 사용자 정보를 내부 스케줄 알고리즘을 사용하여 스크래핑 모듈(200)에 사용자 정보와 작업을 할당하는 역할을 한다. 할당될 사용자 정보와 작업은 스크래핑 수집정보 전문의 형태로 스크래핑 모듈(200)에 전송될 수 있다.

상기 인증서 분배 기능부(140)는 상기 스크래핑 모듈(200)에 설치된 인증서와 사용자 장치(10)에 설치된 인증서가 동일한지를 검사하여 사용자 장치(10)의 인증서를 기준으로 업데이트하여 동기화 작업을 수행한다.

상기 스크래핑 머신 관리부(150)는 스크래핑 모듈(200)과 데이터 스크래핑 정보수집부를 구현하기 위한 그 내부의 스크래핑 엔진의 전원의 온(ON)/오프(OFF) 상태, 상기 스크래핑 모듈(200) 및/또는 그 내부의 가상 머신에 설치된 OS의 버전 정보, 현재 사용자의 입력을 기다리는지의 여부와 CPU, 메인 메모리(Main Memory), USB 호스트 컨트롤러(Host Controller), 하드 디스크 드라이브(Hard Disk Drive), 네트워크 인터페이스 카드(Network Interface Card)의 점유율, 남는 공간, 사용 상태, 네트워크 점유 상태 등을 조회하는 역할을 한다.

그 다음, 상기 스크래핑 모듈(200)의 인증 관리부(210)는 상기 관리 모듈(100)의 작업 할당 스케줄러(130)에서 요청이 있을 경우 상기 스크래핑 모듈(200)과 상기 작업 할당 스케줄러(130)가 서로 인증된 프로그램인가를 확인한다.

상기 스크래핑 작업 관리부(220)는 상기 작업 할당 스케줄러(130)에서 전송된 스크래핑을 위한 사용자 정보를 상기 스크래핑 엔진부(250)에 API(Application Program Interface) 호출이나 OLE(Object Linking and Embedding) 프로토콜을 사용하여 전달하고, 그 결과를 상기 작업 할당 스케줄러(130)에 소켓이나 SSL(Secure Sockets Layer) 통신으로 전송한다.

상기 스크래핑 작업 모니터(230)는 상기 스크래핑 작업 관리부(220)를 최신 버전으로 업데이트하거나, 상기 스크래핑 작업 관리부(220)가 비정상적인 수행을 하거나 오류로 인한 문제 발생시 프로세스를 중지시키고 상기 스크래핑 작업 관리부(220)를 재실행한다. 그리고, 상기 스크래핑 작업 관리부(220)가 상기 스크래핑 엔진부(250)를 호출하여 작동될 때 발생할 수 있는 예외의 경우, 예를 들어 보안 모듈 등 스크래핑 작업에 필요한 프로그램 설치나 갱신에 대한 사용자 입력을 상기 스크래핑 환경 관리부(260)를 통해 대신하여 처리한다.

상기 감사용 자료 관리부(240)는 상기 스크래핑 작업 관리부(220)와 스크래핑 작업모니터(230)를 사용함에 있어 서비스에 오작동, 수행 시간, 수행 작업의 간략한 내용, 최적화용 정보, 스크래핑 작업의 권한 정보 등을 저장하고 관리한다.

상기 DB 파일부(270)는 상기 인증 관리부(210), 상기 스크래핑 작업 관리부(220), 스크래핑 작업 모니터(230), 스크래핑 환경 관리부(260), 감사용 자료 관리부(240)의 로그를 API호출이나 OLE 프로토콜을 사용하여 저장하는 역할을 한다.

상기 메타 DB(280)는 사용자가 원하는 수집할 정보, 예컨대, 수집할 대상 및 스크래핑 항목을 저장하는 역할을 한다. 예컨대, 사용자가 계좌의 이체 내역에 대한 조회를 희망할 경우, 이체 내역을 지시하는 코드 또는 부호 등이 스크래핑될 데이터 항목으로서 메타 DB(280)에 저장될 수 있다.

상기 스크래핑 엔진부(250)는, 상기 스크래핑 작업 관리부(220)로부터 전달된 정보를 이용하여 인터넷망(30)을 통하여 기관으로부터 데이터를 스크래핑한다. 이때, 스크래핑 엔진부(250)는 메타 DB(280)의 스크래핑될 데이터 항목을 기반으로 스크래핑 정보를 수집한다. 이를 위하여, 스크래핑 엔진부(250)는 각각의 기관이 제공하는 데이터 셋으로부터 데이터 항목을 추출하기 위한 식별 정보를 포함한다. 예를 들어, 식별 정보는 HTTP(Hypertext Transfer Protocol) 또는 JSON(Java Script Object Notation)　등의 프로토콜로 수신될 수 있는 데이터 셋으로부터 특정 데이터 항목이 위치하는 부분을 식별할 수 있는 정보일 수 있다.

상기 스크래핑 엔진부(250)는, 종래와 같이 스크린 전체의 데이터를 스크래핑하는 대신, 메타 DB(280)에 저장된 스크래핑될 데이터 항목을 이용하여 데이터 셋으로부터 선별적으로 데이터를 스크래핑한다. 선별적으로 수집된 스크래핑 정보는 메타 DB(280)의 스크래핑 항목과의 대조를 통한 확인 과정 후, 스크래핑 작업 관리부(220)를 통하여 작업할당 스케줄러(130)에 전달되어 사용자에게 제공될 수 있다.

일 실시예에서, 상기 스크래핑 환경 관리부(260)는 스크래핑에 요구되는 사용자 인증을 위하여, 사용자 정보를 각각의 기관에서 요구하는 통신 보안 정책에 따라 처리하여 스크래핑 엔진부(250)에 전달한다. 이를 위하여, 상기 스크래핑 환경 관리부(260)는 기관별로 인증 방식에 대한 정보를 저장하며, 저장된 인증 방식에 따라 사용자 정보를 처리한 후 인증값을 스크래핑 엔진부(250)에 전달한다. 사용자 정보에 대한 처리란 인증서 정보 및 전자서명을 기관에서 요구하는 보안 정책에 따라 암호화 하는 등의 과정을 의미할 수 있다. 상기 스크래핑 엔진부(250)에서는 인증값을 기관에 전송하고 기관이 제공하는 데이터 셋을 수신할 수 있다.

도 4는 도 3에 도시된 스크래핑 모듈의 하드웨어 제원을 나타내는 블록도이다.

종래에는 기관에서 사용하는 보안 모듈이나 통신 정책에 따라서 하나의 윈도우 OS 기반 PC에서 한 번의 서비스 수행을 하는 형태로 계좌통합 서비스를 위한 스크래핑이 수행되었다. 반면, 본 실시예에서 스크래핑 모듈은 하나의 컴퓨팅 장치를 이용하여 스크래핑 엔진이 구현되어 복수의 기관으로부터 다중의 스크래핑 정보를 구현되는 점에서 종래의 기술과 차이가 있다.

구체적으로는, 스크래핑 모듈(200)은 CPU(310), 메인 메모리(320), USB 호스트 컨트롤러(330), 하드 디스크 드라이브(340), 및 네트워크 인터페이스 카드(350)를 포함하는 하드웨어 및 각각의 하드웨어 컴포넌트에 대한 디바이스 드라이버(Device Driver)와 CMOS BIOS 등을 포함하는 소프트웨어를 이용하여 실행되는 데이터 스크래핑 엔진의 형태로 구현될 수 있다.

도 5는 일 실시예에 따른 데이터 스크래핑 방법의 각 단계를 나타내는 순서도이다. 본 실시예에 따른 데이터 스크래핑 방법은, 본 발명의 실시예들에 따른 데이터 스크래핑 시스템을 이용하여 수행될 수 있다.

도 5를 참조하면, 먼저 사용자에 의해 호출된 조회 또는 수행의 정보 및 사용자 정보를 포함하여 스크래핑에 필요한 정보를 수신할 수 있다(S11). 다음으로, 스크래핑될 데이터 항목의 정보를 메타 DB에 저장할 수 있다(S12). 다음으로, 내부 스케줄 알고리즘을 사용하여 스크래핑 엔진에 사용자 정보와 작업을 할당할 수 있다(S13). 예를 들어, 할당될 사용자 정보와 작업은 스크래핑 수집정보 전문의 형태로 스크래핑 엔진에 전달될 수 있다.

사용자 정보와 작업이 할당된 스크래핑 엔진에서는, 사용자 정보가 기관의 보안 정책에 따라 처리된 인증값을 기관에 전송하고(S14), 기관과 통신함으로써 사용자에 의해 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑할 수 있다(S15). 인증값은 스크래핑할 정보에 대한 기관의 보안 정책에 따라 인증서 및 전자서명을 암호화한 값일 수도 있고, 또는 단순히 사용자의 ID 및 비밀번호 등 사용자 정보일 수도 있다.

본 실시예에서, 스크래핑 엔진은 기관이 제공하는 데이터 셋으로부터 메타 DB의 스크래핑 항목에 기반하여 데이터를 추출할 수 있다(S16). 추출된 스크래핑 데이터는 정보수집 프로그램에 의하여 취합된 후 사용자에게 제공된다.

도 6은 도 5에 도시된 실시예의 보다 구체적인 형태를 나타내는 순서도이다.

도 3 및 도 6을 참조하면, 먼저 스크래핑 모듈(200)에서는 상기 작업 할당 스케줄러(302)로부터 스크래핑에 필요한 정보를 수신하고, 스크래핑 엔진 정보 읽기를 수행한다(S100). 이는 스크래핑 모듈에 저장된 인증서의 버전, 스크래핑 모듈의 오작동 여부, 수행 시간, 수행 작업의 간략한 내용, 최적화용 정보, 스크래핑 작업의 권한 정보 등을 확인하는 과정을 포함할 수 있다.

그 다음, 스크래핑 모듈(200)은 작업 할당 스케줄러(302)로부터 수신한 정보에 기초하여 스크래핑할 항목을 결정하고, 이를 메타 DB(280)에 저장할 수 있다(S110). 스크래핑할 항목이 결정되면, 스크래핑 모듈(200)에서는 이에 기초하여 기관에 스크래핑을 요청한다(S120).

스크래핑을 위한 구체적인 과정으로서, 먼저 스크래핑 모듈(200)은 스크래핑 작업 모니터(230)의 버전 확인 여부를 판단하여 버전을 확인하였으면(단계 S130의 '예') 다음 단계(S140)로 넘어가고, 버전을 확인하지 않았으면(단계 S130의 '아니오') 상기 스크래핑 작업 모니터(230)의 버전을 동기화(단계 S132)시킨 후 다음 단계(S140)로 넘어간다.

그 다음, 스크래핑 모듈(200)은 상기 스크래핑 작업 관리부(220)의 버전 확인 여부를 판단하여 버전을 확인하였으면(단계 S140의 '예') 다음 단계(S150)로 넘어가고, 버전을 확인하지 않았으면(단계 S140의 '아니오') 상기 스크래핑 작업 관리부(220)의 버전을 동기화(단계 S142)시킨 후 다음 단계(S150)로 넘어간다.

그 다음, 상기 스크래핑 모듈(200) 내 인증서 버전 확인 여부를 판단하여 버전을 확인하였으면(단계 S150의 '예') 다음 단계(S160)로 넘어가고, 버전을 확인하지 않았으면(단계 S150의 '아니오') 인증서의 버전을 동기화(단계 S152)시킨 후 다음 단계(S160)로 넘어간다.

상기 단계(S160)에서는, 요청된 데이터 스크래핑을 위하여 기관의 보안 정책에 따라 요구되는 스크래핑 엔진의 인증 방법을 확인한다(S160). 인증 방법은 기관별로 상이할 수도 있으며, 또한 하나의 기관에서도 스크래핑할 데이터 항목에 따라 인증 방법이 상이할 수 있다. 예를 들어, 잔액 및 입출금 내역 조회에 대해서는 인증서를 요구하지 않고 사용자 ID 및 비밀번호 입력만을 통하여 기관으로부터 데이터 셋을 제공받을 수 있는 반면, 거래 내역이나 유효 기간 등의 조회를 위해서는 전자 서명을 통한 인증서의 인증이 필요할 수 있다.

상기 단계(S160)에서 확인된 인증 방식에 따라, 인증서 인증이 필요할 경우 스크래핑 모듈(200)은 사용자 정보로서 인증서 및 전자서명을 입력하고(S170) 이를 기관이 요구하는 보안 정책에 따라 처리하거나(S180), 또는 사용자 정보로서 ID 및 비밀번호 등을 입력함으로써(S190) 스크래핑 대상 정보를 수집한다(S200). 이때, 스크래핑 모듈(200)은 메타 DB(280)를 참조하여 스크래핑된 데이터가 메타 DB(280)의 스크래핑 항목과 일치하는지 여부를 확인하고(S210), 일치할 경우 스크래핑 결과를 취합하여 취합된 정보를 사용자에게 반환하게 된다(S220).

이상에서 설명한 실시예들에 따른 데이터 스크래핑 방법에 의하면, 사용자가 원하는 수집 정보가 기록된 메타 DB에 기반하여 스크래핑 정보를 추출하여 수집할 수 있으며, 금융 기관 등에서 요구하는 인증 방식에 따라 처리된 사용자 정보의 인증값을 기관에 전달하여 목적하는 데이터를 스크래핑할 수 있다. 그 결과, 윈도우 OS 기반의 PC 외에도 Linux나 OS X 기반의 컴퓨터, 또는 iOS와 안드로이드 등 모바일 OS를 기반으로 한 모바일 컴퓨팅 장치 등 다양한 플랫폼에서 데이터 스크래핑이 동작될 수 있으며, 다중의 스크래핑 정보를 보안 모듈의 제약사항 없이 하나의 장치에서 수집할 수 있는 이점이 있다.

또한, 이상에서 설명한 실시예들에 따른 데이터 스크래핑 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 기록매체에는 데이터 스크래핑 방법을 구현하기 위한 프로그램이 기록되며, 상기 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장될 수 있는 임의의 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(carrier wave)(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims

스크래핑이 필요한 조회 또는 수행을 호출하는 서비스 프로그램을 구비하며, 스크래핑을 위한 사용자 정보를 수신하고, 내부 스케줄 알고리즘을 사용하여 사용자 정보와 작업을 할당하는 관리 모듈; 및
상기 관리 모듈에 의해 할당된 사용자 정보와 작업에 기초하여, 서로 상이한 복수의 기관에 통신 가능하게 연결되어 상기 복수의 기관으로부터 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑하도록 구성된 스크래핑 모듈을 포함하되,
상기 스크래핑 모듈은, 스크래핑될 데이터 항목을 지정하는 메타 데이터베이스를 포함하며, 상기 기관이 제공하는 데이터 셋으로부터 상기 메타 데이터베이스에 기반하여 스크래핑할 데이터를 추출하도록 구성된, 데이터 스크래핑 시스템.
제 1항에 있어서,
상기 스크래핑 모듈은, 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑하기 위하여 상기 복수의 기관에서 요구하는 인증 방식에 대한 정보를 포함하며, 상기 사용자 정보가 상기 인증 방식으로 처리된 인증값을 상기 기관에 전송하도록 구성된, 데이터 스크래핑 시스템.
제 1항에 있어서,
상기 관리 모듈은 호출된 조회 또는 수행에 대응되는 데이터를 사용자 장치에 제공하도록 더 구성되며, 상기 사용자 장치는 모바일 컴퓨팅 장치를 포함하는 데이터 스크래핑 시스템.
데이터 스크래핑 시스템을 이용한 데이터 스크래핑 방법으로서,
사용자 장치로부터, 사용자에 의해 호출된 조회 또는 수행의 정보 및 사용자 정보를 포함하여 스크래핑에 필요한 정보를 수신하는 단계;
스크래핑될 데이터 항목의 정보를 메타 데이터베이스에 저장하는 단계;
내부 스케줄 알고리즘을 사용하여 스크래핑 모듈에 사용자 정보와 작업을 할당하는 단계; 및
상기 스크래핑 모듈이, 할당된 상기 사용자 정보와 작업에 기초하여, 서로 상이한 복수의 기관과 통신함으로써 상기 복수의 기관으로부터 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑하는 단계를 포함하되,
상기 데이터를 스크래핑하는 단계는, 상기 기관이 제공하는 데이터 셋으로부터 상기 메타 데이터베이스에 기반하여 스크래핑할 데이터를 추출하는 단계를 포함하는 데이터 스크래핑 방법.
제 4항에 있어서,
상기 스크래핑 모듈은, 호출된 조회 또는 수행에 대응되는 데이터를 스크래핑하기 위하여 상기 복수의 기관에서 요구하는 인증 방식에 대한 정보를 포함하며,
상기 데이터를 스크래핑하는 단계는, 상기 스크래핑할 데이터를 추출하는 단계 전에, 상기 사용자 정보가 상기 인증 방식으로 처리된 인증값을 상기 기관에 전송하는 단계를 더 포함하는 데이터 스크래핑 방법.
제 4항에 있어서,
상기 데이터를 스크래핑하는 단계 후에, 호출된 조회 또는 수행에 대응되는 데이터를 사용자 장치에 제공하는 단계를 더 포함하되, 상기 사용자 장치는 모바일 컴퓨팅 장치를 포함하는 데이터 스크래핑 방법.
하드웨어와 결합되어 제 4항 내지 제 6항 중 어느 한 항에 따른 데이터 스크래핑 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.