KR20180047353A - 스크래핑 클라우드 서비스 제공 방법 및 시스템 - Google Patents

스크래핑 클라우드 서비스 제공 방법 및 시스템 Download PDF

Info

Publication number
KR20180047353A
KR20180047353A KR1020160143340A KR20160143340A KR20180047353A KR 20180047353 A KR20180047353 A KR 20180047353A KR 1020160143340 A KR1020160143340 A KR 1020160143340A KR 20160143340 A KR20160143340 A KR 20160143340A KR 20180047353 A KR20180047353 A KR 20180047353A
Authority
KR
South Korea
Prior art keywords
scraping
server
script
service
application
Prior art date
Application number
KR1020160143340A
Other languages
English (en)
Inventor
박민수
Original Assignee
주식회사 핑거
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핑거 filed Critical 주식회사 핑거
Priority to KR1020160143340A priority Critical patent/KR20180047353A/ko
Publication of KR20180047353A publication Critical patent/KR20180047353A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Technology Law (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 스크래핑 대상 서버에 접속하여 웹 페이지로부터 필요한 데이터를 추출하여 가져오는 스크립트를 저장하는 스크래핑 클라우드 시스템에서 스크래핑 클라우드 서비스를 제공하는 방법에 있어서, 스크래핑 클라우드 서비스를 이용하고자 하는 사용자 단말 또는 서버로부터 회원 가입 정보를 입력받는 회원 가입 단계; 상기 사용자 단말 또는 서버로 스크래핑 클라우드 서비스 이용을 위한 전제 데이터를 전송하는 전제 데이터 전송 단계; 상기 사용자 단말 또는 서버로부터 스크래핑 요청을 수신하는 스크래핑 요청 수신 단계; 및 상기 저장된 스크립트를 전달 또는 실행하는 것에 의하여 스크래핑을 수행하는 스크래핑 수행 단계를 포함하는 스크래핑 클라우드 서비스 제공 방법을 제공한다.

Description

스크래핑 클라우드 서비스 제공 방법 및 시스템{A method and system for providing a scraping cloud service}
본 발명은 스크래핑 클라우드 서비스 제공 방법 및 시스템에 관한 것으로, 좀 더 구체적으로 기존 스크래핑 클라우드 시스템에서 사용하던 스크래핑에 필요한 구성들을 클라우드 형태로 제공함으로써 스크래핑 기술을 사용하고자 하는 사용자들이 좀 더 쉽게 스크래핑을 활용하여 웹 상의 데이터를 수집할 수 있게 하는 스크래핑 클라우드 서비스 제공 방법 및 시스템에 관한 것이다.
스크래핑이란 네트워크로 연결된 인터넷 시스템에 자동으로 접속해 데이터를 화면에 나타낸 후 필요한 데이터만을 추출하도록 만들어진 기술 또는 프로그램으로, 웹 사이트나 프로그램의 정보를 수집한 후 다른 프로그램이나 데이터베이스에 저장하여 필요할 때마다 조회하거나 사용할 수 있으며 저장된 데이터를 비교 분석하여 새로운 데이터를 생성할 수도 있게 한다.
이러한 스크래핑 기술을 이용하는 분야로는 각 금융 기관에 흩어져 있는 금융 자산을 통합해 한 번에 조회, 이체 등의 거래를 관리하는 계좌 통합 관리 분야, 여러 웹 메일을 사용하는 경우 한 번에 모든 메일을 종합적으로 확인할 수 있는 이메일 통합 조회 분야 등이 있다. 특히, 현재 스크래핑 기술을 보유하고 있는 대다수의 회사들은 주로 금융 회사를 대상으로 솔루션 및 서비스를 제공하고 있으며, 따라서 스크래핑 대상이 금융회사나 국세청 등 금융 관련 기관에 치우쳐 있다.
뿐만 아니라 이러한 스크래핑 서비스는 기업과 기업 사이에 이루어지는 전자 상거래인 B2B(business to business) 서비스로 제공되고 있어 개인 고객이나 소규모 상인에 대한 접근성이나 개방성이 미약한 상태이다.
이에 금융뿐 아니라 다양한 분야의 컨텐츠를 확보하고 스크래핑 기술을 필요로 하는 사용자에게 쉽게 접근할 수 있게 하는 서비스를 제공할 필요성이 대두되고 있다.
본 발명의 상술한 문제점을 해결하기 위한 것으로 클라우드 방식을 사용하여 스크래핑 서비스를 제공함으로써 사용자가 쉽게 접근할 수 있는 스크래핑 클라우드 서비스를 제공 방법 및 시스템을 제공하고자 하는 것이다.
본 발명의 해결하고자 하는 다른 과제들은 다음의 상세한 설명과 도면으로부터 보다 명확해질 것이다.
이를 위하여, 본 발명의 일 실시예에 따른 스크래핑 클라우드 서비스 제공 방법은 스크래핑 대상 서버에 접속하여 웹 페이지로부터 필요한 데이터를 추출하여 가져오는 스크립트를 저장하는 스크래핑 클라우드 시스템에서 스크래핑 클라우드 서비스를 제공하는 방법에 있어서, 스크래핑 클라우드 서비스를 이용하고자 하는 사용자 단말 또는 서버로부터 회원 가입 정보를 입력받는 회원 가입 단계; 상기 사용자 단말 또는 서버로 스크래핑 클라우드 서비스 이용을 위한 전제 데이터를 전송하는 전제 데이터 전송 단계; 상기 사용자 단말 또는 서버로부터 스크래핑 요청을 수신하는 스크래핑 요청 수신 단계; 및 상기 저장된 스크립트를 전달 또는 실행하는 것에 의하여 스크래핑을 수행하는 스크래핑 수행 단계를 포함한다.
상기 회원 가입 단계에서, 상기 회원 가입 정보는 스크래핑 클라우드 서비스 제공 방식에 선택 정보를 포함하며, 상기 스크래핑 클라우드 서비스 제공 방식은 클라이언트 스크래핑 방식, 모바일 스크래핑 방식 및 서버 스크래핑 방식을 포함할 수 있다.
상기 스크래핑 클라우드 서비스 제공 방식이 클라이언트 스크래핑 방식인 경우, 상기 전제 데이터 전송 단계는 상기 사용자 단말에 스크래핑 엔진을 제공하는 단계를 포함하며, 상기 스크래핑 요청 수신 단계는 상기 사용자 단말로부터 소정 스크래핑 대상 기관에 대한 스크립트의 다운로드를 요청을 수신하는 단계를 포함하고, 상기 스크래핑 수행 단계는 상기 사용자 단말에서 상기 스크래핑 엔진을 이용하여 다운로드된 스크립트를 실행하는 것에 의하여 수행될 수 있다.
상기 스크래핑 클라우드 서비스 제공 방식이 모바일 스크래핑 방식인 경우, 상기 전제 데이터 전송 단계는 상기 스크래핑 클라우드 서비스에 가입한 서버로 상기 서버가 제공하는 서비스 애플리케이션과 상기 스크래핑 클라우드 시스템이 제공하는 모바일 스크래핑 애플리케이션 사이의 연동 방식을 제공한 연동 방식 정의서를 제공하는 단계를 포함하며, 상기 스크래핑 요청 수신 단계는 상기 서비스 애플리케이션으로부터 상기 모바일 스크래핑 애플리케이션을 호출을 수신하는 단계를 포함하고, 상기 스크래핑 수행 단계는 상기 모바일 스크래핑 애플리케이션에서 소정 스크래핑 대상 기관에 대한 스크립트를 실행하는 것에 의하여 수행될 수 있다.
상기 스크래핑 클라우드 서비스 제공 방식이 서버 스크래핑 방식인 경우, 상기 전제 데이터 전송 단계는 상기 스크래핑 클라우드 서비스에 가입한 서버로 상기 서버가 제공하는 서비스 애플리케이션 또는 웹 페이지에서 스크래핑 서버에 스크래핑을 요청할 수 있게 하는 연동 가이드를 제공하는 단계를 포함하며, 상기 스크래핑 요청 수신 단계는 상기 서비스 애플리케이션 또는 웹 페이지로부터 상기 스크래핑 서버로의 스크래핑 요청을 수신하는 단계를 포함하고, 상기 스크래핑 수행 단계는 상기 스크래핑 서버에서 소정 스크래핑 대상 기관에 대한 스크립트를 실행하는 것에 의하여 수행될 수 있다.
상기 스크래핑 클라우드 서비스 제공 방법은 상기 스크래핑 수행 단계 후에, 상기 스크래핑 클라우드 시스템에 상기 스크래핑 수행 건수를 저장하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 컴퓨터 판독가능한 저장 매체는 컴퓨팅 장치에 의해 실행시, 상기 컴퓨팅 장치가 제1항 내지 제6항 중 어느 한 항에 따른 스크래핑 클라우드 서비스 제공 방법을 실행하게 하는 명령어들을 포함한다.
본 발명의 또 다른 실시예에 따른 스크래핑 클라우드 서비스 제공방법은 사용자 단말로부터 회원가입을 위한 사용자 인터페이스를 제공하는 백오피스 프로그램, 스크래핑을 실행하기 위한 로직 및 데이터를 포함하는 스크래핑 엔진, 스크래핑 대상 서버에 접속하여 웹 페이지로부터 필요한 데이터를 추출하여 가져오는 스크립트를 저장하는 스크립트 모듈을 포함하는 스크래핑 클라우드 시스템; 및 스크래핑 클라우드 서비스의 이용을 위한 회원가입을 완료하고, 상기 스크래핑 클라우드 서비스로부터 스크래핑 엔진을 제공받으며, 상기 스크래핑 엔진을 이용하여 이를 실행함으로써 스크래핑을 수행하는 클라이언트 단말을 포함하며, 상기 클라이언트 단말은 스크래핑 수행을 위하여 상기 스크래핑 클라우드 시스템으로부터 소정 스크래핑 대상 사이트의 스크립트를 다운로드하고 이를 실행하는 것에 의하여 상기 스크래핑을 수행한다.
본 발명의 또 다른 실시예에 따른 스크래핑 클라우드 서비스 제공방법은 서비스 제공자 서버로부터 회원가입을 위한 사용자 인터페이스를 제공하는 백오피스 프로그램, 스크래핑을 실행하기 위한 로직 및 데이터를 포함하는 스크래핑 엔진, 스크래핑 대상 서버에 접속하여 웹 페이지로부터 필요한 데이터를 추출하여 가져오는 스크립트를 저장하는 스크립트 모듈을 포함하며, 모바일 스크래핑을 위한 모바일 스크래핑 애플리케이션을 제공하는 스크래핑 클라우드 시스템; 스크래핑 클라우드 서비스의 이용을 위한 회원가입을 완료하고, 상기 스크래핑 클라우드 시스템으로부터 서비스 애플리케이션과 모바일 스크래핑 애플리케이션 사이의 연동 방식을 정의하는 연동 방식 정의서를 제공받고 상기 서비스 애플리케이션이 상기 연동 방식을 적용하는 서비스 제공자 서버; 및 상기 서비스 애플리케이션이 설치된 클라이언트 단말을 포함하며, 상기 클라이언트 단말은 스크래핑 수행을 위하여 상기 모바일 스크래핑 애플리케이션을 호출하며, 상기 모바일 스크래핑 애플리케이션에서 소정 스크래핑 대상 사이트의 스크립트를 실행하는 것에 의하여 상기 스크래핑을 수행한다.
본 발명의 또 다른 실시예에 따른 스크래핑 클라우드 서비스 제공방법은 서비스 제공자 서버로부터 회원가입을 위한 사용자 인터페이스를 제공하는 백오피스 프로그램, 스크래핑을 실행하기 위한 로직 및 데이터를 포함하는 스크래핑 엔진, 스크래핑 대상 서버에 접속하여 웹 페이지로부터 필요한 데이터를 추출하여 가져오는 스크립트를 저장하는 스크립트 모듈을 포함하는 스크래핑 클라우드 시스템; 스크래핑 클라우드 서비스의 이용을 위한 회원가입을 완료하고, 상기 스크래핑 클라우드 시스템으로부터 서비스 제공을 위한 애플리케이션 또는 웹 페이지와 스크래핑 서버와의 연동 방식을 정의하는 연동 가이드를 제공받고 상기 애플리케이션 또는 웹 페이지에 적용하는 서비스 제공자 서버; 상기 애플리케이션이 설치되거나 웹 페이지가 실행되는 클라이언트 단말; 및 상기 클라이언트 단말로부터의 요청에 따라 스크래핑을 수행하는 스크래핑 서버를 포함하며, 상기 클라이언트 단말은 스크래핑 수행을 위하여 상기 스크래핑 서버에 스크래핑을 요청하고, 상기 스크래핑 서버는 소정 스크래핑 대상 사이트의 스크립트를 실행하는 것에 의하여 상기 스크래핑을 수행한다.
본 발명에 따르면, 클라우드 방식을 사용하여 스크래핑 서비스를 제공함으로써 사용자가 쉽게 접근할 수 있는 스크래핑 클라우드 서비스를 제공할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 스크래핑 클라우드 서비스 제공 시스템의 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 스크래핑 클라우드 서비스 제공 시스템에서 스크래핑 클라우드 시스템의 구체적인 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 클라이언트 스크래핑 클라우드 서비스 제공 시스템의 개략적으로 나타내는 도면이다.
도 4는 도 3의 클라이언트 스크래핑 클라우드 서비스 제공 시스템을 이용한 클라이언트 스크래핑 클라우드 서비스 제공 방법을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 모바일 스크래핑 클라우드 서비스 제공시스템을 개략적으로 나타내는 도면이다.
도 6은 도 5의 모바일 스크래핑 클라우드 서비스 제공 시스템을 이용한 모바일 스크래핑 클라우드 서비스 제공 방법을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 서버 스크래핑 클라우드 서비스 제공 시스템을 개략적으로 나타내는 도면이다.
도 8은 도 7의 서버 스크래핑 클라우드 서비스 제공 시스템을 이용한 서버 스크래핑 클라우드 서비스 제공 방법을 나타내는 흐름도이다.
이하, 본 발명의 바람직한 실시예들을 첨부된 도 1 내지 도 8을 참고하여 더욱 상세히 설명한다. 본 발명의 실시예들은 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 설명하는 실시예들에 한정되는 것으로 해석되어서는 안 된다. 본 실시예들은 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 상세하게 설명하기 위해서 제공되는 것이다. 따라서 도면에 나타난 각 요소의 형상은 보다 분명한 설명을 강조하기 위하여 과장될 수 있다.
도 1은 본 발명의 일 실시예에 따른 스크래핑 클라우드 서비스 제공 시스템의 개략적으로 나타내는 도면이다. 도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 스크래핑 클라우드 서비스 제공 시스템(100)은 고객 서비스 애플리케이션이나 웹 사이트가 제공되는 클라이언트 단말(101), 스크래핑 클라우드 시스템(102) 및 스크래핑 대상 서버들(103)을 포함한다.
클라이언트 단말(101)은 스크래핑 클라우드 서비스를 이용하고자 하는 사용자가 사용하는 컴퓨팅 단말로, 스크래핑 클라우드 서비스를 제공하는 웹 사이트에 접속할 수 있는 사용자 개인 컴퓨터(PC), 애플리케이션 서비스 사업자가 제공하는 애플리케이션이 설치된 모바일 기기 및 스크래핑을 사용하는 애플리케이션 서비스를 제공하고자 하는 사업자가 운영하는 애플리케이션 서비스 사업자 서버 등을 포함하나 이에 한정되지 않으며, 네트워크를 통하여 스크래핑 클라우드 시스템(102)에 접속할 수 있는 임의의 적절한 컴퓨팅 기기를 포함할 수 있다. 클라이언트 단말(101) 상에 설치된 애플리케이션 또는 클라이언트 단말(101) 상에서 실행되는 웹 사이트는 쇼핑, 예매, 멤버십, 대출, 가계부, 자산관리 서비스 등을 제공할 수 있는 애플리케이션 또는 웹 사이트를 포함하나, 이에 한정되지 않으며 스크래핑을 이용하여 데이터를 수집하고 이에 근거하여 서비스를 제공할 수 있는 임의의 적절한 애플리케이션 또는 웹 사이트를 포함할 수 있다.
스크래핑 클라우드 시스템(102)은 클라우드 서비스를 통하여 스크래핑 기술을 제공할 수 있는 서버 시스템으로, 백오피스(B/O) 프로그램, 스크래핑 엔진, 스크립트 모듈, 스크립트 모듈 관리 시스템 및 인증서 관리 시스템 등을 포함할 수 있다. 스크래핑 클라우드 시스템(102)의 구체적인 구성 및 기능에 대하여는 이하에서 도 2를 참조하여 후술하기로 한다. 스크래핑 클라우드 시스템(102)은 클라이언트 단말(101)로부터 스크래핑 요청이 있는 경우, 스크래핑 기술을 이용하기 위하여 필요한 구성 중 일부 또는 전부를 클라이언트 단말(101)로 제공하거나 스크래핑에 의하여 수집된 데이터 중 전부 또는 일부를 클라이언트 단말(101)로 제공하는 것에 의하여 스크래핑 클라우드 서비스를 제공한다. 스크래핑 클라우드 시스템(102)이 클라이언트 단말(101)에 스크래핑 클라우드 서비스를 제공하는 구체적인 방법에 대하여는 도 3 내지 8을 참조하여 후술하기로 한다.
도 1에 도시된 실시예에서는 스크래핑 클라우드 시스템(102)이 클라이언트 단말(101)로부터 스크래핑 요청을 수신한 후 스크래핑 대상 기관들(103)에 대하여 스크래핑을 실행하여 그 결과 데이터를 클라이언트 단말(101)로 전송하는 것으로 기술하고 있으나, 이에 한정되지 않는다. 다른 예로, 스크래핑 클라우드 시스템(102)은 클라이언트 단말(101)로 직접 스크래핑 엔진 또는 스크래핑 애플리케이션을 제공할 수 있으며, 클라이언트 단말(101)이 이를 실행하는 것에 의하여 스크래핑 대상 기관(103)으로부터 직접 스크래핑 데이터를 수집할 수 있다.
이와 같은 스크래핑 클라우드 서비스는 이하에서 설명되는 바와 같이 클라이언트의 개인 컴퓨터를 통하여 스크래핑을 수행하는 클라이언트 스크래핑 방식(도 3 및 4), 모바일 기기에 설치된 애플리케이션을 이용하여 스크래핑 클라우드 시스템(201)에서 운영하는 모바일 스크래핑 프로그램을 호출하여 스크래핑을 수행하는 모바일 스크래핑 방식(도 5 및 6) 및 서비스 제공자가 제공하는 애플리케이션이나 웹 사이트를 통하여 스크래핑 클라우드 시스템 상의 스크래핑 엔진에 접속하여 스크래핑을 수행하는 서버 스크래핑 방식(도 7 및 8)으로 구별될 수 있다.
스크래핑 대상 서버(103)는 스크래핑 서비스를 이용하여 데이터를 수집하고자 하는 대상이 되는 기관에서 운영하는 서버로, 금융기관 서버, 공공기관 서버, 기타 서비스 기관 서버 등을 포함할 수 있다. 현재 스크래핑 대상 서버는 금융 서비스와 관련된 금융 데이터를 수집할 수 있는 금융 기관인 은행, 카드사, 증권사, 보험사 서버나 이와 관련된 공공기관인 국민보험공단 서버, 국세청, 민원24 서버 등이 주를 이루고 있으나, 이후 스크립트를 확보할 수 있는 한 국토교통부, 카히스토리, 특허청, 고용노동부, 국민연금, 행정자치부, 금융투자협의회, 통신사, 게임, 항공사, 오픈마켓, 소셜마켓, 영화 예매, 마일리지, 각종 서비스 평가, 앱 리뷰, 포인트 회사 서버 등 다양한 서비스 기관의 서버들이 스크래핑 대상 서버로 지정될 수 있다.
도 2는 본 발명의 일 실시예에 따른 스크래핑 클라우드 서비스 제공 시스템에서 스크래핑 클라우드 시스템의 구체적인 구성을 나타내는 블럭도이다. 본 발명의 일 실시예에 따른 스크래핑 클라우드 시스템(102)은 백오피스 프로그램(210), 스크래핑 엔진(220), 스크립트 모듈(230) 및 스크립트 모듈 관리 시스템(240)을 포함한다.
백오피스 프로그램(210)은 클라이언트 단말(101)이 네트워크를 통하여 스크래핑 클라우드 시스템에 접속하고자 할 때 제공되는 웹 사이트 프로그램으로, 클라이언트 단말(101)의 접속 방법에 따라 다양한 방식으로 스크래핑 클라우드 서비스를 제공하는 기능을 한다. 예를 들어, 백오피스 프로그램(210)은 스크래핑 클라우드 서비스를 이용하고자 하는 사용자에게 회원가입을 위한 사용자 인터페이스를 제공하며, 클라이언트 단말(101)이 수행한 스크래핑 횟수나 스크래핑 데이터 량을 측정함으로써 과금 등을 위한 정산을 할 수 있을 뿐 아니라 클라이언트 단말(101) 사용자에게 필요한 정보를 공지하는 역할을 할 수 있다. 백오피스 프로그램(210)은 상술한 회원가입, 정산관리 및 공지관리뿐 아니라 선택된 스크래핑 방식에 따라 클라이언트 단말(101)에 필요한 구성을 제공하는 서비스 컨트롤러(211) 및 클라이언트 단말(101)에 탑재된 운영체제에서 동작하는 웹 브라우저를 이용하여 스크립트를 실행할 수 있도록 하는 멀티 브라우징 컨트롤러(213)를 포함할 수 있다.
스크래핑 엔진(220)은 스크래핑 요청이 있는 경우 스크립트 모듈(230)로부터 선택된 웹페이지에 해당하는 스크립트를 다운로드하여 스크래핑을 실행하는 로직으로 이루어진 엔진으로, 표준 API(221), 공통 라이브러리(223), 서비스 프로세서(225) 및 네트워크 라이브러리(227)를 포함할 수 있다.
스크립트 모듈(230)은 웹 브라우저에 의해 실행되면 통신 네트워크를 통해 대상 기관 서버에 접속하여 원하는 정보나 데이터를 추출하여 가져오는 명령어들을 포함하는 적어도 하나의 스크립트를 저장하는 모듈로서, 스크립트 모듈(230)에 저장되는 스크립트의 예로는 금융 정보 수집 스크립트(231), 이메일 정보 수집 스크립트(233) 및 뉴스 정보 수집 스크립트(136) 등을 들 수 있으나 이에 한정되지 않으며, 웹 브라우저에 의해 실행되면 통신 네트워크를 통해 대상 기관 서버에 접속하여 원하는 데이터를 수집할 수 있는 임의의 적절한 스크립트를 포함할 수 있다. 예를 들어, 금융 정보 수집 스크립트(231)는 웹 브라우저에 의해 실행되면 통신 네트워크를 통해 금융 정보 웹 서비스를 제공하는 금융 기관 서버에 접속하여 원하는 금융 정보를 추출하여 가져오는 명령어들을 포함할 수 있다. 이메일 정보 수집 스크립트(233)는 웹 브라우저에 의해 실행되면 통신 네트워크를 통해 이메일 웹 서비스를 제공하는 이메일 서버에 접속하여 원하는 이메일 정보를 추출하여 가져오는 명령어들을 포함할 수 있다. 또한 뉴스 정보 수집 스크립트(235)는 웹 브라우저에 의해 실행되면 통신 네트워크를 통해 뉴스 정보 웹 서비스를 제공하는 포탈 서버에 접속하여 뉴스 정보를 추출하여 가져오는 명령어들을 포함할 수 있다.
스크립트 모듈 관리 시스템(240)은 스크립트 모듈의 운영 및 유지를 지원하기 위한 시스템으로, 대상 기관 서버로부터 데이터를 수집하기 위한 스크립트를 생성하고 배포하는 스크립트 생성 모듈(241), 생성된 스크립트를 실행하여 수집된 데이터에 근거하여 스크립트가 정상 동작하는지를 에러 검출 봇(Bot) 등을 통하여 검출하는 장애 검출 모듈(243) 및 장애 검출 모듈(243)을 통하여 장애가 검출된 경우 최신 스크립트로 업데이트하여 장애를 해소하는 스크립트 업데이트 모듈(245)을 포함할 수 있다.
본 실시예에서는 도시되지 않았지만, 스크래핑 클라우드 시스템(102)은 인증서 관리 시스템을 더 포함할 수 있으며, 스크래핑 클라우드 시스템(102)은 인증서 관리 시스템을 통하여 스크래핑 클라우드 서비스 이용시 송수신되는 데이터를 암호화 또는 복호화 함으로써 유통되는 데이터의 누출로 인한 문제를 최소화할 수 있다.
도 3은 본 발명의 일 실시예에 따른 클라이언트 스크래핑 클라우드 서비스 제공 시스템의 개략적으로 나타내는 도면이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 클라이언트 스크래핑 클라우드 서비스 제공 시스템(300)은 스크래핑 서비스를 이용하고자 하는 사용자가 사용하는 클라이언트 단말인 사용자 컴퓨터(301), 스크래핑 클라우드 서비스를 제공하는 스크래핑 클라우드 시스템(303), 스크래핑 대상이 되는 웹 페이지를 운영하는 스크래핑 대상 서버들(307 내지 311)을 포함한다. 사용자 컴퓨터(301), 스크래핑 클라우드 시스템(303) 및 스크래핑 대상 서버들(307~311)은 통신 네트워크(305)를 통하여 연결되어 있으며, 따라서 통신 네트워크(305)를 통하여 데이터를 교환할 수 있다. 상술한 바와 같이, 스크래핑 대상 서버는 금융 기관 서버(307), 공공 기관 서버(309) 및 기타 서비스 기관 서버(311)를 포함할 수 있으나, 이에 한정되지 않으며, 스크래핑을 실행하기 위한 스크립트를 확보할 수 있는 한 통신사 서버, 게임 서버, 항공사 서버, 오픈마켓, 소셜마켓, 영화 예매, 각종 서비스 평가, 앱 리뷰, 포인트 회사 서버 등 다양한 서비스 기관의 서버들이 스크래핑 대상 서버로 지정될 수 있다.
도 4는 도 3의 클라이언트 스크래핑 클라우드 서비스 제공 시스템을 이용한 클라이언트 스크래핑 클라우드 서비스 제공 방법을 나타내는 흐름도이다. 도 4를 참조하면, 먼저 스크래핑 클라우드 서비스를 이용하고자 하는 사용자는 사용자 컴퓨터(301)를 통하여 스크래핑 클라우드 시스템(303)에 접속하여 스크래핑 이용을 위한 회원 가입을 수행한다(S410). 회원가입은 스크래핑 클라우드 시스템(303)에서 운영하는 전용 웹페이지 등을 통하여 이루어질 수 있다.
스크래핑 클라우드 시스템(303)은 회원 가입이 완료되면 해당 사용자에게 라이선스 키를 발급한다(S420). 라이선스 키는 추후 사용자 컴퓨터(301)에서 스크래핑을 수행하기 위하여 스크래핑 클라우드 시스템(303)에 접속하는 경우 비인가된 접속을 차단하거나 사용자의 사용 로그를 수집하기 위하여 이용될 수 있다. 예를 들어, 스크래핑 클라우드 시스템(303)은 사용자 컴퓨터(301)로부터 스크래핑 사용 요청이 있는 경우, 발급한 라이선스 키와 스크래핑 클라우드 시스템(303)에 저장된 라이선스 키를 비교하는 것에 의하여 사용자 컴퓨터(301)에 의한 접속이 인가된 것인지를 확인하고 비인가된 접속의 경우 이를 차단할 수 있다. 또한 스크래핑 클라우드 시스템(303)은 인가된 접속의 경우 사용 로그를 통하여 사용자 컴퓨터(301)가 스크래핑 서비스를 사용하는 횟수 및 데이터량 등을 측정하여 스크래핑 사용 패턴 분석이나 과금 등을 위한 데이터로 활용할 수 있다.
다음으로 스크래핑 클라우드 시스템(303)은 사용자 컴퓨터(301)로 스크래핑 서비스를 이용하기 위한 백오피스 프로그램 및 스크래핑 엔진을 제공한다(S430). 즉, 스크래핑 클라우드 시스템(303)은 웹 페이지를 통하여 클라이언트 스크래핑 클라우드 서비스 이용에 필요한 스크래핑 프로그램을 다운로드할 수 있는 화면을 제공하며, 사용자 컴퓨터(301)는 이로부터 스크래핑 프로그램을 다운로드하는 것에 의하여 사용자 컴퓨터(301) 상에 스크래핑 엔진 등을 설치할 수 있다. 이를 통하여 사용자 컴퓨터(301)는 이후 스크래핑 서비스 이용시 다운로드된 스크래핑 엔진을 통하여 직접 스크래핑을 실행할 수 있다. 즉, 회원가입 후 스크래핑 서비스 이용시 스크래핑 클라우드 시스템(303)을 통하지 않고 사용자 컴퓨터(301)에서 직접 스크래핑 대상 기관에 접속하여 데이터를 수집함으로써 수집을 위하여 입력한 데이터 및 수집한 데이터에 대한 보안을 유지할 수 있다.
다음으로 사용자는 사용자 컴퓨터(301)에 설치된 웹 브라우저를 이용하여 스크래핑 실행할 수 있다(S440). 구체적으로, 사용자는 사용자 컴퓨터(301)를 이용하여 스크래핑 서비스를 사용하기 위한 웹 사이트에 접속하여 로그인한다. 스크래핑 클라우드 시스템(303)는 로그인시 제공된 회원 아이디 및 비밀번호 또는 라이선스 키를 통하여 접속된 사용자가 인가된 사용자인지 여부를 판별하고 인가된 사용자인 경우 스크래핑 서비스 화면을 제공한다. 스크래핑 서비스 화면은 사용하고자 하는 스크래핑의 대상기관에 따른 호출 ID 및 입출력 정의 안내 페이지 등을 포함할 수 있다. 스크래핑 서비스 화면을 제공받은 사용자는 사용자 컴퓨터(301)를 통하여 원하는 스크래핑 서비스(대상기관의 호출 ID)를 선택할 수 있으며, 스크래핑 클라우드 시스템(303)은 선택된 스크래핑을 위한 스크립트를 사용자 컴퓨터(301)에 제공한다. 스크립트 파일은 SEED 암호화를 적용하여 저장되고 유통되며 따라서 통신 네트워크(305)를 통한 전송시 스크립트 정보에 대한 보안을 유지할 수 있다.
필요한 경우 스크래핑 클라우드 시스템(303)은 스크립트를 실행하는데 필요한 사용자 정보를 입력받기 위한 입력 인터페이스를 제공할 수 있으며, 사용자는 이를 통하여 사용자 정보를 입력한다. 예를 들어, 사용자는 금융 정보를 수집하기 위하여 금융 기관 또는 공공 기관에 가입한 회원 아이디, 비밀번호 및/또는 인증서 비밀번호 등을 입력할 수 있다. 유통되는 고객 정보는 암호화될 수 있으며, 고객 PC나 스크래핑 클라우드 시스템에 저장되지 않을 수 있다. 다만, 인증이 필요없는 스크래핑 대상 서버에 대한 데이터를 수집하기 경우 스크립트 실행에 필요한 사용자 정보 등이 존재하지 않을 수 있으며 이 경우 사용자 정보의 입력 없이 스크래핑이 실행될 수 있다.
다음으로, 사용자 컴퓨터(301)는 스크래핑 클라우드 시스템(303)으로부터 다운로드한 스크립트를 이용하여 스크래핑을 실행한다. 스크래핑은 사용자 컴퓨터(301)에 탑재된 운영체제에서 동작하는 웹 브라우저가 스크립트를 실행하는 것에 의하여 수행될 수 있으며, 스크래핑 결과가 웹 브라우저를 통하여 디스플레이된다(S450). 동시에 또는 스크래핑 결과 디스플레이 후 스크래핑 조회 건수가 사용자 컴퓨터(301)로부터 스크래핑 클라우드 시스템(303)에 전송되어(S460) 스크래핑 클라우드 시스템(303) 내의 데이터베이스에 저장될 수 있으며, 스크래핑 클라우드 시스템(303)는 이 스크래핑 조회 건수 등에 근거하여 사용자에게 스크래핑 클라우드 서비스 사용 비용 등을 청구할 수 있다.
스크래핑 클라우드 서비스 이용시 사용자 컴퓨터(301)와 스크래핑 클라우드 시스템(303) 사이의 데이터는 HTTPS를 이용하며 따라서 통신 구간이 서버 인증서를 통하여 암호화하여 전송된다. 또한 스크래핑 엔진 업데이트 및 스크립트 다운로드 서버의 보안과 관련하여, 스크립트 파일은 SEED 암호화를 적용하여 서버에 저장되며 스크래핑 엔진 및 연동모듈은 디지털 서명 후 배포되는 것이 바람직하다.
도 5는 본 발명의 일 실시예에 따른 모바일 스크래핑 클라우드 서비스 제공시스템을 개략적으로 나타내는 도면이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 모바일 스크래핑 클라우드 서비스 제공 시스템(500)은 스크래핑 서비스를 이용하고자 하는 애플리케이션(이하 서비스 애플리케이션이라 함)을 제공하는 서비스 제공자 서버(501), 상기 서비스 애플리케이션이 설치된 사용자 모바일 단말(507), 스크래핑 클라우드 서비스를 제공하는 스크래핑 클라우드 시스템(503), 스크래핑 클라우드 시스템(503)에서 제공하는 모바일 스크래핑 애플리케이션(509) 및 스크래핑 대상이 되는 웹 페이지를 운영하는 스크래핑 대상 서버들(511 내지 515)을 포함한다. 서비스 제공자 서버(501), 사용자 모바일 단말(507), 스크래핑 클라우드 시스템(503) 및 스크래핑 대상 서버들(511~515)은 통신 네트워크(505)를 통하여 연결되어 있으며, 따라서 통신 네트워크(505)를 통하여 데이터를 교환할 수 있다.
도 6은 도 5의 모바일 스크래핑 클라우드 서비스 제공 시스템을 이용한 모바일 스크래핑 클라우드 서비스 제공 방법을 나타내는 흐름도이다. 도 6을 참조하면, 먼저 스크래핑 클라우드 서비스를 이용하는 애플리케이션을 제공하고자 하는 서비스 제공자는 서비스 제공자 서버(501)를 통하여 스크래핑 클라우드 시스템(503)에 접속하여 스크래핑 이용을 위한 회원 가입을 수행한다(S610). 회원가입은 스크래핑 클라우드 시스템(503)에서 운영하는 전용 웹페이지 등을 통하여 이루어질 수 있다.
스크래핑 클라우드 시스템(503)은 회원 가입이 완료되면 해당 서비스 제공자에게 라이선스 키를 발급하고 서비스 애플리케이션과 모바일 스크래핑 애플리케이션 간의 연동 방식을 정의한 연동 방식 정의서를 제공한다(S620). 모바일 스크래핑 애플리케이션은 스크래핑을 수행하기 위한 기본이 되는 모바일 애플리케이션으로 서비스 애플리케이션에서 모바일 스크래핑 애플리케이션으로 스크래핑을 요청하면 데이터를 수집 처리하는 역할을 하는 애플리케이션이다.
다음으로, 서비스 제공자 서버(501)는 서비스 애플리케이션에 상기 연동 방식 정의서에 정의된 연동 방식을 적용한다(S630). 적용되는 연동 방식의 예로 URL Scheme 방식을 사용할 수 있으나 이에 한정되지 않으며, 서비스 애플리케이션과 모바일 스크래핑 애플리케이션의 입출력을 연동시킬 수 있는 한 임의의 적절한 연동 방식이 사용될 수 있다. 서비스 제공자 서버(501)는 서비스 애플리케이션이 설치된 사용자 모바일 단말(507)로부터 최초 스크래핑 요청이 있는 경우 스크래핑에 필요한 모바일 스크래핑에 필요한 모바일 스크래핑 애플리케이션이 설치되어야 함을 통지하고 설치 안내 페이지를 디스플레이할 수 있다.
사용자가 사용자 모바일 단말(507)에 설치된 서비스 애플리케이션을 통하여 스크래핑을 사용하고자 하는 경우 사용자 모바일 단말(507)은 예를 들어, URL Scheme나 Intent 등을 통하여 모바일 스크래핑 애플리케이션을 호출한다(S640). 모바일 스크래핑 애플리케이션(509)은 스크래핑 클라우드 시스템(202)에서 운영되는 모바일 애플리케이션으로, 모바일 스크래핑을 가능하게 하는 모바일 스크래핑 엔진을 포함하고 있다.
사용자가 사용자 모바일 단말(507)에 설치된 서비스 애플리케이션을 통하여 모바일 스크래핑 애플리케이션을 호출하는 경우, OAuth 인증 방식이 사용될 수 있다. OAuth 인증은 OpenID로 개발된 표준 인증 방식으로 각종 애플리케이션이 사용자 인증을 거칠 때 활용될 수 있으며, 이 인증을 공유하는 애플리케이션끼리는 별도의 인증이 필요없어 다수의 애플리케이션을 통합하는데 사용되고 있다. 따라서, 본 실시예에서는 서비스 애플리케이션과 모바일 스크래핑 애플리케이션 사이에 OAuth 인증을 적용함으로써 서비스 애플리케이션에서 모바일 스크래핑 애플리케이션을 호출하는 경우 별도의 인증없이 사용이 가능하게 된다.
호출된 모바일 스크래핑 애플리케이션(509)은 스크래핑 클라우드 시스템(503)의 스크립트 모듈에 저장된 스크립트를 실행하는 것에 의하여 스크래핑을 실행한다(S650). 이 때 모바일 스크래핑 애플리케이션(509)은 스크래핑을 위한 정보가 필요할 경우 정보 사용자 모바일 단말(507)에 입력을 위한 사용자 인터페이스를 제공할 수 있다.
모바일 스크래핑 애플리케이션(509)은 스크래핑이 완료되면, 스크래핑 호출 건수를 스크래핑 클라우드 시스템(503)의 데이터베이스에 저장(S660)한 후 스크래핑 결과를 전달할 수 있다(S670). 모바일 스크래핑 방식에 있어서, 스크래핑 결과의 전달은 다양한 방식으로 일어날 수 있다. 일 실시예로 모바일 스크래핑 애플리케이션은 스크래핑 결과를 스크래핑 클라우드 시스템(503)의 데이터베이스에 저장한 후 서비스 애플리케이션에 스크래핑이 완료되었음을 통지할 수 있으며, 이 경우 서비스 애플리케이션은 스크래핑 클라우드 시스템(503)에 스크래핑 데이터를 요청하는 것에 의하여 스크래핑 결과를 수신할 수 있다.
본 실시예에서는 모바일 스크래핑 애플리케이션(509)이 스크래핑 실행 결과를 스크래핑 클라우드 시스템(503)에 저장한 후 스크래핑 완료 통지를 하고, 서비스 애플리케이션에서 스크래핑 클라우드 시스템(503)에 스크래핑 데이터를 요청하는 것에 의하여 스크래핑 결과를 전달받는 것으로 도시하고 있으나, 스크래핑 결과의 전달은 이에 한정되지 않는다. 다른 예로, 모바일 스크래핑 애플리케이션(509)을 통하여 수집된 스크래핑 결과는 스크래핑 클라우드 시스템(503)를 중계 서버로 경유하여 서비스 제공자 서버(501)로 전달된 후 서비스 애플리케이션을 통하여 출력되거나, 스크래핑 클라우드 시스템(503)를 중계 서버로 경유하여 서비스 애플리케이션으로 전달되거나, 모바일 스크래핑 애플리케이션(509)으로부터 서비스 애플리케이션(507)으로 직접 전달될 수 있다.
도 7은 본 발명의 일 실시예에 따른 서버 스크래핑 클라우드 서비스 제공 시스템을 개략적으로 나타내는 도면이다. 도 7을 참조하면, 본 발명의 일 실시예에 따른 서버 스크래핑 클라우드 서비스 제공 시스템(700)은 스크래핑 서비스를 이용하고자 하는 애플리케이션 또는 웹 사이트를 제공하는 서비스 제공자 서버(701), 상기 애플리케이션이 설치되거나 웹 사이트가 실행되는 사용자 단말(707), 스크래핑 클라우드 서비스를 제공하는 스크래핑 클라우드 시스템(703), 상기 애플리케이션이나 웹 사이트로부터 스크래핑 요청을 수신한 후 스크래핑을 실행하는 스크래핑 서버(709) 및 스크래핑 대상이 되는 웹 페이지를 운영하는 스크래핑 대상 서버(711 내지 715)를 포함한다. 서비스 제공자 서버(701), 사용자 단말(707), 스크래핑 클라우드 시스템(703), 스크래핑 서버(709) 및 스크래핑 대상 서버(711~715)는 통신 네트워크(705)를 통하여 연결되어 있으며, 따라서 통신 네트워크(705)를 통하여 데이터를 교환할 수 있다.
도 8은 도 7의 서버 스크래핑 클라우드 서비스 제공 시스템을 이용한 서버 스크래핑 클라우드 서비스 제공 방법을 나타내는 흐름도이다. 도 8을 참조하면, 먼저 스크래핑 클라우드 서비스를 이용하는 애플리케이션 또는 웹 사이트을 제공하고자 하는 서비스 제공자는 서비스 제공자 서버(701)를 통하여 스크래핑 클라우드 시스템(703)에 접속하여 스크래핑 이용을 위한 회원 가입을 수행한다(S810). 회원가입은 스크래핑 클라우드 시스템(703)에서 운영하는 전용 웹페이지 등을 통하여 이루어질 수 있다.
스크래핑 클라우드 시스템(703)은 회원 가입이 완료되면 해당 서비스 제공자에게 라이선스 키를 발급하고 서버 스크래핑 클라우드 서비스 이용에 필요한 정보를 제공한다(S820). 서버 스크래핑 클라우드 서비스 이용에 필요한 정보는 스크래핑을 사용하고자 하는 애플리케이션이나 웹 페이지에서 스크래핑 서버(709)에 스크래핑을 요청하고자 하는 경우 스크래핑 호출을 가능하도록 하는 연동 가이드의 형태로 제공될 수 있다.
다음으로, 서비스 제공자 서버(701)는 서비스 애플리케이션 또는 웹 페이지에 상기 연동 가이드에 정의된 스크래핑 호출 방식을 적용한다(S830). 이에 의하여 상기 서비스 애플리케이션 또는 웹 페이지에서 스크래핑을 사용하고자 하는 경우 스크래핑 서버(709)로 스크래핑 요청을 전송하고 스크래핑 서버(709)로부터 스크래핑 결과를 전달받을 수 있다.
사용자 단말(707)은 사용자 단말(707)에 설치된 애플리케이션이나 웹 브라우저에 의해 실행된 웹 페이지를 이용하여 스크래핑 서버(709)로 스크래핑을 호출할 수 있다(S840). 예를 들어, 스크래핑 호출은 http 통신을 이용할 수 있으나 이에 한정되지 않는다.
사용자 단말(707)로부터 스크래핑 호출을 수신한 스크래핑 서버(709)는 스크래핑 대상 기관(711~715)에 해당하는 스크립트를 실행하는 것에 의하여 스크래핑을 수행한다(S850). 이 실시예에서는 스크래핑을 실행하는 스크래핑 서버(709)로 하나의 서버를 도시하고 있으나, 스크래핑 서버(709)는 다수의 서버를 포함하는 서버군으로 이루어질 수 있으며, 이 경우 서버군 전단에 L4 스위치와 같은 스위치를 배치하여 다수의 사용자 단말로부터 스크래핑 요청이 있는 경우 스크래핑 서버 중 하나를 선택하여 스크래핑 요청을 전달할 수 있다. 이와 같은 구성에 의하여 스크래핑 서버가 스크래핑 요청량에 따라 증가할 수 있으며, 따라서 다수의 스크래핑 요청을 지연없이 처리할 수 있게 된다.
다음으로, 스크래핑 서버(709)는 스크래핑 실행 결과 및 스크래핑 호출 건수를 스크래핑 클라우드 시스템(703)의 데이터베이스에 저장(S860)한 후 스크래핑 데이터를 사용자 단말(870)로 전달할 수 있다.
이 실시예에서는 스크래핑 클라우드 시스템(703)과 스크래핑 서버(709)를 별도의 물리적인 서버로 도시하고 있으나 이에 한정되지 않으며, 스크래핑 클라우드 시스템(703)과 스크래핑 서버(709)는 하나의 서버 상에서 논리적으로 구별되는 영역을 가질 수 있다. 또한 이 실시예에서는 스크래핑 결과 및 호출 건수가 스크래핑 클라우드 시스템(703)의 데이터베이스에 저장되는 것으로 기술하고 있으나, 스크래핑 결과나 호출 건수만을 저장하는 별도의 데이터베이스 서버가 존재할 수 있다. 또한, 이 실시예에서 스크래핑 클라우드 시스템(703)은 하나의 서버로 도시하고 있으나, 이에 한정되지 않으며, 스크래핑 클라우드 시스템(703)은 다수의 웹 서버와 WAS서버, DB 서버가 포함되는 이중 IDC 구조를 가질 수 있으며, 스크래핑 서버(709)와 마찬가지로 L4 스위치 등을 사용하여 스위칭 될 수 있다.
101: 클라이언트 단말
103: 스크래핑 클라우드 시스템
105: 스크래핑 대상 서버

Claims (10)

  1. 스크래핑 대상 서버에 접속하여 웹 페이지로부터 필요한 데이터를 추출하여 가져오는 스크립트를 저장하는 스크래핑 클라우드 시스템에서 스크래핑 클라우드 서비스를 제공하는 방법에 있어서,
    스크래핑 클라우드 서비스를 이용하고자 하는 사용자 단말 또는 서버로부터 회원 가입 정보를 입력받는 회원 가입 단계;
    상기 사용자 단말 또는 서버로 스크래핑 클라우드 서비스 이용을 위한 전제 데이터를 전송하는 전제 데이터 전송 단계;
    상기 사용자 단말 또는 서버로부터 스크래핑 요청을 수신하는 스크래핑 요청 수신 단계; 및
    상기 저장된 스크립트를 전달 또는 실행하는 것에 의하여 스크래핑을 수행하는 스크래핑 수행 단계를 포함하는 스크래핑 클라우드 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 회원 가입 단계에서, 상기 회원 가입 정보는 스크래핑 클라우드 서비스 제공 방식에 대한 선택 정보를 포함하며,
    상기 스크래핑 클라우드 서비스 제공 방식은 클라이언트 스크래핑 방식, 모바일 스크래핑 방식 및 서버 스크래핑 방식을 포함하는 스크래핑 클라우드 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 스크래핑 클라우드 서비스 제공 방식이 클라이언트 스크래핑 방식인 경우, 상기 전제 데이터 전송 단계는 상기 사용자 단말에 스크래핑 엔진을 제공하는 단계를 포함하며,
    상기 스크래핑 요청 수신 단계는 상기 사용자 단말로부터 소정 스크래핑 대상 기관에 대한 스크립트의 다운로드 요청을 수신하는 단계를 포함하고,
    상기 스크래핑 수행 단계는 상기 사용자 단말에서 상기 스크래핑 엔진을 이용하여 다운로드된 스크립트를 실행하는 것에 의하여 수행되는, 스크래핑 클라우드 서비스 제공 방법.
  4. 제2항에 있어서,
    상기 스크래핑 클라우드 서비스 제공 방식이 모바일 스크래핑 방식인 경우, 상기 전제 데이터 전송 단계는 상기 스크래핑 클라우드 서비스에 가입한 서버로 상기 서버가 제공하는 서비스 애플리케이션과 상기 스크래핑 클라우드 시스템이 제공하는 모바일 스크래핑 애플리케이션 사이의 연동 방식을 정의한 연동 방식 정의서를 제공하는 단계를 포함하며,
    상기 스크래핑 요청 수신 단계는 상기 서비스 애플리케이션으로부터 상기 모바일 스크래핑 애플리케이션을 호출을 수신하는 단계를 포함하고,
    상기 스크래핑 수행 단계는 상기 모바일 스크래핑 애플리케이션에서 소정 스크래핑 대상 기관에 대한 스크립트를 실행하는 것에 의하여 수행되는, 스크래핑 클라우드 서비스 제공 방법.
  5. 제2항에 있어서,
    상기 스크래핑 클라우드 서비스 제공 방식이 서버 스크래핑 방식인 경우, 상기 전제 데이터 전송 단계는 상기 스크래핑 클라우드 서비스에 가입한 서버로 상기 서버가 제공하는 서비스 애플리케이션 또는 웹 페이지에서 스크래핑 서버에 스크래핑을 호출할 수 있게 하는 연동 가이드를 제공하는 단계를 포함하며,
    상기 스크래핑 요청 수신 단계는 상기 서비스 애플리케이션 또는 웹 페이지로부터 상기 스크래핑 서버로의 스크래핑 요청을 수신하는 단계를 포함하고,
    상기 스크래핑 수행 단계는 상기 스크래핑 서버에서 소정 스크래핑 대상 기관에 대한 스크립트를 실행하는 것에 의하여 수행되는, 스크래핑 클라우드 서비스 제공 방법.
  6. 제1항에 있어서,
    상기 스크래핑 수행 단계 후에, 상기 스크래핑 클라우드 시스템에 상기 스크래핑 수행 건수를 저장하는 단계를 더 포함하는, 스크래핑 클라우드 서비스 제공 방법.
  7. 컴퓨팅 장치에 의해 실행시, 상기 컴퓨팅 장치가 제1항 내지 제6항 중 어느 한 항에 따른 스크래핑 클라우드 서비스 제공 방법을 실행하게 하는 명령어들을 포함하는 컴퓨터 판독가능한 저장매체.
  8. 사용자 단말로부터 회원가입을 위한 사용자 인터페이스를 제공하는 백오피스 프로그램, 스크래핑을 실행하기 위한 로직 및 데이터를 포함하는 스크래핑 엔진, 스크래핑 대상 서버에 접속하여 웹 페이지로부터 필요한 데이터를 추출하여 가져오는 스크립트를 저장하는 스크립트 모듈을 포함하는 스크래핑 클라우드 시스템; 및
    스크래핑 클라우드 서비스의 이용을 위한 회원가입을 완료하고, 상기 스크래핑 클라우드 시스템으로부터 스크래핑 엔진을 제공받으며, 상기 스크래핑 엔진을 이용하여 스크래핑을 수행하는 클라이언트 단말을 포함하며,
    상기 클라이언트 단말은 스크래핑 수행을 위하여 상기 스크래핑 클라우드 시스템으로부터 소정 스크래핑 대상 사이트의 스크립트를 다운로드하고 상기 스크래핑 엔진을 이용하여 상기 스크립트를 실행하는 것에 의하여 상기 스크래핑을 수행하는, 스크래핑 클라우드 서비스 제공 시스템.
  9. 서비스 제공자 서버로부터 회원가입을 위한 사용자 인터페이스를 제공하는 백오피스 프로그램, 스크래핑을 실행하기 위한 로직 및 데이터를 포함하는 스크래핑 엔진, 스크래핑 대상 서버에 접속하여 웹 페이지로부터 필요한 데이터를 추출하여 가져오는 스크립트를 저장하는 스크립트 모듈을 포함하며, 모바일 스크래핑을 위한 모바일 스크래핑 애플리케이션을 제공하는 스크래핑 클라우드 시스템;
    스크래핑 클라우드 서비스의 이용을 위한 회원가입을 완료하고, 상기 스크래핑 클라우드 시스템으로부터 서비스 애플리케이션과 모바일 스크래핑 애플리케이션 사이의 연동 방식을 정의하는 연동 방식 정의서를 제공받고 상기 서비스 애플리케이션이 상기 연동 방식을 적용하는 서비스 제공자 서버; 및
    상기 서비스 애플리케이션이 설치된 클라이언트 단말을 포함하며,
    상기 클라이언트 단말은 스크래핑 수행을 위하여 상기 모바일 스크래핑 애플리케이션을 호출하며, 상기 모바일 스크래핑 애플리케이션에서 소정 스크래핑 대상 사이트의 스크립트를 실행하는 것에 의하여 상기 스크래핑을 수행하는, 스크래핑 클라우드 서비스 제공 시스템.
  10. 서비스 제공자 서버로부터 회원가입을 위한 사용자 인터페이스를 제공하는 백오피스 프로그램, 스크래핑을 실행하기 위한 로직 및 데이터를 포함하는 스크래핑 엔진, 스크래핑 대상 서버에 접속하여 웹 페이지로부터 필요한 데이터를 추출하여 가져오는 스크립트를 저장하는 스크립트 모듈을 포함하는 스크래핑 클라우드 시스템;
    스크래핑 클라우드 서비스의 이용을 위한 회원가입을 완료하고, 상기 스크래핑 클라우드 시스템로으부터 서비스 제공을 위한 애플리케이션 또는 웹 페이지와 스크래핑 서버와의 연동 방식을 정의하는 연동 가이드를 제공받고 상기 애플리케이션 또는 웹 페이지에 적용하는 서비스 제공자 서버;
    상기 애플리케이션이 설치되거나 웹 페이지가 실행되는 클라이언트 단말; 및
    상기 클라이언트 단말로부터의 요청에 따라 스크래핑을 수행하는 스크래핑 서버를 포함하며,
    상기 클라이언트 단말은 스크래핑 수행을 위하여 상기 스크래핑 서버에 스크래핑을 요청하고, 상기 스크래핑 서버는 소정 스크래핑 대상 사이트의 스크립트를 실행하는 것에 의하여 상기 스크래핑을 수행하는, 스크래핑 클라우드 서비스 제공 시스템.
KR1020160143340A 2016-10-31 2016-10-31 스크래핑 클라우드 서비스 제공 방법 및 시스템 KR20180047353A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160143340A KR20180047353A (ko) 2016-10-31 2016-10-31 스크래핑 클라우드 서비스 제공 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160143340A KR20180047353A (ko) 2016-10-31 2016-10-31 스크래핑 클라우드 서비스 제공 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20180047353A true KR20180047353A (ko) 2018-05-10

Family

ID=62184220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160143340A KR20180047353A (ko) 2016-10-31 2016-10-31 스크래핑 클라우드 서비스 제공 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20180047353A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020040556A1 (ko) * 2018-08-22 2020-02-27 주식회사 핑거 웹 브라우저 기반 스크래핑 시스템 및 방법
KR102296659B1 (ko) * 2020-11-11 2021-08-31 민경권 스크래핑 기술을 연동한 단 대 단 개인정보 통합 활용 시스템 및 방법
KR20220144666A (ko) * 2021-04-20 2022-10-27 주식회사 스크립터스 웹 스크래핑 탐지 방법 및 이를 수행하기 위한 서버

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020040556A1 (ko) * 2018-08-22 2020-02-27 주식회사 핑거 웹 브라우저 기반 스크래핑 시스템 및 방법
KR102296659B1 (ko) * 2020-11-11 2021-08-31 민경권 스크래핑 기술을 연동한 단 대 단 개인정보 통합 활용 시스템 및 방법
KR20220144666A (ko) * 2021-04-20 2022-10-27 주식회사 스크립터스 웹 스크래핑 탐지 방법 및 이를 수행하기 위한 서버

Similar Documents

Publication Publication Date Title
US20230325941A1 (en) Systems and methods of access control and system integration
Preibusch et al. Shopping for privacy: Purchase details leaked to PayPal
CN111201515A (zh) 用于忠诚度积分分配的系统和方法
AU2014324112A1 (en) Systems for access control and system integration
CN105593882B (zh) 银行直接转账的系统和方法
US9769159B2 (en) Cookie optimization
WO2007103594A2 (en) System and method for providing single sign-on functionality
US20150294317A1 (en) System and method for securely transmitting data using video validation
CN115168460A (zh) 数据处理方法、数据交易系统、设备及存储介质
KR20180047353A (ko) 스크래핑 클라우드 서비스 제공 방법 및 시스템
CN110766548A (zh) 基于区块链的信息处理方法、装置、存储介质及电子设备
US20240020727A1 (en) Inventory management system protection for network traffic surge resistant platform
JP6255070B1 (ja) 銀行サービスシステム及び銀行サービス方法
Rakhmawati et al. Indonesia’s Public Application Programming Interface (API)
KR100948162B1 (ko) 금융 기관 직접 연결을 통한 금융 계좌 통합 조회 방법, 그방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체 및 통합 조회 서버
US10296882B2 (en) Multicomputer processing of client device request data using centralized event orchestrator and link discovery engine
CN114697114B (zh) 数据处理方法、装置、电子设备和介质
CN111915285B (zh) 现金提取方法、装置和电子设备
US11563762B2 (en) User flow graph analytics for cyber security
US20240152915A1 (en) Smart contract verification
CN117422416A (zh) 基于区块链的业务办理方法、装置、设备、介质及产品
CN117909611A (zh) 页面嵌入方法、装置、设备、介质、程序产品和信贷系统
CN113450217A (zh) 交易请求处理方法、装置、电子设备及存储介质
CN116757691A (zh) 账户管理方法、装置、设备、介质和程序产品
KR20010003149A (ko) 은행을 통한 인터넷접속과 인터넷 전자상거래 구매대금의 은행계좌 결제시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application