KR101785481B1 - 스크래핑 서비스 제공 방법, 그를 위한 서버 장치 및 시스템 - Google Patents

스크래핑 서비스 제공 방법, 그를 위한 서버 장치 및 시스템 Download PDF

Info

Publication number
KR101785481B1
KR101785481B1 KR1020150141058A KR20150141058A KR101785481B1 KR 101785481 B1 KR101785481 B1 KR 101785481B1 KR 1020150141058 A KR1020150141058 A KR 1020150141058A KR 20150141058 A KR20150141058 A KR 20150141058A KR 101785481 B1 KR101785481 B1 KR 101785481B1
Authority
KR
South Korea
Prior art keywords
information
scraping
mobile terminal
web server
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150141058A
Other languages
English (en)
Other versions
KR20170041523A (ko
Inventor
김향숙
장정규
Original Assignee
한국정보통신주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국정보통신주식회사 filed Critical 한국정보통신주식회사
Priority to KR1020150141058A priority Critical patent/KR101785481B1/ko
Publication of KR20170041523A publication Critical patent/KR20170041523A/ko
Application granted granted Critical
Publication of KR101785481B1 publication Critical patent/KR101785481B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18—Service support devices; Network management devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H04W4/003—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W80/00—Wireless network protocols or protocol adaptations to wireless operation
    • H04W80/08—Upper layer protocols
    • H04W80/12—Application layer protocols, e.g. WAP [Wireless Application Protocol]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 모바일 단말기를 이용한 스크래핑 서비스 제공 방법, 그를 위한 서버 장치 및 시스템에 관한 것으로, 그 방법은 모바일 단말기로부터 사용자 개인 정보가 포함된 스크래핑 요청을 수신하는 단계; 모바일 단말기로부터 수신된 사용자 개인 정보를 이용하여 스크래핑하고자 하는 정보가 구비된 웹 서버에 접속하는 단계; 접속된 웹 서버로부터 스크래핑하고자 하는 정보를 수집하는 단계; 및 웹 서버로부터 수집된 정보를 모바일 단말기로 전송하거나 또는 모바일 단말기와 연관된 데이터 베이스에 저장시키는 단계를 포함한다.

Description

스크래핑 서비스 제공 방법, 그를 위한 서버 장치 및 시스템{Method for providing scraping service, server and system thereof}
본 발명은 모바일 단말기를 통해 스크래핑(scraping) 서비스를 제공하기 위한 방법에 관한 것이다.
최근의 인터넷 환경에서는, 다양한 종류의 서비스가 웹을 통하여 제공되고 있다. 사용자는 웹 브라우징을 통해 상기 다양한 종류의 서비스로부터 제공되는 다양한 정보를 수집할 수 있다. 서비스를 제공하는 주체가 많아지는 경우, 사용자는 상기 각각의 주체로부터 정보를 수집하기 위해 특정한 패턴의 웹 브라우징을 반복해야 하는 부담이 있을 수 있다.
웹 스크래핑(web scrapping) 또는 스크린 스크래핑(screen scraping)이란 웹 기반으로 제공되는 임의의 서비스를 사용자의 웹 브라우징(web browsing) 없이 제공받기 위한 기술을 가리킨다. 따라서 웹 스크래핑 기술이 적용된 서비스를 제공받는 사용자는 반복적인 웹 브라우징 없이도 원하는 자료를 얻을 수 있으며 경우에 따라서는 분산된 웹 서비스를 통합하여 제공받을 수 있다. 다시 말해서, 사용자는 상기와 같은 웹 스크래핑 기술이 적용된 서비스를 통해 다양한 종류의 서비스로부터 제공되는 다양한 정보를 취합하여 제공받을 수 있다.
위와 같이 웹 스크래핑에 의해 추출된 데이터들은 다른 프로그램이나 데이터베이스에 저장하였다가 필요할 때, 수시로 열람하거나 사용이 가능하고, 이렇게 추출된 데이터들을 이용하여 비교분석 자료로도 활용된다.
이와 같은 웹 스크래핑 프로그램들은 웹 사이트에서 필요한 정보를 수집해오는 기술과, 일정한 포맷으로 변환하는 기술과 스크래핑 구동 기술이 그 핵심이며, 이러한 웹 스크래핑 프로그램들은 서버에 설치되어 구동되거나 클라이언트에 설치되어 구동되고, 또는 서버와 클라이언트에 혼합 설치되어 구동되는 방식을 취한다.
이러한 웹 스크래핑 기술은 주로 개인의 금융자산에 대한 정보를 일괄로 조회하거나 거래 내역 등을 통합하여 관리하는 데에 사용되거나, 또는 여행사, 항공사, 호텔 및 물류 서비스, 날씨, 뉴스 등의 정보들을 수집하는 용도로도 활용된다.
한편, 최근 스마트폰(smartphone) 등의 모바일 단말기의 사용이 보편화됨에 따라, PC(Personal Computer)를 통해 제공되는 웹 스크래핑 서비스가 모바일 단말기를 통해서도 편리하게 제공될 필요가 있다.
본 발명은 모바일 단말기를 통한 스크래핑 서비스 방법, 그를 이용한 서버 장치 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 스크래핑 서비스 제공 방법은 모바일 단말기와 통신 가능한 서버 장치에서 스크래핑(scraping) 서비스를 제공하며, 모바일 단말기로부터 사용자 개인 정보가 포함된 스크래핑 요청을 수신하는 단계; 상기 모바일 단말기로부터 수신된 사용자 개인 정보를 이용하여, 스크래핑하고자 하는 정보가 구비된 웹 서버에 접속하는 단계; 상기 접속된 웹 서버로부터 스크래핑하고자 하는 정보를 수집하는 단계; 및 상기 웹 서버로부터 수집된 정보를 상기 모바일 단말기로 전송하거나 또는 상기 모바일 단말기와 연관된 데이터 베이스에 저장시키는 단계를 포함한다.
본 발명의 일실시예에 따른 서버 장치는 모바일 단말기와 통신하여 스크래핑 서비스를 제공하며, 모바일 단말기로부터 사용자 개인 정보가 포함된 스크래핑 요청을 수신하는 통신부; 상기 모바일 단말기로부터 수신된 사용자 개인 정보를 이용하여, 스크래핑하고자 하는 정보가 구비된 웹 서버에 접속하는 웹브라우징부; 상기 접속된 웹 서버로부터 스크래핑하고자 하는 정보를 수집하는 정보수집부; 및 상기 웹 서버로부터 수집된 정보를 상기 통신부를 통해 상기 모바일 단말기로 전송하거나 또는 상기 모바일 단말기와 연관된 데이터 베이스에 저장시키는 제어부를 포함한다.
또한, 본 발명의 일실시예에 따른 스크래핑 서비스 제공 시스템은, 사용자 입력에 따라 사용자 개인 정보가 포함된 스크래핑 요청을 생성하고, 상기 생성된 스크래핑 요청을 서버로 전송하는 모바일 단말기; 및 상기 모바일 단말기로부터 수신되는 사용자 개인 정보를 이용하여 스크래핑하고자 하는 정보가 구비된 웹 서버에 접속하여 정보를 수집하고, 상기 웹 서버로부터 수집된 정보를 상기 모바일 단말기로 전송하거나 또는 상기 모바일 단말기와 연관된 데이터 베이스에 저장시키는 서버를 포함한다.
한편, 상기 스크래핑 서비스 제공 방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
본 발명의 일실시예에 따르면, 모바일 단말기로부터 전송되는 사용자 개인 정보를 이용해 웹 서버에 접속하여 정보를 수집하기 위한 서버를 구비하여, 웹 서버에 접속하여 필요한 정보를 수집하기 위한 별도의 플러그-인(plug-in)을 설치하지 아니하고도 모바일 단말기를 통해 스크래핑 서비스를 용이하게 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 스크래핑 서비스 제공 시스템의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 스크래핑 서버의 구성에 대한 일실시예를 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 따른 스크래핑 서비스 제공 방법을 나타내는 흐름도이다.
도 4 스크래핑 서비스 제공 시스템에서 공인 인증서를 이용하여 스크래핑을 처리하는 방법에 대한 일실시예를 나타내는 타이밍도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 스크래핑 서비스 제공 방법, 그를 위한 서버 장치 및 시스템에 대해 상세히 설명하고자 한다.
본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 또한, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 1은 본 발명의 일실시예에 따른 스크래핑 서비스 제공 시스템의 구성을 블록도로 도시한 것으로, 도시된 시스템은 모바일 단말기(100), 스크래핑 서버(200) 및 복수의 웹 서버들(300 내지 302)을 포함하여 구성될 수 있다.
도 1을 참조하면, 모바일 단말기(100)는 본 발명에 따른 스크래핑 서비스가 사용자에게 제공되기 위해 복수의 웹 서버들(300 내지 302) 중 적어도 하나로부터 수집된 정보가 표시되는 단말 장치이다.
예를 들어, 모바일 단말기(100)는 스마트폰, 휴대폰, 핸드폰, 개인 휴대용 단말기(PDA), 핸드 헬드(handheld) PC, 아이패드 등 통신이 가능한 모든 이동 통신 단말을 포함할 수 있다.
한편, 모바일 단말기(100)에는 안드로이드(Android), iOS, 윈도우 (Windows), 블랙베리(Blackberry), 심비안 (Symbian), 웹OS, 바다(Bada) 등과 같은 운영 체제(OS, Operating System)이 탑재되어 있고, 상기 운영 체제(OS)에서 동작하는 애플리케이션(Applicaiton, 이하 '앱(App.)' 이라 함)이 설치된다.
본 발명의 일실시예에 따르면, 모바일 단말기(100)에는 상기 탑재된 운영 체제(OS)에서 동작하여, 스크래핑 서버(200)를 통해 복수의 웹 서버들(300 내지 302) 중 적어도 하나로부터 수집된 정보를 사용자에게 제공하는 스크래핑 기능을 가지는 앱(App.)이 설치되어 있을 수 있다.
또한, 모바일 단말기(100)는 스크래핑 요청과 함께 스크래핑 서비스에 필요한 개인 정보(예를 들어, 정보가 수집될 웹 서버(300)에 접속하기 위한 아이디(IDentificaiton) 및 패스워드(Password), 또는 공인 인증서 암호 등)를 사용자로부터 입력받고, 스크래핑 서버(200)를 통해 복수의 웹 서버들(300 내지 302) 중 적어도 하나로부터 수집된 정보를 표시하기 위한 사용자 인터페이스를 포함할 수 있으며, 상기 사용자 인터페이스는 모바일 단말기(100)에 설치된 앱을 통해 제공될 수 있다.
상기 스크래핑 서비스는 이메일 서버에 접속하여 이메일 관련 정보를 수집하는 이메일 정보 스크래핑 서비스, 은행 서버 등에 접속하여 금융 관련 정보를 수집하는 금융 정보 스크래핑 서비스, 뉴스 서버 등에 접속하여 뉴스 관련 정보를 수집하는 뉴스 정보 스크래핑 서비스 등이 있을 수 있으나, 본 발명은 이에 한정되지 아니하며, 상기한 정보들 이외에 다양한 종류의 정보를 웹 서버로부터 수집하여 모바일 단말기(100)를 통해 사용자에게 제공할 수 있다.
복수의 웹 서버들(300 내지 302)은 모바일 단말기(100)의 사용자가 스크래핑하고자 하는 정보를 제공하는 서버로서, 예를 들어 HTTP(HyperText Transfer Protocol)를 이용하여 웹 브라우저(Web browser)를 통해 접속되는 서버이다.
예를 들어, 복수의 웹 서버들(300 내지 302)은 각각, 이메일 서버, 은행 서버, 뉴스 서버 등 다양한 정보를 제공하는 서버들일 수 있다.
위와 같이 모바일 단말기(100)에 설치된 앱(App.)을 통해 스크래핑 서비스를 제공하는 경우, 모바일 단말기(100)에 별도의 플러그-인을 설치해야 하는 불편이 있을 수 있으며, 모바일 단말기(100)에 탑재된 운영 체제(OS)에 따라 스크래핑 서비스를 위해 필요한 Active-X 등과 같은 플러그-인을 설치할 수 없는 문제가 있다.
본 발명의 일실시예에 따르면, 스크래핑 서버(200)는 모바일 단말기(100)와 복수의 웹 서버들(300 내지 302) 사이에 연결되어, 모바일 단말기(100)의 요청에 따라 복수의 웹 서버들(300 내지 302) 중 적어도 하나에 접속하여 스크래핑하고자 하는 정보를 수집한 후, 상기 수집된 정보를 모바일 단말기(100)로 전송하거나 또는 모바일 단말기(100)로의 정보 제공을 위해 데이터 베이스(DB, DataBase)에 저장하는 역할을 할 수 있다.
예를 들어, 모바일 단말기(100)는 사용자 입력에 따라 사용자 개인 정보가 포함된 스크래핑 요청을 생성하여 스크래핑 서버(200)로 전송하고, 스크래핑 서버(200)는 상기 모바일 단말기(100)로부터 수신된 사용자 개인 정보를 이용해 스크래핑하고자 하는 정보가 구비된 복수의 웹 서버들(300 내지 302) 중 적어도 하나에 접속하여 수집된 정보를 모바일 단말기(100)로 전송하거나 또는 모바일 단말기(100)와 연관된 데이터 베이스(DB)에 저장시킬 수 있다.
상기한 바와 같이, 본 발명의 일실시예에 따른 스크래핑 서비스 제공 시스템이 모바일 단말기(100)로부터 전송되는 사용자 개인 정보를 이용해 웹 서버(300)에 접속하여 정보를 수집하기 위한 스크래핑 서버(200)를 구비함으로써, 웹 서버(300)에 접속하여 필요한 정보를 수집하기 위한 별도의 플러그-인(plug-in)을 설치하지 아니하고도 모바일 단말기(100)를 통해 스크래핑 서비스를 사용자에게 제공할 수 있다.
도 2는 도 1에 도시된 스크래핑 서버의 구성에 대한 일실시예를 설명하기 위한 블록도로서, 스크래핑 서버(200)는 통신부(210), 웹브라우징부(220), 정보수집부(230), 제어부(240), 메모리(250) 및 데이터베이스(260)를 포함할 수 있다.
한편, 도 3은 본 발명의 일실시예에 따른 스크래핑 서비스 제공 방법을 흐름도로 도시한 것이다.
도 2 및 도 3을 참조하면, 스크래핑 서버(200)의 통신부(210)는 모바일 단말기(100)로부터 사용자 개인 정보가 포함된 스크래핑 요청을 수신한다(S310 단계).
모바일 단말기(100)의 사용자는 스크래핑 기능을 가지는 앱(110)을 실행시킨 후, 웹 서버(300)에서 제공하는 특정 정보에 대한 스크래핑을 요청할 수 있으며, 상기 요청된 스크래핑을 수행하기 위해 요구되는 개인 정보를 모바일 단말기(100)를 통해 입력할 수 있다.
예를 들어, 모바일 단말기(100)에 설치된 앱(110)은 은행 서버 등과 같이 금융 정보를 제공하는 웹 서버(300)로부터 은행 계좌 정보(예를 들어, 계좌 입출금 내역 등)를 스크래핑하여 제공하기 위한 것일 수 있으며, 이 경우 웹 서버(300)에 접속하여 계좌 정보를 수집하기 위해 필요한 사용자의 아이디 및 패스워드 또는 공인 인증서의 암호가 사용자 개인 정보로서 해당 앱(110)을 통해 입력될 수 있다.
또한, 상기 모바일 단말기(100)로부터 스크래핑 서버(200)로 수시되는 사용자 개인 정보는 웹 서버(300)에 접속하기 위한 공인 인증서이거나, 좀 더 구체적으로 모바일 단말기(100)에 설치된 공인 인증서에 대한 사용자의 암호 입력에 의해 생성되는 공인 인증서 인증값일 수도 있다.
모바일 단말기(100)는 상기 앱(110)을 통해 스크래핑 서버(200)에 접속하여 사용자의 개인 정보를 포함하는 스크래핑 요청을 전송할 수 있다.
그 후, 스크래핑 서버(200)의 웹브라우징부(220)는 상기 모바일 단말기(100)로부터 수신된 사용자 개인 정보를 이용하여 스크래핑하고자 하는 정보가 구비된 웹 서버(300)에 접속한다(S320 단계).
그를 위해, 웹브라우징부(220)는 웹 서버에 접속하기 위한 웹 브라우저(221)와 스크래핑을 위한 스크립트로 구성된 스크래핑 모듈(222)을 포함할 수 있다.
상기 스크래핑 모듈(222)은 스크래핑하고자 하는 정보를 수집하기 위한 프로그램 명령어들의 집합으로 구성될 수 있으며, 예를 들어 은행 계좌를 관리하는 웹 서버(300)의 사용자 계좌 서비스 프로그램으로부터 계좌 잔액 및 입출금 내역 정보 등 수집하는 명령어로 구성될 수 있다.
상기 S320 단계에서, 웹브라우징부(220)는 웹 서버(300)에 접속하기 위한 웹 브라우저(221)를 실행시키고, 웹 브라우저(221)를 통해 상기 정보 수집을 위한 스크래핑 모듈(222)을 실행시킬 수 있다.
정보수집부(230)는 상기 접속된 웹 서버(300)로부터 스크래핑하고자 하는 정보를 수집한다(S330 단계).
그를 위해, 정보수집부(230)는 웹 브라우저(221)에 의해 실행된 스크래핑 모듈(222)의 명령어들을 이용하여, 웹 서버(300)의 웹서비스 프로그램의 HTML/스크립트로부터 원하는 정보를 추출하여 가져올 수 있다.
한편, 통신부(210)를 통해 모바일 단말기(100)로부터 수신된 사용자 개인 정보는 메모리(250)에 저장될 수 있다.
다만, 사용자 개인 정보의 외부 유출을 방지하기 위하여, 상기 아이디 및 패스워드 등과 같은 사용자 개인 정보는 메모리(250)에 임시 저장되고, 웹 서버(300)로의 접속이 완료된 후에는 상기 메모리(250)에 임시 저장된 사용자 개인 정보가 삭제되어 폐기될 수 있다.
제어부(240)는 상기 웹 서버(300)로부터 수집된 정보를 모바일 단말기(100)로 전송하거나 데이터베이스(260)에 저장한다(S340 단계).
예를 들어, 스크래핑 서버(200)는 상기와 같은 스크래핑을 통해 수집된 정보를 통신부(210)를 통해 모바일 단말기(100)로 전송하여 화면에 표시되도록 한다.
또는, 제어부(240)가 상기 웹 서버(300)로부터 수집된 정보를 데이터베이스(260)에 저장할 수 있으며, 좀 더 구체적으로 상기 수집된 정보는 모바일 단말기(100)와 연관된 데이터베이스(260), 즉 데이터베이스(260) 중 모바일 단말기(100)에 지정된 영역에 저장되거나, 모바일 단말기(100) 또는 사용자에 대한 식별 정보와 연결되어 데이터베이스(260)에 저장될 수도 있다.
한편, 도 2에서는 웹 서버(300)로부터 수집된 정보가 저장되는 데이터베이스(260)가 스크래핑 서버(200) 내에 구비되는 것으로 도시되었으나, 본 발명은 이에 한정되지 아니하며, 스크래핑 서버(200)로부터 상기 수집된 정보를 수신하여 데이터베이스에 저장하기 위한 별도의 서버(미도시)가 존재할 수도 있다.
이하, 도 4를 참조하여 모바일 단말기를 통해 스크래핑 서비스 제공 방법에 대한 일실시예를 보다 상세히 설명하기로 한다.
도 4는 스크래핑 서비스 제공 시스템에서 공인 인증서를 이용하여 스크래핑을 처리하는 방법에 대한 일실시예를 타이밍도로 도시한 것으로, 도 4에 도시된 방법들 중 도 1 내지 도 3을 참조하여 설명한 것과 동일한 것에 대한 설명은 이하 생략하기로 한다.
도 4를 참조하면, 모바일 단말기(100)는 사용자의 요청에 의해 스크래핑 서비스를 제공하기 위한 앱을 실행시키고(S401 단계), 상기 실행된 앱에서 제공하는 사용자 인터페이스를 통해 사용자로부터 특정 정보에 대한 스크래핑을 요청받아 스크래핑 서버(200)로 전달한다(S402 단계).
예를 들어, 상기 스크래핑하고자 하는 정보는 모바일 단말기(100) 사용자의 계좌 정보일 수 있으며, 상기 사용자 계좌 정보를 제공하는 웹 서버(300)에 접속하여 해당 정보를 수집하기 위해서는 사용자의 공인 인증서를 통한 사용자 인증이 요청될 수 있다.
모바일 단말기(100)로부터 스크래핑 요청을 수신한 스크래핑 서버(200)는 먼저 웹브라우저를 실행시키고(S403 단계), 상기 실행된 웹브라우저를 통해 스크래핑하고자 하는 정보가 구비된 웹 서버(300)에 접속한다(S404 단계).
그 후, 스크래핑 서버(200)는 웹 서버(300)로부터 공인 인증서를 통한 사용자 인증의 결과인 인증값에 대한 전송을 요청받고(S405 단계), 상기 공인 인증서 인증값 전송 요청을 모바일 단말기(100)로 전달한다(S406 단계).
상기 공인 인증서 인증값 전송 요청을 수신한 모바일 단말기(100)는, 모바일 단말기(100)에 저장된 공인 인증서 파일을 실행하여 사용자가 공인 인증서 암호를 입력하도록 하여 공인 인증서 인증을 수행한다(S407 단계).
그 후, 모바일 단말기(100)는 상기 S407 단계에서 수행된 공인 인증서 인증 결과를 나타내는 공인 인증서 인증값을 스크래핑 서버(200)로 전송하고(S408 단계), 스크래핑 서버(200)는 상기 모바일 단말기(100)로부터 수신된 공인 인증서 인증값을 웹 서버(300)로 전달한다(S409 단계).
웹 서버(300)는 스크래핑 서버(200)로부터 수신된 공인 인증서 인증값을 확인한 후 스크래핑 서버(200)의 접속을 허용하고(S410 단계), 스크래핑 서버(200)는 웹 서버(300)로부터 정보를 수집하기 위한 스크래핑 모듈을 실행시킨다(S411 단계).
여기서, 스크래핑 서버(200)는 상기 모바일 단말기(100)로부터 수신된 공인 인증서 인증값을 메모리(250)에 임시 저장하고, 웹 서버(300)로 접속이 허용된 후에는 상기 메모리(250)에 임시 저장된 인증값을 삭제하여 폐기할 수 있다.
스크래핑 서버(200)는 스크래핑 모듈을 이용해 웹 서버(300)로부터 정보를 수집하고(S412 단계), 상기 수집된 정보를 데이터베이스(260)에 저장한다(S413 단계).
그 후, 데이터베이스(260)에 저장된 수집 정보는 모바일 단말기(100)로 전송되고(S414 단계), 상기 수집 정보를 모바일 단말기(100)에서 디스플레이된다(S415 단계).
상술한 본 발명에 따른 스크래핑 서비스 제공 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (18)

  1. 모바일 단말기와 통신 가능한 서버 장치에서 스크래핑(scraping) 서비스를 제공하는 방법에 있어서,
    웹 서버에 접속하여 필요한 정보를 수집하기 위한 별도의 플러그-인(plug-in)이 설치되지 않은 모바일 단말기의 스크래핑 애플리케이션으로부터 사용자 개인 정보가 포함된 스크래핑 요청을 수신하는 단계;
    상기 스크래핑 요청에 따라, 상기 웹 서버에 접속하기 위한 웹 브라우저와, 상기 별도의 플러그인 없이 상기 웹 브라우저를 통한 스크래핑을 제공하기 위한 스크립트로 구성되는 스크래핑 모듈을 실행시키는 단계;
    상기 모바일 단말기로부터 수신된 사용자 개인 정보를 이용하여, 스크래핑하고자 하는 정보가 구비된 상기 웹 서버에 상기 웹 브라우저를 통해 접속하는 단계;
    상기 스크래핑 모듈의 명령어들을 이용하여, 접속된 웹 서버로부터 스크래핑하고자 하는 정보를 수집하는 단계; 및
    상기 웹 서버로부터 수집된 정보를 상기 모바일 단말기로 전송하거나 또는 상기 모바일 단말기와 연관된 데이터 베이스에 저장시키는 단계를 포함하는 스크래핑 서비스 제공 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 사용자 개인 정보는
    상기 웹 서버에 접속하기 위한 아이디(IDentificaiton) 및 패스워드(Password)를 포함하는 스크래핑 서비스 제공 방법.
  5. 제1항에 있어서, 상기 사용자 개인 정보는
    상기 웹 서버에 접속하기 위한 공인 인증서를 포함하는 스크래핑 서비스 제공 방법.
  6. 제1항에 있어서, 상기 사용자 개인 정보는
    상기 웹 서버에 접속하기 위한 공인 인증서 인증값을 포함하는 스크래핑 서비스 제공 방법.
  7. 제6항에 있어서,
    상기 웹 서버로부터 상기 인증값에 대한 전송 요청을 수신하는 단계; 및
    상기 수신된 인증값 전송 요청을 상기 모바일 단말기로 전달하는 단계를 더 포함하는 스크래핑 서비스 제공 방법.
  8. 제1항에 있어서, 상기 사용자 개인 정보는
    상기 웹 서버로의 접속을 위해 임시 저장되고, 상기 웹 서버로의 접속이 완료된 후 삭제되는 스크래핑 서비스 제공 방법.
  9. 삭제
  10. 모바일 단말기와 통신하여 스크래핑 서비스를 제공하기 위한 서버 장치에 있어서,
    웹 서버에 접속하여 필요한 정보를 수집하기 위한 별도의 플러그-인(plug-in)이 설치되지 않은 모바일 단말기의 스크래핑 애플리케이션으로부터 사용자 개인 정보가 포함된 스크래핑 요청을 수신하는 통신부;
    상기 스크래핑 요청에 따라, 상기 모바일 단말기로부터 수신된 사용자 개인 정보를 이용하여, 스크래핑하고자 하는 정보가 구비된 상기 웹 서버에 접속하는 웹브라우징부;
    상기 스크래핑 요청에 따라, 상기 별도의 플러그인 없이 상기 웹 브라우징부를 통한 스크래핑을 제공하기 위한 스크립트로 구성되는 스크래핑 모듈을 실행시키고, 상기 스크래핑 모듈의 명령어들을 이용하여, 상기 접속된 웹 서버로부터 스크래핑하고자 하는 정보를 수집하는 정보수집부; 및
    상기 웹 서버로부터 수집된 정보를 상기 통신부를 통해 상기 모바일 단말기로 전송하거나 또는 상기 모바일 단말기와 연관된 데이터 베이스에 저장시키는 제어부를 포함하는 서버 장치.
  11. 제10항에 있어서, 상기 사용자 개인 정보는
    상기 웹 서버에 접속하기 위한 아이디 및 패스워드를 포함하는 서버 장치.
  12. 제10항에 있어서, 상기 사용자 개인 정보는
    상기 웹 서버에 접속하기 위한 공인 인증서 인증값을 포함하는 서버 장치.
  13. 제10항에 있어서,
    상기 모바일 단말기로부터 수신된 사용자 개인 정보가 임시 저장되는 메모리를 더 포함하고,
    상기 제어부는
    상기 웹 서버로의 접속이 완료된 후 상기 메모리에 임시 저장된 사용자 개인 정보를 삭제시키는 서버 장치.
  14. 모바일 단말기를 통해 스크래핑 서비스를 제공하기 위한 시스템에 있어서,
    웹 서버에 접속하여 필요한 정보를 수집하기 위한 별도의 플러그-인(plug-in)이 설치되지 않은 상태에서, 스크래핑 애플리케이션에 기초하여 사용자 입력에 따라 사용자 개인 정보가 포함된 스크래핑 요청을 생성하고, 상기 생성된 스크래핑 요청을 서버로 전송하는 모바일 단말기; 및
    상기 모바일 단말기로부터 수신되는 스크래핑 요청에 따라, 사용자 개인 정보를 이용하여 스크래핑하고자 하는 정보가 구비된 웹 서버에 웹 브라우저를 통해 접속하여 정보를 수집하고, 상기 웹 브라우저를 통한 스크래핑을 상기 별도의 플러그인 없이 제공하기 위한 스크립트로 구성되는 스크래핑 모듈을 실행시키며, 상기 스크래핑 모듈의 명령어들을 이용하여, 상기 접속된 웹 서버로부터 스크래핑하고자 하는 정보를 수집하며, 상기 웹 서버로부터 수집된 정보를 상기 모바일 단말기로 전송하거나 또는 상기 모바일 단말기와 연관된 데이터 베이스에 저장시키는 서버를 포함하는 스크래핑 서비스 제공 시스템.
  15. 삭제
  16. 삭제
  17. 제14항에 있어서, 상기 사용자 개인 정보는
    상기 웹 서버에 접속하기 위한 아이디 및 패스워드를 포함하는 스크래핑 서비스 제공 시스템.
  18. 제14항에 있어서, 상기 사용자 개인 정보는
    상기 웹 서버에 접속하기 위한 공인 인증서 인증값을 포함하는 스크래핑 서비스 제공 시스템.
KR1020150141058A 2015-10-07 2015-10-07 스크래핑 서비스 제공 방법, 그를 위한 서버 장치 및 시스템 Active KR101785481B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150141058A KR101785481B1 (ko) 2015-10-07 2015-10-07 스크래핑 서비스 제공 방법, 그를 위한 서버 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150141058A KR101785481B1 (ko) 2015-10-07 2015-10-07 스크래핑 서비스 제공 방법, 그를 위한 서버 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20170041523A KR20170041523A (ko) 2017-04-17
KR101785481B1 true KR101785481B1 (ko) 2017-11-15

Family

ID=58703060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150141058A Active KR101785481B1 (ko) 2015-10-07 2015-10-07 스크래핑 서비스 제공 방법, 그를 위한 서버 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR101785481B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102296659B1 (ko) * 2020-11-11 2021-08-31 민경권 스크래핑 기술을 연동한 단 대 단 개인정보 통합 활용 시스템 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102179792B1 (ko) * 2018-08-22 2020-11-17 주식회사 핑거 웹 브라우저 기반 스크래핑 시스템 및 방법
KR102275135B1 (ko) 2019-11-12 2021-07-09 곽해웅 프로젝트를 위한 자료 수집 및 분석 시스템 및 그의 구축 방법
KR102197329B1 (ko) * 2020-01-09 2020-12-31 주식회사 카카오뱅크 스크래핑 기반 서비스 제공 방법 및 이를 수행하는 어플리케이션
KR102416805B1 (ko) * 2021-11-05 2022-07-05 주식회사 온투인 데이터 스크래핑 방법 및 이를 지원하는 장치
KR20230113029A (ko) 2022-01-21 2023-07-28 주식회사 루트소프트 데이터 거래 플랫폼 서비스를 제공하기 위한 방법, 서버 및 컴퓨터 프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686629B1 (ko) * 2006-04-17 2007-02-26 이영길 개인정보 제공장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686629B1 (ko) * 2006-04-17 2007-02-26 이영길 개인정보 제공장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102296659B1 (ko) * 2020-11-11 2021-08-31 민경권 스크래핑 기술을 연동한 단 대 단 개인정보 통합 활용 시스템 및 방법

Also Published As

Publication number Publication date
KR20170041523A (ko) 2017-04-17

Similar Documents

Publication Publication Date Title
KR101785481B1 (ko) 스크래핑 서비스 제공 방법, 그를 위한 서버 장치 및 시스템
EP3203709B1 (en) Cloud service server and method for managing cloud service server
CN107077671B (zh) 使用安全模块的支付装置和方法
KR20120090388A (ko) Ｑｒ 코드를 이용한 사용자 디바이스 및 콘텐츠 관리 방법 및 장치
EP3005210B1 (en) Secure automatic authorized access to any application through a third party
US20160294920A1 (en) Network communication system
CN104967586A (zh) 一种用户身份验证方法、装置及系统
CN112468409A (zh) 访问控制方法、装置、计算机设备及存储介质
US20210266366A1 (en) Device linking method
CN113822036B (zh) 一种隐私政策内容生成方法、装置及电子设备
JP6307610B2 (ja) データ改竄検知装置、データ改竄検知方法、及びプログラム
JP2015049742A (ja) 情報処理システム、情報処理方法、及びプログラム
KR101342407B1 (ko) 싱글 사인온 기반 통합 인증 서비스 제공 방법
CN109190396A (zh) 一种数据自动验证方法、装置及设备
KR101392624B1 (ko) 네트워크 통신에 기반을 둔 모바일 포렌식 방법
CN111930736B (zh) 数据校验方法及装置
CN109543398B (zh) 一种应用程序账户迁移方法、装置和电子设备
KR101370407B1 (ko) 시큐리티 앱 구동 시스템 및 시큐리티 앱 구동 방법
CN104935623B (zh) 一种应用管理方法及更新发布服务器
CN114465738A (zh) 应用程序的取证方法、系统、设备及存储介质
JP6343045B2 (ja) 記憶媒体及び方法
JP2009181396A (ja) ユーザ認証システム及びその方法
KR101379551B1 (ko) Ｏｐｍｄ 시스템에서의 배타적 인증을 위한 방법, 단말, 서버, 및 기록 매체
JP6366037B2 (ja) アカウントアグリゲーションシステム、プログラムおよびアカウントアグリゲーションサーバ
CN113656787B (zh) 服务提供设备、终端、鉴权设备、资源访问方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151007

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160725

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170130

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170703

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170929

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171010

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200805

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20210825

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220823

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230824

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240826

Start annual number: 8

End annual number: 8