KR101402146B1 - Method for scraping web screen in mobile device and mobile device providing web screen scraping - Google Patents

Method for scraping web screen in mobile device and mobile device providing web screen scraping Download PDF

Info

Publication number
KR101402146B1
KR101402146B1 KR1020120095868A KR20120095868A KR101402146B1 KR 101402146 B1 KR101402146 B1 KR 101402146B1 KR 1020120095868 A KR1020120095868 A KR 1020120095868A KR 20120095868 A KR20120095868 A KR 20120095868A KR 101402146 B1 KR101402146 B1 KR 101402146B1
Authority
KR
South Korea
Prior art keywords
web
script
scraping
information
mobile device
Prior art date
Application number
KR1020120095868A
Other languages
Korean (ko)
Other versions
KR20140028789A (en
Inventor
김도현
정삼위
최호식
손규호
Original Assignee
주식회사 핑거
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핑거 filed Critical 주식회사 핑거
Priority to KR1020120095868A priority Critical patent/KR101402146B1/en
Publication of KR20140028789A publication Critical patent/KR20140028789A/en
Application granted granted Critical
Publication of KR101402146B1 publication Critical patent/KR101402146B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

본 발명은 모바일 디바이스에서의 웹 스크린 스크래핑 방법 및 웹 스크린 스크래핑을 제공하는 모바일 디바이스에 관한 것으로서, 그 웹 스크린 스크래핑 방법은 웹 서버에 접속하여 웹 페이지로부터 필요한 정보를 추출하여 가져오는 스크립트를 생성하는 단계; 모바일 디바이스에 탑재된 운영체제에서 동작하는 웹 브라우저가 그 생성된 스크립트를 실행하는 단계; 및 스크립트 실행 결과 추출된 정보를 모바일 디바이스의 사용자 인터페이스 화면에 디스플레이하는 단계를 포함한다.
본 발명에 의하면, 다양한 운영체제(OS)가 탑재될 수 있는 모바일 디바이스에서 각 운영체제에서 동작하는 웹 브라우저를 이용하여 스크래핑을 실행함으로써, 각 운영체제 별로 스크래핑 기능을 구현하지 않고도 하나의 소스로 원하는 정보를 동일하게 가져오는 스크래핑 기능을 편리하게 구현할 수 있다.The present invention relates to a web screen scraping method and a web screen scraping method in a mobile device, the web screen scraping method comprising the steps of creating a script for accessing a web server and extracting necessary information from a web page ; Executing a generated script by a web browser operating in an operating system mounted on the mobile device; And displaying the extracted information on the user interface screen of the mobile device as a result of execution of the script.
According to the present invention, a scraping is performed using a web browser operating in each operating system in a mobile device on which various operating systems can be installed, so that desired information can be distributed as a single source without implementing a scraping function for each operating system The scrapping function can be conveniently implemented.

Description

모바일 디바이스에서의 웹 스크린 스크래핑 방법 및 웹 스크린 스크래핑을 제공하는 모바일 디바이스{Method for scraping web screen in mobile device and mobile device providing web screen scraping} BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a web screen scraping method and a web screen scraping method in a mobile device,

본 발명은 웹 사이트에 접속하여 원하는 정보를 추출하는 스크래핑에 관한 것으로서, 특히 다양한 모바일 디바이스 운영체제(Mobile Device OS)를 탑재한 모바일 디바이스가 금융, 이메일, 포탈 및 마켓 등의 웹사이트에 접속하여 원하는 정보를 추출해오는, 모바일 디바이스에서의 웹 스크린 스크래핑( Web Screen Scraping) 방법 및 웹 스크린 스크래핑을 제공하는 모바일 디바이스에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to scrapping for accessing a web site to extract desired information, and more particularly, to a mobile device equipped with various mobile device operating systems (OS) accessing web sites such as finance, e-mail, A web screen scraping method in a mobile device and a mobile device providing web screen scraping.

스크래핑이란 시스템에 자동으로 접속해 데이터를 화면에 나타낸 후 필요한 자료를 추출하여 가져오는 기술을 말한다. 웹사이트 혹은 프로그램의 정보를 끄집어 내 다른 프로그램이나 데이터 베이스에 저장하여 필요할 때마다 수시로 조회하거나 사용할 수 있으며 저장된 데이터를 비교분석 자료로 활용할 수도 있다. Scraping refers to a technique of automatically connecting to a system to display data on a screen, extracting necessary data, and then importing the data. Web site or program information can be retrieved and stored in another program or database so that it can be inquired or used as often as needed, and stored data can be used as comparative analysis data.

웹 스크린 스크래핑(이하 스크래핑 이라 한다)을 이용한 컴퓨터(PC) 서비스는 CMS(Cash Management System), PFMS(Personal Finance Management System), 메일 통합 등 다양한 분야에서 서비스 되고 있다. 현대 사회에서는 일반 대중들이 일상생활에서 언제 어느 때나 스마트 폰(Smart Phone)을 소지하면서 사용하고 있다. 이러한 시대 환경과 흐름에 따라 각종 생활에 필요한 다양한 기능을 스마트 폰으로 대표되는 모바일 디바이스에 집적시키는 기술 경향이 주요 화두가 되고 있다.Computer (PC) services using web screen scraping (hereinafter referred to as "scraping") are being provided in various fields such as cash management system (CMS), personal finance management system (PFMS) In the modern society, the general public is using Smart Phone at any time in their daily life. The tendency of technologies to integrate various functions necessary for various life into mobile devices represented by smart phones is becoming a hot topic in this age and environment.

스크래핑 기술을 스마트 디바이스(smart device)에서 구현할 경우 두 가지 문제점이 있을 수 있다. 첫 번째는 스마트 디바이스에는 다양한 운영체제(OS)가 존재할 수 있으며, 이러한 다양한 운영체제를 탑재하고 있는 스마트 디바이스가 웹 페이지를 스크래핑 하려면, 각 운영체제 별로 스크래핑 기능이 구현되어 있어야 한다. There are two problems when implementing scraping technology on a smart device. First, smart devices may have various operating systems (OS). In order to scrape a web page by a smart device equipped with various operating systems, a scraping function must be implemented for each operating system.

두번째 문제점은 HTML/Script의 기술 고도화(HTML5, JSON, Jquery등)가 이루어져 네이티브(Native)코드로 구현하기가 까다롭다.The second problem is that the HTML / Script technology is advanced (HTML5, JSON, Jquery, etc.) and is difficult to implement with native code.

따라서 스크래핑하여 가져올 웹 사이트의 HTML과 스크립트(Script)를 분석하여 별도의 데이터 수집 스크립트(Script)를 구현하고, 모든 스마트 디바이스 운영체제에 탑재되어있는 웹 브라우저를 이용하여 스크래핑을 실행할 수 있으면 모바일 디바이스에서 스크래핑 기능을 구현하는데 훨씬 편리할 것이다. Therefore, it is possible to implement a separate data collection script (script) by analyzing the HTML and script of the web site to be imported by scraping, and if scraping can be executed using a web browser installed in all smart device operating systems, It would be much more convenient to implement the function.

본 발명이 해결하고자 하는 과제는 스크래핑 하려는 웹사이트의 HTML과 스크립트를 분석하여 원하는 정보를 수집하는 스크립트를 만들어 안드로이드 (Android), iOS, 윈도우(Windows), 블랙베리(Blackberry), 심비안 (Symbian), 웹OS, 바다(Bada) 등 스마트 디바이스에 탑재되는 다양한 운영체제에서 동작하는 웹 브라우저(WebBrowser)를 이용하여 하나의 소스로 원하는 정보를 동일하게 가져오는, 모바일 디바이스에서의 웹 스크린 스크래핑( Web Screen Scraping) 방법을 제공하는 것이다.A problem to be solved by the present invention is to create a script for collecting desired information by analyzing HTML and script of a web site to be scraped and creating a script to be used for Android, iOS, Windows, Blackberry, Symbian, Web Screen Scraping on mobile devices, which brings the desired information to the same source using a Web browser (WebBrowser) running on various operating systems such as Web OS, Bada, etc., Method.

본 발명이 해결하고자 하는 다른 과제는 상기 웹 스크린 스크래핑이 가능한 모바일 디바이스를 제공하는 것이다.Another object of the present invention is to provide a mobile device capable of scraping the web screen.

상기 기술적 과제를 이루기 위한 본 발명에 의한 모바일 디바이스에서의 웹 스크린 스크래핑( Web Screen Scraping) 방법은, 웹 서버에 접속하여 웹 페이지로부터 필요한 정보를 추출하여 가져오는 스크립트를 생성하는 단계; 모바일 디바이스에 탑재된 운영체제에서 동작하는 웹 브라우저가 상기 생성된 스크립트를 실행하는 단계; 및 상기 스크립트 실행 결과 추출된 정보를 모바일 디바이스의 사용자 인터페이스 화면에 디스플레이하는 단계를 포함한다.According to another aspect of the present invention, there is provided a web screen scraping method for a mobile device, the method comprising: generating a script for accessing a web server to extract necessary information from a web page; Executing a generated script by a web browser operating in an operating system installed in the mobile device; And displaying information extracted as a result of executing the script on a user interface screen of the mobile device.

상기 스크립트 실행단계는 상기 스크립트에 상기 웹 브라우저가 처리할 수 없는 명령어가 있을 경우, 웹 플러그 인이 상기 명령어를 처리하는 단계를 더 포함하는 것이 바람직하다. 상기 스크립트 실행 결과 추출된 정보를 사용자 인터페이스 화면에 디스플레이하는 단계는 상기 모바일 디바이스의 웹브라우저가 상기 스크립트 실행 결과 추출된 정보를 웹 플러그 인에게 전달하는 단계; 및 상기 웹 플러그 인으로부터 상기 추출된 정보를 받아 사용자 인터페이스 화면에 디스플레이하는 단계를 포함하는 것을 특징으로 한다.The script execution step may further include a step in which the Web plug-in processes the command if the script contains an instruction that the web browser can not process. The step of displaying the extracted information on the user interface screen as a result of execution of the script may include transmitting the information extracted by the web browser of the mobile device to the web plug-in as a result of execution of the script; And receiving the extracted information from the web plug-in and displaying it on a user interface screen.

상기 기술적 과제를 이루기 위한 본 발명에 의한 모바일 디바이스에서의 웹 스크린 스크래핑( Web Screen Scraping) 방법은, 스크래핑 기술을 이용한 서비스에 필요한 스크래핑 서비스 정보와 입력 값을 받아들이는, 모바일 디바이스의 사용자 인터페이스 화면을 제공하는 단계; 상기 사용자 인터페이스 화면을 통해 사용자로부터 상기 스크래핑 서비스 정보와 입력 값이 입력되면, 웹 플러그 인에 상기 스크래핑 서비스 정보와 상기 입력 값을 전달하는 단계; 상기 웹 플러그 인에게 상기 스크래핑 서비스 정보와 입력 값이 전달되면, 상기 모바일 디바이스에 설치된 앱에 내장된 웹브라우저가 상기 스크래핑 서비스 정보에 상응하는 스크래핑 서비스를 위한 스크립트를 스크립트 저장부로부터 읽어오는 단계; 상기 웹브라우저가 상기 읽어온 스크립트를 실행하여 웹 페이지로부터 필요한 정보를 추출하여 가져오는 단계; 및 상기 추출된 정보를 사용자 인터페이스 화면에 디스플레이하는 단계를 포함한다.According to another aspect of the present invention, there is provided a web screen scraping method for a mobile device, the method comprising: providing a user interface screen of a mobile device for receiving scraping service information and input values necessary for a service using a scraping technique; ; Transmitting the scraping service information and the input value to a web plug-in when the scraping service information and an input value are inputted from a user through the user interface screen; Reading a script for a scraping service corresponding to the scraping service information from a script storage unit when the scraping service information and the input value are transmitted to the web plug-in, the web browser built in the application installed in the mobile device; Extracting necessary information from a web page by executing the script read by the web browser; And displaying the extracted information on a user interface screen.

상기 스크립트 실행단계는 상기 스크립트에 상기 웹 브라우저가 처리할 수 없는 명령어가 있을 경우, 웹 플러그 인이 상기 명령어를 처리하는 단계를 더 포함하는 것이 바람직하다. 상기 스크립트 실행 결과 추출된 정보를 사용자 인터페이스 화면에 디스플레이하는 단계는 상기 모바일 디바이스에 탑재된 웹브라우저가 상기 스크립트 실행 결과 추출된 정보를 웹 플러그 인에게 전달하는 단계; 및 상기 웹 플러그 인으로부터 상기 추출된 정보를 받아 사용자 인터페이스 화면에 디스플레이하는 단계를 포함하는 것을 특징으로 한다.The script execution step may further include a step in which the Web plug-in processes the command if the script contains an instruction that the web browser can not process. The step of displaying the extracted information on the user interface screen as a result of the execution of the script comprises the steps of: transmitting information extracted by the web browser installed in the mobile device to the web plug-in; And receiving the extracted information from the web plug-in and displaying it on a user interface screen.

상기 다른 기술적 과제를 이루기 위한 본 발명에 의한 웹 스크린 스크래핑( Web Screen Scraping)을 제공하는 모바일 디바이스는, 스크래핑 기술을 이용한 서비스에 필요한 입력 값을 받아들이는 사용자 인터페이스 화면을 제공하는 사용자 인터페이스부; 상기 서비스를 제공하기 위한 스크립트를 실행하는 웹 브라우저; 및 상기 사용자 인터페이스 화면과 상기 웹 브라우저 간의 인터페이스를 제공하고, 상기 사용자 인터페이스 화면을 통해 사용자로부터 상기 입력 값이 입력되면, 상기 웹 브라우저에게 전달하는 웹 플러그인을 포함하고, 상기 웹브라우저는 상기 웹 플러그 인에게 상기 스크래핑 서비스 정보와 입력 값이 전달되면, 상기 스크래핑 서비스 정보에 상응하는 스크래핑 서비스를 위한 스크립트를 실행하여 웹 페이지로부터 필요한 정보를 추출하여 가져오고, 상기 추출된 정보는 상기 사용자 인터페이스 화면에 디스플레이되는 것을 특징으로 한다. According to another aspect of the present invention, there is provided a mobile device providing web screen scraping, comprising: a user interface unit for providing a user interface screen for receiving an input value necessary for a service using a scraping technique; A web browser for executing a script for providing the service; And a web plug-in providing an interface between the user interface screen and the web browser, and transmitting the input value to the web browser when the input value is inputted from the user through the user interface screen, When the scraping service information and the input value are transmitted to the user interface, a script for the scraping service corresponding to the scraping service information is executed to extract necessary information from the web page, and the extracted information is displayed on the user interface screen .

상기 본 발명에 의한 모바일 디바이스는 스크래핑 기술을 이용한 서비스를 제공하기 위해, 상기 스크래핑을 위한 명령들을 포함하는 적어도 하나의 스크립트를 저장하는 스크립트 저장부를 더 포함할 수 있다. 상기 웹 플러그 인은 상기 스크립트에 상기 웹 브라우저가 처리할 수 없는 명령어가 있을 경우, 상기 명령어를 처리하고, 상기 모바일 디바이스에 탑재된 웹브라우저로부터 상기 스크립트 실행 결과 추출된 정보를 수신하여 사용자 인터페이스 화면에 디스플레이되도록 상기 사용자 인터페이스부에 전달하는 것을 특징으로 한다. 상기 웹 브라우저, 상기 웹 플러그 인 및 상기 사용자 인터페이스부는 모바일 디바이스에 탑재된 운영체제에서 동작하는 앱에 포함되어 있는 것이 바람직하다.The mobile device according to the present invention may further include a script storage unit for storing at least one script including the instructions for scraping to provide a service using the scraping technique. The web plug-in processes the command if the script contains an instruction that the web browser can not process, receives information extracted as a result of execution of the script from a web browser installed in the mobile device, To the user interface unit for display. Preferably, the web browser, the web plug-in, and the user interface unit are included in an application operating in an operating system installed in the mobile device.

스크래핑 기술을 이용한 서비스에 필요한 입력 값을 받아들이는, 모바일 디바이스의 사용자 인터페이스 화면을 제공하는 단계; 상기 사용자 인터페이스 화면을 통해 사용자로부터 상기 입력 값이 입력되면, 웹 플러그 인에 상기 입력 값을 전달하는 단계; 상기 웹 플러그 인에게 상기 입력 값이 전달되면, 상기 모바일 디바이스에 설치된 앱에 내장된 웹브라우저가 상기 입력값에 상응하는 스크래핑 서비스를 위한 스크립트를 스크립트 저장부로부터 읽어오는 단계; 상기 웹브라우저가 상기 읽어온 스크립트를 실행하여 웹 페이지로부터 필요한 정보를 추출하여 가져오는 단계; 및 상기 추출된 정보를 사용자 인터페이스 화면에 디스플레이하는 단계를 모바일 디바이스에서 실행하는 프로그램을 기록한 기록매체를 제공한다. Providing a user interface screen of the mobile device for accepting input values necessary for the service using the scraping technique; Transmitting the input value to a web plug-in when the input value is input from the user through the user interface screen; Reading a script for a scraping service corresponding to the input value from a script storage unit when a web browser built in an application installed in the mobile device transfers the input value to the web plug-in; Extracting necessary information from a web page by executing the script read by the web browser; And displaying the extracted information on a user interface screen in a mobile device.

본 발명에 따른 모바일 디바이스에서의 웹 스크린 스크래핑( Web Screen Scraping) 방법과 이를 제공하는 모바일 디바이스에 의하면, 다양한 운영체제(OS)가 탑재될 수 있는 모바일 디바이스에서 각 운영체제에서 동작하는 웹 브라우저를 이용하여 스크래핑을 실행함으로써, 각 운영체제 별로 스크래핑 기능을 구현하지 않고도 하나의 소스로 원하는 정보를 동일하게 가져오는 스크래핑 기능을 편리하게 구현할 수 있다.According to the web screen scraping method in a mobile device and the mobile device providing the web screen scraping method in the mobile device according to the present invention, in a mobile device on which various operating systems can be loaded, It is possible to conveniently implement a scraping function that fetches the desired information as one source without implementing the scraping function for each operating system.

도 1은 본 발명에 의한 웹 스크린 스크래핑을 제공하는 모바일 디바이스가 적용되는 웹 스크린 스크래핑 시스템의 구성에 대한 일실시예를 블록도로 나타낸 것이다.
도 2는 본 발명에 의한 모바일 디바이스에서의 웹 스크린 스크래핑( Web Screen Scraping) 방법에 대한 일 실시예를 흐름도로 나타낸 것이다.
도 3은 본 발명에 의한 모바일 디바이스에서의 웹 스크린 스크래핑( Web Screen Scraping) 방법에 대한 보다 구체적인 실시예를 흐름도로 나타낸 것이다.
도 4는 본 발명이 적용되는 전체 시스템의 구성을 나타낸 것이다.1 is a block diagram of an embodiment of a web screen scraping system to which a mobile device providing web screen scraping according to the present invention is applied.
2 is a flowchart illustrating an embodiment of a method for web screen scraping in a mobile device according to the present invention.
FIG. 3 is a flow chart illustrating a more specific embodiment of a web screen scraping method in a mobile device according to the present invention.
4 shows a configuration of an overall system to which the present invention is applied.

이하, 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The embodiments described in the present specification and the configurations shown in the drawings are merely preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention and therefore various equivalents And variations are possible.

도 1은 본 발명에 의한 웹 스크린 스크래핑을 제공하는 모바일 디바이스가 적용되는 웹 스크린 스크래핑 시스템의 구성에 대한 일실시예를 블록도로 나타낸 것이다.1 is a block diagram of an embodiment of a web screen scraping system to which a mobile device providing web screen scraping according to the present invention is applied.

본 발명에 의한 모바일 디바이스(100)는 모바일 디바이스(100)에 탑재된 운영체제(109)와 상기 운영체제(109)에서 동작하는 앱(107)을 포함하여 이루어지며, 스크립트 저장부(130)를 더 포함할 수도 있다. 상기 모바일 디바이스(100)에 탑재될 수 있는 운영체제(Operating System)의 예로는 안드로이드(Android), iOS, 윈도우 (Windows), 블랙베리(Blackberry), 심비안 (Symbian), 웹OS, 바다(Bada) 등이 있다.The mobile device 100 according to the present invention includes an operating system 109 installed in the mobile device 100 and an application 107 operating in the operating system 109. The mobile device 100 further includes a script storage unit 130 You may. Examples of an operating system that can be installed in the mobile device 100 include an operating system such as Android, iOS, Windows, Blackberry, Symbian, Web OS, .

앱(107)은 사용자 인터페이스부(101), 웹 브라우저(105) 및 웹 플러그 인(103)을 포함하여 이루어진다. The application 107 includes a user interface unit 101, a web browser 105, and a web plug-in 103.

사용자 인터페이스부(101)는 스크래핑 기술을 이용한 서비스에 필요한 스크래핑 서비스 정보와 입력 값을 받아들이는 사용자 인터페이스 화면을 제공한다. 여기서 상기 스크래핑 서비스 정보는 이메일 정보 스크래핑 서비스, 금융정보 스크래핑 서비스, 뉴스 정보 스크래핑 서비스 등 사용자가 스크래핑을 통해 수집하고자 하는 스크래핑 서비스에 대한 정보가 될 수 있다.The user interface unit 101 provides scraping service information necessary for a service using a scraping technique and a user interface screen for accepting an input value. Here, the scraping service information may be information about a scraping service that the user wants to collect through scraping, such as an e-mail information scraping service, a financial information scraping service, and a news information scraping service.

웹 브라우저(105)는 상기 웹 스크래핑 서비스를 제공하기 위한 프로그램 명령어를 포함하고 있는 스크립트를 실행한다. 상기 스크립트는 사용자가 웹 페이지에서 원하는 정보를 수집하는 일종의 프로그램 명령어들의 집합으로, 예를 들어 사용자가 이메일을 수집하고자 하면 이메일 서버(160)에 접속하여 이메일 서비스 프로그램으로부터 이메일을 수집하는 명령어로 구성되며, 사용자가 자신의 은행 계좌 잔액 정보를 수집하고자 하면, 은행 계좌를 관리하는 서버(170)에 접속하여 사용자 계좌 서비스 프로그램으로부터 계좌잔액정보를 수집하는 명령어로 구성될 수 있다.The web browser 105 executes a script including a program instruction for providing the web scraping service. The script is a set of a kind of program instructions for a user to collect desired information on a web page. For example, when the user wants to collect e-mail, the script accesses the e-mail server 160 and collects e- And a command to access the server 170 that manages the bank account to collect account balance information from the user account service program if the user wishes to collect his or her bank account balance information.

웹 플러그 인(103)은 사용자 인터페이스부(101)와 웹 브라우저(105) 간의 인터페이스를 제공하고, 사용자 인터페이스 화면을 통해 스크래핑 서비스 정보와 사용자로부터 상기 입력 값이 입력되면, 웹 브라우저(105)에게 상기 스크래핑 서비스 정보와 입력값을 전달한다.The web plug-in 103 provides an interface between the user interface unit 101 and the web browser 105. When the scraping service information and the input value are input from the user through the user interface screen, And transmits scraping service information and input values.

웹브라우저(105)는 웹 플러그 인(103)에게 상기 스크래핑 서비스 정보와 상기 입력 값이 전달되면, 상기 서비스 정보에 상응하는 스크래핑 서비스를 위한 스크립트를 실행하여 웹 페이지로부터 필요한 정보를 추출하여 가져온다.When the scraping service information and the input value are transferred to the Web plug-in 103, the web browser 105 executes a script for the scraping service corresponding to the service information to extract necessary information from the web page.

이 때 상기 추출된 정보는 사용자 인터페이스부(101)로 전달되어 상기 사용자 인터페이스 화면에 디스플레이된다. At this time, the extracted information is transmitted to the user interface unit 101 and displayed on the user interface screen.

스크립트 저장부(130)는 스크래핑 기술을 이용한 서비스를 제공하기 위해, 상기 스크래핑을 위한 명령들을 포함하는 적어도 하나의 스크립트를 저장하며, 모바일 디바이스(100)에 포함될 수도 있고 모바일 디바이스(100) 외부에 존재할 수도 있다. 즉, 웹서버나 모바일 디바이스의 파일시스템의 디렉토리에 존재할 수 있다.The script storage unit 130 stores at least one script including instructions for scraping to provide a service using a scraping technique and may be included in the mobile device 100 or may exist outside the mobile device 100 It is possible. In other words, it can exist in the directory of the file system of the web server or the mobile device.

스크립트 저장부(130)에 저장되는 스크립트의 예로는 이메일 정보 수집 스크립트(132), 금융정보 수집 스크립트(134) 및 포탈뉴스 정보 스크립트(136) 등을 들 수 있다. 이메일 정보 수집 스크립트(132)는 웹 브라우저(105)에 의해 실행되면 통신 네트워크(140)를 통해 이메일 웹 서비스(162)를 제공하는 이메일 웹서버(160)에 접속하여 원하는 이메일 정보를 추출하여 가져오는 명령어들을 포함하고 있다. 그리고 금융정보 수집 스크립트(134)는 웹 브라우저(105)에 의해 실행되면 통신 네트워크(140)를 통해 금융정보 웹 서비스(172)를 제공하는 금융정보 웹서버(170)에 접속하여 원하는 금융정보를 추출하여 가져오는 명령어들을 포함하고 있다. 또한 포탈뉴스 정보 수집 스크립트(136)는 웹 브라우저(105)에 의해 실행되면 통신 네트워크(140)를 통해 포탈뉴스 정보 웹 서비스(182)를 제공하는 금융정보 웹서버(180)에 접속하여 원하는 포탈 뉴스 정보를 추출하여 가져오는 명령어들을 포함하고 있다. 여기서 본 발명이 적용되는 통신 네트워크(140)는 와이파이(WiFi)망, 3G, 4G 망, 인터넷 망 등이 될 수 있다.Examples of the script stored in the script storage unit 130 include an email information collection script 132, a financial information collection script 134, and a portal news information script 136. [ The e-mail information collection script 132 is executed by the web browser 105 to access the e-mail web server 160 that provides the e-mail web service 162 via the communication network 140 to extract and import desired e-mail information Instructions. The financial information collection script 134 is executed by the web browser 105 to access the financial information web server 170 that provides the financial information web service 172 through the communication network 140 to extract desired financial information And the commands to fetch them. The portal news information collection script 136 is executed by the web browser 105 to access the financial information web server 180 that provides the portal news information web service 182 via the communication network 140 to obtain desired portal news And extracts and retrieves information. Here, the communication network 140 to which the present invention is applied may be a WiFi network, a 3G network, a 4G network, an Internet network, or the like.

웹 플러그 인(103)은 상기 스크립트에 웹 브라우저(105)가 처리할 수 없는 명령어가 있을 경우, 상기 명령어를 처리하고, 모바일 디바이스(100)에 탑재된 웹브라우저(105)로부터 상기 스크립트 실행 결과 추출된 정보를 수신하여 사용자 인터페이스 화면에 디스플레이 되도록 사용자 인터페이스부(101)에 전달한다. 웹플러그인(103)은 모바일 디바이스를 사용하는 환경이나 사용자의 요구에 맞도록, 추출된 정보를 사용자 인터페이스 화면에 디스플레이하는 기능을 갖도록 구현될 수도 있다.The web plug-in 103 processes the command if the script has an instruction that the web browser 105 can not process, extracts the script execution result from the web browser 105 loaded in the mobile device 100 And transmits the received information to the user interface unit 101 to be displayed on the user interface screen. The Web plug-in 103 may be implemented to have a function of displaying the extracted information on the user interface screen in accordance with an environment using the mobile device or a user's request.

도 2는 본 발명에 의한 모바일 디바이스에서의 웹 스크린 스크래핑( Web Screen Scraping) 방법에 대한 일 실시예를 흐름도로 나타낸 것이다. 2 is a flowchart illustrating an embodiment of a method for web screen scraping in a mobile device according to the present invention.

먼저, 웹 서버에 접속하여 웹 페이지로부터 필요한 정보를 추출하여 가져오는 스크립트를 생성한다.(S200 단계) 상기 스크립트의 예를 들면, 이메일 웹서버(162)의 웹서비스 프로그램의 HTML/스크립트로부터 원하는 정보를 추출하여 가져오는 이메일 정보 수집 스크립트(132), 금융 웹서버(17)의 금융정보 웹서비스 프로그램의 HTML/스크립트로부터 원하는 정보를 추출하여 가져오는 금융정보 수집 스크립트(134), 포탈뉴스 웹서버(180)의 포탈뉴스 웹서비스 프로그램의 HTML/스크립트로부터 원하는 정보를 추출하여 가져오는 뉴스정보 수집 스크립트(136)가 있을 수 있다. First, a script for accessing the web server and extracting necessary information from the web page is generated (step S200). For example, from the HTML / script of the web service program of the e-mail web server 162, A financial information collection script 134 for extracting and extracting desired information from the HTML / script of the financial information web service program of the financial web server 17, a portal news web server 180 may be a news information collection script 136 that extracts and retrieves desired information from the HTML / script of the portal news web service program.

모바일 디바이스에 탑재된 운영체제에서 동작하는 웹 브라우저(105)가 상기 생성된 스크립트를 실행한다.(S210단계)The web browser 105 operating in the operating system installed in the mobile device executes the generated script (step S210)

웹브라우저(105)가 상기 스크립트를 실행할 때, 스크립트에 존재하는 명령어가 웹브라우저가 처리 가능하지 않은 것이 있을 수 있다. 예를 들어, 하드웨어를 제어하거나 GPS를 ON/OFF시키거나 파일을 읽는 등은 웹브라우저가 수행하지 못하는 경우가 있다. 이런 경우에는 웹 플러그인(103)이 수행할 수 있다. When the web browser 105 executes the script, the command present in the script may not be processable by the web browser. For example, the web browser may not be able to control the hardware, turn on / off the GPS, read the file, or the like. In this case, the Web plug-in 103 can perform this.

즉, 상기 스크립트에 상기 웹 브라우저가 처리할 수 있는 명령어는 웹 브라우저(105)가 명령어를 처리하지만(S240단계), 웹 브라우저(105)가 처리할 수 없는 명령어가 있을 경우에는(S220단계), 웹 플러그 인(103)이 상기 명령어를 처리한다.(S230단계)That is, if a command that the web browser 105 can process is not processed by the web browser 105 (step S240), the web browser 105 processes the command, The Web plug-in 103 processes the command (step S230)

이렇게 하여 스크립트에 존재하는 명령어들이 웹브라우저(105) 및 웹플러그인(103)을 통해 통신 네트워크(14)를 거쳐 웹서버(160, 170, 180)에서 제공하는 웹페이지에서 원하는 정보를 추출하여 가져오면(S250단계), 상기 모바일 디바이스의 웹브라우저(105)가 상기 스크립트 실행 결과 추출된 정보를 웹 플러그 인(103)에게 전달한다.(S260단계) 그리고 나서 웹 플러그 인(103)으로부터 상기 추출된 정보를 받아 사용자 인터페이스부(101)를 통해 사용자 인터페이스 화면에 디스플레이한다.(S270단계)When the desired information is extracted from the web pages provided by the web servers 160, 170, and 180 via the communication network 14 via the web browser 105 and the web plug-in 103, (Step S250), the web browser 105 of the mobile device transmits information extracted as a result of executing the script to the web plug-in 103 (step S260). Then, the web plug- And displays it on the user interface screen through the user interface unit 101 (step S270)

도 3은 본 발명에 의한 모바일 디바이스에서의 웹 스크린 스크래핑( Web Screen Scraping) 방법에 대한 보다 구체적인 실시예를 흐름도로 나타낸 것이다. FIG. 3 is a flow chart illustrating a more specific embodiment of a web screen scraping method in a mobile device according to the present invention.

모바일 디바이스(100)에는 웹 스크린 스크래핑을 제공하는 앱이 설치되고, 상기 앱에는 웹 브라우저(105), 사용자 인터페이스부(101), 웹플러그인(103)이 포함되는 것이 바람직하다. 그리고 스크립트들에는 웹사이트의 HTML/Srcipt를 분석하여 원하는 정보를 수집하는 명령어들로 미리 작성되어 스크립트 저장부(130)에 저장되어 있다. 여기서 스크립트 저장부(130)는 모바일 디바이스(100)에 위치할 경우에는 모바일 디바이스의 파일시스템의 디렉토리로 존재할 수 있고, 모바일 디바이스 외부의 웹서버에 존재할 수도 있다.The mobile device 100 is provided with an app providing web screen scraping and the app preferably includes a web browser 105, a user interface unit 101, and a web plugin 103. The scripts are stored in the script storage unit 130 in advance with instructions for analyzing HTML / Srcipt of the website and collecting desired information. Here, when the script storage unit 130 is located in the mobile device 100, the script storage unit 130 may exist as a directory of a file system of the mobile device, or may exist in a web server outside the mobile device.

먼저, 사용자 인터페이스부(101)가 스크래핑 기술을 이용한 서비스에 필요한 스크래핑 서비스 정보와 입력 값을 받아들이는, 사용자 인터페이스 화면을 제공한다.(S300 단계)First, the user interface unit 101 provides a user interface screen for receiving scraping service information and an input value necessary for a service using a scraping technique (step S300)

상기 사용자 인터페이스 화면을 통해 사용자로부터 상기 스크래핑 서비스 정보와 입력 값이 입력되면, 웹 플러그 인(103)에 상기 스크래핑 서비스 정보와 상기 입력 값을 전달한다.(S310단계)When the scraping service information and the input value are inputted from the user through the user interface screen, the scraping service information and the input value are transmitted to the Web plug-in 103 (step S310)

상기 웹 플러그 인(103)에게 상기 스크래핑 서비스 정보와 입력 값이 전달되면, 상기 모바일 디바이스에 설치된 앱에 내장된 웹브라우저(105)가 상기 스크래핑 서비스 정보에 상응하는 스크래핑 서비스를 위한 스크립트를 스크립트 저장부(130)로부터 읽어오거나 다운로드한다. 즉, 스크립트 저장부(130)가 모바일 디바이스의 파일시스템의 디렉토리로 구현되어 있을 경우에는 상기 파일시스템의 디렉토리로부터 스크립트를 읽어오고, 스크립트 저장부(130)가 모바일 디바이스 외부의 웹서버로 구현되어 있을 경우에는 상기 웹서버로부터 스크립트를 다운로드 받는다.When the scraping service information and the input value are transmitted to the web plug-in 103, the web browser 105 embedded in the application installed in the mobile device transmits a script for the scraping service corresponding to the scraping service information, (130). That is, when the script storage unit 130 is implemented as a directory of the file system of the mobile device, the script is read from the directory of the file system. When the script storage unit 130 is implemented as a web server outside the mobile device The script is downloaded from the web server.

웹브라우저(105)는 독출하거나 다운로드한 상기 스크립트를 실행하여 통신 네트워크(140)를 거쳐 웹서버(160, 170, 180)의 웹 페이지로부터 필요한 정보를 추출하여 가져온다.(S320 단계)The web browser 105 executes the script read or downloaded to extract necessary information from the web pages of the web servers 160, 170, and 180 via the communication network 140 (step S320)

웹브라우저(105)가 스크립트를 실행할 때, 스크립트에 존재하는 명령어가 웹브라우저(105)가 처리 가능하지 않은 것이 있을 수 있다. 예를 들어, 하드웨어를 제어하거나 GPS를 ON/OFF시키거나 파일을 읽는 등은 웹브라우저가 수행하지 못하는 경우가 있다. 이런 경우에는 웹 플러그인(103)이 수행할 수 있다. 즉, 상기 스크립트에 상기 웹 브라우저(105)가 처리할 수 있는 명령어는 웹 브라우저(105)가 명령어를 처리하고(S350단계), 웹 브라우저(105)가 처리할 수 없는 명령어가 있을 경우에는(S330단계), 웹 플러그 인(103)이 상기 명령어를 처리한다.(S340단계)When the web browser 105 executes the script, the command present in the script may not be processable by the web browser 105. [ For example, the web browser may not be able to control the hardware, turn on / off the GPS, read the file, or the like. In this case, the Web plug-in 103 can perform this. That is, the command that the web browser 105 can process in the script is a command that the web browser 105 processes the command in step S350. If there is a command that the web browser 105 can not process, , The Web plug-in 103 processes the command (step S340)

이렇게 하여 스크립트에 존재하는 명령어들이 모두 처리되면(S360단계), 상기 모바일 디바이스의 웹브라우저(105)가 상기 스크립트 실행 결과 추출된 정보를 웹 플러그 인(103)에게 전달한다.(S370단계) 그리고 나서 웹 플러그 인(103)으로부터 상기 추출된 정보를 받아 사용자 인터페이스부(101)를 통해 원하는 형태로 사용자 인터페이스 화면에 디스플레이한다.(S380단계) 상기 추출된 정보를 사용자가 원하는 형태로 사용자 인터페이스 화면에 디스플레이하는 것을 웹플러그인(103)이 할 수도 있다.When all of the commands in the script are processed in step S360, the web browser 105 of the mobile device delivers the information extracted as a result of executing the script to the web plug-in 103 in step S370. The extracted information is received from the Web plug-in 103 and displayed on the user interface screen in a desired form via the user interface unit 101. In step S380, the extracted information is displayed on a user interface screen The Web plug-in 103 may do so.

도 4는 본 발명이 적용되는 전체 시스템의 구성을 나타낸 것으로서, 전체 시스템은 모바일 디바이스(400), 스크립트 저장부(430) 및 웹서비스 프로그램이 있는 외부 웹서버(470)로 이루어지며, 모바일 디바이스(400)와 웹서버(470)는 통신망(480)을 통해 서로 통신한다. 여기서 스크립트 저장부(430)는 모바일 디바이스(400) 내에 위치할 수도 있다. FIG. 4 shows a configuration of an entire system to which the present invention is applied. The overall system includes a mobile device 400, a script storage unit 430, and an external web server 470 having a web service program. 400 and the web server 470 communicate with each other through a communication network 480. [ Here, the script storage unit 430 may be located in the mobile device 400.

모바일 디바이스(400)는 안드로이드(Android), iOS, 윈도우(Windows), 블랙베리(Blackberry), 심비안 (Symbian), 웹OS, 바다(Bada) 등 운영체제가 탑재되어 있다. 모바일 디바이스(400)의 운영체제에 앱(app)이 설치되고, 상기 앱에는 운영체제 별로 웹브라우저(402), 사용자 인터페이스화면(406) 및 웹브라우저(402)와 사용자 인터페이스화면(406)을 인터페이스하는 웹플러그인(404)가 포함되는 것이 바람직하다.The mobile device 400 is equipped with an operating system such as Android, iOS, Windows, Blackberry, Symbian, Web OS, and Bada. An app is installed in the operating system of the mobile device 400 and the app is provided with a web browser 402, a user interface screen 406 and a web interface 406, which interfaces the web browser 402 and the user interface screen 406, Preferably, a plug-in 404 is included.

웹브라우저(WebBrowser,엔진, 402)는 스크립트 명령을 처리하는 엔진으로서, 컴퓨터의 IE(인터넷 익스플로어)와 같이 웹 사이트를 조회할 수 있는 프로그램으로서 모바일 디바이스에 탑재되어 있다.A web browser (Web browser, engine, 402) is an engine for processing a script command, and is installed in a mobile device as a program for browsing a web site, such as an IE (Internet Explorer) of a computer.

웹 플러그 인(WebPlugin, 404)은 사용자 인터페이스 화면(406)과 웹 브라우저(엔진, 404)과의 인터페이스를 담당하며, 웹브라우저(404)서 처리할 수 없고 Native코드에서만 처리 가능한 함수(Function)을 구현 한 모듈이다.The Web plug-in 404 manages the interface between the user interface screen 406 and the web browser (engine 404), and functions that can not be processed by the web browser 404 but can be processed only in the native code It is a module implemented.

상기 스크립트는 표준 HTML문서에서 사용되어 인터랙티브(interactive)한 웹 페이지 개발을 위해 사용되는 function들의 그룹이며 일반적으로 자바 스크립트(javascript)로 작성된다. 또한 스크래핑을 위한 명령들이 상기 함수(function)들로 작성된다. 스크립트의 예를 들면, 이메일 웹서비스 프로그램의 HTML/스크립트(472)로부터 원하는 정보를 추출하여 가져오는 이메일 정보 수집 스크립트(432)가 있을 수 있다. 또한 금융정보 웹서비스 프로그램의 HTML/스크립트(474)로부터 원하는 정보를 추출하여 가져오는 금융정보 수집 스크립트(434)가 있을 수 있으며, 포탈뉴스 웹서비스 프로그램의 HTML/스크립트(476)로부터 원하는 정보를 추출하여 가져오는 뉴스정보 수집 스크립트(436)가 있을 수 있다. The script is a group of functions used in a standard HTML document to develop an interactive web page and is generally written in JavaScript. Also, commands for scraping are created with the above functions. For example, there may be an email information collection script 432 that extracts and retrieves desired information from the HTML / script 472 of the email web service program. There may also be a financial information collection script 434 that extracts and retrieves desired information from the HTML / script 474 of the financial information web service program, extracts desired information from the HTML / script 476 of the portal news web service program, There may be a news information collection script 436 fetching the news information.

그리고 스크립트 저장부(Script Storage, 430)는 스크립트, 예를 들어 이메일 정보 수집 스크립트(432), 금융정보 수집 스크립트(434) 및 뉴스정보 수집 스크립트(436) 등을 저장하며, 웹 서버나 모바일 디바이스의 파일 시스템의 디렉토리(Directiory) 등이 될 수 있다. The script storage 430 stores a script, for example, an e-mail information collection script 432, a financial information collection script 434, a news information collection script 436, Directory of the file system (Directiory), and so on.

도 4의 시스템 동작을 설명하면, 먼저 데이터를 추출할 웹 사이트의 HTML/Script를 분석하여 원하는 데이터만 추출 하는 스크립트를 작성하여 스크립트 저장부(430)에 저장해 둔다.4, first, a script for extracting desired data is analyzed by analyzing HTML / Script of a web site from which data is to be extracted, and is stored in the script storage unit 430.

사용자가 모바일 디바이스(400)에 탑재된 앱(App)을 통해 원하는 정보를 스크래핑하여 보기를 원하면, UI화면(406)을 통해 원하는 스크래핑 서비스 정보와 ID 패스워드 등 필요한 입력값을 입력하면, 서비스 하고자 하는 기능을 수행할 스크립트를 스크립트 저장부(430)에서 다운로드 한다. 다운로드 된 스크립트를 앱(App)에 내장된 운영체제 별 웹 브라우저(WebBrowser)를 이용하여 실행하여 원하는 정보를 추출하여 가져온다. 그리고 사용자 인터페이스 화면과의 인터페이스는 웹 플러그 인(Web Plugin) 이용하고, 추출된 데이터를 원하는 형태로 사용자 인터페이스(UI) 화면으로 구성한다.When a user desires to view desired information through an app installed in the mobile device 400 and inputs desired input values such as desired scraping service information and ID password through the UI screen 406, And downloads the script for performing the function in the script storage unit 430. [ The downloaded script is executed by using a web browser (WebBrowser) according to the operating system embedded in the app (App) to extract desired information. The interface with the user interface screen uses a Web plugin, and the extracted data is configured into a user interface (UI) screen in a desired form.

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. The present invention can be embodied as a computer readable code on a computer-readable recording medium (including all devices having an information processing function). A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of computer-readable recording devices include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

100 : 모바일 디바이스 101 : 사용자 인터페이스부
103 : 웹 플러그 인 105 : 웹 브라우저
107 ; 앱 109 : 모바일 디바이스 운영체제
130 : 스크립트 저장부 132 : 이메일 정보 수집 스크립트
134 : 금융정보 수집 스크립트 136 : 포탈뉴스 정보 스크립트
140 : 통신 네트워크 150 : 사용자
160 : 이메일 웹서버 162 : 이메일 웹서비스
170 : 금융정보 웹 서버 172 : 금융웹 서비스
180 : 포탈뉴스 웹서버 192 : 포탈뉴스 웹서비스
400 : 모바일 디바이스 402 : 웹브라우저
404 : 웹 플러그 인 406 : UI화면
430 : 스크립트 저장부 432 : 이메일 정보 수집 스크립트
434 : 금융정보 수집 스크립트 436 : 뉴스 정보 수집 스크립트
470 : 웹서비스 프로그램 472 : 이메일 HTML/Script
474 : 금융정보 HTML/Script 476 : 포탈뉴스 HTML/Script
480 : 통신 네트워크100: mobile device 101: user interface unit
103: Web plug-in 105: Web browser
107; App 109: Mobile device operating system
130: Script storage unit 132: Email information collection script
134: Financial Information Collection Script 136: Portal News Information Script
140: communication network 150: user
160: Email Web Server 162: Email Web Service
170: financial information web server 172: financial web service
180: Portal News Web Server 192: Portal News Web Services
400: Mobile device 402: Web browser
404: Web Plugin 406: UI Screen
430: Script storage unit 432: Email information collection script
434: Financial information collection script 436: News information collection script
470: Web service program 472: Email HTML / Script
474: Financial Information HTML / Script 476: Portal News HTML / Script
480: Communication network

Claims (11)

웹 서버에 접속하여 웹 페이지로부터 필요한 정보를 추출하여 가져오는 스크립트를 생성하는 단계;
상기 스크립트에 상기 웹 브라우저가 처리할 수 없는 명령어가 있을 경우, 웹 플러그 인이 상기 명령어를 처리하는 단계;
모바일 디바이스에 탑재된 운영체제에서 동작하는 웹 브라우저가 상기 생성된 스크립트를 실행하는 단계; 및
상기 스크립트 실행 결과 추출된 정보를 모바일 디바이스의 사용자 인터페이스 화면에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스에서의 웹 스크린 스크래핑 방법.Generating a script for accessing a web server and extracting necessary information from a web page and fetching the fetched information;
Processing the command by the web plug-in if the script contains an instruction that the web browser can not process;
Executing a generated script by a web browser operating in an operating system installed in the mobile device; And
And displaying the extracted information on the user interface screen of the mobile device as a result of the execution of the script. 삭제delete 제1항에 있어서, 상기 스크립트 실행 결과 추출된 정보를 사용자 인터페이스 화면에 디스플레이하는 단계는
상기 모바일 디바이스의 웹브라우저가 상기 스크립트 실행 결과 추출된 정보를 웹 플러그 인에게 전달하는 단계; 및
상기 웹 플러그 인으로부터 상기 추출된 정보를 받아 사용자 인터페이스 화면에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스에서의 웹 스크린 스크래핑 방법. The method of claim 1, wherein displaying the extracted information on the user interface screen
Transmitting information extracted by the web browser of the mobile device to the web plug-in; And
And receiving the extracted information from the web plug-in, and displaying the web screen on the user interface screen. 스크래핑 기술을 이용한 서비스에 필요한 스크래핑 서비스 정보와 입력 값을 받아들이는, 모바일 디바이스의 사용자 인터페이스 화면을 제공하는 단계;
상기 사용자 인터페이스 화면을 통해 사용자로부터 상기 스크래핑 서비스 정보와 입력 값이 입력되면, 웹 플러그 인에 상기 스크래핑 서비스 정보와 상기 입력 값을 전달하는 단계;
상기 웹 플러그 인에게 상기 스크래핑 서비스 정보와 입력 값이 전달되면, 상기 모바일 디바이스에 설치된 앱에 내장된 웹브라우저가 상기 스크래핑 서비스 정보에 상응하는 스크래핑 서비스를 위한 스크립트를 스크립트 저장부로부터 읽어오는 단계;
상기 웹브라우저가 상기 읽어온 스크립트를 실행하여 웹 페이지로부터 필요한 정보를 추출하여 가져오는 단계; 및
상기 추출된 정보를 사용자 인터페이스 화면에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스에서의 웹 스크린 스크래핑 방법Providing a user interface screen of a mobile device for receiving scraping service information and input values necessary for a service using scraping technology;
Transmitting the scraping service information and the input value to a web plug-in when the scraping service information and an input value are inputted from a user through the user interface screen;
Reading a script for a scraping service corresponding to the scraping service information from a script storage unit when the scraping service information and the input value are transmitted to the web plug-in, the web browser built in the application installed in the mobile device;
Extracting necessary information from a web page by executing the script read by the web browser; And
And displaying the extracted information on a user interface screen. The web screen scraping method in a mobile device 제4항에 있어서, 상기 스크립트 실행단계는
상기 스크립트에 상기 웹 브라우저가 처리할 수 없는 명령어가 있을 경우, 웹 플러그 인이 상기 명령어를 처리하는 단계를 더 포함하는 것을 특징으로 하는 모바일 디바이스에서의 웹 스크린 스크래핑 방법.5. The method according to claim 4, wherein the step
Further comprising the step of the web plug-in processing the command if the script has an instruction that the web browser can not process. 제4항 또는 제5항에 있어서, 상기 스크립트 실행 결과 추출된 정보를 사용자 인터페이스 화면에 디스플레이하는 단계는
상기 모바일 디바이스에 탑재된 웹브라우저가 상기 스크립트 실행 결과 추출된 정보를 웹 플러그 인에게 전달하는 단계; 및
상기 웹 플러그 인으로부터 상기 추출된 정보를 받아 사용자 인터페이스 화면에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 모바일 디바이스에서의 웹 스크린 스크래핑 방법.The method as claimed in claim 4 or 5, wherein the step of displaying the extracted information on the user interface screen
Transmitting information extracted by the web browser installed in the mobile device to the web plug-in; And
And receiving the extracted information from the web plug-in, and displaying the web screen on the user interface screen. 스크래핑 기술을 이용한 서비스에 필요한 스크래핑 서비스 정보에 대한 정보와 입력 값을 받아들이는 사용자 인터페이스 화면을 제공하는 사용자 인터페이스부;
상기 서비스를 제공하기 위한 스크립트를 실행하는 웹 브라우저; 및
상기 사용자 인터페이스 화면과 상기 웹 브라우저 간의 인터페이스를 제공하고, 상기 사용자 인터페이스 화면을 통해 사용자로부터 상기 입력 값이 입력되면, 상기 웹 브라우저에게 전달하는 웹 플러그인을 포함하고,
상기 웹브라우저는
상기 웹 플러그 인에게 상기 스크래핑 서비스 정보와 입력 값이 전달되면, 상기 스크래핑 서비스 정보에 상응하는 스크래핑 서비스를 위한 스크립트를 실행하여 웹 페이지로부터 필요한 정보를 추출하여 가져오고,
상기 추출된 정보는 상기 사용자 인터페이스 화면에 디스플레이되는 것을 특징으로 하는 웹 스크린 스크래핑을 제공하는 모바일 디바이스.A user interface unit for providing information on scraping service information necessary for a service using scraping technology and a user interface screen for receiving an input value;
A web browser for executing a script for providing the service; And
And a web plug-in providing an interface between the user interface screen and the web browser, and transmitting the input value to the web browser when the input value is input from the user through the user interface screen,
The web browser
When the scraping service information and the input value are transmitted to the web plug-in, a script for the scraping service corresponding to the scraping service information is executed to extract necessary information from the web page,
Wherein the extracted information is displayed on the user interface screen. 제7항에 있어서,
스크래핑 기술을 이용한 서비스를 제공하기 위해, 상기 스크래핑을 위한 명령들을 포함하는 적어도 하나의 스크립트를 저장하는 스크립트 저장부를 더 포함하는 것을 특징으로 하는 웹 스크린 스크래핑을 제공하는 모바일 디바이스.8. The method of claim 7,
Further comprising a script storage for storing at least one script including instructions for scraping to provide a service using the scraping technique. 제7항에 있어서, 상기 웹 플러그 인은
상기 스크립트에 상기 웹 브라우저가 처리할 수 없는 명령어가 있을 경우, 상기 명령어를 처리하고, 상기 모바일 디바이스에 탑재된 웹브라우저로부터 상기 스크립트 실행 결과 추출된 정보를 수신하여 사용자 인터페이스 화면에 디스플레이되도록 상기 사용자 인터페이스부에 전달하는 것을 특징으로 하는 웹 스크린 스크래핑을 제공하는 모바일 디바이스.8. The method of claim 7, wherein the web plug-
Wherein the script processing unit processes the command if the script has an instruction that can not be processed by the web browser, receives information extracted as a result of execution of the script from a web browser installed in the mobile device, And delivering the web screen scraping to the mobile device. 제7항에 있어서, 상기 웹 브라우저, 상기 웹 플러그 인 및 상기 사용자 인터페이스부는
모바일 디바이스에 탑재된 운영체제에서 동작하는 앱에 포함되어 있는 것을 특징으로 하는 웹 스크린 스크래핑을 제공하는 모바일 디바이스.8. The system according to claim 7, wherein the web browser, the web plug-in,
A mobile device providing web screen scraping characterized in that it is included in an app running on an operating system mounted on the mobile device. 스크래핑 기술을 이용한 서비스에 필요한 입력 값을 받아들이는, 모바일 디바이스의 사용자 인터페이스 화면을 제공하는 단계;
상기 사용자 인터페이스 화면을 통해 사용자로부터 상기 입력 값이 입력되면, 웹 플러그 인에 상기 입력 값을 전달하는 단계;
상기 웹 플러그 인에게 상기 입력 값이 전달되면, 상기 모바일 디바이스에 설치된 앱에 내장된 웹브라우저가 상기 입력값에 상응하는 스크래핑 서비스를 위한 스크립트를 스크립트 저장부로부터 읽어오는 단계;
상기 웹브라우저가 상기 읽어온 스크립트를 실행하여 웹 페이지로부터 필요한 정보를 추출하여 가져오는 단계; 및
상기 추출된 정보를 사용자 인터페이스 화면에 디스플레이하는 단계를 모바일 디바이스에서 실행하는 프로그램을 기록한 기록매체.

Providing a user interface screen of the mobile device for accepting input values necessary for the service using the scraping technique;
Transmitting the input value to a web plug-in when the input value is input from the user through the user interface screen;
Reading a script for a scraping service corresponding to the input value from a script storage unit when a web browser built in an application installed in the mobile device transfers the input value to the web plug-in;
Extracting necessary information from a web page by executing the script read by the web browser; And
And displaying the extracted information on a user interface screen.

KR1020120095868A 2012-08-30 2012-08-30 Method for scraping web screen in mobile device and mobile device providing web screen scraping KR101402146B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120095868A KR101402146B1 (en) 2012-08-30 2012-08-30 Method for scraping web screen in mobile device and mobile device providing web screen scraping

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120095868A KR101402146B1 (en) 2012-08-30 2012-08-30 Method for scraping web screen in mobile device and mobile device providing web screen scraping

Publications (2)

Publication Number Publication Date
KR20140028789A KR20140028789A (en) 2014-03-10
KR101402146B1 true KR101402146B1 (en) 2014-06-03

Family

ID=50642114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120095868A KR101402146B1 (en) 2012-08-30 2012-08-30 Method for scraping web screen in mobile device and mobile device providing web screen scraping

Country Status (1)

Country Link
KR (1) KR101402146B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021237394A1 (en) * 2020-05-25 2021-12-02 Microsoft Technology Licensing, Llc A crawler of web automation scripts

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101681462B1 (en) * 2015-05-28 2016-12-02 알서포트 주식회사 Information processing method using browser and separate session quasi plug-in
KR102340474B1 (en) * 2018-04-25 2021-12-20 주식회사쿠콘 System, method and computer program for data scrapping using script engine
KR102009336B1 (en) * 2018-04-25 2019-08-12 주식회사쿠콘 Apparatus, method and computer program for cloud scrapping using pre-scrapped bigdata
KR101982085B1 (en) 2018-04-25 2019-05-27 주식회사쿠콘 System, method and computer program for data scrapping using script engine
KR102575253B1 (en) * 2021-04-07 2023-09-06 주식회사 카카오뱅크 Method for automation of scraping and server performing the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100132576A (en) * 2009-06-10 2010-12-20 (주)비즈스프링 System for analyzing web-log of website dynamic page using scraping and parsing and method for analyzing web-log of website dynamic page

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100132576A (en) * 2009-06-10 2010-12-20 (주)비즈스프링 System for analyzing web-log of website dynamic page using scraping and parsing and method for analyzing web-log of website dynamic page

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021237394A1 (en) * 2020-05-25 2021-12-02 Microsoft Technology Licensing, Llc A crawler of web automation scripts

Also Published As

Publication number Publication date
KR20140028789A (en) 2014-03-10

Similar Documents

Publication Publication Date Title
US10831858B2 (en) Mobile enablement of existing web sites
KR101402146B1 (en) Method for scraping web screen in mobile device and mobile device providing web screen scraping
US20130263023A1 (en) Graphical Overlay Related To Data Mining and Analytics
US9485240B2 (en) Multi-account login method and apparatus
EP3273362A1 (en) Webpage access method, apparatus, device and non-volatile computer storage medium
US20150378685A1 (en) Mobilizing an existing web application
US20200357007A1 (en) Page data acquisition method, apparatus, server, electronic device and computer readable medium
KR101680509B1 (en) System and method to enable web property access to a native application
EP3011452A1 (en) Capturing website content through capture services
US9208235B1 (en) Systems and methods for profiling web applications
CN103530292A (en) Webpage displaying method and device
CN110808868B (en) Test data acquisition method and device, computer equipment and storage medium
CN112956157A (en) System and method for tracking client device events
US11347931B2 (en) Process for creating a fixed length representation of a variable length input
KR20090102252A (en) System for providing personalized contents and method thereof
CN113076294A (en) Information sharing method and device
CN111222069B (en) Report component adjustment method and device and related equipment
US9571557B2 (en) Script caching method and information processing device utilizing the same
US9998559B2 (en) Preemptive caching of data
US9436669B1 (en) Systems and methods for interfacing with dynamic web forms
CN108829828B (en) Webpage display method and device, electronic equipment and readable storage medium
US20180004802A1 (en) User interface for searching referenced information
CN111222067B (en) Information generation method and device
CN112287261A (en) Resource loading method and electronic equipment
CN112307386A (en) Information monitoring method, system, electronic device and computer readable storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170510

Year of fee payment: 6