KR20120122959A - 웹 컨텐츠 수집방법 및 수집장치, 그 기록매체 - Google Patents

웹 컨텐츠 수집방법 및 수집장치, 그 기록매체 Download PDF

Info

Publication number
KR20120122959A
KR20120122959A KR1020120044627A KR20120044627A KR20120122959A KR 20120122959 A KR20120122959 A KR 20120122959A KR 1020120044627 A KR1020120044627 A KR 1020120044627A KR 20120044627 A KR20120044627 A KR 20120044627A KR 20120122959 A KR20120122959 A KR 20120122959A
Authority
KR
South Korea
Prior art keywords
url
page
screen
web content
web
Prior art date
Application number
KR1020120044627A
Other languages
English (en)
Other versions
KR101287371B1 (ko
Inventor
김일철
최인철
박종일
박승훈
Original Assignee
(주)나모인터랙티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)나모인터랙티브 filed Critical (주)나모인터랙티브
Publication of KR20120122959A publication Critical patent/KR20120122959A/ko
Application granted granted Critical
Publication of KR101287371B1 publication Critical patent/KR101287371B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577—Optimising the visualization of content, e.g. distillation of HTML documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 웹 컨텐츠 수집방법 및 수집장치, 그 기록매체에 관한 것이다.
본 발명의 일실시예에 따르면, 웹 서버와 연동되는 모바일 컨텐츠 제공서버의 웹 컨텐츠 수집장치에서 실행되며, 제1 화면 조건에 맞추어 구축된 웹 컨텐츠를 제2 화면 조건에 맞추어 변환 제공하기 위한 웹 컨텐츠 수집방법으로서, (a) 제1 화면 조건에 맞추어 상기 웹 서버에 기 구축된 웹 컨텐츠의 시작 URL과 변환 제공될 제2 화면 조건을 설정 페이지를 통해 입력받고, 선택된 대상 영역에 대한 크롤링을 시작하는 단계; (b) 상기 선택된 대상 영역을 시작 페이지로서 저장하고, 선택된 대상 영역에서 추출된 URL을 URL 버퍼(Buffer)에 추가하는 단계; (c) URL 버퍼에 웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는 경우, 해당 URL에 접근해서 페이지를 로딩하는 단계; (d) 로딩한 페이지에서 URL을 추출하고, 이미 웹 컨텐츠를 수집한 페이지의 URL이 아닌 것으로 확인되는 경우 해당 URL을 URL 버퍼에 추가하는 단계; (e) 상기 각 URL에 해당하는 페이지의 HTML 데이터에서 각 구성 파일들을 파싱하여 추출하고 저장하는 단계; (f) 상기 각 페이지의 HTML 데이터에서 해당 구성 파일들에 대한 경로를 모바일 컨텐츠 제공서버로 변경하는 단계; 및 (g) 상기 각 페이지의 HTML 데이터를 상기 제2 화면 조건에 맞추어 변환 및 저장하는 단계;를 포함하여 구성된 웹 컨텐츠 수집방법이 개시된다.

Description

웹 컨텐츠 수집방법 및 수집장치, 그 기록매체 {Method and Device for Collecting Web Contents and Computer-readable Recording Medium for the same}
본 발명은 웹 컨텐츠 수집방법 및 수집장치, 그 기록매체에 관한 것으로서, 타겟이 되는 웹 사이트의 기본 URL을 이용하여 링크된 각 URL 정보를 자동 수집하며, 각 URL에 해당하는 웹 컨텐츠를 자동 수집하고 이미지, 자바 스크립트, CSS 등의 파일을 자동 파싱하여 저장함으로써, 해당 웹 사이트에 포함된 웹 컨텐츠를 모바일용 웹 사이트 등 다른 구조의 웹 컨텐츠로 변형 저작 가능하도록 수집 제공할 수 있는 웹 컨텐츠 수집방법 및 수집장치, 그 기록매체에 관한 것이다.
EMS(Enterprise Mobility Service, 기업형 모바일 서비스)는 기업이 모바일 기기, 모바일 솔루션, 네트워크 통신망 등을 활용하여 언제 어디서나 실시간 업무를 가능케 함으로써 자사의 업무효율성을 높이고, 고객의 만족을 높이며, 기업 성과를 향상시키는 서비스로서, 최근 그 활용이 확산 되는 추세이다.
이처럼 EMS가 최근에 주목받는 이유는, 모바일 오피스가 필요한 기업 업무 특성으로의 변화, 스마트폰의 본격적인 도입 확대, SaaS(Software as a Service) 모델의 본격적 등장 등에 기인하며, 모바일 오피스가 필요한 기업 업무 특성으로 변화기업들의 글로벌화가 빠르게 진행되고 고객에게 밀착된 업무가 늘어나게 됨에 따라, 종업원이 사무실을 떠나 원거리에서 자신의 업무를 처리해야 할 필요성이 높아지게 되어, 기업중심의 모바일 컨텐츠 정보전달 솔루션에 대한 니즈가 빠르게 증가했기 때문이다.
기존의 EMS의 일예를 보면, 도 1과 같이 대기업 등이 활용하고 있는 데스크 탑 환경의 그룹웨어를 별도의 작업을 통해 모바일 환경으로 확장 구축하는 사례가 보편적이었다.
그러나, 이러한 형태의 EMS 제공 모델은 데스크 탑 환경의 그룹웨어의 구축과 별도로 모바일 환경의 그룹웨어 구축을 하는 방식이므로, 데스크 탑 환경에서 구축된 그룹웨어의 웹 컨텐츠를 직접 활용하지 못하고 새로운 모바일 컨텐츠 구축 작업이 이뤄져야 한다는 문제점이 있었다.
상기 종래 기술에 따른 문제점을 해결하기 위한 본 발명의 목적은, 타겟이 되는 웹 사이트의 기본 URL을 이용하여 링크된 각 URL 정보를 자동 수집하며, 각 URL에 해당하는 웹 컨텐츠를 자동 수집하고 이미지, 자바 스크립트, CSS 등의 파일을 자동 파싱하여 저장함으로써, 해당 웹 사이트에 포함된 웹 컨텐츠를 모바일용 웹 사이트 등 다른 구조의 웹 컨텐츠로 변형 저작 가능하도록 수집 제공할 수 있는 웹 컨텐츠 수집방법 및 수집장치, 그 기록매체를 제공하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일실시예는, 웹 서버와 연동되는 모바일 컨텐츠 제공서버의 웹 컨텐츠 수집장치에서 실행되며, 제1 화면 조건에 맞추어 구축된 웹 컨텐츠를 제2 화면 조건에 맞추어 변환 제공하기 위한 웹 컨텐츠 수집방법으로서, (a) 제1 화면 조건에 맞추어 상기 웹 서버에 기 구축된 웹 컨텐츠의 시작 URL과 변환 제공될 제2 화면 조건을 설정 페이지를 통해 입력받고, 선택된 대상 영역에 대한 크롤링을 시작하는 단계; (b) 상기 선택된 대상 영역을 시작 페이지로서 저장하고, 선택된 대상 영역에서 추출된 URL을 URL 버퍼(Buffer)에 추가하는 단계; (c) URL 버퍼에 웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는 경우, 해당 URL에 접근해서 페이지를 로딩하는 단계; (d) 로딩한 페이지에서 URL을 추출하고, 이미 웹 컨텐츠를 수집한 페이지의 URL이 아닌 것으로 확인되는 경우 해당 URL을 URL 버퍼에 추가하는 단계; (e) 상기 각 URL에 해당하는 페이지의 HTML 데이터에서 각 구성 파일들을 파싱하여 추출하고 저장하는 단계; (f) 상기 각 페이지의 HTML 데이터에서 해당 구성 파일들에 대한 경로를 모바일 컨텐츠 제공서버로 변경하는 단계; 및 (g) 상기 각 페이지의 HTML 데이터를 상기 제2 화면 조건에 맞추어 변환 및 저장하는 단계;를 포함하여 구성된다.
본 발명의 다른 측면에 따르면, 상기 웹 컨텐츠 수집방법의 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
본 발명의 또 다른 측면에 따른 일실시예는, 웹 서버와 연동되는 모바일 컨텐츠 제공서버에 구비되며, 제1 화면 조건에 맞추어 구축된 웹 컨텐츠를 제2 화면 조건에 맞추어 변환 제공하기 위한 웹 컨텐츠 수집장치로서, 제1 화면 조건에 맞추어 상기 웹 서버에 기 구축된 웹 컨텐츠의 시작 URL과 변환 제공될 제2 화면 조건을 설정 페이지를 통해 입력받고, 선택된 대상 영역에 대한 크롤링을 시작하는 기능과, 상기 선택된 대상 영역을 시작 페이지로서 저장하고, 선택된 대상 영역에서 추출된 URL을 URL 버퍼(Buffer)에 추가하는 기능과, URL 버퍼에 웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는 경우, 해당 URL에 접근해서 페이지를 로딩하는 기능과, 로딩한 페이지에서 URL을 추출하고, 이미 웹 컨텐츠를 수집한 페이지의 URL이 아닌 것으로 확인되는 경우 해당 URL을 URL 버퍼에 추가하는 기능을 적어도 실행하는 크롤러 컨트롤러; 및 상기 각 URL에 해당하는 페이지의 HTML 데이터에서 각 구성 파일들을 파싱하여 추출하고 저장하는 기능과, 상기 각 페이지의 HTML 데이터에서 해당 구성 파일들에 대한 경로를 모바일 컨텐츠 제공서버로 변경하는 기능과, 상기 각 페이지의 HTML 데이터를 상기 제2 화면 조건에 맞추어 변환 및 저장하는 기능을 적어도 실행하는 파서;를 포함하여 구성된다.
본 발명에 따르면, 타겟이 되는 웹 사이트의 웹 컨텐츠를 자동 수집하고 이미지, 자바 스크립트, CSS 등의 파일을 자동 파싱하여 저장함으로써, 해당 웹 사이트에 포함된 웹 컨텐츠를 다양한 목적으로 변환 구성 내지 저장하는 것을 가능하게 해준다.
예를 들어, 데스크 탑용 웹 페이지를 자동 수집 및 파싱하여, 모바일용 웹 페이지로 변환하기 위한 소스를 제공할 수 있다.
다른 예로서, 서버 상에 로봇(Robot)의 개념으로 설치된 후, 배치(Batch)의 개념으로 특정 웹 사이트를 주기적으로 변환하여, 불특정 다수의 대상자 들에게 제공해주는 서비스 로봇의 개념으로도 활용 가능하다.
또한, 특정 웹 사이트의 소스를 백업할 때, 무작위적 자동 백업이 아닌, 의미 있는(Semantic), 즉, 테이블 영역, 이미지 영역, 첨부 영역 등의 소스들로 구분하여 백업하는 스마트 백업(Smart Back-up) 시스템의 구축도 가능하게 해준다.
도 1은 데스크 탑 환경 그룹웨어와 모바일 환경 그룹웨어가 연동하는 형태의 EMS 솔루션 예시 개념도,
도 2는 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치가 구비된 모바일 컨텐츠 제공서버의 전체 시스템 구성도,
도 3은 본 발명의 일실시예에 의한 모바일 컨텐츠 제공서버의 구성도,
도 4는 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 구성도,
도 5는 본 발명의 일실시예에 의한 웹 컨텐츠 수집방법의 흐름도,
도 6은 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 UI 화면의 일예,
도 7은 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 UI 화면으로서, (a)는 웹 페이지 전체를 크롤링 하는 경우, (b)는 웹 페이지 중 일부 영역 지정하여 크롤링 하는 경우의 일예,
도 8은 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 UI 화면으로서, 지정된 영역이 크롤링된 화면의 일예,
도 9는 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 UI 화면으로서, 크롤링을 진행하는 화면의 일예,
도 10은 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 UI 화면으로서, 변환(Translation)이 완료된 화면의 일예,
도 11은 본 발명의 일실시예에 의한 모바일 컨텐츠 제공서버의 UI 화면으로서, 모바일 단말용 템플릿 저작 화면의 일예,
도 12는 본 발명의 일실시예에 의한 모바일 컨텐츠 제공서버의 UI 화면으로서, 모바일 단말용 템플릿을 소스 에디터로 가공하는 화면의 일예,
도 13은 본 발명의 일실시예에 의한 모바일 컨텐츠 제공서버에 의한 변환 전후의 화면으로서, (a)는 데스크 탑용 화면, (b)는 모바일 단말용 화면의 일예이다.
본 발명은 그 기술적 사상 또는 주요한 특징으로부터 벗어남이 없이 다른 여러가지 형태로 실시될 수 있다. 따라서, 본 발명의 실시예들은 모든 점에서 단순한 예시에 지나지 않으며 한정적으로 해석되어서는 안 된다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구비하다", "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 2는 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치가 구비된 모바일 컨텐츠 제공서버의 전체 시스템 구성도, 도 3은 본 발명의 일실시예에 의한 모바일 컨텐츠 제공서버의 구성도이다.
본 실시예의 웹 컨텐츠 수집장치(100)는 모바일 컨텐츠 제공서버(1000)에 구비된다. 예시된 모바일 컨텐츠 제공서버(1000)는, 데스크 탑 웹 서버(2000) 및 모바일 웹 서버(3000)와 통신 네트워크(10)로 연결되며, 데스크 탑 웹 서버(2000)에 구축된 웹 컨텐츠를 모바일 컨텐츠로 변환하여 모바일 웹 서버(3000)로 제공한다. 여기서, 기능적 설명의 편의상, 모바일 웹 서버(3000)가 본 실시예의 모바일 컨텐츠 제공서버(1000)와 별도의 구성요소인 것처럼 기재하였지만, 모바일 컨텐츠 제공과 모바일 웹 서비스 제공이 하나의 서버에서 통합적으로 구현될 수도 있음은 물론이다.
본 실시예의 모바일 컨텐츠 제공서버(1000)는 예를 들어, 모바일 컨텐츠 변환 대상이 되는 URL에 포함된 웹 컨텐츠를 수집하고, 각 구성 파일들을 파싱하여 추출하며 HTML 데이터를 모바일 컨텐츠 화면 조건에 맞추어 변환하여 컨텐츠 DB에 저장하는 웹 컨텐츠 수집장치(100)를 구비한다. 상기 각 구성 파일들은 이미지, 자바스크립트, CSS 파일중의 어느 하나일 수 있다.
본 실시예의 모바일 컨텐츠 제공서버(1000)는 또한, 수집된 웹 컨텐츠를 모바일 컨텐츠로 변환하여 제공하기 위한 모바일 컨텐츠용 템플릿을 생성하는 템플릿 관리장치(300)를 구비한다.
본 실시예의 모바일 컨텐츠 제공서버(1000)는 또한, 상기 컨텐츠 DB(1400)에 저장된 구성 파일 및 HTML 데이터를 상기 모바일 컨텐츠용 템플릿과 결합하여 렌더링하여 제공하는 렌더링 장치(200)를 구비한다.
데스크 탑 웹 서버(2000)는 통신 네트워크(10)를 통해 사용자의 데스크 탑 단말(2100)과 연결되며, 예를 들어, 이미지와 동영상, CSS(Cascading Style Sheets), 자바스크립트 등이 포함되어 HTML로 구현된 일반적인 웹 컨텐츠를 제공한다.
모바일 웹 서버(3000)는 통신 네트워크(10)를 통해 사용자의 모바일 단말(3100)과 연결되며, 모바일 단말(3100)의 모바일 컨텐츠 요청에 따라 해당 모바일 컨텐츠를 제공한다. 상기 모바일 단말은 예를 들어, 3G 또는 4G 방식의 이동통신 단말기가 될 수 있으며, 모바일 와이파이와 같은 무선 인터넷 방식의 모바일 단말이 될 수도 있다. 또한, 상기 통신 네트워크는 이러한 무선 접속을 가능하게 하는 다양한 공지의 무선 통신 네트워크가 될 수 있다.
모바일 컨텐츠 제공서버(1000)는, 본 실시예의 웹 컨텐츠 수집장치(100)를 통해 모바일 컨텐츠 변환 대상이 되는 URL(Uniform Resource Locator)에 포함된 웹 컨텐츠를 크롤링 방식으로 수집하고 각 구성 파일(예, 이미지, 동영상, CSS, 자바스크립트 등)들로 파싱하여 컨텐츠 DB(1400)에 저장한다.
본 실시예의 웹 컨텐츠 수집장치(100)는 데스크탑 화면에 맞추어 제작된 기존의 웹 컨텐츠를 크롤링 방식으로 수집하고, 컨텐츠 내용의 분리 및 파싱(parsing) 및 컨텐츠 DB 구조화를 수행하며, HTML문서에서 태그 정보 및 규칙 등을 통해 시맨틱 정보를 추출하여 문서를 재구성하는 기능을 할 수 있다.
본 실시예의 템플릿 관리장치(300)는 예를 들어, 수집된 웹 컨텐츠의 영역 중 모바일 컨텐츠 변환 대상이 되는 영역(예, 웹 페이지 상의 게시판, 캘린더 등)을 지정하는 기능과, 상기 지정된 영역이 서식(또는 기본 배열 요소)으로 포함된 표준 템플릿을 선택하는 기능과, 선택된 표준 템플릿의 디자인(예, 각 영역의 모양, 색채 등)을 선택하는 기능을 수행하는 표준 템플릿 관리 엔진(302)을 구비한다. 여기서, 상기 영역 지정 및 표준 템플릿 선택, 디자인 선택 등은 모바일 컨텐츠 제공서버(1000)의 관리자 단말(도면 미도시)을 통해 관리자의 선택 정보를 입력받는 방식으로 이뤄질 수도 있고, 관리자에 의해 미리 설정된 조건에 의거 자동으로 이뤄질 수도 있다. 또한, 상기 표준 템플릿은 예를 들어, 공지의 기술이 적용된 WYSIWYG 템플릿 저작도구(Template Editor)를 이용하여 관리자에 의해 미리 제작되어 템플릿 DB(1600)에 저장된 것일 수 있다.
템플릿 관리장치(300)는, 상기 선택된 표준 템플릿을 상기 웹 컨텐츠 수집장치(100)를 통해 입력받은 제2 화면 조건에 맞추어 변환 생성하는 기능을 수행하는 템플릿 재구성 엔진(304)을 구비한다. 여기서, 상기 화면 조건은 화면 폭(width) 값을 포함할 수 있다. 예를 들어, 입력된 화면 조건에 맞추어 템플릿 관리장치(300)는 선택된 표준 템플릿의 화면 폭을 변환할 수 있다.
모바일 컨텐츠 제공서버(1000)는 또한, 상기 컨텐츠 DB(1400)에 저장된 각 구성 파일들을 템플릿 DB(1600)에 저장된 다양한 모바일용 템플릿과 결합하고 렌더링 장치(200)를 통해 렌더링을 수행하여 모바일 컨텐츠로 변환하고, URL 맵핑을 통해 상기 웹 컨텐츠와 모바일 컨텐츠 간의 연관관계를 정의하여 모바일 컨텐츠 DB(1500)에 저장한다. 이를 통해, 다양한 형태의 웹 미디어 컨텐츠를 모바일에서 활용할 수 있는 형태의 모바일 미디어로 변환할 수 있다. 미설명된 부호 202는 컨텐츠 렌더링 엔진, 204는 컨텐츠 재구성 엔진을 나타낸다.
상기와 같은 모바일 변환 작업은 배치 방식 변환 또는 실시간 변환으로 이루어지며, 예를 들어, 실시간 변환의 경우, 사용자 단말(도면 미도시)의 요청이 있을 때마다 동적으로 실시간 변환을 수행할 수 있다.
또한, 모바일 컨텐츠 제공서버(1000)는 모바일 웹 서버(3000)에서 쉽게 활용할 수 있는 형태의 API(Application Programming Interface, 도면 미도시)를 제공할 수도 있으며, URL 맵퍼 모듈(도면 미도시)을 통해 기존 웹과 모바일 웹의 컨텐츠 간의 연관 관계를 정의할 수 있다.
상기 구성을 통해, 모바일 컨텐츠 제공서버(1000)는 렌더링 처리가 된 모바일 컨텐츠를 상기 모바일 웹 서버(3000)로 제공할 수 있다.
이와 같이, 본 실시예의 웹 컨텐츠 수집장치(100)는 모바일 컨텐츠 제공서버(1000)에 구비되어, 데스크 탑 웹 서버(2000)에 제1 화면 조건에 맞추어 구축된 웹 컨텐츠를 제2 화면 조건에 맞추어 모바일 컨텐츠로 변환하기 위한 기초 단계로서, 웹 컨텐츠의 수집을 실행할 수 있다.
여기서, 화면 조건이란, 데스크 탑용 컨텐츠를 모바일 컨텐츠로 변환 및 제공하기 위한 다양한 화면 구현 조건이 포함될 수 있으며, 특히 중요한 것은 화면 폭(width) 값이 된다.
도 4는 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 구성도이다.
본 실시예의 웹 컨텐츠 수집장치(100)는 데스크탑 웹 서버(2000)와 연동하여 웹 컨텐츠를 수집하며, 크롤러 컨트롤러(110) 및 파서(120)를 구비한다.
크롤러 컨트롤러(110)는 수집할 웹 컨텐츠의 URL(Uniform Resource Locator)(예를 들어, 웹 주소 및/또는 인터넷 주소)을 수집 내지 추출하되, 특히, 현재 URL로부터 다음의 수집 대상이 될 URL을 추출하는 것을 가장 중요한 기능으로 한다.
URL을 추출하는 방식은 정규표현식이 사용되는데, 정규표현식은 텍스트를 기술하기 위한 표현 방식으로, 텍스트를 탐색하거나 문자열을 조작하는데 있어서 강력한 문법을 제공한다. 정규표현식은 일치하는 텍스트를 검색하기 위해 패턴을 정의하는 문자들과 정규표현식을 사용해 향상된 패턴 매칭 능력을 제공한다. 정규표현식은 대상 사이트의 표현 방법에 따라 달라지게 되는데, 일반적인 하이퍼 링크 정보를 찾기 위한 패턴을 적용한다. URL 추출에 적용되는 정규표현식의 개념은 이미 다수 문헌을 통해 공지된 바 있으므로, 상세한 설명은 생략한다.
상기 크롤러 컨트롤러(110)는, 제1 화면 조건에 맞추어 상기 웹 서버에 기 구축된 웹 컨텐츠의 시작 URL과 변환 제공될 제2 화면 조건을 설정 페이지를 통해 입력받고, 선택된 대상 영역에 대한 크롤링을 시작하는 기능과, 상기 선택된 대상 영역을 시작 페이지로서 저장하고, 선택된 대상 영역에서 추출된 URL을 URL 버퍼(Buffer)에 추가하는 기능과, URL 버퍼에 웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는 경우, 해당 URL에 접근해서 페이지를 로딩하는 기능과, 로딩한 페이지에서 URL을 추출하고, 이미 웹 컨텐츠를 수집한 페이지의 URL이 아닌 것으로 확인되는 경우 해당 URL을 URL 버퍼에 추가하는 기능을 실행한다.
상기 크롤링 대상 영역 선택은 예를 들어, jQuery를 이용하여 DIV 단위로 선택하도록 할 수 있다. 이때, 자바스크립트를 사용하기 때문에 타 도메인에 있는 페이지에 접근하는데 문제가 있을 수도 있는데, 이를 위하여 프록시 서버에 저장된 페이지를 사용하거나 타 도메인의 페이지를 먼저 서버에 저장시킨 후에 이용하는 방법 등이 이용될 수 있다.
한편, 상기 크롤러 컨트롤러(110)의 각 기능들은 예를 들어, 크롤러 컨트롤러(110) 내에 구비된 프론티어(Frontier, 112)와 토스레드(ToeThreads, 114)를 포함한 각 프로세스 체인들의 상호 동작에 의해 구현될 수 있다.
프론티어(112)는 크롤링 될 다음 URL을 배포하는 것을 담당하며, 웹 서버가 너무 과도하게 크롤링 되지 않도록 기능한다. 하나의 URL이 크롤링 된 후, 그 URL은 프론티어(112)가 크롤링을 스케줄 해야 할 새롭게 발견된 URL과 함께 프론티어(112)로 재배포된다.
토스레드(114)는 멀티 스레드로 구현되며, 모든 URL은 그 자신의 스레드, 즉 토스레드(114)에 의해 다뤄진다. 토스레드(114)는 프론티어(112)에게 새로운 URL을 요청하고, 그 URL을 각 프로세서들에게 보내며, 그리고 나서 새로운 URL을 요청한다.
프로세서들(부호 미도시)은 예를 들어, 프로세서 체인들로 그룹 지어진다. 각 체인은 각 URL에 대하여 몇 가지 프로세싱을 실행한다. 하나의 프로세서가 하나의 URL에 대한 작업을 완료하면, 토스레드(114)는 그 URL이 모든 프로세서들에 의해 프로세싱이 완료될 때까지 그 URL을 다음 프로세서로 보낸다. 하나의 프로세서는 그 URL에 대하여 소정의 체인을 건너뛰도록 지시할 수 있다. 또한, 하나의 프로세서가 치명적 에러 메시지를 만들면, 해당 프로세싱은 포스트 프로세싱 체인(Post-processing chain)으로 건너뛴다.
한편, 상기 URL 버퍼는, 설정 페이지를 통해 입력되거나 각 페이지에서 추출한 URL로서 웹 컨텐츠 정보를 수집할 페이지에 관한 URL을 보관하는 대상 URL 버퍼(111a)와, 이미 웹 컨텐츠 정보를 수집한 페이지에 관한 URL을 보관하는 방문 URL 버퍼(111b)를 포함하여 구성된다.
상기 크롤러 컨트롤러(110)는, 웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는지 여부는 상기 대상 URL 버퍼(111a)를 통해 확인하며, 해당 URL에 접근해서 페이지를 로딩한 후, 해당 URL을 상기 대상 URL 버퍼(111a)에서 제거하고 상기 방문 URL 버퍼(111b)에 보관하도록 구성된다.
파서(120)는, 상기 각 URL에 해당하는 페이지의 HTML 데이터에서 각 구성 파일들을 파싱하여 추출하고 저장하는 기능과, 상기 각 페이지의 HTML 데이터에서 해당 구성 파일들에 대한 경로를 모바일 컨텐츠 제공서버로 변경하는 기능과, 상기 각 페이지의 HTML 데이터를 상기 제2 화면 조건에 맞추어 변환 및 저장하는 기능을 적어도 실행한다. 여기서, 상기 각 구성 파일들은 이미지, 자바스크립트, CSS 파일중의 어느 하나가 된다.
크롤러 컨트롤러(110)가 링크 정보를 추출하는 것과 유사하게, 파서(120)도 정규표현식을 이용하여 해당 페이지들에 대한 패턴을 적용하여 구성 파일들을 추출할 수 있다. 이러한 기능은 대상 사이트의 특성에 따라 커스터마이징이 가능하다.
또한, 파서(120)는 화면 폭을 변경시키기 위해 설정 화면에서 입력된 값 보다 폭(width) 값이 크게 설정된 정보들을 설정 값으로 변경시킬 수 있다.
하나의 HTML 데이터에 대한 작업이 종료되면, 파서(120)는 크롤러 컨트롤러(110)에 의해 추출된 다른 URL로 같은 작업을 반복하여 수행한다.
한편, 도 4를 통해 예시된 바와 같이, 이러한 파서(120)의 각 기능들은 파서(120) 내에 구비된 컨텐츠 추출부(122), 객체 저장부(124), 변환부(126) 등의 상호 동작에 의해 구현될 수 있다.
도 5는 본 발명의 일실시예에 의한 웹 컨텐츠 수집방법의 흐름도이다.
제1 화면 조건에 맞추어 상기 웹 서버에 기 구축된 웹 컨텐츠의 시작 URL과 변환 제공될 제2 화면 조건(특히, 화면 폭 값)을 설정 페이지를 통해 입력받고, 선택된 대상 영역에 대한 크롤링을 시작한다(S100).
상기 선택된 대상 영역을 시작 페이지로서 저장하고, 선택된 대상 영역에서 추출된 URL을 URL 버퍼(Buffer, 특히 대상 URL 버퍼)에 추가하여 초기화한다(S210).
URL 버퍼(특히, 대상 URL 버퍼)에 웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는지를 확인하고(S220), 해당 URL에 접근해서 페이지를 로딩하고 로딩한 페이지에서 URL을 추출하고(S230). URL 버퍼(특히, 대상 URL 버퍼)에서 해당 URL을 제거한다(S240).
방문 URL 버퍼를 확인하여, 이미 웹 컨텐츠를 수집한 페이지의 URL이 아닌 것으로 확인되는 경우 해당 URL을 URL 버퍼(특히, 대상 URL 버퍼)에 추가한다(S250).
상기 과정에서, 웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는지 여부는 상기 대상 URL 버퍼를 통해 확인하며, 해당 URL에 접근해서 페이지를 로딩한 후, 해당 URL을 상기 대상 URL 버퍼에서 제거하고 상기 방문 URL 버퍼에 보관하게 된다.
상기 각 URL에 해당하는 페이지의 HTML 데이터에서 각 구성 파일들을 파싱하여 추출하고 저장한다(S312,S314,S316). 상기 각 구성 파일들은 이미지, 자바스크립트, CSS 파일 등이 될 수 있다. 페이지의 본문에 있는 이미지, 자바스크립트, CSS 파일들을 서버에 저장하게 되며, 디렉토리 구조는 해당 웹 페이지의 구조를 그대로 따라가게 된다.
상기 각 페이지의 HTML 데이터에서 해당 구성 파일들에 대한 경로를 모바일 컨텐츠 제공서버로 변경한다(S320).
상기 각 페이지의 HTML 데이터를 상기 제2 화면 조건에 맞추어 변환(Translation) 및 저장한다(S330,S340). 이때, 바람직하게는, 상기 각 페이지의 HTML 데이터와 함께, CSS 파일을 상기 제2 화면 조건에 맞추어 변환 및 저장한다.
상기 HTML 데이터 또는 CSS 파일을 상기 제2 화면 조건에 맞추어 변환하는 과정은 예를 들어, 제1 화면의 화면 폭에 맞추어 설정된 상기 HTML 데이터 또는 CSS 파일의 이미지 크기 설정 값을 제2 화면의 화면 폭에 맞추어 축소하는 것을 포함할 수 있다.
다른 측면으로, 상기 HTML 데이터 또는 CSS 파일을 상기 제2 화면 조건에 맞추어 변환하는 과정은 예를 들어, 제1 화면의 화면 폭에 맞추어 설정된 상기 HTML 데이터 또는 CSS 파일의 텍스트 행 바꿈 조건 또는 텍스트 크기 조건을 제2 화면의 화면 폭에 맞추어 변환하는 것을 포함할 수 있다.
대상 URL 버퍼에 URL이 존재하는 동안, 상기와 같은 웹 페이지 수집과정이 반복적으로 수행된다.
도 6은 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 UI 화면의 일예로서, 웹 컨텐츠 수집을 위하여 화면 조건 등을 입력하는 메뉴가 포함되어 있다.
도 7은 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 UI 화면으로서, (a)는 웹 페이지 전체를 크롤링 하는 경우, (b)는 웹 페이지 중 일부 영역 지정하여 크롤링 하는 경우의 일예이다.
도 8은 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 UI 화면으로서, 지정된 영역이 크롤링된 화면의 일예이다.
도 9는 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 UI 화면으로서, 크롤링을 진행하는 화면의 일예이다. 웹 컨텐츠 수집장치는 지정한 웹 사이트의 URL 또는 물리적 경로를 전달받아, 전체 또는 지정 영역의 소스 코드를 폴더별로 가져와 모바일 단말로 서비스할 웹사이트를 물리적으로 구성하게 된다.
도 10은 본 발명의 일실시예에 의한 웹 컨텐츠 수집장치의 UI 화면으로서, 변환(Translation)이 완료된 화면의 일예이다.
도 11은 본 발명의 일실시예에 의한 모바일 컨텐츠 제공서버의 UI 화면으로서, 모바일 단말용 템플릿 저작 화면의 일예이다. 예시된 형태의 WYSIWYG 템플릿 저작도구(Template Editor)를 통해 모바일 단말용으로 변환이 완료된 웹 사이트에 적용할 디자인 템플릿을 생성하게 된다.
도 12는 본 발명의 일실시예에 의한 모바일 컨텐츠 제공서버의 UI 화면으로서, 모바일 단말용 템플릿을 소스 에디터로 가공하는 화면의 일예이다. 예시된 것처럼, WYSIWYG 템플릿 저작도구를 통해 생성된 템플릿을 보다 세밀하게 조정 작업을 할 수도 있다.
도 13은 본 발명의 일실시예에 의한 모바일 컨텐츠 제공서버에 의한 변환 전후의 화면으로서, (a)는 데스크 탑용 화면, (b)는 모바일 단말용 화면의 일예이다.
한편, 상기 실시예에서는 본 발명의 웹 컨텐츠 수집장치가 모바일 컨텐츠 제공서버에 적용되는 경우를 예시하였으며, 이러한 기술 분야 외에도 다양한 기술분야로 본 발명의 웹 컨텐츠 수집장치가 응용될 수 있다.
예를 들어, 서버 상에 로봇(Robot)의 개념으로 설치된 후, 배치(Batch)의 개념으로 특정 웹 사이트를 주기적으로 변환하여, 불특정 다수의 대상자 들에게 제공해주는 서비스 로봇의 개념으로도 응용 가능하다.
또한, 특정 웹 사이트의 소스를 백업할 때, 무작위적 자동 백업이 아닌, 의미 있는(Semantic), 즉, 테이블 영역, 이미지 영역, 첨부 영역 등의 소스들로 구분하여 백업하는 스마트 백업(Smart Back-up) 시스템의 구축에도 응용될 수 있다.
본 발명의 실시예 들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
100: 웹 컨텐츠 수집장치
110: 크롤러 컨트롤러
120: 파서

Claims (10)

  1. 웹 서버와 연동되는 모바일 컨텐츠 제공서버의 웹 컨텐츠 수집장치에서 실행되며, 제1 화면 조건에 맞추어 구축된 웹 컨텐츠를 제2 화면 조건에 맞추어 변환 제공하기 위한 웹 컨텐츠 수집방법으로서,
    (a) 제1 화면 조건에 맞추어 상기 웹 서버에 기 구축된 웹 컨텐츠의 시작 URL과 변환 제공될 제2 화면 조건을 설정 페이지를 통해 입력받고, 선택된 대상 영역에 대한 크롤링을 시작하는 단계;
    (b) 상기 선택된 대상 영역을 시작 페이지로서 저장하고, 선택된 대상 영역에서 추출된 URL을 URL 버퍼(Buffer)에 추가하는 단계;
    (c) URL 버퍼에 웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는 경우, 해당 URL에 접근해서 페이지를 로딩하는 단계;
    (d) 로딩한 페이지에서 URL을 추출하고, 이미 웹 컨텐츠를 수집한 페이지의 URL이 아닌 것으로 확인되는 경우 해당 URL을 URL 버퍼에 추가하는 단계;
    (e) 상기 각 URL에 해당하는 페이지의 HTML 데이터에서 각 구성 파일들을 파싱하여 추출하고 저장하는 단계;
    (f) 상기 각 페이지의 HTML 데이터에서 해당 구성 파일들에 대한 경로를 모바일 컨텐츠 제공서버로 변경하는 단계; 및
    (g) 상기 각 페이지의 HTML 데이터를 상기 제2 화면 조건에 맞추어 변환 및 저장하는 단계;를 포함하여 구성된 웹 컨텐츠 수집방법.
  2. 제1항에 있어서,
    상기 (e) 단계의 상기 각 구성 파일들은 이미지, 자바스크립트, CSS 파일 중의 어느 하나인 것을 특징으로 하는 웹 컨텐츠 수집방법.
  3. 제2항에 있어서,
    상기 (g) 단계에서,
    (g) 상기 각 페이지의 HTML 데이터와 함께, CSS 파일을 상기 제2 화면 조건에 맞추어 변환 및 저장하는 단계;를 더욱 포함하여 구성된 웹 컨텐츠 수집방법.
  4. 제3항에 있어서,
    상기 화면 조건은 적어도 화면 폭(width) 값을 포함하는 것을 특징으로 하는 웹 컨텐츠 수집방법.
  5. 제4항에 있어서,
    상기 HTML 데이터 또는 CSS 파일을 상기 제2 화면 조건에 맞추어 변환하는 과정은,
    제1 화면의 화면 폭에 맞추어 설정된 상기 HTML 데이터 또는 CSS 파일의 이미지 크기 설정 값을 제2 화면의 화면 폭에 맞추어 축소하는 것을 포함하는 것을 특징으로 하는 웹 컨텐츠 수집방법.
  6. 제4항에 있어서,
    상기 HTML 데이터 또는 CSS 파일을 상기 제2 화면 조건에 맞추어 변환하는 과정은,
    제1 화면의 화면 폭에 맞추어 설정된 상기 HTML 데이터 또는 CSS 파일의 텍스트 행 바꿈 조건 또는 텍스트 크기 조건을 제2 화면의 화면 폭에 맞추어 변환하는 것을 포함하는 것을 특징으로 하는 웹 컨텐츠 수집방법.
  7. 제1항에 있어서,
    상기 URL 버퍼는,
    설정 페이지를 통해 입력되거나 각 페이지에서 추출한 URL로서 웹 컨텐츠 정보를 수집할 페이지에 관한 URL을 보관하는 대상 URL 버퍼와,
    이미 웹 컨텐츠 정보를 수집한 페이지에 관한 URL을 보관하는 방문 URL 버퍼를 포함하여 구성되며,
    상기 (c) 내지 (d) 단계에서,
    웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는지 여부는 상기 대상 URL 버퍼를 통해 확인하며, 해당 URL에 접근해서 페이지를 로딩한 후, 해당 URL을 상기 대상 URL 버퍼에서 제거하고 상기 방문 URL 버퍼에 보관하는 것을 특징으로 하는 웹 컨텐츠 수집방법.
  8. 제1항 내지 제7항 중의 어느 한 항에 기재된 방법의 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  9. 웹 서버와 연동되는 모바일 컨텐츠 제공서버에 구비되며, 제1 화면 조건에 맞추어 구축된 웹 컨텐츠를 제2 화면 조건에 맞추어 변환 제공하기 위한 웹 컨텐츠 수집장치로서,
    제1 화면 조건에 맞추어 상기 웹 서버에 기 구축된 웹 컨텐츠의 시작 URL과 변환 제공될 제2 화면 조건을 설정 페이지를 통해 입력받고, 선택된 대상 영역에 대한 크롤링을 시작하는 기능과, 상기 선택된 대상 영역을 시작 페이지로서 저장하고, 선택된 대상 영역에서 추출된 URL을 URL 버퍼(Buffer)에 추가하는 기능과, URL 버퍼에 웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는 경우, 해당 URL에 접근해서 페이지를 로딩하는 기능과, 로딩한 페이지에서 URL을 추출하고, 이미 웹 컨텐츠를 수집한 페이지의 URL이 아닌 것으로 확인되는 경우 해당 URL을 URL 버퍼에 추가하는 기능을 적어도 실행하는 크롤러 컨트롤러; 및
    상기 각 URL에 해당하는 페이지의 HTML 데이터에서 각 구성 파일들을 파싱하여 추출하고 저장하는 기능과, 상기 각 페이지의 HTML 데이터에서 해당 구성 파일들에 대한 경로를 모바일 컨텐츠 제공서버로 변경하는 기능과, 상기 각 페이지의 HTML 데이터를 상기 제2 화면 조건에 맞추어 변환 및 저장하는 기능을 적어도 실행하는 파서;를 포함하여 구성된 웹 컨텐츠 수집장치.
  10. 제9항에 있어서,
    상기 URL 버퍼는,
    설정 페이지를 통해 입력되거나 각 페이지에서 추출한 URL로서 웹 컨텐츠 정보를 수집할 페이지에 관한 URL을 보관하는 대상 URL 버퍼와,
    이미 웹 컨텐츠 정보를 수집한 페이지에 관한 URL을 보관하는 방문 URL 버퍼를 포함하여 구성되며,
    상기 크롤러 컨트롤러는,
    웹 컨텐츠를 수집해야 할 페이지의 URL이 존재하는지 여부는 상기 대상 URL 버퍼를 통해 확인하며, 해당 URL에 접근해서 페이지를 로딩한 후, 해당 URL을 상기 대상 URL 버퍼에서 제거하고 상기 방문 URL 버퍼에 보관하도록 구성된 것을 특징으로 하는 웹 컨텐츠 수집장치.
KR1020120044627A 2011-04-29 2012-04-27 웹 컨텐츠 수집방법 및 수집장치, 그 기록매체 KR101287371B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110040728 2011-04-29
KR1020110040728 2011-04-29

Publications (2)

Publication Number Publication Date
KR20120122959A true KR20120122959A (ko) 2012-11-07
KR101287371B1 KR101287371B1 (ko) 2013-07-19

Family

ID=47509154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120044627A KR101287371B1 (ko) 2011-04-29 2012-04-27 웹 컨텐츠 수집방법 및 수집장치, 그 기록매체

Country Status (1)

Country Link
KR (1) KR101287371B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101511135B1 (ko) * 2014-08-26 2015-04-10 (주)앤드웍스 스미싱이 방지된 문자메시지 전송 서비스 제공 방법
KR101532427B1 (ko) * 2014-01-24 2015-07-01 류인호 웹 컨텐츠 제공 장치 및 방법
CN105577684A (zh) * 2016-01-25 2016-05-11 北京京东尚科信息技术有限公司 防爬虫抓取的方法、服务端、客户端和系统
KR101722157B1 (ko) * 2016-01-06 2017-04-03 (주)포그리트 정보 수집 장치 및 이를 이용한 웹 사이트의 정보 수집 방법
CN107506502A (zh) * 2017-10-10 2017-12-22 山东浪潮云服务信息科技有限公司 一种数据采集系统和数据采集方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927384A (zh) * 2014-04-30 2014-07-16 国家电网公司 利用html脚本解析的异构系统间多层级数据同步方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030095868A (ko) * 2002-06-15 2003-12-24 (주) 고미드 이동 통신 단말기에서의 웹컨텐츠 디스플레이 장치 및 방법
KR100967337B1 (ko) * 2008-08-20 2010-07-05 주식회사 컴퍼니원헌드레드 프록시 서버를 이용한 이동통신 단말기의 웹 브라우저 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101532427B1 (ko) * 2014-01-24 2015-07-01 류인호 웹 컨텐츠 제공 장치 및 방법
KR101511135B1 (ko) * 2014-08-26 2015-04-10 (주)앤드웍스 스미싱이 방지된 문자메시지 전송 서비스 제공 방법
KR101722157B1 (ko) * 2016-01-06 2017-04-03 (주)포그리트 정보 수집 장치 및 이를 이용한 웹 사이트의 정보 수집 방법
CN105577684A (zh) * 2016-01-25 2016-05-11 北京京东尚科信息技术有限公司 防爬虫抓取的方法、服务端、客户端和系统
CN105577684B (zh) * 2016-01-25 2018-09-28 北京京东尚科信息技术有限公司 防爬虫抓取的方法、服务端、客户端和系统
CN107506502A (zh) * 2017-10-10 2017-12-22 山东浪潮云服务信息科技有限公司 一种数据采集系统和数据采集方法

Also Published As

Publication number Publication date
KR101287371B1 (ko) 2013-07-19

Similar Documents

Publication Publication Date Title
US8413044B2 (en) Method and system of retrieving Ajax web page content
KR101120301B1 (ko) 지속 저장 포탈
US10394925B2 (en) Automating web tasks based on web browsing histories and user actions
US8660976B2 (en) Web content rewriting, including responses
KR101287371B1 (ko) 웹 컨텐츠 수집방법 및 수집장치, 그 기록매체
US8131753B2 (en) Apparatus and method for accessing and indexing dynamic web pages
CA2729272C (en) Embedding macros in web pages with advertisements
US20140351682A1 (en) Dynamic generation of target files from template files and tracking of the processing of target files
CN106293675B (zh) 系统静态资源加载方法及装置
GB2505410A (en) Display of hypertext documents grouped according to their affinity
KR20040055501A (ko) 주석기반 문서 자동 생성장치 및 방법
CN103412890A (zh) 一种网页加载方法和装置
CN109144567B (zh) 跨平台的网页渲染方法、装置、服务器及存储介质
CN103383687A (zh) 一种页面处理方法和装置
CN105068802B (zh) 一种跨设备运行的Web应用软件实现系统和方法
CN105528369B (zh) 网页转码方法、装置以及服务器
Bellucci et al. Automatic reverse engineering of interactive dynamic web applications to support adaptation across platforms
WO2023092580A1 (zh) 页面显示方法、装置、存储介质及电子设备
CN101763432A (zh) 一种轻量级网页动态视图快速构建方法
CN102193789A (zh) 一种实现可配置跳转链接的方法和设备
CN110489683A (zh) 网页的缓存方法及装置存储介质、计算机设备
US20170031884A1 (en) Automated dependency management based on page components
KR101365086B1 (ko) 모바일 컨텐츠 제공방법 및 제공서버, 그 기록매체
US20060123109A1 (en) Method for processing HTTP requests and HTML pages transmitted or received by a navigator to or from at least one web server, and associated server
KR101084546B1 (ko) 검색 결과 내 추가 검색 모듈 및 그를 이용한 검색 결과 내 추가 검색 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee