KR20030087737A

KR20030087737A - 웹 문서 가공시스템 및 그 가공방법

Info

Publication number: KR20030087737A
Application number: KR1020020025621A
Authority: KR
Inventors: 이영식; 박종천
Original assignee: 주식회사 세중나모인터랙티브
Priority date: 2002-05-09
Filing date: 2002-05-09
Publication date: 2003-11-15
Also published as: JP2003330950A; US20030212959A1

Abstract

본 발명은 인터넷 상에 제공되는 웹 문서의 정보를 가공하여 새로운 양식의 결과물로 만들어낼 수 있도록 한 웹 문서 가공시스템 및 그 가공방법에 관한 것으로, 웹 문서의 정보를 어디서 가져오고 어느 부분이 정보로서 가치있는 것인지 표현하고 어떻게 정보를 추출하라는 명령을 지정하는 스크립트(Script)와, 상기 스크립트로 만들어진 웹 문서의 정보를 저장하는 데이터베이스(DataBase)와, 상기 데이터베이스에 저장된 웹 문서의 정보에 대한 출력 결과물의 형태를 규정하는 템플릿(Template), 및 상기 템플릿에 의해 규정된 출력 결과물의 형태에 따라 적당한 정보로 처리하여 출력하는 가공엔진(Processing Engine)이 구비된다.

따라서, 인터넷 상의 웹사이트에 맞게 만들어진 웹 문서의 정보를 규칙에 따라 용이하게 데이터베이스 상에 정렬된 정보로 저장하고, 결과로 요구되는 어떠한 출력형태의 정보로도 표현이 가능한 잇점이 있다.

Description

웹 문서 가공시스템 및 그 가공방법{Processing system of web document and processing method thereof}

본 발명은 웹 문서 가공시스템 및 그 가공방법에 관한 것으로서, 보다 상세하게는 인터넷 상에 제공되는 웹 문서의 정보를 가공하여 새로운 양식의 결과물로 만들어낼 수 있도록 한 웹 문서 가공시스템 및 그 가공방법에 관한 것이다.

일반적으로 인터넷 상의 무한한 정보들은 주로 HTML(HyperText Markup Language)이라는 기본 문서의 형태로 웹 서버(Web Server)를 통해 배포가 되며, 각 개인들은 이 정보들을 브라우저(Browser)라고 하는 도구로써 접근하여 이용한다. 참고로, 상기 브라우저의 대표적인 것으로는 MS사의 인터넷 익스플로러(Internet Explorer)와 AOL사의 자회사인 네스케이프(Netscape)사에서 만든 네스케이프 등이 있다.

그러나, 상기 인터넷 상에 제공되는 웹 문서의 정보는 그 사이트(site)에 맞는 독특한 언어, 예를들면 HTML, XML(Extensible Markup Language), TXT(TEXT), WML(Wireless Markup Language) 등으로 만들어지고 규칙에 따라 작성되므로 쉽게 컴퓨터 상에 메모리된 정보를 읽어들이지 못할 뿐만 아니라, PDA(Personal Digital Assistent) 등과 같이 새로운 형식의 문서로 가공하여 그에 맞게 새롭게 변형시켜야 하는 경우에는 문서의 출력 형태의 표현이 제한되는 문제점이 있다.

이에, 본 발명의 목적은 인터넷 상의 웹사이트에 맞게 만들어진 웹 문서의 정보를 규칙에 따라 용이하게 데이터베이스 상에 정렬된 정보로 저장하고, 결과로 요구되는 어떠한 출력형태의 정보로도 표현이 가능한 웹 문서 가공시스템 및 그 가공방법을 제공하는데 있다.

상기한 목적을 달성하기 위한 본 발명에 따른 웹 문서 가공시스템은 웹 문서의 정보를 어디서 가져오고 어느 부분이 정보로서 가치있는 것인지 표현하고 어떻게 정보를 추출하라는 명령을 지정하는 스크립트(Script)와, 상기 스크립트로 만들어진 웹 문서의 정보를 저장하는 데이터베이스(DataBase)와, 상기 데이터베이스에 저장된 웹 문서의 정보에 대한 출력 결과물의 형태를 규정하는 템플릿(Template), 및 상기 템플릿에 의해 규정된 출력 결과물의 형태에 따라 적당한 정보로 처리하여 출력하는 가공엔진(Processing Engine)이 구비된다.

또한, 상기한 목적을 달성하기 위한 본 발명에 따른 웹 문서 가공방법은 스크립트가 인터넷 상에 제공되는 웹 문서의 정보를 원하는 정보로 가공하여 데이터베이스에 저장하는 단계와, 상기 데이터베이스에 저장된 웹 문서의 정보에 대하여 템플릿이 출력 결과물에 따라 그 형태를 규정하는 단계, 및 상기 템플릿에 의해 출력 형태가 규정된 웹 문서의 정보를 가공엔진이 템플릿의 변수에 따라 처리하여 출력하는 단계를 포함한다.

도 1은 본 발명에 따른 웹 문서 가공시스템을 설명하기 위한 도면.

도 2는 본 발명에 따른 웹 문서 가공방법을 설명하기 위한 흐름도.

도 3은 도 1의 가공엔진의 동작을 설명하기 위한 도면.

도 4는 도 3의 HSC 파일이 입력된 경우 가공엔진의 동작을 설명하기 위한 흐름도.

도 5는 도 3의 TPL 파일이 입력된 경우 가공엔진의 동작을 설명하기 위한 흐름도.

* 도면의 주요부분에 대한 부호의 설명 *

100 : 웹 문서 가공시스템 110 : 스크립트

120 : 템플릿 130 : 가공엔진

140 : 데이터베이스

이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명하고자 한다.

도 1은 본 발명에 따른 웹 문서 가공시스템을 설명하기 위한 도면이다.

본 발명에 따른 웹 문서 가공시스템(100)은 도 1에 도시된 바와 같이 명령어 집합인 프로그램(program)을 만들 수 있는 스크립트(Script)(110)와, 출력 결과물의 형태를 규정하는 템플릿(Template)(120)과, 프로그램을 직접 수행하여 결과를 만들어 내는 가공엔진(Processing Engine)(130)과, 상기 스크립트(110)로 만들어진 웹 문서의 정보를 저장하는 데이터베이스(DataBase)(140)가 구비된다.

상기 스크립트(110)는 웹 문서의 정보를 어디서 가져오고 어느 부분이 정보로서 가치있는 것인지 표현하고, 어떻게 정보를 추출하라는 명령(command)을 지정한다.

이때, 상기 스크립트(110)는 웹 문서의 정보에 관한 속성을 정의하는 정보속성 정의명령과, 웹 문서의 정보를 가져오기 위해 서버와의 연결방법을 정의하는 연결방법 정의명령과, 상기 가져온 웹 문서의 정보들을 분류로 나뉘도록 지정하는 분류 정의명령과, 상기 가져온 원시 정보파일에서 임의 정보를 찾아서 원하는 정보로 가공하는 정보 추출명령과, 정보로 가공하는 과정에서 명령을 반복시키거나 특정한 분류 내로 만든 정보가 저장되도록 하는 흐름 제어명령과, 어떤 정보 페이지에 예상치 않았던 정보를 표현해야 하는 경우 지정하는 객체 지정명령으로 구분된다.

상기 정보속성 정의 명령은 상기 스크립트(110)를 통해서 만들어지는 정보에 관한 속성을 정의하는 것으로 'HSC_DOCUMENT'와 'HSC_PROPERTY'가 있다.

또한, 상기 연결방법 정의명령은 상기 스크립트(110)가 인터넷 상에서 정보를 가져오기 위해 웹 서버(도시되지 않음)와의 연결시에 웹 서버에서 정의된 어떤 문제에 따라 접속이 제한되는 경우가 있다. 이 경우에 연결 방법을 정의하는 명령으로 준비된 것들로는 'HSC_CONNECTION'과 'HSC_LOGIN'이 있다.

상기 분류 정의명령은 스크립트 명령어(Script Command: HSC; 이하 HSC라 함)로 가져오는 정보들을 분류로 나뉘도록 지정할 수 있는데, 이를 위해 준비된 명령어로 'HSC_CATALOG'와 'HSC_CATITEM'이 있다.

상기 정보 추출명령은 인터넷 상에서 가져온 원시 정보파일에서 임의 정보를찾아서 원하는 정보로 가공하는 명령으로, 여기에는 정보파일 위의 작업시작을 포인터(pointer) 지적을 위한 커서이동에 관한 명령과 원시 정보파일을 바꾸는 명령, 그리고 범위를 지정해서 원하는 곳을 표현하는 명령 등 핵심명령들이 포함된다. 이를 위해 준비된 명령어로는 'HSC_AREA', 'HSC_MISSION', 'HSC_TITLE', 'HSC_CONTENT', 'HSC_BEGIN', 'HSC_END', 'HSC_BASEURL' 등이 있다.

또한, 상기 흐름 제어명령은 신문의 기사 웹페이지 등을 보면 일반적으로 반복에 의해서 정보가 나열되므로 하나의 기사 정보를 가져오는 커서명령을 만들었다면 그 명령을 다음 기사추출 시에도 똑같이 적용할 수 있다. 이렇게 명령을 반복시키거나 특정한 분류내로 만든 정보가 저장이 되도록 하는 명령어로 'HSC_LOOP'와 'HSC_LIST'가 있다.

상기 객체 지정명령은 어떤 정보 페이지에 예상치 않았던 정보를 표현해야 하는 경우가 발생하는 경우, 예를 들면 기사에서 그 기사의 출처를 밝혀야 하는 일이 있고 이를 적절히 화면에 표시해야 한다면 이 정보는 미리 출처라는 속성을 가진 정보로 해당 기사에 붙어있는 부수 정보이어야 한다. 이를 위해 준비된 명령으로 'HSC_OBJECT'가 있으며, 각 객체마다 이름(name)을 부여하고 상기 템플릿(120)에서 이 이름에 따라 억세스할 수 있는 방법을 마련함으로써 정보처리가 이루어진다.

상기 템플릿(120)은 스크립트(110)로 만들어진 웹 문서의 정보를 사용자를 위해 출력결과로 만들어 내기 위한 도구로 제공되는 것으로, 기본적으로 템플릿 명령어와 결과 문서에 들어갈 문자열들로 이루어진 문서형태를 갖는다.

상기 템플릿(120)에서 사용되는 마크업 명령(Markup Command)들에는 'HSC_TEMPLATE', 'HSC_TPLPRINT', 'HSC_TPLFILE', 'HSC_TPLTRUE', 'HSC_TPLFALSE'가 있다. 또한, 상기 스크립트(110)의 처리로 데이터베이스(140)에 웹 문서의 정보를 저장하는 경우 데이터베이스(140)의 내용을 표현하기 위해 각 지시자로 사용되는 변수 사용방법을 표현하는 예약어 리스트가 있다.

이때, 상기 'HSC_TEMPLATE' 명령어는 템플릿 문서의 시작을 알리는 명령어로 [표 1]과 같이 버전(version) 속성을 가진다. 이 속성 정보로 엔진에서 처리가능한 템플릿 문서인지 확인한다.

속성	설명
version	template 파일의 버전을 명시한다.

상기 'HSC_TPLPRINT' 명령어는 스크립트(110)에 의해 만들어진 정보를 나타내어야 할 때 사용하는 것으로, [표 2]와 같이 다양한 예약어와 함께 준비된 속성으로 표현식을 만들어내어 사용한다.

속성	설명
from	시작 값
to	끝 값
step	변화치
counts	회수(주의 : from, to, step으로 이루어지지 않았을 경우에 사용 가능하다)
name	변수 이름변수 이름은 이후에 {}로 에워싸진ㅡ 형태로 표현된다.

상기 'HSC_TPLFILE' 명령어는 [표 3]과 같이 </ HSC_TPLFILE>로 끝나는 부분까지 모두 속성으로 지정된 파일이름으로 저장된다.

속성	설명
name	파일의 이름을 명시한다.

상기 'HSC_TPLTRUE' 및 'HSC_TPLFALSE'는 [표 4]와 같이 조건비교에 따라서 동작을 제어하기 위한 명령어이다.

속성	설명
condition	조건으로 비교 대상이 되는 예약어를 적는 부분이다.해당되는 예약어가 지정이 되었으면 true, 조건이 그렇지 않으면 false조건이 만족된다.

한편, 상기 예약어 리스트는 스크립트(110)의 처리로 상기 데이터베이스(140)에 저장된 웹 문서의 정보를 담는 경우, 이 데이터베이스(140)의 내용을 표현하기 위해 각 지시자로 사용되는 변수 사용방법을 표현한다. 아래 [표 5]는 이때 여기에 표현하는 예약어들로서 예약어는 식별자로 "%%"로 시작하며 다음의 종류가 있다.

예약어	설명
%%document.name	문서의 script 이름
%%document.origin	script의 출처
%%document.url	script의 출처에 해당하는 url
%%document.img	script를 대표하는 그림 url
%%document.date	clipping 날짜 (영문 형식)
%%document.kdate	clipping 날짜 (한글 형식)
%%catalog.totalcount	script에서 사용된 분류의 개수
%%catalog.{name}.title	name에 해당하는 분류의 제목예) %%catalog.c0.title
%%list.{name}.totalcount	name에 해당하는 분류에 속한 기사들의 개수
%%list.{name}.{digit}.title	name 분류에 속한 digit번째 기사의 제목예) %%list.c0.0.title
%%list.{name}.{digit}.content	name분류에 속한 digit번째 기사의 내용
%%list.{name}.{digit}.url	name분류에 속한 digit번째 기사의 원문 url
%%list.{name}.{digit}.object-	name분류에 속한 digit번째 기사의 object-
name	name 부분

이때, 참고로 모든 예약어는 "{HSC filename}"이 하나의 스크립트를 사용하는 경우는 그 스크립트를 나타내는 "%%{HSC 파일이름}"이 기본적으로 생략된 형태를 가지며 다중 스크립트를 사용하는 HSC의 경우 이 HSC 파일이름이 명시된 예약어를 사용한다.

상기 스크립트(110) 및 템플릿(120)의 명령(command)은 태그 마크업 명령어(Tag Markup Language Command)로 이루어진다. 즉, 여기서 쓰인 마크업 명령(Markup Command)의 형식은,

<태그이름 인자[=인자값]>문자열</태그이름> or

<태그이름 인자[=인자값]> 와 같은 같다.

한편, 상기 가공엔진(130)은 웹 문서의 정보를 상기 템플릿(120)에 의해 규정된 출력 결과물의 형태에 따라 적당한 정보로 처리하여 출력한다.

이때, 상기 가공엔진(130)의 입력으로는 스크립트 명령어(Script Command)가 정의되어 있는 HSC 파일이거나 또는 템플릿 명령어(Template Command: TPL; 이하, TPL이라 함)가 정의되어 있는 TPL 파일이어야 한다.

상기와 같은 구성으로 이루어진 웹 문서 가공시스템에 의한 웹 문서 가공방법을 도 2를 참조하여 설명하면 다음과 같다.

먼저, 명령어 집합체인 프로그램을 만들 수 있는 스크립트(110)가 인터넷 상의 다양한 웹사이트에 제공되는 웹 문서의 정보를 가져와 스크립트(110)에 구비된 각종 명령어를 이용하여 원하는 정보로 가공한 후 데이터베이스(140) 상에 정렬된 정보로 저장한다(S210).

다음, 템플릿(120)은 상기 데이터베이스(140) 상에 저장된 웹 문서의 정보에대하여 출력 결과물에 따라 그 출력 형태를 규정한다(S220).

그리고, 가공엔진(130)은 상기 템플릿(120)에 의해 출력 형태가 규정된 웹 문서의 정보를 템플릿(120)의 변수에 따라 상기 스크립트(110) 및 템플릿(120)의 명령어로 이루어진 프로그램을 직접 수행하여 결과를 만들어 출력한다(S230).

도 3은 도 1의 가공엔진의 동작을 설명하기 위한 도면이고, 도 4는 도 3의 HSC 파일이 입력된 경우 가공엔진의 동작을 설명하기 위한 흐름도이며, 도 5는 도 3의 TPL 파일이 입력된 경우 가공엔진의 동작을 설명하기 위한 흐름도이다.

이들 도면을 참조하여 설명하면, HSC 파일이 입력일 경우에는 도 4에 도시된 바와 같이 HSC 내에 정의된 템플릿을 이용한 결과를 만들고, TPL 파일이 입력일 경우에는 도 5에 도시된 바와 같이 다중 스크립트를 사용하는 템플릿으로 해당 템플릿을 완성하기 위해서는 여러 개의 스크립트 파일을 읽고 처리하여 데이터베이스(130)에 가지고 있으면서 템플릿의 변수에 따라 적당한 정보를 출력한다.

따라서, 본 발명에 따른 웹 문서 가공시스템(100)은 상기 데이터베이스(140) 상에 정렬된 정보로 저장된 웹 문서를 그 결과로 요구되는 어떠한 형태, 예를들면 HTML, XML, TXT, WML 등으로도 표현할 수 있다.

이상에서 설명한 것은 본 발명에 따른 웹 문서 가공시스템에 대한 하나의 실시예에 불과한 것으로서, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

이상에서 살펴본 바와 같이, 본 발명에 따른 웹 문서 가공시스템 및 그 가공방법은 다음과 같은 효과가 있다.

첫째, 어떠한 웹사이트의 정보든 그 사이트에 맞게 만들어진 규칙에 따라 쉽게 데이터베이스 상에 정렬된 정보로 가질 수 있으며, 그 결과로 요구되는 어떠한 형태의 정보로도 표현이 가능한 잇점이 있다.

둘째, 스크립트 및 템플릿의 명령어(command)가 모두 HTML과 같이 태크 마크업 언어(Tag Markup Language) 명령어로 구성됨으로써 일반인이 쉽게 적응하고 직접 만들 수 있음으로 생산성을 향상시킬 수 있는 효과가 있다.

Claims

웹 문서의 정보를 어디서 가져오고 어느 부분이 정보로서 가치있는 것인지 표현하고 어떻게 정보를 추출하라는 명령을 지정하는 스크립트(Script);

상기 스크립트로 만들어진 웹 문서의 정보를 저장하는 데이터베이스(DataBase);

상기 데이터베이스에 저장된 웹 문서의 정보에 대한 출력 결과물의 형태를 규정하는 템플릿(Template); 및

상기 템플릿에 의해 규정된 출력 결과물의 형태에 따라 적당한 정보로 처리하여 출력하는 가공엔진(Processing Engine)이 구비됨을 특징으로 하는 웹 문서 가공시스템.
청구항 1에 있어서, 상기 스크립트는,

웹 문서의 정보에 관한 속성을 정의하는 정보속성 정의명령과,

웹 문서의 정보를 가져오기 위해 서버와의 연결방법을 정의하는 연결방법 정의명령과,

상기 가져온 웹 문서의 정보들을 분류로 나뉘도록 지정하는 분류 정의명령과,

상기 가져온 원시 정보파일에서 임의 정보를 찾아서 원하는 정보로 가공하는 정보 추출명령과,

정보로 가공하는 과정에서 명령을 반복시키거나 특정한 분류 내로 만든 정보가 저장되도록 하는 흐름 제어명령과,

어떤 정보 페이지에 예상치 않았던 정보를 표현해야 하는 경우 지정하는 객체 지정명령이 구비됨을 특징으로 하는 웹 문서 가공시스템.
청구항 1에 있어서, 상기 템플릿은,

템플릿 문서의 시작을 알리는 명령어로 버전(version) 속성을 갖는 HSC_TEMPLATE와,

상기 스크립트에 의해 만들어진 정보를 나타내어야 할 경우 사용하는 명령어로 다양한 예약어와 함께 준비된 속성으로 표현식을 만들어내는 HSC_TPLPRINT와,

파일의 이름을 명시하는 명령어로 속성으로 지정된 파일이름으로 저장하는 HSC_TPLFILE과,

조건비교에 따라서 동작을 제어하는 명령어인 HSC_TPLTRUE 및 HSC_TPLFALSE와,

상기 스크립트의 처리로 데이터베이스에 웹 문서의 정보를 저장하는 경우, 데이터베이스의 내용을 표현하기 위해 각 지시자로 사용되는 변수 사용방법을 표현하는 예약어 리스트가 구비됨을 특징으로 하는 웹 문서 가공시스템.
스크립트가 인터넷 상에 제공되는 웹 문서의 정보를 원하는 정보로 가공하여 데이터베이스에 저장하는 단계;

상기 데이터베이스에 저장된 웹 문서의 정보에 대하여 템플릿이 출력 결과물에 따라 그 형태를 규정하는 단계; 및

상기 템플릿에 의해 출력 형태가 규정된 웹 문서의 정보를 가공엔진이 템플릿의 변수에 따라 처리하여 출력하는 단계를 포함함을 특징으로 하는 웹 문서 가공방법.
청구항 4에 있어서, 상기 웹 문서의 정보를 가공엔진이 템플릿의 변수에 따라 처리하여 출력하는 단계에서,

상기 가공엔진의 입력으로는 스크립트 명령어(Script Command)가 정의되어 있는 HSC 파일이거나 템플릿 명령어(Template Command)가 정의되어 있는 TPL 파일이어야 함을 특징으로 하는 웹 문서 가공방법.