KR19990070968A - 인터넷 자료 검색 및 데이터베이스화 방법 - Google Patents

Abstract

본 발명은 인터넷 자료 검색 및 데이터베이스화 방법에 관한 것으로서, 원하는 자료에 관하여 검색 사이트의 HTML 문서들을 획득하여 그 문서들의 주소(URL)들을 획득하고, 원하는 최종 자료가 획득될 때까지 주소들을 추출하면서 단계별로 유효한 주소들을 추출할 수 있는 택(Tag)를 추출하여 로직 테이블을 구축하는 단계; 상기 단계에서 구축된 로직 테이블을 기초로 하위 수준의 프로토콜의 구현이나, 오류 처리, HTML 문서를 획득하는 네트워킹 단계; 상기 로직 테이블에 의거하여 상기 네트워킹 단계에서 획득된 HTML 문서를 분석 및 가공하여 데이터를 생성하는 단계; 및 상기 단계에서 생성된 데이터들을 데이터베이스화하는 단계를 포함하는 것임을 특징으로 한다. 본 발명은 인터넷에 산재되어 있는 다양한 정보 중에서 원하는 특정 분야의 자료를 데이터베이스화하여 이 데이터베이스를 이용한 상용 서비스가 가능하도록 한다. 또한, 본 발명은 'JAVA'언어를 지원하는 거의 대부분의 플랫폼에 대하여 별도의 시스템 이전 작업이 필요없이 적용 가능하고, 'JAVA'언어의 검증된 라이브러리를 사용하므로 네트워킹 및 쓰레딩 처리 등에서 안정성이 확보되는 장점이 있다.

Description

인터넷 자료 검색 및 데이터베이스화 방법

본 발명은 인터넷 자료 검색 및 데이터베이스화 방법에 관한 것이다.

인터넷은 최근 사상 최대의 종합 정보 통신망으로 성장하여 인터넷을 통한 정보 검색, 인터넷을 통한 상거래 등 인터넷을 접속하는 사람들의 수가 날로 증가하고 있다.

인터넷을 통한 자료 검색은, 검색 프로그램에서 처리하는 데이터를 조작하여 관리하는 방법에 관한 검색 엔진들을 사용하는데, 현재 상용화된 검색 엔진들은 많은 웹 사이트를 대상으로 검색하면서 원하는 주제어를 포함하는 웹 사이트의 주소(URL)를 그 주제어로 색인화하여 데이터베이스에 저장하여 서비스하는 방식을 사용한다.

이러한 종래의 검색 방법은, 웹 서버와 접속하여 HTML 문서를 가져오는 통신 프로토콜을 구현하는 네트워킹 단계, 상기 단계에서 획득한 HTML 문서를 대상으로 주제어의 색인화와 같은 실제 로직을 구현하는 파싱(parsing) 단계 및 상기 단계에서 분석된 자료를 데이터베이스화하는 데이터베이스 단계로 구성된다.

상기 네트워킹 단계에서는 존재하는 웹 서버들을 탐색하면서 그 사이트의 HTML 파일을 획득하며 발생 가능한 오류를 처리한다.

파싱 단계는 일반적으로 사용자가 입력한 정보를 파악하기 위하여 사용자가 입력한 명령어, 인다, 변수 등을 판별하는 단계로서, 여기서는 상기 네트워킹 단계로부터 전달받은 HTML 문서를 분석하여 그 문서의 주제어를 검출하고 주제어를 색인화한다.

상기 데이터베이스 단계는 상기 파싱 단계에서 색인화된 HTML 문서의 주소(URL)와 주제어의 색인을 정해진 형식에 따라서 데이터베이스에 입력한다.

그러나, 이러한 종래의 검색 방법은 범용적인 검색 서비스를 제공하는데는 적합하지만, 시스템 운영자, 서비스 제공자가 특정 목적의 웹 사이트와 데이터만을 검색하여 검색된 웹 사이트와 데이터를 원하는 형태로 데이터베이스화하여 이용하는데에는 적합하지 않다. 즉, 종래의 검색 방법은 주제어를 포함하는 웹 사이트의 주소(URL)와 그 색인만을 데이터베이스화하므로 서비스 사용자의 검색어 입력에 대한 링크서비스로 기능이 제한된다.

또한, 종래의 검색 방법은 통상적으로 'C'언어 등을 통하여 하드웨어나 운영 체계와 같은 플렛폼에 따른 종속적인 기능을 사용하여 프로그램되므로 다른 하드웨어나 운영 체계로의 시스템 이전 작업이 용이하지 않은 문제가 있다.

본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은, 인터넷의 정보 중 특정 분야의 자료만을 별도로 데이터베이스화하고, 이 별도의 데이터베이스를 이용한 상용 검색 서비스가 가능하도록 하는 인터넷 자료 검색 및 데이터베이스화 방법을 제공하는데 있다.

본 발명의 또 다른 목적은, 하드웨어나 운영 체계와 같은 플렛폼에 관계없이 사용될 수 있는 인터넷 자료 검색 및 데이터베이스화 방법을 제공하는데 있다.

도1은 본 발명에 따른 인터넷 자료 검색을 위한 데이터베이스화 방법에서 로직 테이블 생성단계를 구현한 일실시예의 상세 흐름도,

도2는 본 발명에 따른 인터넷 자료 검색을 위한 데이터베이스화 방법의 일실시예에 대한 흐름도.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 의한 인터넷 자료 검색을 위한 데이터베이스화 방법은, 원하는 자료에 관하여 검색 사이트의 HTML 문서들을 획득하여 그 문서들의 주소(URL)들을 획득하고, 원하는 최종 자료가 획득될 때까지 주소들을 추출하면서 단계별로 유효한 주소들을 추출할 수 있는 택(Tag)을 추출하여 로직 테이블을 구축하는 단계; 상기 단계에서 구축된 로직 테이블을 기초로 하위 수준의 프로토콜의 구현이나, 오류 처리, HTML 문서를 획득하는 네트워킹 단계; 상기 로직 테이블에 의거하여 상기 네트워킹 단계에서 획득된 HTML 문서를 분석 및 가공하여 데이터를 생성하는 단계; 및 상기 단계에서 생성된 데이터들을 데이터베이스화하는 단계를 포함하는 것임을 특징으로 한다.

상기한 본 발명에 의한 인터넷 자료 검색을 위한 데이터베이스화 방법에서, 상기 데이터베이스화하는 단계는 JAVA 언어의 JDBC 메카니즘을 사용하는 것임을 특징으로 한다.

이하에서, 첨부된 도면을 참조하면서 본 발명에 의한 인터넷 자료 검색을 위한 데이터베이스화 방법에 관하여 상세하게 설명한다.

인터넷 자료 검색은 사전에 정의된 검색 로직을 입력 파라미터로 하여 수행되므로 이 검색 로직을 추출하여 데이터베이스화하는 것이 필요하다. 이 단계는 웹 사이트의 특성을 분석하여 검색 방법의 기초 자료가 되는 검색 로직을 생성하는 단계이다.

서비스 제공자는 이를 위하여 검색 사이트의 주소(URL)와 사용자가 획득하기를 원하는 데이터의 종류 즉 데이터베이스의 테이블 구성을 지정해주어야 한다. 본 발명에서는 이와 같이 사용자가 원하는 지정된 자료를 추출할수 있는 로직 데이터들을 데이터베이스화한 테이블을 로직 테이블이라고 한다.

로직 테이블을 구축하는 단계는 사용자가 원하는 지정된 자료를 기초로 하여 검색 사이트의 HTML 문서를 획득하여 그 문서에 포함된 링크 주소(URL)들을 획득하고, 그 주소(URL)들을 기초로, 원하는 최종 자료가 포함된 주소(URL)들이 획득될 때까지 주소(URL) 추출 과정을 계속한다. 이 과정에서 단계별로 유효한 주소(URL)들을 추출할 수 있는 택(Tag)을 추출하여 로직 데이터화한다. 또한 최종 주소(URL)에서 사용자가 원하는 지정된 자료를 추출할 수 있는 택을 추출하여 역시 로직 데이터화한다. 이와 같이 획득된 로직 데이터들을 하나의 테이블로 저장한다. 이 테이블이 로직 테이블이다.

도1은 본 발명에 따른 인터넷 자료 검색을 위한 데이터베이스화 방법에서 로직 테이블 단계를 구현한 일실시예의 상세 흐름도이다.

도1에서 보이는 바와 같이, 최종적인 데이터들을 얻기 위한 웹 사이트의 주소인 검색 사이트의 주소(URL)에 대하여, 사이트의 주소(URL)가 유효한가를 판단한다(단계:10). 사이트의 주소(URL)가 유효한가를 판단하는 것은 웹 사이트의 주소(URL)가 존재하지 않거나 변경되었는지의 여부를 판단하는 것이다.

웹 사이트의 주소(URL)가 유효한 경우, 주소(URL)에 대한 소켓(socket)을 생성하여, HTML 문서를 획득하고, 이를 텍스트 포맷으로 전환한다(단계: 20).

주소(URL)들의 계층에서 얻고자 하는 최종 자료가 포함된 최하위 주소(URL) 인지를 판단한다(단계30). 판단 결과, 최종 주소(URL)가 아니면, 추출하고자 하는 최종 자료가 포함된 주소(URL)를 얻기 위하여, 주소(URL) 링크들의 획득(단계: 31), 상기 링크들의 공통 포맷의 추출(단계: 32), 추출된 포맷을 검색 엔진이 사용될 수 있는 정보로 전환한 필터링 택을 저장(단계: 33)하는 단계들을 거친다.

판단 결과, 최종 주소(URL)이면, 전자 카탈로그 포맷팅 단계를 거친다(단계: 40). 자동화된 대규모의 웹 사이트는 일정한 규칙하에 사이트를 구성하고 서비스하므로 이러한 규칙을 분석하여 검색 로직을 생성할 수 있다. 따라서, 본 발명의 실시예에서 '전자 카탈로그'는 예를 들어서 쇼핑몰 사이트의 상품 CATALOG에 국한되는 협의적인 의미가 아니고 자동화된 사이트를 특징짓는 일반적인 포맷이 존재하는 경우, 그러한 포맷을 의미한다.

그런 다음, 상기에서 얻어진 전자 카탈로그 포맷과 일치하는 HTML TAG가 존재하는지 판단한다(단계: 50). 판단 결과, 전자 카탈로그 포맷과 일치하는 HTML TAG가 존재하면 그러한 HTML 택(Tag)을 데이터 추출 택으로 전환한다(단계: 51). 여기서 데이터 추출 택은 추출된 HTML 택을 검색 엔진이 사용하는 정보로 기호화한 것이다. 판단 결과, 전자 카탈로그 포맷과 일치하는 HTML TAG가 존재하지 않으면, 추출 데이터를 별도로 저장한다(단계:52). 원하는 HTML 택이 존재하지 않는 정보는, 로직의 자동 생성이 불가능하므로 수작업에 의한 로직 생성을 위하여 별도로 분리하여 저장하는 것이다.

상기한 작업은 추출 데이터수만큼 반복된다.

마지막으로, 데이터 추출 택을 데이터베이스화하여 로직 테이블을 생성한다(단계: 60). 이는 상기한 단계들에서 획득된 필터링 택과 데이터 추출 택으로 물리적인 데이터베이스 테이블을 만드는 것이다.

본 발명에 의한 인터넷 자료 검색을 위한 데이터베이스화 방법의 다음 단계는, 상기한 단계에서 구축된 로직 테이블에 기초하여 하위 수준의 프로토콜 구현이나, 오류 처리, HTML 문서를 획득하는 기능을 수행하는 네트워킹 단계이다. 이 단계에서는 수백 수천의 소켓에 대하여 연결/해제를 반복하여야 하므로 성능을 향상시키기 위하여, 멀티쓰레팅(multi-threading) 방식을 사용하는 것이 바람직하다.

다음으로는 상기 네트워킹 단계에서 획득된 HTML 문서를 분석하여 상기 로직 테이블에 맞는 필드로 데이터화하는 단계이다. 각각의 HTML 문서에 대하여 로직 테이블의 정보에 의거하여 문서 데이터를 분석 및 가공하여 레코드 데이터를 생성한다. 하나의 HTML 문서 처리가 완료되면 하나의 레코드 데이터가 생성된다.

마지막으로, 상기 단계에서 생성된 레코드 데이터를 실제 데이터베이스에 입력하여 데이터베이스화하는 단계이다. 이 단계에서 데이터베이스 처리는 'JAVA'언어의 'JDBC' 메카니즘을 사용하여 데이터베이스 서버에 종속되지 않도록 하는 것이 바람직하다. 레코드 데이터를 데이터베이스에 입력하는 것은 독립된 쓰레드로 실행되면서 상기 단계에서 생성하는 필드 데이터들을 데이터베이스에 연속적으로 입력함에 의하여 달성된다.

도2는 로직 테이블을 구축하는 단계를 포함하여, 본 발명에 따른 인터넷 자료 검색을 위한 데이터베이스화 방법의 일실시예에 대한 흐름도이다.

사용자가 원하는 지정된 자료를 기초로 하여 검색 사이트의 HTML 문서를 획득하여 그 문서에 포함된 링크 주소(URL)들을 획득하고, 그 주소(URL)들을 기초로, 원하는 최종 자료가 포함된 주소(URL)들이 획득될 때까지 주소(URL) 추출 과정을 계속한다(단계: 100). 이 과정에서 단계별로 유효한 주소(URL)들을 추출할 수 있는 택(Tag)을 추출하여 로직 데이터화한다. 또한 최종 주소(URL)에서 사용자가 원하는 지정된 자료를 추출할 수 있는 택을 추출하여 역시 로직 데이터화한다. 이와 같이 획득된 로직 데이터들을 하나의 테이블로 저장하여 로직 테이블을 구축한다(단계: 200). 도2에서 검색 사이트 URL은 최종적인 데이터들을 얻기 위한 웹 사이트의 주소이고, URL 필터링 택은 로직 테이블의 필드 중 유효한 URL들 만을 추출하도록 하는 정보이다. 유효 URL은 URL 링크들 중에서, 이미지 파일이나 메뉴 등의 링크를 제외하고, 순수하게 정보를 가르키는 URL만을 의미하고, 최종 URL은 URL 계층들 중에서 얻고자 하는 최종 정보가 포함된 최하위 URL을 말한다. 데이터 추출 택은 상기 도1에서 설명한 바와 같이, 획득하고자 하는 정보 각각에 대한 추출 방법을 지시하는 택이다.

상기에서 로직 테이블이 구축되면, 추출 데이터 수를 데이터베이스의 필드 수로 한다(단계: 300). 이 것은 획득하고자 하는 데이터의 수만큼, 반복적인 추출 알고리즘을 적용하기 위한 것이다.

그런 다음, 각각의 정보는 해당하는 데이터 추출 택에 의하여 필드 데이터로 전환되어, 데이터베이스에 최종적으로 저장된다(단계: 400).

예를 들어서, 쇼핑몰을 대상으로 하는 경우, 최종적인 데이터베이스는 상품명, 가격, 제조사, 상품 설명 등으로 구성될 수 있다.

이상에서 설명한 바와 같이, 본 발명은 인터넷에 산재되어 있는 다양한 정보등 중에서 원하는 특정 분야의 자료를 데이터베이스화하여 이 데이터베이스를 이용한 상용 서비스가 가능하도록 한다. 또한, 본 발명은 'JAVA'언어를 지원하는 거의 대부분의 플랫폼에 대하여 별도의 시스템 이전 작업이 필요없이 적용 가능하고, 'JAVA'언어의 검증된 라이브러리를 사용하므로 네트워킹 및 쓰레딩 처리 등에서 안정성이 확보되는 장점이 있다.

Claims (3)

1. 인터넷 자료 검색을 위한 데이터베이스화 방법에 있어서,

   원하는 자료에 관하여 검색 사이트의 HTML 문서들을 획득하여 그 문서들의 주소(URL)들을 획득하고, 원하는 최종 자료가 획득될 때까지 주소들을 주출하면서 단계별로 유효한 주소들을 추출할 수 있는 택(Tag)을 추출하여 로직 테이블을 구축하는 단계;

   상기 단계에서 구축된 로직 테이블을 기초로 하위 수준의 프로토콜의 구현이나, 오류 처리, HTML 문서를 획득하는 네트워킹 단계;

   상기 로직 테이블에 의거하여 상기 네트워킹 단계에서 획득된 HTML 문서를 분석 및 가공하여 필드 데이터를 생성하는 단계; 및

   상기 단계에서 생성된 필드 데이터들을 데이터베이스화하는 단계를 포함하는 것임을 특징으로 하는 인터넷 자료 검색을 위한 데이터베이스화 방법.
2. 제1항에 있어서, 상기 데이터베이스화하는 단계는 JAVA 언어의 JDBC 메카니즘을 사용하는 것임을 특징으로 하는 인터넷 자료 검색을 위한 데이터베이스화 방법.
3. 인터넷 자료 검색 방법에 있어서,

   제1항 또는 제2항에 따른 방법에 의하여 데이터베이스화된 인터넷 자료를 사용하는 인터넷 자료 검색 방법.