KR20000054312A

KR20000054312A - 맞춤 웹정보 구축 제공 방법

Info

Publication number: KR20000054312A
Application number: KR1020000029969A
Authority: KR
Inventors: 이순란; 소겸호; 김희경; 박윤정
Original assignee: 최우석; 주식회사 삼성경제연구소
Priority date: 2000-06-01
Filing date: 2000-06-01
Publication date: 2000-09-05

Abstract

본 발명은 사용자 또는 서비스 제공자에 의해 선정된 주제에 대해 URL을 등록정의하여, 이와 일치하는 URL의 데이터를 주기적으로 로봇을 이용하여 수집하고 데이터베이스를 구축하여 해당 문서의 내용을 직접 볼 수 있도록 하며, 해당 사용자에게 메일링 서비스를 하는 맞춤 웹정보 구축 제공 방법에 관한 것이다. 본 발명의 목적은 사용자가 찾고자 하는 주제에 대하여 로봇을 활용하여 데이터베이스를 구축하고 서비스를 제공해 검색시간을 단축시키도록 하는 방법을 제공하는데 있다. 본 발명의 다른 목적은 사용자들에게 관심분야에 대한 새로운 소식을 검색의 절차나 해당페이지를 방문하여 업데이트 여부를 확인하지 않아도 검색 서비스 서버 상에서 간략하게 보거나, 사용자의 메일로 제공해 주는 방법을 제공하는데 있다. 본 발명의 또 다른 목적은 전문분야별로 특화된 데이터베이스를 구축하여 각 분야별 전문 데이터뱅크로서의 역할을 수행할 수 있는 검색 서비스를 제공하는데 있다. 이와 같은 목적을 달성하기 위한 본 발명에 따른 맞춤 웹정보 구축 제공 방법의 특징은 검색할 주제를 선택하고 정의하는 주제정의 단계; 주제정의된 해당 URL의 데이터를 수집하는 데이터 수집 단계; 데이터 수집이 완료되면 주제별 뉴스를 생산하는 단계; 및 수집된 데이터를 사용자에게 서비스하는 단계를 포함하여 이루어지는 데 있다.

Description

맞춤 웹정보 구축 제공 방법{Establishing provide Method for ordered web information}

본 발명은 웹 정보 검색 서비스에 관한 것으로, 특히 사용자 또는 서비스 제공자에 의해 선정된 주제에 대해 URL을 등록정의하여, 이와 일치하는 URL의 데이터를 주기적으로 로봇을 이용하여 수집하고 데이터베이스를 구축하여 해당 문서의 내용을 직접 볼 수 있도록 하며, 해당 사용자에게 메일링 서비스를 하는 맞춤 웹정보 구축 제공 방법에 관한 것이다.

통신기술의 발달과 인터넷의 보편화로 많은 정보들이 이제는 종이형태가 아닌 전자문서 형태로 인터넷, 특히 웹(World Wide Web)을 통해 실시간으로 업데이트 되고 있으며, 정보를 제공하는 사이트들도 기하급수적으로 늘어나고 있다. 이에 따라, 수많은 사이트들 중에서 자신에게 필요한 정보를 제공하는 사이트를 찾는 일 또한 점점 어려워지고 있으며, 여기에 더하여 전문분야에 대해 특화된 사이트를 알고있지 않거나, 검색엔진에 대한 사용법이 미숙하다면 정보의 바다에서 표류하게 될 것은 불을 보듯 뻔한 것이다. 그리고, 웹 검색능력이 있다 하여도 일반적인 웹 검색 서비스들은 사용자가 검색어를 입력하면 서버내에 미리 구축되어 있는 색인을 검색하고, 그 결과물로서 해당 URL과 간단한 내용만을 사용자에게 제공한다. 하지만, 검색결과로 나온 내용만으론 해당 페이지가 자신이 찾고자 하는 것인지 알 수 없으므로, 일일이 검색결과에 있는 URL을 클릭하여 직접 그 서버로 찾아가 본문을 확인해야 하는 불편함이 있었다. 또한, 찾고자 하는 URL이 있다 하여도 해당 페이지가 만료되거나, 해당 서버가 다운되었을 경우에는 검색내용엔 있지만, 해당 페이지를 볼 수가 없었으며, 서버간의 속도차로 인해 페이지 로딩시간이 일정하지 않은 문제점도 있었다. 그리고, 관심분야에 대한 사이트의 새로운 소식과 업데이트 내용도 사용자가 손수 해당사이트에 접속하여 업데이트 내용을 확인해야 했다. 이러한 불편을 없애기 위해 몇몇 사이트들은 메일링 서비스를 통해 사이트의 업데이트 사항이나 공지사항 등을 제공하였으나, 이는 사용자가 각 사이트마다 메일링 서비스에 따로 가입을 해야 하는 불편함이 있었다.

본 발명은 상기한 문제점을 해결하기 위해 안출한 것으로, 그 목적은 사용자가 찾고자 하는 주제에 대하여 로봇을 활용하여 데이터베이스를 구축하고 서비스를 제공해 검색시간을 단축시키도록 하는 방법을 제공하는데 있다.

본 발명의 다른 목적은 사용자들에게 관심분야에 대한 새로운 소식을 검색의 절차나 해당페이지를 방문하여 업데이트 여부를 확인하지 않아도 검색 서비스 서버상에서 간략하게 보거나, 사용자의 메일로 제공해 주는 방법을 제공하는데 있다.

본 발명의 또 다른 목적은 전문분야별로 특화된 데이터베이스를 구축하여 각 분야별 전문 데이터뱅크로서의 역할을 수행할 수 있는 검색 서비스를 제공하는데 있다.

도 1은 본 발명에 따른 맞춤 웹정보 구축 제공 방법을 위한 시스템 구성도.

도 2는 본 발명에 따른 맞춤 웹정보 구축 제공 과정을 나타낸 블록도.

도 3은 본 발명에 따른 주제정의 과정을 나타낸 흐름도.

도 4는 본 발명에 따른 데이터 수집 과정을 나타낸 흐름도.

도 5는 본 발명에 따른 주제별 뉴스를 생산하는 과정을 나타낸 흐름도.

도 6은 본 발명에 따른 수집된 데이터를 사용자에게 서비스하는 과정을 나타낸 흐름도.

* 도면의 주요부분에 대한 부호의 설명

100 : 사용자 110 : 인터넷망

120 : 맞춤 정보 서비스 시스템 121 : 메일서버

122 : 웹서버 123 : 데이터베이스 운영프로그램

124 : 자동색인 시스템 125 : 로봇 시스템

126 : 사용자 데이터베이스 127 : 자료 데이터베이스

128 : 임시 데이터베이스 129 : 색인 데이터베이스

130 : 신조어 데이터베이스

이와 같은 목적을 달성하기 위한 본 발명에 따른 맞춤 웹정보 구축 제공 방법의 특징은 검색할 주제를 선택하고 정의하는 주제정의 단계; 주제정의된 해당 URL의 데이터를 수집하는 데이터 수집 단계; 데이터 수집이 완료되면 주제별 뉴스를 생산하는 단계; 및 수집된 데이터를 사용자에게 서비스하는 단계를 포함하여 이루어지는 데 있다.

이하, 첨부한 도면을 통해 본 발명을 상세히 설명한다.

도 1은 본 발명에 따른 맞춤 웹정보 구축 제공 방법을 위한 시스템 구성도이다.

사용자(100)들은 인터넷망(110)을 통해 본 발명에 의한 맞춤 정보 서비스 시스템(120)에 접속한다. 본 발명에 따른 맞춤 정보 서비스 시스템(120)은 사용자가 희망하는 분야의 새로운 소식을 메일로 전하기 위한 메일서버(121), 사용자들과 상호 데이터 교환을 하기 위한 웹서버(122), 주제 입력내용을 검색하고 신조어에 대해서는 신조어 데이터베이스(130)에 기록하는 자동색인 시스템(124), 주제선정된 URL의 웹페이지 변경사항을 주기적으로 자동 체크하는 로봇 시스템(125), 사용자의 인증정보 및 검색 희망분야에 대한 데이터를 저장하고 있는 사용자 데이터베이스(126), 주제별 데이터를 기록하고 있는 자료 데이터베이스(127), 상기한 자료 데이터베이스에 대한 색인정보를 저장하고 있는 색인 데이터베이스(129), 색인 데이터베이스(129)에 등록되지 않은 신조어를 저장하는 신조어 데이터베이스(130), 기 저장된 자료와 동일할 경우 생성되는 임시파일을 저장하는 임시 데이터베이스(128), 및 상기한 데이터베이스를 관리하고 운영하는 데이터베이스 운영프로그램(123)으로 구성된다.

도 2는 본 발명에 따른 맞춤 웹정보 구축 제공 과정을 나타낸 블록도이다.

본 발명에 의한 맞춤 웹정보 제공 과정은 우선 주제정의 단계(200)를 통해 검색할 주제를 선택하고 정의하며, 주제정의된 해당 URL의 데이터를 로봇 시스템을 이용해 자동 수집하는 데이터 수집 단계(210), 데이터 수집이 완료되면 주제별 뉴스를 생산하는 단계(220), 및 수집된 데이터를 사용자에게 서비스하는 단계(230)로 이루어진다.

이하, 각 단계를 좀 더 상세히 설명하기로 한다.

도 3은 본 발명에 따른 주제정의 과정을 나타낸 흐름도이다.

본 발명은 회원제 서비스가 바람직하다. 따라서, 회원가입시 자신이 서비스 받고자 하는 주제와 서비스 제공방법 등을 미리 정하도록 하여 이에 대한 데이터를 사용자 데이터베이스(126)에 저장하도록 한다. 그리고, 회원정보 변경을 통해 상기한 데이터를 변경할 수 있도록 한다. 이렇게 회원가입 절차가 완료되면, 우선 검색할 주제를 선정(300)하여야 하는데, 주제의 선정방법으로는 1) 서비스 제공자에 의해 경제, 경영, 정책 등과 같은 특정 주제 분야에서 이슈가 되는 주제를 검색 주제로 선정하는 방법. 2) 이용자들의 관심 주제를 파악하기 위해 서버내에 축적되어 있는 사용자들의 검색 키워드를 활용하여 주제로 선정하는 방법. 3) 주제 선정시 외부 이용자의 요구를 수용하기 위해, 웹서버를 통해 이용자들이 서비스 받고 싶은 주제를 신청하면 검토를 한 후, 주제로 선정하는 방법이 있다. 상기한 세가지 방법에 의해 선정된 주제들의 키워드는 자동색인 시스템에 의해 동의어, 유사어로 비교ㆍ정의되어 각각 해당분야로 분류 정리된다(310).

주제 선정이 이루어지면(300, 310) 서비스 제공자가 해당 주제에 가장 적합한 사이트를 선정하고 해당 URL의 수집 및 리스트 작성을 한다(320). 이렇게 생성된 리스트는 일단 로봇 시스템(125)에 등록하여 URL별로 접속이 되는지 또는 해당 페이지가 만료되지 않았는지 검증(330)한다. 이 과정에서 검증을 통과하지 못한 URL 즉, URL로의 접속 불가나 페이지 만료가 되었을 경우에는 해당 URL을 리스트에서 삭제(340)한다. URL 검증 과정(330)을 통과하면 각 주제별 리스트를 URL, Depth, 분류코드로 지정된 전자파일의 형태로 맵 파일을 작성해 자체적인 코드 분류체계에 의거하여 내부 시스템에 등록(350)한다. 상기한 Depth는 페이지에 링크된 문서를 어느 단계까지 받아오느냐를 정하는 것으로, 정보의 정확성과 효율을 높이기 위해 서비스 제공자가 URL 리스트 작성시 정하는 것이 바람직하며, 이는 검색 서비스 제공자의 입장과 해당 사이트의 링크형태에 따라 달라진다. 또한, 상기한 코드는 키워드 분류체계에 의한 코드로서, 이는 향후 데이터 수집이 완료되어 자료 데이터베이스에 등록이 되면, 색인 데이터베이스에 있는 각 주제들의 키워드와 자료 데이터베이스에 있는 문서 내용을 연결시키는 역할을 하게 된다.

도 4는 본 발명에 따른 데이터 수집 과정을 나타낸 흐름도이다.

도 3의 과정을 통해 시스템에 등록된 맵파일은 검색로봇에 등록되고, 맵파일에 기록되어 있는대로 로봇은 해당 URL의 데이터를 수집한다(400, 401). 이 때, 수집되는 데이터는 해당 페이지의 HTML, CGI 데이터 모두를 수집하고, 검색로봇은 해당 페이지에 고유의 키값을 부여한다(401). 이 때의 키값은 각 문서를 구별하기 위한 것이다. 이렇게 수집된 데이터는 해당페이지의 URL, 화일명, 화일크기, 생성일자, MIME TYPE형태, 부여된 분류코드값 등을 담고 있는 헤더정보와 페이지 내용인 본문으로 분리하여 텍스트 파일로 저장한 후(402), 헤더 정보를 통합하여 벌크파일 형태로 생성(403)한다. 여기서, URL의 데이터가 CGI일 경우에는 생성일자가 기록되어 있지 않으므로, 데이터를 받아온 시점의 서버 시스템 시간으로 변경하여 입력된다. 벌크 파일이 생성되면 벌크파일에 포함되어 있는 URL정보를 분석하여 이미 자료 데이터베이스에 등록된 데이터의 URL인지 판단(405)한다. 선정된 주제의 URL 정보가 자료 데이터베이스에 등록되어 있지 않다면 신규 벌크파일을 생성(409)한다. 상기한 판단(405)결과 이미 등록된 자료이면, 각각의 파일중 헤더정보를 모아놓은 파일과 전날 생성된 데이터베이스를 비교(406)하여, 각각의 URL, 날짜태그, 파일 사이즈 등을 비교하여 변경된 사항은 데이터베이스 구조에 맞게 벌크파일(Bulk File)을 갱신하고, 변경된 사항이 없으면 임시 파일로 보관(407)한다. 상기한 벌크파일 작성시 각각 다른 주제에 같은 URL이 중복되는 경우, 부여 키값(즉, 각 문서를 구별하기 위한 키값)을 체크하여 별도의 파일로 저장한다. 이러한 과정을 통해 만들어진 텍스트 파일을 분석하여 데이터베이스 구조에 맞게 삽입(410)한다. 이는 RDB와 특정 검색엔진, 특정 데이터베이스에도 적용가능하도록 호환성을 갖는다.

상기한 임시파일은 본문 내용을 검색하여 신조어가 있을 경우에 하기한 도 5의 과정의 신조어 등록과정을 통해 신조어 데이터베이스에 등록된다.

도 5는 본 발명에 따른 주제별 뉴스를 생산하는 과정을 나타낸 흐름도이다.

갱신된 데이터베이스는 특정 스크립트나 CGI에서 업무 담당자에게 보이도록 출력된다(500). 검색 로봇의 받아온 데이터는 자동화된 색인시스템과 키워드에 의거하여 정확률과 재현률을 파악하여 등급을 매기고 이중 두 가지가 모두 높은 데이터를 각각의 뉴스로 선정한다(501). 이 때, 데이터 중에 신조어가 있을 경우(502)에는 자동색인 시스템에 의해 신조어 데이터베이스에 신조어가 등록(503)되며, 신규 주제로 데이터베이스화(504) 된다. 신조어가 없을 경우나, 신규 데이터베이스화가 완료된 경우 화면구현이 가능하도록 가공된다(505).

도 6은 본 발명에 따른 수집된 데이터를 사용자에게 서비스하는 과정을 나타낸 흐름도이다.

도 5의 과정을 통해 선정된 뉴스를 웹브라우저 화면상에 구현(600)하고, 데이터베이스에 축적한다(601). 이 중 전분야에서 주목되거나 중요한 사항은 따로 뉴스 페이지로 가공하여, 웹페이지 초기화면에 나타나도록 하여 사용자들에게 제공한다. 또한, 상기한 축적은 그날 그날의 각 전문 분야별 뉴스는 물론 지난 뉴스까지도 데이터베이스에 축적해 놓아 각 분야별 전문 데이터 뱅크로서의 역할을 하도록 한다. 데이터베이스에 축적이 되면 사용자 데이터베이스에 저장되어 있는 사용자별로 서비스 받고자 하는 주제와 서비스 제공방법에 대한 선택사항이 있는지, 또는 사용자의 서비스 요청이 있는지 확인(602)한다. 사용자가 희망분야의 업데이트 내용을 메일로 받고자 하였으면(603), 해당 회원의 이메일로 선택한 분야의 맞춤뉴스를 전송(604)하고, 사용자가 선택한 주제에 대한 업데이트 내용을 웹상에서 직접보기위해, 특정버튼의 클릭 등을 통해 웹페이지 출력을 요청할 경우(605)에는 사용자 데이터베이스에 저장되어 있는 해당 사용자가 선택한 주제들의 업데이트 내용을 웹페이지로 가공하여 출력(606)한다. 또한, 웹서버내에 해당 주제에 대한 커뮤니티가 존재할 경우(607) 해당 커뮤니티의 데이터베이스에 자료를 전송(608)하여 해당 커뮤니티의 자료원으로 사용할 수 있도록 한다. 또한, 사용자에 의해 기 축적된 데이터베이스 상의 검색을 요청(609)받았을 경우에는 색인 데이터베이스를 검색(610)하여 해당 색인이 있는지 확인(611)한다. 해당 색인이 없으면 신조어 데이터베이스에 저장(612)하여 향후 새로운 주제선정에 이용하도록 하고 해당 색인이 존재하면 자료 데이터베이스에서 해당 데이터를 출력(613)한다.

이상 상술한 바와 같이 본 발명에 따른 주제별 웹 검색 서비스 방법의 이점은 첫째, 검색서비스가 사용자들의 관심분야에 대해 대신 검색해 주므로, 사용자들이 일일이 찾아야 하는 불편함을 해소하고, 이미 한차례 검증된 자료이므로 검색의 정확성과 신뢰성을 높일 수 있는 이점이 있다. 둘째, 해당 검색결과를 검색서비스 웹서버상에서 볼 수가 있으므로, 검색결과로 나온 URL로 다시 접속하여 확인하는 절차를 간소화 할 수가 있다. 셋째, 사용자의 관심분야의 새로운 소식을 웹서버내에 출력하거나, 사용자들의 이메일로 전송해 줌으로써, 사용자들은 관심분야의 새로운 소식을 빠르게 전달받을 수 있다. 넷째, 그날 그날의 각 전문 분야별 뉴스는 물론 지난 뉴스까지도 데이터베이스에 축적해 놓아 각 분야별 전문 데이터뱅크로서의 역할을 수행할 수가 있다.

Claims

웹 검색 서비스에 있어서, 검색할 주제를 선택하고 정의하는 주제정의 단계; 주제정의된 해당 URL의 데이터를 수집하는 데이터 수집 단계; 데이터 수집이 완료되면 주제별 뉴스를 생산하는 단계; 및 수집된 데이터를 사용자에게 서비스하는 단계를 포함하는 것을 특징으로 하는 맞춤 웹정보 구축 제공 방법.
제 1 항에 있어서, 상기한 주제정의 단계는 검색할 주제를 선정하는 단계; 주제발굴이 이루어지면 자동색인 시스템에 의해 해당분야로 분류 정리되어 주제정의를 하는 단계; 주제정의가 이루어지면 웹상의 자료중 해당 주제에 맞는 자료를 검색하여 URL을 모으는 검색작업을 하는 단계; 및 검색작업이 완료되면 검색결과 리스트를 전자파일 형태의 맵 파일로 작성하고 자체적인 코드분류체계에 의거하여 내부 시스템에 등록하는 검색결과 엔진 등록 단계를 포함하는 것을 특징으로 하는 맞춤 웹정보 구축 제공 방법.
제 2 항에 있어서, 상기한 주제 선정은 검색 서비스 제공자에 의한 주제 선정, 사용자들의 검색 키워드 축적을 통한 주제 선정, 외부 사용자들의 주제 신청을 통한 주제선정 중에서 선택된 어느 하나인 것을 특징으로 하는 맞춤 웹정보 구축 제공 방법.
제 1 항에 있어서, 상기한 데이터 수집 단계는 시스템에 등록된 맵파일의 데이터로 로봇시스템이 해당 페이지에 접속한 후, 문서를 분석하여 고유 키값를 부여하고 해당 페이지의 HTML문서, CGI 데이터를 수집하는 단계; 및 수집된 데이터를 분석하고 저장하는 단계를 포함하는 것을 특징으로 하는 맞춤 웹정보 구축 제공 방법.
제 4 항에 있어서, 상기한 데이터를 분석하고 저장하는 단계는 수집된 데이터를 해당 페이지의 헤더정보와 본문으로 분리하고 텍스트 파일로 저장하는 단계; 헤더 정보를 통합하여 벌크파일 형태로 생성하는 단계; 벌크 파일이 생성되면 벌크파일에 포함되어 있는 URL정보를 분석하여 이미 자료 데이터베이스에 등록된 데이터의 URL인지 판단하는 단계; 선정된 주제의 URL 정보가 자료 데이터베이스에 등록되어 있지 않다면 신규 벌크파일을 생성하는 단계; 상기한 판단 결과 이미 등록된 자료이면, 각각의 파일중 헤더정보를 모아놓은 파일과 전날 생성된 데이터베이스를 비교하여, 변경된 사항은 데이터베이스 구조에 맞게 벌크파일을 갱신하고, 변경된 사항이 없으면 임시 파일로 보관하는 단계; 및 상기한 과정을 통해 만들어진 텍스트 파일을 분석하여 데이터베이스 구조에 맞게 테이터베이스에 삽입하는 단계를 포함하는 것을 특징으로 하는 맞춤 웹정보 구축 제공 방법.
제 5 항에 있어서, 상기한 벌크 파일 작성시 각각 다른 주제에 같은 URL이 중복되는 경우, 부여된 키값을 체크하여 별도의 파일로 저장하는 것을 특징으로 하는 맞춤 웹정보 구축 제공 방법.
제 1 항에 있어서, 상기한 주제별 뉴스를 생산하는 단계는 갱신된 데이터를 특정 스크립트나 CGI를 통해 관리자에게 출력하는 단계; 수집된 데이터를 자동화된 색인시스템과 키워드에 의거하여 정확률과 재현률을 파악하여 등급을 매기는 단계; 상기한 등급이 높은 데이터를 각 주제의 뉴스로 선정하는 단계; 선정된 자료를 활용하여 신조어를 자동색인시스템에 등록하고 신규 데이터베이스화하는 단계; 및 화면구현이 가능하도록 가공하는 단계를 포함하는 것을 특징으로 하는 맞춤 웹정보 구축 제공 방법.
제 1 항에 있어서, 상기한 서비스 단계는 데이터베이스화된 자료를 사용자별 서비스 받고자 하는 주제와 서비스 제공방법에 따라 타 메뉴로 연계 이동하도록 하고 검색서비스 서버에 축적하여 통합검색 가능하도록 하는 것을 특징으로 하는 맞춤 웹정보 구축 제공 방법.
제 8 항에 있어서, 상기한 타메뉴는 전분야에서 주목되거나 중요한 사항을 웹페이지로 가공하여 출력하는 뉴스 서비스, 사용자가 희망하는 주제분야에 대한 맞춤뉴스를 사용자 메일로 제공하는 메일링 서비스, 사용자들이 신청한 주제분야에 대한 맞춤뉴스를 웹상에서 제공하는 웹페이지 출력 서비스, 검색서비스 웹서버내의 커뮤니티 중 해당 주제에 맞는 커뮤니티가 있을 경우 해당 커뮤니티의 데이터베이스로 전송하여 이용할 수 있게 하는 커뮤니티 서비스 중 하나인 것을 특징으로 하는 맞춤 웹정보 구축 제공 방법.