KR20010064753A - 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제추정 방법 - Google Patents
문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제추정 방법 Download PDFInfo
- Publication number
- KR20010064753A KR20010064753A KR1019990059043A KR19990059043A KR20010064753A KR 20010064753 A KR20010064753 A KR 20010064753A KR 1019990059043 A KR1019990059043 A KR 1019990059043A KR 19990059043 A KR19990059043 A KR 19990059043A KR 20010064753 A KR20010064753 A KR 20010064753A
- Authority
- KR
- South Korea
- Prior art keywords
- site
- web page
- classification
- document
- candidate
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제 추정 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 문서 수집 로봇이 분류서비스에 등록되지 않은 사이트를 찾아 사이트의 내용 정보, 링크 정보, 링크의 분포 정보를 확인하여 주제를 추정하는 분류 누락 사이트 추출 및 주제 추정 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.
3. 발명의 해결방법의 요지
본 발명은, 문서 수집 로봇이 새로운 웹페이지를 발견하여 분류서비스에 등록된 사이트에 속하는 웹페이지인지를 확인하는 제 1 단계; 상기 분류서비스에 등록된 사이트에 속하지 않는 상기 웹페이지에 대해 분류 및 주제 선정을 위한 웹페이지 정보를 추출하는 제 2 단계; 상기 웹페이지에 대해 사이트 단위로 그룹화하고 상기 웹페이지 정보를 기준으로 하여 분류대상 후보 사이트를 추출하는 제 3 단계; 및 상기 후보 사이트의 들고나는 링크의 주제를 통계화하여 상기 후보사이트 주소와 상기 후보사이트의 할당 가능 주제를 출력하는 제 4 단계를 포함함.
4. 발명의 중요한 용도
본 발명은 정보검색 서비스 등에 이용됨.
Description
본 발명은 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제 추정 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 특히 분류서비스를 제공하는데 있어서 문서 수집 로봇을 이용하여 분류 누락 사이트를 찾아내고, 찾아낸 사이트에 대해 분류하기 위한 주제를 추정하는 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
분류서비스를 운영할 때 누락된 사이트를 빨리 찾아 요약하고 카테고리를 할당하여 등록하는 일이 중요하다. 새 사이트를 알아내는 방법은 주로 사용자의 등록에 의존하게 되는데 사용자가 검색엔진에 등록을 않을 경우는 누락이 발생하게 된다. 본 발명에서는 문서수집 로봇에 특별한 기능을 부여하여 누락 사이트를 쉽게 발견할 수 있고 할당할 카테고리 후보도 제시할 수 있는 방법을 제공한다.
인터넷 정보검색 서비스는 수작업에 의존하는 분류서비스와 자동화된 웹페이지 검색서비스를 중심으로 구성된다. 분류서비스는 사용자로부터 새로운 사이트를 등록받는 "새 사이트 등록 요청", 분류요원이 등록 요청된 사이트를 방문하여 내용을 요약하고 주제를 할당해 주는 "사이트 요약", 요약된 정보를 분류서비스에 등록, 가공하는 "사이트 등록" 과정으로 이루어진다.
웹페이지 검색 서비스는 인터넷 공간에 흩어져 존재하는 대상 문서를 자동으로 수집하는 "자동문서수집", 문서 속의 문장을 분석하여 문장을 이루는 단어들을뽑아내는 "형태소분석", 문서의 키워드를 자동으로 선정해 주는 "자동색인", 색인된 결과를 고속으로 이용할 수 있도록 효율적인 하부구조에 저장해 주는 "하부구조저장", 저장된 하부구조에서 원하는 문서를 찾아 주는 "검색", 사용자와 검색기 사이를 연결해 주는 "사용자 인터페이스" 등으로 구성된다.
홈페이지 제작이 일반화되면서 하루에도 수많은 사이트가 새로 생기고 사라지는 시대가 되면서 자동화된 웹페이지 검색 서비스보다는 잘 정제된 정보를 제공하는 분류서비스의 중요성이 날로 높아가고 정보검색 서비스 경쟁력의 중요한 요소로 자리잡고 있다. 이런 분류서비스 운영에 있어 사용자 등록에만 의존할 경우 누락되는 정보가 너무 많아져 경쟁력이 떨어지게 되는 문제점이 있다. 이 때문에 분류 작업 요원들은 사용자 등록에만 의존하지 않고 주제별로 각 분야 전문 사이트들을 돌아다니며 새로운 사이트가 나타나지 않았나 확인하는 작업도 중요한 일과 중 하나로 수행하고 있다.
그런데, 종래에는 누락된 새로운 사이트를 찾아 할당할 주제분야까지 제시해 주는 것을 자동화하여 처리하지 못하여서, 분류요원들이 많은 시간을 투자하여 분류서비스를 위한 정보 검색을 처리하여야 하고, 따라서, 다른 부분에 더 많은 시간을 할애할 수 없어 분류서비스를 제공하기 위해 더 많은 인력이 필요한 문제점이 있었다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 문서수집 로봇이 분류서비스에 등록되지 않은 사이트를 찾아 사이트의 내용 정보, 링크 정보, 링크의 분포 정보를 확인하여 주제를 추정하는 분류 누락 사이트 추출 및 주제 추정 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명이 적용되는 정보검색 시스템의 구성예시도.
도 2 는 본 발명에 따른 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제 추정 방법에 대한 일실시예 흐름도.
*도면의 주요 부분에 대한 부호의 설명
1 : 문서수집기 2 : 문서필터
3 : 자동 색인기 4 : 하부구조 저장기
5 : 언어정보 인터페이스 6 : 사용자 인터페이스
7 : 정보검색기 8 : 문서베이스 인터페이스
9 : 문서베이스 10 : 언어정보 저장부
11 : 수집문서 저장부
상기 목적을 달성하기 위한 본 발명은, 정보검색 시스템에 적용되는 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제 추정 방법에 있어서, 상기 문서 수집 로봇이 새로운 웹페이지를 발견하여 분류서비스에 등록된 사이트에 속하는 웹페이지인지를 확인하는 제 1 단계; 상기 분류서비스에 등록된 사이트에 속하지 않는 상기 웹페이지에 대해 분류 및 주제 선정을 위한 웹페이지 정보를 추출하는 제 2 단계; 상기 웹페이지에 대해 사이트 단위로 그룹화하고 상기 웹페이지 정보를 기준으로 하여 분류대상 후보 사이트를 추출하는 제 3 단계; 및 상기 후보 사이트의 들고나는 링크의 주제를 통계화하여 상기 후보사이트 주소와 상기 후보사이트의 할당 가능 주제를 출력하는 제 4 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은, 대용량 프로세서를 구비한 정보검색 시스템에, 문서 수집 로봇이 새로운 웹페이지를 발견하여 분류서비스에 등록된 사이트에 속하는 웹페이지인지를 확인하는 제 1 기능; 상기 분류서비스에 등록된 사이트에 속하지 않는 상기 웹페이지에 대해 분류 및 주제 선정을 위한 웹페이지 정보를 추출하는 제 2 기능; 상기 웹페이지에 대해 사이트 단위로 그룹화하고 상기 웹페이지 정보를 기준으로 하여 분류대상 후보 사이트를 추출하는 제 3 기능; 및 상기 후보 사이트의 들고나는 링크의 주제를 통계화하여 상기 후보사이트 주소와 상기 후보사이트의 할당 가능 주제를 출력하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
위의 기능을 제공하기 위해 본 발명에서는 분류서비스에 등록된 사이트를 중심으로 웹페이지를 수집해 오는 문서 수집 로봇에 특별한 기능을 부가한다. 로봇이 웹 페이지를 수집하다가 분류서비스에 등록된 사이트에 속하지 않은 웹페이지를 발견했을때 문서를 저장만 하는 것이 아니라, 그 페이지로의 링크가 어느 주제에 속한 페이지에서 이루어졌는지 몇번의 링크가 이루어졌는지 등의 정보와 발견된 페이지에 들어 있는 링크를 조사하여 어떤 분야 사이트로의 링크가 많은지 등의 정보를 함께 묶어 별도로 누적시켜 두고, 로봇 종료 후에 분류외 웹페이지를 호스트 대표, 사용자 대표 페이지 등을 중심으로 그룹화한 후 링크 횟수와 같은 정보를 활용해 누락 사이트 후보를 선정하고, 누적된 링크 정보의 분포를 계산하여 후보 카테고리를 제시해 주는 방법을 제공한다.
즉, 본 발명은 검색해야할 대상 문서를 수집하는 자동문서수집기와 수집된 문서에서 일정한 형식의 정보를 뽑아내는 문서필터와 뽑아진 정보를 자동으로 색인하는 자동색인기와 색인된 결과를 하부구조에 저장하는 하부구조 저장기와, 사용자의 질의를 받아 검색엔진이 이해할 수 있는 형식의 질의로 변환해 주고 검색결과를 사용자가 편하게 볼 수 있는 형식으로 출력해 주는 사용자 인터페이스와 사용자질의를 받아 가장 관계가 깊은 순으로 관련 문서를 찾아내 주는 검색기와 검색기가요구하는 문서정보를 하부구조로 부터 뽑아주는 문서베이스 인터페이스 등으로 구성되어 운용되는 정보검색 시스템에 있어서, 자동문서수집 과정에서 얻을 수 있는 사이트간 링크 정보 등을 최대한 활용하여 이를 근거로 새로 분류서비스에 넣을 후보 사이트를 추출하고 할당될만한 후보 카데고리를 할당해 주어 분류요원의 노력을 감소시키는데, 이는 분류요원들이 각 분야 전문 사이트를 일일이 방문해서 얻어야 하는 누락된 사이트 정보를 로봇 운영 중에 자동으로 대신 얻을 수 있도록 하고, 링크 당한 횟수, 유알엘(URL) 유형, 한글 사용여부 등을 기준으로 분류 등록에 합당한 사이트를 자동 선정하고, 로봇 운영 중 얻은 사이트간 링크 정보를 이용해 링크의 방향이 어느 주제 분야로 집중되는지에 관한 통계를 바탕으로 후보 카테고리를 선정해 주는 분류 요원 지원 방법을 통해 이루어진다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명이 적용되는 정보검색 시스템의 구성예시도이다.
정보검색 시스템은 문서수집기(1), 문서필터(2), 자동색인기(3), 하부구조 저장기(4), 언어정보 인터페이스(5), 사용자 인터페이스(6), 정보 검색기(7), 문서베이스 인터페이스(8), 문서베이스(9), 언어정보 저장부(10) 및 수집문서 저장부(11) 등을 포함하여 이루어진다.
도면에 도시된 바와 같이, 본 발명이 적용되는 정보검색 시스템은, 검색해야 할 대상 문서를 수집하는 문서수집기(1)와, 수집된 문서에서 일정한 형식의 정보를뽑아내는 문서필터(2)와, 뽑아진 정보를 자동으로 색인하는 자동색인기(3)와, 색인된 결과를 하부구조에 저장하는 하부구조 저장기(4)에서 이루어지는 문서 가공단계와, 사용자의 질의를 받아 검색엔진이 이해할 수 있는 형식의 질의로 변환해 주고 검색결과를 사용자가 편하게 볼 수 있는 형식으로 출력해 주는 사용자인터페이스(6)와, 사용자질의를 받아 가장 관계가 깊은 순으로 관련 문서를 찾아내 주는 정보 검색기(7)와, 정보 검색기(7)가 요구하는 문서정보를 하부구조로부터 뽑아주는 문서베이스 인터페이스(8) 등에서 이루어지는 정보 활용 단계로 나눌 수 있다.
상기와 같은 정보검색 시스템의 기본구조에서 본 발명은 문서수집기(1)에 적용되어 분류서비스에 등록된 사이트에 속하지 않는 웹페이지로 들어오는 링크 통계와 외부로의 링크 통계를 웹페이지 저장시 함께 저장하여 후에 분류서비스 등록 후보를 추출하고 할당 카테고리를 제시하는 자료로 활용한다.
도 2 는 본 발명에 따른 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제 추정 방법에 대한 일실시예 흐름도이다.
도 2 는 문서 수집 로봇을 이용해 할당 카테고리 정보를 모으고 등록 후보 사이트를 선정하고 후보 카테고리를 제시하는 과정을 보이는 처리 흐름도이다.
먼저, 문서 수집 로봇이 새로운 웹 페이지를 발견하여(201), 발견된 웹페이지가 분류서비스에 등록된 사이트에 속한 페이지인지 검사한다(202).
검사 결과, 분류서비스에 속하지 않는 웹페이지인 경우에는 주소, 발견된 웹페이지를 링크한 페이지의 주제, 발견된 페이지가 링크된 횟수, 발견된 웹페이지에서 바깥으로의 링크의 주제 분포 통계 등을 추출하여(203) 분류외 페이지 정보 저장부에 저장하고(204), 수집 문서를 문서베이스(9)에 저장한다(205).
문서 수집 로봇의 동작이 완료된 후 분류외 페이지 정보 저장부에 누적된 분류외 페이지 정보를 모아 호스트 최상위, 사용자 최상위 등 사이트를 구성할 수 있는 대표 페이지를 중심으로 웹페이지들을 그룹화하고(206), 외부에서의 링크 횟수, 한글사용 여부 등을 기준으로 분류대상 후보만을 추출하여(207), 후보 사이트를 기준으로 하부 페이지까지 포함하여 로봇이 누적시켜온 들고나는 링크의 주제 통계를 모아 계산하여(208), 후보사이트 주소와 사이트의 할당 가능 카테고리를 출력하여 분류요원들에게 전달해 준다(209). 분류요원들의 분류작업에 따라 분류 데이터베이스에 새로이 찾아진 사이트를 저장한다(210).
발견된 웹페이지가 분류서비스에 등록된 사이트에 속한 페이지인지 검사한 결과, 분류서비스에 등록된 사이트에 속한 웹페이지이면 이를 문서베이스(9)에 저장한다(211).
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기한 바와 같은 본 발명은, 분류 요원들이 일일이 주요 사이트를 방문하여누락된 사이트를 찾아 주는 일을 문서 수집 로봇이 자동으로 대신해 주어 분류요원의 시간을 절약해 주며, 수집된 분류외 사이트에서 분류대상을 자동으로 선정해 주고 관련성이 높을 것으로 추정되는 카테고리를 자동으로 할당해 주어 분류요원의 시간 절약과 함께 특정 분야에 치우치지 않고 전 주제 분야를 고르게 채워 나갈 수 있도록 하여 보다 양질의 분류서비스 제공이 가능하도록 하는 효과가 있다.
Claims (3)
- 정보검색 시스템에 적용되는 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제 추정 방법에 있어서,상기 문서 수집 로봇이 새로운 웹페이지를 발견하여 분류서비스에 등록된 사이트에 속하는 웹페이지인지를 확인하는 제 1 단계;상기 분류서비스에 등록된 사이트에 속하지 않는 상기 웹페이지에 대해 분류 및 주제 선정을 위한 웹페이지 정보를 추출하는 제 2 단계;상기 웹페이지에 대해 사이트 단위로 그룹화하고 상기 웹페이지 정보를 기준으로 하여 분류대상 후보 사이트를 추출하는 제 3 단계; 및상기 후보 사이트의 들고나는 링크의 주제를 통계화하여 상기 후보사이트 주소와 상기 후보사이트의 할당 가능 주제를 출력하는 제 4 단계를 포함하는 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제 추정 방법.
- 제 1 항에 있어서,상기 웹페이지 정보는,상기 웹페이지를 링크한 웹페이지의 주제, 상기 웹페이지가 링크된 횟수, 상기 웹페이지에서 링크된 웹페이지의 주제 분포 등의 정보인 것을 특징으로 하는 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제 추정 방법.
- 대용량 프로세서를 구비한 정보검색 시스템에,문서 수집 로봇이 새로운 웹페이지를 발견하여 분류서비스에 등록된 사이트에 속하는 웹페이지인지를 확인하는 제 1 기능;상기 분류서비스에 등록된 사이트에 속하지 않는 상기 웹페이지에 대해 분류 및 주제 선정을 위한 웹페이지 정보를 추출하는 제 2 기능;상기 웹페이지에 대해 사이트 단위로 그룹화하고 상기 웹페이지 정보를 기준으로 하여 분류대상 후보 사이트를 추출하는 제 3 기능; 및상기 후보 사이트의 들고나는 링크의 주제를 통계화하여 상기 후보사이트 주소와 상기 후보사이트의 할당 가능 주제를 출력하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990059043A KR20010064753A (ko) | 1999-12-18 | 1999-12-18 | 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제추정 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990059043A KR20010064753A (ko) | 1999-12-18 | 1999-12-18 | 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제추정 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20010064753A true KR20010064753A (ko) | 2001-07-11 |
Family
ID=19626996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990059043A KR20010064753A (ko) | 1999-12-18 | 1999-12-18 | 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제추정 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20010064753A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100621737B1 (ko) * | 1999-12-27 | 2006-09-06 | 학교법인 포항공과대학교 | 웹사이트 자동 분류방법 |
-
1999
- 1999-12-18 KR KR1019990059043A patent/KR20010064753A/ko not_active Application Discontinuation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100621737B1 (ko) * | 1999-12-27 | 2006-09-06 | 학교법인 포항공과대학교 | 웹사이트 자동 분류방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2365705C (en) | A system for collecting specific information from several sources of unstructured digitized data | |
| US20130191367A1 (en) | System and method for geographically organizing and classifying businesses on the world-wide web | |
| CN102207936B (zh) | 用于提示电子文档内容变更的方法和系统 | |
| CN101261629A (zh) | 基于自动分类技术的特定信息搜索方法 | |
| CN108984583A (zh) | 一种基于日志文件的搜索方法 | |
| JP2001060165A (ja) | 情報セット重要度判定システム及びその判定方法、及び情報セット重要度判定プログラムを記録した記録媒体 | |
| KR100557874B1 (ko) | 과학기술 정보분석 방법 및 그 방법에 대한 컴퓨터프로그램을 저장한 기록매체 | |
| CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
| CN103714144A (zh) | 一种信息检索装置和方法 | |
| CN103684856A (zh) | 一种对视频网站基础设施测量分析的方法 | |
| KR20220095654A (ko) | 소셜 데이터 수집 분석 시스템 | |
| KR100234271B1 (ko) | 이동 검색 엔진을 이용한 실시간 정보검색 방법 | |
| KR20010064753A (ko) | 문서 수집 로봇을 이용한 분류 누락 사이트 추출 및 주제추정 방법 | |
| KR100445943B1 (ko) | 근접 검색식을 이용한 정보 검색 시스템 및 방법 | |
| KR101846347B1 (ko) | 대용량 문서의 관리 방법 및 그 장치 | |
| KR100667917B1 (ko) | 웹사이트 검색 서비스 제공 방법 및 그 시스템 | |
| CN112380256B (zh) | 能源系统数据存取的方法、数据库、计算机可读存储介质 | |
| JP6103021B2 (ja) | データ生成方法、装置及びプログラム、検索処理方法、装置及びプログラム | |
| KR100931772B1 (ko) | 웹사이트 검색 서비스 제공 방법 및 그 시스템 | |
| KR100942902B1 (ko) | 웹페이지 검색 방법 및 상기 방법을 컴퓨터에서 구현하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| KR20040098889A (ko) | 웹사이트 검색 서비스 제공 방법 및 그 시스템 | |
| KR101223813B1 (ko) | 질의에 따른 정보 검색 장치 및 방법 | |
| JPH10240757A (ja) | 協調分散検索システム | |
| CN109190010A (zh) | 基于自定义的关键词采集方式进行互联网数据采集系统 | |
| KR100503148B1 (ko) | 스타일 및 컨텐트 정보 기반의 웹문서 처리 시스템 및 그방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Withdrawal due to no request for examination |