KR20040103444A - 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템 - Google Patents

검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템 Download PDF

Info

Publication number
KR20040103444A
KR20040103444A KR1020040038494A KR20040038494A KR20040103444A KR 20040103444 A KR20040103444 A KR 20040103444A KR 1020040038494 A KR1020040038494 A KR 1020040038494A KR 20040038494 A KR20040038494 A KR 20040038494A KR 20040103444 A KR20040103444 A KR 20040103444A
Authority
KR
South Korea
Prior art keywords
website
spam
page
information
site
Prior art date
Application number
KR1020040038494A
Other languages
English (en)
Other versions
KR101048590B1 (ko
Inventor
김영관
배상용
Original Assignee
엔에이치엔(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔(주) filed Critical 엔에이치엔(주)
Priority to KR1020040038494A priority Critical patent/KR101048590B1/ko
Publication of KR20040103444A publication Critical patent/KR20040103444A/ko
Application granted granted Critical
Publication of KR101048590B1 publication Critical patent/KR101048590B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0227—Filtering policies
    • H04L63/0236—Filtering by address, protocol, port number or service, e.g. IP-address or URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 인터넷 상에서 소정의 웹사이트에 대한 정보를 제공하는 검색 엔진에 관한 것이다.
본 발명의 바람직한 일실시예에 따른 검색 엔진 관리 시스템에서 검색 엔진에 등록된 웹사이트를 관리하기 위한 방법은, 소정의 인터페이스 모듈에서 웹사이트에 대한 정보를 수신하고, 웹사이트 등록 모듈은 상기 수신된 웹사이트 정보를 데이터베이스 수단에 소정의 필드 별로 분류하여 기록하는 단계; 상기 웹사이트의 웹페이지를 구성하는 하이퍼텍스트 마크업 언어(HTML) 파일을 추출하는 단계; 추출된 상기 HTML 파일을 분석하여 팝업 창을 생성시키는 소정의 함수를 검출하는 단계; 상기 검출된 함수로 인해 생성되는 팝업 창의 개수에 따라 소정의 카운터 값을 소정치 만큼 증가시키는 단계; 상기 카운터 값이 선정된 값 이상인지 여부를 판단하는 단계; 상기 카운터 값이 선정된 값 이상인 경우, 상기 등록된 웹사이트에 대하여 소정의 처리를 수행하도록 제어하는 단계를 포함하는 것을 특징으로 한다.

Description

검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및 그 시스템{A METHOD OF MANAGING WEB SITES REGISTERED IN SEARCH ENGINE AND A SYSTEM THEREOF}
본 발명은 인터넷 상에서 소정의 웹사이트에 대한 정보를 제공하는 검색 엔진에 관한 것이다. 더욱 상세하게는, 검색 엔진에 등록되어 있는 소정의 웹사이트에 대한 정보를 분석하여, 소정의 스팸 사이트 또는 성인 사이트를 추적함으로써 검색 엔진 사용자에게 불필요한 정보를 제공하지 않도록 하기 위한 등록된 웹사이트를 관리하기 위한 방법에 관한 것이다.
알타비스타(http://www.altavista.com), 라이코스(http://www.lycos.com), 야후(http://www.yahoo.com) 등과 같은 통상의 검색 엔진은 통상 웹사이트 정보를 소정의 기준에 따라 분류 및 저장하고 관리하기 위한 데이터베이스, 웹 상을 지속적으로 순회하면서 새로운 웹사이트 정보를 기계적으로 수집하기 위한 소프트웨어로 구현되는 검색 로봇(robot), 수집된 데이터를 데이터베이스화하여 상기 검색 엔진을 이용하는 이용자로 하여금 검색할 수 있도록 하는 검색 엔진 소프트웨어로 구성된다.
상슬한 검색 엔진 서비스를 제공하기 위한 전체 시스템의 블록도가 도 1에 도시되어 있다. 도 1을 참조하면, 사용자는 사용자 단말기(110)를 통하여 인터넷을 통해 검색 엔진 서버(150)로 접속한다. 사용자가 소정의 검색어를 입력하면, 검색 엔진 서버(150)는 검색 엔진 소프트웨어(140)로 해당 검색어에 대한 웹사이트 정보를 쿼리(query)하고, 검색 엔진 소프트웨어(140)는 해당 데이터베이스(130)를 검색하여 소정의 웹사이트 정보를 알려 준다. 검색 로봇(120)은 상기 설명한 바와같이, 웹 상을 지속적으로 순회하면서 웹 서버(160)로부터 새로운 웹사이트 정보를 기계적으로 수집하기 위한 소프트웨어로 구현되는 엔티티(entity)이다. 검색 로봇(120)은 네트워크 상에서 HTML(HyperText Markup Language)로 기술된 문장을 탐색하고, 기재되어 있는 링크처를 파싱(parsing)하여 네트워크 상에 존재하는 다수의 웹사이트로부터 데이터를 수집한다. 이와 같이 검색 로봇(120)에 의해 수집된 데이터는 데이터베이스화되는데, 여기에서 데이터베이스화라 함은 웹사이트에 위치하는 소정의 정보에 대해 형태소 분석(morphological analysis)을 수행하고, 인덱스 테이블을 작성하여 데이터베이스(130)에 저장하는 일련의 수순을 의미한다. 데이터베이스(130)는 검색 로봇(120)에 의해 수집된 모든 웹사이트 정보를 저장하기 위한 것이다. 검색 엔진 소프트웨어(140)는 검색 결과를 사용자에게 보여주는 기능을 한다. 이 소프트웨어는 데이터베이스(130)에 저장된 수많은 페이지를 검색하고, 특정 알고리즘에 따라 결정된 배열 순서에 따라 검색 용어와 일치되는 문자열을 포함하고 있는 웹사이트의 목록을 검색 서비스 이용자에게 제공하도록 동작한다. 위와 같은 종래의 검색 엔진은 다음과 같은 방법으로 웹사이트에 대한 정보를 검색 엔진에 등록하고, 상기 정보를 사용자에게 제공한다.
(1) 상술한 바와 같이 검색 로봇을 이용하여 소정의 정보를 수집하고, 수집된 정보를 전문 서퍼(surfer)의 검수를 거쳐 상기 웹사이트를 검색 엔진에 등록한다.
(2) 등록하고자 하는 웹사이트의 주제에 따라 분류된 디렉토리를 선택하고, 상기 선택된 디렉토리에 대해 상기 웹사이트 등록 신청을 하며, 전문 서퍼의 검수를 거쳐 검색 엔진에 등록된다. 검색 엔진에 따라 이러한 디렉토리 등록의 경우에는 소정의 등록료를 받고 등록에 소요되는 시간을 줄여주는 서비스를 제공하기도 한다.
상기의 방법 등으로 검색 엔진에 등록된 웹사이트는 소정의 정보를 검색하고자 하는 사용자의 검색어 입력에 따라, 통합 웹 검색 또는 디렉토리 검색 등의 다양한 검색 방식에 따라 검색되어 사용자에게 제공된다. 상기 통합 웹 검색은 다른 용어로 "단어별 검색"이라고도 하는데, 이 검색 방법은 데이터베이스에 모든 웹사이트들의 범용 리소스 로케이터(URL)를 저장하고 특정 키워드(keyword)를 입력함으로써 원하는 정보를 찾는 방법을 말한다.
상술한 종래 기술에 의한 웹사이트의 검색 서비스 제공 방법에서는 다음과 같은 문제점이 있다.
(1) 검색 엔진에 등록된 웹사이트 중에서 처음 검색 엔진에 등록될 당시의 웹사이트에 포함된 콘텐츠와 등록 이후 웹사이트에 포함된 콘텐츠가 다를 경우가 있다. 예를 들어, 처음 등록 당시에는 소정의 콘텐츠를 포함한 웹사이트였으나 시간이 경과함에 따라 점차 훼손되어 다수의 팝업 창을 생성하는 스팸 사이트로 변경될 수 있다는 문제점이 있다. 이러한 다수의 팝업 창을 생성하는 스팸 사이트의 경우에는 주로 성인 콘텐츠를 담고 있는 경우가 많고, 해당 URL로 이동시는 물론, 해당 URL을 벗어 나는 경우 동시 다발적으로 수 개에서 수십 개의 팝업 창을 생성함으로써 사용자에게 많은 불편을 야기하고 있다.
(2) 또한, 대부분의 검색 엔진 운영업체에서는 통상의 키워드에 대한 일반웹사이트 등록 비용과 성인물 콘텐츠에 관련된 키워드에 대한 성인 웹사이트 등록의 경우 청구하는 등록 비용을 달리하는 경우가 많다. 이는 일반 웹사이트보다 성인 웹사이트의 경우가 실정법 위반의 가능성이 높으므로, 검색 엔진 운영자 입장에서도 이러한 성인 웹사이트의 등록 관리에 대한 부담을 안고 있기 때문인데, 이러한 점을 악용하여 등록시에는 일반 콘텐츠와 통상의 일반 키워드를 이용하여 검색 엔진에 등록하고, 등록 이후에 웹사이트의 HTML 소스를 바꾸어 해당 사이트에서 성인물 콘텐츠를 제공하는 경우는 물론, 해당 사이트와 링크된 사이트에서 성인물 콘텐츠를 제공하는 등의 문제점이 있다. 이러한 사이트를 "변질 사이트"라고 정의할 수 있다. 이러한 변질 사이트는 검색 엔진 사용자의 불편 신고 또는 전문 서퍼 등의 인위적인 검색 없이는 발견되기가 매우 어렵다는 문제점이 있다.
상술한 문제점들을 해결하기 위한 해결책으로서 사용자들의 고발 신고 또는 전문 서퍼 등의 전문 인력을 통한 등록 웹사이트의 지속적인 모니터링이 필요하지만, 이러한 종래 기술에 따른 해결 방법은 상술한 문제점들에 대한 궁극적인 해결책이 될 수 없음은 자명하고, 이러한 문제점을 인터넷 상에서 소정의 알고리즘을 통하여 자동적으로 수행될 수 있는 방법이 도출될 수 있다면 상술한 문제점을 일거에 해결할 수 있는 유용한 수단이 될 수 있을 것이다.
본 발명에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법은 상술한 종래 기술의 문제점을 해결하기 위한 것으로서, 상술한 다수의 팝업 창을 생성하는 스팸 사이트 또는 변질 사이트를 소정의 알고리즘을 이용하여 자동적으로검출해 낼 수 있도록 함으로써 검색 엔진 사용자에게 불편을 초래하지 아니하는 검색 엔진 서비스를 제공하는 것을 그 목적으로 한다.
또한, 본 발명에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법은 스팸 사이트 또는 변질 사이트를 자동적으로 검출하고, 검출된 스팸 사이트 또는 변질 사이트 운영자에 대한 제재 조치를 가하도록 함으로써 검색 엔진에서 등록된 웹사이트 자체의 자정이 강화될 수 있도록 하는 것을 그 목적으로 한다.
또한, 본 발명에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법은 스팸 사이트 또는 변질 사이트의 검출 및 검출된 스팸 사이트 또는 변질 사이트들에 대한 경고 등의 제재 조치를 소정의 알고리즘에 의해 자동적으로 수행되도록 함으로써, 상술한 사이트들의 검출을 위해 소요될 수 있는 다수의 인력 자원을 절약할 수 있도록 하는 것을 그 목적으로 한다.
도 1은 웹사이트 검색 엔진 서비스를 제공하기 위한 시스템의 일예를 도시한 구성 블록도이다.
도 2는 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 시스템을 도시한 구성 블록도이다.
도3a 내지 도 3b는 본 발명의 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법을 도시한 흐름도이다.
도 3c는 본 발명의 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에서 생성되는 팝업 창의 개수를 측정하기 위한 웹사이트 URL의 트리 구조를 도시한 도면이다.
도 4a 내지 도 4b는 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에 있어서, 검색 로봇이 웹사이트를 순회하여 추출한 얻은 스팸 사이트의 HTML 파일의 일예를 도시한 도면이다.
도 5a 내지 도 5d는 본 발명의 또 다른 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법을 도시한 흐름도이다.
도 6a 내지 도 6b는 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에 있어서, 검색 로봇이 웹사이트를 순회하여 추출한 얻은 성인 사이트의 HTML 파일의 일예를 도시한 도면이다.
도 7a는 본 발명의 일실시예에 따른, 특정 웹사이트가 하나 이상의 상위 및 하위 웹페이지로 구성된 경우 해당 웹사이트를 스팸 사이트로 판단하는 방법을 설명하기 위한 웹페이지 구성 계층도이다.
도 7b는 본 발명에 따른 등록된 웹사이트를 관리하기 위한 방법에 있어서, 하나 이상의 웹페이지로 구성된 웹사이트에 대한 판단 방법의 일예를 도시한 흐름도이다.
도 8은 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 웹사이트의 등록을 관리하기 위한 방법에 있어서, 스팸 또는 성인 사이트로 판별된 웹사이트의 등록자에게 소정의 제재 조치를 가하는 방법을 도시하는 흐름도이다.
도 9는 본 발명에 따른 검색 엔진에서 등록된 웹사이트를 관리하는 방법에서 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
201 : 인터페이스 모듈 202 : 웹사이트 등록 모듈
203 : 웹사이트 관리 모듈 204 : 웹사이트 정보 DB
205 : 웹사이트 분석 모듈 207 : 검색 로봇
208 : 메일 서버 209 : SMS 서버
본 발명의 바람직한 일실시예에 따른 검색 엔진 관리 시스템에서 검색 엔진에 등록된 웹사이트를 관리하기 위한 방법은, 소정의 인터페이스 모듈에서 웹사이트에 대한 정보를 수신하고, 웹사이트 등록 모듈은 상기 수신된 웹사이트 정보를 데이터베이스 수단에 소정의 필드 별로 분류하여 기록하는 단계; 상기 웹사이트의 웹페이지를 구성하는 하이퍼텍스트 마크업 언어(HTML) 파일을 추출하는 단계; 추출된 상기 HTML 파일을 분석하여 팝업 창을 생성시키는 소정의 함수를 검출하는 단계; 상기 검출된 함수로 인해 생성되는 팝업 창의 개수에 따라 소정의 카운터 값을 소정치 만큼 증가시키는 단계; 상기 카운터 값이 선정된 값 이상인지 여부를 판단하는 단계; 상기 카운터 값이 선정된 값 이상인 경우, 상기 등록된 웹사이트에 대하여 소정의 처리를 수행하도록 제어하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 또 다른 일실시예에 따른 검색 엔진 관리 시스템에서 검색 엔진에 등록된 웹사이트를 관리하기 위한 방법은, 소정의 인터페이스 모듈에서 웹사이트에 대한 정보를 수신하고, 웹사이트 등록 모듈은 상기 수신된 웹사이트 정보를 데이터베이스 수단에 소정의 필드 별로 분류하여 기록하는 단계; 상기 웹사이트의 상기 웹페이지 중 최상위 페이지인 제1 페이지의 하이퍼텍스트 마크업 언어(HTML) 파일을 추출하는 단계; 상기 제1 페이지에서 추출된 하이퍼텍스트 마크업 언어(HTML) 파일을 분석하여 상기 제1 페이지가 스팸 페이지인지 여부를 판단하는 단계; 및 상기 제1 페이지가 스팸 페이지로 판단된 경우, 상기 등록된 웹사이트에 대하여 소정의 처리를 수행하도록 제어하는 단계를 포함하고, 상기 제1 페이지가 스팸 페이지인지 여부를 판단하는 상기 단계는, 추출된 상기 HTML 파일을 분석하여 팝업 창을 생성시키는 소정의 함수를 검출하는 단계; 상기 검출된 함수로 인해 생성되는 팝업 창의 개수에 따라 소정의 카운터 값을 소정치 만큼 증가시키는 단계; 상기 카운터 값이 선정된 값 이상인지 여부를 판단하는 단계; 및 상기 카운터 값이 선정된 값 이상인 경우 상기 제1 페이지를 스팸 페이지로 판단하는 단계를 포함하는 것을 특징으로 한다.
본 명세서에서 사용되는 스팸 사이트라 함은 웹페이지의 HTML(HyperText Markup Language) 파일 등에 다양한 방법으로 소정의 함수 등을 삽입하여 해당 URL 방문시 또는 해당 URL을 벗어나는 경우 소정의 개수의 팝업 창을 생성하는 웹사이트를 의미한다. 또한, 웹사이트를 구성하는 하나 이상의 웹페이지에 대해 본 발명에 따른 스팸 사이트 판단 방법에 따라 스팸으로 판단된 웹페이지를 스팸 페이지로 명명한다.
또한, 본 명세서에서 사용되는 변질 사이트라 함은, 소정의 웹페이지를 통해 제공되는 콘텐츠가 성인 콘텐츠인 웹사이트로서, 등록시 성인 사이트로 등록되지 아니한, 즉 등록 이후에 성인 사이트로 변질된 웹사이트를 의미한다. 부가적으로, 성인 사이트라 함은 19세 미만의 청소년들에게 매우 유해한 콘텐츠를 담고 있는 웹사이트를 의미한다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 웹사이트의 등록을 관리하는 방법 및 그 시스템에 대하여 상술한다.
도 2는 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 시스템을 도시한 구성 블록도이다. 도2를 참조하면, 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 시스템은 인터페이스 모듈(201), 웹사이트 등록 모듈(202), 웹사이트 관리 모듈(203), 웹사이트 정보 데이터베이스(204), 웹사이트 분석 모듈(205), 및 검색 로봇(207)으로 구성될 수 있다.
또한, 본 발명의 바람직한 일실시예에 의하면 검색 엔진에서 등록된 웹사이트를 관리하기 위한 시스템은 웹사이트의 등록자에게 소정의 메시지를 발송하기 위한 메일 서버(208), 또는 SMS 서버(209)를 포함할 수 있다. 이러한 메일 서버(208)와 SMS 서버(209)는 검색 엔진 서비스 제공 시스템 내에 포함될 수도 있고, 제3자가 운영하는 시스템 내에 위치할 수도 있다. 또한, 도 2에는 인터페이스 모듈(201), 다종의 모듈들, 및 메일 서버(208) 또는 SMS 서버(209)가 별개의 엔티티인 것처럼 도시되어 있으나 이는 설명의 편의를 위한 것일 뿐, 동일한 엔티티일 수 있다. 또한, 상기 도 2에 도시된 구성 요소들은 물리적으로도 동일한 장소에 위치할 수도 있고, 다른 실시예에 따르면 물리적으로 이격되어 있을 수도 있다.
먼저, 인터페이스 모듈(201)은 소정의 웹사이트를 검색 엔진에 등록하고자 하는 등록자 측에 구비된 컴퓨터 단말기와 검색 엔진의 등록 관리 시스템 사이의 데이터 전송 및 물리적 전송 장비 간의 인터페이스 역할을 담당하는 모듈이다.
웹사이트 등록 모듈(202)은 상기 등록자로부터 소정의 웹사이트에 대한 등록 신청을 수신하고, 웹사이트 등록 신청에 포함된 웹사이트에 대한 정보 데이터를 수집 및 분류하는 기능을 담당한다. 이러한 웹사이트 등록 모듈(202)은 웹사이트 등록에 대한 소정의 과금을 수행하는 과금 모듈(도시되지 아니함)을 더 포함할 수 있고, 과금 모듈은 등록을 원하는 웹사이트의 종류(일반적인 내용을 담고 있는 일반 사이트 또는 성인 콘텐츠를 담고 있는 성인 사이트)에 따라 그 과금 내역을 달리 적용하도록 동작할 수 있다.
웹사이트 관리 모듈(203)은 본 발명에 따른 웹사이트의 등록 관리를 총괄하는 모듈로서, 검색 로봇(207)이 수집한 웹사이트에 대한 정보를 기초로 상기 웹사이트가 선정된 기준에 적합하게 운영되고 있는지를 판단하고, 비정상적으로 운영되는 웹사이트, 즉 스팸 또는 변질 사이트인 것으로 판단되는 경우, 상기 등록자에 대해 소정의 조치를 자동적으로 취하도록 제어하는 기능을 담당한다. 또한, 웹사이트 관리 모듈(203)은 메일 서버(208)나 단문자 메시지 서비스(SMS) 서버(209)와 연동함으로써 상기 스팸 또는 변질 사이트의 등록자에 대해 이메일을 발송하거나 상기 등록자의 이동통신단말기로 SMS를 전송함으로써 웹사이트의 부정 운영에 대한 경고를 할 수 있다.
웹사이트 정보 데이터베이스(204)는 등록된 웹사이트에 대한 정보를 분류하여 기록하는 역할을 담당한다. 웹사이트 정보 데이터베이스(204)에는 웹사이트의 범용 리소스 로케이터(URL), 해당 웹사이트의 키워드, 해당 웹사이트의 등록자 정보(등록자 이름, 주소, 이메일 주소, 이동통신단말기 번호 등), 해당 웹사이트의 디렉토리 정보 등의 다양한 정보가 각 필드 별로 분류 및 저장되어 있을 수 있다. 본 발명에 따른 웹사이트 정보 데이터베이스(204)에 저장된 정보는 시스템 관리자 및 상기 웹사이트의 등록자에 의해서 수정될 수 있고, 웹사이트의 콘텐츠가 바뀌는 경우 등록자가 직접 수정하지 아니하더라도 검색 로봇(207)이 수집한 데이터의 분석 결과(해당 웹사이트의 URL 에 대응하는 새로운 키워드 등) 등에 따라 자동적으로 해당 정보가 갱신되도록 동작할 수 있다.
웹사이트 분석 모듈(205)은 검색 로봇(207)이 수집한 웹사이트의 정보를 분석하는 역할을 담당한다. 검색 로봇(207)이 수집하는 데이터의 종류와 분석 방법에 대해서는 아래 도 3에 대한 설명과 함께 상술한다.
또한, 웹사이트 분석 모듈(205)는 상기 웹사이트를 구성하는 웹페이지 중 최상위의 제1 페이지의 HTML 파일을 추출하고, 웹사이트 관리 모듈(203)은 상기 제1 페이지가 스팸 페이지인 경우 상기 웹사이트를 스팸 사이트로 판단하도록 동작할수 있다. 이 경우, 상기 제1 페이지가 스팸 페이지가 아닌 것으로 판단된 경우, 웹사이트 분석 모듈(205)은 상기 제1 페이지의 하위 페이지인 하나 이상의 제2 페이지의 HTML 파일을 추출하여 추출된 HTML 파일을 분석하고, 웹사이트 관리 모듈(203)은 상기 제2 페이지가 스팸 페이지인지 여부를 판단하고, 상기 제2 페이지의 총 개수와 스팸 페이지로 판단된 제2 페이지의 개수를 연산하여 스팸 페이지 비율 정보를 산출하며, 상기 스팸 페이지 비율 정보가 선정된 값 이상인 경우 상기 웹사이트를 스팸 사이트로 판단하도록 동작할 수 있다.
이와 같이, 하나 이상의 웹페이지로 구성되는 웹사이트에 대해 스팸 사이트인지 여부를 판단하는 방법에 대해서는 도 7a 및 도 7b를 참조하여 후술한다.
상술한 본 발명의 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 시스템을 구성하는 각 구성 요소들은 설명의 편의를 위하여 단순히 기능적으로 구분된 것일 뿐, 각 구성 요소의 실제 물리적 위치와는 무관하다. 또한, 상술한 모듈들은 하드웨어로 구현될 수도 있고, 특정 코드를 이용한 소프트웨어로서 구현될 수 있음은 당업자에게 자명하다.
<스팸 페이지 검출 방법>
도3은 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법을 도시하는 흐름도이다. 도 3에 도시된 등록된 웹사이트의 관리 방법은 등록된 웹사이트 중에서 소정의 스팸 사이트를 검출하여, 해당 사이트의 운영자에게 소정의 조치를 취하도록 하는 것이다. 이하 도 4a 및 도 4b, 및 도7을 참조하여 도 3에 도시된 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에 대해 상술한다.
도 3a 내지 도 3b에 도시된 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 웹사이트의 등록을 관리하기 위한 방법은 다음과 같이 수행된다. 소정의 웹사이트를 검색 엔진에 등록하고자 하는 등록자는 등록을 원하는 웹사이트에 대한 정보와 함께 웹사이트 등록 신청을 한다(단계 301). 상기 웹사이트에 대한 정보는 웹사이트 정보 데이터베이스에 정보 필드((등록자 이름, 주소, 이메일 주소, 이동통신단말기 번호 등) 별로 분류되어 기록되고(단계 302), 상기 웹사이트는 검색 엔진에 등록된다(단계 303). 이러한 등록 단계(단계 303)는 몇 개의 루트를 통해 수행될 수 있는데, 먼저 상술한 것과 같이 웹사이트 관리자가 검색 엔진에 자신의 웹사이트의 등록을 의뢰함으로써 등록되는 경우가 있고, 검색 로봇이 웹 상을 무작위로 돌아다니면서 얻어온 웹사이트 정보를 이용하여 웹사이트가 검색 엔진에 등록되는 경우가 있을 수 있다. 전자의 경우에는 웹사이트 등록자 자신이 웹사이트의 주제(예를 들면, "피카츄", "변리사 시험" 등)를 정하여 상기 웹사이트의 주제와 가장 근접한 카테고리에 웹사이트의 등록을 신청하고, 신청된 웹사이트에 대해서는 전문 서퍼의 검수를 거쳐 소정의 조건(웹사이트의 완성도, 등록 비용을 지불하지 아니하는 경우에는 비상업적 사이트 요건 충족 여부 등)을 만족하는 것으로 판단되는 경우에 검색 엔진에 등록될 수 있다. 본 발명에 따른 검색 엔진에서 웹사이트의 등록을 관리하기 위한 방법에서는 검색 엔진에 등록되는 루트를 상기 등록자의 신청에 의한 경우로 한정하여 설명하고 있지만, 본 발명에 따른 검색 엔진에서 웹사이트의 등록을 관리하기 위한 방법 및 그 시스템은 검색 엔진에 웹사이트가 등록되는 다종 다양한 방법에 대해서도 동일하게 적용될 수 있다.
웹사이트가 등록되면, 검색 엔진은 검색 로봇을 제어하여 등록된 웹사이트의 웹페이지를 구성하는 HTML 파일을 추출하고, 추출된 HTML 파일을 분석하여 상기 HTML 파일에 포함된 팝업 창 생성을 담당하는 함수를 추출한다(단계 304).
본 발명의 일실시예에 따른 분석 방법은 웹사이트의 HTML 파일을 분석함으로써, 팝업 창을 생성하기 위한 함수를 추출하는 것이다.
도 4a 및 도 4b는 도 3a의 단계 304에서 수행되는, 웹사이트의 HTML 파일을 분석하여 HTML 파일에 포함된 팝업 창을 생성하기 위한 함수를 포함하는 다양한 일예들을 도시하는 도면이다. 이하, 도 4a 및 도 4b를 참조하여 본 발명에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에서 HTML 파일의 분석이 어떻게 수행되는지에 대해 상술한다.
도 4a 는 소정의 웹사이트를 벗어나는 경우 팝업 창이 생성되도록 하는 스팸 사이트의 HTML 파일의 일예를 도시한 도면이다. 도 4a를 참조하면, 스크립트 언어로서는 자바스크립트 언어로 표현된 HTML 파일의 일예가 도시되어 있다. 스크립트 내에 정의된 leave() 함수는 본 HTML 파일을 포함하는 웹사이트를 벗어나는 경우 "www.yourserver.com/page-to-open.html"로 특정되는 팝업 창이 생성되도록 한다. 함수 내의 toolbar, menubar, location, height, width 등의 변수들은 생성되는 팝업 창의 크기 또는 위치 등을 지정하기 위한 것이다.
도 4b는 소정의 웹사이트를 방문시 팝업 창이 생성되도록 하는 스팸 사이트의 HTML 파일의 일예를 도시한 도면이다. 도 4b를 참조하면, 스크립트 언어로서는 자바스크립트 언어로 표현된 HTML 파일의 일예가 도시되어 있다. 스크립트 내에 정의된 TripodShowPopup 함수는 도 4b에 도시된 HTML 파일을 포함하는 웹사이트를 방문하는 경우 "http://jhkimg.hihome.com/"으로 특정되는 팝업 창이 생성되도록 한다. 함수 내의 각종 변수들은 생성되는 팝업 창의 크기 또는 위치를 지정하기 위한 것이다.
도 4a 및 도 4b에 도시된 HTML 파일의 일예 이외에도 다양한 방법으로 팝업 창을 생성하도록 할 수 있다. 즉, 본 발명에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에서는 이와 같이 다양한 방법으로 팝업 창을 생성하기 위한 HTML 파일들을 분석함으로써 도 4a 및 도 4b에 도시된 일예 이외의 팝업 창 생성을 위한 HTML 파일을 추출하도록 구현될 수 있다.
단계 304에서 팝업 창 생성 함수를 추출하는 것과 함께, 본 발명의 바람직한 일실시예에 따르면 다양한 방법으로 분기하여 소정의 팝업 창을 생성하는 웹사이트를 분석할 수 있다.
단계 304에서 추출된 팝업 창 생성 함수를 분석하여, 팝업 창 생성 함수에 포함되어 있는 팝업 창 URL을 방문하고, 상기 팝업 창의 HTML 파일(제2 HTML 파일)을 추출한다(단계 306). 추출된 제2 HTML 파일을 분석하여 상기 제2 HTML 파일에 포함된 팝업 창 생성 함수를 또 추출한다(단계 307). 당업자라면 주지하는 바와 같이, 팝업 창의 속성상 하나의 웹사이트에서 생성된 팝업 창이 존재하는 경우 상기 팝업 창의 HTML 파일에서 또 다른 팝업 창을 생성한다면 사용자에게는 이러한연쇄적인 팝업 창이 모두 표시되게 된다. 따라서, 해당 웹사이트에서 생성하는 팝업 창의 개수와, 상기 팝업 창으로 인해 생성되는 제2의 팝업 창의 개수를 모두 포함한 것이 사용자에게 표시되는 팝업 창의 수가 될 수 있다. 이와 같이 해당 웹사이트의 HTML 파일로 인해 생성되는 팝업 창의 개수는 물론, 상기 팝업 창의 HTML 파일로 인해 생성되는 팝업 창의 개수를 모두 합산하고, 합산된 팝업 창의 개수에 따라 소정의 카운터 값을 소정치 만큼 증가시킨다(단계 305).
본 발명의 또 다른 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에서는, 단계 304에서 등록된 HTML 파일을 분석하여 상기 HTML 파일에 포함된 리디렉션 태그를 추출하고, 상기 리디렉션 태그에 포함된 타겟 URL이 생성하는 팝업 창의 개수 까지 합산하도록 동작할 수 있다. 단계 304에서 도 3b로 분기하여, 소정의 웹사이트의 HTML 파일에 포함된 리디렉션 태그를 추출한다(단계 311). 이러한 리디렉션 태그의 일예는 이하의 도 6a에서 상술한다. 추출된 리디렉션 태그를 분석하고, 검색 로봇을 제어하여 상기 리디렉션 태그에 포함된 타겟 URL의 제3 HTML 파일을 추출하도록 한다(단계 312). 추출된 제3 HTML 파일을 분석하여 상기 제3 HTML 파일에 포함된 팝업 창 생성 함수를 추출하고(단계 313), 다시 도 3a의 단계 305로 회귀한다.
단계 305에서는 상술한 바와 같이, (1) 해당 웹사이트에서 생성되는 팝업 창의 개수와, (2) 상기 팝업 창으로 인해 생성되는 제2의 팝업 창의 개수와, (3) 상기 해당 웹사이트의 HTML 파일에 포함된 리디렉션 태그로 인해 이동하는 타겟 URL로 특정되는 웹사이트의 HTML 파일로 인해 생성되는 제3의 팝업 창의 개수를 모두합산하여, 상기 합산된 팝업 창의 개수에 따라 카운터 값을 소정치 만큼 증가시킨다.
도 3c는 본 발명의 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에서 생성되는 팝업 창의 개수를 측정하기 위한 웹사이트 URL의 트리 구조를 도시한 도면이다. 도 3c를 참조하면, 소정의 웹사이트 A(http://www.test_xxx.com)에 연결되어 있는 웹사이트 B 내지 F의 일예가 도시되어 있다. 웹사이트 A의 HTML 파일에 팝업 창인 웹사이트 B(http://www.test2.com)와, 웹사이트 A의 HTML 파일에 포함된 리디렉션 태그의 타겟 URL인 웹사이트 C(http://www.test3.com)이 도시되어 있고, 웹사이트 B와 연결된 웹사이트 D(http://www.test4.com)와, 웹사이트 D의 HTML 파일에 포함된 리디렉션 태그의 타겟 URL인 웹사이트 E(http://www.test5.com)와, 웹사이트 D의 HTML 파일에 포함된 팝업 창 생성 함수의 팝업 창 URL인 웹사이트 F(http://www.test6.com)이 각각 도시되어 있다. 도 3c에 도시된 것과 같이, 본 발명의 일실시예에 의하면, 하나의 웹사이트 A와 링크된 웹사이트 B 내지 F의 HTML 파일을 분석하여 웹사이트 A 방문시 사용자에게 표시되는 모든 팝업 창의 개수를 측정하는 것이 가능하다.
단계 305에서 생성되는 팝업 창의 개수에 따라 카운터 값을 소정치 만큼 증가시키게 되면, 해당 카운터 값이 소정치 이상인지 여부를 판단한다(단계 308). 본 발명의 바람직한 일실시예에 의하면 상기 소정치는 3일 수 있다. 상기 카운터 값이 소정치 이상인 경우, 해당 웹사이트는 선정된 개수 이상의 팝업 창을 생성하는, 이른바 "스팸 사이트"로 판단할 수 있게 되고, 해당 웹사이트에 대해서는 도 7에 도시된 소정의 제재 조치를 취하도록 동작한다(단계 309).
<성인 페이지 검출 방법>
도 5a 내지 도 5b는 본 발명의 또 다른 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위하여 변질 페이지를 검출하여 해당 변질 페이지에 소정의 제재 조치를 취하기 위한 방법을 도시한 흐름도이다.
도 5a에는 이러한 성인 키워드를 선정하여 소정의 성인 키워드 데이터베이스를 구축하기 위한 방법의 일예가 도시되어 있다.
소정의 웹사이트가 성인 사이트인지 여부를 판단하기 위한 기준이 되는 성인 키워드를 선정하여 성인 키워드 데이터베이스를 구축하는 방법은 다음의 단계를 포함할 수 있다. 먼저 하나 이상의 성인 사이트를 선정한다(단계 501). 성인 사이트의 선정은 본 발명에 따른 웹사이트 등록 관리 시스템의 관리자가 직접 선정할 수 있고, 본 발명에 따른 시스템의 데이터베이스 수단에서 소정의 웹사이트 카테고리 정보 필드를 검색하여 성인 사이트로 등록된 웹사이트 중 하나 이상이 자동적으로 선정되도록 설정할 수도 있다. 선정된 성인 사이트의 웹페이지에 포함된 문자열을 추출하고(단계 502), 추출된 문자열 별로 빈도 수를 기록한다(단계 503). 빈도 수를 기록하기 위하여, 추출된 문자열을 테이블 형태로 기록하고, 해당 문자열이 한 번 추출될 때마다 상기 테이블의 빈도 수 필드 값을 하나 씩 증가시키는 방법을 이용할 수 있다. 분석 결과 검출된 문자열을 상술한 빈도 수를 기준으로 소정의 주기(일별, 주별, 또는 월별)마다 상기 기록된 문자열을 소팅(sorting) 하고(단계 504), 상위에 위치한 문자열들을 추출하여 이들을 성인 키워드로 선정하여 이를 성인 키워드 데이터베이스에 저장한다(단계 505). 또한, 본 발명의 다른 일실시예에 의하면 성인 키워드 선정시에는 소팅을 하지 아니하고 검출된 문자열은 모두 성인 키워드로 선정하도록 설정하는 것도 가능하다. 이 경우 성인 키워드가 아닌 문자열이 성인 키워드로 선정될 가능성이 있지만, 소팅으로 인한 성인 키워드 선정에 필요한 시스템의 부하 가중을 피할 수 있다는 효과가 있을 수 있다.
도 5b 및 도 5c에는 도 5a에 도시된 방법을 통하여 구축된 성인 키워드 데이터베이스를 이용하여 소정의 변질 사이트를 검출하기 위한 방법의 일예가 도시되어 있다.
도 5b에 도시된 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법은 다음과 같이 수행된다. 소정의 웹사이트를 검색 엔진에 등록하고자 하는 등록자는 등록을 원하는 웹사이트에 대한 정보와 함께 웹사이트 등록 신청을 한다(단계 511). 상기 웹사이트에 대한 정보는 웹사이트 정보 데이터베이스에 정보 필드(등록자 이름, 주소, 이메일 주소, 이동통신단말기 번호 등) 별로 분류되어 기록되고(단계 512), 상기 웹사이트는 검색 엔진에 등록된다(단계 513). 이러한 단계 513은 도 3a에서 상술한 등록 단계(단계 303)과 동일할 수 있다.
다음으로, 소정의 성인 키워드가 기록된 성인 키워드 데이터베이스를 유지한다(단계 514). 상기 성인 키워드 데이터베이스는 상술한 도 5a에 도시된 방법에 의해 구축될 수 있다.
웹사이트가 등록되면, 검색 엔진은 검색 로봇을 제어하여 등록된 웹사이트의 웹페이지를 구성하는 HTML 파일을 추출한다(단계 515). 추출된 HTML 파일을 분석하여 상기 HTML 파일에 포함된 리디렉션 태그를 추출한다(단계 516). 이러한 리디렉션 태그의 일예가 도 6a 및 도 6b에 도시되어 있다.
도 6a 내지 도 6b는 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에 있어서, 검색 로봇이 웹사이트를 순회하여 추출한 얻은 성인 사이트의 HTML 파일의 일예를 도시한 도면이다.
도 6a는 리디렉션 페이지에 포함된 문자열을 이용하는 변질 사이트에 포함된 HTML 파일의 일예를 도시한 도면이다. 당업자라면 주지하는 바와 같이 리디렉션은 접속된 웹사이트에서 새로운 웹사이트로의 이동을 설정하기 위한 것으로서, 도 6a에 도시된 HTML 파일의 형태로 구현될 수 있다. 도 6a의 상단에 도시된 메타 태그를 이용한 일예를 보면, 메타 태그 중 http-equiv 속성을 이용하고 있다. 상기 메타 태그는 통상 정해진 시간(도 6a의 content 항목에서 지정되는 시간) 경과 후에 자동으로 다른 문서로 이동하도록 설정하기 위한 것으로서, 주로 홈페이지의 주소가 변경되는 경우 옛 주소로 접속한 사용자에게 주소 변경 안내를 보여 주고 소정의 시간 경과시 자동으로 새로운 주소로 이동할 수 있도록 하는데 주로 사용된다. 도 6a의 상단에 도시된 메타 태그는 "http;//www.sexhouse.com"으로 리디렉션하도록 동작한다. 또한, 도 6a 중단 및 하단의 경우에도 각각 self.location 태그 및 location.replace 태그 등을 이용하여 현재의 웹페이지를 "http://www.sexhouse.com"으로 리디렉션하도록 동작한다.
도 6b에는 이러한 리디렉션 태그가 포함된 HTML 파일의 일예가 도시되어 있다. 도 6b에 도시된 HTML 파일은 실제 성인 사이트에 포함된 HTML 파일로서, 상술한 메타 태그 등을 이용하여 다수의 성인 사이트로의 리디렉션이 수행되도록 동작한다. 도 6b에 도시된 HTML 파일의 일예에 따르면 해당 웹사이트는 "http://www.sexhouse.com/rating.html", "http://www.porno.com", "http://www.hardcore.com", 및 "http://www.pussy.com"으로 리디렉션 된다.
추출된 리디렉션 태그에 포함된 타겟 URL을 추출한다(단계 517). 본 발명의 바람직한 일실시예에 의하면, 단계 517에서 추출된 타겟 URL을 이용하여 다음의 방법으로 변질 사이트 여부를 판별한다.
먼저, 상기 추출된 타겟 URL 자체에 포함된 문자열을 분석하여 변질 사이트 여부를 판별한다. 이 경우에는, 상기 추출된 타겟 URL의 문자열을 분석한다(단계 518). 도 6a내지 도 6b에 도시된 변질 사이트의 HTML 파일의 일예에서는 추출된 타겟 URL은 http://www.sexhouse.com" 등일 수 있고, 상기 타겟 URL에서 추출된 문자열로는 "www", "sex", 또는 "sexhouse" 등일 수 있다. 도 6a 및 도 6b에 도시된 HTML 파일의 일예에서는 타겟 URL의 문자열로서 영어가 기재되어 있지만, 이러한 문자열로는 한글(한글 도메인 네임) 또는 숫자일 수 있다. 또한, 본 발명의 바람직한 일실시예에 따르면 상기 문자열은 본 발명에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법이 적용되는 모든 나라의 자국어 도메인 네임을 포함할 수 있다.
다음으로, 상기 추출된 타겟 URL로 특정되는 웹사이트에 포함된 HTML 파일의문자열을 분석하여 변질 사이트 여부를 판별한다. 이 경우에는, 단계 517에서 타겟 URL을 추출한 다음, 도 5d에 도시된 방법으로 소정의 문자열을 추출하게 된다. 검색 로봇을 제어하여 단계 517에서 추출된 타겟 URL로 특정되는 웹사이트를 방문하여 상기 웹사이트에 포함된 HTML 파일을 추출하도록 제어한다(단계 543). 추출된 HTML 파일에 포함된 문자열을 분석하고(단계 544), 다시 도 5a의 단계 519로 회귀한다.
상술한 바와 같이, 상기 타겟 URL 자체에 포함된 문자열 또는 상기 타겟 URL로 특정되는 웹사이트의 HTML 파일에 포함된 문자열을 추출한 다음, 상기 성인 키워드 데이터베이스를 참조하여(단계 519) 상기 성인 키워드 데이터베이스에 추출된 문자열에 대응하는 성인 키워드가 기록되어 있는지 여부를 검색한다(단계 520). 검색 결과 상기 문자열에 대응하는 성인 키워드가 있는 경우에는 도 5c로 분기하고, 없는 경우에는 다시 단계 515로 회귀한다. 본 발명에 따른 변질 사이트 판별 방법에 의하면, 변질 사이트 여부를 판별하기 위하여 상기 타겟 URL 자체에 포함된 문자열을 분석하는 방법을 이용하거나, 상기 타겟 URL로 특정되는 웹사이트의 HTML 파일에 포함된 문자열을 분석하는 방법을 이용할 수도 있고, 양 방법을 하이브리드 방식으로 병용함으로써 소정의 웹사이트가 변질 사이트인지 여부를 판별할 수 있도록 동작할 수 있다.
도 5c를 참조하면, 단계 520에서 상기 문자열에 대응하는 성인 키워드가 있는 경우에는 상기 성인 키워드를 타겟 URL의 문자열에 포함하고 있는 것으로 판단된 웹사이트가 변질 사이트인지 여부를 판단하기 위해서 상기 웹사이트 정보 데이터베이스를 참조하여 상기 웹사이트의 등록정보를 검색한다(단계 522). 상술한 바와 같이, 변질 사이트는 종래 웹사이트 등록 당시에는 일반 사이트로 등록되었던 웹사이트가 등록 이후에 성인 사이트로 변질된 경우를 의미하기 때문이다.
웹사이트 정보 데이터베이스 수단에 저장된 상기 웹사이트의 웹사이트 카테고리 정보를 검색하여 상기 웹사이트가 성인 사이트로 등록되어 있는지 여부를 판단(단계 523)하고, 성인 사이트로 등록되어 있지 아니한 웹사이트의 경우에는 상기 웹사이트를 변질 사이트로 판단할 수 있다.
단계 523에서 해당 웹사이트를 변질 사이트로 판단한 경우에는 도 7로 분기(단계 514)하여, 상기 웹사이트에 대하여 소정의 조치를 취하도록 할 수 있고, 변질 사이트가 아닌 경우에는 도 5b의 단계 505로 회귀한다.
본 발명의 또 다른 일실시예에 의하면, 본 발명에 따른 검색 엔진 관리 시스템에서 검색 엔진에 등록된 웹사이트를 관리하기 위한 방법은 소정의 웹사이트를 구성하는 하나 이상의 웹페이지에 대하여 해당 웹페이지의 최상위 페이지가 스팸 페이지인 경우 하나 이상의 하위 페이지를 포함하는 해당 웹사이트를 스팸 사이트로 규정하도록 동작할 수 있다. 이는 스팸 사이트를 결정하기 위한 정책적인 방법으로서, 통상 최상위 페이지가 스팸 페이지인 경우 해당 웹사이트가 스팸 사이트일 가능성이 높다는 확률적인 접근을 통해 얻어진 결론일 수 있고, 통상 사용자가 검색 엔진을 통해 특정 웹사이트를 방문하는 최초 화면이 최상위 페이지인 경우가 많으므로 이러한 최상위 페이지가 스팸 페이지인 경우 해당 웹사이트를 스팸 사이트로 규정하도록 구현되는 것이 가능하다.
도 7a는 본 발명의 일실시예에 따른, 특정 웹사이트가 하나 이상의 상위 및 하위 웹페이지로 구성된 경우 해당 웹사이트를 스팸 사이트로 판단하는 방법을 설명하기 위한 웹페이지 구성 계층도이다.
도 7a를 참조하면, 특정 웹사이트(도메인 네임 www.xxx.com)는 4개의 서브 페이지로 분할되고, 각 서브 페이지는 하나 이상의 하위 웹페이지로 구성되어 있다. 이 중, 최상위 페이지인 www.xxx.com/intro.html에 대해 HTML 문서 추출을 통한 본 발명에 따른 스팸 페이지 검출 방법에 의해 해당 웹페이지가 스팸 페이지인지 여부를 판단한다. 이 경우 최상위 페이지인 www.xxx.com/intro.html이 본 발명에 따른 스팸 페이지 검출 방법에 의해 스팸 페이지로 판단되는 경우에는 해당 웹사이트(www.xxx.com)을 스팸 사이트로 판단할 수 있다.
또한, 본 발명에 따르면, 비록 최상위 페이지는 스팸 페이지가 아니지만, 최상위 페이지에 부속되는 하위 페이지들 중 일정 비율 이상이 스팸 페이지인 경우 해당 웹사이트를 스팸 사이트로 판단할 수 있다. 즉, www.xxx.com의 서브 페이지 디렉토리인 /adult, /login, /members, 및 /info를 구성하는 하나 이상의 하위 페이지 중 선정된 비율 이상이 스팸 페이지인 경우 해당 웹사이트를 스팸 사이트로 판단하도록 구현되는 것이 가능하다. 일예로, 상기 비율을 70%로 설정해 놓은 경우, 최상위 페이지를 제외한 하위 페이지의 개수가 총 20개이고, 이들 각각에 대한 HTML 문서 추출을 통한 분석을 통해 총 16개의 페이지가 스팸 페이지인 경우 상기 비율은 16/20=0.8로서 해당 웹사이트는 설정된 비율인 70% 이상의 하위 페이지가 스팸 페이지로 구성된 스팸 사이트로 판단하는 것이 가능하다.
이러한 본 발명에 따른 스팸 페이지 판단 방법을 첨부된 도 7b를 참조하여 상세히 설명한다.
도 7b는 본 발명에 따른 등록된 웹사이트를 관리하기 위한 방법에 있어서, 하나 이상의 웹페이지로 구성된 웹사이트에 대한 판단 방법의 일예를 도시한 흐름도이다.
도 7b를 참조하면, 본 발명에 따른 스팸 사이트 판단 방법은 아래의 단계를 포함하여 수행될 수 있다.
상술한 바와 같이, 사용자는 자신의 웹사이트를 소정의 검색 엔진에 등록한다(단계 701). 본 발명에 따른 등록 웹사이트 관리 시스템에서는 등록된 웹사이트에 대한 웹사이트 정보를 데이터베이스 수단에 필드 별로 기록 저장한다(단계 702). 상기 웹사이트의 웹페이지 중 최상위 페이지인 제1 페이지의 HTML 파일을 추출하고(단계 703), 추출된 HTML 파일을 분석한다(단계 704).
상기 추출된 HTML 파일을 분석하여 상기 제1 페이지가 스팸 페이지인지 여부를 판단한다(단계 705). 단계 705에서 상기 제1 페이지가 스팸 페이지인지 여부를 판단하는 방법은 상술한 도 3a 및 도 3b에 도시된 방법을 이용할 수 있다.
단계 705에서 상기 제1 페이지가 스팸 페이지인 것으로 판단된 경우, 해당 웹사이트를 스팸 사이트로 판단하고(단계 706), 도 8로 분기하여 해당 웹사이트에 대한 소정의 처리를 수행하도록 동작한다.
단계 705에서 상기 제1 페이지가 스팸 페이지가 아닌 것으로 판단된 경우, 상기 제1 페이지의 하위 페이지인 하나 이상의 제2 페이지에 대한 HTML 파일 추출을 수행한다(단계 707). 추출된 제2 페이지의 HTML 파일을 분석하고 해당 제2 페이지가 스팸 페이지인지 여부를 판단하여, 스팸 페이지로 판단된 제2 페이지의 개수 정보를 카운팅한다(단계 708), 상기 제2 페이지의 총 개수와 상기 단계 708에서 카운팅된, 스팸 페이지로 판단된 제2 페이지의 개수의 비율 정보를 산출한다(단계 709). 산정된 비율 정보가 선정된 값 이상인지 여부를 판단하고(단계 710), 판단 결과 상기 비율 정보가 선정된 값 이상인 경우에는 해당 웹사이트를 스팸 사이트로 판단하며(단계 711), 도 8로 분기하여 해당 웹사이트에 대한 소정의 처리를 수행하도록 동작한다.
단계 710에서, 상기 산출된 비율 정보가 선정된 값보다 작은 경우 해당 루틴은 단계 703으로 분기하여 해당 동작을 반복하도록 구현될 수 있다.
상술한 방법을 통해 하나 이상의 웹페이지로 구성된 웹사이트에 대한 스팸 사이트 여부 판단을 수행할 수 있다.
<스팸 사이트 또는 변질 사이트에 대한 제재 조치>
도 8은 본 발명의 바람직한 일실시예에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에 있어서, 스팸 또는 변질 사이트로 판별된 웹사이트의 등록자에게 소정의 제재 조치를 가하는 방법을 도시하는 흐름도이다.
도 8을 참조하면, 상술한 도 3a의 단계 308에서 스팸 사이트로 판단된 경우 또는 도 5c의 단계 523에서 변질 사이트로 판단된 경우의 자동 제재 조치가 도시되어 있다. 스팸 또는 변질 사이트로 판단된 경우, 웹사이트 관리 모듈은 웹사이트정보 데이터베이스를 검색하여 해당 웹사이트의 등록자의 정보를 획득하고(단계 810), 웹사이트 관리 모듈은 상기 등록자의 정보를 수신한다(단계 820 및 850). 본 발명의 일실시예에 따르면, 웹사이트 관리 모듈은 상기 등록자 정보에서 등록자의 이메일 주소 또는 이동통신단말기 번호 등의 연락 정보를 추출하고(단계 830), 메일 서버 또는 SMS 서버를 제어하여 상기 연락 정보로 소정의 메시지를 전송하도록 동작한다(단계 840).
본 발명의 또 다른 일실시예에 따르면, 웹사이트 관리 모듈은 상기 등록자 정보에서 등록자의 기타 등록 웹사이트 정보를 추출(단계 860)하고, 동일한 등록자 명의로 등록된 기타 웹사이트에 대한 분석(단계 870)을 자동적으로 수행하도록 제어한다. 동일 등록자 명의의 웹사이트라면 동일 또는 유사한 방법으로 스팸 또는 변질 사이트를 운영할 가능성이 높기 때문이다. 본 실시예의 경우, 기타 웹사이트의 분석 결과가 스팸 또는 변질 사이트로 판단된 경우에는 도 8의 단계 810이 반복될 수 있다.
본 발명의 바람직한 일실시예에 의하면, 소정의 웹사이트가 상술한 분석 및 판단 방법에 의하여 스팸 또는 변질 사이트로 판단된 경우, 상기 웹사이트의 등록자에게 자동적으로 이메일, 단문자 메시지 등을 발송하여 해당 웹사이트의 문제점을 지적하고 일정 유예 기간을 두어 시정을 요구하도록 동작할 수 있다. 또한, 일정 유예 기간 경과 후 자동적으로 상기 분석 및 판단 프로세스를 수행하도록 설정할 수 있고, 이 경우에도 시정이 안된 경우에는 등록 취소 등의 제재 조치를 취하는 것도 가능하다. 또한, 본 발명의 다른 일실시예에 의하면, 상기 웹사이트의 등록자에게는 추후 다른 웹페이지를 등록하고자 하는 경우 등록 절차를 까다롭게 하는 등의 제재를 가하는 것도 가능하다.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
도 9는 본 발명에 따른 검색 엔진에서 등록된 웹페이지를 관리하기 위한 방법에서 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도이다.
컴퓨터 시스템은 램(RAM: Random Access Memory)(960)과 롬(ROM: Read Only Memory)(970)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(940)를 포함한다. 프로세서(940)는 중앙처리장치(CPU)로 불리기도 한다. 당업계에서 널리 알려져 있는 바와 같이, 롬(970)은 데이터(data)와 명령(instruction)을 단방향성으로 CPU에 전달하는 역할을 하며, 램(960)은 통상적으로 데이터와 명령을 양방향성으로 전달하는 데 사용된다. 램(960) 및 롬(970)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(Mass Storage)(910)는 양방향성으로 프로세서(940)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(910)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드디스크와 같은 보조기억장치이다. CD 롬(920)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(940)는 비디오 모니터, 트랙볼, 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱, 또는 기타 공지된 컴퓨터 입출력장치와 같은 하나 이상의 입출력 인터페이스(930)와 연결된다. 마지막으로, 프로세서(940)는 네트워크 인터페이스(950)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다.
상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수도 있다.
본 발명에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에 의하면, 다수의 팝업 창을 생성하는 스팸 사이트 또는 변질 사이트를 소정의 알고리즘을 이용하여 자동적으로 검출해 낼 수 있으므로, 엔진 사용자에게 불편을 초래하지 아니하는 검색 엔진 서비스를 제공할 수 있다는 효과를 얻을 수 있다.
또한, 본 발명에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에 의하면, 스팸 사이트 또는 변질 사이트를 자동적으로 검출하고, 검출된 스팸 사이트 또는 변질 사이트 운영자에 대한 제재 조치를 가할 수 있으므로, 검색 엔진에서 등록된 웹사이트 자체의 자정이 강화될 수 있도록 한다는 효과를 얻을 수 있다.
또한, 본 발명에 따른 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법에 의하면, 스팸 사이트 또는 변질 사이트의 검출 및 검출된 스팸 사이트 또는 변질 사이트들에 대한 경고 등의 제재 조치를 소정의 알고리즘에 의해 자동적으로 수행되도록 함으로써, 상술한 사이트들의 검출을 위해 소요될 수 있는 다수의 인력 자원을 절약할 수 있다는 효과를 얻을 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 상기 기재로부터 다양한 수정 및 변형이 가능하다는 점은 자명하다. 따라서, 본 발명 사상은 아래에 기재된 특허 청구 범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (1)

  1. 검색 엔진에 등록된 웹사이트를 관리하기 위한 시스템에 있어서,
    하나 이상의 단말기와 데이터 통신을 수행하기 위한 인터페이스 모듈;
    상기 하나 이상의 단말기로부터 소정의 웹사이트의 정보를 포함하는 웹사이트 등록 신청을 수신하고, 상기 웹사이트 정보를 소정의 필드 별로 분류하기 위한 웹사이트 등록 모듈 -상기 웹사이트 정보는 상기 웹사이트의 등록자 정보를 포함함 -;
    상기 웹사이트 정보를 분류하여 저장하기 위한 데이터베이스 수단;
    상기 웹사이트의 웹페이지를 구성하는 하이퍼텍스트 마크업 언어(HTML) 파일을 추출하고, 추출된 HTML 파일을 분석하기 위한 웹사이트 분석 모듈; 및
    상기 웹사이트가 스팸 사이트인지 여부를 판단하고, 상기 웹사이트가 스팸 사이트인 것으로 판단한 경우, 상기 데이터베이스 수단을 참조하여 상기 웹사이트 등록자 정보를 추출하며, 상기 웹사이트 등록자 정보에 포함된 연락 정보를 이용하여 상기 웹사이트의 등록자에게 소정의 메시지를 전송하도록 소정의 메시지 전송 수단을 제어하는 웹사이트 관리 모듈
    을 포함하고,
    상기 웹사이트 관리 모듈은 상기 추출된 HTML 파일을 분석하여 팝업 창을 생성시키는 소정의 함수를 검출하고, 상기 검출된 함수로 인해 생성되는 팝업 창의 개수에 따라 소정의 카운터 값을 소정치 만큼 증가시키며, 상기 카운터 값이 선정된 값 이상인지 여부를 판단하여 상기 카운터 값이 선정된 값 이상인 경우 상기 웹사이트를 스팸 사이트로 판단하도록 동작하고, 상기 웹페이지 중 최상위의 제1 페이지의 HTML 파일을 추출하고, 상기 웹사이트 관리 모듈은 상기 제1 페이지에 대한 상기 카운터 값이 선정된 값 이상인 경우 상기 웹사이트를 스팸 사이트로 판단하도록 동작하며, 상기 제1 페이지에 대한 상기 카운터 값이 상기 선정된 값 이상이 아닌 것으로 판단한 경우, 상기 웹사이트 분석 모듈은 상기 제1 페이지의 하위 페이지인 하나 이상의 제2 페이지의 HTML 파일을 추출하여 추출된 HTML 파일을 분석하고, 상기 웹사이트 관리 모듈은 상기 제2 페이지가 스팸 페이지인지 여부를 판단하고, 상기 제2 페이지의 총 개수와 스팸 페이지로 판단된 제2 페이지의 개수를 연산하여 스팸 페이지 비율 정보를 산출하며, 상기 스팸 페이지 비율 정보가 선정된 값 이상인 경우 상기 웹사이트를 스팸 사이트로 판단하도록 동작하는 것을 특징으로 하는 웹사이트 등록 관리 시스템.
KR1020040038494A 2004-05-28 2004-05-28 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템 KR101048590B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040038494A KR101048590B1 (ko) 2004-05-28 2004-05-28 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040038494A KR101048590B1 (ko) 2004-05-28 2004-05-28 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-0038426A Division KR100458458B1 (ko) 2003-05-31 2004-05-28 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템

Publications (2)

Publication Number Publication Date
KR20040103444A true KR20040103444A (ko) 2004-12-08
KR101048590B1 KR101048590B1 (ko) 2011-07-12

Family

ID=37379435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040038494A KR101048590B1 (ko) 2004-05-28 2004-05-28 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템

Country Status (1)

Country Link
KR (1) KR101048590B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007038090A1 (en) * 2005-09-26 2007-04-05 Microsoft Corporation Preview information for web-browsing
US8095547B2 (en) 2007-09-27 2012-01-10 Yahoo! Inc. Method and apparatus for detecting spam user created content

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100463667B1 (ko) * 1999-03-08 2004-12-29 엘지전자 주식회사 정보 처리 시스템 및 그 방법
KR20010105960A (ko) * 2000-05-19 2001-11-29 이동진 인터넷 유해정보 차단시스템
KR20010106666A (ko) * 2000-05-22 2001-12-07 복인근 웹페이지로부터 정보를 추출하고 저장하기 위한 방법과시스템, 그리고 추출된 데이터를 저장하는 저장매체
US7664732B2 (en) 2003-05-31 2010-02-16 Nhn Corporation Method of managing websites registered in search engine and a system thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007038090A1 (en) * 2005-09-26 2007-04-05 Microsoft Corporation Preview information for web-browsing
US8095547B2 (en) 2007-09-27 2012-01-10 Yahoo! Inc. Method and apparatus for detecting spam user created content

Also Published As

Publication number Publication date
KR101048590B1 (ko) 2011-07-12

Similar Documents

Publication Publication Date Title
US8326818B2 (en) Method of managing websites registered in search engine and a system thereof
US8166013B2 (en) Method and system for crawling, mapping and extracting information associated with a business using heuristic and semantic analysis
US7792870B2 (en) Identification and automatic propagation of geo-location associations to un-located documents
US20050171932A1 (en) Method and system for extracting, analyzing, storing, comparing and reporting on data stored in web and/or other network repositories and apparatus to detect, prevent and obfuscate information removal from information servers
KR100485321B1 (ko) 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템
KR20040086626A (ko) 지역 정보 검색 결과 제공 방법 및 시스템
US20160103861A1 (en) Method and system for establishing a performance index of websites
JP2005535039A (ja) 地理的なテキスト検索システムを備えたデスクトップクライアントとの対話
KR100509276B1 (ko) 웹페이지별 방문인기도에 기반한 웹페이지 검색방법 및 그장치
US20090083266A1 (en) Techniques for tokenizing urls
JP2010536086A (ja) ユーザ中心の情報探索方法およびシステム
US20110270691A1 (en) Method and system for providing url possible new advertising
US8521746B1 (en) Detection of bounce pad sites
JP2012523626A (ja) ドメイン状態、目的、およびカテゴリ
KR100458458B1 (ko) 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템
KR101048590B1 (ko) 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템
KR20040098889A (ko) 웹사이트 검색 서비스 제공 방법 및 그 시스템
US11176312B2 (en) Managing content of an online information system
KR100942902B1 (ko) 웹페이지 검색 방법 및 상기 방법을 컴퓨터에서 구현하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
KR100931772B1 (ko) 웹사이트 검색 서비스 제공 방법 및 그 시스템
KR20040103763A (ko) 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법
KR100610775B1 (ko) 검색 엔진에서 등록된 웹사이트를 관리하기 위한 방법 및그 시스템
JP4842921B2 (ja) 検索システムおよびその方法
KR20040098890A (ko) 웹사이트 검색 서비스 제공 방법 및 그 시스템
KR100931775B1 (ko) 웹사이트 검색 서비스 제공 방법 및 그 시스템

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150701

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 9