KR100932842B1 - 검색랭킹의 품질 평가 방법 및 시스템 - Google Patents

검색랭킹의 품질 평가 방법 및 시스템 Download PDF

Info

Publication number
KR100932842B1
KR100932842B1 KR1020070126096A KR20070126096A KR100932842B1 KR 100932842 B1 KR100932842 B1 KR 100932842B1 KR 1020070126096 A KR1020070126096 A KR 1020070126096A KR 20070126096 A KR20070126096 A KR 20070126096A KR 100932842 B1 KR100932842 B1 KR 100932842B1
Authority
KR
South Korea
Prior art keywords
search
ranking
satisfaction
search result
quality index
Prior art date
Application number
KR1020070126096A
Other languages
English (en)
Other versions
KR20090059307A (ko
Inventor
정찬수
염승철
강춘길
Original Assignee
엔에이치엔(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔(주) filed Critical 엔에이치엔(주)
Priority to KR1020070126096A priority Critical patent/KR100932842B1/ko
Publication of KR20090059307A publication Critical patent/KR20090059307A/ko
Application granted granted Critical
Publication of KR100932842B1 publication Critical patent/KR100932842B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Primary Health Care (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

특정 질의어에 상응하는 검색 결과 문서들에 대한 사용자의 만족도를 이용하여 검색 랭킹의 품질을 평가할 수 있는 본 발명의 일 실시예에 따른 검색 랭킹 품질 평가 방법은 특정 질의어에 대한 검색 결과 문서들의 검색 만족도를 이용하여 검색 결과 문서의 만족도 랭킹을 산출하는 단계; 상기 검색 결과 문서들에 대한 검색 랭킹을 획득하는 단계; 및 상기 검색 결과 문서들의 만족도 및 만족도 랭킹 중 적어도 하나를 이용하여 상기 검색 랭킹의 품질 지수를 산출하는 단계를 포함한다.
검색 랭킹, 만족도, 클릭, 순위, 품질, 평가

Description

검색랭킹의 품질 평가 방법 및 시스템{Method and Apparatus for Estimating Quality of Search Ranking}
본 발명은 검색 서비스 제공 방법 및 그 시스템에 관한 것으로서 보다 상세하게는 검색랭킹의 품질을 평가하는 방법 및 시스템에 관한 것이다.
최근 과학기술의 발전 및 경제 수준의 향상으로 인해 초고속 인터넷과 같은 통신망의 보급과 초고속 통신망 이용자의 급격한 증가가 이루어졌고, 초고속 통신망 이용자의 급격한 증가는 통신망을 통한 신규 서비스의 개발 및 서비스 아이템의 다양화를 가능하게 하였다. 이러한 통신망을 이용한 서비스 중 가장 일반적인 서비스가 검색 서비스라 할 수 있다.
검색 서비스란 사용자로부터 입력되는 쿼리에 대해 검색을 수행한 후 입력된 쿼리에 상응하는 검색 결과(예컨대, 사용자로부터 입력된 검색 쿼리를 포함하는 웹 사이트, 기사, 또는 해당 검색 쿼리를 포함하는 파일명을 갖는 이미지 등) 목록을 사용자에게 제공하는 서비스를 의미한다.
이때, 사용자에게 제공되는 검색 결과 목록은 하나의 웹페이지 화면에 모두 표시되는 것이 아니라 통상 여러 웹페이지 화면에 걸쳐 사용자에게 제공된다. 따 라서, 검색 서비스 제공자는 검색 결과 목록상에서 검색결과들을 배치하기 위해 각 검색결과들의 검색 랭킹을 산출하고, 산출된 검색 랭킹에 따라 검색 결과들을 검색 결과 목록의 상위부터 배치하게 된다.
이때, 검색 랭킹은 검색 서비스 제공자 별로 다양한 방법을 이용하여 산출되지만 검색결과에 대한 사용자의 만족도가 반영되지는 않았기 때문에, 이러한 검색랭킹을 이용하여 검색결과들을 배치하는 경우 검색 서비스를 이용하는 사용자에게 불편함을 주거나, 검색 서비스에 대한 신뢰성이 저하될 수 있다는 문제점이 있었다.
구체적으로, 특정 질의어에 대해 대부분의 사용자들이 만족하지 않은 검색결과가 검색 결과 목록의 상위에 노출되고 대부분의 사용자들이 만족한 검색 결과가 검색 결과 목록의 하위에 노출되는 경우, 특정 사용자가 해당 질의어에 대해 대부분의 사용자들이 만족한 검색결과를 열람하기 위해서는 많은 웹페이지 화면을 열람하여야 하므로 서비스 이용이 불편해 지게 되고, 이는 검색 서비스 자체에 대한 신뢰성 저하로 이어지게 된다는 문제점이 발생하게 된다.
따라서, 다양한 방법으로 결정된 검색 랭킹의 품질을 사용자의 만족도와 연관시켜 평가할 수 있는 방법이 요구되고 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 특정 질의어에 상응하는 검색 결과 문서들에 대한 사용자의 만족도를 이용하여 검색 랭킹의 품질을 평가할 수 있는 검색 랭킹의 품질 평가 방법 및 시스템을 제공하는 것을 기술적 과제로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 검색 랭킹 품질 평가 방법은 특정 질의어에 대한 검색 결과 문서들의 검색 만족도를 이용하여 검색 결과 문서의 만족도 랭킹을 산출하는 단계; 상기 검색 결과 문서들에 대한 검색 랭킹을 획득하는 단계; 및 상기 검색 결과 문서들의 만족도 및 만족도 랭킹 중 적어도 하나를 이용하여 상기 검색 랭킹의 품질 지수를 산출하는 단계를 포함한다.
상기 검색 랭킹 품질 평가 방법은 각 질의어에 대한 검색 랭킹 품질 지수의 평균값 및 분산값 중 적어도 하나를 산출하는 단계; 및 상기 산출된 평균값 및 분산값 중 적어도 하나를 이용하여 상기 검색 랭킹의 품질을 평가하는 단계를 더 포함할 수 있다.
제1 실시예에 있어서, 상기 검색 랭킹 품질 지수 산출 단계에서, 상기 검색 랭킹 품질 지수는 상기 검색 랭킹 중 상위 n의 검색 결과 문서들이 상기 만족도 랭킹 중 m번째 이내에 포함되어 있는 비율을 이용하여 산출된다.
제2 실시예에 있어서, 상기 검색 랭킹 품질 지수 산출 단계는, 상기 검색 랭 킹 상에서 n의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위의 역수값을 산출하여 산출된 값들을 합산하는 단계; 및 합산 결과를 정규화하는 단계를 포함한다.
제3 실시예에 있어서, 상기 검색 랭킹 품질 지수 산출 단계는, 상기 검색 랭킹 중 n개의 검색 결과 문서에 대해 i번째 검색 결과 문서의 만족도와 i+1번째 검색 결과 문서의 만족도를 비교하여 그 결과에 비교값을 할당하는 단계; 상기 비교값에 제1 가중치를 부여하는 단계; 상기 제1 가중치가 부여된 비교값들을 합산하는 단계; 및 상기 합산 결과를 정규화하는 단계를 포함한다.
제4 실시예에 있어서, 상기 검색 랭킹 품질 지수 산출 단계는, 상기 검색 랭킹 중 n개의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위의 역수값을 합산하여 정규화하는 단계; 상기 정규화된 합산 결과에 제1 가중치를 부여하여 제1 결과값을 산출하는 단계; 상기 n개의 검색 결과 문서들에 대해 i번째 검색 결과 문서의 만족도와 i+1번째 검색 결과 문서의 만족도를 비교하여 그 결과에 비교값을 할당하는 단계; 상기 산출된 비교값에 제2 가중치를 부여하는 단계; 상기 제2 가중치가 부여된 비교값들을 합산하여 정규화하는 단계; 상기 정규화된 합산 결과에 제3 가중치를 부여함으로써 제2 결과값을 산출하는 단계; 및 상기 제1 결과값과 제2 결과값을 합산하는 단계를 포함한다.
제5 실시예에 있어서, 상기 검색 랭킹 품질 지수 산출 단계는, 상기 검색 랭킹 중 n개의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위와 검색 랭킹 상에서의 순위의 곱에 대한 역수값을 합산하는 단계; 및 상기 합산 결과를 정규화 하는 단계를 포함한다.
제6 실시예에 있어서, 상기 검색 랭킹 품질 지수 산출 단계에서, 상기 검색 랭킹 품질 지수는 상기 검색 랭킹 상에서 상위 n개의 검색 결과 문서 중 만족도가 가장 높은 검색 결과 문서의 만족도 랭킹 상에서의 순위의 역수값을 이용하여 산출된다.
제7 실시예에 있어서, 상기 검색 랭킹 품질 지수 산출 단계에서, 상기 검색 랭킹 품질 지수는 상기 검색 랭킹 상에서 상위 n개의 검색 결과 문서 중 만족도가 가장 높은 검색 결과 문서의 검색 랭킹 상에서의 순위의 역수값을 이용하여 산출된다.
제8 실시예에 있어서, 상기 검색 랭킹 품질 지수 산출 단계에서, 상기 검색 랭킹 품질 지수는 각 질의어별 검색 랭킹 중 i번째 검색 결과 문서가 각 질의어별 만족도 랭킹 중 k번째 이내에 포함되어 있는 비율을 이용하여 결정된다.
상술한 목적을 달성하기 위한 본 발명의 다른 측면에 따른 검색 랭킹 품질 평가 시스템은 특정 질의어에 대한 검색 결과 문서들의 검색 만족도를 이용하여 검색 결과 문서의 만족도 랭킹을 산출하는 만족도 랭킹 산출부; 상기 검색 결과 문서들에 대한 검색 랭킹을 획득하는 검색 랭킹 수집부; 및 상기 검색 결과 문서들의 만족도 및 만족도 랭킹 중 적어도 하나를 이용하여 상기 검색 랭킹의 품질 지수를 산출하는 품질 지수 산출부를 포함한다.
상술한 바와 같이 본 발명에 따르면, 특정 질의어에 상응하는 검색 결과 문 서들에 대한 사용자의 만족도를 이용하여 검색 랭킹의 품질을 평가할 수 있어 현재 검색 랭킹을 산출하기 위해 적용되고 있는 알고리즘의 성능을 평가할 수 있음은 물론, 특정 질의어에 상응하는 검색 결과 문서에 대한 검색 랭킹과 만족도 랭킹이 상이할 경우 검색 랭킹을 산출함에 있어서 사용자의 만족도가 반영될 수 있도록 할 수 있어 검색 서비스의 신뢰성 및 검색 품질을 향상시킬 수 있다는 효과가 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 검색 랭킹 품질 평가 시스템의 개략적인 블록도이다. 도시된 바와 같이 검색 랭킹 품질 평가 시스템(10)은 만족도 랭킹 산출부(12), 검색 랭킹 수집부(14), 품질 지수 산출부(16), 품질 평가부(18), 및 데이터베이스(20)를 포함한다.
만족도 랭킹 산출부(12)는 특정 질의어에 상응하는 검색 결과 문서들에 대한 검색 만족도를 이용하여 검색 결과 문서의 만족도 랭킹을 산출한다. 여기서, 검색 결과에 대한 만족도는 다음의 수학식 1에 의해 산출된다.
Figure 112007087852269-pat00001
여기서,
Figure 112007087852269-pat00002
는 특정 질의어 q에 대한 d라는 검색 결과 문서의 만족도를 나타내고,
Figure 112007087852269-pat00003
는 개별 클릭 c에 대한 만족도의 확률값을 나타내 며,
Figure 112007087852269-pat00004
는 질의어 q에 대한 d라는 검색 결과 문서의 클릭 집합을 나타낸다. 즉, 특정 질의어 q에 대한 검색 결과 문서 d의 만족도는 상기 d라는 검색 결과 문서에 대한 클릭들의 만족도 확률값의 평균값으로 정의된다.
이때, 개별 클릭 c에 대한 만족도의 확률값은 검색 결과 문서에 대한 사용자의 명시적인 피드백이 있는 경우에는 해당 피드백 정보를 이용하여 판단할 수 있고, 사용자의 명시적인 피드백이 없는 경우에는 특정 질의어에 대한 사용자의 검색 행위의 로그분석(예컨대, 검색 결과 문서에 대한 드웰타임(Dwell Time)등의 정보를 분석)을 통해 판단할 수 있다. 이러한 로그 정보들은 데이터베이스(20)로부터 획득된다.
상술한 실시예에 있어서는 검색 결과 문서에 대한 사용자의 만족도를 수학식 1을 이용하여 산출하는 것으로 기재하였지만, 이는 일예에 불과할 뿐 다양한 방법을 이용하여 검색 결과 문서에 대한 사용자의 만족도를 판단할 수 있을 것이다.
만족도 랭킹 산출부(12)는 상술한 방법을 통해 산출된 특정 질의어에 대한 각 검색 결과 문서들의 만족도를 비교하여 특정어 질의어에 대한 만족도 랭킹을 산출한다. 일 실시예에 있어서 만족도 랭킹은 수학식 2를 이용하여 산출될 수 있다.
Figure 112007087852269-pat00005
여기서,
Figure 112007087852269-pat00006
는 q라는 질의어에 대한 검색 결과 문서 중 검색 순위가 i번째인 문서를 의미하고,
Figure 112007087852269-pat00007
는 q라는 질의어에 대한 검색 결과 문서의 집합을 의미하며,
Figure 112007087852269-pat00008
는 논리식 p가 참이면 1, 거짓이면 0의 값이 할당됨을 의미한다.
즉, 수학식 2는 q라는 질의어에 대한 전체 검색 결과 문서들 각각의 만족도와 검색 순위가 i번째인 문서의 만족도를 비교하여, 검색 순위가 i번째인 문서의 만족도 이상의 만족도를 가지는 검색 결과 문서의 개수(논리식의 값이 1인 문서의 개수)를 카운팅함으로써 검색 순위가 i번째인 문서의 만족도 순위를 산출하는 것이다.
예컨대, 검색 순위가 i번째인 문서의 만족도가 가장 큰 경우, 검색 순위가 i번째인 문서의 만족도 이상의 만족도를 가지는 검색 결과 문서는 자기 자신을 제외하고는 없기 때문에, 자기자신과의 비교에 대한 논리값만이 1이 되고, 따라서, 논리값의 합이 1이 되므로, 검색 순위가 i번째인 문서의 만족도 순위는 1위가 되는 것이다.
검색 랭킹 수집부(14)는 데이터베이스(20)로부터 특정 질의어에 대한 검색 랭킹을 획득한다. 이러한 검색 랭킹은 외부의 검색 서버(미도시)에 의해 다양한 방법을 통해 산출될 수 있다. 본 실시예에 있어서는 검색 랭킹 수집부(12)가 검색 서버에 의해 산출된 검색 랭킹을 단순히 수집하는 것으로만 기재하였지만, 변형된 실시예에 있어서는 검색 랭킹 수집부(12)가 다양한 알고리즘을 이용하여 특정 질의어에 대한 검색 랭킹을 직접 산출할 수도 있을 것이다.
품질 지수 산출부(16)는 만족도 랭킹 산출부(12)에 의해 산출된 특정 질의어에 대한 검색 결과 문서들의 만족도 및 만족도 랭킹 중 적어도 하나를 이용하여 검색 랭킹 수집부(12)에 의해 수집된 특정 질의어에 대한 검색 랭킹의 품질 지수를 산출한다. 품질 지수 산출부(16)는 다양한 알고리즘을 통해 검색 랭킹의 품질 지수를 산출할 수 있는데, 검색 랭킹의 품질 지수를 산출하기 위해 품질 지수 산출부(16)가 이용하는 다양한 알고리즘은 뒤에서 상세히 설명하기로 한다.
품질 평가부(18)는 품질 지수 산출부(16)에 의해 산출된 각 질의어별 검색 랭킹 품질 지수의 평균값 및 분산값 중 적어도 하나를 산출하고, 산출된 평균값 및 분산값 중 적어도 하나를 이용하여 각 검색 랭킹의 품질을 평가한다. 일 실시예에 있어서, 품질 평가부(18)는 산출된 평균값이 클수록 검색 랭킹의 품질이 우수한 것으로 판단할 수 있는데 구체적으로 산출된 평균값이 임계치 이상인 경우 검색 랭킹의 품질이 우수한 것으로 판단할 수 있다.
상술한 실시예에 있어서는 품질 평가부(18)가 최종적으로 검색 랭킹의 품질을 평가하는 것으로 기재하였지만, 변형된 실시예에 있어서는 하나의 질의어에 대한 품질 지수만을 이용하여 검색 랭킹을 평가하는 경우 품질 지수 산출부(16)가 산출된 품질 지수를 이용하여 직접 검색 랭킹의 품질을 평가할 수 있을 것이다. 따라서, 이러한 경우 품질 평가부(18)는 검색 랭킹 품질 평가 시스템(10)에 포함되지 않을 수도 있다.
또한, 품질 지수 산출부(16)가 이용하는 품질 지수 산출 알고리즘에 따라 각 질의어에 대한 평균값 또는 분산값을 산출할 필요가 없는 경우도 있을 수 있으므로, 이러한 실시예에 의하는 경우에도 품질 평가부(18)는 검색 랭킹 품질 평가 시스템(10)에 포함되지 않을 수도 있다.
데이터베이스(20)에는 만족도 랭킹 산출부(12)가 검색 결과 문서들의 만족도 및 만족도 랭킹을 산출하기 위해 필요한 정보 및 각 질의어별 검색 결과 문서의 검색 랭킹 정보가 저장되어 있다. 예컨대, 검색 결과 문서의 만족도 및 만족도 랭킹 산출을 위해 필요한 정보에는 각 질의어별로 검색 결과 문서가 매핑되어 있는 검색 결과 문서 정보, 해당 질의어에 대한 사용자의 검색 로그 정보 등이 포함될 수 있다.
상술한 실시예에 있어서는 데이터베이스(20)가 검색 랭킹 품질 평가 시스템(10)에 포함되는 것으로 기재하였지만, 변형된 실시예에 있어서 이러한 데이터베이스(20)는 검색 서버에 포함되어 있고, 검색 랭킹 품질 평가 시스템(10)은 검색 서버에 포함된 데이터베이스로부터 필요한 정보만을 수신할 수도 있을 것이다. 따라서, 이러한 경우, 검색 랭킹 품질 평가 시스템(10)은 데이터베이스를(20)를 직접 포함하지 않을 수도 있다. 다만, 검색 서버로부터 필요한 정보를 수신하기 위해 인터페이스부(미도시)를 더 포함할 수 있을 것이다.
또한, 상술한 실시예에 있어서는 검색 랭킹 품질 평가 시스템(10)이 검색 서버와 물리적으로 구분되는 구성인 것으로 기재하였지만, 변형된 실시예에 있어서 검색 랭킹 품질 평가 시스템(10)은 검색 서버에 포함되거나, 검색 랭킹 품질 평가 시스템(10)이 자체적으로 검색 서버를 구비할 수도 있을 것이다.
이하에서는 품질 지수 산출부(12)가 다양한 알고리즘을 이용하여 검색 랭킹의 품질 지수를 산출하는 방법을 구체적으로 설명한다.
제1 실시예
제1 실시예에 의하는 경우, 품질 지수 산출부(16)는 특정 질의어에 대한 검색 결과 문서들의 검색 랭킹 중 상위 n개의 검색 결과 문서들이 해당 질의어에 대한 검색 결과 문서들의 만족도 랭킹 중 m번째 이내에 포함되어 있는 비율을 산출하여 해당 비율을 품질 지수로 결정한다. 일 실시예에 있어서, n은 검색 결과가 제공 되는 하나의 웹페이지에 포함된 검색 결과 문서의 개수로 정해질 수 있다. 이러한 제1 실시예에 따라 품질 지수를 산출하는 방법을 수식화하면 다음의 수학식 3과 같다.
Figure 112007087852269-pat00009
즉, 수학식 3에 의하면, q라는 질의어에 대한 검색 결과 문서 중 i번째 검색 결과 문서가 만족도 랭킹 중 m번째 이내에 포함되어 있는 경우, 1이라는 값이 할당되고, 그렇지 않은 경우 0이라는 값이 할당된다.
이러한 과정을 통해 각 질의어별 검색 랭킹의 품질 지수가 산출되면, 품질 평가부(18)는 수학식 4에 기재된 바와 같이 각 질의어 별 품질 지수들의 평균값을 산출하여 해당 검색 랭킹의 품질을 평가하게 된다. 이때, 품질 평가부(18)가 품질 지수의 분산값을 산출한 후 산출된 분산값을 이용하여 검색 랭킹의 품질을 평가할 수도 있을 것이다
Figure 112007087852269-pat00010
여기서,
Figure 112007087852269-pat00011
는 대상 질의어들의 집합을 의미한다.
이러한 제1 실시예에 따른 품질 지수 산출 알고리즘은 검색 랭킹 상의 순위나 만족도 랭킹 상의 순위와는 무관하게 검색 랭킹의 품질을 평가할 수 있으며, 산출된 결과값이 클수록 검색 랭킹의 품질이 우수한 것으로 판단된다.
제2 실시예
제2 실시예에 의하는 경우, 품질 지수 산출부(16)는 특정 질의어에 대한 검색 결과 문서들의 검색 랭킹 중 n개의 검색 결과 문서 각각에 대한 만족도 랭킹에서의 순위의 역수를 합산하고, 합산 결과를 정규화한 값을 품질 지수로 결정한다. 일 실시예에 있어서, n은 하나의 검색 결과 제공 웹페이지에 포함되는 검색 결과 문서의 개수로 정해질 수 있다. 이러한 제2 실시예에 따라 품질 지수를 산출하는 방법을 수식화하면 다음의 수학식 5와 같다.
Figure 112007087852269-pat00012
이때,
Figure 112007087852269-pat00013
는 만족도 랭킹 상에서 각 검색 결과 문서들의 만족도 순위의 역수의 합을 정규화하기 위한 정규화 팩터로써 이러한 정규화 팩터를 합산 결과에 곱해줌으로써 합산 결과의 최대값이 1이 되도록 할 수 있다.
이러한 과정을 통해 각 질의어별 검색 랭킹의 품질 지수가 산출되면, 품질 평가부(18)는 수학식 6에 기재된 바와 같이 각 질의어 별 품질 지수들의 평균값을 산출하여 해당 검색 랭킹의 품질을 평가하게 된다. 이때, 품질 평가부(18)가 품질 지수의 분산값을 산출하고, 산출된 분산값을 이용하여 검색 랭킹의 품질을 평가할 수도 있을 것이다.
Figure 112007087852269-pat00014
이러한 제2 실시예에 따른 품질 지수 산출 알고리즘은 검색 랭킹 상의 순위나 만족도 랭킹 상의 순위와는 무관하게 검색 랭킹의 품질을 평가할 수 있으며, 산 출된 결과값이 클수록 검색 랭킹의 품질이 우수한 것으로 판단된다.
제3 실시예
제3 실시예에 의하는 경우, 품질 지수 산출부(16)는 특정 질의어에 대한 검색 결과 문서들의 검색 랭킹 중 i번째 검색 결과 문서의 만족도와 i+1번째 검색 결과 문서의 만족도 랭킹 순위를 비교하여 그 결과에 비교값을 할당하고, 할당된 비교값에 해당 검색 결과 문서(i번째 검색 결과 문서)의 검색 랭킹 상에서의 순위의 역수를 가중치로 부여한다. 이후, 이러한 과정을 n개의 문서에 대해 반복적으로 수행하여 얻은 값들을 합산하여 정규화한 값을 품질 지수로 결정한다. 일 실시예에 있어서, n은 하나의 검색 결과 제공 웹페이지에 포함되는 검색 결과 문서의 개수로 정해질 수 있다. 이러한 제3 실시예에 따라 품질 지수를 산출하는 방법을 수식화하면 다음의 수학식 7과 같다.
Figure 112007087852269-pat00015
여기서,
Figure 112007087852269-pat00016
는 가중치가 부여된 비교값들의 합을 정규화하기 위한 정규 화 팩터로써 이러한 정규화 팩터를 합산 결과에 곱해줌으로써 합산 결과의 최대값이 1이 되도록 할 수 있다.
일 실시예에 있어서, 비교 결과 i번째 검색 결과 문서의 만족도가 i+1번째 검색 결과 문서의 만족도 이상인 경우 비교값으로 1을 할당하고, i번째 검색 결과 문서의 만족도가 i+1번째 검색 결과 문서의 만족도 미만인 경우 비교값으로 0을 할당할 수 있다.
이러한 과정을 통해 각 질의어별 검색 랭킹의 품질 지수가 산출되면, 품질 평가부(18)는 수학식 8에 기재된 바와 같이 각 질의어 별 품질 지수들의 평균값을 산출하여 해당 검색 랭킹의 품질을 평가하게 된다. 이때, 품질 평가부(18)가 품질 지수의 분산값을 산출하고, 산출된 분산값을 이용하여 검색 랭킹의 품질을 평가할 수도 있을 것이다.
Figure 112007087852269-pat00017
이러한 제3 실시예에 따른 품질 지수 산출 알고리즘은 검색 랭킹 상의 순위가 만족도 랭킹상의 순위를 얼마나 잘 따르고 있는지를 나타내는 것으로서, 산출된 결과값이 클수록 검색 랭킹의 순위가 만족도 랭킹의 순위를 잘 따르고 있는 것이므로 해당 검색 랭킹의 품질이 우수한 것으로 판단된다.
제4 실시예
제4 실시예에 의하는 경우, 품질 지수 산출부(16)는 제2 실시예에 의해 산출된 결과값에 제1 가중치를 반영하고, 제3 실시예에 의해 산출된 결과값에 제2 가중치를 반영하여 이들을 합산한 값을 품질 지수로 결정한다. 즉, 제2 실시예와 제3 실시예를 통합하여 품질 지수를 산출하는 것이다. 이러한 제4 실시예에 따라 품질 지수를 산출하는 방법을 수식화하면 다음의 수학식 9와 같다.
Figure 112007087852269-pat00018
여기서,
Figure 112007087852269-pat00019
는 제1 가중치를 의미하고,
Figure 112007087852269-pat00020
는 제2 가중치를 의미한다.
제5 실시예
제5 실시예에 의하는 경우, 품질 지수 산출부(16)는 특정 질의어에 대한 검색 결과 문서들의 검색 랭킹 중 n개의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위와 검색 랭킹 상에서의 순위의 곱을 산출하고, 산출된 값들의 역수를 취하여 합산한 후, 합산 결과를 정규화한 값을 품질 지수로 결정한다. 일 실시예에 있어서, n은 하나의 검색 결과 제공 웹페이지에 포함되는 검색 결과 문서의 개수로 정해질 수 있다. 이러한 제5 실시예에 따라 품질 지수를 산출하는 방법을 수식화하면 다음의 수학식 10과 같다.
Figure 112007087852269-pat00021
여기서,
Figure 112007087852269-pat00022
는 만족도 랭킹 상에서의 순위와 검색 랭킹 상에서의 순위를 곱한 값들의 역수의 합을 정규화하기 위한 정규화 팩터로써 이러한 정규화 팩터를 합산 결과에 곱해줌으로써 합산 결과의 최대값이 1이 되도록 할 수 있다.
이러한 과정을 통해 각 질의어별 검색 랭킹의 품질 지수가 산출되면, 품질 평가부(18)는 수학식 11에 기재된 바와 같이 각 질의어 별 품질 지수들의 평균값을 산출하여 해당 검색 랭킹의 품질을 평가하게 된다. 이때, 품질 평가부(18)가 품질 지수의 분산값을 산출하고, 산출된 분산값을 이용하여 검색 랭킹의 품질을 평가할 수도 있을 것이다.
Figure 112007087852269-pat00023
이러한 제5 실시예에 따른 품질 지수 산출 알고리즘은 검색 랭킹 상의 순위 를 반영하여 검색 랭킹의 품질을 평가할 수 있는 것으로서, 만족도 랭킹 상에서의 순위와 검색 랭킹 상에서의 순위가 높을수록 큰 값이 반영될 수 있으며 최종적으로 산출된 결과값이 클수록 검색 랭킹의 품질이 우수한 것으로 판단된다.
제6 실시예
제6 실시예에 의하는 경우, 품질 지수 산출부(16)는 특정 질의어에 대한 검색 랭킹 상에서의 상위 n개의 검색 결과 문서 중 만족도가 가장 높은 검색 결과 문서의 만족도 랭킹 상에서의 순위의 역수값을 품질 지수로 결정한다. 일 실시예에 있어서, n은 하나의 검색 결과 제공 웹페이지에 포함되는 검색 결과 문서의 개수로 정해질 수 있다.
이후, 품질 평가부(18)는 품지 지수 산출부(16)에 의해 산출된 각 질의어에 대한 품질 지수의 평균값을 각 질의어 별 품질 지수들의 평균값을 산출하여 해당 검색 랭킹의 품질을 평가하게 된다. 이때, 품질 평가부(18)가 품질 지수의 분산값을 산출하고, 산출된 분산값을 이용하여 검색 랭킹의 품질을 평가할 수도 있을 것이다. 제6 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 수식화하면 다음의 수학식 12와 같다.
Figure 112007087852269-pat00024
여기서,
Figure 112007087852269-pat00025
는 n개의 검색 결과 문서 중 만족도가 가장 높은 검색 결과 문서의 만족도 랭킹상에서의 순위를 나타내는 것으로서, 수학식 13과 같이 정의된다.
Figure 112007087852269-pat00026
수학식 13에서,
Figure 112007087852269-pat00027
의 최소값을 취하는 이유는, 만족도가 높을수록, 즉 만족도 랭킹이 높을수록 랭킹을 표시하는 숫자는 작아지기 때문이다. 예컨대, 만족도가 가장 높은 검색 결과 문서의 랭킹을 표시하는 숫자는 1로써 그 다른 랭킹을 표시하는 숫자들 중에서 가장 작다.
이러한 제6 실시예에 따른 품질 지수 산출 알고리즘은 검색 랭킹 상의 순위와는 무관하게 검색 랭킹 검색 랭킹의 품질을 평가할 수 있는 것으로서, 산출된 결과값이 클수록 검색 랭킹의 품질이 우수한 것으로 판단된다.
제7 실시예
제7 실시예에 의하는 경우, 품질 지수 산출부(16)는 특정 질의어에 대한 검색 랭킹 상에서의 상위 n개의 검색 결과 문서 중 만족도가 가장 높은 검색 결과 문서의 검색 랭킹 상에서의 순위의 역수값을 품질 지수로 결정한다. 일 실시예에 있 어서, n은 하나의 검색 결과 제공 웹페이지에 포함되는 검색 결과 문서의 개수로 정해질 수 있다.
이후, 품질 평가부(18)는 품지 지수 산출부(16)에 의해 산출된 각 질의어에 대한 품질 지수의 평균값을 각 질의어 별 품질 지수들의 평균값을 산출하여 해당 검색 랭킹의 품질을 평가하게 된다. 이때, 품질 평가부(18)가 품질 지수의 분산값을 산출하고, 산출된 분산값을 이용하여 검색 랭킹의 품질을 평가할 수도 있을 것이다. 제7 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 수식화하면 다음의 수학식 14와 같다.
Figure 112007087852269-pat00028
여기서,
Figure 112007087852269-pat00029
는 q라는 질의어에 대한 n개의 검색 결과 문서 중 만족도가 가장 높은 문서의 검색 랭킹 상에서의 순위(k)를 의미하는 것으로서, 검색 랭킹 상에서의 순위인 k는 다음의 수학식 15를 만족하는 값으로 정해진다.
Figure 112007087852269-pat00030
이러한 제7 실시예에 따른 품질 지수 산출 알고리즘은 검색 랭킹 상의 순위 와는 무관하게 검색 랭킹 검색 랭킹의 품질을 평가할 수 있는 것으로서, 산출된 결과값이 클수록 검색 랭킹의 품질이 우수한 것으로 판단된다.
제8 실시예
제8 실시예에 의하는 경우, 품질 지수 산출부(16)는 각 질의어에 대한 검색 랭킹 상에서 i번째 검색 결과 문서가 만족도 랭킹 상에서 k번째 이내에 포함되어 있는 비율을 산출하여 그 결과값을 품질 지수로 결정한다. 제8 실시예에 따라 품질 지수를 산출하는 방법을 수식화하면 수학식 16과 같다.
Figure 112007087852269-pat00031
여기서, 질의어 q에 대한 검색 랭킹 상에서 i번째 검색 결과 문서가 만족도 랭킹 상에서 k번째 이내에 포함되는 경우 1이 할당되고, 그렇지 않은 경우 0이 할당된다.
이러한 제8 실시예에 따른 품질 지수 산출 알고리즘은 검색 랭킹 상의 순위와는 무관하게 검색 랭킹 검색 랭킹의 품질을 평가할 수 있는 것으로서, 산출된 결과값이 클수록 검색 랭킹의 품질이 우수한 것으로 판단된다.
이하에서는 도 2 내지 도 6을 참조하여 상술한 각 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 상세히 설명한다.
도 2는 제1 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 보여주는 플 로우차트이다. 도시된 바와 같이, 먼저, 특정 질의어에 대한 검색 결과 문서들의 검색 만족도를 산출한다(제100단계). 이때, 특정 질의어에 대한 각 검색 결과 문서의 만족도는 상기 각 검색 결과 문서에 대한 클릭들의 만족도 확률값의 평균을 이용하여 산출될 수 있다.
다음으로, 수학식 2에 도시된 바와 같이 특정 질의어에 대한 특정 검색결과 문서와 해당 질의어에 대한 전체 검색 결과 문서의 만족도를 비교함으로써 특정 질의어에 대한 만족도 랭킹을 산출한다(제110단계). 이후, 특정 질의어에 대한 검색 결과 문서들의 검색 랭킹을 데이터베이스(20)로부터 획득한다(제120단계). 이때, 데이터베이스(20)에 저장되어 있는 검색 랭킹은 외부의 검색 서버에 의해 산출된 것이거나 검색 랭킹 수집부(14)에 의해 직접 산출된 것일 수 있다.
다음으로, 검색 랭킹 중 상위 n개의 검색 결과 문서들이 만족도 랭킹 중 m번째 이내에 포함되어 있는 비율을 산출함으로써 산출된 비율을 검색 랭킹 품질 지수로 결정한다(제130단계). 품질 지수 산출과 관련한 상세한 설명은 제1 실시예의 수학식 3 및 4를 참조하여 상세히 설명하였으므로 자세한 설명은 생략하기로 한다.
이후, 각 질의어에 대해 제100단계 내지 제130단계를 반복하고(제140단계), 각 질의어 별로 산출된 품질 지수의 평균값 및 분산값 중 적어도 하나를 산출한다(제150단계). 마지막으로 산출된 평균값 및 분산값 중 적어도 하나를 이용하여 검색 랭킹의 품질을 평가한다(제160단계).
도 3은 제2 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 보여주는 플로우차트이다. 먼저, 특정 질의어에 대한 검색 결과 문서들의 만족도를 산출하 고(제200단계), 각 검색 결과 문서별로 산출된 만족도를 비교하여 만족도 랭킹을 산출한다(제210단계). 이후, 특정 질의어에 대한 검색 결과 문서들의 검색 랭킹을 획득한다(제220단계).
다음으로, 검색 랭킹 중 n개의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위의 역수를 산출한 후(제230단계), 산출된 값들을 합산한다(제240단계). 이후, 제240단계에서의 합산 결과의 최대값이 1이 되도록 합산 결과를 정규화함으로써 정규화된 값을 품질 지수로 결정한다(제250단계).
다음으로, 각 질의어에 대해 제200단계 내지 제250단계를 반복하고(제260단계), 각 질의어 별로 산출된 품질 지수의 평균값 및 분산값 중 적어도 하나를 산출한다(제270단계). 마지막으로 산출된 평균값 및 분산값 중 적어도 하나를 이용하여 검색 랭킹의 품질을 평가한다(제280단계).
도 4는 제3 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 보여주는 플로우차트이다. 먼저, 특정 질의어에 대한 검색 결과 문서들의 만족도를 산출하고(제300단계), 각 검색 결과 문서별로 산출된 만족도를 비교하여 만족도 랭킹을 산출한다(제310단계). 이후, 특정 질의어에 대한 검색 결과 문서들의 검색 랭킹을 획득한다(제320단계).
다음으로, 검색 랭킹 중 n개의 검색 결과 문서에 대해 i번째 검색 결과 문서의 만족도와 i+1번째 검색 결과 문서의 만족도를 비교하여 그 결과에 비교값을 할당한다(제330단계). 일 실시예에 있어서, i번째 검색 결과 문서의 만족도가 i+1번째 검색 결과 문서의 만족도 이상인 경우 비교값으로 1을 할당하고, i번째 검색 결 과 문서의 만족도가 i+1번째 검색 결과 문서의 만족도 미만인 경우 비교값으로 0을 할당한다.
이후, 제330단계에서 할당된 비교값에 i번째 문서의 검색 랭킹 상에서의 순위에 따른 가중치를 부여한 후(제340단계), 가중치가 부여된 n개의 검색 결과 문서들의 비교값들을 합산한다(제350단계). 다음으로, 제350단계에서의 합산 결과의 최대값이 1이 되도록 합산 결과를 정규화함으로써 정규화된 합산 결과를 품질 지수로 결정한다(제360단계).
마지막으로 제360단계에서 산출된 품질 지수를 이용하여 검색 랭킹의 품질을 평가한다(제370단계).
제4 실시예에 따라 검색 랭킹의 품질을 평가하는 방법은 도 3에 도시된 제2 실시예에 따른 방법과 도 4에 도시된 제3 실시예에 따른 방법을 통합하여 수행하는 것으로서 대부분의 과정이 도 3 및 도 4에 도시된 과정과 동일하다.
다만, 2가지 방법을 통합하여 적용하기 위해 제2 실시예에 따라 산출된 검색 랭킹의 품질 지수에 제1 가중치를 반영하고, 제3 실시예에 따라 산출된 검색 랭킹의 품질 지수에 제2 가중치를 반영한 후 이를 합산한 값을 새로운 품질 지수로 결정하는 과정이 추가로 포함되며, 따라서, 검색 랭킹의 품질을 평가함에 있어서도 새롭게 산출된 품질 지수를 이용하게 된다는 점이 다를 뿐이므로 상세한 설명은 생략하기로 한다.
도 5는 제5 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 보여주는 플로우차트이다. 먼저, 특정 질의어에 대한 검색 결과 문서들의 만족도를 산출하고 (제400단계), 각 검색 결과 문서별로 산출된 만족도를 비교하여 만족도 랭킹을 산출한다(제410단계). 이후, 특정 질의어에 대한 검색 결과 문서들의 검색 랭킹을 획득한다(제420단계).
다음으로, 검색 랭킹 중 n개의 검색 결과 문서별로 만족도 랭킹 상에서의 순위와 검색 랭킹 상에서의 순위를 곱하여 그 역수를 산출하고(제430단계), 제430단계에서 산출된 값을 합산한다(제440단계). 이후, 제440단계에서의 합산 결과를 정규화함으로써 정규화된 합산 결과를 검색 랭킹의 품질 지수로 결정한다(제450단계).
다음으로, 각 질의어에 대해 제400단계 내지 제450단계를 반복하고(제460단계), 각 질의어 별로 산출된 품질 지수의 평균값 및 분산값 중 적어도 하나를 산출한다(제470단계). 마지막으로 산출된 평균값 및 분산값 중 적어도 하나를 이용하여 검색 랭킹의 품질을 평가한다(제480단계).
제6 및 제7 실시예에 따라 검색 랭킹의 품질을 평가하는 방법은 도 2에 도시된 제2 실시예에 따른 방법 중 제130단계에 기재된 품질 지수 평가 방법만 상이할 뿐 다른 모든 과정은 동일하므로 각 실시예 별 품질 지수 산출 방법에 대해서만 간략히 설명하기로 한다.
먼저, 제6 실시예에 따른 검색 랭킹 품질 평가 방법의 경우, 검색 랭킹 상에서 상위 n개의 검색 결과 문서 중 만족도가 가장 높은 검색 결과 문서에 대한 만족도 랭킹 상에서의 순위의 역수값을 품질 지수로 결정한다.
제7 실시예에 따른 검색 랭킹 품질 평가 방법의 경우, 검색 랭킹 상에서 상 위 n개의 검색 결과 문서 중 만족도가 가장 높은 검색 결과 문서에 대한 만족도 랭킹 상에서의 순위의 역수값을 품질 지수로 결정한다.
도 6은 제8 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 보여주는 플로우차트이다. 먼저, 특정 질의어에 대한 검색 결과 문서들의 만족도를 산출하고(제500단계), 각 검색 결과 문서별로 산출된 만족도를 비교하여 만족도 랭킹을 산출한다(제510단계). 이후, 특정 질의어에 대한 검색 결과 문서들의 검색 랭킹을 획득한다(제520단계).
다음으로, 검색 랭킹 중 i번째 검색 결과 문서가 만족도 랭킹 중 k번째 이내에 포함되어 있는지 여부를 판단한다(제530단계). 판단결과 i번째 검색 결과 문서가 만족도 랭킹 중 k번째 이내에 포함되어 있는 경우 결과 값으로 1을 할당하고(제540단계), i번째 검색 결과 문서가 만족도 랭킹 중 k번째 이내에 포함되어 있지 않은 경우 결과 값으로 0을 할당한다(제550단계).
이후, 각 질의어에 대해 제500단계 내지 제550단계를 반복하고(제560단계), 제560단계에서의 결과값들의 평균값을 산출함으로써 검색 랭킹의 품질 지수를 결정한다(제570단계). 마지막으로, 제570단계에서 산출된 검색 랭킹의 품질 지수를 이용하여 검색 랭킹의 품질을 평가한다(제580단계).
상술한 검색 랭킹 품질 평가 방법은 다양한 컴퓨터 수단을 이용하여 수행될 수 있는 프로그램 형태로도 구현될 수 있는데, 이때 검색 랭킹 품질 평가 방법을 수행하기 위한 프로그램은 하드 디스크, CD-ROM, DVD, 롬(ROM), 램, 또는 플래시 메모리와 같은 컴퓨터로 판독할 수 있는 기록 매체에 저장된다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
예컨대, 상술한 실시예에 있어서는 만족도 랭킹을 산출한 후에 검색 랭킹을 획득하는 것으로 기재하였지만, 변형된 실시예에 있어서는 검색 랭킹을 먼저 획득한 후에 만족도 및 만족도 랭킹을 산출할 수도 있을 것이다.
그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 검색 랭킹 품질 평가 시스템의 개략적인 블록도.
도 2는 제1 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 보여주는 플로우차트.
도 3은 제2 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 보여주는 플로우차트.
도 4는 제3 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 보여주는 플로우차트.
도 5는 제5 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 보여주는 플로우차트.
도 6은 제8 실시예에 따라 검색 랭킹의 품질을 평가하는 방법을 보여주는 플로우차트.
<도면의 주요 부분에 대한 부호의 설명>
10: 검색 랭킹 품질 평가 시스템 12: 만족도 랭킹 산출부
14: 검색 랭킹 수집부 16: 품질 지수 산출부
18: 품질 평가부 20: 데이터베이스

Claims (22)

  1. 특정 질의어에 대한 검색 결과 문서들의 검색 만족도를 이용하여 검색 결과 문서의 만족도 랭킹을 산출하는 단계;
    상기 검색 결과 문서들에 대한 검색 랭킹을 획득하는 단계; 및
    상기 검색 결과 문서들의 만족도 랭킹을 이용하여 상기 검색 랭킹의 품질 지수를 산출하는 단계를 포함하는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  2. 제1항에 있어서,
    각 질의어에 대한 검색 랭킹 품질 지수의 평균값 및 분산값 중 적어도 하나를 산출하는 단계; 및
    상기 산출된 평균값 및 분산값 중 적어도 하나를 이용하여 상기 검색 랭킹의 품질을 평가하는 단계를 더 포함하는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  3. 제1항에 있어서, 상기 검색 랭킹 품질 지수 산출 단계에서,
    상기 검색 랭킹 품질 지수는 상기 검색 랭킹 중 상위 n개의 검색 결과 문서들이 상기 만족도 랭킹 중 m번째 이내에 포함되어 있는 비율을 이용하여 산출되는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  4. 제1항에 있어서, 상기 검색 랭킹 품질 지수 산출 단계는,
    상기 검색 랭킹 상에서 n개의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위의 역수값을 산출하여 산출된 값들을 합산하는 단계; 및
    합산 결과를 정규화하는 단계를 포함하는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  5. 검색 결과 문서들에 대한 검색 랭킹을 획득하는 단계; 및
    상기 검색 결과 문서들의 만족도를 이용하여 상기 검색 랭킹의 품질 지수를 산출하는 단계를 포함하고,
    상기 검색 랭킹 품질 지수 산출 단계는,
    상기 검색 랭킹 중 n개의 검색 결과 문서에 대해 i번째 검색 결과 문서의 만족도와 i+1번째 검색 결과 문서의 만족도를 비교하여 그 결과에 비교값을 할당하는 단계;
    상기 비교값에 제1 가중치를 부여하는 단계;
    상기 제1 가중치가 부여된 비교값들을 합산하는 단계; 및
    상기 합산 결과를 정규화하는 단계를 포함하는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  6. 제5항에 있어서, 상기 비교값 할당 단계에서, i번째 검색 결과 문서의 만족도가 i+1번째 검색 결과 문서의 만족도 이상인 경우 비교값으로 제1 값을 할당하고, i번째 검색 결과 문서의 만족도가 i+1번째 검색 결과 문서의 만족도 미만인 경우 비교값으로 제2 값을 할당하는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  7. 제1항에 있어서, 상기 검색 랭킹 품질 지수 산출 단계는,
    상기 검색 랭킹 중 n개의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위의 역수값을 합산하여 정규화하는 단계;
    상기 정규화된 합산 결과에 제1 가중치를 부여하여 제1 결과값을 산출하는 단계;
    상기 n개의 검색 결과 문서들에 대해 i번째 검색 결과 문서의 만족도와 i+1번째 검색 결과 문서의 만족도를 비교하여 그 결과에 비교값을 할당하는 단계;
    상기 산출된 비교값에 제2 가중치를 부여하는 단계;
    상기 제2 가중치가 부여된 비교값들을 합산하여 정규화하는 단계;
    상기 정규화된 합산 결과에 제3 가중치를 부여함으로써 제2 결과값을 산출하는 단계; 및
    상기 제1 결과값과 제2 결과값을 합산하는 단계를 포함하는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  8. 제1항에 있어서, 상기 검색 랭킹 품질 지수 산출 단계는,
    상기 검색 랭킹 중 n개의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위와 검색 랭킹 상에서의 순위의 곱에 대한 역수값을 합산하는 단계; 및
    상기 합산 결과를 정규화하는 단계를 포함하는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  9. 제1항에 있어서, 상기 검색 랭킹 품질 지수 산출 단계에서,
    상기 검색 랭킹 품질 지수는 상기 검색 랭킹 상에서 상위 n개의 검색 결과 문서 중 만족도가 가장 높은 검색 결과 문서의 만족도 랭킹 상에서의 순위의 역수값을 이용하여 산출되는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  10. 검색 결과 문서들에 대한 검색 랭킹을 획득하는 단계; 및
    상기 검색 결과 문서들의 만족도를 이용하여 상기 검색 랭킹의 품질 지수를 산출하는 단계를 포함하고,
    상기 검색 랭킹 품질 지수 산출 단계에서,
    상기 검색 랭킹 품질 지수는 상기 검색 랭킹 상에서 상위 n개의 검색 결과 문서 중 만족도가 가장 높은 검색 결과 문서의 검색 랭킹 상에서의 순위의 역수값을 이용하여 산출되는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  11. 제1항에 있어서, 상기 검색 랭킹 품질 지수 산출 단계에서,
    상기 검색 랭킹 품질 지수는 각 질의어별 검색 랭킹 중 i번째 검색 결과 문서가 각 질의어별 만족도 랭킹 중 k번째 이내에 포함되어 있는 비율을 이용하여 결정되는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  12. 제1항에 있어서, 상기 만족도 랭킹 산출 단계에서,
    상기 특정 질의어에 대한 각 검색 결과 문서의 만족도는 상기 각 검색 결과 문서에 대한 클릭들의 만족도 확률값의 평균으로 정의되는 것을 특징으로 하는 검색 랭킹 품질 평가 방법.
  13. 제1항 내지 제12항 중 어느 하나의 항에 기재된 방법을 수행하기 위한 프로그램이 기록된 기록매체.
  14. 특정 질의어에 대한 검색 결과 문서들의 검색 만족도를 이용하여 검색 결과 문서의 만족도 랭킹을 산출하는 만족도 랭킹 산출부;
    상기 검색 결과 문서들에 대한 검색 랭킹을 획득하는 검색 랭킹 수집부; 및
    상기 검색 결과 문서들의 만족도 랭킹을 이용하여 상기 검색 랭킹의 품질 지수를 산출하는 품질 지수 산출부를 포함하는 것을 특징으로 하는 검색 랭킹 품질 평가 시스템.
  15. 제14항에 있어서,
    각 질의어에 대한 검색 랭킹 품질 지수의 평균값 및 분산값 중 적어도 하나를 산출하여 산출된 평균값 및 분산값 중 적어도 하나를 이용하여 상기 검색 랭킹의 품질을 평가하는 품질 평가부를 더 포함하는 것을 특징으로 하는 검색 랭킹 품질 평가 시스템.
  16. 제14항에 있어서,
    상기 만족도 랭킹 산출부는 상기 검색 결과 문서에 대한 클릭이 만족일 확률값들의 합을 상기 검색 결과 문서에 대한 전체 클릭횟수로 나눈 값을 이용하여 상 기 검색 결과 문서의 만족도를 산출하는 것을 특징으로 하는 검색 랭킹 품질 평가 시스템.
  17. 제14항에 있어서,
    상기 품질 지수 산출부는 상기 검색 랭킹 중 상위 n개의 검색 결과 문서들이 상기 만족도 랭킹 중 m번째 이내에 포함되어 있는 비율을 이용하여 상기 검색 랭킹의 품질 지수를 산출하는 것을 특징으로 하는 검색 랭킹 품질 평가 시스템.
  18. 제14항에 있어서,
    상기 품질 지수 산출부는 상기 검색 랭킹 중 n개의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위의 역수값을 합산하고 합산 결과를 정규화함으로써 상기 검색 랭킹의 품질 지수를 산출하는 것을 특징으로 하는 검색 랭킹 품질 평가 시스템.
  19. 검색 결과 문서들에 대한 검색 랭킹을 획득하는 검색 랭킹 수집부; 및
    상기 검색 결과 문서들의 만족도를 이용하여 상기 검색 랭킹의 품질 지수를 산출하는 품질 지수 산출부를 포함하고,
    상기 품질 지수 산출부는 상기 검색 랭킹 중 n개의 검색 결과 문서들에 대해 i번째 검색 결과 문서의 만족도와 i+1번째 검색 결과 문서의 만족도를 비교하여 그 결과에 비교값을 할당하고, 상기 비교값 각각에 제1 가중치를 부여하고 그 결과값을 합산하여 정규화함으로써 상기 검색 랭킹의 제1 품질 지수를 산출하는 것을 특징으로 하는 검색 랭킹 품질 평가 시스템.
  20. 제19항에 있어서,
    상기 품질 지수 산출부는 i번째 검색 결과 문서의 만족도가 i+1번째 검색 결과 문서의 만족도 이상인 경우 상기 비교값으로 제1 값을 할당하고, i번째 검색 결과 문서의 만족도가 i+1번째 검색 결과 문서의 만족도 미만인 경우 상기 비교값으로 제2 값을 할당하는 것을 특징으로 하는 검색 랭킹 품질 평가 시스템.
  21. 제19항에 있어서,
    특정 질의어에 대한 검색 결과 문서들의 검색 만족도를 이용하여 검색 결과 문서의 만족도 랭킹을 산출하는 만족도 랭킹 산출부를 더 포함하고,
    상기 품질 지수 산출부는 상기 제1 품질 지수에 제2 가중치를 반영함으로써 제1 결과값을 산출하고, 상기 검색 랭킹 중 n개의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위 역수값들을 합산하여 정규화한 결과에 제3 가중치를 반영함으로써 제2 결과값을 산출하며, 상기 제1 결과값과 제2 결과값을 합산함으로써 상기 검색 랭킹의 제2 품질 지수를 산출하는 것을 특징으로 하는 검색 랭킹 품질 평가 시스템.
  22. 제14항에 있어서,
    상기 품질 지수 산출부는 상기 검색 랭킹 중 n개의 검색 결과 문서 각각에 대한 만족도 랭킹 상에서의 순위와 검색 랭킹 상에서의 순위의 곱에 대한 역수값을 합산하고, 합산 결과를 정규화함으로써 상기 검색 랭킹의 품질 지수를 산출하는 것을 특징으로 하는 검색 랭킹 품질 평가 시스템.
KR1020070126096A 2007-12-06 2007-12-06 검색랭킹의 품질 평가 방법 및 시스템 KR100932842B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070126096A KR100932842B1 (ko) 2007-12-06 2007-12-06 검색랭킹의 품질 평가 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070126096A KR100932842B1 (ko) 2007-12-06 2007-12-06 검색랭킹의 품질 평가 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20090059307A KR20090059307A (ko) 2009-06-11
KR100932842B1 true KR100932842B1 (ko) 2009-12-21

Family

ID=40989442

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070126096A KR100932842B1 (ko) 2007-12-06 2007-12-06 검색랭킹의 품질 평가 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR100932842B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007742A (ko) * 2000-07-18 2002-01-29 김민욱 사용자별 정보선호 분석 및 정보 내용 인기도 평가를 통한정보추천 방법 및 그 시스템
WO2006104683A2 (en) 2005-03-29 2006-10-05 Google Inc. Query revision using known highly-ranked queries
WO2007033202A1 (en) * 2005-09-13 2007-03-22 Google Inc. Ranking blog documents
KR20080024584A (ko) * 2006-09-14 2008-03-19 엔에이치엔(주) 도서 검색에 이용되는 문서 스코어를 생성하는 방법 및상기 방법을 수행하는 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007742A (ko) * 2000-07-18 2002-01-29 김민욱 사용자별 정보선호 분석 및 정보 내용 인기도 평가를 통한정보추천 방법 및 그 시스템
WO2006104683A2 (en) 2005-03-29 2006-10-05 Google Inc. Query revision using known highly-ranked queries
WO2007033202A1 (en) * 2005-09-13 2007-03-22 Google Inc. Ranking blog documents
KR20080024584A (ko) * 2006-09-14 2008-03-19 엔에이치엔(주) 도서 검색에 이용되는 문서 스코어를 생성하는 방법 및상기 방법을 수행하는 시스템

Also Published As

Publication number Publication date
KR20090059307A (ko) 2009-06-11

Similar Documents

Publication Publication Date Title
CN110598086B (zh) 文章推荐方法、装置、计算机设备及存储介质
JP4813744B2 (ja) Ｗｅｂ利用状況の解析によるユーザープロフィールの分類方法
US8332775B2 (en) Adaptive user feedback window
WO2015192667A1 (zh) 推荐广告的方法及广告推荐服务器
JP5865076B2 (ja) ユーザグループごとにキーワードの順位を決定するシステムおよび方法
CN103412918A (zh) 一种基于服务质量和声誉的服务信任度评估方法
KR20130062442A (ko) 협업 필터링 추천 방식을 이용한 추천 방법 및 추천 시스템
US20120066359A1 (en) Method and system for evaluating link-hosting webpages
CN111159563B (zh) 用户兴趣点信息的确定方法、装置、设备及存储介质
CN112488716B (zh) 一种异常事件检测系统
JP4453437B2 (ja) 検索キーワード順位付け方法及び装置及びプログラム
US20210311969A1 (en) Automatically generating user segments
JP6678666B2 (ja) ランキング関数のオフライン評価
JP6653374B2 (ja) ユーザニーズを決定するための方法及び装置
CN113239182A (zh) 一种文章推荐方法、装置、计算机设备及存储介质
KR101132450B1 (ko) 실시간 급상승 키워드 추출 방법 및 실시간 급상승 키워드추출 시스템
JP4447552B2 (ja) 情報提供方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
KR20140081721A (ko) 텍스트마이닝을 이용한 중요 키워드 도출 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 매체
CN117291428B (zh) 一种基于企业管理app的数据后台管理系统
JP2014146218A (ja) 情報提供装置
KR20070070062A (ko) 서비스 평가 방법, 시스템 및 컴퓨터 프로그램 제품
KR101811212B1 (ko) Diy 사용성 테스트 방법 및 장치
KR101708440B1 (ko) 분산 환경에서 ｌｄａ 및 능동 학습 기법을 융합한 적응형 아이템 추천 방법
CN106611339B (zh) 种子用户筛选方法、产品的用户影响力评价方法及装置
Kurt et al. A similarity-inclusive link prediction based recommender system approach

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130926

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140925

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161024

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 9