KR102109995B1

KR102109995B1 - 검색 결과를 랭킹하는 방법과 시스템 및 검색 결과 랭킹을 최적화하는 방법과 시스템

Info

Publication number: KR102109995B1
Application number: KR1020157001327A
Authority: KR
Inventors: 펭 린; 지아유 탕
Original assignee: 알리바바 그룹 홀딩 리미티드
Priority date: 2012-07-20
Filing date: 2013-07-18
Publication date: 2020-05-13
Also published as: US9372893B2; JP2015522889A; TW201405340A; US20140025668A1; WO2014015174A2; CN103577413A; TWI554895B; CN103577413B; JP6267199B2; KR20150036113A; WO2014015174A3

Abstract

본 발명은 검색 결과를 랭크하는 기술을 제공한다. 본 기술은 프리미티브 특성 집합(a set of primitive characteristics)을 취득하는 것과, 이력적 트랜잭션 데이터(historical transaction data)에 기반하여 프리미티브 특성 집합으로부터 유효 특성(effective characteristics)을 추출하는 것을 포함한다. 유효 특성은 검색 결과의 랭킹에 영향을 줄 수 있는 특성을 포함한다. 본 기술은 또한 이력적 트랜잭션 데이터에 기반하여 유효 특성의 각각의 초기 가중치(initial weight)를 결정하는 것과, 최종 가중치(final weight)를 얻도록 이력적 트랜잭션 데이터 및 사전 결정된 트레이닝 모델(predetermined training model)을 이용하여 초기 가중치를 트레이닝하는 것을 더 포함할 수도 있다. 최종 가중치에 기반하여, 검색 결과는 랭크될 것이다. 일부 양태에서, 본 기술은 랭킹 결과의 객관성과 정확성을 보장하도록 랭킹을 최적화할 수도 있다.

Description

검색 결과를 랭킹하는 방법과 시스템 및 검색 결과 랭킹을 최적화하는 방법과 시스템{METHOD AND SYSTEM OF RANKING SEARCH RESULTS, AND METHOD AND SYSTEM OF OPTIMIZING SEARCH RESULT RANKING}

관련 특허 출원에 대한 상호 참조

본 출원은 2012년 7월 20일에 "Method and System of Ranking Search Results, and Method and System of Optimizing Search Result Ranking"이라는 발명의 명칭으로 중국 출원된 중국 특허 출원 번호 제201210254425.6호에 대한 우선권을 주장하며, 상기 중국 특허는 전부 본원에서 참조로 이용되고 있다.

기술분야

본 발명은 컴퓨터 데이터 처리에 관한 것으로, 특히, 검색 결과를 랭킹 및 최적화하는 것에 관한 것이다.

전자 상거래(e-commerce)의 발전으로 점점 더 많은 사용자들이 전자 상거래 서비스를 이용하여 아이템들을 구매한다. 일반적으로, 전자 상거래 웹 사이트는 수천만 개의 아이템 또는 수 억개에 이르는 아이템을 소유하므로 사용자는 원하는 아이템을 찾기 위해 웹 사이트를 검색해야만 한다. 웹 사이트와 연관된 서버는 사용자가 제공하는 키워드에 기반하여 검색을 수행하여 키워드에 대응하는 결과로 응답할 것이다.

키워드에 대한 응답으로서, 서버는 방대한 수의 검색 결과를 만들어낼 수도 있다. 따라서, 검색 결과는 제시 동안에 특정 순서로 정렬 및/또는 랭크되는 것이 필요하다. 서버는 이러한 검색 결과를 어떤 방식으로 랭크할 것인지 포괄적으로 고려할 것이다. 예를 들어, 검색 결과는 검색 결과와 키워드 사이의 상관관계(correlation), 과거의 클릭율(previous click-through rates), 검색 결과와 연관된 과거의 거래(previous deals) 등에 따라 랭크될 수 있을 것이다. 전자 상거래 웹 사이트와 관련하여, 상품 판매량을 향상시키기 위해서, 서버는 거래 가능성(deal feasibility)(예를 들면, 검색 결과의 거래 전환율(deal conversion rates) 및 긍정적 피드백율(positive feedback rates))도 고려할 것이다.

현재, 전자 상거래 웹 사이트의 서버는 위에서 언급한 상관관계, 거래 가능성 예측 및/또는 특정 공식에 따른 계산에 기반하여 검색 결과를 랭크하는데, 여기서 거래 가능성 예측이란 일반적으로 이력 데이터의 수동적 분석(manual analysis), 검색 결과(즉, 특정 상품)의 상품 특성 및 가중치의 경험적 결정에 근거하여 얻어지는 것이다. 상품 특성은 상품의 거래 가능성에 영향을 줄 수 있는 요인을 말한다(예를 들면, 판매량, 긍정적 피드백율 및 거래 전환율). 경험적 설정에 의한 특성 및 가중치의 결정은 상대적으로 임의적이고 주관적이므로, 오류가 종종 발생한다. 제시된 검색 결과는 사용자가 원하는 것과 상당히 다를 수 있고, 또는 검색 결과의 랭킹이 사용자를 만족시키지 못할 수도 있다. 서버는 특정 개수의 검색 결과만을 제시하므로, 사용자는 자신이 원하는 결과를 제공받지 못할 수도 있다. 자신이 원하는 결과를 입수하기 위해서, 사용자는 키워드를 수정하고 질의를 다시 제출해야 할 것이다. 이것은 서버의 데이터 전송을 증가시키는 결과를 초래하므로, 의심할 여지없이 서버의 부담을 증가시키며, 많은 네트워크 자원을 사용하거나 네트워크 혼잡까지도 유발한다. 한편, 이것은 서버에 의해 제시되는 검색 결과가 방대한 분량의 상관없는 데이터를 포함하므로 결과적으로 서버 자원과 네트워크 자원이 낭비됨을 나타내는 것이기도 한다.

본 발명은 검색 결과를 랭킹하는 방법과 시스템 및, 검색 결과를 랭킹하는 최적화 방법과 시스템을 제공한다. 본 발명의 실시예는 전술한 바와 같은 서버에 대한 부담 증가의 문제와 네트워크 혼잡의 문제를 해결한다.

본 발명의 실시예는 검색 결과를 랭킹하는 방법에 관한 것이다. 이 실시예는 프리미티브 특성 집합(a set of primitive characteristics)을 취득하는 단계를 포함한다. 일부 실시예에서, 프리미티브 특성은 검색 결과의 랭킹에 영향을 줄 수 있는 프리셋 특성(preset characteristics)을 포함한다. 이 실시예는 또한 이력적 트랜잭션 데이터(historical transaction data)에 기반하여 프리미티브 특성 집합으로부터 유효 특성을 추출하는 단계―유효 특성은 이력적 트랜잭션 데이터에 기반하여 결정되는 특성으로, 검색 결과의 랭킹에 영향을 줄 수 있다―와, 이력적 트랜잭션 데이터에 기반하여 유효 특성의 각각의 초기 가중치를 결정하는 단계와, 최종 가중치를 얻기 위해 이력적 트랜잭션 데이터와 사전 결정된 트레이닝 모델을 이용하여 초기 가중치를 트레이닝하는 단계와, 유효 특성의 최종 가중치에 기반하여 검색 결과를 랭킹하는 단계를 포함할 수 있다.

또한, 이력적 트랜잭션 데이터에 기반하여 프리미티브 특성 집합으로부터 유효 특성을 추출하는 단계는 이력적 트랜잭션 데이터에 기반하여 두 개의 테스트 상품 그룹을 선택하는 단계―이 두 개의 테스트 상품 그룹 중 하나의 테스트 상품 그룹은 거래 기록을 갖는 상품들이고, 다른 테스트 상품 그룹은 거래 기록을 갖지 않는 상품들임―와, 이력적 트랜잭션 데이터로부터 특정 시간 기간내에 두 개의 테스트 상품 그룹의 연관 데이터(associated data)를 각기 추출하는 단계와, 연관 데이터를 이용하여 두 개의 테스트 상품 그룹의 각각의 프리미티브 특성의 특성값을 계산하는 단계와, 두 개의 테스트 상품 그룹의 동일한 프리미티브 특성의 특성값을 비교하되, 특성값의 차이값(difference value)이 임계값을 초과하면, 그 프리미티브 특성을 유효 특성으로서 선택하는 단계를 포함한다.

또한, 이력적 트랜잭션 데이터에 기반하여 프리미티브 특성 집합으로부터 유효 특성을 추출하는 단계는 이력적 트랜잭션 데이터로부터 사전 결정된 시간 기간내에 트랜잭션 데이터를 추출하는 단계와, 사전 결정된 시간 기간내에 각각의 상품의 거래 전환율을 계산하는 단계와, 임계값보다 큰 거래 전환율의 차이값을 갖는 두 개의 상품 그룹을 테스트 상품으로서 선택하는 단계와, 이력적 트랜잭션 데이터로부터 사전 결정된 시간 기간 다음의 특정 시간 기간내에 두 개의 테스트 상품 그룹의 트랜잭션 데이터를 추출하는 단계와, 두 개의 테스트 상품 그룹의 프리미티브 특성 집합에서 각각의 프리미티브 특성의 특성값을 계산하는 단계와, 두 개의 테스트 상품 그룹의 동일한 프리미티브 특성의 특성값을 비교하되, 그 차이값이 임계값을 초과하면, 그 프리미티브 특성을 유효 특성으로서 선택하는 단계를 포함한다.

또한, 이력적 트랜잭션 데이터에 기반하여 유효 특성의 각각의 초기 가중치를 결정하는 단계와, 최종 가중치를 얻기 위해 이력적 트랜잭션 데이터와 트레이닝 모델을 이용하여 초기 가중치를 트레이닝하는 단계는 유효 특성의 초기값을 결정하는 단계와, 이론적 데이터를 계산하기 위해 이력적 트랜잭션 데이터와 초기 가중치를 사전 결정된 트레이닝 모델에 대입하는 단계와, 이론적 데이터와 실제 데이터를 비교하되, 만약 그 차이가 사전 결정된 범위내이라면, 초기 가중치는 유효 특성의 최종 가중치라고 결정하고, 만약 아니라면, 유효 특성의 초기 가중치를 결정하는 단계로 복귀하는 단계를 포함한다.

또한, 유효 특성의 최종 가중치에 기반하여 검색 결과를 랭킹하는 단계는 검색 결과의 실제 유효 특성값을 결정하는 단계와, 유효 특성의 최종 가중치와 실제 유효 특성값에 기반하여 검색 결과의 예측 거래 전환율(predicted deal conversion rates)을 계산하는 단계와, 예측 거래 전환율에 기반하여 검색 결과를 랭킹하는 단계를 포함한다.

본 발명의 실시예들은 검색 결과 랭킹의 최적화 방법과 관련이 있다. 실시예들은 검색 결과의 유효 특성의 후보 가중치(candidate weight values)의 각각의 그룹을 각기 취득하는 단계와, 후보 가중치의 각각을 이용하여 특정의 사전 결정된 시점에서 각각 이론적 랭킹 스코어(theoretical ranking scores)를 계산하는 단계와, 랭킹 결과의 각각의 그룹을 얻기 위해 이론적 랭킹 스코어를 기반하여 검색 결과를 랭킹하는 단계와, 랭킹 결과의 각각의 그룹내에서 상위에 랭크된 사전 결정된 수의 검색 결과를 각기 취득하는 단계와, 상기 사전 결정된 시점 이후에 검색 결과의 트랜잭션 데이터를 취득하는 단계와, 트랜잭션 데이터에 기반하여 랭킹 결과의 각각의 그룹내에서 상위에 랭크된 사전 결정된 수의 검색 결과의 실제 랭킹 스코어(actual ranking scores)를 계산하는 단계와, 최고 실제 랭킹 스코어를 갖는 랭킹 결과의 그룹에 대응하는 후보 가중치를 유효 특성의 최종 가중치로서 선택하는 단계를 포함한다.

또한, 이론적 랭킹 스코어는 단일 특성의 예측값 또는 특성들의 조합의 예측값이며, 실제 랭킹 스코어는 단일 특성의 실제값 또는 특성들의 조합의 실제값으로서 이것은 이론적 랭킹 스코어에 대응하는 것이다.

또한, 이론적 랭킹 스코어는 예측 거래 전환율이고 실제 랭킹 스코어는 실제 거래 전환율이거나, 또는 이론적 랭킹 스코어는 예측 긍정적 피드백율이고 실제 랭킹 스코어는 실제 긍정적 피드백율이다.

또한, 최고 실제 랭킹 스코어를 갖는 랭킹 결과의 그룹에 대응하는 후보 가중치를 유효 특성의 최종 가중치로서 선택하는 단계는 실제 랭킹 스코어의 최고 합(highest sum) 또는 평균값을 갖는 랭킹 결과의 그룹에 대응하는 후보 가중치를 유효 특성의 최종 가중치로서 선택하는 단계를 포함한다.

본 발명의 실시예는 검색 결과 랭킹의 최적화 방법에 관한 것이다. 실시예들은 검색 결과의 이론적 랭킹 스코어에 기반하여 랭크된 특정의 사전 결정된 시점에서 랭킹 결과를 취득하는 단계―여기서 이론적 랭킹 스코어는 검색 결과의 각각의 실제 유효 특성값과 유효 특성의 최종 가중치에 기반하여 획득됨―와, 상기 사전 결정된 시점 이후에 랭킹 결과에서 상위에 랭크된 사전 결정된 수의 검색 결과의 트랜잭션 데이터를 취득하는 단계와, 트랜잭션 데이터에 기반하여 검색 결과의 실제 랭킹 스코어를 계산하는 단계와, 실제 랭킹 스코어를 이론적 랭킹 스코어와 비교하되, 만약 그 차이값이 임계값을 초과한다면, 유효 특성의 최종 가중치를 최적화하는 단계를 포함한다.

본 발명의 실시예는 검색 결과를 랭킹하는 시스템에 관한 것이다. 실시예는 프리미티브 특성 집합을 취득하는 프리미티브 특성 집합 취득 모듈―프리미티브 특성은 검색 결과의 랭킹에 영향을 줄 수 있는 프리셋 특성을 포함함―과, 이력적 트랜잭션 데이터에 기반하여 프리미티브 특성 집합으로부터 유효 특성을 추출하는 유효 특성 추출 모듈―유효 특성은 검색 결과의 랭킹에 영향을 줄 수 있는 이력적 트랜잭션 데이터에 기반하여 결정되는 특성을 말함―과, 이력적 트랜잭션 데이터에 기반하여 유효 특성의 각각의 초기 가중치를 결정하고, 최종 가중치를 얻기 위해 이력적 트랜잭션 데이터 및 사전 결정된 트레이닝 모델을 이용하여 초기 가중치를 트레이닝하는 유효 특성 가중치 결정 모듈과, 유효 특성의 최종 가중치에 기반하여 검색 결과를 랭킹하는 랭킹 모듈을 포함한다.

또한, 유효 특성 추출 모듈은 이력적 트랜잭션 데이터에 기반하여 두 개의 테스트 상품 그룹을 선택하는 테스트 상품 선택 서브-모듈(test product selection sub-module)―두 개의 테스트 상품 그룹중 하나의 그룹은 거래 기록을 갖는 산품이고, 다른 그룹은 거래 기록이 없는 상품임―과, 이력적 트랜잭션 데이터로부터 특정 시간 기간내에서 두 개의 테스트 상품 그룹의 연관 데이터를 각기 추출하고, 상기 연관 데이터를 이용하여 두 개의 테스트 상품 그룹의 각각의 프리미티브 특성의 특성값을 계산하는 특성값 계산 서브-모듈과, 두 개의 테스트 상품 그룹의 동일한 프리미티브 특성의 특성값을 비교하여, 그 차이값이 임계치를 초과할 경우, 그 프리미티브 특성을 유효 특성으로서 선택하는 비교 서브-모듈을 포함한다.

본 발명의 실시예는 검색 결과 랭킹의 최적화 시스템에 관한 것이다. 실시예는 검색 결과의 유효 특성의 후보 가중치의 각각의 그룹을 각기 취득하는 후보 가중치 취득 모듈과, 각각의 후보 가중치를 이용하여 특정의 사전 결정된 시점에서 각기 검색 결과의 이론적 랭킹 스코어를 계산하고, 각각의 랭킹 결과 그룹을 얻기 위해 이론적 랭킹 스코어에 기반하여 검색 결과를 랭킹하는 이론적 랭킹 스코어 계산 모듈과, 각각의 랭킹 결과 그룹에서 상위에 랭크된 사전 결정된 수의 검색 결과를 각기 취득하고, 상기 사전 결정된 시점 이후에 검색 결과의 트랜잭션 데이터를 취득하는 트랜잭션 데이터 취득 모듈과, 트랜잭션 데이터에 기반하여 각각의 랭킹 결과 그룹에서 상위에 랭크된 사전 결정된 수의 검색 결과의 실제 랭킹 스코어를 계산하는 실제 랭킹 스코어 계산 모듈과, 최고 실제 랭킹 스코어를 갖는 랭킹 결과 그룹에 대응하는 후보 가중치를 유효 특성의 최종 가중치로서 선택하는 최종 가중치 결정 모듈을 포함한다.

본 발명의 실시예는 검색 결과 랭킹의 최적화 시스템에 관한 것이다. 실시예는 검색 결과의 이론적 랭킹 스코어에 기반하여 랭크된 특정의 사전 결정된 시접에서 랭킹 결과를 취득하는 이론적 랭킹 스코어 계산 모듈―이론적 랭킹 스코어는 검색 결과의 각각의 실제 유효 특성값과 유효 특성의 최종 가중치에 기반하여 획득됨―와, 사전 결정된 시점 이후에 랭킹 결과에서 상위에 랭크된 사전 결정된 수의 검색 결과의 트랜잭션 데이터를 취득하고, 트랜잭션 데이터에 기반하여 검색 결과의 실제 랭킹 스코어를 계산하는 실제 랭킹 스코어 계산 모듈과, 실제 랭킹 스코어를 이론적 랭킹 스코어와 비교하되, 만약 그 차이값이 임계치를 초과하면, 유효 특성의 최종 가중치를 최적화하는 최적화 모듈을 포함할 수 있다.

본 발명의 실시예는 종래 기술을 뛰어 넘는 이점들을 포함한다. 본 발명의 실시예는 이력적 트랜잭션 데이터를 통해 랭킹 결과에 영향을 주는 유효 특성을 선택하고, 이력적 트랜잭션 데이터와의 조합으로 유효 특성의 최종 가중치를 결정하며, 이러한 가중치를 이용하여 최종적으로 검색 결과를 랭크한다. 이러한 프로세스에서, 유효 특성의 각각의 초기 가중치는 이력적 트랜잭션 데이터에 기반하여 결정될 뿐만 아니라 이러한 초기 가중치는 이력적 트랜잭션 데이터를 이용하여 트레이닝되고, 이로써 최적화된 최종 가중치를 획득하여 최종 가중치의 객관성과 정확성이 보장되고, 이렇게 하여 랭킹 결과의 객관성 및 정확성을 개선함으로써, 사용자는 부정확한 랭킹에 의해 초래되는 예측 검색 결과를 입수할 수 없으므로 사용자가 나머지 데이터를 취득하기 위해 계속 요청하거나 클라이언트 측을 경유해 서버로 신규 검색 요구를 재전송하지 않아도 되게 하며, 이로써 데이터의 전송량과 더불어 서버에 대한 부담과 네트워크 자원의 점유를 줄여준다.

또한, 유효 특성이 선택될 때, 먼저, 보다 선명한 대비를 이루면서 높은 거래율과 낮은 거래율을 갖는 두 개의 테스트 상품 그룹이 이력적 트랜잭션 데이터에 기반하여 테스트 기준(test basis)으로서 선택된다. 두 개의 테스트 상품 그룹의 특성값들이 이력적 트랜잭션 데이터에 기반하여 각기 계산된 이후에, 상품 거래율에 대한 특성의 영향을 결정하기 위해서 두 개의 상품 그룹이 동일 프리미티브 특성의 특성값들 사이의 차이와 관련해 비교됨으로써, 유효 특성이 정확하게 선택되고 랭킹의 정확성이 개선된다.

본 발명의 검색 결과 랭킹의 최적화 방법 및 시스템에서는, 특정 시점에 그리고 이 시점 이후에 트랜잭션 데이터의 사용에 의해 최적 가중치가 결정되거나 또는 결정된 가중치가 최적화되는데, 다시 말해서 실제 이력적 트랜잭션 데이터의 이용에 의해 비교적 최적화된 방식의 검색 결과 랭킹이 결정되거나 또는 기존 방식의 검색 결과 랭킹이 최적화되어, 랭킹 결과가 보다 객관적이고 정확해지도록 하고, 사용자는 부정확한 랭킹에 의해 초래되는 예측 검색 결과를 입수할 수 없기에 사용자가 나머지 데이터를 취득하기 위해 계속 요구하거나 클라이언트 측을 경유해 서버로 신규 검색 요구를 재전송하지 않아도 되게 하며, 이로써 데이터의 전송량과 더불어 서버에 대한 부담과 네트워크 자원의 점유를 줄여준다. 본 발명의 실시예가 전술한 모든 이점들을 동시에 충족시키도록 구현되지 않을 수도 있다.

더욱이, 본 발명의 실시예는 효력이 없는 글자(invalid characters) 및/또는 어근(word roots)을 삭제함으로써 페이지의 정보와 질의 어구(query phrase)를 전처리할 수도 있다. 본 발명의 실시예는 검색 속도를 높일 수 있고, 정렬 프로세스를 결정할 수 있으며, 정확하고 관련성 있는 결과를 복귀시킬 수 있다.

상세한 설명은 첨부도면을 참조하여 설명된다. 상이한 도면들에서 동일한 참조부호의 이용은 유사하거나 동일한 항목을 나타낸다.
도 1은 검색 결과를 랭킹하는 예시적인 프로세스의 흐름도이다.
도 2는 검색 결과를 최적화하는 예시적인 프로세스의 흐름도이다.
도 3은 검색 결과를 랭킹 및 최적화하는 것을 보여주는 예시적인 그룹의 개략도이다.
도 4는 검색 결과를 최적화하는 예시적인 프로세스의 흐름도이다.
도 5 내지 도 7은 검색 결과를 랭킹 및 최적화할 수 있게 하는 예시적인 컴퓨팅 아키텍처의 개략도이다.

본 발명의 실시예들이 도면을 참조하여 아래에 더욱 상세히 설명된다.

도 1은 검색 결과를 랭킹하는 예시적인 프로세스의 흐름도이다. 단계(102)에서, 서버는 프리미티브 특성 집합을 취득할 수 있는데, 여기서 프리미티브 특성은 검색 결과의 랭킹에 영향을 줄 수 있는 프리셋 특성을 포함한다. 프리미티브 특성 집합은 이력적 트랜잭션 데이터에 기반하여 결정되거나 경험적으로 결정될 수 있다. 일부 실시예에서, 특성들은 프리미티브 특성 교환량(primitive characteristics trading volume), 거래 전환율, 긍정적 피드백율, 배달 속도, 그림-단어 품질(picture-word quality), 트랜잭션량 등의 집합을 포함한다.

일부 실시예에서, 검색 결과의 프리미티브 특성 집합은 사전 설정될 수 있고, 요구시에 서버나 또는 다른 데이터베이스로부터 곧장 취득될 수 있으며, 이력적 트랜잭션 데이터 역시 서버 또는 데이터베이스로부터 실시간으로 취득될 수 있고, 실시간 분석에 의해 추출될 수 있다.

단계(104)에서, 서버는 이력적 트랜잭션 데이터에 기반하여 프리미티브 특성 집합으로부터 유효 특성을 추출할 것이다. 일부 실시예에서, 유효 특성은 검색 결과의 랭킹에 영향을 줄 수 있는 이력적 트랜잭션 데이터에 기반하여 결정되는 특성을 포함할 수 있다.

일부 실시예에서, 이력적 트랜잭션 데이터는 서버로부터 곧장 판독될 수 있다. 이 사례에서, 이력적 트랜잭션 데이터에 기반하여 프리미티브 특성 집합으로부터 유효 특성을 추출하는 것은 구체적으로 이력적 트랜잭션 데이터에 기반하여 두 개의 테스트 상품 그룹을 선택하기―이 두 개의 테스트 상품 그룹 중 하나의 그룹은 거래 기록을 갖는 상품들이고, 다른 그룹은 거래 기록을 갖지 않는 상품들임―와, 이력적 트랜잭션 데이터로부터 특정 시간 기간내에 두 개의 테스트 상품 그룹의 연관 데이터(associated data)를 각기 추출하기와, 연관 데이터를 이용하여 두 개의 테스트 상품 그룹의 각각의 프리미티브 특성의 특성값을 계산하기와, 두 개의 테스트 상품 그룹의 동일한 프리미티브 특성의 특성값을 비교하되, 그 차이값이 임계값을 초과하면, 그 프리미티브 특성을 유효 특성으로서 선택하기를 포함한다.

일부 실시예에서, 연관 데이터는 프리미티브 특성 집합에서 다양한 특성들의 특정한 값들을 계산하는데 이용될 수 있다. 특성이 다르면 연관 데이터도 상이하며, 특정한 요구에 따라서 특정한 연관 데이터가 결정될 수 있다. 예를 들어, 특성-교환량(characteristics-trading volume)의 경우, 그 요구되는 데이터는 사전 결정된 시간 기간내의 거래 횟수이고, 따라서 그 연관 데이터는 거래 횟수이다. 다른 예로서, 긍정적 피드백율의 경우, 그 요구되는 원시 데이터(raw data)는 사전 결정된 시간 기간내의 전체 피드백 횟수 및 긍정적 피드백 횟수이고, 따라서 그 연관 데이터는 전체 피드백 횟수 및 긍정적 피드백 횟수를 포함한다.

일부 실시예에서, 프리미티브 특성 집합의 각각의 프리미티브 특성의 특성값의 계산식은 실제 상황에 따라 결정될 것이다. 일부 사례로, 특성을 효과적으로 표현하는 방법이 고려될 수 있을 것이다. 예를 들어, 특성-교환량인 경우, 만약 그 특성값이 교환량의 값에 의해 직접적으로 표현된다면, 이론적 값은 0에서 임의의 자연수일 것이다. 일부 사례에서, 특정값이 입수될 때, 종종 그 값들 사이의 차이를 단순히 비교하는 것에 의해서는 문제가 설명될 수 없다.

예를 들면, 교환량은 각각 0과 1이다. 이 사례에서, 비록 두 교환량의 특성값 사이의 차이가 1일지라도, 이 차이는 트랜잭션이 존재하는지의 여부를 나타낸다. 다른 예로, 교환량이 각각 100과 101이다. 비록 그 차이는 여전히 1이지만, 이 차이는 교환량 사이의 하나의 트랜잭션을 나타낸다. 그러므로 계산식은 특성에 대해 리셋될 것이다. 예를 들어, 교환량을 특성값 대신에 파라미터로서 취함으로써 최종 특성값이 계산될 것이다.

예를 들어, 교환량이 n이라고 가정하면, 식 1-1/(1+n)이 특성값을 계산하는데 채용될 것이다. 따라서, 만약에 교환량이 각각 0과 1이라면, 특성값은 각각 0과 0.5이다. 반면에, 100개의 트랜잭션과 101개의 트랜잭션의 특성값들은 각각 0,9901과 0.9902이다. 이런 식으로 교환량의 변화가 더 효과적으로 표현될 수 있다.

전술한 단계에서 두 개의 테스트 제품 그룹을 선택하기 위한 기준은 거래 기록의 존재 유무임이 이해될 것이다. 일부 실시예에서, 두 개의 테스트 제품 그룹의 대비성을 개선하고, 선택된 제품의 범위를 증가시키며, 결과의 정확도를 개선하기 위해서, 하나의 그룹은 제 1 임계치보다 높은 거래 기록을 갖는 제품이고, 반면에 다른 그룹은 제 2 임계치보다 낮은 거래 기록을 갖거나 거래 기록이 없는 제품이다. 이 사례에서, 제 1 임계치 및 제 2 임계치는 실제 상황에 따라 설정될 것이다. 제 1 임계치는 가능한 높게 설정되는 반면, 제 2 임계치는 가능한 낮게 설정될 것이다. 이렇게 함으로써, 두 개의 테스트 제품 그룹이 보다 큰 차이를 갖게 되어, 이후에 유효 특성의 정확한 추출이 쉬워지게 된다.

테스트 제품이 이력적 트랜잭션 데이터(예컨대, 거래 기록)와 함께 일부 특성에 기반하여 선택됨이 이해될 것이다. 본 발명의 일부 실시예에 따르면, 검색 결과는 전자 상거래 웹 사이트에 랭크되며, 사용자가 기대하는 검색 결과가 제공된다. 이것은 제품 구매 확률을 높이고, 사용자가 서버로 검색 질의를 반복적으로 전송하는 것을 막아준다. 본 발명의 실시예는 제품의 거래 전환율과 함께 상관관계를 포함한다. 제품의 거래 전환율은 특정 제품이 검색 결과에 나타난 이후에 구매되는 확률일 수 있다. 일부 실시예에서, 이런 특성(예컨대, 제품의 거래 전환율)은 랭킹 결과에 대해 더 큰 가중치를 가질 수 있을 것이다. 일부 실시예에서, 사용자는 질의를 제출하고, 제품을 포함하는 검색 결과를 수신한다. 사용자가 제품을 구매할 확률이 클수록, 동일하거나 유사한 질의를 제출한 다른 사용자가 동일 제품을 구매할 확률도 커진다.

일부 실시예에서, 테스트 제품은 거래 전환율에 기반하여 선택될 수 있다. 서버는 사전 결정된 시간 기간내에서 이력적 트랜잭션 데이터로부터 트랜잭션 데이터를 추출하고, 이 사전 결정된 시간 기간내에서 각각의 제품의 거래 전환율을 계산한다. 이후, 서버는 임계치보다 더 큰 상이한 값의 거래 전환율들을 갖는 두 개의 제품 그룹을 테스트 제품으로서 선택할 것이다. 서버는 사전 결정된 시간 기간 다음의 특정의 시간 기간내에서 이력적 트랜잭션 데이터로부터 두 개의 제품 그룹의 트랜잭션 데이터를 추출할 것이고, 두 개의 테스트 제품 그룹의 프리미티브 특성 집합내의 각각의 프리미티브 특성의 특성값을 계산할 것이다. 서버는 두 개의 테스트 제품 그룹의 동일한 프리미티브 특성의 특성값을 비교할 것이다. 그 차이값이 임계치를 초과한다는 결정에 응답하여, 서버는 이 프리미티브 특성을 유효 특성으로서 선택할 것이다.

사전 결정된 시간 기간은 실제 요구에 따라 설정될 수 있다. 일부 사례에서, 계산 시간을 절약하고 계산량을 줄이기 위해서, 더 짧은 기간이 설정될 수도 있다. 다른 사례로, 서버의 정확성과 용량을 고려하여 더 긴 기간이 설정될 수도 있다. 예를 들어, 하루, 3일, 10일, 30일 또는 다른 기간이 설정될 수 있을 것이다. 사전 결정된 시간 기간 이후의 특정 시간 기간 역시 실제 요구에 따라서 설정될 수 있을 것이다. 일부 사례로, 계산 결과의 일치를 보장하기 위해, 특정 시간 기간은 사전 결정된 시간 기간에 기반하여 설정될 수 있을 것이다. 예를 들어, 특정 시간 기간은 사전 결정된 시간 기간과 동일하게 설정될 수 있을 것이다.

일부 실시예에서, 서버는 더 큰 차이값의 거래 전환율을 갖는 두 개의 제품 그룹을 선택할 수도 있다. 이 두 개의 그룹은 사전 결정된 시간 기간 내의 거래 전환율에 기반하여 테스트 제품으로서 선택될 것이다. 일부 사례로, 제 1 전환값과 제 2 전환값의 차이값이 임계치로 설정될 수도 있다. 만약 제품 그룹의 거래 전환율이 제 1 전환값보다 크지만 제 2 전환값보다는 작을 경우, 두 개의 제품 그룹은 테스트 제품으로서 선택될 수 있을 것이다. 이후, 서버는 두 개의 테스트 제품 그룹의 프리미티브 특성 집합의 각각의 프리미티브 특성의 특성값을 계산할 것이다. 특성값은 사전 결정된 시간 기간 이후의 특정 시간 기간내에서 두 개의 테스트 제품 그룹의 트랜잭션 데이터를 이용하여 계산될 수 있다. 만약 두 개의 테스트 제품 그룹의 동일한 프리미티브 특성의 특성값이 더 큰 차이값을 갖는다면, 이 프리미티브 특성은 유효 특성으로서 역할을 할 것이다. 예를 들어, 차이값이 설정된 임계치를 초과한다. 따라서, 상당한 차이의 거래 전환율을 갖는 두 개의 테스트 제품 그룹이 선택될 수 있다. 특정 프리미티브 특성의 특성값들의 차이값이 클수록 제품에 대한 거래의 성사 여부에 프리미티브 특성이 더 큰 영향을 준다는 것을 나타낸다. 프리미티브 특성은 이런 방식으로 관련 유효 특성을 추출하도록 걸러지므로, 결과적으로 랭킹 결과는 더 정확해진다.

전술한 몇 가지 방법에 의한 유효 특성의 선택은 거래 대비성이 높은 두 개의 테스트 제품 그룹에 따라 좌우된다. 예를 들어, 하나의 그룹은 거래 기록을 갖는 제품이고, 반면에 다른 그룹은 거래 기록을 갖지 않는 제품이다. 다른 예로서, 하나의 그룹은 더 높은 거래 전환율을 갖는 제품이고, 반면에 다른 그룹은 더 낮은 거래 전환율을 갖는 제품이다. 만약 특정 특성이 제품의 거래에 더 큰 영향을 갖는다면, 트랜잭션 데이터에 기반하여 계산된 특성값은 더 큰 차이를 가질 것이다. 만약 특정 특성이 제품의 거래에 대해 미약하게 영향을 주거나 또는 전혀 영향을 주지 않을 경우라면, 거래 대비성이 더 높은 두 제품 그룹의 특성값도 아주 미소한 차이가 있거나 전혀 차이가 없을 것이다. 결과적으로, 유효 특성은 이 방법에 의해 양호하게 걸러지고, 따라서 이후의 검색 결과의 랭킹 정확성을 개선한다.

테스트 제품이 다른 특성에 기반하여 선택될 수도 있음을 이해할 것이다. 예를 들어, 만약에 랭킹 결과가 긍정적 피드백 정도에 보다 더 많이 좌우되는 경우라면, 보다 큰 긍정적 피드백 정도 차이를 갖는 두 개의 제품 그룹이 테스트 제품으로서 선택될 수 있을 것이다. 다음 두 테스트 제품 그룹의 프리미티브 특성의 특성값이 전술한 것과 유사한 방식으로 계산되어, 보다 큰 차이의 특성값을 갖는 프리미티브 특성을 유효 특성으로서 추출한다. 마찬가지로, 만약에 랭킹 결과가 교환량에 더 많이 좌우되는 경우라면, 보다 큰 차이의 교환량을 갖는 두 개의 제품 그룹이 테스트 제품으로서 선택될 것이다. 특정 선택은 전술한 것과 유사한 프로세스로 수행될 것이며, 이와 관련해서는 본원에 상세히 설명되지 않을 것이다.

단계(106)에서, 서버는 이력적 트랜잭션 데이터에 기반하여 유효 특성의 각각의 초기 가중치를 결정할 것이고, 이력적 트랜잭션 데이터와 사전 결정된 트레이닝 모델을 이용해 초기 가중치를 트레이닝하여 최종 가중치를 획득한다. 일부 실시예에서, 여러 가지 유효 특성의 초기 가중치와 최종 가중치는 모델 트레이닝에 의해 결정될 수 있다. 초기 가중치가 경험적으로 설정될 수 있음이 이해될 것이다. 예를 들어 다차원 선형 모델(multidimensional linear model)을 고려해보면, 여려 가지 유효 특성의 초기 가중치가 먼저 다차원 선형 피팅(multidimensional linear fitting)에 의해 결정될 수 있다. 이후에 초기 가중치는 계산식에 대입되고, 이력적 트랜잭션 데이터와 조합되어, 이론적 데이터를 산출한다. 이론적 데이터는 실제 데이터와 비교될 것이다. 그 차이가 작을수록 초기 가중치는 보다 정확하게 결정된다. 만약 차이가 사전 결정된 범위 내에 존재하면, 초기 가중치는 유효 특성의 최종 가중치로서 선택될 것이다. 만약 차이가 사전 결정된 범위 내에 존재하지 않는다면, 그 차이가 사전 결정된 범위내에 있도록 줄어들 때까지 초기 가중치가 재결정되어 이전의 방법에 의해 계산될 것이다.

예를 들어 제품의 거래를 생각해 보면, 먼저 이론적 거래가 초기가중치 및 이력적 트랜잭션 데이터에 기반하여 계산될 것이다. 다음, 계산된 이론적 거래는 실제 거래와 비교될 것이다. 그 차이가 작을수록 더 정확하게 초기 가중치가 결정된다. 이 초기 가중치는 유효 특성의 최종 가중치의 역할을 수행할 것이다. 일부 실시예에서, 결정된 가중치가 이론적 거래와 실제 거래 사이의 차이가 최소화되거나 또는 사전 결정된 범위내에 있도록 할 때까지 가중치는 재결정될 것이다. 특정 트레이닝에서, 거래는 거래 발생 여부를 나타내는 거래 전환율 또는 지시자(indicators)로 표시될 수도 있다. 모델 트레이닝이 복수의 머신 학습 방법에 의해 수행될 수도 있음이 이해될 것이며, 이와 관련해서는 본 발명에서 자세히 설명되지 않을 것이다.

단계(108)에서, 서버는 유효 특성의 최종 가중치에 기반하여 검색 결과를 랭크할 것이다. 일부 실시예에서, 유효 특성의 최종 가중치에 기반하여 검색 결과를 랭킹하는 것은 검색 결과의 실제 유효 특성값을 결정하는 것과, 유효 특성의 최종 가중치 및 실제 유효 특성값에 기반하여 검색 결과의 예측 거래 전환율을 계산하는 것과, 예측 거래 전환율에 기반하여 검색 결과를 랭킹하는 것을 포함한다.

일부 실시예에서, 랭킹은 다른 요인에 기반하여 수행될 수도 있다. 이러한 요인들은 검색 결과의 긍정적 피드백율을 포함할 수도 있고, 다른 랭킹 목적에 따라 결정될 수 있는 다른 요인들을 포함할 수도 있다. 랭킹 목적이 상이할 때는, 랭킹을 위한 요인들이 상이할 것이다. 그러므로 랭킹 결과는 그에 상응하여 변경될 수 있을 것이다. 이후, 여러 가지 검색 결과의 랭킹 스코어가 계산될 수 있고, 검색 결과는 전술한 방법에 기반하여 랭크될 것이다.

전술한 방법은 이후에 특정 예들을 참조하여 상세히 설명될 것이다. 추출된 프리미티브 특성 집합에 포함된 5개의 특성이 교환량, 거래 전환율, 긍정적 피드백율, 배달 속도 및 그림-단어 품질이라고 가정하자.

사전 결정된 시간 기간은 30일이라고 가정하자. 표 1에 예시된 것처럼, 취득될 이력적 트랜잭션 데이터가 거래 횟수, 노출 횟수, 긍정적 피드백 횟수, 전체 피드백 횟수, 배달 기간, 그림 횟수 및 단어 횟수를 포함하는 것으로 결정될 것이다. 이러한 이력적 트랜잭션 데이터가 취득된 이후에, 각각의 프리미티브 특성의 특성값을 결정하기 위해 계산법에 따라 계산이 수행될 것이다.

위의 이력적 트랜잭션 데이터에 기반하여 계산된 두 개의 테스트 제품 그룹의 5개 특성의 특성값이 초기 특성값이라고 가정하자. 대비성이 높은 두 개의 테스트 제품 그룹은 계산된 초기 특성값에 기반하여 선택될 것이다. 또한, 하나의 그룹은 70%를 넘는 거래 전환율을 갖는 제품인 반면에 다른 그룹은 1%를 넘지 않는 거래 전환율을 갖는 제품이라고 가정하자. 만약 본원에서 테스트 제품이 거래 전환율에 종속적이라면, 오로지 거래 전환율만이 계산되며, 다른 특성의 특성값들은 계산되지 않을 것임이 이해될 것이다.

위의 30일 이후의 일부 시간 기간내의 두 개의 테스트 제품 그룹의 이력적 트랜잭션 데이터가 취득될 것이다. 예를 들어, 이것은 1주일내의 이력적 트랜잭션 데이터일 수도 있고, 여전히 30일내의 이력적 트랜잭션 데이터일 수도 있으며, 두 개의 테스트 제품 그룹의 5개 특성의 특성값은 이러한 이력적 트랜잭션 데이터에 기반하여 계산될 수 있으며, 유효 특성값인 것으로 가정될 수 있을 것이다.

다음, 두 개의 테스트 제품 그룹의 동일한 특성의 유효 특성값들이 각기 비교될 것이다. 만약 그 차이값이 임계치를 초과하면, 이 특성은 유효 특성인 것으로 결정될 것이다. 임계치가 0.3이라고 가정하면, 전술한 비교는 두 개의 테스트 제품 그룹의 5개 특성과 이루어진다. 교환량, 거래 전환율, 긍정적 피드백율 배달 속도 및 그림-단어 품질은 각기 0.6, 0.9. 0.8, 0.5 및 0.02의 차이값을 갖는다. 따라서 당연히 최종으로 선택된 유효 특성은 교환량, 거래 전환율, 긍정적 피드백율 및 배달 속도이다.

4개의 유효 특성의 최종 가중치는 이력적 트랜잭션 데이터에 기반하여 모델 트레이닝에 의해 결정될 것이고, 검새 결과에서 4개의 유효 특성의 실제값이 취득될 것이다. 이후, 여려 가지 검색 결과의 랭킹 스코어가 유효 특성의 실제값과 결정된 최종 가중치에 기반하여 계산될 것이다. 따라서 검색 결과는 랭킹 스코어에 근거하여 링크된다.

본 발명의 실시예는 이력적 트랜잭션 데이터를 통해 랭킹 결과에 영향을 주는 유효 특성을 선택하고, 이력적 트랜잭션 데이터와 조합하여 유효 특성의 최종 가중치를 결정하며, 이러한 가중치를 이용하여 검색 결과를 최종적으로 랭크한다. 이 프로세스에서, 유효 특성의 각각의 초기 가중치는 이력적 트랜잭션 데이터에 기반하여 결정될 것이다. 이후, 초기 가중치는 이력적 트랜잭션 데이터를 이용하여 트레이닝될 것이다. 이것은 최종 가중치의 객관성과 정확성을 보장하도록 최적화된 최종 가중치를 획득하고, 랭킹 결과의 객관성 및 정확성을 개선한다.

또한, 유효 특성이 선택될 때, 먼저, 높은 거래율과 낮은 거래율을 갖는 두 개의 테스트 제품 그룹이 선택될 수 있고, 이력적 트랜잭션 데이터에 기반하여 테스트 기준으로 높은 대비성을 갖도록 선택될 수 있을 것이다. 두 개의 테스트 제품 그룹의 특성값이 이력적 트랜잭션 데이터에 기반하여 각기 계산된 이후에, 두 개의 테스트 제품 그룹은 동일한 프리미티브 특성의 특성값들 사이의 차이에 대해 비교되어 제품 거래율에 대한 특성의 영향을 결정할 것이며, 이로써 유효 특성을 정확하게 선택하고 랭킹 정확성을 개선한다.

도 2는 검색 결과를 최적화하는 예시적인 프로세스의 흐름도이다. 단계(202)에서, 서버는 검색 결과의 유효 특성의 각각의 후보 가중치 그룹을 각기 취득할 것이다. 이것은 유효 특성의 적어도 두 개의 후보 가중치 그룹으로, 3개 또는 4개의 그룹이 존재할 수도 있다.

단계(204)에서, 서버는 후보 가중치의 각각을 이용하여 특정의 사전 결정된 시점에서 검색 결과의 이론적 랭킹 스코어를 각기 계산하고, 각각의 랭킹 결과 그룹을 획득하기 위해서 이론적인 랭킹 스코어에 기반하여 검색 결과를 랭킹할 것이다. 이론적인 랭킹 스코어는 거래 전환율, 예측 긍정적 피드백율 또는 다른 특성들의 특정 스코어(scores)이거나 혹은 검색 결과의 특성들의 조합의 특정 스코어일 수 있는데, 이것은 실제 랭킹 목적에 기반하여 결정되며, 본 발명에서 제한되지는 않는다.

일부 실시예에서, 이론적 랭킹 스코어는 본 발명의 실시예의 일 예로서 예측 거래 전환율인 것으로 간주하여 예시된다. 서버는 각각의 랭킹 결과 그룹을 획득하기 위해서 각각의 후보 가중치를 이용하여 예측 거래 전환율에 기반해서 검색 결과를 랭킹함으로써 특정의 사전 결정된 시점에서 검색 결과의 예측 거래 전환율을 각기 계산할 것이다.

특정의 사전 결정된 시점에서 검색 결과가 결정되면, 검색 결과의 유효 특성이 먼저 취득될 것이고, 이 검색 결과의 유효 특성값이 실제 데이터에 기반하여 계산될 것이다. 검색 결과의 상이한 예측 거래 전환율은 후보 가중치의 각각의 그룹과 조합하여 유효 특성값에 기반하여 각기 계산될 것이고, 상이한 예측 거래 전환율에 기반하여 상이한 랭킹 결과가 획득될 것이다.

예를 들어, 특정의 사전 결정된 시점에서 a, b, c 및 d를 포함하는 전체 4개의 검색 결과가 존재한다고 가정하자. 또한 두 개의 후보 가중치 그룹이 존재한다고 가정하자. 하나의 가중치 그룹에 기반하여 계산된 랭킹 결과는 a, b, c 및 d이고, 반면에 다른 가중치 그룹에 기반하여 계산된 랭킹 결과는 d, c, a 및 b일 가능성이 존재한다.

단계(206)에서, 서버는 각각의 랭킹 결과 그룹에서 상위에 랭크된 사전 결정된 수의 검색 결과를 취득하고, 사전 결정된 시점 이후에 검색 결과의 트랜잭션 데이터를 취득할 것이다. 상위에 랭크된 사전 결정된 수의 특정값이 실제 검색 결과의 개수와 시스템의 계산 능력에 기반하여 결정된다. 예를 들어, 실제 검색 결과의 개수가 사전 결정된 값보다 더 큰 반면에 시스템의 계산 능력은 하나의 사전 결정된 값보다 작을 수도 있을 것이다. 사전 결정되는 수는 예컨대 2%, 4% 등처럼 더 적은 값으로 설정될 수 있을 것이다. 만약에 시스템의 계산 능력이 허용된다면, 사전 결정되는 수는 예컨대 10% 등처럼 더 큰 값으로 설정될 수도 있다. 물론, 데이터가 많을수록 더 객관적이고 정확한 결과가 제공될 것이다. 그러므로, 복수의 사전 결정된 수들이 예컨대 2%, 4%, 6%, 8%, 10% 등처럼 설정될 수 있을 것이다.

사전 결정된 시점 이후에 트랜잭션 데이터의 특정 범위는 특정 조건에 따라 설정될 수 있다. 예를 들어, 트랜잭션 데이터가 사전 결정된 시점 이후에 취득될 수 있다고 전제한다면, 이 범위는 사전 결정된 시점 이후의 1주일내의 트랜잭션 데이터를 포괄할 수도 있고, 10일, 20일 또는 다른 시간 기간내의 트랜잭션 데이터를 포괄할 수도 있다.

단계(208)에서, 서버는 트랜잭션 데이터에 기반하여 각각의 랭킹 결과 그룹에서 상위에 랭크된 사전 결정된 수의 검색 결과의 실제 랭킹 스코어를 계산할 것이다. 일부 실시예에서, 실제 랭킹 스코어는 이론적 랭킹 스코어를 계산했던 방법과 동일한 방법을 이용하여 실제 데이터에 기반하여 계산된 검색 결과의 스코어일 수 있다. 예를 들어, 이론적 랭킹 스코어가 예측 거래 전환율이라면, 실제 랭킹 스코어는 실제 거래 전환율을 포함할 것이다.

단계(210)에서, 서버는 최상위 실제 랭킹 스코어를 갖는 랭킹 결과 그룹에 대응하는 후보 가중치를 유효 특성의 최종 가중치로서 선택할 것이다.

일부 실시예에서, 여러 가지 검색 결과의 이론적 랭킹 스코어가 랭킹 동안에 계산될 수 있다. 따라서, 이론적 랭킹 스코어가 높을수록 더 앞쪽의 랭킹 순위를 차지할 것이다. 실제 랭킹 스코어가 높을수록 실제 상황에 대해 더 적합한 랭킹 결과가 사용자에게 표시되고, 랭킹은 더 정확해진다. 최상위의 실제 랭킹 스코어라는 것은 특정 랭킹 결과로부터 선택된 검색 결과의 실제 랭킹 스코어가 다른 랭킹 결과내의 동일한 위치에서의 검색 결과의 스코어보다 높다는 것을 의미함을 이해할 수 있을 것이다. 그러나, 이것은 상대적으로 이상적인 랭킹 결과이고, 이러한 최적화된 랭킹 결과는 일부 실시예에서 획득되지 않을 수도 있으므로, 최상위 실제 랭킹 스코어는 계산 흐름을 간략화하기 위해 실제 랭킹 스코어의 최고합(highest sum) 또는 평균값(average value)을 지칭할 수도 있다.

전술한 두 개의 랭킹 결과 a, b, c 및 d와 함께 d, c, a 및 b를 예로서 고려해보자. 랭킹의 기준은 거래 전환율이라고 가정하자. 결과적으로, 검색 결과는 예측 거래 전환율의 값들에 기반하여 랭크될 것이고, 처음 두 위치에 랭크된 검색 결과는 각각의 랭킹 결과 그룹으로부터 선택될 것인데, 이것은 각각 a, b, d 및 c이다. 4개의 검색 결과(a, b, c, d)의 실제 거래 전환율이 트랜잭션 데이터에 기반하여 계산될 것이고, 이것은 각각 5%, 4%, 3% 및 2%이다. 다음, a와 b의 실제 거래 전환율의 평군값은 4.5%이고, 이것은 d 및 c의 실제 거래 전환율의 평균값 2.5%보다 더 높다. 따라서, 랭킹 결과 그룹 a, b, c 및 d에 대응하는 후보 가중치는 유효 특성의 최종 가중치로서 선택될 수 있다.

검색 결과를 최적화하는 것과 관련한 전술한 실시예들은 거래 전환율을 특정 예와 조합하여 예로서 고려함으로써 이후에 상세히 설명된다.

검색 결과 그룹이 시점 T에서 키워드를 검색함으로써 획득된다고 가정하자. 전술한 실시예에 따르면, 검색 결과 그룹의 유효 특성은 일정할 것이고, 그 유효 특성값도 일정할 것이다. 유효 특성이 두 개의 최종 가중치 그룹을 갖는다고 가정하자. 결과적으로, 검색 결과의 예측 거래 전환율은 두 개의 최종 가중치 그룹에 기반하여 계산되고, 이후에 검색 결과는 예측 거래 전환율의 값에 기반하여 랭크될 것이다. 50개의 검색 결과가 있다고 가정하면, 두 개의 랭크 결과 그룹이 가중치 사이의 차이의 결과로서 획득될 것이다. 두 개의 랭크 결과 그룹은 N과 O(도 3에 도시됨)인 것으로 가정하면, 이와 관련하여 검색 결과의 첫번째 x%의 실제 거래 전환율의 평균값은 T이후의 시간 기간(예를 들면, 1주일)내에 계산될 것이다. 랭킹 결과 N의 첫번째 x%의 실제 거래 전환율의 평균값이 검색 결과 O의 첫번째 x%의 실제 거래 전환율의 평균값보다 더 크다는 사실은 시점 T에서 랭킹 결과 N을 통해 예측된 랭킹 결과의 거래 전환율이 실제 결과에 더 근접함을 나타낸다. 즉, 만약에 시점 T로 복귀한다면, 랭킹 결과 N에 의해 채용되는 가중치는 검색 결과를 랭크하는데 적용될 수 있으며, 따라서 시점 T 이후에 더 높은 거래 전환율을 갖는 검색 결과보다 더 높이 랭크될 것이고, 이로써 이들 검색 결과의 제공 기회가 증가되며 보다 많은 트랜잭션을 권장하게 된다.

일부 실시예에서, 두 개의 랭킹 결과 그룹 사이의 차이는 더 종합적이고 객관적인 대조를 얻을 수 있도록 상이한 x값을 선택함으로써 계산될 것이다. 예를 들어, 상품의 첫번째 2%의 실제 거래 전환율의 평균값이 계산되고, 다음으로 첫번째 4%, 6%, 8%의 실제 거래 전환율의 평균값이 계산된다(표 2 참조). 이후, 두 개의 랭킹 결과는 상이한 포인트에서 비교될 것이다. 그 결과로, 랭킹 결과 N의 예측 효과가 랭킹 결과 O의 예측 효과보다 상당히 더 양호하다. 데이터는 그 사이의 효과 차이를 보다 시각적으로 관찰할 수 있도록 실제 거래 전환율의 평균값의 곡선으로서 구성될 것이다.

일부 실시예에서, 랭킹 결과 N에 의해 채용된 유효 특성의 최종 가중치가 효과 개선과 관련해서 랭킹 결과 O에 의해 채용된 것보다 가끔 의미가 있는 것외에는 통계적일 수 있도록 유의미 검증(significance validation)이 수행될 수도 있다. 유의미 검증은 예를 들어 T-테스트같은 많은 기존의 방법을 통해 달성될 수 있다. T-테스트는 두 개의 샘플 그룹의 평균값을 비교하도록 수행될 것이다. T-테스트에서 P값은 두 샘플의 평균값 사이의 차이가 거짓(false)일 확률을 나타낸다. 일반적으로 P<=0.01일 때 두 샘플 사이의 차이는 매우 의미있다고 믿어진다. 실제 거래 전환율의 50개의 평균값이 존재한다고 가정하자. 결과적으로, T-테스트는 표 1에서 두 개의 랭킹 결과의 실제 거래 전환율의 50개의 평균값에 적용될 것이고, 획득된 P값은 약 8.7E-0.7이며, 이것은 0.01보다 훨씬 작다. 따라서, 통계적으로 의미가 있는 경우에서, 랭킹 결과 N에 의해 채용되는 유효 특성의 최종 가중치는 랭킹 결과 O에 의해 채용되는 것보다 더 의미있게 최적화될 수 있다.

랭킹 및 최적화가 다른 특성(예컨대, 긍정적 피드백율, 배달 속도 등)에 기반하여 수행될 수 있지만 전술한 방법에서는 거래 전환율이 예시를 위해 일 예로서 이용되었음이 이해될 것이다. 일부 실시예에서, 랭킹 및 최적화는 포괄적인 특성에 기반하여 수행될 수 있을 것이다.

일부 실시예로, 유효 특성의 최종 가중치는 아직 결정되지 않았고, 최적 유효 특성 그룹의 최적 가중치는 가능한 결과들의 복수의 그룹으로부터 선택될 필요가 있다. 유효 특성의 최종 가중치가 결정되는 것에 기반하여 최적화가 수행될 수 있을 때 일부 실시예들이 구현될 수 있음을 이해해야 할 것이다.

도 4는 검색 결과를 최적화하는 예시적인 프로세스의 흐름도이다. 단계(402)에서, 서버는 검색 결과의 이론적 랭킹 스코어에 기반하여 랭크되는 특정의 사전 결정된 시점에서의 랭킹 결과를 취득할 것이고, 여기서 이론적 랭킹 스코어는 검색 결과의 각각의 실제 유효 특성값과 유효 특성의 최종 가중치에 기반하여 획득된다.

단계(404)에서, 서버는 사전 결정된 시점 이후에 랭킹 결과에서 상위에 랭크된 사전 결정된 수의 검색 결과의 트랜잭션 데이터를 취득하고, 트랜잭션 데이터에 기반하여 검색 결과의 실제 랭킹 스코어를 계산할 것이다.

단계(406)에서, 서버는 실제 랭킹 스코어를 이론적 랭킹 스코어와 비교할 것이고, 만약에 그 차이값이 임계치를 초과하면, 유효 특성의 최종 가중치를 최적화한다.

유효 특성의 최종 가중치는 전술한 랭킹 방법에 언급된 모델 트레이닝에 의해 최적화될 것이다. 일부 예에서, 각각의 유효 특성의 최종 가중치는 트레이닝 모델과 조합하여 이력적 트랜잭션 데이터를 취득함으로써 결정 및 최적화될 것이며, 본원에서는 상세히 설명하지 않을 것이다. 임계치는 이론적 랭킹 스코어와 실제 랭킹 스코어에 대응하는 실제 특성들에 기반하여 설정될 것이다. 예를 들어, 만약에 실제 랭킹 스코어와 이론적 랭킹 스코어가 각각 실제 거래 전환율과 예측 거래 전환율이라면, 그들의 임계치는 일반적인 경우에 거래 전환율의 허용 가능한 차이값 범위(예컨대, 0.2 또는 다른 값들)에 의해 결정될 것이다.

일부 실시예에서, 최적 가중치는 특정 시점과 그 시점 이후에 트랜잭션 데이터의 이용에 의해 결정될 수 있다. 일부 실시예에서, 결정된 가중치는 특정 시점과 그 시점 이후에 트랜잭션 데이터의 이용에 의해 최적화될 수 있다. 일부 예에서, 검색 결과를 랭킹하는 비교적 최적화된 방식은 실제 이력적 트랜잭션 데이터의 이용으로 결정되며, 이것은 랭킹 결과가 보다 객관적이고 정확하게 한다. 일부 예에서, 검색 결과를 랭킹하는 기존의 방식이 실제 이력적 트랜잭션 데이터의 이용으로 최적화될 수도 있다.

도 5 내지 도 7은 검색 결과를 랭킹 및 최적화하게 하는 예시적인 컴퓨팅 아키텍처의 개략도이다. 도 5는 컴퓨팅 장치(500)의 도면이다. 컴퓨팅 장치(500)는 복수의 위치 로그인 제어(multiple location login control)를 위한 사용자 장치 또는 서버일 수 있다. 예시적인 일 구성으로, 컴퓨팅 장치(500)는 하나 이상의 프로세서(502), 입력/출력 인터페이스(504), 네트워크 인터페이스(506) 및 메모리(508)를 포함한다.

메모리(508)는 예컨대 RAM같은 휘발성 메모리 및/또는 예컨대 ROM이나 플래시 RAM같은 비휘발성 메모리 형태의 컴퓨터 판독가능 매체를 포함할 수 있다. 메모리(408)는 컴퓨터 판독가능 매체의 일 예이다.

컴퓨터 판독 가능 매체는 예컨대 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성의 착탈식 및 고정식 매체를 포함한다. 컴퓨터 저장 매체의 예로서, 제한하려는 것은 아니지만, PRAM, SRAM, DRAM, 다른 유형의 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, DVD 또는 다른 광학 저장장치, 자기 카세트, 자기 테이프, 자기 디스크 저장장치 또는 다른 자기 저장 장치, 또는 컴퓨팅 장치에 의한 액세스를 위해 정보를 저장하도록 이용될 수 있는 임의의 다른 비전송 매체를 들 수 있다. 본원에 정의된 것처럼, 컴퓨터 판독 가능 매체는 예컨대 변조된 데이터 신호와 반송파같은 일시성 매체를 포함하지 않는다.

다시 메모리(508)를 상세히 살펴보면, 메모리(508)는 프리미티브 특성 집합 취득 모듈(510), 유효 특성 추출 모듈(512), 유효 특성 가중치 결정 모듈(514) 및 랭킹 모듈(516)을 포함할 수 있다.

프리미티브 특성 집합 취득 모듈(510)은 프리미티브 특성 집합을 취득하도록 구성되며, 여기서 프리미티브 특성은 검색 결과의 랭킹에 영향을 줄 수 있는 프리셋 특성을 포함한다. 유효 특성 추출 모듈(512)은 이력적 트랜잭션 데이터에 기반하여 프리미티브 특성 집합으로부터 유효 특성을 추출하도록 구성되며, 여기서 유효 특성은 검색 결과의 랭킹에 영향을 줄 수 있는 이력적 트랜잭션 데이터에 기반하여 결정되는 특성을 말한다. 일부 실시예에서, 유효 특성 추출 모듈은 테스트 제품 선택 서브-모듈, 특성값 계산 서브-모듈 및 비교 서브-모듈을 포함한다. 테스트 제품 선택 서브-모듈은 이력적 트랜잭션 데이터에 기반하여 두 개의 테스트 제품 그룹을 선택하도록 구성되는데, 이 두 개의 그룹 중 하나는 거래 기록을 갖는 제품들이고, 다른 것은 거래 기록을 갖지 않는 제품들이다. 특성값 계산 서브-모듈은 이력적 트랜잭션 데이터로부터 특정 시간 기간내에 두 개의 테스트 제품 그룹의 연관 데이터를 각각 추출하고, 이 연관 데이터를 이용하여 두 개의 테스트 제품 그룹의 각각의 프리미티브 특성의 특성값을 계산하도록 구성된다. 비교 서브-모듈은 두 개의 테스트 제품 그룹의 동일한 프리미티브 특성의 특성값을 비교하도록 구성된다. 만약에 그 차이값이 임계치를 초과하면, 서버는 이 프리미티브 특성을 유효 특성으로서 선택할 것이다.

유효 특성 가중치 결정 모듈(512)은 이력적 트랜잭션 데이터에 기반하여 유효 특성의 각각의 초기 가중치를 결정하고, 최종 가중치를 획득하기 위해 이력적 트랜잭션 데이터와 사전 결정된 트레이닝 모델을 이용하여 초기 가중치를 트레이닝하도록 구성된다.

랭킹 모듈(514)은 유효 특성의 최종 가중치에 기반하여 검색 결과를 랭크하도록 구성된다.

일부 실시예에서, 도 6에 도시된 것처럼, 메모리(508)는 후보 가중치 취득 모듈(602), 이론적 랭킹 스코어 계산 모듈(604), 트랜잭션 데이터 취득 모듈(606), 실제 랭킹 스코어 계산 모듈(608) 및 최종 가중치 결정 모듈(610)을 포함할 수 있다.

후보 가중치 취득 모듈(602)은 검색 결과의 유효 특성의 후보 가중치로 이루어진 각각의 그룹을 각각 취득하도록 구성된다.

이론적 랭킹 스코어 계산 모듈(604)은 후보 가중치의 각각을 이용하여 특정의 사전 결정된 시점에서 검색 결과의 이론적 랭킹 스코어를 각기 계산하고, 랭킹 결과의 각각의 그룹을 획득하기 위해 이론적 랭킹 스코어에 기반하여 검색 결과를 랭크하도록 구성된다.

트랜잭션 데이터 취득 모듈(606)은 랭킹 결과의 각각의 그룹에서 상위에 랭크한 사전 결정된 수의 검색 결과를 각각 취득하고, 사전 결정된 시점 이후에 검색 결과의 트랜잭션 데이터를 취득하도록 구성된다.

실제 랭킹 스코어 계산 모듈(608)은 트랜잭션 데이터에 기반하여 랭킹 결과의 각각의 그룹에서 상위에 랭크된 사전 결정된 수의 검색 결과의 실제 랭킹 스코어를 계산하도록 구성된다.

최종 가중치 결정 모듈(610)은 최상위의 실제 랭킹 스코어를 갖는 랭킹 결과 그룹에 대응하는 후보 가중치를 유효 특성의 최종 가중치로서 선택하도록 구성된다.

일부 실시예에서, 도 7에 도시된 것처럼, 메모리(508)는 이론적 랭킹 스코어 계산 모듈(702), 실제 랭킹 스코어 계산 모듈(704) 및 최적화 모듈(706)을 포함할 수 있다.

이론적 랭킹 스코어 계산 모듈(702)은 검색 결과의 이론적 랭킹 스코어에 기반하여 랭크된 특정의 사전 결정된 시점에서 랭킹 결과를 취득하도록 구성되는데, 여기서 이론적 랭킹 스코어는 검색 결과의 각각의 실제 유효 특성값과 유효 특성의 최종 가중치에 기반하여 획득될 것이다.

실제 랭킹 스코어 계산 모듈(704)은 사전 결정된 시점 이후에 랭킹 결과에서 상위에 랭크된 사전 결정된 수의 검색 결과의 트랜잭션 데이터를 취득하고, 트랜잭션 데이터에 기반하여 검색 결과의 실제 랭킹 스코어를 계산하도록 구성된다.

최적화 모듈(706)은 이론적 랭킹 스코어와 실제 랭킹 스코어를 비교하도록 구성된다. 만약 그 차이가 임계치를 초과하면, 최적화 모듈(706)은 유효 특성의 최종 가중치를 최적화할 수 있다.

본 명세서의 다양한 실시예들은 진취적인 방식으로 설명되며, 실시예의 각각은 다른 실시예와의 차이점에 초점을 맞추었다. 그러므로, 다양한 실시예 사이에 동일하고 유사한 부분은 상호 참조될 수 있을 것이다.

다양한 실시예들이 본원에서 본 발명을 설명하기 위해 기술되었고, 전술한 실시예의 기술은 오로지 본 발명의 이해를 돕기 위해서 이용된다. 한편, 본 기술분야에서 통상의 지식을 가진 사람이라면 본 발명의 사상에 기반하여 특정 실시예와 적용 범위와 관련해 변경이 가능할 것이다. 요약하자면, 본 명세서의 내용이 본 발명을 제한하는 것으로서 해석되어서는 안 된다.

실시예들은 단지 본 발명을 예시하는 것을 목적으로 하며, 본 발명의 범주를 제한하려는 것이 아니다. 당업자라면 본 발명의 원리를 벗어나지 않으면서 일부 수정과 개량이 수행될 수도 있고 이것은 본 발명의 보호 범위 내에서 있는 것으로 간주되어야 함을 이해해야 한다.

Claims

서버에 의해, 검색 결과 랭킹에 영향을 주는 복수의 프리셋 특성(multiple preset characteristics)을 포함하는 복수의 프리미티브 특성(multiple primitive characteristics)을 취득하는 단계- 상기 프리미티브 특성은 이력적 트랜잭션 데이터(historical transaction data)에 기반함 -와,
상기 이력적 트랜잭션 데이터에 기반하여 상기 복수의 프리미티브 특성으로부터 복수의 유효 특성(multiple effective characteristics)을 추출하는 단계와,
상기 이력적 트랜잭션 데이터에 기반하여 상기 복수의 유효 특성의 개별 특성의 초기 가중치를 결정하는 단계와,
최종 가중치를 획득하기 위해 상기 이력적 트랜잭션 데이터 및 사전 결정된 트레이닝 모델(predetermined training model)을 이용하여 상기 초기 가중치를 트레이닝하는 단계와,
상기 최종 가중치에 기반하여 검색 결과를 랭킹하는 단계를 포함하고,
상기 이력적 트랜잭션 데이터에 기반하여 상기 복수의 프리미티브 특성으로부터 복수의 유효 특성을 추출하는 상기 단계는,
상기 이력적 트랜잭션 데이터로부터 사전 결정된 시간 기간 내의 트랜잭션 데이터를 추출하는 단계와,
상기 사전 결정된 시간 기간 내의 개별 제품의 거래 전환율(deal conversion rates)을 계산하는 단계와,
상기 거래 전환율에 기반하여 유효 특성을 선택하는 단계를 포함하는
검색 결과를 랭킹하는 방법.
제1항에 있어서,
상기 이력적 트랜잭션 데이터에 기반하여 상기 복수의 프리미티브 특성으로부터 복수의 유효 특성을 추출하는 단계는,
상기 이력적 트랜잭션 데이터에 기반하여 제 1 테스트 제품 그룹을 선택하는 단계―상기 제 1 테스트 제품 그룹은 거래 기록을 가짐―와,
상기 이력적 트랜잭션 데이터에 기반하여 제 2 테스트 제품 그룹을 선택하는 단계―상기 제 2 테스트 제품 그룹은 거래 기록을 갖지 않음―와,
상기 이력적 트랜잭션 데이터로부터 사전 결정된 시간 기간내의 상기 제 1 테스트 제품 그룹의 연관 트랜잭션 데이터 및 상기 제 2 테스트 제품 그룹의 연관 트랜잭션 데이터를 각각 추출하는 단계와,
상기 제 1 테스트 제품 그룹의 연관 트랜잭션 데이터와 상기 제 2 테스트 제품 그룹의 연관 트랜잭션 데이터 사이의 비교에 기반하여 유효 특성을 선택하는 단계를 포함하는
검색 결과를 랭킹하는 방법.
제2항에 있어서,
상기 제 1 테스트 제품 그룹의 연관 트랜잭션 데이터와 상기 제 2 테스트 제품 그룹의 연관 트랜잭션 데이터 사이의 비교에 기반하여 유효 특성을 선택하는 단계는,
상기 연관 트랜잭션 데이터를 이용하여, 상기 제 1 테스트 제품 그룹의 복수의 프리미티브 특성의 개별 특성의 제 1 특성값을 계산하는 단계와,
상기 연관 트랜잭션 데이터를 이용하여, 상기 제 2 테스트 제품 그룹의 복수의 프리미티브 특성의 개별 특성의 제 2 특성값을 계산하는 단계와,
상기 제 1 특성값 및 상기 제 2 특성값 사이의 차이를 결정하는 단계와,
상기 차이가 사전 결정된 값보다 크다는 결정에 응답하여, 상기 개별 특성을 유효 특성으로 선택하는 단계를 포함하는
검색 결과를 랭킹하는 방법.
삭제
제1항에 있어서,
상기 거래 전환율에 기반하여 유효 특성을 선택하는 단계는,
제 1 테스트 제품 그룹 및 제 2 테스트 제품 그룹을 선택하는 단계―상기 제 1 테스트 제품 그룹의 거래 전환율과 상기 제 2 테스트 제품 그룹의 거래 전환율 사이의 차이는 사전 결정된 값보다 큼―와,
상기 이력적 트랜잭션 데이터로부터, 상기 사전 결정된 시간 기간 이후의 특정 시간 기간 내의 상기 제 1 테스트 제품 그룹 및 제 2 테스트 제품 그룹의 트랜잭션 데이터를 추출하는 단계와,
상기 트랜잭션 데이터를 이용하여, 상기 제 1 테스트 제품 그룹의 복수의 프리미티브 특성의 개별 특성의 제 1 특성값을 계산하는 단계와,
상기 트랜잭션 데이터를 이용하여, 상기 제 2 테스트 제품 그룹의 복수의 프리미티브 특성의 개별 특성의 제 2 특성값을 계산하는 단계와,
상기 제 1 특성값과 상기 제 2 특성값 사이의 차이를 결정하는 단계와,
상기 차이가 사전 결정된 값보다 크다는 결정에 응답하여, 상기 개별 특성을 유효 특성으로서 선택하는 단계를 포함하는
검색 결과를 랭킹하는 방법.
제1항에 있어서,
상기 이력적 트랜잭션 데이터에 기반하여 상기 복수의 유효 특성의 개별 특성의 초기 가중치를 결정하는 단계와, 상기 최종 가중치를 획득하기 위해 상기 이력적 트랜잭션 데이터 및 상기 사전 결정된 트레이닝 모델을 이용하여 상기 초기 가중치를 트레이닝하는 단계는,
유효 특성의 초기 가중치를 결정하는 단계와,
이론적 데이터를 계산하기 위해서 상기 이력적 트랜잭션 데이터 및 상기 초기 가중치를 상기 사전 결정된 트레이닝 모델에 대입하는 단계와,
상기 이론적 데이터와 실제 데이터 사이의 차이를 결정하는 단계와,
상기 차이가 사전 결정된 값보다 작다는 결정에 응답하여, 상기 초기 가중치가 상기 유효 특성의 최종 가중치임을 결정하는 단계를 포함하는
검색 결과를 랭킹하는 방법.
제1항에 있어서,
상기 최종 가중치에 기반하여 검색 결과를 랭킹하는 단계는,
상기 검색 결과의 실제 유효 특성값을 결정하는 단계와,
상기 유효 특성의 상기 최종 가중치와 상기 실제 유효 특성값에 기반하여 상기 검색 결과의 예측 거래 전환율(predicted deal conversion rates)을 계산하는 단계와,
상기 예측 거래 전환율에 기반하여 상기 검색 결과를 랭킹하는 단계를 포함하는
검색 결과를 랭킹하는 방법.
컴퓨터 실행 가능 명령어를 저장하는 하나 이상의 컴퓨터 판독 가능 매체로서,
상기 컴퓨터 실행 가능 명령어는 하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금,
복수의 검색 결과의 유효 특성의 후보 가중치를 취득하는 동작―상기 후보 가중치는 복수의 그룹으로 분할됨―을 수행하도록 지시하고,
상기 후보 가중치를 이용하여 사전 결정된 시점에서 검색 결과의 이론적 랭킹 스코어를 계산하는 동작을 수행하도록 지시하고,
복수의 랭킹 결과 그룹을 획득하기 위해 상기 이론적 랭킹 스코어에 기반하여 상기 검색 결과를 랭킹하는 동작을 수행하도록 지시하고,
상기 복수의 랭킹 결과 그룹의 개별 그룹에서 사전 결정된 수의 검색 결과를 취득하는 동작을 수행하도록 지시하고,
상기 사전 결정된 시점 이후에 상기 검색 결과의 트랜잭션 데이터를 취득하는 동작을 수행하도록 지시하고,
상기 트랜잭션 데이터에 기반하여 상기 복수의 랭킹 결과 그룹의 상기 개별 그룹에서 상기 사전 결정된 수의 검색 결과의 실제 랭킹 스코어를 계산하는 동작을 수행하도록 지시하고,
사전 결정된 값보다 더 큰 실제 랭킹 스코어를 갖는 랭킹 결과 그룹에 대응하는 후보 가중치를 상기 유효 특성의 최종 가중치로 선택하는 동작을 수행하도록 지시하는
하나 이상의 컴퓨터 판독 가능 매체.
제8항에 있어서,
상기 이론적 랭킹 스코어는 단일 특성의 예측된 값이거나 또는 특성들의 조합의 예측된 값이고, 상기 실제 랭킹 스코어는 단일 특성의 실제값이거나 또는 특성들의 조합의 실제값으로, 상기 실제값은 상기 이론적 랭킹 스코어에 대응하는
하나 이상의 컴퓨터 판독 가능 매체.
제9항에 있어서,
상기 이론적 랭킹 스코어는 예측 거래 전환율이고, 상기 실제 랭킹 스코어는 실제 거래 전환율인
하나 이상의 컴퓨터 판독 가능 매체.
제9항에 있어서,
상기 이론적 랭킹 스코어는 예측 긍정적 피드백율(predicted positive feedback rates)이고, 상기 실제 랭킹 스코어는 실제 긍정적 피드백율인
하나 이상의 컴퓨터 판독 가능 매체.
제8항에 있어서,
상기 실제 랭킹 스코어는 실제 랭킹 스코어의 최고합(highest sum) 또는 평균값(average value)인
하나 이상의 컴퓨터 판독 가능 매체.
사전 결정된 시점에서 서버에 의해, 복수의 검색 결과의 이론적 랭킹 스코어에 기반하여 랭크된 랭킹 결과를 취득하는 단계―상기 이론적 랭킹 스코어는 상기 검색 결과의 각각의 실제 유효 특성과 유효 특성의 최종 가중치에 기반하여 획득됨―와,
상기 사전 결정된 시점 이후에 상기 복수의 검색 결과 중 사전 결정된 수의 검색 결과의 트랜잭션 데이터를 취득하는 단계―상기 사전 결정된 수의 검색 결과는 상기 복수의 검색 결과 중의 다른 검색 결과보다 상위에 랭크됨―와,
상기 트랜잭션 데이터에 기반하여 상기 검색 결과의 실제 랭킹 스코어를 계산하는 단계와,
상기 실제 랭킹 스코어와 상기 이론적 랭킹 스코어 사이의 차이를 결정하는 단계와,
상기 차이가 임계값보다 크다는 결정에 응답하여, 상기 유효 특성의 상기 최종 가중치를 최적화하는 단계를 포함하는
검색 결과를 랭킹하는 방법.
제13항에 있어서,
상기 이론적 랭킹 스코어는 예측 거래 전환율이고, 상기 실제 랭킹 스코어는 실제 거래 전환율인
검색 결과를 랭킹하는 방법.
제13항에 있어서,
상기 이론적 랭킹 스코어는 예측 긍정적 피드백율이고, 상기 실제 랭킹 스코어는 실제 긍정적 피드백율인
검색 결과를 랭킹하는 방법.
하나 이상의 프로세서와,
상기 하나 이상의 프로세서에 의해 실행가능한 복수의 콤포넌트(components)를 보유하는 메모리를 포함하되,
상기 복수의 콤포넌트는,
검색 결과 랭킹에 영향을 주는 복수의 프리셋 특성을 포함하는 복수의 프리미티브 특성을 취득하도록 구성된 프리미티브 특성 집합 취득 모듈- 상기 프리미티브 특성은 이력적 트랜잭션 데이터에 기반함 -과,
상기 이력적 트랜잭션 데이터에 기반하여 상기 복수의 프리미티브 특성으로부터 복수의 유효 특성을 추출하도록 구성된 유효 특성 추출 모듈과,
상기 이력적 트랜잭션 데이터에 기반하여 상기 복수의 유효 특성의 개별 특성의 초기 가중치를 결정하고, 최종 가중치를 획득하기 위해 상기 이력적 트랜잭션 데이터 및 사전 결정된 트레이닝 모델을 이용하여 상기 초기 가중치를 트레이닝하도록 구성된 유효 특성 가중치 결정 모듈과,
상기 최종 가중치에 기반하여 검색 결과를 랭크하도록 구성된 랭킹 모듈을 포함하고,
상기 이력적 트랜잭션 데이터에 기반하여 상기 복수의 프리미티브 특성으로부터 상기 복수의 유효 특성을 추출하는 것은,
상기 이력적 트랜잭션 데이터로부터 사전 결정된 시간 기간내의 트랜잭션 데이터를 추출하는 것과,
상기 사전 결정된 시간 기간내의 개별 제품의 거래 전환율을 계산하는 것과,
상기 거래 전환율에 기반하여 유효 특성을 선택하는 것을 포함하는
검색 결과를 랭킹하는 시스템.
제16항에 있어서,
상기 유효 특성 추출 모듈은,
상기 이력적 트랜잭션 데이터에 기반하여, 거래 기록을 갖는 제 1 테스트 제품 그룹을 선택하고, 상기 이력적 트랜잭션 데이터에 기반하여, 거래 기록을 갖지 않는 제 2 테스트 제품 그룹을 선택하도록 구성된 테스트 제품 선택 서브-모듈과,
상기 이력적 트랜잭션 데이터로부터 사전 결정된 시간 기간내의 상기 제 1 테스트 제품 그룹의 연관 트랜잭션 데이터 및 상기 제 2 테스트 제품 그룹의 연관 트랜잭션 데이터를 추출하도록 구성된 특성값 계산 서브-모듈과,
상기 제 1 테스트 제품 그룹의 연관 트랜잭션 데이터와 상기 제 2 테스트 제품 그룹의 연관 데이터 사이의 비교에 기반하여 유효 특성을 선택하도록 구성된 비교 서브-모듈을 포함하는
검색 결과를 랭킹하는 시스템.
제16항에 있어서,
상기 이력적 트랜잭션 데이터에 기반하여 상기 복수의 유효 특성의 개별 특성의 초기 가중치를 결정하는 것 및 최종 가중치를 얻기 위해 상기 이력적 트랜잭션 데이터 및 사전 결정된 트레이닝 모델을 이용하여 상기 초기 가중치를 트레이닝하는 것은,
유효 특성의 초기 가중치를 결정하는 것과,
이론적 데이터를 획득하기 위해서 상기 이력적 트랜잭션 데이터 및 상기 초기 가중치를 상기 사전 결정된 트레이닝 모델에 대입하는 것과,
상기 이론적 데이터와 실제 데이터 사이의 차이를 결정하는 것과,
상기 차이가 사전 결정된 값보다 작다는 결정에 응답하여, 상기 초기 가중치가 상기 유효 특성의 최종 가중치임을 결정하는 것을 포함하는
검색 결과를 랭킹하는 시스템.
제16항에 있어서,
상기 최종 가중치에 기반하여 검색 결과를 랭크하는 것은,
상기 검색 결과의 실제 유효 특성값을 결정하는 것과,
상기 유효 특성의 상기 최종 가중치 및 상기 실제 유효 특성값에 기반하여 상기 검색 결과의 예측 거래 전환율을 계산하는 것과,
상기 예측 거래 전환율에 기반하여 상기 검색 결과를 랭크하는 것을 포함하는
검색 결과를 랭킹하는 시스템.
삭제