KR20100101621A

KR20100101621A - 검색 쿼리 결과로부터 관련성을 추론하는 컴퓨터로 구현되는 방법 및 컴퓨터 판독가능한 매체

Info

Publication number: KR20100101621A
Application number: KR1020107014547A
Authority: KR
Inventors: 니라칸탄 선다레산
Original assignee: 이베이 인크.
Priority date: 2007-11-30
Filing date: 2008-11-25
Publication date: 2010-09-17
Also published as: CA2856645C; AU2008330082B2; WO2009070287A1; CN101884042A; US9063986B2; EP2225671A1; CN101884042B; CN104111974A; US20090144259A1; JP5141994B2; KR101215791B1; CA2856645A1; US20140067785A1; AU2008330082A1; EP2225671A4; CA2706773A1; JP2011505628A; US8583633B2; CA2706773C; US20150261763A1

Abstract

동적 데이터 세트에 대한 관련성을 결정하는 시스템 및 방법이 개시되었다. 인터넷 매장에서 사용되는 특정 실시예가 제시되었으며, 여기에서 사용자가 아이템을 선택하였을 때 해당 아이템과 연관된 기술적인 팩터에 대한 관련성이 증가한다. 관련성 결정 시스템의 남용을 방지하기 위해, 다수의 실시예들이 남용 방지 조치를 포함한다. 일 실시예에서, 사용자가 자신의 아이템을 선택하는 것은 관련성 시스템에 영향을 미치지 않는다. 일 실시예에서, 사용자가 특정한 아이템을 선택한 첫 번째 선택만이 관련성 시스템에 영향을 미치며 해당 아이템에 대한 추가적인 선택은 영향을 갖지 않는다. 다른 실시예에서, 사용자의 선택으로 인해 관련성 시스템에 이루어지는 변경의 정도가 해당 사용자의 평판 스코어와 관련된다.

Description

검색 쿼리 결과로부터 관련성을 추론하는 방법 및 컴퓨터 판독가능한 매체{USING REPUTATION MEASURES TO IMPROVE SEARCH RELEVANCE}

본 출원은 2007년 11월 30일 출원된 미국 특허 출원 일련번호 제11/948,788호(발명의 명칭 "USING REPUTATION MEASURES TO IMPROVE SEARCH RELEVANCE")의 우선권을 주장하며, 상기 미국 특허 출원은 그 전체가 본 명세서에 참조로서 포함되었다.

본 발명은 데이터 검색에 관한 것이다. 특히, 본 발명은 컴퓨터 검색에서 찾아낸 아이템들의 관련성 스코어링(scoring) 기술을 개시하지만, 이것으로 한정되는 것은 아니다.

현재 컴퓨터는 거대한 양의 정보를 저장하도록 사용된다. 관심 있는 특정 정보의 위치를 찾기 위해서, 강력하고 직관적인 검색 메커니즘이 생성되어왔다.

예를 들어, 월드 와이드 웹(World Wide Web)은 1980년대 후반 이것이 처음 소개된 이래로 기하급수적으로 성장해왔다. 초기 월드 와이드 웹에서는, 웹 사이트의 디렉토리가 사용자에게 관심 웹 사이트를 안내하도록 사용되었다. 가장 유명한 초반의 웹 사이트 디렉토리 중 하나는 "Jerry's Guide to the World Wide Web"으로, 이는 이후에 "Yahoo"로 명칭이 바뀌었다. 그러나, 인터넷의 급속한 실시간 성장은 곧 월드 와이드 웹 디렉토리를 관리 불가능하고 쓸모없게 만들었다. Lycos, Alta Vista 및 Google과 같은 인터넷 검색 엔진은 인터넷 상에서 웹 사이트를 검색하는 새로운 방법이 되었다. 인터넷 검색 엔진은 사용자가 관심 있는 주제와 관련된 몇 개의 키워드를 입력하도록 하고 사용자에 의해 입력된 키워드를 포함하는 다수의 검색 결과들의 세트를 반환한다.

인터넷 검색 엔진은 새로운 웹 페이지를 알아내도록 월드 와이드 웹을 "크롤링(crawling)"함으로써 동작하며, 방문했던 모든 웹 페이지의 검색가능한 인덱스를 생성한다. 사용자가 키워드들의 세트를 입력하면, 검색 엔진은 사용자에 의해 입력된 키워드들을 포함하는 웹 페이지들의 세트를 반환한다. 그러나, 검색 엔진 사용자에 의해 입력된 대부분의 쿼리(query)는 일치하는 키워드를 포함하는 수천 또는 심지어 수십만 개의 결과들로 맵핑할 것이다. 이러한 정보 과부하는 사용자가 원하지 않는다. 따라서, 매우 우수한 검색 엔진을 설계하는 실질적인 주안점은 일부 유형의 관련성 척도에 의해 결과들을 분류하는 것이다. 이러한 방식으로, 인터넷 검색 엔진의 사용자가 원하는 콘텐트를 빠르게 검색할 수 있다.

도 1은 장치로 하여금 본 명세서에 개시된 하나 이상의 방법을 수행하도록 하는 명령어들의 세트가 실행될 수 있는 컴퓨터 시스템의 예시적인 형태로 장치를 도시한 도면이다.
도 2는 사용자 선택에 응답하여 일 실시예가 관련성 조정 지수를 수정할 수 있는 방법을 기술한 높은 레벨의 순서도이다.
도 3은 본 발명의 다수의 실시예에서 사용될 수 있는 일부 데이터베이스 테이블을 도시한 도면이다.
도 4는 도 2의 시스템에서 생성된 관련성 조정 지수가 검색 결과 세트의 아이템들에 대한 관련성 스코어를 조정하는 데에 사용될 수 있는 방법을 기술한 높은 레벨의 순서도이다.
도 5는 적극적인 사용자가 자신의 아이템을 클릭하여 시스템을 남용하는 것을 방지하기 위한 추가 단계를 포함하는, 도 2에 개시된 관련성 조정 지수 시스템을 도시한 도면이다.
도 6은 각 사용자와 연관된 평판 스코어가 상기 평판 스코어와 연관된 조정을 수행하는 데에 사용되는, 도 5의 관련성 스코어 조정 시스템을 도시한 도면이다.

첨부된 도면이 반드시 실제 축적대로 도시된 것은 아니며, 여러 도면들에서 실질적으로 동일한 구성요소들이 동일한 참조번호로 표기되었다. 상이한 문자 접미사를 갖는 동일한 참조번호들은 실질적으로 동일한 구성요소들의 서로 다른 예시를 나타낸다. 도면은 한정적이지 않은 예시적인 방식으로 본 명세서에서 개시되는 다수의 실시예들을 도시한다.

아래의 상세한 설명은 상세한 설명의 일부를 형성하는 첨부된 도면에 대한 참조를 포함한다. 도면은 실시예에 따른 실례를 도시한다. 본 명세서에서 "예시"로도 지칭되는 이러한 실시예는 당업자가 본 발명을 구현하기에 충분히 상세하게 기술되었다. 예시적인 실시예의 특정한 세부사항이 본 발명을 구현하는 데에 요구되지 않는다는 것이 당업자에게 명백할 것이다. 예시적인 실시예가 주로 인터넷 매장 시스템을 참조로 개시되었지만, 본 발명은 검색 엔진을 포함하는 다른 유형의 시스템과도 사용될 수 있다. 예를 들어, 소셜 네트워킹 웹 사이트 또는 미디어 프레젠테이션 웹 사이트가 본 발명의 내용을 포함할 수 있다. 예시적인 실시예가 결합될 수 있거나, 다른 실시예가 이용될 수 있거나, 또는 구조적, 논리적 및 전기적 변화가 본 발명의 청구범위로부터 벗어나지 않고 이루어질 수 있다. 따라서, 아래의 상세한 설명은 제한적인 것으로 간주되어서는 안되며, 범주는 첨부된 특허청구범위 및 그의 균등물에 의해서만 정의된다.

본 명세서에서, 특허 명세서에서 흔히 쓰이는 것과 같이 "하나의"와 같은 용어가 사용되었으며, 이는 하나, 또는 그 이상을 포함하는 것이다. 본 명세서에서, "또는"은 "비-배타적인 또는"을 지칭하도록 사용되었으며, 따라서 "A 또는 B"는 특별한 언급이 없는 한 "B가 아닌 A", "A가 아닌 B" 및 "A 및 B"를 포함한다. 또한, 본 명세서에서 언급하는 모든 공개문헌, 특허 및 특허문서들은 개별적으로 참조로서 포함되는 것처럼 그 전체가 본 명세서에서 참조로서 포함되었다. 이러한 문서와 참조로서 포함된 문서들 사이에서 일치하지 않는 부분의 경우에는, 포함된 참조물(들)에서의 내용이 본 명세서에 대해 보충적인 것으로 간주되어야만 하고, 양립할 수 없는 비일치 부분에 있어서는, 본 발명의 내용이 우선시되어야 한다.

컴퓨터 시스템

도 1은 기계장치로 하여금 본 명세서에 개시되는 임의의 하나 이상의 방법을 수행하도록 하는 명령어의 세트(124)가 실행될 수 있는 컴퓨터 시스템(100)의 예시적인 형태로서의 기계장치의 도면을 나타낸 것이다. 다른 실시예에서, 기계장치는 독립형 디바이스를 동작시킬 수 있거나 또는 다른 기계장치에 접속될 수 있다(예컨대, 네트워킹될 수 있다). 네트워킹된 배치에서, 기계장치는 서버-클라이언트 네트워크 환경에서 서버 또는 클라이언트 기계장치로서 동작할 수 있거나, 또는 피어-투-피어(또는 분산된) 네트워크 환경에서 피어 기계장치로서 동작할 수 있다. 기계장치는 개인 컴퓨터(PC), 태블릿 PC, 셋톱 박스(STB), PDA, 셀룰러 전화기, 웹 어플라이언스, 네트워크 서버, 네트워크 라우터, 네트워크 스위치, 네트워크 브릿지, 또는 해당 기계장치에 의해 취해지는 동작들을 명시하는 명령어의 세트(시간 순차적 또는 그외의 명령어)를 실행할 수 있는 임의의 기계장치일 수 있다. 또한, 도 1에 오직 하나의 기계장치만이 도시되었지만, "기계장치(machine)"라는 용어는 본 명세서에 개시되는 임의의 하나 이상의 방법을 수행하도록 명령어들의 세트(또는 복수의 세트들)를 개별적으로 또는 함께 실행하는 기계장치들의 임의의 집합을 포함하는 것으로 이해되어야 한다.

도 1에 도시된 예시적인 컴퓨터 시스템(100)은 버스(108)를 통해 서로와 통신할 수 있는 프로세서(102)(예컨대, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 또는 둘 모두), 주 메모리(104), 정적 메모리(106)를 포함한다. 컴퓨터 시스템(100)은 액정 디스플레이(LCD) 또는 음극선 튜브(CRT)와 같은 비디오 디스플레이 시스템(115)을 구동하는 비디오 디스플레이 어댑터(110)를 더 포함할 수 있다. 예시적인 컴퓨터 시스템(100)은 또한 알파벳-숫자식 입력 디바이스(112)(예컨대, 키보드), 커서 제어 디바이스(114)(예컨대, 마우스 또는 트랙볼), 디스크 드라이브 유닛(116), 신호 생성 디바이스(118)(예컨대, 스피커) 및 네트워크 인터페이스 디바이스(120)를 포함한다. 컴퓨터 시스템의 다양한 실시예들이 언제나 이런 주변 장치들 모두를 포함하는 것은 아님을 인지해야 한다.

디스크 드라이브 유닛(116)은 본 명세서에 개시되는 임의의 하나 이상의 방법 또는 기능에 의해 구현하거나 이용되는 하나 이상의 컴퓨터 명령어의 세트 및 데이터 구조(예컨대, 명령어(124)는 '소프트웨어'로도 알려져 있음)가 저장된 기계 판독가능한 매체(122)를 포함한다. 명령어(124)는 또한 컴퓨터 시스템(100)에 의해서 실행되는 동안, 완전히 또는 적어도 부분적으로 주 메모리(104) 및/또는 프로세서(102) 내에도 존재할 수 있으며, 주 메모리(104) 및 프로세서(102) 또한 기계 판독가능한 매체를 구성한다.

컴퓨터 시스템(100)을 운영하는 명령어(124)는 파일 전송 프로토콜(FTP)와 같은 다수의 잘 알려진 전송 프로토콜 중 임의의 하나를 이용하여 네트워크 인터페이스 디바이스(120)를 통해 네트워크(126) 상에서 전송 또는 수신될 수 있다.

기계 판독가능한 매체(122)가 예시적인 실시예에서는 단일 매체로서 도시되었지만, "기계 판독가능한 매체"라는 용어는 명령어들의 하나 이상의 세트를 저장하는 단일 매체 또는 복수의 매체(예컨대, 중심화된 또는 분산된 데이터베이스, 및/또는 관련된 캐시 및 서버들)를 포함하는 것으로 이해되어야 한다. "기계 판독가능한 매체"라는 용어는 또한 기계에 의한 실행을 위해 명령어의 세트를 저장, 인코딩 또는 전달할 수 있고 기계장치로 하여금 본 명세서에 개시되는 임의의 하나 이상의 방법을 수행하도록 하거나, 또는 이러한 명령어의 세트와 연관되거나 이에 의해 이용되는 데이터 구조를 저장, 인코딩 또는 전달할 수 있는 임의의 매체를 포함하는 것으로 이해되어야 한다. 따라서 "기계 판독가능한 매체"라는 용어는 고체 상태 메모리, 광학적 매체, 플래쉬 메모리, 자기적 매체 및 반송파 신호를 포함하는 것으로 이해되어야 하지만, 이것으로 제한되는 것은 아니다.

본 명세서에서 사용된 "모듈"이라는 용어는, 컴퓨터 코드의 식별가능한 일부분, 계산가능하거나 실행가능한 명령어, 데이터, 또는 특정한 기능, 동작, 프로세싱 또는 절차를 달성하기 위한 컴퓨터 객체를 포함한다. 모듈은 소프트웨어로 구현되어야할 필요가 없으며, 소프트웨어, 하드웨어/회로, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다.

검색 엔진

검색 엔진은 컴퓨터 사용자가 정보의 특정한 도메인을 검색하도록 설계된 컴퓨터 프로그램이다. 검색 엔진은 전형적으로 컴퓨터 사용자가 검색 키워드들의 세트를 입력하도록 하고, 그 다음 사용자가 명시한 키워드들을 포함하는 검색 도메인으로부터 검색 결과의 세트를 생성하도록 한다.

검색 엔진의 매우 인기있는 형태는 글로벌 인터넷에서 이용가능한 월드 와이드 웹(World Wide Web) 검색 엔진이다. 월드 와이드 웹 검색 엔진은 웹 사용자가 검색 키워드의 세트를 입력하도록 하고, 그 다음 월드 와이드 웹 검색 엔진이 사용자가 명시한 검색 키워드를 포함하는 검색 결과인 월드 와이드 웹 페이지 세트를 반환한다.

월드 와이드 웹 검색 엔진은 전형적으로, 월드 와이드 웹에서 이용가능한 콘텐츠를 계속 인지하도록, 새로운 웹 페이지를 인지하는 자동화된 프로그램(일반적으로 "웹 크롤러(web crawler)"로 알려져 있음)이 월드 와이드 웹 페이지들을 방문하게 함으로써 동작한다. 자동화된 웹 크롤러 프로그램에 의해 획득된 정보는 자동화된 웹 크롤러 프로그램에 의해 방문되었던 모든 웹 페이지들의 검색가능한 인덱스를 생성하도록 사용된다. 검색가능한 인덱스는 인터넷 사용자로부터의 검색 요청에 대한 검색 결과를 생성하기 위해 인터넷 검색 엔진에 의해 사용된다.

검색 엔진에 대한 관련성 판정

사용자가 검색 엔진에 키워드들의 세트를 입력했을 때, 검색 엔진은 사용자에 의해 입력된 키워드를 포함하는 결과들의 세트를 반환한다. 인터넷 사용자에 의해 인터넷 검색 엔진으로 입력되는 대부분의 쿼리에 있어서, 입력되는 키워드들은 종종 수천 또는 수십만 개의 웹 사이트들과 매칭될 것이다. 단순히 수십만 개의 웹 사이트들을 갖는 이러한 거대한 결과 세트를 반환하는 검색 엔진들은 매우 유용하지 않다.

거대한 정보 과부하는 단순히 검색 엔진으로 입력된 키워드들에 대한 정보를 갖는 웹 사이트를 찾아내길 원하는 인터넷 사용자가 원하는 결과가 아니다. 대신, 인터넷 사용자가 정말로 관심있는 것과 높은 관련성을 갖는 우수한 검색 결과를 획득하길 원한다. 따라서, 우수한 검색 엔진을 설계하기 위한 현실적인 비결은 소정의 유형의 관련성 척도(relevancy measure)에 의해 검색 결과들의 스코어를 매기고(score), 검색 결과 리스트에서 가장 높은 관련성을 갖는 것으로 간주되는 결과를 제시한다. 따라서, 관련성 시스템의 목표는 사용자의 의도를 가장 잘 만족시키는 결과를 식별하기 위해 인터넷 검색을 요청한 인터넷 사용자의 실제 의도를 추론하는 것이다.

다수의 인터넷 검색 엔진은 인터넷 검색 엔진에 의해 제공되는 검색 결과들의 품질을 향상시키도록 이러한 관련성 스코어링 시스템의 다양한 버전으로 구현되어왔다. 월드 와이드 웹 사이트에서의 잘 알려진 한 관련성 결정 시스템에서, 해당 웹 사이트를 언급하는 외부 하이퍼링크의 개수에 따라서 각 웹 사이트에 관련성 스코어가 할당된다. 따라서, 더 많은 다른 웹 사이트가 특정한 웹 사이트를 언급할수록, 그 특정 웹 사이트가 더 많은 관련성을 갖는 것으로 간주된다. 사실상, 웹 사이트에 대한 각 하이퍼링크는 관련성 스코어링 시스템에서 해당 웹 사이트에 대한 인기 "투표"로서의 역할을 한다. 이러한 투표에서 가장 많은 표를 얻은 매칭 웹 사이트는 검색 결과의 최상위 또는 그 부근에 위치될 것이다.

이러한 관련성 시스템의 한 가지 단점은 관련성 스코어를 계산하는 데에 사용되는 시스템이 널리 알려지게 되면 상기 관련성 시스템이 자신의 웹 사이트의 프로파일을 인위적으로 상승시키길 원하는 사람들에 의해 남용될 수 있다는 점이다. 예를 들어, 만약 특정한 상업적 웹 사이트가 그 웹 사이트에 대해 많은 트래픽을 생성하길 원한다면, 해당 웹 사이트는 상기 메인 상업적 웹 사이트로 링크되는 다수의 외부 웹 사이트를 생성할 수 있다. 이러한 방식으로, 동일한 엔티티가 상기 메인 웹 사이트로의 모든 다수의 링크들을 생성했다는 사실에도 불구하고, 인터넷 검색 엔진의 관련성 스코어링 시스템이 속임수로 인해 해당 상업적 사이트를 높은 위치에 랭크하게 될 수 있다.

동적 데이터 세트에 있어서의 관련성

이전 섹션에서 전술된 바와 같이, 아이템들의 관련성을 결정하는 하나의 가능한 방법은 데이터 세트 내의 아이템들의 상대적인 인기와 관련된 일부 알려진 표시자를 사용하는 것이다. 인터넷 웹 사이트 검색의 맥락에서, 특정한 웹 사이트의 상대적인 인기도는 얼마나 많은 다른 웹 사이트들이 상기 특정한 웹 사이트로 링크되었는지 여부로부터 추론될 수 있다. 따라서, 특정한 웹 사이트로의 링크의 개수가 인터넷 검색 엔진 내의 관련성 스코어의 일부로서 사용될 수 있다.

그러나, 도메인 내의 아이템들이 항상 변화하는 매우 동적인 데이터 도메인에서, 이러한 상대적으로 정적인 인기도의 표시는 관련성을 결정하는 데에 그렇게 유용하지 않다. 예를 들어, 판매를 위한 새로운 아이템들을 계속 제시하는 온라인 매장에서, 이러한 검색 도메인 내의 아이템들의 세트(현재 판매하기 위한 아이템들)는 아이템이 판매됨에 따라 계속 변경되고 새로운 판매용 아이템들이 제공된다. 따라서 판매를 위한 아이템들이 대표적인 "동적 데이터 도메인"이다. 종종 판매용 아이템들과 연관된 웹 페이지로의 다수의 링크들이 생성되기 이전에 이러한 아이템들이 판매될 것이기 때문에, 판매용 아이템들과 연관된 웹 페이지로의 임의의 링크는 상대적으로 쓸모가 없다. 따라서, 동적 데이터 도메인을 위한 관련성 스코어를 생성하기 위한 다른 방법이 필요하다.

동적 데이터 도메인 내의 아이템들이 계속 변화하기 때문에, 동적 도메인 내의 특정한 아이템에 직접 연결되는 임의의 정보(데이터 도메인 내의 현재 아이템에 대한 웹 페이지로의 링크와 같은 것)는 상기 특정한 아이템이 금방 판매될 수 있으므로 일반적으로 관련성을 결정하기에 유용하지 않다. 대신, 데이터 도메인 내의 특정한 인기있는 아이템을 기술하는 (그리고 다른 유사한 아이템들을 기술하는 데에 사용될 수도 있는) 팩터(factor)들이 관련성 결정에 유용하다.

또한, 상기 목표가 동적 데이터 도메인을 검색하는 사용자의 의도를 결정하는 것이기 때문에, 임의의 관련성 척도가 해당 사용자에 의한 실제 검색 요청과 이상적으로 연관될 것이다. 이러한 목표를 달성하기 위해서, 사용자의 검색 요청에 응답하여 사용자에게 검색 결과들의 세트가 제시된 후에 이루어지는 사용자 아이템 선택에 기초하여 관련성 랭킹을 생성하는 시스템이 고안되었다.

개시된 동적 데이터 도메인 관련성 시스템에서, 시스템은 사용자의 검색 요청의 요구사항을 만족시키는 아이템들의 세트로 사용자 검색 요청에 응답한다. 이러한 아이템들은 보통 제한된 추가 정보를 갖는 리스트 형태로 디스플레이된다. 그 다음 사용자가 선택된 아이템에 대한 보다 많은 정보를 획득하도록 검색 결과 내에 제시된 임의의 아이템을 선택할 수 있다. 사용자에 의한 검색 결과 내의 아이템에 대한 선택은 사용자의 처음 검색 내용에서 특정한 아이템에 대한 인기 투표로서의 역할을 한다. 추후의 관련성 결정에 유용하도록, 선택된 아이템의 일부 기술적인(descriptive) 팩터가 사용자의 선택으로부터 추출되어 추후의 관련성 결정을 위해 해당 기술적인 팩터를 사용하도록 해야만 한다. 이런 식으로, 관련성 결정이 동일한 검색 요청에 대해 수행되어야 하지만 더 이상 선택된 아이템이 존재하지 않을 때, 선택된 아이템으로부터 추출된 기술적인 팩터를 이용하여 유사한 아이템들이 높은 관련성을 갖는 동적 데이터 도메인 내에서 식별될 수 있다.

일 실시예에서, 추후에 유사한 관련 아이템을 식별하는 데에 사용될 수 있는 기술적인 팩터들은, 사용자의 처음 검색 쿼리 키워드에 포함되지 않았던, 아이템에 대한 설명 필드 내의 추가 문구이다. 따라서, 만약 사용자가 특정한 검색 쿼리를 입력하면, 처음 검색 쿼리에 존재하지 않았던 특정 문구를 갖는 설명 필드를 모두 포함하는 아이템들의 세트를 선택하며, 이러한 특정 문구를 포함하는 것은 상기 특정한 검색 쿼리에 대한 아이템들의 관련성을 증가시킬 수 있다. 유사하게, 만약 쿼리 결과 내의 아이템들의 세트가 모두 특정한 문구를 공유하지만 이들 중 어떠한 아이템도 사용자에 의해 선택되지 않았다면, 특정한 문구를 포함하는 것이 상기 검색 쿼리에 있어서 아이템들에 대한 관련성 스코어를 감소시킬 수 있다. 다른 팩터들이 사용될 수 있으며 이것은 단지 추후에 유사한 아이템들을 식별하는 데에 사용될 수 있는 기술적인 팩터의 일례임을 인지해야 한다.

예를 들어, 휴대용 디지털 음악 플레이어를 구매하길 원하는 사용자가 온라인 매장에 대한 검색 엔진에서 "아이팟 나노"라는 검색 쿼리를 입력할 수 있다. 온라인 매장에 "아이팟 나노"라는 검색 쿼리가 입력됨에 따라, 시스템은 아래의 표에서 좌측 열에 나열된 설명 필드를 갖는 아이템들을 제시할 수 있다. 중앙의 열은 처음 검색 쿼리("아이팟 나노") 및 일반적인 불용어(stop word)(및, 또는, 내의, ~를 위한 등)를 제거한 후의 설명 필드로부터의 다양한 문구들을 포함한다.

새 제품인 아이팟 나노 장치를 구매하는 데에 관심이 있는 사용자는 "뜯지 않은 4Gb 아이팟 나노", "뜯지 않은 아이팟 나노", "새 제품 아이팟 나노 8GB 검정색" 및 "새 제품 4GB 흰색 아이팟 나노"에 대한 엔트리들을 클릭할 수 있다. 따라서, "아이팟 나노"에 대한 추후의 검색에서, 사용자에 의해 선택되었던 추가 문구들을 포함하는 아이템들의 관련성 스코어가 증가되어야 한다. 이를 수행하는 한 가지 방법은, 각 가능한 추가 문구에 관련성 조정 지수를 할당하는 것이다. 추가 문구와 연관된 해당 관련성 조정 지수는 해당 추가 문구를 갖는 설명을 갖는 아이템들에 대한 관련성 스코어를 조정할 것이다. 사용자가 아이템을 선택할 때, 상기 선택된 아이템과 연관된 추가 문구들에 대한 관련성 조정 지수들이 증가될 것이다. 따라서, 선택된 네 개의 아이템과 연관된 추가 문구들(뜯지 않은, 4Gb, 뜯지 않은, 새 제품, 8GB, 검정색, 새 제품, 4GB)의 관련성 조정 지수가 증가되어야 한다. 사용자에 의해 선택된 하나보다 많은 아이템에 존재하기 때문에, 추가 문구들은 한번 이상 나열될 수 있다.

당연한 결과로서, 선택되지 않은 아이템 설명의 추가 문구들의 관련성 조정 스코어는 감소될 수 있다. 일 실시예에서, 이러한 문구들은 어떠한 선택된 아이템 내에도 존재해서는 안되고 선택되지 않은 하나보다 많은 아이템 내에서 발견되어야 한다. 이러한 실시예에서, "전송기" 및 "가죽"과 같은 문구의 관련성 조정 스코어가 감소될 수 있다.

관련성 조정 지수 이용

도 4는 일 가능한 실시예가 검색 결과 세트 내의 아이템들에 대한 관련성 스코어를 조정하기 위해 도 2의 시스템에서 생성된 관련성 조정 지수를 사용할 수 있는 방법을 기술하는 높은 레벨의 순서도를 나타낸다. 도 4에 도시된 시스템이 도 2의 시스템의 단계(220) 내에서 사용될 수 있음을 인지해야 한다.

먼저, 검색 쿼리가 단계(410)에서 수신되었다. 단계(420)에서, 시스템은 단계(410)에서 입력된 검색 쿼리의 요구를 만족시키는 결과들의 초기 세트를 생성하도록 아이템 데이터베이스를 검색한다. 초기 검색 결과를 획득한 후에, 검색 결과들은 관련성에 의해 분류되어야만 한다. 이러한 목표를 달성하기 위해, 시스템은 단계(430)에서 초기 결과 내의 아이템들에 대한 추가의 기술적인 문구들의 관련성 조정 지수를 검색한다.

다음으로, 단계(440)에서, 관련성 조정 지수는 초기 검색 결과 내의 각 아이템에 주어진 관련성 조정 지수에 적용된다. 일 실시예에서, 관련성 조정 지수는 아이템의 관련성 스코어를 조정하기 위해 검색 쿼리 결과들의 세트 내의 아이템에게 주어진 초기 관련성 스코어에 곱해질 수 있다. 표 2는 이러한 실시예에 있어서 관련성 조정 지수들의 일 가능한 세트를 나열하며, 이때 "아이팟 나노" 검색 쿼리와 연관된 일부 추가 문구들이 나열되었다. 추가 문구들에 대한 관련성 조정 지수는 규정된 범위 내에 존재하도록 정규화될 수 있다. 예를 들어, 관련성 조정 지수들의 세트는 0 내지 2의 범위 내에 존재하도록 정규화되었다.

표 2에 주어진 관련성 조정 지수를 적용하기 위해서, 해당 아이템이 자신의 설명문 내에 연관에 추가 문구를 포함하면, 아이템에 주어진 초기 관련성 스코어에 관련성 조정 지수가 곱해진다. 따라서, 도 2를 참조하면, "뜯지 않은", "8GB" 및 "새 제품"과 같은 높은 관련성을 갖는 추가의 기술적인 문구를 포함하는 "아이팟 나노" 검색 쿼리에 대한 결과 세트 내의 아이템에 대한 관련성 스코어가 증가할 것이다. 유사하게, "가죽", "전송기", 또는 "케이스"와 같은 관련성이 매우 낮은 추가의 기술적인 문구들을 갖는 "아이팟 나노" 검색 쿼리에 대한 결과 세트 내의 아이템들에 대한 관련성 스코어가 감소될 것이다. 초기 관련성 스코어를 수정하기 위해 관련성 조정 지수를 이용하는 다수의 다른 방법이 사용될 수 있다.

다른 실시예에서, 관련성 조정 지수는 아이템의 관련성 스코어를 조정하기 위해 하나의 아이템에 대한 처음의 관련성 스코어에 추가될 수 있다. 표 3은 이러한 실시예에서의 관련성 조정 지수의 일 가능한 세트를 나열하며, "아이팟 나노" 검색 쿼리와 연관된 일부 추가 문구들이 나열되었다. 추가 문구들에 대한 관련성 조정 지수는 -100 내지 100과 같은 규정된 범위 내에 존재하도록 정규화될 수 있다.

도 3에서, 매우 바람직한 문구들("뜯지 않은", "8GB" 및 "새 제품")은 큰 양의 관련성 조정 지수를 갖는다. 유사하게, 바람직하지 않은 문구들("전송기", "가죽" 및 "케이스")은 큰 음의 스코어를 갖는다. 나머지 중립 문구들은 관련성 스코어에 상대적으로 거의 영향을 미치지 않을 것이다.

관련성 스코어의 초기 세트를 조정한 후에, 아이템들은 단계(450)에서 조정된 관련성 스코어에 따라 정렬된다. 그 다음 관련성 분류된 아이템들의 세트는 사용자에게 제시될 수 있다. 상단에 배치된 것과 동일한 쿼리를 갖는 이전의 검색으로부터 앞서 선택된 것과 유사한 아이템들로 분류되었기 때문에, 사용자는 원하는 아이템을 빠르게 발견할 수 있어야만 한다.

동적 데이터 세트에 대한 관련성 시스템의 남용 방지

전술된 바와 같이, 해당 웹 사이트가 인기있는지 여부의 측도로서 웹 사이트로의 하이퍼링크 수에 의존하는 인터넷 검색 엔진에 있어서, 이러한 인터넷 검색 엔진은 특정한 웹 사이트로 링크되는 관련성이 없는 수천 개의 웹 사이트들을 생성하는 사람들에 의해 남용될 수 있다. 이러한 특정 웹 사이트로의 다수의 링크들은 상기 특정 웹 사이트의 인기를 거짓으로 나타낼 것이다. 남용하는 다른 방법이 이전 섹션에서 개시된 동적 데이터 세트 관련성 시스템에 대해 시도될 수 있다.

예를 들어, 인터넷 매장의 매우 적극적인 판매자들이 자신들이 판매를 위해서 인터넷 매장에 포스트한 아이템을 반복적으로 선택하는 자동화된 프로그램을 생성하도록 시도할 수 있다. 이러한 방식으로, 아이템들이 증가된 관련성 스코어를 받도록 이러한 적극적인 판매자가 자신들이 인터넷 매장에 포스트한 아이템들이 인기 있는 것처럼 보이게 하도록 시도할 수 있다.

이러한 남용을 방지하기 위해서, 사용자가 관련성 스코어링 시스템의 남용하는 것을 중단하도록 관련성 스코어링 시스템에 대해 다양한 서로 다른 제약들의 세트가 부과될 수 있다. 이러한 남용을 방지하기 위해 구현될 수 있는 제 1 제약은 앞의 단락에서 정확히 기술된 것과 같은 시나리오를 방지하는 것과 관련될 수 있다. 도 5는 도 2에 개시된 관련성 조정 지수 시스템을 도시하지만, 적극적인 판매자들이 판매를 위해 포스팅한 자신들의 아이템을 클릭함으로써 남용되는 것을 방지하기 위한 단계가 추가되었다.

도 5를 참조하면, 사용자가 보다 상세한 정보를 보기 위해 아이템을 선택한 후에 단계(545)가 추가되었다. 단계(545)에서, 시스템은 이 사용자가 이미 이 특정한 아이템을 보았는지 또는 이 아이템이 상기 사용자에 의해 포스팅된 아이템인지 여부를 판정한다. 만약에 둘 중 하나라도 맞다면, 시스템은 관련성 조정 지수 변경 단계(550, 555)를 생략하고, 대신 시스템이 사용자에게 아이템을 디스플레이하는 단계(560)로 바로 진행한다. 이러한 방식으로, 시스템은 사용자가 자신의 아이템을 반복적으로 선택하는 것을 방지한다. 또한, 단계(545)는 사용자가 제 2 계정을 생성하는 것을 방지하여 제 2 계정으로 자신의 아이템을 반복적으로 선택하는 것을 방지한다.

사용자 평판 스코어를 갖는 관련성 시스템의 남용 방지

인터넷 매장 시스템에서, 사람들이 잠재적인 거래에서 상대방을 신뢰해야 하는지 말아야 하는지 여부와 관련된 일부 종류의 측도를 갖도록, 인터넷 매장에 참여하는 구매자 및 판매자에 대한 평판 스코어(reputation score)를 갖는 것이 일반적이다. 이러한 평판 스코어는 사용자들이 일반적으로 거래가 완료된 후에 (또는 다른 방식으로 종료된 후에) 인터넷 매장에서의 거래에서 상대방에 대한 피드백을 제공하게 함으로써 생성된다. 개시된 시스템의 일 실시예에서, 이러한 사용자 평판은 관련성 시스템에 포함되었다. 사용자 평판 스코어를 관련성 시스템에 포함시키는 것은, 관련성 시스템의 결과를 개선하고 관련성 시스템의 남용 가능성을 감소시킨다.

도 6은 동적 데이터 세트에 대한 관련성 스코어 조정 시스템을 도시하며, 여기에서 각 사용자와 연관된 평판 스코어는 관련성 시스템에 포함되었다. 도 6의 시스템은 관련성 조정 지수를 변경할 때 사용자의 평판을 고려한다는 점을 제외하면 도 5의 시스템과 동일하다. 특히, 단계(655)는 시스템이 사용자의 평판 스코어에 상관된 정도만큼 관련성 조정 지수를 증가시키는 것을 나타내도록 변경되었다. 유사하게, 단계(690)는 시스템이 사용자의 평판 스코어와 연관된 정도만큼 관련성 조정 지수를 감소시키는 것을 나타내도록 변경되었다.

관련성 시스템으로 사용자 평판 스코어를 포함시키는 것은 관련성 시스템에 다수의 상당한 장점들을 제공한다. 한 가지 장점은 관련성 조정 지수의 변경이 사용자의 스킬과 연관된 방식으로 이루어질 수 있다는 것이다. 사용경험이 있는 사용자에 의한 선택이 초보 사용자보다 관련성 시스템을 더 많이 변경하도록 사용경험이 있는 사용자는 보다 높은 평판 스코어를 가질 것이다.

다른 장점은 사용자 평판을 관련성 시스템으로 포함시키는 것이 관련성 시스템의 남용을 방지하는 데에 사용될 수 있다는 것이다. 특히, 다수의 새로운 계정을 생성하여 새로운 계정 각각이 그 사용자를 선택함으로써 해당 아이템을 조정하도록, 단계(645)에서 전술된 바와 같이 특정한 사용자에 의해 아이템에 대한 한 번의 선택만이 허용되는 제약을 적극적인 판매자가 피하고자 시도할 수 있다. 새로운 계정의 평판 스코어를 0 또는 다른 낮은 값으로 설정함으로써, 이러한 새로운 계정들에 의해 이루어진 선택은 관련성 시스템에 영향을 미치지 않거나 매우 낮은 영향을 미칠 것이다. 따라서, 다수의 새로운 계정을 생성하는 것이 관련성 시스템의 남용에 사용될 수 없다.

일 실시예에서, 사용자는 인터넷 매장에서 입수가능한 제품들의 서로 다른 카테고리에 대해 서로 다른 평판 스코어를 가질 수 있다. 따라서, 한 사람이 전자제품을 구입 및 판매하는 데에 있어서는 높은 평판을 가질 수 있지만, 가정용품을 구입 및 판매하는 데에 있어서는 신규의 낮은 평판을 가질 수도 있다. 이러한 실시예에서, 시스템은 검색된 제품의 카테고리를 식별하고 관련성 조정 인자를 변경할 때 해당 카테고리에서 사용자의 평판을 이용할 것이다. 이러한 방식으로, 한 사용자가 높은 평판을 갖는 카테고리에서 그 사용자의 선택은 관련성 시스템에 상당한 영향을 미치지만 그외의 영역에서는 관련성 시스템에 뚜렷한 영향을 갖지 않도록 그 사람의 특정한 스킬에서의 시스템 지수가 설정된다. 이것은 한 사용자의 선택이 관련성에 상당한 영향을 갖기 이전에 그 사용자가 다수의 성공적인 거래에 참여할 것을 요구할 것이다. 이것은 한 사람이 각각 하나의 거래마다 참여하는 다수의 계정을 생성하고자 시도하고 관련성 시스템을 남용하도록 이러한 다수의 계정을 사용하는 것을 방지한다.

그 외의 관련성 시스템과의 통합

개시된 동적 데이터 세트에 대한 관련성 시스템은 다른 지수들에 기초하는 다른 관련성 시스템과 통합될 수 있다. 예를 들어, 다른 시스템은 관련성을 결정할 때, 더 높은 평판을 갖는 판매자가 더 낮은 평판을 갖는 사용자보다 더 높은 관련성 스코어를 받도록 판매자의 평판을 사용할 수 있다. 이러한 시스템에서, 구매자에게 검색 결과의 최상위에 있는 보다 신뢰가능한 판매자가 제시될 것이다. 동적 데이터 세트에 대한 제시된 관련성 시스템은 결합된 관련성 스코어가 검색 결과를 제시하는 데에 사용되도록 이러한 시스템(또는 복수의 다른 관련성 시스템들)과 결합될 수 있다.

관련성 시스템이 주로 인터넷 매장 실시예를 참고하여 기술되었지만, 다수의 실시예에서 관련성 시스템이 사용될 수 있음을 인지해야 한다. 다른 실시예에서, 사용자 평판 스코어는 시스템에 대한 사용자의 경험치에 대한 다른 유사한 측도로 대체될 수도 있다. 예를 들어, 메시지 포스팅 보드에 대한 일 실시예에서, 사용자 평판 스코어는 사용자에 의해 생성된 다수의 포스팅으로 대체될 수 있다. 또한, 본 발명은 설명 필드의 다른 문구들의 기술적인 팩터(descriptive factor)로 개시되었지만, 추후에 기술적인 팩터 외에도 유사한 아이템들을 식별하는 데에 사용될 수 있다.

상기의 설명은 예시적인 것이며 제한적이지 않다. 예를 들어, 전술된 실시예(또는 실시예의 하나 이상의 측면)는 서로 조합하여 사용될 수 있다. 다른 실시예들이 전술된 설명으로부터 당업자에게 명백할 것이다. 따라서, 본 발명의 특허청구범위의 범주는 첨부된 특허청구범위를 참조로 하여 결정되어야 하며, 이것에 대한 모든 범위의 균등물을 포함해야 한다. 첨부된 특허청구범위에서, "포함하는" 및 "여기에서"과 같은 용어가 각각 "구비하는" 및 "이 경우에"와 같은 용어의 쉽고 분명한 표현의 동의어로서 사용되었다. 또한, 아래의 특허청구범위에서, "포함하는" 및 "구비하는"이라는 표현은 확장적이며, 즉 특허청구범위에서 "포함하는" 및 "구비하는"과 같은 표현 뒤에 서술되는 요소들에 추가로 요소들을 포함하는 시스템, 디바이스, 물품 또는 프로세스는 여전히 해당 특허청구범위의 범주 내에 포함되는 것으로 간주된다. 또한, 아래의 특허청구범위에서, "제 1", "제 2" 및 "제 3" 등의 표현은 단지 라벨로서 사용되었으며, 그 대상에 대한 수적 요구사항으로서 사용된 것이 아니다.

본 발명의 개요는 독자들로 하여금 기술적 발명의 특성을 빠르게 획득할 수 있도록 할 것을 요구하는 37 C.F.R. §1.72(b)에 따라 제공되었다. 본 발명의 개요는 본 발명의 특허청구범위의 범주 또는 의미를 해석 또는 제한하도록 사용되도록 사용될 수는 없다. 또한, 전술된 상세한 설명에서, 다양한 특성들이 본 발명을 간소화하기 위해 함께 그룹화될 수 있다. 청구되지 않은 개시된 특성이 임의의 청구항에 대해 기본적인 것임을 의도하는 것으로 해석되어서는 안된다. 오히려, 본 발명의 청구범위는 개시된 특정 실시예의 모든 특성들보다 적을 수 있다. 따라서, 아래의 특허청구범위는 상세한 설명에 포함되며, 각 청구항은 개별적인 실시예를 나타낸다.

Claims

검색 쿼리 결과로부터 관련성을 추론하는 방법으로서,
검색 엔진의 사용자로부터 검색 쿼리를 수용하는 단계와,
상기 사용자로부터의 상기 검색 쿼리에 응답하여 검색 결과 아이템들의 세트를 생성하는 단계와,
상기 검색 결과 아이템들의 세트를 상기 사용자에게 디스플레이하는 단계와,
상기 사용자가 상기 검색 결과 아이템들의 세트로부터 하나의 아이템을 선택한 것을 수용하는 단계와,
상기 사용자에 의해 상기 검색 결과 아이템들의 세트로부터 선택된 상기 아이템과 연관된 제 1 기술적인 팩터(descriptive factor)에 대한 관련성 조정 지수(relevancy adjustment factor)를 수정하는 단계를 포함하되,
상기 조정은 상기 사용자의 평판 스코어(reputation score)와 상관되는
검색 쿼리 결과로부터 관련성을 추론하는 방법.
제 1 항에 있어서,
상기 사용자의 상기 평판 스코어는 상기 사용자와의 거래에 응한 상대방에 의해 주어지는 등급에 의해 생성되는 스코어를 포함하는
검색 쿼리 결과로부터 관련성을 추론하는 방법.
제 1 항에 있어서,
상기 검색 결과 아이템들의 세트로부터 선택된 상기 아이템과 연관된 상기 제 1 기술적인 팩터는, 상기 검색 쿼리에 포함되지 않은 상기 아이템의 설명 필드로부터의 문구를 포함하는
검색 쿼리 결과로부터 관련성을 추론하는 방법.
제 1 항에 있어서,
상기 사용자로부터의 상기 검색 쿼리에 응답하여 검색 결과 아이템들의 세트를 생성하는 단계는, 상기 관련성 조정 지수에 기초하는 혼합 관련성 스코어를 이용하여 상기 검색 결과 아이템들을 랭킹하는 단계를 포함하는
검색 쿼리 결과로부터 관련성을 추론하는 방법.
제 1 항에 있어서,
상기 아이템과 연관된 제 1 기술적인 팩터에 대한 관련성 조정 지수를 수정하는 단계는 상기 사용자가 상기 아이템을 포스팅하였을 경우에는 수행되지 않는
검색 쿼리 결과로부터 관련성을 추론하는 방법.
제 1 항에 있어서,
상기 아이템과 연관된 제 1 기술적인 팩터에 대한 관련성 조정 지수는 상기 사용자에 의해 입력된 검색 쿼리에 대해서만 유효한
검색 쿼리 결과로부터 관련성을 추론하는 방법.
제 1 항에 있어서,
상기 사용자에 의해 선택되지 않은 상기 검색 결과 아이템들의 세트 내의 아이템과 연관된 제 2 기술적인 팩터에 대한 관련성 조정 지수를 수정하는 단계를 더 포함하되,
상기 조정은 상기 사용자의 평판 스코어와 상관되는
검색 쿼리 결과로부터 관련성을 추론하는 방법.
제 7 항에 있어서,
상기 제 2 기술적인 팩터는 하나보다 많은 아이템에 존재하며 상기 사용자에 의해 선택된 상기 아이템에는 존재하지 않는
검색 쿼리 결과로부터 관련성을 추론하는 방법.
제 1 항에 있어서,
상기 관련성 조정 지수는 검색 결과 아이템들의 관련성 스코어를 조정하는 데에 사용되는
검색 쿼리 결과로부터 관련성을 추론하는 방법.
제 1 항에 있어서,
상기 검색 결과 아이템들은 온라인 매장에서의 판매용 아이템들을 포함하는
검색 쿼리 결과로부터 관련성을 추론하는 방법.
검색 쿼리 결과로부터 관련성을 추론하는 명령어들의 세트를 포함하는 컴퓨터 판독가능한 매체로서,
상기 명령어들의 세트는,
검색 엔진의 사용자로부터 검색 쿼리를 수용하는 단계와,
상기 사용자로부터의 상기 검색 쿼리에 응답하여 검색 결과 아이템들의 세트를 생성하는 단계와,
상기 검색 결과 아이템들의 세트를 상기 사용자에게 디스플레이하는 단계와,
상기 사용자가 상기 검색 결과 아이템들의 세트로부터 하나의 아이템을 선택한 것을 수용하는 단계와,
상기 사용자에 의해 상기 검색 결과 아이템들의 세트로부터 선택된 상기 아이템과 연관된 제 1 기술적인 팩터에 대한 관련성 조정 지수를 수정하는 단계
를 구현하며,
상기 조정은 상기 사용자의 평판 스코어와 상관되는
컴퓨터 판독가능한 매체.
제 11 항에 있어서,
상기 사용자의 상기 평판 스코어는 상기 사용자와의 거래에 응한 상대방에 의해 주어지는 등급에 의해 생성되는 스코어를 포함하는
컴퓨터 판독가능한 매체.
제 11 항에 있어서,
상기 검색 결과 아이템들의 세트로부터 선택된 상기 아이템과 연관된 상기 제 1 기술적인 팩터는, 상기 검색 쿼리에 포함되지 않은 상기 아이템의 설명 필드로부터의 문구를 포함하는
컴퓨터 판독가능한 매체.
제 11 항에 있어서,
상기 사용자로부터의 상기 검색 쿼리에 응답하여 검색 결과 아이템들의 세트를 생성하는 단계는, 상기 관련성 조정 지수에 기초하는 혼합 관련성 스코어를 이용하여 상기 검색 결과 아이템들을 랭킹하는 단계를 포함하는
컴퓨터 판독가능한 매체.
제 11 항에 있어서,
상기 아이템과 연관된 제 1 기술적인 팩터에 대한 관련성 조정 지수를 수정하는 단계는 상기 사용자가 상기 아이템을 포스팅하였을 경우에는 수행되지 않는
컴퓨터 판독가능한 매체.
제 11 항에 있어서,
상기 아이템과 연관된 제 1 기술적인 팩터에 대한 관련성 조정 지수는 상기 사용자에 의해 입력된 검색 쿼리에 대해서만 유효한
컴퓨터 판독가능한 매체.
제 11 항에 있어서,
상기 컴퓨터 명령어들은 상기 사용자에 의해 선택되지 않은 상기 검색 결과 아이템들의 세트 내의 아이템과 연관된 제 2 기술적인 팩터에 대한 관련성 조정 지수를 수정하는 단계를 더 구현하되,
상기 조정은 상기 사용자의 평판 스코어와 상관되는
컴퓨터 판독가능한 매체.
제 17 항에 있어서,
상기 제 2 기술적인 팩터는 하나보다 많은 아이템에 존재하며 상기 사용자에 의해 선택된 상기 아이템에는 존재하지 않는
컴퓨터 판독가능한 매체.
제 11 항에 있어서,
상기 관련성 조정 지수는 검색 결과 아이템들의 관련성 스코어를 조정하는 데에 사용되는
컴퓨터 판독가능한 매체.
제 11 항에 있어서,
상기 검색 결과 아이템들은 온라인 매장에서의 판매용 아이템들을 포함하는
컴퓨터 판독가능한 매체.