KR101955649B1

KR101955649B1 - 이미지 특징 데이터 추출 및 사용

Info

Publication number: KR101955649B1
Application number: KR1020187005651A
Authority: KR
Inventors: 아누라그 바르드와즈; 웨이 디; 무하매드 라페이 하미드; 로빈슨 피라무수; 닐라칸탄 선다레산; 비그네쉬 자가디쉬
Original assignee: 이베이 인크.
Priority date: 2011-09-30
Filing date: 2012-09-29
Publication date: 2019-03-07
Also published as: US20230316575A1; US20140201028A1; CA2960234A1; AU2012315625A8; US8798363B2; KR20140066789A; KR20190025070A; US11682141B2; US9607248B2; US9886653B2; KR102072339B1; US10740660B2; US20130084000A1; KR20230044329A; AU2012315625A1; CA2850020A1; US20130084001A1; US8737729B2; KR102244561B1; WO2013049736A1

Abstract

이미지의 이미지 특징 데이터를 얻기 위한 장치와 방법이 본원에 개시되어 있다. 이미지의 컬러 히스토그램이 이미지로부터 추출되는데, 컬러 히스토그램의 추출은 1차원 컬러 공간, 2차원 컬러 공간 및 3차원 컬러 공간의 각각에 이미지를 포함하는 픽셀의 일차원 샘플링을 수행하는 것을 포함한다. 이미지에 대응하는 에지 맵을 분석하여 이미지에 포함된 패턴을 검출한다. 패턴 검출의 신뢰도 레벨이 사전 정의된 임계값 미만인 것에 응답하여 이미지의 방향 히스토그램을 이미지로부터 추출한다. 그리고 이미지의 지배적 컬러를 식별한다.

Description

이미지 특징 데이터 추출 및 사용{IMAGE FEATURE DATA EXTRACTION AND USE}

관련 출원의 교차 참조

본 출원은 2012년 9월 28일자 출원(대리인 번호 2043.A02US1)되었으며, 발명의 명칭이 "이미지로부터 이미지 특징 데이터의 추출"인 미국 특허 출원 제 13/631,833호의 우선권을 주장하고 있으며, 이 특허 출원을 포함하여 하기의 출원들을 본 명세서에서 그 전체를 참조문헌으로 인용한다.

2012년 9월 28일자 출원(대리인 번호 2043.B68US1)되었으며, 발명의 명칭이 "이미지 특징 데이터를 사용한 품목 추천"인 미국 특허 출원 제13/631,842호.

2012년 9월 28일자 출원(대리인 번호 2043.B69US1)되었으며, 발명의 명칭이 "이미지 특징을 이용한 보상 품목 추천"인 미국 특허 출원 제13/631,839호.

2012년 9월 28일자 출원(대리인 번호 2043.B70US1)되었으며, 발명의 명칭이 "이미지 특징 데이터를 기반으로 재 랭킹 품목 추천"인 미국 특허 출원 제13/631,849호.

2012년 9월 28일자 출원(대리인 번호 2043.B71US1 )되었으며, 발명의 명칭이 "이미지 특징 데이터를 갖는 질의 이미지의 획득과 사용"인 미국 특허 출원 제13/631,848호.

2011년 9월 30일자 출원된 미국 가출원 제61/541,970호.

2011년 11월 2일자 출원된 미국 가출원 제61/554,890호.

2011년 12월 5일자 출원된 미국 가출원 제61/567,050호.

기술분야

본 발명은 전반적으로 이미지 인식 및 이미지 인식으로부터 얻은 이미지 데이터의 사용에 관한 것이다.

이미지는 정보를 더욱 효과적으로 전달하거나, 특히 이미지를 보는 사용자의 관점에서, 텍스트로 가능하지 않게 전달하거나, 또는 전자 상거래 (e-커머스)를 용이하게 하기 위해 사용될 수 있다. 그러나, 이미지에 담긴 정보의 재산에 따라 이미지를 사용하기 위하여, 이미지 프로세싱은 이미지 속성을 추출하거나, 식별하거나, 또는 달리 인식하기 위해 수행된다. 일단 추출된 이미지 데이터는 다양한 애플리케이션에서 사용될 수 있다. 특정 애플리케이션(들)에 따라, 이미지 프로세싱의 특정 유형은 다른 프로세싱을 통해 구현될 수 있다. 일부 예에서는 본 이미지 프로세싱 알고리즘이 불충분할 수 있다.

일부 실시예는 예시적인 것이며, 첨부 도면을 제한하는 것은 아니다.
도 1은 일부 실시예에 따라서, 이미지 프로세싱을 수행하고, 이미지 프로세싱으로부터 얻은 이미지 특징 데이터를 사용하기 위한 예시적인 시스템을 예시한 네트워크 다이어그램이다.
도 2는 일부 실시예에 따라서, 도 1의 시스템 내에 제공되는 구성 요소를 예시한 블록도이다.
도 3은 일부 실시예에 따라서, 이미지 프로세싱과, 모듈 및 라이브러리/데이터 구조/데이터베이스에서 구현된 이미지 데이터 사용 기능/동작을 예시한 블록도이다.
도 4는 일부 실시예에 따라서, 이미지 프로세싱과, 도 3의 모듈에 의해 구현된 이미지 일치 결정을 위한 예시적인 흐름도이다.
도 5a는 적색, 녹색, 청색(RGB) 이미지의 샘플 수단뿐만 아니라 복수개의 드레스 이미지 각각에 대해 배경 제거 후 마스크 샘플 수단을 설명하는 도면이다.
도 5b 및 도 5c는 일부 실시예에 따라서, 의류 이미지와 해당 샘플링 마스크를 설명하는 도면이다.
도 5d는 일부 실시예에 따라서, 제공된 의류 품목 이미지를 위한 예시적인 컬러 히스토그램을 설명하는 도면이다.
도 5e 및 도 5f는 일부 실시예에 따라서, HSV, LUV, YC_bC_r 및 Lab 컬러 공간을 설명하는 도면이다.
도 5g는 일부 실시예에 따라서, 이미지 샘플링 HSV 컬러 공간의 축을 따른 빈의 사용을 설명하는 도면이다.
도 5h는 일부 실시예에 따라서, 멀티 컬러 드레스의 이미지 목록에 대응하는 예시적인 누적형 1D 히스토그램을 설명하는 도면이다.
도 5i는 일부 실시예에 따라서, 패턴을 검출하기 위한 이미지의 프로세싱을 설명하는 도면이다.
도 5j는 일부 실시예에 따라서, 방향 히스토그램을 생성하기 위한 이미지의 프로세싱을 설명하기 위한 도면이다.
도 5k는 일부 실시예에 따라서, 컬러 공간 플롯을 사용하여 예시적인 지배적 컬러 결정을 설명하는 도면이다.
도 6 내지 도 8은 일부 실시예에 따라서, 도 4의 흐름도의 부가 상세를 설명하는 도면이다.
도 9a는 일부 실시예에 따라서, 일치 단계의 하이-레벨의 블록도이다.
도 9b는 일부 실시예에 따라서, 일치 단계와 관련된 사용자 인터페이스(UI) 스크린을 설명하는 도면이다.
도 10은 일부 실시예에 따라서, 재 랭킹 동작을 수행하기 위한 예시적인 흐름도이다.
도 11은 일부 실시예에 따라서, 상보 결과를 제공하기 위해 추천 방안의 확립에 관련된 예시적인 흐름도이다.
도 12는 일부 실시예에 따라서, 질의 이미지에 응답하여 추천/상보 결과의 예 (부분)를 설명하는 도면이다.
도 13은 일부 실시예에 따라서, 재고 품목의 전자 상거래 또는 온라인 시장에 관련되지 않은 웹사이트에서 전자 상거래 또는 온라인 시장에 의해 제공된 재고 품목 추천의 예를 설명하는 흐름도이다.
도 14a 내지 도 14e는 일부 실시예에 따라서, 도 13의 흐름도의 실시에 관한 UI 스크린의 예를 설명하는 도면이다.
도 15는 도 13 및 도 14a 내지 도 14e와 관련하여 추천 데이터를 계산하고 제공하기 위해 네트워크 시스템에 의해 수행되는 동작의 예를 설명하는 흐름도이다.
도 16은 일부 실시예에 따라서, 도 4, 도 6 내지 도 8, 도 10, 도 11, 도 13 및 도 15의 방법론 중 하나 이상을 머신이 수행하도록 하기 위한 인스트럭션 세트 내의 컴퓨터 시스템의 예시적인 형태에서 머신의 도식적인 표현을 설명하는 도면이다.
본 발명에서 제공하는 제목은 편의를 위한 것이지 사용된 용어의 의미나 범주에 영향을 주지 않는다.

본 명세서에 상세하게 설명하고자 하는 것은 입력 이미지로부터 이미지 특징을 추출하고, 이미지 특징 데이터를 다양하게 이용하기 위한 장치와 방법이다. 이미지 특징은 입력 이미지에 대응하는 컬러 히스토그램(histogram), 패턴 식별, 지배적(dominant) 컬러 및/또는 방향 히스토그램을 포함하지만 여기에 제한되지는 않는다. 입력 이미지는 적어도 컬러 및/또는 패턴, 또는 전자 상거래 사이트 또는 온라인 시장과 제휴하지 않은 웹 사이트 또는 웹 페이지에 포함된 이미지를 포착하기 위해 사용자가 찍은 사진을 포함한다. 추출된 이미지 특징 데이터는 입력 이미지를 일치시키거나 및/또는 상보시키는 전자 상거래 사이트 또는 온라인 시장에서 판매용으로 제공된 품목을 추천하는데 사용된다. 입력 이미지에 대한 이미지 특징 데이터의 신뢰도 수준은 비교 대상 재고 품목의 이미지 특징 데이터의 특정 형식을 결정한다. 일부 실시예에서, (초기)추천 결과를 보는 중에 사용자 선호 표시는 입력 이미지 내에서 사용자의 실제 관심 특징(들)을 더욱 만족시키기 위하여 추천 결과 품목리스트 순서의 재정렬을 용이하게 해준다. 일부 실시예에서, 하나 이상의 소스는 현재 패션 경향 및/또는 컬러 조합 데이터(예를 들면, 구매 행위 데이터, 전문 지식 데이터, 소셜 네트워크 데이터)를 구하는 데 사용된다. 패션 경향 및/또는 컬러 조합 데이터는 입력 이미지에 상보 품목을 결정하는데 사용하기 위한 하나 이상의 상보 규칙으로 분류된다.

예시적인 실시예에 대한 다양한 변형은 당업자에게 용이하게 명백할 것이며, 본원에서 정의된 일반적인 원리는 본 발명의 범주 내에서 다른 실시예 및 애플리케이션에 적용될 수 있다. 또한, 다수의 세부 사항이 설명할 목적으로 하기의 설명에 개시된다. 그러나, 당업자는 본 발명이 이들 특정 세부 사항 없이도 실시될 수 있다는 것을 이해할 것이다. 다른 예에서, 공지된 구조 및 프로세스는 불필요한 세부 사항으로 본 발명의 설명을 모호하게 하지 않기 위해 블록도에 도시되어 있지 않다. 따라서, 본 발명은 도시된 실시예에 한정되는 것으로 의도하고 있지는 않으나, 본 명세서에 기술된 원리 및 특징에 부합하는 가장 넓은 범주에 따르는 것으로 의도하고 있다.

도 1은 일부 실시예에 따라서 이미지 프로세싱을 수행하고, 이미지 프로세싱으로부터 얻은 이미지 특징 데이터를 사용하기 위한 예시적인 시스템(100)을 묘사한 네트워크 다이어그램을 도시한 것이다. 네트워크 시스템(102)은 서버 측 기능을 네트워크(104)(예를 들어, 인터넷 또는 광역 네트워크(WAN))를 통해 하나 이상의 클라이언트 및 디바이스에 제공하는 네트워크 기반 간행물을 구성한다. 도 1은 디바이스 머신(110, 112) 상에서 실행되는 예로서 웹 클라이언트(106)(예를 들어, 웹 브라우저) 및 프로그램적 클라이언트(108)를 추가 도시하고 있다. 일 실시예에서, 간행 시스템(100)은 시장 시스템을 포함한다. 다른 실시예에서, 간행 시스템(100)은 소셜 네트워킹 시스템, 일치 시스템, 추천 시스템, 전자 상거래 (e-커머스) 시스템 등과 같은 다른 종류의 시스템을 포함하지만 여기에 한정되지는 않는다.

컴퓨터 장치(110)의 각각은 적어도 하나의 디스플레이와, 네트워크 시스템(102)에 액세스하기 위한 네트워크(104)와의 통신 능력을 포함하는 컴퓨팅 장치를 포함한다. 디바이스 머신(110, 112)은 원격 디바이스, 워크 스테이션, 컴퓨터, 범용 컴퓨터, 인터넷 가전 제품, 핸드 헬드 디바이스, 무선 디바이스, 휴대용 디바이스, 착용식 컴퓨터, 휴대 또는 이동 전화, 휴대용 디지털 단말기(PDA), 스마트 폰, 태블릿, 울트라 북, 넷북, 노트북, 데스크탑, 멀티 프로세서 시스템, 마이크로 프로세서 기반 또는 프로그램 가능한 소비자 전자 제품, 게임 콘솔, 셋톱 박스, 네트워크 PC, 미니 컴퓨터 등을 포함하지만 이에 한정되는 않는다. 디바이스 머신(110, 112)의 각각은 유선 또는 무선 접속을 통해 네트워크(104)와 접속될 수 있다. 예를 들어, 네트워크(104)의 하나 이상의 부분은 애드혹 네트워크, 인트라넷, 엑스트라 넷, 가상 사설 네트워크(VPN), 근거리 통신 네트워크(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 대도시 영역 네트워크 (MAN), 인터넷 부, 공중전화 교환 네트워크 부(PSTN), 휴대전화 네트워크, 무선 네트워크, 와이파이 네트워크, 와이맥스 네트워크, 네트워크의 다른 유형, 또는 이상의 네트워크들의 조합일 수 있다.

디바이스 머신(110, 112) 각각은 웹 브라우저. 메시징 애플리케이션, 전자 메일(이메일) 애플리케이션, 전자 상거래 사이트 애플리케이션(또한 시장 애플리케이션이라 함) 등과 같은 애플리케이션(또한 앱스로도 인용됨)을 포함하나 이에 한정되지는 않는다. 일부 실시예에서, 전자 상거래 사이트 애플리케이션이 디바이스 머신(110, 112) 중 소정의 하나에 포함되는 경우, 상기 애플리케이션은 로컬로 이용 가능하지 않는(예를 들어, 결재 등의 방법을 확인하기 위한 사용자 인증을 위해 판매에 이용 가능한 품목의 데이터베이스에 액세스하는 것) 데이터 및/또는 프로세싱 능력에 대해서 필요에 따라 네트워크 시스템(102)과 통신하도록 구성된 애플리케이션에 사용자 인터페이스 및 적어도 기능의 일부를 로컬로 제공하도록 구성된다. 반대로, 전자 상거래 사이트 애플리케이션이 디바이스 머신(110, 112) 중 소정의 하나에 포함되지 않으면, 디바이스 머신(110, 112) 중 상기 소정의 하나는 해당 웹 브라우저를 사용하여 네트워크 시스템(102) 상에서 호스트된 전자 상거래 사이트(또는 그의 변형)에 액세스할 수 있다. 도 1에는 두 개의 디바이스 머신(110, 112)이 도시 되어 있지만, 이보다 많거나 적은 디바이스 머신이 시스템(100)에 포함될 수 있다.

애플리케이션 프로그램 인터페이스(API) 서버(114)와 웹 서버(116)는 하나 이상의 애플리케이션 서버(118)에 결합되어 프로그램적 및 웹 인터페이스 각각을 상기 서버(118)에 제공한다. 애플리케이션 서버(118)는 하나 이상의 시장 애플리케이션(120) 및 결제 애플리케이션(122)을 호스팅한다. 애플리케이션 서버(118)는 차례로 하나 이상의 데이터베이스(126)에 대한 액세스를 용이하게 해주는 하나 이상의 데이터베이스 서버(124)에 결합되는 것으로 도시되어 있다.

시장 애플리케이션(120)은 복수개의 전자 상거래 기능과 서비스를 네트워크 시스템(102)에 액세스하는 사용자에게 제공할 수 있다. 전자 상거래 기능/서비스는 복수개의 간행 기능과 서비스(예를 들어, 검색, 목록 작성, 내용보기, 결제 등)를 포함할 수 있다. 예를 들면, 시장 애플리케이션(120)은 상품 및/또는 서비스의 목록을 만들거나, 또는 상품 제공 및/또는 판매 서비스를 제공하고, 상품 및 서비스를 검색하며, 거래를 촉진하고, 그리고 거래와 사용자에 관련된 피드 백을 검토하고 제공하기 위한 복수개의 서비스와 기능을 사용자에게 제공할 수 있다. 또한, 시장 애플리케이션(120)은 목록, 거래 및 사용자 상호작용에 관련된 데이터 및 메타데이터를 추적하고 저장할 수 있다. 일부 실시예에서, 시장 애플리케이션(120)은 간행되거나 또는 이와는 달리 애플리케이션 서버(118) 및/또는 데이터베이스 서버(124)에 액세스 가능한 애플리케이션 서버(118)나 또는 데이터베이스(126)에 저장된 콘텐츠 품목에 대한 액세스를 제공할 수 있다. 마찬가지로, 결제 애플리케이션(122)은 사용자에게 복수개의 결제 서비스 및 기능을 제공할 수 있다. 결제 애플리케이션(122)은 사용자가 장부상 대가(예를 들어, 미화 달러와 같은 상용 통화 또는 포인트와 같은 독자 통화)를 누적하게 할 수 있고, 시장 애플리케이션(120)을 통해 이용 가능한 생산품 또는 품목(예를 들어, 상품이나 서비스)에 대한 누적 대가를 현금화할 수 있게 한다. 시장 및 결제 애플리케이션(120, 122)은 모두 네트워크 시스템(102)의 일부를 구성하기 위해 도 1에 도시되어 있지만, 대안의 실시예에서는, 결제 애플리케이션(122)이 네트워크 시스템(102)으로부터 분리되고 별개인 결제 서비스의 일부를 형성할 수 있다는 것을 이해할 것이다. 다른 실시예에서, 결제 애플리케이션(122)은 시스템 (100)에서 생략될 수 있다. 일부 실시예에서, 결제 애플리케이션 (120)의 적어도 일부는 디바이스 머신(110 및/또는 112)에 제공될 수 있다.

또한, 도 1에 도시된 시스템(100)은 클라이언트-서버 아키텍처를 채택하고 있지만, 본 발명의 실시예들은 이러한 아키텍쳐에 한정되지 않고 예를 들어, 분산형 또는 피어 투 피어(peer to peer) 아키텍쳐 시스템에 동일하게 용도를 찾을 수 있다. 다양한 시장 및 결제 애플리케이션(120, 122)은 또한 반드시 네트워킹 기능을 가질 필요가 없는 독립형 소프트웨어 프로그램으로서 구현될 수 있다.

웹 클라이언트(106)는 웹 서버(116)에 의해 지원된 웹 인터페이스를 통해 다양한 시장과 결제 애플리케이션(120,122)에 액세스한다. 유사하게, 프로그램적 클라이언트(108)는 API 서버(114)에 의해 제공된 프로그램적 인터페이스를 통해 시장 및 결제 애플리케이션(120, 122)에 의해 제공된 다양한 서비스와 기능에 액세스한다. 프로그램적 클라이언트(108)는 예를 들어, 판매자 애플리케이션(예를 들면, 캘리포니아, 산호세의 eBay Inc에 의해 개발된 TurboLister애플리케이션)일 수 있어서 판매자가 오프-라인 방식으로 네트워크 시스템(102) 상에서 목록을 작성하고 관리할 수 있으며, 프로그램적 클라이언트(108)와 네트워크 시스템(102) 사이의 배치 모드 (batch-mode) 통신을 수행할 수 있다.

도 1은 또한 API 서버(114)에 의해 제공되는 프로그램적 인터페이스를 통해 네트워크 시스템(102)에 프로그램적 액세스를 갖는 것으로서, 제3자 서버 시스템(130) 상에서 실행되는 제3자 애플리케이션(128)을 도시한 것이다. 예를 들어, 제3자 애플리케이션(128)은 네트워크 시스템(102)으로부터 검색된 정보를 이용하여 제3자에 의해 호스팅되는 웹 사이트 상에서 하나 이상의 특징 또는 기능을 지원할 수 있다. 제3자 웹 사이트는 예를 들면, 네트워크 시스템(102)의 해당 애플리케이션에 의해 지원되는 하나 이상의 판촉 시장 또는 결제 기능을 제공할 수 있다.

도 2는 일부 실시예에 따라서 네트워크 시스템(102) 내에 제공된 구성 요소를 블록도로 도시한 것이다. 네트워크 시스템(102)은 서버 머신 사이의 통신을 가능하게 통신적으로 결합되어 있는 전용 또는 공유 서버 머신(도시하지 않음) 상에서 호스팅될 수 있다. 구성 요소 자체는 서로 통신적으로 결합(예를 들어, 적절한 인터페이스를 통해)되어 있고 또 다양한 데이터 소스에 통신 결합되어 있어서 정보가 애플리케이션 사이를 통과할 수 있거나, 또는 애플리케이션이 공유되어 공통 데이터에 액세스될 수 있도록 되어 있다. 또한, 구성 요소는 데이터 서버(128)를 통해 하나 이상의 데이터베이스(126)에 액세스될 수 있다.

네트워크 시스템(102)은 다수의 간행, 목록 및/또는 가격설정 메커니즘을 제공하여 판매자(또한 첫 번째 사용자라고 함)가 판매 또는 물물교환용 상품이나 서비스를 목록(또는 관련 정보의 간행)으로 작성할 수 있고, 구매자(또한 두 번째 사용자라고 함)는 그와 같은 상품 또는 서비스를 구입하거나 물물교환하기 위해 관심을 표명하거나 원하는 바를 표시할 수 있으며, 거래(일례로 무역)는 해당 상품 또는 서비스에 관해서 완료될 수 있다. 이를 위해, 네트워크 시스템(102)은 적어도 하나의 간행 엔진(202) 및 하나 이상의 판매 엔진(204)을 포함할 수 있다. 간행 엔진(202)은 네트워크 시스템(102) 상에서 리스트로 작성된 품목 등의 정보나 제품 설명 페이지를 간행할 수 있다. 일부 실시예에서, 판매 엔진(204)은 고정 가격 목록 및 가격 설정 메커니즘을 지원하는 하나 이상의 고정 가격 엔진과, 경매 형식 목록 및 가격 설정 메커니즘(예를 들어, 영국, 네덜란드, 중국, 곱 경매, 역경매 등)을 지원하는 하나 이상의 경매 엔진을 포함할 수 있다. 또한, 다양한 경매 엔진은 예비 가격 특징과 같은 경매 형식 목록을 지원하는 특징을 다수 제공하여 판매자가 목록 작성 및 대리 입찰 특징과 관련하여 예비 가격을 지정할 수 있고, 입찰자는 자동화된 대리 입찰을 호출할 수 있다. 판매 엔진(204)은 제품 및 서비스에 대한 상인에 의한 제안을 지원하는 하나 이상의 거래 엔진을 더 포함할 수 있다.

목록 작성 엔진(206)은 판매자가 품목의 목록을 간편하게 작성하거나, 작성자가 간행물을 간편하게 작성할 수 있도록 해준다. 일 실시예에서, 목록은 사용자(예로서 판매자)가 네트워크 시스템(102)을 통해 거래하고자 하는 상품이나 서비스에 관련되어 있다. 일부 실시예에서, 목록은 제안, 거래, 쿠폰 또는 상품이나 서비스의 할인이 될 수 있다. 각각의 상품이나 서비스는 특정 카테고리와 관련되어 있다. 목록 작성 엔진(206)은 제목, 설명 및 표시 양상 이름(aspect name)/값 쌍으로 된 가격과 같은 데이터 목록을 받을 수 있다. 또한, 상품이나 서비스를 위한 각각의 목록은 품목 식별자를 할당할 수 있다. 다른 실시예에서, 사용자는 광고 또는 정보 간행물의 다른 형태의 목록을 만들 수 있다. 목록 정보는 네트워크 시스템(102)(예로서, 데이터베이스(126))에 결합된 하나 이상의 저장 디바이스에 저장될 수 있다. 목록은 또한 제품과 제품에 관련된 정보(예를 들면, 제품 제목, 사양, 평가)를 표시하는 제품 설명 페이지를 포함할 수 있다. 일부 실시예에서, 제품 설명 페이지는 제품 설명 페이지에 설명된 제품에 해당하는 품목 목록의 집계를 포함할 수 있다.

목록 작성 엔진(206)은 구매자가 구입하고자 하는 품목이나 품목 요청을 간편하게 작성할 수 있도록 해준다. 일부 실시예에서, 목록은 사용자(예로서 구매자)가 네트워크 시스템(102)을 통해 거래하고자 하는 상품이나 서비스에 관련되어 있다. 상품이나 서비스의 각각은 특정 카테고리에 연관되어 있다. 목록 작성 엔진(206)은 구매자가 요청된 품목에 대해서 알고 있는 제목, 설명 및 표시 양상 이름/값 쌍으로 된 가격과 같은 목록 데이터를 더 많이 또는 더 적게 수신할 수 있다. 일부 실시예에서, 목록 작성 엔진(206)은 구매자의 제출 품목 정보를 분석할 수 있으며, 목록의 불완전한 부분을 마무리할 수 있다. 구매자가 요청된 품목에 대한 간략한 설명을 제공하는 경우, 예를 들어, 목록 작성 엔진(206)은 설명을 분석하고 주요 용어를 추출하여 이들 용어를 품목의 확인 판단하는데 사용할 수 있다. 판단된 품목 확인을 이용하여, 목록 작성 엔진(206)은 구매자 품목 요청에 포함시키기 위하여 부가 품목 세부사항을 검색할 수 있다. 일부 실시예에서, 품목 엔진(206)은 상품이나 서비스에 대한 각각의 목록에 품목 식별자를 할당할 수 있다.

일부 실시예에서, 목록 작성 엔진(206)은 판매자가 제품이나 서비스에 할인 제안을 낼 수 있도록 해준다. 목록 작성 엔진(206)은 제안되는 제품이나 서비스, 제품이나 서비스의 가격 및/또는 할인, 제안이 유효한 기간 등과 같은 목록 데이터를 수신할 수 있다. 일부 실시예에서, 목록 작성 엔진(206)은 판매자가 판매자의 이동 디바이스로부터 제안을 생성시키도록 해준다. 생성된 제안은 저장과 추적을 위해 네트워크 시스템(102)에 업로드될 수 있다.

네트워크 시스템(102)을 검색하는 것은 검색 엔진(208)에 의해 용이하게 된다. 예를 들어, 검색 엔진(208)은 네트워크 시스템(102)을 통해 키워드 질의 목록을 간행할 수 있게 해준다. 예시적인 실시예에서, 검색 엔진(208)은 사용자의 디바이스로부터 키워드 질의를 수신하고, 목록 정보를 저장하는 저장 디바이스의 검토를 실행한다. 검토는 분류되어 사용자의 클라이언트 디바이스(예로서, 디바이스 머신(110, 112))로 복귀되는 목록 세트의 결과를 편집할 수 있게 해준다. 검색 엔진(308)은 질의(예로서, 키워드)와 결과적인 사용자 액션 및 행위(예로서, 네비게이션)을 기록할 수 있다.

검색 엔진(208)은 또한 사용자의 위치에 기반하여 검색을 실행할 수 있다. 사용자는 이동 디바이스를 통해 검색 엔진(208)에 액세스할 수 있고, 검색 질의를 생성시킬 수 있다. 검색 질의와 사용자 위치를 이용하여, 검색 엔진(208)은 제품, 서비스, 제안, 경매 등에 대한 관련 검색 결과를 사용자에게 복귀시킬 수 있다. 검색 엔진(208)은 목록 형식과 그래픽 지도에서 모두 관련 검색 결과를 확인할 수 있다. 지도에 그래픽 표시기를 선택하는 것은 선택한 검색 결과에 대한 부가적인 정보를 제공할 수 있다. 일부 실시예에서, 사용자는 검색 결과를 제한하기 위해 사용자의 현재 위치로부터의 반경 또는 거리를 검색 질의의 일부로서 지정할 수 있다.

검색 엔진(208)은 또한 이미지를 기반으로 검색을 실행할 수 있다. 이미지는 카메라 또는 클라이언트 디바이스의 이미지 구성 요소로부터 취득될 수 있거나, 또는 저장된 것으로부터 액세스될 수 있다.

또 다른 예에서, 네비게이션 엔진(210)은 다양한 카테고리, 카탈로그, 또는 네트워크 시스템(102) 내에서 분류될 수 있는 품목에 따른 재고 데이터 구조를 통해 사용자가 탐색할 수 있도록 해준다. 예를 들어, 네비게이션 엔진(210)은 특정 세트의 목록이 도달할 때까지 사용자가 카테고리의 계층 구조(예를 들어, 카테고리 트리 구조)를 포함하는 카테고리 트리를 연속적으로 탐색할 수 있게 해준다. 네비게이션 엔진(210) 내의 다양한 다른 네비게이션 애플리케이션은 검색 및 브라우징 애플리케이션을 보충하기 위해 제공될 수 있다. 네비게이션 엔진(210)은 카테고리 트리를 탐색하기 위해 사용자에 의해 수행되는 다양한 사용자 동작(예를 들어, 클릭 수)을 기록할 수 있다. .

네트워크 시스템(102)과 연관된 추가적인 모듈 및 엔진은 이하에 추가로 설명되어 있다. 모듈이나 엔진은 하기의 상세한 설명의 다양한 양태를 실시할 수 있음을 인지해야 한다.

도 3은 일부 실시예에 따라서, 모듈 및 라이브러리/데이터 구조/데이터베이스에서 구현되는 이미지 프로세싱 및 이미지 데이터 사용 기능/동작을 나타내는 블록도이다. 모듈은 하나 이상의 소프트웨어 구성 요소, 프로그램, 애플리케이션, 앱스, 또는 애플리케이션 서버(118), 디바이스 머신(110 및/또는 112)에 포함된 하나 이상의 프로세서에 의해 실행되도록 구성된 인스트럭션이나 코드 베이스의 다른 유닛을 포함한다. 모듈은 이미지 포착 모듈(302), 견본 추출 모듈(304), 컬러 히스토그램 모듈(306), 패턴 모듈(308), 인덱싱 모듈(310), 방향 히스토그램 모듈(312), 지배적 컬러 모듈(314), 비교 모듈(316), 재 랭크 모듈(318), 상보 모듈(320), 브라우저 플러그인 모듈(322) 및 사용자 관심 검출 모듈(324)을 포함한다. 모듈(302-324)은 재고 데이터베이스(300) 및 이미지 목록 데이터베이스(301)의 각각과 통신할 수 있는데, 데이터베이스(300, 301)는 데이터베이스(126)에 포함될 수 있다. 모듈(302-324)은 도 3에서 뚜렷이 구분되는 모듈로서 도시되어 있지만, 모듈(302-324)은 도시된 것보다 적거나 더 많은 모듈로서 구현될 수 있다는 것을 이해해야 한다. 또한 모듈(302-324)은 데이터베이스 서버(124), 애플리케이션 서버(118), 3자 서버(130), 디바이스 머신(110 또는 112)와 같은 시스템 (100)에 포함된 하나 이상의 구성 요소와 통신할 수 있다는 것을 이해해야 한다. 마찬가지로, 데이터베이스(300, 301)는 도 3에 뚜렷이 구분되게 도시되어 있다. 그러나, 데이터베이스(300,301)의 콘텐츠는 도시된 것보다 많거나 적은 데이터베이스에 저장될 수 있는 것으로 이해해야 한다.

일부 실시예에서, 모듈(302-324) 중 하나 이상은 컴퓨팅 장치 타입에 적절한 전자 상거래 사이트로부터 다운로드된다. 예를 들면, 디바이스 머신(110 또는 112) 이 IOS 형 디바이스 (예를 들어, 아이폰 또는 아이패드)를 포함하는 경우, 모듈(전자 상거래 사이트 앱의 일부로서 패키징될 수 있다)은 아이튠즈로부터 다운로드될 수 있다. 마찬가지로, 디바이스 머신(110 또는 112))이 안드로이드 타입의 디바이스를 포함하는 경우, 모듈은 안드로이드 시장에서 다운로드 받을 수 있다. 디바이스 머신(110 및/또는112)은 원격지(예를 들어, 데이터베이스(126), 데이터베이스 서버(124), API 서버(114), 웹 서버(116))에서 서버 또는 데이터베이스와 통신할 수 있는 기능을 가져서 하기에 상세히 설명한 바와 같이 이미지 포착, 이미지 프로세싱 및 이미지 프로세싱으로부터의 이미지를 사용하는 것을 용이하게 해주는 데이터 및/또는 프로세싱 기능에 액세스할 수 있게 된다.

다른 실시예에서, 모듈(302-324) 중 하나 이상은 애플리케이션 서버(118) 상에 호스팅될 수 있고, 디바이스 머신(110, 112) 상에는 모듈의 다운로드가 요구되지 않는다. 그 대신에, 모듈은 네트워크(104) 상의 웹 브라우저를 이용하여 디바이스 머신(110, 112)에 의해 액세스될 수 있다. 또 다른 실시예에서, 일부 모듈은 디바이스 머신(110, 112)에 포함될 수 있는 반면에, 다른 모듈은 애플리케이션 서버(118)에 포함될 수 있는데, 디바이스 머신(110, 112)은 애플리케이션 서버(118)와 통신하여 함께 적절한 기능을 제공한다.

도 4는 도 3의 모듈에 의해 구현된 이미지의 일치 판단과 이미지 프로세싱을 위한 예시적인 흐름도(400)를 도시한 것이다. 일부 실시예에 따라서, 흐름도(400)의 동작은 네트워크 시스템(102)(예를 들어, API 서버(114), 웹 서버(116) 또는 애플리케이션 서버(118))에 포함된 디바이스 머신(110, 112) 및/또는 서버에 의해 수행될 수 있다. 흐름도(400)의 동작과 기능은 두 단계, 즉, 색인 단계(440)와 일치 단계(442)로 분류될 수 있다. 색인 단계(440)는 이미지 특징 데이터를 얻기 위해 예로서 애플리케이션 서버(118)에 의해 재고 이미지(재고 데이터베이스(300)에 저장된 판매를 위해 제안된 품목에 대응하는 이미지)를 오프라인 이미지 프로세싱하는 것을 포함한다. 얻어진 이미지의 특징 데이터는 이미지 색인 데이터베이스(301)에 색인될 수 있고, 이어서 일치 단계 동안 빠른 검색을 위해 사용될 수 있다. 일부 실시예에서, 재고 이미지는 하나 이상의 배치(batch)로 처리될 수 있다. 재고 품목(예를 들어, 의류, 직물, 침구, 신발, 가방 등)의 특정 카테고리의 모든 이미지는 컬러 분포, 지배적 컬러, 방향 히스토그램, 패턴, 품목 카테고리 등과 같은 이미지 특징/속성에 기반하여 색인된다. 색인 단계(440)가 완료되면, 일치 단계(442)가 이미지(질의 이미지라 함)를 포함하는 질의의 수신에 의해 트리거(trigger)될 수 있다. 이미지 목록 데이터베이스(301)는 가장 일치하는 재고 이미지(들)를 찾기 위해 액세스될 수 있다. 이러한 재고 이미지(들)는 질의 이미지와 일치하는 결과로 나타난다. 블록(402a-420a)은 색인 단계(440)에 관련되고, 블록(402b-430b)은 일치 단계(442)에 관련된다. 색인 단계(440) 동작은 일치 단계(442) 동작에 이어서 이하에 우선 설명되어 있다.

블록(402a)에서, 색인 단계(440)에 대해 네트워크 시스템(102)(예를 들면, 애플리케이션 서버(118))는 재고 데이터베이스(300)로부터 재고 이미지를 검색한다. 재고 데이터베이스(300)는 전자 상거래 또는 시장 시스템(100)에 의해 판매(또는 목록으로 작성)용으로 제안된 각 품목에 대한 정보가 포함하고 있다. 판매용으로 제안된 각 품목의 정보는 하나 이상의 품목 이미지, 상품 설명, 가격, 브랜드와 모델 이름, 판매자 정보 등을 포함하지만 이에 한정되지는 않는다. 재고 이미지는 의류, 직물, 침구, 신발, 가방, 덮개, 전자 제품, 가정 및 정원, 또는 수집품과 같은 카테고리 중 어느 한 품목에 해당하지만 이에 한정되지는 않는다. 본원에서는 하나의 재고 이미지 상에서 취한 동작을 설명하고 있지만, 복수개의 재고 이미지가 다른 배치 작업에서 동시에 처리할 수 있는 것으로 이해해야 한다. 주어진 하나의 재고 이미지 상에서 취한 동작은 설명의 편의를 위해서다.

블록(404a)에서, 견본 추출 모듈(304)은 검색된 재고 이미지 상에서 견본 추출을 식별하고 수행하도록 구성되어 있다. 재고 이미지가 열악한 조명, 낮은 명암대비 및/또는 혼란스런 배경을 갖는 것은 흔한 일이다. 이와 같이 재고 품목이 이상적 사진보다 떨어지게 되면, 특징 정보를 포착하기 어렵게 된다. 이러한 단점을 보완하기 위하여, 재고 이미지의 중앙부가 특징 추출을 수행하는데 사용된다. 재고 이미지의 중앙 부분은 재고 이미지의 다른 부분보다 재고 품목을 포함할 가능성이 높다. 배경은 또한 자동으로 제거된다. 재고 이미지의 중앙부분에 놓인 샘플링 마스크(예를 들면, 사각형 영역)는 후속 특징 추출 동작에 사용하기 위해 재고 이미지의 견본 또는 일부를 식별하는데 사용된다. 샘플링 마스크는 재고 이미지의 공간 샘플링을 제공한다.

예를 들면, 의류의 재고 이미지는 샘플링 마스크 영역 내에서 정확하게 샘플링될 수 있다. 도 5a는 적색, 녹색, 청색(RGB) 이미지(502)의 샘플 수단뿐만 아니라 복수개의 드레스 이미지 각각에 대해 배경 제거(504) 후의 마스크(505)의 샘플 수단을 도시한 것이다. 마스크(505)의 샘플 수단은 각각의 드레스 이미지(소매의 길이에 따른, 즉 소매가 없는 것, 소매가 짧은 것, 소매가 긴 것 등의 드레스 스타일)에 대해 사전 공간 추정치이다. 따라서, 샘플이 이미지의 중앙 영역으로부터 취해지게 되면, 의류로부터의 샘플의 변화가 크게 된다. 중앙 샘플링 추출 방법은 복잡하고 혼란스런 배경에서도 잘 작동한다. 도 5b는 이미지가 혼란스런 배경을 갖고 있더라도 (이미지의 중앙부분에 위치한 샘플링 마스크(505)를 이용하여)적절하게 공간적으로 샘플링되는 의류 이미지를 도시한 것이다. 도 5c는 다수의 대상 사례(예를 들어, 하나의 이미지 내에서 의류 기사를 다수가 보는 것)를 포함하는 의류 이미지를 도시한 것이다. 배경이 간단한 경우에는 제거될 수 있고, 견본은 여전히 샘플링 마스크(505) 영역 내로부터 샘플링될 수 있다.

재고 이미지의 샘플링 영역이 결정되고 추출되면, 샘플링 마스크 내의 영역, 즉 상기 샘플링 영역은 다양한 이미지 특징 추출 및 식별을 위해 사용된다. 블록(506a)에서, 컬러 히스토그램 모듈(306)은 재고 이미지의 컬러 히스토그램을 추출(샘플링 마스크 영역에 포함된 정보를 이용하여)하도록 구성된다. 컬러 히스토그램의 추출은 재고 이미지에서 특징으로 된 품목의 컬러 분포의 추출 또는 식별을 포함한다.

컬러 표현의 선택은 컬러 분포의 추출에 관련이 있다. 컬러는 다양하게 표현될 수 있다. 공통 컬러 공간은 모든 컬러가 3 차원의 적색, 녹색, 청색의 3 가지 컬러 채널에 대하여 표현되는 RGB 컬러 공간이다. 그러나, RGB 컬러 공간으로 이미지에 조명 변화를 주는 것은 컬러가 사용자에게 단일/동일 컬러로 인지될지라도 3가지 컬러 채널에 영향을 줄 수 있다. 컬러의 한 가지 이상의 음영은 공간에 걸쳐서 조명 세기의 감쇄 또는 음영과 같은 조명 변화로 인해서 발생할 수 있다. 도 5d는 의류 품목 이미지 상의 샘플링 마스크(510)를 보여준다. RGB 컬러 공간에서 샘플링 마스크(510)의 콘텐츠에 대응하는 컬러 히스토그램이나 분포가 플롯(512)에 도시되어 있다. 샘플링 마스크(510) 내의 실제 컬러는 단일 컬러(의류 품목은 멀티 컬러가 없다)이기 때문에, 플롯(512)은 하나의 최대 값에서 단일 피크를 보여야 한다. 대신에, 플롯 (512)은 컬러의 다른 음영 또는 다른 컬러로서 RGB 컬러 공간에서 해석된 조명의 변화에 기인하여 광범위한 최대 값에 걸쳐서 다수의 피크를 나타낸다.

다른 컬러 공간은 색조, 채도 및 명암(HSV)과, 색조, 채도 및 명도/휘도(HSL)와, 색조, 채도 및 강도(HSI)와 명도, 컬러 대립 치수 및 컬러 대립 치수(Lab)와 조명(LUV)에 관한 국제 위원회에서 채택한 컬러 공간과, 그리고 휘도, 청색차 크로마(blue-difference chroma) 및 적색차 크로마(YC_bC_r)를 포함한다. Lab, LUV 및 YC_bC_r는 비선형 컬러 공간의 예이다. 2 차원 크로미넌스 공간과 단일 휘도/명도 채널에 대한 상기 컬러 공간 맵 RGB 값의 각각은 명도 변동의 대부분을 잡아낸다. 도 5e는 각각의 행에서 HSV, LUV, YC_bC_r 및 Lab 컬러 공간을 위한 2차원 크로미넌스 공간을 도시한 것이다. 각각의 열은 서로 다른 명도 레벨에서의 각각의 컬러 공간을 나타내는데, 명도 레벨은 페이지의 하단 방향에서 증가한다. 크로미넌스 공간은 HSV, LUV 및 Lab의 명도가 감소함에 따라서 어두워지지만, YC_bC_r에 대해서는 그렇지 않다. 도 5f는 HSV 컬러 공간의 다른 것을 도시한 것이다. 적색, 녹색, 청색의 반경(표준에서) 명암 V에 대해 채도는 S로 표시된다. H로 표시된 색조는 각도에 따라 다르다. 주어진 V에 대해서 환형 디스크의 영역은 S가 증가함에 따라 증가한다.

일 실시예에서, 재고 이미지(특히 재고 이미지의 샘플링 마스크 영역 내의)는 HSV 컬러 공간을 이용하여 균일하게 샘플링되거나 스캐닝된다(또한 균일한 샘플링이라 함). 이미지로부터 픽셀이 샘플링되는데, 이것은 이미지의 픽셀이 관심의 어느 추정치를 정의하는 샘플링 마스크에 의해 정의된다. 이러한 픽셀이 샘플링되면, 정보(예를 들면, 이미지 특징 또는 속성)가 이러한 픽셀의 각각으로부터 추출된다. 정보는 해당 픽셀 또는 그 바로 옆에 있는 픽셀에 기반하여 추출될 수 있다. 컬러에 대한 정보는 픽셀 단위로 픽셀 상에서 추출된다. 그런 다음, 값(또한 특징이라 함)의 집합으로 결합되거나 통합되거나 또는 모아진다. 컬러 특징의 경우, 히스토그램 기법이 예를 들어 컬러 히스토그램 또는 방향 히스토그램을 얻는데 사용된다. 히스토그램은 픽셀과 같은 품목이 취할 수 있는 다양한 값의 발생의 통합을 포함한다. 색조의 경우에 예를 들면, 색조는 0 과 1 사이의 가능한 값의 무한한 가능수로 0과 1 사이의 값을 가질 수 있다. 한 가지 접근법은 예컨대 0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9 및 1과 같이 가능한 값의 유한 세트로 해당 갑들을 정량화하는 것이다. 일 실시예에서, 색조 치수는 24개의 값으로 정량화되고, 채도 치수는 8개의 값으로 정량화되며, 명암 치수는 8개의 값으로 정량화된다. 이러한 정량화는 제 2 샘플링으로 지칭될 수 있는데, 제 1 샘플링은 이미지의 특정 픽셀을 샘플링하는 것을 포함하고, 제 2 샘플링은 픽셀 양의 값을 샘플링하는 것을 포함한다. 잠재적인 조명 변화에 의해 유래된 변화로 인해 HSV 컬러 공간을 위한 3 차원을 적어도 신뢰할 수 있기 때문에, 보다 적은 샘플이 휘도/명도를 위해 획득된다.

도 5e에는 HSV 컬러 공간의 3가지 채널이 색조를 위한 수평 축(520), 채도를 위한 수직 축(522) 및 명암 또는 명도를 위한 제 3 축(524)으로 표시되어 있다. 색조는 무지개 색과 유사하게 컬러 주파수와 밀접한 상관관계가 있다. 채도는 주어진 색조에 대한 컬러의 순도를 나타낸다. 예를 들어, 낮은 채도의 적색은 높은 채도의 적색보다 덜 빨갛다. 그러나, 모두는 자신의 선명도나 채도에 있어서만 다를 뿐 여전히 적색이다. 컬러는 HSV 공간에서 낮은 채도 컬러에 대해 혼동하는 경향이 있다. 이 영역은 별도로 처리될 수 있다.

HSV 컬러 공간의 색조 H, 채도 S 및 명암 V 채널의 수학식은 다음과 같다.

상기에서 R, G 및 B는 RGB 컬러 공간에서의 RGB 값들이다. H가 0보다 작으면, H는 H+360으로 주어진다. 따라서, 0≤V≥1, 0≤S≥1 , 0≤H≥360으로 된다.

상기 수식에 기초하여, H의 작은 값에 대해서 R, G 및 B의 세 가지 모두의 값은 유사하다는 것을 알 수 있다. 또한 S의 작은 값에 대해서도 R, G 및 B의 최대 및 최소 값은 유사하다는 것을 알 수 있다. 이것은 노이즈로 인해서 R, G 및 B 값의 각각은 외관상 지배적이 될 수 있다는 것을 의미한다. 따라서, 색조는 불연속 값(상기의 수식에서 색조 조건부 할당 참조)을 갖는다. 환언하면, 색조는 채도가 낮은 경우 신뢰할 수 없다. 채도가 낮은 경우, 컬러 선명도가 부족하고 칙칙하게 보일 것이다. 이러한 그레이 영역은 컬러풀 영역으로부터 별도로 처리될 수 있다.

외적으로서 전 3 차원 공간에서의 샘플링은 희박한 컬러 히스토그램을 생성하기 때문에, 컬러 히스토그램(306)은 HSV의 색조, 채도 및 명암 채널/치수에 대해 한 번씩 적어도 별도로 3회에 걸쳐 재고 이미지를 샘플링한다. 다음에 색조, 채도 및 명암의 1차원(1D) 히스토그램이 서로 위에 중첩된다. 그 결과로서, HSV 컬러 공간의 전 3차원에서 재고 이미지의 컬러 히스토그램이 상대적으로 조밀하고 정확하게 된다. 또한, 이와 같은 누적형 1D 샘플링 방식에서 빈의 총 수는 전 3D 샘플링 방식(1D 샘플링 방식에 대한 n_H+n_S+n_V 대 3D 샘플링 방식에 대한 n_H*n_S*n_V)보다 훨씬 작기 때문에, 메모리와 프로세싱 처리요구는 덜 중요해진다. 이것은 동시에 다수의 지고 이미지를 배치로 색인하는데 도움이 된다.

예를 들어, 3 차원 컬러 공간의 각 공간에 대한 5 가지 가능한 값{0, 0.25, 0.5, 0.75, 1}이 있다고 가정하자. HSV 컬러 공간의 경우, H, S 및 V의 각각은 {0, 0.25, 0.5, 0.75, 1}에서 값을 취할 수 있다. 가능한 조합(외적)의 수는 5³ = 125이다. 이와 같은 엔트리가 빈번하게 발생할 경우는 거의 없다. 따라서, 많은 엔트리가 발생 수 누적이 0이 되는 경우는 희박하다. 이것은 공간(바이트에서) 낭비가 될 수 있다. 따라서, 더욱 간결한 표현을 얻기 위하여 각 차원을 개별로 처리한다. 이러한 기술에 의해, 단지 5 + 5 + 5 = 15 값이 필요하게 된다.

도 6은 일부 실시예에 따른 블록(406a, 406b)의 상세를 도시한 것이다. 일 실시예에서, 서브 블록(450)에서, HSV 공간을 위한 1D의 샘플링 방식은 각각 색조, 채도 및 명암 축을 따라 균일하게 이격된 빈을 사용하고 있다. 도 5g에 도시된 바와 같이, 주어진 재고 이미지를 위한 1D 샘플링 방법은 색조 축을 따른 빈의 수 n_H=24, 채도 축을 따른 빈의 수 n_s=8 및 명암 축을 따른 빈의 수 n_V=8을 이용하여 구현된다. 이것은 컬러풀한 픽셀 또는 적어도 6%의 채도를 가진 컬러 픽셀을 위한 것이다. 6 %보다 낮은 채도를 갖는 픽셀에 대해서는 그레이으로 간주되어 8개의 빈에 따로 빈에 넣게 된다. 따라서, 전체 48개의 빈 (24 + 8 + 8 + 8)이 재고 이미지의 잠정 컬러 히스토그램을 추출하는데 사용된다.

빈이 누적되면, 서브 블록(452)에서, 가중치는 다음과 같이 적용된다. 즉, 컬러풀 픽셀에 대한 H 값에 대해서는 0.4, 컬러풀 픽셀에 대한 S 값에 대해서는 0.2, 컬러풀 픽셀에 대한 V 값에 대해서는 0.1 그리고 그레이 픽셀에 대한 V 값에 대해서는 0.3이 적용된다. 각 그룹의 빈에서 구한 값들은 정규화되지 않아서 그레이 픽셀에 대한 컬러 픽셀의 비율이 유지되고 누적된 히스토그램에서 코드화 된다.

그 다음 서브 블록(454)에서, 가중치가 조정된 1D 샘플은 함께 누적 또는 결합되어 HSV 컬러 공간의 3개 차원/채널들에 대응하는 결과적으로 누적된 1D 히스토그램을 생성하게 된다. 도 5h는 멀티 컬러 드레스의 재고 이미지(530)에 대응하는 누적 1D히스토그램(532)의 예를 도시한 것이다. 수평축은 컬러 픽셀(H에 대한 빈 그룹(533), S에 대한 빈 그룹(534), V에 대한 빈 그룹(535))에 대한 H, S 및 V에 대한, 그리고 그레이 픽셀(빈 그룹(536))에 대한 V에 대한 빈(총 48개 빈)을 나타낸다. 빈은 HSV 컬러 공간에서 다른 컬러에 대응한다. 종축은 재고 이미지(530) 상에서 샘플링된 다른 컬러에 대하여 주어진 컬러의 공간 영역 면적을 나타낸다. 따라서, 높은 피크는 멀티 컬러 드레스에 대해 더욱 현저하게 존재하는 컬러를 나타낸다. 예상대로, 그레이 컬러는 멀티 컬러 드레스에 없고, 히스토그램(532)은 그레이(예를 들어, 빈 그룹(536)에서 0이거나 매우 낮은 진폭)의 부재를 반영한다. 누적된 1D 히스토그램은 이미지의 샘플링된 부분의 모든 픽셀의 값을 저장하는 대신에 비교적 간결한 형태로 이미지에 대한 정보를 제공한다. 종축은 빈 그룹(533, 534, 535 및 536)이 각각 0.4, 0.2, 0.1 및 0.3으로 서로 다르게 조절/가중된 것을 제외하고는 수평축 상의 대응 값을 취하는 픽셀의 수를 나타낸다.

따라서, 결과적으로 누적된 1D 히스토그램은 재고 이미지(재고 이미지에서 특징화된 전체 품목을 나타냄)의 샘플링 마스크 내에 존재하는 컬러(또한 채도 수준, 명도 수준 및/또는 이미지가 샘플링되는 특정 컬러 공간의 다른 차원의 수준)를 식별할 뿐 아니라 서로에 대하여 차지하는 제공된 컬러의 공간적 영역 면적을 식별한다.

다른 실시예에서, 재고 이미지는 HSV 컬러 공간과는 다른 컬러 공간을 이용하여 균일하게 샘플링될 수 있다. 또 다른 실시예에서, 재고 이미지는 LUV 컬러 공간 또는 비균일 샘플링에 적합한 다른 컬러 공간을 이용하여 불균일하게 샘플링될 수 있다.

다음에 블록(408a)에서, 패턴 모듈(308)은 재고 이미지에서 패턴의 존재와 패턴의 타입을 검출하도록 구성된다. 패턴은 물방울 무늬, 줄무늬, 체크 무늬, 격자 무늬, 꽃 무늬 및 기타 반복 패턴을 포함하여 검출될 수 있지만 이에 한정되는 않는다. 일 실시예에서, 재고 이미지의 에지 맵을 캐니 에지 검출기(Canny edge detector)로 생성하여 재고 이미지(도 7에서 블록(408a)의 서브 블록(462))에 대응하는 캐니 에지 맵을 얻게 된다. 캐니 에지 맵은, 차례로 재고 이미지에서 물방울 무늬 패턴을 검출하는데 사용된다. 도 5i는 물방울 무늬를 보여주는 이미지(540)를 도시한 것이다. 이미지(540)에 대응하는 캐니 에지 맵(542)은 제거된 컬러를 갖는 이미지에 포함된 에지의 신뢰성 라인 드로잉을 포함한다.

도 7의 서브 블록(464)에서, 패턴 모듈(308)은 캐니 에지 맵(542)의 모양을 분석하여 원이나 비원으로 분류한다. 특히, 패턴 모듈(308)은 캐니 에지 맵(542)에서 방울(543)의 특성을 연구하여 이들이 원을 이루고 있는지 판단한다. 충분히 큰 그러나 지나치게 크지는 않은 방울(543)만이 분석용으로 유지된다. 너무 무리를 지은 방울(543)은 분석에서 제외된다. 분석을 위해 유지된 방울(543)의 각각의 원형도가 계산된다. 원형도는 원형 접근의 척도로서 사용된다. 원형도는 0에서 1 사이의 값을 갖는데, 1은 진원에 해당한다. 주어진 형상의 시야계에 있어서, 원은 모든 형상 중에서 최대 영역을 갖는다. 관심을 갖는 방울(543)의 각각의 원형도는 주어진 방울(543)과 동일한 시야계를 갖는 원의 영역에 대한 주어진 방울(543)의 영역의 비율로서 계산된다. 0.8 이상의 원형도 값은 원으로 간주될 정도로 충분한 원형으로 고려된다. 이것은 의류가 접히거나, 의류를 입고 있는 모델의 위치에 따르거나, 또는 이와는 달리 변신 공예품에 따라서 원이 타원(또는 일그러진 형상)으로 보여지는 경우를 고려한 것이다. 원으로 판단되는 방울(543)의 반경은 또한 이상한 것들을 제거하고, 인접 방울 사이의 간격을 반복 확인한 것으로 추정한 것이다.

상기 분석(충분한 수의 원의 식별 및 원간의 설정 이격)을 기반으로 패턴 모듈(308)은 물방울 무늬 패턴이 이미지에 존재하는지 판단한다(서브 블록(466)). 도 5i는 검출된 물방울 무늬(546)가 도시된 이미지(544)를 나타낸 것이다.

만약 패턴(예를 들어, 물방울 무늬 패턴)이 검출되면(블록(408a)의 분기에서, "예"), 패턴 모듈(308)은 재고 이미지에서 물방울 무늬 패턴을 위한 신뢰도 점수 또는 레벨을 판단한다(블록(410a)). 예로 든 바와 같이, 만약 방울(543)이 0.9의 평균 원형도를 갖는다면, 대응 신뢰도 점수는 0.82의 평균 원형도 값을 갖는 다른 이미지의 방울보다 높을 수 있다. 블록(410a)에서, 색인 모듈(310)은 또한 이미지 색인 데이터베이스(301)에 대해 재고 이미지에 대응하는 이미지 특징을 적절하게 색인하고 추가하도록 구성된다. 이미지 특징 데이터는 컬러 히스토그램(블록(406a)에서 추출된), 패턴(블록(408a)에서 검출된) 및 패턴 신뢰도 점수를 포함한다. 재고 이미지는 하나 이상의 속성에 기반하여 색인될 수 있다. 예를 들면, 이미지는 의류 스타일(예를 들어, 드레스, 탑, 팬츠, 겉옷, 가방 등), 컬러, 패턴 등에 따라서 색인되어 일치 품목의 신속한 검색을 용이하게 한다.

(물방울 무늬)패턴이 검출되지 않으면(블록 (408a)의 분기에서, "아니오"), 흐름도(400)는 블록(412a)으로 진행한다. 블록 (412a)에서, 방향 히스토그램 모듈(312)은 (다른) 패턴 또는 텍스처의 방향뿐만 아니라 재고 이미지에 존재하는 패턴/텍스처의 복잡성을 판단하도록 구성된다. 블록 (412a)의 상세는 도 8에 제공되어 있다. 다음에 도 8의 서브 블록(470)에서, 방향 히스토그램 모듈(312)은 재고 이미지의 에지 맵을 생성하도록 구성된다. 일례로, 에지 맵은 캐니 에지 검출기를 이용하여 얻어질 수 있다. 다음에 서브 블록(472)에서, 방향 히스토그램 모듈(312)은 샤르 연산자(Scharr operator)를 이용하여 에지 맵의x 및 y 도함수(derivative)를 추정한다. x 및 y 도함수는 다음에 서브 블록(474)에서 에지 맵의 기울기 및 방향을 판단하는데 사용된다.

서브 블록(476)에서, 방향 히스토그램 모듈(312)은 에지 등급인 에지 픽셀(에지 맵의) 각각에 가중치를 적용한다. 그 결과가 가중치가 적용된 방향 히스토그램이다. 그러한 에지 픽셀의 가중치는 강한 에지를 선호하고(또는 강한 에지의 존재를 확대) 헝클어지거나 그림자에 기인하여 발생할 수 있는 약한 에지의 영향을 감소시켜준다. 가중치가 적용된 방향 히스토그램은 또한 에지 픽셀의 수에 의해 정규화된다.

다음에 서브 블록(478)에서, 방향 히스토그램 모듈(312)은 가중치 방향 히스토그램에서 빈을 합산하여 사용중인 패턴 또는 구조의 양을 측정한다. 합산 값이 크면 사용중인 패턴/텍스처의 양이 크다. 패턴/텍스처가 줄무늬 셔츠와 같이 강한 방향을 띠는 경우, 방향 히스토그램의 엔트로피는 낮아지고 또 그 반대로 된다. 방향 히스토그램의 엔트로피는 방향 히스토그램에서 신뢰성의 측정치로서 사용될 수 있다.

도 5j는 일부 실시예에 따른 블록(412a)의 구현 예를 도시한 것이다. 이미지(550)는 수평 줄무늬 셔츠를 보여준다. 캐니 맵 검출기의 적용 후에(서브 블록(470)), 이미지(550)에 대응하는 캐니 에지 맵(552)이 생성된다. 캐니 에지 맵(552)의 x 및 y 도함수는 이미지(554, 556)로서 나타난다. y 도함수 이미지(556)는 수평으로 줄무늬가 있는 셔츠인 품목과 일치하는 수평 방향에서 강한 방향을 보이고, 반면에 x 도함수 이미지 (554)는 적은 관심 특징을 보이는 점을 주목해야 한다. 수평 줄무늬는 낮은 x 도함수와 높은 y 도함수를 갖는다. 이것은 또한 기울기 방향의 방향 히스토그램(558)의 중심부 패트에 놓이는 높은 피크와 집중 피크로부터 분명해진다. 에지의 크기는 수평 줄무늬에 대해 높기 때문에, 방향 히스토그램(558)에 그와 같은 에지 크기를 적용하면 가중치가 적용된 방향 히스토그램(559)은 그 피크가 확대되고 낮은 것을 더욱 감소시키는 결과로 된다.

방향 히스토그램이 추출되면, 재고 이미지가 블록(414a)에서 낮거나 높은 공간 주파수가 있는지 여부를 판단하기 위해 검사가 실행된다. 낮은 공간 주파수는 최소로 번화하거나 또는 가중된 방향 히스토그램의 빈의 합계가 낮은 값을 갖게 되는 패턴/텍스처에 대응한다. 가중된 방향 히스토그램은 불연속의 강도를 고려한다. 따라서, 낮은 대비를 위해 하지만 여전히 높은 공간 주파수 패턴을 위해 방향 히스토그램은 낮은 값을 보인다. 이것은 그림자, 접힘, 주름에서 노이즈를 억제하기 위한 트레이드 오프이다. 낮은 공간 주파수의 예로는 패턴/텍스처가 없는 품목 또는 단색(solid color) 품목을 들 수 있다. 반대로, 높은 공간 주파수(예를 들면, 컬러 공간적 변화량이 큰 이미지)는 번화한 패턴/텍스처에 대응하거나 또는 가중된 방향 히스토그램의 빈의 합계가 높은 값을 갖는 것에 대응한다. 높은 공간 주파수의 예는 작고 촘촘한 물방울 무늬, 줄무늬, 기하학적 패턴, 동물 인쇄, 꽃 패턴 등을 포함한다.

낮은 공간 주파수에 대해서는 흐름도(400)가 블록(416a)으로 진행한다. 블록(416a)에서, 지배적 컬러 모듈(314)은 재고 이미지의 지배적 컬러를 추출하도록 구성된다. 지배적 컬러는 재고 이미지의 견본 영역 내에서 다른 컬러(들)에 대해 대부분의 공간 영역에 존재하는 컬러를 포함한다. 따라서, 샘플링 마스크 영역이 하나 이상의 컬러를 포함하더라도 컬러 중의 하나는 지배적 컬러가 될 수 있다.

일 실시예에서, 지배적 컬러 모듈(314)은 LUV 컬러 공간에 따라서 견본 영역에서 모든 픽셀로부터 컬러가 무리를 이루고, 또한 그와 같이 무리를 이룬 컬러 중에서 가장 큰 무리를 식별하도록 구성된다. 가장 큰 무리에 해당하는 컬러가 지배적 컬러이다. 컬러는 무리를 지은 K-수단(K=8)이다. 첫 번째 무작위로 선택한 무게 중심에서 가능한 떨어져서 무게 중심이 선택되는 경우에, K-수단++ 방식을 이용하여 초기 클러스터 중앙이 선택된다. K-수단++ 방식에 대한 세부 사항은 데이비드 아서 외 다수가 개별 알고리즘의 18회차 ACM-SIAM 심포지움의 SODA 2007 논문집 1027-1035 페이지에 실린 "K-수단++과 주의 파종 장점"에◎제공되어 있다.

도 5k는 사례 이미지(560)와 이것의 견본 영역(561)을 보여준다. 견본 영역(561)에 대응하는 산포도(562)가 도시되어 있는데, 산포도(562)는 LUV 컬러 공간의 U-V 공간에 보여지고 있다. 산포도(562) 상의 각 지점은 견본 영역(561) 내의 픽셀에 대응하는데, 각 지점은 대응 픽셀의 진정한 컬러와 코드가 맞는 컬러이다. 산포도(562)에서 알 수 있는 바와 같이, 단색의 가장 크고 지배적인 무리는 클러스터(563)이다. 클러스터(564)의 컬러는 산호색 컬러(564)이고, 이것은 이미지의 확장에 의한 견본 영역(561)의 지배적 컬러이다. 산포도(562)를 통해 식별된 지배적 컬러는 견본 영역(561) 내에서 가장 큰 영역을 차지하는 컬러(564)와 동일하다.

다른 실시예에서, 지배적 컬러 모듈(314)은 누적된 1D 히스토그램에서 색조 H 값을 블록(406a)으로부터 재사용하도록 구성된다. 도 5h를 참조하면, 최고 높이의 피크를 갖는 빈 그룹(견본 영역 내에서 컬러 픽셀에 대한 H 값에 대응하는) 내의 빈은 견본 영역/이미지(530)에 대한 지배적 컬러를 나타낸다. 도 5h에서, 빈 그룹(533) 내에서 가장 높은 피크는 빈(17)에 있다. 빈(17)은 푸른빛 보라색 컬러에 해당한다. 사실상, 이미지(530)에서 지배적 컬러는 푸른빛 보라색 컬러이다.

지배적 컬러가 식별되면, 블록(418a)에서, 지배적 컬러 모듈(314)은 컬러 히스토그램을 이용하여 재고 이미지에서 검출된 지배적 컬러에 대해 점수 또는 레벨을 결정한다. 예를 들어, 지배적 컬러의 신뢰도는 이미지가 (컬러 히스토그램에 도시된 바와 같이)유사한 공간 범위를 갖는 다중 컬러를 가지는 경우에 낮다. 반대로, 이미지가 단색(solid color)인 경우에는 그 신뢰도가 높다.

신뢰도 점수는 이진(binary) 값(높거나 낮은)이 될 수 있거나, 또는 점수가 0에서 1 사이인 양적 값일 수 있다. 블록(418a)에 대해서, 목록 모듈(310)은 재고 이미지에 대응하는 이미지 특징 데이터를 이미지 색인 데이터베이스(301)에 적절하게 색인하고 추가하도록 구성된다. 이미지 특징 데이터는 컬러 히스토그램, 방향 히스토그램, 지배적 컬러 및 지배적 컬러 신뢰도 점수를 포함한다. 재고 이미지는 하나 이상의 속성에 기반하여 색인될 수 있다. 재고 이미지는 하나 이상의 특성에 기초하여 색인될 수 있다. 예를 들어, 이미지는 일치 품목의 신속한 검색을 용이하게 하기 위하여 의류 스타일(예를 들면, 드레스 탑, 팬츠, 겉옷, 가방 등), 컬러 히스토그램, 지배적 컬러 등에 따라서 색인될 수 있다.

공간 주파수가 높으면, 방향 히스토그램 모듈(312)은 재고 이미지에 검출된 방향에 대해 신뢰도 점수 또는 레벨을 결정하도록 구성된다(블록 (420a)). 높은 공간 주파수를 갖는 이미지는 강한 지향성 또는 방향성을 가질 수도 있고 가지지 않을 수도 있다. 예를 들면, 수평으로 줄무늬가 있는 셔츠는 강한 방향을 지녀서 그 방향 신뢰도 점수가 높다. 신뢰도 점수는 이진값(낮거나 높은)이거나, 또는 예로서 0과 1 사이의 양적 값일 수 있다. 블록(420a)에 대해, 목록 모듈(310)은 또한 재고 이미지에 대응하는 이미지 특징 데이터를 적절하게 이미지 목록 데이터베이스(301)에 색인하거나 추가하도록 구성된다. 이미지 특징 데이터는 컬러 히스토그램, 방향 히스토그램, 방향 정보 및 방향 신뢰도 점수를 포함한다. 재고 이미지는 하나 이상의 속성에 기반하여 색인될 수 있다. 예를 들면, 이미지는 의류 스타일(예를 들어, 드레스, 탑, 팬츠, 겉옷, 가방 등), 컬러 히스토그램, 방향, 높은 공간 주파수 등에 따라서 색인되어 일치 품목의 신속한 검색을 용이하게 할 수 있다.

따라서, 주어진 재고 이미지의 이미지 특징은 추출/식별되고, 질의 이미지에 응답하여 신속한 검색을 용이하게 하는데 적절하게 색인된 이미지 색인 데이터베이스(301)에 저장된다. 블록(402a-420a)을 필요에 따라 반복함으로써, 특정 타입에 해당하는 모든 재고 이미지는 유사하게 색인될 수 있다.

색인된 재고 이미지를 가지고 일치 단계(442)의 맥락을 도 4를 참조하여 설명한다. 블록(402b)에서, 이미지 포착 모듈(302)은 질의 이미지를 수신하도록 구성된다. 일 실시예에서, 질의 이미지는 디바이스 머신(110 또는 112)에 의하여 네트워크 시스템(102)으로 보내진다. 디바이스 머신(110 또는 112)(예로서, 스마트 폰)의 사용자는 컬러, 패턴, 직물, 의류, 슬리브와 같은 의류의 일부 등의 사진을 디바이스 머신(110 또는 112)에 포함된 카메라를 이용하여 찍어서 관심 이미지를 포착할 수 있다. 사진은 이미지 특징 추출을 위해 쿼리 이미지가 되도록, 그리고 쿼리 이미지와 일치하는 재고 이미지를 반환하도록, 네트워크 시스템(102)에 전송된다.

블록(404b-408b 및 412b-416b)에 대해, 재고 이미지 대신에 질의 이미지에 대해 동작이 행해지는 것을 제외하고는 블록(404a-408a 및 412a-416a)에 대해 상기에서 설명한 것과 동일한 동작이 수행된다. 패턴이 블록(408a)에서 검출되면, 블록(410b)에서 패턴 모듈(308)은 블록(410a)에서 설명한 결정과 유사하게 질의 이미지의 패턴 신뢰도 점수를 결정한다. 블록(410b)에 대해, 비교 모듈(316)은 질의 이미지의 컬러 히스토그램을 재고 이미지의 컬러 히스토그램을 비교하여 질의 이미지를 일치시키는 하나 이상의 재고 이미지를 찾아내도록 구성된다. 가능한 유사성 방안은 코사인 유사성(내적) 상관, 카이 제곱(Chi-squared correlation), 교차점 및 Bhattacharyya 거리를 포함하지만 이에 한정되지는 않는다.

일 실시예에서, 유사성 점수는 Bhattacharyya 거리의 상보로 계산된다. Bhattacharyya 거리는 컬러 히스토그램의 제곱근의 코사인 유사도 상보의 제곱근을 포함한다. 컬러 히스토그램 H1과 H2 사이의 유사성 점수 S는 다음과 같이 표현된다.

여기서 N은 빈의 개수이다.

유사성 점수(예를 들어, 완전히 다른 것에 대한 0과 완전히 동일한 것에 대한 1 사이)는 질의 이미지와 재고 이미지의 각 쌍에 할당된다. 유사성 점수는 일치 결과가 입력 질의 이미지에 대한 유사성의 순서로 디바이스 머신(110 및 112) 상에 표시되도록 분류된다.

다음에 블록(422b)에서, 비교 모듈(316)은 디바이스 머신(110 및 112)의 스크린 상에 표시하기 위하여 일치 결과를 디바이스 머신(110 및 112)에 제공한다. 일치 결과(예를 들어, 재고 이미지 및 가능성 관련 품목 정보)는 질의 이미지에 대한 유사성의 정도의 순서로 표시된다. 일부 실시예에서, 시스템이나 사용자는 질의 이미지에 응답하여 제공될 수 있는 일치 결과의 개수에 상한을 설정할 수 있다.

질의 이미지가 낮은 공간 주파수(블록(414b)의 분기에서, "낮음")를 갖는 경우, 질의 이미지의 지배적 컬러는 블록(416b)에서 추출된다. 다음에 블록(418b)에서, 지배적 컬러 모듈(314)은 블록(406b)으로부터 컬러 히스토그램을 이용하여 지배적 컬러 신뢰도 점수를 결정한다. 지배적 컬러의 신뢰도가 낮으면, 비교 모듈(316)은 질의 이미지의 컬러 히스토그램을 색인된 재고 이미지의 컬러 히스토그램과 비교한다(블록(428b)). 질의 이미지에 대한 지배적 컬러 신뢰도 점수가 양적 값이면, 사전 정의된 임계값(threshold value)은 점수가 "높음" 또는 "낮음"을 각각 판단하기 위하여 임계값 초과 또는 미만인 것을 판단하는데 사용할 수 있음을 주목해야 한다. 유사성 점수는 블록(410b)에 관련해서 상기에서 설명한 바와 같은 각 쌍의 이미지에 대해 생성된다. 유사성 점수는 가장 큰 점수에서 가장 작은 점수로 비슷하게 순서가 정해진다. 다음에, 가장 큰 유사성 점수를 갖는 재고 이미지, 즉 일치 결과가 표시를 위해 디바이스 머신(110 및 112)에 제공된다(블록(422b)).

반면에, 지배적 컬러의 신뢰도가 높으면, 비교 모듈(316)은 질의 이미지의 재고 이미지를 색인된 재고 이미지 각각의 지배적 컬러에 대해 비교한다(블록(430b)). 유사성 점수는 질의 이미지와 색인된 재고 이미지의 각 쌍에 할당되고 순서화된다. 다음에 흐름도(400)는 블록(422b)으로 진행하여 일치 결과를 디바이스 머신(110 및 112)에 제공한다. 재고 이미지가 지배적 컬러에 대해 낮은 신뢰도를 갖는 경우에는 지배적 컬러에 대해 높은 신뢰도를 갖는 질의 이미지와 상이한 것으로 고려되거나 "벌점을 주는 것"으로 됨을 주목해야 한다.

블록(420b)에서, 방향 히스토그램 모듈(312)은 블록(420a)에 관련하여 상기에서 설명한 것과 유사하게 질의 이미지에 방향에 대해 신뢰도 점수를 결정하도록 구성된다. 방향성/지향성에 대한 신뢰도 점수가 낮으면, 블록(424b)에서, 비교 모듈(316)은 질의 이미지의 컬러 히스토그램을 목록된 재고 이미지의 컬러 히스토그램에 대해 비교한다. 질의 이미지에 대한 신뢰도 점수가 양적 값인 경우에, 사전 정의된 임계값은 신뢰도 점수가 높음 또는 낮음을 각각 판단하기 위해 임계값 초과 또는 미만인 것을 판단하는데 이용될 수 있다. 유사성 점수는 블록(410b)에 관련하여 상기에서 설명한 바와 같은 이미지의 각 쌍에 대해 생성된다. 유사성 점수는 가장 높은 점수에서 가장 낮은 점수로 유사하게 순서가 정해진다. 그런 다음, 가장 높은 유사성 점수를 갖는 재고 이미지, 즉 일치 결과가 표시를 위해 디바이스 머신(110 및 112)에 제공된다(블록 (422b)).

반면에, 방향성/지향성에 대한 신뢰도 점수가 높으면, 블록(426b)에서, 비교 모듈(316)은 질의 이미지와 색인된 재고 이미지 각각의 쌍에 대해 두 가지의 비교, 즉 컬러 히스토그램의 비교와 방향 히스토그램의 비교를 수행한다. 유사성 점수는 블록(410b)에 관련하여 상기에서 설명한 유사성 점수 수식을 이용하여 히스토그램(컬러 또는 방향)의 각각에 할당된다. 각각의 이미지 쌍에 대해서, 유사성 점수는 컬러 히스토그램 비교 유사성 점수와 방향 히스토그램 비교 유사성 점수의 합이다. 다음에 일치 결과는 블록(422b)에서 표시를 위해 디바이스 머신(110 및 112)에 제공된다.

이에 따라서, 질의 이미지의 이미지 특징(예를 들어, 지배적 컬러, 컬러 분포, 패턴, 방향 등)은 질의 이미지와 재고 이미지 쌍 사이의 유사성 점수를 얻기 위해 재고 이미지를 비교할 것을 지시한다. 도 9a는 일치 단계의 블록도를 높은 레벨로 도시한 것으로서, 디바이스 머신(110 및 112)이 웹 브라우저를 이용하여 웹사이트(902)를 통해 네트워크 시스템(102)과 접속한다. 질의 이미지(904)는 질의 이미지로부터 특징을 추출하기 위해 네트워크 시스템(102)으로 전송된다. 네트워크 시스템(102)은 질의 이미지의 추출된 특징을 사용하여 재고 이미지에 일치되는 것을 찾아낸다. 최상의 일치는 일치 결과 웹 페이지에서 포맷된 디바이스 머신(110 및 112)으로 복귀한다.

도 9b는 일부 실시예에 따라서 일치 단계에 관하여 디바이스 머신(110 및 112) 상에 표시된 다양한 사용자 인터페이스(UI) 스크린을 나타낸 것이다. 도 9b에서, 디바이스 머신(110 및 112)은 네트워크 시스템(102)에 의해 호스트된 웹사이트(902)에 액세스하기 보다는 네트워크 시스템(102)과 인터페이스하기 위해 설치된 앱(905)을 갖고 있다. 사용자가 디바이스 머신(110, 112)에서 앱(905)을 시작할 때, 앱(905)은 사용자가 입력하거나 그렇지 않다면 질의 이미지(904)를 명시하는 것을 가능하게 한다. 일례로, 앱(905)은 카메라 능력을 지녀서 사용자가 컬러를 띠거나 및/또는 패터닝되는 무언가의 사진/이미지를 찍을 수 있도록 되어 있다. 스크린(907)에 나타난 질의 이미지(904)는 의류 품목과 비슷한 파란 크림색의 수평 줄무늬를 포함한다. 앱(905)은 질의 이미지(904)를 네트워크 시스템(102)에 전송하고, 이에 응답하여 네트워크 시스템(102)은 이미지 특징 추출 동작을 수행하고 상기한 바와 같은 일치 결과를 제공한다.

스크린(908)은 디바이스 머신(110 및 112)에 표시된 일치 결과를 보여준다. 질의 이미지(904)를 일치시키는 것으로 간주되는 모든 품목은 질의 이미지(904)의 컬러 분포를 적어도 일치시킨다. 상기 예를 계속하면, 일치 품목의 각각은 질의 이미지(904)와 같은 청색 및 크림색 컬러를 적어도 포함한다. 일치 결과는 탑 및 블라우스, 드레스, 코트 및 자켓, 셔츠, 스웨터, T 셔츠 등과 같은 품목 카테고리에 의해 정리될 수 있다. 예를 들어, 사용자가 스크린(908) 상에서 탑 브라우저 카테고리를 선택하면, 해당 카테고리부터의 일치 품목은 스크린(910)에서 사용자에게 표시된다. 일치 품목은 해당 카테고리에 대해 가장 높은 유사성 점수로부터 가장 낮은 유사성 점수로 순서가 정해진다. 각각의 일치 품목에 대해 컬러 이미지, 하나 이상의 품목 이름, 사이즈, 가격, 이용 가능성 또는 유사성 점수와 같은 정보가 표시될 수 있지만, 이러한 정보는 이에 한정되지는 않는다. 사용자는 표시된 일치 품목 중에서 예를 들어 스크린(912)에 나타난 바와 같은 세 번째로 랭크된 품목(913)(푸르고 흰 줄무늬 폴로 셔츠)을 선택할 수 있다. 이에 응답하여, 추가 품목의 상세가 스크린(916)에 선택된 품목에 대해 제공된다. 사용자는 관심이 있는 하나 이상의 품목을 보기 위해 일치 결과를 검색할 수 있다. 사용자는 또한 앱(905)(도시되지 않음) 내에서 관심 품목을 구매할 수 있다. 따라서, 사용자는 남녀가 좋아하는 컬러 및/또는 패턴을 갖는 무언가의 사진을 간단히 찍을 수 있고, 네트워크 시스템(102)과 연관하여 앱(905)은 컬러 및/또는 패턴을 일치시키는 것을 구매할 수 있는 품목을 자동으로 복귀시켜 준다.

재고 이미지가 리스트에 올라 있는 품목의 수천 개 내지 수백만 개의 품목 중 열 개를 포함하는 경우, 주어진 질의 이미지에 대한 일치 결과의 수는 엄청나게 높을 수 있다. 특히 일치 결과가 스마트 폰 및 기타 이동 디바이스에서 공통인 것과 같이 더 작은 디스플레이에서 보여질 때, 일치 품목이 모두 사용자에게 보여지기 전에 보는 것이 소모성이 될 수 있다. 더 큰 디스플레이에서조차 사용자는 보다 낮은 일치 결과를 보기보다 상위 일치 결과를 훨씬 더 보고자 한다. 부가적으로 어패럴의 맥락에서 사용자가 특정 컬러 및/또는 패턴을 포함하는 질의 이미지를 제출할 때, 사용자가 컬러 분포, 패턴, 어패럴 카테고리, 어패럴의 일반 사항 또는 질의 이미지의 특징 중 두 개 이상의 조합에 단지 관심을 갖고 있는지 불분명하다. 사용자 계약(사용자 구매 가능성을 증가시킬 수 있음)을 개선하고 또 사용자 경험을 개인화하기 위해서, 제공된 일치 결과와 상호 작용하는 중에 사용자 표시 또는 선호는 사용자 관심에 더 잘 맞추기 위해 초기 일치 결과 내의 품목을 재 랭크 또는 재 순서화하는데 사용된다.

도 10은 일부 실시예에 따라서 재 랭크 동작을 수행하기 위한 예시적인 흐름도(1000)를 나타낸 것이다. 디바이스 머신(110 및 112)에서 주어진 질의 이미지에 대응하는 일치 결과와 사용자 상호작용하는 동안에, 사용자는 일치 결과 중에서 특정 품목에 대한 선호 또는 관심을 나타낼 수 있다. 도 9b의 예를 계속하면, 스크린(914)은 선택된 세 번째로 랭크된 품목(예를 들어, 큰 이미지, 보조 이미지), 질의 이미지(904)의 섬네일(thumbnail) 및 버튼(916)에 대응하는 품목 상세(915)를 포함하여 해당 품목의 사용자 선호를 확정적으로 나타낸다. 사용자가 버튼(916)을 작동시키거나 클릭하면, 네트워크 시스템(102)에서 재 랭크 모듈(318)은 특정 품목을 위해 사용자 표시/선호를 수신한다(블록(1002)). 사용자는 일치 결과에 놓인 다른 품목에 걸쳐서 관련되는 또는 관심 있는 것으로 되는 일치 결과 중에서 특정 품목을 표시한다.

다음에 블록(1004)에서, 재 랭크 모듈(318)은 수신된 사용자 표시/선호를 저장한다. 스크린(914)은 스크린(918)에 대응되도록 업데이트된다. 스크린(914)에서 버튼(916)은 스크린(918)에서 재 랭크 버튼(917)으로 교체된다. 사용자에 의해 재 랭크 버튼(917)이 작동되거나 클릭되는 것은 특정 품목에 대해 사용자 선호를 기반으로 일치 결과를 재 랭크하거나 재 순서화하는 사용자 요청을 포함한다. 대안으로, 재 랭크 버튼(917)은 생략될 수 있으며, 재 랭크의 개시는 특정 품목의 사용자 선호를 수신할 때 시작될 수 있다. 도시되지는 않았지만, 일치 결과 내의 하나 이상의 품목에 대한 사용자 선호는 재 랭크의 개시 전에 표시될 수 있다.

재 랭크 요청이 수신되지 않으면(블록(1006)의 분기에서, "아니오"), 네트워크 시스템(102)은 일치 결과를 계속 제공하고, 일치 결과 내에서 사용자 검색에 응답한다(블록 1008)). 이와는 달리, 재 랭크 요청이 수신되고(블록(1006)의 분기에서, 예), 재 랭크 모듈(318)은 일치 결과 내의 하나 이상의 특정 품목에 대해 사용자 선호를 기반으로 (초기)일치 결과의 재 랭킹을 수행한다(블록 1010)). 다음에 블록(1012)에서, 재 랭크 모듈(318)은 재 랭크된 일치 결과를 디바이스 머신(110 및 112) 상의 디스플레이에 제공한다. 재 랭크된 일치 결과는 초기 일치 결과 내의 관심 품목(들)에 관하여 부가적인 사용자 입력에 따른 초기 일치 결과의 개선을 포함한다.

도 9b로 돌아가서, 스크린(920)은 (초기)세 번째로 랭크된 품목(913)(청색과 흰색의 줄무늬 폴로 셔츠)에 대한 사용자 선호를 기반으로 재 순서화된 스크린(910)에 나타난 초기 일치 결과를 보여준다. 재 랭크된 결과는 첫 번째 랭크된 품목과 상위 결과의 대부분이 초기 결과와 비교하여 줄무늬 품목이기 때문에 (초기에)세 번째 랭크된 품목(913)을 포함하게 된다.

일례로, 질의 이미지는 줄무늬가 있는 노란 드레스이고, 네트워크 시스템(102)은 패턴에 60%, 컬러에 40%의 가중치를 준다. 따라서, 줄무늬가 더 많은 의류는 상위 결과로 보여지고, 노란색의 품목은 전혀 없다. 추천 결과를 보는 사용자는 하나 이상의 노란 드레스를 선택(사용자 선호를 표시)할 수 있으나, 그러나 노랗지 않은 의류 품목에 대해서는 선호를 보이지 않는다. 시스템은 이와 같은 선호를 기반으로 추천 결과를 재 랭크하며, 이로써 노란 드레스의 리스트를 노랗지 않은 의류 품목 위의 상위로 끌어올리게 된다.

재 랭크 동작은 사용자에 의해 제공된 일치 결과 내의 특정 품목(들)에 대해 새로운 또는 부가적인 선호에 응답하여 주어진 일치 결과에 대해 한번 이상 반복될 수 있다.

블록(1010)의 일부 실시예에서, 재 랭크 모듈(318)은 하나 이상의 상위 재 랭크된 결과(예를 들어, 상위 5, 상위 10 또는 상위 20)로서 다른 상위 결과가 선택되는 이미지 특징과는 다른 초기 일치 결과 중에서 하나의 품목을 포함할 수 있다. 익스플로어-익스플로이트(explore-exploit) 패러다임이 재 랭킹에 포함될 수 있다. 대부분의 일치(및/또는 상보) 품목을 보여주는 대신에, 다양한 품목이 또한 상위 결과로서 포함되어 사용자가 질의 이미지로 선회된 다양한 재고를 검색할 수 있게 된다. 도 9b의 예를 계속하면, 관심의 이미지 특징은 세 번째 랭크된 품목(913)의 수평으로 줄무늬가 난 패턴으로 나타난다. 따라서, 스크린(920) 상에 나타난 상위 재 랭크된 결과는 수평 줄무늬 품목에 의해 지배된다. 그러나, 사용자는 수평 줄무늬 패턴보다는 일반적인 줄무늬(수평 줄무늬, 수직 줄무늬, 대각선 줄무늬 등) 품목, 또는 세 번째 랭크된 품목(913)에 대해 선호를 표시함으로써 패턴에 상관없이 대략 동일한 양의 청색과 크림색을 갖는 품목에 선호를 실질적으로 표현할 수 있다. 이와 같은 이론을 실험하기 위하여, 재 랭크 모듈(318)은 상위 랭크된 결과 중 하나로서 청색 및 크림색의 꽃 패턴이나 수직 줄무늬 패턴을 갖는 초기 일치 결과 중에서 하나의 품목을 포함할 수 있다. 사용자가 계속해서 그와 같은 품목에 대한 선호를 표시하면, 상기 이론은 정확해질 것이며, 최신 일치 결과는 그에 따라서 더욱 정제될 수 있다.

질의 이미지의 수신에 응답하여 일치 결과를 제공하는 것에 부가하여 또는 그 대안으로서, 네트워크 시스템(102)은 질의 이미지를 기반으로 상보 결과를 제공할 수 있다. 도 11은 일부 실시예에 따라서 상보 결과를 제공하기 위한 추천 방안의 수립에 관한 예시적인 흐름도(1100)를 나타낸 것이다. 도 11은 도 4와 관련하여 하기에 설명한다.

도 11의 블록(1102)에서, 상보 모듈(320)은 구매 행위 데이터(예를 들어, 네트워크 시스템(102)을 이용하여 이루어진 구매로부터)를 얻도록 구성된다. 구매 행위 데이터는 사용자들이 함께 구매한 특정 품목간의 상관 관계를 포함한다. 예를 들면, 구매 행위 데이터는 특정 품목 A를 구매하는 사용자의 60%가 또한 품목 B를 동시에 또는 서로 일정 기간 내에 구매하는 것을 보여줄 수 있다. 구매 행위 데이터는 또한 품목 A를 구매하는 사용자의 10%가 또한 품목 C를 동시에 또는 서로 일정 기간 내에 구매하는 것을 보여줄 수 있다. 따라서, 품목 A와 B간의 상관 관계는 품목 A와 C간의 상관 관계보다 높다. 품목 A, B 및C는 서로 동일한 품목의 카테고리(예를 들어, 드레스)이거나, 또는 서로 다른 품목의 카테고리(예를 들어, 드레스, 신발 및 핸드백)일 수 있다.

다음에 블록(1104)에서, 상보 모듈(320)은 구매 행위 데이터를 기반으로 규칙(상관 관계 규칙, 상보 규칙 또는 추천 규칙이라고도 함)을 결정한다. 품목 A, B 및 C의 상기 예를 계속하면, 상기 품목의 이미지 특징이 추출되어 있고 또 이미지 색인 데이터(301)에 색인되어 있기 때문에, 상보 모듈(320)은 예로서 단지 특정 품목 A 및 B사이와는 대조적으로 품목 A 및 B에 대응하는 이미지 특징간의 상관 관계 규칙을 포함하는 규칙을 생성할 수 있다. 상기 규칙은 주어진 특정 이미지 목록의 각각을 규정하며, 다른 이미지 목록들은 최상의 상보가 될 것이다. 이미지 목록은 특정 이미지 특징 데이터 프로파일뿐 아니라 품목 카테고리 사양(예를 들어, 드레스, 셔츠, 팬츠, 신발, 핸드백, 스카프, 침구 등)을 포함한다. 이러한 규칙을 이용하여, 이미지 특징 데이터와 상기 품목의 품목 카테고리 데이터는 상보를 결정하는 규칙에 반하여 적용되는 것이기 때문에, 상기 품목의 하나 이상이 구매 내역이 없을지라도 예를 들어 추천은 핸드백이 특정 스커트를 가장 잘 상보하거나 또는 스카프가 신발을 상보하도록 이루어질 수 있다.

구매 행위 데이터 기반 규칙이 정의되면, 상보 모듈(320)은 블록(1106)에 수립된 규칙을 실시하는 하나 이상의 템플릿 이미지(테스트 이미지, 상보 템플릿 이미지, 추천 템플릿 이미지 및 유사 변이형이라고도 함)를 생성시킨다. 템플릿 이미지(들)는 규칙을 유도한 특정 재고 이미지(들)일 수 있다. 또는 템플릿 이미지는 구매 행위 데이터로부터 추출된 다른 행위 또는 경향을 일반화시킨 규칙의 복합을 포함하는 새로운 이미지일 수 있다. 대안으로, 템플릿 이미지(들)를 생성시키는 것 대신에, 규칙을 실시하는 템플릿 이미지 색인(이미지가 색인 단계(440)와 품목 카테고리 정보에서 처리된 후에 얻어지는 이미지 특징 데이터를 포함)이 생성될 수 있다.

생성된 템플릿 이미지 또는 이미지 색인은 나중에 검색을 위해 데이터베이스(예로서 데이터베이스(126))에 저장된다(블록(1108)). 생성된 템플릿 이미지에 있어서, 이들 이미지는 도 4의 색인 단계(440)를 통해 실행되어 이미지 특징 정보를 추출한다(블록(1110)). 이미지 색인 데이터베이스(301)에 저장되는 템플릿 이미지 색인이 이미 존재하고 있다면, 블록(1110)은 선택적이다. 템플릿 이미지 또는 이미지 색인에 대응하는 하나 이상의 규칙 트리거도 데이터베이스에 저장된다. 규칙 트리거는 특정 템플릿 이미지 또는 이미지 색인이 하기에 상술하는 바와 같이 상보 단계 중에 사용되는 특정 조건을 정의한다.

블록(1112)에서, 상보 모듈(320)은 전문 지식 데이터를 획득하도록 구성된다. 전문 지식 데이터는 연예인이 착용하고, 또 패션쇼에서의 재발생 테마, 컬러 과학, 컬러 차트 및 전문가의 소스로부터 기타 현재 컬러/텍스처 조합의 데이터 분야에서 디자이너가 작업하는 현재의 패션 경향(예를 들어, 컬러 블로킹)을 포함한다. 전문 지식 데이터는 이미지(예를 들어, 특정 의상과 액세서리를 착용한 연예인 또는 활주로 모델의 사진) 및/또는 그림이 아닌 형태(예를 들어, 일반적으로 대중성이 있는 컬러 블로킹과 같은 눈에 띄는 패션 경향의 텍스트)로 표현될 수 있다. 컬러 과학의 경우에는 예를 들면, 컬러 배합 및 테마의 과학적 기반 어휘가 존재할 수 있다. 보색 배합과 테마에 관한 추가 정보는 다음에 제공되어 있다. http://www.dgp.toronto.edu/~donovan/color/colorcomp.pdf. http://chenlab.ece.cornell.edu/people/congcong/publications/IJSTSP_Aesthetics.pdf.

다음에 블록(1114)에서, 상보 모듈(320)은 전문가 지식 데이터를 기반으로 하나 이상의 규칙을 결정하거나 수립한다. 패션 경향은 컬러 조합이 만족스럽고 액세서리가 특정 의상과 함께 할 수 있는 등을 규정하는 규칙에서 분류될 수 있다. 예로서, 현재 인기가 있는 컬러 배합이 컬러 A, B 및 C라고 가정하자. 질의 이미지가 적절한 조합으로 컬러 A 및 B를 포함하는 경우, 규칙은 질의 이미지에서 특징된 의류/액세서리의 기사에 실린 것을 착용할 수 있고 또 이 기사와는 다른 어패럴 피스를 특징짓는 컬러 C로 재고 이미지를 추천할 것을 지시할 수 있다.

전문가 지식 데이터를 기반으로 한 규칙은 블록(1106)에서 하나 이상의 텔플릿 이미지(또는 템플릿 이미지 색인)를 생성시키는데 사용된다. 템플릿 이미지 또는 이미지 색인은 블록(1108)에서 대응 규칙 트리거와 함께 데이터베이스에 저장된다. 템플릿 이미지 색인이 템플릿 이미지 대신에 존재하는 경우에는 블록(1110)이 생략될 수 있다. 구매 행위 데이터의 맥락에서 블록(1106-1110)에 대해 제공된 부가적인 상세는 전문가 지식 데이터에 또한 적용할 수 있다. 일부 실시예에서, 블록(1112)에서 얻은 특정 패션 경향을 보이는 연예인 또는 활주로 모델의 사진은 하나 이상의 템플릿 이미지를 포함할 수 있다. 인기가 있는 컬러 배합인 컬러 조합 A, B 및 C의 예를 계속하면, 연예인 사진은 컬러 A, B 및 C의 복장을 입고 액세서리를 달고 있는 연예인을 보여줄 수 있다. 상기 연예인 사진은 템플릿 이미지로 고려될 수 있고, 블록(1110)에서 색인 단계(440)를 통해 실행될 수 있어서 그 이미지 특징 데이터(예를 들어, 컬러 A, B 및 C의 컬러 분포)를 추출할 수 있다. 상기 템플릿 이미지에 대한 대응 규칙 트리거는 질의 이미지가 영역의 사전 정의된 임계값 위의 컬러 A, B 및 C를 포함하는 경우에 재고 이미지로부터 일치 상보 품목을 찾아내기 위해 상기 템플릿 이미지(또는 대응 이미지 색인)를 이용하는 것일 수 있다. 다른 실시예에서, 하나 이상의 템플릿 이미지 또는 이미지 색인은 규칙을 실시하는 이미지가 존재하지 않기 때문에 규칙을 기반으로 구성될 수 있다.

블록(1116)에서, 상보 모듈(320)은 소셜 네트워크 데이터를 얻기 위해 구성된다. 패션은 지정된 개인의 소셜 서클에 의해 영향을 받는 소셜 복장이며, 상기 개인은 또한 남녀 소셜 서클에 영향을 준다. 상보 모듈(320)은 소셜 네트워크로부터, 특히 질의 이미지를 갖고 있거나 이를 네트워크 시스템(102)에 제출하는 사용자의 소셜 서클로부터 패션 경향 정보를 감시하고 추출한다. 소셜 네트워크로부터 발췌한 정보는 발송된 사진/이미지 및 원문 내용(예로서, 희망사항 리스트, 제품 검토, 최근 구매품 등)을 포함할 수 있다.

다음에 블록(1118)에서, 상보 모듈(320)은 소셜 네트워크 데이터를 기반으로 하나 이상의 규칙을 결정하거나 수립한다. 상보 모듈(320)은 사용자의 소셜 서클에 있는 사람들의 선택과 선호를 수량화하고, 상기 데이터를 기반으로 하나 이상의 규칙을 생성시킨다. 남녀 소셜 서클의 사용자 및 회원을 포함하는 다른 그룹의 사람들에게는 다른 세트의 규칙이 존재할 수 있다. 지정된 사람들의 그룹을 위한 규칙 세트는 예를 들어 이들의 친구들의 구매를 상보하기 때문에 특정 의류 품목을 구매하는 그룹의 개인에게 추천할 수 있다. 공동 필터링의 분야가 적용될 수 있는데, 이것은 텍스트 및 기타 거래 데이터를 다루고 있다(참조 : http://en.wikipedia.org/wiki/Collaborative_filtering).

소셜 네트워크 데이터를 기반으로 한 규칙은 블록(1106)에서 하나 이상의 템플릿 이미지(또는 템플릿 이미지 색인)를 생성시키는데 사용된다. 템플릿 이미지 또는 이미지 색인은 블록(1108)에서 대응 규칙 트리거와 함께 데이터베이스에 저장된다. 템플릿 이미지 색인이 템플릿 이미지 대신에 존재하는 경우에는 블록(1110)이 생략될 수 있다. 구매 행위 데이터 및/또는 전문가 지식 데이터의 맥락에서 블록(1106-1110)에 대해 상기에서 제공한 부가적인 상세는 또한 소셜 네트워크 데이터에 적용할 수 있다. 일부 실시예에서, 사용자 또는 사용자 친구의 소셜 네트워크 페이지에 배달된 사진/이미지는 템플릿 이미지를 포함할 수 있다. 다른 실시예에서, 하나 이상의 템플릿 이미지 또는 이미지 색인은 규칙을 실시하는 이미지가 존재하지 않기 때문에 규칙을 기반으로 구성될 수 있다.

도 11에는 3가지의 추천 학습 소스, 즉 구매 행위, 전문가 지식 및 소셜 네트워크가 도시되어 있지만, 템플릿 이미지 색인과 대응 규칙 트리거를 얻기 위해서 3가지 추천 학습 소스보다 작은 소스를 사용할 수 있음을 이해해야 한다. 또한 3가지 모두의 추천 학습 소스가 각각의 템플릿 이미지 색인과 대응 규칙 트리거를 얻기 위해 사용되는 경우에도, 하나 이상의 추천 학습 소스는 질의 이미지에 응답하여 추천을 만들 때 다른 것보다 특정 상황에서 바람직할 수 있다는 것을 이해해야 할 것이다. 주어진 품목에 대한 품목 카테고리는 품목이 목록으로 작성될 때 판매자에 의해 제공되거나, 또는 품목에 대응하는 제품 식별 번호에 의해 자동 검출되거나, 또는 이미지 처리 중에 자동 검출될 수 있다.

템플릿 이미지 색인과 규칙 트리거로서, 상보 단계는 질의 이미지에 응답하여 목록으로 작성된 품목(또는 판매용으로 제공된 품목) 중에서 하나 이상의 상보 품목을 추천하기 시작한다. 도 4에 도시된 바와 같이, 상보 단계(444)의 동작은 하기에 설명하는 바를 제외하고는 일치 단계(442)의 동작과 유사하다. 상보 단계(444)의 개시 전에, 재고 이미지를 색인하기 위해 발생한 색인 단계(440)는 일치 단계(442) 전에 실행될 것이다.

상보 단계(444)에서, 사용자는 디바이스 머신(110, 112) 상의 웹사이트 또는 앱을 통해 네트워크 시스템(102)과 인터페이스하며, 질의 이미지를 네트워크 시스템(102)(일치 단계(442)에서와 동일하게)에 제공한다. 질의 이미지는 블록(402b)에서 수신된다. 질의 이미지는 일치 단계(442)와 관련하여 상기에서 설명한 바와 같이 블록(404b-408b 및 412b-420b)에서 이미지 특징 데이터를 추출하기 위해 처리된다.

블록(410c, 424c, 426c, 428c 및 430c)의 동작은 하기를 제외하고는 블록(410b, 424b, 426b, 428b 및 430b)의 동작에 각각 대응한다.

●질의 이미지와 주어진 재고 이미지의 각 쌍 사이의 유사성 점수를 비교하고 계산하는 대신에, 유사성 점수의 비교와 계산은 템플릿 이미지와 주어진 재고 이미지의 각 쌍 사이에서 나타난다.

●특정 템플릿 이미지 쌍은 질의 이미지에 기반한다. 질의 이미지의 이미지 특징 데이터는 특정 규칙 트리거의 선택을 트리거한다. 특정 규칙 트리거는 차례로 대응 템플릿 이미지를 갖는다.

●하나 이상의 다른 템플릿 이미지는 질의 이미지에 대해 적용할 수 있는 규칙 트리거의 수에 따라서 사용될 수 있다.

일치 단계(442)에서, 흐름도(400)는 질의 이미지와 동일하거나 거의 동일한 이미지 특징을 갖는 재고 이미지를 찾는다. 반대로, 상보 단계(444)에서, 흐름도(400)는 질의 이미지에 상보하는 재고 품목을 찾는다. 이것은 이상적인 재고 품목이 질의 이미지와 동일하거나 거의 동일한 이미지 특징을 가지지 말아야 하는 것을 의미한다. 대신에, 이상적인 재고 품목은 이상적인 상보 품목이 도 11에서 확립된 추천/상보 규칙에 따라서 가져야 할 어떤 것과도 동일하거나 거의 동일한 이미지 특징을 갖는 품목이다. 템플릿 이미지는 그와 같은 이상적인 상보 재고 품목으로서 작용한다. 즉, 재고 이미지에 반하여 템플릿 이미지를 비교와 유사성 점수를 위해 사용하는 것은 질의 이미지에 대해 가장 동일하거나 거의 동일한 재고 품목을 결정하는 메커니즘을 제공한다.

마지막으로, 블록(422c)에서, 비교 모듈(316)은 디스플레이를 위해 디바이스 머신(110, 112)에 추천 또는 상보 결과를 제공한다. 일치 단계(442)와 같이, 추천/상보 결과를 포함하는 재고 품목은 품목 카테고리에 의해 그룹으로 분류될 수 있고, 각 그룹 내에서 가장 높은 것에서 가장 낮은 유사성 점수로 순서를 정해서 디바이스 머신(110, 112)에서 정돈된 프리젠테이션을 용이하게 한다. 이 결과는 도 9b의 스크린(908, 910, 912) 상에 나타난 것과 유사하게 디바이스 머신(110, 112)에 표시된다. 사용자는 남녀가 일치 결과(예를 들어, 도 9b에서 스크린(914, 918, 920)과 유사하게)와 함께 하는 것처럼 추천/상보 결과 내에서 검색할 수 있다. 일부 실시예에서, 상보 결과에 포함된 품목의 각각의 컬러 및/또는 패턴은 질의 이미지의 컬러 및/또는 패턴과 다르다.

도 12는 질의 이미지(1200)에 응답하는 예시적인 추천/상보 결과(1202, 1204)(의 일부)를 나타낸 것이다. 결과(1202, 1204)는 질의 이미지(1200)에서 특징된 품목과 품목 카테고리가 다르다는 것을 주목해야 한다. 질의 이미지(1200)는 드레스를 보여준다. 결과(1202, 1204)는 각각 신발 및 핸드백이다.

질의 이미지를 얻기 위한 다른 방법은 ― 사용자가 사진을 찍고, 이 사진을 디바이스 머신(110 또는 112) 상에서 웹사이트 또는 앱을 통해 네트워크 시스템(102) 상에서 호스트된 전자 상거래 또는 온라인 시장에 업로딩하는 것 외에 ― 전자 상거래 또는 온라인 시장과 관련되어 있지 않은 웹사이트로부터이다. 사실상, 웹사이트는 경쟁자 웹사이트, 온라인 소매업자 웹사이트, 패션 웹사이트, 소셜 네트워크 웹사이트 또는 하이퍼 텍스트 마크업 언어(HTML) 기반 웹 페이지(HTML5 기반 웹 페이지 포함)를 포함하는 어떠한 웹사이트일 수 있다. 또한 주어진 웹사이트로부터 출처된 질의 이미지에 대응하는 일치 및/또는 추천 결과는 동일한 주어진 웹사이트 내에 제공될 수 있다. 환언하면, 일치 및/또는 추천 결과는 질의 이미지를 제공한 주어진 웹사이트와는 웹사이트/웹 페이지가 다르게 제공될 필요는 없다. 이 기능은 하기에 상세히 설명되어 있는 바와 같이 디바이스 머신(110 또는 112)에 설치된 브라우저 플러그인에 의해 용이하게 된다.

도 13은 일부 실시예에 따라서 재고 이미지 품목의 전자 상거래 또는 온라인 시장과 제휴되어 있지 않은 웹사이트에서 전자 상거래 또는 온라인 시장에 의해 제안된 추천 재고 품목의 예시적인 흐름도(1300)를 나타낸 것이다. 질의 이미지의 현장 습득, 질의 이미지에 대응하는 재고 품목 추천의 프리젠테이션 그리고 품목 추천에 포함된 하나 이상의 품목에 대응하는 품목 상세를 보는 것은 재고 품목의 전자 상거래 또는 온라인 시장과 관련이 없는 웹 페이지에 나타난다.

블록(1301)에서, 네트워크 시스템(102)(예를 들어, 애플리케이션 서버(118))에 의해 제공된 브라우저 플러그인은 디바이스 머신(110 또는 112)에 설치된다. 브라우저 플러그인은 브라우저 확장, 코드의 제이쿼리 스니펫(jquery snippet) 또는 브라우저 플러그인을 포함한다. 브라우저 플러그인은 앱(905)(도 9b)과 같은 앱의 일부 또는 독립형 모듈일 수 있다. 브라우저 플러그인은 적어도 브라우저 플러그인 모듈(322)을 포함한다.

다음에 블록(1302)에서, 브라우저 플러그인 모듈(322)은 디바이스 머신(110 또는 112)에서 웹 브라우저 활동을 감시하여 특정 웹사이트(또는 웹 페이지)를 검출하도록 구성된다. 이 요청은 디바이스 머신(110 또는 112)에 포함된 웹 브라우저에서 유니폼 리소스 로케이터(URL) 어드레스의 사용자 입력이나, 또는 하이퍼링크 상에서 웹 페이지로의 사용자 클릭을 포함한다. 특정 웹사이트는 복수개의 웹사이트(예를 들어, 경쟁자 웹사이트, 온라인 소매업자 웹사이트, 패션 웹사이트, 소셜 네트워크 웹사이트 또는 HTML 기반 웹 페이지를 포함하는 어떠한 웹사이트) 중의 웹사이트(또는 웹 페이지)를 포함하고, 그로부터 질의 이미지가 출처되고, 추천 품목이 해당 웹사이트(또는 웹 페이지)를 떠나지 않고 사용자에게 제공될 수 있다. 그러한 웹사이트(또는 웹 페이지)는 또한 질의 이미지 소스 또는 외부 3자 질의 이미지 소스라 한다.

특정 웹사이트(또는 웹 페이지)에 대한 요청의 검출에 응답하여, 브라우저 플러그인 모듈(322)은 웹 브라우저가 디바이스 머신(110 또는 112)의 스크린 상의 웹 페이지를 제공하기 전에 웹 페이지의 HTML 콘텐츠를 수정하도록 구성된다(블록(1304)). HTML 콘텐츠에 대한 즉석 변경은 문서 대상 모델 인터페이스를 사용하여 이루어진다. IMG HTML 태그가 분석된다. 예를 들어, <img/> HTML 태그가 분석될 수 있다. 만약 이들이 <table/> 내부의 <img/> 태그라면, 이들은 <table/> 외부의 <img/> 태그를 통해 선정된다. 또한, 링크 추적이나 답신 전화를 가진 <img/> 엘리먼트는 격리된 <img/> 엘리먼트보다 더 높은 우선 순위가 부여된다. 요청된 웹 페이지에 요구된 수정은 답신 전화를 변경하거나 링크를 통한 후속조치를 포함하지만 이에 한정되지 않는다.

수정된 웹 페이지는 블록(1306)에서 디바이스 머신(110 또는 112)의 스크린 상에 표시된다. 블록(1308)에서, 브라우저 플러그인 모듈(322) 및/또는 사용자 관심 검출 모듈(324)은 수정된 웹 페이지에 포함된 이미지에 사용자가 관심을 갖는지 주의를 표시하는지 검출하도록 구성된다. 일 실시예에서, 이미지에 대한 사용자 관심은 사용자가 적어도 최소 시간 주기 동안에 특정 이미지에서 또는 그 근처에서 포인팅 장치(예를 들어, 마우스, 트랙 패드, 트랙볼, 핑거 등)를 움직일 때 검출된다. 다른 실시예에서, 이미지에 대한 사용자 관심은 남녀가 웹 페이지를 볼 때 사용자의 눈동자 움직임을 추적하는 것에 의해 검출된다. 인간의 눈은 제시된 장면/내용의 흥미로운 부분을 빠르게 스캔한다. 이 운동은 단속적 운동(saccade)이라 한다. 눈 추적 방식은 눈에 초점을 맞추고 있는 장면/내용의 일부를 식별할 수 있다. 스마트 폰 및 태블릿에 포함된 전면 카메라는 사용자가 디바이스의 스크린 상의 웹 페이지를 볼 때처럼 눈의 움직임을 추적할 수 있다. 다른 실시예에서, 브라우저 플러그인 모듈(322)은 사용자가 웹 페이지에 포함된 주어진 이미지에 관심을 명백히 보이도록 하나 이상의 그래픽 사용자 인터페이스(GUI) 도구를 제공할 수 있다. GUI 도구의 예로는 포인팅 도구, 하이라이팅 도구, 영역 표시 도구 등을 포함하지만 이에 한정되지 않는다. 이미지에 대한 사용자 관심을 검출하는 특정 방법이 무엇이든지, 검출은 표시된 웹 페이지의 특정 부분에 대한 사용자의 공간적 주의를 식별하는 것을 포함한다.

도 14a는 온라인 소매업자(예로서, 아마존.com)의 웹 페이지(1401)를 표시하는 예시적인 스크린(1400)을 나타낸 것이다. 웹 페이지(1401)는 온라인 소매업자에 의해 판매용으로 제안된 드레스의 적어도 4가지 이미지(1402, 1404, 1406 및 1408)를 포함한다. 웹 페이지(1401)가 4개의 드레스의 가격을 표시하고 있지만, 사용자는 웹 페이지(1401)에서 눈을 돌리지 않고 그 가격을 다른 소매업자가 표시하는 가격과 비교할 수 없다. 도 14b는 사용자가 이미지(1404)에 관심을 표현하는 웹 페이지(1401)를 표시하는 예시적인 스크린을 도시한 것이다. 검출에 응답하여, 관심 표시자(1410)의 이미지는 일치를 찾아내도록 샘플링되는 이미지에 대응하는 웹 페이지(1401)에 보여진다(예를 들어, 중첩된다). 표시자(1410)는 사각형 고무 밴드를 포함할 수 있다. 대안으로, 표시자(1410)는 선택사항이며 사용자에게 보여질 필요가 없다.

사용자가 관심을 보인 이미지가 검출되면, 브라우저 플러그인 모듈(322)은 블록(1310)에서 사용자 관심 이미지에 대응하여 추천 패널 데이터를 수신한다. 사용자 관심 이미지(예로서, 이미지(1404))는 표시될 웹 페이지/웹사이트에 대해 관련이 없는(및 비가맹) 전자 상거래 또는 온라인 시장에 의해 판매용으로 제안된 품목을 제시하기 위해 자동으로 일치 단계(442) 및/또는 상보 단계(444)(도 4 참조)에 적용되는 질의 이미지를 포함한다. 일치 및/또는 상보 단계(442, 444)의 결과는 추천 패널 데이터에 포함된다. 블록(1312)에서, 추천 패널(또한 추천, 품목 추천, 일치 품목, 상보 품목 등)은 네트워크 시스템(102)으로부터 수신된 추천 패널 데이터를 이용하여 웹 페이지에 제공된다. 추천 패널은 스크린의 하부, 상부, 측면, 중앙 또는 어떤 곳에 위치할 수 있는 플로팅 패널, 바 또는 영역을 포함할 수 있다. 추천 패널은 스크린 상에서 고정되거나 플로팅 방식으로 놓이거나 또는 이동 가능하게 놓일 수 있다. 추천 패널은 웹 페이지의 일부 위에 불투명 또는 반투명으로 중첩될 수 있다.

추천 패널(1412)의 예는 도 14b에서 스크린(1402)의 하부에 도시되어 있다. 추천 패널(1412)은 이미지(1404)의 견본 부분인 질의 또는 샘플링된 이미지(1414)를 포함한다. 이미지(1414)는 선택사항이다. 추천 패널(1412)은 또한 이미지(1404)를 가장 잘 일치 및/또는 상보하는 재고 품목의 이미지를 포함한다. 일례로, 최상 일치/상보 품목의 상위 5, 상위 10 또는 기타 사전 정의된 수가 표시될 수 있다.

다음에 블록(1314)에서, 브라우저 플러그인 모듈(322) 및/또는 사용자 관심 검출 모듈(324)은 추천 패널에서 사용자 관심을 검출하도록 구성된다. 상기에서 설명한 블록(1308)과 유사하게, 사용자 관심은 추천 패널 위에 또는 그 근처에 마우스를 가져가거나, 시선을 주거나, 또는 사용자의 명확한 액션에 의해 검출될 수 있다. 이러한 검출에 응답하여, 추천 패널에 대한 부가적인 선택사항이나 데이터는 네트워크 시스템(102)으로부터 수신되고(블록(131)), 표시된다(블록(1318)). 도 14c는 웹 페이지(1401)와 추천 패널(1412)을 표시하는 스크린(1420)을 보여준다. 추천 패널(1412)은 이제 더 많은 추천 관련 선택사항을 사용자에 보여주는 부가적인 선택사항이나 데이터(1422)를 포함하게 된다. 예를 들면, 품목 카테고리 탭이 표시되는데, 각각의 탭은 각각의 품목 카테고리(예를 들어, 탑 및 블라우스, 스커트, 스웨터, 핸드백, 신발 등)에서 상위 일치 및/또는 상보 재고 품목에 대응한다.

사용자가 예로서 추천 패널 내의 특정 품목 이미지에 마우스를 대거나 가리켜서 추천된 품목 중 하나에 관심을 표명하면, 브라우저 플러그인 모듈(322) 및/또는 사용자 관심 검출 모듈(324)은 블록(2320)에서 사용자 관심을 검출한다. 일부 실시예에서, 특정 품목의 이미지는 도 14d에 도시된 바와 같이 응답하여 확장된다. 이미지(1436)는 추천 패널(1434)에서 추천되는 품목의 다른 이미지보다 크다. 도 14d에 도시된 스크린(1430)은 소셜 네트워크 사이트(예를 들어, 페이스북 페이지)로부터 웹 페이지(1432)를 표시한다. 웹 페이지(1432)에 포함된 이미지(1433)는 사용자 관심 이미지(질의 이미지)이다. 웹 페이지(1432)는 또한 광고(1438) 또는 기타 이미지 및/또는 텍스트를 포함한다. 그럼에도 불구하고, 추천 패널(1434)은 광고(1438)에 관련된 어떠한 품목도 제시하지 않는다. 이미지(1436)는 또한 다른 슬리브를 제외하고는 이미지(1433)에서의 드레스와 매우 유사하다.

사용자가 추천 패널에서 특정 품목 이미지를 클릭하면(또는 어떠한 방법으로 확실히 선택하면), 특정 품목에 대응하는 품목 상세가 블록(1322)에서 수신되고 블록(1324)에서 표시된다. 품목 상세는 품목에 할당된 새로운 웹 페이지에 제공된다. 품목 상세 정보 페이지는 전자 상거래 또는 온라인 시장 내의 웹 페이지일 수 있다. 사용자는 또한 추천 패널에 표시된 품목을 구매할 수 있다.

도 14e는 다른 소셜 네트워크 사이트(예로서, Pinterest.com)로부터의 웹 페이지(1442)를 보여준다. 웹 페이지(1442)에 게시된 이미지(1444)는 질의 이미지이다. 이에 대응하여, 추천 패널(1446)은 관련이 없는 전자 상거래 사이트 또는 온라인 시장에 의해 판매 가능한 상위 일치 품목을 표시하도록 제공된다. 첫 번째 추천 품목(1448)은 사용자가 관심을 갖는(예를 들어, 이미지(1444)) 드레스와 동일하다.

도 15는 도 13 및 도 14a - 14e와 관련하여 검토한 추천 데이터를 계산하고 제공하기 위해 네트워크 시스템(102)(예로서, 애플리케이션 서버(118))에 의해 수행된 동작을 보여준다. 블록(1502)에서, 네트워크 시스템(102)은 블록(1302)(도 13)에서 검출된 사용자 관심 이미지(또는 데이터 당량)를 수신한다. 이에 응답하여, 일치 단계(442) 및/또는 상보 단계(444)는 질의 이미지와 같이 사용자 관심 이미지를 이용하여 수행된다(블록(1504)). 다음에 블록(1506)에서, 추천 패널(데이터)이 구성되고 디바이스 머신(110 또는 112)에 제공된다. 추천 패널 데이터는 블록(1310)(도13)에서 수신된다.

추천 패널에서 사용자 관심 검출에 응답하여, 블록(1508)에서 추천 패널에 대해 부가적인 선택사항이 구성되고 제공된다. 부가적인 선택사항은 블록(1316)(도 13)에서 수신된다. 추천 패널에 표시된 특정 품목에 대한 사용자 관심을 검출하는 것에 응답하여, 블록(1510)에서 특정 품목에 대한 품목 상세가 제공된다. 그와 같은 품목 상세는 블록(1322)(도 13)에서 디바이스 머신(110 또는 112)에서 수신된다.

따라서, 경쟁자의 포털이나 비상업 포털(예로서, 소셜 네트워크 사이트)로부터 잠재 고객을 끌어오기 위한 메커니즘이 제공된다. 품목 정보는 또한 사용자의 현재 의도에 기반하여 요구되는 바대로 제공된다. 다른 실시예에서, HTML 태그, 이미지 주변의 텍스트, 쿠키 및/또는 사용자 프로파일/계좌 정보와 같은 웹 페이지에 포함된 다른 콘텐츠는 사용자의 관심을 기반으로 추천된 품목을 웹 페이지 이미지에 제공하기 위하여 질의 이미지와 같이 웹 페이지로부터 이미지를 사용을 증가시킬 수 있다.

이와 같은 방식으로, 이미지 특징 데이터 추출과 이미지 특징 데이터의 사용이 본원에 개시되어 있다. 색인 단계에서, 재고 품목에 대응하는 재고 이미지, 사용자가 제공한 품목의 사진 또는 (비가맹) 웹사이트나 웹 페이지에 포함된 이미지는 입력 또는 샘플 이미지를 포함한다. 일 실시예에서, 색인은 재고 이미지(의류, 액세서리, 침구 및 홈 가구와 같은 특정 품목 카테고리에 대한)를 수행하여 이들의 이미지 특징과 속성을 추출하고, 재고 품목이 이들의 이미지 특징과 품목 카테고리에 의해 색인되는 이미지 목록 데이터베이스를 채운다. 추출된 이미지 특징은 컬러 히스토그램, 패턴, 지배적 컬러 및 방향 히스토그램을 포함하지만 이에 한정되지는 않는다. 추천 단계(일치 단계 및/또는 상보 단계)에서, 이미지 목록 데이터베이스에서의 정보는 비재고 이미지가 질의 이미지에 대응하는 재고 품목의 추천을 제공하기 위하여 수신될 때 액세스된다. 추천(또한 추천 결과라고 함)은 질의 이미지에 대해 최상의 상보인 질의 이미지 및/또는 재고 품목을 가장 잘 일치시키는 재고 품목을 포함한다. 상보 일치에 있어서, 패션 경향 및/또는 만족스러운 컬러/패턴 조합은 하나 이상의 소스로부터 수집되고, 상보 규칙은 수집된 데이터로부터 분류하며, 템플릿 이미지 또는 이미지 목록 및 규칙 트리거는 상보 규칙을 실시하거나 대응하도록 생성되며, 그리고 템플릿 이미지/이미지 목록은 질의 이미지에 대한 상보를 찾아내기 위하여 재고 이미지에 대해 비교된다.

다른 실시예에서, 추천 결과에 제공된 특정 품목에 대한 사용자 선호는 추천 결과 내에서 품목의 리스트를 재 순서화 또는 재 랭크하는데 사용된다. 또 다른 실시예에서, 사용자의 의도 또는 관심은 사용자가 공간적 관심 검출에 기반하여 웹사이트/웹 페이지를 보는 동안 평가된다. 웹사이트/웹 페이지에 포함된 이미지에 대한 사용자 관심은 해당 이미지(일치 및/또는 상보 품목 추천)에 대응하는 추천 결과를 복귀시키기 위하여 입력, 샘플 또는 질의 이미지로서 사용된다. 추천 결과는 사용자가 다른 페이지로 관심을 돌리지 않고도 동일한 웹사이트/웹 페이지에 제공된다. 사용자는 품목 상세를 보기 위해 추천 결과 내에서 검색할 수 있으며, 추천 결과에 포함된 품목을 구매할 수 있다.

일치를 수행하기 위한 다른 실시예와 이미지 특징 데이터를 사용할 수 있는 예는 다음과 같다.

●히스토그램 일치 방안을 위한 히스토그램의 다른 사이즈의 빈을 적용한다. 및/또는 어떤 거리 기능이 분류 특정 의미에서 가장 잘 작용하는가를 알아내기 위해 다른 거리 기능을 사용한다. 유사하지 않은 품목 사이를 최대화하는 동안 유사한 품목 사이의 거리를 최소화하는 데이터 구동 방식으로 거리를 측정한다.

●품목이 분류되는데 가장 적합한 특징을 결정하기 위해 다른 국부적 형상 기반 특징을 사용한다. 또한, 국부적 형상 기반 특징은 이들에게 특히 잘 작용하는 특정 품목 카테고리에 대해 선택된다.

●제품에 대한 다른 제조업자의 로고를 자동으로 검출한다. 다른 검출 방법은 템플릿 기반 일치, 국부적 형상 검출 기반 일치 및 앙상블 기반 일치 방법을 포함하지만 이에 한정되지는 않는다.

●많은 제품이 해당 제품에 제공될 수 있는 텍스트를 기반으로 독특하게 식별될 수 있다. 따라서, 텍스트와 제품 이미지 상의 다른 문자 숫자 특성을 검출하도록 디자인된 광학 특성 인식 엔진을 포함한다.

●검색 결과의 개인화 ― 사용자와 별개인 특정 질의 이미지에 대한 동일한 결과를 복귀시키는 대신에, 이러한 검색 처리를 더욱 개인화하고, 특정 질의에 관심을 갖는 사용자의 입맛에 가장 잘 맞는 검색 결과를 복귀시킨다. 이것은 적극적인 학습 설정에서 행해진 재 랭크 결과의 일부 형태를 필요로 한다.

●특히 패션 앱에 대해 우수한 유사성 결과를 생성하는데 적절한 특정 질의 이미지의 스타일을 검출한다. 어떤 스타일의 검출을 자동으로 수행하여 사용자가 질의 대상이 속하게 되는 가장 유사한 카테고리로 제시될 수 있게 한다. 다른 분류 및 대상 인식 방안, 특히 다른 품목 카테고리에 대한 가능한 다른 방안을 적용한다.

●여기에서 아이디어는 사용자가 검색 결과의 리스트를 가져오는 것이다. 이동 디바이스(예를 들면, 스마트 폰 또는 태브릿)의 자이로스코프 특징을 사용하여, 도시된 품목의 새로운 세트가 셰이크 모션의 검출에 응답하여 제공될 수 있다. 또한, 서로 다른 축(X 방향, Y 방향 혹은 Z 방향)을 따른 셰이크의 차원을 이용하여 색상, 텍스처 또는 형상과 같은 예정된 각각의 차원에 따라 수행될 수 있다.

●사용자가 관심 컬러 및/또는 패턴을 갖는 품목을 매일 찾는다고 가정한다. 이와 같은 매일 품목의 예로는 도색, 차, 애완동물도 포함된다. 그녀는 관심 대상의 매일 품목과 유사하게 나타나는 주어진 전자 상거래 또는 온라인 시장에 의류가 있는지 알고 싶어한다. 그녀는 스마트 폰을 이용하여 관심 품목의 사진을 찍고, 주어진 전자 상거래 또는 온라인 시장에 의해 제공된 앱(예로서 앱(905))을 이용하여 매일 품목과 유사하게 보이는 품목을 자동으로 얻는다. 이러한 결과는 각각의 카테고리에 따라서 편성되며, 사용자는 특정 카테고리를 선택하여 다른 부류의 대상인 일치 품목을 검색할 수 있다.

●이와 같은 이용의 경우는 사용자가 어패럴 의류(예를 들어, 스커트나 탑)를 갖고, 해당 의류 품목(예를 들어, 일치하는 스카프나 모자)에 대한 상보 액세서리를 발견하고자 원하는 경우를 위한 것이다. 그녀는 현재 있는 어패럴 의류 품목의 사진을 찍고, 앱(예로서 앱(905))을 이용하여 현재 있는 어패럴 의류와 유사하게 보이며 주어진 전자 상거래 또는 온라인 시장에서 이용 가능한 품목을 검색하게 된다. 입력 이미지와 재고 이미지의 가시적 특징 사이의 유사성에 기반하여, 앱은 현재 있는 어패럴 의류에 일치하는 품목을 복귀시켜 준다. 사용자는 특정 카테고리를 선택하여 다른 액세서리 카테고리의 일치 품목을 검색할 수 있다.

●사용자가 의류 상점을 방문하여 관심 품목을 찾는 시나리오를 상정한다. 그녀는 주어진 전자 상거래 또는 온라인 시장에서 유사하게 보이는 품목의 가격을 확인하기를 원한다. 그녀는 상점에서 관심 품목의 사진을 이동 디바이스(예로서 스마트 폰)를 이용하여 찍고, 의류 상점에서 관심 품목과 유사하게 보이며 주어진 전자 상거래 또는 온라인 시장에서 이용 가능한 품목을 보기 위해 앱(예로서 앱(905))에 접근한다.

●연예인의 의류 선택은 패션 복장으로 통상 인식되어 많은 사람이 연예인과 같은 드레스를 입고 싶어한다. 이러한 경우의 사용은 사용자가 연예인과 같은 드레스를 원하는 경우를 위한 것이다. 사용자는 연예인이 관심 드레스를 입고 있는 경우에 현재 있는 이미지의 사진을 찍거나, 또는 사용자가 이미지를 전화에 이미 갖고 있는 경우에 이것을 직접 업로드할 수 있다. 입력 이미지와 재고 품목의 가시적 특징 사이의 유사성에 기반하여, 앱(예로서 앱(905))은 연예인의 의류를 일치시키는 품목을 복귀시켜 준다. 사용자는 특정 카테고리를 선택하여 다른 의류 카테고리의 유사한 품목을 검색하게 된다. 이 경우의 사용은 연예인의 얼굴을 인식하고 연예인 스타일의 멋을 일치시키는 결과를 보이는 자동 얼굴 인식 기술과 함께 사용될 수 있다.

●판매자가 의류를 온라인 시장에서 판매를 원하는 경우를 상정한다. 의류의 상세를 기입하는 프로세스를 더욱 효과적으로 하기 위해서, 판매자는 판매될 의류의 이미지를 업로드 한다. 앱(예로서 앱(905))은 가시적 유사성에 기반하여 상기 품목의 최상 일치를 찾아내고, 그 결과를 판매자에 보여준다. 판매자는 판매할 품목과 정확히 일치하는 품목을 이제 선택할 수 있게 된다. 제공된 상기 정보로서, 시스템은 더욱 효과적으로 판매될 품목에 관한 정보를 전송하는 프로세스를 만들기 위해 판매자를 위한 대부분의 분야를 자동으로 채울 수 있다.

도 16은 본원에서 논의된 방법 중 어느 하나 이상을 수행하도록 인스트럭션 세트가 실행될 수 있는 컴퓨터 시스템(1600)의 예시적인 형태의 머신을 도식적으로 표현한 것이다. 컴퓨터 시스템(1600)은 예로서, 임의의 디바이스 머신(110), 디바이스 머신(112), 애플리케이션 서버(118), API 서버(114), 웹 서버(116), 데이터베이스 서버(124), 또는 제 3 자 서버(130)를 포함한다. 다른 실시예에서, 머신은 독립형 디바이스이거나 또는 다른 머신에 접속(예를 들어 네트워크화)될 수 있다. 네트워크 전개에서, 머신은 서버-클라이언트 네트워크 환경 또는 피어-투-피어(또는 분산) 네트워크 환경에서 서버 또는 디바이스의 능력으로 동작될 수 있다. 머신은 서버 컴퓨터, 클라이언트 컴퓨터, 퍼스널 컴퓨터(PC), 태블릿, 셋톱 박스(STB), 개인 휴대 정보 단말기(PDA), 스마트 폰, 휴대 폰, 웹 어플라이언스, 네트워크 라우터, 스위치 또는 브리지, 또는 해당 머신에 의해 채택되는 동작을 정의하는 인스트럭션(순차적이거나 유사한 것) 세트를 실행할 수 있는 어떠한 머신일 수 있다. 또한 단지 하나의 머신이 도시되어 있지만, 머신이라는 용어는 본원에서 논의된 방법 중 어떠한 하나 이상을 수행하기 위한 인스트럭션의 세트(또는 다수의 세트)를 개별로 또는 공동으로 실행하는 머신의 어떠한 집합체를 포함하는 것으로 이해해야 한다.

예시적인 컴퓨터 시스템(1600)은 프로세서(1602)(예를 들어, 중앙 처리 장치 (CPU), 그래픽 처리 장치(GPU), 또는 둘 다), 주 메모리(1604) 및 정적 메모리(1606)를 포함하며, 부스(1608)를 통해 서로 통신한다. 컴퓨터 시스템(1600)은 비디오 디스플레이 디바이스(1610)(예를 들어, 액정 디스플레이(LCD), 유기 발광 다이오드(OLED), 터치 스크린, 또는 음극선 관(CRT))을 더 포함할 수 있다. 컴퓨터 시스템(1600)은 또한 문자 숫자식 입력 장치(1612)(예를 들어, 물리적 또는 가상 키보드), 커서 제어 장치(1614)(예를 들어, 마우스, 터치 스크린, 터치 패드, 트랙볼, 트랙 패드), 디스크 드라이브 장치(1616), 신호 생성 장치(1618)(예를 들어, 스피커) 및 네트워크 인터페이스 디바이스(1620)를 포함한다.

디스크 드라이브 장치(1616)는 본원에서 설명한 방법 또는 기능 중 임의의 하나 이상을 실시하는 인스트럭션(1624)(예로서 소프트웨어)의 하나 이상의 세트가 포함되는 머신 판독가능 매체(1622)를 포함한다. 인스트럭션(1624)은 또한 컴퓨터 시스템(1600), 주 메모리(1604) 및 또한 머신 판독가능 매체를 구성하는 프로세서(1602)에 의한 실행 중에 주 메모리(1604) 및/또는 프로세서(1602) 내에서 완전히 또는 적어도 부분적으로 존재할 수 있다.

인스트럭션(1624)은 또한 네트워크 인터페이스 디바이스(1620)를 통해 네트워크(1626)에 걸쳐서 전송되거나 수신될 수 있다.

머신 판독가능 매체(1622)는 예시적인 실시예가 단일 머신으로 도시되어 있지만, 머신 판독가능 매체라는 용어는 인스트럭션의 하나 이상의 세트를 저장하는 단일 매체 또는 다수 매체(예를 들어, 중앙 집중식 또는 분산 데이터베이스 및/또는 관련 캐시 및 서버)를 포함하는 것으로 봐야 한다. 또한, 머신 판독가능 매체라는 용어는 머신에 의해 실행하기 위한 명령어 세트를 저장하거나 코드화하거나 또는 수행하며, 머신이 본 발명의 방법 중 어떤 하나 이상을 수행하도록 해주는 어떠한 매체를 포함하는 것으로 봐야 한다. 따라서, 머신 판독가능 매체라는 용어는 솔리드 스테이트 메모리, 광학 및 자기 매체를 포함하는 것으로 봐야 하지만 이에 한정되지는 않는다.

명확성을 기하기 위해 상기 설명은 일부 실시예에서 상이한 기능의 장치 또는 프로세서를 참조하여 개시하고 있음을 이해해야 할 것이다. 그러나, 상이한 기능의 장치, 프로세서 또는 도메인 간의 임의의 적합한 기능의 분배가 본 발명으로부터 벗어나지 않고 사용될 수 있다는 것이 명백할 것이다. 예를 들면, 별도의 프로세서 또는 제어기에 의해 수행되는 것으로 예시된 기능은 동일한 프로세서 또는 제어기에 의해 수행될 수 있다. 따라서, 구체적인 기능성 장치에 대한 참조는 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기 보다는 설명한 기능을 제공하기 위한 적합한 수단에 대한 참조로서만 볼 수 있다.

본원에서 설명한 특정 실시예는 논리 또는 복수개의 모듈, 엔진, 구성 요소 또는 메커니즘으로서 구현될 수 있다. 모듈, 엔진, 논리, 구성 요소, 또는 메커니즘(집합적으로 모듈이라 함)은 특정 동작을 수행할 수 있는 유형의 장치로서, 특정 방식으로 구성 또는 배치될 수 있다. 특정의 예시적인 실시예에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립형, 클라이언트 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 구성 요소(예를 들어, 프로세서 또는 프로세서 그룹)는 본원에서 설명한 특정 동작을 수행하도록 작동하는 모듈로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부) 또는 펌웨어(당업자에 의해 공지된 바와 같이 해당 소프트웨어 및 펌웨어는 일반적으로 본원에서 상호 교환적으로 사용될 수 있음을 주목해야 한다)에 의해 구성될 수 있다.

다양한 실시예에서, 모듈은 기계적으로 또는 전기적으로 구현될 수 있다. 예를 들면, 모듈은 특정 동작을 수행하기 위해 영구적으로 구성된(예를 들어, 특수 목적 프로세서, 특정 용도 지향 집적 회로(ASIC) 또는 어레이 내에서) 전용 회로 또는 논리를 포함할 수 있다. 모듈은 또한 특정 동작을 수행하기 위해 소프트웨어 또는 펌웨어에 의해 일시적으로 구성되는 프로그램 가능 논리 또는 회로(예를 들어, 범용 프로세서 또는 다른 프로그램 가능 프로세서)를 포함할 수 있다. 전용 및 영구적으로 구성된 회로, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성)에서, 모듈을 기계적으로 구현하기 위한 결정은 예로서 비용, 시간, 에너지 사용 및 패키지 크기를 고려하여 구동될 수 있다는 것을 이해할 수 있을 것이다.

따라서, 모듈이라는 용어는 본원에서 설명한 특정 동작을 수행하기 위하거나 특정 방식으로 동작시키기 위해 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 고정 배선식), 비일시적 또는 일시적으로 구성되는 유형의 엔티티를 망라하는 것으로 이해해야 한다. 모듈이나 구성 요소가 일시적으로 구성되는(예를 들어, 프로그램되는) 실시예를 고려하여, 각각의 모듈 또는 구성 요소는 제시간에 어떠한 인스턴스에서 구성하거나 예시할 필요가 없다. 예를 들면, 모듈이나 구성 요소는 소프트웨어를 이용하여 구성된 범용 프로세서를 포함하는 경우에, 범용 프로세서는 다른 시간에 각각 다른 모듈로서 구성될 수 있다. 따라서, 소프트웨어는 시간의 한 인스턴스에서 특정 모듈을 구성하고, 시간의 다른 인스턴스에서 다른 모듈을 구성하기 위하여 프로세스를 구성할 수 있다.

모듈은 정보를 다른 모듈로 제공하고 또 그로부터 수신할 수 있다. 따라서, 설명한 모듈은 통신적으로 결합되는 것으로 간주될 수 있다. 그와 같은 모듈이 다수 동시에 존재하는 경우에, 통신은 모듈을 연결시키는 신호 전송(예를 들어, 적절한 회로 및 부스를 통해)을 통해 이루어질 수 있다. 다수의 모듈이 다른 시간에 구성되거나 예시되는 실시예에 있어서, 통신은 예를 들어 다수의 모듈이 액세스를 갖는 메모리 구조에서 정보의 저장과 검색을 통해 이루어질 수 있다. 예를 들면, 하나의 모듈이 통신이 결합되는 메모리 디바이스에서 동작을 수행하고 동작의 출력을 저장할 수 있다. 나중에 또 다른 모듈이 저장된 출력을 검색하고 처리할 수 있다. 또한, 모듈은 입력 또는 출력 디바이스와 통신을 개시할 수 있고 리소스(예를 들어, 정보의 수집) 상에서 동작할 수 있다.

본 발명을 일부 실시예와 관련하여 설명했지만, 이는 본원에서 개시된 특정 형태에 한정되는 것은 아니다. 당업자는 설명한 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있음을 인식할 것이다. 더욱이, 다양한 수정 및 변경이 본 발명의 범주를 벗어나지 않고 당업자에 의해 이루어질 수 있음을 이해할 수 있을 것이다.

요약은 기술적 개시의 특성을 신속히 독자에게 확인할 수 있도록 하기 위해 제공된다. 요약은 청구항의 범위 또는 의미를 해석하거나 제한하는데 사용되지 않을 것이라는 이해로 제출된다. 또한, 전술한 발명의 상세한 설명에서, 다양한 특징들이 개시를 능률화 할 목적으로 단일 실시예에서 함께 그룹화 되어 있는 것을 알 수 있다. 이러한 개시 방법은 청구된 실시예들이 각 청구항에 분명히 인용된 것보다 많은 특징을 필요로 한다는 의도를 반영하는 것으로 해석되어서는 안된다. 오히려, 다음의 청구항들이 반영하듯이, 본 발명의 본질은 개시된 단일 실시예의 모든 특징보다 적다. 따라서, 다음의 청구항들은 각 청구항이 개별 실시예로서 그 자체에 기초하여 발명의 상세한 설명에 통합되어 있다.

Claims

질의 이미지를 수신하는 단계와,
상기 질의 이미지로부터 컬러 히스토그램(color histogram)을 추출하는 단계 - 상기 컬러 히스토그램을 추출하는 단계는 다차원 컬러 공간의 각 차원에 상기 질의 이미지를 포함하는 픽셀의 일차원 샘플링을 수행하는 단계를 포함함 - 와,
상기 질의 이미지의 이미지 속성을 결정하는 단계 - 상기 질의 이미지의 이미지 속성은 상기 질의 이미지에 포함된 가시적 패턴, 상기 질의 이미지의 지배적 컬러 및 상기 질의 이미지에 대응하는 방향 히스토그램 중 적어도 하나를 포함함 - 와,
상기 질의 이미지의 이미지 속성을 재고 이미지의 이미지 속성과 비교하여 상기 질의 이미지와 일치하는 하나 이상의 재고 이미지를 찾는 단계 - 상기 비교에 사용되는 상기 질의 이미지의 이미지 속성은 상기 컬러 히스토그램, 상기 가시적 패턴, 상기 지배적 컬러, 및 상기 방향 히스토그램 중에서 선택됨 - 와,
일치 결과를 제공하는 단계 - 상기 일치 결과는 상기 하나 이상의 재고 이미지를 포함함 - 을 포함하며,
상기 비교에 사용되는 상기 이미지 속성의 선택은 상기 가시적 패턴, 상기 지배적 컬러 또는 상기 방향 히스토그램으로부터 검출된 지향성과 연관된 신뢰도 점수에 기반하는
방법.
제 1 항에 있어서,
상기 컬러 히스토그램은 색조, 채도 및 명암(a hue, saturation, and value; HSV) 컬러 공간을 따르는
방법.
제 1 항에 있어서,
상기 가시적 패턴은 물방울 무늬, 줄무늬, 체크 무늬, 격자 무늬, 꽃 무늬 또는 기타 반복 패턴을 포함하는
방법.
삭제
제 1 항에 있어서,
가시적 패턴이 상기 질의 이미지 상에서 검출되고 상기 검출된 가시적 패턴의 신뢰도 점수가 사전 정의된 임계값을 초과하는 경우, 상기 질의 이미지의 상기 이미지 속성을 상기 재고 이미지의 상기 이미지 속성과 비교하는 것은 상기 질의 이미지의 상기 검출된 가시적 패턴을 상기 재고 이미지의 가시적 패턴과 비교하는 것을 포함하는
방법.
제 1 항에 있어서,
가시적 패턴이 검출되지 않거나 검출된 가시적 패턴의 신뢰도 점수가 사전 정의된 임계값 미만인 경우, 상기 질의 이미지의 상기 이미지 속성을 상기 재고 이미지의 상기 이미지 속성과 비교하는 것은 상기 질의 이미지의 상기 컬러 히스토그램을 상기 재고 이미지의 컬러 히스토그램과 비교하는 것을 포함하는
방법.
제 1 항에 있어서,
가시적 패턴이 검출되지 않고 상기 질의 이미지의 상기 지배적 컬러의 신뢰도 점수가 사전 정의된 임계값을 초과하는 경우, 상기 질의 이미지의 상기 이미지 속성을 상기 재고 이미지의 상기 이미지 속성과 비교하는 것은 상기 질의 이미지의 상기 지배적 컬러를 상기 재고 이미지의 지배적 컬러와 비교하는 것을 포함하는
방법.
제 1 항에 있어서,
가시적 패턴이 검출되지 않고 상기 질의 이미지의 상기 지향성의 신뢰도 점수가 사전 정의된 임계값 미만인 경우, 상기 질의 이미지의 상기 이미지 속성을 상기 재고 이미지의 상기 이미지 속성과 비교하는 것은 상기 질의 이미지의 상기 컬러 히스토그램을 상기 재고 이미지의 컬러 히스토그램과 비교하는 것을 포함하는
방법.
제 8 항에 있어서,
가시적 패턴이 검출되지 않고 상기 지향성의 신뢰도 점수가 사전 정의된 임계값을 초과하는 경우, 상기 질의 이미지의 상기 이미지 속성을 상기 재고 이미지의 상기 이미지 속성과 비교하는 것은 상기 질의 이미지의 상기 컬러 히스토그램을 상기 재고 이미지의 상기 컬러 히스토그램과 비교하는 것 및 상기 질의 이미지의 상기 방향 히스토그램을 상기 재고 이미지의 방향 히스토그램과 비교하는 것을 포함하는
방법.
제 1 항에 있어서,
상기 질의 이미지의 샘플링 영역을 지정하는 단계 및 상기 샘플링 영역을 사용하여 상기 가시적 패턴, 상기 지배적 컬러, 및 상기 방향 히스토그램 중 적어도 하나와 상기 컬러 히스토그램을 결정하는 단계를 더 포함하되,
상기 샘플링 영역은 상기 질의 이미지의 중앙부를 포함하는
방법.
제 1 항에 있어서,
상기 질의 이미지의 상기 이미지 속성을 상기 재고 이미지의 상기 이미지 속성과 비교하는 단계는, 복수의 재고 아이템에 대응하는 복수의 재고 이미지로부터의 재고 이미지와 상기 질의 이미지의 각 쌍에 대한 유사도 점수를 계산하는 단계를 포함하는
방법.
제 11 항에 있어서,
상기 일치 결과는 상기 재고 이미지와 상기 질의 이미지의 각 쌍에 대한 상기 유사도 점수에 의해 순서화된 상기 재고 아이템의 리스트를 포함하는
방법.
장치로서,
적어도 하나의 메모리와,
상기 메모리와 통신하는 적어도 하나의 프로세서와,
상기 메모리에 저장되고 상기 프로세서에 의해 실행되어 동작을 수행하는 명령어를 포함하는 적어도 하나의 모듈을 포함하되,
상기 동작은,
질의 이미지를 수신하는 것과,
상기 질의 이미지로부터 컬러 히스토그램을 추출하는 것 - 상기 컬러 히스토그램을 추출하는 것은 다차원 컬러 공간의 각 차원에 상기 질의 이미지를 포함하는 픽셀의 일차원 샘플링을 수행하는 것을 포함함 - 과,
상기 질의 이미지의 이미지 속성을 결정하는 것 - 상기 질의 이미지의 이미지 속성은 상기 질의 이미지에 포함된 가시적 패턴, 상기 질의 이미지의 지배적 컬러 및 상기 질의 이미지에 대응하는 방향 히스토그램 중 적어도 하나를 포함함 - 과,
상기 질의 이미지의 이미지 속성을 재고 이미지의 이미지 속성과 비교하여 상기 질의 이미지와 일치하는 하나 이상의 재고 이미지를 찾는 것 - 상기 비교에 사용되는 상기 질의 이미지의 이미지 속성은 상기 컬러 히스토그램, 상기 가시적 패턴, 상기 지배적 컬러, 및 상기 방향 히스토그램 중에서 선택됨 - 과,
일치 결과를 제공하는 것 - 상기 일치 결과는 상기 하나 이상의 재고 이미지를 포함함 - 을 포함하며,
상기 비교에 사용되는 상기 이미지 속성의 선택은 상기 가시적 패턴, 상기 지배적 컬러 또는 상기 방향 히스토그램으로부터 검출된 지향성과 연관된 신뢰도 점수에 기반하는
장치.
삭제
제 13 항에 있어서,
상기 컬러 히스토그램은 컬러 분포 및 상기 컬러 분포 내에서 식별된 컬러들의 상대적 공간 범위를 포함하는
장치.
제 13 항에 있어서,
상기 방향 히스토그램은 상기 질의 이미지의 공간적 변화량의 지향성의 측정치 및 상기 공간적 변화량의 복잡성의 측정치를 포함하는
장치.
제 13 항에 있어서,
상기 일치 결과는 상기 질의 이미지의 이미지 속성과 상기 재고 이미지의 이미지 속성의 비교에 따라 상기 질의 이미지와 유사한 재고 이미지에 대응하는 재고 아이템의 리스트를 포함하는
장치.
명령어를 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 명령어는 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 동작을 수행하게 하되,
상기 동작은,
질의 이미지를 수신하는 것과,
상기 질의 이미지로부터 컬러 히스토그램을 추출하는 것 - 상기 컬러 히스토그램을 추출하는 것은 다차원 컬러 공간의 각 차원에 상기 질의 이미지를 포함하는 픽셀의 일차원 샘플링을 수행하는 것을 포함함 - 과,
상기 질의 이미지의 이미지 속성을 결정하는 것 - 상기 질의 이미지의 이미지 속성은 상기 질의 이미지에 포함된 가시적 패턴, 상기 질의 이미지의 지배적 컬러 및 상기 질의 이미지에 대응하는 방향 히스토그램 중 적어도 하나를 포함함 - 과,
상기 질의 이미지의 이미지 속성을 재고 이미지의 이미지 속성과 비교하여 상기 질의 이미지와 일치하는 하나 이상의 재고 이미지를 찾는 것 - 상기 비교에 사용되는 상기 질의 이미지의 이미지 속성은 상기 컬러 히스토그램, 상기 가시적 패턴, 상기 지배적 컬러, 및 상기 방향 히스토그램 중에서 선택됨 - 과,
일치 결과를 제공하는 것 - 상기 일치 결과는 상기 하나 이상의 재고 이미지를 포함함 - 을 포함하며,
상기 비교에 사용되는 상기 이미지 속성의 선택은 상기 가시적 패턴, 상기 지배적 컬러 또는 상기 방향 히스토그램으로부터 검출된 지향성과 연관된 신뢰도 점수에 기반하는
비일시적 컴퓨터 판독가능 저장 매체.
삭제
제 18 항에 있어서,
가시적 패턴이 상기 질의 이미지 상에서 검출되고 상기 검출된 가시적 패턴의 신뢰도 점수가 사전 정의된 임계값을 초과하는 경우, 상기 질의 이미지의 상기 이미지 속성을 상기 재고 이미지의 상기 이미지 속성과 비교하는 것은 상기 질의 이미지의 상기 검출된 가시적 패턴을 상기 재고 이미지의 가시적 패턴과 비교하는 것을 포함하고,
가시적 패턴이 검출되지 않고 상기 질의 이미지의 상기 지배적 컬러의 신뢰도 점수가 사전 정의된 임계값을 초과하는 경우, 상기 질의 이미지의 상기 이미지 속성을 상기 재고 이미지의 상기 이미지 속성과 비교하는 것은 상기 질의 이미지의 상기 지배적 컬러를 상기 재고 이미지의 지배적 컬러와 비교하는 것을 포함하며,
가시적 패턴이 검출되지 않고 상기 지향성의 신뢰도 점수가 사전 정의된 임계값을 초과하는 경우, 상기 질의 이미지의 상기 이미지 속성을 상기 재고 이미지의 상기 이미지 속성과 비교하는 것은 상기 질의 이미지의 상기 컬러 히스토그램을 상기 재고 이미지의 상기 컬러 히스토그램과 비교하는 것 및 상기 질의 이미지의 상기 방향 히스토그램을 상기 재고 이미지의 방향 히스토그램과 비교하는 것을 포함하는
비일시적 컴퓨터 판독가능 저장 매체.