KR20160018550A - 스마트 쇼핑을 위한 방법 및 디바이스 - Google Patents

스마트 쇼핑을 위한 방법 및 디바이스 Download PDF

Info

Publication number
KR20160018550A
KR20160018550A KR1020157035045A KR20157035045A KR20160018550A KR 20160018550 A KR20160018550 A KR 20160018550A KR 1020157035045 A KR1020157035045 A KR 1020157035045A KR 20157035045 A KR20157035045 A KR 20157035045A KR 20160018550 A KR20160018550 A KR 20160018550A
Authority
KR
South Korea
Prior art keywords
user
gesture
product
triggering
item
Prior art date
Application number
KR1020157035045A
Other languages
English (en)
Inventor
메이어 조하르
노암 크론만
모셰 로젠블럼
Original Assignee
프리셔브 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프리셔브 리미티드 filed Critical 프리셔브 리미티드
Publication of KR20160018550A publication Critical patent/KR20160018550A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Abstract

쇼핑 목록과 같은 목록을 생성, 업데이트 및 유지하기 위한 방법 및 디바이스 및 사용자 선택된 제품에 적합한 대용품을 자동으로 식별하기 위한 방법 및 디바이스를 포함하는, 사용자의 쇼핑 체험을 개선하기 위한 방법 및 디바이스가 제공된다.

Description

스마트 쇼핑을 위한 방법 및 디바이스{METHODS AND DEVICES FOR SMART SHOPPING}
관련 출원
본 출원은 여기에 완전히 제시된 것처럼 참고로 본 명세서에 편입되는 2013년 6월 5일자로 출원된 미국 가특허출원 제61/831,166호로부터의 우선권을 얻게 된다.
기술분야
본 발명은, 일부 실시예에서는, 소매 쇼핑 분야에 관한 것이고, 더 구체적으로는, 온라인 쇼핑 때에도 그리고 물리적 소매점에서의 쇼핑 때에도, 사용자의 쇼핑 체험을 개선하기 위한 방법 및 디바이스에 관한 것이다.
시장에서 현재 이용가능한 여러 전산화된 쇼핑 애플리케이션에 있어서, 제품은, 예를 들어, 전형적으로는 컴퓨터 비전 및/또는 이미지 프로세싱 방법을 사용하여, 제품의 포장으로부터의 시각적 특징의 추출에 기반하여, 제품의 재고 관리 코드(Stock Keeping Unit: SKU)를 식별함으로써 고유하게 식별될 수 있다. 그렇지만, 기존 제품에서는, 모든 제품 이미지를 포함하고 있는 데이터베이스가 오퍼레이터에 의해 수동으로 구축된다. 데이터베이스를 최신으로 유지하기 위하여, 제품의 포장에서의 각각의 변경은 오퍼레이터에 의해 수동으로 입력되어야 하여서, 포장 변경을 오퍼레이터가 모르고 있는 것 또는 업데이트 백로그에 기인하여 흔히 부정확을 야기한다.
예를 들어 컴퓨터 비전 및/또는 이미지 프로세싱 방법을 사용하여 손 움직임 및 물건 움직임이 커맨드로 번역되는 다양한 디바이스 및 제품이 존재한다. 그렇지만, 이들 디바이스는 전형적으로는 특정 리모컨과 같은 특정 물건의 사용을 필요로 하거나, 또는 초기 설정 동안 사용자에 의해 식별된 한정된 수의 물건을 인식할 수 있다.
오늘날 존재하는 여러 쇼핑 애플리케이션은 제품 매칭을 위해 설계된 데이터 마이닝 또는 데이터 분석 기술을 포함하여서, 그것들은 함께 구매되거나 단일 사용자에 의해 구매된 제품을 식별하고 그러한 식별에 기반하여 다른 사용자에게 제안을 할 수 있다. 부가적으로, 특히 식료 제품에 대해, 더 좋은 가격을 갖는 유사한 제품, 또는 더 건강하다고 생각되는 것을 식별하여 사용자에게 구입할 것을 제안하는 제품 비교 애플리케이션이 존재한다. 그렇지만, 이들 애플리케이션은 특정 사용자의 선호도를 고려하지 않고, 그래서 흔히 극도로 무관한 제품을 사용자에게 제안하여, 사용자가 사용자의 시간을 절약하기보다는 무관한 제안을 검토하는데 시간을 낭비하게 야기한다.
당연히, 모든 쇼핑 애플리케이션은 소망 제품에 관하여 사용자로부터의 입력을 수신한다. 기존 음성 인식 알고리즘 및 기술은 사용자가 정보를 음성으로 입력할 수 있게 하고, 물론 사용자가 쇼핑할 수 있는 식료 및 다른 제품과 관련된 용어를 인식도 한다. 그렇지만, 오늘날 존재하는 쇼핑 애플리케이션은 음성 인식 메커니즘에 의해 인식된 음성 입력을 특정 제품의 식별로 번역하지 않아, 음성 커맨드 형태의 사용자의 입력을 수신하는 것을 어렵고 비효율적이게 한다.
본 발명의 일부 실시예는 구입될 제품 또는 식료 목록과 같은 목록을 생성하기 위한 방법 및 디바이스에 관한 것이다.
본 발명의 일부 실시예의 일 태양에 의하면, 목록 및 데이터베이스 중 적어도 하나를 생성 및 업데이트하기 위한 방법이 제공되며, 그 방법은:
이미지 캡처링 엘리먼트 부근의 물건의 적어도 하나의 이미지를 캡처링하도록 이미지 캡처링 엘리먼트를 트리거링하는 단계;
물건의 특징을 식별하도록 적어도 하나의 이미지를 분석하는 단계;
적어도 식별된 특징에 기반하여 물건을 고유하게 식별하는 단계;
적어도 하나의 사용자 제스처를 검출하도록 물건, 다른 물건 및 손 중 적어도 하나의 모션을 추적하는 단계;
제스처와 연관된 행동을 식별하도록 특정 사용자의 선호도 및 제스처와 관련된 사용자-특정 정보에 적어도 기반하여 검출된 적어도 하나의 사용자 제스처를 해석하는 단계로서, 행동은 물건 목록에 대한 업데이트 및 물건 목록과 연관된 디스플레이에서의 변화 중 적어도 하나와 관련된 해석하는 단계; 및
해석에 기반하여, 행동을 수행하는 단계를 포함하되,
사용자-특정 정보는 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 물건은 식료 제품을 포함하고, 목록은 식료 목록을 포함한다. 일부 실시예에 있어서, 물건은 소매 제품을 포함하고, 목록은 쇼핑 목록을 포함한다. 예를 들어, 제품은 서적, 사무용 제품, 건강 관리 제품, 의약 제품, 미용 제품, 전자 제품, 미디어 제품, 산업용 창고 물품, 서비스 섹터 창고 물품, 및 어느 다른 적합한 소매 제품이라도 포함할 수 있다.
일부 실시예에 있어서, 물건은 소매점에 의해 비축된 재고 물품을 포함하고, 목록은 그 점포의 재고 목록을 포함한다. 재고 물품은, 예를 들어, 전자 제품, 미디어 제품, 사무용품, 서적, 의약 및 건강 관리 제품, 식료 제품, 및 미용 제품과 같은 어느 적합한 재고 물품이라도 될 수 있다.
사용자-특정 정보는 어느 적합한 사용자-특정 정보라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 사용자-특정 정보는 사용자의 구입 이력에 관한 정보, 사용자의 목록 이력에 관한 정보, 사용자의 제스처에 관한 정보, 어법 또는 억양에 관한 정보와 같이 사용자의 화법에 관한 정보, 및 사용자가 연관되는 하나 이상의 사용자 세그먼트에 관한 정보를 포함한다.
일부 실시예에 있어서, 트리거링하는 단계는 이미지 캡처링 엘리먼트을 수동으로 트리거링하는 단계를 포함한다. 일부 실시예에 있어서, 트리거링하는 단계는 이미지 캡처링 엘리먼트을 자동으로 트리거링하는 단계를 포함한다.
일부 실시예에 있어서, 자동으로 트리거링하는 단계는 적어도 하나의 센서를 사용하여, 물건 및 트리거링 이벤트 중 적어도 하나를 식별하도록 이미지 캡처링 엘리먼트 부근을 스캐닝하는 단계, 및 이미지 캡처링 엘리먼트 부근에서 트리거링 이벤트 및/또는 물건의 식별 시 상기 이미지 캡처링 엘리먼트를 트리거링하는 단계를 포함한다.
일부 실시예에 있어서, 적어도 하나의 센서는 근접 센서를 포함하고, 트리거링 이벤트는 사용자 또는 물건이 미리 결정된 지속시간 동안 이미지 캡처링 엘리먼트에 미리 결정된 근접 거리에 있는 것을 포함한다.
일부 실시예에 있어서, 적어도 하나의 센서는 바코드 판독기를 포함하고, 트리거링 이벤트는 미리 결정된 지속시간 동안 이미지 캡처링 엘리먼트 부근에 존재하는 바코드의 식별을 포함한다. 그러한 일부 실시예에 있어서, 트리거링 이벤트는 이미지 캡처링 엘리먼트 부근에서의 바코드의 특정 모션 패턴의 식별을 포함한다. 그러한 일부 실시예에 있어서, 바코드의 특정 모션 패턴은 사용자-특정적이고 사용자-특정 정보의 일부분으로서 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 적어도 하나의 센서는 QR(Quick Response) 코드 판독기를 포함하고, 트리거링 이벤트는 미리 결정된 지속시간 동안 이미지 캡처링 엘리먼트 부근에 존재하는 QR 코드의 식별을 포함한다. 그러한 일부 실시예에 있어서, 트리거링 이벤트는 이미지 캡처링 엘리먼트 부근에서의 QR 코드의 특정 모션 패턴의 식별을 포함한다. 그러한 일부 실시예에 있어서, QR 코드의 특정 모션 패턴은 사용자-특정적이고 사용자-특정 정보의 일부분으로서 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 적어도 하나의 센서는 모션 센서를 포함하고, 트리거링 이벤트는 이미지 캡처링 엘리먼트 부근에서의 모션의 식별을 포함한다. 그러한 일부 실시예에 있어서, 트리거링 이벤트는 이미지 캡처링 엘리먼트 부근에서의 특정 모션 패턴의 식별을 포함한다. 그러한 일부 실시예에 있어서, 특정 모션 패턴은 사용자-특정 모션 패턴이고 사용자-특정 정보의 일부분으로서 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 사용자-특정 모션 패턴은, 예를 들어 다수 사용자가 동일 디바이스를 사용할 때, 이미지 캡처링 엘리먼트를 포함하는 디바이스와 연관된 모션 패턴의 레퍼토리의 일부분을 형성한다.
일부 실시예에 있어서, 적어도 하나의 센서는 마이크로폰 또는 다른 음성 센서를 포함하고, 트리거링 이벤트는 이미지 캡처링 엘리먼트 부근에서 들리는 트리거 소리, 트리거 단어, 또는 트리거 구절의 식별을 포함한다.
일부 실시예에 있어서, 적어도 하나의 센서는 RFID 센서를 포함하고, 트리거링 이벤트는 이미지 캡처링 엘리먼트 부근에서의 RFID 태그의 식별을 포함한다.
일부 실시예에 있어서, 적어도 하나의 센서는 3차원 센서를 포함하고, 트리거링 이벤트는 이미지 캡처링 엘리먼트 부근에서의 3차원 물건의 식별을 포함한다. 그러한 일부 실시예에 있어서, 3차원 센서는 구조형 광을 사용하여 물건의 조명에 의해 도움을 받는다.
일부 실시예에 있어서, 사용자-특정 정보는, 다음 중 하나 이상을 포함하는, 사용자-특정 트리거링 태양과 관련된 정보를 포함한다:
트리거링의 시점에 이미지 캡처링 엘리먼트로부터 사용자의 거리;
트리거링의 시점에 사용자에 의해 사용된 트리거링 제스처;
트리거링 제스처의 속도;
트리거링 제스처의 타이밍;
트리거링을 목적으로 사용자가 이미지 캡처링 엘리먼트 부근에 있는 지속시간;
트리거링 동안 사용자가 물건을 드는 들고 있는 패턴의 특성;
음성 커맨드를 사용하여 이미지 캡처링 엘리먼트와 연관된 디바이스의 행동을 트리거링하려는 사용자의 성향; 및
디바이스의 행동을 트리거링하도록 사용자에 의해 수행된 행동 시퀀스의 특성.
일부 실시예에 있어서, 자동으로 트리거링하는 단계는 사용자에 의해 수행된 적어도 하나의 미리 결정된 트리거링 제스처를 인식하는 단계를 포함하고, 사용자-특정 정보는 적어도 하나의 미리 결정된 트리거링 제스처의 사용자-특정 뉘앙스를 포함한다. 일부 실시예에 있어서, 트리거링하는 단계는 사용자가 수행하기를 바라는 특정 행동을 식별하도록 사용자의 거동을 분석하는 단계 및, 컴포넌트가 식별된 특정 행동을 수행하는데 적당한, 이미지 캡처링 엘리먼트와 연관된 디바이스의 특정 컴포넌트를 활성화하는 단계를 포함한다.
일부 실시예에 있어서, 자동으로 트리거링하는 단계는, 이미지 캡처링 엘리먼트를 사용하여, 적어도 하나의 트리거링 이미지를 트리거 이미징 레이트로 캡처링하는 단계, 및 적어도 하나의 트리거링 이미지에서 물건 및 트리거링 이벤트 중 적어도 하나를 식별하여, 그로써 적어도 하나의 이미지의 캡처링을 트리거링하는 단계를 포함한다. 트리거 이미징 레이트는 어느 적합한 이미징 레이트라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 트리거 이미징 레이트는, 물건이 이미지 캡처링 엘리먼트 부근에 있지 않은 동안 에너지를 아끼도록, 초당 10개 이미지를 초과하지 않거나, 초당 5개 이미지를 초과하지 않거나, 초당 2개 이미지를 초과하지 않거나, 초당 1개 이미지를 초과하지 않는다.
일부 실시예에 있어서, 적어도 하나의 트리거링 이미지는 흑백 이미지 또는 저해상도 이미지와 같은 저품질 이미지를 포함한다.
일부 실시예에 있어서, 적어도 하나의 트리거링 이미지에서 물건을 식별하는 단계는 적어도 하나의 트리거링 이미지에서 물건의 경계를 식별하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 물건을 식별하는 단계는 경계를 식별하기 이전에 적어도 하나의 트리거링 이미지로부터 배경 정보를 소거하는 단계를 또한 포함한다.
일부 실시예에 있어서, 적어도 하나의 트리거링 이미지에서 물건을 식별하는 단계는 적어도 하나의 트리거링 이미지에서 물건의 3차원 구조를 식별하도록 적어도 하나의 트리거링 이미지를 분석하는 단계를 포함한다.
일부 실시예에 있어서, 적어도 하나의 트리거링 이미지에서 물건을 식별하는 단계는 적어도 하나의 트리거링 이미지에서 물건의 적어도 하나의 시각적 특징을 식별하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 적어도 하나의 시각적 특징은 물건 상의 글씨의 존재, 물건 상의 그래픽의 존재, 물건의 채색, 물건 상의 워터마크의 존재, 및/또는 물건의 3차원 구조 중 적어도 하나를 포함한다.
일부 실시예에 있어서, 적어도 하나의 트리거링 이미지에서 트리거링 이벤트를 식별하는 단계는 이미지 캡처링 엘리먼트 부근에서의 물건의 모션을 식별하도록 트리거링 이미지 중 적어도 2개를 비교하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 트리거링 이벤트를 식별하는 단계는 적어도 2개의 트리거링 이미지에서 이미지 캡처링 엘리먼트 부근에서의 특정 모션 패턴의 식별하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 특정 모션 패턴은 사용자-특정적이고 사용자-특정 정보의 일부분으로서 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 트리거링하는 단계는, 디바이스에 의해 이미지의 캡처링 및 그 프로세싱을 가능하게 하도록, 이미지 캡처링 엘리먼트를 포함하는 디바이스 상에서 앞서 실행 중인 소프트웨어 프로그램 또는 애플리케이션을 인터럽트하는 단계를 또한 포함한다.
일부 실시예에 있어서, 트리거링하는 단계는 트리거링 동안 획득된 데이터에 기반하여 계산 자원을 활성화함으로써 적어도 하나의 이미지를 분석하는 단계, 물건을 고유하게 식별하는 단계, 추적하는 단계, 검출된 사용자 제스처를 해석하는 단계, 및 행동을 수행하는 단계 중 적어도 하나에 대한 계산 자원의 가용성을 관리하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 가용성을 관리하는 단계는, 트리거링 이벤트가 확정적으로 식별되지 않으면, 트리거링 이벤트가 발생했는지 결정하도록 구성된 계산 자원을 활성화하는 단계를 포함한다.
일부 실시예에 있어서, 트리거링하는 단계는 이미지 캡처링 엘리먼트 부근에서의 물건의 변경을 식별하는 단계, 및 새롭게 제공된 물건의 적어도 하나의 이미지를 캡처링하도록 이미지 캡처링 엘리먼트를 트리거링하는 단계를 포함한다.
일부 실시예에 있어서, 방법은 이미지 캡처링 엘리먼트에 의해 물건의 적어도 하나의 이미지를 캡처링하는 동안 물건을 조명하는 단계를 또한 포함한다. 그러한 일부 실시예에 있어서, 조명하는 단계는 전용 조명 소스를 사용하여 물건을 조명하는 단계를 포함한다. 일부 실시예에 있어서, 조명하는 단계는 단색 조명을 사용하여 물건을 조명하는 단계를 포함한다. 일부 실시예에 있어서, 조명하는 단계는 다색 조명을 사용하여 물건을 조명하는 단계를 포함한다.
일부 실시예에 있어서, 조명하는 단계는 이미지 캡처링 엘리먼트와 연관된 디스플레이의 백라이트를 사용하여 물건을 조명하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 이미지 캡처링 엘리먼트에 의해 캡처링된 적어도 하나의 이미지는 복수의 이미지를 포함하고, 백라이트를 사용하는 것은 물건을 다른 각도로부터 조명하여 그로써 복수의 이미지 중 다른 이미지에서 다른 음영 패턴을 발생시키도록 제어된 방식으로 물건을 조명하도록 디스플레이의 백라이트를 사용하는 것을 포함한다.
일부 실시예에 있어서, 제어된 방식으로 물건을 조명하도록 백라이트를 사용하는 것은 패터닝된 단색 조명으로 물건을 조명하도록 백라이트를 사용하는 것을 포함한다. 예를 들어, 패터닝된 단색 조명으로 조명하는 것은 처음에는 청색광으로 물건을 조명하는 것, 다음에는 녹색광으로 물건을 조명하는 것, 그 후에는 적색광으로 물건을 조명하는 것을 포함할 수 있다.
일부 실시예에 있어서, 물건을 조명하는 단계는 산란형 조명 패턴 및 구조형 조명 패턴 중 적어도 하나로 물건을 조명하는 단계를 포함한다.
이미지 캡처링 엘리먼트 부근은 어느 적합한 반경 또는 거리라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 적어도 하나의 이미지가 캡처링되는 이미지 캡처링 엘리먼트 부근은 사용자-특정적이고 사용자-특정 정보의 일부분으로서 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 적어도 하나의 이미지를 분석하는 단계는 적어도 하나의 이미지에서 물건의 시각적 특징을 식별하는 단계를 포함한다. 일부 실시예에 있어서, 적어도 하나의 이미지를 분석하는 단계는 이미지 캡처링 엘리먼트에 의해 캡처링된 물건의 복수의 이미지를 가상으로 조합하고 가상으로 조합된 이미지에서 시각적 특징을 식별하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 시각적 특징은 물건 상에 인쇄된 이미지, 물건의 채색, 물건 상에 인쇄된 문자 또는 글자, 물건 상의 워터마크, 및 물건 상의 다른 그래픽 형태 중 적어도 하나를, 육안으로 보이는 것도 그리고 육안으로 보이지 않는 것도, 포함한다.
일부 실시예에 있어서, 적어도 하나의 이미지를 분석하는 단계는 적어도 하나의 이미지에서 고유 물건 특성을 식별하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 고유 물건 특성은 바코드 및 QR 코드 중 적어도 하나를 포함한다.
일부 실시예에 있어서, 적어도 하나의 이미지를 분석하는 단계는 적어도 하나의 이미지에서 물건의 3차원 구조를 식별하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 적어도 하나의 이미지는, 물건의 3차원 구조를 식별하도록 조합되는, 적어도 2개의 이미지를 포함한다. 그러한 일부 실시예에 있어서는, 적어도 2개의 이미지에서의 음영 패턴이 물건의 3차원 구조를 식별하는데 사용된다. 적어도 2개의 이미지에서의 음영 패턴은 자연적으로 야기될 수도 있고, 구조형 광으로 그리고/또는 산란형 광으로 조명에 의해 발생될 수도 있다.
일부 실시예에 있어서, 물건을 고유하게 식별하는 단계는 물건의 식별된 특징 중 적어도 일부를 포함하는 물건 엔트리를 물건-특징 데이터베이스에서 찾아내는 단계를 포함한다. 일부 실시예에 있어서, 물건을 고유하게 식별하는 단계는 물건의 식별된 특징 전부를 포함하는 물건 엔트리를 물건-특징 데이터베이스에서 찾아내는 단계를 포함한다.
일부 실시예에 있어서, 물건을 고유하게 식별하는 단계는 사용자-특정 정보 및 이미지 캡처링 엘리먼트를 포함하는 특정 디바이스의 사용자와 관련된 정보 중 하나 이상에 기반하여 물건을 고유하게 식별하는 단계를 포함한다. 일부 실시예에 있어서, 방법은 각각의 사용자를 적어도 하나의 사용자-세그먼트와 연관시키는 단계를 또한 포함하고, 물건을 고유하게 식별하는 단계는 사용자-세그먼트 내 사용자의 선호도 및 제스처 중 적어도 하나와 관련된 세그먼트-특정 정보에 또한 기반하여 물건을 고유하게 식별하는 단계를 포함하고, 세그먼트-특정 정보는 시간이 흐르면서 학습된다. 일부 실시예에 있어서, 해석은 세그먼트-특정 정보에 또한 기반한다.
일부 실시예에 있어서, 물건을 고유하게 식별하는 단계는 입력 엔트리 엘리먼트를 통하여 사용자에 의해 제공된 입력에 기반하여 물건을 고유하게 식별하는 단계를 포함한다. 일부 실시예에 있어서, 적어도 하나의 이미지를 상기 분석하는 단계가 물건을 고유하게 식별하는 단계에 충분한 수의 특징을 식별하지 않을 때, 고유하게 식별하는 단계는 이미지의 캡처링 동안 캡처링된 입력 및 입력 엔트리 엘리먼트를 통하여 사용자에 의해 제공된 입력 중 적어도 하나를 사용하여, 물건을 고유하게 식별하는 단계, 및 입력에 기반하여 물건을 고유하게 식별하는 단계 다음에, 물건-특징 데이터베이스 내 물건에 대한 엔트리를 업데이트하는 단계를 포함한다.
일부 실시예에 있어서, 사용자 입력은, 여기 아래에 설명되는 바와 같이, 물건의 모션의 검출에 의해 제공된다. 그러한 일부 실시예에 있어서, 방법은 또한 사용자-특정 정보에 포함될 사용자의 부가적 특성을 사용자에 의해 제공된 입력으로부터 학습하는 단계를 포함한다.
일부 실시예에 있어서, 방법은 또한, 사용자 입력을 사용하여 물건의 고유한 식별 다음에, 물건-특징 데이터베이스 내 물건에 대한 엔트리를 업데이트하는 단계를 포함한다. 예를 들어, 물건 특징 중 일부를 변화시킨 물건 포장 변경 때문에 사용자 입력이 필요로 되었으면, 데이터베이스는 새로운 포장의 특징으로 업데이트될 수 있다.
일부 실시예에 있어서, 방법은 또한, 물건의 고유한 식별 다음에, 이미지 캡처링 엘리먼트와 기능적으로 연관된 디스플레이 상에 물건의 가상 모델을 렌더링하는 단계 및/또는 디스플레이 상에 목록 및/또는 물건에 관한 정보를 디스플레이하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 방법은 또한 디스플레이 상에 행동의 표시를 제공하는 단계를 포함한다. 일부 실시예에 있어서, 행동의 표시를 제공하는 단계는 디스플레이 상에 행동의 애니메이션을 제공하는 단계를 포함한다.
일부 실시예에 있어서, 물건의 모션을 추적하는 단계는 이미지 캡처링 엘리먼트에 의해 캡처링된 물건의 적어도 하나의 이미지를 분석하는 단계를 포함하고, 분석하는 단계는:
물건의 고유 식별을 사용하여, 물건-특징 데이터베이스로부터 물건의 3차원 구조를 추출하는 단계; 및
추출된 3차원 구조를 사용하여, 그 모션의 궤적을 식별하도록 물건을 추적하는 단계를 포함한다.
일부 실시예에 있어서, 모션을 추적하는 단계는 적어도 하나의 강한 공간 구배(spatial gradient)를 갖는 3차원 영역을 물건의 이미지 서명에서 식별하는 단계, 및 물건의 모션의 궤적을 식별하도록 영역을 추적하는 단계를 포함한다. 일부 실시예에 있어서, 모션을 추적하는 단계는 물건의 적어도 하나의 이미지의 여러 다른 위치에 분포된 국부적 특징의 복수의 측정치를 추출하는 단계, 및 물건의 모션의 궤적을 식별하도록 국부적 특징을 추적하는 단계를 포함한다.
일부 실시예에 있어서, 사용자 제스처를 해석하는 단계는 추적된 모션에 대응하는 특정 행동과 연관된 사용자-특정 제스처를 식별하도록 사용자-특정 정보를 사용하는 단계를 포함한다.
위에서 언급된 바와 같이, 일부 실시예에 있어서, 각각의 사용자는 적어도 하나의 사용자-세그먼트, 예를 들어, 아동, 여성 또는 노인 세그먼트와 연관된다. 그러한 일부 실시예에 있어서, 사용자 제스처를 해석하는 것은 또한 특정 사용자에 대한 사용자-세그먼트와 관련된 정보에 기반한다. 일부 실시예에 있어서, 사용자는, 성별, 연령 등과 같은, 사용자의 기정의된 특성에 기반한 세그먼트와 연관된다. 일부 실시예에 있어서, 사용자가 연관되는 세그먼트는, 예를 들어, 사용자가 이미지 캡처링 엘리먼트에 제시하는 물건의 유형에 기반하여 또는 사용자의 목록 이력에 기반하여 시간이 흐르면서 학습된다. 일부 실시예에 있어서, 사용자-세그먼트 내 사용자의 선호도 또는 사용자-세그먼트에 의해 사용된 물건과 같은, 사용자-세그먼트와 관련된 정보는 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 사용자 제스처를 해석하는 단계는 추적된 모션에 대응하는 특정 행동과 연관된 사용자-특정 제스처를 식별하도록 사용자-특정 정보 및 물건의 적어도 하나의 물리적-특징에 관한 정보 중 적어도 하나를 사용하는 단계를 포함한다.
일부 실시예에 있어서, 각각의 물건은 적어도 하나의 물건-세그먼트, 예를 들어, 무거운 물건, 가벼운 물건, 깨지기 쉬운 물건, 또는 부패하기 쉬운 물건 세그먼트와 연관된다. 그러한 일부 실시예에 있어서, 사용자 제스처를 해석하는 것은 또한, 특정 사용자에 관해 또는 모든 사용자에 관해, 식별된 물건에 대한 물건-세그먼트와 관련된 정보에 기반한다.
일부 실시예에 있어서, 물건의 적어도 하나의 물리적 특징은 물건의 중량, 물건의 치수, 및 물건의 3차원 형상 중 적어도 하나를 포함한다. 예를 들어, 동일한 제스처의 해석은 사용자가 무거운 물건을 들고 있는 경우 또는 사용자가 가벼운 물건을 들고 있는 경우 다를 수 있다.
일부 실시예에 있어서, 해석은 이미지 캡처링 엘리먼트를 포함하는 특정 디바이스의 사용자와 관련된 디바이스-특정 정보에 또한 기반하며, 그 디바이스-특정 정보는 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 행동은 다음 중 적어도 하나를 포함한다:
물건의 특정 수의 발생을 목록에 추가하는 것;
물건의 특정 수의 발생을 목록으로부터 제거하는 것;
식별된 물건에 대한 대용품으로서 사용될 수 있는 적어도 하나의 물건을 디스플레이하는 것;
식별된 물건과 관련된 정보를 디스플레이하는 것;
목록을 디스플레이하는 것;
목록 내 물건을 대용 물건으로 대체하는 것;
특정 물건을 찾도록 데이터베이스에서 검색하는 것;
식별된 물건과 유사한 물건을 찾도록 데이터베이스에서 검색하는 것;
물건 특징에 의해서와 같이 적합한 기준에 의해 목록을 필터링하는 것;
인기도, 관련성, 크기, 상점 내 위치 등과 같이 적합한 순서에 따라 목록을 분류하는 것;
물건의 부분집합, 예를 들어 사용자에 의해 이전에 구입되었던 물건만을 디스플레이하는 것; 및
사용자의 물건 이력과 관련된 정보를 디스플레이하는 것; 및
도움 또는 지원을 요청하는 것.
일부 실시예에 있어서, 각각의 행동 유형은 다른 사용자 제스처와 연관된다. 일부 실시예에 있어서, 특정 사용자에 대해, 각각의 사용자 제스처는 단일 행동 유형과 연관된다.
일부 실시예에 있어서, 물건은 다수-단위 물건 포장의 단일 단위를 포함하고, 고유하게 식별하는 단계는 물건의 고유 식별을 사용하여, 물건과 연관된 다수-단위 물건 포장을 고유하게 식별하는 단계를 또한 포함한다. 그러한 일부 실시예에 있어서, 행동을 수행하는 단계는 다수-단위 물건 포장에 관해 행동을 수행하는 단계를 포함한다.
일부 실시예에 있어서, 방법은 물건 목록을 업데이트하는 것 및 물건 목록과 연관된 디스플레이를 변화시키는 것 중 적어도 하나에 대한 음성 커맨드를 수신하는 단계를 또한 포함한다. 음성 커맨드를 사용하여 물건이 어떻게 식별되는지에 관한 상세한 설명은 여기 아래에 제공된다. 여기 아래에 설명되는 바와 같이, 예를 들어 충분히 높은 신뢰도 레벨로, 물건이 식별되고 나면, 행동은 식별된 물건에 관하여 자동으로 수행되고, 사용자에게는 이러한 행동을 "실행취소하기" 옵션이 제시된다.
일부 실시예에 있어서, 검출된 사용자 제스처와 연관된 어떠한 행동도 식별되지 않으면, 그 방법은 또한:
검출된 제스처에 관한 부가적 입력을 획득하는 단계;
검출된 제스처의 태양을 특징짓는 단계;
제스처가 반복된 제스처인지 식별하는 단계;
제스처가 반복된 제스처로서 식별되지 않으면, 제스처를 잠재적 제스처로서 저장하는 단계; 및
제스처가 반복된 제스처로서 식별되면:
제스처가 사용자 의존성인지 및 제스처가 포장 의존성인지 중 적어도 하나를 식별하는 단계;
행동을 제스처와 연관시키는 단계; 및
제스처 및 그 연관된 행동을 식별된 사용자 의존성 및/또는 포장 의존성에 기반하여 저장하는 단계를 포함한다.
본 발명의 일부 실시예의 일 태양에 의하면, 사용자-특정 제스처를 학습하기 위한 방법이 제공되며, 그 방법은:
식별된 행동을 제스처와 연관시키지 않는 검출된 사용자 제스처를 획득하는 단계;
검출된 제스처에 관한 부가적 입력을 획득하는 단계;
검출된 제스처의 태양을 특징짓는 단계;
제스처가 반복된 제스처인지 식별하는 단계;
제스처가 반복된 제스처로서 식별되지 않으면, 제스처를 잠재적 제스처로서 저장하는 단계; 및
제스처가 반복된 제스처로서 식별되면:
제스처가 사용자 의존성인지 및 제스처가 포장 의존성인지 중 적어도 하나를 식별하는 단계;
행동을 제스처와 연관시키는 단계; 및
제스처 및 그 연관된 행동을 식별된 사용자 의존성 및/또는 포장 의존성에 기반하여 저장하는 단계를 포함한다.
일부 실시예에 있어서, 부가적 입력을 상기 획득하는 단계는 사용자로부터 부가적 입력을 수신하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 부가적 입력을 수신하는 단계는 식별되지 않는 제스처에 대응하는 음성 커맨드를 사용자로부터 수신하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 부가적 입력을 수신하는 단계는 사용자가 수행될 소망 행동을 선택하도록 입력 엔트리 엘리먼트와 대화하는 단계를 포함한다.
일부 실시예에 있어서, 부가적 입력을 획득하는 단계는 상기 사용자가 연관되는 사용자-세그먼트와 관련된 세그먼트-특정 입력을 획득하는 단계를 포함한다. 예를 들어, 사용자가 노인 세그먼트와 연관되면, 제스처는 그 세그먼트의 특성에 기반하여 더 양호하게 식별될 수 있다.
일부 실시예에 있어서, 특징짓는 단계는 제스처의 궤적, 제스처를 수행할 때 모션의 패턴, 제스처가 수행되는 각도, 및 제스처를 수행할 때 모션의 거리 중 적어도 하나를 특징짓는 단계를 포함한다.
일부 실시예에 있어서, 제스처가 반복된 제스처인지 식별하는 단계는 제스처의 검출 직후에 사용자가 제스처를 반복하는지 식별하는 단계를 포함한다. 일부 실시예에 있어서, 제스처가 반복된 제스처인지 식별하는 단계는 제스처가 잠재적 제스처로서 저장되었음을 식별하는 단계를 포함한다.
일부 실시예에 있어서, 제스처가 반복된 제스처인지 식별하는 단계는 반복된 제스처가 행동을 수행하려는 사용자의 의도를 반영하지 않음을 식별하는 단계를 포함한다.
일부 실시예에 있어서, 행동을 제스처와 연관시키는 단계는 미리 결정된 횟수 또는 그 백분율보다 많이 반복된 사용자 제스처를 뒤따르는 행동을 식별하는 단계, 및 식별된 행동을 제스처와 연관시키는 단계를 포함한다. 일부 실시예에 있어서, 행동을 제스처와 연관시키는 단계는 사용자 정보 데이터베이스의 오퍼레이터에 의해 또는 사용자에 의해 수동으로 수행된다.
일부 실시예에 있어서, 분석하는 단계, 고유하게 식별하는 단계, 해석하는 단계, 및 행동을 수행하는 단계 중 적어도 하나는 이미지 캡처링 엘리먼트에 원격으로 위치한 서버에서 수행된다. 그러한 일부 실시예에 있어서, 서버는 물건-특징 데이터베이스와 그리고/또는 사용자 정보 데이터베이스와 기능적으로 연관된다. 그러한 일부 실시예에 있어서, 방법은 이미지 캡처링 엘리먼트에 의해 캡처링된 이미지를 서버에 송신하는 단계를 또한 포함한다. 그러한 일부 실시예에 있어서, 방법은 검출된 사용자 제스처를 서버에 송신하는 단계를 또한 포함한다.
일부 실시예에 있어서, 분석하는 단계, 고유하게 식별하는 단계, 해석하는 단계, 및 행동을 수행하는 단계 중 적어도 하나는 이미지 캡처링 엘리먼트에 국부적으로 수행된다.
일부 실시예에 있어서, 방법은 또한, 물건의 고유한 식별 다음에, 이미지 캡처링 엘리먼트와 연관된 디스플레이 상에, 식별된 물건과 관련된 정보, 식별된 물건의 가상 모델, 및 목록 중 적어도 하나를 디스플레이하는 단계를 또한 포함한다.
여기에서 설명되는 목록을 생성하기 위한 방법은 어느 적합한 디바이스라도 사용하여 수행될 수 있다. 그렇긴 하지만, 본 발명의 일부 실시예의 일 태양에 의하면, 목록 또는 데이터베이스를 생성 및 업데이트하기 위한 디바이스가 제공되며, 그 디바이스는:
시간이 흐르면서 특정 사용자의 선호도 및 제스처와 관련된 사용자-특정 정보를 학습하도록 그리고 학습된 사용자-특정 정보를 저장하도록 구성된 정보 학습기;
트리거링 이벤트를 식별하도록 구성된 트리거링 모듈;
트리거링 모듈과 기능적으로 연관되고, 트리거링 이벤트의 식별 다음에, 이미지 캡처링 엘리먼트 부근의 물건의 적어도 하나의 이미지를 캡처링하기 위해 트리거링 모듈에 의해 트리거링되도록 구성된 이미지 캡처링 엘리먼트; 및
이미지 캡처링 엘리먼트와 기능적으로 연관되고, 이미지 캡처링 엘리먼트에 의해 캡처링된 적어도 하나의 이미지를 분석하도록, 물건의 특징을 식별하도록, 그리고 적어도 식별된 특징에 기반하여 물건을 고유하게 식별하도록 구성된 물건 식별기;
적어도 하나의 사용자 제스처를 검출하기 위해 물건, 다른 물건 및 손 중 적어도 하나의 모션을 추적하도록 구성된 모션 식별기;
모션 식별기와 그리고 정보 학습기와 기능적으로 연관되고, 제스처와 연관된 행동을 식별하기 위해 사용자-특정 정보에 적어도 기반하여 검출된 적어도 하나의 사용자 제스처를 해석하도록 구성된 제스처 해석기로서, 그 행동은 물건 목록에 대한 업데이트 및 물건 목록과 연관된 디스플레이에서의 변화 중 적어도 하나와 관련된 제스처 해석기; 및
제스처 해석기와 기능적으로 연관되고, 제스처 해석기의 해석에 기반하여, 제스처와 연관된 행동을 수행하도록 구성된 행동 모듈을 포함한다.
일부 실시예에 있어서, 정보 학습기는 또한 물건의 특성과 관련되는 물건-특정 정보 및/또는 사용자 세그먼트에 의해 사용되거나 그와 연관된 물건 및 특성과 관련되는 세그먼트-특정 정보를, 시간이 흐르면서, 학습하도록 구성된다.
일부 실시예에 있어서, 물건은 식료 제품을 포함하고, 목록은 식료 목록을 포함한다. 일부 실시예에 있어서, 물건은 소매 제품을 포함하고, 목록은 쇼핑 목록을 포함한다. 예를 들어, 제품은 서적, 사무용 제품, 건강 관리 제품, 의약 제품, 미용 제품, 전자 제품, 미디어 제품, 산업용 창고 물품, 서비스 섹터 창고 물품, 및 어느 다른 적합한 소매 제품이라도 포함할 수 있다.
일부 실시예에 있어서, 물건은 소매점에 의해 비축된 재고 물품을 포함하고, 목록은 그 점포의 재고 목록을 포함한다. 재고 물품은, 예를 들어, 전자 제품, 미디어 제품, 사무용품, 서적, 의약 및 건강 관리 제품, 식료 제품, 및 미용 제품과 같은 어느 적합한 재고 물품이라도 될 수 있다.
일부 실시예에 있어서, 정보 학습기는 사용자의 구입 이력에 관한 정보, 사용자의 목록 이력에 관한 정보, 사용자의 제스처에 관한 정보, 어법 또는 억양에 관한 정보와 같이 사용자의 화법에 관한 정보, 및 사용자가 연관되는 하나 이상의 사용자 세그먼트에 관한 정보 중 적어도 하나를 학습하도록 구성된다.
일부 실시예에 있어서, 정보 학습기는 사용자 정보 데이터베이스와 기능적으로 연관되고, 학습된 정보를 사용자 정보 데이터베이스에 저장하도록 구성된다.
일부 실시예에 있어서, 트리거링 모듈은 사용자가 이미지 캡처링 엘리먼트을 수동으로 트리거링하는 것을, 트리거링 이벤트로서, 식별하도록 구성된다. 일부 실시예에 있어서, 트리거링 모듈은 트리거링 이벤트를 자동으로 식별하도록 그리고 이미지 캡처링 엘리먼트를 트리거링하도록 구성된다.
일부 실시예에 있어서, 트리거링 모듈은 센서가 물건 및 트리거링 이벤트 중 적어도 하나를 식별하기 위해 이미지 캡처링 엘리먼트 부근을 스캐닝하도록 구성되는 적어도 하나의 센서를 포함하고, 그리고 트리거링 모듈은 이미지 캡처링 엘리먼트 부근에서 트리거링 이벤트 및/또는 물건의 식별 시 이미지 캡처링 엘리먼트를 트리거링하도록 구성된다.
일부 실시예에 있어서, 적어도 하나의 센서는 사용자 또는 물건이 미리 결정된 지속시간 동안 이미지 캡처링 엘리먼트에 미리 결정된 근접 거리에 있는 것을 트리거링 이벤트로서 식별하도록 구성된 근접 센서를 포함한다.
일부 실시예에 있어서, 적어도 하나의 센서는 바코드가 미리 결정된 지속시간 동안 이미지 캡처링 엘리먼트 부근에 존재하는 것을 트리거링 이벤트로서 식별하도록 구성된 바코드 판독기를 포함한다. 그러한 일부 실시예에 있어서, 트리거링 이벤트는 이미지 캡처링 엘리먼트 부근에서의 바코드의 특정 모션 패턴의 식별을 포함한다. 그러한 일부 실시예에 있어서, 바코드의 특정 모션 패턴은 사용자-특정적이고 사용자-특정 정보의 일부분으로서 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 적어도 하나의 센서는 QR 코드가 미리 결정된 지속시간 동안 이미지 캡처링 엘리먼트 부근에 존재하는 것을 트리거링 이벤트로서 식별하도록 구성된 QR 코드 판독기를 포함한다. 그러한 일부 실시예에 있어서, 트리거링 이벤트는 이미지 캡처링 엘리먼트 부근에서의 QR 코드의 특정 모션 패턴의 식별을 포함한다. 그러한 일부 실시예에 있어서, QR 코드의 특정 모션 패턴은 사용자-특정적이고 사용자-특정 정보의 일부분으로서 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 적어도 하나의 센서는 이미지 캡처링 엘리먼트 부근에서의 모션을 트리거링 이벤트로서 식별하도록 구성된 모션 센서를 포함한다. 그러한 일부 실시예에 있어서, 모션 센서는 이미지 캡처링 엘리먼트 부근에서의 특정 모션 패턴을 트리거링 이벤트로서 식별하도록 구성된다. 그러한 일부 실시예에 있어서, 모션 센서는 정보 학습기와 기능적으로 연관되고, 특정 모션 패턴은 사용자-특정적이고 사용자-특정 정보의 일부분을 이룬다.
일부 실시예에 있어서, 사용자-특정 모션 패턴은 정보 학습기에 의해 학습된 그리고 특정 디바이스와 연관된 모션 패턴의 레퍼토리의 일부분을 형성한다. 예를 들어, 디바이스가 가정에 배치될 때, 정보 학습기는 가정의 모든 구성원에 적당한 모션 패턴의 레퍼토리를 학습한다.
일부 실시예에 있어서, 적어도 하나의 센서는 이미지 캡처링 엘리먼트 부근에서 들리는 트리거 소리, 트리거 단어, 또는 트리거 구절을 트리거링 이벤트로서 식별하도록 구성된 마이크로폰 또는 다른 음성 센서를 포함한다.
일부 실시예에 있어서, 적어도 하나의 센서는 이미지 캡처링 엘리먼트 부근에서의 RFID 태그를 트리거링 이벤트로서 식별하도록 구성된 RFID 센서를 포함한다.
일부 실시예에 있어서, 적어도 하나의 센서는 이미지 캡처링 엘리먼트 부근의 3차원 물건을 트리거링 이벤트로서 식별하도록 구성된 3차원 센서를 포함한다. 그러한 일부 실시예에 있어서, 3차원 센서는 구조형 광을 사용하여 물건의 조명에 의해 도움을 받는다.
일부 실시예에 있어서, 정보 학습기는 사용자-특정 트리거링 태양과 관련된 정보를 학습하도록 구성되고, 사용자-특정 트리거링 태양은 다음 중 적어도 하나를 포함한다:
트리거링 모듈에 의해 이미지 캡처링 엘리먼트를 트리거링하는 시점에 이미지 캡처링 엘리먼트로부터 사용자의 거리;
트리거링의 시점에 사용자에 의해 사용된 트리거링 제스처;
트리거링 제스처의 속도;
트리거링 제스처의 타이밍;
트리거링을 목적으로 사용자가 디바이스 부근에 있는 지속시간;
트리거링 동안 사용자가 물건을 드는 들고 있는 패턴의 특성;
음성 커맨드를 사용하여 디바이스의 행동을 트리거링하려는 사용자의 성향; 및
디바이스의 행동을 트리거링하도록 사용자에 의해 수행된 행동 시퀀스의 특성.
일부 실시예에 있어서, 트리거링 모듈은 사용자에 의해 수행된 적어도 하나의 미리 결정된 트리거링 제스처를 인식하도록 구성되고, 정보 학습기는 적어도 하나의 미리 결정된 트리거링 제스처의 사용자-특정 뉘앙스를 학습하도록 구성된다.
일부 실시예에 있어서, 트리거링 모듈은 사용자가 수행하기를 바라는 특정 행동을 식별하기 위해 사용자의 거동을 분석하도록, 그리고 컴포넌트가 식별된 특정 행동을 수행하는데 적당한, 디바이스의 특정 컴포넌트를 활성화하도록 구성된다.
일부 실시예에 있어서, 이미지 캡처링 엘리먼트는 적어도 하나의 트리거링 이미지를 트리거 이미징 레이트로 캡처링하도록 구성되고, 트리거링 모듈은 이미지 캡처링 엘리먼트에 의해 캡처링된 적어도 하나의 트리거링 이미지에서 물건 및 트리거링 이벤트 중 적어도 하나를 트리거링 이벤트로서 식별하도록 구성된다. 트리거 이미징 레이트는 어느 적합한 이미징 레이트라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 트리거 이미징 레이트는, 물건이 이미지 캡처링 엘리먼트 부근에 있지 않은 동안 에너지를 아끼도록, 초당 10개 이미지를 초과하지 않거나, 초당 5개 이미지를 초과하지 않거나, 초당 2개 이미지를 초과하지 않거나, 초당 1개 이미지를 초과하지 않는다.
일부 실시예에 있어서, 이미지 캡처링 엘리먼트는, 흑백 이미지 또는 저해상도 이미지와 같은, 저품질 이미지를 적어도 하나의 트리거링 이미지로서 캡처링하도록 구성된다.
일부 실시예에 있어서, 트리거링 모듈은 적어도 하나의 트리거링 이미지에서 물건의 경계를 식별함으로써 적어도 하나의 트리거링 이미지에서 물건을 식별하도록 구성된다. 그러한 일부 실시예에 있어서, 트리거링 모듈은 또한 경계를 식별하기 이전에 적어도 하나의 트리거링 이미지로부터 배경 정보를 소거하도록 구성된다.
일부 실시예에 있어서, 트리거링 모듈은 적어도 하나의 트리거링 이미지에서 물건의 3차원 구조를 식별하여, 그로써 트리거링 이벤트를 식별하도록 구성된다.
일부 실시예에 있어서, 트리거링 모듈은 적어도 하나의 트리거링 이미지에서 물건의 적어도 하나의 시각적 특징을 식별함으로써 적어도 하나의 트리거링 이미지에서 물건을 식별하도록 구성된다. 그러한 일부 실시예에 있어서, 트리거링 모듈은 물건 상의 글씨의 존재, 물건 상의 그래픽의 존재, 물건의 채색, 및/또는 물건 상의 워터마크의 존재 중 적어도 하나를 식별하도록 구성된다.
일부 실시예에 있어서, 적어도 하나의 트리거링 이미지는 적어도 2개의 트리거링 이미지를 포함하고, 트리거링 모듈은 이미지 캡처링 엘리먼트 부근에서의 물건의 모션을 식별하도록 트리거링 이미지들을 비교함으로써 적어도 2개의 트리거링 이미지에서 트리거링 이벤트를 식별하도록 구성된다. 그러한 일부 실시예에 있어서, 트리거링 모듈은 적어도 2개의 트리거링 이미지에서 이미지 캡처링 엘리먼트 부근에서의 특정 모션 패턴의 식별하도록 구성된다. 그러한 일부 실시예에 있어서, 트리거링 모듈은 사용자-특정 정보의 일부분으로서 정보 학습기에 의해 시간이 흐르면서 학습되는 사용자-특정 모션 패턴을 식별하도록 구성된다.
일부 실시예에 있어서, 트리거링 모듈은 디바이스 상에서 앞서 실행 중인 소프트웨어 프로그램 또는 애플리케이션을 인터럽트하도록 또한 구성된다.
일부 실시예에 있어서, 트리거링 모듈은, 이미지 캡처링 엘리먼트의 트리거링 동안 획득된 데이터에 기반하여 계산 자원을 활성화함으로써, 정보 학습기, 물건 식별기, 모션 식별기, 제스처 해석기, 및 행동 모듈 중 적어도 하나에 대한 계산 자원의 가용성을 관리하도록 구성된다. 일부 실시예에 있어서, 트리거링 모듈은, 트리거링 이벤트가 확정적으로 식별되지 않으면, 트리거링 이벤트가 발생했는지 결정하도록 구성된 계산 자원을 활성화하도록 구성된다.
일부 실시예에 있어서, 트리거링 모듈은 이미지 캡처링 엘리먼트 부근에서의 물건의 변경을 식별하도록, 그리고 새롭게 제공된 물건의 적어도 하나의 이미지를 캡처링하기 위해 이미지 캡처링 엘리먼트를 트리거링하도록 구성된다.
일부 실시예에 있어서, 디바이스는 이미지 캡처링 동안 물건을 조명하도록 구성된 조명 소스를 또한 포함한다. 그러한 일부 실시예에서, 조명 소스는 단색 조명을 발광하도록 구성된다. 그러한 일부 실시예에서, 조명 소스는 다색 조명을 발광하도록 구성된다. 그러한 일부 실시예에 있어서, 조명 소스는 산란형 조명 패턴 및 구조형 조명 패턴 중 적어도 하나로 물건을 조명하도록 구성된다.
일부 실시예에 있어서, 조명 소스는 디바이스와 연관된 디스플레이의 백라이트를 포함한다. 일부 실시예에 있어서, 디스플레이의 백라이트는 물건을 다른 각도로부터 조명하여 그로써 복수의 이미지 중 다른 이미지에서 다른 음영 패턴을 발생시키도록 제어된 방식으로 물건을 조명하도록 구성된다.
일부 실시예에 있어서, 디스플레이의 백라이트는 패터닝된 단색 조명으로 물건을 조명하도록 구성된다. 예를 들어, 디스플레이 백라이트는 처음에는 청색광으로 물건을 조명하고, 다음에는 녹색광으로 물건을 조명하고, 그리고 그 후에는 적색광으로 물건을 조명할 수 있다.
트리거링 모듈은 트리거링 이미지 캡처링 엘리먼트로부터 어느 적합한 반경 또는 거리에서의 트리거링 이벤트를 식별하도록 구성된다. 그렇긴 하지만, 일부 실시예에 있어서, 정보 학습기는, 사용자-특정 정보의 일부분으로서, 시간이 흐르면서 특정 사용자에 대해 적어도 하나의 이미지가 캡처링되는 디바이스 부근의 크기를 학습하도록 구성된다.
일부 실시예에 있어서, 물건 식별기는 적어도 하나의 이미지에서 물건의 시각적 특징을 식별하도록 구성된다. 일부 실시예에 있어서, 물건 식별기는 이미지 캡처링 엘리먼트에 의해 캡처링된 물건의 복수의 이미지를 가상으로 조합하도록 그리고 가상으로 조합된 이미지에서 시각적 특징을 식별하도록 구성된다. 그러한 일부 실시예에 있어서, 물건 식별기는 물건 상에 인쇄된 이미지, 물건의 채색, 물건 상에 인쇄된 문자 또는 글자, 물건 상의 워터마크, 및 물건 상의 다른 그래픽 형태 중 적어도 하나를, 육안으로 보이는 것도 그리고 육안으로 보이지 않는 것도, 식별하도록 구성된다.
일부 실시예에 있어서, 물건 식별기는 적어도 하나의 이미지에서 고유 물건 특성을 식별하도록 구성된다. 그러한 일부 실시예에 있어서, 물건 식별기는 바코드 및 QR 코드 중 적어도 하나를 고유 물건 특성으로서 식별하도록 구성된다.
일부 실시예에 있어서, 물건 식별기는 적어도 하나의 이미지에서 물건의 3차원 구조를 식별하도록 구성된다. 그러한 일부 실시예에 있어서, 적어도 하나의 이미지는 적어도 2개의 이미지를 포함하고, 물건 식별기는 적어도 2개의 이미지를 조합하도록 그리고 조합된 이미지에서 물건의 3차원 구조를 식별하도록 구성된다. 그러한 일부 실시예에 있어서는, 물건 식별기는 물건의 3차원 구조를 식별하기 위해 적어도 하나의 이미지에서의 음영 패턴을 사용하도록 구성된다. 그러한 일부 실시예에 있어서, 음영 패턴은 자연적이다. 일부 실시예에 있어서, 적어도 하나의 이미지에서의 음영 패턴은 구조형 광으로 그리고/또는 산란형 광으로 물건의 조명에 의해 발생된다.
일부 실시예에 있어서, 물건 식별기는 물건-특징 데이터베이스와 기능적으로 연관되고, 물건의 식별된 특징 중 적어도 일부를 포함하는 물건 엔트리를 물건-특징 데이터베이스에서 찾아냄으로써 물건을 고유하게 식별하도록 구성된다. 일부 실시예에 있어서, 물건 식별기는 물건의 식별된 특징 전부를 포함하는 물건 엔트리를 물건-특징 데이터베이스에서 찾아냄으로써 물건을 고유하게 식별하도록 구성된다.
일부 실시예에 있어서, 물건 식별기는 사용자-특정 정보 및 특정 디바이스의 사용자와 관련된 정보 중 적어도 하나에 또한 기반하여 물건을 고유하게 식별하도록 구성된다. 예를 들어, 물건 식별기는 사용자가 물건을 들고 있는 배향을 식별하고 그로써 물건의 가능한 식별을 좁힐 수 있다.
일부 실시예에 있어서, 정보 학습기는 각각의 사용자를 적어도 하나의 사용자-세그먼트와 연관시키도록 그리고 시간이 흐르면서 사용자-세그먼트 내 사용자의 선호도 및 제스처 중 적어도 하나와 관련된 세그먼트-특정 정보를 학습하도록 구성되고, 물건 식별기는 세그먼트-특정 정보에 또한 기반하여 물건을 고유하게 식별하도록 구성된다.
예를 들어, 정보 학습기는 특정 사용자가 채식주의자임을, 예를 들어 특정 사용자에 대해 이전에 식별된 물건으로부터, 학습할 수 있고, 후속하여 물건 식별기는 물건의 가능한 식별을 채식주의자에게 적합한 물건만으로 좁힐 수 있다.
일부 실시예에 있어서, 디바이스는 또한 사용자로부터 입력을 수신하도록 구성된 입력 엔트리 엘리먼트를 포함하고, 물건 식별기는 입력 엔트리 엘리먼트를 통하여 사용자에 의해 제공된 입력에 또한 기반하여 물건을 고유하게 식별하도록 구성된다.
일부 실시예에 있어서, 여기 아래에 설명되는 바와 같이, 입력 엔트리 엘리먼트는 이미지 캡처링 엘리먼트를 포함하고 입력은 특정 궤적을 따르는 물건의 모션을 포함한다. 그러한 일부 실시예에 있어서, 정보 학습기는 또한 사용자-특정 정보에 포함될 사용자의 부가적 특성을 사용자에 의해 제공된 입력으로부터 학습하도록 구성된다.
일부 실시예에 있어서, 물건 식별기는, 사용자 입력을 사용하여 물건의 고유한 식별 다음에, 물건-특징 데이터베이스 내 물건에 대한 엔트리를 업데이트하도록 구성된다. 예를 들어, 물건 특징 중 일부를 변화시킨 물건 포장 변경 때문에 사용자 입력이 필요로 되었으면, 물건 식별기는 데이터베이스를 새로운 포장의 특징으로 업데이트할 수 있다.
일부 실시예에 있어서, 물건 식별기는 물건을 고유하게 식별하는데 충분한 수의 특징을 식별하지 않고, 이미지의 캡처링 동안 캡처링된 입력 및 입력 엔트리 엘리먼트를 통하여 사용자에 의해 제공된 입력 중 적어도 하나를 사용하여 물건을 고유하게 식별하도록, 그리고 입력에 기반하여 물건의 고유한 식별 다음에 물건-특징 데이터베이스 내 물건에 대한 엔트리를 업데이트하도록 구성된다.
일부 실시예에 있어서, 모션 식별기는 물건의 고유 식별을 사용하여 물건의 3차원 구조를 물건-특징 데이터베이스로부터 추출하도록, 그리고 추출된 3차원 구조를 사용하여 이미지 캡처링 엘리먼트에 의해 캡처링된 적어도 2개의 이미지에서 물건을 추적하여, 그로써 물건의 모션의 궤적을 식별하도록 구성된다.
일부 실시예에 있어서, 모션 식별기는 적어도 하나의 강한 공간 구배를 갖는 3차원 영역을 물건의 이미지 서명에서 식별하도록, 그리고 영역을 추적하여 그로써 물건의 모션의 궤적을 식별하도록 구성된다. 일부 실시예에 있어서, 모션 식별기는 물건의 이미지의 여러 다른 위치에 분포된 국부적 특징의 복수의 측정치를 추출하도록, 그리고 국부적 특징을 추적하여 그로써 물건의 모션의 궤적을 식별하도록 구성된다.
일부 실시예에 있어서, 사용자 제스처 해석기는 정보 학습기와 기능적으로 연관되고, 모션의 식별된 궤적에 대응하는 특정 행동과 연관된 사용자-특정 제스처를 식별하기 위해 사용자-특정 정보를 사용하도록 구성된다.
위에서 언급된 바와 같이, 일부 실시예에 있어서, 각각의 사용자는 적어도 하나의 사용자-세그먼트, 예를 들어, 아동, 여성 또는 노인 세그먼트와 연관된다. 그러한 일부 실시예에 있어서, 사용자 제스처 해석기는 특정 사용자에 대한 사용자-세그먼트와 관련된 정보에 또한 기반하여 사용자 제스처를 해석하도록 구성된다. 일부 실시예에 있어서, 사용자는, 성별, 연령 등과 같은, 사용자의 기정의된 특성에 기반한 세그먼트와 연관된다. 일부 실시예에 있어서, 사용자가 연관되는 세그먼트는, 예를 들어, 사용자가 이미지 캡처링 엘리먼트에 제시하는 물건의 유형에 기반하여 또는 사용자의 목록 이력에 기반하여 시간이 흐르면서 학습된다. 일부 실시예에 있어서, 사용자-세그먼트 내 사용자의 선호도 또는 사용자에 의해 사용된 물건과 같은, 사용자-세그먼트와 관련된 정보는 시간이 흐르면서 학습된다.
일부 실시예에 있어서, 사용자 제스처 해석기는 모션의 식별된 궤적에 대응하는 특정 행동과 연관된 사용자-특정 제스처를 식별하기 위해 사용자-특정 정보 및/또는 물건의 적어도 하나의 물리적-특징에 관한 정보를 사용하도록 구성된다.
일부 실시예에 있어서, 각각의 물건은 적어도 하나의 물건-세그먼트, 예를 들어, 무거운 물건, 가벼운 물건, 깨지기 쉬운 물건, 또는 부패하기 쉬운 물건 세그먼트와 연관된다. 그러한 일부 실시예에 있어서, 사용자 제스처 해석기는, 특정 사용자에 관해 또는 모든 사용자에 관해, 식별된 물건에 대한 물건-세그먼트와 관련된 정보에 또한 기반하여 사용자 제스처를 해석하도록 구성된다.
일부 실시예에 있어서, 물건의 적어도 하나의 물리적 특징은 물건의 중량, 물건의 치수, 및 물건의 3차원 형상 중 적어도 하나를 포함한다. 예를 들어, 동일한 제스처의 해석은 사용자가 무거운 물건을 들고 있는 경우 또는 사용자가 가벼운 물건을 들고 있는 경우 다를 수 있다.
일부 실시예에 있어서, 정보 학습기는 시간이 흐르면서 특정 디바이스의 사용자와 관련된 디바이스-특정 정보를 학습하도록 구성되고, 제스처 해석기는 디바이스-특정 정보에 또한 기반하여 제스처를 해석하도록 구성된다.
일부 실시예에 있어서, 사용자 제스처 해석기는 다음 중 적어도 하나를 포함하는 행동을 식별하도록 구성된다:
물건의 특정 수의 발생을 목록에 추가하는 것;
물건의 특정 수의 발생을 목록으로부터 제거하는 것;
식별된 물건에 대한 대용품으로서 사용될 수 있는 적어도 하나의 물건을 디스플레이하는 것;
식별된 물건과 관련된 정보를 디스플레이하는 것;
목록을 디스플레이하는 것;
목록 내 물건을 대용 물건으로 대체하는 것;
특정 물건을 찾도록 데이터베이스에서 검색하는 것;
식별된 물건과 유사한 물건을 찾도록 데이터베이스에서 검색하는 것;
물건 특징에 의해서와 같이 적합한 기준에 의해 목록을 필터링하는 것;
인기도, 관련성, 크기, 상점 내 위치 등과 같이 적합한 순서에 따라 목록을 분류하는 것;
물건의 부분집합, 예를 들어 사용자에 의해 이전에 구입되었던 물건만을 디스플레이하는 것; 및
사용자의 물건 이력과 관련된 정보를 디스플레이하는 것; 및
도움 또는 지원을 요청하는 것.
일부 실시예에 있어서, 각각의 행동 유형은 다른 사용자 제스처와 연관된다. 일부 실시예에 있어서, 특정 사용자에 대해, 각각의 사용자 제스처는 단일 행동 유형과 연관된다.
일부 실시예에 있어서, 물건은 다수-단위 물건 포장의 단일 단위를 포함하고, 물건 식별기는 물건의 고유 식별을 사용하여 물건과 연관된 다수-단위 물건 포장을 고유하게 식별하도록 구성된다. 그러한 일부 실시예에 있어서, 행동 모듈은 다수-단위 물건 포장에 관하여 사용자 제스처 해석기에 의해 식별된 행동을 수행하도록 구성된다.
일부 실시예에 있어서, 디바이스는 물건 목록을 업데이트하는 것 및 물건 목록과 연관된 디스플레이를 변화시키는 것 중 적어도 하나에 대한 음성 커맨드를 수신하도록 구성된, 마이크로폰과 같은, 음성 센서를 또한 포함한다. 음성 커맨드를 사용하여 물건이 어떻게 식별되는지에 관한 상세한 설명은 여기 아래에 제공된다.
일부 실시예에 있어서, 제스처 해석기가 검출된 사용자 제스처와 연관된 행동을 식별할 수 없으면, 제스처 해석기는 또한:
검출된 제스처에 관한 부가적 입력을 획득하고;
검출된 제스처의 태양을 특징짓고;
제스처가 반복된 제스처인지 식별하고;
제스처가 반복된 제스처로서 식별되지 않으면, 제스처를 잠재적 제스처로서 저장하고; 그리고
제스처가 반복된 제스처로서 식별되면:
제스처가 사용자 의존성인지 및 제스처가 포장 의존성인지 중 적어도 하나를 식별하고;
행동을 반복된 제스처와 연관시키고; 그리고
제스처 및 그 연관된 행동을 식별된 의존성에 기반하여 저장하도록 구성된다.
일부 실시예에 있어서, 제스처 해석기는 물건과 관련된 입력을 부가적 입력으로서 획득하도록 구성된다. 일부 실시예에 있어서, 제스처 해석기는 사용자로부터 부가적 입력을 수신하도록 구성된다. 그러한 일부 실시예에 있어서, 제스처 해석기는 식별되지 않는 제스처에 대응하는 음성 커맨드를 사용자로부터 수신하도록 구성된다. 그러한 일부 실시예에 있어서, 제스처 해석기는 사용자가 수행될 소망 행동을 선택하도록 입력 엔트리 엘리먼트와 대화함으로써 획득된 입력을 수신하도록 구성된다.
일부 실시예에 있어서, 제스처 해석기는 사용자가 연관되는 사용자-세그먼트와 관련된 세그먼트-특정 입력을 획득하도록 구성된다. 예를 들어, 사용자가 노인 세그먼트와 연관되면, 제스처는 그 세그먼트의 특성에 기반하여 더 양호하게 식별될 수 있다.
일부 실시예에 있어서, 제스처 해석기는 제스처의 궤적, 제스처를 수행할 때 모션의 패턴, 제스처가 수행되는 각도, 및 제스처를 수행할 때 모션의 거리 중 적어도 하나를 특징짓도록 구성된다.
일부 실시예에 있어서, 제스처 해석기는 제스처의 검출 직후에 사용자가 제스처를 반복하는지 식별함으로써 제스처가 반복된 제스처인지 식별하도록 구성된다. 일부 실시예에 있어서, 제스처 해석기는 제스처가 잠재적 제스처로서 저장되었음을 식별함으로써 제스처가 반복된 제스처인지 식별하도록 구성된다.
일부 실시예에 있어서, 제스처 해석기는 반복된 제스처가 행동을 수행하려는 사용자의 의도를 반영하지 않음을 식별하도록 구성된다.
일부 실시예에 있어서, 제스처 해석기는 미리 결정된 횟수 또는 그 백분율보다 많이 반복된 사용자 제스처를 뒤따르는 행동을 식별하도록 그리고 식별된 행동을 반복된 사용자 제스처와 연관시키도록 구성된다.
일부 실시예에 있어서, 정보 학습기, 물건 식별기, 제스처 해석기, 및 행동 모듈 중 적어도 하나는 이미지 캡처링 엘리먼트로부터 원격에 있는 서버에 위치한다. 그러한 일부 실시예에 있어서, 디바이스는 또한 캡처링된 이미지 및/또는 검출된 사용자 제스처를 원격 서버에 송신하도록 그리고 원격 서버로부터 계산 출력을 수신하도록 구성된 트랜시버를 포함한다. 일부 실시예에 있어서, 사용자 정보 데이터베이스 및/또는 물건-특징 데이터베이스는 디바이스에 국부적이다. 일부 실시예에 있어서, 사용자 정보 데이터베이스 및/또는 물건-특징 데이터베이스는 디바이스로부터 원격에 있고 그와 기능적으로 연관된다.
일부 실시예에 있어서, 디바이스는 또한 물건 식별기와 기능적으로 연관된 디스플레이를 포함하고, 물건 식별기는, 물건의 고유한 식별 다음에, 디스플레이 상에 식별된 물건의 모델 또는 이미지를 렌더링하도록 그리고/또는 디스플레이 상에 목록 및/또는 물건에 관한 정보를 디스플레이하도록 구성된다. 일부 실시예에 있어서, 디스플레이는 또한 행동 모듈과 기능적으로 연관되고, 행동 모듈에 의한 행동의 수행시 행동의 표시는 디스플레이 상에 렌더링된다. 그러한 일부 실시예에 있어서, 행동의 표시는 디스플레이 상에 행동의 애니메이션을 제공함으로써 디스플레이 상에 렌더링된다.
본 발명의 일부 실시예는 제품의 비-특칭에 기반하여 특정 제품 또는 대용 제품과 같이 사용자에 의한 사용에 적합한 제품을 식별하기 위한 방법 및 디바이스에 관한 것이다.
본 발명의 일부 실시예의 일 태양에 의하면, 사용자에게 적합한 제품을 식별하기 위한 방법이 제공되며, 그 방법은:
제품의 그룹을 포함하는 제품 데이터세트를 획득하는 단계로서, 제품은 타이틀에 따라 하위 그룹으로 분할되되, 각각의 제품은 제품을 기술하는 특징의 세트 및 브랜드 중 적어도 하나와 연관되고, 가중치는 브랜드와 그리고 각각의 특징과 연관되는 획득하는 단계;
그 연관된 특정 타이틀을 갖는 소망 제품의 최초 식별을 사용자로부터 수신하는 단계;
디바이스-특정 정보 및 사용자-특정 정보 중 적어도 하나 및 제품 데이터세트 내 정보를 사용하여, 최초 식별에서 사용자에 의해 의도된 특정 소망 제품을 고유하게 식별하는 단계;
특징의 그리고 브랜드의 가중치 중 적어도 일부를 사용하여, 특정 소망 제품과 특정 타이틀 내 적어도 2개의 다른 제품 간 거리를 계산하는 단계; 및
사용자에게 적합한 제품으로서, 특정 소망 제품으로부터 작은 거리를 갖는, 다른 제품 중 적어도 하나를 식별하는 단계를 포함한다.
제품 그룹은 어느 적합한 제품 그룹이라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 제품 그룹은 식료 제품, 전자 제품, 서적, 의약 제품, 건강 관리 제품, 미용 제품, 가공 제품, 농산 제품, 게임, 게이밍 제품, 완구, 의류, 신발, 연극, 콘서트 및 영화와 같은 엔터테인먼트 제품, 자동차, 오토바이 및 요트와 같은 탈것 등을 포함한다.
일부 실시예에 있어서, 타이틀은 제품의 자연 명칭을 포함한다. 예시적 타이틀은 "우유", "신선 제품", "냉동 채소", "아동 서적", "비-소설 서적" 등을 포함할 수 있다. 전형적으로, 각각의 타이틀은 그와 연관된 복수의 제품을 갖는다. 예를 들어, 무지방 우유, 저지방 우유, 전유, 락토스 프리 우유, 및 두유는 모두 타이틀 "우유"와 연관된다.
일부 실시예에 있어서, 브랜드는 제품의 제조자 또는 유통업자와 관련된다. 그와 같이, 일부 실시예에 있어서, 여러 제품이 단일 브랜드를 공유한다. 예를 들어, 브랜드 "킷-캣"은 제품 "킷-캣, 36-카운트" 및 "킷 캣 청키 피넛 버터 48그램"과 연관될 수 있다. 일부 실시예에 있어서, 단일 제품은 하나보다 많은 브랜드와 연관될 수 있다, 예를 들어, 브랜드 "킷-캣"과 연관된 제품은 또한 브랜드 "네슬레"와 연관될 수 있다.
제품과 연관된 특징은 제품을 기술하는 어느 적합한 특징이라도 될 수 있고, 예를 들어, 향미, "다이어트", "저지방", "무설탕", "글루텐 프리" 및 "락토스 프리"와 같은 영양 식별, "채식주의자", "비건", "코셔", 및 "할랄"과 같은 종파 식별, 가격, 포장 크기 등을 포함할 수 있다. 전형적으로, 각각의 특징은 그것이 받을 수 있는 가능한 값 세트와 연관된다.
일부 실시예에 있어서, 제품 데이터세트를 획득하는 단계는, 각각의 제품에 대해, 제품 명칭 내 키워드, 제품 설명 내 키워드, 제품의 포장 상에서 발견된 키워드, 및 제조자 및 유통업자 웹사이트와 같은 외부 소스로부터 모은 정보 중 적어도 하나를 사용하여 제품의 타이틀, 브랜드 및 특징을 자동으로 식별하고 제품 데이터세트 내 엔트리를 자동으로 구축하는 단계를 포함한다. 제품이 식품을 포함하는 일부 실시예에 있어서, 엔트리 구축은 부가적으로 제품의 영양가로부터 모은 정보 및 제품의 성분 목록으로부터 모은 정보를 사용한다.
일부 실시예에 있어서, 데이터세트는 적합한 위치에서 자동으로 획득될 수 있다. 예를 들어, 슈퍼마켓에 있어서, 체크아웃 지점을 관찰하는 보안 카메라에 의해 획득된 이미지는 체크아웃 동안 계산원에 의해 등록된 바코드 및 다른 정보와 상관될 수 있고, 이러한 방식으로 식별된 각각의 제품은 데이터세트에 추가되거나 데이터세트 내에서 업데이트될 수 있다. 그러한 경우에 있어서, OCR은 포장의 캡처링된 이미지로부터 브랜드 및 특징 정보를 추출하도록 사용될 수 있다.
일부 실시예에 있어서, 인간 오퍼레이터는 데이터세트 생성을 감독하고, 각각의 제품에 대해 수집된 정보를 승인할 수 있고 그리고/또는 각각의 제품에 대한 다른 정보를 추가할 수 있다. 그러한 일부 실시예에 있어서, 인간 오퍼레이터는 또한, 제품을 잘못된 타이틀과 연관시키는 것과 같은, 데이터세트의 생성에서의 실수를 식별할 수 있고, 그러한 실수를 어떻게 회피하는지 시스템에 "가르치도록" 기계 학습 기술을 사용할 수 있다.
여기 아래에 더 상세히 설명되는 바와 같이, 일부 실시예에 있어서, 각각의 제품의 특징과 그리고 브랜드와 연관된 가중치는 사용자-특정적이다. 일부 실시예에 있어서, 사용자-특정 가중치는 사용자 입력에 의해 수동으로 결정된다. 그러한 일부 실시예에 있어서, 사용자-특정 가중치는, 예를 들어, 사용자가 2개 이상의 적합한 제품의 선택을 제안받은 후에 하는 선택에 기반하여, 또는 사용자의 제품 이력에 기반하여, 시간이 흐르면서 학습된다. 일례로서, 사용자의 제품 이력이 제품을 선택할 때 사용자가 제품의 색을 염두에 두지 않음을 보여주고 있으면, "색" 특징의 가중치는, 그 사용자에 관하여, 그 제품에 대해, 그 타이틀에 대해, 또는 모든 제품에 대해 자동으로 낮춰진다.
유사하게, 사용자에 대한 필터링 기준은 사용자가 특정할 수도 있고 시스템이 학습할 수도 있다. 예를 들어, 사용자는 그가 채식주의자임을 특정할 수 있거나, 또는 시스템은 사용자가 채식주의자 제품만을 구입함을 사용자의 제품 이력으로부터 학습할 수 있고, 그 후 사용자에게 적합한 제품으로서 채식주의자 제품이 선택될 가능성이 더 있고 일부 실시예에서는 채식주의자 제품만이 선택되도록 "채식주의자" 특징의 가중치를 증가시킬 수 있다.
일부 실시예에 있어서, 각각의 제품의 특징과 그리고 브랜드와 연관된 가중치는 세그먼트-특정적이다. 그러한 일부 실시예에 있어서, 각각의 사용자는 하나 이상의 사용자-세그먼트와 연관되고, 사용자-특정 가중치는 사용자가 연관되는 사용자-세그먼트에 기반하여 특징에 그리고/또는 브랜드에 배정된다. 예를 들어, 식품의 맥락에서, 사용자는 채식주의자 세그먼트와 연관될 수 있고, 그 세그먼트 내 사용자에 대해 적합한 가중치가 제품의 특징에 그리고 브랜드에 배정되며, 예를 들어, 육류를 포함하고 있는 각각의 제품에 대해 영의 가중치를 부여한다. 그러한 일부 실시예에 있어서, 가중치를 배정하는 것은, 크라우드 소싱 형태로, 세그먼트 내 모든 사용자에 대해 제품 이력 및 대용 제품 선택 이력과 관련된 정보를 취합하는 것, 및 그 취합된 정보에 기반하여 세그먼트에 대한 가중치를 조절하는 것을 포함한다.
일부 실시예에 있어서, 사용자는, 당업계에 알려져 있는 바와 같이, 사용자의 구입 이력과 같은 사용자-특정 정보에 기반하여 하나 이상의 사용자-세그먼트와 자동으로 연관된다.
일부 실시예에 있어서, 각각의 제품의 특징과 그리고 브랜드와 연관된 가중치는 또한 시장 동향에 그리고/또는 시즌에 기반하여 결정된다. 예를 들어, 겨울 동안에는, "뜨겁게 먹는 것"의 특징에 더 높은 가중치가 부여될 수 있고, "얼려 먹는 것"의 특징에 더 낮은 가중치가 부여될 수 있다.
다른 일례로서, 축제 시즌 동안에는, "초콜릿 민트를 함유한", "축제에 적합한", "호스팅에 적합한", "우아한" 등과 같은 축제 관련 특징에 더 높은 가중치가 부여될 수 있다.
일부 실시예에 있어서, 정보 학습기는 사용자, 사용자-세그먼트, 또는 일반 대중에 대한 시즌 효과를 자동으로 학습하고, 적합한 시즌 동안 그에 따라 가중치를 자동으로 설정한다.
일부 실시예에 있어서, 각각의 제품의 특징과 그리고 브랜드와 연관된 가중치는 또한 사용자의 우선순위에 기반하여 결정된다. 그러한 일부 실시예에 있어서, 방법은 또한, 각각의 특정 사용자에 대해, 사용자-특정 제품 구입 우선순위를 획득하는 단계, 및 사용자-특정 제품 우선순위에 기반하여 특징의 그리고/또는 브랜드의 가중치를 자동으로 조절하는 단계를 포함한다. 전형적으로, 제품 우선순위는 사용자-세그먼트 또는 사용자 이력에 기반하여 계산된 것보다 더 높거나 더 낮은 가중치가 부여되어야 하는, 또는 다른 특징 또는 제품보다 우선하여야 하는 특징 또는 제품의 카테고리와 관련된다.
일부 실시예에 있어서, 제품 우선순위는 예를 들어 입력 엔트리 엘리먼트를 통해 사용자에 의해 명확히 제공된다. 다른 실시예에 있어서, 사용자의 우선순위는, 예를 들어, 사용자의 제품 이력 또는 사용자가 특정 제품에 대해 어느 대용품을 선택하는지 분석함으로써 시간이 흐르면서 학습된다.
예를 들어, 사용자가 건강을 매우 의식하여 항상 최소한의 지방 함유량을 갖는 제품을 선택함을, 사용자가 나타낼 수 있거나, 시스템이 학습할 수 있다. 그리하여, 가중치는 저지방 제품이 사용자에게 적합한 제품으로서 선택될 가능성이 더 높게 되도록 조절될 수 있다.
일부 실시예에 있어서, 사용자-특정 차단 우선순위 기준을, 사용자가 나타낼 수 있거나, 시스템이 학습할 수 있다. 예를 들어, 사용자가 비용을 매우 의식하여, 미리 결정된 양, 예를 들어 $100보다 비용이 더 드는 어느 제품도 절대 구입하지 않음을, 사용자가 나타낼 수 있거나, 시스템이 학습할 수 있다. 그리하여, 가중치는 대부분 그리고 일부 실시예에서만 $100보다 비용이 덜 드는 제품이 사용자에게 적합한 것으로 선택되도록 조절될 수 있다.
일부 실시예에 있어서, 사용자는 제공된 우선순위에 대한 소망의 최적화 적극성 레벨의 표시를 제공할 수 있다. 예를 들어, 사용자는, 더 낮은 가격을 갖는 제품이, 그것이 다른 특징 또는 우선순위에 관하여 가장 적합한 제품이 아니더라도, 사용자에게 적합한 제품으로서 선택되도록, 돈을 절약하기를 소망한다고 나타내어, 시스템이 가격 특징의 가중치를 증가시키게 야기할 수 있다. 부가적으로, 일부 실시예에서는, 사용자에 의해 정의된 바와 같은 우선순위의 감소순으로 또는 위 예에서는 비용의 증가순으로 부가적 대용 제품이 사용자에게 제시된다.
제품 우선순위의 그리고 특징에 배정된 가중치의 각각의 효과의 크기는 사용자마다 결정될 수 있다고 인식된다. 유사하게, 유사도의 계산에 기반하는 가중치에 기여하는 제품의 특정 특성, 및 사용자의 우선순위에 기반하는 최적화에 기여하는 제품의 특정 특성은 사용자마다 결정된다. 그와 같이, 주어진 우선순위에 대해 최적화하기를 항상 원하는 일부 사용자에 대해서는, 그 우선순위에 기반하는 최적화가 그것이 제안된 대용품이 소망 제품과 덜 유사함을 의미하더라도 지지될 것인 한편, 유사도가 더 중요한 다른 사용자에 대해서는, 더 유사한 제품이 지지될 것이고, 사용자 우선순위에 기반하는 최적화는 소망 제품과 유사한 제품이 다수 있을 때만 일어날 것이다.
위에서 언급된 바와 같이, 사용자는 소망 제품의 최초 식별을 제공한다. 일부 실시예에 있어서, 사용자에 의해 제공된 최초 식별은 제품을 고유하게 식별시킨다. 예를 들어, 사용자는 제품의 재고 관리 코드(SKU), 제품의 범용 제품 코드(UPC), 또는 제품의 바코드의 식별을 제공할 수 있다. 그러한 실시예에서는, 소망 제품을 고유하게 식별하는 방법 단계가 필요 없게 된다.
일부 실시예에 있어서, 사용자에 의해 제공된 제품의 최초 식별은 제품을 고유하게 식별시키지 않는다. 예를 들어, 사용자는, 제품을 고유하게 식별시키지 않는, 소망 제품의 타이틀, 소망 제품의 브랜드, 소망 제품의 설명, 또는 소망 제품에 대한 별칭을 제공할 수 있다.
여기에서의 교시의 맥락에서, 제품의 별칭은, 제품의 타이틀 또는 브랜드가 아닌, 사용자가 그 제품에 공통으로 사용하는 명칭이다. 예를 들어, "디저트"는 복수의 제품에 대한 별칭일 수 있다.
그러한 실시예에 있어서, 사용자에 의해 의도된 특정 소망 제품을 고유하게 식별하는 단계는 사용자-특정 정보 및/또는 세그먼트-특정 정보를 사용하여, 사용자에 의해 제공된 타이틀, 브랜드, 설명 및/또는 별칭과 매칭하는 적어도 하나의 적합한 소망 제품을 식별하는 단계, 및 식별된 적합한 소망 제품과 식별된 적합한 소망 제품의 타이틀 내 다른 제품 간 거리를 계산하는 단계를 포함한다.
일부 실시예에 있어서, 사용자에 의해 의도된 특정 소망 제품을 고유하게 식별하는 단계는 함께 구입되는 제품의 그룹을 식별하는 단계, 및 미리 결정된 지속기간 내에 그룹 내 제품 중 하나 이상을 사용자가 구입하였는지 여부를 식별하는 단계를 포함한다. 그러한 일부 실시예에 있어서, 함께 구입된 제품은 여러 사용자로부터, 예를 들어 사용자와 연관된 사용자-세그먼트 내 모든 사용자로부터 취합된 데이터에서 식별된다. 예를 들어, 정보 학습기는 소정 백분율의 경우에서 파스타 소스를 구입한 사람들이 파스타 소스의 구입의 60일 내에 파스타도 구입한다고 검출할 수 있다. 그래서, 사용자가 최근에 파스타 소스를 구입하였으면, 이러한 정보는, 예를 들어, 사용자가 파스타 제품 및 다른 제품을 포함하는 브랜드를 최초 식별로서 주는지 나타내고 적합한 소망 제품을 식별하는데 도움이 될 수 있다.
일부 실시예에 있어서, 각각의 식별된 적합한 소망 제품에는, 예를 들어, 식별된 적합한 소망 제품이 사용자에 의해 의도된 소망 제품일 가능성이 얼마나 있는지 그리고 식별된 적합한 소망 제품이 사용자에 의해 의도된 소망 제품이 아닐 가능성이 얼마나 없는지를 나타내는 신뢰도 점수가 배정된다. 그리하여, 신뢰도 점수는, 예를 들어 사용자-특정 및 세그먼트-특정 정보를 사용하여 결정되는 바와 같이, 제품이 사용자에게 얼마나 적합한지에 의해, 그리고 여러 다른 제품이 동등하게 또는 실질적으로 동등하게 사용자에게 얼마나 적합한지에 의해 영향을 받는다.
일부 실시예에 있어서, 신뢰도 점수는 시간이 흐르면서 학습된 사용자-특정 정보에 그리고/또는 사용자의 특정 습관에 기반한다. 예를 들어, 사용자가 타이틀 "우유"를 제공하였고 사용자 이력은 사용자가 한 달에 한 번 탈지유를 그리고 일주일에 한 번 전유를 구입한다고 보여주고 있으면, 탈지유 및 전유에 부여되는 신뢰도 점수는 사용자가 탈지유를 구입한 마지막 시간 및 사용자가 전유를 구입한 마지막 시간에 의존할 것이다.
다른 일례로서, 사용자가 최초 식별로서 타이틀 "우유"를 제공하였고 사용자가 정기적으로 그리고 동등한 간격으로 전유 및 두유를 구입하여, 양자가 사용자에게 동등하게 적합하게 되면, 전유에 그리고 두유에 부여되는 신뢰도 점수는, 어느 것을 사용자가 의도하였는지 "추측"하는 것이 매우 어려우므로, 비교적 낮을 것이다. 다른 한편으로, 사용자가 전유를 정기적으로 그리고 두유를 가끔 구입하여, 두유가 사용자에 의해 구입될 가능성이 더 작고 전유가 사용자에 의해 구입될 가능성이 더 크게 되면, 전유에는, 그것이 사용자의 의도의 더 양호한 "추측"이므로, 더 높은 신뢰도 점수가 부여될 것이다.
그러한 일부 실시예에 있어서, 사용자에게 적합한 제품은 식별된 적합한 소망 제품의 신뢰도 점수에 기반하여 신뢰도 점수와 연관된다. 일부 실시예에 있어서, 주어진 타이틀에 대한 제품의 사용자 선택 및 신뢰도 점수는 사용자의 선호도 및 우선순위에 대해 학습하도록, 그리고 학습된 선호도에 기반하여 특징의 그리고/또는 브랜드의 가중치를 업데이트하도록 사용된다.
일부 실시예에 있어서, 사용자는 음성으로 소망 제품의 최초 식별을 제공한다. 그러한 일부 실시예에 있어서, 방법은 제품 타이틀, 제품 설명, 제품 브랜드 및 제품 별칭 중 적어도 하나를 식별하도록 사용자의 음성 커맨드를 분석하는 단계, 및 여기 위에서 설명된 바와 같이 적합한 제품을 식별하도록 식별된 타이틀, 설명, 브랜드 및/또는 별칭을 사용하는 단계를 또한 포함한다.
일부 실시예에 있어서, 특정 소망 제품과 특정 타이틀 내 다른 제품 간 거리를 계산하는 단계는 브랜드에 대한 브랜드-거리 점수 및 각각의 특징에 대한 특징-거리 점수를 계산하는 단계, 및 특징-거리 점수와 브랜드 거리 점수 중 적어도 일부의 가중 평균을 거리 점수로서 계산하는 단계를 포함한다.
일부 실시예에 있어서, 거리를 계산하는 단계는 사용자에 의해 제공된 최적화 우선순위 및 최적화 적극성 레벨에 대한 파라미터 점수에 기반하여 파라미터 거리를 계산하는 단계, 및 계산된 파라미터 거리 점수에 그리고 제품 유사도 점수에 기반하여 제품 관련성 점수를 계산하는 단계를 포함한다.
일부 실시예에 있어서, 방법은 적어도 하나의 적합한 제품의 표현을 사용자에게 디스플레이하는 단계를 또한 포함한다. 일부 실시예에 있어서, 적어도 하나의 적합한 제품의 표현은 특정 소망 제품의 표현 옆에 디스플레이된다. 그러한 일부 실시예에 있어서, 표현은 표현된 제품의 이미지를 포함한다. 그러한 일부 실시예에 있어서, 표현은, 표현된 제품의 영양 정보, 포장 정보 또는 다른 정보와 같은, 정보를 포함한다.
여기에서 설명되는 방법은 복수의 애플리케이션 중 어느 것에 대해서라도 사용될 수 있다. 예를 들어, 방법은, 식료를 온라인 주문하는데 사용되는 것과 같이, UPC 특정 식료 목록으로 타이틀 기반 식료 목록을 변환하도록 사용될 수 있다. 다른 일례로서, 방법은 이용불가능한 제품에 대한 대용 제품을 사용자에게 제안하도록, 구입될 제품의 목록을 수신한, 온라인 벤더에 의해 사용될 수 있다.
여기에서 설명되는 방법은 또한 사용자의 특성에 맞춰진 가격 비교 서비스를 제안하도록 사용될 수 있다. 예를 들어, 시스템은, 가격책정 데이터를 포함하여, 적어도 2개의 슈퍼마켓에 의해 운반된 모든 제품에 대한 데이터를 유지하고 있을 것이다. 사용자는, UPC와 같이 소망 제품의 특칭을 포함하든지 또는 제품의 타이틀, 설명, 브랜드 또는 별칭을 포함하든지 하는 식료 목록을 제공할 것이다. 그 후 시스템은 슈퍼마켓의 각각에서의 목록 내 모든 제품에 대한 총 비용을 사용자에게 제안할 것이다. 각각의 슈퍼마켓에 있어서, 총 비용을 계산하는데 사용된 제품은 사용자-특정 및 세그먼트-특정 정보에 기반하여 여기 위에서 설명된 방법을 사용하여 그 슈퍼마켓에 의해 운반된 제품으로부터 선택된다. 그러한 일부 실시예에 있어서, 시스템은 또한 최적화된 파라미터의 여러 다른 최적화 적극성 레벨에 기반하여 여러 다른 가격을 갖는 수개의 가능한 제품 목록을 제안할 수 있다.
방법은 또한 사용자-특정 및 세그먼트-특정 정보에 기반하여 검색하는 사용자에게 구체적으로 적당한 검색 용어 완성을 제안하도록 사용될 수 있다. 예를 들어, 사용자가 검색 용어를 타이핑하기 시작할 때, 시스템은 입력으로서 제공된 부분적 검색 용어로 시작하는 타이틀, 브랜드, 별칭 및 제품 설명에 대해 체크할 수 있다. 시스템은 여기 위에서 설명된 방법을 사용하여 사용자가 검색하도록 의도하는 가장 확률 높은 제품이 무엇인지 추측할 수 있고, 사용자의 선택을 위해 그 제품들을 디스플레이한다. 시스템은 또한 특정 가능한 제품을 제안하는 것에 부가하여 타이틀, 별칭 및/또는 브랜드를 제안할 수 있다.
예를 들어, 사용자가 "미"를 타이핑하고 나면, 시스템은 이하의 옵션을 제안할 수 있다 -
타이틀 - 밀크
브랜드 - 밀카
제품 - 민트 차, 저-지방 밀크
그리고 사용자는 소망 옵션을 선택할 수 있다. 선택된 옵션이 특정 제품이 아니라 그보다는 타이틀, 브랜드 또는 별칭인 경우에, 사용자가 소망 옵션을 선택하고 나면, 그에게는 그 옵션 내 제품의 목록이 제시될 수 있다. 위의 예에 있어서, 사용자가 브랜드 밀카를 선택하였으면, 그에게는 그 브랜드의 특정 제품 전부가 제시될 것이다.
방법은 또한 A-B 테스트 최적화를 제안하도록 사용될 수 있으며, 거기서 시스템은 그의 최적화 우선순위에 기반하여 사용자에게 더 적합하고 소비자가 현재 소비하고 있는 제품과 충분히 유사한 이용가능한 제품을 찾는다. 그러한 제품이 식별되고 나면, 그것은, 가능하다면 무료로, 가능하다면 작은 수량으로, 소비자에게 제공된다. 사용자는 제안된 제품으로부터의 그의 만족에 관한 입력을 제공할 수 있거나, 또는 시스템은 사용자에게 그 제안 다음에 그 제안된 제품의 구입 정도에 기반하여 사용자의 만족 레벨을 자동으로 식별할 수 있다. 식별된 사용자 소비 및 만족에 기반하여, 제품은 사용자에 의해 구입될 것 같은 제품에 포함될 수 있고, 시스템은 제안된 제품이 소망 제품으로서 또는 여기에서 설명된 방법에서의 적합한 대용품으로서 식별되도록 적응될 수 있다.
일부 경우에 있어서, 시스템은, 예를 들어, 제품이 얼마나 빨리 소비되었는지 그리고/또는 쓰레기통에 포장이 비어서 버려졌는지 차서 버려졌는지 검출하는 센서를 사용하여, 제안된 제품의 사용자 소비를 자동으로 식별할 수 있다.
그러한 테스트 최적화는 또한, 광고된 제품이 사용자의 최적화 우선순위에 기반하여 더 적합하면, 제조자가 제품이 적합할 수 있는 사용자에게 그들 제품의 샘플을 제공할 수 있도록, 광고에 의해 지원될 수 있다. 일부 경우에 있어서, 유사한 최적화 우선순위를 갖는 또는 소정 세그먼트 내의 충분히 높은 백분율의 소비자가 이전에 사용하고 있던 제품 대신에 제안된 제품을 사용하는 것으로 전환하였다고 시스템이 식별하면, 그것은 새로운 제안된 제품이 그 최적화 우선순위를 갖는 또는 그 세그먼트의 사용자에게 제안될 가능성이 더 크게 되도록 제품 가중치를 적응시킬 수 있다.
여기에서 설명되는 사용자에게 적합한 제품을 식별하기 위한 방법은 어느 적합한 디바이스라도 사용하여 수행될 수 있다. 그렇긴 하지만, 본 발명의 일부 실시예의 일 태양에 의하면, 사용자에게 적합한 제품을 식별하기 위한 디바이스가 제공되며, 그 디바이스는:
그 연관된 특정 타이틀을 갖는 소망 제품의 최초 식별을 사용자로부터 수신하도록 구성된 사용자 입력 엔트리 엘리먼트; 및
사용자 입력 엔트리 엘리먼트와 기능적으로 연관된 프로세서를 포함하되, 프로세서는:
제품의 그룹을 포함하는 제품 데이터세트에 액세스하도록 구성된 제품 데이터 액세서로서, 제품은 타이틀에 따라 하위 그룹으로 분할되되, 각각의 제품은 제품을 기술하는 특징의 세트 및 브랜드 중 적어도 하나와 연관되고, 가중치는 브랜드와 그리고 각각의 상기 특징과 연관되는 제품 데이터 액세서;
최초 식별에서 사용자에 의해 의도된 특정 소망 제품을 고유하게 식별하기 위해 사용자-특정 정보 및 제품 데이터세트 내 정보를 사용하도록 구성된 소망 제품 식별 모듈;
특정 소망 제품과 특정 타이틀 내 적어도 2개의 다른 제품 간 거리를 계산하기 위해 특징의 그리고 브랜드의 가중치 중 적어도 일부를 사용하도록 구성된 거리 계산 모듈; 및
사용자에게 적합한 제품으로서, 특정 소망 제품으로부터 작은 거리를 갖는, 다른 제품 중 적어도 하나를 식별하도록 구성된 적합한 제품 식별 모듈을 포함한다.
제품 그룹은 어느 적합한 제품 그룹이라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 제품 그룹은 식료 제품, 전자 제품, 서적, 의약 제품, 건강 관리 제품, 미용 제품, 가공 제품, 농산 제품, 게임, 게이밍 제품, 완구, 의류, 신발, 연극, 콘서트 및 영화와 같은 엔터테인먼트 제품, 자동차, 오토바이 및 요트와 같은 탈것 등을 포함한다.
일부 실시예에 있어서, 타이틀은 제품의 자연 명칭을 포함한다. 예시적 타이틀은 "우유", "신선 제품", "냉동 채소", "아동 서적", "비-소설 서적" 등을 포함할 수 있다. 전형적으로, 각각의 타이틀은 그와 연관된 복수의 제품을 갖는다. 예를 들어, 무지방 우유, 저지방 우유, 전유, 락토스 프리 우유, 및 두유는 모두 타이틀 "우유"와 연관된다.
일부 실시예에 있어서, 브랜드는 제품의 제조자 또는 유통업자와 관련된다. 그와 같이, 일부 실시예에 있어서, 여러 제품이 단일 브랜드를 공유한다. 예를 들어, 브랜드 "킷-캣"은 제품 "킷-캣, 36-카운트" 및 "킷 캣 청키 피넛 버터 48그램"과 연관될 수 있다. 일부 실시예에 있어서, 단일 제품은 하나보다 많은 브랜드와 연관될 수 있다, 예를 들어, 브랜드 "킷-캣"과 연관된 제품은 또한 브랜드 "네슬레"와 연관될 수 있다.
제품과 연관된 특징은 제품을 기술하는 어느 적합한 특징이라도 될 수 있고, 예를 들어, 향미, "다이어트", "저지방", "무설탕", "글루텐 프리" 및 "락토스 프리"와 같은 영양 식별, "채식주의자", "비건", "코셔", 및 "할랄"과 같은 종파 식별, 가격, 포장 크기 등을 포함할 수 있다. 전형적으로, 각각의 특징은 그것이 받을 수 있는 가능한 값 세트와 연관된다.
여기 아래에 더 상세히 설명되는 바와 같이, 일부 실시예에 있어서, 각각의 제품의 특징과 그리고 브랜드와 연관된 가중치는 사용자-특정적이다.
일부 실시예에 있어서, 사용자 입력 엔트리 엘리먼트는 적어도 하나의 특징에 그리고/또는 브랜드에 배정될 사용자-특정 가중치로부터 수신하도록 구성된다.
일부 실시예에 있어서, 프로세서는 사용자 정보 데이터베이스와 그리고/또는 제품 데이터세트와 기능적으로 연관된 정보 학습기를 또한 포함한다. 일부 실시예에 있어서, 정보 학습기는 또한 사용자 입력 엔트리 엘리먼트와 기능적으로 연관된다. 그러한 일부 실시예에 있어서, 정보 학습기는 사용자 입력 엔트리 엘리먼트에 제공되는 바와 같은 사용자의 선호도를, 예를 들어, 사용자 정보 데이터베이스에 저장하도록 구성된다.
그러한 일부 실시예에 있어서, 정보 학습기는, 예를 들어, 사용자가 2개 이상의 적합한 제품의 선택을 제안받은 후에 하는 선택에 기반하여, 또는 사용자의 제품 이력에 기반하여, 시간이 흐르면서 특정 가중치를 학습하도록 구성된다. 일례로서, 사용자의 제품 이력이 특정 제품을 선택할 때 사용자가 제품의 색을 염두에 두지 않음을 보여주고 있으면, 사용자-특정 학습기는 특정 제품의 색이 사용자에게 그다지 문제되지 않음을 학습하도록, 그리고, 사용자에 관하여, 그 특정 제품에 대해, 그 특정 제품과 연관된 타이틀에 대해, 또는 데이터세트 내 모든 제품에 대해 "색" 특징의 가중치 낮춤을 달성하도록 구성된다.
유사하게, 사용자 입력 엔트리 엘리먼트가 사용자로부터 사양을 수신할 수 있거나, 또는 정보 학습기가 사용자에 대한 필터링 기준을 학습할 수 있다. 예를 들어, 사용자는 그가 채식주의자임을 특정할 수 있거나, 또는 시스템은 사용자가 채식주의자 제품만을 구입함을 사용자의 제품 이력으로부터 학습할 수 있고, 그 후 사용자에게 적합한 제품으로서 채식주의자 제품이 선택될 가능성이 더 있고 일부 실시예에서는 채식주의자 제품만이 선택되도록 "채식주의자" 특징의 가중치를 증가시킬 수 있다.
일부 실시예에 있어서, 정보 학습기는 사용자가 연관되는 사용자-세그먼트에 기반하여 각각의 제품의 특징과 그리고 브랜드와 연관된 가중치를 학습하도록 구성된다. 그러한 일부 실시예에 있어서, 각각의 사용자는 하나 이상의 사용자-세그먼트와 연관되고, 정보 학습기는 사용자가 연관되는 사용자-세그먼트에 기반하여 특징에 그리고/또는 브랜드에 사용자-특정 가중치의 배정을 달성한다. 예를 들어, 식품의 맥락에서, 사용자는 채식주의자 세그먼트와 연관될 수 있고, 그 세그먼트 내 사용자에 대해 적합한 가중치가 제품의 특징에 그리고 브랜드에 배정되며, 예를 들어, 육류를 포함하고 있는 각각의 제품에 대해 영의 가중치를 부여한다.
그러한 일부 실시예에 있어서, 정보 학습기는, 크라우드 소싱 형태로, 세그먼트 내 모든 사용자에 대해 제품 이력 및 대용 제품 선택 이력과 관련된 정보를 취합하도록 그리고 취합된 정보에 기반하여 세그먼트에 관하여 데이터세트 내 특징에 대한 그리고/또는 브랜드에 대한 가중치의 조절을 달성하도록 구성된다.
일부 실시예에 있어서, 정보 학습기는, 당업계에 알려져 있는 바와 같이, 사용자의 구입 이력과 같은 학습된 사용자-특정 정보에 기반하여 하나 이상의 사용자-세그먼트와 사용자를 자동으로 연관시키도록 구성된다.
일부 실시예에 있어서, 프로세서는 또한 시장 동향에 그리고/또는 시즌에 기반하여 각각의 제품의 브랜드 및 특징과 연관된 가중치를 업데이트하도록 구성된다. 예를 들어, 겨울 동안에는, "뜨겁게 먹는 것"의 특징에 더 높은 가중치가 부여될 수 있고, "얼려 먹는 것"의 특징에 더 낮은 가중치가 부여될 수 있다.
다른 일례로서, 축제 시즌 동안에, 프로세서는 "초콜릿 민트를 함유한", "축제에 적합한", "호스팅에 적합한", "우아한" 등과 같은 축제 관련 특징의 가중치를 증가시킬 수 있다.
일부 실시예에 있어서, 정보 학습기는 사용자, 사용자-세그먼트, 또는 일반 대중에 대한 시즌 효과를 자동으로 학습하고, 적합한 시즌 동안 그에 따라 가중치를 자동으로 설정한다.
일부 실시예에 있어서, 각각의 제품의 특징과 그리고 브랜드와 연관된 가중치는 또한 사용자의 우선순위에 기반하여 결정된다. 그러한 일부 실시예에 있어서, 프로세서는, 각각의 특정 사용자에 대해, 사용자-특정 제품 구입 우선순위를 획득하도록 그리고 사용자-특정 제품 우선순위에 기반하여 특징의 그리고/또는 브랜드의 가중치를 자동으로 조절하도록 구성된다. 전형적으로, 제품 우선순위는 사용자-세그먼트 또는 사용자 이력에 기반하여 계산된 것보다 더 높거나 더 낮은 가중치가 부여되어야 하는, 또는 다른 특징 또는 제품보다 우선하여야 하는 특징 또는 제품의 카테고리와 관련된다.
일부 실시예에 있어서, 사용자 입력 엔트리 엘리먼트는 사용자-특정 제품 우선순위의 표시를 사용자로부터 수신하도록 구성된다. 일부 실시예에 있어서, 사용자 정보 학습 엘리먼트는, 예를 들어, 사용자의 제품 이력에 기반하여 또는 기지의 소망 제품에 대해 사용자에 의해 선택된 대용 제품에 기반하여, 시간이 흐르면서 사용자의 제품 우선순위를 자동으로 학습하도록 구성된다.
예를 들어, 사용자가 건강을 매우 의식하여 항상 최소한의 지방 함유량을 갖는 제품을 선택함을, 사용자가 사용자 입력 엔트리 엘리먼트를 사용하여 나타낼 수 있거나, 또는 정보 학습기가 학습할 수 있다. 그리하여, 가중치는 저지방 제품이 사용자에게 적합한 제품으로서 선택될 가능성이 더 높게 되도록 조절될 수 있다.
일부 실시예에 있어서는, 사용자 차단 우선순위 기준을, 사용자가 사용자 입력 엔트리 엘리먼트를 사용하여 나타낼 수 있거나, 또는 정보 학습기가 학습할 수 있다. 예를 들어, 사용자가 비용을 매우 의식하여, 미리 결정된 양, 예를 들어 $100보다 비용이 더 드는 어느 제품도 절대 구입하지 않음을, 사용자가 사용자 입력 엔트리 엘리먼트를 사용하여 나타낼 수 있거나, 정보 학습기가 학습할 수 있다. 그리하여, 가중치는 대부분 그리고 일부 실시예에서만 $100보다 비용이 덜 드는 제품이 사용자에게 적합한 것으로 선택되도록 조절될 수 있다.
일부 실시예에 있어서, 사용자 입력 엔트리 엘리먼트는 제공된 사용자-특정 제품 우선순위에 대한 소망의 최적화 적극성 레벨의 표시를 사용자로부터 수신하도록 구성된다. 예를 들어, 사용자는, 더 낮은 가격을 갖는 제품이, 그것이 다른 특징 또는 우선순위에 관하여 가장 적합한 제품이 아니더라도, 다른 제품보다 사용자에게 적합한 제품으로서 선택되도록, 돈을 절약하기를 소망한다고 나타내어, 디바이스가 가격 특징의 가중치를 증가시키게 야기할 수 있다. 부가적으로, 일부 실시예에서는, 사용자에 의해 정의된 바와 같은 우선순위의 감소순으로 또는 위 예에서는 비용의 증가순으로 부가적 대용 제품이 사용자에게 제시된다.
제품 우선순위의 그리고 특징에 배정된 가중치의 각각의 효과의 크기는, 예를 들어, 정보 학습기에 의해 학습된 사용자-특정 정보에 기반하여 사용자마다 결정될 수 있다고 인식된다. 유사하게, 유사도의 계산에 기반하는 가중치에 기여하는 제품의 특정 특성, 및 사용자의 우선순위에 기반하는 최적화에 기여하는 제품의 특정 특성은, 예를 들어, 정보 학습기에 의해 학습된 사용자 특정 정보에 기반하여 사용자마다 결정된다. 그와 같이, 주어진 우선순위에 대해 최적화하기를 항상 원하는 일부 사용자에 대해서는, 그 우선순위에 기반하는 최적화가 그것이 제안된 대용품이 소망 제품과 덜 유사함을 의미하더라도 지지될 것인 한편, 유사도가 더 중요한 다른 사용자에 대해서는, 더 유사한 제품이 지지될 것이고, 사용자 우선순위에 기반하는 최적화는 소망 제품과 유사한 제품이 다수 있을 때만 일어날 것이다.
사용자 입력 엔트리 엘리먼트는 사용자가 디바이스에 입력을 제공하도록 대화할 수 있는 어느 적합한 사용자 입력 엔트리 엘리먼트라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 사용자 입력 엔트리 엘리먼트는 키보드, 터치 스크린, 컴퓨터 마우스, 조이스틱, 마이크로폰, 및 USB 플래시 드라이브와 같은 입력 디바이스로의 접속을 위한 포트 중 적어도 하나를 포함한다.
위에서 언급된 바와 같이, 사용자 입력 엔트리 엘리먼트는 소망 제품의 최초 식별을 수신하도록 구성된다. 일부 실시예에 있어서, 사용자 입력 엔트리 엘리먼트는 제품을 고유하게 식별시키는 정보를 최초 식별로서 수신하도록 구성된다. 예를 들어, 사용자는 소망 제품의 재고 관리 코드(SKU), 소망 제품의 범용 제품 코드(UPC), 또는 소망 제품의 바코드를 최초 식별로서 사용자 입력 엔트리 엘리먼트에 제공할 수 있다. 그러한 실시예에서는, 적합한 제품 식별 모듈이 필요 없게 될 수 있거나, 유휴인 채로 있을 수 있다.
일부 실시예에 있어서, 사용자 입력 엔트리 엘리먼트는 제품을 고유하게 식별시키지 않는 정보를 최초 식별로서 수신하도록 구성된다, 예를 들어, 사용자 입력 엔트리 엘리먼트는 사용자로부터 소망 제품의 타이틀, 설명, 브랜드 또는 별칭을 수신할 수 있다.
그러한 실시예에 있어서, 소망 제품 식별 모듈은 사용자로부터 수신된 타이틀, 브랜드, 설명 및/또는 별칭과 매칭하는 적어도 하나의 적합한 소망 제품을 식별하기 위해 사용자-특정 정보 및/또는 세그먼트-특정 정보를 사용함으로써 사용자에 의해 의도된 제품을 "추측"하도록 구성된다. 그러한 실시예에 있어서, 거리 계산 모듈은 식별된 적합한 소망 제품과 그 식별된 적합한 소망 제품의 타이틀 내(또는, 관련 있을 때, 사용자로부터 수신된 타이틀 내) 다른 제품 간 거리를 계산하도록 구성된다.
일부 실시예에 있어서, 소망 제품 식별 모듈은 함께 구입되는 제품의 그룹을 식별함으로써 그리고 미리 결정된 지속기간 내에 그룹 내 제품 중 하나 이상을 사용자가 구입하였는지 여부를 식별함으로써 사용자에 의해 의도된 특정 소망 제품을 고유하게 식별하도록 구성된다. 그러한 일부 실시예에 있어서, 함께 구입된 제품은 여러 사용자로부터, 예를 들어 사용자와 연관된 사용자-세그먼트 내 모든 사용자로부터 취합된 데이터에서 식별된다. 예를 들어, 정보 학습기는 소정 백분율의 경우에서 파스타 소스를 구입한 사람들이 파스타 소스의 구입의 60일 내에 파스타도 구입한다고 검출할 수 있다. 그래서, 사용자가 최근에 파스타 소스를 구입하였으면, 이러한 정보는, 예를 들어, 사용자가 파스타 제품 및 다른 제품을 포함하는 브랜드를 최초 식별로서 주는지 나타내고 적합한 소망 제품을 식별하는데 도움이 될 수 있다.
일부 실시예에 있어서, 소망 제품 식별 모듈은, 예를 들어, 식별된 적합한 소망 제품이 사용자에 의해 의도된 소망 제품일 가능성이 얼마나 있는지 그리고 식별된 적합한 소망 제품이 사용자에 의해 의도된 소망 제품이 아닐 가능성이 얼마나 없는지를 나타내는 신뢰도 점수를 각각의 식별된 적합한 소망 제품에 배정한다. 그리하여, 신뢰도 점수는, 예를 들어 사용자-특정 및 세그먼트-특정 정보를 사용하여 결정되는 바와 같이, 제품이 사용자에게 얼마나 적합한지에 의해, 그리고 여러 다른 제품이 동등하게 또는 실질적으로 동등하게 사용자에게 얼마나 적합한지에 의해 영향을 받는다.
일부 실시예에 있어서, 소망 제품 식별 모듈은, 예를 들어 정보 학습기에 의해 학습된 바와 같은, 사용자의 특정 습관에 그리고/또는 시간이 흐르면서 학습된 사용자-특정 정보에 기반하여 신뢰도 점수를 배정하도록 구성된다. 예를 들어, 사용자가 타이틀 "우유"를 제공하였고 사용자 이력은 사용자가 한 달에 한 번 탈지유를 그리고 일주일에 한 번 전유를 구입한다고 보여주고 있으면, 탈지유 및 전유에 부여되는 신뢰도 점수는 사용자가 탈지유를 구입한 마지막 시간 및 사용자가 전유를 구입한 마지막 시간에 의존할 것이다.
다른 일례로서, 소망 사용자가 최초 식별로서 타이틀 "우유"를 제공하였고 사용자가 정기적으로 그리고 동등한 간격으로 전유 및 두유를 구입하여, 양자가 사용자에게 동등하게 적합하게 되면, 전유에 그리고 두유에 배정되는 신뢰도 점수는, 어느 것을 사용자가 의도하였는지 "추측"하는 것이 매우 어려우므로, 비교적 낮을 것이다. 다른 한편으로, 사용자가 전유를 정기적으로 그리고 두유를 가끔 구입하여, 두유가 사용자에 의해 구입될 가능성이 더 작고 전유가 사용자에 의해 구입될 가능성이 더 크게 되면, 전유에는, 그것이 사용자의 의도의 더 양호한 "추측"이므로, 더 높은 신뢰도 점수가 배정될 것이다.
그러한 일부 실시예에 있어서, 적합한 제품 식별 모듈은 식별된 적합한 소망 제품의 신뢰도 점수에 기반하여 사용자에게 적합한 제품을 신뢰도 점수와 연관시키도록 구성된다. 일부 실시예에 있어서, 정보 학습기는 주어진 타이틀에 대해 제품의 사용자 선택 및/또는 신뢰도 점수를 사용하여 사용자의 선호도 및 우선순위에 대해 학습하도록, 그리고 학습된 선호도에 기반하여 특징의 그리고/또는 브랜드의 가중치의 업데이트를 달성하도록 구성된다.
사용자 입력 엔트리 엘리먼트가 소망 제품의 음성 최초 식별을 수신하도록 구성된 마이크로폰을 포함하는 일부 실시예에 있어서, 프로세서는, 여기 위에서 설명된 바와 같이 적합한 제품을 식별하도록 프로세서에 의해 사용될 수 있는, 제품 타이틀, 제품 설명, 제품 브랜드 및 제품 별칭 중 적어도 하나를 식별하기 위해 사용자의 음성 입력을 분석하도록 구성된 음성 분석 컴포넌트를 또한 포함한다.
일부 실시예에 있어서, 거리 계산 모듈은 브랜드에 대한 브랜드-거리 점수 및 각각의 특징에 대한 특징-거리 점수를 계산하도록 그리고 특징-거리 점수와 브랜드 거리 점수 중 적어도 일부의 가중 평균을 거리 점수로서 계산하도록 구성된다. 일부 실시예에 있어서, 거리 계산 모듈은 소망 제품과 다른 제품에 대한 제품 유사도 점수를 계산하기 위해 그 계산된 거리 점수를 사용하도록 구성되고, 적합한 제품 식별 모듈은 제품 유사도 점수에 기반하여 적합한 제품을 식별하도록 구성된다.
일부 실시예에 있어서, 거리 계산 모듈은 사용자에 의해 제공된 최적화 우선순위 및 최적화 적극성 레벨에 대한 파라미터 점수에 기반하여 파라미터 거리를 계산하도록 그리고 계산된 파라미터 거리 점수에 그리고 제품 유사도 점수에 기반하여 제품 관련성 점수를 계산하도록 구성된다.
일부 실시예에 있어서, 디바이스는 또한 프로세서와 그리고/또는 사용자 입력 엔트리 엘리먼트와 기능적으로 연관된 디스플레이를 포함하고, 적어도 하나의 식별된 적합한 제품의 표현을 사용자에게 디스플레이하도록 구성된다. 일부 실시예에 있어서, 디스플레이는 또한 식별된 적합한 제품의 표현 옆에 소망 제품의 표현을 디스플레이하도록 구성된다. 일부 실시예에 있어서, 표현은 표현된 제품의 이미지를 포함한다. 그러한 일부 실시예에 있어서, 표현은, 표현된 제품에 대한 영양 정보, 포장 정보 또는 다른 정보와 같은, 정보를 포함한다.
달리 정의되지 않는 한, 여기에서 사용되는 모든 기술적 및 과학적 용어는 본 발명이 속하는 분야의 당업자에 의해 보통 이해되는 것과 동일한 의미를 갖는다. 상충의 경우에는, 정의를 포함하는 본 명세서가 우선할 것이다.
여기에서 사용될 때, 용어 "포함하고 있는", "포함하는", "갖는" 및 그 문법적 변화형은 서술된 특징, 정수, 단계, 또는 컴포넌트를 특정하는 것으로 받아들여지게 되지만, 하나 이상의 부가적 특징, 정수, 단계, 컴포넌트 또는 그 그룹의 부가를 막지는 않는다. 이들 용어는 용어 "으로 이루어지는" 및 "으로 본질적으로 이루어지는"을 망라한다.
여기에서 사용될 때, 단수형 부정 관사는 맥락이 명확히 달리 지시하지 않는 한 "적어도 하나" 또는 "하나 이상"을 의미한다.
여기에서 사용될 때, 용어 "약"이 수치 값에 선행할 때, 용어 "약"은 +/-10%를 나타내려는 의도이다.
본 발명의 방법 및/또는 디바이스의 실시예는 선택된 태스크를 수동으로, 자동으로 또는 그 조합으로 수행 또는 완료하는 것을 관여시킬 수 있다. 본 발명의 일부 실시예는 하드웨어, 소프트웨어, 펌웨어 또는 그 조합을 포함하는 컴포넌트의 사용으로 구현된다. 일부 실시예에 있어서, 일부 컴포넌트는 오실로스코프 또는 범용 컴퓨터와 같은 범용 컴포넌트이다. 일부 실시예에 있어서, 일부 컴포넌트는 회로, 집적 회로 또는 소프트웨어와 같은 전용 또는 커스텀 컴포넌트이다.
예를 들어, 일부 실시예에 있어서, 실시예의 일부는, 예를 들어, 범용 또는 커스텀 컴퓨터의 일부분인, 데이터 프로세서에 의해 실행되는 복수의 소프트웨어 명령어로서 구현된다. 일부 실시예에 있어서, 데이터 프로세서 또는 컴퓨터는 명령어 및/또는 데이터를 저장하기 위한 휘발성 메모리 및/또는 명령어 및/또는 데이터를 저장하기 위한 비-휘발성 저장소, 예를 들어, 자기 하드-디스크 및/또는 착탈식 매체를 포함한다. 일부 실시예에 있어서, 구현은 네트워크 접속을 포함한다. 일부 실시예에 있어서, 구현은, 일반적으로는 (예를 들어, 커맨드 및/또는 파라미터의 입력을 가능하게 하는) 입력 디바이스 및 (예를 들어, 결과 및 연산의 파라미터를 보고 가능하게 하는) 출력 디바이스 중 하나 이상을 포함하는, 사용자 인터페이스를 포함한다.
본 발명의 일부 실시예가 수반 도면을 참조하여 여기에서 설명된다. 설명은, 도면과 함께, 본 발명의 일부 실시예가 어떻게 실시될 수 있는지 당업자에게 분명하게 한다. 도면은 예시적 논의의 목적을 위한 것이고 본 발명의 기본적 이해에 필요한 것보다 더 상세히 실시예의 구조적 상세를 보여주려는 시도는 하지 않는다. 명확성을 위해, 도면에 묘사된 일부 대상은 축척대로는 아니다.
도면에 있어서:
도 1은, 여기에서의 교시의 방법을 구현하기에 적합한, 여기에서의 교시의 일 실시예에 따라 물건의 목록을 생성 및 업데이트하기 위한 디바이스의 일 실시예의 도식도;
도 2는, 여기에서의 교시의 일 실시예에 따라, 도 1의 디바이스와 같은, 리스팅 디바이스의 동작을 트리거링하기 위한 방법의 일 실시예의 순서도;
도 3a 및 도 3b는, 함께 취해질 때, 여기에서의 교시의 일 실시예에 따라 사용자 제스처에 기반하여 목록을 업데이트하기 위한 그리고 사용자-특정 정보를 학습하기 위한 방법의 일 실시예의 순서도;
도 4a 및 도 4b는, 여기에서의 교시의 실시예에 따라 사용자 제스처에 기반하여 목록에 대한 행동을 수행하기 위한 실시예의 도식적 회화 예시도;
도 5a 및 도 5b는, 함께 취해질 때, 여기에서의 교시의 일 실시예에 따라 물건-특징 데이터베이스를 업데이트하기 위한 방법의 일 실시예의 순서도;
도 6은 여기에서의 교시의 일 실시예에 따라 사용자에게 적합한 제품을 식별하도록 사용되는 디바이스의 일 실시예의 도식적 블록 선도;
도 7은 여기에서의 교시의 일 실시예에 따라 사용자에게 적합한 제품을 식별하기 위한 방법의 일 실시예의 순서도; 및
도 8은 여기에서의 교시의 일 실시예에 따라 사용자에게 적합한 제품의 식별을 위해 사용자 선호도를 학습하기 위한 방법의 일 실시예의 순서도.
본 발명은, 일부 실시예에서는, 소매 쇼핑 분야에 관한 것이고, 더 구체적으로는, 온라인 쇼핑 때에도 그리고 물리적 소매점에서의 쇼핑 때에도, 사용자의 쇼핑 체험을 개선하기 위한 방법 및 디바이스에 관한 것이다.
구체적으로, 본 발명의 일부 실시예는 쇼핑 또는 재고 목록을 생성 및/또는 유지하기 위한 스마트, 사용자 친화적 방법에 관한 것이다.
본 발명의 일부 실시예는 목록 및 데이터베이스 중 적어도 하나를 생성 및 업데이트하기 위한 방법에 관한 것으로서, 그 방법은:
이미지 캡처링 엘리먼트 부근의 물건의 적어도 하나의 이미지를 캡처링하도록 이미지 캡처링 엘리먼트를 트리거링하는 단계;
물건의 특징을 식별하도록 적어도 하나의 이미지를 분석하는 단계;
적어도 식별된 특징에 기반하여 물건을 고유하게 식별하는 단계;
적어도 하나의 사용자 제스처를 검출하도록 물건, 다른 물건 및 손 중 적어도 하나의 모션을 추적하는 단계;
제스처와 연관된 행동을 식별하도록 특정 사용자의 선호도 및 제스처와 관련된 사용자-특정 정보에 적어도 기반하여 검출된 적어도 하나의 사용자 제스처를 해석하는 단계로서, 행동은 물건 목록에 대한 업데이트 및 물건 목록과 연관된 디스플레이에서의 변화 중 적어도 하나와 관련된 해석하는 단계; 및
해석에 기반하여, 행동을 수행하는 단계를 포함하되,
사용자-특정 정보는 시간이 흐르면서 학습된다.
본 발명의 일부 실시예는 목록 또는 데이터베이스를 생성 및 업데이트하기 위한 디바이스에 관한 것으로서, 그 디바이스는:
시간이 흐르면서 특정 사용자의 선호도 및 제스처와 관련된 사용자-특정 정보를 학습하도록 그리고 학습된 사용자-특정 정보를 저장하도록 구성된 정보 학습기;
트리거링 이벤트를 식별하도록 구성된 트리거링 모듈;
트리거링 모듈과 기능적으로 연관되고, 트리거링 이벤트의 식별 다음에, 이미지 캡처링 엘리먼트 부근의 물건의 적어도 하나의 이미지를 캡처링하기 위해 트리거링 모듈에 의해 트리거링되도록 구성된 이미지 캡처링 엘리먼트; 및
이미지 캡처링 엘리먼트와 기능적으로 연관되고, 이미지 캡처링 엘리먼트에 의해 캡처링된 적어도 하나의 이미지를 분석하도록, 물건의 특징을 식별하도록, 그리고 적어도 식별된 특징에 기반하여 물건을 고유하게 식별하도록 구성된 물건 식별기;
적어도 하나의 사용자 제스처를 검출하기 위해 물건, 다른 물건 및 손 중 적어도 하나의 모션을 추적하도록 구성된 모션 식별기;
모션 식별기와 그리고 정보 학습기와 기능적으로 연관되고, 제스처와 연관된 행동을 식별하기 위해 사용자-특정 정보에 적어도 기반하여 검출된 적어도 하나의 사용자 제스처를 해석하도록 구성된 제스처 해석기로서, 그 행동은 물건 목록에 대한 업데이트 및 물건 목록과 연관된 디스플레이에서의 변화 중 적어도 하나와 관련된 제스처 해석기; 및
제스처 해석기와 기능적으로 연관되고, 제스처 해석기의 해석에 기반하여, 제스처와 연관된 행동을 수행하도록 구성된 행동 모듈을 포함한다.
여기에서의 교시의 원리, 사용 및 구현은 수반 설명 및 도면을 참조하여 더 잘 이해될 수 있다. 여기에 있는 설명 및 도면의 정독 시, 당업자는 과도한 노력 또는 실험 없이 본 발명을 구현할 수 있다.
본 발명의 적어도 하나의 실시예를 상세하게 설명하기 전에, 본 발명은 이하의 설명에서 제시되거나 도면 및/또는 예에서 예시되는 방법 및/또는 컴포넌트의 배열 및 구성의 상세로 그 적용이 한정되는 것은 아님을 이해하여야 한다. 본 발명은 다른 실시예로 구현될 수 있고 다양한 방법으로 실시 또는 수행될 수 있다. 또한, 여기에서 채용되는 어구 및 술어는 설명의 목적을 위한 것이고 한정으로 간주되어서는 안 되는 것으로 이해된다.
여기에서의 교시의 방법을 구현하기에 적합한, 여기에서의 교시의 일 실시예에 따라 물건의 목록을 생성 및 업데이트하기 위한 디바이스(100)의 일 실시예의 도식도인 도 1을 이제 참조한다.
본 출원의 맥락에서 그리고 구체적으로는 도 1 내지 도 5b의 맥락에서, 물건은 어느 물리적 물건이라도 될 수 있고, 특히 사용자가 들고 있을 수 있는 것이다. 예를 들어, 물건은 식료 제품, 서적, CD 및 완구와 같은 소매 제품, 의약품과 같은 건강 제품, 화장 제품, 및 미용 제품, 또는 쿠폰 또는 제품의 이미지와 같은 어느 시판가능한 대상이라도 포함할 수 있다.
일부 실시예에 있어서, 물건의 목록을 생성 및 업데이트하기 위한 디바이스(100)는 여기에서의 교시를 구현하도록 맞춤-제작된다. 일부 실시예에 있어서, 디바이스는 적합하게 수정된 기지의 디바이스, 예를 들어, 고정식, 이동식 또는 착용식 컴퓨팅 디바이스(셀 폰, PDA, 스마트폰, 모바일 컴퓨터, 태블릿 컴퓨터, 데스크톱 컴퓨터, 증강 현실 안경, 스마트 시계)이며, 전형적으로는 (하드웨어는 수정되지 않고) 소프트웨어만 수정될 뿐이어서 기존 유비쿼터스 하드웨어 기반구조의 사용으로 여기에서의 교시의 단순하고 유익한 구현을 가능하게 한다.
전형적으로, 디바이스(100)가 고정식 디바이스이면, 그것은 물건의 목록을 유지하기 편리한 위치에 배치된다. 예를 들어, 생성 및 유지된 물건의 목록이 식료 목록인 일부 실시예에 있어서, 디바이스(100)는, 조리대 상에와 같이, 주방 또는 저장실에 배치되거나 냉장고 문과 같은 문 상에 장착될 수 있다. 다른 일례로서, 물건의 목록이 소매점에 대한 재고 목록인 실시예에 있어서, 디바이스(100)는 그 점포의 창고에 배치될 수 있다.
도 1에 보이는 바와 같이, 디바이스(100)는 본체 부분(102) 및 디바이스(100)의 사용자에게 정보를 디스플레이하도록 구성된 디스플레이(104)를 포함하는 전자 디바이스를 포함한다. 전형적으로, 디스플레이(104)는, 일부 실시예에서는, 디스플레이(104)의 둘레를 따라 다수의 지점에 배치되는 백라이트 조명 소스(105)에 의해 조명된다. 여기 아래에 더 상세히 설명되는 바와 같이, 일부 실시예에 있어서 백라이트 조명 소스(105)는 디바이스(100) 부근의 물건을 조명하도록 구성될 수 있다. 그러한 일부 실시예에 있어서, 조명은, 여기 아래에 설명되는 바와 같이, 백라이트 조명 소스(105)의 각각이 별개로 동작하여, 서로 다른 각도로부터 물건을 조명하게 되도록 제어된다. 일부 실시예에서는 백라이트 조명 소스(105)가 단색 조명을 제공하도록 구성된다.
디바이스(100) 부근의 이미지를 캡처링하도록 구성된 이미지 캡처링 엘리먼트(106)는 본체 부분(102) 상에, 전형적으로는 그 전방 대면 부분 상에 배치된다. 일부 실시예에 있어서, 부가적 이미지 캡처링 엘리먼트(108)는 또한, 이미지 캡처링 엘리먼트(106, 108)가 3차원으로 디바이스(100) 부근을 표현하는 입체적 이미지를 캡처링할 수 있게 되도록, 본체 부분(102) 상에 배치된다. 이미지 캡처링 엘리먼트(106) 및/또는 이미지 캡처링 엘리먼트(108)는 스틸 카메라, 3차원 카메라, 비디오 카메라를 포함하는 어느 적합한 이미지 캡처링 엘리먼트라도 될 수 있다.
일부 실시예에서는, 적어도 하나의 외부 조명 소스(110)가 본체 부분(102) 상에, 전형적으로는 그 전방 대면 부분 상에 배치된다. 조명 소스(110)는 디바이스(100) 부근을 조명하기 위해 집속된 조명을 제공하도록 구성되는 어느 적합한 조명 소스라도 될 수 있다. 일부 실시예에 있어서, 조명 소스(110)는 LED, 레이저 소스 또는 구조형 광 소스 중 적어도 하나를 포함한다. 일부 실시예에 있어서, 조명 소스(110)는 가시선 파장, 적외선 파장 및 자외선 파장 중 적어도 하나로 발광한다. 일부 실시예에 있어서, 조명 소스(110)는 기지의 조명 패턴을 물건 상에 투영하도록 적응된다.
일부 실시예에서는, 본체 부분(102) 상에, 전형적으로는 그 전방 대면 부분 상에 적어도 하나의 센서(112)도 배치된다. 센서(112)는 어느 적합한 유형의 센서라도 포함할 수 있다.
일부 실시예에 있어서, 센서(112)는 디바이스(100) 부근에서의 소리를 캡처링하도록 구성된 마이크로폰을 포함한다. 일부 실시예에 있어서, 마이크로폰은, 여기 아래에 설명되는 바와 같이, 예를 들어 마이크로폰에 대한 소프트웨어 드라이버일 수 있는 그리고 음성 인식하도록 구성될 수 있는 소리-신호 프로세서(도시되지 않음)와 연관된다.
일부 실시예에 있어서, 센서(112)는 디바이스(100) 부근에서의 RFID 태그의 존재를 식별하도록 구성된 RFID 판독기를 포함한다. 일부 실시예에 있어서, 센서(112)는 디바이스(100) 부근에서의 바코드의 존재를 식별하도록 구성된 바코드 판독기를 포함한다. 일부 실시예에 있어서, 센서(112)는 디바이스(100) 부근에서의 QR 코드의 존재를 식별하도록 구성된 QR 코드 판독기를 포함한다.
일부 실시예에 있어서, 센서(112)는 디바이스(100)의 미리 결정된 거리 또는 그 둘레 반경 내 물건의 존재를 식별하도록 구성된 근접 센서를 포함한다.
일부 실시예에 있어서, 센서(112)는 디바이스(100) 부근에서의 물건의 또는 사용자의 모션을 식별하도록 구성된 모션 센서를 포함한다.
프로세서(114)는 이미지 캡처링 엘리먼트(106, 108)와, 조명 소스(105, 110)와, 그리고 하나 이상의 센서(112)와 기능적으로 연관된다. 일부 실시예에 있어서, 프로세서(114)는, 사용자 정보 데이터베이스(도시되지 않음)와 기능적으로 연관되고 사용자-특정 정보를 학습하도록 구성된, 정보 학습기(116)를 포함한다. 프로세서(114)는 정보 학습기(116)와는 물론 이미지 캡처링 엘리먼트(106, 108)와도 그리고 센서(112)와도 기능적으로 연관된 트리거링 모듈(118)을 더 포함한다.
프로세서(114)의 일부분을 형성하는 물건 식별기(120)는 물건 특징 데이터베이스(도시되지 않음)와, 이미지 캡처링 엘리먼트(106, 108)와, 그리고 일부 실시예에서는 트리거링 모듈(118)과 기능적으로 연관되고, 이미지 캡처링 엘리먼트(106, 108)에 의해 캡처링된 이미지를 분석하도록 그리고 이미지 내 물건을 식별하도록 구성된다.
프로세서(114)는, 식별된 물건의 모션을 추적하도록 구성되는, 물건 식별기(120)와 그리고 이미지 캡처링 엘리먼트(106, 108)와 기능적으로 연관된 모션 식별기(122)를 더 포함한다.
프로세서(114)의 일부분을 형성하고 식별된 물건의 모션을 야기하는 사용자 제스처를 해석하도록 그리고 제스처와 연관된 행동을 식별하도록 구성된 제스처 해석기(124)는 모션 식별기(122)와 그리고 정보 학습기(116)와 기능적으로 연관된다. 제스처 해석기(124)는 제스처 해석기(124)에 의해 식별된 행동을 수행하도록 그리고 디스플레이(104) 상의 적합한 변화에 영향을 미치도록 구성되는 행동 모듈(126)과 기능적으로 연관된다.
이제, 여기에서의 교시의 일 실시예에 따라, 도 1의 디바이스(100)와 같은, 리스팅 디바이스의 동작을 트리거링하기 위한 방법의 일 실시예의 순서도인 도 2를 부가적으로 참조한다.
일부 실시예에 있어서, 사용을 위해, 디바이스(100)는 목록의 생성 또는 조작을 위한 그 동작이 트리거링될 때까지 슬리핑 모드에 있다. 슬리핑 모드에 있는 동안, 디바이스(100)는 이미지를 디스플레이하도록 애플리케이션을 작동시키는 등 어느 적합한 형태의 소프트웨어라도 동작시키도록 사용될 수 있다. 다른 실시예에 있어서, 사용을 위해, 디바이스(100)는 활성이지만 디스플레이(104), 백라이트 조명 소스(105), 이미지 캡처링 엘리먼트(106, 108), 조명 소스(110) 및 프로세서 모듈(120 내지 126)과 같은 그 컴포넌트 엘리먼트 중 적어도 하나는 디바이스의 동작이 트리거링될 때까지 슬리핑 모드에 있다. 일부 실시예에 있어서, 디바이스(100)와 연관된 데이터베이스는 디바이스의 트리거링 다음에 업로드될 뿐이다.
프로세서(114)의 트리거링 모듈(118)은 디바이스(100) 부근에서의 물건의 존재 또는 트리거링 이벤트를 식별하도록 센서(112)와 그리고/또는 이미지 캡처링 엘리먼트(106 및/또는 108)와 통신한다. 여기 아래에 설명되는 바와 같이, 트리거링은 다수의 방식으로 수행될 수 있다.
일부 실시예에 있어서, 도 2의 단계(202)에서 보이는 바와 같이, 하나 이상의 센서(112)는 디바이스(100) 부근으로부터 입력을 수집하고, 그 입력을 트리거링 모듈(118)에 제공한다. 트리거링 모듈(118)은 도 2의 단계(204)에서 트리거링 이벤트를 검출하도록 센서(112)에 의해 제공된 입력을 분석한다.
단계(206)에서 트리거링 이벤트가 검출되고 나면, 트리거링 모듈(118)은 단계(208)에서 이미지 캡처링 엘리먼트(106, 108) 중 적어도 하나를 활성화하고, 활성화된 이미지 캡처링 엘리먼트는 도 2의 단계(210)에서 디바이스(100) 부근의 적어도 하나의 이미지를 캡처링한다.
일부 실시예에 있어서, 이미지 캡처링 엘리먼트(106 및/또는 108)를 활성화할 때, 트리거링 모듈은 또한, 여기 아래에 설명되는 바와 같이 이미지 캡처링 및 프로세싱을 가능하게 하도록, 슬립 모드 동안 디바이스(100) 상에서 작동하고 있었던 소프트웨어 프로그램 또는 애플리케이션을 인터럽트한다.
트리거링 이벤트는, 디바이스(100)의 목록이 물건에 관하여 따라 행동되어야 하게 되도록, 디바이스(100) 부근에서의 물건의 존재를 나타낼 어느 적합한 트리거링 이벤트라도 될 수 있다.
일부 실시예에 있어서, 트리거링 모듈(118)은, 근접 센서(112)에 의해 수집된 입력에서 식별되는 바와 같이, 디바이스(100)의 미리 결정된 근접 거리 내, 또는 그 둘레 미리 결정된 반경 내 물건 또는 사용자의 존재를 검출함으로써 트리거링 이벤트를 검출한다. 일부 실시예에 있어서, 트리거링 이벤트는 사용자 또는 물건이 미리 결정된 최소한의 시간 지속기간 동안 미리 결정된 근접 거리 또는 반경 내에 있는 경우에만 검출된다. 일부 실시예에 있어서, 미리 결정된 근접 거리, 미리 결정된 반경, 및 미리 결정된 최소한의 시간 지속기간은 각각의 사용자에 특정적이고 일부 실시예에서는 사용자 정보 데이터베이스로부터 정보 학습기(116)에 의해 트리거링 모듈(118)에 제공된다.
일부 실시예에 있어서, 트리거링 모듈(118)은, 바코드 판독기(112)에 의해 수집된 입력에서 식별되는 바와 같이, 디바이스(100) 부근에서의 바코드의 존재를 검출함으로써 트리거링 이벤트를 검출한다. 일부 실시예에 있어서, 트리거링 이벤트는 바코드가 미리 결정된 최소한의 시간 지속기간 동안 디바이스(100) 부근에 있는 경우에만 검출된다. 일부 실시예에 있어서, 미리 결정된 최소한의 시간 지속기간은 각각의 사용자에 특정적이고 일부 실시예에서는 사용자 정보 데이터베이스로부터 정보 학습기(116)에 의해 트리거링 모듈(118)에 제공된다.
일부 실시예에 있어서, 트리거링 모듈(118)은, QR 코드 판독기(112)에 의해 수집된 입력에서 식별되는 바와 같이, 디바이스(100) 부근에서의 QR 코드의 존재를 검출함으로써 트리거링 이벤트를 검출한다. 일부 실시예에 있어서, 트리거링 이벤트는 QR 코드가 미리 결정된 최소한의 시간 지속기간 동안 디바이스(100) 부근에 있는 경우에만 검출된다. 일부 실시예에 있어서, 미리 결정된 최소한의 시간 지속기간은 각각의 사용자에 특정적이고 일부 실시예에서는 사용자 정보 데이터베이스로부터 정보 학습기(116)에 의해 트리거링 모듈(118)에 제공된다.
일부 실시예에 있어서, 트리거링 모듈(118)은, RFID 센서(112)에 의해 수집된 입력에서 식별되는 바와 같이, 디바이스(100) 부근에서의 RFID 태그의 존재를 검출함으로써 트리거링 이벤트를 검출한다. 일부 실시예에 있어서, 트리거링 이벤트는 RFID 태그가 미리 결정된 최소한의 시간 지속기간 동안 디바이스(100) 부근에 있는 경우에만 검출된다. 일부 실시예에 있어서, 미리 결정된 최소한의 시간 지속기간은 각각의 사용자에 특정적이고 일부 실시예에서는 사용자 정보 데이터베이스로부터 정보 학습기(116)에 의해 트리거링 모듈(118)에 제공된다.
일부 실시예에 있어서, 트리거링 모듈(118)은, 모션 센서(112)에 의해 수집된 입력에서 식별되는 바와 같이, 디바이스(100) 부근에서의 모션을 검출함으로써 트리거링 이벤트를 검출한다. 일부 실시예에 있어서, 트리거링 모듈(118)은 디바이스(100) 부근에서의 특정 모션 패턴을 검출함으로써 트리거링 이벤트를 검출한다. 일부 실시예에 있어서, 특정 모션 패턴은 사용자-특정적이고 일부 실시예에서는 사용자 정보 데이터베이스로부터 정보 학습기(116)에 의해 트리거링 모듈(118)에 제공된다.
일부 실시예에 있어서, 트리거링 모듈(118)은, 마이크로폰 또는 다른 음성 센서(112)에 의해 수집된 입력에서 식별되는 바와 같이, 디바이스(100) 부근에서의 음성 트리거링 커맨드를 검출함으로써 트리거링 이벤트를 검출한다. 커맨드는 어느 적합한 커맨드라도 될 수 있고 전형적으로는 하나 이상의 특정 단어 또는 구절을 포함한다. 일부 실시예에 있어서, 트리거링 모듈(118)은 커맨드의 사용자-특정 발음 또는 어법을 식별하기 위해 정보 학습기(116)와 통신하도록 구성된다.
일부 실시예에 있어서, 트리거링 모듈(118)은 디바이스(100) 부근의 물건을 검출하도록 그리고 이후에 이미지 캡처링 엘리먼트(106, 108)를 트리거링하도록 구성된다.
일부 실시예에 있어서, 도 2의 단계(212)에 보이는 바와 같이, 이미지 캡처링 엘리먼트(106, 108) 중 하나 또는 양자는 트리거 이미징 레이트로 디바이스(100) 부근의 트리거링 이미지를 캡처링한다. 트리거 이미징 레이트는 어느 적합한 이미징 레이트라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 트리거 이미징 레이트는, 제품이 디바이스(100) 부근에 있지 않은 동안 에너지를 아끼도록, 초당 10개 이미지를 초과하지 않거나, 초당 5개 이미지를 초과하지 않거나, 초당 2개 이미지를 초과하지 않거나, 초당 1개 이미지를 초과하지 않는다.
단계(214)에서 트리거링 모듈(118)은 이미지 캡처링 엘리먼트(106 및/또는 108)에 의해 캡처링된 트리거링 이미지를 분석한다. 일부 실시예에 있어서, 분석은 단계(206)에서 트리거링 이벤트의 검출을 초래하고, 일부 실시예에 있어서, 분석은 도 2의 단계(216)에서 보이는 바와 같이 물건의 존재의 검출을 초래한다.
일부 실시예에 있어서, 에너지 및 다른 자원을 아끼기 위하여, 이미지 캡처링 엘리먼트(106 및/또는 108)는, 저해상도를 갖는 이미지, 초점을 벗어난 이미지, 또는 흑백 이미지와 같이, 불량 품질 이미지를 트리거링 이미지로서 캡처링한다. 그러한 실시예에 있어서, 트리거링 이미지 내 물건의 검출 다음에, 트리거링 모듈(118)은 단계(218)에서 고품질 이미지를 캡처링하도록 이미지 캡처링 엘리먼트(106, 108) 중 적어도 하나를 활성화하고, 활성화된 이미지 캡처링 엘리먼트는 단계(210)에서 디바이스(100) 부근의 적어도 하나의 고품질 이미지를 캡처링한다.
단계(210)에서 고품질 이미지의 캡처링 다음에, 또는 트리거링 이미지가 고품질 이미지인 실시예에서는 단계(216)에서 트리거링 이미지 내 물건의 검출 다음에, 캡처링된 이미지는 단계(220)에서 이미지 내 존재하는 물건을 고유하게 식별하도록 물건 식별기(120)에 의해 프로세싱된다. 여기에서의 교시의 맥락에서 고품질 이미지는, 여기 아래에서 설명되는 바와 같이, 자동 수단을 사용하여 물건이 명확하고 고유하게 식별될 수 있는 이미지이고, 반드시 컬러 이미지 또는 특정 해상도를 갖는 이미지일 필요는 없다고 인식된다.
일부 실시예에 있어서, 트리거링 모듈(118)은 (단계(216)에서) 트리거링 이미지 내 물건을 거기 물건의 경계를 식별함으로써 검출하도록 구성된다. 일부 실시예에 있어서, 트리거링 모듈(118)은 또한 경계를 식별하기 이전에 트리거링 이미지로부터 배경 정보를 소거하도록 구성된다.
일부 실시예에 있어서, 트리거링 모듈(118)은 (단계(216)에서) 트리거링 이미지 내 물건의 적어도 하나의 시각적 특징을 검출하도록 구성된다. 시각적 특징은 어느 적합한 시각적 특징이라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 시각적 특징은 물건 상의 글씨의 존재, 물건 상의 그래픽의 존재, 물건의 채색, 물건 상의 워터마크의 존재, 및 물건의 3차원 구조 중 적어도 하나를 포함한다.
일부 실시예에 있어서, 트리거링 모듈(118)은 디바이스(100) 부근에서의 물건의 모션을 식별하도록 트리거링 이미지 중 적어도 2개를 비교함으로써 (단계(206)에서) 트리거링 이벤트를 검출하도록 구성된다. 일부 실시예에 있어서, 트리거링 모듈(118)은 디바이스(100) 부근에서의 특정 모션 패턴을 검출함으로써 트리거링 이벤트를 검출한다. 일부 실시예에 있어서, 특정 모션 패턴은 사용자-특정적이고 일부 실시예에서는 사용자 정보 데이터베이스로부터 정보 학습기(116)에 의해 트리거링 모듈(118)에 제공된다.
일부 실시예에 있어서, 트리거링 모듈(118)은, 예를 들어 사용자가 하나의 물건을 내려 놓고 다른 하나를 집어 올린다는 사실에 기인하여, 디바이스(100) 부근에서의 물건 변경을 식별하도록 트리거링 이미지 중 적어도 2개를 비교함으로써 (단계(206)에서) 트리거링 이벤트를 검출하도록 구성된다.
일부 실시예에 있어서, 단계(210)에서 그리고/또는 단계(212)에서 이미지 캡처링 동안, 조명 소스(110)는 디바이스(100) 부근을 조명한다.
일부 실시예에 있어서, 단계(210)에서 그리고/또는 단계(212)에서 이미지 캡처링 동안, 디바이스(100) 부근은 디스플레이 백라이트(105)에 의해 조명된다. 일부 실시예에 있어서, 디스플레이 백라이트(105)는 물건을 서로 다른 각도로부터 조명하여, 그로써 이미지 캡처링 엘리먼트(106, 108)에 의해 캡처링된 서로 다른 이미지에서 서로 다른 음영 패턴을 발생시키도록 제어된 방식으로 물건을 포함하는 디바이스(100) 부근을 조명하도록 구성된다.
일부 실시예에 있어서, 조명 소스(110) 및/또는 디스플레이 백라이트(105)는 이미지 캡처링 동안 단색 조명을 제공한다. 그러한 일부 실시예에 있어서, 단색 조명은 패터닝된 단색 조명이다. 예를 들어, 물건은 처음에는 청색광으로 조명되고, 다음에는 녹색광으로 조명되고, 마지막으로는 적색광으로 조명될 수 있다. 일부 실시예에 있어서, 조명 소스(110) 및/또는 디스플레이 백라이트(105)는 이미지 캡처링 동안 가시선 파장 범위, 적외선 파장 범위 및 자외선 파장 범위 중 적어도 하나로 조명을 제공한다. 일부 실시예에 있어서, 조명 소스(110)는 구조형 광이라고도 하는 기지의 조명 패턴을 물건 상에 투영하고, 그로써 물건의 3차원 구조의 식별을 가능하게 한다.
위에서 언급된 바와 같이, 도 2의 단계(220)에서, 물건 식별기(120)는 이미지 캡처링 엘리먼트(106 및/또는 108)에 의해 캡처링된 이미지 또는 이미지들에 존재하는 물건을 고유하게 식별한다.
일부 실시예에 있어서, 물건 식별기(120)는 캡처링된 이미지에서 물건의 시각적 특징을 식별한다. 일부 실시예에 있어서, 물건 식별기(120)는 물건의 복수의 이미지를 가상으로 조합하고 가상으로 조합된 이미지에서 시각적 특징을 식별한다. 예를 들어, 물건의 3차원 구조는 이미지 캡처링 엘리먼트(106, 108)에 의해 캡처링된 입체적 이미지에서 식별될 수 있다.
일부 실시예에 있어서, 물건 식별기(120)는, 물건 상에 인쇄된 이미지, 물건의 채색, 물건 상에 인쇄된 문자 또는 글자, 물건 상의 워터마크, 및 물건 상에 존재하는 어느 다른 그래픽 형태 중 하나 이상을, 육안으로 보이는 것도 그리고 보이지 않는 것도, 식별한다.
일부 실시예에 있어서, 물건 식별기(120)는 캡처링된 이미지에서 고유 물건 특성을 식별한다. 그러한 일부 실시예에 있어서, 물건 식별기(120)는 물건의 바코드 및 고유 QR 코드 중 적어도 하나를 식별한다.
일부 실시예에 있어서, 물건 식별기(120)는, 예를 들어, 물건의 입체적 이미지를 조합함으로써, 캡처링된 이미지에서 물건의 3차원 구조를 식별한다. 그러한 일부 실시예에 있어서, 물건 식별기(120)는, 물건의 3차원 구조를 식별하도록, 예를 들어 이미지 캡처링 동안 서로 다른 각도로부터 물건의 조명에 의해 야기된, 이미지 내 음영 패턴을 사용한다.
물건 식별기(120)가 물건의 적합한 수의 특성 및 특징을 식별하고 나면, 그것은 물건-특징 데이터베이스(도시되지 않음)에 액세스하고 식별된 특성 및 특징 중 적어도 일부 및 전형적으로는 전부에 기반하여 물건의 신원을 데이터베이스에서 찾아낸다.
일부 실시예에 있어서, 예를 들어, 물건의 식별된 특성 및 특징이 물건을 고유하게 식별하기에 충분하지 않으면, 물건 식별기(120)는 물건을 고유하게 식별하기 위해 부가적 정보 소스를 사용한다.
일부 실시예에 있어서, 물건 식별기(120)는 정보 학습기(116)에 의해 학습된 사용자-특정 정보를 사용한다. 예를 들어, 사용자-특정 정보는 사용자가 무거운 물건을 특정 각도로 든다고 나타낼 수 있다. 사용자가 물건을 들고 있는 각도의 식별시, 물건 식별기(120)는 물건의 가능한 식별을 무거운 물건으로 좁히는 것이 가능할 수 있다.
일부 실시예에 있어서, 각각의 사용자는 적어도 하나의 사용자-세그먼트와 연관되며, 그 사용자-세그먼트는 전형적으로는 정보 학습기(116)에 의해 시간이 흐르면서 학습된다. 예를 들어, 식료를 포함하는 물건의 맥락에서, 사용자는 채식주의자 세그먼트, 코셔를 먹는 사용자 세그먼트, 또는 글루텐을 삼가는 사용자 세그먼트와 연관될 수 있다. 일부 실시예에 있어서, 물건 식별기(120)는 물건을 더 양호하게 식별하기 위해 특정 사용자의 사용자-세그먼트와 관련된 정보를 사용한다. 예를 들어, 사용자가 글루텐을 삼가는 사용자 세그먼트와 연관되어 있으면, 물건 식별기는 물건의 가능한 식별을 글루텐을 포함하고 있지 않은 물건으로 좁히는 것이 가능할 수 있다.
일부 실시예에 있어서, 디바이스(100)는 또한 사용자로부터 입력을 수신하도록, 마우스, 키보드, 터치스크린 및 조이스틱과 같은, 입력 엔트리 엘리먼트(도시되지 않음)를 포함한다. 그러한 일부 실시예에 있어서, 물건 식별기(120)는 물건을 고유하고 정확하게 식별하도록 사용자에 의해 제공된 정보를 사용한다. 예를 들어, 위에서 설명된 모든 방법을 사용하여 물건 식별기(120)가 가능한 물건을 수개의 물건으로까지 좁혔으면, 물건이 디스플레이(104) 상에서 사용자에게 제시될 수 있고 그 후 사용자는 제시된 물건 중 어느 것을 그가 들고 있는지 선택하도록 입력 엔트리 엘리먼트를 사용할 수 있다. 그러한 일부 실시예에 있어서, 정보 학습기(116)는, 물건을 사용자의 물건 이력에 추가하는 것과 같이, 사용자-특정 정보에 포함될 사용자의 부가적 특성을 사용자에 의해 제공된 입력으로부터 학습한다.
일부 실시예에 있어서, 사용자 입력에 또는 사용자-특정 정보에 기반하는 물건의 고유한 식별 다음에, 물건 식별기(120)는 물건-특징 데이터베이스 내 물건에 대한 엔트리를 업데이트한다. 예를 들어, 물건 식별기(120)가 제품 포장 변경 때문에 식료 제품을 고유하게 식별하기 위해 사용자 입력을 필요로 하였으면, 물건 식별기(120)는 새로운 포장의 특징으로 그리고/또는 새로운 포장의 이미지로 데이터베이스를 업데이트할 수 있다.
이제, 함께 취해질 때, 여기에서의 교시의 일 실시예에 따라 사용자 제스처에 기반하여 목록을 업데이트하기 위한 그리고 사용자-특정 정보를 학습하기 위한 방법의 일 실시예의 순서도인 도 3a 및 도 3b를 참조한다.
도 3a의 단계(300)에서 보이는 바와 같이, 그리고 도 2의 단계(220)를 참조하여 여기 위에서 설명된 바와 같이, 물건 식별기(120)는 디바이스(100) 부근의 물건을 식별한다. 다음으로, 모션 식별기(122)는 모션을 야기하는 제스처를 검출하도록 단계(302)에서 식별된 물건의 모션의 궤적을 추적한다. 일부 실시예에 있어서, 모션 식별기(122)는 물건-특징 데이터베이스와 기능적으로 연관되어 있고, 물건-특징 데이터베이스로부터 물건의 3차원 구조를 추출하도록 물건 식별기(120)에 의해 제공된 물건의 고유 식별을 사용할 수 있다. 그 후 3차원 구조는 물건의 모션의 궤적을 검출하기 위해 이미지 캡처링 엘리먼트(106 및/또는 108)에 의해 캡처링된 적어도 2개의 이미지에서 물건을 추적하도록 모션 식별기(122)에 의해 사용될 수 있다.
도 4a 및 도 4b를 참조하여 여기 아래에 논의되는 바와 같이, 물건이 물건 식별기(120)에 의해 식별되고 나면, 그것은 전형적으로는 사용자가 식별된 물건을 볼 수 있도록 디스플레이(104) 상에 렌더링된다. 일부 실시예에 있어서, 디스플레이는 식별된 물건의 이미지를 포함한다. 일부 실시예에 있어서, 디스플레이는 물건의 가상 3-차원 모델을 포함한다.
모션 식별기(122)는 검출된 모션 궤적을 제스처 해석기(124)에 제공하여 그것이, 도 4a 및 도 4b를 참조하여 여기 아래에 설명되는 바와 같이, 단계(304)에서, 모션과 연관된 행동을 식별하기 위해 검출된 모션과 연관된 사용자 제스처를 해석하려고 노력한다. 사용자 제스처의 해석은, 사용자-특정 제스처가 올바르게 해석될 수 있도록, 정보 학습기(116)에 의해 제공된 사용자-특정 정보에 적어도 기반한다. 예를 들어, 제스처가 물건을 옆으로 기울이는 것을 포함하면, 물건이 기울어져 있는 각도가 사용자-특정적일 수 있어서, 제스처 해석기(124)는 그 연관된 행동을 식별하도록 제스처를 해석할 때 사용자-특정 기울기 각도를 고려할 것이다.
일부 실시예에 있어서, 제스처 해석기(124)는 모션의 검출된 궤적에 대응하는 특정 행동과 연관된 사용자-특정 제스처를 식별하도록, 사용자-특정 정보는 물론, 물건-특징 데이터베이스에 기록된 바와 같은 중량, 크기 및 3차원 형상과 같은, 물건의 하나 이상의 형태-특징과 관련된 정보도 사용한다. 예를 들어, 소정 사용자에 대해, 동일한 제스처의 해석은 사용자가 무거운 물건을 들고 있는 경우 또는 사용자가 가벼운 물건을 들고 있는 경우 다를 수 있다. 그래서, 제스처 해석기(124)는 제스처와 연관된 행동을 해석할 때 물건의 중량을 고려한다.
단계(306)에서 제스처 해석기(124)가 특정 사용자에 대해 사용자 제스처와 연관된 행동을 식별하는데 성공하였으면, 단계(308)에서 행동 모듈(126)은 고유하게 식별된 물건에 관하여 식별된 행동을 수행한다.
사용자 제스처와 연관되고 행동 모듈(126)에 의해 수행되는 행동은 어느 적합한 행동이라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 행동은 목록과 관련되고 다음 중 적어도 하나를 포함한다:
물건의 특정 수의 발생을 목록에 추가하는 것;
물건의 특정 수의 발생을 목록으로부터 제거하는 것;
고유하게 식별된 물건에 대한 대용품으로서 사용될 수 있는 적어도 하나의 물건을 디스플레이하는 것;
식별된 물건과 관련된 정보를 디스플레이하는 것;
목록을 디스플레이하는 것;
목록에서 물건을 대용 물건으로 대체하는 것;
특정 물건을 찾도록 물건-특징 데이터베이스를 검색하는 것;
식별된 물건과 유사한 물건을 찾도록 물건-특징 데이터베이스를 검색하는 것;
제품 특징에 의해서와 같이 적합한 기준에 의해 목록을 필터링하는 것;
인기도, 관련성, 크기, 상점 내 위치 등과 같이 적합한 순서에 따라 목록을 분류하는 것;
제품의 부분집합, 예를 들어 사용자에 의해 이전에 구입되었던 제품만을 디스플레이하는 것; 및
도움 또는 지원을 요청하는 것.
일부 실시예에 있어서, 각각의 행동 유형은 다른 사용자 제스처와 연관된다. 일부 실시예에 있어서, 특정 사용자에 대해, 각각의 사용자 제스처는 단일 행동 유형과 연관된다.
일부 실시예에 있어서, 행동의 표현은, 도 4a 및 도 4b를 참조하여 여기 아래에 더 상세히 설명되는 바와 같이, 어떤 행동이 수행되었는지 사용자가 알고 있도록 디스플레이(104) 상에 제시된다.
일부 실시예에 있어서, 물건은, 50 비스킷 포장의 일부분을 형성하는 단일의, 개별 포장된, 비스킷과 같은, 다수-단위 물건 포장의 단일 단위를 포함한다. 그러한 실시예에 있어서, 물건 식별기(124)는 물건과 연관된 다수-단위 물건 포장, 또는 위 예에서는 50 비스킷 포장을 고유하게 식별하도록, 단일 단위 물건, 또는 위 예에서는 개별 포장된 비스킷의 고유 식별을 사용하도록 구성된다. 그러한 일부 실시예에 있어서, 행동 모듈(126)은, 식별된 물건이 단일 단위 물건이었더라도, 다수-단위 물건 포장에 관하여 제스처 해석기(124)에 의해 식별된 행동을 수행하도록 구성된다.
일부 실시예에 있어서, 특히 다수-단위 물건이 고유하게 식별되지 않는 실시예에 있어서, 물건 식별기(124)는 사용자의 물건 구입 이력 및/또는 사용자-특정 정보(예를 들어 정보 학습기(116)에 의해 학습됨)를 분석하고 사용자 및 단일 단위 물건에 관하여 가장 높은 신뢰도 점수를 갖는 복수의 다수-단위 물건 중 하나를 다수-단위 물건으로서 선택한다. 예를 들어, 단일 단위 물건이 25 단위 포장으로 또는 50 단위 포장으로 구입될 수 있으면, 물건 식별기(124)는 사용자의 구입 이력에 액세스하고 어느 유형의 다수-단위 포장을 사용자가 전형적으로 구매하는지 볼 수 있고, 사용자에 의해 더 빈번하게 구매된 포장 유형에 더 높은 신뢰도 점수를 부여할 수 있다.
일부 실시예에 있어서, 사용자는 제스처 커맨드를 제공하기보다는 음성 커맨드를 디바이스(100)에 제공할 수 있다. 예를 들어, 사용자는 물건을 들고 있고 "3개 추가"라고 말하여, 물건의 3개 발생이 목록에 추가되어야 함을 나타낼 수 있다. 그러한 실시예에 있어서, 음성 커맨드는 디바이스(100)의 소리 센서(112)에 의해 캡처링되고, 제공된 커맨드와 연관된 행동을 식별하도록 음성 해석기(도시되지 않음)에 의해 해석된다. 음성 해석기에 의해 식별된 행동은 그 후 제스처 기반 행동에 대해 여기 위에서 설명된 바와 같이 행동 모듈(126)에 의해 수행된다. 일부 실시예에 있어서, 음성 해석기에 의한 음성 커맨드의 해석은 사용자-특정적이고 정보 학습기(116)에 의해 제공된 사용자-특정 정보에 기반한다. 예를 들어, 음성 커맨드의 해석은 사용자의 억양 및 어법을 고려할 수 있다.
다른 일례로서, 사용자는 행동이 수행되어야 하는 물건을 들고 있지 않을 수 있지만, 음성 커맨드에 물건의 식별을 포함한다. 예를 들어, 사용자는 "전유 추가"라고 말하여, 전유가 목록에 추가되어야 함을 나타낼 수 있다. 그러한 실시예에 있어서, 음성 해석기는, 물건과 연관될 행동을 식별하는 것에 부가하여, 사용자에 의해 의도된 물건을 고유하게 식별하기 위해 도 7에 관하여 여기 아래에 설명되는 방법을 사용한다.
단계(306)에서, 제스처 해석기(124)가 기존 사용자 정보에 기반하여 사용자에 대해 식별된 모션과 연관된 행동을 식별하는데 성공하지 못하면, 단계(310)에서, 제스처 식별기(124)는 제스처의 식별에 또는 제스처와 연관될 행동의 식별에 도움을 주도록 부가적 입력을 수신한다. 일부 실시예에 있어서, 부가적 입력은 물건과 관련되고, 예를 들어, 물건으로부터의 바코드 판독, 광학 문자 판독기(OCR)에 의해 식별되는 바와 같이 물건 상에 나타나는 문자 등을 포함할 수 있다.
일부 실시예에 있어서, 부가적 입력은, 사용자가 식별되지 않는 제스처에 대응하는 음성 커맨드를 제공하는 것에 의해서, 또는 사용자가 수행될 소망 행동을 선택하도록 디스플레이(104)와 대화하는 것에 의해서와 같이, 사용자에 의해 제공될 수 있다. 일부 실시예에 있어서, 부가적 입력은 사용자가 속하는 세그먼트와 관련된 세그먼트-특정 입력일 수 있다. 예를 들어, 사용자가 노인 세그먼트에 속하면, 제스처는 세그먼트의 특성에 기반하여 더 양호하게 식별될 수 있다. 부가적 입력이 수신되고 나면, 제스처 해석기(124)는, 단계(312)에서, 이제는 잠재적 사용자 제스처라고 생각되는, 식별되지 않는 제스처를 특징짓는다. 일부 실시예에 있어서, 제스처 식별기(124)는 제스처를 수행할 때 모션의 궤적 또는 패턴, 제스처가 수행되는 각도, 제스처의 모션 속도, 제스처의 가속 패턴, 및/또는 제스처를 수행할 때 모션의 거리를 특징짓는다. 일부 실시예에 있어서, 제스처 해석기(124)는, 예를 들어 제스처의 일부분이 이미지 캡처링 디바이스(106)의 프레임 밖에서 수행되면, 제스처의 일부분만을 또한 해석하거나, 특징짓거나, 식별하도록 구성된다. 일부 실시예에 있어서, 제스처 해석기(124)는 제스처를 수행하는 동안 사용자를 또한 특징짓는다. 예를 들어, 제스처 해석기(124)는 사용자가 제스처를 수행하고 있는 동안 본체 일부분들 간 위치 및/또는 각도를 식별할 수 있다. 일부 실시예에 있어서, 제스처 식별기(124)는, 행동-관련된 제스처를 수행한 후에 손을 그 원래 위치로 복귀시키는 것과 같이, 전형적으로는 어느 종류의 행동도 내포하지 않는 제스처를 무시할 수 있다.
때로는 사용자가 어느 특정 제스처를 수행하려고 의도하지 않지만 사용자의 모션이 모션 식별기(122)에 의해 추적되고 제스처 해석기(124)에 의해 해석된다고 인식된다. 특징지어진 식별되지 않는 제스처가 디바이스(100)에 커맨드를 제공하려고 노력하는 의도적 제스처였는지 아니면 의도적이지 않은 제스처였는지 결정하기 위하여, 제스처 식별기(124)는 도 3b의 단계(314)에서 제스처가 반복된 제스처인지 알아보도록 체크한다.
일부 실시예에 있어서, 동일한 설정에서 디바이스(100)가 행동을 수행하도록 사용자가 계속 추구하도록, 단계(304)에서 제스처의 최초 검출 직후에 사용자가 제스처를 반복하면 제스처는 반복된 제스처라고 생각된다. 일부 실시예에 있어서, 제스처가 사용자에 의해 앞서 사용되었고 제스처 해석기(124)에 의해 그리고/또는 정보 학습기(116)에 의해 잠재적 제스처로서 저장되었으면 그것은 반복된 제스처라고 생각된다. 그러한 일부 실시예에 있어서, 제스처가 미리 결정된 횟수, 예를 들어 3회 또는 4회 반복된 경우에만 그것은 반복된 제스처라고 생각된다.
제스처가 반복된 제스처라고 생각되지 않으면, 단계(316)에서 정보 학습기(116)는 제스처 및/또는 제스처 특성을 사용자 정보 데이터베이스에 잠재적 제스처로서 저장한다. 잠재적 제스처는 다른 식별되지 않는 제스처가 반복된 제스처인지 결정하도록 장래에 사용될 수 있다.
다른 한편으로, 단계(314)에서 제스처가 반복된 제스처라고 생각되면, 단계(318)에서 제스처 해석기(124)는 제스처가 사용자 의존적인지 여부를 결정하도록 그 반복된 제스처를 분석한다. 제스처가 사용자 의존적인지 여부와 무관하게, 제스처 해석기(124)는 또한, 단계(320, 322)에서, 제스처가 포장 의존적인지 여부를 결정하도록 그 반복된 제스처를 분석한다.
단계(320) 및/또는 단계(322)는 단계(318)를 수행하기 전에 수행될 수 있다고 인식된다. 더욱, 단계(320) 및/또는 단계(322)는, 방법이 제스처가 사용자 의존적인지만을 식별하게 되도록, 필요 없게 될 수 있다고 인식된다. 유사하게, 단계(318)는, 방법이 제스처가 포장 의존적인지만을 식별하게 되도록, 필요 없게 될 수 있다고 인식된다.
제스처가 사용자 의존적이지 않고 포장 의존적이지 않다고 제스처 해석기(124)가 결정하면, 제스처 해석기(124)는 단계(324)에서 제스처를 일반적 제스처로서 저장한다. 일부 실시예에 있어서, 저장된 제스처는 제스처에 사용된 물건의 포장의 형상 및 구조 또는 사용자의 신원에 무관하게 사용자 제스처의 해석에 사용될 수 있다.
일부 실시예에서는, 다수의 사용자가 동일한 디바이스(100)를 사용한다, 예를 들어 다수의 가족 구성원이 가족의 주방에 위치한 디바이스(100)를 사용할 수 있다. 그러한 일부 실시예에 있어서, 디바이스(100)는, 디바이스를 사용하여, 특정 사용자 또는 가족 구성원을 고유하게 식별하기 위한 사용자 인식 모듈(도시되지 않음)을 포함한다. 사용자 인식 모듈은 음성 인식 모듈, 얼굴 인식 모듈, 지문 스캐너, 홍채 스캐너 등과 같이 어느 적합한 모듈이라도 될 수 있다. 디바이스(100)가 사용자 인식 모듈을 포함하지 않는 실시예에 있어서, 제스처 해석기(124) 및/또는 정보 학습기(116)는, 특정 디바이스의 적어도 하나의 사용자에 각각 특정한, 사용자 제스처의 레퍼토리를 학습 및 저장할 수 있다. 제스처가 사용자 의존적이지 않지만 포장 의존적이라고 제스처 해석기(124)가 결정하면, 제스처 해석기(124)는 단계(326)에서 제스처를 모든 사용자에 대해 포장 의존적 제스처로서 저장한다. 일부 실시예에 있어서, 저장된 제스처는 물건을 들고 제스처를 수행하는 사용자의 신원에 무관하게, 예를 들어 크기, 형상 및 중량의 관점에서, 유사한 유형의 포장을 갖는 물건에 대해 사용자 제스처의 해석에 사용될 수 있다.
제스처가 사용자 의존적이지만 포장 의존적이지 않다고 제스처 해석기(124)가 결정하면, 제스처 해석기(124)는 단계(328)에서 제스처를 모든 유형의 포장에 대해 사용자-특정 제스처로서 저장한다. 일부 실시예에 있어서, 정보 학습기(116)는 제스처를 사용자에 특정한 것으로서 사용자 정보 데이터베이스에 저장한다. 일부 실시예에 있어서, 저장된 제스처는, 제스처를 수행하도록 사용된 물건에 무관하게, 특정 사용자의 사용자 제스처의 해석에 사용될 수 있다.
제스처가 사용자 의존적이고 포장 의존적이라고 제스처 해석기(124)가 결정하면, 제스처 해석기(124)는 단계(330)에서 제스처를 사용자-특정 포장 의존적 제스처로서 저장한다. 일부 실시예에 있어서, 정보 학습기(116)는 제스처를 사용자에 그리고 포장 유형에 특정한 것으로서 사용자 정보 데이터베이스에 저장한다. 일부 실시예에 있어서, 저장된 제스처는, 예를 들어 크기, 형상 및 중량의 관점에서, 유사한 유형의 포장을 갖는 물건을 들고 있을 때 특정 사용자의 사용자 제스처의 해석에 사용될 수 있다.
이제, 여기에서의 교시의 실시예에 따라 사용자 제스처에 기반하여 목록에 대한 행동을 수행하기 위한 실시예의 도식적 회화 예시도인 도 4a 및 도 4b를 참조한다. 도시된 실시예에 있어서, 도 4a는 목록에 물건을 추가하는 행동을 표현하고, 도 4b는 대용 물건을 선택하는 행동을 표현한다.
도 4a 및 도 4b에 보이는 바와 같이, 도 1의 디바이스(100)와 유사한 디바이스(402)의 전방에 서 있는 사용자(도시되지 않음)의 손(400)이, 도시된 실시예에서는, 소다 병을 포함하는 물건(404)을 들고 있다. 소다 병으로서 물건(404)의 식별 다음에, 여기 위에서 설명된 바와 같이, 소다 병의 이미지 또는 모델(406)이, 도 1의 디스플레이(104)와 유사한, 디바이스(402)의 디스플레이(408)의 중심 상부에 프레임(407) 내에 제시된다. 전형적으로, 프레임(407)에 포함되어 있는 물건은 추가적 프로세싱 및 제스처 식별에 사용되는 선택된 물건이다. 일부 실시예에 있어서, 식별된 소다 병의 이미지 또는 모델(406)의 옆에는, 예를 들어 도 6 내지 도 8을 참조하여 여기 아래에 설명되는 바와 같이, 사용자가 들고 있는 물건(404)과 유사하다고 디바이스(402)에 의해 식별된 그리고/또는 물건(404)의 대용품으로서 사용될 수 있는 물건의 이미지 또는 모델(410)이 제시되어 있다.
전형적으로, 식별된 물건의 상세는, 참조 숫자(412)로 보이는 바와 같이, 디스플레이(408)의 하부에 제공된다. 일부 실시예에서는, 특히 식료 목록, 쇼핑 목록 또는 재고 목록과 관련 있는 실시예에서는, 쇼핑 카트(414)가 디스플레이(408)의 하부에 제시된다. 일부 실시예에서는, 쇼핑 목록 또는 재고 목록과 같은, 물건의 현재 목록(416)도 디스플레이(408)의 하부에 디스플레이된다.
구체적으로 도 4a를 참조하면, 사용자는 목록(416)에 물건(404)을 추가하기를 바란다. 보이는 바와 같이, 사용자는, 화살표(418)에 의해 나타낸 바와 같이, 그의 손(400) 및 그 들고 있는 물건(404)을 우측으로 기울인다. 사용자의 기울이기 제스처는 도 3a 및 도 3b를 참조하여 여기 위에서 설명된 바와 같이 식별되고, 도시된 실시예에서는, 쇼핑 목록(416)에 물건(404)을 추가하는 것을 포함하는 특정 행동을 의미하도록 제스처 해석기에 의해 해석된다. 여기 위에서 설명된 바와 같이 디바이스(402)의 행동 모듈에 의해서와 같이 행동이 수행될 때, 디스플레이(408)는, 일부 실시예에서는, 화살표(420)에 의해 나타낸 바와 같이 물건의 이미지(406)를 쇼핑 카트(414)에 넣는 것, 및 동시에 또는 이후에 그 디스플레이되는 목록(416)을 업데이트하는 것의 애니메이션을 포함하는, 행동의 표현을 제시한다.
일부 실시예에서는, 그래픽 사용자 인터페이스(GUI)(422)도 디스플레이(408) 상에 제공된다. 일부 실시예에 있어서, 사용자는, 예를 들어 목록에 추가된 물건(404)의 단위 수를 증가시키기 위해 또는 목록에 추가된 물건(404)의 단위 수를 감소시키기 위해, GUI(422)와 대화할 수 있다. 도시된 실시예에 있어서, 디스플레이(408)는, 사용자가 GUI의 소망 엘리먼트를 터치함으로써 GUI(422)와 대화할 수 있게 되도록, 터치 스크린을 포함한다. 그렇지만, 사용자는, 마우스, 키보드, 조이스틱 등을 사용하는 것에 의해서와 같이, 어느 적합한 방식으로라도 GUI(422)와 대화할 수 있다.
도 4b를 보면, 사용자는, 예를 들어, 물건(404)이 디스플레이된 물건(406)으로서 틀리게 식별되었고 사용자가 실제로는 디스플레이된 물건(410) 중 하나를 들고 있기 때문에, 또는 사용자가 그의 요구 또는 소망에 더 적합하였을 대용 물건을 식별하기 때문에, 추가적 프로세싱을 위해 대용 디스플레이된 물건(410)을 선택하기를 소망한다. 보이는 바와 같이, 사용자는, 화살표(428)에 의해 나타낸 바와 같이, 그의 손(400) 및 그 들고 있는 물건(404)을 좌측으로 수평으로 이동시킨다. 좌측으로의 제스처는 도 3a 및 도 3b를 참조하여 여기 위에서 설명된 바와 같이 식별되고, 도시된 실시예에서는, 이제 물건(410) 중 하나가 프레임(407)에 의해 둘러싸여 추가적 행동의 수행을 위해 그리고/또는 추가적 프로세싱을 위해 선택되도록, 디스플레이된 물건(406, 410)을 화살표(430)에 의해 나타낸 바와 같이 좌측으로 이동시키는 것을 포함하는 특정 행동을 의미하도록 제스처 해석기에 의해 해석된다. 일부 실시예에 있어서, 새로운 물건이 프레임(407) 내에 있도록 선택되고 나면, 제시된 상세(412)는 새롭게 선택된 물건에 대응하도록 업데이트된다.
위에서 언급된 바와 같이, 일부 실시예에 있어서, 디스플레이(408)는 터치 스크린을 포함하여서, 사용자는 대안으로 디스플레이(408) 상의 물건의 이미지를 터치하여, 그로써 선택된 물건이 프레임(407) 내에 디스플레이될 때까지 그 디스플레이된 물건의 애니메이션 모션을 야기함으로써 특정 물건(410)을 선택할 수 있다.
전형적으로는, 도 4a 및 도 4b의 예에서 도시된 바와 같이, 디바이스(100)에 의해 행동이 수행될 때 적합한 애니메이션 또는 시각적 표현이 디스플레이(408) 상에 제공된다.
도 4a 및 도 4b에 도시된 실시예는 단지 예를 위해 제공될 뿐이고, 어느 적합한 모션이라도 도 3a 및 도 3b를 참조하여 여기 위에서 설명된 바와 같은 어느 적합한 행동과도 연관될 수 있다고 인식된다. 더욱, 도 4a 및 도 4b에 예시된 사용자 인터페이스는 단지 예를 위해 제공될 뿐이고, 어느 적합한 사용자 인터페이스라도 제공될 수 있다고 인식된다.
도 1과 관련된 것에 부가하여, 함께 취해질 때, 여기에서의 교시의 일 실시예에 따라 물건-특징 데이터베이스를 업데이트하기 위한 방법의 일 실시예의 순서도인 도 5a 및 도 5b를 이제 참조한다.
도 5a에 보이는 바와 같이, 단계(500)에서는 디바이스(100) 부근의 이미지가 이미지 캡처링 엘리먼트(106, 108)에 의해 캡처링되고, 단계(502)에서는 물건 식별기(120)가 캡처링된 이미지, 및 특히 캡처링된 이미지 내 물건의 이미지를 물건-특징 데이터베이스 내 물건의 이미지 서명과 비교한다. 단계(504)에서 캡처링된 이미지에서 발견된 바와 같은 물건의 이미지 서명이 물건-특징 데이터베이스 내 저장된 물건 서명과 똑같으면, 단계(506)에서는 물건-특징 데이터베이스 내 물건의 이미지 서명이 최신이라고 마크되고, 예를 들어, 도 3a 및 도 3b를 참조하여 여기 위에서 설명된 바와 같이, 물건을 모션에 대해 추적하고 식별된 물건에 관해 행동을 수행함으로써 물건의 프로세싱이 진행될 수 있다.
일부 실시예에 있어서, 물건의 프로세싱은, 예를 들어, 바코드 판독, QR 코드 판독, RFID 태그 판독, 또는 물건을 식별하는 어느 다른 적합한 수단과 같이 다른 수단을 사용하여 물건이 식별되었으면, 캡처링된 이미지에서 발견된 바와 같은 물건의 이미지 서명이 물건-특징 데이터베이스 내 물건 서명과 똑같지 않더라도, 물건을 모션에 대해 추적하고 물건에 관해 행동을 수행함으로써 진행될 수 있다.
다른 한편으로, 캡처링된 이미지에서 발견된 바와 같은 물건의 이미지 서명이 단계(504)에서 물건-특징 데이터베이스 내 어느 이미지 서명과도 똑같지 않으면, 단계(508)에서 물건 식별기(120)는 단계(500)에서 캡처링된 식별시키는 입력에 의해 기반하여 물건을 고유하게 식별하려고 시도한다.
일부 실시예에 있어서, 식별시키는 입력은, 예를 들어, 사용자가 디바이스(100)의 일부분을 형성하는 바코드 스캐너(도시되지 않음)에서 바코드를 스캐닝하도록 또는 이미지 캡처링 엘리먼트(106 및/또는 108)에 바코드를 보여주도록 프롬프트되는 것에 의해 제공된, 물건 상에 존재하는 바코드를 포함한다. 일부 실시예에 있어서, 식별시키는 입력은, 예를 들어, 사용자가 디바이스(100)의 일부분을 형성하는 QR 코드 판독기(도시되지 않음)에서 QR 코드를 스캐닝하도록 또는 이미지 캡처링 엘리먼트(106 및/또는 108)에 QR 코드를 보여주도록 프롬프트되는 것에 의해 제공된, 물건 상에 존재하는 QR 코드를 포함한다. 일부 실시예에 있어서, 식별시키는 입력은, 예를 들어, 사용자가 디바이스(100)의 일부분을 형성하는 RFID 센서(도시되지 않음)로 RFID 태그를 스캐닝하도록 프롬프트되는 것에 의해 제공된, 물건 상에 존재하는 RFID 태그로부터의 정보를 포함한다.
일부 실시예에 있어서, 식별시키는 입력은 물건 상에 존재하고 물건의 캡처링된 이미지에서 물건 식별기(120)에 의해 식별되는 하나 이상의 워터마크에 의해 제공된 정보를 포함한다. 일부 실시예에 있어서, 식별시키는 입력은 물건 상에 존재하고 물건의 캡처링된 이미지에서 또는 이미지 캡처링 디바이스(106 및/또는 108)에 의해 캡처링된 다른 이미지에서 물건 식별기(120)와 기능적으로 연관된 광학 문자 판독기(OCR)(도시되지 않음)에 의해 식별되는 하나 이상의 문자에 의해 제공된 정보를 포함한다.
일부 실시예에 있어서, 식별시키는 입력은, 유사한 이미지에 대해 인터넷을 브라우징하고 그 이미지로부터 관련 있는 정보를 추출하는 것, 또는 데이터베이스 또는 검색 엔진에서 유사한 이미지를 찾도록 검색하고 발견된 이미지와 관련 있는 정보를 추출하는 것, 또는 충분히 높은 이미지 품질을 갖는 물건의 참조 이미지를 획득하기 위해 온라인 이미지 데이터베이스를 검색하도록 검출된 바코드 또는 QR 코드를 사용하는 것으로부터와 같이, 외부 소스로부터 모은 정보를 포함한다. 그러한 일부 실시예에서는, 수집된 부가적 입력에 신뢰도 점수가 배정되고 신뢰도 점수가 미리 결정된 임계치 위에 있는 경우에만 물건이 고유하게 식별된다고 생각된다.
단계(510)에서 부가적 입력에 기반하여 물건이 고유하게 식별되지 않으면, 도 5b의 단계(512)에서 사용자는 디바이스(100)의 일부분을 형성하는 입력 엔트리 엘리먼트(도시되지 않음)를 사용하여 물건을 명시적으로 식별시키도록 또는 이미지 캡처링 엘리먼트(106 및/또는 108)에 바코드 및/또는 QR 코드를 보여주도록 프롬프트된다.
일부 실시예에 있어서, 디바이스(100)의 디스플레이(104)는 물건을 식별하기 위해 사용자가 대화할 수 있는 그래픽 사용자 인터페이스(GUI)(도시되지 않음)를 디스플레이한다. 그러한 일부 실시예에 있어서, 디스플레이(104)는 터치 스크린을 포함하고, 사용자는 디스플레이(104) 상에서 물건의 이미지를 터치함으로써 또는 물건과 관련된 정보를 타이핑함으로써 물건을 명시적으로 식별시킨다. 일부 실시예에 있어서, 디바이스(100)는 마우스, 키보드, 조이스틱과 같은 입력 엔트리 엘리먼트(도시되지 않음)를 포함하고, 사용자는 입력 엔트리 엘리먼트를 조작하여 GUI와 대화하고 물건을 명시적으로 식별시킨다. 일부 실시예에 있어서, 디바이스(100)는 마이크로폰(도시되지 않음)과 같은 소리 센서를 포함하고, 사용자는 물건의 명칭 및/또는 설명을 음성으로 제공함으로써 물건을 명시적으로 식별시킨다.
단계(514)에서 사용자가 물건을 명시적으로 식별시키지 않았으면, 단계(516)에서 물건 식별기(120)는 캡처링된 이미지를 무시하고 물건을 식별하려는 노력을 중단한다. 일부 실시예에 있어서, 물건을 무시한 때, 단계(518)에서 정보 학습기(116)는 사용자에 대한, 그리고 특히 디바이스(100)의 동작을 트리거링할 이유라고 생각되지 않아야 하는 사용자의 특성에 대한 정보를 학습 및 저장하도록 이미지를 캡처링하는 것을 트리거링한 트리거링 이벤트의 그리고/또는 이미지의 특성을 사용한다. 예를 들어, 정보 학습기(116)는 이미지 캡처링 디바이스(106)가 이미지를 캡처링하도록 트리거링되었을 때 사용자가 디바이스(100)로부터 소정 거리에 있었다고 식별할 수 있고, 사용자가 디바이스로부터 그 거리에 있을 때 그가 물건을 디바이스(100)에 "보여주려고" 의도하지 않는다고 결론지을 수 있다. 정보 학습기(116)에 의해 학습된 정보는 장래 사용을 위해 사용자 정보 데이터베이스에 저장될 수 있다.
물건의 정확한 신원이 이제 물건 식별기(120)에 모호하지 않게 되도록, 단계(510)에서 물건이 부가적 입력에 의해 고유하게 식별되었으면, 또는 단계(514)에서 물건이 사용자에 의해 명시적으로 식별되었으면, 단계(520)에서, 물건 식별기(120)는 물건의 이미지를 캡처링하도록 이미지 캡처링 엘리먼트(106, 108)를 트리거링하고 물건에 대한 이미지 서명을 캡처링된 이미지로부터 발생시킨다. 단계(522)에서는, 발생된 이미지 서명 및, 일부 실시예에서는, 단계(508)에서 수집된 모든 입력이 물건-특징 데이터베이스 내 물건에 대한 엔트리를 업데이트하도록, 또는 그러한 엔트리가 존재하지 않으면 물건-특징 데이터베이스 내 물건에 대한 새로운 엔트리를 발생시키도록 사용된다.
일부 실시예에 있어서, 이미지 서명은 물건의 하나 이상의 이미지를 포함한다. 일부 실시예에 있어서, 이미지 서명은 물건의 가상 3차원 모델을 포함한다. 일부 실시예에 있어서, 이미지 서명은, 물건의 색 기법, 물건 상에 존재하는 글자 또는 다른 문자, 물건 상에 존재하는 그래픽, 물건의 3차원 형상, 워터마크 및 육안에는 보이지 않는 물건 상에 존재하는 다른 마크, 물건의 명칭, 물건의 브랜드 등과 같이, 물건의 이미지로부터 추출될 수 있는 물건의 하나 이상의 특성을 포함한다.
일부 실시예에 있어서, 특히 물건이 사용자에 의해 제공되지 않은 부가적 입력을 사용함으로써 식별된 때, 신뢰도 점수가 발생된 이미지 서명에 배정되어, 이미지 서명이 물건의 정확한 표현일 가능성이 얼마나 있는지 나타낸다.
일부 실시예에 있어서, 이미지 서명 엔트리는 비-특정 물건에 대해 생성될 수 있다. 예를 들어, 사용자는 시리얼 포장을 이미지 캡처링 엘리먼트(106 및/또는 108)에 제시하고, 병행하여, 마이크로폰에 의해 캡처링될 수 있는 단어 "시리얼"을 말할 수 있다. 단어 "시리얼"이 제품을 고유하게 식별시키지 않기 때문에, 이미지로부터 생성된 이미지 서명은 단어 "시리얼"과 연관된 불특정 이미지 서명이다. 시간이 흐르면서, 디바이스(100)는, 예를 들어, 여기 위에서 설명된 바와 같은 크라우드 소싱에 의해 이미지와 관련된 SKU를 학습할 수 있다고 인식된다.
도 5a 및 도 5b에 관하여 여기 위에서 설명된 바와 같은 학습은 전형적으로는, 사용자가 그의 목록에 물품을 추가하거나, 그로부터 물품을 제거하거나, 아니면 그의 목록을 조작하는 동안, 배경에서 일어난다고 인식된다. 일부 전형적 실시예에 있어서, 사용자는 배경에서 수행되고 있는 학습 프로세스를 의식하지 못한다.
발명의 개요에서 여기 위에서 언급된 바와 같이, 본 발명의 일부 실시예는, 사용자에 의해 구체적으로 소망되는 제품에 대한 대용품과 같이, 사용자에게 적합한 제품을 식별하기 위한 스마트, 사용자 친화적 방법에 관한 것이다.
본 발명의 일부 실시예는 사용자에게 적합한 제품을 식별하기 위한 방법에 관한 것으로서, 그 방법은:
제품의 그룹을 포함하는 제품 데이터세트를 획득하는 단계로서, 제품은 타이틀에 따라 하위 그룹으로 분할되되, 각각의 제품은 제품을 기술하는 특징의 세트 및 브랜드 중 적어도 하나와 연관되고, 가중치는 브랜드와 그리고 각각의 특징과 연관되는 획득하는 단계;
그 연관된 특정 타이틀을 갖는 소망 제품의 최초 식별을 사용자로부터 수신하는 단계;
디바이스-특정 정보 및 사용자-특정 정보 중 적어도 하나 및 제품 데이터세트 내 정보를 사용하여, 최초 식별에서 사용자에 의해 의도된 특정 소망 제품을 고유하게 식별하는 단계;
특징의 그리고 브랜드의 가중치를 사용하여, 특정 소망 제품과 특정 타이틀 내 적어도 2개의 다른 제품 간 거리를 계산하는 단계; 및
사용자에게 적합한 제품으로서, 특정 소망 제품으로부터 작은 거리를 갖는, 다른 제품 중 적어도 하나를 식별하는 단계를 포함한다.
본 발명의 일부 실시예는 사용자에게 적합한 제품을 식별하기 위한 디바이스에 관한 것으로서, 그 디바이스는:
그 연관된 특정 타이틀을 갖는 소망 제품의 최초 식별을 사용자로부터 수신하도록 구성된 사용자 입력 엔트리 엘리먼트; 및
사용자 입력 엔트리 엘리먼트와 기능적으로 연관된 프로세서를 포함하되, 프로세서는:
제품의 그룹을 포함하는 제품 데이터세트에 액세스하도록 구성된 제품 데이터 액세서로서, 제품은 타이틀에 따라 하위 그룹으로 분할되되, 각각의 제품은 제품을 기술하는 특징의 세트 및 브랜드 중 적어도 하나와 연관되고, 가중치는 브랜드와 그리고 각각의 상기 특징과 연관되는 제품 데이터 액세서;
최초 식별에서 사용자에 의해 의도된 특정 소망 제품을 고유하게 식별하기 위해 사용자-특정 정보 및 제품 데이터세트 내 정보를 사용하도록 구성된 소망 제품 식별 모듈;
특정 소망 제품과 특정 타이틀 내 적어도 2개의 다른 제품 간 거리를 계산하기 위해 특징의 그리고 브랜드의 가중치를 사용하도록 구성된 거리 계산 모듈; 및
사용자에게 적합한 제품으로서, 특정 소망 제품으로부터 작은 거리를 갖는, 다른 제품 중 적어도 하나를 식별하도록 구성된 적합한 제품 식별 모듈을 포함한다.
여기에서의 교시의 일 실시예에 따라 사용자에게 적합한 제품을 식별하도록 사용되는 디바이스(600)의 일 실시예의 도식적 블록 선도인 도 6을 이제 참조한다.
예시된 바와 같은 디바이스(600)는 어느 적합한 디바이스 상에라도 구현될 수 있다. 여기 아래의 설명으로부터 인식될 바와 같이, 디바이스(600)는 전용 컴퓨팅 디바이스, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 적합하게 구성된 모바일 폰, 스마트 폰, PDA 등을 포함하는 어느 이동식 또는 고정식 컴퓨팅 시스템 상에라도 구현될 수 있다.
도 6에 보이는 바와 같이, 디바이스(600)는 사용자로부터의 입력을 수신하도록 구성된 사용자 입력 엔트리 엘리먼트(601) 및 프로세서(602)를 포함한다.
사용자 입력 엔트리 엘리먼트(601)는 사용자가 디바이스(600)에 입력을 제공하도록 대화할 수 있는 어느 적합한 사용자 입력 엔트리 엘리먼트라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 사용자 입력 엔트리 엘리먼트는 키보드, 터치 스크린, 컴퓨터 마우스, 조이스틱, 마이크로폰, USB 플래시 드라이브와 같은 입력 디바이스로의 접속을 위한 포트, 및 예를 들어 이미지를 업로드하고 가중치 및/또는 우선순위를 설정하기 위한 소프트웨어와 같이 이미지 및 다른 정보의 제공에 적합한 소프트웨어 또는 메커니즘 중 적어도 하나를 포함한다. 예를 들어, 사용자는 웹사이트 또는 Bluetooth® 접속을 통하여 이미지를 업로드하고 그리고/또는 가중치 및 우선순위를 설정할 수 있으며, 그 후 웹사이트 또는 Bluetooth® 접속과 연관된 서버로부터 디바이스(600)에 송신될 수 있다. 일부 실시예에 있어서, 사용자 입력 엔트리 엘리먼트(601)는 제스처, 예를 들어, 이미지 프로세싱 메커니즘(도시되지 않음)에 의해 프로세싱된 이미지에서 식별된 제스처에 의해 제공된 입력을 수신하도록 구성될 수 있다.
프로세서(602)는, 제품 특징 데이터베이스(606)와 기능적으로 연관되고 데이터베이스(606) 내 제품 데이터세트(608)에 액세스하도록 구성된, 제품 데이터 액세서(604)를 포함한다. 제품 데이터세트(608)는 제품 그룹을 포함하며, 그 제품들은 타이틀에 따라 하위 그룹으로 분할된다. 제품 데이터세트(608) 내에서, 각각의 제품은 제품을 기술하는 특징 세트 및 브랜드와 연관된다. 가중치는 각각의 제품에 대해 브랜드와 그리고 각각의 특징과 연관된다.
일부 실시예에 있어서, 데이터베이스(606) 및 데이터세트(608)는 디바이스(600)의 일부분을 형성한다. 일부 실시예에 있어서, 데이터베이스(606) 및 데이터세트(608)는 디바이스(600)에 대해 원격에 있다. 그러한 실시예에 있어서, 제품 데이터 액세서(602)는 데이터베이스(606)와 통신하기 위한, 트랜시버와 같은, 통신 엘리먼트를 포함할 수 있거나, 또는 적합한 트랜시버(도시되지 않음)를 통하여 데이터세트(608) 내 데이터에 액세스할 수 있다.
제품 그룹은 어느 적합한 제품 그룹이라도 될 수 있다. 그렇긴 하지만, 일부 실시예에 있어서, 제품 그룹은 식료 제품, 전자 제품, 서적, 의약 제품, 건강 관리 제품, 미용 제품, 가공 제품, 농산 제품, 게임, 게이밍 제품, 완구, 의류, 신발, 연극, 콘서트 및 영화와 같은 엔터테인먼트 제품, 자동차, 오토바이 및 요트와 같은 탈것 등을 포함한다.
일부 실시예에 있어서, 데이터세트(608)는, 미국에 위치한 디바이스(600)의 제품 데이터 액세서(604)가 미국에서 이용가능한 제품의 데이터세트(608) 내 제품으로의 액세스만을 갖고, 예를 들어, 디바이스가 캐나다로 이동될 때, 제품 데이터 액세서(604)는 적응되어 이제 캐나다에서 이용가능한 데이터세트(608) 내 제품으로의 액세스를 갖게 되도록, 지리적 모듈식이다. 일부 실시예에 있어서, 디바이스(600)는 또한, 제품 데이터 액세서(604)와 기능적으로 연관되고 디바이스(600)가 위치하고 있는 지리적 지역을 식별하도록 그리고 식별된 지역을 제품 데이터 액세서(604)에 알려주도록 구성된, GNSS 수신기(도시되지 않음)를 포함한다.
일부 실시예에 있어서, 타이틀은 제품의 자연 명칭을 포함한다. 예시적 타이틀은 "우유", "신선 제품", "냉동 채소", "아동 서적", "비-소설 서적" 등을 포함할 수 있다. 전형적으로, 각각의 타이틀은 그와 연관된 복수의 제품을 갖는다. 예를 들어, 무지방 우유, 저지방 우유, 전유, 락토스 프리 우유, 및 두유는 모두 타이틀 "우유"의 일부분일 것이다.
일부 실시예에 있어서, 브랜드는 제품의 제조자와 관련된다. 그와 같이, 일부 실시예에 있어서, 여러 제품이 단일 브랜드를 공유한다. 예를 들어, 브랜드 "킷-캣"은 제품 "킷-캣, 36-카운트" 및 "킷 캣 청키 피넛 버터 48그램"과 연관될 수 있다. 일부 실시예에 있어서, 단일 제품은 하나보다 많은 브랜드와 연관될 수 있다, 예를 들어, 브랜드 "킷-캣"과 연관된 제품은 또한 브랜드 "네슬레"와 연관될 수 있다.
제품과 연관된 특징은 제품을 기술하는 어느 적합한 특징이라도 될 수 있고, 예를 들어, 향미, "다이어트", "저지방", "무설탕", "글루텐 프리" 및 "락토스 프리"와 같은 영양 식별, "채식주의자", "비건", "코셔", 및 "할랄"과 같은 종파 식별, 가격, 포장 크기 등을 포함할 수 있다. 전형적으로, 각각의 특징은 그것이 받을 수 있는 가능한 값 세트와 연관된다.
제품 데이터세트(608)는 어느 적합한 방식으로라도 형성될 수 있다. 일부 실시예에 있어서, 데이터세트(608)는, 전용 컴퓨팅 디바이스일 수도 있고 디바이스(600)일 수도 있는, 적합한 컴퓨팅 디바이스에 의해 자동으로 발생된다. 일부 실시예에 있어서, 컴퓨팅 디바이스는, 각각의 제품에 대해, 제품의 타이틀, 브랜드 및 특징을 자동으로 식별하도록 그리고 제품 데이터세트(608) 내 적합한 엔트리를 자동으로 구축하도록 구성된다. 일부 실시예에 있어서, 제품의 타이틀, 브랜드 및 특징은 제품 명칭 내 키워드, 제품 설명 내 키워드, 제품의 포장 상에서 발견된 키워드, 제조자 및 유통업자 웹사이트와 같은 외부 소스로부터 모은 정보 중 적어도 하나를 사용하여 식별된다. 제품이 식품을 포함하는 일부 실시예에 있어서, 타이틀, 브랜드 및 특징은 또한 제품의 영양가로부터 모은 정보 및 제품의 성분 목록으로부터 모은 정보를 사용하여 식별될 수 있다.
일부 실시예에 있어서, 데이터세트는 적합한 위치에서 자동으로 획득될 수 있다. 예를 들어, 슈퍼마켓에 있어서, 체크아웃 지점을 관찰하는 보안 카메라에 의해 획득된 이미지는 체크아웃 동안 계산원에 의해 등록된 바코드 및 다른 정보와 상관될 수 있고, 이러한 방식으로 식별된 각각의 제품은 데이터세트에 추가되거나 데이터세트 내에서 업데이트될 수 있다. 그러한 경우에 있어서, OCR은 포장의 캡처링된 이미지로부터 브랜드 및 특징 정보를 추출하도록 사용될 수 있다.
일부 실시예에 있어서, 인간 오퍼레이터는 데이터세트 생성을 감독하고, 각각의 제품에 대해 수집된 정보를 승인하고 그리고/또는 각각의 제품에 대한 다른 정보를 추가할 수 있다. 그러한 일부 실시예에 있어서, 인간 오퍼레이터는 또한, 제품을 잘못된 타이틀과 연관시키는 것과 같은, 데이터세트의 생성에서의 실수를 식별할 수 있고, 그러한 실수를 어떻게 회피하는지 시스템에 "가르치도록" 기계 학습 기술을 사용할 수 있다.
일부 실시예에 있어서, 시스템의 사용자는 인간 오퍼레이터로서 기능한다. 그러한 일부 실시예에 있어서, 사용자는, 예를 들어, 사용자가 문제를 보고할 수 있는 적합한 사용자 인터페이스와 대화함으로써 직접 잘못된 데이터를 나타낼 수 있다. 일부 실시예에 있어서, 특정 제품이 다른 제품에 대한 대용품으로서 제안되고 그리고 그 특정 제품이 사용자에 의해 절대 선택되지 않을 때, 이것은 특정 제품과 그것이 대신하고 있는 제품 중 하나의 데이터에 문제가 있다는 표시를 시스템에 제공한다.
브랜드 및/또는 특징과 연관된 가중치가, 여기에서 설명되는 바와 같이, 사용자-특정적일 수도 있고, 특정 사용자의 요구에 맞춰질 수도 있다는 것은 여기에서의 교시의 특별한 특징이다.
일부 실시예에 있어서, 프로세서(602)는 또한, 사용자 정보 데이터베이스(612)와 그리고 제품 데이터 액세서(604)와, 그리고 일부 실시예에서는 사용자 입력 엔트리 엘리먼트(601)와 기능적으로 연관된 정보 학습기(610)를 포함한다. 일부 실시예(예시되지 않음)에 있어서, 사용자 정보 데이터베이스(612) 및 데이터베이스(606)는, 정보 학습기(610)가 데이터베이스(606) 및 데이터세트(608)에 직접 액세스할 수 있게 되도록, 단일 데이터베이스를 형성한다.
일부 실시예에 있어서, 사용자 입력 엔트리 엘리먼트(601)는 적어도 하나의 특징에 그리고/또는 브랜드에 배정될 사용자-특정 가중치로부터 수신하도록 구성된다. 그러한 일부 실시예에 있어서, 정보 학습기(610)는 사용자 입력 엔트리 엘리먼트(601)에 제공되는 바와 같은 사용자의 선호도를, 예를 들어, 사용자 정보 데이터베이스(612)에 저장하도록 구성된다.
일부 실시예에 있어서, 정보 학습기(610)는 예를 들어 도 8을 참조하여 여기 아래에 설명되는 바와 같이, 예를 들어, 사용자가 2개 이상의 적합한 제품의 선택을 제안받은 후에 하는 선택에 기반하여, 또는 사용자의 제품 이력에 기반하여, 시간이 흐르면서 특정 가중치를 학습하도록 구성된다.
일례로서, 사용자의 제품 이력이 특정 제품을 선택할 때 사용자가 제품의 색을 염두에 두지 않음을 보여주고 있으면, 사용자-특정 학습기(610)는 특정 제품의 색이 사용자에게 그다지 문제되지 않음을 학습하도록, 그리고, 예를 들어 제품 데이터 액세서(604)를 통하여, 사용자에 관한 데이터세트에서, 그 특정 제품에 대해, 그 특정 제품과 연관된 타이틀에 대해, 또는 모든 제품에 대해 "색" 특징의 가중치 낮춤을 달성하도록 구성된다.
일부 실시예에 있어서, 정보 학습기(610)는 사용자가 연관되는 사용자-세그먼트에 기반하여 각각의 제품의 브랜드 및 특징과 연관된 가중치를 학습하도록 구성된다. 그러한 실시예에 있어서, 각각의 사용자는 하나 이상의 사용자-세그먼트와 연관된다. 예를 들어, 사용자는 아동 세그먼트, 남성 세그먼트, 여성 세그먼트, 채식주의자 세그먼트, 비건 세그먼트, 또는 역사광 세그먼트와 연관될 수 있다. 일부 실시예에 있어서, 사용자는, 당업계에 알려져 있는 바와 같이, 사용자의 구입 이력과 같은 사용자-특정 정보에 기반하여 하나 이상의 사용자-세그먼트에 자동으로 배정될 수 있다.
그 후 정보 학습기(610)는, 사용자에 관한 제품에 대해 브랜드 및/또는 특징의 사용자-특정 가중치를 업데이트하도록, 사용자-세그먼트의 특성, 또는 동일한 사용자-세그먼트 내 다른 사용자에 대해 수집된 정보를 사용할 수 있다. 예를 들어, 정보 학습기(610)는, 크라우드 소싱 형태에 기반하여, 사용자의 세그먼트 내 모든 사용자에 대해 제품 이력 및 대용 제품 선택 이력과 관련된 정보를 취합할 수 있고, 그 후 취합된 정보에 기반하여 세그먼트에 그리고/또는 사용자에 관한 데이터세트 내 브랜드 및/또는 특징에 대한 가중치를 조절할 수 있다. 일부 실시예에 있어서, 사용자-특정 정보는 주어진 사용자에 대해 제품에 가중치를 더 정확히 배정하도록 사용자-특정 정보와 조합된다.
예를 들어, 식품의 맥락에서, 사용자는 채식주의자 세그먼트와 연관될 수 있다. 따라서, 정보 학습기(610)는, 데이터 액세서(604)를 통하여, 육류를 포함하고 있는 제품의 브랜드 및 특징에 낮은 가중치를 배정하는 것이 적합하다.
일부 실시예에 있어서, 프로세서(602)의 데이터 액세서(604)는 또한 시장 동향에 그리고/또는 시즌 고려사항에 기반하여 각각의 제품의 브랜드 및 특징과 연관된 가중치를 업데이트하도록 구성된다. 예를 들어, 겨울 동안에는, "뜨겁게 먹는 것"의 특징에 더 높은 가중치가 부여될 수 있고, "얼려 먹는 것"의 특징에 더 낮은 가중치가 부여될 수 있다.
다른 일례로서, 축제 시즌 동안에는, "초콜릿 민트를 함유한", "축제에 적합한", "호스팅에 적합한", "우아한" 등과 같은 축제 관련 특징에 더 높은 가중치가 부여될 수 있다.
일부 실시예에 있어서, 정보 학습기(610)는 사용자, 사용자-세그먼트, 또는 일반 대중에 대한 시즌 효과를 자동으로 학습하고, 적합한 시즌 동안 그에 따라 가중치를 자동으로 설정한다.
일부 실시예에 있어서, 프로세서(602)의 데이터 액세서(604)는 또한, 예를 들어 정보 학습기(610)에 의해 학습된 바와 같이, 사용자의 습관에 기반하여 각각의 제품의 브랜드 및 특징과 연관된 가중치를 업데이트하도록 구성된다. 예를 들어, 사용자가 매주 수요일에는 대량 식료 배달 식료 쇼핑을 하고 매주 일요일에는 더 소량의 식료 배달로 보충하는 것과 같은 쇼핑 습관을 갖고 있으면, 데이터 액세서(604)는, 대량 식료 배달에서 보통 구입되는 제품이 화요일과 수요일에 더 높은 가중치를 갖고 일요일에 보통 구입되는 제품이 토요일과 일요일에 더 높은 가중치를 갖게 되도록, 요일에 기반하여 가중치를 업데이트할 수 있다.
일부 실시예에 있어서, 각각의 제품의 브랜드 및 특징과 연관된 가중치는 또한 사용자의 우선순위에 기반하여 결정된다. 전형적으로, 제품 우선순위는 세그먼트 또는 사용자 이력에 기반하여 계산된 것보다 더 높거나 더 낮은 가중치가 부여되어야 하는, 또는 다른 특징 또는 제품보다 우선하여야 하는 특징 또는 제품의 카테고리와 관련된다.
그러한 일부 실시예에 있어서, 사용자는 사용자에게 적합한 제품을 식별할 때 고려되어야 하는 그 또는 그녀의 우선순위를 명확히 정의하도록 사용자 입력 엔트리 엘리먼트(601)를 사용할 수 있다. 다른 실시예에 있어서, 정보 학습기(610)는, 예를 들어, 사용자의 제품 이력 또는 사용자에 의해 선택된 대용 제품을 관찰 및/또는 분석함으로써, 시간이 흐르면서 사용자의 우선순위를 학습할 수 있다.
일부 실시예에 있어서, 데이터 액세서(604)는 사용자-특정 제품 구입 우선순위에 기반하여 브랜드 및/또는 특징의 가중치를 자동으로 조절한다.
예를 들어, 사용자가 건강을 매우 의식하여 항상 최저 지방 함유량을 갖는 제품을 선택함을, 사용자가 사용자 입력 엔트리 엘리먼트(601)를 통하여 나타낼 수 있거나, 또는 정보 학습기(610)가 자동으로 학습할 수 있다. 그리하여, 가중치는 저지방 제품이 사용자에게 적합한 제품으로서 선택될 가능성이 더 높게 되도록 조절될 수 있다.
다른 일례로서, 사용자가 비용을 매우 의식하여 항상 더 저렴한 제품을 선호할 것임을, 사용자가 사용자 입력 엔트리 엘리먼트(601)를 통하여 나타낼 수 있거나, 또는 정보 학습기(610)가 자동으로 학습할 수 있다. 그리하여, 더 비용 효과적이거나 더 저렴한 제품이, 그것이 사용자에 의해 최초에 소망된 제품과 덜 유사하거나 사용자의 요구에 덜 적합하더라도, 선택되도록, 적합하게 높은 가중치가 단위-당-비용 특징에 부여될 수 있다. 예를 들어, 사용자가 각각의 카테고리에서 항상 최저가 제품을 구입함을, 사용자가 사용자 입력 엔트리 엘리먼트(601)를 통하여 나타낼 수 있거나, 또는 정보 학습기(610)가 자동으로 학습할 수 있다. 그리하여, 가중치는 대부분 그리고 일부 실시예에서만 각각의 카테고리 내 최저가 제품이 사용자에게 적합한 것으로 선택되도록 조절될 수 있다.
대안으로 또는 부가적으로, 사용자-특정 차단 우선순위 기준을, 사용자가 사용자 입력 엔트리 엘리먼트(601)를 통하여 나타낼 수 있거나, 또는 정보 학습기(610)가 자동으로 학습할 수 있다. 예를 들어, 사용자가 미리 결정된 양, 예를 들어 $100보다 비용이 더 드는 어느 제품도 절대 구입하지 않음을, 사용자가 나타낼 수 있거나, 또는 시스템이 학습할 수 있다. 그리하여, 가중치는 대부분 그리고 일부 실시예에서만 $100보다 비용이 덜 드는 제품이 사용자에게 적합한 것으로 선택되도록 조절될 수 있다.
일부 실시예에 있어서, 사용자-특정 우선순위의 표시를 사용자로부터 수신하는 것에 부가하여, 사용자 입력 엔트리 엘리먼트(601)는 제공된 사용자-특정 우선순위에 대한 소망의 최적화 적극성 레벨의 표시를 사용자로부터 수신하도록 구성된다. 예를 들어, 사용자는, 일부 경우에서는 더 낮은 가격을 갖는 제품이, 그것이 다른 특징 또는 우선순위에 관하여 가장 적합한 제품이 아니더라도, 사용자에게 적합한 제품으로서 선택되도록, 돈을 절약하기를 소망한다고 나타내어, 시스템이 가격 특징의 가중치를 증가시키게 야기할 수 있다. 부가적으로, 일부 실시예에서는, 사용자에 의해 정의된 바와 같은 우선순위의 감소순으로 또는 위 예에서는 비용의 증가순으로 부가적 대용 제품이 사용자에게 제시된다.
예를 들어, 사용자가 주어진 제품에 기반하여 비용에 대해 최적화하라고 요청하였고, 주어진 제품에 그 특징이 가까운 3개의 대용 제품이 3개의 다른 가격을 갖고 있으면, 가장 낮은 가격을 갖는 대용 제품이 제1 제안 대용품으로서 제시될 것이고, 중간 가격을 갖는 대용 제품이 제2 제안 대용품으로서 제시될 것이고, 가장 높은 가격을 갖는 대용 제품이 제3 또는 최후 제안 대용품으로서 제시될 것이다.
제품 우선순위의 그리고 특징에 배정된 가중치의 각각의 효과의 크기는, 예를 들어, 정보 학습기(610)에 의해 학습된 정보를 사용하여 사용자마다 결정될 수 있다고 인식된다. 유사하게, 유사도의 계산에 기반하는 가중치에 기여하는 제품의 특정 특성, 및 사용자의 우선순위에 기반하는 최적화에 기여하는 제품의 특정 특성은, 예를 들어, 정보 학습기(610)에 의해 학습된 정보를 사용하여 사용자마다 결정된다. 그와 같이, 주어진 우선순위에 대해 최적화하기를 항상 원하는 일부 사용자에 대해서는, 그 우선순위에 기반하는 최적화가 그것이 제안된 대용품이 소망 제품과 덜 유사함을 의미하더라도 지지될 것인 한편, 유사도가 더 중요한 다른 사용자에 대해서는, 더 유사한 제품이 지지될 것이고, 사용자 우선순위에 기반하는 최적화는 소망 제품과 유사한 제품이 다수 있을 때만 일어날 것이다.
일부 실시예에 있어서, 정보 학습기(610)는 시간이 흐르면서 사용자의 선호도 변화를 식별하도록 그리고 그에 따라 특징 및/또는 사용자의 제품 우선순위에 배정된 가중치를 조절하도록 구성된다. 예를 들어, 사용자가 만성 소화 장애증으로 진단받고 글루텐을 함유하는 제품 구입을 중단하면, 정보 학습기(610)는 이러한 변화를 식별하고 사용자에 관한 "글루텐 프리" 특징에 부여된 가중치를 증가시킬 수 있다.
일부 실시예에 있어서, 프로세서(602)는 또한 사용자 입력 엔트리 엘리먼트(601)와 그리고 정보 학습기(610)와 기능적으로 연관된 소망 제품 식별 모듈(614)을 포함한다. 도 7을 참조하여 여기 아래에 설명되는 바와 같이, 소망 제품 식별 모듈(614)은, 사용자가 소망 제품을 고유하게 식별시키지 않을 때, 무슨 제품이 사용자에 의해 의도되었는지 "추측"하도록 구성된다.
도 6에 보이는 바와 같이, 프로세서(602)는 데이터 액세서(604)와, 정보 학습기(610)와 그리고/또는 소망 제품 식별 모듈(614)과 기능적으로 연관된 거리 계산 모듈(616)을 더 포함한다. 거리 계산 모듈(616)은, 도 7을 참조하여 여기 아래에 설명되는 바와 같이, 특정 소망 제품과 그 소망 제품과 동일한 타이틀을 갖는 적어도 2개의 다른 제품 간 거리를 계산하기 위해 특징의 그리고 브랜드의 가중치를 사용하도록 구성된다.
프로세서(602)는, 거리 비교 모듈(616)에 의해 소망 제품과 비교된, 다른 제품 중 적어도 하나를 사용자에게 적합한 것으로서 식별하도록 구성된 적합한 제품 식별 모듈(618)을 더 포함한다.
일부 실시예에 있어서, 사용자 입력 엔트리 엘리먼트(601) 및/또는 적합한 제품 식별 모듈(618)은, (예시된 바와 같은) 디바이스(600)의 일부분을 형성할 수 있거나 그와 기능적으로 연관될 수 있는, 디스플레이(620)와 기능적으로 연관된다. 일부 실시예에 있어서, 모듈(618)에 의해 식별된 적합한 제품 또는 제품들은 디스플레이(620) 상에서 사용자에게 제시될 수 있고, 사용자는 디바이스(600)와 대화하도록 그리고 적합한 제품 식별 모듈(618)에 의해 소망 제품에 대한 양호한 대용품으로서 식별된 적합한 제품 중 하나를 선택하도록 사용자 입력 엔트리 엘리먼트(601)를 사용할 수 있다. 도 8을 참조하여 여기 아래에 설명되는 바와 같이, 정보 학습기는 사용자의 선호도에 대해 학습하도록 그리고 또는 사용자에 대한 브랜드 및 특징 가중치를 조절하도록 사용자의 선택을 사용할 수 있다.
여기에서의 교시의 일 실시예에 따라 사용자에게 적합한 제품을 식별하기 위한 방법의 일 실시예의 순서도인 도 7을 이제 또한 참조한다.
도 7의 단계(700)에서 보이는 바와 같이, 디바이스(600)는 소망 제품의 최초 식별을, 사용자 입력 엔트리 엘리먼트(601)를 통하여, 사용자로부터 수신하고, 단계(702)에서 프로세서(602)는 소망 제품을 고유하게 식별하도록 그 제공된 최초 식별을 프로세싱한다.
사용자에 의해 제공된 소망 제품의 최초 식별은 어느 적합한 최초 식별이라도 될 수 있다. 일부 실시예에 있어서, 식별은 소망 제품을 고유하게 식별시킨다. 예를 들어, 사용자는 소망 제품의 재고 관리 코드(SKU), 소망 제품의 범용 제품 코드(UPC), 또는 바코드를 스캐닝함으로써 제공될 수 있는 소망 제품의 바코드의 식별을 사용자 입력 엔트리 엘리먼트에 제공할 수 있다. 그러한 실시예에서는, 프로세싱 단계(702)가 필요 없게 될 수 있다.
일부 실시예에 있어서, 사용자에 의해 제공된 최초 식별은 제품을 고유하게 식별시키지 않는다. 예를 들어, 사용자는 사용자 입력 엔트리 엘리먼트(601)에, 시각적으로(문자로)든 음성으로든, 타이틀, 브랜드, 제품 설명, 또는 제품의 별칭을 제공할 수 있거나, 소망 제품의 이미지를 제공할 수 있다. 그러한 실시예에서는, 프로세싱 단계(702)에서 프로세서(602)가 최초 식별을 프로세싱하고 사용자가 의도한 특정 제품을 식별하려고 시도한다. 그러한 실시예에 있어서, 정보 학습기(610)는, 사용자가 식별시키려고 의도하였던 제품을 고유하게 식별하는데 도움을 주기 위하여, 사용자의 제품 이력과 같은 사용자-특정 정보를 사용자 정보 데이터베이스(612)로부터 추출한다.
사용자에 의해 제공된 최초 식별이 제품의 이미지를 포함하는 실시예에 있어서, 프로세서(602)는, 실질적으로 도 2, 도 3a 및 도 3b를 참조하여 여기 위에서 설명된 바와 같이, 제품의 고유 특징을 식별하도록, 그리고 그리하여 제품을 고유하게 식별하도록 이미지 프로세싱 기술을 사용한다.
사용자에 의해 제공된 최초 식별이 제품의 음성 식별을 포함하는 실시예에 있어서, 프로세서(602)는 제공된 음성 식별을 전사하도록 당업계에 알려져 있는 음성 인식 기술을 사용한다. 음성 식별이 전사되고 나면, 프로세서(602)는 전사된 식별을 그것이 제품의 문자 식별인 것처럼 프로세싱하기를 계속한다.
식별이 제품의 브랜드, 제품의 별칭, 제품의 설명, 및/또는 제품의 타이틀을 포함하는 실시예에 있어서, 프로세서(602)의 데이터 액세서(604)는 데이터세트(608)에 액세스하고, 정보 학습기(610)는 사용자 정보 데이터베이스(612)에 액세스하고, 사용자에 의해 제공된 최초 식별과 매칭하거나, 예를 들어, 사용자 제공된 설명에서 기술된 바와 같은 특징을 갖거나 사용자-특정 선호도와 매칭하는, 그리고, 여기 아래에 설명되는 바와 같이, 사용자가 의도한 제품일 것 같은 제품을 식별하려고 노력한다.
단계(704)에서, 프로세서가 제공된 사용자 식별 및 제품 및 사용자-특정 정보에 기반하여 사용자에 의해 의도된 특정 제품을 고유하게 식별할 수 있었으면, 단계(706)에서, 데이터 액세서(604)는 고유하게 식별된 소망 제품과 연관된 타이틀을 결정하도록 데이터세트(608)에 액세스한다.
단계(708)에서, 거리 계산 모듈(616)은 고유하게 식별된 소망 제품과 그 고유하게 식별된 소망 제품과 동일한 타이틀을 갖는 각각의 다른 제품 간 거리 점수를 계산한다.
예를 들어, 일부 실시예에 있어서, 거리 계산 모듈(616)은 브랜드에 대한 브랜드-거리 점수 및 각각의 특징에 대한 특징-거리 점수를 계산하고, 특징-거리 점수와 브랜드 거리 점수의 가중 평균을 고유하게 식별된 소망 제품과 동일한 타이틀을 갖는 다른 제품 간 거리 점수로서 계산한다. 일부 실시예에 있어서, 거리 계산 모듈(616)은 소망 제품과 다른 제품에 대한 제품 유사도 점수를 계산하도록 그 계산된 거리 점수를 사용하고, 유사도 점수는 여기에서 설명되는 바와 같은 적합한 제품을 결정하도록 사용된다. 거리 점수의 가중 평균을 계산하는 것은 고유하게 식별된 소망 제품과 동일한 타이틀을 갖는 다른 제품 간 거리를 계산하기 위한 방법의 일례일 뿐이고, 어느 적합한 거리 계산이라도 사용될 수 있고 여기에서의 교시의 범위 내라고 생각된다고 인식된다.
일부 실시예에 있어서, 거리 계산 모듈(616)은, 여기 위에서 설명된 바와 같이, 사용자에 의해 제공되거나 정보 학습기(610)에 의해 학습된 최적화 우선순위 및 최적화 적극성 레벨에 대한 파라미터 점수에 기반하여 파라미터 거리를 계산한다. 그 후 거리 계산 모듈(616)은, 제품 관련성 점수가 여기에서 설명되는 바와 같은 적합한 제품을 결정하는데 사용되도록, 계산된 파라미터 거리 점수에 그리고 제품 유사도 점수에 기반하여 제품 관련성 점수를 계산한다.
단계(710)에서, 적합한 제품 식별 모듈(618)은 소망 제품과 동일한 타이틀을 갖는 그리고 소망 제품과 양호한 유사도 점수 또는 그로부터 작은 거리를 갖는 하나 이상의 제품을 식별하고, 고유하게 식별된 소망 제품 및 다른 적합한 제품과 관련된 정보를 사용자에게 제시를 위해 디스플레이(620)에 제공한다.
일부 실시예에서는, 소망 제품 및 다른 적합한 제품의 이미지가 디스플레이(620) 상에서 사용자에게 디스플레이된다. 일부 실시예에서는, 영양 정보와 같은, 소망 제품 및 다른 적합한 제품에 관한 정보가 디스플레이(620) 상에서 사용자에게 제시된다.
일부 실시예에 있어서, 적합한 제품 식별 모듈(618)은 거리 임계치보다 더 작은 소망 제품으로부터의 거리를 갖는 어느 제품을 적합한 제품으로서 식별한다. 일부 실시예에 있어서, 적합한 제품 식별 모듈(618)은 유사도 임계치보다 더 큰 소망 제품과의 제품 유사도 점수를 갖는 어느 제품을 적합한 제품으로서 식별한다. 일부 실시예에 있어서, 적합한 제품 식별 모듈(618)은 관련성 임계치보다 더 큰 소망 제품과의 제품 관련성 점수를 갖는 어느 제품을 적합한 제품으로서 식별한다.
일부 실시예에 있어서, 적합한 제품 식별 모듈(618)에 의해 식별된 모든 제품은 디스플레이(620) 상에, 일부 실시예에서는 소망 제품 옆에 디스플레이된다. 사용자가 소망 제품에 대한 대용품을 찾기를 바랄 뿐인 일부 실시예에 있어서, 소망 제품의 정보는 사용자에게 디스플레이되지 않는다. 일부 실시예에 있어서, 적합한 제품 식별 모듈(618)에 의해 식별되는 제품의 수는 미리 결정된 최대 수에 의해 제한된다. 일부 실시예에 있어서, 디스플레이(620) 상에 디스플레이되는 제품의 수는 미리 결정된 최대 디스플레이 수에 의해 제한된다. 그러한 일부 실시예에 있어서, 디스플레이(620) 상에 디스플레이되는 제품은 적합한 제품 식별 모듈(618)에 의해 식별된 제품의 부분집합이다.
단계(704)로 되돌아가서, 프로세서(602)가 사용자에 의해 제공된 최초 식별에 그리고 제품 및 사용자-특정 정보에 기반하여 사용자에 의해 의도된 특정 제품을 고유하게 식별할 수 없었으면, 사용자에 의해 의도된 특정 제품은 사용자-특정 또는 세그먼트-특정 정보에 기반하여 식별 또는 "추측"되어야 한다.
그래서, 일부 실시예에서는, 단계(712)에서 소망 제품 식별 모듈(614)은 사용자에 의해 제공된 최초 식별과 매칭하는 적합한 소망 제품을 식별하도록 정보 학습기(610)에 의해 학습된 사용자-특정 정보 및 세그먼트-특정 정보를 사용한다.
일부 실시예에 있어서, 소망 제품 식별 모듈(614)은, 사용자에 의해 제공된 최초 식별과 매칭하는 제품에 대해 그리고 사용자-특정 및/또는 세그먼트-특정 정보에 대해 제품 정보를 검색하도록, 데이터세트(608)에 액세스하는데 데이터 액세서(604)를 그리고 사용자 정보 데이터베이스(612)에 액세스하는데 정보 학습기(610)를 사용한다. 그 후 소망 제품 식별 모듈(614)은 사용자에 의해 제공된 최초 식별과 매칭하는 그리고 사용자가 의도한 제품일 것 같은 제품을 식별하려고 노력한다.
예를 들어, 일부 실시예에 있어서, 소망 제품 식별 모듈(614)은 함께 구입되는 제품의 그룹의 식별을 사용할 수 있고, 미리 결정된 지속기간 내에 그룹 내 제품 중 하나 이상을 사용자가 구입하였는지 여부를 식별할 수 있다. 그러한 일부 실시예에 있어서, 함께 구입된 제품은 여러 사용자, 예를 들어 사용자와 연관된 사용자-세그먼트 내 모든 사용자 전부로부터 취합된 데이터에서, 예를 들어, 정보 학습기(610)에 의해 식별된다. 예를 들어, 정보 학습기(610)는 소정 백분율의 경우에서 파스타 소스를 구입한 사람들이 파스타 소스의 구입의 60일 내에 파스타도 구입한다고 검출할 수 있다. 그래서, 사용자가 최근에 파스타 소스를 구입하였으면, 이러한 정보는, 예를 들어, 사용자가 파스타 제품 및 다른 제품을 포함하는 브랜드를 최초 식별로서 주는지 나타내고 적합한 소망 제품을 식별하는데 도움이 될 수 있다.
단계(714)에서, 소망 제품 식별 모듈(614)은, 예를 들어, 식별된 적합한 소망 제품이 사용자에 의해 의도된 소망 제품일 가능성이 얼마나 있는지 그리고 식별된 적합한 소망 제품이 사용자에 의해 의도된 소망 제품이 아닐 가능성이 얼마나 없는지를 나타내는 신뢰도 점수를 각각의 식별된 적합한 소망 제품에 배정한다. 그리하여, 신뢰도 점수는, 예를 들어 사용자-특정 및 세그먼트-특정 정보를 사용하여 결정되는 바와 같이, 제품이 사용자에게 얼마나 적합한지에 의해, 그리고 여러 다른 제품이 동등하게 또는 실질적으로 동등하게 사용자에게 얼마나 적합한지에 의해 영향을 받는다.
일부 실시예에 있어서, 소망 제품 식별 모듈(614)은 시간이 흐르면서 학습된 사용자-특정 및 세그먼트-특정 정보에, 사용자의 특정 쇼핑 또는 제품 사용 습관에, 친숙한 제품에 대한 사용자의 충성도에, 그리고/또는 여기 위에서 설명된 바와 같은 제품-제품 연관성에 기반하여 신뢰도 점수를 배정한다. 예를 들어, 사용자가 타이틀 "우유"를 제공하였고 사용자 이력은 사용자가 한 달에 한 번 탈지유를 그리고 일주일에 한 번 전유를 구입한다고 보여주고 있으면, 탈지유 및 전유에 부여되는 신뢰도 점수는 사용자가 탈지유 및 전유를 마지막으로 구입한 이후로 얼마나 많은 시간이 지나갔는지에 의존할 것이다.
다른 일례로서, 소망 사용자가 최초 식별로서 타이틀 "우유"를 제공하였고 사용자가 정기적으로 그리고 동등한 간격으로 전유 및 두유를 구입하여, 양자가 사용자에게 동등하게 적합하게 되면, 전유에 그리고 두유에 부여되는 신뢰도 점수는, 어느 것을 사용자가 의도하였는지 "추측"하는 것이 매우 어려우므로, 비교적 낮을 것이다. 다른 한편으로, 사용자가 전유를 정기적으로 그리고 두유를 가끔 구입하여, 두유가 사용자에 의해 구입될 가능성이 더 작고 전유가 사용자에 의해 구입될 가능성이 더 크게 되면, 전유에는, 그것이 사용자의 의도의 더 양호한 "추측"임이 명확하므로, 더 높은 신뢰도 점수가 부여될 것이다.
일부 실시예에 있어서, 적합한 소망 제품이 식별되고 나면, 실질적으로 단계(708)를 참조하여 여기 위에서 설명된 바와 같이, 단계(716)에서, 거리 계산 모듈(616)은 각각의 적합한 소망 제품과 그 적합한 소망 제품과 동일한 타이틀을 갖는 각각의 다른 제품 간 거리 점수를 계산한다.
실질적으로 단계(710)를 참조하여 여기 위에서 설명된 바와 같이, 단계(718)에서, 각각에 대해 적합한 제품 식별 모듈(618)은 소망 제품과 동일한 타이틀을 갖는 그리고 적합한 소망 제품과 양호한 유사도 점수 또는 그로부터 작은 거리를 갖는 하나 이상의 제품을 식별하고, 적합한 소망 제품 및 다른 적합한 제품과 관련된 정보를 사용자에게 제시를 위해 디스플레이(620)에 제공한다. 일부 실시예에 있어서, 적합한 제품 식별 모듈(618)은 각각의 식별된 적합한 제품에 그것이 유사한 적합한 소망 제품의 신뢰도 점수에 대응하는 신뢰도 점수를 배정한다.
일부 실시예에 있어서, 식별된 적합한 소망 제품 및 대용 적합한 제품이 디스플레이(620) 상에 제시되는 순서는, 식별된 적합한 소망 제품의 각각에 배정된 신뢰도 점수 및 각각의 식별된 소망 제품과 그 제품에 적합한 대용품 간 유사도 레벨과 같은, 다수의 기준에 의존한다. 예를 들어, 제1 식별된 적합한 소망 제품이 높은 신뢰도 점수를 가지고, 제2 식별된 적합한 소망 제품이 낮은 신뢰도 점수를 가지면, 더 높은 신뢰도 점수를 갖는 제품이 더 낮은 신뢰도 점수를 갖는 제품 전에 제시될 것이다. 일부 실시예에서는, 제1 적합한 소망 제품과 매우 유사한, 제1 적합한 소망 제품에 대한 대용품도 제2 식별된 적합한 소망 제품 전에 제시될 것이다.
일부 실시예에 있어서, 정보 학습기(610)는 주어진 타이틀에 대해 제품의 사용자 선택 및/또는 신뢰도 점수를 사용하여 사용자의 선호도 및 우선순위에 대해 학습하도록, 그리고 학습된 선호도에 기반하여 브랜드 및/또는 특징의 가중치의 업데이트를 달성하도록 구성된다.
일부 실시예에서는, 적합한 소망 제품 및 다른 적합한 제품 중 하나 이상의 이미지가 디스플레이(620) 상에서 사용자에게 디스플레이된다. 일부 실시예에서는, 영양 정보와 같이, 하나 이상의 적합한 소망 제품 및 다른 적합한 제품에 관한 정보가 디스플레이(620) 상에서 사용자에게 제시된다.
일부 실시예에서는, 미리 결정된 신뢰도 임계치 위의 신뢰도 점수를 갖는 적합한 소망 제품만이 디스플레이(620) 상에 제시된다.
여기에서의 교시의 일 실시예에 따라 사용자에게 적합한 제품의 식별을 위해 사용자 선호도를 학습하기 위한 방법의 일 실시예의 순서도인 도 8을 이제 참조한다. 도 8을 참조하여 여기 아래에 설명되는 방법은 도 7의 방법의 계속이라고 생각될 수 있다고 인식된다.
도 7의 단계(710, 718)를 참조하여 여기 위에서 논의된 바와 같이, 소망 제품(사용자에 의해 명시적으로 식별되든 디바이스(600)에 의해 자동으로 식별되든) 및 적합한 대용 제품이 디스플레이(620) 상에서 사용자에게 제시된다. 도 8을 참조하여 설명되는 방법은 일례의 방법이고, 어느 제품이 특정 사용자 또는 세그먼트에 대해 주어진 제품에 대한 대용품이라고 생각될 수 있는지와 같은 사용자-특정 및 세그먼트-특정 정보는, 예를 들어, 사용자의 쇼핑 카트 또는 목록 및 사용자의 구입 이력을 분석하는 것에 의해서와 같이 어느 다른 적합한 방식으로라도 학습될 수 있다고 인식된다.
도 8의 단계(800)에서 보이는 바와 같이, 소망 제품 및 적합한 대용품이 디스플레이(620) 상에서 사용자에게 제시되고 나면, 사용자는 사용자 입력 엔트리 엘리먼트(601)와 대화하고 사용될 제품을 선택한다. 예를 들어, 제품은, 예를 들어 도 3a 내지 도 4b를 참조하여 여기 위에서 설명된 바와 같이, 행동이 수행되어야 하는 것일 수 있다.
단계(802)에서, 프로세서(602)의 정보 학습기(610)는 사용자에게 제안된 대용 제품, 및 일부 실시예에서는 사용자에게 제안된 "가장 좋은" 또는 가장 가까운 대용 제품을 사용자에 의해 단계(800)에서 실제로 선택된 제품과 비교한다.
단계(804)에서 사용자가 가장 가까운 제안된 대용 제품을 선택하였다고 결정되면, 디바이스(600)가 사용자에게 적합한 대용 제품을 적절히 식별하였으므로, 아무것도 학습되지 않고, 방법은 참조 숫자(806)에서 마친다.
그렇지만, 단계(804)에서 사용자가 가장 가까운 제안된 제품과는 다른 대용 제품을 선택하였으면, 정보 학습기(610)는 다음번에는 더 좋은 대용품이 제안되도록 이것으로부터 학습하도록 구성된다. 가장 가까운 대용품과는 달랐던, 사용자에 의해 선택된 대용품이 사용자의 거동 패턴의 일부분으로서 사용자에 의해 선택되었는지 단일 발생이었는지 결정하기 위해, 단계(808)에서 정보 학습기(610)는 선택된 대용 제품이 사용자에 의해 반복적으로 선택되는지 알아보도록 체크한다.
일부 실시예에 있어서, 대용 제품은, 사용자가 그 제품을, 예를 들어 다른 제품에 대한 대용품으로서, 미리 결정된 횟수 선택하면 반복적으로 선택된다고 생각된다. 일부 실시예에 있어서, 대용 제품은, 사용자와 연관된 세그먼트 내 사용자가, 누적하여, 그 제품을, 예를 들어 다른 제품에 대한 대용품으로서, 미리 결정된 횟수 선택하면 반복적으로 선택된다고 생각된다. 일부 실시예에 있어서, 미리 결정된 횟수는, 식별된 적합한 소망 제품으로부터 더 큰 거리를 갖는 대용 제품이 반복된 제품이라고 생각될 더 큰 횟수 사용자에 의해 선택될 필요가 있도록, 식별된 적합한 소망 제품으로부터 대용 제품의 거리에 의존한다.
사용자에 의해 선택된 대용품이 반복적으로 선택된 제품이라고 이미 생각되지 않으면, 단계(810)에서, 이 대용품이 선택되는 횟수의 카운터가 정보 학습기(610)에 의해 증가된다.
대용 제품이 반복적으로 선택된 제품이라고 생각되면, 단계(812)에서 정보 학습기(610)는 (도 7의 단계(700)에서) 사용자에 의해 최초로 입력된 소망 제품에 대한 새로운 대안으로서 사용자 정보 데이터베이스(612)에 대용 제품을 저장한다.
대용 제품을 새로운 대안으로서 저장한 다음에, 일부 실시예에 있어서, 데이터세트(608)의 또는 사용자 정보 데이터베이스(612)의 오퍼레이터와 같은 오퍼레이터는, 단계(814)에서, 사용자의 선택과 가장 가까운 제안된 대용품 간 불일치에 대한 경보를 받고, 단계(816)에서, 사용자에 의해 지지된 대용품이 장래에 가장 가까운 대용품으로서 선택될 것임을 보장하도록 시스템 파라미터를 조절하여, 그로써 사용자 선택된 대용품과 가장 가까운 제안된 대용품 간 불일치로부터 학습한다.
대안으로 또는 부가적으로, 일부 실시예에 있어서, 프로세서(602)는, 단계(818)에서, 사용자에 의해 선택된 제품이 가장 가까운 대용품으로서 제안되지 않았던 이유를 자동으로 검출하고, 단계(816)에서 시스템 파라미터를 자동으로 조절한다.
일부 실시예에 있어서, 프로세서는 사용자 선택과 가장 가까운 제안된 대용품 간 불일치가, 예를 들어 부적합하게 배정된 특징 가중치에 기인하여, 제품의 특성에 기인하는 것과 같이, 타이틀의 특성에 기인하는지 검출한다.
일부 실시예에 있어서, 시스템 파라미터를 조절하는 것은 가장 가까운 제안된 대용품에 대한, 사용자 선택된 대용 제품에 대한, 그리고/또는 소망 제품에 대한 제품 특징을 조절하는 것을 포함한다. 일부 실시예에 있어서, 시스템 파라미터를 조절하는 것은 가장 가까운 제안됨 대용품, 사용자 선택된 대용품, 및/또는 소망 제품과 연관된 타이틀을 변경하는 것을 포함한다. 일부 실시예에 있어서, 시스템 파라미터를 조절하는 것은, 특징 가중치보다 사용자의 제품 우선순위에 더 많거나 더 적은 가중치를 부여하도록, 사용자의 제품 우선순위와 연관된 적극성을 조절하는 것을 포함한다. 일부 실시예에 있어서, 시스템 파라미터를 조절하는 것은 최적화 우선순위일 제품 특징을 변경하는 것 및 그 역도 마찬가지로 포함한다.
도 6의 디바이스 및 도 7 및 도 8의 방법은 여러 다른 응용 및 용도로 사용될 수 있다고 인식된다.
예를 들어, 도 6 내지 도 8의 디바이스 방법은, 식료를 온라인 주문하는데 사용되는 것과 같이, UPC 특정 식료 목록으로 타이틀 기반 식료 목록을 변환하도록 사용될 수 있다. 다른 일례로서, 도 6 내지 도 8의 디바이스 방법은 이용불가능한 제품에 대한 대용 제품을 사용자에게 제안하도록, 구입될 제품의 목록을 수신한, 온라인 벤더에 의해 사용될 수 있다.
도 6 내지 도 8의 디바이스 및 방법은 또한 사용자의 특성에 맞춰진 가격 비교 서비스를 제안하도록 사용될 수 있다. 예를 들어, 시스템은, 가격책정 데이터를 포함하여, 적어도 2개의 슈퍼마켓에 의해 운반된 모든 제품에 대한 데이터를 유지하고 있을 것이다. 사용자는, UPC와 같이 소망 제품의 특칭을 포함하든지 또는 제품의 타이틀, 설명, 브랜드 또는 별칭을 포함하든지 하는 식료 목록을 제공할 것이다. 그 후 시스템은 슈퍼마켓의 각각에서의 목록 내 모든 제품에 대한 총 비용을 사용자에게 제안할 것이다. 각각의 슈퍼마켓에 있어서, 총 비용을 계산하는데 사용된 제품은 사용자-특정 및 세그먼트-특정 정보에 기반하여 여기 위에서 설명된 방법을 사용하여 그 슈퍼마켓에 의해 운반된 제품으로부터 선택된다. 그러한 일부 실시예에 있어서, 시스템은 또한 최적화된 파라미터의 여러 다른 최적화 적극성 레벨에 기반하여 여러 다른 가격을 갖는 수개의 가능한 제품 목록을 제안할 수 있다.
도 6 내지 도 8의 디바이스 및 방법은 또한 사용자-특정 및 세그먼트-특정 정보에 기반하여 검색하는 사용자에게 구체적으로 적당한 검색 용어 완성을 제안하도록 사용될 수 있다. 예를 들어, 사용자가 검색 용어를 타이핑하기 시작할 때, 시스템은 입력으로서 제공된 부분적 검색 용어로 시작하는 타이틀, 브랜드, 별칭 및 제품 설명에 대해 체크할 수 있다. 시스템은 여기 위에서 설명된 방법을 사용하여 사용자가 검색하도록 의도하는 가장 확률 높은 제품이 무엇인지 추측할 수 있고, 사용자의 선택을 위해 그 제품들을 디스플레이한다. 시스템은 또한 특정 가능한 제품을 제안하는 것에 부가하여 타이틀, 별칭 및/또는 브랜드를 제안할 수 있다.
예를 들어, 사용자가 "미"를 타이핑하고 나면, 시스템은 이하의 옵션을 제안할 수 있다 -
타이틀 - 밀크
브랜드 - 밀카
제품 - 민트 차, 저-지방 밀크
그리고 사용자는 소망 옵션을 선택할 수 있다. 선택된 옵션이 특정 제품이 아니라 그보다는 타이틀, 브랜드 또는 별칭인 경우에, 사용자가 소망 옵션을 선택하고 나면, 그에게는 그 옵션 내 제품의 목록이 제시될 수 있다. 위의 예에 있어서, 사용자가 브랜드 밀카를 선택하였으면, 그에게는 그 브랜드의 특정 제품 전부가 제시될 것이다.
도 6 내지 도 8의 디바이스 및 방법은 또한 A-B 테스트 최적화를 제안하도록 사용될 수 있으며, 거기서 시스템은 그의 최적화 우선순위에 기반하여 사용자에게 더 적합하고 소비자가 현재 소비하고 있는 제품과 충분히 유사한 이용가능한 제품을 찾는다. 그러한 제품이 식별되고 나면, 그것은, 가능하다면 무료로, 가능하다면 작은 수량으로, 소비자에게 제공된다. 사용자는 제안된 제품으로부터의 그의 만족에 관한 입력을 제공할 수 있거나, 또는 시스템은 사용자에게 그 제안 다음에 그 제안된 제품의 구입 정도에 기반하여 사용자의 만족 레벨을 자동으로 식별할 수 있다. 식별된 사용자 소비 및 만족에 기반하여, 제품은 사용자에 의해 구입될 것 같은 제품에 포함될 수 있고, 시스템은 제안된 제품이 소망 제품으로서 또는 여기에서 설명된 방법에서의 적합한 대용품으로서 식별되도록 적응될 수 있다.
일부 경우에 있어서, 시스템은, 예를 들어, 제품이 얼마나 빨리 소비되었는지 그리고/또는 쓰레기통에 포장이 비어서 버려졌는지 차서 버려졌는지 검출하는 센서를 사용하여, 제안된 제품의 사용자 소비를 자동으로 식별할 수 있다.
그러한 테스트 최적화는 또한, 광고된 제품이 사용자의 최적화 우선순위에 기반하여 더 적합하면, 제조자가 제품이 적합할 수 있는 사용자에게 그들 제품의 샘플을 제공할 수 있도록, 광고에 의해 지원될 수 있다. 일부 경우에 있어서, 유사한 최적화 우선순위를 갖는 또는 소정 세그먼트 내의 충분히 높은 백분율의 소비자가 이전에 사용하고 있던 제품 대신에 제안된 제품을 사용하는 것으로 전환하였다고 시스템이 식별하면, 그것은 새로운 제안된 제품이 그 최적화 우선순위를 갖는 또는 그 세그먼트의 사용자에게 제안될 가능성이 더 크게 되도록 제품 가중치를 적응시킬 수 있다.
본 출원의 맥락에서, 용어 "물건" 및 "제품"은, 구입가능한 제품, 소매 제품, 도매 제품, 창고 제품, 쿠폰, 이미지 및 가공 제품을 포함하는, 소매 또는 상업 환경에서 사용자에 의해 사용될 수 있는 어느 물건과도 관련되고, 예를 들어, 식료, 전자 제품, 건강 관리 제품, 화장 제품, 서적, 완구, 게임 및 탈것을 포함하는 어느 유형의 제품과도 관련될 수 있다.
본 출원의 맥락에서, 용어 "소매점"은, 물리적 장소이든 가상 장소이든, 물건 또는 제품이 판매되는 어느 점포와도 관련되고, 소매 상점, 도매 상점, 창고, 온라인 상점 및 판매 부스를 포함한다.
본 출원의 맥락에서, 용어 "타이틀"은, 보통의 대화에서 사람들에 의해 사용되는 바와 같은, 제품의 자연 명칭과 관련되거나, 또는 물건 또는 물건 그룹을 설명하는데 사용될 수 있는 어느 다른 키워드 또는 구절과 관련된다.
본 출원의 맥락에서, 용어 "특징"은, 물건 또는 제품에 적용될 때, 물건 또는 제품에 관한 정보를 제공하는, 그리고 제품을 고유하게 식별하도록 그리고/또는 제품에 대한 대용품을 식별하도록 사용될 수 있는, 물건 또는 제품의 어느 특성과도 관련된다.
본 출원의 맥락에서, 용어 "세그먼트"는, 기계 학습 알고리즘이 세그먼트 내 각각의 사용자 또는 제품에 대해 학습하는데 공통 특성을 사용할 수 있도록, 공통 특성을 공유하는 사용자 그룹 또는 제품 그룹과 관련된다.
여기에서의 교시의 맥락에서, 용어 "별칭"은, 제품의 타이틀 또는 브랜드가 아닌, 사용자가 그 제품에 공통으로 사용하는 명칭과 관련된다. 예를 들어, 복수의 제품에 대한 별칭은 "디저트"일 수 있다.
명확성을 위해 별개의 실시예의 맥락에서 설명되는 본 발명의 소정 특징은 단일 실시예에서 조합하여 제공될 수도 있다고 인식된다. 반대로, 간략성을 위해 단일 실시예의 맥락에서 설명되는 본 발명의 다양한 특징은 별개로 또는 어느 적합한 하위 조합으로라도 또는 본 발명의 어느 다른 설명된 실시예에서 적합한 대로 제공될 수도 있다. 다양한 실시예의 맥락에서 설명된 소정 특징은, 그 실시예가 그들 구성요소 없이는 동작불능이지 않는 한, 그 실시예의 필수 특징이라고 생각되어서는 안 된다.
본 발명이 그 특정 실시예와 함께 설명되었지만, 많은 대안, 수정 및 변형이 당업자에게는 명백할 것임이 분명하다. 따라서, 첨부 청구항의 범위 내에 드는 모든 그러한 대안, 수정 및 변형을 포괄하려는 의도이다.
본 출원에서의 어떠한 참조의 인용 또는 식별이라도 그러한 참조가 본 발명에 대한 종래 기술로서 이용가능한 것이라는 자인으로서 해석되어서는 안 된다.
절 제목은 여기에서는 본 명세서의 이해를 용이하게 하도록 사용되며 반드시 한정한다고 해석되지는 않아야 한다.

Claims (79)

  1. 목록 및 데이터베이스 중 적어도 하나를 생성 및 업데이트하기 위한 방법으로서,
    이미지 캡처링 엘리먼트 부근의 물건의 적어도 하나의 이미지를 캡처링하도록 상기 이미지 캡처링 엘리먼트를 트리거링하는 단계;
    상기 물건의 특징을 식별하도록 상기 적어도 하나의 이미지를 분석하는 단계;
    적어도 식별된 상기 특징에 기반하여 상기 물건을 고유하게 식별하는 단계;
    적어도 하나의 사용자 제스처를 검출하도록 상기 물건, 다른 물건 및 손 중 적어도 하나의 모션을 추적하는 단계;
    상기 제스처와 연관된 행동을 식별하도록 특정 사용자의 선호도 및 제스처와 관련된 사용자-특정 정보에 적어도 기반하여 검출된 상기 적어도 하나의 사용자 제스처를 해석하는 단계로서, 상기 행동은 물건 목록에 대한 업데이트 및 상기 물건 목록과 연관된 디스플레이에서의 변화 중 적어도 하나와 관련된, 상기 해석하는 단계; 및
    상기 해석에 기반하여, 상기 행동을 수행하는 단계를 포함하되,
    상기 사용자-특정 정보는 시간이 흐르면서 학습되는 방법.
  2. 제1항에 있어서, 상기 물건은 식료 제품을 포함하고, 상기 목록은 식료 목록을 포함하는 방법.
  3. 제1항에 있어서, 상기 물건은 소매 제품 및 재고 물품 중 적어도 하나를 포함하고, 상기 목록은 쇼핑 목록 및 재고 목록 중 적어도 하나를 포함하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 사용자-특정 정보는 상기 사용자의 구입 이력에 관한 정보, 상기 사용자의 목록 이력에 관한 정보, 상기 사용자의 제스처에 관한 정보, 상기 사용자의 화법에 관한 정보, 및 상기 사용자가 연관되는 하나 이상의 사용자 세그먼트에 관한 정보 중 적어도 하나를 포함하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 트리거링하는 단계는 상기 이미지 캡처링 엘리먼트를 자동으로 트리거링하는 단계를 포함하고, 상기 자동으로 트리거링하는 단계는,
    적어도 하나의 센서를 사용하여, 상기 이미지 캡처링 엘리먼트의 상기 부근에서의 사용자-특정 모션 패턴을 식별하도록 상기 이미지 캡처링 엘리먼트의 상기 부근을 스캐닝하는 단계; 및
    상기 사용자-특정 모션 패턴의 식별 시 상기 이미지 캡처링 엘리먼트를 트리거링하는 단계를 포함하는 방법.
  6. 제5항에 있어서, 상기 사용자-특정 모션 패턴은 상기 이미지 캡처링 엘리먼트를 포함하는 디바이스와 연관된 모션 패턴의 레퍼토리의 일부분을 형성하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 사용자-특정 정보는 사용자-특정 트리거링 태양과 관련된 정보를 포함하고, 상기 사용자-특정 트리거링 태양은,
    상기 트리거링의 시점에 상기 이미지 캡처링 엘리먼트로부터 상기 사용자의 거리;
    상기 트리거링의 상기 시점에 상기 사용자에 의해 사용된 트리거링 제스처;
    상기 트리거링 제스처의 속도;
    상기 트리거링 제스처의 타이밍;
    상기 트리거링을 목적으로 상기 사용자가 상기 이미지 캡처링 엘리먼트의 상기 부근에 있는 지속시간;
    상기 트리거링 동안 상기 사용자가 상기 물건을 드는 들고 있는 패턴의 특성;
    음성 커맨드를 사용하여 상기 이미지 캡처링 엘리먼트와 연관된 디바이스의 행동을 트리거링하려는 상기 사용자의 성향; 및
    상기 디바이스의 행동을 트리거링하도록 상기 사용자에 의해 수행된 행동 시퀀스의 특성 중 적어도 하나를 포함하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 트리거링하는 단계는 상기 사용자에 의해 수행된 적어도 하나의 미리 결정된 트리거링 제스처를 인식하는 단계를 포함하고, 상기 사용자-특정 정보는 상기 적어도 하나의 미리 결정된 트리거링 제스처의 사용자-특정 뉘앙스를 포함하는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 트리거링하는 단계는,
    상기 사용자가 수행하기를 바라는 특정 행동을 식별하도록 상기 사용자의 거동을 분석하는 단계; 및
    식별된 상기 특정 행동을 수행하는데 적당한 상기 이미지 캡처링 엘리먼트와 연관된 디바이스의 특정 컴포넌트를 활성화하는 단계를 포함하는 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 트리거링하는 단계는 상기 트리거링 동안 획득된 데이터에 기반하여 계산 자원을 활성화함으로써 상기 적어도 하나의 이미지를 상기 분석하는 단계, 상기 물건을 상기 고유하게 식별하는 단계, 상기 추적하는 단계, 상기 해석하는 단계, 및 상기 수행하는 단계 중 적어도 하나에 대한 상기 계산 자원의 가용성을 관리하는 단계를 포함하는 방법.
  11. 제10항에 있어서, 상기 가용성을 관리하는 단계는, 트리거링 이벤트가 확정적으로 식별되지 않으면, 트리거링 이벤트가 발생했는지 결정하도록 구성된 계산 자원을 활성화하는 단계를 포함하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 트리거링하는 단계는 적어도 하나의 트리거링 이미지에서 상기 물건의 3차원 구조를 식별하도록 상기 적어도 하나의 트리거링 이미지를 분석하는 단계를 포함하는 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 산란형 조명 패턴 및 구조형 조명 패턴 중 적어도 하나로 다색 조명 및 단색 조명 중 적어도 하나를 사용하여 상기 적어도 하나의 이미지를 상기 캡처링하는 동안 상기 물건을 조명하는 단계를 또한 포함하는 방법.
  14. 제13항에 있어서, 상기 조명하는 단계는 상기 이미지 캡처링 엘리먼트와 연관된 디스플레이의 백라이트를 사용하여 상기 물건을 조명하는 단계를 포함하는 방법.
  15. 제14항에 있어서, 상기 이미지 캡처링 엘리먼트에 의해 캡처링된 상기 적어도 하나의 이미지는 복수의 이미지를 포함하고, 상기 백라이트를 사용하는 것은 상기 물건을 다른 각도로부터 조명하여 그로써 상기 복수의 이미지 중 다른 이미지에서 다른 음영 패턴을 발생시키도록 제어된 방식으로 상기 물건을 조명하도록 상기 디스플레이의 상기 백라이트를 사용하는 것을 포함하는 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서, 상기 이미지 캡처링 엘리먼트의 상기 부근은 사용자-특정적이고 상기 사용자-특정 정보의 일부분으로서 시간이 흐르면서 학습되는 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 물건을 상기 고유하게 식별하는 단계는 학습된 상기 사용자-특정 정보 및 상기 이미지 캡처링 엘리먼트를 포함하는 특정 디바이스의 사용자와 관련된 정보 중 하나 이상에 기반하여 상기 물건을 고유하게 식별하는 단계를 포함하는 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서, 각각의 사용자를 적어도 하나의 사용자-세그먼트와 연관시키는 단계를 또한 포함하되, 상기 물건을 상기 고유하게 식별하는 단계는 상기 사용자-세그먼트 내 사용자의 선호도 및 제스처 중 적어도 하나와 관련된 세그먼트-특정 정보에 또한 기반하여 상기 물건을 고유하게 식별하는 단계를 포함하고, 상기 세그먼트-특정 정보는 시간이 흐르면서 학습되는 방법.
  19. 제18항에 있어서, 상기 해석은 세그먼트-특정 정보에 또한 기반하는 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서, 상기 물건을 상기 고유하게 식별하는 단계는 입력 엔트리 엘리먼트를 통하여 상기 사용자에 의해 제공된 입력에 기반하여 상기 물건을 고유하게 식별하는 단계를 포함하는 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    상기 적어도 하나의 이미지를 상기 분석하는 단계는 상기 고유하게 식별하는 단계에 충분한 수의 상기 특징을 식별하지 않고,
    상기 고유하게 식별하는 단계는 상기 이미지의 상기 캡처링 동안 캡처링된 입력 및 입력 엔트리 엘리먼트를 통하여 상기 사용자에 의해 제공된 입력 중 적어도 하나를 사용하여, 상기 물건을 고유하게 식별하는 단계; 및
    상기 입력에 기반하여 상기 물건을 상기 고유하게 식별하는 단계 다음에, 물건-특징 데이터베이스 내 상기 물건에 대한 엔트리를 업데이트하는 단계를 포함하는 방법.
  22. 제1항 내지 제21항 중 어느 한 항에 있어서, 상기 모션을 추적하는 단계는 적어도 하나의 강한 공간 구배(spatial gradient)를 갖는 3차원 영역을 상기 물건의 이미지 서명에서 식별하는 단계, 및 상기 물건의 모션의 궤적을 식별하도록 상기 영역을 추적하는 단계를 포함하는 방법.
  23. 제1항 내지 제21항 중 어느 한 항에 있어서, 상기 모션을 추적하는 단계는 상기 물건의 상기 적어도 하나의 이미지의 여러 다른 위치에 분포된 국부적 특징의 복수의 측정치를 추출하는 단계, 및 상기 물건의 모션의 궤적을 식별하도록 상기 국부적 특징을 추적하는 단계를 포함하는 방법.
  24. 제1항 내지 제23항 중 어느 한 항에 있어서, 상기 사용자 제스처를 상기 해석하는 단계는 추적된 상기 모션에 대응하는 특정 상기 행동과 연관된 사용자-특정 제스처를 식별하도록 상기 사용자-특정 정보를 사용하는 단계를 포함하는 방법.
  25. 제1항 내지 제24항 중 어느 한 항에 있어서, 상기 사용자 제스처를 상기 해석하는 단계는 추적된 상기 모션에 대응하는 특정 상기 행동과 연관된 사용자-특정 제스처를 식별하도록 상기 사용자-특정 정보 및 상기 물건의 적어도 하나의 물리적-특징에 관한 정보를 사용하는 단계를 포함하는 방법.
  26. 제1항 내지 제25항 중 어느 한 항에 있어서, 상기 해석은 상기 이미지 캡처링 엘리먼트를 포함하는 특정 디바이스의 사용자와 관련된 디바이스-특정 정보에 또한 기반하며, 상기 디바이스-특정 정보는 시간이 흐르면서 학습되는 방법.
  27. 제1항 내지 제26항 중 어느 한 항에 있어서, 상기 행동은,
    상기 물건의 특정 수의 발생을 상기 목록에 추가하는 것;
    상기 물건의 특정 수의 발생을 상기 목록으로부터 제거하는 것;
    식별된 상기 물건에 대한 대용품으로서 사용될 수 있는 적어도 하나의 물건을 디스플레이하는 것;
    식별된 상기 물건과 관련된 정보를 디스플레이하는 것;
    상기 목록을 디스플레이하는 것;
    상기 목록에서 상기 물건을 대용 물건으로 대체하는 것;
    특정 물건을 찾도록 데이터베이스에서 검색하는 것;
    식별된 상기 물건과 유사한 물건을 찾도록 데이터베이스에서 검색하는 것;
    적어도 하나의 필터링 기준에 기반하여 상기 목록을 필터링하는 것;
    상기 목록을 특정 순서로 분류하는 것;
    상기 사용자의 물건 이력과 관련된 정보를 디스플레이하는 것; 및
    도움 또는 지원을 요청하는 것 중 적어도 하나를 포함하는 방법.
  28. 제1항 내지 제27항 중 어느 한 항에 있어서,
    상기 물건은 다수-단위 물건 포장의 단일 단위를 포함하고,
    상기 고유하게 식별하는 단계는 상기 물건의 고유한 상기 식별, 상기 사용자-특정 정보, 및 세그먼트-특정 정보 중 적어도 하나를 사용하여, 상기 물건과 연관된 상기 다수-단위 물건 포장을 고유하게 식별하는 단계를 또한 포함하고, 그리고
    상기 행동을 상기 수행하는 단계는 상기 다수-단위 물건 포장에 관해 상기 행동을 수행하는 단계를 포함하는 방법.
  29. 제1항 내지 제28항 중 어느 한 항에 있어서, 상기 물건 목록을 업데이트하는 것 및 상기 물건 목록과 연관된 상기 디스플레이를 변화시키는 것 중 적어도 하나에 대한 음성 커맨드를 수신하는 단계를 또한 포함하는 방법.
  30. 제1항 내지 제29항 중 어느 한 항에 있어서, 검출된 상기 사용자 제스처와 연관된 어떠한 행동도 식별되지 않으면, 상기 방법은 또한,
    검출된 상기 제스처에 관한 부가적 입력을 획득하는 단계;
    검출된 상기 제스처의 태양을 특징짓는 단계;
    검출된 상기 제스처가 반복된 제스처인지 식별하는 단계;
    검출된 상기 제스처가 반복된 제스처로서 식별되지 않으면, 검출된 상기 제스처를 잠재적 제스처로서 저장하는 단계; 및
    검출된 상기 제스처가 반복된 제스처로서 식별되면,
    검출된 상기 제스처가 사용자 의존성인지 및 검출된 상기 제스처가 포장 의존성인지 중 적어도 하나를 식별하는 단계;
    행동을 상기 제스처와 연관시키는 단계; 및
    검출된 상기 제스처 및 당해 연관된 상기 행동을 식별된 상기 의존성에 기반하여 저장하는 단계를 포함하는 방법.
  31. 제30항에 있어서, 상기 부가적 입력을 상기 획득하는 단계는 상기 물건과 관련된 입력을 획득하는 단계를 포함하는 방법.
  32. 제30항 또는 제31항에 있어서, 상기 부가적 입력을 상기 획득하는 단계는 상기 사용자로부터 부가적 입력을 수신하는 단계를 포함하는 방법.
  33. 제30항 내지 제32항 중 어느 한 항에 있어서, 상기 부가적 입력을 상기 획득하는 단계는 상기 사용자가 연관되는 사용자-세그먼트와 관련된 세그먼트-특정 입력을 획득하는 단계를 포함하는 방법.
  34. 제30항 내지 제33항 중 어느 한 항에 있어서, 검출된 상기 제스처가 반복된 제스처인지 상기 식별하는 단계는 상기 제스처의 검출 직후에 상기 사용자가 상기 제스처를 반복하는지 식별하는 단계를 포함하는 방법.
  35. 제30항 내지 제34항 중 어느 한 항에 있어서, 검출된 상기 제스처가 반복된 제스처인지 상기 식별하는 단계는 상기 제스처가 잠재적 제스처로서 저장되었음을 식별하는 단계를 포함하는 방법.
  36. 제30항 내지 제35항 중 어느 한 항에 있어서, 검출된 상기 제스처가 반복된 제스처인지 상기 식별하는 단계는 상기 반복된 제스처가 상기 행동을 수행하려는 상기 사용자의 의도를 반영하지 않음을 식별하는 단계를 포함하는 방법.
  37. 제1항 내지 제36항 중 어느 한 항에 있어서, 상기 분석하는 단계, 고유하게 식별하는 단계, 해석하는 단계, 및 상기 행동을 수행하는 단계 중 적어도 하나는 상기 이미지 캡처링 엘리먼트에 원격으로 위치한 서버에서 수행되는 방법.
  38. 제1항 내지 제37항 중 어느 한 항에 있어서, 상기 고유하게 식별하는 단계 다음에, 상기 이미지 캡처링 엘리먼트와 연관된 디스플레이 상에, 식별된 상기 물건과 관련된 정보, 식별된 상기 물건의 가상 모델, 및 상기 목록 중 적어도 하나를 디스플레이하는 단계를 또한 포함하는 방법.
  39. 목록 또는 데이터베이스를 생성 및 업데이트하기 위한 디바이스로서, 상기 디바이스는,
    시간이 흐르면서 특정 사용자의 선호도 및 제스처와 관련된 사용자-특정 정보를 학습하고 그리고 학습된 상기 사용자-특정 정보를 저장하도록 구성된 정보 학습기;
    트리거링 이벤트를 식별하도록 구성된 트리거링 모듈;
    상기 트리거링 모듈과 기능적으로 연관되고, 상기 트리거링 이벤트의 식별 다음에, 이미지 캡처링 엘리먼트 부근의 물건의 적어도 하나의 이미지를 캡처링하기 위해 상기 트리거링 모듈에 의해 트리거링되도록 구성된 상기 이미지 캡처링 엘리먼트; 및
    상기 이미지 캡처링 엘리먼트와 기능적으로 연관되고, 상기 이미지 캡처링 엘리먼트에 의해 캡처링된 상기 적어도 하나의 이미지를 분석하고, 상기 물건의 특징을 식별하고, 그리고 적어도 식별된 상기 특징에 기반하여 상기 물건을 고유하게 식별하도록 구성된 물건 식별기;
    적어도 하나의 사용자 제스처를 검출하기 위해 상기 물건, 다른 물건 및 손 중 적어도 하나의 모션을 추적하도록 구성된 모션 식별기;
    상기 모션 식별기와 그리고 상기 정보 학습기와 기능적으로 연관되고, 상기 제스처와 연관된 행동을 식별하기 위해 상기 사용자-특정 정보에 적어도 기반하여 검출된 상기 적어도 하나의 사용자 제스처를 해석하도록 구성된 제스처 해석기로서, 상기 행동은 물건 목록에 대한 업데이트 및 상기 물건 목록과 연관된 디스플레이에서의 변화 중 적어도 하나와 관련된, 상기 제스처 해석기; 및
    상기 제스처 해석기와 기능적으로 연관되고, 상기 제스처 해석기의 상기 해석에 기반하여, 상기 제스처와 연관된 상기 행동을 수행하도록 구성된 행동 모듈을 포함하는 디바이스.
  40. 제39항에 있어서, 상기 물건은 식료 제품을 포함하고, 상기 목록은 식료 목록을 포함하는 디바이스.
  41. 제39항에 있어서, 상기 물건은 소매 제품 및 재고 물품 중 적어도 하나를 포함하고, 상기 목록은 쇼핑 목록 및 재고 목록 중 적어도 하나를 포함하는 디바이스.
  42. 제39항 내지 제41항 중 어느 한 항에 있어서, 상기 정보 학습기는 상기 사용자의 구입 이력에 관한 정보, 상기 사용자의 목록 이력에 관한 정보, 상기 사용자의 제스처에 관한 정보, 상기 사용자의 화법에 관한 정보, 및 상기 사용자가 연관되는 하나 이상의 사용자 세그먼트에 관한 정보 중 적어도 하나를 학습하도록 구성되는 디바이스.
  43. 제39항 내지 제42항 중 어느 한 항에 있어서, 상기 트리거링 모듈은 적어도 하나의 센서를 포함하고 그리고,
    상기 이미지 캡처링 엘리먼트의 상기 부근을 스캐닝하기 위해 그리고 상기 이미지 캡처링 엘리먼트의 상기 부근에서의 사용자-특정 모션 패턴을 식별하기 위해 상기 적어도 하나의 센서를 사용하고, 그리고
    상기 사용자-특정 모션 패턴의 식별 시 상기 이미지 캡처링 엘리먼트를 트리거링하도록 구성되는 디바이스.
  44. 제43항에 있어서, 상기 사용자-특정 모션 패턴은 상기 정보 학습기에 의해 학습된 그리고 특정 상기 디바이스와 연관된 모션 패턴의 레퍼토리의 일부분을 형성하는 디바이스.
  45. 제39항 내지 제44항 중 어느 한 항에 있어서, 상기 정보 학습기는 사용자-특정 트리거링 태양과 관련된 정보를 학습하도록 구성되고, 상기 사용자-특정 트리거링 태양은,
    상기 트리거링 모듈에 의해 상기 이미지 캡처링 엘리먼트를 트리거링하는 시점에 상기 이미지 캡처링 엘리먼트로부터 상기 사용자의 거리;
    상기 트리거링의 상기 시점에 상기 사용자에 의해 사용된 트리거링 제스처;
    상기 트리거링 제스처의 속도;
    상기 트리거링 제스처의 타이밍;
    상기 트리거링을 목적으로 상기 사용자가 상기 디바이스의 상기 부근에 있는 지속시간;
    트리거링 동안 상기 사용자가 상기 물건을 드는 들고 있는 패턴의 특성;
    음성 커맨드를 사용하여 상기 디바이스의 행동을 트리거링하려는 상기 사용자의 성향; 및
    상기 디바이스의 행동을 트리거링하도록 상기 사용자에 의해 수행된 행동 시퀀스의 특성 중 적어도 하나를 포함하는 디바이스.
  46. 제39항 내지 제45항 중 어느 한 항에 있어서, 상기 트리거링 모듈은 상기 사용자에 의해 수행된 적어도 하나의 미리 결정된 트리거링 제스처를 인식하도록 구성되고, 상기 정보 학습기는 상기 적어도 하나의 미리 결정된 트리거링 제스처의 사용자-특정 뉘앙스를 학습하도록 구성되는 디바이스.
  47. 제39항 내지 제46항 중 어느 한 항에 있어서, 상기 트리거링 모듈은,
    상기 사용자가 수행하기를 바라는 특정 상기 행동을 식별하기 위해 상기 사용자의 거동을 분석하고; 그리고
    식별된 특정 상기 행동을 수행하는데 적당한, 상기 디바이스의 특정 컴포넌트를 활성화하도록 구성되는 디바이스.
  48. 제39항 내지 제47항 중 어느 한 항에 있어서, 상기 트리거링 모듈은 상기 이미지 캡처링 엘리먼트의 트리거링 동안 획득된 데이터에 기반하여 계산 자원을 활성화함으로써 상기 정보 학습기, 상기 물건 식별기, 상기 모션 식별기, 상기 제스처 해석기, 및 상기 행동 모듈 중 적어도 하나에 대한 상기 계산 자원의 가용성을 관리하도록 구성되는 디바이스.
  49. 제48항에 있어서, 상기 트리거링 모듈은, 트리거링 이벤트가 확정적으로 식별되지 않으면, 트리거링 이벤트가 발생했는지 결정하도록 구성된 계산 자원을 활성화하도록 구성되는 디바이스.
  50. 제39항 내지 제48항 중 어느 한 항에 있어서, 구조형 조명 패턴 및 산란형 조명 패턴 중 적어도 하나로 다색 및 단색 조명 중 적어도 하나를 사용하여 상기 적어도 하나의 이미지를 상기 캡처링하는 동안 상기 물건을 조명하도록 구성된 조명 소스를 또한 포함하는 디바이스.
  51. 제50항에 있어서, 디스플레이를 또한 포함하되 상기 조명 소스는 상기 디스플레이의 백라이트를 포함하는 디바이스.
  52. 제51항에 있어서, 상기 적어도 하나의 이미지는 복수의 이미지를 포함하고, 상기 디스플레이의 상기 백라이트는 상기 물건을 다른 각도로부터 조명하여 그로써 상기 복수의 이미지 중 다른 이미지에서 다른 음영 패턴을 발생시키도록 제어된 방식으로 상기 물건을 조명하도록 구성되는 디바이스.
  53. 제39항 내지 제52항 중 어느 한 항에 있어서, 상기 정보 학습기는, 상기 사용자-특정 정보의 일부분으로서, 시간이 흐르면서 상기 사용자에 대한 상기 디바이스의 상기 부근의 크기를 학습하도록 구성되는 디바이스.
  54. 제39항 내지 제53항 중 어느 한 항에 있어서, 상기 트리거링 모듈은 적어도 하나의 트리거링 이미지에서 상기 물건의 3차원 구조를 식별하여 그로써 상기 트리거링 이벤트를 식별하도록 구성되는 디바이스.
  55. 제39항 내지 제54항 중 어느 한 항에 있어서, 상기 물건 식별기는 학습된 상기 사용자-특정 정보 및 특정 상기 디바이스의 사용자와 관련된 정보 중 하나 이상에 기반하여 상기 물건을 고유하게 식별하도록 구성되는 디바이스.
  56. 제39항 내지 제55항 중 어느 한 항에 있어서, 상기 정보 학습기는 또한 각각의 사용자를 적어도 하나의 사용자-세그먼트와 연관시키고 그리고 시간이 흐르면서 상기 사용자-세그먼트 내 사용자의 선호도와 관련된 세그먼트-특정 정보를 학습하도록 구성되고, 상기 물건 식별기는 상기 세그먼트-특정 정보에 또한 기반하여 상기 물건을 고유하게 식별하도록 구성되는 디바이스.
  57. 제56항에 있어서, 상기 제스처 해석기는 상기 세그먼트-특정 정보에 또한 기반하여 검출된 상기 사용자 제스처를 해석하도록 구성되는 디바이스.
  58. 제39항 내지 제57항 중 어느 한 항에 있어서, 상기 물건 식별기는 입력 엔트리 엘리먼트를 통하여 상기 사용자에 의해 제공된 입력에 기반하여 상기 물건을 고유하게 식별하도록 구성되는 디바이스.
  59. 제39항 내지 제58항 중 어느 한 항에 있어서, 상기 물건 식별기는 상기 물건을 고유하게 식별하는데 충분한 수의 상기 특징을 식별하지 않고, 그리고,
    상기 이미지의 캡처링 동안 캡처링된 입력 및 입력 엔트리 엘리먼트를 통하여 상기 사용자에 의해 제공된 입력 중 적어도 하나를 사용하여 상기 물건을 고유하게 식별하고, 그리고
    상기 입력에 기반하여 상기 물건의 고유한 상기 식별 다음에, 물건-특징 데이터베이스 내 상기 물건에 대한 엔트리를 업데이트하도록 구성되는 디바이스.
  60. 제39항 내지 제59항 중 어느 한 항에 있어서, 상기 모션 식별기는 적어도 하나의 강한 공간 구배를 갖는 3차원 영역을 상기 물건의 이미지 서명에서 식별하고, 그리고 상기 영역을 추적하여 그로써 추적된 상기 모션의 궤적을 식별하도록 구성되는 디바이스.
  61. 제39항 내지 제59항 중 어느 한 항에 있어서, 상기 모션 식별기는 상기 물건의 상기 이미지의 여러 다른 위치에 분포된 국부적 특징의 복수의 측정치를 추출하고, 그리고 상기 국부적 특징을 추적하여 그로써 추적된 상기 모션의 궤적을 식별하도록 구성되는 디바이스.
  62. 제39항 내지 제61항 중 어느 한 항에 있어서, 상기 제스처 해석기는 추적된 상기 모션에 대응하는 특정 상기 행동과 연관된 사용자-특정 제스처를 식별하기 위해 상기 사용자-특정 정보를 사용하도록 구성되는 디바이스.
  63. 제39항 내지 제62항 중 어느 한 항에 있어서, 상기 제스처 해석기는 추적된 상기 모션에 대응하는 특정 상기 행동과 연관된 사용자-특정 제스처를 식별하기 위해 상기 사용자-특정 정보 및 상기 물건의 적어도 하나의 물리적-특징에 관한 정보를 사용하도록 구성되는 디바이스.
  64. 제39항 내지 제63항 중 어느 한 항에 있어서, 상기 정보 학습기는 시간이 흐르면서 특정 상기 디바이스의 사용자와 관련된 디바이스-특정 정보를 학습하도록 구성되고, 상기 제스처 해석기는 상기 디바이스-특정 정보에 또한 기반하여 상기 제스처를 해석하도록 구성되는 디바이스.
  65. 제39항 내지 제64항 중 어느 한 항에 있어서, 상기 행동은,
    상기 물건의 특정 수의 발생을 상기 목록에 추가하는 것;
    상기 물건의 특정 수의 발생을 상기 목록으로부터 제거하는 것;
    식별된 상기 물건에 대한 대용품으로서 사용될 수 있는 적어도 하나의 물건을 디스플레이하는 것;
    식별된 상기 물건과 관련된 정보를 디스플레이하는 것;
    상기 목록을 디스플레이하는 것;
    상기 목록에서 상기 물건을 대용 물건으로 대체하는 것;
    특정 물건을 찾도록 데이터베이스에서 검색하는 것;
    식별된 상기 물건과 유사한 물건을 찾도록 데이터베이스에서 검색하는 것;
    적어도 하나의 필터링 기준에 기반하여 상기 목록을 필터링하는 것;
    상기 목록을 특정 순서로 분류하는 것;
    상기 사용자의 물건 이력과 관련된 정보를 디스플레이하는 것; 및
    도움 또는 지원을 요청하는 것 중 적어도 하나를 포함하는 디바이스.
  66. 제39항 내지 제65항 중 어느 한 항에 있어서,
    상기 물건은 다수-단위 물건 포장의 단일 단위를 포함하고,
    상기 물건 식별기는 상기 물건의 고유한 상기 식별, 상기 사용자-특정 정보, 및 세그먼트-특정 정보 중 적어도 하나를 사용하여, 상기 물건과 연관된 상기 다수-단위 물건 포장을 고유하게 식별하도록 구성되고, 그리고
    상기 행동 모듈은 상기 다수-단위 물건 포장에 관해 상기 행동을 수행하도록 구성되는 디바이스.
  67. 제39항 내지 제66항 중 어느 한 항에 있어서, 고유하게 식별된 상기 물건에 관해 상기 물건 목록을 업데이트하는 것 및 상기 물건 목록과 연관된 상기 디스플레이를 변화시키는 것 중 적어도 하나에 대한 음성 커맨드를 수신하도록 구성된 음성 센서를 또한 포함하는 디바이스.
  68. 제39항 내지 제67항 중 어느 한 항에 있어서, 상기 제스처 해석기가 검출된 상기 사용자 제스처와 연관된 어떠한 행동도 식별하지 않으면, 상기 제스처 해석기는,
    검출된 상기 제스처에 관한 부가적 입력을 획득하고;
    검출된 상기 제스처의 태양을 특징짓고;
    상기 제스처가 반복된 제스처인지 식별하고;
    상기 제스처가 반복된 제스처로서 식별되지 않으면, 상기 제스처를 잠재적 제스처로서 저장하고; 그리고
    상기 제스처가 반복된 제스처로서 식별되면,
    상기 제스처가 사용자 의존성인지 및 상기 제스처가 포장 의존성인지 중 적어도 하나를 식별하고;
    행동을 상기 반복된 제스처와 연관시키고; 그리고
    상기 제스처 및 당해 연관된 상기 행동을 식별된 상기 의존성에 기반하여 저장하도록 구성되는 디바이스.
  69. 제68항에 있어서, 상기 제스처 해석기는 상기 물건과 관련된 입력을 상기 부가적 입력으로서 획득하도록 구성되는 디바이스.
  70. 제68항 또는 제69항에 있어서, 상기 제스처 해석기는 상기 사용자로부터 상기 부가적 입력을 수신하도록 구성되는 디바이스.
  71. 제68항 내지 제70항 중 어느 한 항에 있어서, 상기 제스처 해석기는 상기 사용자가 연관되는 사용자-세그먼트와 관련된 세그먼트-특정 정보를 상기 부가적 입력으로서 획득하도록 구성되는 디바이스.
  72. 제68항 내지 제71항 중 어느 한 항에 있어서, 상기 제스처 해석기는 상기 제스처의 검출 직후에 상기 사용자가 상기 제스처를 반복하는지 식별하고, 그로써 상기 제스처가 반복된 제스처인지 식별하도록 구성되는 디바이스.
  73. 제69항 내지 제72항 중 어느 한 항에 있어서, 상기 제스처 해석기는 상기 제스처가 잠재적 제스처로서 저장되었음을 식별하도록 구성되는 디바이스.
  74. 제69항 내지 제73항 중 어느 한 항에 있어서, 상기 제스처 해석기는 상기 반복된 제스처가 상기 행동을 수행하려는 상기 사용자의 의도를 반영하지 않음을 식별하도록 구성되는 디바이스.
  75. 제39항 내지 제74항 중 어느 한 항에 있어서, 상기 물건 식별기, 상기 제스처 해석기, 및 상기 행동 모듈 중 적어도 하나는 상기 이미지 캡처링 엘리먼트에 원격으로 위치한 서버의 일부분을 형성하는 디바이스.
  76. 제39항 내지 제75항 중 어느 한 항에 있어서, 식별된 상기 물건과 관련된 정보, 식별된 상기 물건의 가상 모델, 및 상기 목록 중 적어도 하나를 상기 사용자에게 디스플레이하여 놓도록 구성된 디스플레이를 또한 포함하는 디바이스.
  77. 물건에 대한 이미지 서명을 생성하기 위한 방법으로서,
    상기 물건의 적어도 하나의 이미지를 자동으로 캡처링하는 단계;
    상기 물건에 대한 이미지 서명을 발생시키도록 상기 물건의 상기 적어도 하나의 이미지를 사용하는 단계;
    상기 물건과 관련된 부가적 정보를 획득하는 단계; 및
    상기 부가적 정보를 발생된 상기 이미지 서명과 상관시켜, 그로써 상기 물건을 적어도 부분적으로 식별하는 단계; 및
    상기 물건의 상기 식별, 상기 부가적 정보, 및 상기 이미지 서명을 상기 물건에 대한 엔트리로서 데이터베이스에 저장하는 단계를 포함하는 방법.
  78. 사용자에게 적합한 제품을 식별하기 위한 방법으로서,
    제품의 그룹을 포함하는 제품 데이터세트를 획득하는 단계로서, 상기 제품은 타이틀에 따라 하위 그룹으로 분할되되, 각각의 제품은 상기 제품을 기술하는 특징의 세트 및 브랜드 중 적어도 하나와 연관되고, 가중치는 상기 브랜드와 그리고 각각의 상기 특징과 연관되는 상기 획득하는 단계;
    당해 연관된 특정 타이틀을 갖는 소망 제품의 최초 식별을 사용자로부터 수신하는 단계;
    디바이스-특정 정보 및 사용자-특정 정보 중 적어도 하나 및 상기 제품 데이터세트 내 정보를 사용하여, 상기 최초 식별에서 상기 사용자에 의해 의도된 특정 소망 제품을 고유하게 식별하는 단계;
    상기 특징의 그리고 상기 브랜드의 상기 가중치를 사용하여, 상기 특정 소망 제품과 상기 특정 타이틀 내 적어도 2개의 다른 제품 간 거리를 계산하는 단계; 및
    상기 사용자에게 적합한 제품으로서, 상기 특정 소망 제품으로부터 작은 거리를 갖는, 상기 다른 제품 중 적어도 하나를 식별하는 단계를 포함하는 방법.
  79. 사용자에게 적합한 제품을 식별하기 위한 디바이스로서,
    당해 연관된 특정 타이틀을 갖는 소망 제품의 최초 식별을 사용자로부터 수신하도록 구성된 사용자 입력 엔트리 엘리먼트; 및
    상기 사용자 입력 엔트리 엘리먼트와 기능적으로 연관된 프로세서를 포함하되, 상기 프로세서는,
    제품의 그룹을 포함하는 제품 데이터세트에 액세스하도록 구성된 제품 데이터 액세서로서, 상기 제품은 타이틀에 따라 하위 그룹으로 분할되되, 각각의 제품은 상기 제품을 기술하는 특징의 세트 및 브랜드 중 적어도 하나와 연관되고, 가중치는 상기 브랜드와 그리고 각각의 상기 특징과 연관되는 상기 제품 데이터 액세서;
    상기 최초 식별에서 상기 사용자에 의해 의도된 특정 소망 제품을 고유하게 식별하기 위해 사용자-특정 정보 및 상기 제품 데이터세트 내 정보를 사용하도록 구성된 소망 제품 식별 모듈;
    상기 특정 소망 제품과 상기 특정 타이틀 내 적어도 2개의 다른 제품 간 거리를 계산하기 위해 상기 특징의 그리고 상기 브랜드의 상기 가중치를 사용하도록 구성된 거리 계산 모듈; 및
    상기 사용자에게 적합한 제품으로서, 상기 특정 소망 제품으로부터 작은 거리를 갖는, 상기 다른 제품 중 적어도 하나를 식별하도록 구성된 적합한 제품 식별 모듈을 포함하는 디바이스.
KR1020157035045A 2013-06-05 2014-06-05 스마트 쇼핑을 위한 방법 및 디바이스 KR20160018550A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361831166P 2013-06-05 2013-06-05
US61/831,166 2013-06-05
PCT/IB2014/061992 WO2014195903A1 (en) 2013-06-05 2014-06-05 Methods and devices for smart shopping

Publications (1)

Publication Number Publication Date
KR20160018550A true KR20160018550A (ko) 2016-02-17

Family

ID=52007641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157035045A KR20160018550A (ko) 2013-06-05 2014-06-05 스마트 쇼핑을 위한 방법 및 디바이스

Country Status (5)

Country Link
US (1) US10026116B2 (ko)
EP (1) EP3005175A4 (ko)
KR (1) KR20160018550A (ko)
CN (1) CN105593847A (ko)
WO (1) WO2014195903A1 (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130201316A1 (en) 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
JP6344125B2 (ja) * 2014-07-31 2018-06-20 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US9697234B1 (en) * 2014-12-16 2017-07-04 A9.Com, Inc. Approaches for associating terms with image regions
US10191553B2 (en) * 2015-03-12 2019-01-29 Dell Products, L.P. User interaction with information handling systems using physical objects
US10366442B1 (en) * 2015-05-06 2019-07-30 Amazon Technologies, Inc. Systems and methods to update shopping cart
US10311634B2 (en) * 2015-07-21 2019-06-04 IAM Robotics, LLC Three dimensional scanning and data extraction systems and processes for supply chain piece automation
KR20170049996A (ko) * 2015-10-29 2017-05-11 에스케이플래닛 주식회사 디바이스를 이용한 상품 결제 방법 및 서버
US10346793B2 (en) 2016-01-29 2019-07-09 Walmart Apollo, Llc Systems and methods for order filling
CN107273106B (zh) 2016-04-08 2021-07-06 北京三星通信技术研究有限公司 物体信息翻译、以及衍生信息获取方法和装置
US10108872B2 (en) 2016-07-29 2018-10-23 Conduent Business Services, Llc Multi-angle product imaging device
DE102016225816A1 (de) * 2016-09-16 2018-03-22 Henkel Ag & Co. Kgaa Verfahren und Vorrichtung zum Auslösen einer Artikelbestellung
US20180197218A1 (en) * 2017-01-12 2018-07-12 Verizon Patent And Licensing Inc. System and method for object detection in retail environment
GB2560177A (en) 2017-03-01 2018-09-05 Thirdeye Labs Ltd Training a computational neural network
GB2560387B (en) 2017-03-10 2022-03-09 Standard Cognition Corp Action identification using neural networks
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US10474988B2 (en) * 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
CN107944954A (zh) * 2017-11-15 2018-04-20 联想(北京)有限公司 信息处理方法及其装置
US20190197307A1 (en) * 2017-12-22 2019-06-27 Google Llc Updating data sets on graphical user interfaces based on inputs from electronic documents
US10885336B1 (en) * 2018-01-13 2021-01-05 Digimarc Corporation Object identification and device communication through image and audio signals
US11200402B2 (en) * 2018-01-26 2021-12-14 GICSOFT, Inc. Application execution based on object recognition
CN108446693B (zh) * 2018-03-08 2020-05-12 上海扩博智能技术有限公司 待识别目标的标记方法、系统、设备及存储介质
CN108921645B (zh) * 2018-06-07 2021-07-13 深圳码隆科技有限公司 一种商品购买判定方法、装置和用户终端
CN109084700B (zh) * 2018-06-29 2020-06-05 上海摩软通讯技术有限公司 物品的三维位置信息获取方法及系统
CN111339791B (zh) * 2018-12-18 2021-05-25 北京京东乾石科技有限公司 商品识别方法和通道、控制装置、商品结算通道
US11386621B2 (en) * 2018-12-31 2022-07-12 Whirlpool Corporation Augmented reality feedback of inventory for an appliance
US20220198780A1 (en) * 2019-04-05 2022-06-23 Sony Group Corporation Information processing apparatus, information processing method, and program
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US10607080B1 (en) * 2019-10-25 2020-03-31 7-Eleven, Inc. Feedback and training for a machine learning algorithm configured to determine customer purchases during a shopping session at a physical store
US11809979B2 (en) 2020-01-31 2023-11-07 Walmart Apollo, Llc Mismatch detection model
US20210240739A1 (en) * 2020-01-31 2021-08-05 Walmart Apollo, Llc Automatically determining items to include in a variant group
WO2021194721A1 (en) * 2020-03-27 2021-09-30 Position Imaging, Inc. Selecting storage lockers based on package volume
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11587055B1 (en) * 2020-12-02 2023-02-21 Wells Fargo Bank, N.A. Systems and methods for generating a user expression map configured to enable contactless human to device interactions
US11803831B1 (en) * 2020-12-02 2023-10-31 Wells Fargo Bank, N.A. Systems and methods for utilizing a user expression map configured to enable contactless human to device interactions

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406214B2 (en) 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US7117163B1 (en) 2000-06-15 2006-10-03 I2 Technologies Us, Inc. Product substitution search method
US6641037B2 (en) 2001-12-13 2003-11-04 Peter Williams Method and system for interactively providing product related information on demand and providing personalized transactional benefits at a point of purchase
US6920459B2 (en) 2002-05-07 2005-07-19 Zycus Infotech Pvt Ltd. System and method for context based searching of electronic catalog database, aided with graphical feedback to the user
US7118026B2 (en) * 2003-06-26 2006-10-10 International Business Machines Corporation Apparatus, method, and system for positively identifying an item
US8073741B2 (en) 2007-06-27 2011-12-06 Jemstep, Inc. Method, device, and system for analyzing and ranking web-accessible data targets
US8544736B2 (en) 2007-07-24 2013-10-01 International Business Machines Corporation Item scanning system
US7909248B1 (en) * 2007-08-17 2011-03-22 Evolution Robotics Retail, Inc. Self checkout with visual recognition
WO2009026337A1 (en) 2007-08-20 2009-02-26 Gesturetek, Inc. Enhanced rejection of out-of-vocabulary words
GB2463025A (en) * 2008-08-28 2010-03-03 Sharp Kk Method of and apparatus for acquiring an image
US8479996B2 (en) 2008-11-07 2013-07-09 Symbol Technologies, Inc. Identification of non-barcoded products
US20100265311A1 (en) * 2009-04-16 2010-10-21 J. C. Penney Corporation, Inc. Apparatus, systems, and methods for a smart fixture
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US20110264553A1 (en) 2009-12-15 2011-10-27 Yarvis Mark D Systems, apparatus and methods capable of delivering purchase recommendations based on an interactive mobile shopping applications
US20110252031A1 (en) 2009-12-31 2011-10-13 Michael Blumenthal Method, Device, and System for Analyzing and Ranking Products
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US20120099756A1 (en) * 2010-10-20 2012-04-26 Faiz Feisal Sherman Product Identification
US20120101876A1 (en) * 2010-10-21 2012-04-26 S. C. Johnson, Inc. Method of managing household product inventory
KR20120051208A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
US20120120214A1 (en) 2010-11-16 2012-05-17 Braun Gmbh Product Demonstration
US20120233076A1 (en) 2011-03-08 2012-09-13 Microsoft Corporation Redeeming offers of digital content items
GB2491473B (en) * 2011-05-31 2013-08-14 Pointgrab Ltd Computer vision based control of a device using machine learning
US8336761B1 (en) 2011-09-15 2012-12-25 Honeywell International, Inc. Barcode verification
US9946730B2 (en) 2011-11-04 2018-04-17 Ebay Inc. System and method for onboarding an item collection
US20150095189A1 (en) 2012-03-16 2015-04-02 In Situ Media Corporation System and method for scanning, tracking and collating customer shopping selections
US20130325656A1 (en) 2012-06-01 2013-12-05 Myworld, Inc. Commerce System and Method of Organizing Products into Product Families for Presentation on Shopping List

Also Published As

Publication number Publication date
WO2014195903A1 (en) 2014-12-11
US20160189286A1 (en) 2016-06-30
US10026116B2 (en) 2018-07-17
EP3005175A1 (en) 2016-04-13
EP3005175A4 (en) 2016-12-28
CN105593847A (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
US10026116B2 (en) Methods and devices for smart shopping
JP7021361B2 (ja) カスタマイズされた拡張現実品目フィルタリングシステム
US11367130B2 (en) Method for in-store object highlighting by a real world user interface
US11543934B2 (en) Learning user interface
US9031857B2 (en) Generating customized marketing messages at the customer level based on biometric data
US20140363059A1 (en) Retail customer service interaction system and method
CN109154936A (zh) 数据库搜索优化器和主题过滤器
KR20200037426A (ko) 소비자 인구 통계학적 신원 확인 시스템을 갖는 음료 지급기
WO2020240834A1 (ja) 不正推定システム、不正推定方法、及びプログラム
US20220261871A1 (en) Size comparison systems and methods including online commerce examples utilizing same

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid