KR20200040281A - 카메라 플랫폼 및 객체 재고 제어 - Google Patents

카메라 플랫폼 및 객체 재고 제어 Download PDF

Info

Publication number
KR20200040281A
KR20200040281A KR1020207007259A KR20207007259A KR20200040281A KR 20200040281 A KR20200040281 A KR 20200040281A KR 1020207007259 A KR1020207007259 A KR 1020207007259A KR 20207007259 A KR20207007259 A KR 20207007259A KR 20200040281 A KR20200040281 A KR 20200040281A
Authority
KR
South Korea
Prior art keywords
computing device
metadata
augmented reality
hardware
digital images
Prior art date
Application number
KR1020207007259A
Other languages
English (en)
Inventor
솨이 정
판 양
모하마드하디 키아푸르
차오쑹 왕
자프짓 에스. 툴시
로빈슨 피라무투
Original Assignee
이베이 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이베이 인크. filed Critical 이베이 인크.
Priority to KR1020227008248A priority Critical patent/KR102596920B1/ko
Publication of KR20200040281A publication Critical patent/KR20200040281A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/00671—
    • G06K9/6256—
    • G06K9/628—
    • G06K9/66—
    • G06K9/78—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

카메라 플랫폼 및 객체 재고 제어 기법들이 설명된다. 구현예에서, 디지털 이미지들의 라이브 피드는 컴퓨팅 디바이스에 의해 사용자 인터페이스에서 출력된다. 사용자 선택은 디지털 이미지들 중의 적어도 하나의 사용자 인터페이스와의 상호작용을 통해 수신된다. 적어도 하나의 디지털 이미지 내에 포함된 객체는 머신 러닝을 이용하여 인식된다. 인식된 객체에 속하는 메타데이터가 그 다음으로 획득된다. 증강 현실 디지털 컨텐츠는 획득된 메타데이터에 적어도 부분적으로 기초하여 생성된다. 증강 현실 디지털 컨텐츠는 객체와 연관된 바와 같은 디지털 이미지들의 라이브 피드의 일부로서 디스플레이된다.

Description

카메라 플랫폼 및 객체 재고 제어
관련된 출원들
이 출원은 2017년 12월 29일자로 출원되고 "Camera Platform and Object Inventory Control"라는 명칭인 미국 출원 제15/858,463호를 우선권 주장하고, 제15/858,463호는 대리인 관리 번호가 IP-P3342PRV이고, 2017년 9월 14일자로 출원되고 "Camera Platform and Object Inventory Control"라는 명칭인 미국 특허 가출원 제62/558,836호에 대하여 35 U.S.C. §119(e) 하에서 우선권을 주장하고, 이들의 전체 개시내용들은 이로써 참조로 편입된다.
이동 디바이스들은 사용자의 매일 생활의 필수적인 부분이 되었다. 이동 전화는 예를 들어, 이메일(email)들을 판독하고, 소셜 미디어에 참여하고, 디지털 이미지들을 캡처하고, 인스턴트 메시지(instant message)들을 통해 통신하는 등을 하기 위하여 이용될 수 있다. 마찬가지로, 스마트 시계들과 같은 웨어러블 디바이스들은 이 상호작용을 확대하는 것을 계속하였다. 따라서, 사용자들은 다양한 사용 시나리오들에서 광범위한 디바이스들을 액세스한다.
그러나, 이동 디바이스로서의 구성은 이 디바이스들과의 사용자 상호작용들의 지원 시에 도전들 및 복잡성을 도입할 수 있다. 이동 전화 또는 스마트 시계는 예를 들어, 텍스트의 입력, 파일들 사이의 탐색 등을 지원하기 위하여 제한된 능력을 가질 수 있다. 따라서, 이 디바이스들과의 사용자 상호작용은 제한될 수 있고, 그 결과로서, 연산 비효율들을 야기시킬 수 있다.
카메라 플랫폼(camera platform) 및 객체 재고(object inventory) 제어 기법들이 설명된다. 구현예에서, 디지털 이미지들의 라이브 피드(live feed)는 컴퓨팅 디바이스에 의해 사용자 인터페이스에서 출력된다. 사용자 선택은 디지털 이미지들 중의 적어도 하나의 사용자 인터페이스와의 상호작용을 통해 수신된다. 적어도 하나의 디지털 이미지 내에 포함된 객체(object)는 머신 러닝(machine learning)을 이용하여 인식된다. 인식된 객체에 속하는 메타데이터(metadata)가 그 다음으로 획득된다. 증강 현실 디지털 컨텐츠(augmented reality digital content)는 획득된 메타데이터에 적어도 부분적으로 기초하여 생성된다. 증강 현실 디지털 컨텐츠는 객체와 연관된 바와 같은 디지털 이미지들의 라이브 피드의 일부로서 디스플레이된다.
이 개요는 상세한 설명에서 이하에 추가로 설명되는 개념들의 선택을 간략화된 형태로 도입한다. 이와 같이, 이 개요는 청구된 발명 요지의 필수적인 특징들을 식별하도록 의도된 것도 아니고, 청구된 발명 요지의 범위를 결정할 시에 보조하는 것으로서 이용되도록 의도된 것도 아니다.
상세한 설명은 동반 도면들을 참조하여 설명된다. 도면들에서 표현된 엔티티들은 하나 이상의 엔티티들을 표시할 수 있고, 이에 따라, 참조는 논의에서의 단일 또는 복수 형태들의 엔티티들에 대해 상호 교환가능하게 행해질 수 있다.
도 1은 본원에서 설명된 카메라 플랫폼 기법들을 채용하도록 동작가능한 일 예의 구현예에서의 환경의 예시도이다.
도 2는 도 1의 카메라 플랫폼 관리자 모듈의 동작을 더 상세하게 도시하는 일 예의 구현예에서의 시스템을 도시한다.
도 3은 디지털 이미지에서 인식된 객체에 관련된 메타데이터를 수집하기 위하여 제1, 제2, 및 제3 스테이지들을 이용하여 도시된 바와 같은 카메라 플랫폼 관리자 모듈과의 사용자 상호작용의 예들을 도시한다.
도 4는 인식된 객체들 및 대응하는 메타데이터 및 객체들의 사용자-정의가능한 수집품(collection)들의 저장된 결과들의 예를 도시한다.
도 5는 도 1의 카메라 플랫폼 관리자 모듈을 이용하여 인식된 객체들의 구입 및 판매를 지원하도록 구성된 사용자 인터페이스의 일 예의 구현예를 도시한다.
도 6은 카메라 플랫폼 관리자 모듈을 이용하여 디지털 이미지로부터 인식된 객체의 구입 또는 판매를 위하여 출력되는 옵션들의 구현예를 또한 도시한다.
도 7은 도 1의 카메라 플랫폼 관리자 모듈의 동작을 사용자 프로파일을 채용하는 것으로서 더 상세하게 도시하는 일 예의 구현예에서의 시스템을 도시한다.
도 8은 머신 러닝에 적어도 부분적으로 기초한 사용자 프로파일의 생성의 일 예의 구현예를 도시한다.
도 9는 도 8의 생성된 사용자 프로파일에 기초하여 추천을 획득하는 일 예의 시스템을 도시한다.
도 10은 본원에서 설명된 기법들의 실시예들을 구현하기 위하여 도 1 내지 도 9를 참조하여 설명되고 및/또는 사용된 바와 같은 임의의 유형의 컴퓨팅 디바이스로서 구현될 수 있는 일 예의 디바이스의 다양한 컴포넌트들을 포함하는 일 예의 시스템을 예시한다.
다음의 논의에서는, 본원에서 설명된 기법들을 채용할 수 있는 일 예의 환경이 먼저 설명된다. 일 예의 환경 뿐만 아니라 다른 환경들에서 수행될 수 있는 일 예의 절차들 및 시스템들은 또한, 블록들로서 설명되고 도시된다. 결과적으로, 일 예의 절차들의 성능은 일 예의 환경 및 시스템들로 제한되지는 않고, 일 예의 환경 및 시스템들은 일 예의 절차들의 성능으로 제한되지는 않는다.
일 예의 환경
도 1은 본원에서 설명된 디지털 이미지 캡처 세션 기법들을 채용하도록 동작가능한 일 예의 구현예에서의 디지털 매체 환경(100)의 예시도이다. 예시된 환경(100)은 네트워크(106)를 통해 서비스 제공자 시스템(104)에 통신가능하게 결합되는 컴퓨팅 디바이스(102)를 포함한다. 컴퓨팅 디바이스(102) 및 서비스 제공자 시스템(104)을 구현하는 컴퓨팅 디바이스들은 다양한 방법들로 구성될 수 있다.
컴퓨팅 디바이스는 예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, (예컨대, 컴퓨팅 디바이스(102)를 위하여 예시된 바와 같은 고글(goggle)들과 같이) 착용되도록 구성된 (예컨대, 태블릿 또는 이동 전화와 같은 핸드헬드(handheld) 구성을 가정하는) 이동 디바이스 등으로서 구성될 수 있다. 이에 따라, 컴퓨팅 디바이스는 상당한 메모리 및 프로세서 자원들(예컨대, 개인용 컴퓨터들, 게임 콘솔들)을 갖는 완전한 자원 디바이스들로부터 제한된 메모리 및/또는 프로세싱 자원들(예컨대, 이동 디바이스들)을 갖는 저-자원 디바이스까지의 범위일 수 있다. 추가적으로, 단일 컴퓨팅 디바이스가 도시되지만, 컴퓨팅 디바이스는 도 10에서 설명된 바와 같이, 서비스 제공자 시스템(104)을 위한 "클라우드 상에서의(over the cloud)" 동작들을 수행하기 위하여 사업(business)에 의해 사용된 다수의 서버들과 같은 복수의 상이한 디바이스들을 표현할 수 있다.
컴퓨팅 디바이스(102)는 물리적 환경, 예컨대, 거실(110)에서 사용자(108)에 의해 착용되는 것으로서 예시된다. 컴퓨팅 디바이스(102)는 전하 결합 소자(charge coupled device)(CCD) 센서의 이용을 통한 것과 같이, 외부 물리적 환경(예컨대, 거실(106))의 디지털 이미지들(114)을 캡처하도록 구성되는 디지털 카메라(112)를 포함한다. 캡처된 디지털 이미지들(114)은 그 다음으로, 컴퓨터-판독가능 저장 매체에서 픽셀들로서 저장될 수 있고 및/또는 디스플레이 디바이스, 예컨대, LCD, OLED, LED 등에 의한 디스플레이를 위하여 렌더링(render)될 수 있다.
컴퓨팅 디바이스(102)는 다양한 기능성을 위한 기초로서 역할을 할 수 있는 카메라 플랫폼(118)을 (예컨대, 프로세싱 시스템 및 컴퓨터-판독가능 저장 매체들의 이용을 통해) 구현하거나 실행하도록 구성되는 카메라 플랫폼 관리자 모듈(116)을 또한 포함한다. 카메라 플랫폼(118)은 예를 들어, 컴퓨팅 디바이스(102)의 물리적 환경을 촬영한 디지털 이미지들(114)로 형성된 "라이브 뷰(live view)"를 구현할 수 있다. 이 디지털 이미지들(114)은 그 다음으로, 다른 기능성을 지원하기 위한 기초로서 역할을 할 수 있다.
이 기능성의 예는 객체 재고 관리자 모듈(120)로서 예시된다. 객체 재고 관리자 모듈(120)은 객체들의 재고를 관리하기 위한 기능성을 표현한다. 이것은 사용자(108)에 의해 소유되는 객체들, 및/또는 예컨대, 구입을 위하여 사용자(108)에 의해 희망되는 객체들을 포함할 수 있다. 이것은 다양한 방법들로 카메라 플랫폼(118)의 이용을 통해 객체 재고 관리자 모듈(120)에 의해 구현될 수 있다.
제1의 이러한 예에서, 객체 재고 관리자 모듈(120)은 디지털 이미지들(114)을 수집하도록 구성된다. 이것은 이 예에서의 거실(110)에서의 물리적 객체들의 디지털 이미지들(114), 또는 예컨대, 잡지, 텔레비전 화면 또는 다른 디스플레이 디바이스를 촬영한 그림 등으로부터 물리적 사진들을 캡처한 디지털 이미지들을 포함할 수 있다. 디지털 이미지(114)는 예컨대, 프레임 버퍼로부터의 스크린샷(screenshot)으로서, 컴퓨팅 디바이스(102)에 의해 출력된 사용자 인터페이스를 캡처할 수 있다.
객체 재고 관리자 모듈(120)은 예컨대, 머신 러닝을 통해 디지털 이미지(114) 내에서 포함된 객체들을 인식하기 위한 객체 인식 기능성을 포함한다. 이것으로부터, 객체 재고 관리자 모듈(120)은 이 인식에 속하는 데이터를 수집할 수 있다. 인식된 객체들을 설명하는 데이터는 예를 들어, 네트워크(106)를 통해 서비스 제공자 시스템(104)으로 통신될 수 있다. 서비스 제공자 시스템(104)은 저장 디바이스(124)로부터 (예컨대, 검색의 이용을 통해) 객체들에 관련된 데이터를 획득하도록 구성되는 서비스 관리자 모듈(122)을 포함한다. 이 데이터는 그 다음으로, 객체 재고 관리자 모듈(120)에 의한 이용을 위하여 네트워크(106)를 통해 컴퓨팅 디바이스(102)로 다시 통신될 수 있다.
객체 재고 관리자 모듈(120)은 예를 들어, 물리적 환경, 예컨대, 거실을 촬영한 디지털 이미지들의 "라이브 피드"의 일부로서의 컴퓨팅 디바이스(102)의 사용자 인터페이스에서의 출력을 위한 (저장 디바이스(128)에서 저장된 바와 같이 예시된) 증강 현실 디지털 컨텐츠(126)를 생성할 수 있다. AR 디지털 컨텐츠(126)는 예를 들어, 객체의 특성들, 객체의 상표 명칭, 객체가 (예컨대, 온라인 경매를 통해) 판매 또는 구입을 위하여 이용가능한 가격 등을 설명할 수 있다. 이 AR 디지털 컨텐츠(126)는 그 다음으로, 객체 재고 관리자 모듈(120)에 의해 객체 근위부에서 디스플레이된다. 이러한 방법으로, 카메라 플랫폼은 사용자(108)가 거실(110) 및 객체 추가적 정보를 "룩 어라운드(look around)하기 위한 기능성, 및 물리적 환경 내에서 포함된 객체들의 특성들에 대한 통찰력을 지원한다. 이 예의 추가의 논의는 다음의 논의에서 도 2 내지 도 6과 관련하여 설명된다.
또 다른 예에서, 객체 재고 관리자 모듈(120)은 사용자를 위한 추천들을 행하기 위하여 카메라 플랫폼(118)을 활용한다. 디지털 이미지(114)는 예를 들어, 머신 러닝을 이용하여 구현된 바와 같은 객체 인식을 이용하여 객체 재고 관리자 모듈에 의해 또한 프로세싱될 수 있다. 이 예에서, 디지털 이미지들은 디지털 이미지들(114)로부터 학습된 특성들에 기초하여 프로파일(예컨대, 사용자 프로파일)을 생성하기 위하여 이용된다. 이 프로파일은 이 특성들에 기초하여 제품 제안들을 가지는 디지털 마케팅 컨텐츠를 구성하기 위한 것과 같이, (예컨대, 머신 러닝을 통해) 추천들을 형성하기 위한 기초로서 이용된다.
프로파일은 예를 들어, 사용자(108)를 촬영한 디지털 이미지들을 포함할 수 있다. 이것으로부터, 객체 재고 관리자 모듈(120)은 사용자의 가능성 있는 크기(예컨대, 치수들), 신장(예컨대, 사용자가 타이트(tight), 느슨함(loose)과 같이 의복(clothing)을 어떻게 착용하는지, 또는 그렇지 않을 경우에, 의복이 사용자 상에서 어떻게 걸쳐져 있는지), 스타일(예컨대, 전문가(professional), 히피(hippy), 그런지(grunge), 중세(medieval)) 등을 결정할 수 있다. 디지털 이미지들은 예컨대, 직접 다른 인간들의, 물리적 사진들로부터 등의, 사용자를 포함하지 않지만 사용자에 의해 희망되는 소스들로부터 또한 수집될 수 있다.
이것으로부터, 객체 재고 관리자 모듈(120)은 사용자 프로파일에서 설명된 크기, 신장, 및 스타일에 기초하여 제품들 또는 서비스들을 위한 디지털 마케팅 컨텐츠를 생성하기 위한 것과 같이, 사용자 프로파일에 기초하여 추천들을 생성할 수 있다. 이러한 방법으로, 객체 인식 모듈은 정확성을 증가시킬 수 있고, 그 결과, 카메라 플랫폼(118)에 기초하여 추천들의 생성에서의 연산 효율을 증가시킬 수 있다. 이 예는 다음의 설명에서 도 7 내지 도 10과 관련하여 추가로 설명된다.
일반적으로, 위에서 그리고 이하에서 예들과 관련하여 설명된 기능성, 특징들, 및 개념들은 이 섹션에서 설명된 일 예의 절차들의 맥락에서 채용될 수 있다. 또한, 이 문서에서의 상이한 도면들 및 예들과 관련하여 설명된 기능성, 특징들, 및 개념들은 서로의 사이에서 교환될 수 있고, 특정한 도면 또는 절차의 맥락에서 구현예로 제한되지는 않는다. 또한, 상이한 대표적인 절차들 및 대응하는 도면들과 연관된 블록들은 함께 적용될 수 있고 및/또는 상이한 방법들로 조합될 수 있다. 이에 따라, 본원에서의 상이한 예의 환경들, 디바이스들, 컴포넌트들, 도면들, 및 절차들과 관련하여 설명된 개별적인 기능성, 특징들, 및 개념들은 임의의 적당한 조합들로 이용될 수 있고, 이 설명에서의 열거된 예들에 의해 표현된 특정한 조합들로 제한되지는 않는다.
카메라 플랫폼 및 객체 재고 제어
도 2는 도 1의 카메라 플랫폼 관리자 모듈(116)의 동작을 더 상세하게 도시하는 일 예의 구현예에서의 시스템(200)을 도시한다. 도 3은 디지털 이미지에서 인식된 객체에 관련된 메타데이터를 수집하기 위하여 제1, 제2, 및 제3 스테이지들(302 내지 306)을 이용하여 도시된 바와 같은 카메라 플랫폼 관리자 모듈(120)과의 사용자 상호작용의 예들을 도시한다. 도 4는 인식된 객체들 및 대응하는 메타데이터 및 객체들의 사용자-정의가능한 수집품들의 저장된 결과들의 예를 도시한다. 도 5는 카메라 플랫폼 관리자 모듈(116)을 이용하여 인식된 객체들의 구입 및 판매를 지원하도록 구성된 사용자 인터페이스의 일 예의 구현예를 도시한다. 도 6은 카메라 플랫폼 관리자 모듈을 이용하여 디지털 이미지로부터 인식된 객체의 구입 또는 판매를 위하여 출력된 옵션들의 구현예를 또한 도시한다.
다음의 논의는 이전에 설명된 시스템들 및 디바이스들을 사용하여 구현될 수 있는 기법들을 설명한다. 도 2의 모듈들에 의해 단계별로 도시된 바와 같은 절차의 양태들은 하드웨어, 펌웨어, 소프트웨어, 또는 그 조합으로 구현될 수 있다. 절차는, 하나 이상의 디바이스들에 의해 수행된 동작들을 특정하고 개개의 블록들에 의해 동작들을 수행하기 위하여 도시된 순서들로 반드시 제한되지는 않는 블록들의 세트로서 도시된다. 다음의 논의의 부분들에서는, 도 2 내지 도 6에 대해 참조가 행해질 것이다.
시작하면, 디지털 이미지(114)는 카메라 플랫폼 관리자 모듈(116)에 의해 획득된다. 디지털 이미지(114)는 예를 들어, 컴퓨팅 디바이스(102)의 프레임 버퍼로부터 캡처된 스크린샷 등으로서, 디지털 카메라를 이용하여 캡처될 수 있다.
디지털 이미지(114)는 그 다음으로, 디지털 이미지(114) 내의 객체를 인식하기 위하여 객체 인식 모듈(202)에 의해 프로세싱된다. 객체 인식 모듈(202)은 예를 들어, 머신 러닝, 예컨대, 신경망(neural network)들, 컨볼루션 신경망(convolutional neural network)들, 딥 러닝 네트워크(deep learning network)들, 구조화된 벡터 머신(structured vector machine)들, 판정 트리(decision tree)들 등을 이용하여 객체를 인식하기 위하여 이용가능한 모델들(206)을 채용하도록 구성된 머신 러닝 모듈(204)을 채용할 수 있다. 모델들(206)은 예를 들어, 대응하는 식별들로 태깅(tagging)되는 트레이닝 디지털 이미지(training digital image)들을 이용하여 트레이닝될 수 있다. 구현예에서, 이 트레이닝 디지털 이미지들 및 태그들은 시스템을 이용하여 판매자들에 의해 태깅되는 상거래 서비스 제공자 시스템으로부터 획득된다. 그 결과, 다수의 정확하게 태그된 트레이닝 디지털 이미지들은 기존의 수동적인 태깅 기법들과 대조적으로, 최소 연산 및 사용자 비용으로 획득될 수 있다. 컴퓨팅 디바이스(102)에 의해 국소적으로 구현된 것으로서 예시되지만, 이 기능성은 네트워크(106)를 통해 서비스 제공자 시스템(104)에 의해 전체적으로 또는 부분적으로 또한 구현될 수 있다.
이에 따라, 객체 인식 데이터(208)는 디지털 이미지(114) 내에 포함된 객체를 설명한다. 객체 데이터 수집 모듈(210)은 그 다음으로, 인식된 객체에 속하는 객체 메타데이터(212)를 수집하기 위하여 채용된다. 이것은 국소적 저장 디바이스의 검색을 통해 국소적으로, 및/또는 네트워크(106)를 통해 서비스 제공자 시스템(104)의 서비스 관리자 모듈(122)과의 상호작용을 통해 원격으로 수행될 수 있다.
다양한 상이한 유형들의 객체 메타데이터(212)는 다양한 상이한 유형들의 서비스 제공자 시스템들(104)로부터 획득될 수 있다. 하나의 예에서, 서비스 제공자 시스템(104)은 객체의 구입 또는 판매에 관련되는 정보, 예컨대, 제품 명칭, 제품 설명, (예컨대, 온라인 경매들에 기초한) 구입 또는 판매를 위한 가격 등을 제공한다. 또 다른 예에서, 서비스 제공자 시스템(104)은 제품의 고객 검토들에 관련되는 정보, 예컨대, "별(star)들"의 수 또는 다른 등급, 텍스트 검토들 등을 제공한다. 추가의 예에서, 메타데이터는 객체의 교체 부품들, 예컨대, 필터들, 배터리들, 전구(bulb)들 등을 설명한다. 이 사례에서의 객체 메타데이터(212)는 예컨대, 메타데이터로부터 형성된 AR 디지털 컨텐츠의 선택을 통해, 효율적이고 직관적인 방식으로 이 교체 부품들을 그 다음으로 주문하기 위하여 이용될 수 있다.
이 예에서의 객체 메타데이터(212)는 그 다음으로, 증강 현실(augmented reality)(AR) 구성 모듈(214)에 제공된다. AR 구성 모듈(214)은 예를 들어, 출력 디바이스(218), 예컨대, 디스플레이 디바이스, 오디오 출력 디바이스, 촉각(예컨대, 햅틱(haptic)) 출력 디바이스 등으로의 AR 렌더링 모듈(216)에 의한 객체 근위부에서의 디스플레이를 위하여, 객체 메타데이터(212)로부터 AR 디지털 컨텐츠(126)를 생성하도록 구성될 수 있다.
햅틱 효과들을 생성하기 위하여, 많은 출력 디바이스들은 일부 유형의 액츄에이터 또는 햅틱 출력 디바이스를 사용한다. 이 목적을 위하여 이용된 공지된 햅틱 출력 디바이스들의 예들은 편심 질량(eccentric mass)이 모터에 의해 이동되는 편심 회전 질량(Eccentric Rotating Mass)("ERM")과 같은 전자기적 액츄에이터, 스프링에 부착된 질량이 전후로 구동되는 선형 공진 액츄에이터(Linear Resonant Actuator)("LRA"), 또는 압전(piezoelectric), 전기-활성 폴리머(electro-active polymer)들, 또는 형상 기억 합금(shape memory alloy)들과 같은 "스마트 재료(smart material)"를 포함한다. 햅틱 출력 디바이스들은 또한 광범위하게, 정전 마찰(electrostatic friction)(ESF), 초음파 표면 마찰(ultrasonic surface friction)(USF)을 이용하는 것들, 또는 초음파 햅틱 트랜스듀서(ultrasonic haptic transducer)로 음향 방사 압력(acoustic radiation pressure)을 유도하는 것들, 또는 햅틱 기판 및 플렉시블 또는 변형가능한 표면을 이용하는 것들, 또는 에어 제트(air jet)를 이용하는 에어의 퍼프(puff)와 같은 투영된 햅틱 출력을 제공하는 것들 등과 같은 비-기계적 또는 비-진동식 디바이스들을 포함한다.
이 예에서의 증강 현실 컨텐츠는 물리적 환경의 직접적인 뷰(direct view)와 함께 지원된 컨텐츠, 또는 물리적 환경의 재생성된 뷰(recreated view)와 함께 지원된 컨텐츠의 양자이다. 이러한 방법으로, 카메라 플랫폼 관리자 모듈(116)에 의해 구현된 바와 같은 카메라 플랫폼(118)의 이용을 통해, 사용자는 디지털 이미지들(114)의 라이브 피드를 이용하여 간단하게 "룩 어라운드"할 수 있고, 디지털 이미지들(114)에서 객체들을 선택할 수 있고, 객체에 관련된 메타데이터를 획득할 수 있다.
교체 부품의 예에서, 객체 인식은 객체를 먼저 식별하기 위하여 이용될 수 있다. 이 식별은 그 다음으로, 객체와 연관된 교체 부품들, 예컨대, 필터들, 전구들, 배터리들 등을 위치시키기 위한 "룩업(look up)"으로서 이용될 수 있다. AR 디지털 컨텐츠는 그 다음으로, 사용자 인터페이스에서의 직접적인 뷰에서 이 항목들을 구입하기 위하여 선택가능한 출력일 수 있다. 예에서, 이 정보는 과거의 구입 이력과 상관되어, AR 디지털 컨텐츠는 교체 부품을 "언제" 교체할 것인지, 교체 부품이 언제 최후에 구입되었는지, 언제 교체되는 것이 예정되는지 등을 표시할 수 있다.
도 3은 카메라 플랫폼 관리자 모듈(116)에 의해 구현된 바와 같은 카메라 플랫폼(118)과의 사용자 상호작용의 일 예의 구현예(300)를 도시한다. 이 구현예(300)는 제1, 제2, 및 제3 스테이지들(302, 304, 306)을 이용하여 예시된다.
제1 스테이지(302)에서, 사용자 인터페이스(308)는 출력 디바이스(218), 예컨대, 터치스크린 디스플레이 디바이스에 의해 출력된다. 사용자 인터페이스(308)는 이 예에서 디지털 카메라(112)로부터 실시간으로 획득된 디지털 이미지들(114)의 "라이브 피드"로서 구성된다.
제2 스테이지(304)에서는, 사용자 인터페이스(308)에서 디스플레이된 객체를 선택하는 사용자 입력이 수신된다. 예시된 예에서, 사용자 입력은 출력 디바이스(218)의 터치스크린 기능성을 이용하여 검출되는 사용자의 손(318)의 손가락의 탭(tap)으로서 검출된다. 직사각형 영역을 특정하기 위한 클릭-앤드-드래그(click-and-drag) 동작 등과 같은 다른 예들이 또한 고려된다. 이러한 방법으로, 사용자는 사용자 인터페이스(308)에서 동시에 디스플레이된 다수의 객체들 사이를 구별할 수 있다. 발화된 발성(spoken utterance) 또는 다른 제스처(gesture)들과 같은 다른 예들이 또한 고려된다.
제2 스테이지(304)의 사용자 선택에 응답하여, 사용자 인터페이스(308)에서 디스플레이된 디지털 이미지(114)는 예컨대, "탭"의 X/Y 좌표들에 의해 안내된 바와 같은, 특정한 객체의 위치의 표시와 함께 캡처(예컨대, 프레임 버퍼로부터 획득)된다. 디지털 이미지(114)는 그 다음으로, 객체(예컨대, 예시된 예에서의 항아리(pitcher))를 객체 인식 데이터(208)로서 식별하기 위하여 위에서 설명된 바와 같은 객체 인식 모듈(202)에 의해 프로세싱된다.
객체 인식 데이터(208)는 그 다음으로, 상품들의 구입 및 판매를 지원하도록 구성되는 이 예에서의 서비스 제공자 시스템(104)으로 통신된다. 따라서, 이 예에서의 서비스 관리자 모듈(122)은 식별된 객체에 속하는 객체 메타데이터(212)를 위하여 저장 디바이스(124)를 검색한다. 객체 메타데이터(212)는 그 다음으로, 디지털 이미지들의 라이브/실시간 피드에서의 출력을 위하여 AR 디지털 컨텐츠(126)를 생성하도록 AR 구성 모듈(214)에 의해 구성된다.
제3 스테이지(306)에서 도시된 바와 같이, AR 디지털 컨텐츠(126)의 예들은 객체의 명칭 및 가격(310)(예컨대, 평균 가격, 판매를 위한 가격, 구매하기 위한 가격 등)을 포함하고, 이 명칭 및 가격(310)은 객체, 예컨대, 항아리의 근위부에 디스플레이된다. AR 렌더링 모듈(216)은 그 다음으로, 예컨대, 가속도계(accelerometer)들, 관성 디바이스(inertial device)들, 자이로스코프(gyroscope), 이미지 프로세싱 및 디지털 이미지들로부터의 특징 인식 등과 같은 방위 센서(orientation sensor)들로부터 수신된 데이터에 기초하여, 객체의 뷰에 대하여 "그대로" 유지하도록 이 컨텐츠를 구성할 수 있다.
AR 디지털 컨텐츠(126)는 예컨대, 온라인 경매의 일부로서, 세트 가격을 위한 것 등의, 서비스 제공자 시스템(104)으로부터 구입을 위하여 이용가능한 동일하거나 유사한 상품들(312, 314, 316)에 관한 정보를 또한 포함한다. 이러한 방법으로, 카메라 플랫폼 관리자 모듈(116)은 사용자가 디지털 이미지들의 실시간 "라이브" 피드의 컨텍스트(context) 내에서 유지되고 그 디지털 이미지들 내에 포함된 객체들을 설명하는 메타데이터를 여전히 획득할 수 있도록, 사용자 인터페이스(308) 내의 비-모달(non-modal)로서 카메라 플랫폼(118)을 구현한다. 사용자(108)는 예를 들어, 거실(110) 내의 상이한 객체들을 "룩 어라운드"할 수 있고, 서비스 제공자 시스템(104)으로부터 획득된 실시간 정보에 기초하여 이 객체들을 어떻게 구매 또는 판매할 것인지를 용이하게 결정할 수 있다.
도 4는 이전에 설명된 기법들을 이용하여 인식된 객체들의 재고를 저장하고 관리하도록 구성되는 사용자 인터페이스(306)의 또 다른 예의 구현예(400)를 도시한다. 사용자 인터페이스(308)는, 위에서 설명된 기법들을 이용하여 이전에 프로세싱되었고, 예컨대, 디지털 이미지들(402 내지 406) 내에 포함된 개개의 객체들에서의 미래의 관심을 표시하는, 사용자 인터페이스(306)와의 사용자 상호작용에 응답하여 "저장"되었던 디지털 이미지들(402, 404, 406)의 썸네일(thumbnail)들을 포함한다.
객체 재고 관리자 모듈(120)은 서비스 제공자 시스템(104)과의 통신을 통해 이 객체들과 연관된 메타데이터를 업데이트하도록 이 예에서 구성된다. 통신은 가격들에서의 변경들에 응답하는 "푸시(push)" 모델, 스케줄링된 간격들로 구현된 바와 같은, 또는 사용자 인터페이스(308)의 이 화면의 액세스에 응답하는 "풀(pull)" 모델 등을 따를 수 있다.
이 예에서의 메타데이터는 현재의 개개의 명칭들 및 가격들(408, 410, 412), 객체들의 사용자 특정된 수집품 및 연관된 메타데이터(414)(예컨대, 수집품의 현재의 값) 뿐만 아니라, 저장된 객체들의 각각을 위한 전체적인 현재의 값(416)을 포함한다. 이에 따라, 사용자는 수집품을 개별적으로 또는 전체로서 판매하기 위하여 증강된 리스팅을 함께 생성하기 위한 것과 같이, 저장된 객체들의 수집품들을 희망된 바와 같이 형성할 수 있고 이 수집품들과 희망된 바와 같이 상호작용할 수 있다.
도 5는 카메라 플랫폼에 의해 인식되고 프로세싱된 저장된 객체들을 이용하여 객체들의 구매 및 판매의 양자를 행하도록 구성된 바와 같은 사용자 인터페이스(308)의 일 예의 구현예(500)를 도시한다. 이 예에서, 사용자 선택들은 디지털 이미지들(402, 404)에서의 항아리 및 꽃병에 대응하는 항목들을 판매하고 디지털 이미지(406)에 대응하는 또 다른 램프를 구매하기 위하여 수신된다. 응답하여, 객체 재고 관리자 모듈(120)은 객체들을 판매(408, 410)하고 구매(502)하기 위한 개개의 가격들을 설명하는 메타데이터를 수집한다. 구매되고 있는 항목들의 전체적인 값(504) 뿐만 아니라, 판매되고 있는 항목들의 전체적인 값(506)을 설명하는 메타데이터가 또한, 사용자 인터페이스(308)에서 생성되고 출력된다. 값에서의 전체적인 변경(508)은 또한, 사용자 인터페이스(308)에서 출력된다.
사용자는 예를 들어, 추가적인 램프(502)를 구매하고, 그러므로, 이 비용을 커버하기 위하여 일부 객체들을 판매하는 것을 희망할 수 있다. 이 예에서의 플랫폼에 의한 저장된 객체들의 이용을 통해, 사용자는 이것이 어떻게 발생하게 할 것인지를 신속하게 그리고 효율적으로 결정할 수 있고, 이것은 번거로울 수 있는 기존의 기법들에서 가능하지 않다.
도 6은 디지털 카메라로부터 수집된 디지털 이미지들에서 인식된 객체들의 구입 또는 판매를 보조하기 위한 카메라 플랫폼의 이용의 또 다른 예의 구현예(600)를 도시한다. 이 예에서, 사용자 인터페이스(308)는 물리적 환경에서의 객체, 예컨대, 객체 자체, 객체의 물리적 사진 등을 포함하는 디지털 이미지의 라이브 피드를 또한 디스플레이한다. 응답하여, 객체 재고 관리자 모듈(120)은 제품, 예컨대, 세탁 세제(laundry detergent)에 대한 구매(602)하거나 판매(604)하기 위한 사용자 선택가능한 옵션들을 포함한다.
객체 재고 관리자 모듈(120)은 또한, 객체 인식을 통해, 객체가 이전에 구입되었다는 것을 인식한다. 이것은 컴퓨팅 디바이스(102)에 국소적인 데이터에 기초하여, 및/또는 서비스 제공자 시스템(104)과의 통신을 통해 수행될 수 있다. 응답하여, AR 디지털 컨텐츠(126)는 감소된 가격에서 구독(subscription)을 구입하기 위하여 "다시 구매"(606)하기 위한 옵션으로서 사용자 인터페이스(308)에서 렌더링된다. 이에 따라, 이 예에서, 사용자(108)는 물리적 환경을 통해 용이하게 탐색할 수 있고, 효율적이고 직관적인 방식으로 필요한 바와 같이 상품들을 구입할 수 있다.
다른 예들이 또한 고려된다. 제1의 이러한 예에서, 사용자는, 객체를 위한 업그레이드된 모델이 현재 이용가능하지 않지만, 가까운 미래에 이용가능하게 될 객체의 디지털 이미지를 캡처할 수 있다. 이에 따라, 메타데이터는 이 새로운 모델의 이용가능성 뿐만 아니라, 사용자의 현재의 모델을 판매하기 위한 옵션들을 설명할 수 있다. 제2의 이러한 예에서, 메타데이터는, 흡연 검출기에서 배터리를 언제 변경할 것인지를 표시하고, 제품의 새로운 버전으로의 전환에 의해 실현될 수 있는 비용 절감(예컨대, 85 % 에너지를 절감하는 LED 광)을 표시하는 등을 위한 것과 같은 정보이다.
카메라 플랫폼 및 사용자 프로파일들
도 7은 도 1의 카메라 플랫폼 관리자 모듈(116)의 동작을 사용자 프로파일을 채용하는 것으로서 더 상세하게 도시하는 일 예의 구현예에서의 시스템(700)을 도시한다. 도 8은 머신 러닝에 적어도 부분적으로 기초한 사용자 프로파일의 생성의 일 예의 구현예(800)를 도시한다. 도 9는 도 9의 생성된 사용자 프로파일에 기초하여 추천을 획득하는 일 예의 시스템을 도시한다.
다음의 논의는 이전에 설명된 시스템들 및 디바이스들을 사용하여 구현될 수 있는 기법들을 설명한다. 도 8 및 도 9의 모듈들에 의해 단계별로 도시된 바와 같은 절차의 양태들은 하드웨어, 펌웨어, 소프트웨어, 또는 그 조합으로 구현될 수 있다. 절차는, 하나 이상의 디바이스들에 의해 수행된 동작들을 특정하고 개개의 블록들에 의해 동작들을 수행하기 위하여 도시된 순서들로 반드시 제한되지는 않는 블록들의 세트로서 도시된다. 다음의 논의의 부분들에서는, 도 7 내지 도 9에 대해 참조가 행해질 것이다.
이 예에서, 객체 재고 관리자 모듈(120)은 사용자(108)를 위한 추천들을 행하기 위하여 카메라 플랫폼(118)을 활용한다. 디지털 이미지(114)는 예를 들어, 머신 러닝을 이용하여 구현된 바와 같은 객체 인식을 이용하여 객체 재고 관리자 모듈(120)에 의해 또한 프로세싱될 수 있다. 이 예에서, 디지털 이미지들(114)은 디지털 이미지들(114)로부터 학습된 특성들에 기초하여 프로파일(예컨대, 사용자 프로파일(702))을 생성하기 위하여 이용된다. 이 프로파일(702)은 그 다음으로, 이 특성들에 기초하여 제품 제안들을 가지는 디지털 마케팅 컨텐츠를 구성하기 위한 것과 같이, (예컨대, 도 8에 관련하여 추가로 설명된 바와 같은 머신 러닝을 통해) 추천들을 형성하기 위한 기초로서 이용된다.
프로파일은 예를 들어, 사용자(704)를 촬영한 디지털 이미지들을 포함할 수 있다. 이것으로부터, 객체 재고 관리자 모듈(120)은 사용자(704)의 가능성 있는 크기(예컨대, 치수들), 신장(예컨대, 사용자가 타이트, 느슨함과 같이 의복을 어떻게 착용하는지, 또는 그렇지 않을 경우에, 의복이 사용자 상에서 어떻게 걸리는지), 스타일(예컨대, 전문가, 히피, 그런지, 중세) 등을 결정할 수 있다. 디지털 이미지들(114)은 예컨대, 직접 다른 인간들의, 물리적 사진들로부터 등의, 사용자를 포함하지 않지만 사용자에 의해 희망되는 소스들로부터 또한 수집될 수 있다.
이것으로부터, 객체 재고 관리자 모듈(120)은 사용자 프로파일에서 설명된 크기, 신장, 및 스타일에 기초하여 제품들 또는 서비스들을 위한 디지털 마케팅 컨텐츠를 생성하기 위한 것과 같이, 사용자 프로파일에 기초하여 추천들을 생성할 수 있다. 이러한 방법으로, 객체 인식 모듈은 정확성을 증가시킬 수 있고, 그 결과, 카메라 플랫폼(118)에 기초하여 추천들의 생성에서의 연산 효율을 증가시킬 수 있다.
도 8은 도 1의 사용자 프로파일(702)의 생성의 예를 더 상세하게 도시한다. 시작하면, 디지털 이미지(114)는 이전과 같이 카메라 플랫폼 관리자 모듈(116)에 의해 획득된다. 디지털 이미지(114)는 예를 들어, 컴퓨팅 디바이스(102)의 프레임 버퍼로부터 캡처된 스크린샷 등으로서, 디지털 카메라를 이용하여 캡처될 수 있다.
디지털 이미지(114)는 그 다음으로, 디지털 이미지(114) 내의 객체를 인식하기 위하여 객체 인식 모듈(202)에 의해 프로세싱된다. 객체 인식 모듈(202)은 예를 들어, 머신 러닝, 예컨대, 신경망들을 이용하여 객체를 인식하기 위하여 이용가능한 모델들(206)을 채용하도록 구성된 머신 러닝 모듈(204)을 채용할 수 있다. 모델들(206)은 예를 들어, 대응하는 식별들로 태그(tag)되는 트레이닝 디지털 이미지들을 이용하여 트레이닝될 수 있다. 구현예에서, 이 트레이닝 디지털 이미지들 및 태그들은 시스템을 이용하여 판매자들에 의해 태깅되는 상거래 서비스 제공자 시스템으로부터 획득된다. 그 결과, 다수의 트레이닝 디지털 이미지들은 기존의 수동적인 태깅 기법들과 대조적으로, 최소 연산 및 사용자 비용으로 획득될 수 있다. 컴퓨팅 디바이스(102)에 의해 국소적으로 구현된 것으로서 예시되지만, 이 기능성은 네트워크(106)를 통해 서비스 제공자 시스템(104)에 의해 전체적으로 또는 부분적으로 또한 구현될 수 있다.
이에 따라, 객체 인식 데이터(208)는 디지털 이미지(114) 내에 포함된 객체를 설명한다. 머신 러닝 모듈(204) 및 대응하는 모델들은 디지털 이미지(114)에서 나타내어진 가능성 있는 크기, 신장, 및 스타일을 식별하기 위하여 또한 트레이닝되고, 이에 따라, 객체 인식 데이터(208)의 일부로서 크기 데이터(802), 신장 데이터(804), 및 스타일 데이터(806)를 출력한다. 크기 데이터(802)는 사용자(704)의 가능성 있는 전체적인 치수들, 사용자에 의해 착용된 가능성 있는 의복 크기들 등을 포함할 수 있다. 신장 데이터(804)는 사용자(704)가 의복들을 어떻게 착용하는지, 예컨대, 과다크기, 타이트 피팅(tight fitting), 운동용 등을 설명한다. 신장 데이터(804)는 예를 들어, 의복들의 전체적인 크기, 예컨대, 예시도에서의 배기(baggy)와 같이 "의복이 사용자 상에서 어떻게 걸쳐져 있는지"와, (예컨대, 구조화된 광 카메라(structured light camera) 또는 비행-시간(time-of-flight) 카메라를 이용한) 사용자(704)의 골격 추적과의 비교를 통해 결정될 수 있다. 스타일 데이터(806)는 사용자(704)의 의복 및/또는 사용자(704) 자신에 의해 나타내어진 스타일을 설명한다.
디지털 이미지(114)는 또한, 선호하는 특성들을 가지는 다른 사용자들, 예컨대, 희망된 자켓을 가지는 거리 상의 사람, 물리적 잡지에서의 팝스타(popstar)의 물리적 사진을 촬영한 디지털 이미지 등을 캡처할 수 있다. 이에 따라, 이 객체 인식 데이터(208)는 디지털 이미지(114)로부터 인식된 바와 같은 사용자 및/또는 다른 사용자들의 특성들을 설명하는 사용자 프로파일 데이터(810)를 생성하기 위하여 프로파일 데이터 수집 모듈(808)에 의해 수집된다.
도 9에서 도시된 바와 같이, 사용자 프로파일(702)은 그 다음으로, 서비스 제공자 시스템(104)으로 통신될 수 있고, 이것은 사용자 프로파일에 기초한 추천(902)을 형성한다. 추천(902)은 예를 들어, 사용자가 비-부정적 행렬 인수화(non-negative matrix factorization)를 통해 식별된 바와 같이 귀속하는 사용자 세그먼트(user segment)에 기초하여 머신 러닝을 이용하여 생성될 수 있다. 이러한 방법으로, 객체 재고 관리자 모듈(120)의 카메라 플랫폼(118)은 디지털 이미지들 및 플랫폼에 의해 지원된 객체 인식에 기초하여 가능성 있는 사용자 희망들을 다룰 수 있다. 컴퓨팅 디바이스(102)에 의해 구현된 바와 같이 설명되지만, 이 기능성은 예컨대, 소셜 네트워크 서비스(social network service)의 일부로서의 통신된 이미지들에 응답하여, 서비스 제공자 시스템(104)에 의해 전체적으로 또는 부분적으로 또한 구현될 수 있다.
일 예의 시스템 및 디바이스
도 10은 본원에서 설명된 다양한 기법들을 구현할 수 있는 하나 이상의 컴퓨팅 시스템들 및/또는 디바이스들을 표현하는 일 예의 컴퓨팅 디바이스(1002)를 포함하는, 전반적으로 1000인 일 예의 시스템을 예시한다. 이것은 카메라 플랫폼 관리자 모듈(116)의 포함을 통해 예시된다. 컴퓨팅 디바이스(1002)는 예를 들어, 서비스 제공자의 서버, 클라이언트와 연관된 디바이스(예컨대, 클라이언트 디바이스), 온-칩(on-chip) 시스템, 및/또는 임의의 다른 적당한 컴퓨팅 디바이스 또는 컴퓨팅 시스템일 수 있다.
예시된 바와 같은 일 예의 컴퓨팅 디바이스(1002)는 하나에서 또 다른 것으로 통신가능하게 결합되는, 프로세싱 시스템(1004), 하나 이상의 컴퓨터-판독가능 매체들(1006), 및 하나 이상의 I/O 인터페이스(1008)를 포함한다. 도시되지 않았지만, 컴퓨팅 디바이스(1002)는 다양한 컴포넌트들을 하나에서 또 다른 것으로 결합하는, 시스템 버스 또는 다른 데이터 및 커맨드 전송 시스템을 더 포함할 수 있다. 시스템 버스는 다양한 버스 아키텍처들 중의 임의의 것을 사용하는, 메모리 버스 또는 메모리 제어기, 주변 버스, 유니버셜 직렬 버스, 및/또는 프로세서 또는 로컬 버스와 같은 상이한 버스 구조들 중의 임의의 하나 또는 조합을 포함할 수 있다. 제어 및 데이터 라인들과 같은 다양한 다른 예들이 또한 고려된다.
프로세싱 시스템(1004)은 하드웨어를 이용하여 하나 이상의 동작들을 수행하기 위한 기능성을 표현한다. 따라서, 프로세싱 시스템(1004)은 프로세서들, 기능적 블록들 등으로서 구성될 수 있는 하드웨어 엘리먼트(1010)를 포함하는 것으로서 예시된다. 이것은 하나 이상의 반도체들을 이용하여 형성된 애플리케이션 특정 집적 회로 또는 다른 로직 디바이스로서의 하드웨어로 된 구현예를 포함할 수 있다. 하드웨어 엘리먼트들(1010)은 이들이 형성되는 재료들 또는 본원에서 채용된 프로세싱 메커니즘들에 의해 제한되지는 않는다. 예를 들어, 프로세서들은 반도체(들) 및/또는 트랜지스터들(예컨대, 전자 집적 회로(integrated circuit)(IC)들)로 구성될 수 있다. 이러한 맥락에서, 프로세서-실행가능 명령들은 전자적-실행가능 명령들일 수 있다.
컴퓨터-판독가능 저장 매체들(1006)은 메모리/스토리지(1012)를 포함하는 것으로서 예시된다. 메모리/스토리지(1012)는 하나 이상의 컴퓨터-판독가능 매체들과 연관된 메모리/스토리지 용량을 표현한다. 메모리/스토리지 컴포넌트(1012)는 (랜덤 액세스 메모리(random access memory)(RAM)와 같은) 휘발성 매체들 및/또는 (판독 전용 메모리(read only memory)(ROM), 플래시 메모리, 광학 디스크들, 자기 디스크들 등과 같은) 비휘발성 매체들을 포함할 수 있다. 메모리/스토리지 컴포넌트(1012)는 고정된 매체들(예컨대, RAM, ROM, 고정된 하드 드라이브 등) 뿐만 아니라, 분리가능 매체들(예컨대, 플래시 메모리, 분리가능 하드 드라이브, 광학 디스크 등)을 포함할 수 있다. 컴퓨터-판독가능 매체들(1006)은 이하에서 추가로 설명된 바와 같은 다양한 다른 방법들로 구성될 수 있다.
입력/출력 인터페이스(들)(1008)는, 사용자가 커맨드들 및 정보를 컴퓨팅 디바이스(1002)로 입력하는 것을 허용하고, 또한, 다양한 입력/출력 디바이스들을 이용하여 정보가 사용자 및/또는 다른 컴포넌트들 또는 디바이스들에 제시되는 것을 허용하기 위한 기능성을 표현한다. 입력 디바이스들의 예들은 키보드, 커서 제어 디바이스(예컨대, 마우스), 마이크로폰, 스캐너, 터치 기능성(예컨대, 물리적 터치를 검출하도록 구성되는 용량성 또는 다른 센서들), (예컨대, 터치를 수반하지 않는 제스처들로서 이동을 인식하기 위하여 적외선 주파수들과 같은 가시적 또는 비-가시적 파장들을 채용할 수 있는) 카메라 등을 포함한다. 출력 디바이스들의 예들은 디스플레이 디바이스(예컨대, 모니터 또는 프로젝터), 스피커들, 프린터, 네트워크 카드, 촉각-반응 디바이스 등을 포함한다. 이에 따라, 컴퓨팅 디바이스(1002)는 사용자 상호작용을 지원하기 위하여 이하에서 추가로 설명된 바와 같은 다양한 방법들로 구성될 수 있다.
다양한 기법들은 소프트웨어, 하드웨어 엘리먼트들, 또는 프로그램 모듈들의 일반적인 맥락에서 본원에서 설명될 수 있다. 일반적으로, 이러한 모듈들은, 특정한 태스크들을 수행하거나 특정한 추상 데이터 유형(abstract data type)들을 구현하는 루틴들, 프로그램들, 오브젝트들, 컴포넌트들, 데이터 구조들 등을 포함한다. 본원에서 이용된 바와 같은 용어들 "모듈", "기능성", 및 "컴포넌트"는 일반적으로 소프트웨어, 펌웨어, 하드웨어, 또는 그 조합을 표현한다. 본원에서 설명된 기법들의 특징들은 플랫폼-종속적이고, 이것은 기법들이 다양한 프로세서들을 가지는 다양한 상업적 컴퓨팅 플랫폼들 상에서 구현될 수 있다는 것을 의미한다.
설명된 모듈들 및 기법들의 구현예는 컴퓨터-판독가능 매체들의 일부 형태 상에서 저장될 수 있거나, 또는 이러한 일부 형태 상에서 송신될 수 있다. 컴퓨터-판독가능 매체들은 컴퓨팅 디바이스(1002)에 의해 액세스될 수 있는 다양한 매체들을 포함할 수 있다. 제한이 아닌 예로서, 컴퓨터-판독가능 매체들은 "컴퓨터-판독가능 저장 매체들" 및 "컴퓨터-판독가능 신호 매체들"을 포함할 수 있다.
"컴퓨터-판독가능 저장 매체들"은 단지 신호 송신, 반송파, 또는 신호들 자체와 대조적으로, 정보의 지속적 및/또는 비-일시적 저장을 가능하게 하는 매체들 및/또는 디바이스들을 지칭할 수 있다. 이에 따라, 컴퓨터-판독가능 저장 매체들은 비-신호 유지 매체들을 지칭한다. 컴퓨터-판독가능 저장 매체들은 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 로직 엘리먼트들/회로들, 또는 다른 데이터와 같은 정보의 저장을 위하여 적당한 방법 또는 기술에서 구현된 휘발성 및 비-휘발성, 분리가능 및 비-분리가능 매체들 및/또는 저장 디바이스들과 같은 하드웨어를 포함한다. 컴퓨터-판독가능 저장 매체들의 예들은, 희망된 정보를 저장하기 위하여 적당하고 컴퓨터에 의해 액세스될 수 있는, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크들(DVD) 또는 다른 광학 스토리지, 하드 디스크들, 자기 카세트들, 자기 테이프, 자기 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 다른 저장 디바이스, 유형의 매체들, 또는 제조 물품을 포함할 수 있지만, 이것으로 제한되지는 않는다.
"컴퓨터-판독가능 신호 매체들"은 네트워크를 통한 것과 같이, 명령들을 컴퓨팅 디바이스(1002)의 하드웨어로 송신하도록 구성되는 신호-유지 매체를 지칭할 수 있다. 신호 매체들은 전형적으로, 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 반송파들, 데이터 신호들, 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호에서의 다른 데이터를 구체화할 수 있다. 신호 매체들은 임의의 정보 전달 매체들을 또한 포함한다. 용어 "변조된 데이터 신호"는 신호에서의 정보를 인코딩하기 위한 그러한 방식으로 설정되거나 변경된 그 특성들 중의 하나 이상을 가지는 신호를 의미한다. 제한이 아닌 예로서, 통신 매체들은 유선 네트워크 또는 직접-유선 접속과 같은 유선 매체들과, 음향, RF, 적외선, 및 다른 무선 매체들과 같은 무선 매체들을 포함한다.
이전에 설명된 바와 같이, 하드웨어 엘리먼트들(1010) 및 컴퓨터-판독가능 매체들(1006)은, 하나 이상의 명령들을 수행하기 위한 것과 같이, 본원에서 설명된 기법들의 적어도 일부 양태들을 구현하기 위하여 일부 실시예들에서 채용될 수 있는 하드웨어 형태로 구현된 모듈들, 프로그래밍가능 디바이스 로직, 및/또는 고정된 디바이스 로직을 표현한다. 하드웨어는 집적 회로 또는 온-칩 시스템, 애플리케이션-특정 집적 회로(application-specific integrated circuit)(ASIC), 필드-프로그래밍가능 게이트 어레이(field-programmable gate array)(FPGA), 복잡한 프로그래밍가능 로직 디바이스(complex programmable logic device)(CPLD), 및 실리콘 또는 다른 하드웨어인 다른 구현예들의 컴포넌트들을 포함할 수 있다. 이 맥락에서, 하드웨어는 명령들에 의해 정의된 프로그램 태스크들을 수행하는 프로세싱 디바이스, 및/또는 하드웨어에 의해 구체화된 로직 뿐만 아니라, 실행을 위한 명령들을 저장하기 위하여 사용된 하드웨어, 예컨대, 이전에 설명된 컴퓨터-판독가능 저장 매체들로서 동작할 수 있다.
상기한 것의 조합들은 본원에서 설명된 다양한 기법들을 구현하기 위하여 또한 채용될 수 있다. 따라서, 소프트웨어, 하드웨어, 또는 실행가능 모듈들은 컴퓨터-판독가능 저장 매체들의 일부 형태 상에서 및/또는 하나 이상의 하드웨어 엘리먼트들(1010)에 의해 구체화된 하나 이상의 명령들 및/또는 로직으로서 구현될 수 있다. 컴퓨팅 디바이스(1002)는 소프트웨어 및/또는 하드웨어 모듈들에 대응하는 특정한 명령들 및/또는 기능들을 구현하도록 구성될 수 있다. 따라서, 컴퓨팅 디바이스(1002)에 의해 소프트웨어로서 실행가능한 모듈의 구현예는 예컨대, 컴퓨터-판독가능 저장 매체들 및/또는 프로세싱 시스템(1004)의 하드웨어 엘리먼트들(1010)의 이용을 통해, 적어도 부분적으로 하드웨어로 달성될 수 있다. 명령들 및/또는 기능들은 본원에서 설명된 기법들, 모듈들, 및 예들을 구현하기 위하여 하나 이상의 제조 물품들(예를 들어, 하나 이상의 컴퓨팅 디바이스들(1002) 및/또는 프로세싱 시스템들(1004))에 의해 실행가능/동작가능할 수 있다.
본원에서 설명된 기법들은 컴퓨팅 디바이스(1002)의 다양한 구성들에 의해 지원될 수 있고, 본원에서 설명된 기법들의 특정 예들로 제한되지는 않는다. 이 기능성은 또한, 이하에서 설명된 바와 같은 플랫폼(1016)을 통해 "클라우드"(1014) 상에서와 같이, 분산된 시스템의 이용을 통해 전부 또는 부분적으로 구현될 수 있다.
클라우드(1014)는 자원들(1018)을 위한 플랫폼(1016)을 포함하고 및/또는 이러한 플랫폼(1016)을 표현한다. 플랫폼(1016)은 클라우드(1014)의 하드웨어(예컨대, 서버들) 및 소프트웨어 자원들의 기초적인 기능성을 추상화한다. 자원들(1018)은 컴퓨터 프로세싱이 컴퓨팅 디바이스(1002)로부터 원격인 서버들 상에서 실행되는 동안에 사용될 수 있는 애플리케이션들 및/또는 데이터를 포함할 수 있다. 자원들(1018)은 인터넷 상에서, 및/또는 셀룰러 또는 Wi-Fi 네트워크와 같은 가입자 네트워크를 통해 제공된 서비스들을 또한 포함할 수 있다.
플랫폼(1016)은 컴퓨팅 디바이스(1002)를 다른 컴퓨팅 디바이스들과 접속하기 위한 자원들 및 기능들을 추상화할 수 있다. 플랫폼(1016)은 또한, 스케일의 대응하는 레벨을, 플랫폼(1016)을 통해 구현되는 자원들(1018)에 대한 조우된 수요에 제공하기 위하여, 자원들의 스케일링을 추상화하도록 작용할 수 있다. 따라서, 상호접속된 디바이스 실시예에서, 본원에서 설명된 기능성의 구현예는 시스템(1000)의 전반에 걸쳐 분산될 수 있다. 예를 들어, 기능성은 컴퓨팅 디바이스(1002) 상에서, 뿐만 아니라 클라우드(1014)의 기능성을 추상화하는 플랫폼(1016)을 통해 부분적으로 구현될 수 있다.
결론
발명은 구조적 특징들 및/또는 방법론적 액트(methodological act)들에 대해 특정적인 언어들로 설명되었지만, 첨부된 청구항들에서 정의된 발명은 설명된 특정 특징들 또는 액트들에 반드시 제한되지는 않는다는 것이 이해되어야 한다. 오히려, 특정 특징들 및 액트들은 청구된 발명을 구현하는 일 예의 형태들로서 개시된다.

Claims (20)

  1. 시스템으로서,
    사용자 인터페이스에서 디지털 이미지들의 라이브 피드(live feed)를 출력하고; 그리고
    상기 사용자 인터페이스를 통해, 적어도 하나의 상기 디지털 이미지 내에 포함된 객체의 사용자 선택을 수신하기 위하여,
    적어도 하나의 컴퓨팅 디바이스의 하드웨어로 적어도 부분적으로 구현된 카메라 플랫폼 관리자 모듈;
    머신 러닝(machine learning)을 이용하여 상기 객체를 인식하기 위하여 상기 적어도 하나의 컴퓨팅 디바이스의 하드웨어로 적어도 부분적으로 구현된 객체 인식 모듈;
    상기 인식된 객체에 속하는 메타데이터를 획득하기 위하여 상기 적어도 하나의 컴퓨팅 디바이스의 하드웨어로 적어도 부분적으로 구현된 객체 인식 모듈; 및
    상기 획득된 메타데이터에 적어도 부분적으로 기초하여 증강 현실 디지털 컨텐츠(augmented reality digital content)를 생성하기 위하여 상기 적어도 하나의 컴퓨팅 디바이스의 하드웨어로 적어도 부분적으로 구현된 증강 현실 구성 모듈; 및
    상기 라이브 피드의 일부로서 상기 사용자 인터페이스에서 실시간으로 상기 증강 현실 디지털 컨텐츠를 디스플레이하기 위하여 상기 적어도 하나의 컴퓨팅 디바이스의 하드웨어로 적어도 부분적으로 구현된 증강 현실 렌더링 모듈
    을 포함하는, 시스템.
  2. 제1항에 있어서, 상기 메타데이터는 상기 메타데이터를 제공한 서비스 제공자 시스템으로부터의 상기 객체의 판매 또는 구입을 위한 가격을 설명하는, 시스템.
  3. 제2항에 있어서, 상기 가격은 상기 객체를 수반하는 복수의 온라인 경매들에 기초하는, 시스템.
  4. 제1항에 있어서, 상기 메타데이터는 상기 객체의 특성을 설명하는 정보를 포함하는, 시스템.
  5. 제1항에 있어서, 상기 메타데이터는 객체의 부품의 교체를 설명하는 정보를 포함하는, 시스템.
  6. 제5항에 있어서, 상기 부품은 배터리 또는 필터인, 시스템.
  7. 제1항에 있어서, 상기 메타데이터는 상기 객체의 또 다른 사례를 구입하기 위한 옵션을 포함하는, 시스템.
  8. 제1항에 있어서, 상기 증강 현실 디지털 컨텐츠는 디지털 이미지들의 라이브 피드 내에서의 상기 객체와 동시에, 그리고 상기 객체의 근위부에서 디스플레이되는, 시스템.
  9. 제1항에 있어서, 상기 증강 현실 컨텐츠는 상기 컴퓨팅 디바이스의 물리적 환경의 직접적인 뷰(direct view)와 함께 출력되는, 시스템.
  10. 컴퓨팅 디바이스에 의해 구현된 방법으로서,
    상기 컴퓨팅 디바이스에 의해, 사용자 인터페이스에서 디지털 이미지들의 라이브 피드를 출력하는 단계;
    상기 컴퓨팅 디바이스에 의해, 적어도 하나의 상기 디지털 이미지의 사용자 선택을 수신하는 단계;
    상기 컴퓨팅 디바이스에 의해, 머신 러닝을 이용하여 적어도 하나의 상기 디지털 이미지 내에서 포함된 객체를 인식하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 객체의 또 다른 사례를 구입하기 위한 옵션을 포함하는 메타데이터를 획득하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 획득된 메타데이터에 적어도 부분적으로 기초하여 증강 현실 디지털 컨텐츠를 생성하는 단계; 및
    상기 컴퓨팅 디바이스에 의해, 상기 사용자 인터페이스의 상기 라이브 피드에서 상기 증강 현실 디지털 컨텐츠를 디스플레이하는 단계
    를 포함하는, 방법.
  11. 제10항에 있어서, 상기 메타데이터는 상기 메타데이터를 제공한 서비스 제공자 시스템으로부터의 상기 객체의 판매 또는 구입을 위한 가격을 포함하는, 방법.
  12. 제10항에 있어서, 상기 메타데이터는 상기 객체의 특성을 설명하는 정보를 포함하는, 방법.
  13. 제10항에 있어서, 상기 메타데이터는 객체의 부품의 교체를 설명하는 정보를 포함하는, 방법.
  14. 제13항에 있어서, 상기 부품은 배터리 또는 필터인, 방법.
  15. 제10항에 있어서, 상기 증강 현실 디지털 컨텐츠는 디지털 이미지들의 라이브 피드 내에서의 상기 객체와 동시에, 그리고 상기 객체의 근위부에서 디스플레이되는, 방법.
  16. 제10항에 있어서, 상기 증강 현실 컨텐츠는 상기 객체와 연관된 바와 같은 디지털 이미지들의 상기 라이브 피드의 일부로서 출력되는, 방법.
  17. 시스템으로서,
    사용자 인터페이스에서 디지털 이미지들의 라이브 피드(live feed)를 출력하고; 그리고
    상기 사용자 인터페이스를 통해, 적어도 하나의 상기 디지털 이미지 내에 포함된 객체의 사용자 선택을 수신하기 위하여,
    적어도 하나의 컴퓨팅 디바이스의 하드웨어로 적어도 부분적으로 구현된 카메라 플랫폼 관리자 모듈;
    머신 러닝을 이용하여 상기 객체를 인식하기 위하여 상기 적어도 하나의 컴퓨팅 디바이스의 하드웨어로 적어도 부분적으로 구현된 객체 인식 모듈;
    상기 인식된 객체의 교체 부품을 설명하는 메타데이터를 획득하기 위하여 상기 적어도 하나의 컴퓨팅 디바이스의 하드웨어로 적어도 부분적으로 구현된 객체 인식 모듈; 및
    상기 획득된 메타데이터에 적어도 부분적으로 기초하여 증강 현실 디지털 컨텐츠를 생성하기 위하여 상기 적어도 하나의 컴퓨팅 디바이스의 하드웨어로 적어도 부분적으로 구현된 증강 현실 구성 모듈; 및
    상기 라이브 피드의 일부로서 상기 사용자 인터페이스에서 실시간으로 상기 증강 현실 디지털 컨텐츠를 디스플레이하기 위하여 상기 적어도 하나의 컴퓨팅 디바이스의 하드웨어로 적어도 부분적으로 구현된 증강 현실 렌더링 모듈
    을 포함하는, 시스템.
  18. 제17항에 있어서, 상기 부품은 배터리 또는 필터인, 시스템.
  19. 제17항에 있어서, 상기 증강 현실 디지털 컨텐츠는 디지털 이미지들의 라이브 피드 내에서의 상기 객체와 동시에, 그리고 상기 객체의 근위부에서 디스플레이되는, 시스템.
  20. 제17항에 있어서, 상기 메타데이터는 상기 메타데이터를 제공한 서비스 제공자 시스템으로부터의 상기 객체의 판매 또는 구입을 위한 가격을 포함하는, 시스템.
KR1020207007259A 2017-09-14 2018-09-10 카메라 플랫폼 및 객체 재고 제어 KR20200040281A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227008248A KR102596920B1 (ko) 2017-09-14 2018-09-10 카메라 플랫폼 및 객체 재고 제어

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762558836P 2017-09-14 2017-09-14
US62/558,836 2017-09-14
US15/858,463 US10949667B2 (en) 2017-09-14 2017-12-29 Camera platform and object inventory control
US15/858,463 2017-12-29
PCT/US2018/050280 WO2019055352A1 (en) 2017-09-14 2018-09-10 CAMERA PLATFORM AND INVENTORY CONTROL OF OBJECTS

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227008248A Division KR102596920B1 (ko) 2017-09-14 2018-09-10 카메라 플랫폼 및 객체 재고 제어

Publications (1)

Publication Number Publication Date
KR20200040281A true KR20200040281A (ko) 2020-04-17

Family

ID=65631153

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020207007259A KR20200040281A (ko) 2017-09-14 2018-09-10 카메라 플랫폼 및 객체 재고 제어
KR1020227008248A KR102596920B1 (ko) 2017-09-14 2018-09-10 카메라 플랫폼 및 객체 재고 제어
KR1020237037204A KR20230156152A (ko) 2017-09-14 2018-09-10 카메라 플랫폼 및 객체 재고 제어

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020227008248A KR102596920B1 (ko) 2017-09-14 2018-09-10 카메라 플랫폼 및 객체 재고 제어
KR1020237037204A KR20230156152A (ko) 2017-09-14 2018-09-10 카메라 플랫폼 및 객체 재고 제어

Country Status (5)

Country Link
US (7) US10509962B2 (ko)
EP (1) EP3682408A1 (ko)
KR (3) KR20200040281A (ko)
CN (1) CN111183449A (ko)
WO (1) WO2019055352A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220033755A (ko) * 2020-09-10 2022-03-17 주식회사 인에이블와우 단말기, 이의 제어 방법 및 상기 방법을 구현하기 위한 프로그램을 기록한 기록 매체

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190108578A1 (en) 2017-09-13 2019-04-11 Magical Technologies, Llc Systems and methods of rewards object spawning and augmented reality commerce platform supporting multiple seller entities
US10509962B2 (en) 2017-09-14 2019-12-17 Ebay Inc. Camera platform incorporating schedule and stature
CN107832662B (zh) * 2017-09-27 2022-05-27 百度在线网络技术（北京）有限公司 一种获取图片标注数据的方法和系统
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US20190156377A1 (en) 2017-11-17 2019-05-23 Ebay Inc. Rendering virtual content based on items recognized in a real-world environment
US10904374B2 (en) 2018-01-24 2021-01-26 Magical Technologies, Llc Systems, methods and apparatuses to facilitate gradual or instantaneous adjustment in levels of perceptibility of virtual objects or reality object in a digital scene
US11398088B2 (en) * 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
US11205219B2 (en) * 2018-02-26 2021-12-21 Accenture Global Solutions Limited Method, system, and one or more non-transitory computer-readable storage media for augmented reality assistant for transactions
US10824869B2 (en) * 2018-03-20 2020-11-03 Olx B.V. Clickless identification and online posting
US10481761B2 (en) * 2018-04-06 2019-11-19 Capital One Services, Llc Dynamic design of user interface elements
US11704652B2 (en) * 2018-06-21 2023-07-18 Supertab Ag Method and system for augmented feature purchase
US20200082576A1 (en) * 2018-09-11 2020-03-12 Apple Inc. Method, Device, and System for Delivering Recommendations
JP2020077262A (ja) * 2018-11-08 2020-05-21 トヨタ自動車株式会社 情報処理システム、サーバ、プログラム、及び情報処理方法
JP6589038B1 (ja) * 2018-12-19 2019-10-09 株式会社メルカリ ウェアラブル端末、情報処理端末、プログラム及び商品情報表示方法
KR102151006B1 (ko) * 2018-12-28 2020-09-02 주식회사 딥엑스 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기
US11467656B2 (en) 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US11068785B2 (en) * 2019-03-26 2021-07-20 Aivitae LLC Methods and systems for operating applications through user interfaces
US10957108B2 (en) * 2019-04-15 2021-03-23 Shutterstock, Inc. Augmented reality image retrieval systems and methods
WO2021064693A1 (en) * 2019-10-03 2021-04-08 Safran Cabin Catering B.V. System and method for stock inventory management
JP7453772B2 (ja) * 2019-11-01 2024-03-21 キヤノン株式会社 情報処理装置及びその制御方法、撮像装置システム、プログラム
US11823442B2 (en) * 2020-03-04 2023-11-21 Matroid, Inc. Detecting content in a real-time video stream using machine-learning classifiers
US20210407109A1 (en) * 2020-06-24 2021-12-30 Maui Jim, Inc. Visual product identification
JP7572812B2 (ja) * 2020-08-21 2024-10-24 株式会社小松製作所 作業機械の障害物報知システムおよび作業機械の障害物報知方法
US20230351705A1 (en) * 2020-08-27 2023-11-02 Samsung Electronics Co., Ltd. Method and apparatus for performing anchor based rendering for augmented reality media objects
WO2022066412A1 (en) * 2020-09-24 2022-03-31 Sterling Labs Llc Method and device for presenting content based on machine-readable content and object type
US11966957B2 (en) * 2020-11-06 2024-04-23 Xgenesis Inc. Methods and systems for modular personalization center
US11017609B1 (en) * 2020-11-24 2021-05-25 Horizon Group USA, INC System and method for generating augmented reality objects
US11874960B2 (en) 2021-03-31 2024-01-16 Snap Inc. Pausing device operation based on facial movement
US12072930B2 (en) 2021-03-31 2024-08-27 Snap Inc.. Transmitting metadata via inaudible frequencies
US20220319061A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Transmitting metadata via invisible light
US11961291B2 (en) * 2021-04-19 2024-04-16 Apple Inc. Visual search for electronic devices
US20240152992A1 (en) * 2022-11-07 2024-05-09 Citizens Financial Group, Inc. Data intelligence platform

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965460B1 (en) * 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
US7734641B2 (en) 2007-05-25 2010-06-08 Peerset, Inc. Recommendation systems and methods using interest correlation
US8666909B2 (en) 2007-11-02 2014-03-04 Ebay, Inc. Interestingness recommendations in a computing advice facility
US8068676B2 (en) 2007-11-07 2011-11-29 Palo Alto Research Center Incorporated Intelligent fashion exploration based on clothes recognition
US9495386B2 (en) * 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US20130215116A1 (en) 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US20100191770A1 (en) * 2009-01-27 2010-07-29 Apple Inc. Systems and methods for providing a virtual fashion closet
US20100313141A1 (en) 2009-06-03 2010-12-09 Tianli Yu System and Method for Learning User Genres and Styles and for Matching Products to User Preferences
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US9218530B2 (en) 2010-11-04 2015-12-22 Digimarc Corporation Smartphone-based methods and systems
US9025864B2 (en) 2010-06-01 2015-05-05 Hewlett-Packard Development Company, L.P. Image clustering using a personal clothing model
JP5476236B2 (ja) 2010-07-02 2014-04-23 日本電信電話株式会社 コーディネート推薦装置、コーディネート推薦方法及びそのプログラム
JP2012043396A (ja) 2010-08-13 2012-03-01 Hyundai Motor Co Ltd 拡張現実を用いた車両消耗品管理システム及びその方法
KR20120015803A (ko) 2010-08-13 2012-02-22 현대자동차주식회사 증강현실을 이용한 차량 소모품 관리 시스템 및 그 방법
KR101984462B1 (ko) * 2010-12-31 2019-05-30 이베이 인크. 간단한 커맨드로 복수의 네트워크화된 디바이스에 콘텐츠를 디스플레이하기 위한 방법 및 시스템
US9449342B2 (en) * 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
JP6070705B2 (ja) * 2012-07-24 2017-02-01 日本電気株式会社 情報処理装置、そのデータ処理方法、およびプログラム
CA2888153C (en) * 2012-10-19 2021-04-27 Digimarc Corporation Methods and arrangements for identifying objects
JP6286123B2 (ja) * 2012-12-27 2018-02-28 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置、コンテンツ提供方法及びコンピュータプログラム
US9070217B2 (en) * 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
US9183583B2 (en) * 2013-05-13 2015-11-10 A9.Com, Inc. Augmented reality recommendations
US20150286873A1 (en) 2014-04-03 2015-10-08 Bruce L. Davis Smartphone-based methods and systems
US9179061B1 (en) * 2013-12-11 2015-11-03 A9.Com, Inc. Assisted text input for computing devices
US9471912B2 (en) 2014-02-06 2016-10-18 Verto Analytics Oy Behavioral event measurement system and related method
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9240077B1 (en) 2014-03-19 2016-01-19 A9.Com, Inc. Real-time visual effects for a live camera view
US10013710B2 (en) * 2014-04-17 2018-07-03 Ebay Inc. Fashion preference analysis
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US20160070439A1 (en) 2014-09-04 2016-03-10 International Business Machines Corporation Electronic commerce using augmented reality glasses and a smart watch
US20160189039A1 (en) 2014-12-31 2016-06-30 Nokia Corporation Clothing selection
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
EP3298586B1 (en) * 2015-05-18 2022-03-23 EMBL Retail Inc Method and system for recommending fitting footwear
US9329762B1 (en) 2015-06-02 2016-05-03 Interactive Memories, Inc. Methods and systems for reversing editing operations in media-rich projects
KR20160144665A (ko) 2015-06-09 2016-12-19 에스케이플래닛 주식회사 객체 인식 및 데이터베이스 매칭 결과를 표시하는 사용자 장치, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
US10311409B1 (en) * 2015-06-26 2019-06-04 Amazon Technologies, Inc. Detection and interpretation of visual indicators
US10965975B2 (en) * 2015-08-31 2021-03-30 Orcam Technologies Ltd. Systems and methods for recognizing faces using non-facial information
US10049500B2 (en) 2015-09-22 2018-08-14 3D Product Imaging Inc. Augmented reality e-commerce for home improvement
US9811762B2 (en) * 2015-09-22 2017-11-07 Swati Shah Clothing matching system and method
US10102448B2 (en) * 2015-10-16 2018-10-16 Ehdp Studios, Llc Virtual clothing match app and image recognition computing device associated therewith
US10008039B1 (en) 2015-12-02 2018-06-26 A9.Com, Inc. Augmented reality fitting approach
US10685332B2 (en) * 2016-06-24 2020-06-16 Intel Corporation Contextual model-based event scheduling
CN106355479A (zh) * 2016-09-22 2017-01-25 京东方科技集团股份有限公司 一种虚拟试衣方法、虚拟试衣眼镜及虚拟试衣系统
US10339583B2 (en) * 2016-11-30 2019-07-02 Bank Of America Corporation Object recognition and analysis using augmented reality user devices
US20180158134A1 (en) * 2016-12-05 2018-06-07 Abdelrahman Hassan Shopping System Using Augmented Reality
US20180197221A1 (en) * 2017-01-06 2018-07-12 Dragon-Click Corp. System and method of image-based service identification
US10614506B2 (en) 2017-01-27 2020-04-07 Color Butler, Inc. System and method for fashion recommendations
US20190066304A1 (en) * 2017-08-31 2019-02-28 Microsoft Technology Licensing, Llc Real-time object segmentation in live camera mode
US10509962B2 (en) 2017-09-14 2019-12-17 Ebay Inc. Camera platform incorporating schedule and stature

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220033755A (ko) * 2020-09-10 2022-03-17 주식회사 인에이블와우 단말기, 이의 제어 방법 및 상기 방법을 구현하기 위한 프로그램을 기록한 기록 매체

Also Published As

Publication number Publication date
US20240305751A1 (en) 2024-09-12
US20210312180A1 (en) 2021-10-07
WO2019055352A1 (en) 2019-03-21
US11659143B2 (en) 2023-05-23
US11126849B2 (en) 2021-09-21
US20230254455A1 (en) 2023-08-10
KR20220038517A (ko) 2022-03-28
KR102596920B1 (ko) 2023-11-06
US20200065588A1 (en) 2020-02-27
US20190080172A1 (en) 2019-03-14
KR20230156152A (ko) 2023-11-13
EP3682408A1 (en) 2020-07-22
CN111183449A (zh) 2020-05-19
US20210158046A1 (en) 2021-05-27
US12081913B2 (en) 2024-09-03
US20190080171A1 (en) 2019-03-14
US10509962B2 (en) 2019-12-17
US10949667B2 (en) 2021-03-16
US11665320B2 (en) 2023-05-30

Similar Documents

Publication Publication Date Title
KR102596920B1 (ko) 카메라 플랫폼 및 객체 재고 제어
US11636524B2 (en) Computer vision, user segment, and missing item determination
US20220414742A1 (en) Navigation and Rewards involving Physical Goods and Services
US20200034898A1 (en) Systems and methods for facilitating the retail shopping experience online
CN108292425B (zh) 自动引导的图像捕获和展示
KR102511094B1 (ko) 디지털 이미지 캡처 세션 및 메타데이터 연관
US20180061128A1 (en) Digital Content Rendering Coordination in Augmented Reality
CN111670452B (zh) 销售清单创建方法
US10282904B1 (en) Providing augmented reality view of objects
JP2021086355A (ja) 情報処理方法、プログラム、及び情報処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2022101000537; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20220311

Effective date: 20220728