KR101659190B1 - 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치 - Google Patents

맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치 Download PDF

Info

Publication number
KR101659190B1
KR101659190B1 KR1020147004160A KR20147004160A KR101659190B1 KR 101659190 B1 KR101659190 B1 KR 101659190B1 KR 1020147004160 A KR1020147004160 A KR 1020147004160A KR 20147004160 A KR20147004160 A KR 20147004160A KR 101659190 B1 KR101659190 B1 KR 101659190B1
Authority
KR
South Korea
Prior art keywords
placeholder
item
image
information
determining
Prior art date
Application number
KR1020147004160A
Other languages
English (en)
Other versions
KR20140024483A (ko
Inventor
존 태플리
에릭 제이 파라로
Original Assignee
이베이 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이베이 인크. filed Critical 이베이 인크.
Publication of KR20140024483A publication Critical patent/KR20140024483A/ko
Application granted granted Critical
Publication of KR101659190B1 publication Critical patent/KR101659190B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

아이템 이미지를 클라이언트에 제공하여 맥락적 환경 내에 표시하게 하는 시스템 및 방법의 예시적인 실시예에서, 사용자는 맥락적 환경에 표시할 아이템을 선택하고, 맥락적 환경을 촬상하도록 처리 시스템에 연결된 카메라의 위치를 조정한다. 사용자가 선택한 아이템과 관련된 마커가 생성된다. 예시적인 실시예에서, 생성된 마커는 맥락적 환경 내의 어느 자리에 위치되고, 사용자의 처리 시스템은, 카메라-촬상된 환경의 시각 데이터 스트림을 서버에 전송한다. 예시적인 실시예에서, 사용자의 처리 장치는, 아이템의 이미지를 포함한 수정된 데이터 스트림을 수신해서, 아이템의 이미지를 마커와 같은 위치에 디스플레이한다.

Description

맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치{AUGMENTED REALITY SYSTEM METHOD AND APPARATUS FOR DISPLAYING AN ITEM IMAGE IN A CONTEXTUAL ENVIRONMENT}
본 출원은 2009년 12월 22일에 출원된 미국 특허 출원 제 12/644,957 호의 우선권을 주장하며, 그 전체 내용은 본 명세서에 참조로서 포함된다.
본 출원은 전반적으로 전자 상거래(e-커머스)에 관한 것이고, 상세하게는 컴퓨터-구현식 증강 현실 아이템 이미지 중첩 방법 및 시스템에 관한 것이다.
온라인 쇼핑 및 경매 웹 사이트(예컨대, e-커머스)에 아이템을 나열할 때, 판매용 아이템에 대한 텍스트 설명을 보충하기 위해서, 그 아이템과 관련된 이미지를 제공하는 경우가 종종 있다. 이 이미지는 디지털 사진, 그림, 또는 경우에 따라서 비디오 클립이 될 수도 있고, 혹은 이들의 조합의 형태가 될 수도 있다. 일부 아이템의 경우, 그 아이템의 다양한 각도 및 뷰의 아이템을 제공하는 다수의 이미지(예컨대, 디지털 사진)이 있을 수 있다. 일부 예에서, 이 이미지는 거실의 소파와 같은, 맥락적 환경(contextual environment) 내에 있을 수 있다. 다른 예에서는, 아이템 이미지는 맥락적 환경없이 아이템만을 나타낼 수 있다.
본 발명의 실시예가 첨부된 도면을 참조로 예시적으로 설명되지만, 이에 한정되는 것은 아니며, 도면에서 동일한 참조 번호는 유사한 구성 요소를 나타낸다.
도 1은 수정된 시각 데이터(visual data)를 처리 시스템에 제공하는 예시적인 증강 현실 시스템이 구현될 수 있는 네트워크를 나타내는 도면,
도 2는 일 예시적인 실시예에 따른, 예시적인 증강 현실 모듈의 블록도,
도 3은 예시적인 실시예에 따른, 수정된 시각 데이터를 제공하는 방법의 흐름도,
도 4는 예시적인 실시예에 따른, 증강 현실 시스템에 이용되는 플레이스 홀더(placeholder)의 예를 나타내는 도면,
도 5(a) 및 도 5(b)는 예시적인 실시예에 따른, 카메라-촬상된 환경 내의 플레이스 홀더, 및 그 결과로 나온 맥락적 환경 내의 증강 현실 표시를 나타내는, 예시적인 사용자 인터페이스를 나타내는 도면,
도 6은, 머신으로 하여금, 본 명세서에 설명되는 방법 중 하나 이상을 수행하게 하는 인스트럭션 세트가 실행될 수 있는, 예시적으로 컴퓨터 시스템의 형태인 머신을 나타내는 도면이다.
카메라-촬상된 환경 내의 한 자리에 아이템이 위치하고 있는 것처럼 보이도록, 화면 상에 아이템 이미지를 표시하는 시스템 및 방법이 설명된다. 이하 설명에서, 본 발명의 실시예를 완전하게 이해할 수 있도록 많은 세부 사항이 설명의 목적으로 개시된다. 그러나, 본 발명이 이러한 세부 사항없이도 실시될 수 있다는 것은, 당업자에게는 자명할 것이다. 이하 상세한 설명은 첨부된 도면을 참조하고 있으며, 이 도면은 상세한 설명의 일부이다. 이 도면은 예시적인 실시예에 따라 도시된다. 이들 예시적인 실시예는, "예"라고도 하며, 당업자가, 제시된 청구 대상을 실시할 수 있도록 충분히 상세하게 설명된다. 청구된 범주를 벗어남없이, 이 실시예들이 조합될 수도 있고, 다른 실시예가 이용될 수도 있으며, 구조적인 변경, 논리적인 변경 및 전기적인 변경이 이루어질 수 있다. 따라서, 이하 상세한 설명은 한정의 의미가 아니며, 그 범주는 첨부된 청구항 및 그 동등물에 의해서 한정된다.
증강 현실이란 일반적으로, 컴퓨터 영상 합성 기술(computer-generated imagery)을 통해서 가상 세계와 현실 세계가 혼합된 환경을 생성하는 것을 가리킨다. 현실 세계의 구성 요소가 실시간 환경으로 가상 이미지와 혼합되어서, 이렇게 하지 않으면 전혀 불가능했을 정보 및 시각 효과를 사용자에게 제공한다.
판매자가 판매용 아이템을 포스팅하는, 온라인 트레이딩 플랫폼과 같은 온라인 공개 시스템에서는, 특정 아이템이 사용자가 지정한 위치에서 특정 아이템이 어떻게 나타나는지를 보여줌으로써 사용자의 구매 결정을 돕는 것이 바람직하다. 예컨대, 거실용 소파를 구매하고자 하는 사용자는, 소파를 어디에 둘지 결정해야 하며, 전반적으로는 거실에서 소파가 어떻게 보여지게 할지를 결정해야 한다. 사용자는 소파를 실제로 소유하지 않고도, 소파가 거실에 있는 모습을 보고 싶어할 수 있다. 또한, 사용자는 다양한 소파를 비교해 가면서, 소파가 방의 여러 각도에서 어떻게 보여질지를 보고 싶어하고, 심지어는 실제 가구를 물리적으로 이동시키지 않고도, 소파 주위의 다른 아이템과의 가구의 조화를 만들어 보고 싶어한다. 예시적인 실시예에서, 사용자는 증강 현실 시스템을 통해서 실제 소파를 물리적으로 이동시킬 필요없이 카메라에 의해 촬상된 환경(예컨대, 거실) 내에서 가상의 소파(및, 필요에 따라서는 추가 아이템)를 배치 및 재배치해 볼 수 있다.
예시적인 실시예에서, 이 방법은 사용자가 실제 아이템이 위치될 위치에 마커(예컨대, 콘트라스트 마킹 및 고유 객체가 있는 종이 한 장과 같은 플레이스 홀더)를 배치할 수 있게 한다. 이 방법은 어느 자리에 위치된 마커의 이미지를 예컨대, 비디오 카메라를 이용해서 기록하고, 촬상된 이미지를 증강 현실 시스템에 송신하며, 선택된 자리에 위치된 실제 아이템의 이미지를 수신한다. 여러 실시예에서, 마커(예컨대, 플레이스 홀더)는 고유 마킹이 되어 있는 한 장의 종이(8.5"×11")가 될 수 있으며, 이는 사용자가 다운로드하고 프린트해서, 그 자리에 위치시킬 수 있다. 서버는 그 자리에 있는 플레이스 홀더의 비디오 스트림을 사용자 시스템으로부터 수신해서, 플레이스 홀더를 검출하고, 이 마커를 아이템으로 대치한 수정된 비디오 스트림을 사용자 시스템으로 다시 송신해서 표시시킨다.
다양한 예시적인 실시예에서, 아이템 선택을 포함한 입력을 클라이언트로부터 수신해서 플레이스 홀더를 생성하고, 이 플레이스 홀더를 생성하기 위한 정보를 출력 성능과 함께 입력 소스(예컨대, 클라이언트) 혹은 처리 시스템에 제공한다. 카메라-촬상된 환경의 비디오 데이터가 수신되며, 이 환경에는 플레이스 홀더가 위치될 수 있다. 이 입력을 분석해서 플레이스 홀더를 검출하고, 이 분석에 따라서 이미지를 불러온다(retrieved). 시각 데이터는 이 이미지와 관련된 이미지 데이터를 포함하도록 수정되고, 일부 실시예에서 이 이미지는 이미지의 중첩이 될 수 있으며, 수정된 시각 데이터는 입력 소스(예컨대, 사용자의 처리 시스템) 혹은 또 다른 처리 시스템에 제공될 수 있다. 일부 예시적인 실시예에서, 불러온 이미지를 이 분석에 따라 수정해서, 환경 및 플레이스 홀더 정보로부터 결정된 배치 정보에 따라 아이템 이미지 중첩의 크기 및 방향을 조정한다. 일 예시적인 실시예에서, 플레이스 홀더는 사용자가 가정용 컴퓨터 시스템을 이용해서 인쇄 가능한, 고유 마킹(예컨대, 바코드, 콘트라스트 가능 이미지, 2차원 데이터 코드)이 되어 있는 인쇄된 한 장의 종이가 될 수 있다. 일부 예시적인 실시예에서, 이 한 장의 종이는 다른 처리 시스템에 의해서 인식될 수도 있다. 일부 실시예에서, 하나의 플레이스 홀더가 다수의 아이템을 가리켜서, 하나 이상의 아이템을 교대로 나타내도록 사용될 수 있다. 예컨대, 사용자가 같은 자리에서 제 1 아이템과 제 2 아이템을 비교하고자 한다면, 플레이스 홀더는 교대로 제 1 아이템과 제 2 아이템 모두를 나타낼 수 있으며, 이 때는 2개의 플레이스 홀더를 생성할 필요가 있다. 일부 실시예에서, 하나의 플레이스 홀더가 어느 특정 아이템과 연관되는 일없이 사용될 수 있다. 예시적인 증강 현실 시스템이 도 1을 참조로 설명된다.
도 1은, 수정된 시각 데이터를 처리 시스템(110)에 제공하는 예시적인 증강 현실 시스템(100)이 구현될 수 있는 네트워크를 나타낸 도면이다. 도시된 바와 같이, 증강 현실 시스템(100)은 처리 시스템(110) 및 서버(120)를 포함할 수 있다. 서버(120)는 일 예시적인 실시예에서 온라인 트레이딩 플랫폼을 호스팅할 수 있다. 처리 시스템(110)은 웹 브라우저 애플리케이션과 같은 애플리케이션(116)을 실행할 수 있으며, 네트워크(130)를 통해서 서버(120)에 액세스할 수 있다. 네트워크(130)는 공중 통신망(예컨대, 인터넷, 무선 네트워크 등)이 될 수도 있고, 전용 통신망(예컨대, LAN, WAN, 인트라넷 등)이 될 수도 있다.
일 실시예에서, 네트워크-기반 트레이딩 플랫폼은 하나 이상의 시장(marketplace) 애플리케이션, 지불(payment) 애플리케이션 및 다른 리소스를 제공할 수 있다. 시장 애플리케이션은 다수의 시장 기능 및 서비스를 그 시장에 액세스한 사용자에게 제공할 수 있다. 유사하게, 지불 애플리케이션은 다수의 지불 서비스 및 기능을 사용자에게 제공할 수 있다. 네트워크-기반 트레이딩 플랫폼은 트레이딩 플랫폼에 리스팅된 다양한 아이템을 표시할 수 있다. 그러나 본 명세서에서 설명되는 실시예는 네트워크-기반 트레이딩 플랫폼으로 한정되지 않는다. 다른 실시예에서는, 소셜 네트워킹 웹 사이트, 종합 뉴스 웹사이트, 웹 포털, 네트워크-기반 광고 플랫폼, 혹은 사용자에게 아이템을 표시하는 기타 시스템과 같은, 다른 퍼블리싱 플랫폼이 사용될 수도 있다.
처리 시스템(110)은, 맥락적 환경(예컨대, 거실)을 촬상하기 위한 카메라 소스(112)(예컨대, 비디오 카메라 혹은 디지털 스틸 카메라), 및 이 맥락적 환경을 제공하기 위한, 일 예시적인 실시예에서는, 증강된 환경을 제공하기 위한 시각 출력(114)(예컨대, LCD 디스플레이 등)을 포함할 수 있다. 서버(120)는 아이템 이미지 소스(122) 및 증강 현실 애플리케이션(124)을 포함하고 있다. 일부 실시예에서, 서버(120)는 아이템 이미지(142)를 저장할 수 있는 하나 이상의 데이터베이스(140)와 통신 가능하게 연결될 수 있다.
예시적인 실시예에서, 처리 시스템(110)은 카메라 소스(112)에 의해 촬상된 맥락적 환경을 수정하는 요청을 서버(120)에 송신할 수 있다. 일 실시예에서, 처리 시스템(110)으로부터의 요청은 사용자가 선택한 아이템을 포함할 수 있다. 일 실시예에서, 서버(120)의 증강 현실 애플리케이션(124)이 이 요청을 검출해서, 플레이스 홀더 생성 정보를 처리 시스템(110)에 제공함으로써, 사용자가 선택한 아이템과 관련된 플레이스 홀더를 생성할 수 있다. 플레이스 홀더 생성 정보를 수신하면, 처리 시스템(110)을 제어하는 사용자는, 예컨대, 증강 현실 애플리케이션(124)이 제공하는 플레이스 홀더의 이미지를 인쇄함으로써, 플레이스 홀더를 제작한다. 일부 예시적인 실시예에서, 이 플레이스 홀더는 일반적인 편지지 크기의 종이(예컨대, 8.5"×11")에 고유의 마킹을 한 것이 될 수 있고, 그 예가 도 4에 도시되어 있으며, 이하 설명된다. 증강 현실 애플리케이션(124)은 이 고유의 마킹을 이용해서 맥락적 환경 내에서 플레이스 홀더를 식별해서, 카메라가 촬상한 맥락적 환경 내에서 사용자가 선택한 아이템의 소망의 위치를 결정할 수 있다. 일부 실시예에서, 플레이스 홀더는, 고유의 마킹을 한 플레이스 홀더를 표시하는 보조 표시 장치(예컨대, 휴대 전화 디스플레이)를 이용해서 생성될 수 있다. 다른 실시예에서는, 사용자는 플레이스 홀더 생성 정보를 이용해서, 고유의 마킹을 한 장의 종이와 같은 객체 또는 3차원 객체에 그리고/그리거나 색칠함으로써, 플레이스 홀더를 물리적으로 작성할 수 있다. 일부 실시예에서, 사용자가 선택한 아이템에 더해서, 플레이스 홀더 생성 정보 및 이와 관련된 고유의 마킹은, 카메라에 의해 수집된 시각 데이터를 수신한 것에 기초해서 그 환경의 구성 요소에 맞춰서 만들어진다. 예컨대, 플레이스 홀더 생성 정보는 그 환경(예컨대, 방)의 크기를 고려해서 생성될 수 있다.
다른 예시적인 실시예에서, 증강 현실 애플리케이션(124)은 처리 시스템(110), 및 이 처리 시스템(110)에 통신 가능하게 연결되어 있는 카메라 소스(112)로부터 시각 데이터를 수신해서 처리하고, 수정된 데이터를 다시 처리 시스템(110)에 제공한다. 예컨대, 카메라 소스(112)는 플레이스 홀더가 위치되어 있는 맥락적 환경의 시각 데이터를 수집할 수 있다. 일부 실시예에서, 애플리케이션(116) 중 하나는 시각 데이터를 수신할 수 있다. 애플리케이션(116)은 이 시각 데이터를 네트워크(130)를 통해서 서버(120)의 증강 현실 애플리케이션(124)에 제공할 수 있다. 증강 현실 애플리케이션(124)은 이 시각 데이터를 분석해서, 촬상된 맥락적 환경 내에 위치된 플레이스 홀더와 관련된 플레이스 홀더 정보를 검출할 수 있고, 아울러 플레이스 홀더 정보로부터 배치 정보를 결정할 수 있다. 증강 현실 애플리케이션(124)은 플레이스 홀더 정보, 배치 정보 혹은 이들의 조합에 기초해서 서버(120)의 아이템 이미지 소스(122)로부터 이미지를 불러올 수 있다. 일부 실시예에서, 증강 현실 애플리케이션(124)은, 서버(120)에 통신 가능하게 연결된 데이터베이스(140)에 저장된 아이템 이미지(142)로부터 이미지를 불러올 수 있다. 증강 현실 애플리케이션(124)은 불러온 아이템 이미지와 관련된 이미지 데이터를 포함하도록 시각 데이터를 수정할 수 있다. 일부 실시예에서, 증강 현실 애플리케이션(124)은 시각 데이터를 결정된 배치 정보에 기초해서 수정된 이미지 데이터로 수정할 수 있다. 일부 실시예에서, 증강 현실 애플리케이션(124)은 수정된 시각 데이터를 처리 시스템(110)에 제공하여, 시각 출력(114)에 시각 표시를 행하게 한다.
일부 실시예에서, 처리 시스템(110)은 아이템 이미지 소스, 예컨대, 처리 시스템(110)에 저장되어 있는 아이템 이미지의 라이브러리를 포함할 수 있다. 예시적인 실시예에서, 사용자는 카메라 소스(112)(예컨대, 디지털 카메라)를 이용해서 하나 이상의 아이템의 이미지 라이브러리를 작성할 수 있다. 일 실시예에서, 그 이미지에 도시된 아이템을 식별하기 위해서 서버(120)에 호스팅된 애플리케이션이 이용될 수 있으며(미국 특허 출원 제 12/371,882호 참조), 증강 현실 애플리케이션(124)은 플레이스 홀더 생성 정보를 서버(120)로부터 처리 시스템으로 제공할 수 있다. 일부 예시적인 실시예에서, 처리 시스템(110)은 증강 현실 애플리케이션(124)을 호스팅할 수 있으며, 수정된 시각 데이터를 네트워크(130) 및 서버(120)를 이용하지 않고도, 처리 시스템(110) 등에 제공할 수 있다.
도 2는 일 예시적인 실시예에 따른, 예시적인 증강 현실 모듈(210)의 블록도(200)이다. 도 2에 도시된 바와 같이, 증강 현실 모듈(210)은 입력 수신기 모듈(220), 정보 제공자 모듈(222), 시각 데이터 수신기 모듈(224), 검출 모듈(226), 배치 결정 모듈(228), 불러오기 모듈(230) 및 수정 모듈(232)를 포함하고 있다. 증강 현실 시스템의 이들 모듈은 버스(240)를 통해서 서로 통신 가능하게 연결될 수 있다.
입력 수신기 모듈(220)은 증강 현실 애플리케이션(예컨대, 도 1의 증강 현실 애플리케이션(124))을 기동시키는 요청(request)을 수신하도록 구성될 수 있다. 이 요청은 선택된 아이템과 관련된 아이템 정보를 포함할 수 있다. 일 실시예에서, 입력 수신기 모듈(220)은 예컨대 도 1의 처리 시스템(110)과 같은 소스로부터 요청(예컨대, 입력)을 수신하도록 구성될 수 있다. 입력 수신기 모듈(220)은 처리 시스템으로부터, 예컨대, 처리 시스템(110)의 사양들 중에서 특히, 카메라 사양, 촬상된 맥락적 환경의 광 정보 및 치수 정보, 데이터 전송 속도, 프레임 리프레쉬 속도 및 당업자에게 공지되어 있는 환경 파라미터와 같은 추가 정보를 수신하도록 구성될 수 있다.
정보 제공자 모듈(222)은 입력 수신기 모듈(220)로부터 수신한 요청 및 아이템 정보에 기초해서 플레이스 홀더 생성 정보를 결정하도록 구성될 수 있다. 플레이스 홀더 생성 정보는 플레이스 홀더를 생성하는 인스트럭션(예컨대, 머신 판독 가능 인스트럭션)을 포함할 수 있다. 일부 실시예에서, 플레이스 홀더 생성 정보는 예컨대 전자 문서와 같은 머신 판독 가능 정보가 될 수 있다. 일 실시예에서, 정보 제공자 모듈(222)은 요청한 소스(예컨대, 처리 시스템(110)) 또는 혹은 다른 처리 시스템으로 전달 가능한 파일을 생성할 수 있다. 예컨대, 정보 제공자 모듈(222)은 포맷(예컨대, PDF(Portable Document Format) 마이크로소프트® 워드 문서, JPEG(Joint Photographic Experts Group) 등) 중 어느 하나 혹은 포맷의 조합으로 전자 문서 혹은 이미지 파일을 생성할 수 있다. 동작시에, 사용자는 처리 시스템과 인터페이스해서 아이템 리스팅을 선택할 수 있다. 사용자는 환경 내에 위치시킬 플레이스 홀더를 생성하는 요청을 송신할 수 있다. 입력 수신기 모듈(220)이 이 요청을 수신할 수 있고, 일부 실시예에서, 이 요청은 사용자가 선택한 아이템 리스팅을 나타내는 정보를 포함할 수 있으며, 정보 제공자 모듈(222)은 전자 문서를 생성해서, 요청한 소스(예컨대, 처리 시스템(110))에게 전달할 수 있다. 일부 실시예에서, 플레이스 홀더 생성 요청은 선택된 아이템 리스팅을 포함할 수 있다. 일부 실시예에서, 사용자는 플레이스 홀더 생성 요청을 선택하거나 송신하는 일 없이, 플레이스 홀더 생성 인스트럭션을 수신할 수 있다.
시각 데이터 수신기 모듈(224)은 클라이언트로부터, 예컨대 디지털 카메라, 비디오 카메라(예컨대, 웹 캡) 등의 카메라에 통신 가능하게 연결된 처리 시스템(110)으로부터 시각 데이터를 수신한다. 일 예시적인 실시예에서, 사용자는, 그 아이템이 어떻게 보여질지 보고 싶은 맥락적 환경으로 카메라를 위치시켜서 촬상함으로써 맥락적 환경을 볼 수 있다. 일부 실시예에서, 시각 데이터 수신기 모듈(224)은 카메라가 촬상한 시각 데이터 중 일부 혹은 전체를 처리해서, 시각 환경의 파라미터를 결정한다. 예컨대, 시각 데이터 수신기 모듈(224)은, 광, 각도, 치수, 중력 방향 등을 포함한 촬상된 환경의 파라미터를 결정할 수 있고, 아울러 프레임 리프레시 속도, 줌 성능, 카메라 모델 정보 등과 같은, 카메라의 사양을 결정할 수 있다.
검출 모듈(226)은 수신된 시각 데이터에 포함될 수 있는 플레이스 홀더 정보를 검출한다. 일 실시예에서, 플레이스 홀더 정보(예컨대, 문서를 생성하라는, 머신 판독 가능 인스트럭션)는 카메라의 시야 범위 내에(예컨대, 카메라가 촬상한 맥락적 환경 내에) 위치한 플레이스 홀더와 관련되어 있으며, 이 카메라는 처리 시스템(예컨대, 클라이언트 장치)에 통신 가능하게 연결되어 있고, 이 처리 시스템은 카메라가 수신한 시각 데이터를 증강 현실 모듈(210)에 제공한다. 일 실시예에서, 플레이스 홀더의 고유 마킹은 처리 시스템에 연결된 카메라에 의해 촬상될 수 있고, 이들 고유 마킹은 촬상된 환경 내의 플레이스 홀더를 나타내는 것으로서 검출 모듈(226)에 의해 검출될 수 있다.
일 실시예에서, 검출 모듈(226)은 시각 데이터 수신기 모듈(224)로부터 수신된 시각 데이터를 분석해서, 수신된 시각 데이터 내에 플레이스 홀더 정보가 포함되어 있는지 결정하도록 구성되어 있다. 일부 실시예에서, 검출 모듈(226)은 플레이스 홀더 정보를 확인하며, 예컨대 이 플레이스 홀더 정보가 입력 수신기 모듈(220)이 수신한 선택 아이템과 일치하는지 판정한다. 플레이스 홀더 정보가 선택된 아이템과 일치하지 않는다면, 일부 실시예에서, 검출 모듈(226)은 이를 클라이언트에(예컨대, 처리 시스템(110)에) 통지하도록 구성될 수 있다. 일례로, 검출 모듈(226)은 클라이언트 소스에게 예컨대, 플레이스 홀더를 재작성하거나, 플레이스 홀더의 위치를 변경하는 등을 제안한다.
배치 결정 모듈(228)은 시각 데이터로 수신된 플레이스 홀더 정보를 이용해서 플레이스 홀더의 배치 정보를 결정하도록 구성될 수 있다. 일 실시예에서, 배치 결정 모듈(228)은 플레이스 홀더 정보에 기초해서, 플레이스 홀더와 관련된 다양한 특성을 결정할 수 있다. 예컨대, 배치 결정 모듈(228)은 카메라가 촬상한 맥락적 환경 내에서의 플레이스 홀더의 좌표 및 위치 현황을 포함한 특성을 결정할 수 있으며, 방향, 크기 요소, 광의 영향 및 맥락적 환경 내에서 플레이스 홀더를 가로막고 있는 장해물 등을 결정할 수 있다. 일 실시예에서 배치 결정 모듈(228)은 이러한 특성을 포함한 배치 정보를 불러오기 모듈(230)에 제공하도록 구성될 수 있다. 일 예시적인 실시예에서, 배치 결정 모듈(228)은 플레이스 홀더의 고유 마킹에 기초해서 플레이스 홀더의 배치 정보를 결정하도록 구성될 수 있다. 이들 고유 마킹은 상술한 바와 같이 해서 검출 모듈(226)에 의해 검출될 수 있다.
불러오기 모듈(230)은, 카메라에 의해 촬상된 플레이스 홀더의 이미지를 검출하면, 아이템의 이미지를 불러오도록 구성될 수 있다. 불러오기 모듈(230)은 이 이미지를 플레이스 홀더의 고유 마킹에 기초해서 불러올 수 있다. 불러오기 모듈(230)은 선택된 아이템의 이미지를 불러올 때, 검출 모듈(226) 및 배치 결정 모듈(228)로부터 수신한 정보를 포함시킬 수 있다. 일례로, 불러오기 모듈(230)은 상술한 바와 같이 배치 결정 모듈(228)로부터 수신한 플레이스 홀더 정보로부터 결정된 플레이스 홀더의 특성에 기초해서 그 아이템의 복수의 이미지 중에서 하나를 선택할 수 있다. 일 예시적인 실시예에서, 불러오기 모듈(230)은 결정된 특성을 이용해서 복수의 이미지 중에서 가장 적합한 이미지를 선택할 수 있다. 일부 실시예에서, 불러오기 모듈(230)은 높이, 길이 및 폭과 같은 그 아이템의 물리적인 치수를 불러오거나 결정할 수 있으며, 또한 이 아이템의 물리적인 치수 및/또는 플레이스 홀더의 특성에 따라서 복수의 이미지 중에서 가장 적합한 이미지를 선택할 수 있다. 일례로, 불러오기 모듈(230)은 그 아이템의 물리적인 치수 및 플레이스 홀더의 특성에 따라서 불러온 이미지와 관련된 이미지 데이터를 수정해서, 예컨대, 크기 및 방향을 변경한 이미지를 맥락적 환경 내에 표시시키도록 구성될 수 있다.
수정 모듈(232)은, 수신한 시각 데이터를 배치 정보에 따라서 수정해서, 수신한 시각 데이터가 검출된 이미지와 관련된 이미지 데이터를 포함하게 하도록 구성될 수 있다. 일부 실시예에서, 수정 모듈(232)은 수신한 시각 데이터를 수정해서, 불러오기 모듈(230)에서 생성한 수정된 시각 데이터를 포함하도록 구성될 수 있다. 일 예시적인 실시예에서, 수정 모듈(232)은 이 수정한 시각 데이터를 다시, 아이템 선택 및/또는 증강 현실에 대한 선택을 제공한 클라이언트(예컨대, 처리 시스템(110))에 보낸다.
도 2에 각각의 모듈의 서로 독립적으로 도시되어 있지만, 다른 실시예에서는, 하나 이상의 모듈이 하나의 구성 요소에 포함될 수도 있다는 점에 주의한다. 또한, 도 2에 하나의 모듈로 도시되어 있는 구성 요소가, 2개 이상의 구성 요소로 구현되는 실시예가 제공될 수 있다. 이하, 증강 현실 모듈(210)에 의해 수행되는 여러가지 동작을 도 3~6을 참조하면서 설명한다.
도 3은, 일 예시적인 실시예에 따른, 수정된 시각 데이터를 제공하는 방법(300)의 흐름도이다. 이 방법(300)은, 하드웨어(예컨대, 전용 로직, 프로그래밍 가능 로직, 마이크로코드 등), 소프트웨어(범용 컴퓨터 시스템 혹은 전용 머신에서의 실행(run) 등), 혹은 이들의 조합을 포함한, 처리 로직에 의해 수행될 수 있다. 일 예시적인 실시예에서, 처리 로직은 도 1의 증강 현실 애플리케이션(124)의 형태로, 도 1에 도시된 바와 같은 서버(120)에 있을 수 있다.
도 3에 도시된 바와 같이, 이 방법(300)은 동작 310에서 서버(120)가 클라이언트(예컨대, 도 1의 처리 시스템(110))로부터 아이템 선택을 포함한 입력을 수신하는 것으로 개시된다. 방법(300)은 동작 320에서, 수신한 입력에 기초해서 플레이스 홀더를 생성하기 위한 생성 정보를 제공할 수 있다. 생성 정보가 처리 시스템(110)에 제공됨으로서, 사용자는 프린터를 이용해서 플레이스 홀더를 생성하거나, 시각 디스플레이 장치(예컨대, 휴대 전화 화면, 카메라 화면 등)를 이용해서 플레이스 홀더를 볼 수 있다. 플레이스 홀더의 예가 도 4에 도시되어 있으며, 이하, 이에 대해서 설명한다.
이 방법(300)은 동작 330에서 클라이언트(예컨대, 처리 시스템(110))로부터 시각 데이터를 수신한다. 일 실시예에서, 시각 데이터는 클라이언트와 통신 가능하게 연결된 카메라에 의해 촬상될 수 있다. 이 방법(300)은 동작 340에서, 시각 데이터에 포함된 플레이스 홀더 정보를 검출하며, 플레이스 홀더 정보는 카메라에 의해 촬상된 맥락적 환경 내에 위치한 플레이스 홀더에 관한 것이다. 방법(300)은 동작 350에서, 플레이스 홀더 정보를 이용해서 배치 정보를 결정한다. 방법(300)은 동작 360에서, 플레이스 홀더에 기초해서 플레이스 홀더와 관련된 아이템의 이미지를 불러온다. 방법(300)은 동작 370에서, 배치 정보를 참조로, 불러온 이미지와 관련된 이미지 데이터를 포함하도록, 수신한 시각 데이터를 수정한다. 일례로, 촬상된 환경의 각각의 치수, 방향 등이 불러온 이미지가 나타내는 아이템의 치수, 방향 등과 맞도록, 불러온 이미지를 수정할 수 있다. 일부 실시예에서, 방법(300)의 동작 370에서는, 수정된 시각 데이터를, 동작 310에서 입력을 제공한 클라이언트(예컨대, 처리 시스템(110))에 제공할 수 있다. 여기서, 사용자는 그 아이템이, 그 환경 내에서 어떻게 보여지는지 볼 수 있다.
도 4는, 예시적인 실시예에 따른 증강 현실 시스템(100)(예컨대, 도 1의 처리 시스템(110), 서버(120) 및 네트워크(130) 모두)에 이용되는 물리적인 플레이스 홀더(400)의 예이다. 일례로, 아이템 선택을 포함한 입력을 수신했을 때, 증강 현실 시스템(100)은 고유 마킹(402~424)을 가진 플레이스 홀더(400)를 생성하기 위한 생성 정보를, 입력을 보낸 클라이언트 소스에 제공하거나, 혹은 일부 실시예에서는, 다른 처리 시스템(예컨대, 이동 전화)에 제공한다. 상술한 바와 같이, 생성 정보는, 프린터(인쇄 가능한 종이인 경우)나 디스플레이 화면(예컨대, 이동 전화의 디스플레이 화면, 인쇄 불가능한 디지털 파일인 경우)과 같은 렌더링 기구를 이용해서 플레이스 홀더(400)를 생성하기 위한, 문서, 이미지, 컴퓨터-판독 가능 인스트럭션 등이 될 수 있다. 일부 실시예에서, 플레이스 홀더(400)는 규격 종이(예컨대, 치수가 약 8.5"×11"인)에 고유 마킹(402~424)이 되어 있는 것이 될 수 있다. 다른 실시예에서, 플레이스 홀더(400)는 이동 전화나 보조 표시 화면에 표시하기 위한, 전자적으로 표시 가능한 인스트럭션의 세트가 될 수 있다. 다른 실시예에서, 플레이스 홀더(400)는 3차원 객체가 될 수도 있다.
플레이스 홀더(400)는 다수의 화살표(402, 404, 406, 408)를 포함할 수 있으며, 이는 플레이스 홀더(400)의 상향 및 하향을 증강 현실 시스템(100)에 제공하여서, 예컨대 카메라가 촬상할 때 플레이스 홀더(400)의 방향을 전환하게 한다. 일 실시예에서, 증강 현실 시스템(100)은 화살표(402, 404, 406, 408)의 임의의 조합을 이용해서, 도 1의 처리 시스템(110)의 카메라 소스(112)를 조절할 수 있다. 일 예시적인 실시예에서, 화살표(402, 404, 406, 408)가 시계 방향으로 형성되어 있어서, 예컨대 증강 현실 시스템(100)은 우선 상측 방향과 바닥측 방향을 결정할 수 있다. 페이지가 넘어가면, 증강 현실 시스템(100)이 결정한 방향은 180° 반대로 될 수 있다. 일 예시적인 실시예에서, 하나 이상의 화살표(402, 404, 406, 408)를 방향을 나타낼 수 있는 임의의 형상으로 대치할 수 있다. 일 실시예에서, 페이지를 원래의 방향으로부터 다양한 축에 대해 회전시켰을 때, 증강 현실 시스템(100)은 화살표(402, 404, 406, 408)를 이용해서 플레이스 홀더(400)의 4 모서리를 구별할 수 있다. 일례로, 카메라가 촬상한 환경 내에서 사용자가 플레이스 홀더(400)를 회전시켰을 때, 증강 현실 시스템(100)이 이 방향을 검출해서, 도 1의 시각적인 출력(114) 상의 맥락적 환경 내에 아이템을 표현할 때, 대응하는 불러온 아이템을 회전시킨다.
일 예시적인 실시예에서, 플레이스 홀더(400)는 중간 사각형(410)을 포함하며, 이는 플레이스 홀더(400)의 초기 검출을 제공할 수 있다. 일부 실시예에서, 플레이스 홀더(400)가, 예컨대 강당이나 야외 환경과 같은 개방된 환경에서 카메라로부터 멀리 이격되어 위치되어 있을 때에는, 증강 현실 시스템(100)은 다른 고유 마킹을 검출하기 전에 이 중간 사각형(410)을 먼저 검출할 수 있다. 다른 예시적인 실시예에서, 이 중간 사각형(410)은, 전체적으로 플레이스 홀더(400)의 중앙 부근에 위치하고 있으며, 플레이스 홀더(400)의 크기에 비해서 크기가 큰 임의의 디자인으로 대치될 수 있다.
도 4에 도시된 바와 같이, 플레이스 홀더(400)는 서로 다른 음영 색으로 착색된 음영 객체(412, 414)를 포함해서 플레이스 홀더(400)의 정확한 영역을 제공함으로서, 플레이스 홀더(400)의 방향, 크기 및 거리를 검출할 수 있다. 증강 현실 시스템은 음영 객체(412, 414)를 이용해서 좌우 치수 방향 및 깊이 치수 방향을 측정한다.
플레이스 홀더(400)는, 증강 현실 시스템이 플레이스 홀더(400)의 3차원 치수를 명확하게 정의하는 것을 돕기 위해서 라인 마킹(416, 418, 420, 422)을 더 포함할 수 있다. 일 실시예에서, 제 1 및 제 2 라인 세트(416, 418) 각각 내의 라인 사이의 거리는 각 세트에서 동일하다. 제 1 및 제 2 라인 세트(416, 418)는 객체의 깊이 및 크기 요소를 제공할 수 있다. 공지된 방법을 이용해서, 증강 현실 시스템은 화살표(402, 404, 406, 408), 중간 사각형(410), 음영 객체(412, 414) 및 라인 마킹(416, 418, 420, 422) 중 일부 혹은 전체에 기초해서, 이미지의 방향 및 크기를 변경할 수 있다.
일 실시예에서, 플레이스 홀더(400)의 고유 마킹은 식별 마킹(424)을 포함할 수 있으며, 이는 생성된 플레이스 홀더(400)가 선택된 아이템과 일치하는지 확인할 때 사용되는 아이템 식별 정보가 될 수 있다. 다른 실시예에서, 이들 추가적인 식별 마킹(424)은, 선택된 아이템과 관련된 추가적인 정보, 예컨대 선택된 아이템과 관련된 가격, 재고량 및 제안 아이템 등을 포함할 수도 있고, 혹은 참조할 수도 있다. 일부 예시적인 실시예에서, 이 추가 정보는 맥락적 환경 내에 아이템의 이미지와 함께 제공될 수 있다. 일부 실시예에서, 이 추가 식별 마킹(424)은, 그 환경 내에 하나 이상의 플레이스 홀더(400)를 고유하게 식별해서, 그 맥락적 환경 내의 복수의 아이템을 동시에 나타내는 데 도움을 줄 수 있다. 일부 실시예에서, 식별 마킹(424)은 선택된 아이템과 고유하게 관련될 수 있는 1차원 바코드, 2차원 바코드 혹은 다른 임의의 마킹이 될 수 있다. 일부 실시예에서, 각각의 아이템과 관련된 것이 아닌, 하나 이상의 아이템을 교대로 나타내는데 사용될 수 있는 플레이스 홀더가 생성될 수 있다.
도 5(a) 및 도 5(b)는, 예시적인 실시예에 따른, 카메라-촬상된 환경 내의 플레이스 홀더(550), 및 그 결과로 나온 맥락적 환경 내에 표시된 증강 현실 이미지(560)를 나타내는 예시적인 사용자 인터페이스(502A, 502B)의 스크린 샷(500A, 500B)이다. 일례로, 사용자는 카메라를 자신의 거실과 같은 자리를 향하게 해서, 증강 현실의 맥락적 환경을 제공한다. 사용자 인터페이스(502A)는 카메라 촬상된 환경(예컨대, 거실)의 시각 프레임(504A)을 나타낸다. 일부 실시예에서, 사용자 인터페이스(502A, 502B)는 선택 버튼(506, 508, 510)을 포함할 수 있다. 선택 버튼(506)은 증강 현실 선택용이고, 선택 버튼(508)은 아이템 구매 선택용이며, 선택 버튼(510)은 아이템 입찰 선택용이다.
예컨대, 사용자는 램프와 같은 아이템을 선택하고, 이 램프를 배치하고자 하는 환경(예컨대, 침실)을 바라보도록 카메라를 배치한다. 사용자는 클라이언트(예컨대, 도 1의 처리 시스템(110))의 증강 현실 선택 버튼(506)을 선택해서, 아이템 선택 정보와 함께 서버(예컨대, 도 1의 서버(120))에 입력을 제공한다. 서버(120)는 이 클라이언트(예컨대, 도 1의 처리 시스템(110))에 생성 정보를 제공해서, 도 4에 도시된 플레이스 홀더(400)와 같은, 플레이스 홀더를 생성하게 하며, 사용자는 이 플레이스 홀더를 카메라 촬상된 환경에 배치할 수 있다. 스크린 샷(500A)은 도 5(a)의 사용자 인터페이스(502A)를 나타낸 것으로, 시각 프레임(504A)의 카메라 촬상된 환경 내에서 플레이스 홀더(550)를 볼 수 있다.
도 1에 도시된 서버(120)의 증강 현실 애플리케이션(124)은, 클라이언트 장치(예컨대, 처리 시스템(110))가 볼 수 있는 카메라 촬상된 환경(플레이스 홀더(550)를 포함한 시각 프레임(504A) 내에 도시되어 있는)의 시각 데이터를 수신한다. 증강 현실 애플리케이션(124)은 시각 데이터에 포함된, 플레이스 홀더(550)와 관련된 플레이스 홀더 정보를 검출하고, 이 플레이스 홀더 정보로부터 배치 정보를 결정한다. 증강 현실 애플리케이션(124)은 플레이스 홀더(550)와 관련된 아이템의 이미지를 불러온다. 일부 실시예에서, 어느 아이템이 이 플레이스 홀더와 관련되어 있는지 결정하는데 혹은 아이템의 복수의 이미지 중에서 어느 아이템의 이미지가 선택될지 결정하는데, 플레이스 홀더(550)의 고유 마킹이 이용될 수 있다. 증강 현실 애플리케이션(124)은 클라이언트 장치(예컨대, 처리 시스템(110))에 수정된 시각 데이터를 제공하고, 이는 선택된 아이템의 불러온 이미지와 관련된 이미지 데이터를 포함하고 있다. 일부 실시예에서, 증강 현실 애플리케이션(124)은 플레이스 홀더를 이미지 데이터로 대치하여서, 예컨대 수신한 시각 데이터를 수정해서, 시각 프레임(504B)의 카메라 촬상된 가시 영역 내에 아이템의 대치 이미지를 표시한다. 예시적인 실시예에서, 도 5(b)에 도시된 바와 같이, 증강 현실 애플리케이션(124)은 플레이스 홀더 정보 대신 중첩 이미지 데이터를 제공하여 수신한 시각 데이터를 수정함으로써, 예컨대, 시각 프레임(504B)의 카메라 촬상된 가시 영역 내에 아이템 이미지(예컨대, 증강 현실 이미지(560))를 중첩해서 표시한다.
도 6은, 머신을 예시적으로 컴퓨터 시스템(600)의 형태로 나타낸 도면으로, 그 안에서는 머신으로 하여금, 본 명세서에 개시된 방법 중 하나 이상을 수행하게 하는 인스트럭션의 세트가 실행될 수 있다. 대안의 실시예에서, 이 머신은 독립적인 디바이스로서 동작할 수도 있고, 다른 머신에 접속(예컨대, 네트워킹)될 수도 있다. 네트워킹된 배치예에서, 이 머신은 서버-클라이언트 네트워크에서 서버 머신으로서 동작할 수도 있고, 클라이언트 머신으로서 동작할 수도 있으며, 혹은 피어-투-피어 네트워크(혹은 분산형 네트워크)에서 피어 머신으로서 동작할 수도 있다. 이 머신은 퍼스널 컴퓨터(PC), 태블릿 PC, 셋톱 박스(STB), PDA(a Personal Digital Assistant), 휴대 전화, 웹 어플라이언스, 네트워크 라우터, 스위치 혹은 브리지가 될 수도 있고, 혹은 자신이 취할 액션을 명시하고 있는 인스트럭션의 세트를 (순차적으로 등) 실행할 수 있는 임의의 머신이 될 수도 있다. 또한, 하나의 머신만이 도시되어 있지만, 용어 "머신"은, 인스트럭션의 한 세트(혹은 인스트럭션의 복수의 세트)를 개별적으로 혹은 함께 실행해서 본 명세서에 개시된 방법 중 하나 이상을 수행하는, 임의의 머신의 집합을 포함할 때에도 사용질 수 있다.
예시적인 컴퓨터 시스템(600)은 프로세서(602)(예컨대, CPU(a central processing unit)나 GPU(a graphics processing unit), 혹은 모두), 메인 메모리(604) 및 정적 메모리(606)를 포함하며, 이들은 버스(608)를 통해서 서로 통신하고 있다. 컴퓨터 시스템(600)은 비디오 디스플레이 유닛(610)(예컨대, 액정 디스플레이(LCD)나 음극선관(CRT))을 더 포함할 수 있다. 컴퓨터 시스템(600)은 문자-숫자 입력 장치(612)(예컨대, 키보드), 사용자 인터페이스(UI) 네비게이션 장치(614)(예컨대, 커서 제어 장치), 디스크 구동 유닛(616), 신호 생성 장치(618)(예컨대, 스피커) 및 네트워크 인터페이스 장치(620)도 포함하고 있다.
디스크 구동 유닛(616)은 머신-판독 가능 매체(622)를 포함하며, 여기에는, 본 명세서에 설명되는 방법 혹은 기능 중 하나 이상을 구현하거나, 이 방법 혹은 기능에 의해 이용되는 인스트럭션 및 데이터 스트럭쳐의 하나 이상의 세트(예컨대, 소프트웨어(624))가 저장되어 있다. 소프트웨어(624)는 또한, 컴퓨터 시스템(600)에 의해 실행되는 동안, 메인 메모리(604) 내에 및/또는 프로세서(602) 내에 전체가 혹은 적어도 부분적으로 있을 수 있고, 여기서 메인 메모리(604) 및 프로세서(602)가 머신-판독 가능 매체를 구성할 수도 있다.
소프트웨어(624)는 또한, 다수의 공지된 전송 프로토콜(예컨대, HTTP(Hyper Text Transfer Protocol)) 중 어느 하나를 이용해서, 네트워크 인터페이스 장치(620)를 통해서 네트워크(626) 상에서 송수신될 수 있다.
예시적인 실시예에서 머신 판독 가능 매체(622)가 하나의 매체로서 도시되어 있지만, 용어 "머신 판독 가능 매체"는 하나 이상의 인스트럭션의 세트가 저장된 하나의 매체 혹은 복수의 매체(예컨대, 중앙 집중형 데이터베이스 혹은 분산형 데이터페이스, 및/또는 관련 캐시 및 서버)를 포함하는 것으로 사용되어야 한다. 용어 "머신-판독 가능 매체"는 또한, 머신이 실행할 인스트럭션의 세트를 저장, 인코딩, 또는 실행할 수도 있음과 아울러, 머신으로 하여금, 본 명세서의 실시예의 방법 중 하나 이상을 실행하게 하거나, 혹은 이러한 인스트럭션의 세트에 의해 이용되거나 이러한 인스트럭션의 세트와 관련된 데이터 스트럭쳐를 저장, 인코딩, 또는 실행할 수도 있는 임의의 매체를 포함하는 것으로 사용되어야 한다. 따라서, 용어 "머신 판독 가능 매체"는 솔리드-스테이트 메모리, 광학 매체 및 자기 매체, 반송파 신호를 포함하는 것으로 사용되어야 하지만, 이것으로 한정되지 않는다. 이러한 매체는 하드 디스크, 플로피 디스크, 플래시 메모리 카드, 디지털 비디오 디스크, RAM, ROM 등을 포함할 수도 있으며, 이것으로 한정되는 것은 아니다.
상술한 실시예는 컴퓨터에 설치된 소프트웨어, 하드웨어 및 소프트웨어와 하드웨어의 조합을 포함한, 동작 환경에서 구현될 수도 있다.
이와 같이, 증강 현실 시스템이 설명되었다. 비록 실시예가 특정한 예시적인 실시예를 참조로 설명되었지만, 본 발명의 청구 대상의 넓은 사상 및 범주에서 벗어남없이, 이러한 실시예에 대한 다양한 수정 및 변형이 행해질 수 있다는 것은 명확하다. 따라서, 본 명세서 및 도면은 한정이 아닌 예시적인 것으로 간주되어야 한다.

Claims (20)

  1. 클라이언트로부터 시각 데이터(visual data)를 수신하는 시각 데이터 수신기 모듈―상기 시각 데이터는 플레이스 홀더(placeholder)와 관련된 플레이스 홀더 정보를 포함하고, 상기 플레이스 홀더는, 상기 플레이스 홀더의 검출을 제공하도록 동작가능한 제 1 영역과, 상기 플레이스 홀더의 위치 및 방향을 식별하도록 동작가능한 제 2 영역과, 상기 플레이스 홀더와 관련된 아이템을 식별하도록 동작가능한 고유 마킹 세트를 포함하고, 상기 제 2 영역은 색이 서로 다른 적어도 두 음영 객체를 포함하고, 상기 적어도 두 음영 객체는 카메라로부터의 상기 플레이스 홀더의 방향 및 플레이스 홀더의 거리를 제공하도록 동작가능함―과,
    상기 플레이스 홀더의 상기 제 1 영역을 사용하여 상기 플레이스 홀더 정보를 검출하는 검출 모듈과,
    상기 플레이스 홀더의 상기 제 2 영역을 사용하여 배치 정보(placement information)를 결정하는 배치 결정 모듈―상기 배치 정보를 결정하는 것은 상기 플레이스 홀더의 상기 제 2 영역의 상기 적어도 두 음영 객체를 사용하여 상기 카메라로부터의 상기 플레이스 홀더의 방향 및 상기 플레이스 홀더의 거리를 결정하는 것을 포함함―과,
    상기 플레이스 홀더의 상기 고유 마킹 세트에 기초해서 상기 플레이스 홀더와 관련된 아이템을 식별하는 불러오기 모듈―상기 불러오기 모듈은 상기 배치 정보 및 상기 아이템의 물리적 치수에 기초하여 상기 아이템의 복수의 이미지 중 상기 아이템의 한 이미지를 선택하고, 상기 아이템의 선택된 이미지를 불러옴―과,
    상기 플레이스 홀더의 위치에서 상기 불러온 이미지와 관련된 이미지 데이터를 포함하도록, 수신된 상기 시각 데이터를 수정하는 수정 모듈
    을 포함하는 시스템.
  2. 제 1 항에 있어서,
    아이템 선택을 포함하는 입력을 수신하는 입력 수신기 모듈과,
    상기 수신한 입력에 기초해서, 상기 플레이스 홀더를 생성하기 위한 생성 정보를 제공하는 정보 제공 모듈
    을 더 포함하는 시스템.
  3. 제 1 항에 있어서,
    상기 배치 결정 모듈은 스케일 인자(a scale factor)를 결정하는
    시스템.
  4. 제 1 항에 있어서,
    상기 수정 모듈은 상기 아이템 이미지를 디스플레이하기 위해, 상기 아이템과 관련된 정보를 불러오는
    시스템.
  5. 제 3 항에 있어서,
    상기 불러오기 모듈은,
    상기 아이템의 치수를 결정하고,
    상기 아이템의 결정된 치수 및 결정된 스케일 인자를 이용해서, 상기 아이템의 불러온 이미지를 수정하는
    시스템.
  6. 제 1 항에 있어서,
    상기 검출 모듈은 상기 플레이스 홀더의 모서리 또는 상기 플레이스 홀더의 콘트라스트의 변화 중 적어도 하나를 검출하는
    시스템.
  7. 제 4 항에 있어서,
    상기 아이템에 관한 정보는 상기 아이템의 가격을 포함하는
    시스템.
  8. 제 1 항에 있어서,
    상기 배치 결정 모듈은 상기 플레이스 홀더 정보에 기초하여 상기 플레이스 홀더의 파라미터를 결정하고, 상기 불러오기 모듈은 상기 플레이스 홀더의 결정된 파라미터에 기초해서, 상기 아이템의 복수의 이미지 중에서 상기 아이템의 상기 한 이미지를 선택하는
    시스템.
  9. 제 1 항에 있어서,
    상기 배치 결정 모듈은,
    카메라로부터 상기 플레이스 홀더까지의 거리에 기초해서 스케일 인자를 결정하고,
    상기 카메라에 대한 상기 플레이스 홀더의 각도에 기초해서 방향 인자(orientation factor)를 결정하는
    시스템.
  10. 클라이언트로부터 시각 데이터를 수신하는 단계―상기 시각 데이터는 플레이스 홀더와 관련된 플레이스 홀더 정보를 포함하고, 상기 플레이스 홀더는, 상기 플레이스 홀더의 검출을 제공하도록 동작가능한 제 1 부분과, 상기 플레이스 홀더와 관련된 배치 정보를 제공하도록 동작가능한 제 2 부분과, 상기 플레이스 홀더와 관련된 아이템을 식별하도록 동작가능한 고유 마킹 세트를 포함하고, 상기 제 2 부분은 색이 서로 다른 적어도 두 음영 객체를 포함하고, 상기 적어도 두 음영 객체는 카메라로부터의 상기 플레이스 홀더의 방향 및 플레이스 홀더의 거리를 제공하도록 동작가능함―와,
    상기 플레이스 홀더의 상기 제 1 부분을 사용하여 상기 시각 데이터에 포함된 상기 플레이스 홀더 정보를 검출하는 단계와,
    상기 플레이스 홀더의 상기 제 2 부분을 사용하여 배치 정보를 결정하는 단계―상기 배치 정보를 결정하는 것은 상기 플레이스 홀더의 상기 제 2 부분의 상기 적어도 두 음영 객체를 사용하여 상기 카메라로부터의 상기 플레이스 홀더의 방향 및 상기 플레이스 홀더의 거리를 결정하는 것을 포함함―와,
    상기 플레이스 홀더의 상기 고유 마킹 세트에 기초해서 상기 플레이스 홀더에 대응하는 아이템을 식별하는 단계와,
    상기 결정된 배치 정보 및 상기 아이템의 물리적 치수에 기초하여 상기 아이템의 복수의 이미지 중 상기 아이템의 한 이미지를 선택하는 단계와,
    상기 아이템의 선택된 이미지를 불러오는 단계와,
    프로세서를 이용해서, 상기 배치 정보를 참조해서 상기 불러온 이미지와 관련된 이미지 데이터를 포함시키도록, 수신된 상기 시각 데이터를 수정하는 단계
    를 포함하는 컴퓨터로 구현된 방법.
  11. 제 10 항에 있어서,
    아이템 선택을 포함하는 입력을 수신하는 단계와,
    상기 수신된 입력에 기초해서, 상기 플레이스 홀더를 생성하기 위한 생성 정보를 제공하는 단계
    를 더 포함하는 컴퓨터로 구현된 방법.
  12. 제 10 항에 있어서,
    상기 배치 정보를 결정하는 단계는, 상기 배치 정보에 기초해서 스케일 인자를 결정하는 단계를 더 포함하는
    컴퓨터로 구현된 방법.
  13. 제 12 항에 있어서,
    상기 플레이스 홀더와 관련된 아이템의 이미지를 불러오는 단계는, 상기 결정된 스케일 인자를 참조해서 상기 이미지를 선택하는 단계를 더 포함하는
    컴퓨터로 구현된 방법.
  14. 제 10 항에 있어서,
    상기 플레이스 홀더와 관련된 아이템의 이미지를 불러오는 단계는,
    상기 아이템의 치수를 결정하는 단계와,
    상기 아이템의 결정된 치수 및 상기 아이템의 결정된 스케일 인자를 참조해서, 상기 아이템의 불러온 이미지를 수정하는 단계를 더 포함하는
    컴퓨터로 구현된 방법.
  15. 제 12 항에 있어서,
    상기 스케일 인자를 결정하는 단계는, 상기 플레이스 홀더의 모서리 또는 상기 플레이스 홀더의 콘트라스트의 변화 중 적어도 하나를 검출하는 단계를 더 포함하는
    컴퓨터로 구현된 방법.
  16. 제 10 항에 있어서,
    상기 플레이스 홀더 정보에 기초하여 상기 플레이스 홀더의 특성을 결정하는 단계를 더 포함하되,
    상기 아이템의 복수의 이미지 중에서 상기 아이템의 상기 한 이미지를 선택하는 것은 상기 플레이스 홀더의 결정된 특정에 기초하는
    컴퓨터로 구현된 방법.
  17. 제 10 항에 있어서,
    수신된 상기 시각 데이터를 수정하는 단계는, 상기 플레이스 홀더 정보를 아이템 이미지 정보로 대체하는 단계를 더 포함하는
    컴퓨터로 구현된 방법.
  18. 제 10 항에 있어서,
    상기 배치 정보를 결정하는 단계는,
    카메라로부터 상기 플레이스 홀더까지의 거리에 기초해서 스케일 인자를 결정하고,
    상기 카메라에 대한 상기 플레이스 홀더의 각도에 기초해서 방향 인자를 결정하는 단계를 더 포함하는
    컴퓨터로 구현된 방법.
  19. 제 18 항에 있어서,
    상기 배치 정보를 참조해서 상기 불러온 이미지와 관련된 이미지 데이터를 포함시키도록 수신된 상기 시각 데이터를 수정하는 단계는,
    상기 불러온 이미지를 상기 스케일 인자 및 상기 방향 인자를 참조해서 수정하는 단계와,
    수신된 상기 시각 데이터를 수정된 불러온 이미지 데이터로 수정하는 단계를 더 포함하는
    컴퓨터로 구현된 방법.
  20. 머신에 의해 실행될 때, 상기 머신으로 하여금,
    아이템 선택을 포함하는 입력을 수신하는 동작과,
    상기 수신된 입력에 기초해서, 플레이스 홀더를 생성하기 위한 생성 정보를 제공하는 동작―상기 플레이스 홀더는, 상기 플레이스 홀더를 식별하도록 동작가능한 제 1 부분과, 상기 플레이스 홀더의 위치 및 방향을 식별하도록 동작가능한 제 2 부분과, 상기 아이템을 식별하도록 동작가능한 고유 마킹 세트를 포함하고, 상기 제 2 부분은 색이 서로 다른 적어도 두 음영 객체를 포함하고, 상기 적어도 두 음영 객체는 카메라로부터의 상기 플레이스 홀더의 방향 및 플레이스 홀더의 거리를 제공하도록 동작가능함―과,
    클라이언트로부터 시각 데이터를 수신하는 동작과,
    상기 플레이스 홀더의 상기 제 1 부분을 이용해서, 상기 시각 데이터 내에 포함되어 있는, 플레이스 홀더 정보를 검출하는 동작과,
    상기 플레이스 홀더의 상기 제 2 부분을 이용해서 배치 정보를 결정하는 동작―상기 배치 정보를 결정하는 동작은 상기 플레이스 홀더의 상기 제 2 부분의 적어도 두 음역 객체를 이용해서 상기 카메라로부터의 상기 플레이스 홀더의 방향 및 상기 플레이스 홀더의 거리를 결정하는 동작을 포함함―과,
    상기 플레이스 홀더의 상기 고유 마킹 세트에 기초해서 상기 플레이스 홀더와 관련된 상기 아이템을 식별하는 동작과,
    상기 배치 정보 및 상기 아이템의 물리적 치수에 기초하여 상기 아이템의 복수의 이미지 중 상기 아이템의 이미지를 선택하는 동작과,
    상기 플레이스 홀더의 고유 마킹에 기초해서 상기 플레이스 홀더와 관련된 상기 아이템의 선택된 이미지를 불러오는 동작과,
    수신된 상기 시각 데이터를, 상기 배치 정보를 참조해서 상기 시각 데이터 내로 상기 불러온 이미지와 관련된 이미지 데이터를 포함시키도록 수정하는 동작
    을 수행하게 하는 인스트럭션을 구현하는
    머신-판독 가능 매체.
KR1020147004160A 2009-12-22 2010-12-21 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치 KR101659190B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/644,957 2009-12-22
US12/644,957 US9164577B2 (en) 2009-12-22 2009-12-22 Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
PCT/US2010/061628 WO2011087797A2 (en) 2009-12-22 2010-12-21 Augmented reality system method and apparatus for displaying an item image in a contextual environment

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127019181A Division KR101657336B1 (ko) 2009-12-22 2010-12-21 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167025254A Division KR101859856B1 (ko) 2009-12-22 2010-12-21 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140024483A KR20140024483A (ko) 2014-02-28
KR101659190B1 true KR101659190B1 (ko) 2016-09-22

Family

ID=44150414

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020167025254A KR101859856B1 (ko) 2009-12-22 2010-12-21 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치
KR1020147004160A KR101659190B1 (ko) 2009-12-22 2010-12-21 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치
KR1020127019181A KR101657336B1 (ko) 2009-12-22 2010-12-21 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167025254A KR101859856B1 (ko) 2009-12-22 2010-12-21 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127019181A KR101657336B1 (ko) 2009-12-22 2010-12-21 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치

Country Status (5)

Country Link
US (3) US9164577B2 (ko)
EP (2) EP2499635B1 (ko)
KR (3) KR101859856B1 (ko)
CN (2) CN102667913B (ko)
WO (1) WO2011087797A2 (ko)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US8275375B2 (en) * 2010-03-25 2012-09-25 Jong Hyup Lee Data integration for wireless network systems
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
GB2489685B (en) * 2011-03-31 2017-01-25 Geovs Ltd A Display System
US20120259744A1 (en) * 2011-04-07 2012-10-11 Infosys Technologies, Ltd. System and method for augmented reality and social networking enhanced retail shopping
US8738754B2 (en) 2011-04-07 2014-05-27 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
US20120299963A1 (en) * 2011-05-27 2012-11-29 Wegrzyn Kenneth M Method and system for selection of home fixtures
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9183807B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US9229231B2 (en) 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9240059B2 (en) 2011-12-29 2016-01-19 Ebay Inc. Personal augmented reality
US8606645B1 (en) 2012-02-02 2013-12-10 SeeMore Interactive, Inc. Method, medium, and system for an augmented reality retail application
EP2624180A1 (en) * 2012-02-06 2013-08-07 Xabier Uribe-Etxebarria Jimenez System of integrating remote third party services
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
US20140015931A1 (en) * 2012-07-12 2014-01-16 Samsung Electronics Co., Ltd. Method and apparatus for processing virtual world
US9674419B2 (en) * 2012-07-31 2017-06-06 Hewlett-Packard Development Company, L.P. Web-linked camera device with unique association for augmented reality
US9336541B2 (en) 2012-09-21 2016-05-10 Paypal, Inc. Augmented reality product instructions, tutorials and visualizations
US20140270477A1 (en) * 2013-03-14 2014-09-18 Jonathan Coon Systems and methods for displaying a three-dimensional model from a photogrammetric scan
US9922437B1 (en) 2013-03-15 2018-03-20 William S. Baron Process for creating an augmented image
US11024065B1 (en) 2013-03-15 2021-06-01 William S. Baron Process for creating an augmented image
US20140340423A1 (en) * 2013-03-15 2014-11-20 Nexref Technologies, Llc Marker-based augmented reality (AR) display with inventory management
JP6255706B2 (ja) 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
US20140347394A1 (en) * 2013-05-23 2014-11-27 Powerball Technologies Inc. Light fixture selection using augmented reality
US10905943B2 (en) 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9773018B2 (en) 2013-08-13 2017-09-26 Ebay Inc. Mapping item categories to ambiguous queries by geo-location
US9349139B1 (en) * 2013-12-10 2016-05-24 Amazon Technologies, Inc. Fine art samples
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
WO2015126281A2 (ru) * 2014-02-24 2015-08-27 Арташес Валерьевич ИКОНОМОВ Устройство и способ формирования изображений
US10134082B2 (en) 2014-10-13 2018-11-20 Paypal, Inc. Virtual display device for an interactive merchant sales environment
US9728010B2 (en) * 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US10586385B2 (en) * 2015-03-05 2020-03-10 Commonwealth Scientific And Industrial Research Organisation Structure modelling
US9791917B2 (en) 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
CN105653036A (zh) * 2015-12-31 2016-06-08 深圳市路通网络技术有限公司 一种涂鸦增强现实的方法及系统
US10026229B1 (en) * 2016-02-09 2018-07-17 A9.Com, Inc. Auxiliary device as augmented reality platform
CN105825499A (zh) 2016-03-09 2016-08-03 京东方科技集团股份有限公司 基准平面的确定方法和确定系统
US11062383B2 (en) * 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
USD840413S1 (en) 2016-08-15 2019-02-12 Facebook, Inc. Display screen or portion thereof with digital visual codes graphical user interface
US10237277B2 (en) * 2016-08-15 2019-03-19 Facebook, Inc. Generating and utilizing digital visual codes to grant privileges via a networking system
EP3306894A1 (en) * 2016-10-05 2018-04-11 Kone Corporation Generation of augmented reality
US10317990B2 (en) 2017-05-25 2019-06-11 International Business Machines Corporation Augmented reality to facilitate accessibility
US20180357833A1 (en) * 2017-06-07 2018-12-13 5th Planet, Inc. System and method for dynamically creating content in a three-dimensional virtual environment
US10904449B2 (en) 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
US20190080170A1 (en) * 2017-09-14 2019-03-14 Intel Corporation Icon-ize identified objects in a known area to add more context to 3d computer vision
US10762713B2 (en) * 2017-09-18 2020-09-01 Shoppar Inc. Method for developing augmented reality experiences in low computer power systems and devices
WO2019079526A1 (en) * 2017-10-17 2019-04-25 Gnommme Llc IMAGE SELECTION BASED ON THE CONTEXT
US11043031B2 (en) * 2017-10-20 2021-06-22 Google Llc Content display property management
CN108022301B (zh) 2017-11-23 2020-05-19 腾讯科技（上海）有限公司 一种图像处理方法、装置以及存储介质
CN109839105A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种基于增强现实的位置导航方法及系统
CN107977080B (zh) * 2017-12-05 2021-03-30 北京小米移动软件有限公司 产品使用展示方法及装置
US10360454B1 (en) * 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality
US11501224B2 (en) 2018-01-24 2022-11-15 Andersen Corporation Project management system with client interaction
US10777009B2 (en) * 2018-02-18 2020-09-15 CN2, Inc. Dynamically forming an immersive augmented reality experience through collaboration between a consumer and a remote agent
CN110298527B (zh) * 2018-03-23 2023-05-30 阿里巴巴集团控股有限公司 信息输出方法、系统及设备
US10628988B2 (en) * 2018-04-13 2020-04-21 Aladdin Manufacturing Corporation Systems and methods for item characteristic simulation
US11126845B1 (en) * 2018-12-07 2021-09-21 A9.Com, Inc. Comparative information visualization in augmented reality
DE102019102144A1 (de) * 2019-01-29 2020-07-30 Airbus Operations Gmbh Verfahren zur Optimierung der Auslastung von Gepäckfächern
US11016630B2 (en) 2019-01-31 2021-05-25 International Business Machines Corporation Virtual view-window
US10979306B2 (en) 2019-06-07 2021-04-13 Bank Of America Corporation System for backend resource management simulation and live deployment
CN110691010B (zh) * 2019-10-12 2021-07-30 重庆灏漫科技有限公司 跨平台跨终端vr/ar产品信息展示系统
US10777017B1 (en) * 2020-01-24 2020-09-15 Vertebrae Inc. Augmented reality presentation using a uniform resource identifier
AU2021330970A1 (en) 2020-08-24 2023-03-23 Fd Ip & Licensing Llc Previsualization devices and systems for the film industry
WO2022046952A1 (en) * 2020-08-25 2022-03-03 Focke Scott Augmented reality app and app development toolkit
US11875492B1 (en) 2023-05-01 2024-01-16 Fd Ip & Licensing Llc Systems and methods for digital compositing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070143082A1 (en) 2005-12-15 2007-06-21 Degnan Donald A Method and System for Virtual Decoration
US20090109240A1 (en) 2007-10-24 2009-04-30 Roman Englert Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment

Family Cites Families (332)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5068723A (en) 1989-05-19 1991-11-26 Gte Laboratories Incorporated Frame or sub-frame rate adaptive vector quantizer for moving images
FI92272C (fi) 1992-05-20 1994-10-10 Valtion Teknillinen Kuvansiirtojärjestelmän tiivistyskoodausmenetelmä
US5408417A (en) 1992-05-28 1995-04-18 Wilder; Wilford B. Automated ticket sales and dispensing system
US5579471A (en) 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US5870149A (en) 1993-03-12 1999-02-09 Motorola, Inc. Video/integrated land mobile dispatch radio and video unit
US7859551B2 (en) 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US5889896A (en) 1994-02-09 1999-03-30 Meshinsky; John System for performing multiple processes on images of scanned documents
US6947571B1 (en) 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
US5546475A (en) 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US5802361A (en) 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
JP2776295B2 (ja) 1994-10-27 1998-07-16 日本電気株式会社 画像インデックス生成方法及び画像インデックス生成装置
JPH08186714A (ja) 1994-12-27 1996-07-16 Texas Instr Inc <Ti> 画像データのノイズ除去方法及びその装置
US6112226A (en) 1995-07-14 2000-08-29 Oracle Corporation Method and apparatus for concurrently encoding and tagging digital information for allowing non-sequential access during playback
US6714945B1 (en) 1995-11-17 2004-03-30 Sabre Inc. System, method, and article of manufacture for propagating transaction processing facility based data and for providing the propagated data to a variety of clients
US6434530B1 (en) 1996-05-30 2002-08-13 Retail Multimedia Corporation Interactive shopping system with mobile apparatus
JP3851384B2 (ja) 1996-09-18 2006-11-29 シャープ株式会社 画像合成装置および方法
US5949429A (en) 1996-11-14 1999-09-07 Microsoft Corporation Method for performing pixel addressing operations for a tiled image
US6134674A (en) 1997-02-28 2000-10-17 Sony Corporation Computer based test operating system
US6151587A (en) * 1997-07-23 2000-11-21 Matthias; John T. Coupon dispenser and method for generating coupons
US6775417B2 (en) 1997-10-02 2004-08-10 S3 Graphics Co., Ltd. Fixed-rate block-based image compression with inferred pixel values
US20020116286A1 (en) 1997-10-09 2002-08-22 Walker Jay S. Method and apparatus for utilizing demand information at a vending machine
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
EP1025517A1 (en) 1997-10-27 2000-08-09 Massachusetts Institute Of Technology Image search and retrieval system
JP3500940B2 (ja) 1997-12-25 2004-02-23 カシオ計算機株式会社 商品画像データ処理装置
KR100365664B1 (ko) 1998-02-03 2003-01-24 츄요시 사이고 안경 착용 시뮬레이션 시스템
US6278446B1 (en) 1998-02-23 2001-08-21 Siemens Corporate Research, Inc. System for interactive organization and browsing of video
JPH11250071A (ja) 1998-02-26 1999-09-17 Minolta Co Ltd 画像データベースの構築方法および画像データベース装置並びに画像情報記憶媒体
CN1261449A (zh) 1998-02-27 2000-07-26 三菱电机株式会社 信息检索系统及信息处理系统
US20030112260A1 (en) 1998-02-27 2003-06-19 Tomonobu Gouzu Information retrieval system and information processing system
US6154738A (en) 1998-03-27 2000-11-28 Call; Charles Gainor Methods and apparatus for disseminating product information via the internet using universal product codes
US7495674B2 (en) 1998-05-27 2009-02-24 Advanced Testing Technologies, Inc. Video generation and capture techniques
US6157435A (en) 1998-05-29 2000-12-05 Eastman Kodak Company Image processing
FR2779848B1 (fr) 1998-06-15 2001-09-14 Commissariat Energie Atomique Procede invariant d'indexation d'une image utilisant des caracterisations fractales et par moments
US6216134B1 (en) 1998-06-25 2001-04-10 Microsoft Corporation Method and system for visualization of clusters and classifications
US6742003B2 (en) 2001-04-30 2004-05-25 Microsoft Corporation Apparatus and accompanying methods for visualizing clusters of data and hierarchical cluster classifications
US6216227B1 (en) 1998-06-29 2001-04-10 Sun Microsystems, Inc. Multi-venue ticketing using smart cards
US6134548A (en) 1998-11-19 2000-10-17 Ac Properties B.V. System, method and article of manufacture for advanced mobile bargain shopping
US6512919B2 (en) 1998-12-14 2003-01-28 Fujitsu Limited Electronic shopping system utilizing a program downloadable wireless videophone
US6567797B1 (en) 1999-01-26 2003-05-20 Xerox Corporation System and method for providing recommendations based on multi-modal user clusters
JP4794708B2 (ja) * 1999-02-04 2011-10-19 オリンパス株式会社 ３次元位置姿勢センシング装置
US7027993B1 (en) 1999-03-12 2006-04-11 International Business Machines Corporation Computerized knowledge brokerage system
US6477269B1 (en) 1999-04-20 2002-11-05 Microsoft Corporation Method and system for searching for images based on color and shape of a selected image
US6563959B1 (en) 1999-07-30 2003-05-13 Pixlogic Llc Perceptual similarity image retrieval method
AU6503800A (en) 1999-07-30 2001-02-19 Pixlogic Llc Perceptual similarity image retrieval
US6589290B1 (en) 1999-10-29 2003-07-08 America Online, Inc. Method and apparatus for populating a form with data
US6446045B1 (en) 2000-01-10 2002-09-03 Lucinda Stone Method for using computers to facilitate and control the creating of a plurality of functions
US20010034668A1 (en) * 2000-01-29 2001-10-25 Whitworth Brian L. Virtual picture hanging via the internet
US6587835B1 (en) 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
US7346543B1 (en) 2000-02-24 2008-03-18 Edmark Tomima L Virtual showroom method
US7428505B1 (en) 2000-02-29 2008-09-23 Ebay, Inc. Method and system for harvesting feedback and comments regarding multiple items from users of a network-based transaction facility
GB2360160B (en) 2000-03-07 2003-12-31 Ian Fletcher Improvements in or relating to image indexing systems
JP2001283079A (ja) 2000-03-28 2001-10-12 Sony Corp 通信サービス方法とその装置、通信端末装置、通信システム、広告宣伝方法
US7149665B2 (en) 2000-04-03 2006-12-12 Browzwear International Ltd System and method for simulation of virtual wear articles on virtual models
US7343293B1 (en) 2000-04-14 2008-03-11 Sony Corporation Responding to request for data
JP4427697B2 (ja) 2000-04-17 2010-03-10 ソニー株式会社 情報提供システム、情報送信装置及び情報受信装置並びにその方法
AU2001251634A1 (en) 2000-04-17 2001-10-30 Emtera Corporation System and method for wireless purchases of goods and services
US8352331B2 (en) 2000-05-03 2013-01-08 Yahoo! Inc. Relationship discovery engine
US20020002504A1 (en) 2000-05-05 2002-01-03 Andrew Engel Mobile shopping assistant system and device
WO2001088654A2 (en) * 2000-05-18 2001-11-22 Visionix Ltd. Spectacles fitting system and fitting methods
JP2001344479A (ja) 2000-05-31 2001-12-14 Sony Corp 販売システム、サーバ装置、端末装置、情報処理方法
US7526440B2 (en) 2000-06-12 2009-04-28 Walker Digital, Llc Method, computer product, and apparatus for facilitating the provision of opinions to a shopper from a panel of peers
US7487112B2 (en) 2000-06-29 2009-02-03 Barnes Jr Melvin L System, method, and computer program product for providing location based services and mobile e-commerce
US6901379B1 (en) 2000-07-07 2005-05-31 4-D Networks, Inc. Online shopping with virtual modeling and peer review
US6530521B1 (en) 2000-07-17 2003-03-11 Ncr Corporation Produce recognition apparatus and method of obtaining information about produce items
US20020094189A1 (en) 2000-07-26 2002-07-18 Nassir Navab Method and system for E-commerce video editing
US20040075670A1 (en) 2000-07-31 2004-04-22 Bezine Eric Camille Pierre Method and system for receiving interactive dynamic overlays through a data stream and displaying it over a video content
US7890386B1 (en) 2000-10-27 2011-02-15 Palisades Technology, Llc Method for use with a wireless communication device for facilitating tasks using images and selections
US7062722B1 (en) 2000-08-22 2006-06-13 Bruce Carlin Network-linked interactive three-dimensional composition and display of saleable objects in situ in viewer-selected scenes for purposes of promotion and procurement
US7437312B2 (en) 2000-08-23 2008-10-14 Bizrate.Com Method for context personalized web browsing
KR100374034B1 (ko) 2000-09-05 2003-02-26 삼성전자주식회사 광 수신기의 자기 진단 장치 및 그 방법
US7254779B1 (en) * 2000-09-06 2007-08-07 Xanboo Inc. Customizable presentation environment
US6697761B2 (en) * 2000-09-19 2004-02-24 Olympus Optical Co., Ltd. Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system
JP2002099826A (ja) 2000-09-21 2002-04-05 Matsushita Electric Ind Co Ltd カタログ販売システム
JP2002176671A (ja) 2000-09-28 2002-06-21 Takashi Fujimoto 移動体電話機
US8234218B2 (en) * 2000-10-10 2012-07-31 AddnClick, Inc Method of inserting/overlaying markers, data packets and objects relative to viewable content and enabling live social networking, N-dimensional virtual environments and/or other value derivable from the content
KR100413679B1 (ko) 2000-10-21 2003-12-31 삼성전자주식회사 형상 기술자 추출방법
US6804662B1 (en) 2000-10-27 2004-10-12 Plumtree Software, Inc. Method and apparatus for query and analysis
WO2002039216A2 (en) 2000-11-03 2002-05-16 Outlet Group, Llc Method and system of an integrated business topography and virtual 3d network portal
US8130242B2 (en) 2000-11-06 2012-03-06 Nant Holdings Ip, Llc Interactivity via mobile image recognition
US6763148B1 (en) 2000-11-13 2004-07-13 Visual Key, Inc. Image recognition methods
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
US6484130B2 (en) 2000-11-29 2002-11-19 International Business Machines Corporation Office accessibility information provider
US6993553B2 (en) 2000-12-19 2006-01-31 Sony Corporation Data providing system, data providing apparatus and method, data acquisition system and method, and program storage medium
US7130466B2 (en) 2000-12-21 2006-10-31 Cobion Ag System and method for compiling images from a database and comparing the compiled images with known images
US6690828B2 (en) 2001-04-09 2004-02-10 Gary Elliott Meyers Method for representing and comparing digital images
US20030208409A1 (en) 2001-04-30 2003-11-06 Mault James R. Method and apparatus for diet control
US20020196333A1 (en) 2001-06-21 2002-12-26 Gorischek Ignaz M. Mirror and image display system
JP2003022395A (ja) 2001-07-05 2003-01-24 Matsushita Electric Ind Co Ltd 商品関連情報提供システム、商品販売システム
US7444659B2 (en) 2001-08-02 2008-10-28 Intellocity Usa, Inc. Post production visual alterations
US7082365B2 (en) 2001-08-16 2006-07-25 Networks In Motion, Inc. Point of interest spatial rating search method and system
US7274380B2 (en) * 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
JP3997749B2 (ja) 2001-10-22 2007-10-24 ソニー株式会社 信号処理方法及び装置、信号処理プログラム、並びに記録媒体
JP3964646B2 (ja) * 2001-10-25 2007-08-22 富士フイルム株式会社 画像処理方法、画像処理装置、および画像信号作成方法
US7636874B2 (en) 2001-11-16 2009-12-22 Sap Ag Method and apparatus for computer-implemented processing of payment entries
US7953648B2 (en) 2001-11-26 2011-05-31 Vock Curtis A System and methods for generating virtual clothing experiences
US7022281B1 (en) 2001-11-26 2006-04-04 Senff Anthony N Systems and methods for removing contaminate material from a flowable material
US20030130910A1 (en) 2002-01-07 2003-07-10 Pickover Clifford A. Shopping cart presentation
US6783148B2 (en) 2002-01-14 2004-08-31 Autoliv Asp, Inc. Inflatable curtain positioning system and method
KR20040097200A (ko) 2002-03-26 2004-11-17 김소운 3차원 안경 시뮬레이션 시스템 및 방법
JP2006351024A (ja) 2002-05-24 2006-12-28 Olympus Corp 視野一致型情報呈示システム及びそれに用いられる携帯情報端末
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
US7568004B2 (en) 2002-06-20 2009-07-28 Linda Gottfried Method and system for sharing brand information
US7127491B2 (en) 2002-07-23 2006-10-24 Canon Kabushiki Kaisha Remote command server
US7231087B2 (en) * 2002-10-30 2007-06-12 Metrica, Inc. Matching binary templates against range map derived silhouettes for object pose estimation
US7702152B2 (en) 2002-10-31 2010-04-20 Electronics And Telecommunications Research Institute Non-linear quantization and similarity matching methods for retrieving video sequence having a set of image frames
GB0229625D0 (en) 2002-12-19 2003-01-22 British Telecomm Searching images
US7257268B2 (en) 2003-02-28 2007-08-14 Aperio Technologies, Inc. Systems and methods for image pattern recognition
US20040205286A1 (en) 2003-04-11 2004-10-14 Bryant Steven M. Grouping digital images using a digital camera
JP2004326229A (ja) 2003-04-22 2004-11-18 Matsushita Electric Ind Co Ltd 情報処理装置、サーバー装置およびそのプログラム
JP4346950B2 (ja) * 2003-05-02 2009-10-21 キヤノン株式会社 情報処理方法および装置
CN100416336C (zh) 2003-06-12 2008-09-03 美国西门子医疗解决公司 校准真实和虚拟视图
US7116342B2 (en) 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US7363214B2 (en) 2003-08-08 2008-04-22 Cnet Networks, Inc. System and method for determining quality of written product reviews in an automated manner
US7478143B1 (en) 2003-08-25 2009-01-13 Arroweye Solutions, Inc. Method and apparatus for creation, personalization, and fulfillment of greeting cards with gift cards or integrated bookmarks
KR100552691B1 (ko) * 2003-09-16 2006-02-20 삼성전자주식회사 이동로봇의 자기위치 및 방위각 추정방법 및 장치
EP1671483B1 (en) 2003-10-06 2014-04-09 Disney Enterprises, Inc. System and method of playback and feature control for video players
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
US7379627B2 (en) 2003-10-20 2008-05-27 Microsoft Corporation Integrated solution to digital image similarity searching
WO2005055138A2 (en) 2003-11-26 2005-06-16 Yesvideo, Inc. Statical modeling of a visual image for use in determining similarity between visual images
US20070122947A1 (en) 2003-12-25 2007-05-31 Adeka Corporation Metal compound, material for thin film formation, and process of forming thin film
US7693325B2 (en) * 2004-01-14 2010-04-06 Hexagon Metrology, Inc. Transprojection of geometry data
JP4981454B2 (ja) 2004-01-16 2012-07-18 ヒルクレスト・ラボラトリーズ・インコーポレイテッド メタデータの仲介サーバ、及び仲介方法
US7872669B2 (en) 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
JP4413633B2 (ja) 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
CN1961333A (zh) 2004-02-12 2007-05-09 贝斯简·阿利万迪 从虚拟环境中制造商品的系统和方法
US7565139B2 (en) * 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US20070159522A1 (en) * 2004-02-20 2007-07-12 Harmut Neven Image-based contextual advertisement method and branded barcodes
US7751805B2 (en) 2004-02-20 2010-07-06 Google Inc. Mobile image-based information retrieval system
US7624123B2 (en) 2004-02-26 2009-11-24 Ati Technologies, Inc. Image processing system and method
US20050222987A1 (en) 2004-04-02 2005-10-06 Vadon Eric R Automated detection of associations between search criteria and item categories based on collective analysis of user activity data
EP1741059B1 (de) * 2004-04-26 2013-10-02 Siemens Aktiengesellschaft Verfahren zur bestimmung einer position eines markers in einem augmented-reality-system
JP4298577B2 (ja) 2004-05-06 2009-07-22 三菱電機株式会社 車両用警報装置
US7281018B1 (en) 2004-05-26 2007-10-09 Microsoft Corporation Form template data source change
JP4114637B2 (ja) 2004-05-28 2008-07-09 富士ゼロックス株式会社 位置計測システム
US7562069B1 (en) 2004-07-01 2009-07-14 Aol Llc Query disambiguation
JP2008507792A (ja) 2004-07-26 2008-03-13 パンセン インフォマティクス インコーポレイテッド ネットワーク上に配置される、背景状況を利用するサーチエンジン
US20060058948A1 (en) 2004-07-28 2006-03-16 Ms. Melanie Blass Recordable location-based reminder system organizer
US7683858B2 (en) 2004-08-02 2010-03-23 Searete Llc Cosmetic enhancement mirror
WO2006015492A2 (en) * 2004-08-13 2006-02-16 Dofasco Inc. Remote crane bar code system
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US7853564B2 (en) 2004-09-17 2010-12-14 Adobe Systems Incorporated Adding metadata to a stock content item
US7460735B1 (en) 2004-09-28 2008-12-02 Google Inc. Systems and methods for using image duplicates to assign labels to images
JP4689380B2 (ja) 2004-09-28 2011-05-25 キヤノン株式会社 情報処理方法および装置
JP4708752B2 (ja) 2004-09-28 2011-06-22 キヤノン株式会社 情報処理方法および装置
US20060116935A1 (en) 2004-11-24 2006-06-01 Evans Charles E Cell phone based product research
US20060120686A1 (en) 2004-12-03 2006-06-08 Frank Liebenow Method, apparatus and system for storage and retrieval of images
EP1828862A2 (en) * 2004-12-14 2007-09-05 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
US7409362B2 (en) 2004-12-23 2008-08-05 Diamond Review, Inc. Vendor-driven, social-network enabled review system and method with flexible syndication
US20060149625A1 (en) 2004-12-30 2006-07-06 Ross Koningstein Suggesting and/or providing targeting information for advertisements
US20060149638A1 (en) 2005-01-06 2006-07-06 Allen Anita L Electronic personalized clothing makeover assistant
US9436945B2 (en) 2005-02-01 2016-09-06 Redfin Corporation Interactive map-based search and advertising
JP4599184B2 (ja) * 2005-02-02 2010-12-15 キヤノン株式会社 指標配置計測方法、指標配置計測装置
US7948481B2 (en) 2005-03-01 2011-05-24 Nissi Vilcovsky Devices, systems and methods of capturing and displaying appearances
US20060218153A1 (en) 2005-03-28 2006-09-28 Voon George H H Building social networks using shared content data relating to a common interest
US7519562B1 (en) 2005-03-31 2009-04-14 Amazon Technologies, Inc. Automatic identification of unreliable user ratings
US8226011B2 (en) 2005-04-06 2012-07-24 Eidgenoessische Technische Hochshcule Zuerich Method of executing an application in a mobile device
US8732025B2 (en) 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US20080177640A1 (en) 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
US7848765B2 (en) 2005-05-27 2010-12-07 Where, Inc. Location-based services
US7703040B2 (en) 2005-06-29 2010-04-20 Microsoft Corporation Local search engine user interface
US7855638B2 (en) 2005-07-14 2010-12-21 Huston Charles D GPS based spectator and participant sport system and method
US7761400B2 (en) 2005-07-22 2010-07-20 John Reimer Identifying events
KR20070014532A (ko) 2005-07-29 2007-02-01 주식회사 팬택 Ｄｍｂ 방송 시청 중 단문 메시지를 이용한 상품 주문 방법및 이동 통신 단말기
US20110153614A1 (en) 2005-08-01 2011-06-23 Worthwhile Products Inventory control system process
US20110143731A1 (en) 2005-09-14 2011-06-16 Jorey Ramer Mobile Communication Facility Usage Pattern Geographic Based Advertising
US7801893B2 (en) 2005-09-30 2010-09-21 Iac Search & Media, Inc. Similarity detection and clustering of images
US20070133947A1 (en) 2005-10-28 2007-06-14 William Armitage Systems and methods for image search
US7769236B2 (en) * 2005-10-31 2010-08-03 National Research Council Of Canada Marker and method for detecting said marker
GB2431793B (en) 2005-10-31 2011-04-27 Sony Uk Ltd Image processing
US10122845B2 (en) 2008-03-11 2018-11-06 Nitesh Ratnakar Location based personal organizer
US8818898B2 (en) 2005-12-06 2014-08-26 Pumpone, Llc System and method for management and distribution of multimedia presentations
US7606581B2 (en) 2005-12-13 2009-10-20 Yahoo! Inc. System and method for providing geo-relevant information based on a location
US7931194B2 (en) 2005-12-21 2011-04-26 Ncr Corporation Methods and apparatus for automated document examination for age verification
US20070150403A1 (en) 2005-12-28 2007-06-28 Motorola, Inc. Method and system for a mobile auction concierge
US8208764B2 (en) 2006-01-21 2012-06-26 Elizabeth Guckenberger Photo automatic linking system and method for accessing, linking, and visualizing “key-face” and/or multiple similar facial images along with associated electronic data via a facial image recognition search engine
US8121610B2 (en) 2006-03-31 2012-02-21 Research In Motion Limited Methods and apparatus for associating mapping functionality and information in contact lists of mobile communication devices
JP2007274478A (ja) 2006-03-31 2007-10-18 Toshiba Corp 画像処理装置、画像処理方法及び画像処理プログラム
US8117246B2 (en) 2006-04-17 2012-02-14 Microsoft Corporation Registering, transfering, and acting on event metadata
US7783272B2 (en) 2006-06-29 2010-08-24 Microtune (Texas), L.P. Dynamic performance control of broadband tuner
WO2008003966A1 (en) 2006-07-05 2008-01-10 Carbon Digital Media Limited Method and apparatus for controlling configuration of an online auction facility
US7711609B1 (en) 2006-07-13 2010-05-04 Gofigure Media, Llc System and method for placing products or services and facilitating purchase
US10003781B2 (en) 2006-08-04 2018-06-19 Gula Consulting Limited Liability Company Displaying tags associated with items in a video playback
US20080046738A1 (en) 2006-08-04 2008-02-21 Yahoo! Inc. Anti-phishing agent
US8412021B2 (en) 2007-05-18 2013-04-02 Fall Front Wireless Ny, Llc Video player user interface
EP1887526A1 (en) * 2006-08-11 2008-02-13 Seac02 S.r.l. A digitally-augmented reality video system
US7813561B2 (en) 2006-08-14 2010-10-12 Microsoft Corporation Automatic classification of objects within images
GB2440958A (en) 2006-08-15 2008-02-20 Tomtom Bv Method of correcting map data for use in navigation systems
US7916129B2 (en) 2006-08-29 2011-03-29 Industrial Technology Research Institute Interactive display system
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20080084429A1 (en) 2006-10-04 2008-04-10 Sherman Locke Wissinger High performance image rendering for internet browser
FR2907239B1 (fr) 2006-10-11 2009-01-09 Spikenet Technology Procede de recherche et de reconnaissance rapides d'une image numerique representative d'au moins un motif graphique dans une banque d'images numeriques
US20080109841A1 (en) 2006-10-23 2008-05-08 Ashley Heather Product information display and product linking
US7512605B2 (en) 2006-11-01 2009-03-31 International Business Machines Corporation Document clustering based on cohesive terms
US20080126193A1 (en) * 2006-11-27 2008-05-29 Grocery Shopping Network Ad delivery and implementation system
WO2008076138A2 (en) 2006-12-18 2008-06-26 The Nielsen Company Methods and systems to meter point-of-purchase conduct with a wireless communication device equipped with a camera
US20080147325A1 (en) 2006-12-18 2008-06-19 Maassel Paul W Method and system for providing augmented reality
US20080154710A1 (en) 2006-12-21 2008-06-26 Pradeep Varma Minimal Effort Prediction and Minimal Tooling Benefit Assessment for Semi-Automatic Code Porting
WO2008082891A2 (en) 2006-12-29 2008-07-10 Echostar Technologies Corporation Incremental transmission of data
KR101329289B1 (ko) 2007-01-05 2013-11-14 삼성전자주식회사 일정 및 경로를 생성하는 장치 및 방법
CN101226596B (zh) 2007-01-15 2012-02-01 夏普株式会社 文档图像处理装置以及文档图像处理方法
US7957510B2 (en) 2007-01-23 2011-06-07 Microsoft Corporation Notifying network contacts of inquiries
US20080201241A1 (en) 2007-02-02 2008-08-21 Daniel Ben Pecoraro Automated coffee system
US20080207357A1 (en) 2007-02-09 2008-08-28 Chris Savarese Combined range and tag finder
US20080205755A1 (en) 2007-02-23 2008-08-28 Banner Engineering Corporation Method and apparatus for color matching
US8103115B2 (en) 2007-02-26 2012-01-24 Sony Corporation Information processing apparatus, method, and program
US7978246B2 (en) 2007-03-13 2011-07-12 Osann Jr Robert Electronic mirror
WO2008111692A1 (en) * 2007-03-13 2008-09-18 Research Institute Of Industrial Science & Technology Landmark for position determination of mobile robot and apparatus and method using it
US7881984B2 (en) 2007-03-30 2011-02-01 Amazon Technologies, Inc. Service for providing item recommendations
US8958661B2 (en) 2007-03-30 2015-02-17 Intel Corporation Learning concept templates from web images to query personal image databases
KR100856585B1 (ko) 2007-04-04 2008-09-03 주식회사 엘지데이콤 양방향 텔레비전 시스템
GB0707216D0 (en) 2007-04-14 2007-05-23 Livesey Carl Interactive shopping platform
US20080268876A1 (en) 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US8386923B2 (en) 2007-05-08 2013-02-26 Canon Kabushiki Kaisha Document generation apparatus, method, and storage medium
KR100805607B1 (ko) 2007-05-09 2008-02-20 정두호 인테리어 자재용 디자인 온라인 시장을 위한 방법
US8694379B2 (en) 2007-05-14 2014-04-08 Microsoft Corporation One-click posting
WO2008141424A1 (en) 2007-05-17 2008-11-27 Research In Motion Limited System and method for content navigation
US20090006208A1 (en) 2007-06-26 2009-01-01 Ranjit Singh Grewal Display of Video with Tagged Advertising
US7725362B2 (en) 2007-07-12 2010-05-25 Qualcomm Incorporated Virtual group shopping mall
US9609260B2 (en) 2007-07-13 2017-03-28 Gula Consulting Limited Liability Company Video tag layout
CN101354746B (zh) 2007-07-23 2011-08-31 夏普株式会社 文字图像抽出装置及文字图像抽出方法
CN101354703B (zh) 2007-07-23 2010-11-17 夏普株式会社 文档图像处理装置和文档图像处理方法
EP2020746A1 (de) 2007-08-02 2009-02-04 Grundfos Management A/S Verfahren zum Ansteuern eines Asynchronmotors
US9569806B2 (en) 2007-09-04 2017-02-14 Apple Inc. Dynamic presentation of location-specific information
US20090083096A1 (en) 2007-09-20 2009-03-26 Microsoft Corporation Handling product reviews
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US7627502B2 (en) 2007-10-08 2009-12-01 Microsoft Corporation System, method, and medium for determining items to insert into a wishlist by analyzing images provided by a user
US20090106127A1 (en) 2007-10-19 2009-04-23 Zuujit, Llc System and method for automated entry into on-line auction or sale services employing a wireless device
US9147213B2 (en) * 2007-10-26 2015-09-29 Zazzle Inc. Visualizing a custom product in situ
JP4956375B2 (ja) * 2007-10-30 2012-06-20 キヤノン株式会社 画像処理装置、画像処理方法
US9058764B1 (en) * 2007-11-30 2015-06-16 Sprint Communications Company L.P. Markers to implement augmented reality
KR101146091B1 (ko) 2007-11-30 2012-05-16 광주과학기술원 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템
KR100932634B1 (ko) * 2007-12-27 2009-12-21 팅크웨어(주) 증강 현실을 이용한 3차원 웹 지도 서비스 방법 및 그시스템
US20090262137A1 (en) 2008-01-10 2009-10-22 Walker Jay S Systems and methods for presenting prediction in a broadcast
US20110055054A1 (en) * 2008-02-01 2011-03-03 Innovation Studios Pty Ltd Method for online selection of items and an online shopping system using the same
US20110001758A1 (en) * 2008-02-13 2011-01-06 Tal Chalozin Apparatus and method for manipulating an object inserted to video content
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US10936650B2 (en) 2008-03-05 2021-03-02 Ebay Inc. Method and apparatus for image recognition services
US7756757B1 (en) 2008-03-05 2010-07-13 United Services Automobile Association (Usaa) Systems and methods for price searching and intelligent shopping lists on a mobile device
US8098881B2 (en) 2008-03-11 2012-01-17 Sony Ericsson Mobile Communications Ab Advertisement insertion systems and methods for digital cameras based on object recognition
US20100211900A1 (en) 2009-02-17 2010-08-19 Robb Fujioka Virtual Marketplace Accessible To Widgetized Avatars
US9436927B2 (en) 2008-03-14 2016-09-06 Microsoft Technology Licensing, Llc Web-based multiuser collaboration
CN101541012A (zh) 2008-03-21 2009-09-23 夏普株式会社 干扰过载指示生成方法、干扰过载指示触发方法、干扰过载指示方法和基站
US8180154B2 (en) 2008-03-25 2012-05-15 Techfinity, Inc. Method and apparatus for region-based segmentation image processing using region mapping
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
US20090271293A1 (en) 2008-04-28 2009-10-29 Interactive Luxury Solutions Llc Methods and systems for dynamically generating personalized shopping suggestions
US7707073B2 (en) 2008-05-15 2010-04-27 Sony Ericsson Mobile Communications, Ab Systems methods and computer program products for providing augmented shopping information
US8447643B2 (en) 2008-06-02 2013-05-21 Melvin L. Barnes, Jr. System and method for collecting and distributing reviews and ratings
US20090319388A1 (en) 2008-06-20 2009-12-24 Jian Yuan Image Capture for Purchases
US8161379B2 (en) * 2008-06-20 2012-04-17 Microsoft Corporation Fit and fill techniques for pictures
US20090319373A1 (en) 2008-06-23 2009-12-24 Microsoft Corporation National advertisement linking
US8233722B2 (en) 2008-06-27 2012-07-31 Palo Alto Research Center Incorporated Method and system for finding a document image in a document collection using localized two-dimensional visual fingerprints
US8788493B2 (en) 2008-06-30 2014-07-22 Verizon Patent And Licensing Inc. Digital image tagging apparatuses, systems, and methods
JP5111268B2 (ja) 2008-07-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法、そのプログラムおよび記憶媒体
US8799200B2 (en) 2008-07-25 2014-08-05 Liveperson, Inc. Method and system for creating a predictive model for targeting webpage to a surfer
JP2010039908A (ja) 2008-08-07 2010-02-18 Sugisaki Fusako カーテン取り付けシミュレーションシステム、カーテン取り付けシミュレーション方法及びプログラム
US20100037177A1 (en) 2008-08-08 2010-02-11 Golsorkhi Andre O Tool for capturing data across web domains
US20100048290A1 (en) * 2008-08-19 2010-02-25 Sony Computer Entertainment Europe Ltd. Image combining method, system and apparatus
US8520979B2 (en) 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
TWI375177B (en) 2008-09-10 2012-10-21 Univ Nat Taiwan System and method for inserting advertising content
KR101537018B1 (ko) 2008-10-01 2015-07-17 삼성전자주식회사 보안 메모리 인터페이스, 이를 포함하는 시스템 및 스마트카드
JP2010141371A (ja) 2008-10-08 2010-06-24 Avanty:Kk 動画コンテンツ作成・再生補助システム
US8217952B2 (en) 2008-11-26 2012-07-10 Novell, Inc. Techniques for caching images
US20100153378A1 (en) 2008-12-12 2010-06-17 Sardesai Prashant Online Pair Wise Comparison and Recommendation System
KR20100067921A (ko) 2008-12-12 2010-06-22 강동우 아이피 홈서버를 활용한 지역 정보 광고 서비스 방법
KR20100071559A (ko) 2008-12-19 2010-06-29 에스케이텔레콤 주식회사 대화형광고를 이용한 전자상거래 연동시스템 및 그 방법
US8886636B2 (en) 2008-12-23 2014-11-11 Yahoo! Inc. Context transfer in search advertising
US8606657B2 (en) * 2009-01-21 2013-12-10 Edgenet, Inc. Augmented reality method and system for designing environments and buying/selling goods
WO2010084585A1 (ja) 2009-01-21 2010-07-29 Fukuda Tatsuya 情報案内システム
US8411086B2 (en) * 2009-02-24 2013-04-02 Fuji Xerox Co., Ltd. Model creation using visual markup languages
US10417675B2 (en) 2009-03-11 2019-09-17 Ebay Inc. System and method for providing user interfaces for fashion selection
CN101515198A (zh) * 2009-03-11 2009-08-26 上海大学 一种虚拟物体抓取与抛掷的人机交互方法及系统
US8825660B2 (en) 2009-03-17 2014-09-02 Ebay Inc. Image-based indexing in a network-based marketplace
US20120072233A1 (en) 2010-09-20 2012-03-22 Hanlon Alaina B Medical health information system for health assessment, weight management and meal planning
CN101520904B (zh) 2009-03-24 2011-12-28 上海水晶石信息技术有限公司 带有现实环境估算的增强现实的方法及其系统
US8521908B2 (en) 2009-04-07 2013-08-27 Verisign, Inc. Existent domain name DNS traffic capture and analysis
US8411986B2 (en) 2009-04-13 2013-04-02 Flashfoto, Inc. Systems and methods for segmenation by removal of monochromatic background with limitied intensity variations
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8862574B2 (en) 2009-04-30 2014-10-14 Microsoft Corporation Providing a search-result filters toolbar
EP2462494A4 (en) 2009-06-05 2014-08-13 Mozaik Multimedia Inc ECOSYSTEM FOR SMART CONTENT MARKING AND INTERACTION
US20110004517A1 (en) 2009-06-26 2011-01-06 The Jungle U LLC Dialogue advertising
US20100332283A1 (en) 2009-06-29 2010-12-30 Apple Inc. Social networking in shopping environments
US20100332304A1 (en) 2009-06-29 2010-12-30 Higgins Chris W Targeting in Cost-Per-Action Advertising
US8275590B2 (en) 2009-08-12 2012-09-25 Zugara, Inc. Providing a simulation of wearing items such as garments and/or accessories
US8301202B2 (en) 2009-08-27 2012-10-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20110061011A1 (en) 2009-09-04 2011-03-10 Ramsay Hoguet Three-Dimensional Shopping Lists
US20110065496A1 (en) * 2009-09-11 2011-03-17 Wms Gaming, Inc. Augmented reality mechanism for wagering game systems
CA2812523C (en) 2009-09-25 2021-03-16 Avazap Inc. Frameless video system
US20110084983A1 (en) 2009-09-29 2011-04-14 Wavelength & Resonance LLC Systems and Methods for Interaction With a Virtual Environment
CN102859545A (zh) 2009-10-13 2013-01-02 艾萨薇公司 能够使相关的产品数据和交易执行相关联的装置、方法和计算机程序产品
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8239130B1 (en) 2009-11-12 2012-08-07 Google Inc. Enhanced identification of interesting points-of-interest
US8817078B2 (en) 2009-11-30 2014-08-26 Disney Enterprises, Inc. Augmented reality videogame broadcast programming
JP2011118834A (ja) 2009-12-07 2011-06-16 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9164577B2 (en) 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
KR101055985B1 (ko) 2010-01-12 2011-08-11 인크로스 주식회사 카메라가 구비된 단말기를 이용한 정보제공방법 및 정보서비스방법
US8990124B2 (en) 2010-01-14 2015-03-24 Microsoft Technology Licensing, Llc Assessing quality of user reviews
US20110184780A1 (en) 2010-01-21 2011-07-28 Ebay Inc. INTEGRATION OF eCOMMERCE FEATURES INTO SOCIAL NETWORKING PLATFORM
WO2011094734A2 (en) 2010-02-01 2011-08-04 Jumptap, Inc. Integrated advertising system
US8370062B1 (en) 2010-02-09 2013-02-05 Google Inc. Switching between location contexts
JP5452313B2 (ja) 2010-03-29 2014-03-26 ニフティ株式会社 電子商取引サーバ及び電子商取引方法
US8639440B2 (en) 2010-03-31 2014-01-28 International Business Machines Corporation Augmented reality shopper routing
WO2011158336A1 (ja) 2010-06-15 2011-12-22 株式会社ナビタイムジャパン ナビゲーションシステム、端末装置、ナビゲーションサーバ、ナビゲーション装置、ナビゲーション方法、および、プログラム
CN101893935B (zh) 2010-07-14 2012-01-11 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球系统构建方法
US20120084812A1 (en) 2010-10-04 2012-04-05 Mark Thompson System and Method for Integrating Interactive Advertising and Metadata Into Real Time Video Content
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
US8660369B2 (en) 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US20120113141A1 (en) 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
US20120120113A1 (en) 2010-11-15 2012-05-17 Eduardo Hueso Method and apparatus for visualizing 2D product images integrated in a real-world environment
KR101292463B1 (ko) 2011-01-27 2013-07-31 주식회사 팬택 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법
US20120197764A1 (en) 2011-02-02 2012-08-02 Ebay Inc. Method and process of using metadata associated with a digital media to search for local inventory
US20120215584A1 (en) 2011-02-18 2012-08-23 Leapset, Inc. Tracking off-line commerce and online activity
CN102156810A (zh) 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
US8336774B2 (en) 2011-04-04 2012-12-25 Shopper's Club, Llc Shopping apparatus and methods
CN102194007B (zh) 2011-05-31 2014-12-10 中国电信股份有限公司 获取移动增强现实信息的系统和方法
US8891832B2 (en) 2011-06-03 2014-11-18 Facebook, Inc. Computer-vision-assisted location check-in
US9973848B2 (en) 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US9043237B2 (en) 2011-09-21 2015-05-26 Fexco Merchant Services Systems and methods for making a payment using a wireless device
US9292603B2 (en) 2011-09-30 2016-03-22 Nuance Communications, Inc. Receipt and processing of user-specified queries
US8230016B1 (en) 2011-10-11 2012-07-24 Google Inc. Determining intent of a recommendation on a mobile application
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
AU2015264850B2 (en) 2011-10-27 2017-04-27 Ebay Inc. Visualization of items using augmented reality
US20130116922A1 (en) 2011-11-08 2013-05-09 Hon Hai Precision Industry Co., Ltd. Emergency guiding system, server and portable device using augmented reality
US9240059B2 (en) 2011-12-29 2016-01-19 Ebay Inc. Personal augmented reality
US20130198002A1 (en) 2012-01-27 2013-08-01 Ebay Inc. Method and process of using meta-data associated with a digital media to advertise local inventory based upon view gps location
US20130325839A1 (en) 2012-03-05 2013-12-05 TeleCommunication Communication Systems, Inc. Single Search Box Global
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
US9336541B2 (en) 2012-09-21 2016-05-10 Paypal, Inc. Augmented reality product instructions, tutorials and visualizations
US9773018B2 (en) 2013-08-13 2017-09-26 Ebay Inc. Mapping item categories to ambiguous queries by geo-location
US20160034944A1 (en) 2014-08-04 2016-02-04 Oren Raab Integrated mobile listing service

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070143082A1 (en) 2005-12-15 2007-06-21 Degnan Donald A Method and System for Virtual Decoration
US20090109240A1 (en) 2007-10-24 2009-04-30 Roman Englert Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment

Also Published As

Publication number Publication date
KR20120106988A (ko) 2012-09-27
KR101859856B1 (ko) 2018-06-28
EP2499635A4 (en) 2015-07-15
CN102667913A (zh) 2012-09-12
US20180336734A1 (en) 2018-11-22
KR20160111541A (ko) 2016-09-26
US9164577B2 (en) 2015-10-20
US20110148924A1 (en) 2011-06-23
KR101657336B1 (ko) 2016-09-19
WO2011087797A3 (en) 2011-10-06
EP3570149B1 (en) 2021-07-21
CN104656901A (zh) 2015-05-27
US10210659B2 (en) 2019-02-19
CN102667913B (zh) 2015-03-25
US20160019723A1 (en) 2016-01-21
EP2499635B1 (en) 2019-10-16
EP2499635A2 (en) 2012-09-19
CN104656901B (zh) 2017-12-22
KR20140024483A (ko) 2014-02-28
WO2011087797A2 (en) 2011-07-21
EP3570149A1 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
KR101659190B1 (ko) 맥락적 환경에 아이템 이미지를 디스플레이하는 증강 현실 시스템, 방법 및 장치
US10559053B2 (en) Screen watermarking methods and arrangements
US10192364B2 (en) Augmented reality product preview
US7920939B2 (en) Method and system for creating and manipulating embroidery designs over a wide area network
WO2016033495A2 (en) Methods and arrangements including data migration among computing platforms, e.g., through use of steganographic screen encoding
US9177199B2 (en) Semantic magazine pages
ES2958257T3 (es) Sistemas y métodos de visualización de productos mediante el uso de una aplicación de una sola página
KR101887081B1 (ko) 증강 현실 콘텐츠 서비스를 제공하는 방법
EP3177005B1 (en) Display control system, display control device, display control method, and program
US9349139B1 (en) Fine art samples
JP2020107254A (ja) 画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデル
US9641722B2 (en) Methods and systems for creating structural documents with security features
EP3859566A1 (en) Systems and methods for product visualization using a single-page application
Suzuki et al. Mobile interaction using steganographic image on mobile display
JP5560933B2 (ja) リンク統合処理装置
KR20180112730A (ko) 이미지 뷰어에 의해 맵핑된 동적 태그를 이용한 디지털 콘텐츠 처리 시스템 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right