KR20140038442A - 현실-세계 객체의 가상 표현에 속성을 추가하는 기법 - Google Patents

현실-세계 객체의 가상 표현에 속성을 추가하는 기법 Download PDF

Info

Publication number
KR20140038442A
KR20140038442A KR1020137032143A KR20137032143A KR20140038442A KR 20140038442 A KR20140038442 A KR 20140038442A KR 1020137032143 A KR1020137032143 A KR 1020137032143A KR 20137032143 A KR20137032143 A KR 20137032143A KR 20140038442 A KR20140038442 A KR 20140038442A
Authority
KR
South Korea
Prior art keywords
virtual
virtual representation
real
world
attribute
Prior art date
Application number
KR1020137032143A
Other languages
English (en)
Other versions
KR101961969B1 (ko
Inventor
숀 씨 라이트
제프리 지저스 에버트
저스틴 아브람 클라크
크리스토퍼 할리 윌로우비
마이크 스캐비즈
마이클 에이 스팰딩
케빈 제이스너
다니엘 엘 오스본
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140038442A publication Critical patent/KR20140038442A/ko
Application granted granted Critical
Publication of KR101961969B1 publication Critical patent/KR101961969B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

가상 표현에 속성을 제공하는 방법, 매체, 및 가상 객체를 기술한다. 가상 표현은 현실-세계 객체의 디지털화에 기초하여 생성된다. 컬러, 형상 유사성, 체적, 표면적 등과 같은 가상 표현의 성질들이 식별되고, 가상 표현에 의해 이들 성질의 표출의 양 또는 정도가 결정된다. 성질들은 가상 객체의 다른 속성들 중에서도, 온도, 중량, 또는 에지의 첨예함과 같은, 가상 표현과 연계된 속성들을 식별하기 위해 채용된다. 속성들의 표출의 정도도 역시 성질들 및 그 표출의 정도들에 기초하여 결정된다. 이로써, 가상 표현에는 가상 세계에서의 가상 표현의 프레젠테이션 및 상호작용들을 지시하는 하나 이상의 속성들이 제공된다.

Description

현실-세계 객체의 가상 표현에 속성을 추가하는 기법{ADDING ATTRIBUTES TO VIRTUAL REPRESENTATIONS OF REAL-WORLD OBJECTS}
본 발명은 현실-세계 객체의 가상 표현에 속성을 추가하는 것에 관한 것이다.
본 발명의 실시예들은 본 요약부가 아니라, 하기의 특허청구범위에 의해 규정된다. 본 발명의 다양한 사항(양태)의 높은 수준의 개관은, 여기서는, 본 개시물의 개관을 제공하는 한편, 이하 발명의 상세한 설명에서 보다 자세히 기술될 개념들 중 선택된 것을 소개하려는 이유로 제공된다. 본 요약부는 청구항에 기재된 청구대상의 주된 사항 또는 핵심 사항을 밝히기 위한 것이 아니며, 청구항에 기재된 청구대상의 범위를 별도로 한정하기 위한 것은 더더욱 아니다. 요컨대, 높은 수준으로, 본 개시물은 다른 무엇보다도 현실-세계 객체들의 가상 표현들에 속성들을 연계시키는 방식들을 기술한다.
일 실시예에 있어서, 현실-세계 객체는 디지털화되어 그 가상 표현을 생성한다. 가상 표현의 다수의 특성(characteristic)이 식별되고, 그들 특성의 표출의 정도(a measure of the exhibition)가 결정된다. 예컨대, 현실-세계 객체는 적색일 수 있다. 따라서, 가상 표현은 적색으로 되는 특성을 갖고, 컬러 스펙트럼 상의 적색의 위치의 정도가 결정된다.
가상 세계에서의 가상 표현의 상호작용을 지시하기 위해 속성(attribute)이 특성들에 기초하여 식별되고 가상 표현에 추가된다. 상기 예에 이어서, 속성은 가상 세계에서의 가상 표현의 온도일 수 있으며, 온도는 컬러 특성에 기초하여 식별된다. 또한, 온도의 정도(degree)는 컬러 스펙트럼 상의 컬러의 정도에 기초하여 결정될 수 있다. 예를 들면, 적색은 뜨거운 것으로서 규정되고, 따뜻함으로부터 "불타는 듯함(on fire)"까지의 뜨거움의 정도는 컬러 스펙트럼 상에 표출된 컬러의 위치에 기초하여 결정되는데, 예컨대 스펙트럼 하단에 있는 적색들은 저온을 나타내고, 스펙트럼 상단에 있는 적색들은 고온을 나타낸다. 따라서, 특성 "적색(red)"을 갖는 가상 표현에는 속성 "뜨거운(hot)"이 주어지고, 표현시에는, 가상 표현이 불타는 듯하게 보인다.
본 발명의 예시적인 실시예들은 첨부된 도면들을 참조로 아래에서 상세히 기술되며, 여기서:
도 1은 본 발명의 일 실시예에 따라 사용하기에 적합한 전형적인 컴퓨팅 디바이스를 묘사하는 블럭도이고;
도 2는 본 발명의 일 실시예에 따라 사용하기에 적합한 전형적인 운용 환경의 블럭도이고;
도 3은 본 발명의 일 실시예에 따라 속성들을 가상 객체에 연계시키는 방법을 묘사하는 흐름도이고;
도 4(a)는 본 발명의 일 실시예에 따른 현실-세계 객체의 그래픽 재현이고;
도 4(b)는 본 발명의 일 실시예에 따라 속성을 묘사하는 도 3의 현실-세계 객체의 가상 표현의 그래픽 재현이고;
도 5(a)는 본 발명의 일 실시예에 따른 다른 현실-세계 객체의 그래픽 재현이고;
도 5(b)는 본 발명의 일 실시예에 따라 속성을 묘사하는 도 5(a)의 현실-세계 객체의 가상 표현의 그래픽 재현이고;
도 5(c)는 본 발명의 일 실시예에 따라 도 5(b)와는 상이한 방식으로 속성을 묘사하는 도 5(a)의 현실-세계 객체의 가상 표현의 그래픽 재현이고;
도 6은 본 발명의 일 실시예에 따라 속성을 가상 표현에 연계시키는 방법을 묘사하는 흐름도이다.
본 발명의 선택 실시예들의 요지는 본원에서는 법에 명시된 요건을 충족하도록 구체화하여 기재된다. 그러나, 기재 자체는 특허청구범위를 제한하려는 것은 아니다. 오히려, 청구항에 기재된 청구대상은, 현재의 또는 장래의 다른 기술들과 함께, 이 문헌에 기재된 것들과는 상이한 스텝들 또는 유사한 스텝들의 조합들을 포함하도록 다른 방식들로 구현될 수 있다. 개개의 스텝들의 순서가 명확하게 기재되지 않는 한, 또한 그러한 경우를 제외하면, 본원에 개시된 다양한 스텝들 중에서 임의의 특정한 순서를 의미하는 것으로서 용어들이 해석되어서는 안 된다.
본 발명의 실시예들은 현실-세계 객체의 가상 표현에 속성들을 연계시키거나 또는 추가하는 방법들, 시스템들, 및 매체를 기술한다. 현실-세계 객체는, 예컨대 공, 박제된 동물, 스틱, 컵, 책, 또는 숟가락 등의 임의의 입수 가능한 물리적 객체를 포함한다.
본원에 기재된 바와 같은, 가상 표현, 또는 가상 객체는 컴퓨팅 디바이스에 의해 생성되는 현실-세계 객체의 재현을 포함한다. 가상 표현 및 가상 객체라는 용어들은 본원에서는 호환하여 사용된다. 가상 표현은 현실-세계 객체를 디지털화함으로써, 예컨대 현실-세계 객체의 하나 이상의 이미지에 기초하여 가상 객체를 만들어냄으로써 생성된다. 현실-세계 객체의 디지털화는 임의의 원하는 방식으로 완료된다. 일 실시예에 있어서, 현실-세계 객체의 디지털화는, 그 개시내용이 본원에 참조로 포함되는, 2011년 6월 6일자로 출원된 "OBJECT DIGITIZATION"라는 명칭의 동시계류중인 미국특허출원 제61/493,844호에 기술된 방법을 사용해서 완료된다.
가상 객체는 현실-세계 객체를 하나 이상의 컴퓨팅 디바이스에 의해 생성된 가상 세계에서 나타낸다. 가상 객체는 현실-세계 객체의 이미지들에서 유래하는 형상, 컬러, 체적, 표면적, 크기, 및 표면 질감과 같은 특성들을 갖는다. 그러나, 본 발명의 실시예들을 사용하지 않으면, 컴퓨팅 디바이스가 가상 객체를 단지 상기 특성들에 의해 규정된 외관을 가진 객체로서 인식한다. 컴퓨팅 디바이스는 가상 객체의 다른 비-시각 속성들을 달리 인식하거나 이해하지는 못한다. 예컨대, 나이프(knife)의 가상 표현은 컴퓨팅 디바이스에 의해 첨예한 것으로서 인식되지 않는데―이에 반해 본 발명의 실시예들은 가상 표현에 대하여 상기와 같은 속성들을 결정해서 추가한다.
일 실시예에 있어서, 추가된 속성들은 첨예한 나이프와 같은 현실-세계 객체의 속성들을 모방한다. 추가된 속성들은 주어진 유형의 현실-세계 객체의 예상되는 속성들을 모방할 수도 있다. 예컨대, 장난감 나이프는 현실-세계에서처럼 첨예할 리는 없지만, 가상 표현에는 추가된 속성으로서 첨예함이 주어질 수 있다. 속성들은 현실-세계 객체에는 존재하지 않는 임의적인 성질들을 가상 표현에 추가할 수도 있다. 예컨대, 적색을 갖는 가상 객체는 속성 "뜨거운(hot)"과 연관될 수 있거나 또는 매끄러운 에지들을 갖는 가상 객체는 속성 "젖은(wet)"과 연관될 수 있기는 하지만, 현실-세계의 대응하는 객체들은 뜨거운 것도 젖은 것도 아니다. 가상 표현에 추가할 속성들을 결정하는 것을 이하에서 보다 상세히 기술한다.
본 발명의 일 실시예에 있어서, 가상 객체와 속성들을 연계시키는 방법을 기술한다. 현실-세계 객체는 디지털화되어, 가상 공간에서 현실-세계 객체의 가상 표현을 생성한다. 가상 표현은 현실-세계 객체의 복수의 특성을 묘사한다. 가상 표현에 의해 표출된 제 1 특성이 검출된다. 특성은 가상 표현에 추가할 속성에 대하여 맵핑된다. 가상 표현에는 속성이 제공된다.
다른 실시예에 있어서, 속성을 가상 표현과 연계시키는 방법을 기술한다. 현실-세계 객체의 가상 표현에 의해 표출된 특성들이 식별된다. 가상 표현에 의해 특성들 각각의 표출의 정도가 정량화된다. 가상 표현에 추가할 속성을 특성들의 표출의 정도에 기초하여 결정한다. 속성을 갖는 가상 표현을 제공한다.
다른 실시예에 있어서, 복수의 캡처된 이미지에 기초하여 현실-세계 객체의 디지털화에 의해 구성되는 현실-세계 객체의 3차원 가상 표현을 포함하는 가상 객체를 기술한다. 가상 객체는 가상 표현과 가상 세계 사이의 상호작용을 지시하는 가상 표현과 연관된 속성을 또한 포함한다. 속성은, 가상 표현에 의해 표출된 특성들을 식별하고, 가상 표현에 의해 특성들 각각의 표출의 정도를 정량화하고, 하나 이상의 특성의 표출의 정도에 기초하여 가상 표현에 추가할 속성을 결정함으로써, 가상 표현과 연계된다.
먼저, 도 1을 참조하면, 본 발명의 실시예들을 시행하기 위한 전형적인 운용 환경이 도시되는데, 일반적으로 컴퓨팅 디바이스(100)로서 지칭된다. 컴퓨팅 디바이스(100)는 적절한 컴퓨팅 환경의 일례이지만, 본 발명의 실시예들의 용도 또는 기능의 범위에 대하여 어떠한 제한을 시사하려는 것은 아니다. 어떠한 컴퓨팅 디바이스(100)도 예시된 요소들 중 어느 하나 또는 그들의 조합에 관한 어떠한 종속성 또는 요건을 갖는 것으로서 이해되어서는 안된다.
본 발명의 실시예들은 컴퓨터에 의해 또는 퍼스널 데이터 어시스턴트 또는 다른 핸드헬드 디바이스와 같은 다른 기계에 의해 실행되는, 프로그램 모듈들과 같은 컴퓨터-실행 가능한 명령들을 포함하는, 컴퓨터 코드 또는 기계-사용 가능한 명령들의 일반적인 콘텍스트로 기술될 수 있다. 일반적으로, 루틴들, 프로그램들, 객체들, 요소들, 데이터 구조들 등을 포함하는 프로그램 모듈들은 특정한 작업들을 수행하거나 또는 특정한 추상 데이터 유형들을 시행하는 코드에 적용된다. 본 발명의 실시예들은 핸드-헬드 디바이스들, 가전 제품들, 범용 컴퓨터들, 보다 전문적인 컴퓨팅 디바이스들 등을 포함하는 다양한 시스템 구성에서 실시될 수 있다. 본 발명의 실시예들은 통신 네트워크를 통해 연결되는 디바이스들을 원격-처리함으로써 작업들이 수행되는 분산형 컴퓨팅 환경에서 실시될 수도 있다.
도 1을 참조하면, 컴퓨팅 디바이스(100)는 하기의 디바이스들, 즉 메모리(112), 하나 이상의 프로세서(114), 하나 이상의 프레젠테이션 요소(116), 하나 이상의 입/출력 포트(118), 하나 이상의 입/출력 요소(120), 및 예시적인 전원(122)을 직접적으로 또는 간접적으로 결합하는 버스(110)를 포함한다. 버스(110)는 하나 이상의 버스(어드레스 버스, 데이터 버스, 또는 그 조합 등)일 수 있다. 도 1의 다양한 블럭들이 명료화를 위해 선들로 도시되어 있지만, 실제로는 다양한 요소들의 묘사가 그렇게 명확한 것이 아니며, 비유적으로 상기 선들은 보다 정확하게는 특징 없고 불분명한 것일 수 있다. 예컨대, 디스플레이 디바이스와 같은 프레젠테이션 요소를 I/O 요소로 여길 수 있다. 또한, 프로세서들은 메모리를 구비한다. 이와 같은 것은 당해 기술의 당연한 사항임을 인식해야 하고, 도 1의 블럭도가 본 발명의 하나 이상의 실시예와 함께 사용될 수 있는 전형적인 컴퓨팅 디바이스를 단순히 예시하고 있는 것임을 되풀이해서 말한다. 모두 도 1의 범위 내에서 고려되고 "컴퓨팅 디바이스"를 참조하기 때문에, "워크스테이션", "서버", "랩탑", "핸드-헬드 디바이스" 등과 같은 카테고리들간을 구별하지는 않는다.
컴퓨팅 디바이스(100)는 다양한 컴퓨터-판독 가능한 매체를 포함하는 것이 보통이다. 예로서 주어지며, 제한하는 것은 아닌, 컴퓨터-판독 가능한 매체는, 랜덤 액세스 메모리(RAM); 리드 온리 메모리(ROM); 전기적 소거 및 프로그램 가능한 리드 온리 메모리(EEPROM); 플래시 메모리 또는 다른 메모리 기술들; 콤팩트 디스크 리드 온리 메모리(CD-ROM), 디지털 다목적 디스크(DVD) 또는 다른 광학 또는 홀로그래픽 매체; 자기 카세트, 자기 테이프, 자기 디스크 기억장치 또는 다른 자기 기억장치 디바이스들, 또는 원하는 정보를 부호화하는데 사용될 수 있으며 컴퓨팅 디바이스(100)에 의해 액세스될 수 있는 임의의 다른 컴퓨터-판독 가능한 디바이스를 포함할 수 있다. 컴퓨터-판독 가능한 매체 및 컴퓨터-기억 매체는 반송파, 신호, 또는 다른 형태의 일시적인 매체를 포함하지 않는다.
메모리(112)는 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터-기억 매체를 포함한다. 메모리는 분리 가능한, 분리 불가능한, 또는 그 조합으로 될 수 있다. 전형적인 하드웨어 디바이스들은 솔리드-스테이트 메모리, 하드 드라이브들, 광-디스크 드라이브들 등을 포함한다. 컴퓨팅 디바이스(100)는 메모리(112) 또는 I/O 요소들(120)과 같은 다양한 엔티티로부터 데이터를 판독하는 하나 이상의 프로세서를 포함한다. 프레젠테이션 요소(들)(116)는 유저 또는 다른 디바이스에 데이터 표시를 나타낸다. 전형적인 프레젠테이션 요소들은 디스플레이 디바이스, 스피커, 인쇄 요소, 진동 요소 등을 포함한다.
I/O 포트들(118)은 그들 중 일부가 내장될 수 있는 I/O 요소들(120)을 포함하는 다른 디바이스들에 컴퓨팅 디바이스(100)가 논리적으로 결합되게 한다. 예시적인 요소들은 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 프린터, 무선 디바이스 등을 포함한다.
이제, 도 2를 참조해서, 본 발명의 일 실시예에 따라 사용하기에 적합한 전형적인 컴퓨팅 환경(200)을 기술한다. 환경(200)은 컴퓨팅 디바이스(202), 카메라(204), 현실-세계 객체(206), 네트워크(208), 및 데이터 저장소(210)를 포함한다. 컴퓨팅 환경(200)은 본 발명의 실시예들에 따라 현실-세계 객체의 가상 표현에 속성들을 추가하는데 사용될 수 있는 다수 존재하는 것들 중 하나의 전형적인 컴퓨팅 환경이다. 본 발명의 실시예들의 설명을 돕기 위해 환경(200)에는 다양한 요소들이 묘사되어 있지만, 다른 추가적인 또는 대안적인 요소들이 하나 이상의 컴퓨팅 디바이스 중에서 채용될 수 있으며, 또한 더 분산되거나 또는 통합될 수 있고, 예컨대 컴퓨팅 디바이스는 일체형 카메라를 구비할 수 있다.
컴퓨팅 디바이스(202)는 컴퓨팅 디바이스(100)와 같은 임의의 하나 이상의 컴퓨팅 디바이스를 포함한다. 일 실시예에 있어서, 컴퓨팅 디바이스(202)는 게임용 디바이스를 포함한다. 컴퓨팅 디바이스(202)는, 본 기술분야에 공지되어 있는 바와 같이, 하나 이상의 다른 컴퓨팅 디바이스 및 데이터 저장소(210)와의 통신을 위해 네트워크(208)에 통신 가능하게 결합될 수 있다. 네트워크(208)는, 예로 들지만 제한하는 것은 아닌, 다른 무엇보다도 인터넷, 인트라넷, 이더넷, 로컬 에어리어 네트워크, 또는 와이드 에어리어 네트워크와 같은 임의의 통신 네트워크를 포함한다.
데이터 저장소(210)는 컴퓨팅 디바이스(202)에 의해 사용 가능한 임의의 데이터 기억 디바이스 또는 매체를 포함한다. 일 실시예에 있어서, 데이터 저장소(210)는 본 기술분야에 공지되어 있는 바와 같이, 클라우드 컴퓨팅 환경의 데이터 리포지토리(data repository)이다. 데이터 저장소(210)는 하나 이상의 유저에 의해 디지털화되어 있는 현실-세계 객체들의 특성들 및 현실-세계 객체들의 가상 표현들의 속성들의 기억장치를 제공할 수 있다. 데이터 저장소(210)는 후술하는 바와 같이, 가상 표현들에 추가할 속성들에 특성들을 맵핑하기 위한 하나 이상의 맵핑 스키마를 또한 포함할 수 있다.
카메라(204)는 현실-세계 객체(206)의 하나 이상의 이미지를 캡처하는데 사용할 수 있는 디지털, 스틸 또는 비디오 카메라를 포함한다. 일 실시예에 있어서는, 카메라(204)가 필름 카메라이며, 컴퓨팅 디바이스(202)에 의한 사용을 위해 이미지들을 디지털화하도록 스캐너가 채용될 수 있다. 카메라(204)는 컴퓨팅 디바이스(202)로부터 분리되며, 무선으로 또는 유선 접속을 통해 거기에 통신 가능하게 결합된다. 또는 카메라(204)는 컴퓨팅 디바이스(202)와 통합된다.
앞서 기술한 바와 같이, 현실-세계 객체(206)는 임의의 물리적인, 현실-세계 객체가다. 도 2에 묘사된 바와 같이, 현실-세계 객체(206)는 적색의 당구공이지만, 임의의 객체를 사용할 수 있다.
컴퓨팅 디바이스(202)로 되돌아가서, 내부에는 디지타이저 요소(212), 속성-연계 요소(214), 특성 리스트(216), 특성 디텍터(218), 및 가상 표현(220)이 포함된다. 일 실시예에 있어서, 하나 이상의 요소(212, 214, 216, 218, 및 220)는 하나 이상의 다른 컴퓨팅 디바이스 중에 분포되며, 네트워크(208)를 통해 컴퓨팅 디바이스(202)에 의해 액세스된다.
상술한 바와 같이, 디지타이저 요소(212)는 현실-세계 객체의 가상 표현을 디지털화 또는 만들어내는 임의의 이용 가능한 수단을 채용한다. 디지타이저(212)는 현실-세계 객체(206)의 하나 이상의 이미지(222)를 카메라(204)로부터 수신한다. 일 실시예에 있어서, 이미지(222)들은 현실-세계 객체(206)의 정면의 적어도 하나의 이미지(222) 및 현실-세계 객체(206)의 배면의 적어도 하나의 이미지(222)를 포함한다. 이들 이미지(222)는 현실-세계 객체(206)의 3차원 가상 표현(220)을 생성하기 위해 디지타이저에 의해 사용 가능하다. 다른 실시예에 있어서는, 현실-세계 객체(206)의 2차원 또는 3차원 가상 표현(220)을 생성하기 위해 임의의 개수의 이미지(222)들이 사용된다.
가상 표현(220)은 임의의 이용 가능한 가상 모델링 기술들을 사용하며 그것들에 기초한다. 예컨대, 가상 표현(220)은 현실-세계 객체의 이미지들(RGBD 이미지들)로부터 얻은 적색, 녹색 및 청색과 농도(depth) 데이터에 기초한다. 가상 표현은 다른 요소들 보다도, 3차원 포인트 클라우드(three-dimensional point cloud), 트라이앵글 메시(triangle mesh), 질감(texture), 골조(skeleton), 및 리깅(rigging)을 또한 포함할 수 있다.
속성-연계 요소(214)는, 아래에서 보다 상세히 기술하는 바와 같이, 디지타이저(212)에 의해 생성되는 현실-세계 객체(206)의 가상 표현(220)을 채용해서, 가상 표현(220)의 하나 이상의 특성을 식별하고, 가상 표현(220)에 추가할 속성들을 결정하고, 가상 표현(220)에 그 속성들을 추가한다. 일 실시예에 있어서, 가상 표현(220)의 특성들은 특성 리스트(216)에 기초하여 식별된다.
특성 리스트(216)는 가상 표현에 존재할 수 있는 복수의 특성을 포함한다. 리스트(216)로부터의 특성들 각각은 연계된 특성 디텍터(218)를 포함하거나, 또는 단일의 디텍터(218)가 리스트(216)로부터의 다수의 특성들과 연계된다. 특성 리스트(216)는 컴퓨팅 디바이스(202)의 메모리에 저장되거나, 또는 예컨대, 데이터 저장소(210)에 원격으로 저장된다. 특성 리스트(216)는 가상 표현들을 채용하는 컴퓨팅 디바이스상의 애플리케이션들에 걸쳐 포괄적으로 이용되거나 또는 특성 리스트(216)는 애플리케이션 특정적이다. 애플리케이션-특정 리스트(216)는, 가상 표현 또는 그 안의 콘텍스트를 사용하는 애플리케이션에 기초하여, 고유한 특성들을 식별하고 고유한 속성들을 가상 표현들에 제공하기 위해 사용 가능하다.
디텍터(218)는 가상 표현(220)과 연계된 하나 이상의 데이터를 분석하고 연계된 특성의 존재를 식별하도록 구성된 애플리케이션, 코드 세그먼트, 또는 프로그램 객체를 포함한다. 일 실시예에 있어서, 디텍터(118)는 가상 표현(220)에 의해 특성의 표출의 정도를 식별한다. 예컨대, 특성 "컬러 = 적색"에 대하여, 디텍터(118)는 가상 표현이 적색을 표출하는 정도를 결정하고, 예컨대 자주색 객체의 가상 표현은 소량의 적색을 표출할 뿐인 반면, 적색 객체의 가상 표현은 다량의 적색을 표출한다. 디텍터(118)는 다른 잠재적인 값들 중에서도, 가상 객체의 컬러에 있어서의 순 적색의 비율 또는 가상 객체의 컬러를 식별하는 컬러 스펙트럼 값과 같은 표출의 정도에 대한 값을 생성한다. 일 실시예에 있어서, 디텍터(118)는 가상 표현이 특성, 예컨대 "적색" 또는 "적색 아님"을 갖는지의 여부만을 나타내는 2진값을 제공한다.
이제 도 3을 참조해서, 본 발명의 일 실시예에 따라 속성들을 가상 객체와 연계시키는 방법(300)을 기술한다. 먼저, 유저에 의해 현실-세계 객체가 선택된다. 예컨대, 현실-세계 객체는 도 4(a)에 묘사된 도끼(400) 또는 도 5(a)에 묘사된 적색 당구공(500) 또는 임의의 다른 원하는 현실-세계 객체를 포함할 수 있다. 일 실시예에 있어서, 컴퓨팅 디바이스에서 실행되는 게임 애플리케이션과 같은 애플리케이션은 유저에게 현실-세계 객체를 제공할 것을 요구한다. 유저는 현실-세계 객체의 가상 표현이 게임 시나리오에서 사용 가능한 그러한 원하는 성질을 가진 현실-세계 객체를 제공하도록 요구받을 수 있다.
현실-세계 객체는 실제 객체, 예컨대 실제 도끼 또는 당구공이거나, 또는 현실-세계 객체는 현실-세계 객체의 장난감 또는 복제품, 예컨대 장난감 도끼 또는 당구공을 재현하도록 색칠된 고무공이다. 복제 객체들은 그들의 "실제" 대응물과 유사한 또는 동일한 시각적 특성들을 표출하면서도 안전도를 제공할 수 있다. 상기와 같은 현실-세계 객체들에는, 실제이든 복제이든간에, 애플리케이션이 제공될 수 있다. 예컨대, 게임 애플리케이션 키트에는 게임 애플리케이션용의 다수의 객체가 제공될 수 있다. 또는 일 실시예에 있어서, 현실-세계 객체들은 이용 가능한 품목들로부터 유저에 의해 임의로 선택된다.
현실-세계 객체의 다수의 디지털 이미지는 하나 이상의 상이한 각도에서 위치된다. 스텝 302에서는, 현실-세계 객체를 디지털화해서 현실-세계 객체의 가상 표현을 가상 공간에서 생성하도록 이미지들이 채용된다. 디지털화는 현실-세계 객체의 복수의 특성을 가상 표현에서 캡처한다. 특성들은, 몇 가지만 예를 들면, 컬러, 표면 질감 또는 외관 및 양태, 사이즈, 비율, 체적, 표면적, 및 객체 형상을 포함한다. 가상 표현은 현실-세계 객체의 시각적 외관을 닮는 것이 일반적이다. 또는 일 실시예에 있어서, 현실-세계 객체와 상이한 외관을 가진 가상 표현을 생성하도록 하나 이상의 프로세스가 채용되며, 예컨대 가상 표현에는 만화같은 외관이 제공될 수 있다.
스텝 304에서는, 가상 표현에서 특성이 검출된다. 일 실시예에 있어서, 가상 표현에서 찾고자 하는 특성이 미리 정해진 특성 리스트에서 식별된다. 특성들은, 다른 것들 중에서도, 형상, 체적, 표면적, 크기, 컬러, 림(limb)들의 개수, 반사율, 형상 잡음도(shape noisiness)를 포함할 수 있다. 이들 특성의 대부분은 자명한 것들이지만, 림들의 개수는 가상 객체의 본체로부터 연장되는 식별된 부속물의 개수를 의미하고, 반사율은 가상 객체에 의해 표출된 번쩍임 또는 눈부심을 의미하며, 형상 잡음도는 형상 주변의 평활도를 의미하고, 예컨대 공(ball)은 형상 잡음도가 낮은데 반해, 성게(sea urchin)는 형상 잡음도가 높다. 특성들은 일반적으로, 예컨대 검출된 "컬러"이거나, 또는 보다 구체적으로는, 예컨대 검출된 적색, 청색, 녹색이다.
일 실시예에 있어서, 디텍터는 특성의 존재에 대한 가상 표현을 분석하도록 실행된다. 복수의 디텍터가 각각 리스트 내의 각각의 특성에 대하여 전용으로 되거나 또는 단일의 디텍터가 다수의 특성을 분석한다. 디텍터는 특성들의 2진법형 검출을 제공하거나, 또는 슬라이딩 스케일(sliding scale)에 기초하여 특성의 표출의 정도를 결정할 수 있다. 예컨대, 디텍터는 단순히 가상 표현이 정해진 형상을 갖는지의 여부를 결정할 수 있으며; 가상 표현이 정해진 형상을 가질 때, 디텍터는 긍정 표시를 제공하고, 가상 표현이 정해진 형상을 갖지 않을 때, 디텍터는 부정 표시를 제공한다. 또는, 디텍터는 가상 표현의 형상과 미리 규정된 형상간의 유사성의 정도를 결정할 수 있으며, 예컨대 디텍터는 정확한 일치와 완전한 불일치까지의 스케일에 기초하여 유사성을 나타낸다.
스텝 306에서는, 검출된 특성들 및/또는 검출된 그 표출의 정도들을, 가상 표현에 추가할 하나 이상의 속성에 맵핑하기 위해 맵핑 스키마가 채용된다. 맵핑 스키마는 미리 정해지며, 다수의 애플리케이션을 통해 포괄적으로 채용될 수 있거나 또는 개개의 애플리케이션에 대하여 특정될 수 있다. 맵핑 스키마는 애플리케이션의 특정 부분에 대한 콘텍스트-특정 스키마일 수도 있다. 예컨대, 게임용 애플리케이션에서, 백병전을 수반하는 게임의 일부분에 대한 맵핑 스키마는 자동차 운전을 수반하는 부분에 의해 채용된 맵핑 스키마와는 상이할 수 있다.
맵핑 스키마는 특성들과 속성들간에 일-대-일, 다-대-다, 다-대-일, 및/또는 일-대-다의 관계를 포함한다. 상기와 같이, 속성들은 가상 표현의 단일의 또는 다수의 특성들에 기초하여 식별될 수 있다.
가상 표현에 추가할 속성들에 대하여 가상 표현의 특성들을 맵핑함으로써, 가상 표현의 생성에 추가적인 지능(intelligence)이 추가된다. 예컨대, 도 4(a) 및 도 4(b)에 묘사된 바와 같이, 현실-세계 도끼(400)의 가상 표현(402)이 생성된다. 가상 표현(402)의 형상 및 컬러와 같은 특성들이 검출된다. 일 실시예에 있어서, 형상은 컴퓨팅 디바이스가 알고 있는 형상의 것과 유사하게 결정되고, 형상 특성은 그 기지의 형상에 대한 유사성의 정도가 높은 것이 주어진다(기지의 형상은, 예컨대 손도끼). 따라서, 기지의 손도끼 형상의 기지의 품질이 가상 표현(402)에 추가될 수 있다. 특성 "컬러"도 기지의 손도끼 형상에 대한 유사성을 나타낼 수 있다. 예컨대, 가상 표현(400)은 도끼의 손잡이와 날에, 제각기 2가지 메인 컬러, 즉 갈색 및 회색을 표출시킬 수 있다. 가상 표현(402)에서의 도끼의 날을 따라 매끄러운 얇은 에지의 존재와 같은 추가의 특성들이 채용될 수도 있다. 일 실시예에 있어서, 검출된 형상 및 컬러 데이터는 속성 "첨예한(sharp)"에 맵핑되고, 그 속성은 날의 에지상에 별 모양의 광채(404)로 묘사된 바와 같이 가상 표현(402)에 추가된다.
일 실시예에 있어서, 특성들과 속성들간의 상관관계에 대한 하나 이상의 신뢰 수준을 결정하기 위해 하나 이상의 알고리즘이 또한 채용된다. 신뢰 수준 계산은 특성들의 표출의 정도를 사용해서 계산을 통지할 수 있다. 일 실시예에 있어서, 신뢰 수준 계산은 맵핑 스키마와 통합되거나 또는 맵핑 스키마를 생성하는데 사용된다.
상기와 같이, 현실-세계 도끼(400)의 가상 표현(402)은 도끼(400)처럼 보이는 재현을 포함할 뿐만 아니라, 도끼(400)와 같이 첨예하다. 이 속성은 가상 세계에서의 가상 표현(402)의 상호작용을 통지 또는 지시하기 위해 애플리케이션에 의해 사용 가능하다. 예컨대, 가상 표현(402)은 가상 세계에서 나무를 베어 넘기는 것으로 채용될 수 있다. 가상 표현(402)에의 "첨예한" 속성의 추가가 없으면, 애플리케이션은 가상 표현(402)이 가상 세계에서의 객체들에 어떻게 영향을 미쳐야 하는지를 통지받지 못하게 된다.
맵핑 스키마는 현실-세계 객체, 예컨대 첨예한 날을 갖는 도끼의 예상 속성에 특성들을 맵핑하지 않아도 된다. 예컨대, 도 5(a) 내지 도 5(c)에 묘사된 바와 같이, 현실-세계 객체(500)는 적색의 당구공을 포함한다. 앞서 기술한 바와 같이, 특성 "컬러"를 분석하는 디텍터들은 현실-세계 객체(500)를 적색인 것으로 식별한다. 맵핑 스키마는 객체의 온도에 대한 속성에 컬러 특성을 맵핑하고―적색이 "뜨거운"에 맵핑된다. 디텍터들은 컬러 스펙트럼상의 표출된 적색의 위치를 검출해서 컬러에 기초한 가상 온도를 식별할 수도 있다. 상기와 같이, 적색 당구공(500)의 가상 표현(502)은 뜨거운 속성에 연계되고, 그러한 것을 시각적으로 나타내기 위해 가상 표현에 화염(504)이 추가된다. 대안으로서, 화염에 싸인 공 또는 태양같아 보이도록 현실-세계 객체(500)의 외관을 가리거나 또는 변화시키는 가상 표현(506)을 생산하도록, 전체적으로 상이한 외관이 제공될 수 있다.
계속해서 도 3을 참조하면, 스텝 308에 묘사된 바와 같이, 하나 이상의 속성이 추가되어 있는 가상 표현이 제공된다. 가상 표현은 임의의 애플리케이션에 제공되며 그 애플리케이션 내에서 임의의 원하는 방식으로 사용 가능하다. 일 실시예에 있어서, 애플리케이션은 현실-세계 객체를 디지털화하는 것, 속성들을 가상 표현에 추가하는 것, 및 가상 표현을 어떻게 시각적으로 나타낼지를 결정하는 것의 하나 이상을 담당한다. 일 실시예에 있어서, 애플리케이션은 실행시간 중에 이들 프로세스를 완료한다. 가상 표현은 도 4(b) 및 도 5(b)의 별 모양의 광채(404) 또는 화염(504)과 같은 추가된 속성을 묘사하는 하나 이상의 양태를 포함할 수 있거나, 또는 추가된 속성은 시각적으로 묘사되지 않을 수 있다. 일 실시예에 있어서, 추가된 속성은 단지 가상 표현과 가상 세계 사이의 상호작용들을 지시하는데 사용된다.
이제 도 6을 참조해서, 본 발명의 일 실시예에 따라 속성을 가상 표현에 연계시키는 방법(600)을 기술한다. 스텝 602에서는, 현실-세계 객체의 가상 표현에 의해 표출된 복수의 특성이 식별된다. 가상 표현은 이용 가능한 임의의 디지털화 수단에 의해 생성된다. 일 실시예에 있어서, 현실-세계 객체의 디지털화는 랩탑 또는 게임용 콘솔과 같은 개인용 컴퓨팅 디바이스에 의해 실행시간 동안 완료된다. 스텝 604에서는, 가상 표현에서의 특성들 각각의 표출의 정도가 정량화된다. 표출의 정도는 미리 정해진 스케일상에서 결정되거나 또는 단순히 2진값을 나타낼 수 있다.
스텝 606에서는, 가상 표현에 추가될 하나 이상의 속성에 하나 이상의 특성을 맵핑하는데 사용하기 위해 맵핑 스키마가 식별된다. 맵핑 스키마는 가상 표현이 사용될 애플리케이션에 기초하여 식별된다. 또는 맵핑 스키마는 상기와 같은 애플리케이션 내부의 특정 콘텍스트에 기초하여 식별된다.
복수의 특성 중 하나 이상의 특성에 기초하여, 또한 그 특성들의 표출의 정도에 기초하여, 스텝 608에 묘사된 바와 같이, 식별된 맵핑 스키마를 사용하여 가상 표현에 추가할 속성이 식별된다. 속성은 하나의 또는 몇 개의 특성의 표출의 정도를 사용하여 식별되며, 현실-세계 객체의 예상 성질과 대응할 수 있거나 또는 그것에 대하여 임의적일 수 있다. 추가적으로, 일 실시예에 있어서, 스텝 610에 묘사된 바와 같이, 가상 표현에 의해 속성의 표현의 정도 또는 강도가 결정된다. 표현의 정도 또는 강도는 가상 표현에 의해 연계된 특성들의 표출의 정도에 기초하여 결정된다. 예컨대, 컬러가 연한 청색인 가상 표현에는 시원함의 속성이 주어질 수 있는 반면, 진한 청색인 가상 표현에는 냉동의 속성이 주어질 수 있다.
스텝 612에서는, 속성들이 추가되어 있는 가상 표현이 제공된다. 가상 표현은 가상 세계 시나리오에서 사용하기 위한 애플리케이션에 제공될 수 있다. 애플리케이션은 하나 이상의 속성을 나타내도록 가상 표현에 적용할 시각적 양태들을 결정할 수 있다. 애플리케이션은 가상 세계에서의 가상 표현의 상호작용을 지시하기 위해 속성들을 사용할 수도 있다. 예컨대, 가상 표현에는 무거움의 속성이 제공될 수 있다. 상기와 같이, 애플리케이션은 무거운 속성을 사용해서, 가상 세계에서의 가상 표현의 동작들의 물리학에 대한 알고리즘들을 지시한다.
본 발명의 일 실시예에 있어서는, 유저가 디지털화할 품목을 임의적으로 선택할 수 있게 된다. 품목은 애플리케이션 또는 디지털화 요소의 디자이너들이 이미 알고 있거나 또는 생각하고 있는 것일 필요는 없다. 결국, 상기와 같은 특정 객체들의 속성들도 미리 생각하고 있는 것일 필요는 없다. 일 실시예에 있어서, 속성들은, 특정한, 예상된, 미리 프로그램된 현실-세계 객체들의 미리 정해진 속성들에 기초하는 것이 아니라, 그 가상 표현들의 식별된 특성들에 기초하여 가상 표현들에 식별되어 추가된다. 따라서, 임의적인 현실-세계 객체의 가상 표현의 품질들에 대한 추가적인 속성들 또는 지능이 가상 세계에 합체될 수 있다.
하기의 특허청구범위로부터 일탈함이 없이, 묘사된 다양한 요소들 및 도시되지 않은 요소들의 다수의 상이한 배치형태가 가능하다. 본 기술의 실시예들은 제한하려는 것이 아니라 예시할 의도로 기술되어 있다. 본 개시물을 읽은 후에는 그것을 잘 숙지할 것이기 때문에, 본 개시물의 독자들에게는 대안적인 실시예들이 분명해질 것이다. 이하의 특허청구범위로부터 일탈함이 없이, 전술한 내용을 수행하는 대안적인 수단이 완성될 수 있다. 특정한 양태들 및 하위 조합들이 유용하며, 다른 양태들 및 하위 조합들을 참조하지 않고 채용되어 특허청구범위 내에서 고려될 수 있다.
100: 컴퓨팅 디바이스 110: 버스
112: 메모리 114: 프로세서
116: 프레젠테이션 요소 118: I/O 포트
120: I/O 요소 122: 전원
200: 컴퓨팅 환경 202: 컴퓨팅 디바이스
204: 카메라 206: 현실-세계 객체
208: 네트워크 210: 데이터 저장소
212: 디지타이저 214: 속성-연계 요소
216: 특성 리스트 218: 특성 디텍터
220: 가상 표현

Claims (10)

  1. 실행시에, 속성(attribute)을 가상 객체와 연계시키는 방법을 수행하는 컴퓨터-실행 가능한 명령어들이 구현되어 있는 하나 이상의 컴퓨터-판독 가능한 매체로서,
    상기 방법은
    현실-세계 객체를 디지털화해서, 가상 공간에서 상기 현실-세계 객체의 가상 표현을 생성하는 단계 -상기 가상 표현은 상기 현실-세계 객체의 복수의 특성(characteristic)을 묘사함-;
    상기 가상 표현에 의해 표출되는 제 1 특성을 검출하는 단계;
    상기 가상 표현에 추가할 속성에 상기 특성을 맵핑하는 단계; 및
    상기 가상 표현에 상기 속성을 제공하는 단계
    를 포함하는
    컴퓨터-판독 가능한 매체.
  2. 제 1 항에 있어서,
    상기 특성은 상기 가상 표현에 의해 표출되는 형상, 체적, 표면적, 크기, 표면 질감 및 컬러 중 하나 이상을 포함하는
    컴퓨터-판독 가능한 매체.
  3. 제 1 항에 있어서,
    상기 현실-세계 객체를 디지털화해서, 가상 공간에서 상기 현실-세계 객체의 가상 표현을 생성하는 단계는 질감 맵(texture map), 리깅(rigging), 및 골조(skeleton) 중 하나 이상을 생성하는 단계를 포함하고, 상기 가상 표현에 의해 표출되는 상기 제 1 특성은 상기 질감 맵, 상기 리깅, 및 상기 골조 중 하나 이상으로부터 검출되는
    컴퓨터-판독 가능한 매체.
  4. 제 1 항에 있어서,
    상기 가상 표현에 추가할 속성에 상기 특성을 맵핑하는 단계는 미리 정해진 맵핑 스키마에 기초하고, 상기 맵핑 스키마는 콘텍스트 특정 스키마 또는 콘텍스트 비-특정 스키마 중 하나인
    컴퓨터-판독 가능한 매체.
  5. 제 1 항에 있어서,
    상기 속성은 가상 세계에서의 상기 가상 표현의 상호작용들을 지시하는 상기 가상 표현과 연계된 가상의 물리적 특성인
    컴퓨터-판독 가능한 매체.
  6. 속성을 가상 표현과 연계시키는 방법으로서,
    현실-세계 객체의 가상 표현에 의해 표출된 복수의 특성을 식별하는 단계;
    프로세서 및 메모리를 갖는 컴퓨팅 디바이스에 의해, 상기 가상 표현에 의해 상기 복수의 특성들 각각의 표출의 정도를 정량화하는 단계;
    상기 복수의 특성들 중 하나 이상의 표출의 정도에 기초하여 상기 가상 표현에 추가할 속성을 결정하는 단계; 및
    상기 속성을 갖는 가상 표현을 제공하는 단계를 포함하는
    방법.
  7. 제 6 항에 있어서,
    상기 속성의 제 2의 표출의 정도는 상기 복수의 특성들 중 하나 이상의 표출의 정도에 기초하여 결정되는
    방법.
  8. 제 6 항에 있어서,
    상기 속성을 갖는 상기 가상 표현은 상기 가상 표현을 포함하는 가상 세계를 생성하는 소프트웨어 애플리케이션에 제공되고, 상기 속성은 상기 가상 표현이 상기 가상 세계와 상호작용하는 방식을 규정하는
    방법.
  9. 제 6 항에 있어서,
    상기 가상 표현에 의해 표출된 상기 복수의 특성은 미리 정해진 특성 리스트에 기초하여 식별되는
    방법.
  10. 실행시에, 가상 객체를 제공하는 컴퓨터 실행 가능한 명령어들이 구현되어 있는 하나 이상의 컴퓨터-판독 가능한 매체로서,
    상기 가상 객체는:
    복수의 캡처된 이미지에 기초하여 현실-세계 객체의 디지털화에 의해 구성된 현실-세계 객체의 3차원 가상 표현; 및
    상기 가상 표현과 가상 세계 사이의 상호작용들을 지시하는, 상기 가상 표현과 연계된 속성을 포함하고,
    상기 속성은,
    상기 가상 표현에 의해 표출된 복수의 특성을 식별하는 것,
    상기 복수의 특성들 각각의 표출의 정도를 상기 가상 표현에 의해 정량화하는 것, 및
    상기 복수의 특성들 중 하나 이상의 표출의 정도에 기초하여 상기 가상 표현에 추가할 속성을 결정하는 것
    에 의해 상기 가상 표현과 연계되는
    컴퓨터 판독 가능한 매체.
KR1020137032143A 2011-06-06 2012-06-05 현실-세계 객체의 가상 표현에 속성을 추가하는 기법 KR101961969B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493859P 2011-06-06 2011-06-06
US61/493,859 2011-06-06
US13/186,666 US10796494B2 (en) 2011-06-06 2011-07-20 Adding attributes to virtual representations of real-world objects
US13/186,666 2011-07-20
PCT/US2012/040952 WO2012170444A2 (en) 2011-06-06 2012-06-05 Adding attributes to virtual representations of real-world objects

Publications (2)

Publication Number Publication Date
KR20140038442A true KR20140038442A (ko) 2014-03-28
KR101961969B1 KR101961969B1 (ko) 2019-07-17

Family

ID=47261303

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137032143A KR101961969B1 (ko) 2011-06-06 2012-06-05 현실-세계 객체의 가상 표현에 속성을 추가하는 기법

Country Status (6)

Country Link
US (1) US10796494B2 (ko)
EP (1) EP2718904A4 (ko)
JP (1) JP6034859B2 (ko)
KR (1) KR101961969B1 (ko)
CN (1) CN103582902B (ko)
WO (1) WO2012170444A2 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280788B2 (en) * 2012-06-13 2016-03-08 Oracle International Corporation Information retrieval and navigation using a semantic layer
EP3517190B1 (en) * 2013-02-01 2022-04-20 Sony Group Corporation Information processing device, terminal device, information processing method, and programme
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US10592580B2 (en) * 2014-04-25 2020-03-17 Ebay Inc. Web UI builder application
GB2532075A (en) 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
US10235807B2 (en) * 2015-01-20 2019-03-19 Microsoft Technology Licensing, Llc Building holographic content using holographic tools
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
US20160379405A1 (en) * 2015-06-26 2016-12-29 Jim S Baca Technologies for generating computer models, devices, systems, and methods utilizing the same
DK3337585T3 (da) 2015-08-17 2022-11-07 Lego As Fremgangsmåde til at skabe et virtuelt spilmiljø og interaktivt spilsystem under anvendelse af fremgangsmåden
US10373381B2 (en) 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
WO2017167862A1 (en) 2016-04-01 2017-10-05 Lego A/S Toy scanner
CN109562294A (zh) * 2016-07-05 2019-04-02 乐高公司 用于创建虚拟对象的方法
EP3481519A1 (en) 2016-07-05 2019-05-15 Lego A/S Method for creating a virtual object
US20180075657A1 (en) * 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Attribute modification tools for mixed reality
GB201700545D0 (en) * 2017-01-12 2017-03-01 Univ Bath Techniques for object representation
WO2018141956A1 (en) 2017-02-06 2018-08-09 Lego A/S Electronic ordering system and method
US10713840B2 (en) * 2017-12-22 2020-07-14 Sony Interactive Entertainment Inc. Space capture, modeling, and texture reconstruction through dynamic camera positioning and lighting using a mobile robot
US10970937B2 (en) * 2018-05-04 2021-04-06 Intel Corporation Technologies for virtual attribute assignment referencing real objects
US11307968B2 (en) * 2018-05-24 2022-04-19 The Calany Holding S. À R.L. System and method for developing, testing and deploying digital reality applications into the real world via a virtual world
US11010986B2 (en) * 2018-08-30 2021-05-18 Apple Inc. Virtual object kit
CN117008718A (zh) * 2023-04-26 2023-11-07 三星电子（中国）研发中心 元宇宙中增强虚拟数字表示的实现方法和装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020188372A1 (en) * 2001-05-10 2002-12-12 Lane Kenneth M. Method and system for computer aided garment selection
US20030058280A1 (en) * 2001-08-29 2003-03-27 Molinari Alfred A. Graphical application development system for test, measurement and process control applications
US20030128207A1 (en) * 2002-01-07 2003-07-10 Canon Kabushiki Kaisha 3-Dimensional image processing method, 3-dimensional image processing device, and 3-dimensional image processing system
JP2004152164A (ja) * 2002-10-31 2004-05-27 Toshiba Corp 画像処理システム及び画像処理方法
WO2007093800A2 (en) * 2006-02-16 2007-08-23 Virtual-Mirrors Limited Design and production of garments
US20090066690A1 (en) * 2007-09-10 2009-03-12 Sony Computer Entertainment Europe Limited Selective interactive mapping of real-world objects to create interactive virtual-world objects
US20090138377A1 (en) * 2007-11-27 2009-05-28 Uk Oh Clothes fitting service method of providing information about fitting of clothes
US20090164505A1 (en) * 2007-12-21 2009-06-25 Radu Tudose Method For Generating An Electonically Storable Digital Map
WO2009127701A1 (en) * 2008-04-16 2009-10-22 Virtual Proteins B.V. Interactive virtual reality image generating system
US20100302247A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Target digitization, extraction, and tracking
KR20110041383A (ko) * 2009-10-15 2011-04-21 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실에서의 구별 시행
US20120041971A1 (en) * 2010-08-13 2012-02-16 Pantech Co., Ltd. Apparatus and method for recognizing objects using filter information
US20120257787A1 (en) * 2011-04-08 2012-10-11 Creatures Inc. Computer-readable storage medium having information processing program stored therein, information processing method, information processing apparatus, and information processing system

Family Cites Families (178)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
AU3954997A (en) 1996-08-14 1998-03-06 Nurakhmed Nurislamovich Latypov Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
ATE232621T1 (de) 1996-12-20 2003-02-15 Hitachi Europ Ltd Verfahren und system zur erkennung von handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6411744B1 (en) 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
JP2002288687A (ja) 2001-03-22 2002-10-04 Olympus Optical Co Ltd 特徴量算出装置および方法
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
JP4161613B2 (ja) 2001-05-16 2008-10-08 株式会社セガ 画像処理方法
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US7019748B2 (en) 2001-08-15 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. Simulating motion of static objects in scenes
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
AU2003212211A1 (en) 2002-04-19 2003-11-03 Iee International Electronics And Engineering S.A. Safety device for a vehicle
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US20030222977A1 (en) * 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
JP4546956B2 (ja) 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP2005196670A (ja) 2004-01-09 2005-07-21 Sony Corp 携帯端末装置及びオブジェクト生成方法
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
DE102004018813A1 (de) 2004-04-19 2006-02-23 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und/oder Verfolgung von Objekten
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7668376B2 (en) 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US8131694B2 (en) 2004-11-12 2012-03-06 Sap Ag Process-oriented classification
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101622630B (zh) 2005-01-07 2012-07-04 高通股份有限公司 检测和跟踪图像中的物体
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
JP5080273B2 (ja) 2005-01-07 2012-11-21 クアルコム，インコーポレイテッド オプティカルフローに基づく傾きセンサー
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
WO2006116736A2 (en) 2005-04-27 2006-11-02 Siemens Medical Solutions Usa, Inc. A method for the preparation of imaging probes using click chemistry
CN101589354B (zh) 2005-05-17 2013-06-12 高通股份有限公司 方向敏感的信号输出
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
WO2007013833A1 (en) * 2005-09-15 2007-02-01 Oleg Stanilasvovich Rurin Method and system for visualising virtual three-dimensional objects
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7843471B2 (en) 2006-03-09 2010-11-30 International Business Machines Corporation Persistent authenticating mechanism to map real world object presence into virtual world object awareness
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US7840059B2 (en) 2006-09-21 2010-11-23 Microsoft Corporation Object recognition using textons and shape filters
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8272951B2 (en) 2007-05-02 2012-09-25 Ganz Attribute building for characters in a virtual environment
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
KR20080034419A (ko) * 2007-11-23 2008-04-21 야파 코포레이션 3ｄ 영상 생성 및 디스플레이 시스템
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8427503B2 (en) * 2009-05-18 2013-04-23 Nokia Corporation Method, apparatus and computer program product for creating graphical objects with desired physical features for usage in animation
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US9547938B2 (en) * 2011-05-27 2017-01-17 A9.Com, Inc. Augmenting a live view

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020188372A1 (en) * 2001-05-10 2002-12-12 Lane Kenneth M. Method and system for computer aided garment selection
US20030058280A1 (en) * 2001-08-29 2003-03-27 Molinari Alfred A. Graphical application development system for test, measurement and process control applications
US20030128207A1 (en) * 2002-01-07 2003-07-10 Canon Kabushiki Kaisha 3-Dimensional image processing method, 3-dimensional image processing device, and 3-dimensional image processing system
JP2004152164A (ja) * 2002-10-31 2004-05-27 Toshiba Corp 画像処理システム及び画像処理方法
WO2007093800A2 (en) * 2006-02-16 2007-08-23 Virtual-Mirrors Limited Design and production of garments
US20090066690A1 (en) * 2007-09-10 2009-03-12 Sony Computer Entertainment Europe Limited Selective interactive mapping of real-world objects to create interactive virtual-world objects
US20090138377A1 (en) * 2007-11-27 2009-05-28 Uk Oh Clothes fitting service method of providing information about fitting of clothes
US20090164505A1 (en) * 2007-12-21 2009-06-25 Radu Tudose Method For Generating An Electonically Storable Digital Map
WO2009127701A1 (en) * 2008-04-16 2009-10-22 Virtual Proteins B.V. Interactive virtual reality image generating system
US20100302247A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Target digitization, extraction, and tracking
KR20110041383A (ko) * 2009-10-15 2011-04-21 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실에서의 구별 시행
US20120041971A1 (en) * 2010-08-13 2012-02-16 Pantech Co., Ltd. Apparatus and method for recognizing objects using filter information
US20120257787A1 (en) * 2011-04-08 2012-10-11 Creatures Inc. Computer-readable storage medium having information processing program stored therein, information processing method, information processing apparatus, and information processing system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Anonymous: "EA Forums-Suggested attributes f or a FIFA 10 style training system", 6 November 2010, pages 1-6(2010) *
Christian Eckes ET AL:"Virtual Human" Anthropomorphe Interaktionsagenten", 16 May 2006, pages 1-57(2006) *

Also Published As

Publication number Publication date
EP2718904A4 (en) 2014-09-10
CN103582902B (zh) 2016-05-25
JP2014516188A (ja) 2014-07-07
US10796494B2 (en) 2020-10-06
EP2718904A2 (en) 2014-04-16
WO2012170444A2 (en) 2012-12-13
CN103582902A (zh) 2014-02-12
KR101961969B1 (ko) 2019-07-17
JP6034859B2 (ja) 2016-11-30
WO2012170444A3 (en) 2013-04-25
US20120306853A1 (en) 2012-12-06

Similar Documents

Publication Publication Date Title
KR101961969B1 (ko) 현실-세계 객체의 가상 표현에 속성을 추가하는 기법
US11798261B2 (en) Image face manipulation
US10997787B2 (en) 3D hand shape and pose estimation
US8687001B2 (en) Apparatus and method extracting light and texture, and rendering apparatus using light and texture
US9483868B1 (en) Three-dimensional visual representations for mobile devices
ES2984291T3 (es) Selección del punto de vista en un entorno virtual 3d
US10534443B2 (en) Method and system for generating a synthetic database of postures and gestures
Lombardi et al. Radiometric scene decomposition: Scene reflectance, illumination, and geometry from rgb-d images
Sang et al. Landscape metrics and visual topology in the analysis of landscape preference
Dalton et al. The problem of representation of 3D isovists
Bender et al. Comparative evaluation of feature line techniques for shape depiction
Doležal et al. Understanding underwater photogrammetry for maritime archaeology through immersive virtual reality
Huang et al. From archive, to access, to experience––historical documents as a basis for immersive experiences
Mengots Review of digital tools for landscape architecture.
Wang et al. A Web3D forest geo-visualization and user interface evaluation
Hildebrand et al. Simulating LiDAR to create training data for machine learning on 3D point clouds
Chung et al. Point cloud framework for rendering 3D models using Google Tango
Chilton et al. New cartographies, new aesthetics?
Rushmeier The perception of simulated materials
Khan et al. ImmerVol: An immersive volume visualization system
Sharma et al. User-guided modulation of rendering techniques for detail inspection
Raya et al. Perceptual evaluation of illumination effects in virtual environments
Harris An easy-to-use p5. js 3D object picker for visual artists
Kent Some reflections on judging maps
JP2015084191A (ja) 林相解析装置、林相解析方法及びプログラム

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20131204

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20150708

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170502

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180320

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181219

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190319

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190319

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220216

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230216

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240226

Start annual number: 6

End annual number: 6