KR20080103469A - 복합 현실감 제시 장치 및 그 제어 방법, 및 컴퓨터판독가능한 매체 - Google Patents

복합 현실감 제시 장치 및 그 제어 방법, 및 컴퓨터판독가능한 매체 Download PDF

Info

Publication number
KR20080103469A
KR20080103469A KR1020080048193A KR20080048193A KR20080103469A KR 20080103469 A KR20080103469 A KR 20080103469A KR 1020080048193 A KR1020080048193 A KR 1020080048193A KR 20080048193 A KR20080048193 A KR 20080048193A KR 20080103469 A KR20080103469 A KR 20080103469A
Authority
KR
South Korea
Prior art keywords
space image
real space
image
virtual space
rendering
Prior art date
Application number
KR1020080048193A
Other languages
English (en)
Other versions
KR100958511B1 (ko
Inventor
겐지 모리따
도모히꼬 시모야마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20080103469A publication Critical patent/KR20080103469A/ko
Application granted granted Critical
Publication of KR100958511B1 publication Critical patent/KR100958511B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

관측자의 시점과 현실 공간상의 현실 공간 물체 사이의 상대적 위치 자세 관계를 나타내는 위치 자세 정보가 취득된다. 상기 취득된 위치 자세 정보에 기초하여 가상 공간 화상이 생성되고, 메모리 상에 렌더링된다. 현실 공간 물체의 현실 공간 화상이 취득된다. 취득된 현실 공간 화상을, 이미 가상 공간 화상이 렌더링되어 있는 메모리 상에 렌더링함으로써, 현실 공간 화상과 가상 공간 화상이 결합된다. 얻어진 합성 화상이 출력된다.
현실 공간 화상, 가상 공간 화상, 알파 블렌딩, 렌더링

Description

복합 현실감 제시 장치 및 그 제어 방법, 및 컴퓨터 판독가능한 매체{MIXED REALITY PRESENTATION APPARATUS AND CONTROL METHOD THEREOF, AND COMPUTER-READABLE MEDIUM}
본 발명은 현실 공간 화상과 가상 공간 화상을 함께 합성하고 제시하는 복합 현실감 제시 장치 및 그 제어 방법, 및 컴퓨터 판독가능한 매체에 관한 것이다.
복합 현실감 시스템에서는, 조작자의 시점과 시선 방향, 및 공간 내의 물체의 위치가 계측될 필요가 있다.
위치 자세 계측 시스템으로서, Polhemus사의 FASTRAK(상품명)으로 알려진 위치 자세 계측 장치를 이용하는 것이 일반적인 방법이다. 또한, 자이로(gyro) 등의 계측 장치에 의해 단지 자세만이 계측되고, 화상으로부터 위치 정보 및 자세의 드리프트 오차(drift error)가 계측되는 방법이 알려져 있다.
(예를 들어, 일본공개특허 제2005-107968호에 개시된) 일반적인 복합 현실감 제시 장치의 하드웨어 구성 및 처리 시퀀스가 도 1 및 도 2를 참조하여 이하에 설명될 것이다.
본 예에서, 가상 공간 화상(110)(가상 물체의 화상)을 현실 공간 물체(111) 의 현실 공간 화상(110)에 중첩함으로써, 가상 공간 화상(110)에 의해 표현된 가상 물체가 마치 현실 공간에 존재하듯이 현실 공간 물체(111) 상에 디스플레이될 수 있다. 그러한 기능은, 예를 들어, 디자인의 검증 및 엔터테인먼트에 적용될 수 있다.
단계 S201에서, PC(개인용 컴퓨터)(103)는 HMD(head mounted display)에 포함된 촬상부(102)(image capturing unit)로부터 현실 공간 화상을 취득한다.
단계 S202에서, HMD(101)에 고정된 HMD 계측 센서(105)의 위치 자세 계측치와 현실 공간 물체(111)에 고정된 현실 공간 물체 계측 센서(106)의 위치 자세 계측치들이 취득된다. 이들 계측치들은 위치 자세 계측부(104)에 의해 수집되고, 직렬 통신 등의 통신부를 통해 위치 자세 정보로서 PC(103)에 의해 페치(fetch)된다.
단계 S203에서, PC(103)는 자신의 메모리 내의 현실 공간 물체(111)의 현실 공간 화상을 렌더링(render)한다.
단계 S204에서, 단계 S202에서 취득된 촬상부(102)의 위치 자세 계측치들과 현실 공간 물체(111)의 위치 자세 계측치들에 따라, 가상 공간 화상이 PC(103)의 메모리 내에 렌더링되어 현실 공간 화상에 중첩되도록 한다. 이런 방식으로, 메모리 내에서, 현실 공간 화상과 가상 공간 화상의 합성 화상으로서의 복합 현실감 화상이 생성된다.
단계 S205에서, PC(103)는, PC(103)의 메모리 내에 렌더링된 합성 화상(복합 현실감 화상)을 HMD(101)에 전송함으로써, HMD(101) 상에 합성 화상(복합 현실감 화상)을 디스플레이한다.
전술된 단계 S201 내지 S205는 하나의 프레임에 대한 처리이다. 단계 S206에서, PC(103)는 조작자의 조작에 기초하여 종료 통지가 입력되었는지를 조사한다. 종료 통지가 입력되지 않으면(단계 S206에서 아니오), 처리는 단계 S201로 돌아간다. 한편, 종료 통지가 입력되면(단계 S206에서 예), 처리는 종료된다.
전술된 처리에 의해 취득된 합성 화상의 예가 도 3을 참조하여 이하에 설명될 것이다.
도 3을 참조하면, 화상들(501 내지 505)은 촬상부(102)로부터 취득된 현실 공간 화상들을 시계열로(time-serially) 정렬함으로써 취득된다. 화상들(511 내지 514)은, 현실 공간 화상과 가상 공간 화상간의 합성 처리를 시계열로 나타낸다.
본 예에서, 단계 S201에서 취득된 현실 공간 화상은 화상(501)이라고 가정한다. 그리고 나서, 단계들 S202 및 S203의 처리 동안에 시간이 경과하여, 현실 공간 화상은 화상(501)으로부터 화상(502)으로 변화한다.
단계 S204에서 두 개의 가상 공간 화상들을 현실 공간 화상에 순차적으로 중첩하고 렌더링함으로써 취득된 예들이 화상들(513 및 514)이다.
최종적으로 취득된 화상(합성 화상)(514)은 단계 S205에서 출력된다. 이 때, 현실 공간 화상은 이미 화상(504 또는 505)으로 변화한다.
일반적인 복합 현실감 제시 장치의 전술한 구성에서, 다수의 단계들이, 단계 S201에서 취득된 현실 공간 화상이 HMD(101)에 디스플레이될 때까지 실행될 필요가 있다. 특히, 단계 S204에서 가상 공간 화상들을 중첩시키고 렌더링하는 처리는, 그것들의 렌더링이 고품질의 CG 화상들에 의해 구현되기 때문에, 많은 시간을 필요 로 한다.
이러한 이유로 인해, 합성 화상이 HMD(101) 상에 디스플레이되는 경우, 도 3에 도시된 바와 같이, 관측자에게 실제로 제시되는 합성 화상의 현실 공간 화상은 그 시점의 현실 공간 화상으로부터 시간적으로 지연되므로, 관측자는 부자연스럽게 느낀다.
본 발명은 전술한 문제들을 해결하도록 이루어졌다.
본 발명의 제1 양태에 따르면, 현실 공간 화상과 가상 공간 화상을 합성하고, 합성 화상을 제시하는 복합 현실감 제시 장치는, 관측자의 시점과 현실 공간의 현실 공간 물체 간의 상대적 위치 자세 정보 관계를 나타내는 위치 자세 정보를 취득하도록 구성된 위치 자세 정보 취득부; 위치 자세 정보 취득 수단에 의해 취득된 위치 자세 정보에 기초하여 가상 공간 화상을 생성하고, 생성된 가상 공간 화상을 메모리 내에 렌더링하도록 구성된 렌더링부; 현실 공간 물체의 현실 공간 화상을 취득하도록 구성된 취득부; 취득 수단에 의해 취득된 현실 공간 화상을, 가상 공간 화상이 이미 렌더링되어 있는 메모리에 렌더링함으로써, 현실 공간 화상과 생성된 가상 공간 화상을 합성하도록 구성된 합성부; 및 합성 수단에 의해 얻어진 합성 화상을 출력하도록 구성된 출력부를 포함한다.
바람직한 실시예에서, 본 장치는 가상 공간 화상의 깊이 정보(depth information)를 저장하기 위한 깊이 버퍼(depth buffer)를 더 포함하고, 합성부는, 깊이 버퍼에 저장된 깊이 정보를 이용하여, 현실 공간 화상을 메모리 내에 가상 공간 화상이 렌더링되지 않은 부분에 렌더링함으로써 현실 공간 화상과 가상 공간 화상을 합성한다.
바람직한 실시예에서, 본 장치는 가상 공간 화상에 대해 화상의 겹쳐쓰기를 허용할 것인지 또는 금지할 것인지의 여부를 제어하는데 사용되는 제어 정보를 저장하기 위해 스텐실 버퍼(stencil buffer)를 더 포함하고, 합성부는 스텐실 버퍼에 저장된 제어 정보를 이용하여 현실 공간 화상을 렌더링함으로써 현실 공간 화상과 가상 공간 화상을 합성하여, 메모리 상의 가상 공간 화상이 현실 공간 화상에 의해 겹쳐쓰기 되는 것을 방지한다.
바람직한 실시예에서, 합성부는 알파 블렌딩(alpha blending)을 이용하여 현실 공간 화상과 가상 공간 화상을 합성한다.
바람직한 실시예에서, 본 장치는 렌더링부에 의한 가상 공간 화상의 렌더링에 사용되는 위치 자세 정보를, 위치 자세 정보 취득부에 의해 취득된 위치 자세 정보에 기초하여 예측하도록 구성된 예측부를 더 포함한다.
본 발명의 제2 양태에 따르면, 현실 공간 화상과 가상 공간 화상을 합성하고, 합성 화상을 제시하는 복합 현실감 제시 장치를 제어하는 방법은, 관측자의 시점과 현실 공간의 현실 공간 물체 간의 상대적 위치 자세 관계를 나타내는 위치 자세 정보를 취득하는 단계; 위치 자세 정보 취득 단계에서 취득된 위치 자세 정보에 기초하여 가상 공간 화상을 생성하고, 생성된 가상 공간 화상을 메모리 상에 렌더링하는 단계; 현실 공간 물체의 현실 공간 화상을 취득하는 단계; 취득 단계에서 취득된 현실 공간 화상을, 가상 공간 화상이 이미 렌더링되어 있는 메모리 상에 렌더링함으로써, 현실 공간 화상과 가상 공간 화상을 합성하는 단계; 및 합성 단계에서 얻어진 합성 화상을 출력하는 단계를 포함한다.
본 발명의 제3 양태에 따라, 현실 공간 화상과 가상 공간 화상을 합성하고, 합성 화상을 제시하는 복합 현실감 제시 장치의 제어를 컴퓨터가 실행하도록 하는 컴퓨터 판독가능한 매체로서, 본 프로그램은, 관측자의 시점과 현실 공간상의 현실 공간 물체 간의 상대적 위치 자세 관계를 나타내는 위치 자세 정보를 취득하는 위치 자세 정보 취득 단계; 위치 자세 정보 취득 단계에서 취득된 위치 자세 정보에 기초하여 가상 공간 화상을 생성하고, 생성된 가상 공간 화상을 메모리 상에 렌더링하는 렌더링 단계; 현실 공간 물체의 현실 공간 화상을 취득하는 취득 단계; 취득 단계에서 취득된 현실 공간 화상을, 가상 공간 화상이 이미 렌더링되어 있는 메모리 상에 렌더링함으로써, 현실 공간 화상과 가상 공간 화상을 합성하는 합성 단계; 및 합성 단계에서 얻어진 합성 화상을 출력하는 출력 단계를 컴퓨터가 실행하도록 한다.
본 발명의 제4 양태에 따르면, 현실 공간 화상과 가상 공간 화상을 합성하고, 합성 화상을 제시하는 복합 현실감 제시장치는, 관측자의 시점과 현실 공간의 현실 공간 물체 간의 상대적 위치 자세 관계를 나타내는 위치 자세 정보를 취득하는 위치 자세 정보 취득 수단; 위치 자세 정보 취득 수단에 의해 취득된 위치 자세 정보에 기초하여 가상 공간 화상을 생성하고, 생성된 가상 공간 화상을 메모리에 렌더링하는 렌더링 수단; 현실 공간 물체의 현실 공간 화상을 취득하는 취득 수단; 취득 수단에 의해 취득된 현실 공간 화상을, 가상 공간 화상이 이미 렌더링되어 있는 메모리에 렌더링함으로써, 현실 공간 화상과 생성된 가상 공간 화상을 합성하는 합성 수단; 및 합성 수단에 의해 얻어진 합성 화상을 출력하는 출력 수단을 포함한다.
본 발명의 추가의 특징들은 첨부된 도면들을 참조하여 이하의 예시적인 실시예들의 설명으로부터 명백해질 것이다.
본 발명의 바람직한 실시예들이 도면들을 참조하여 지금부터 상세하게 설명될 것이다. 이들 실시예들에 개시된 컴포넌트들의 상대적인 구성, 수식들 및 수치들은, 특별히 언급되지 않는 한, 본 발명의 범주를 제한하지 않는다는 것을 유의해야 한다.
<제1 실시예>
제1 실시예에서, 현실 공간 화상을 취득한 촬상부(카메라)의 고유 파라미터들이 전처리(pre-processing)로서 취득되고, 화상 조정 처리가 적용되지 않은 경우, 현실 공간 화상과 가상 공간 화상 간의 기하학적 매칭이 이루어진 것을 가정하여 설명이 이루어질 것이다.
현실 공간 화상과 가상 공간 화상 간의 기하학적 매칭을 정확하게 달성하기 위해, 종횡비(aspect ratio) 및 왜곡 파라미터들이 계산되고 현실 공간 화상의 조정 처리 동안에, 동시에 처리될 필요가 있다. 그러나, 이런 점이 본 발명에 필수적인 것은 아니므로, 왜곡들 및 종횡비의 오차들에 대한 설명은 제공되지 않을 것 이다.
본 발명의 특징으로서의 화상 합성 처리가, 촬상부(카메라)의 고유 파라미터들의 교정 및 위치 자세 계측부의 교정(calibration)이 완료되었다는 가정하에 지금부터 설명될 것이다.
본 발명을 구현하는 복합 현실감 제시 장치의 기본적 구성은, 내부 처리를 제외하면, 도 1에 도시된 것과 동일하다.
제1 실시예의 위치 자세 계측 시스템으로서, 미국 Polhemus사의 FASTRAK(상품명)으로서 알려진 위치 자세 계측 장치가 사용될 수 있다. 그러나, 위치 자세 계측은 자이로 등의 계측 장치를 이용하여 자세만을 계측하고, 포착된 화상으로부터의 위치 정보 및 드리프트 오차들을 계측하는 방법에 의해서도 구현될 수 있다.
제1 실시예의 복합 현실감 제시 장치에 의한 화상 합성이 도 1, 4, 및 5를 참조하여 이하에 설명될 것이다. 도 4는 본 발명의 제1 실시예에 따른 복합 현실감 제시 장치로서 기능하는 PC의 하드웨어 구성을 도시하는 블럭도이다. 도 5는 본 발명의 제1 실시예에 따른 복합 현실감 제시 장치에 의해 실행되는 처리를 도시하는 흐름도이다.
도 5에 도시된 흐름도는, 예를 들면, 도 4에 도시된 복합 현실감 제시 장치의 CPU(301)가 주 메모리에 저장된 제어 프로그램을 실행하는 경우에 구현된다.
단계 S401에서, CPU(301)는, HMD(101)에 고정된 HMD 계측 센서(105)의 위치 자세 계측치들 및 현실 공간 물체(111)에 고정된 현실 공간 물체 계측 센서(106)의 위치 자세 계측치들로부터 위치 자세 정보를 취득한다. 즉, 이러한 센서들에 의해 계측된 계측치들(위치 자세 정보)은, 관측자의 시점과 현실 공간에 배치된 현실 공간 물체 간의 상대적 위치 자세 관계를 나타내는 위치 자세 정보를, 두 종류의 취득된 위치 자세 정보에 기초하여 계산하는 위치 자세 계측부(104)에 의해 수집된다. 위치 자세 계측부(104)는 계산 결과들을 직렬 통신 등의 통신부를 통해 PC(103)에 전송한다.
이런 식으로, PC(103)에서는, 계측 데이터가 통신 디바이스(307)를 통해 주 메모리(302)에 전송되어 저장된다. 결과로서, PC(103)는, 관측자의 시점과 현실 공간의 현실 공간 물체 간의 상대적 위치 자세 관계를 나타내는 위치 자세 정보를 위치 자세 계측부(104)로부터 취득하는 위치 자세 정보 취득부로서 기능한다.
단계 S402에서, CPU(301)는 이미 취득된 위치 자세 정보에 기초하여 사전결정된 좌표계에 따라 가상 공간 화상을 주 메모리(302)에 렌더링한다. 통상적으로, 화상 합성은 배경으로서의 현실 공간 화상 상에 가상 공간 화상을 중첩함으로써 이루어진다. 그러나, 본 발명에서는, 가상 공간 화상이 먼저 렌더링된다.
고해상도, 고품질의 가상 공간 화상은 응용 모드에 따라 렌더링될 필요가 있음을 유의한다. 이 경우에, 렌더링하기 위해 비디오 레이트에서 여러 개의 프레임 또는 그 이상의 시간이 요구된다. 사전결정된 좌표계는 공통의 좌표계를 이용하여 현실 공간 화상 및 가상 공간 화상을 디스플레이하도록 요구되는 3차원 좌표계이며, 필요시, 그러한 좌표계를 규정하는 필요한 원점이 설정될 수 있다.
본 발명에서는, 가상 공간 화상이 먼저 렌더링되므로, 화상이 합성되도록 의도되는 타이밍에서의 현실 공간 화상이, 합성에 사용된 현실 공간 화상과 관련된 가상 공간 화상의 렌더링 동안, 그 타이밍 이후의 현실 공간 화상으로 변화되는 것이 방지된다.
이때, PC(103)에서, 그래픽 가속기(303)는 CPU(301)에 의해 주 메모리(302)에 저장된 가상 공간 화상을 이용하여, 그 가상 공간 화상을 프레임 메모리(304) 상에 렌더링한다. 이 경우, 그래픽 가속기(303)는 깊이 버퍼(308)의 가상 공간 화상의 깊이 정보를 동시에 갱신한다.
단계 S402에서의 렌더링이 약 2개 프레임 동안의 시간을 요구하는 경우, 이것은 도 6의 가상 공간 화상들(613 및 614)에 대해 현실 공간 화상이 화상(601)으로부터 화상(604)로 진행하는 상태를 의미한다. 도 6에서는, 합성될 가상 공간 화상의 상태가 화상들(611 내지 614)에 의해 표현된다.
단계 S403에서, PC(103)는 HMD(101)에 포함된 촬상부(102)로부터 현실 공간 화상을 취득한다. 이때, PC(103)에서, 화상 입력 디바이스(306)는 HMD(101)로부터 수신된 현실 공간 화상을 사전결정된 형식으로 변환하고, 그것을 주 메모리(302)에 저장한다. 도 6의 경우에, 화상(605)이 취득된다.
단계 S404에서, CPU(301)는 취득된 현실 공간 화상을 주 메모리(302)에 렌더링한다. PC(103)에서, CPU(301)는 주 메모리(302)의 현실 공간 화상을 프레임 메모리(304)에 렌더링한다. 이때, CPU(301)는 그래픽 가속기(303)를 제어함으로써, 깊이 버퍼(308)의 깊이 정보를 이용하여, 프레임 메모리(304) 상에서 가상 공간 화상이 렌더링되지 않은 부분에 현실 공간 화상을 중첩하고 렌더링한다. 이 경우, 도 6의 화상(615)이 취득될 수 있다. 이런 식으로, 현실 공간 화상이 가상 공간 화상에 겹쳐쓰기되는 것을 방지할 수 있다.
현실 공간 화상이 가상 공간 화상에 겹쳐쓰기되는 것을 방지하는 방법으로서, 가상 공간 화상에 화상의 겹쳐쓰기를 허용할지 또는 금지할지의 여부를 제어하는 제어 정보를 저장하는 스텐실 버퍼(309)를 이용하여, 겹쳐쓰기의 허용 또는 금지가 제어될 수도 있다.
단계 S405에서, CPU(301)는 단계 S404에서 생성된 합성 화상을 화상 출력 디바이스(305)를 이용하여 HMD(101)로 출력한다.
상기 처리를 이용하여, 관측자는 마치 현실 공간에 존재하는 가상 물체가 제시된 것처럼 HMD(101) 상에 디스플레이되는 화상을 관측할 수 있다. 또한, 이 처리는 관측자의 의도된 타이밍에서의 현실 공간 화상과 디스플레이되는 현실 공간 화상 간의 시간 지연(시간 차)를 최소화할 수 있다.
전술한 바와 같이, 단계들 S401 내지 S405는 하나의 프레임에 대한 처리들이다. 단계 S401에서 CPU(301)는 관측자의 조작에 기초하여 종료 통지가 입력되었는지의 여부를 조사한다. 종료 통지가 입력되지 않으면(단계 S406에서 아니오), 처리는 단계 S401로 돌아간다. 한편, 종료 통지가 입력되면(단계 S406에서 예), 처리는 종료된다.
전술한 바와 같이, 제1 실시예에 따르면, 가상 공간 화상이 렌더링된 이후에, 사용자에 의해 의도되는 합성될 현실 공간 화상이 취득되고, 그것이 가상 공간 화상에 중첩 및 렌더링됨으로써 합성 화상을 생성한다. 이런 식으로, 화상 처리의 결과로서 화상 출력 시간의 지연에 기인한 현실 공간 화상의 내용상의 차이가 최소 화될 수 있으며, 사용자에 의해 의도된 타이밍에서의 현실 공간 화상의 내용들을 갖는 합성 화상이 제시될 수 있다.
<제2 실시예>
제2 실시예는 제1 실시예의 응용 예를 설명할 것이다. 복합 현실감 제시 장치에서는, 관측자의 시인성(visibility)을 개선시키기 위해 반투명의 출력 화상을 디스플레이하는 것이 종종 효과적이다. 따라서, 제2 실시예는 그러한 반투명 디스플레이를 구현하는 구성을 설명할 것이다.
제2 실시예의 복합 현실감 제시 장치의 구성은 제1 실시예에서 기술된 장치를 이용하여 구현될 수 있으며, 그 상세한 설명은 반복되지 않을 것임을 유의한다.
제2 실시예의 복합 현실감 제시 장치에 의한 화상 합성 처리가 도 7을 참조하여 이하에 설명될 것이다.
도 7은 제2 실시예의 복합 현실감 제시 장치에 의해 실행되는 처리를 도시하는 흐름도이다.
도 7에서 동일한 단계 번호들은 제1 실시예의 도 5에서의 처리들과 동일한 처리들을 나타내며, 그 상세한 설명은 반복되지 않을 것임을 유의한다.
도 7을 참조하면, 단계 S403에서의 처리 후에, CPU(301)는 단계 S704에서의 알파 블렌딩에 의해 현실 공간 화상을 합성하도록 그래픽 가속기(303)를 제어한다.
도 8은 본 발명의 제2 실시예에 따른 실제적인 처리 예를 도시한다.
도 8에서의 동일한 참조 번호들은 제1 실시예의 도 6에 공통인 화상들을 가리킴을 유의한다.
도 8에서는, 가상 공간 화상들(813 및 814)이 검은색 배경을 갖도록 렌더링된다. 가산(addition) 등의 알파 블렌딩 처리를 이용하여 가상 공간 화상에 현실 공간 화상의 화상(605)을 합성함으로써, 반투명 효과가 얻어질 수 있다. 결과로서, 반투명 처리된 합성 화상(815)이 얻어질 수 있다.
도 8에서 합성 화상(815)은 흑백으로 표현됨을 유의한다. 그러나, 실제로는, 반투명 합성이 구현될 수 있다.
전술한 바와 같이, 제2 실시예에 따르면, 제1 실시예에서 설명된 효과들에 부가하여, 필요에 따라, 반투명 출력 화상이 디스플레이될 수 있다.
<제3 실시예>
제3 실시예는 제1 실시예의 응용 예이다. 제1 및 제2 실시예들은 관측자에 의해 관측되는 현재의 타이밍에서의 현실 공간 화상의 상태와 HMD(101)에 최종적으로 출력되는 물리적 화상의 상태 간의 시간 지연을 감소시키는 구성을 설명하였다. 이 구성에서, 가상 공간 화상을 생성하는데 요구되며, 단계 S401에서 취득된 위치 자세 정보는, 현실 공간 화상의 취득시의 실제적인 현실 공간 물체(111)의 위치 자세에 대하여 시간 지연을 발생시킬 수 있다. 따라서, 제3 실시예는 취득된 위치 자세 정보의 시간 지연을 감소시키는 화상 합성 처리를 설명할 것이다.
제3 실시예에 따른 복합 현실감 제시 장치에 의한 화상 합성 처리가 도 9를 참조하여 이하에 설명될 것이다.
도 9는 제3 실시예에 따른 복합 현실감 제시 장치에 의해 실행되는 처리를 도시하는 흐름도이다.
도 9에서 동일한 단계 번호들은 제1 실시예의 도 5에서의 처리들과 동일한 처리들을 나타내며, 그 상세한 설명은 반복되지 않을 것임을 유의한다.
특히, 도 9에서, CPU(301)는 제1 실시예의 도 5에서 단계 S401의 처리 후에 단계 S903에서 현실 공간 화상의 위치 자세 예측을 실행한다. 단계 S402a에서, CPU(301)는 단계 S903에서 얻어진 예측치들(위치 자세 정보)에 기초하여 주 메모리(302)에 가상 공간 화상을 렌더링한다.
이 처리의 세부사항들은 이하의 도 10을 참조하여 설명될 것이다.
도 10은 본 발명의 제3 실시예에 따른 현실 공간 화상의 위치 자세 예측의 세부사항들을 도시하는 흐름도이다.
단계 S1001에서, CPU(301)는 위치 자세 정보를 취득한다. 단계 S1002에서, CPU(301)는 위치 자세 정보에서의 위치 자세 성분들을 쿼터니온(quaternions)으로 변환한다. 일반적으로 공지된 바와 같이, 위치 자세 성분들을 쿼터니온으로 변환하여, 위치 자세 정보의 선형 예측 등과 같은 예측 계산을 달성하는 것이 효과적이다. 그러나, 예측 계산 방법은 선형 예측을 이용하는 것에 한정되지 않는다. 즉, 예측 계산을 달성할 수 있다면, 그외의 어떠한 방법들이라도 사용될 수 있다.
단계 S1003에서, CPU(301)는 위치 성분을 나타내는 값 및 단계 S1002에서의 쿼터니온으로 변환된 위치 자세 성분들을 나타내는 값들을 주 메모리(302)에 저장한다. 이전의 2개 프레임들에 대응하는 위치 자세 정보의 부분들(위치 성분들, 및 위치 자세 성분들을 나타내는 값들)이 단계 S1003에서 저장된다고 가정한다. 잡음이 적은, 더욱 정확한 예측이 요구되는 경우, 3개 이상의 프레임들에 대응하는 위 치 자세 정보의 부분들(위치, 및 위치 자세를 나타내는 값들)을 저장하는 것이 효과적이다. 저장될 프레임들의 수는 용도 및 목적에 따라 설정될 수 있으며, 특별히 제한되지 않는다.
단계 S1004에서, CPU(301)는 2개 프레임들에 대한 위치 자세 정보의 부분들(위치, 및 위치 자세를 나타내는 값들)에 기초하여 현실 공간 물체의 속도를 계산한다. 예를 들어, 등속도 이동, 균일한 회전(uniform rotation) 등을 고려하면, 속도의 예측치는, 2개 프레임들에 대한 위치 자세 정보의 부분들(위치, 및 위치 자세를 나타내는 값들)에 기초한 선형 예측에 의해 쉽게 계산될 수 있다.
단계 S1005에서, CPU(301)는 계산된 속도에 기초하여 현실 공간 물체의 위치 자세의 예측치들을 계산하는 예측 계산을 실행한다. 이러한 예측 계산 방법으로서, 특정한 예측 계산 모델에 적용함으로써 예측치들을 추정하는 방법으로서 다양한 방법들이 공지되어 있으며, 본 발명에서 이용된 예측 계산 방법들은 특별하게 제한되지 않는다.
단계 S1006에서, CPU(301)는 계산된 예측치들을 출력한다. 단계 S1007에서 CPU(301)는 PC(103)로부터 처리의 종료 통지가 입력되는지를 조사한다. 종료 통지가 입력되지 않으면(단계 S1007에서 아니오), 처리는 단계 S1001로 돌아간다. 한편, 종료 통지가 입력되면(단계 S1007에서 예), 처리는 종료된다.
전술된 처리 방법에 의해 얻어진 예측치들을 이용하여 가상 공간 화상을 렌더링함으로써, 현실 공간 화상과 이후에 합성하는 경우에도, 현실 공간 화상의 취득시의 상태로부터 최소의 시간 지연을 갖는 가상 공간 화상을 이용한 화상 합성이 구현될 수 있다.
전술한 바와 같이, 제3 실시예에 따르면, 가상 공간 화상이 현실 공간 화상의 취득 타이밍에서의 위치 자세를 나타내는 예측치들에 기초하여 렌더링된다. 결과로서, 현실 화상의 취득시의 상태(위치 및 위치 자세)에 근접하는 가상 공간 화상 및 현실 공간 화상이 합성될 수 있다.
본 발명은 단일 디바이스를 포함하는 장치 또는 복수의 디바이스들에 의해 구성되는 시스템에 적용될 수 있음을 유의한다.
또한, 본 발명은, 전술한 실시예들의 기능들을 구현하는 소프트웨어 프로그램을 직접적으로 또는 간접적으로 시스템 또는 장치에 제공하고, 제공된 프로그램 코드를 장치 또는 시스템의 컴퓨터를 이용하여 판독한 후, 프로그램 코드를 실행함으로써 구현될 수 있다. 이 경우, 시스템 또는 장치가 프로그램의 기능들을 갖는 한, 구현 모드가 프로그램에 의존할 필요는 없다.
따라서, 본 발명의 기능들은 컴퓨터에 의해 구현되므로, 컴퓨터에 설치된 프로그램 코드 또한 본 발명을 구현한다. 다시 말해서, 본 발명의 특허청구범위는, 본 발명의 기능들을 구현하는 목적을 위한 컴퓨터 프로그램을 또한 포함한다.
이 경우, 시스템 또는 장치가 프로그램의 기능들을 갖는 한, 프로그램은 목적 코드(object code), 인터프리터에 의해 실행되는 프로그램, 또는 운영 시스템에 제공되는 스크립트 데이터 등과 같이 임의의 형식으로 실행될 수 있다.
프로그램을 제공하는데 사용될 수 있는 저장 매체의 예로, 플로피 디스크, 하드 디스크, 광 디스크, 광자기 디스크, CD-ROM, CD-R, CD-RW, 자기 테이프, 비휘 발성 메모리 카드, ROM, 및 DVD (DVD-ROM 및 DVD-R)이 있다.
프로그램을 제공하는 방법에 관하여, 클라이언트 컴퓨터는 클라이언트 컴퓨터의 브라우저를 이용하여 인터넷 상의 웹사이트에 접속될 수 있고, 본 발명의 컴퓨터 프로그램 또는 프로그램의 자동 설치가능한 압축 파일이 하드 디스크 등의 기록 매체로 다운로드될 수 있다. 또한, 본 발명의 프로그램은, 프로그램을 구성하는 프로그램 코드를 복수의 파일들로 분할하고, 상이한 웹사이트들로부터 파일들을 다운로딩함으로써 제공될 수 있다. 다시 말해서, 컴퓨터에 의해 본 발명의 기능들을 구현하는 프로그램 파일들을 다수의 사용자들에게 다운로드하는 WWW(World Wide Web) 서버 또한 본 발명의 특허청구범위에 포함된다.
본 발명의 프로그램을 CD-ROM 등의 저장 매체에 암호화하여 저장하고, 저장 매체를 사용자들에게 배포하고, 특정 요구사항들을 만족하는 사용자들이 인터넷을 통해 웹사이트로부터 암호해독 키 정보(decryption key information)를 다운로드하도록 하고, 이들 사용자들이 키 정보를 이용하여 암호화된 프로그램을 해독하게 함으로써, 사용자 컴퓨터 내에 프로그램이 설치되는 것이 가능하다.
컴퓨터에 의해 판독 프로그램을 실행함으로써, 실시예들에 따른 전술된 기능들이 구현되는 경우들 이외에도, 컴퓨터상에서 실행되는 운영 시스템 등이 실제 처리의 전부 또는 일부분을 수행하여, 전술한 실시예들의 기능들이 이러한 처리에 의해 구현될 수 있도록 한다.
또한, 저장 매체로부터 판독된 프로그램이, 컴퓨터에 삽입된 기능 확장 보드 또는 컴퓨터에 접속된 기능 확장 유닛에 제공된 메모리에 기입된 후, 기능 확장 보 드 또는 기능 확장 유닛 상에 장착된 CPU 등이 실제 처리의 전부 또는 일부분을 수행함으로써, 전술한 실시예들의 기능이 이러한 처리에 의해 구현될 수 있다.
본 발명은 예시적인 실시예들을 참조로 하여 설명되었으나, 본 발명은 개시된 예시적인 실시예들에 한정되지 않는다는 것이 이해될 것이다. 이하의 특허청구범위의 범주는, 그러한 모든 변형들, 등가 구조들 및 기능들을 포함하도록, 가장 넓게 해석되어야 한다.
도 1은 주지된 일반적인 복합 현실감 제시 장치의 하드웨어 구성을 도시하는 도면;
도 2는 주지된 일반적인 복합 현실감 제시 장치의 처리를 도시하는 흐름도;
도 3은 주지된 일반적인 화상 합성 처리의 실제적인 예를 도시하는 도면;
도 4는 본 발명의 제1 실시예에 따른 복합 현실감 제시 장치로서 기능하는 PC의 하드웨어 구성을 도시하는 블럭도;
도 5는 본 발명의 제1 실시예에 따른 복합 현실감 제시 장치에 의해 실행되는 처리를 도시하는 흐름도;
도 6은 본 발명의 제1 실시예에 따른 화상 합성 처리의 실제적인 예를 도시하는 도면;
도 7은 본 발명의 제2 실시예에 따른 복합 현실감 제시 장치에 의해 실행되는 처리를 도시하는 흐름도;
도 8은 본 발명의 제2 실시예에 따른 화상 합성의 실제적인 예를 설명하는 도면;
도 9는 본 발명의 제3 실시예에 따른 복합 현실감 제시 장치에 의해 실행되 는 처리를 도시하는 흐름도; 및
도 10은 본 발명의 제3 실시예에 따른 현실 공간 화상의 위치 자세 예측의 세부사항을 도시하는 흐름도.
<도면의 주요 부분에 대한 부호의 설명>
101: HMD
103: PC
104: 위치 자세 계측부
301: CPU
302: 주 메모리
303: 그래픽 가속기
304: 프레임 메모리
305: 화상 출력 디바이스
306: 화상 입력 디바이스
307: 통신 디바이스
308: 깊이 버퍼
309: 스텐실 버퍼

Claims (8)

  1. 현실 공간 화상과 가상 공간 화상을 합성하고 합성 화상을 제시하는 복합 현실감 제시 장치(a mixed reality presentation apparatus)로서,
    관측자의 시점과 현실 공간의 현실 공간 물체 간의 상대적 위치 자세 관계를 나타내는 위치 자세 정보를 취득하도록 구성된 위치 자세 정보 취득부;
    상기 위치 자세 정보 취득부에 의해 취득된 상기 위치 자세 정보에 기초하여 가상 공간 화상을 생성하고, 상기 생성된 가상 공간 화상을 메모리에 렌더링하도록 구성된 렌더링부;
    상기 현실 공간 물체의 현실 공간 화상을 취득하도록 구성된 취득부;
    상기 취득부에 의해 취득된 상기 현실 공간 화상을, 상기 가상 공간 화상이 이미 렌더링되어 있는 상기 메모리에 렌더링함으로써, 상기 현실 공간 화상과 상기 생성된 가상 공간 화상을 합성하도록 구성된 합성부; 및
    상기 합성부에 의해 얻어진 상기 합성 화상을 출력하도록 구성된 출력부
    를 포함하는 복합 현실감 제시 장치.
  2. 제1항에 있어서,
    상기 가상 공간 화상의 깊이 정보(depth information)를 저장하는 깊이 버퍼를 더 포함하고,
    상기 합성부는 상기 깊이 버퍼에 저장된 상기 깊이 정보를 이용하여, 상기 메모리에서의 가상 공간 화상이 렌더링되지 않은 부분에 상기 현실 공간 화상을 렌더링함으로써, 상기 현실 공간 화상과 상기 가상 공간 화상을 합성하는 복합 현실감 제시 장치.
  3. 제1항에 있어서,
    상기 가상 공간 화상에 화상의 겹쳐쓰기를 허용하거나 또는 금지할지의 여부를 제어하도록 사용되는 제어 정보를 저장하는 스텐실 버퍼(stencil buffer)를 더 포함하고,
    상기 합성부는, 상기 스텐실 버퍼에 저장된 상기 제어 정보를 이용하여, 상기 메모리상의 상기 가상 공간 화상이 상기 현실 공간 화상에 의해 겹쳐써지는 것을 방지하도록 상기 현실 공간 화상을 렌더링함으로써, 상기 현실 공간 화상과 상기 가상 공간 화상을 합성하는 복합 현실감 제시 장치.
  4. 제1항에 있어서,
    상기 합성부는 상기 현실 공간 화상과 상기 가상 공간 화상을 알파 블렌딩(alpha blending)에 의해 합성하는 복합 현실감 제시 장치.
  5. 제1항에 있어서,
    상기 위치 자세 정보 취득부에 의해 취득된 위치 자세 정보에 기초하여, 상기 렌더링부에 의한 상기 가상 공간 화상의 렌더링에 이용되는 위치 자세 정보를 예측하도록 구성된 예측부를 더 포함하는 복합 현실감 제시 장치.
  6. 현실 공간 화상과 가상 공간 화상을 합성하고, 합성 화상을 제시하는 복합 현실감 제시 장치를 제어하는 방법으로서,
    관측자의 시점과 현실 공간의 현실 공간 물체 간의 상대적 위치 자세 관계를 나타내는 위치 자세 정보를 취득하는 단계;
    상기 위치 자세 정보 취득 단계에서 취득된 상기 위치 자세 정보에 기초하여 가상 공간 화상을 생성하고, 상기 생성된 가상 공간 화상을 메모리상에 렌더링하는 단계;
    상기 현실 공간 물체의 현실 공간 화상을 취득하는 단계;
    상기 취득 단계에서 취득된 상기 현실 공간 화상을, 상기 가상 공간 화상이 이미 렌더링되어 있는 상기 메모리 상에 렌더링함으로써, 상기 현실 공간 화상과 상기 가상 공간 화상을 합성하는 단계; 및
    상기 합성 단계에서 얻어진 상기 합성 화상을 출력하는 단계
    를 포함하는 복합 현실감 제시 장치 제어 방법.
  7. 현실 공간 화상과 가상 공간 화상을 합성하고, 합성 화상을 제시하는 복합 현실감 제시 장치의 제어를 컴퓨터가 실행하도록 하는 컴퓨터 판독가능한 매체로서,
    관측자의 시점와 현실 공간의 현실 공간 물체 간의 상대적 위치 자세 관계를 나타내는 위치 자세 정보를 취득하는 위치 자세 정보 취득 단계;
    상기 위치 자세 정보 취득 단계에서 취득된 상기 위치 자세 정보에 기초하여 가상 공간 화상을 생성하고, 상기 생성된 가상 공간 화상을 메모리상에 렌더링하는 렌더링 단계;
    상기 현실 공간 물체의 현실 공간 화상을 취득하는 취득 단계;
    상기 취득 단계에서 취득된 상기 현실 공간 화상을, 상기 가상 공간 화상이 이미 렌더링되어 있는 상기 메모리 상에 렌더링함으로써, 상기 현실 공간 화상과 상기 가상 공간 화상을 합성하는 합성 단계; 및
    상기 합성 단계에서 얻어진 상기 합성 화상을 출력하는 출력 단계
    를 컴퓨터가 실행하도록 하는 프로그램을 포함하는 컴퓨터 판독가능한 매체.
  8. 현실 공간 화상과 가상 공간 화상을 합성하고, 합성 화상을 제시하는 복합 현실감 제시 장치로서,
    관측자의 시점과 현실 공간의 현실 공간 물체 간의 상대적 위치 자세 관계를 나타내는 위치 자세 정보를 취득하는 위치 자세 정보 취득 수단;
    상기 위치 자세 정보 취득 수단에 의해 취득된 상기 위치 자세 정보에 기초하여 가상 공간 화상을 생성하고, 상기 생성된 가상 공간 화상을 메모리에 렌더링하는 렌더링 수단;
    상기 현실 공간 물체의 현실 공간 화상을 취득하는 취득 수단;
    상기 취득 수단에 의해 취득된 상기 현실 공간 화상을, 상기 가상 공간 화상 이 이미 렌더링되어 있는 상기 메모리에 렌더링함으로써, 상기 현실 공간 화상과 상기 생성된 가상 공간 화상을 합성하는 합성 수단; 및
    상기 합성 수단에 의해 얻어진 상기 합성 화상을 출력하는 출력 수단
    을 포함하는 복합 현실감 제시 장치.
KR1020080048193A 2007-05-23 2008-05-23 복합 현실감 제시 장치 및 그 제어 방법, 및 컴퓨터판독가능한 매체 KR100958511B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007137014A JP4909176B2 (ja) 2007-05-23 2007-05-23 複合現実感提示装置及びその制御方法、コンピュータプログラム
JPJP-P-2007-00137014 2007-05-23

Publications (2)

Publication Number Publication Date
KR20080103469A true KR20080103469A (ko) 2008-11-27
KR100958511B1 KR100958511B1 (ko) 2010-05-17

Family

ID=39739916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080048193A KR100958511B1 (ko) 2007-05-23 2008-05-23 복합 현실감 제시 장치 및 그 제어 방법, 및 컴퓨터판독가능한 매체

Country Status (5)

Country Link
US (1) US20080291219A1 (ko)
EP (1) EP1995694A3 (ko)
JP (1) JP4909176B2 (ko)
KR (1) KR100958511B1 (ko)
CN (1) CN101311893B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724360B1 (ko) * 2016-06-30 2017-04-07 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치
KR20190070423A (ko) 2017-12-13 2019-06-21 주식회사 투스라이프 실제 움직임의 감지가 가능한 가상현실을 기반으로 하는 부착형 트래커
WO2022119038A1 (ko) * 2020-12-02 2022-06-09 한국전자기술연구원 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560047B2 (en) 2006-06-16 2013-10-15 Board Of Regents Of The University Of Nebraska Method and apparatus for computer aided surgery
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
US9600067B2 (en) * 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
JP2011159163A (ja) * 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5728159B2 (ja) 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
KR20110099414A (ko) * 2010-03-02 2011-09-08 삼성전자주식회사 휴대용 단말기에서 애니메이션 효과를 제공하기 위한 장치 및 방법
CN102004552A (zh) * 2010-12-06 2011-04-06 深圳泰山在线科技有限公司 一种基于跟踪点识别的加强用户现场运动体验的方法和系统
JP5734080B2 (ja) * 2011-05-10 2015-06-10 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
US11911117B2 (en) 2011-06-27 2024-02-27 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
EP2723270B1 (en) 2011-06-27 2019-01-23 Board of Regents of the University of Nebraska On-board tool tracking system of computer assisted surgery
US9498231B2 (en) 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
CN103020065B (zh) * 2011-09-22 2016-09-07 北京神州泰岳软件股份有限公司 一种基于Web页面的签名板实现方法和一种Web系统
CN103028252B (zh) * 2011-09-29 2014-12-31 泉阳兴业株式会社 观览车
US9129429B2 (en) 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
KR101800949B1 (ko) 2013-04-24 2017-11-23 가와사끼 쥬고교 가부시끼 가이샤 워크 가공 작업 지원 시스템 및 워크 가공 방법
JP6344890B2 (ja) 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
JP6653103B2 (ja) * 2014-09-08 2020-02-26 国立大学法人 東京大学 画像処理装置および画像処理方法
US20160077166A1 (en) * 2014-09-12 2016-03-17 InvenSense, Incorporated Systems and methods for orientation prediction
CN105635745B (zh) * 2015-12-23 2019-10-22 广州华多网络科技有限公司 基于在线直播应用而生成签名照的方法及客户端
JP2017123050A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及びサーバ
CN107277495B (zh) * 2016-04-07 2019-06-25 深圳市易瞳科技有限公司 一种基于视频透视的智能眼镜系统及其透视方法
CN110412765B (zh) * 2019-07-11 2021-11-16 Oppo广东移动通信有限公司 增强现实图像拍摄方法、装置、存储介质及增强现实设备
EP4075393A4 (en) 2020-01-14 2023-05-17 Ntt Docomo, Inc. IMAGE DISPLAY DEVICE

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09245192A (ja) * 1996-03-08 1997-09-19 Canon Inc 仮想環境生成実現方法およびその装置
JP3724117B2 (ja) * 1997-05-23 2005-12-07 ソニー株式会社 画像生成装置および画像生成方法
JP3490983B2 (ja) * 2001-05-30 2004-01-26 コナミ株式会社 画像処理方法及び画像処理用プログラム
JP3584229B2 (ja) * 2001-09-28 2004-11-04 キヤノン株式会社 映像体験システムおよび情報処理方法
JP2003346190A (ja) 2002-05-29 2003-12-05 Canon Inc 画像処理装置
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
EP1617779A1 (en) * 2003-04-28 2006-01-25 BRACCO IMAGING S.p.A. Surgical navigation imaging system
JP4401728B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
JP4366165B2 (ja) * 2003-09-30 2009-11-18 キヤノン株式会社 画像表示装置及び方法並びに記憶媒体
JP4393169B2 (ja) * 2003-12-04 2010-01-06 キヤノン株式会社 複合現実感提示方法および装置
JP4522129B2 (ja) * 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
JP4227561B2 (ja) * 2004-06-03 2009-02-18 キヤノン株式会社 画像処理方法、画像処理装置
JP3779717B2 (ja) 2004-08-31 2006-05-31 コナミ株式会社 ゲームプログラム及びゲーム装置
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
WO2006053271A1 (en) * 2004-11-12 2006-05-18 Mok3, Inc. Method for inter-scene transitions
JP2006215939A (ja) 2005-02-07 2006-08-17 Kumamoto Univ 自由視点画像合成方法および自由視点画像合成装置
JP4144888B2 (ja) * 2005-04-01 2008-09-03 キヤノン株式会社 画像処理方法、画像処理装置
JP2007004714A (ja) * 2005-06-27 2007-01-11 Canon Inc 情報処理方法、情報処理装置
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
JP5196729B2 (ja) * 2006-04-11 2013-05-15 任天堂株式会社 通信ゲームシステム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724360B1 (ko) * 2016-06-30 2017-04-07 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치
WO2018004154A1 (ko) * 2016-06-30 2018-01-04 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치
KR20190070423A (ko) 2017-12-13 2019-06-21 주식회사 투스라이프 실제 움직임의 감지가 가능한 가상현실을 기반으로 하는 부착형 트래커
WO2022119038A1 (ko) * 2020-12-02 2022-06-09 한국전자기술연구원 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법

Also Published As

Publication number Publication date
EP1995694A3 (en) 2017-02-15
EP1995694A2 (en) 2008-11-26
CN101311893A (zh) 2008-11-26
KR100958511B1 (ko) 2010-05-17
US20080291219A1 (en) 2008-11-27
JP2008293209A (ja) 2008-12-04
JP4909176B2 (ja) 2012-04-04
CN101311893B (zh) 2011-08-31

Similar Documents

Publication Publication Date Title
KR100958511B1 (ko) 복합 현실감 제시 장치 및 그 제어 방법, 및 컴퓨터판독가능한 매체
JP4857196B2 (ja) 頭部装着型表示装置、及びその制御方法
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
US7589747B2 (en) Mixed reality space image generation method and mixed reality system
KR100823649B1 (ko) 캘리브레이션 방법 및 장치
JP4810295B2 (ja) 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体
KR20220047882A (ko) 증강 현실 데이터를 레코딩하기 위한 기술
JP4847203B2 (ja) 情報処理方法、情報処理装置
US20100027888A1 (en) Information processing apparatus and information processing method
JP2003222509A (ja) 位置姿勢決定方法および装置並びに記憶媒体
US20170374256A1 (en) Method and apparatus for rolling shutter compensation
JP2009123018A (ja) 画像処理装置、画像処理方法
EP3572916B1 (en) Apparatus, system, and method for accelerating positional tracking of head-mounted displays
JP2005107970A (ja) 画像表示装置及び方法
EP3676653B1 (en) Generating a new frame using rendered content and non-rendered content from a previous perspective
JP2005038321A (ja) ヘッドマウントディスプレイ装置
JP2008146497A (ja) 画像処理装置、画像処理方法
JP2018500616A (ja) 方向予測を利用した低レイテンシーシミュレーション装置及び方法と、そのためのコンピュータプログラム
JP4889036B2 (ja) 画像処理装置、画像処理方法
CN111033575A (zh) 图像处理装置、显示装置、图像发送装置、图像处理方法、控制程序以及记录介质
JP2023124678A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR20190048857A (ko) 증강현실용 컨텐츠 저작 장치 및 방법
KR20130118761A (ko) 증강 현실 생성을 위한 방법 및 시스템
JP2006215766A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2006277618A (ja) 画像生成装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130425

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150424

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160425

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170424

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee