KR100823649B1 - 캘리브레이션 방법 및 장치 - Google Patents

캘리브레이션 방법 및 장치 Download PDF

Info

Publication number
KR100823649B1
KR100823649B1 KR1020060030034A KR20060030034A KR100823649B1 KR 100823649 B1 KR100823649 B1 KR 100823649B1 KR 1020060030034 A KR1020060030034 A KR 1020060030034A KR 20060030034 A KR20060030034 A KR 20060030034A KR 100823649 B1 KR100823649 B1 KR 100823649B1
Authority
KR
South Korea
Prior art keywords
virtual object
real object
image
real
positional
Prior art date
Application number
KR1020060030034A
Other languages
English (en)
Other versions
KR20060106773A (ko
Inventor
타이치 마쓰이
야스오 카타노
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20060106773A publication Critical patent/KR20060106773A/ko
Application granted granted Critical
Publication of KR100823649B1 publication Critical patent/KR100823649B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Abstract

가동 평면이 고정된 현실 물체와, 현실 물체의 가동 평면 위에 위치하도록 묘화한 가상 물체가, 미리 정한 위치 관계에 관찰된 것을 나타내는 지시를 검출한다. 그리고, 이 지시가 검출된 시점에서의, 가상 물체의 위치 자세값과 현실 물체의 위치 자세값과의 차이를 취득하여, 현실 물체와 가상 물체간의 위치 차이를 보정하기 위한 보정값으로서 사용한다.
카메라, 캘리브레이션, 현실 물체, 가상 물체, 보정값

Description

캘리브레이션 방법 및 장치{CALIBRATION METHOD AND APPARATUS}
도 1은 본 발명의 실시예에 따른 MR 제시 시스템의 구성 예를 도시한 도면,
도 2는 본 실시예에 따른 시스템의 캘리브레이션에 사용하는 현실 물체와 가상 물체의 예를 도시한 도면,
도 3은 본 실시예에 따른 시스템에서의 캘리브레이션 처리를 설명하기 위한 흐름도,
도 4는 본 실시예에 따른 시스템의 캘리브레이션 방법을 설명하는 도면이다.
본 발명은, 현실 물체와, 그 현실 물체를 촬영한 화상 위에 중첩된 가상 물체와의 위치 자세 차이를 보정하기 위한 보정값을 취득하는 캘리브레이션 방법 및 장치에 관한 것이다.
가상현실(VR) 시스템은, 컴퓨터가 발생한 삼차원 컴퓨터 그래픽(CG)을 유저에게 제시함으로써 가상의 공간을 마치 현실공간인 것 같이 느끼게 하는 시스템이 다. 또한, 최근, 현실 세계의 촬영된 영상에 삼차원 CG를 합성함으로써 현실 세계에는 없는 정보를 유저에게 제시하는 기술의 개발도 이루어져 있다. 그 기술을, 확장 현실감(AR; Augmented Reality) 시스템과 복합 현실감(MR; Mixed Reality) 시스템이라고 부르고 있다.
AR 시스템에서는, 현실의(실제의) 물체에 삼차원 CG를 중첩하는 것이 가능하다. 예를 들면, 일본국 특허공개 2000-353248호 공보(US 6,972,734 B1)에 나타낸 게임에서는, 유저가 가지는 대화 조작 입력장치에 검이나 무기 등의 삼차원 CG를 중첩 표시하여, 유저가 자유롭게 가상의 물체(이 경우는 검이나 무기)를 조작하는 것을 가능하게 하고 있다.
이러한 시스템에 있어서, 유저에게 몰입감을 주기 위해서는, 현실 물체와 가상 물체와의 위치 맞춤 정밀도가 중요해진다. 그러나, 현실 물체와 가상 물체의 중첩을 정확하게 행하기 위해서 행해지는 캘리브레이션에는 시간이 오래 걸리고, 또한 그에 상응한 스킬이 필요하였다.
본 발명은, 이러한 종래기술의 문제점을 감안하여 이루어진 것이다. 본 발명의 목적은, 현실 물체와 가상 물체의 위치 차이를 보정하기 위한 보정량을 취득하는 캘리브레이션 처리에 요하는 시간을 단축함과 아울러, 캘리브레이션 처리를 용이하게 하는데 있다.
본 발명의 일 국면에서는, 현실 물체와, 그 현실 물체를 촬영한 화상 위에 중첩하는 가상 물체와의 위치 자세 차이를 보정하기 위한 보정값을 취득하는 캘리브레이션 방법을 제공하고, 이 캘리브레이션 방법은, 상기 현실 물체의 위치 자세를 계측하는 계측공정과, 상기 계측공정에서 계측된 상기 현실 물체의 위치 자세에 근거하여, 상기 현실 물체가 이동가능한 좌표를 미리 아는 평면 위에 상기 현실 물체와 동일한 크기 및 형상을 갖는 가상 물체가 존재하는 것으로서, 상기 가상 물체의 화상을 생성하는 가상 물체 생성공정과, 상기 현실 물체를 촬영한 영상에, 상기 가상 물체의 화상을 중첩한 합성 화상을 표시하는 표시공정과, 상기 합성 화상에서의 상기 현실 물체의 위치 자세와 상기 가상 물체의 위치 자세의 차이를 보정하기 위한 보정값의 취득의 지시를 접수하는 접수공정과, 상기 지시에 따라, 상기 현실 물체의 상기 평면상의 평행 이동과 상기 평면에 직교하는 방향을 축으로 한 회전에 의해 표현되는 상기 보정값을 취득하는 취득공정을 포함한다.
본 발명의 다른 국면에서는, 현실 물체와, 그 현실 물체를 촬영한 화상 위에 중첩하는 가상 물체와의 위치 자세 차이를 보정하기 위한 보정값을 취득하는 캘리브레이션 방법을 제공하고, 이 캘리브레이션 방법은, 이동가능한 현실 물체의 위치와 자세를 계측하는 제1의 계측공정과, 상기 현실 물체를, 관찰자가 장착하는 머리 부분 장착형 표시장치에 설치한 카메라에 의해 촬영하는 촬영공정과, 상기 카메라의 위치 자세를 측정하는 제2의 계측공정과, 상기 제2의 계측공정에서 계측한 위치 자세에 근거하여, 상기 현실 물체와 동일한 크기 및 형상을 갖는 가상 물체를, 그 가상 물체가 미리 정한 평면 위에 존재하는 것으로서 상기 관찰자에게 관찰되도록 묘화하는 가상 물체 생성공정과, 상기 묘화된 가상 물체와 상기 카메라가 촬영하는 화상을 합성해서 상기 머리 부분 장착형 표시장치에 표시시키는 합성 표시공정과, 관찰자에 의한, 상기 현실 물체와 상기 가상 물체의 윤곽의 위치가 일치하도록 보이는 것을 나타내는 지시를 검출하는 검출공정과, 상기 지시가 검출된 시점에서의 상기 현실 물체의 위치 자세와, 상기 가상 물체의 위치 자세에 있어서, 수평위치의 차분과 연직축방향의 회전 차분의 합계를 상기 보정값으로서 취득하는 취득공정을 포함하되, 상기 가상 물체 생성공정에서는, 상기 제1의 계측 공정에서 계측된 위치 자세에 근거하여, 상기 가상 물체를 상기 평면상에서 이동 및/또는 회전시킨 상태에서 묘화한다.
본 발명의 또 다른 국면에서는, 현실 물체와, 그 현실 물체를 촬영한 화상 위에 중첩하는 가상 물체와의 위치 자세 차이를 보정하기 위한 보정값을 취득하는 캘리브레이션 장치를 제공하고, 이 캘리브레이션 장치는, 상기 현실 물체의 위치 자세를 계측하는 계측부와, 상기 계측부에서 계측된 상기 현실 물체의 위치 자세에 근거하여, 상기 현실 물체가 이동가능한 좌표를 미리 아는 평면 위에 상기 현실 물체와 동일한 크기 및 형상을 갖는 가상 물체가 존재하는 것으로서, 상기 가상 물체의 화상을 생성하는 가상 물체 생성부와, 상기 현실 물체를 촬영한 영상에, 상기 가상 물체의 화상을 중첩한 합성 화상을 표시하는 표시부와, 상기 합성 화상에서의 상기 현실 물체의 위치 자세와 상기 가상 물체의 위치 자세의 차이를 보정하기 위한 보정값의 취득의 지시를 접수하는 접수부와, 상기 지시에 따라, 상기 현실 물체의 상기 평면상의 평행이동과 상기 평면에 직교하는 방향을 축으로 한 회전에 의해 표현되는 상기 보정값을 취득하는 취득부를 구비한다.
아울러, 본 발명의 또 다른 국면에서는, 현실 물체와, 그 현실 물체를 촬영한 화상 위에 중첩하는 가상 물체와의 위치 자세 차이를 보정하기 위한 보정값을 취득하는 캘리브레이션 장치를 제공하고, 이 캘리브레이션 장치는, 이동가능한 현실 물체의 위치와 자세를 계측하는 제1의 계측부와, 상기 현실 물체를, 관찰자가 장착하는 머리 부분 장착형 표시장치에 설치한 카메라에 의해 촬영하는 촬영부와, 상기 카메라의 위치 자세를 측정하는 제2의 계측부와, 상기 제2의 계측부에서 계측한 위치 자세에 근거하여, 상기 현실 물체와 동일한 크기 및 형상을 갖는 가상 물체를, 그 가상 물체가 미리 정한 평면 위에 존재하는 것으로서 상기 관찰자에게 관찰되도록 묘화하는 가상 물체 생성부와, 상기 묘화된 가상 물체와 상기 카메라가 촬영하는 화상을 합성해서 상기 머리 부분 장착형 표시장치에 표시시키는 합성 표시부와, 관찰자에 의한, 상기 현실 물체와 상기 가상 물체의 윤곽의 위치가 일치하도록 보이는 것을 나타내는 지시를 검출하는 검출부와, 상기 지시가 검출된 시점에서의 상기 현실 물체의 위치 자세와, 상기 가상 물체의 위치 자세에 있어서, 수평위치의 차분과 연직축방향의 회전 차분의 합계를 상기 보정값으로서 취득하는 취득부를 구비하고, 상기 가상 물체 생성부가, 상기 제1의 계측부에 의해 계측된 위치 자세에 근거하여, 상기 가상 물체를 평면상에서 이동 및/또는 회전시킨 상태에서 묘화한다.
이러한 구성에 의해, 본 발명에서는, 캘리브레이션 처리에 필요로 하는 시간을 단축함과 아울러, 캘리브레이션 처리를 용이하게 하는 것이 가능하다.
<실시예>
도 1은 본 발명의 실시예에 따른 MR 제시 시스템의 구성 예를 나타낸 블록도이다. 이 시스템은, 화상입력부(102), 화상합성부(103), 화상출력부(104), 카메라 위치 자세 계측부(105), 가상 물체 생성부(106)를 갖는다. 아울러, 그 시스템은, 현실 물체 위치 자세 계측부(107)를 구비하는 시스템 제어부(101)와, 유저가 장착 하는 비디오 시스루(see-through)형 헤드 마운티드 디스플레이(HMD)(132)와, 현실 물체(108)를 갖는다. 이때, 현실 물체(108)는 위치 자세 센서B(109)를 구비하고 있다.
시스템 제어부(101)는, 데이터 입력 인터페이스를 구비하고, (도시하지 않은) 불휘발성 메모리 등에 기억된 제어프로그램을 실행하는 컴퓨터에 의해 실현된다. 여기서, 데이터 입력 인터페이스로서는, 예를 들면 디스플레이 인터페이스, 비디오 캡쳐 보드 및, 직렬 인터페이스 등이 있다.
비디오 시스루형의 헤드 마운티드 디스플레이(HMD)(132)는, 유저의 시점 위치 근방으로부터의 영상을 촬영하는 카메라(133)와, 카메라(133)가 촬상한 영상을 출력하는 화상출력부(134)를 구비한다. 또한, 그 HMD(132)는, 예를 들면, LCD인 화상표시부(136)와, 화상표시부(136)에 표시하는 화상을 시스템 제어부(101)의 화상출력부(104)로부터 받는 화상입력부(135)를 갖는다. 또한, HMD(132)는 위치 자세 센서A(137)를 구비하고 있다.
유저가 머리 부분에 장착한 HMD(132)의 카메라(133)는, 유저의 시점근방에서 유저의 시선 방향에서의 현실공간을 촬상한다. 촬상된 현실공간의 화상은, 화상출력부(134)에 송신된다. 화상출력부(134)는 현실공간의 화상을 시스템 제어부(101)의 화상입력부(102)에 송신한다.
시스템 제어부(101)에서는, 화상입력부(102)로부터 입력한 현실공간의 화상 데이터를 화상합성부(103)에 송신한다. 카메라 위치 자세 계측부(105)는 HMD(132)의 위치 자세 센서A(137)에 의해 카메라(133)의 위치 자세를 계측하고, 계측 결과 를 카메라 위치 자세정보로서 가상 물체생성부(106)에 송신한다.
본 실시예에 있어서, 현실 물체(108)는 가상 물체와 중첩하기 위해서 사용된다. 현실 물체(108)의 위치 자세는, 현실 물체(108)에 설치한 위치 자세 센서B(109)를 이용하여 현실 물체 위치 자세 계측부(107)가 계측한다. 계측 결과는, 현실 물체 위치 자세정보로서 가상 물체생성부(106)에 송신한다.
가상 물체생성부(106)에서는, 카메라 위치 자세정보와 현실 물체위치 자세정보를 바탕으로, 카메라(133)의 시점에서 본 현실 물체(108)의 위치 자세에 가상 물체 화상을 생성한다. 가상 물체생성부(106)는 생성한 가상 물체 화상을 화상합성부(103)에 송신한다.
화상합성부(103)에서는 현실공간의 화상과 가상 물체 화상을 합성해서 MR 공간 화상을 생성하여, 화상출력부(104)에 송신한다. 화상출력부(104)는 MR 공간 화상을 HMD(132)의 화상입력부(135)에 송신한다. 화상입력부(135)는 입력한 MR 공간 화상을 화상표시부(136)에 송신한다. 예를 들면 유저의 눈앞에 설치된 표시장치인 화상표시부(136)는, 그 MR 공간 화상을 표시한다. 그 MR 공간 화상을 유저가 관찰하여, 현실공간에 위치 맞춤된 가상 물체가 존재하는 것 같은 감각을 체험할 수 있다. 또한, 기억부(110)는 가상 물체의 모델 정보를 비롯한, MR 공간 화상을 생성하기 위해서 필요한 특정 형태의 정보가 기억되어 있다.
또한, 설명 및 이해를 쉽게 하기 위해서, 여기서는 설명을 생략하였지만, 실제로는 상기의 MR 공간 화상을 생성하기 위한 구성 및 동작은, 좌안용, 우안용의 2계통이 존재한다. 즉, 카메라(133)는 좌안용 카메라와 우안용 카메라로 구성되고, 각각의 카메라의 위치 자세를 측정한다. 그리고, 카메라(133)는, 각각의 카메라의 시점위치에서 본 현실 물체의 위치 자세에 가상 물체 화상을 생성하고, 좌안용 및 우안용 MR 공간 화상을 생성 및 표시한다. 이러한 구성에 의해, 시차를 이용한 입체적인 표시가 가능해지고, MR 공간을 보다 현실적인 공간으로서 유저에게 체감시키는 것이 가능하게 된다.
다음에, 본 시스템에서의 캘리브레이션 동작에 관하여 설명한다.
상술한 바와 같이, 캘리브레이션은 적어도 MR 공간 화상을 생성하기 전에 행하는, 가상공간과 현실공간과의 위치 맞춤(registration) 처리이다. 도 2는 본 시스템에서의 캘리브레이션의 모양을 모식적으로 도시한 도면이다. 여기서는, 본 시스템의 캘리브레이션에 사용하는, 위치 자세 계측 가능한 현실 물체로서 카메라(108)를 사용한다. 또한, 현실 물체를 위치 맞춤하는 사용하기 위한 가상 물체로서, 카메라(108)와 동일한 크기 및 형상을 갖는 카메라를 컴퓨터그래픽스(CG)에 의해 묘화했을 경우를 보이고 있다.
그러나,
(1) 위치와 자세가 일치한 상태를 용이하게 유저가 인식 가능
(2) 소정 평면상에서의 평행 이동과 그 평면과 직교하는 방향을 축으로 하는 회전에 의해 양자의 위치와 자세를 독특하게 일치하는 것이 가능
(3) 현실 물체를 유저가 손으로 이동가능
하면, 현실 물체 및 가상 물체의 크기와 형상에 제한은 없다.
이하에 설명한 예에서는, 설명 및 이해를 쉽게 하기 위해서, 소정 평면이 수 평면, 소정 평면과 직교하는 방향이 연직방향일 경우를 서술한다.
그리고, 도 2에서, 수평면은 기부(base)(203)의 상면에 의해 형성되고, 가상 물체(202)와 현실 물체(108)는 그 저면을 구성하는 평면이 기부(203)의 상면에 접하도록 배치된다. 따라서, 현실 물체(108)를 기부(203) 위에서 미끄러지게 해서 평행 이동 및 회전시킴으로써, 가상 물체(202)와의 위치 맞춤이 가능하다.
이때, 여기서는 소정 평면을 기부(203)의 상면에 의해 형성하고, 기부(203)를 현실 물체를 놓는 테이블로 함으로써, 현실 물체(108)의 이동 평면을 수평면에 고정하고 있다. 그러나, 현실 물체(108)가 이동가능한 평면이 한 평면에 고정되어 있는 경우, 기부(203)는 불필요하다. 즉, 현실 물체(108)를 소정 평면내에 고정하는 기구로서 기능하는 임의의 구성을 이용할 수 있다. 그러나, 현실 물체의 조작성이나 연산 처리의 용이점에서는, 현실 물체(108)의 이동 가능 평면이 수평면인 것이 바람직하다.
이러한 현실 물체(108)와 가상 물체(202)를 사용하여, 시스템을 캘리브레이션하는 처리에 대해서, 도 3의 흐름도를 사용하여 설명한다. 이 처리는, 예를 들면 HMD(132)를 장착하는 유저의 지시에 의해 개시된다.
우선, S301에서, 가상 물체생성부(106)는, 가상 물체(202)의 모델을 기억부(110)로부터 판독한다. 그리고, 미리 측정된, 기부(203)의 세계 좌표계에서의 좌표값과, HMD(132)의 자세 위치센서A(137)의 출력에 근거하여 가상 물체(202)를, 기부(203)의 상면에 놓여 있는 위치에 있는 것으로서 묘화한다. 미리 측정된, 기부(203)의 세계 좌표계에서의 좌표값은, 기억부(110)에 기억되어 있다. 또, 이 때의 가상 물체(202)의 자세는, 가상 물체(202)가 밑바닥의 수평면, 혹은 일정한 수평을 유지하기 위한 기구에 의해 기부(203)의 상면에 접해서 수평으로 유지된 상태이다. 이 가상 물체(202)의 화상은, 화상합성부(103)에서, 카메라(133)가 촬상한 현실공간 화상, 즉 기부(203)의 화상과 합성되어, 화상출력부(104) 및 화상입력부(135)를 거쳐서 HMD(132)의 화상표시부(136)에 표시된다.
이 상태에서는 가상 물체(202)와 현실 물체(108)는 그 저면을 공통의 평면으로 한 위치 관계에 있다. 그 때문에, 도 4에 나타낸 것처럼, 유저는 현실 물체(108)와 가상 물체(202)의 위치 및 자세를, 기부(203)의 수평면상에서의 수평이동과 연직방향을 축으로 한 회전과의 조합에 의해 일치시킬 수 있다.
카메라 위치 자세 계측부(105)는, HMD(132)의 위치 자세 센서A(137)의 출력으로부터 카메라(133)의 위치 자세를 검출한다. 가상 물체 생성부(106)는 그 검출된 위치 자세에 맞춘 가상 물체의 생성 및 묘화를 행한다. 한편, 현실 물체 위치 자세 계측부(107)는, 현실 물체(108)에 설치된 위치 자세 센서B(109)의 출력으로부터 현실 물체(108)의 위치 자세를 검출하여, 화상합성부(103)에 출력한다.
시스템 제어부(110)는, 입력부(138)를 통해서 유저로부터 일치 지시가 입력되었는지 어떤지를 체크한다(S303). 그리고, 유저의 움직임에 따라 카메라(133)의 위치 자세가 변화되어도, 가상 물체(202)가 옳은 자세로 계속 표시되도록, 가상 물체의 생성 및 표시 처리를 행한다(S305).
한편, 유저는, HMD(132)에 있어서 현실 물체(108)와 가상 물체(202)를 관찰하면서, 현실 물체(108)가 가상 물체(202)에 완전히 겹쳐서 보이도록 현실 물 체(108)를 이동시킨다. 그리고, 현실 물체(108)가 가상 물체(202)와 완전히 겹쳐서 보이게 되면, 유저는, 입력부(138)에 포함되는 일치 지시 버튼 등을 눌러, 양쪽의 물체가 일치 상태에 이른 것을 시스템 제어부(101)에 통지한다.
이 경우에, 위치 자세에서의 겹침의 판단은, 현실 물체(108)의 연직 위쪽에서 현실 물체(108)와 가상 물체(202)의 겹침 상태를 관찰하여 행하는 것이 바람직하다. 이것은, 현실 물체와 가상 물체가 수평위치와 연직축방향의 회전량 이외는 일치하고 있기 때문에, 현실 물체(108)의 연직 위쪽에서 보아 일치하고 있지 않는 수평위치와 연직축방향의 회전량만을 시인하는 것이 가능하기 때문이다.
S303에서 유저로부터의 일치 지시 입력이 검출되면, 시스템 제어부(101)는, 그 시점의 현실 물체(108)의 위치 자세 계측 값과 가상 물체(202)의 시스템상의 위치 자세값의 차분인 오프셋값을 기록한다(S307). 이에 따라, 이후 필요한 위치 자세 보정량을 확정하고, 캘리브레이션 처리가 종료한다.
이후의 처리에서, 현실 물체(108)의 이동을 수반하도록 가상 물체를 묘화할 때, 시스템상의 위치 자세값을 상기의 오프셋값에 의해 보정한 위치 자세값을 사용한다. 이에 따라, 가상 물체(202)는, 현실 물체(108)가 이동하거나 자세를 바꾸거나 하여도, 항상 현실 물체(108)와 완전히 중첩된 상태에서 유저에게 항상 관찰될 수 있다.
이상에서 설명한 바와 같이, 본 실시예에 의하면, 가동평면이 고정된 현실 물체와, 현실 물체의 가동평면 위에 위치하도록 묘화한 가상 물체가, 소정의 위치 관계에 관찰된 것을 나타내는 지시를 검출한다. 그리고, 이 지시가 있던 시점에서 의, 가상 물체의 위치 자세값과 현실 물체의 위치 자세값과의 차이를 취득하여, 현실 물체와 가상 물체와의 위치 차이를 보정하기 위한 보정값으로서 사용한다. 이러한 구성에 의해, 캘리브레이션 처리를 용이하고 정밀하게 행하는 것이 가능하게 된다.
이와는 달리, 본 발명에 의하면, 가동평면이 고정된 현실 물체와, 현실 물체의 가동평면 위에 위치하도록 묘화한 가상 물체가, 소정의 위치 관계를 만족시켰을 때의, 현실 물체의 위치 자세와 가상 물체의 위치 자세의 차이를 보정값으로서 취득한다. 그리고, 이 보정값은, 현실 물체의 소정 평면 상의 평행 이동과, 소정 평면에 직교하는 방향을 축으로 한 회전과의 조합으로 표현된다. 이러한 구성에 의해, 캘리브레이션 처리를 용이하고 정밀하게 행하는 것이 가능하게 된다.
또한 CG를 표시하는 경우에, 솔리드 모델과 와이어 프레임 모델에 의한 CG의 표시, 또는, 소정의 평면에 CG를 투영한 경우의 윤곽(그림자)을 표시하여도 된다. 이 경우, 가상 물체인 CG와 현실 물체의 겹치기가 용이해진다.
또한, CG의 형태를 유저의 지시에 의해, 변경하도록 하여도 된다.
<다른 실시예>
한편, 전술한 실시예의 기능을 실현하는 소프트웨어의 프로그램을, 기록매체로부터 직접, 또는 유선/무선통신을 사용해서 그 프로그램을 실행가능한 컴퓨터를 갖는 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터가 상기 공급된 프로그램을 실행함으로써 동등한 기능이 달성되는 경우도 본 발명의 범위에 포함한다.
따라서, 본 발명의 기능 처리를 컴퓨터로 실현하기 위해서, 상기 컴퓨터에 공급 및 인스톨되는 프로그램 코드 자체도 본 발명을 실현하는 것이다. 즉, 본 발명의 기능 처리를 실현하기 위한 컴퓨터 프로그램 자체도 본 발명의 범위에 포함된다.
이 경우, 프로그램의 기능을 가지고 있으면, 오브젝트 코드, 인터프리터에 의해 실행되는 프로그램, OS에 공급하는 스크립트 데이터 등, 프로그램의 임의의 형태에 포함되기도 한다.
프로그램을 공급하기 위한 기록매체로서는, 예를 들면, 플렉시블 디스크, 하드디스크, 자기테이프 등의 자기 기록매체, MO, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-R, DVD-RW 등의 광/광자기 기억매체, 불휘발성의 반도체 메모리 등이 있다.
유선/무선통신을 사용한 프로그램의 공급 방법으로서는, 컴퓨터 네트워크상의 서버에 본 발명을 형성하는 컴퓨터 프로그램 그 자체, 혹은 압축되어 자동 인스톨 기능을 포함하는 파일 등, 클라이언트 컴퓨터상에서 본 발명을 형성하는 컴퓨터 프로그램이 될 수 있는 데이터 파일(프로그램 데이터 파일)을 기억하고, 접속이 있었던 클라이언트 컴퓨터에 프로그램 데이터 파일을 다운로드하는 방법 등을 들 수 있다. 이 경우, 프로그램 데이터 파일을 복수의 세그먼트 파일로 분할하고, 세그먼트 파일을 다른 서버에 배치하는 것도 가능하다.
즉, 본 발명의 기능 처리를 실현하기 위한 프로그램 데이터 파일을 복수의 유저에 대하여 다운로드시키는 서버 장치도 본 발명의 범위에 포함한다.
또한, 본 발명의 프로그램을 암호화해서 CD-ROM 등의 기억매체에 저장하여 유저에게 배포하고, 소정의 조건을 만족시킨 유저에 대하여 암호화를 푸는 열쇠 정보를, 예를 들면 인터넷을 통해서 홈 페이지로부터 다운로드시켜서 공급하고, 그 열쇠 정보를 사용하는 것에 의해 암호화된 프로그램을 실행해서 컴퓨터에 인스톨시켜 실현하는 것도 가능하다.
또한, 컴퓨터가, 판독한 프로그램을 실행함으로써, 전술한 실시예의 기능이 실현되는 것 외, 그 프로그램의 지시에 근거하여, 컴퓨터상에서 가동하고 있는 OS 등이, 실제의 처리의 일부 또는 전부를 행하고, 그 처리에 의해서도 전술한 실시예의 기능이 실현될 수 있다.
또한, 기록매체로부터 판독된 프로그램이, 컴퓨터에 삽입된 기능 확장 보드나 컴퓨터에 접속된 기능 확장 유닛에 구비되는 메모리에 기록된 후, 그 프로그램의 지시에 근거하여, 그 기능 확장 보드나 기능 확장 유닛에 구비되는 CPU 등이 실제의 처리의 일부 또는 전부를 행하고, 그 처리에 의해도 전술한 실시예의 기능이 실현될 수 있다.
본 발명의 실시예를 본 발명의 사상 및 범위를 벗어나지 않고 다수로 아주 다양하게 서로 다르게 할 수 있으므로, 본 발명은 첨부된 청구항에 기재된 것 이외의 본 발명의 특정 실시예들에 한정되지 않는다는 것을 알 수 있을 것이다.
이상과 같은 본 발명은, 캘리브레이션 처리에 필요로 하는 시간을 단축함과 아울러, 캘리브레이션 처리를 용이하게 할 수 있다.

Claims (12)

  1. 현실 물체와, 그 현실 물체를 촬영한 화상 위에 중첩하는 가상 물체와의 위치 자세 차이를 보정하기 위한 보정값을 취득하는 캘리브레이션 방법으로서,
    상기 현실 물체의 위치 자세를 계측하는 계측공정과,
    상기 계측공정에서 계측된 상기 현실 물체의 위치 자세에 근거하여, 상기 현실 물체가 이동가능한 좌표를 미리 아는 평면 위에 상기 현실 물체와 동일한 크기 및 형상을 갖는 가상 물체가 존재하는 것으로서, 상기 가상 물체의 화상을 생성하는 가상 물체 생성공정과,
    상기 현실 물체를 촬영한 영상에, 상기 가상 물체의 화상을 중첩한 합성 화상을 표시하는 표시공정과,
    상기 합성 화상에서의 상기 현실 물체의 위치 자세와 상기 가상 물체의 위치 자세의 차이를 보정하기 위한 보정값의 취득의 지시를 접수하는 접수공정과,
    상기 지시에 따라, 상기 현실 물체의 상기 평면상의 평행 이동과 상기 평면에 직교하는 방향을 축으로 한 회전에 의해 표현되는 상기 보정값을 취득하는 취득공정을 갖는 것을 특징으로 하는 캘리브레이션 방법.
  2. 제 1 항에 있어서,
    상기 보정값의 취득의 지시가, 상기 합성 화상의 관찰자가 입력하는 신호이고,
    상기 취득공정이, 상기 가상 물체와 상기 현실 물체의 윤곽의 위치가 일치하도록 보이는 관계에 있는 것으로서, 상기 보정값을 취득하는 것을 특징으로 하는 캘리브레이션 방법.
  3. 현실 물체와, 그 현실 물체를 촬영한 화상 위에 중첩하는 가상 물체와의 위치 자세 차이를 보정하기 위한 보정값을 취득하는 캘리브레이션 방법으로서,
    이동가능한 현실 물체의 위치와 자세를 계측하는 제1의 계측공정과,
    상기 현실 물체를, 관찰자가 장착하는 머리 부분 장착형 표시장치에 설치한 카메라에 의해 촬영하는 촬영공정과,
    상기 카메라의 위치 자세를 측정하는 제2의 계측공정과,
    상기 제2의 계측공정에서 계측한 위치 자세에 근거하여, 상기 현실 물체와 동일한 크기 및 형상을 갖는 가상 물체를, 그 가상 물체가 미리 정한 평면 위에 존재하는 것으로서 상기 관찰자에게 관찰되도록 묘화하는 가상 물체 생성공정과,
    상기 묘화된 가상 물체와 상기 카메라가 촬영하는 화상을 합성해서 상기 머리 부분 장착형 표시장치에 표시시키는 합성 표시공정과,
    관찰자에 의한, 상기 현실 물체와 상기 가상 물체의 윤곽의 위치가 일치하도록 보이는 것을 나타내는 지시를 검출하는 검출공정과,
    상기 지시가 검출된 시점에서의 상기 현실 물체의 위치 자세와, 상기 가상 물체의 위치 자세에 있어서, 수평위치의 차분과 연직축방향의 회전 차분의 합계를 상기 보정값으로서 취득하는 취득공정을 갖고,
    상기 가상 물체 생성공정에서는, 상기 제1의 계측 공정에서 계측된 위치 자세에 근거하여, 상기 가상 물체를 상기 평면상에서 이동 및/또는 회전시킨 상태에서 묘화하는 것을 특징으로 하는 캘리브레이션 방법.
  4. 제 3 항에 있어서,
    상기 미리 정한 평면이 수평면이고, 상기 평면에 직교하는 방향이 연직방향인 것을 특징으로 하는 캘리브레이션 방법.
  5. 제 3 항에 있어서,
    상기 가상 물체 생성공정이, 상기 현실 물체의 위치 자세에 맞춰서 상기 가상 물체를 묘화하는 것을 특징으로 하는 캘리브레이션 방법.
  6. 제 3 항에 있어서,
    상기 취득한 보정값을 사용해서 보정한 위치 자세를 사용하여 상기 가상 물체를 다시 묘화하고,
    상기 현실 물체를 촬영한 영상에 상기 다시 묘화한 상기 가상 물체의 화상을 중첩한 합성화상을 표시하는 재표시공정을 더 갖는 것을 특징으로 하는 캘리브레이션 방법.
  7. 현실 물체와, 그 현실 물체를 촬영한 화상 위에 중첩하는 가상 물체와의 위치 자세 차이를 보정하기 위한 보정값을 취득하는 캘리브레이션 장치로서,
    상기 현실 물체의 위치 자세를 계측하는 계측부와,
    상기 계측부에서 계측된 상기 현실 물체의 위치 자세에 근거하여, 상기 현실 물체가 이동가능한 좌표를 미리 아는 평면 위에 상기 현실 물체와 동일한 크기 및 형상을 갖는 가상 물체가 존재하는 것으로서, 상기 가상 물체의 화상을 생성하는 가상 물체 생성부와,
    상기 현실 물체를 촬영한 영상에, 상기 가상 물체의 화상을 중첩한 합성 화상을 표시하는 표시부와,
    상기 합성 화상에서의 상기 현실 물체의 위치 자세와 상기 가상 물체의 위치 자세의 차이를 보정하기 위한 보정값의 취득의 지시를 접수하는 접수부와,
    상기 지시에 따라, 상기 현실 물체의 상기 평면상의 평행이동과 상기 평면에 직교하는 방향을 축으로 한 회전에 의해 표현되는 상기 보정값을 취득하는 취득부를 갖는 것을 특징으로 하는 캘리브레이션 장치.
  8. 제 7 항에 있어서,
    상기 보정값의 취득의 지시가, 상기 합성 화상의 관찰자가 입력하는 신호이고,
    상기 취득부가, 상기 가상 물체와 상기 현실 물체의 윤곽의 위치가 일치하도록 보이는 관계에 있는 것으로서, 상기 보정값을 취득하는 것을 특징으로 하는 캘리브레이션 장치.
  9. 현실 물체와, 그 현실 물체를 촬영한 화상 위에 중첩하는 가상 물체와의 위치 자세 차이를 보정하기 위한 보정값을 취득하는 캘리브레이션 장치로서,
    이동가능한 현실 물체의 위치와 자세를 계측하는 제1의 계측부와,
    상기 현실 물체를, 관찰자가 장착하는 머리 부분 장착형 표시장치에 설치한 카메라에 의해 촬영하는 촬영부와,
    상기 카메라의 위치 자세를 측정하는 제2의 계측부와,
    상기 제2의 계측부에서 계측한 위치 자세에 근거하여, 상기 현실 물체와 동일한 크기 및 형상을 갖는 가상 물체를, 그 가상 물체가 미리 정한 평면 위에 존재하는 것으로서 상기 관찰자에게 관찰되도록 묘화하는 가상 물체 생성부와,
    상기 묘화된 가상 물체와 상기 카메라가 촬영하는 화상을 합성해서 상기 머리 부분 장착형 표시장치에 표시시키는 합성 표시부와,
    관찰자에 의한, 상기 현실 물체와 상기 가상 물체의 윤곽의 위치가 일치하도록 보이는 것을 나타내는 지시를 검출하는 검출부와,
    상기 지시가 검출된 시점에서의 상기 현실 물체의 위치 자세와, 상기 가상 물체의 위치 자세에 있어서, 수평위치의 차분과 연직축방향의 회전 차분의 합계를 상기 보정값으로서 취득하는 취득부를 갖고,
    상기 가상 물체 생성부가, 상기 제1의 계측부에 의해 계측된 위치 자세에 근거하여, 상기 가상 물체를 평면상에서 이동 및/또는 회전시킨 상태에서 묘화하는 것을 특징으로 하는 캘리브레이션 장치.
  10. 제 9 항에 있어서,
    상기 미리 정한 평면이 수평면이고, 상기 평면에 직교하는 방향이 연직방향인 것을 특징으로 하는 캘리브레이션 장치.
  11. 제 9 항에 있어서,
    상기 가상 물체 생성부는, 상기 현실 물체의 위치 자세에 맞춰서 상기 가상 물체를 묘화하는 것을 특징으로 하는 캘리브레이션 장치.
  12. 제 9 항에 있어서,
    상기 취득한 보정값을 사용해서 보정한 위치 자세를 사용하여 상기 가상 물체를 다시 묘화하고,
    상기 현실 물체를 촬영한 영상에 상기 다시 묘화한 상기 가상 물체의 화상을 중첩한 합성화상을 표시하는 재표시부를 더 갖는 것을 특징으로 하는 캘리브레이션 장치.
KR1020060030034A 2005-04-01 2006-04-03 캘리브레이션 방법 및 장치 KR100823649B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00106792 2005-04-01
JP2005106792A JP4726194B2 (ja) 2005-04-01 2005-04-01 キャリブレーション方法及び装置

Publications (2)

Publication Number Publication Date
KR20060106773A KR20060106773A (ko) 2006-10-12
KR100823649B1 true KR100823649B1 (ko) 2008-04-21

Family

ID=36405983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060030034A KR100823649B1 (ko) 2005-04-01 2006-04-03 캘리브레이션 방법 및 장치

Country Status (6)

Country Link
US (1) US7542051B2 (ko)
EP (1) EP1708139B1 (ko)
JP (1) JP4726194B2 (ko)
KR (1) KR100823649B1 (ko)
CN (1) CN100426198C (ko)
DE (1) DE602006020651D1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108099A (ko) * 2014-03-17 2015-09-25 에스케이플래닛 주식회사 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150108556A (ko) * 2014-03-18 2015-09-30 에스케이플래닛 주식회사 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868904B2 (en) * 2005-04-01 2011-01-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP4667111B2 (ja) * 2005-04-21 2011-04-06 キヤノン株式会社 画像処理装置、画像処理方法
JP4914123B2 (ja) * 2005-07-15 2012-04-11 キヤノン株式会社 画像処理装置及び方法
DE102007045834B4 (de) 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045835B4 (de) * 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
FR2933218B1 (fr) * 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
JP2010033367A (ja) * 2008-07-29 2010-02-12 Canon Inc 情報処理装置及び情報処理方法
KR100941749B1 (ko) * 2008-08-25 2010-02-11 에이알비전 (주) 증강 현실 장치 및 가상 이미지 합성 방법
GB0915589D0 (en) * 2009-09-07 2009-10-07 Sony Comp Entertainment Europe Image processing method, apparatus and system
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
JP5732988B2 (ja) 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、表示制御方法及びプログラム
US9188973B2 (en) 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
JP5838747B2 (ja) * 2011-11-11 2016-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
DE102011122206A1 (de) 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
US10444845B2 (en) * 2012-12-21 2019-10-15 Qualcomm Incorporated Display of separate computer vision based pose and inertial sensor based pose
EP2967297B1 (en) * 2013-03-15 2022-01-05 Synaptive Medical Inc. System for dynamic validation, correction of registration for surgical navigation
JP5796726B2 (ja) * 2013-03-29 2015-10-21 コニカミノルタ株式会社 ジョブ情報表示装置
US8922589B2 (en) 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US20150077340A1 (en) * 2013-09-18 2015-03-19 Genius Toy Taiwan Co., Ltd. Method, system and computer program product for real-time touchless interaction
JP6033209B2 (ja) * 2013-12-11 2016-11-30 三菱電機株式会社 携帯用端末装置
DE102014009699B4 (de) * 2014-06-26 2022-05-19 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung
CN106796447A (zh) * 2014-07-31 2017-05-31 惠普发展公司，有限责任合伙企业 安置在可移动表面上的对象的模型数据
GB2529682A (en) 2014-08-29 2016-03-02 Bae Systems Plc Image display
GB2529683A (en) * 2014-08-29 2016-03-02 Bae Systems Plc Image display
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
CN105719299A (zh) * 2016-01-22 2016-06-29 吉林大学 分离的计算机视觉位置及方向与惯性传感器位置及方向的显示
CN105788003A (zh) * 2016-03-09 2016-07-20 深圳市瑞立夫网络科技有限公司 虚拟场景与现实场景的无缝对接方法
CN109215076A (zh) * 2017-07-05 2019-01-15 上海宝冶集团有限公司 应用混合现实技术的模型与实体间的定位校准方法
US10235774B1 (en) 2017-11-14 2019-03-19 Caterpillar Inc. Method and system for calibration of an image capturing device mounted on a machine
JP2019185475A (ja) * 2018-04-12 2019-10-24 富士通株式会社 特定プログラム、特定方法及び情報処理装置
US11825230B2 (en) * 2020-02-14 2023-11-21 Canon Kabushiki Kaisha Imaging apparatus and storage medium
WO2023049086A2 (en) * 2021-09-22 2023-03-30 Veyezer, Llc Holographic real space refractive system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990042072A (ko) * 1997-11-25 1999-06-15 정선종 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
CN1242851A (zh) * 1996-12-29 2000-01-26 网上冲浪有限公司 互动虚拟现实系统的基于模型的景像外推
US6025839A (en) * 1997-06-06 2000-02-15 International Business Machines Corp. Method for displaying information in a virtual reality environment
US6094625A (en) * 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
JP3413127B2 (ja) 1999-06-11 2003-06-03 キヤノン株式会社 複合現実感装置及び複合現実感提示方法
US6898307B1 (en) * 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
JP3631151B2 (ja) * 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US7274380B2 (en) * 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US7138963B2 (en) * 2002-07-18 2006-11-21 Metamersion, Llc Method for automatically tracking objects in augmented reality
JP2004126869A (ja) * 2002-10-01 2004-04-22 Canon Inc 位置姿勢設定器具及び変換パラメータ設定方法並びに複合現実感システム
US6867753B2 (en) * 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
US7120875B2 (en) * 2002-10-29 2006-10-10 X-Labs Holdings, Llc Method and apparatus for augmented reality hybrid tracking system with fiducial-based heading correction
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
US7369101B2 (en) 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
JP4401727B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
JP4401728B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
US7474318B2 (en) * 2004-05-28 2009-01-06 National University Of Singapore Interactive system and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990042072A (ko) * 1997-11-25 1999-06-15 정선종 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108099A (ko) * 2014-03-17 2015-09-25 에스케이플래닛 주식회사 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102256057B1 (ko) 2014-03-17 2021-05-25 에스케이플래닛 주식회사 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150108556A (ko) * 2014-03-18 2015-09-30 에스케이플래닛 주식회사 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체
KR102221152B1 (ko) * 2014-03-18 2021-02-26 에스케이플래닛 주식회사 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체

Also Published As

Publication number Publication date
US7542051B2 (en) 2009-06-02
JP4726194B2 (ja) 2011-07-20
EP1708139A2 (en) 2006-10-04
DE602006020651D1 (de) 2011-04-28
EP1708139A3 (en) 2008-11-19
KR20060106773A (ko) 2006-10-12
JP2006285787A (ja) 2006-10-19
CN100426198C (zh) 2008-10-15
EP1708139B1 (en) 2011-03-16
US20060221098A1 (en) 2006-10-05
CN1841272A (zh) 2006-10-04

Similar Documents

Publication Publication Date Title
KR100823649B1 (ko) 캘리브레이션 방법 및 장치
US8350897B2 (en) Image processing method and image processing apparatus
AU2018389234B2 (en) Method for calibrating an augmented reality device
JP2022040219A (ja) 拡張現実データを記録するための手法
CN105144249B (zh) 零件安装作业支持系统及零件安装方法
US20170018072A1 (en) Information processing apparatus and method
US7627137B2 (en) Image composition system, image composition method, and image composition apparatus
US8633871B2 (en) Image processing apparatus and image processing method
US9696543B2 (en) Information processing apparatus and information processing method
JP2006285788A (ja) 複合現実感情報生成装置および方法
JP2007042055A (ja) 画像処理方法、画像処理装置
JP4847195B2 (ja) 画像からの色情報の取得方法
JP2002159019A (ja) 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
JP6295296B2 (ja) 複合システム及びターゲットマーカ
JP2006012042A (ja) 画像生成方法及び装置
JP2008046749A (ja) 画像処理方法および装置
JP4926598B2 (ja) 情報処理方法、情報処理装置
JP4810403B2 (ja) 情報処理装置、情報処理方法
JP4630647B2 (ja) 画像提示方法及び情報処理装置
JP2009015648A (ja) 画像処理装置、画像処理方法
JP2006252059A (ja) 画像処理方法、画像処理装置
JP2005165974A (ja) 画像処理方法、画像処理装置
JP2006268351A (ja) 画像処理方法、画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130320

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170324

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180326

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190411

Year of fee payment: 12