KR102255031B1 - 부정합 검출 시스템, 복합 현실 시스템, 프로그램 및 부정합 검출 방법 - Google Patents

Abstract

복합 현실 시스템에 있어서, 기하학적 부정합을 검출할 수 있는 시스템을 제공한다. 본 발명은, 투과형의 표시부 및 실 공간을 촬영하는 촬영부를 가지는 휴대 가능한 표시 장치를 구비하고, 소정의 실 공간 내에서 가상 오브젝트를 표시부에 묘화하여 유저에게 시인시키는 복합 현실 시스템에 있어서의 부정합 검출 시스템이며, 복합 현실 시스템은, 3 차원 공간 데이터를 기억하는 수단과, 유저 환경을 결정하는 수단과, 유저 환경에 기초하여 표시부에 가상 오브젝트를 묘화하는 수단을 구비하는 것이며, 육안 시야 화상에 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터 제1 점군 데이터를 생성하고, 결정된 유저 환경에 있어서의 3 차원 공간의 점군 데이터 및 가상 오브젝트의 점군 데이터를 이용하여 제2 점군 데이터를 생성하고, 제1 점군 데이터 및 제2 점군 데이터의 비교 결과에 기초하여 부정합을 검출하는 부정합 검출 시스템이다.

Description

부정합 검출 시스템, 복합 현실 시스템, 프로그램 및 부정합 검출 방법

본 발명은, 부정합 검출 시스템 등에 관한 것이며, 특히, 소정의 실 공간 내에 있는 유저에 대하여 복합 현실감을 체감시킬 수 있는 복합 현실 시스템에 있어서의 부정합 검출 시스템 등에 관한 것이다.

최근, 현실 세계와 가상 세계를 리얼타임 및 심리스로 융합시키는 기술로서 복합 현실감, 이른바 MR(Mixed　Reality) 기술이 알려져 있다. MR 기술은, 이를 체험하는 유저에 대하여, 마치 그 자리에 가상의 물체가 존재하는 듯한 체험을 하게할 수 있으므로, 다양한 분야에서 주목을 모으고 있다. 유저는, 광학 시스루형 HMD(Head　Mounted　Display) 또는 비디오 시스루형 HMD를 장착함으로써, HMD에 중첩 표시된 복합 현실 화상을 확인할 수 있어, 복합 현실감을 체험할 수 있다.

현실 세계를 3D 공간으로서 인식하는 기술로서는, 유저 시점의 고정밀도의 카메라를 탑재하는 수법과, 관측 대상 공간을 둘러싸도록 카메라를 설치하는 수법의 두가지가 알려져 있다.

유저 시점의 고정밀도의 카메라를 탑재하는 수법으로서는, 적외선 프로젝터와, 적외선 카메라를 이용하는 수법이 있다. 예를 들면, 유저 시점의 고정밀도의 카메라를 탑재하는 수법으로서는, 적외선을 조사하고, 그 반사 패턴의 일그러짐으로부터, 물체의 심도를 계측하는 수법이 있다. 또한, Time　of　Flight법(TOF법)으로 불리우는 수법으로는, 적외선 등의 불가시광을 조사하고, 그 반사 결과를 계측함으로써, 대상물까지의 왕복의 거리를 산출하는 수법이 있다. 이러한 방식은, 3 차원화할 수 있는 공간이 적외선의 도달 범위로 한정되고, 또한 태양 효과에서 사용할 수 없다고 하는 문제점이 있다.

또한, 매우 고정밀도의 3 차원 정보를 촬영하는 수법으로서는, 3D 레이저 스캐너를 이용하는 방식이 있다. 본 방식은, 높은 측정 정밀도를 실현할 수 있으나, 360 도의 측정을 행하기 위하여, 가장 낮으면 10 분 정도, 표준 화질로 30 분간 정도의 시간을 필요로 한다. 따라서, 리얼타임의 용도에는 적용할 수 없다. 또한, 3D 레이저 스캐너는, 한 대가 수백 내지 수천만엔으로 매우 고가이고, 광역으로 대량 배치하기엔 적합치 않다. 3D 레이저 스캐너는 이상과 같은 특성으로부터, 토목에 있어서의 측량 또는 공장 내의 레이아웃 확인 등의, 장시간에 걸쳐 고정밀도의 3D화를 행하는 용도에 이용되고 있다. 예를 들면, 특허 문헌 1은, 3D 이미지 스캐너로 스캔하여 작성한 점군 데이터에 대하여, 카메라로 촬영한 화상의 색을 부여함으로써, 현실 세계를 3D 공간으로서 인식하는 기술을 실현하고 있다.

관측 대상 공간을 둘러싸도록 카메라를 설치하는 수법으로서는, 비특허 문헌 1에 도시한 Structure-from-Motion(SfM)이라고 불리우는 기술을 이용하여, 복수의 뿔뿔이 흩어지게 촬영된 화상으로부터, 원래의 3 차원 정보를 복원하는 방식을 들 수 있다. 이 방식을 채용하는 대표적인 제품으로서는, Microsoft　Photosynth(등록 상표)가 있다. SfM가 실현되는 정밀도는, MR 기술이 요구하는 정밀도와의 비교에 있어서는 상대적으로 낮지만, 염가로 3D 모델을 구축할 수 있는 방식이다. 그러나, 리얼타임성은 낮으며, 그대로는 MR 환경의 실현에 적용할 수는 없다.

상술한 대로, 이러한 수법으로는, 리얼타임성과 고정밀도의 측정을 동시에 실현할 수 없다.

특허문헌 1: 일본 특허 공개 공보 제2013-69235호 공보

비특허 문헌 1: Sameer Agarwal, Yasutaka Furukawa, Noah Snavely, Ian Simon, Brian Curless, Steven M.Seitz, and Richard Szeliski. 2011. Building Rome in a day. Commun. ACM 54, 10 (October 2011), 105-112. DOI=http://dx.doi.org/10.1145/2001269.2001293

상술한대로, 현실 세계의 구조나 환경을 리얼타임 및 고정밀도로 인식하고 그것을 가상 공간에 반영하는 방법은 아직도 확립되어 있지 않다. 이러한 상황에 있어서, 본 출원인은, 일본 특허 출원 제2016-121928호에 있어서, 복합 현실 환경에서 실 공간의 환경을 리얼타임으로 인식할 수 있는 복합 현실 시스템을 제안하고 있다.

해당 복합 현실 시스템은, 실 공간과 매우 높은 정밀도로 일치하는 구조 및 색채를 가지는 고정밀도의 3 차원 가상 공간을 생성하고, 이에 의하여, 현실 세계의 빛의 상태를 이용한 글로벌 일루미네이션을 실현하며, 또한, 유저의 고정밀도의 포지션 트랙킹을 실현한다.

여기서, 해당 복합 현실 시스템의 주 목적의 하나는, 가상 공간의 물체(가상 오브젝트)와, 실 공간의 지면 또는 건물 등의 물체(실 오브젝트)가 거의 정확하게 접촉하는, 연결 고리가 없는 복합 현실 공간을 유저에게 제공하는 것이다.

상기와 같은 복합 현실 시스템을 실현하기 위해서는, 가상 오브젝트와, 실 오브젝트를 바르게 중첩시키는 기하학적 정합성을, HMD의 현재 위치나 이동에 맞추어 리얼타임으로 유지하는 것이 필요해진다. 특히, 가상적인 캐릭터(가상 오브젝트)로서, 지면에 서거나 물체에 접촉하는 인간 또는 동물을 표시할 때의, 경계선 처리(얼라인먼트 처리)의 완전성, 즉, 기하학적 정합성은, 가상 오브젝트에 리얼리티를 부여함에 있어서 매우 중요하다.

그러나, 광학 시스루형 HMD에서는, 가상 오브젝트를 중첩하는 대상으로서의 실 오브젝트를 영상(화상) 처리의 대상으로 하는 것은 불가능하며, 단순한 광학적인 중첩밖에 할 수 없으므로, 얼라인먼트 처리의 완전성을 담보하는 것은 매우 어렵다. 얼라인먼트 처리의 완전성(기하학적 정합성)은 유저의 포지션 트랙킹의 정밀도에 의존하는 것이지만, 가상 오브젝트와 실 오브젝트와의 기하학적 부정합은, 포지션 트랙킹의 오차의 누적 등에 의해 발생하는 것이다. 그러나, 복합 현실 시스템에 있어서의 포지션 트랙킹에 사용되는 자기 위치 추정 기술 단체에서는, 기하학적 부정합을 발생시키는, 수 센치 단위의 인식 오차를 자기 검출(자기 진단)하는 것은 불가능하다고 하는 문제가 있었다.

본 발명은, 이러한 과제를 해결하기 위하여 이루어진 것이며, 광학 시스루형 HMD를 이용한 복합 현실 시스템에 있어서, 가상 공간의 물체와, 실 공간의 물체와의 기하학적 정합성에 모순이 발생했을 때에 부정합을 검출할 수 있는 부정합 검출 시스템을 제공하는 것을 주 목적으로 한다.

상기의 목적을 달성하기 위하여, 본 발명의 일 태양으로서의 부정합 검출 시스템은, 유저에 대하여 가상 오브젝트를 표시하기 위한 투과형의 표시부 및 실 공간을 촬영하는 촬영부를 가지는 휴대 가능한 표시 장치를 구비하고, 소정의 실 공간 내에서 가상 오브젝트를 상기 표시부에 묘화함으로써, 상기 표시부를 통해 실 공간에 대하여 가상 오브젝트를 중첩하여 유저에게 시인시키는 복합 현실 시스템에 있어서의 부정합 검출 시스템이며, 상기 복합 현실 시스템은, 미리 취득된 상기 소정의 실 공간 내에 있는 실 오브젝트의 점군 데이터이며, 각각이 3 차원 위치 정보를 가지는 점군 데이터를 포함하는 3 차원 공간 데이터를 기억하는 3 차원 공간 데이터 기억 수단과, 상기 표시 장치가 구비하는 센서로부터 취득된 데이터 및 상기 3 차원 공간 데이터에 기초하여 상기 표시 장치의 위치 및 상기 표시부를 통해 유저가 시인하는 시계(視界) 영역을 포함하는 유저 환경을 결정하는 유저 환경 결정 수단과, 상기 유저 환경에 기초하여 상기 표시부에 가상 오브젝트를 묘화하는 묘화 수단을 구비하는 것이며, 상기 촬영된 실 공간 화상으로부터 생성된 상기 표시부를 통해 유저가 시인하는 실 공간 화상에 상기 묘화 수단에 의해 묘화되는 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터, 실 오브젝트 및 가상 오브젝트의 점군 데이터인 제1 점군 데이터를 생성하는 제1 점군 데이터 생성 수단과, 상기 유저 환경 결정 수단에 의해 결정된 상기 시계 영역에 있어서의 상기 3 차원 공간 데이터 기억 수단에 의해 기억된 점군 데이터 및 상기 묘화 수단에 의해 묘화되는 가상 오브젝트의 점군 데이터를 이용하여 제2 점군 데이터를 생성하는 제2 점군 데이터 생성 수단과, 상기 제1 점군 데이터 및 상기 제2 점군 데이터의 비교 결과에 기초하여 부정합을 검출하는 부정합 검출 수단을 구비하는 것을 특징으로 한다.

또한, 본 발명에 있어서, 바람직하게는, 상기 촬영부는, 실 공간을 스테레오 화상으로서 취득하는 것이며, 제1 점군 데이터 생성 수단은, 상기 스테레오 화상으로서 취득된 두 개의 실 공간 화상으로부터 각각 생성된 상기 표시부를 통해 유저가 시인하는 각 실 공간 화상에 상기 묘화 수단에 의해 묘화되는 가상 오브젝트를 각각 중첩 표시함으로써 얻어지는 각 합성 화상으로부터 상기 제1 점군 데이터를 생성한다.

또한, 본 발명에 있어서, 바람직하게는, 상기 제1 점군 데이터 생성 수단은, 상기 촬영된 실 공간 화상을, 상기 표시부와, 상기 촬상부의 위치 관계에 기초하여 투영 변환함으로써 상기 표시부를 통해 유저가 시인하는 실 공간 화상을 생성한다.

또한, 본 발명에 있어서, 바람직하게는, 상기 부정합 검출 수단은, 상기 제1 점군 데이터 및 상기 제2 점군 데이터의 차가 소정량을 초과한 경우에 부정합을 검출한다.

또한, 본 발명에 있어서, 바람직하게는, 상기 부정합 검출 수단은, 상기 유저 환경에 기초하여 묘화되는 가상 오브젝트를 포함하는 소정의 3 차원 공간 영역에 있어서, 상기 제1 점군 데이터 및 상기 제2 점군 데이터의 차가 소정량을 초과한 경우에 부정합을 검출한다.

또한, 상기의 목적을 달성하기 위하여, 본 발명의 일 태양으로서의 복합 현실 시스템은, 서버와, 유저에 대하여 가상 오브젝트를 표시하기 위한 투과형의 표시부 및 실 공간을 촬영하는 촬영부를 가지는 휴대 가능한 표시 장치를 구비하고, 소정의 실 공간 내에서 가상 오브젝트를 상기 표시부에 묘화함으로써, 상기 표시부를 통해 실 공간에 대하여 가상 오브젝트를 중첩하여 유저에게 시인시키는 복합 현실 시스템이며, 미리 취득된 상기 소정의 실 공간 내에 있는 실 오브젝트의 점군 데이터이며, 각각이 3 차원 위치 정보를 가지는 점군 데이터를 포함하는 3 차원 공간 데이터를 기억하는 3 차원 공간 데이터 기억 수단과, 상기 표시 장치가 구비하는 센서로부터 취득된 데이터 및 상기 3 차원 공간 데이터에 기초하여 상기 표시 장치의 위치 및 상기 표시부를 통해 유저가 시인하는 시계 영역을 포함하는 유저 환경을 결정하는 유저 환경 결정 수단과, 상기 유저 환경에 기초하여 상기 표시부에 가상 오브젝트를 묘화하는 묘화 수단과, 상기 촬영된 실 공간 화상으로부터 생성된 상기 표시부를 통해 유저가 시인하는 실 공간 화상에 상기 묘화 수단에 의해 묘화되는 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터, 실 오브젝트 및 가상 오브젝트의 점군 데이터인 제1 점군 데이터를 생성하는 제1 점군 데이터 생성 수단과, 상기 유저 환경 결정 수단에 의해 결정된 상기 시계 영역에 있어서의 상기 3 차원 공간 데이터 기억 수단에 의해 기억된 점군 데이터 및 상기 묘화 수단에 의해 묘화되는 가상 오브젝트의 점군 데이터를 이용하여 제2 점군 데이터를 생성하는 제2 점군 데이터 생성 수단과, 상기 제1 점군 데이터 및 상기 제2 점군 데이터의 비교 결과에 기초하여 부정합을 검출하는 부정합 검출 수단의 각 수단을 상기 서버 또는 상기 표시 장치가 구비하는 것을 특징으로 한다.

또한, 상기의 목적을 달성하기 위하여, 본 발명의 일 태양으로서의 프로그램은, 유저에 대하여 가상 오브젝트를 표시하기 위한 투과형의 표시부 및 실 공간을 촬영하는 촬영부를 가지는 휴대 가능한 표시 장치를 구비하고, 소정의 실 공간 내에서 가상 오브젝트를 상기 표시부에 묘화함으로써, 상기 표시부를 통해 실 공간에 대하여 가상 오브젝트를 중첩하여 유저에게 시인시키는 복합 현실 시스템에 있어서 부정합을 검출하기 위한 프로그램이며, 상기 복합 현실 시스템은, 미리 취득된 상기 소정의 실 공간 내에 있는 실 오브젝트의 점군 데이터이며, 각각이 3 차원 위치 정보를 가지는 점군 데이터를 포함하는 3 차원 공간 데이터를 기억하는 3 차원 공간 데이터 기억 수단과, 상기 표시 장치가 구비하는 센서로부터 취득된 데이터 및 상기 3 차원 공간 데이터에 기초하여 상기 표시 장치의 위치 및 상기 표시부를 통해 유저가 시인하는 시계 영역을 포함하는 유저 환경을 결정하는 유저 환경 결정 수단과, 상기 유저 환경에 기초하여 상기 표시부에 가상 오브젝트를 묘화하는 묘화 수단을 구비하는 것이며, 상기 프로그램은, 상기 표시 장치에, 상기 촬영된 실 공간 화상으로부터 생성된 상기 표시부를 통해 유저가 시인하는 실 공간 화상에 상기 묘화 수단에 의해 묘화되는 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터, 실 오브젝트 및 가상 오브젝트의 점군 데이터인 제1 점군 데이터를 생성하는 단계와, 상기 유저 환경 결정 수단에 의해 결정된 상기 시계 영역에 있어서의 상기 3 차원 공간 데이터 기억 수단에 의해 기억된 점군 데이터 및 상기 묘화 수단에 의해 묘화되는 가상 오브젝트의 점군 데이터를 이용하여 제2 점군 데이터를 생성하는 단계와, 상기 제1 점군 데이터 및 상기 제2 점군 데이터의 비교 결과에 기초하여 부정합을 검출하는 단계를 실행시키는 것을 특징으로 한다.

또한, 상기의 목적을 달성하기 위하여, 본 발명의 일 태양으로서의 부정합 검출 방법은, 유저에 대하여 가상 오브젝트를 표시하기 위한 투과형의 표시부 및 실 공간을 촬영하는 촬영부를 가지는 휴대 가능한 표시 장치를 구비하고, 소정의 실 공간 내에서 가상 오브젝트를 상기 표시부에 묘화함으로써, 상기 표시부를 통해 실 공간에 대하여 가상 오브젝트를 중첩하여 유저에게 시인시키는 복합 현실 시스템에 있어서의 부정합 검출 방법이며, 상기 복합 현실 시스템은, 미리 취득된 상기 소정의 실 공간 내에 있는 실 오브젝트의 점군 데이터이며, 각각이 3 차원 위치 정보를 가지는 점군 데이터를 포함하는 3 차원 공간 데이터를 기억하는 3 차원 공간 데이터 기억 수단과, 상기 표시 장치가 구비하는 센서로부터 취득된 데이터 및 상기 3 차원 공간 데이터에 기초하여 상기 표시 장치의 위치 및 상기 표시부를 통해 유저가 시인하는 시계 영역을 포함하는 유저 환경을 결정하는 유저 환경 결정 수단과, 상기 유저 환경에 기초하여 상기 표시부에 가상 오브젝트를 묘화하는 묘화 수단을 구비하는 것이며, 상기 촬영된 실 공간 화상으로부터 생성된 상기 표시부를 통해 유저가 시인하는 실 공간 화상에 상기 묘화 수단에 의해 묘화되는 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터, 실 오브젝트 및 가상 오브젝트의 점군 데이터인 제1 점군 데이터를 생성하는 단계와, 상기 유저 환경 결정 수단에 의해 결정된 상기 시계 영역에 있어서의 상기 3 차원 공간 데이터 기억 수단에 의해 기억된 점군 데이터 및 상기 묘화 수단에 의해 묘화되는 가상 오브젝트의 점군 데이터를 이용하여 제2 점군 데이터를 생성하는 단계와, 상기 제1 점군 데이터 및 상기 제2 점군 데이터의 비교 결과에 기초하여 부정합을 검출하는 단계를 가지는 것을 특징으로 한다.

본 발명에 의하면, 광학 시스루형 HMD를 이용한 복합 현실 시스템에 있어서, 가상 공간의 물체와, 실 공간의 물체와의 기하학적 정합성에 모순이 발생했을 때에 부정합을 검출할 수 있다.

도 1은, 본 발명의 일 실시 형태에 따른 MR 시스템의 전체 구성도이다.
도 2은, 본 발명의 일 실시 형태에 따른 포지션 트랙킹의 개요를 나타내는 도면이다.
도 3은, 본 발명의 일 실시 형태에 따른 MR 시스템에 있어서 현실 세계의 벽에 가상 세계의 캐릭터가 기대는 상황을 나타내는 도면이다.
도 4는, 본 발명의 일 실시 형태에 따른 MR 시스템에 있어서 현실 세계의 벽에 가상 세계의 캐릭터가 기대는 상황을 나타내는 도면이다.
도 5은, 본 발명의 일 실시 형태에 따른 서버의 하드웨어 구성을 나타내는 블록도이다.
도 6은, 본 발명의 일 실시 형태에 따른 표시 장치의 하드웨어 구성을 나타내는 블록도이다.
도 7은, 본 발명의 일 실시 형태에 따른 HMD의 개략 구성도의 일실시예이다.
도 8은, 본 발명의 일 실시 형태에 따른 실 공간의 개관도이다.
도 9는, 도 8의 실 공간을 위에서 본 평면도이다.
도 10은, 도 8의 실 공간에서 취득된 점군 데이터에 의해 표현된 3 차원 공간 데이터이다.
도 11은, 도 10의 점군 데이터로부터 작성된 복셀에 의해 표현된 3 차원 공간 데이터이다.
도 12은, 본 발명의 일 실시 형태에 따른 MR 시스템의 기능 블록도이다.
도 13은, 본 발명의 일 실시 형태에 따른 제1 점군 데이터 및 제2 점군 데이터의 생성을 설명하는 개략도이다.
도 14은, 본 발명의 일 실시 형태에 따른 제1 점군 데이터 및 제2 점군 데이터의 생성을 설명하는 개략도이다.
도 15은, 본 발명의 일 실시 형태에 따른 부정합 검출 시스템의 기능 블록도이다.
도 16은, 본 발명의 일 실시 형태에 따른, MR 시스템에 있어서의 부정합을 검출하는 정보 처리를 나타내는 플로우차트이다.
도 17은, 본 발명의 일 실시 형태에 따른 실 공간의 개관도이다.

이하, 도면을 참조하여, 유저에 대하여 가상 공간과, 현실 공간을 융합한 복합 현실 공간을 제공하는 복합 현실(MR) 시스템, 및 해당 MR 시스템에 있어서의 부정합 검출 시스템에 대하여 설명한다. 또한, 각 도면에 있어서 동일한 부호는, 특별히 언급이 없는 한, 동일 또는 상당 부분을 나타내는 것으로 한다.

본 발명의 실시 형태에 따른 MR 시스템의 기술적 특징의 하나는, 해당 MR 시스템은 미리 정해진 실 공간(소정의 실 공간)에 있어서 실현되는 것이며, 실 공간과 매우 높은 정밀도로 일치하는 구조 및 색채를 가지는 고정밀도의 3 차원 가상 공간을 생성하는 것이다. 이에 의하여, 유저의 고정밀도의 포지션 트랙킹을 실현하는 것이 가능해진다.

도 2는, 유저가 있는 현실 세계(21)와, 3 차원 공간 데이터(DB)에 의해 구축되는 가상 세계(22)와, 이들을 매칭하여 생성된 MR 시스템에 있어서의 복합 현실 세계(MR 환경)(23)를 나타낸다. MR 환경(23)에 있어서, 일반적으로 유저는 HMD 등의 표시부를 가지는 장치를 장착한다. HMD에는 각종 센서 기기가 탑재되어 있으나, 현실 세계(21)의 구조를 고정밀도로 인식하고 그것을 가상 공간(22)에 반영하는 MR 환경(23)을 실현하기 위해서는, 종래 사용되는 센서의 계측 정밀도로는 충분하지 않다.

이에, 본 실시 형태의 MR 시스템은, 종래 사용되는 각종 센서로부터 얻어지는 대략적인 위치 정보와, 고정밀도의 가상 공간(22)과의 매칭을 행하고, 실 공간(21)과 가상 공간(22)에 있어서의 유저의 위치 또는 유저가 향하고 있는 방향의 차이를 리얼타임으로 보정한다. 종래 사용되는 각종 센서는, 예를 들면, 거리 센서, 화상 센서, 방향 센서, GPS 센서, Bluetooth(등록 상표) 비컨 등이다. 이에 의하여, 현실과, 고정밀도로 링크하는 MR 환경(23)을 실현하여, 유저의 포지션 트랙킹을 실현한다. 이러한 MR 환경(23)에 있어서는, 가상 세계(22)의 받침대(26) 위에 캐릭터(24)를 세우는 경우, 유저는 현실 세계(21)의 받침대(25) 위에 위화감없이 캐릭터(24)가 서있는 것을 시인할 수 있다. 또한, 받침대(26)는, MR 환경(23)에 있어서 가상 오브젝트로서 표시되는 것은 아니다.

전술한대로, 본 실시 형태의 MR 시스템에 있어서는, 가상 오브젝트를 표시할 때의 실 오브젝트(건물, 벤치 등)와의 기하학적 정합성(충돌 관계, 전후 관계, 어클루젼 등)은, 가상 오브젝트에 리얼리티를 부여함에 있어서 매우 중요하다. 예를 들면, 도 3 및 도 4는, 현실 세계(21)의 벽에 가상 세계(22)의 캐릭터(24)가 기대는 상황을 나타내는 것이다. 도 3에서는, 가상적인 캐릭터(가상 오브젝트)(24)의 팔이 과잉으로 벽(실 오브젝트)(27)에 매몰되어 있고, 도 4에서는, 가상적인 캐릭터(24)의 일부가 불필요하게 깎여져 버리고 있다. 이러한 표시는, 리얼리티를 현저히 해치므로 방지할 필요가 있다. 그러나, 상기의 포지션 트랙킹에 사용되는 자기 위치 추정 기술은, 3 차원 공간의 인식 에러를 자기 검출할 수 없다.

본 발명의 실시 형태에 따른 부정합 검출 시스템은, 예를 들면, 도 3 및 도 4와 같이, 가상 오브젝트와 실 오브젝트와의 기하학적 정합성에 모순이 발생했을 때에 부정합을 검출하는 것이다. 이하에 구체적인 구성을 설명하겠으나, 설명의 편의 상, 최초로 부정합 검출 시스템을 포함하는 MR 시스템에 대하여 설명한다.

도 1은, 본 발명의 실시 형태에 따른 MR 시스템(10)의 전체 구성도의 일예이다. 도 1에 도시한 바와 같이, MR 시스템(10)은, 서버(100)와, 하나 또는 복수의 표시 장치(200)와, 하나 또는 복수의 화상 취득 장치(300)를 포함한다. 서버(100), 표시 장치(200), 및 화상 취득 장치(300)는, 인터넷 등의 네트워크(50)에 접속되어 서로 통신 가능하다. 또한, 화상 취득 장치(300)는, MR 시스템(10)에 있어서, 실 오브젝트의 음영과 가상 오브젝트가 위화감없이 표시되는 광학적 정합성을 리얼타임으로 유지하기 위하여 필요한 장치이다. 그 때문에, 본 발명의 실시 형태에 따른 MR 시스템(10)은, 화상 취득 장치(300)를 포함하지 않아도 된다.

MR 시스템(10)은, 서버-클라이언트 시스템을 상정하고 있고, 바람직하게는, 표시 장치(200)와 화상 취득 장치(300)는 서버(100)와만 통신을 행한다. 단, PtoP와 같은 서버가 없는 시스템으로 구성할 수도 있다.

MR 시스템(10)은, 소정의 실 공간 내에 있는 유저에 대하여, 복합 현실감을 체감시킬 수 있는 것이다. 소정의 실 공간은, 미리 정해진 옥내 또는 옥외의 실 공간이며, 해당 공간 내에는, 현실 세계에 있어서의 오브젝트인 실 오브젝트가 존재한다. 실 오브젝트는, 예를 들면, 건물, 벤치, 벽 등의 구조물이며, 실 공간 내에 고정된 것이다. 단, 이동 가능한 것을 실 오브젝트에 포함해도 된다.

도 5는, 본 발명의 실시 형태에 따른 서버(100)의 하드웨어 구성을 나타내는 블록도이다. 서버(100)는, 처리부(101), 표시부(102), 입력부(103), 기억부(104) 및 통신부(105)를 구비한다. 이들 각 구성부는 버스(110)에 의해 접속되지만, 각각이 필요에 따라 개별적으로 접속되는 형태여도 상관없다.

처리부(101)는, 서버(100)가 구비하는 각 부를 제어하는 프로세서(예를 들면, CPU)를 구비하고 있고, 기억부(104)를 워크 영역으로 하여 각종 처리를 행한다. 서버(100)가 가상 오브젝트를 묘화하는 경우, 처리부(101)는, CPU와는 별도로, 묘화 처리를 행하는 GPU를 구비하는 것이 바람직하다.

표시부(102)는 서버 사용자에게 정보를 표시하는 것이며, 입력부(103)는, 서버(100)에 대한 유저로부터의 입력을 받아들이는 것이며, 예를 들면, 터치 패널, 터치 패드, 키보드, 또는 마우스이다.

기억부(104)는, 하드 디스크, 메인 메모리, 및 버퍼 메모리를 포함한다. 하드 디스크에는 프로그램이 기억된다. 단, 하드 디스크는, 정보를 저장할 수 있는 것이라면 어떠한 불휘발성 스토리지 또는 불휘발성 메모리여도 되며, 착탈 가능한 것이여도 상관없다. 기억부(104)에는, 프로그램 또는 해당 프로그램의 실행에 수반하여 참조될 수 있는 각종 데이터가 기억된다. 처리부(101)가 GPU를 구비하는 경우, 기억부(104)는 비디오 메모리를 포함할 수 있다.

기억부(104)는 각종 데이터베이스용의 데이터(예를 들면, 테이블) 또는 프로그램을 기억할 수 있다. 처리부(101)의 동작 등에 의해, 각종 데이터베이스는 실현된다. 예를 들면, 서버(100)는, 데이터베이스 서버 기능을 구비할 수도 있고, 데이터베이스 서버를 포함할 수도 있으며, 또는 다른 서버를 포함 혹은 구비할 수도 있다. 일예로는, 서버(100)는, 가상 공간을 구축하는 3 차원 공간 데이터에 대한 데이터베이스를 구비하고, 기억부(104)는, 해당 데이터베이스용의 데이터 및 프로그램을 기억한다.

통신부(105)는, 이더넷(ethernet)(등록 상표) 케이블 등을 이용한 유선 통신 또는 이동체 통신, 무선 LAN 등의 무선 통신을 행하여, 네트워크(50)에 접속한다.

서버(100)는, 프로그램이 실행됨에 의해 다양한 기능이 실현되지만, 이들 기능의 일부는 전자 회로 등을 구성하는 것에 의해서도 실현될 수 있다.

일예로는, 서버(100)는, 기능 또는 에어리어마다 설치된 복수의 서버를 조합하여 구성된다. 예를 들면, 소정의 실 공간을 복수의 에어리어로 분할하고, 각 에어리어에 한 대의 서버를 설치함과 동시에, 그들 서버를 통합하는 서버를 설치하는 구성으로 할 수도 있다.

일예로는, 서버(100)가 가상 오브젝트를 묘화하는 경우, CPU는 메인 메모리에 묘화 커멘드를 기입하고, GPU는 묘화 커멘드를 참조하여 비디오 메모리 상의 프레임 버퍼에 묘화 데이터를 기입한다. 그 후, 프레임 버퍼로부터 읽어낸 데이터를 그대로 표시 장치(200)로 송신한다.

도 6은 본 발명의 실시 형태에 따른 표시 장치(200)의 하드웨어 구성을 나타내는 블록도이다. 표시 장치(200)는, 처리부(201)와, 표시부(202)와, 촬영부(203)와, 기억부(204)와, 통신부(205)와, 센서(206)를 구비한다. 이들 각 구성부는 버스(210)에 의해 접속되지만, 각각이 필요에 따라 개별적으로 접속되는 형태여도 상관없다.

표시 장치(200)는, 유저가 휴대 가능한 것이며, 바람직하게는, 두부(頭部)에 장착 가능한 두부 탑재형 화상 표시 장치(HMD)이다. 이하, 본 발명의 실시 형태에 있어서는, 표시 장치(200)로서 HMD(200)를 이용하는 것으로 한다.

처리부(201)는, HMD(200)가 구비하는 각 부를 제어하는 프로세서(예를 들면, CPU)를 구비하고 있고, 기억부(204)를 워크 영역으로 하여 각종 처리를 행한다. 일예로는, HMD(200)는 서버(100)로부터 묘화 커멘드를 수신하여, 묘화 처리를 행한다. 이 경우, 처리부(201)는, CPU와는 별도로, 묘화 처리를 행하는 GPU를 구비한다.

기억부(204)는, 하드 디스크, 메인 메모리, 및 버퍼 메모리를 포함한다. 하드 디스크에는 프로그램이 기억된다. 단, 하드 디스크는, 정보를 저장할 수 있는 것이라면 어떠한 불휘발성 스토리지 또는 불휘발성 메모리여도 되고, 착탈 가능한 것이여도 상관없다. 기억부(204)에는, 프로그램 또는 해당 프로그램의 실행에 수반하여 참조될 수 있는 각종 데이터가 기억된다. 처리부(201)가 GPU를 구비하는 경우, 기억부(204)는 비디오 메모리를 포함할 수 있다. 또한 기억부(204)는 각종 데이터베이스용의 데이터 또는 프로그램을 기억할 수 있고, 이 경우, 처리부(201)의 동작 등에 의해 각종 데이터베이스는 실현된다.

표시부(202)는, 유저에 대하여 가상 오브젝트를 표시 가능한 투과형 디스플레이이다. 즉, 본 발명의 실시 형태에 있어서, HMD(200)는 광학 시스루형 HMD이다. HMD(200)는, HMD(200)를 장착하는 유저에 대하여 표시부(202)를 통해 실 공간을 시인시킴과 동시에, 가상 오브젝트를 표시부(202)에 묘화하는 경우, 표시부(202)를 통해 실 공간에 대하여 가상 오브젝트를 중첩하여 유저에게 시인시킬 수 있다.

본 발명의 실시 형태에 있어서, MR 시스템(10)은, 묘화하는 가상 오브젝트를 생성할 때에, 유저의 오른쪽 눈에 시인시키기 위한 오른쪽 눈용 화상과, 유저의 왼쪽 눈에 시인시키기 위한 왼쪽 눈용 화상을 생성한다. 따라서, 표시부(202)는, 오른쪽 눈용 화상을 표시하는 오른쪽 눈용 투과형 디스플레이와, 왼쪽 눈용 화상을 표시하는 왼쪽 눈용 투과형 디스플레이를 포함한다. 혹은, 표시부(202)는, 1 개의 투과형 디스플레이를 구비하고, 해당 디스플레이의 표시 영역은, 오른쪽 눈용 화상 표시 영역 및 왼쪽 눈용 화상 표시 영역을 포함하여 구성되어도 된다.

촬영부(203)는, 실 공간을 촬영하는 스테레오 카메라를 구비하고, 실 공간을 스테레오 화상으로서 취득한다. 촬영부(203)는, 촬영한 각 프레임의 화상(현실 세계의 화상)을 기억부(204)에 저장한다. 일예로는, 촬영부(203)는, 유저의 오른쪽 눈이 시인하는 실 공간을 촬영하기 위한 오른쪽 눈용 카메라와, 유저의 왼쪽 눈이 시인하는 실 공간을 촬영하기 위한 왼쪽 눈용 카메라를 포함하여 구성된다. 단, 촬영부(203)는 단안(單眼) 카메라를 구비하고, 기존의 수법을 이용하여, 실 공간을 스테레오 화상으로서 취득하도록 구성되어도 된다.

도 7은, HMD(200)의 일실시예에 의한 개략 구성도이다. 도 7에 도시한 바와 같이, HMD(200)는, 오른쪽 눈용 화상을 표시하는 오른쪽 눈용 투과형 디스플레이(202a) 및 왼쪽 눈용 화상을 표시하는 왼쪽 눈용 투과형 디스플레이(202b)를 가지는 표시부(202)를 구비한다. 또한, HMD(200)는, 오른쪽 눈용 투과형 디스플레이(202b)의 근방에 설치되는 오른쪽 눈용 카메라(203a) 및 왼쪽 눈용 투과형 디스플레이의 근방에 설치되는 왼쪽 눈용 카메라(203b)를 가지는 촬영부(203)를 구비한다.

오른쪽 눈용 투과형 디스플레이(202a)는, 오른쪽 눈용의 투과형 디스플레이이며, MR 시스템(10)이 생성하는 오른쪽 눈용 화상을 표시할 수 있다. 투과형 디스플레이의 경우, 화상을 표시하고 있지 않은 영역은, 현실 세계의 상이 그대로 눈에 비치므로, 결과적으로, 가상 세계의 화상(가상 오브젝트)과, 현실 세계의 상(실 오브젝트)이 광학적으로 합성되게 된다. 왼쪽 눈용 투과형 디스플레이(203)에 대해서도 마찬가지이다.

오른쪽 눈용 카메라(203a)는, 오른쪽 눈용 투과형 디스플레이(202a)를 투과하여 열람되는 현실 세계의 상을 촬영하기 위한 카메라이다. 후술하는 바와 같이, 본 발명의 실시 형태에 있어서는, MR 시스템(10)은, 오른쪽 눈용 카메라(203a)로 촬영한 화상으로부터 오른쪽 눈용 투과형 디스플레이(202a)를 통해 유저가 시인하는 실 공간 화상(육안 시야 화상)을 생성한다. 따라서, 오른쪽 눈용 카메라(203a)의 화각, 시야 범위 등의 내부 파라미터는, 오른쪽 눈용 투과형 디스플레이(202a)가 표시하는 공간과 캘리브레이션 완료로 되어있을 필요가 있다. 구체적으로는, 오른쪽 눈용 카메라(203a)로부터 얻어지는 화상에, 내부 파라미터로부터 산출된 투영 행열을 적용함으로써, 오른쪽 눈용 투과형 디스플레이(203a)를 통해 유저가 시인하는(열람하는) 화상을 얻을 수 있다. 왼쪽 눈용 카메라(203b)에 대해서도 마찬가지이다.

센서(206)는, 자기 위치 추정 기술을 이용하기 위하여 필요한 각종 센서이다. 일예로는, 센서(206)는, 가속도 센서와, 자이로 센서와, 적외선 뎁스 센서와, 카메라를 포함한다. 적외선 뎁스 센서는, 적외선 투영에 의한 뎁스 센서이지만, RGB-D 카메라에 의해 같은 기능이 실현되어도 된다. 카메라는, 촬영부(203)가 구비하는 스테레오 카메라와는 상이한 카메라(단안 카메라 등)이지만, 촬영부(203)가 구비하는 스테레오 카메라를 센서(206)로서 포함할 수도 있다. 또한, 센서(206)는, GPS 센서, Bluetooth(등록 상표) 비컨, Wifi 등 종래 사용되는 다른 각종 센서를 포함할 수 있다. 다른 예로는, 화상 취득 장치(300)를 센서(206)로서 포함할 수도 있다.

통신부(205)는, 이동체 통신, 무선 LAN 등의 무선 통신을 행하여, 네트워크(50)에 접속한다. 일예로는, 통신부(205)는, 서버(100)에서 3 차원 공간 데이터를 수신한다. 일예로는, 통신부(205)는, 촬영부(203)가 촬영한 화상 데이터를, 네트워크(50)를 통하여 서버(100)로 송신한다.

화상 취득 장치(300)는, 실 공간의 영상(화상)을 취득하고, 취득된 화상 데이터를, 네트워크(50)를 통하여 서버(100) 또는 표시 장치(200)로 송신한다. 또한, 화상 취득 장치(300)는, 소정의 실 공간을 둘러싸고, 소정의 실 공간 내에 있는 유저가 시인 가능한 영역을 촬영 가능한 정점에 고정하여 설치된다. 일예로는, 화상 취득 장치(300)는, 정점에 설치되는 고정 카메라이다. 또한, 일예로는, 화상 취득 장치(300)는 1 초간에 30 코마의 화상을 취득하여, 서버(100)로 송신한다.

여기서, 본 발명의 실시 형태에 따른 MR 시스템(10)이 복합 현실 공간(33)을 유저에게 제공하는 현실 세계의 공간(소정의 실 공간)으로서, 도 8에 도시한 바와 같은, 벽(36)에 덮인 옥내의 공간인 실 공간(31)을 상정한다. 도 8은 실 공간(31)의 개관도, 도 9는 실 공간(31)을 위에서 본 평면도이다. 실 공간(31) 내에는, 현실 세계의 광원(34) 및 현실 세계의 실 오브젝트인 건물(35)이 존재한다. 도 8에 도시한 바와 같이, 실 공간(31)에 있어서는, 관측 대상이 되는 공간, 즉, 실 공간(31) 내에 있는 유저가 시인 가능한 공간을 촬영할 수 있도록, 복수의 화상 취득 장치(300)가 설치된다. 단, 본 발명의 실시 형태에 있어서는, 화상 취득 장치(300)는 설치되지 않아도 된다.

도 10은, 실 공간(31)에 있어서 취득된 점군 데이터의 예를 나타낸다. 본 발명의 실시 형태에 있어서는, 예를 들면, 고정밀도의 3D 레이저 스캐너(도시하지 않음)를 이용함으로써, 실 공간(31) 내의 실 오브젝트의 3 차원 형상을 나타내는 점군 데이터를 미리 취득한다. 또한, 화상 취득 장치(300)가 설치되는 경우, 점군 데이터의 취득은, 실 공간(31) 내에 화상 취득 장치(300)가 설치된 후에 행해지는 것이 바람직하다.

도 10에 도시한 바와 같이, 점군 데이터의 각각은, 3 차원 좌표(x, y, z)를 가지고, 실 공간(31)에 대응된 가상 공간(32) 내에 배치된다. 또한, 점군 데이터의 각각은, 색 정보를 가지는 물들임 점군 데이터이다. 물들임 점군 데이터는, 레이저 스캐너가 구비하는 카메라를 이용하여 점군 데이터 취득과는 별도로 촬영된 화상으로부터 구한 색 정보를, 촬영 시의 카메라의 위치나 자세에 따라 점군의 각 좌표 점(x, y, z)에 맵핑함으로써 작성된다.

이와 같이 실 공간(31)에 대응된 가상 공간(32)에 있어서 실 오브젝트의 3 차원 형상을 나타내는 것으로서, 점군 데이터를 기본 단위(기본 구성 요소)로서 이용할 수 있다. 본 명세서에서는, 이 기본 단위를 3 차원 형상 요소라고 표현한다.

본 발명의 실시 형태에서는, 설명을 간단하게 하기 위해, 취득된 점군 데이터를, 예를 들면, OctoMap("OctoMap: An Efficient Probabilistic 3D Mapping Framework Based on Octrees" in Autonomous Robots, 2013; A.Hornung, K.M.Wurm, M.Bennewitz, C.Stachniss, and W.Burgard (http://dx.doi.org/10.1007/s10514-012-9321-0) DOI:10.1007/s10514-012-9321-0.) 등의 기존의 수법을 이용하여, 복셀로 불리우는 데이터 구조로 변환한다. 복셀은 2 차원 공간의 픽셀에 대응하는 3 차원 공간의 단위 구성 요소이며, 3 차원 공간 상의 좌표를 이용하여 식별되는 일정한 크기를 가지는 입방체이다.

이하, 본 발명의 실시 형태에 있어서는, 실 공간(31)에 대응된 가상 공간(32)에 있어서 실 오브젝트의 3 차원 형상을 나타내는 기본 단위를 복셀로 한다. 즉, 복셀이 3 차원 형상 요소이다. 도 11은, 도 10의 점군 데이터로부터 작성된 복셀을 나타낸다. MR 시스템(10)은, 3 차원 공간 데이터로서 점군 데이터 및 복셀 데이터를 기억부(104 또는 204)에 기억한다. 단, 3 차원 형상 요소로서 메쉬(3D 메쉬)를 이용할 수도 있다. 이 경우, MR 시스템(10)은, 3 차원 공간 데이터로서 점군 데이터 및 3D 메쉬 데이터를 기억부(104 또는 204)에 기억한다. 점군 데이터 그 자체를 3 차원 형상 요소로서 이용할 수도 있다. 이 경우, MR 시스템은, 3 차원 공간 데이터로서 점군 데이터를 기억한다.

일예로는, 실 공간을 1cm³의 복셀 범위로 분할하여, 복셀 공간(복셀에 의해 표현된 3 차원 공간)을 설정한다. 1 개의 복셀(V)은, 위치 정보(x, y, z)에 추가로, 화상 취득 장치(300)로부터 보았을 때의 하나 또는 복수의 색 정보(c)를 가진다.

색 정보(c)는, RGB 또는 HSV 등의 포맷으로 표현된다. 예를 들면, HSV의 포맷으로 표현되는 경우, 색 정보는, 색상, 채도, 및 명도를 가진다.

본 발명의 실시 형태에 있어서는, 가상 공간(32)을 실 공간(31) 내에 대응된 영역(0

X≤X1, 0≤Y≤Y1, 0≤Z≤Z1)으로 한정하여 생각하는 것으로 한다. 단, 가상 공간(32)을 보다 작은 영역으로 설정하여, 복수의 가상 공간을 각각 실 공간(31)과 대응시킬 수도 있고, 가상 공간(32)을 보다 큰 영역으로 설정할 수도 있다. 가상 공간(32)을 보다 작은 영역으로 설정하는 경우, 각각의 가상 공간(32)에 대응하는 실 공간(31) 내에서, 유저가 시인 가능한 영역을 촬영 가능한 복수의 정점에 각각 화상 취득 장치(300)를 설치할 수 있다.

일예로는, 실 공간(31)이 광역의 공간인 경우, 가상 공간(32)을 복수의 에어리어마다 설정하고, 서버(100)도 복수의 에어리어마다 설치하는 것이 바람직하다. 예를 들면, 서버(100)의 기억부(104)가 복셀 데이터를 기억하는 경우, 식 (1)의 하나의 복셀(V)은, 1 voxel = (int16 x, int16 y, int16 z, int32 rgb)로 하면 10 byte가 된다. 예를 들면, 실 공간을 10mm³의 복셀의 집합으로 하여 모델화한다. 테마파크와 같이 광역의 공간을 고정밀도 복셀 공간으로 변환하는 경우에는, 이 테마파크 영역을 10m=10,000mm의 그리드로 분할하면, 1 그리드는 1,000m³이므로, 약 10 억 voxel이 된다. 이를, 높이 5m까지의 공간으로 축퇴시키면 약 5 억 voxel이 된다. 즉, 5 억 voxel을 그대로 나이브하게 메모리 상에 확보해도, 5GByte로 저장할 수 있으므로, 그리드마다 서버(100)를 할당하여 온메모리화하는 것은 용이하다.

도 12는, 본 발명의 실시 형태에 따른 MR 시스템(10)의 기능 블록도를 나타낸다. MR 시스템(10)은, 기억 수단(11)과, 유저 환경 결정 수단(12)과, 묘화 수단(13)과, 제1 점군 데이터 생성 수단(14)과, 제2 점군 데이터 생성 수단(15)과, 부정합 검출 수단(16)을 구비한다.

이들 기능은, 프로그램을 서버(100)에 실행시킴으로써 실현되거나, 프로그램을 HMD(200)에 실행시킴으로써 실현되거나, 또는 프로그램을 서버(100)에 실행시키고, 또한, 프로그램을 HMD(200)에 실행시킴으로써 실현된다. 이와 같이, 각종 기능이 프로그램 읽어들임에 의해 실현되므로, 1 개의 수단의 일부의 기능을 다른 수단이 가지고 있어도 된다. 이와 같이, 서버(100) 및 HMD(200)의 적어도 일방이 도 12에 도시한 각종 기능을 구비함으로써, MR 시스템(10)은 실현된다.

기억 수단(11)은, 서버(100) 및 HMD(200)의 쌍방이 구비하고, 프로그램 또는 데이터 등을 기억부(104 또는 204)에 기억하는 기능을 가진다. 일예로는, 서버(100)가 구비하는 기억 수단(11)은, 가상 공간(32)에 배치되는 가상 오브젝트의 위치나 움직임에 관한 데이터 또는 가상 오브젝트의 3 차원 데이터를 기억부(104)에 기억한다. 일예로는, HMD(200)가 구비하는 기억 수단(11)은, 가상 오브젝트를 묘화하기 위하여, 서버(100)로부터 수신하는 묘화 커멘드를 일시적으로 기억부(204)에 기억한다. 다른 예로는, 기억 수단(11)은, 각종 데이터베이스로의 데이터 입출력을 행한다.

서버(100)가 구비하는 기억 수단(11)은, 3 차원 공간 데이터를 기억부(104)에 기억하는 3 차원 공간 데이터 기억 수단을 포함한다. 전술한대로, 3 차원 공간 데이터는 점군 데이터 및 복셀 데이터를 포함한다. 여기서 점군 데이터는, 미리 취득된 실 공간(31)에 대응된 가상 공간(32)에 있어서 실 오브젝트의 3 차원 형상을 나타내는 것이며, 복셀 데이터는, 점군 데이터로부터 기존의 수법을 이용하여 변환되는 것이다.

또한, 점군 데이터는 물들임 점군 데이터이므로, 작성되는 복셀은 물들임 복셀이 된다. 또한, 각각의 복셀은, 3 차원 위치 정보를 가진다. 예를 들면, 가상 공간(32)에 설정된 3 차원 좌표의 원점으로부터 가장 가까운 입방체의 정점(頂点)의 3 차원 좌표(x, y, z)를 3 차원 위치 정보로서 가진다.

일예로는, 서버(100)는 데이터베이스 서버 기능을 가지고, 3 차원 위치 정보에 관한 조회에 따라, 서버(100)는 기억된 3 차원 공간 데이터를 적절히 출력한다. HMD(200)가 구비하는 기억 수단(11)이, 3 차원 공간 데이터를 기억부(204)에 기억하는 3 차원 공간 데이터 기억 수단을 포함할 수도 있다.

유저 환경 결정 수단(12)은, 센서(206)로부터 취득된 데이터 및 3 차원 공간 데이터에 기초하여, HMD(200)의 위치 및 표시부(202)를 통해 유저가 시인하는 시계 영역(유저 시계 영역)을 포함하는 유저 환경을 결정한다. 유저 환경 결정 수단(12)에 의해, 유저의 고정밀도의 포지션 트랙킹을 실현한다.

유저 환경 결정 수단(12)은, 바람직하게는, 자기 위치 추정 기술을 이용한다. 일예로는, 유저 환경 결정 수단(12)은, (1) 초기 위치 조정과, (2) 상대적인 이동량 계산을 실행함으로써, HMD(200)의 위치 및 유저 시계 영역을 결정한다.

(1) 초기 위치 조정으로서, 유저 환경 결정 수단(12)은, 센서(206)로부터 취득되는 데이터와, 미리 취득된 3 차원 공간 데이터를 이용하여, 실 공간(31)과 가상 공간(32)을 대응시켜 조합(照合)한다. 이에 의하여, 초기 위치로서의 HMD(200)의 위치 및 유저 시계 영역을 결정한다.

일예로는, 유저 환경 결정 수단(12)은, 이하와 같이 초기 위치 조정을 행한다. 유저 환경 결정 수단(12)은, 카메라에 의해 화상 데이터를 취득하고, 뎁스 센서에 의해 형상 데이터를 취득하여, 유저 시계 영역에 있어서 유저가 시인 가능한 실 오브젝트의 형상을 결정한다. 한편, 유저 환경 결정 수단(12)은, GPS 센서, Bluetooth(등록 상표) 비컨, Wifi 등을 이용하여 대략적인 유저 환경인 잠정 유저 환경을 결정한다. 잠정 유저 환경을 결정한 후, 해당 잠정 유저 환경으로부터 소정 범위의 위치 및 방향에 있어서 유저가 시인 가능한 복셀의 위치 정보 및 색 정보 등의 3 차원 공간 데이터를 기억부(104) 또는 기억부(204)로부터 취득한다.

유저 환경 결정 수단(12)은, 화상 데이터나 형상 데이터로부터 결정된 유저 시계 영역에 있어서의 실 오브젝트의 형상과, 잠정 유저 환경에 기초하여 취득된 복셀의 위치 정보 및 색 정보로부터 도출되는 실 오브젝트의 형상을 비교하여 조합(照合)함으로써, HMD(200)의 위치 및 유저 시계 영역을 결정한다.

(2) 상대적인 이동량 계산으로서, 유저 환경 결정 수단(12)은, 센서(206)로부터 취득되는 데이터를 이용하여, 상기와 같이 결정된 초기 위치로부터의 실 공간(31)에 있어서의 상대적인 이동량을 계산함으로써, HMD(200)의 위치 및 유저 시계 영역을 결정한다. 일예로는, 유저 환경 결정 수단(12)은, 자이로 센서 또는 가속도 센서 등으로부터 취득되는 데이터를 이용하여, 6 축의 상대적인 이동량(예를 들면, 6DOF 좌표)을 계산한다. 이 때, 유저 환경 결정 수단(12)은, 카메라로부터 취득된 화상 데이터의 변화량도 이용할 수 있다. 또한, 일예로는, 유저 환경 결정 수단(12)은, SLAM 기술을 이용하여, 6 축의 상대적인 이동량을 계산한다.

이와 같이, 초기 위치 조정 후에는 상대적인 이동량을 계산하도록 유저 환경 결정 수단(12)을 구성함으로써, 시스템 전체의 정보 처리량을 저감하면서, 정밀도좋게 유저 환경을 결정하는 것이 가능해진다.

묘화 수단(13)은, 유저 환경 결정 수단(12)에 의해 결정된 유저 환경에 대응하는 가상 오브젝트를 HMD(200)의 표시부(202)에 묘화한다. 묘화 수단(13)은, 유저의 오른쪽 눈에 시인시키기 위한 오른쪽 눈용 화상(가상 오브젝트)과, 유저의 왼쪽 눈에 시인시키기 위한 왼쪽 눈용 화상(가상 오브젝트)을 생성하여 묘화한다.

일예로는, 서버(100)가 구비하는 CPU가 메인 메모리에 묘화 커멘드를 기입하여 HMD(200)으로 송신한다. HMD(200)가 구비하는 GPU는, 수신한 묘화 커멘드를 참조하여 비디오 메모리 상의 프레임 버퍼 등에 묘화 데이터를 기입하고, 프레임 버퍼로부터 읽어낸 내용을 그대로 표시부(202)에 묘화한다(렌더링한다). 묘화 커멘드를 작성함에 있어서, 묘화 수단(13)은, 유저 환경 결정 수단(12)에 의해 결정된 HMD(200)의 위치 및 유저 시계 영역을 이용하여, 표시부(202) 상에 표시되는 가상 오브젝트의 위치나 방향을 결정한다.

이와 같이, 묘화 수단(13)은, 서버(100)와 HMD(200)가 분담하여 실행함으로써 실현되지만, 묘화 수단(13)은, HMD(200)에서 묘화 처리 전부를 실행함으로써 실현되어도 된다. 혹은, 묘화 수단(13)은, 서버(100)에서 묘화 처리 전부를 실행한 후, 화상 데이터를 HMD(200)으로 송신하고, HMD(200)가 수신한 화상 데이터를 표시함으로써 실현되어도 된다.

제1 점군 데이터 생성 수단(14)은, 표시부(202)를 통해 유저가 시인하는 실 공간 화상에 묘화 수단(13)에 의해 묘화되는 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터, 실 오브젝트 및 가상 오브젝트의 점군 데이터를 생성한다. 본 명세서에는, 해당 점군 데이터를 제1 점군 데이터라고 부르지만, 제1 점군 데이터는, 가상 오브젝트가 중첩 표시되는 실 공간 화상을 이용한 실제의 렌더링 결과로부터 얻어지는 점군이므로, 액츄얼 포인트 그라운드라고 부를 수도 있다.

여기서, 통상은 표시부(202)와 촬영부(203)는 같은 장소에 위치하지 않으므로, 촬영부(203)가 촬영하는 실 공간 화상은, 표시부(202)를 통해 유저가 시인하는 실 공간 화상, 즉, 육안 시야 화상은 아니다. 제1 점군 데이터 생성 수단(14)은, 촬영부(203)에 의해 촬영된 실 공간 화상에 대하여, 내부 파라미터로부터 산출된 투영 행열을 적용하여 투영 변환함으로써, 육안 시야 화상을 생성한다. 내부 파라미터는, 대상의 촬영부(203) 및 표시부(202)의 위치 관계로부터 산출된 카메라의 화각 또는 시야 범위 등의 파라미터이다.

예를 들면, 도 7에 도시한 HMD(200)에서, 오른쪽 눈용 카메라(203a)는, 오른쪽 눈용 투과형 디스플레이(202a)를 통해 유저의 오른쪽 눈에 시인시키는 실 공간의 상을 취득하기 위한 카메라이다. 제1 점군 데이터 생성 수단(14)은, 오른쪽 눈용 카메라(203a)로부터 얻어진 화상에 대하여, 내부 파라미터로부터 산출된 투영 행열을 적용하여 투영 변환함으로써, 오른쪽 눈용 투과형 디스플레이(202a)를 통해 유저의 오른쪽 눈에 시인시키는 실 공간 화상(오른쪽 눈용 육안 시야 화상)을 생성한다. 내부 파라미터는, 오른쪽 눈용 카메라(203a)와, 오른쪽 눈용 투과형 디스플레이(202a)의 위치 관계로부터 산출된 카메라의 화각 또는 시야 범위 등의 파라미터이다. 왼쪽 눈용 투과형 디스플레이(202b) 및 왼쪽 눈용 카메라(203b)에 대해서도, 오른쪽 눈용 투과형 디스플레이(202a) 및 오른쪽 눈용 카메라(203a)와 마찬가지이다.

또한, 표시부(202)를 통해 유저가 시인하는 실 공간 화상(육안 시야 화상)은, 촬영부(203)에 의해 촬영된 스테레오 화상이다. 제1 점군 데이터 생성 수단(14)은, 스테레오 화상으로서 취득된 2 개의 실 공간 화상으로부터 각각 생성된 각 육안 시야 화상에 묘화 수단(13)에 의해 묘화되는 가상 오브젝트를 각각 중첩 표시함으로써 얻어지는 각 합성 화상을 이용한다. 제1 점군 데이터 생성 수단(14)은, 상기와 같이 합성한(오른쪽 눈용과 왼쪽 눈용의) 2 개의 육안 시야 화상을 이용하여, 스테레오 매칭법에 의해 각 픽셀의 심도(depth)를 계산하고, 실 오브젝트 및 가상 오브젝트의 점군 데이터를 포함하는 제1 점군 데이터를 생성한다. 또한, 스테레오 매칭법에 대해서는, 오른쪽 눈용 카메라와, 왼쪽 눈용 카메라의 영상(화상)의 시차 정보로부터 각 픽셀의 심도를 계산하고, 3 차원 공간 상의 점군으로 변환한다. 점군으로 변환할 때, 색 정보를 맵핑할 수도 있다.

제2 점군 데이터 생성 수단(15)은, 유저 환경 결정 수단(12)에 의해 결정된 HMD(200)의 위치 및 유저 시계 영역에 있어서의 3 차원 공간 데이터 기억 수단에 의해 기억된 점군 데이터 및 묘화 수단(13)에 의해 묘화되는 가상 오브젝트의 점군 데이터를 이용하여 점군 데이터를 생성한다. 본 명세서에서는, 해당 점군 데이터를 제2 점군 데이터라고 부르지만, 제2 점군 데이터는, 레이저 스캐너를 이용하여 미리 취득된 점군 데이터와, 묘화 수단(13)에 의해 묘화되는 가상 오브젝트의 점군 데이터를 이용한, 가상 공간(32)에 있어서의 이상적인 점군 데이터이므로, 아이디얼 포인트 그라운드라고 부를 수도 있다. 가상 오브젝트의 점군 데이터는, 캐릭터 등의 움직이는 가상 영상(화상)을 묘화한 후의 영상(화상)으로부터 생성할 수 있다. 혹은, 가상 오브젝트를 렌더링하기 위하여 이용한 점군 데이터를, 제2 점군 데이터 생성 수단(15)이 이용할 수 있도록 구성할 수도 있다.

바람직하게는, 제2 점군 데이터 생성 수단(15)은, 묘화 수단(13)에 의해 묘화되는 가상 오브젝트의 점군 데이터를, 3 차원 공간 데이터 기억 수단에 의해 미리 취득되어 기억된 점군 데이터에 추가함으로써 제2 점군 데이터를 생성한다.

상기와 같이, 제2 점군 데이터 생성 시에 이용하는 데이터는, 가상 공간(32) 상에 가상 오브젝트를 중첩시킨 가상 공간(32)에 있어서의 데이터이므로, 제2 점군 데이터에서는, 원리적으로 기하학적 부정합은 발생하지 않는다. 제2 점군 데이터는, 이 점에서, 가상 오브젝트가 중첩 표시되는 실 공간(31)의 화상으로부터 생성되는 제1 점군 데이터와 상이하다.

도 13 및 도 14는, 본 발명의 실시 형태에 따른 제1 점군 데이터 및 제2 점군 데이터의 생성을 설명하는 개략도이다. 도 13 및 도 14는, 복합 현실 공간(33) 내에 있는 유저가, 표시부(202)를 통하여, 실 오브젝트인 벽(36) 및 벽(36)의 전에 중첩되어 묘화된 가상 오브젝트(37)를 시인하는 모습을 나타냄과 동시에, 이 상태에서 생성되는 제1 점군 데이터 및 제2 점군 데이터를 나타내고 있다.

도 13에서는, 유저는, 벽(36)에 접촉하는 가상 오브젝트(37)를 시인한다. 이 경우, 실 공간(31)에 있어서의 벽(36)(실 오브젝트)과 가상 오브젝트(37)와의 기하학적 정합성이 잡힌 상태에 있고, 도 13에 도시한 바와 같이, 생성되는 제1 점군 데이터와 제2 점군 데이터는 실질적으로 같다.

도 14에서는, 유저는, 벽(36)에 일부 매몰된 가상 오브젝트(37)를 시인한다. 이 경우, 실 공간(31)에 있어서의 벽(36)(실 오브젝트)과 가상 오브젝트(37)와의 기하학적 정합성이 잡히지 않은 상태에 있고(정합성에 모순이 발생하고 있고), 도 14에 도시한 바와 같이, 생성되는 제1 점군 데이터와 제2 점군 데이터에는 차분이 있음이 이해된다.

부정합 검출 수단(16)은, 상기와 같은 제1 점군 데이터 및 제2 점군 데이터의 비교 결과에 기초하여 부정합을 검출한다.

바람직하게는, 부정합 검출 수단(16)은, 부정합 검출의 대상의 가상 오브젝트가 묘화 수단(13)에 의해 묘화되기 전에 부정합 검출을 행한다. 이 경우, 제1 점군 데이터 생성 수단(14) 및 제2 점군 데이터 생성 수단(15)도 마찬가지로, 부정합 검출의 대상의 가상 오브젝트가 묘화 수단(13)에 의해 묘화되기 전에, 제1 점군 데이터 및 제2 점군 데이터를 생성한다. 이러한 구성으로 함으로써, 기하학적 정합성이 잡히지 않은 가상 오브젝트를 표시부(202)에 묘화하기 전에, 즉, 유저에게 시인시키기 전에, 부정합 검출을 행하는 것이 가능해진다. 이에 의하여, MR 시스템(10)이, 기하학적 정합성이 잡히지 않은 가상 오브젝트를 묘화하기 전에, 예를 들면, 포지션 트랙킹에 보정 정보를 보내는 것이 가능해진다. 일예로는, 가상 오브젝트의 묘화 처리를 중지하거나, 해당 오브젝트의 묘화 위치를 이동시킴으로써, 리얼리티를 현저히 해치는 가상 오브젝트의 표시를 방지할 수 있다. 단, 부정합 검출의 대상의 가상 오브젝트가 묘화 수단(13)에 의해 묘화되었을 때, 또는 묘화 후 매우 단시간 내에, 상기의 각 수단을 실행하도록 구성할 수도 있다.

일예로는, 부정합 검출 수단(16)은, 제1 점군 데이터 및 제2 점군 데이터의 차가 소정량을 초과한 경우에 부정합을 검출한다. 즉, 부정합 검출 수단(16)은, 제1 점군 데이터와 제2 점군 데이터의 대응하는 위치에 있어서, 일방에는 점 데이터가 존재하지만 타방에는 점 데이터가 존재하지 않는 점 데이터의 수량(점군 데이터 차분량)에 의해 부정합의 유무를 판정하여, 부정합을 검출한다. 예를 들면, 점군 데이터 차분량은, 대응하는 3 차원 위치에 있어서 제1 점군 데이터와 제2 점군 데이터가 충돌하는 개소를 소거함으로써 산출한다. 이 경우, 촬영부(203)로부터 얻어진 화상을 이용하여 생성되는 제1 점군 데이터는, 가상 공간(32) 상에서 생성되는 제2 점군 데이터보다 통상은 드문드문한 데이터이며, 제2 점군 데이터보다 수 배 내지 10 배 정도 적은 점 데이터를 가질 가능성이 높다. 따라서, 이 경우, 바람직하게는, 점군 데이터 차분량은, 제1 점군 데이터의 각 점의 크기를 제2 점군 데이터의 각 점의 크기보다 수 배 내지 10 배 정도 크게 한 후에, 대응하는 3 차원 위치에 있어서의 제1 점군 데이터와 제2 점군 데이터가 충돌하는 개소를 소거함으로써 산출한다.

일예로는, 부정합 검출 수단(16)은, 묘화 수단(13)에 의해 묘화되는 가상 오브젝트(37)를 포함하는 소정의 3 차원 공간 영역에 있어서, 제1 점군 데이터 및 제2 점군 데이터의 차가 소정량을 초과한 경우에 부정합을 검출한다. 이러한 구성으로 함으로써, 유저에 대하여 시인시킨 경우에 위화감을 주는 가상 오브젝트 주변의 부정합만을 검출하여, 가상 오브젝트 주변 이외의 부정합의 검출을 배제하는 것이 가능해진다.

이와 같이 하여, 가상 오브젝트가 중첩 표시되는 실 공간(31)의 화상을 이용한 실제의 렌더링 결과로부터 얻어지는 제1 점군 데이터와, 가상 공간(32) 상에서 생성된 제2 점군 데이터를 비교함으로써, 예를 들면, 차분을 구함으로써 부정합을 검출할 수 있다. 즉, 「있어야 할 점군이 없음」 또는 「있어서는 안되는 점군이 있음」이라고 하는 상황을 검출하는 것이 가능해진다.

제1 점군 데이터 생성 수단(14), 제2 점군 데이터 생성 수단(15), 및 부정합 검출 수단(16)은, HMD(200)가 구비하는 것이 바람직하다. 이러한 구성으로 함으로써, MR 시스템(10)에 있어서의 부정합 검출의 처리에 있어서, HMD(200)가 네트워크(50)을 통하여 화상 데이터를 송신하는 것 등이 불필요해진다. 이에 의하여, 시스템 전체의 정보 처리량을 저감하는 것이 가능해진다.

지금까지, 부정합 검출 시스템을 포함하는 MR 시스템(10)에 대하여 설명했으나, 본 발명의 실시 형태에 따른 부정합 검출 시스템(1)은, MR 시스템(10)과는 별도의 시스템으로 하는 것이 바람직하다. 이 경우, 부정합 검출 시스템(1)은, 서버(100)와, 하나 또는 복수의 HMD(200)를 포함하고, 서버(100) 및 HMD(200)는, 인터넷 등의 네트워크(50)에 접속되어 서로 통신 가능하다. 부정합 검출 시스템(1)은, MR 시스템(10)과는 상이한 서버(하드웨어) 및 네트워크를 이용하여 실현할 수도 있다. 이 경우, 부정합 검출 시스템(1)은, MR 시스템(10)과 통신 가능하게 구성된다.

도 15는, 본 발명의 실시 형태에 따른 부정합 검출 시스템(1)의 기능 블록도를 나타낸다. 부정합 검출 시스템(1)은, 제1 점군 데이터 생성 수단(14)과, 제2 점군 데이터 생성 수단(15)과, 부정합 검출 수단(16)을 구비한다. 제1 점군 데이터 생성 수단(14), 제2 점군 데이터 생성 수단(15), 및 부정합 검출 수단(16)은, HMD(200)가 구비하는 것이 바람직하다. 이 경우, 이들 기능은, 프로그램을 HMD(200)에 실행시킴으로써 실현되고, HMD(200)는 필요에 따라 서버(100)로부터 정보를 취득한다. 단, 프로그램을 서버(100)에 실행시킴으로써 실현되어도 되고, 프로그램을 서버(100)에 실행시키고, 또한, 프로그램을 HMD(200)에 실행시킴으로써 실현되어도 된다. 또한, 이와 같이 각종 기능이 프로그램 읽어들임에 의해 실현되므로, 1 개의 수단의 일부의 기능을 다른 수단이 가지고 있어도 된다.

전술한대로, 도 16은, 본 발명의 실시 형태에 따른, MR 시스템(10)에 있어서의 부정합을 검출하는 정보 처리를 나타내는 플로우차트이다. 본 정보 처리는, 프로그램을 서버(100)에 실행시킴으로써 실현되거나, 프로그램을 HMD(200)에 실행시킴으로써 실현되거나, 또는 프로그램을 서버(100)에 실행시키고, 또한, 프로그램을 HMD(200)에 실행시킴으로써 실현된다. 바람직하게는, 본 정보 처리는, 프로그램을 HMD(200)에 실행시킴으로써 실현되고, HMD(200)는 필요에 따라 서버(100)로부터 데이터를 취득한다. 또한, 유저는, HMD(200)를 장착하여, 실 공간(31)(복합 현실 환경(33)) 내에 있는 것으로 한다. 또한, MR 시스템(10)은 복합 현실 공간(33)을 유저에게 제공함에 있어서 유저 환경을 순서대로 파악할 필요가 있으므로, MR 시스템(10)은, 정기적으로 또는 필요에 따라 유저 환경을 결정하고 있다.

처음으로, 결정된 유저 환경에 있어서, MR 시스템(10)이 묘화하는 가상 오브젝트가 있는지의 여부를 판정한다(단계 1601). 묘화하는 가상 오브젝트가 없는 경우, MR 시스템(10)이 유저에 대하여 복합 현실 환경(33)을 계속 제공하는 한(단계 1607), 단계 1601로 되돌아온다. 이와 같이 하여, 묘화하는 가상 오브젝트가 없는 경우에는 부정합 검출을 행하지 않도록 구성함으로써, 시스템 전체의 정보 처리량을 저감함과 동시에, 소비 전력량을 저감할 수 있다. 단, 본 단계는 생략할 수도 있다.

묘화되는 가상 오브젝트가 있는 경우, HMD(200)의 물리적인 이동량 또는 묘화하는 가상 오브젝트의 이동량이 역치 이상인지의 여부를 판정한다(단계 1602). HMD(200)의 이동량 또는 묘화하는 가상 오브젝트의 이동량이 소정의 역치 이상인 경우, 실 오브젝트에 대한 묘화되는 가상 오브젝트의 기하학적 정합성이 없어질 가능성이 높으므로, 단계 1603로 진행된다. 한편, HMD(200)의 이동량 또는 묘화하는 가상 오브젝트의 이동량이 소정의 역치 미만이었던 경우, MR 시스템(10)이 유저에 대하여 복합 현실 환경(33)을 계속 제공하는 한(단계 1607), 단계 1601로 되돌아온다. 이와 같이 하여, 기하학적 부정합이 발생할 가능성이 낮은 경우에는, 부정합 검출을 행하지 않도록 구성함으로써, 시스템 전체의 정보 처리량을 저감함과 동시에, 소비 전력량을 저감할 수 있다. 단, 본 단계는 생략할 수도 있다.

이어서, HMD(200)의 촬영부(203)로부터 실 공간의 스테레오 화상을 취득하고, 해당 스테레오 화상에 투영 행열을 적용함으로써, 가상적으로 육안 시야 화상을 생성한다(단계 1603). 이와 같이 하여, 촬영부(203)로부터의 화상을 이용하여, 유저가 시인하는 영상(화상)을 기계적으로 재현한다.

이어서, 단계 1604에서, 생성된 육안 시야 화상에 대하여 묘화되는 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터, 실 오브젝트 및 가상 오브젝트의 점군 데이터인 제1 점군 데이터를 생성한다. 제1 점군 데이터의 생성과 동시에, 묘화되는 가상 오브젝트의 점군 데이터에, 레이저 스캐너를 이용하여 미리 취득된 실 공간(31)에 있어서의 점군 데이터를 추가함으로써, 가상 공간(32)에 있어서의 이상적인 점군 데이터인 제2 점군 데이터를 생성한다.

또한, 본 정보 처리에서, 바람직하게는, 제1 점군 데이터의 생성과 제2 점군 데이터의 생성을 실질적으로 동시에 행하지만, 직렬적으로 어느 한 처리를 먼저 행해도 되고, 병렬적으로 동시에 처리를 행해도 된다. 제2 점군 데이터의 생성 처리에 대해서는, 단계 1603의 처리보다 전에, 또는 처리와 동시에 개시해도 된다.

이어서, 제1 점군 데이터와 제2 점군 데이터와의 차분을 추출한다(단계 1605). 구체적으로는, 대응하는 3 차원 위치에 있어서, 제1 점군 데이터와 제2 점군 데이터가 충돌하는 개소를 소거함으로써, 일방에는 점 데이터가 존재하지만 타방에는 점 데이터가 존재하지 않는 점 데이터의 수량을 추출한다. 이 차분 계산에 의해, 유저의 육안으로 보았을 때에 느껴지는 형상과, MR 시스템(10)이 상정하고 있는 이상적인 형상과의 차분의 유무를 인식하는 것이 가능해진다.

이어서, 추출된 차분을 이용하여, 기하학적 부정합을 검출한다(단계 1606). 추출한 차분으로서, 아이디얼 포인트 그라운드에 대응하는 액츄얼 포인트 그라운드가 존재하지 않는 공간, 즉, 「있어야 할 점군이 없음」 공간과, 액츄얼 포인트 그라운드에 대응하는 아이디얼 포인트 그라운드가 존재하지 않는 공간, 즉, 「있어서는 안되는 점군이 있음」 상황을 검출하여, 기하학적인 부정합으로서 검출한다. 일예로는, 추출된 차분이 소정량을 초과한 경우에 부정합을 검출한다. 다른 예로는, 묘화되는 가상 오브젝트를 포함하는 소정의 3 차원 공간 영역에 있어서 추출된 차분이 소정량을 초과한 경우에 부정합을 검출한다.

그 후, MR 시스템(10)이 유저에 대하여 복합 현실 환경(33)을 계속 제공하는 한(단계 1607), 단계 1601로 되돌아온다.

이어서, 본 발명의 실시 형태에 따른 MR 시스템(10) 및 부정합 검출 시스템(1)의 작용 효과에 대하여 설명한다. 우선 본 실시 형태에서는, 실 공간(31) 내의 실 오브젝트의 3 차원 형상을 나타내는 점군 데이터를 미리 취득하고, MR 시스템(10)은, 취득된 점군 데이터를, 기존의 수법을 이용하여, 복셀로 불리우는 데이터 구조로 변환하고, 3 차원 공간 데이터로서 점군 데이터 및 복셀 데이터를 기억부(104 또는 204)에 기억한다. MR 시스템(10)은, 이와 같이 미리 취득되어 기억된 3 차원 공간 데이터와, 유저가 장착하는 HMD(200)의 센서(206)로부터 취득되는 데이터에 기초하여, 실 공간(31)과 가상 공간(32)을 대응시킨다. 이에 의하여, 유저의 고정밀도의 포지션 트랙킹을 실현하는 것이 가능해진다.

본 실시 형태에서는, HMD(200)가 구비하는 카메라로부터 얻어지는 실 공간(31)의 스테레오 화상으로 가상 공간(32)의 가상 오브젝트의 화상을 중첩시킨 합성 화상으로부터 생성할 수 있는 점군 데이터와, 고정밀도의 레이저 스캐너를 이용하여 미리 취득한 실 공간(31)의 점군 데이터로 가상 공간(32)의 가상 오브젝트의 점군 데이터를 추가한 점군 데이터를 비교한다. 이와 같이 비교함으로써, HMD(200) 장착자인 유저의 시점으로부터 보았을 때에, 실 공간(31)의 상과, 그 위에 투과형 디스플레이(202)를 통해 중첩 표시되는 가상 공간(32)의 화상과의 기하학적 정합성의 유무를 검출한다. 이러한 구성으로 함으로써, 실제로 유저가 보는 화상 상에서의, 가상 오브젝트와 현실 세계와의 모순된 관계를 검출하여, 종래 자기 검출할 수 없었던 MR 시스템(10)에 있어서의 포지션 트랙킹의 에러를 검출하는 것이 가능해진다. 이에 의하여, 예를 들면, 모순이 있는 화상을 화면에 표시하지 않고, 포지션 트랙킹에 보정 정보를 보내는 것이 가능해진다. 또한, 현재의 기술 수준으로는, 오차가 생기지 않는 포지션 트랙킹의 실현은 불가능하므로, 유저가 눈으로 보는 화상으로부터 모순을 검출하고, 그 결과에 따라 위치 정보 등을 보정하는 것이 가능해지는, 본 발명의 실시 형태의 기술적 의의는 크다고 할 수 있다.

또한, 본 실시 형태에서는, 카메라로부터 얻은 화상을 그대로 이용하는 것이 아니라, 메모리 내에서 합성된 화상을 대상으로 하여 심도 계산을 행하여, MR 시스템(10)에 의한 렌더링 결과를 검증할 수 있다. 이에 의하여, MR 시스템(10)에 의한 「모순된 렌더링」, 즉, MR 시스템(10)에 의한 기하학적 정합성이 잡혀있지 않은 묘화 처리를, 가상 오브젝트의 묘화 전에 또는 묘화 후 매우 단시간에 검출하는 것이 가능해진다.

본 발명의 다른 실시 형태에 따른 MR 시스템(10)이 복합 현실 환경(33)을 유저에게 제공하는 현실 세계의 공간(소정의 실 공간)은, 도 17에 도시한 바와 같은 옥외의 공간인 실 공간(41)이어도 된다. 실 공간(41)은, 천정과 한 쌍의 횡벽이 없는 점, 태양광을 포함하는 광원(22)이 실 공간 내가 아닌 실 공간 외에 갖는 점 외에는, 실 공간(31)과 같다. 이 경우에서도, 가상 공간(42)을 실 공간(41) 내에 대응된 영역(0

X≤X1, 0≤Y≤Y1, 0≤Z≤Z1)으로 한정하여 생각하는 것으로 한다.

본 발명의 다른 실시 형태에서는, 복셀의 위치 정보와, 화상 취득 장치(300)에 의해 취득된 화상의 각각의 픽셀의 위치 정보를 관련지은 테이블을 이용함으로써, 복셀의 색 정보를 화상 취득 장치(300)에 의해 취득된 화상의 픽셀의 색 정보로부터 결정하고, 또한 갱신한다. 이와 같이 테이블을 이용함으로써, 화상 취득 장치(300)로부터 얻어지는 색 정보를 복셀의 각각에 리얼타임으로 반영하는 것이 가능해진다. 이에 의하여, 고정밀도로 실 공간의 형상이 재현된 복합 현실 환경에서, 실 공간(31)의 색채를, 고정밀도 및 리얼타임으로 인식하여, 가상 공간(32)에 반영하는 것이 가능해진다.

이 경우, 리얼타임으로 반영되는 복셀의 색 정보를, 유저 환경 결정 수단(12)이 이용하는 복셀의 색 정보로서 이용할 수 있다.

또한, 본 발명의 다른 실시 형태에서는, 상기와 같이 실 공간(31)의 색채를 반영시킨 복셀의 각각을, 묘화되는 가상 오브젝트의 가상적인 간접 조명(광원)으로서 이용한다. 이에 의하여, 실 공간(31)의 빛 상태를 이용한 글로벌 일루미네이션을 실현하는 것이 가능해지고, 실 공간(31)의 환경에 매우 가까운 색채나 음영을 가지는 가상 오브젝트를 묘화하는 것이 가능해진다.

또한, 본 발명의 다른 실시 형태에서는, 실 공간(31)에서는, 실 공간(31)을 가상 공간(32)이듯이 이용하는 것이 가능해진다. 예를 들면, 게임 개발자는, 현실 공간을, 게임 엔진 내의 게임 공간(가상 공간)과 마찬가지로 취급하는 것이 가능해진다.

이상에 설명한 처리 또는 동작에 있어서, 어느 한 단계에서, 그 단계에서는 아직 이용할 수 없을 데이터를 이용하고 있는 등의 처리 또는 동작 상의 모순이 생기지 않는 한, 처리 또는 동작을 자유롭게 변경할 수 있다. 또한, 이상에서 설명한 각 실시예는, 본 발명을 설명하기 위한 예시이며, 본 발명은 이들 실시예로 한정되는 것은 아니다. 본 발명은, 그 요지를 일탈하지 않는 한, 다양한 형태로 실시할 수 있다.

1 : 부정합 검출 시스템
10 : 복합 현실(MR) 시스템
11 :　기억 수단
12 :　유저 환경 결정 수단
13 :　묘화 수단
21 :　현실 공간
22 :　가상 공간
23 :　MR 환경
24 :　캐릭터(가상 오브젝트)
25, 26 : 받침대
27 : 벽
31, 41 : 현실 세계(실 공간)
32, 42 : 가상 세계(가상 공간)
33, 43 : 복합 현실 세계(복합 현실 환경)
34 :　광원
35 :　건물
36 :　벽
37 :　가상 오브젝트
50 :　네트워크
100 :　서버
101, 201 : 처리부
102, 202 : 표시부
103 :　입력부
104, 204 : 기억부
105, 205 : 통신부
110, 210 : 버스
200 :　표시 장치
202a :　오른쪽 눈용 투과형 디스플레이
202b :　왼쪽 눈용 투과형 디스플레이
203 :　촬영부
203a :　오른쪽 눈용 카메라
203b :　왼쪽 눈용 카메라
206 :　센서
300 :　화상 취득 장치

Claims (8)

1. 유저에 대하여 가상 오브젝트를 표시하기 위한 투과형의 표시부 및 실 공간을 촬영하는 촬영부를 가지는 휴대 가능한 표시 장치를 구비하고, 소정의 실 공간 내에서 가상 오브젝트를 상기 표시부에 묘화함으로써, 상기 표시부를 통해 실 공간에 대하여 가상 오브젝트를 중첩하여 유저에게 시인시키는 복합 현실 시스템에 있어서의 부정합 검출 시스템으로서,
   상기 복합 현실 시스템은,
   미리 취득된 상기 소정의 실 공간 내에 있는 실 오브젝트의 점군 데이터이며, 각각이 3 차원 위치 정보를 가지는 점군 데이터를 포함하는 3 차원 공간 데이터를 기억하는 3 차원 공간 데이터 기억 수단과,
   상기 표시 장치가 구비하는 센서로부터 취득된 데이터 및 상기 3 차원 공간 데이터에 기초하여 상기 표시 장치의 위치 및 상기 표시부를 통해 유저가 시인하는 시계(視界) 영역을 포함하는 유저 환경을 결정하는 유저 환경 결정 수단과,
   상기 유저 환경에 기초하여 상기 표시부에 가상 오브젝트를 묘화하는 묘화 수단을 구비하는 것이며,
   상기 촬영된 실 공간 화상으로부터 생성된 상기 표시부를 통해 유저가 시인하는 실 공간 화상에 상기 묘화 수단에 의해 묘화되는 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터, 실 오브젝트 및 가상 오브젝트의 점군 데이터인 제1 점군 데이터를 생성하는 제1 점군 데이터 생성 수단과,
   상기 유저 환경 결정 수단에 의해 결정된 상기 시계 영역에 있어서의 상기 3 차원 공간 데이터 기억 수단에 의해 기억된 점군 데이터 및 상기 묘화 수단에 의해 묘화되는 가상 오브젝트의 점군 데이터를 이용하여 제2 점군 데이터를 생성하는 제2 점군 데이터 생성 수단과,
   상기 제1 점군 데이터 및 상기 제2 점군 데이터의 비교 결과에 기초하여 부정합을 검출하는 부정합 검출 수단
   을 구비하는 부정합 검출 시스템.
2. 제1항에 있어서,
   상기 촬영부는, 실 공간을 스테레오 화상으로서 취득하는 것이며,
   제1 점군 데이터 생성 수단은, 상기 스테레오 화상으로서 취득된 두 개의 실 공간 화상으로부터 각각 생성된 상기 표시부를 통해 유저가 시인하는 각 실 공간 화상에 상기 묘화 수단에 의해 묘화되는 가상 오브젝트를 각각 중첩 표시함으로써 얻어지는 각 합성 화상으로부터 상기 제1 점군 데이터를 생성하는 부정합 검출 시스템.
3. 제1항 또는 제2항에 있어서,
   상기 제1 점군 데이터 생성 수단은, 상기 촬영된 실 공간 화상을, 상기 표시부와, 상기 촬영부의 위치 관계에 기초하여 투영 변환함으로써 상기 표시부를 통해 유저가 시인하는 실 공간 화상을 생성하는 부정합 검출 시스템.
4. 제1항 또는 제2항에 있어서,
   상기 부정합 검출 수단은, 상기 제1 점군 데이터 및 상기 제2 점군 데이터의 차가 소정량을 초과한 경우에 부정합을 검출하는 부정합 검출 시스템.
5. 제1항 또는 제2항에 있어서,
   상기 부정합 검출 수단은, 상기 유저 환경에 기초하여 묘화되는 가상 오브젝트를 포함하는 소정의 3 차원 공간 영역에 있어서, 상기 제1 점군 데이터 및 상기 제2 점군 데이터의 차가 소정량을 초과한 경우에 부정합을 검출하는 부정합 검출 시스템.
6. 서버와, 유저에 대하여 가상 오브젝트를 표시하기 위한 투과형의 표시부 및 실 공간을 촬영하는 촬영부를 가지는 휴대 가능한 표시 장치를 구비하고, 소정의 실 공간 내에서 가상 오브젝트를 상기 표시부에 묘화함으로써, 상기 표시부를 통해 실 공간에 대하여 가상 오브젝트를 중첩하여 유저에게 시인시키는 복합 현실 시스템으로서,
   미리 취득된 상기 소정의 실 공간 내에 있는 실 오브젝트의 점군 데이터이며, 각각이 3 차원 위치 정보를 가지는 점군 데이터를 포함하는 3 차원 공간 데이터를 기억하는 3 차원 공간 데이터 기억 수단과,
   상기 표시 장치가 구비하는 센서로부터 취득된 데이터 및 상기 3 차원 공간 데이터에 기초하여 상기 표시 장치의 위치 및 상기 표시부를 통해 유저가 시인하는 시계 영역을 포함하는 유저 환경을 결정하는 유저 환경 결정 수단과,
   상기 유저 환경에 기초하여 상기 표시부에 가상 오브젝트를 묘화하는 묘화 수단과,
   상기 촬영된 실 공간 화상으로부터 생성된 상기 표시부를 통해 유저가 시인하는 실 공간 화상에 상기 묘화 수단에 의해 묘화되는 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터, 실 오브젝트 및 가상 오브젝트의 점군 데이터인 제1 점군 데이터를 생성하는 제1 점군 데이터 생성 수단과,
   상기 유저 환경 결정 수단에 의해 결정된 상기 시계 영역에 있어서의 상기 3 차원 공간 데이터 기억 수단에 의해 기억된 점군 데이터 및 상기 묘화 수단에 의해 묘화되는 가상 오브젝트의 점군 데이터를 이용하여 제2 점군 데이터를 생성하는 제2 점군 데이터 생성 수단과,
   상기 제1 점군 데이터 및 상기 제2 점군 데이터의 비교 결과에 기초하여 부정합을 검출하는 부정합 검출 수단의 각 수단을 상기 서버 또는 상기 표시 장치가 구비하는 복합 현실 시스템.
7. 유저에 대하여 가상 오브젝트를 표시하기 위한 투과형의 표시부 및 실 공간을 촬영하는 촬영부를 가지는 휴대 가능한 표시 장치를 구비하고, 소정의 실 공간 내에서 가상 오브젝트를 상기 표시부에 묘화함으로써, 상기 표시부를 통해 실 공간에 대하여 가상 오브젝트를 중첩하여 유저에게 시인시키는 복합 현실 시스템에 있어서 부정합을 검출하기 위한 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서,
   상기 복합 현실 시스템은,
   미리 취득된 상기 소정의 실 공간 내에 있는 실 오브젝트의 점군 데이터이며, 각각이 3 차원 위치 정보를 가지는 점군 데이터를 포함하는 3 차원 공간 데이터를 기억하는 3 차원 공간 데이터 기억 수단과,
   상기 표시 장치가 구비하는 센서로부터 취득된 데이터 및 상기 3 차원 공간 데이터에 기초하여 상기 표시 장치의 위치 및 상기 표시부를 통해 유저가 시인하는 시계 영역을 포함하는 유저 환경을 결정하는 유저 환경 결정 수단과,
   상기 유저 환경에 기초하여 상기 표시부에 가상 오브젝트를 묘화하는 묘화 수단을 구비하는 것이며,
   상기 프로그램은, 상기 표시 장치에,
   상기 촬영된 실 공간 화상으로부터 생성된 상기 표시부를 통해 유저가 시인하는 실 공간 화상에 상기 묘화 수단에 의해 묘화되는 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터, 실 오브젝트 및 가상 오브젝트의 점군 데이터인 제1 점군 데이터를 생성하는 단계와,
   상기 유저 환경 결정 수단에 의해 결정된 상기 시계 영역에 있어서의 상기 3 차원 공간 데이터 기억 수단에 의해 기억된 점군 데이터 및 상기 묘화 수단에 의해 묘화되는 가상 오브젝트의 점군 데이터를 이용하여 제2 점군 데이터를 생성하는 단계와,
   상기 제1 점군 데이터 및 상기 제2 점군 데이터의 비교 결과에 기초하여 부정합을 검출하는 단계
   를 실행시키는 프로그램을 저장하는 컴퓨터 판독가능 저장 매체.
8. 유저에 대하여 가상 오브젝트를 표시하기 위한 투과형의 표시부 및 실 공간을 촬영하는 촬영부를 가지는 휴대 가능한 표시 장치를 구비하고, 소정의 실 공간 내에서 가상 오브젝트를 상기 표시부에 묘화함으로써, 상기 표시부를 통해 실 공간에 대하여 가상 오브젝트를 중첩하여 유저에게 시인시키는 복합 현실 시스템에 있어서의 부정합 검출 방법으로서,
   상기 복합 현실 시스템은,
   미리 취득된 상기 소정의 실 공간 내에 있는 실 오브젝트의 점군 데이터이며, 각각이 3 차원 위치 정보를 가지는 점군 데이터를 포함하는 3 차원 공간 데이터를 기억하는 3 차원 공간 데이터 기억 수단과,
   상기 표시 장치가 구비하는 센서로부터 취득된 데이터 및 상기 3 차원 공간 데이터에 기초하여 상기 표시 장치의 위치 및 상기 표시부를 통해 유저가 시인하는 시계 영역을 포함하는 유저 환경을 결정하는 유저 환경 결정 수단과,
   상기 유저 환경에 기초하여 상기 표시부에 가상 오브젝트를 묘화하는 묘화 수단을 구비하는 것이며, 상기 부정합 검출 방법은
   상기 촬영된 실 공간 화상으로부터 생성된 상기 표시부를 통해 유저가 시인하는 실 공간 화상에 상기 묘화 수단에 의해 묘화되는 가상 오브젝트를 중첩 표시함으로써 얻어지는 합성 화상으로부터, 실 오브젝트 및 가상 오브젝트의 점군 데이터인 제1 점군 데이터를 생성하는 단계와,
   상기 유저 환경 결정 수단에 의해 결정된 상기 시계 영역에 있어서의 상기 3 차원 공간 데이터 기억 수단에 의해 기억된 점군 데이터 및 상기 묘화 수단에 의해 묘화되는 가상 오브젝트의 점군 데이터를 이용하여 제2 점군 데이터를 생성하는 단계와,
   상기 제1 점군 데이터 및 상기 제2 점군 데이터의 비교 결과에 기초하여 부정합을 검출하는 단계
   를 가지는 부정합 검출 방법.

Images