KR20120008030A

KR20120008030A - 정보 처리 장치, 정보 처리 방법 및 프로그램

Info

Publication number: KR20120008030A
Application number: KR1020117024242A
Authority: KR
Inventors: 고우이찌 마쯔다
Original assignee: 소니 주식회사
Priority date: 2009-04-23
Filing date: 2010-03-17
Publication date: 2012-01-25
Also published as: RU2011141838A; JP5158006B2; CN102395948B; CN102395948A; US8994721B2; JP2010257123A; US20120032955A1; TW201103312A; EP2423789A1; WO2010122859A1; TWI469622B; RU2536363C2; BRPI1015167A2; EP2423789A4; EP2423789B1

Abstract

표시부에 표시되지 않는 데이터를 가상 오브젝트로서 항상 관찰 가능한 구성을 실현한다. 표시부를 갖는 PC나 휴대 전화 등의 다양한 표시 장치에 있어서, 표시부 외의 영역으로 밀려나온 비표시 데이터를 표시부의 표시 데이터에 연속하는 위치에 가상 오브젝트로서 표시하는 구성을 실현한다. 이 구성에 의해, 유저는 PC 등의 한정된 표시 영역의 표시 데이터뿐만 아니라, 표시부 외로 나와 버린 데이터를 항상 관찰하여 확인하는 것이 가능하게 되어, 데이터 처리 효율을 높일 수 있다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM}

본 발명은 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다. 더욱 상세하게는 실세계의 실물체와 전자적인 표시를 융합시킨 복합 현실감(MR: Mixed Reality)을 이용한 데이터 처리를 행하는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.

예를 들어, 유저가 PC(퍼스널 컴퓨터)를 이용한 데이터 처리를 행하는 경우, 유저는 PC의 표시부(디스플레이)의 표시 데이터에 대한 처리를 행한다. 그러나, 예를 들어 문서 작성을 행하는 경우, 그 문서 작성에 적용하고 있는 용지의 표시 크기가 PC의 표시부의 크기(예를 들어, 윈도우 크기)보다도 커진 경우, 용지 전체를 PC 화면 내에 표시하지 못하고, 용지의 일부만을 화면에 표시하여 작업을 행하는 것이 필요하게 된다.

즉, 화면으로부터 밀려나온 정보는 PC의 화면 내에서는 표시되지 않게 되어버린다. PC 화면으로부터 밀려나온 영역을 표시하는 경우에는 스크롤 처리를 행하여 표시하는 것은 가능하지만, 스크롤의 결과로서 이제까지 표시되고 있던 영역이 숨겨져 버린다고 하는 문제가 발생한다. 전체를 표시하기 위해서는, 예를 들어 전체를 축소하여 표시하는 처리나, 화면을 2분할하여 표시하는 등의 처리도 가능하기는 하지만, 이러한 처리를 행하면, 예를 들어 문자 크기가 작아져 작업을 행하기 어려워진다고 하는 문제가 발생한다.

본 발명은 이러한 문제를 예를 들어 복합 현실감(MR: Mixed Reality)을 이용한 데이터 처리를 이용하여 해결하는 것이다. 또한, 복합 현실감에 대하여 설명한 종래 기술로서는, 예를 들어 특허문헌 1(일본 특허 공개 제2008-304268호 공보)이나 특허문헌 2(일본 특허 공개 제2008-304269호 공보)가 있다. 이들 문헌에는 카메라에 의해 촬영된 화상을 이용하여 실세계의 3차원 맵을 작성하는 처리에 대하여 기재되어 있다.

일본 특허 공개 제2008-304268호 공보 일본 특허 공개 제2008-304269호 공보

본 발명은 복합 현실감(MR: Mixed Reality)을 이용한 데이터 처리에 의해, 예를 들어 PC 등의 표시부(디스플레이) 이외의 영역에 여러가지 데이터를 전자적으로 붙인 합성 화상을 생성하여, 이 합성 화상을 관찰 가능하게 함으로써, 주요 워크 영역으로서 이용하는 표시부 이외의 공간 영역을 유효하게 이용 가능하게 한 정보 처리 장치, 정보 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.

본 발명의 제1 측면은,

제1 표시부를 이용한 데이터 처리에 있어서 상기 제1 표시부의 표시 데이터에 연속하는 비표시 데이터와 상기 비표시 데이터의 위치 정보를 메모리에 저장하는 어플리케이션 실행부와,

카메라 촬영 화상에 포함되는 상기 제1 표시부를 포함하는 실제 오브젝트의 3차원 위치를 해석하는 3차원 정보 해석부와,

상기 메모리에 저장된 비표시 데이터와 상기 비표시 데이터의 위치 정보와, 상기 3차원 정보 해석부가 해석한 상기 제1 표시부의 3차원 위치 정보를 입력하고, 상기 카메라 촬영 화상에 포함되는 실제 오브젝트와, 상기 비표시 데이터로 이루어지는 가상 오브젝트로 이루어지는 합성 화상을 생성하여 제2 표시부에 표시하는 가상 오브젝트 관리부를 갖고,

상기 가상 오브젝트 관리부는,

상기 제2 표시부에서의 상기 가상 오브젝트의 표시 위치를, 상기 제2 표시부에 표시하는 상기 제1 표시부의 표시 데이터의 경계로부터 제1 표시부 외부로 연장한 방향의 위치에 설정하는 정보 처리 장치에 있다.

또한, 본 발명의 정보 처리 장치의 일 실시 형태에 있어서, 상기 가상 오브젝트 관리부는, 상기 메모리에 저장된 비표시 데이터의 위치 정보인 좌표 데이터를, 상기 제2 표시부의 표시 화상에서의 표시 위치의 지표로 되는 카메라 좌표계로 변환하고, 상기 변환 후의 좌표 데이터를 적용하여 상기 가상 오브젝트의 표시 위치를 결정한다.

또한, 본 발명의 정보 처리 장치의 일 실시 형태에 있어서, 상기 오브젝트 관리부는, 카메라 좌표계로 변환한 상기 가상 오브젝트의 표시 위치와, 카메라 촬영 화상에 포함되는 실제 오브젝트의 형성면이 교차하는지의 여부를 판정하여, 교차하는 경우에는, 상기 변환 후의 좌표 데이터를, 상기 실제 오브젝트의 형성면 상에 위치하도록 좌표 재변환 처리를 실행하고, 재변환 처리 후의 좌표 데이터를 적용하여 상기 가상 오브젝트의 표시 위치를 결정한다.

또한, 본 발명의 정보 처리 장치의 일 실시 형태에 있어서, 상기 정보 처리 장치는, 상기 어플리케이션 실행부를 갖는 제1 장치와, 상기 3차원 정보 해석부와, 상기 가상 오브젝트 관리부를 갖는 제2 장치에 의해 구성되며, 상기 어플리케이션 실행부가 제1 장치 내의 제1 메모리에 저장된 데이터를 통신부를 통하여 상기 제2 장치로 전송하고, 상기 제2 장치에 있어서, 상기 3차원 정보 해석부와 상기 가상 오브젝트 관리부가 수신 데이터를 이용한 처리를 행한다.

또한, 본 발명의 제2 측면은,

정보 처리 장치에서 실행하는 정보 처리 방법으로서,

어플리케이션 실행부가, 제1 표시부를 이용한 데이터 처리에 있어서 상기 제1 표시부의 표시 데이터에 연속하는 비표시 데이터와 상기 비표시 데이터의 위치 정보를 메모리에 저장하는 어플리케이션 실행 스텝과,

3차원 정보 해석부가, 카메라 촬영 화상에 포함되는 상기 제1 표시부를 포함하는 실제 오브젝트의 3차원 위치를 해석하는 3차원 정보 해석 스텝과,

가상 오브젝트 관리부가, 상기 메모리에 저장된 비표시 데이터와 상기 비표시 데이터의 위치 정보와, 상기 3차원 정보 해석부가 해석한 상기 제1 표시부의 3차원 위치 정보를 입력하고, 상기 카메라 촬영 화상에 포함되는 실제 오브젝트와, 상기 비표시 데이터로 이루어지는 가상 오브젝트로 이루어지는 합성 화상을 생성하여 제2 표시부에 표시하는 가상 오브젝트 관리 스텝을 갖고,

상기 가상 오브젝트 관리 스텝은,

상기 제2 표시부에서의 상기 가상 오브젝트의 표시 위치를, 상기 제2 표시부에 표시하는 상기 제1 표시부의 표시 데이터의 경계로부터 제1 표시부 외부로 연장한 방향의 위치에 설정하는 처리를 행하는 스텝을 갖는 정보 처리 방법에 있다.

또한, 본 발명의 제3 측면은,

정보 처리 장치에서 정보 처리를 실행시키는 프로그램으로서,

어플리케이션 실행부에, 제1 표시부를 이용한 데이터 처리에 있어서 상기 제1 표시부의 표시 데이터에 연속하는 비표시 데이터와 상기 비표시 데이터의 위치 정보를 메모리에 저장시키는 어플리케이션 실행 스텝과,

3차원 정보 해석부에, 카메라 촬영 화상에 포함되는 상기 제1 표시부를 포함하는 실제 오브젝트의 3차원 위치를 해석시키는 3차원 정보 해석 스텝과,

가상 오브젝트 관리부에, 상기 메모리에 저장된 비표시 데이터와 상기 비표시 데이터의 위치 정보와, 상기 3차원 정보 해석부가 해석한 상기 제1 표시부의 3차원 위치 정보를 입력시켜, 상기 카메라 촬영 화상에 포함되는 실제 오브젝트와, 상기 비표시 데이터로 이루어지는 가상 오브젝트로 이루어지는 합성 화상을 생성하여 제2 표시부에 표시시키는 가상 오브젝트 관리 스텝을 갖고,

상기 가상 오브젝트 관리 스텝은,

상기 제2 표시부에서의 상기 가상 오브젝트의 표시 위치를, 상기 제2 표시부에 표시하는 상기 제1 표시부의 표시 데이터의 경계로부터 제1 표시부 외부로 연장한 방향의 위치에 설정하는 처리를 행하게 하는 스텝을 갖는 프로그램에 있다.

또한, 본 발명의 프로그램은, 예를 들어 여러가지 프로그램ㆍ코드를 실행 가능한 화상 처리 장치나 컴퓨터ㆍ시스템에 대하여, 컴퓨터 판독 가능한 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 판독 가능한 형식으로 제공함으로써, 화상 처리 장치나 컴퓨터ㆍ시스템 상에서 프로그램에 따른 처리가 실현된다.

본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다. 또한, 본 명세서에 있어서, 시스템이란 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 제한되지 않는다.

본 발명의 일 실시예의 구성에 따르면, 표시부를 갖는 PC나 휴대 전화 등의 다양한 표시 장치에 있어서, 표시부 외의 영역으로 밀려나온 비표시 데이터를 표시부의 표시 데이터에 연속하는 위치에 가상 오브젝트로서 표시하는 구성을 실현한다. 이 구성에 의해, 유저는 PC 등의 한정된 표시 영역의 표시 데이터뿐만 아니라, 표시부 외로 나와 버린 데이터를 항상 관찰하여 확인하는 것이 가능하게 되어, 데이터 처리 효율을 높일 수 있다.

도 1은 본 발명의 정보 처리 장치의 일 실시예 구성에 대하여 설명하는 도면.
도 2는 본 발명의 정보 처리 장치가 실행하는 가상 오브젝트의 표시예에 대하여 설명하는 도면.
도 3은 본 발명의 정보 처리 장치가 실행하는 일 처리예에 대하여 설명하는 도면.
도 4는 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리예에 대하여 설명하는 도면.
도 5는 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리예에 대하여 설명하는 도면.
도 6은 본 발명의 정보 처리 장치가 실행하는 처리 시퀀스에 대하여 설명하는 흐름도를 나타내는 도면.
도 7은 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리예에 대하여 설명하는 도면.
도 8은 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리예에 대하여 설명하는 도면.
도 9는 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리예에 대하여 설명하는 도면.
도 10은 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리예에 대하여 설명하는 도면.
도 11은 본 발명의 정보 처리 장치가 실행하는 처리 시퀀스에 대하여 설명하는 흐름도를 나타내는 도면.
도 12는 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리예에 대하여 설명하는 도면.
도 13은 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리예에 대하여 설명하는 도면.
도 14는 본 발명의 정보 처리 장치가 실행하는 처리의 일례를 나타내는 구체적인 처리예에 대하여 설명하는 도면.

이하, 도면을 참조하면서 본 발명의 정보 처리 장치, 정보 처리 방법 및 프로그램의 상세에 대하여 설명한다.

본 발명에 대하여 이하의 항목에 따라 순차적으로 설명한다.

1. 본 발명의 정보 처리 장치의 구성예와 처리예에 대하여(실시예 1)

2. 실세계의 오브젝트 형상에 적합하게 한 가상 오브젝트의 표시 처리(실시예 2)

3. 그 밖의 표시 장치를 이용한 처리예

[1. 본 발명의 정보 처리 장치의 구성예와 처리예에 대하여]

본 발명의 정보 처리 장치의 구성예와 처리예에 대하여 도 1 이하를 참조하여 설명한다. 도 1은 본 발명의 정보 처리 장치의 일 구성예를 나타내는 도면이다.

유저(100)는 PC(퍼스널 컴퓨터)(120)를 조작하여 각종 데이터 처리를 행한다. PC(120)는, 도면에 나타낸 바와 같이 어플리케이션 실행부(121), 메모리(122), 통신부(123)를 갖는다. 어플리케이션 실행부(121)에서는 유저가 선택한 어플리케이션 프로그램이 실행된다. 예를 들어 문서 작성 어플리케이션이나 묘화 어플리케이션 등이다. 메모리(122)는 RAM, ROM 등으로 구성되며, 어플리케이션 프로그램의 저장 영역이나 워크 에리어로서 이용된다. 예를 들어, 이하에 있어서 설명하는 스크롤 처리 등에 의해 PC의 표시부(디스플레이)에 표시되지 않게 된 비표시 데이터 및 비표시 데이터의 위치 정보 등의 저장 영역으로서도 이용된다. 통신부(123)는 복합 현실감(MR: Mixed Reality) 생성 장치(130)와의 통신 처리를 행한다.

유저(100)는 가상 오브젝트를 표시하는 디스플레이를 갖는 안경(141)을 장착하고 있다. 안경(141)에는 주위의 환경을 촬영하는 카메라(142)가 구비되어 있다. 안경(141)과 카메라(142)는 복합 현실감(MR: Mixed Reality) 생성 장치(130)에 접속되어 있다. 유저(100)는 안경(141)에 설치된 디스플레이의 표시 화상을 관찰하면서 작업을 행한다.

안경(141)의 디스플레이에는 카메라(142)의 촬영 화상인 실세계 화상을 표시하고, 또한 복합 현실감(MR) 생성 장치(130)가 생성한 가상 오브젝트를 실세계 화상에 함께 표시한다.

도 1의 예에 있어서, 유저(100)는 PC(퍼스널 컴퓨터)(120)를 조작하고 있고, 카메라(142)는 유저(100)가 조작하는 PC(퍼스널 컴퓨터)(120)를 촬영하고 있다. 따라서, 안경(141)의 디스플레이에는 실세계 화상으로서, 예를 들어 유저(100)가 조작하는 PC(퍼스널 컴퓨터)(120)의 디스플레이와 그 주위의 여러가지 실제 오브젝트를 포함하는 화상이 표시된다. 또한, 이 실세계 화상에 복합 현실감(MR) 생성 장치(130)가 생성한 가상 오브젝트가 겹쳐 표시된다. 유저(100)의 움직임에 따라 카메라(142)의 방향도 변경되며, 예를 들어 유저가 자신의 손을 본 경우, 손의 화상이 실세계 화상으로서 안경(141)의 디스플레이에 표시되고, 그 실세계 화상에 가상 오브젝트가 함께 표시되게 된다.

유저(100)가 PC(120)의 화면을 향하여 처리를 행하고 있는 경우, 카메라(142)는 PC(120)의 화면의 화상을 중심으로 한 화상을 촬영한다. 이 결과, 예를 들어 도 2에 나타낸 바와 같은 디스플레이 표시 화상(200)이 유저(100)가 장착한 안경(141)의 디스플레이에 표시된다. 이 도 2에 나타내는 디스플레이 표시 화상(150)은 실제 오브젝트와 가상 오브젝트의 합성 화상이다.

도 2에 대한 설명에 앞서, 도 1에 나타내는 복합 현실감(MR) 생성 장치(130)의 구성에 대하여 설명한다. 복합 현실감(MR) 생성 장치(130)는, 도 1에 나타낸 바와 같이 3차원 정보 해석부(131), 가상 오브젝트 관리 모듈(132), 메모리(133), 통신부(134)를 갖는다.

3차원 정보 해석부(131)는 유저가 장착한 카메라(142)의 촬영 화상을 입력하고, 촬영 화상에 포함되는 오브젝트의 3차원 위치를 해석하는 처리를 행한다. 이 3차원 위치 해석 처리는, 예를 들어 SLAM(simultaneous localization and mapping)을 적용한 처리로서 행해진다. SLAM은 카메라의 촬영 화상에 포함되는 여러가지 실제 오브젝트로부터 특징점을 선택하고, 선택한 특징점의 위치와 카메라의 위치 자세를 함께 검출하는 처리이다. 또한, SLAM에 대해서는, 전술한 특허문헌 1(일본 특허 공개 제2008-304268호 공보)이나 특허문헌 2(일본 특허 공개 제2008-304269호 공보)에 기재되어 있다. 또한, SLAM의 기본적인 처리에 대해서는, 논문 [Andrew J. Davison, "Real-time simultaneous localisation and mapping with a single camera", Proceedings of the 9th International Conference on Computer Vision, Ninth, (2003)]에 기재되어 있다.

3차원 정보 해석부(131)는, 예를 들어 상기의 SLAM을 적용하여 유저가 장착한 카메라(142)의 촬영 화상에 포함되는 실제 오브젝트의 3차원 위치를 산출한다. 단, 3차원 정보 해석부(131)는, 상기의 SLAM에 한정되지 않고, 그 밖의 방법에 의해 카메라 촬영 화상에 포함되는 오브젝트의 3차원 위치를 구하는 설정이어도 된다.

가상 오브젝트 관리 모듈(132)은, 유저가 장착한 안경(141)의 디스플레이에 표시하는 가상 오브젝트의 관리를 행한다. 가상 오브젝트는 메모리(133)에 저장된 데이터이다. 구체적으로는, 예를 들어 유저가 장착한 안경(141)의 디스플레이에는, 도 2에 나타내는 디스플레이 표시 화상(150)이 표시된다. 디스플레이 표시 화상(150)에 포함되는 PC 화상(151)은 카메라(142)에 의해 촬영된 실제 화상(실제 오브젝트)이다. 이 실제 화상(실제 오브젝트)에 대하여 도 2에 나타내는 가상 오브젝트(161)가 함께 표시된다.

도 1에 나타내는 유저(100)는, 예를 들어 도 2에 나타내는 실제 오브젝트와 가상 오브젝트의 합성 화상을 안경(141)의 디스플레이에 있어서 관찰할 수 있다. 도 2에 나타내는 PC 화상(151)은 카메라(142)에 의해 촬영된 실제 오브젝트이다. PC 화상(151) 내의 PC 표시부(152)도 실제 화상이다. 이 PC 표시부(152)에는 유저가 작성 중인 문서의 일부가 표시되어 있다.

한편, 도 2에 나타내는 표시 화상(150)에 포함되는 가상 오브젝트(161)는 현실 세계의 오브젝트(실제 오브젝트)가 아니다. 도 2에 나타내는 가상 오브젝트(161)는 PC 화상(151) 내의 PC 표시부(152) 내에 나타내어지는 유저가 처리 대상으로 하고 있는 용지의 일부이다.

유저는 도 1에 나타내는 PC(120)의 조작을 행하여 용지의 크기를 설정하고, 설정한 크기의 용지에 대하여 문자 등을 입력하고 있지만, 용지 크기가 커서 PC(120)의 표시 영역으로부터 밀려나와 버려, 용지 전체가 PC의 디스플레이에는 표시되지 않는다. 도 2에 나타내는 가상 오브젝트(221)는 PC(120)의 표시 영역으로부터 밀려나온 비표시 데이터이다. PC(120)의 어플리케이션 실행부(121)는, 비표시 데이터의 발생을 검출하면, 비표시 데이터와 그 위치 정보를 PC(120) 내의 메모리(122)에 저장한다.

메모리(122)에 저장된 데이터는, PC(120)의 통신부(123)와, 복합 현실감(MR) 생성 장치(130)의 통신부(134)와의 통신에 의해 복합 현실감(MR) 생성 장치(130)에 송신된다. 복합 현실감(MR) 생성 장치(130)는, PC(120)로부터의 수신 데이터를 복합 현실감(MR) 생성 장치(130) 내의 메모리(133)에 저장한다.

복합 현실감(MR) 생성 장치(130)의 가상 오브젝트 관리 모듈(132)은, 메모리(133)에 저장된 데이터를 가상 오브젝트로서 유저가 장착한 안경(141)의 디스플레이에 표시하는 처리를 행한다. 구체적으로는, 예를 들어 가상 오브젝트의 표시 위치를 결정하여, 결정한 표시 위치에 가상 오브젝트를 표시하는 처리를 행한다.

도 2에 나타내는 예에서는, 가상 오브젝트(161)를, 실제 오브젝트 화상으로서 표시되는 PC 화상(151)의 PC 표시부(152)의 상부에 표시한 예를 나타내고 있다. 이 표시 위치는, PC(120)의 어플리케이션 실행부(121)가 비표시 데이터와 함께 메모리(122)에 저장한 위치 정보를 적용하여, 가상 오브젝트 관리 모듈(132)이 결정한다. 이 위치 정보도 통신에 의해 PC(120)로부터 복합 현실감(MR) 생성 장치(130)로 송신된다.

도 2에 나타내는 가상 오브젝트(161)는, 유저(100)에 의한 PC(120)의 조작에 의해 PC(120)의 표시부(디스플레이)의 영역 외로 밀려나온 비표시 데이터이다. 이 비표시 데이터가 그 위치 정보와 함께 통신에 의해 복합 현실감(MR) 생성 장치(130)에 송신되어, 복합 현실감(MR) 생성 장치(130)의 메모리(133)에 저장된다. 복합 현실감(MR) 생성 장치(130)의 가상 오브젝트 관리 모듈(132)은, 메모리(133)에 저장된 데이터를 가상 오브젝트로서 가상 오브젝트의 표시 위치를 결정하는 처리를 행하여 유저가 장착한 안경(141)의 디스플레이에 표시한다.

또한, 도 1에 나타내는 장치에서는, PC(120)와 복합 현실감(MR) 생성 장치(130)의 2개의 장치를 별개의 장치로 하여 양쪽 장치간의 데이터 통신을 행하는 구성으로 하고 있지만, PC(120)와 복합 현실감(MR) 생성 장치(130)를 1개의 장치로서 구성하는 것도 가능하며, 이 경우, 도 1에 나타내는 각 장치의 통신부는 생략할 수 있다. 예를 들어, PC(120)에 복합 현실감(MR) 생성 장치(130)의 3차원 정보 해석부(131), 가상 오브젝트 관리 모듈(132)을 설정하여 하나의 PC 내에서 처리를 행하는 구성으로 하는 것도 가능하다.

즉, 도 1에는 PC(퍼스널 컴퓨터)(120)와 복합 현실감(MR: Mixed Reality) 생성 장치(130)의 2개의 장치를 개별적으로 나타내고 있지만, 본 발명의 정보 처리 장치는, 도 1에 나타내는 복합 현실감(MR: Mixed Reality) 생성 장치(130) 단독의 장치로 하여도 되고, 복합 현실감(MR: Mixed Reality) 생성 장치(130)와 PC(120)의 2개의 장치로 구성되는 장치이어도 된다. 혹은 2개의 장치의 기능을 겸비하는 1개의 장치에 의해 구성할 수도 있다.

도 1의 구성을 적용한 구체적인 처리예에 대하여 도 3 이하를 참조하여 설명한다. 유저(100)는 PC(120)의 어플리케이션 실행부(121)에 있어서 문서 작성 어플리케이션을 실행하고 있고, 도 3의 (a)에 나타낸 바와 같이 PC(120)의 표시부(201)에 작성 문서를 표시하여 문서를 작성하고 있다. PC(120)의 표시부(201)에는 작성 대상의 문서의 용지(202a)가 표시되고, 유저는 이 용지(202a)에 문자 등을 입력하고 있다. 표시부(201)에는 용지(202a)의 절반 정도가 표시되고 나머지는 가려져 있다.

문서 작성이 진행되면, 유저는 용지(202a)를 상측 방향으로 이동(스크롤)시키고, 하반부를 표시시켜 입력 작업을 계속한다. 즉, 도 3의 (b)에 나타낸 바와 같이, 작성 대상의 문서 용지(202b)의 하측을 표시하고, 유저는 이 문서 용지(202b)에 문자 등을 입력할 수 있다. 그러나, 이 도 3의 (b)에 나타내는 상태에서는, 표시부(201)에는 용지(202b)의 하반부만이 표시되고 나머지 상측의 영역은 표시부(201)의 영역 외로 되어, 유저는 확인할 수 없다.

본 발명의 장치에서는 표시부(201) 영역 외로 나온 데이터, 즉 비표시 데이터를 그 위치 정보와 함께 일단 PC(120)의 메모리(122)에 저장한다. 그 후, 이 비표시 데이터를 위치 정보와 함께 통신부(123)를 통하여 복합 현실감(MR) 생성 장치(130)에 송신한다. 복합 현실감(MR) 생성 장치(130)는 PC(120)로부터의 수신 데이터, 즉 비표시 데이터와 위치 정보를 복합 현실감(MR) 생성 장치(130) 내의 메모리(133)에 저장한다.

복합 현실감(MR) 생성 장치(130)의 3차원 정보 해석부(131)는, 유저(100)에 장착한 카메라(142)의 촬영 화상을 입력하고, 예를 들어 전술한 SLAM을 적용하여 촬영 화상에 포함되는 오브젝트의 3차원 위치를 산출한다. 예를 들어, 도 3에 나타내는 PC의 디스플레이의 네 구석에 설정된 마커(321a 내지 321d)를 특징점으로서 선택하고, 이들 특징점의 3차원 위치를 산출한다.

또한, 도 3에 나타내는 예는 특징점의 식별을 위하여 마커(321a 내지 321d)를 설정한 예를 나타내고 있지만, 이러한 마커를 설정하는 것은 필수가 아니며, 실제 오브젝트의 형상, 예를 들어 화상에 포함되는 실제 오브젝트의 코너부(코너)를 검출하고, 검출한 코너부(코너)를 특징점으로서 선택하여, 그 특징점의 3차원 위치를 판정하는 것도 가능하다. 또한, 코너부(코너)의 검출 처리는, 기존의 하리스 코너 디텍터(Harris Corner Detector)를 사용한 특징점 추출 처리에 의해 실행 가능하다.

또한, 3차원 정보 해석부(131)는 촬영 화상으로부터 특정한 오브젝트를 검출하는 기능을 갖는 구성으로 하여도 된다. 구체적으로는, 예를 들어 PC의 형상이나 특징 정보를 미리 등록하고, 이 등록 정보를 적용하여 PC의 화면 영역을 판별하는 구성으로 하면, 촬영 화상으로부터 정확하면서 신속하게 PC의 화면 영역을 판별할 수 있다.

가상 오브젝트 관리 모듈(132)은, 3차원 정보 해석부(131)로부터 카메라 촬영 화상에 포함되는 실제 오브젝트의 3차원 위치 정보를 취득한다. 예를 들어 PC의 표시부의 주위의 4점의 위치 정보를 취득한다. 또한, 가상 오브젝트 관리 모듈(132)은 메모리(133)에 저장된 비표시 데이터, 즉 PC(120)의 조작에 있어서 PC 화면으로부터 밀려나와 버린 비표시 데이터를 취득하고, 취득한 데이터를 가상 오브젝트로서 유저(100)의 안경(141)의 디스플레이에 표시한다.

가상 오브젝트의 표시 위치는 가상 오브젝트 관리 모듈(132)이 결정한다. PC(120)로부터 수신한 비표시 데이터의 위치 정보와, 3차원 정보 해석부(131)로부터 취득한 카메라 촬영 화상 중의 실제 오브젝트의 3차원 위치 정보를 적용하여 결정한다. 본 예에서는 PC 표시부의 주위에 설정되게 된다.

가상 오브젝트 관리 모듈(132)은, 유저(100)의 안경(141)의 디스플레이에 대한 가상 오브젝트의 표시 위치를, 안경(141)의 디스플레이에 표시하는 PC의 표시부의 표시 데이터의 경계로부터 PC의 표시부 외로 연장한 방향에 설정한다. 즉, 도 2의 표시 데이터(150)와 같은 위치에 가상 오브젝트(161)를 설정한 합성 화상을 생성하여 표시한다. 이러한 표시 처리에 의해, 유저는 위화감을 느끼지 않고 처리 대상으로 하고 있는 용지 전체를 관찰할 수 있다.

도 4를 참조하여, PC(120)의 어플리케이션 실행부(121)가 메모리(122)에 저장하는 비표시 데이터의 위치 정보에 대하여 설명한다.

PC(120)의 어플리케이션 실행부(121)는, 예를 들어 스크롤 조작에 의해 화면에 표시되지 않게 된 비표시 데이터가 발생한 경우, 그 비표시 데이터를 메모리(122)에 저장한다. 도 4의 예에서는 점선 프레임으로 나타내는 비표시 데이터(330)의 데이터 내용이 PC(120)의 메모리(122)에 저장된다.

또한, PC(120)의 어플리케이션 실행부(121)는, PC의 표시부(201)를 형성하는 평면을 xy 평면으로 하여 특정한 위치를 원점으로 설정한다. 도면에 나타내는 예에서는 표시부(201)의 좌측 상단부의 점을 원점(350)으로 하고 있다.

수평 방향을 x축, 세로 방향을 y축으로 한 표시부(201)에 평행한 평면을 설정한다. 이 좌표계를 PC 표시부 대응 좌표계로 한다. 어플리케이션 실행부(121)는, 이 PC 표시부 대응 좌표계에서의 비표시 데이터(330)의 위치를 구한다.

도 4에 나타내는 비표시 데이터(330)의 네 구석의 좌표는, 도면에 나타낸 바와 같이

(x10, y10)

(x11, y11)

(x12, y12)

(x13, y13)

의 4점의 좌표로 된다. 또한, 도 4에 나타내는 예에서는 비표시 데이터의 위치 정보를 비표시 데이터의 네 구석의 좌표로 하고 있지만, 비표시 데이터의 형상에 따라 필요로 하는 위치 정보는 상이하다. 어플리케이션 실행부(121)는, 비표시 데이터를 가상 데이터로서 표시하는 경우에 필요하게 되는 비표시 데이터의 형상에 따른 위치 정보를 취득하여 메모리(122)에 저장하는 처리를 실행한다.

도 4에 나타낸 바와 같은 직사각형의 비표시 데이터(330)의 경우에는, 그 네 구석의 좌표 데이터를 비표시 데이터의 위치 정보로서 취득한다. 그 후의 처리에 대하여 도 5를 참조하여 설명한다. 도 5에 나타낸 바와 같이, 어플리케이션 실행부(121)는, 이 4개의 좌표 데이터를 비표시 데이터의 위치 정보로서 비표시 데이터의 실체 데이터와 함께 메모리(122)에 저장한다.

PC(120)측의 메모리(122)에 저장된 비표시 데이터와 그 위치 정보는, 통신부를 통하여 복합 현실감(MR) 생성 장치(130)에 송신되어, 복합 현실감(MR) 생성 장치(130)의 메모리(133)에 저장된다.

복합 현실감(MR) 생성 장치(130)의 가상 오브젝트 관리 모듈(132)은, 이와 같이 하여 PC(120)로부터 수신한 비표시 데이터의 위치 정보와, 3차원 정보 해석부(131)로부터 취득한 카메라 촬영 화상 중의 실제 오브젝트의 3차원 위치 정보를 적용하여, 가상 오브젝트(비표시 데이터)의 표시 위치를 결정한다. 이 처리에 의해 앞서 도 2를 참조하여 설명한 표시 데이터(150)가 생성되어, 유저(100)의 안경(141)에 설정된 디스플레이에 표시되게 된다.

도 6에 나타내는 흐름도를 참조하여, 본 발명의 정보 처리 장치의 처리 시퀀스에 대하여 설명한다.

도 6에 나타내는 흐름도의 스텝 S101 내지 S103의 처리는, 도 1에 나타내는 PC(120)의 처리이다.

스텝 S104 내지 S107의 처리는, 도 1에 나타내는 복합 현실감(MR) 생성 장치(130)의 처리이다.

우선, PC(120)의 어플리케이션 실행부(121)는, 스텝 S101에 있어서 PC의 표시부의 영역 외로 밀려나온 비표시 데이터의 발생을 검출하면, 스텝 S102에 있어서 비표시 데이터의 실체 데이터와 그 위치 정보를 PC(120)의 메모리(122)에 저장한다. 이 처리는 도 4, 도 5를 참조하여 설명한 처리이다. 비표시 데이터의 위치 정보는, 예를 들어 PC 표시부 평면에서의 비표시 데이터의 네 구석의 좌표 데이터이다.

이어서, 스텝 S103에 있어서, 메모리에 저장된 비표시 데이터와 위치 정보가 통신부를 통하여 복합 현실감(MR) 생성 장치(130)에 전송된다.

스텝 S104 이후는 복합 현실감(MR) 생성 장치(130)의 처리로서 행해진다.

우선, 스텝 S104에 있어서, 복합 현실감(MR) 생성 장치(130)는 PC(120)로부터 전송된 비표시 데이터와 그 위치 정보를 복합 현실감(MR) 생성 장치(130)측의 메모리(133)에 저장한다.

이어서, 스텝 S105에 있어서, 복합 현실감(MR) 생성 장치(130)의 가상 오브젝트 관리 모듈(132)은 메모리(133)에 저장된 데이터, 즉 비표시 데이터와 그 위치 정보를 취득한다.

스텝 S106에 있어서, 가상 오브젝트 관리 모듈(132)은, 메모리(133)로부터 취득한 비표시 데이터의 위치 정보를 3차원 정보 해석부(131)로부터 취득한 카메라 촬영 화상에 대응하는 카메라 좌표계로 변환하는 처리를 행한다.

이 처리에 대하여 도 7을 참조하여 설명한다. 3차원 정보 해석부(131)는 카메라 촬영 화상에 포함되는 PC(120)의 표시부의 네 구석의 마커(321a 내지 321d)의 3차원 위치 정보를 취득하고 있다. 도 7에 나타낸 바와 같이,

마커(321a)=(Xa, Ya, Za)

마커(321b)=(Xb, Yb, Zb)

마커(321c)=(Xc, Yc, Zc)

마커(321d)=(Xd, Yd, Zd)

의 위치 정보가 취득되어 있다.

가상 오브젝트 관리 표시 모듈(132)은, 이 3차원 위치 정보에 기초하여 카메라 좌표계에서의 실제 오브젝트인 PC의 표시부의 평면을 산출하고, 그 산출한 평면 상에 PC(120)로부터 취득한 비표시 데이터(330)를 설정하도록 좌표 변환을 실행한다. 카메라 촬영 화상에는 PC 표시부 내의 용지 위치도 포함되며, 카메라로부터 취득된 PC 표시부 내의 용지 위치에 함께 PC(120)로부터 취득한 비표시 데이터(330)를 설정하도록 좌표 변환을 실행한다. 또한, 카메라 좌표계를, 도 7에 나타낸 바와 같이 카메라 촬영 화상에서의 PC 표시부 평면을 XY 평면으로 하여 PC 표시부의 수직 방향을 Z축으로서 설정하면, 4개의 마커의 Z 좌표는 모두 0으로 되므로, Z 좌표는 사용하지 않는 설정으로 할 수 있다.

도 7에 나타내는 PC의 표시부 평면에 의해 형성되는 XY 평면 상에, 앞서 PC(120)로부터 수신한 비표시 데이터의 네 구석의 좌표가 설정되도록 좌표 변환을 실행하면 된다. 도 7에 나타낸 바와 같이, PC 표시부 대응 좌표계(x, y)에서의 비표시 데이터(330)의 네 구석의 위치 좌표는, 카메라 좌표계(X, Y)의 좌표로서 이하와 같이 변환된다.

(x10, y10)→(X10, Y10)

(x11, y11)→(X11, Y11)

(x12, y12)→(X12, Y12)

(x13, y13)→(X13, Y13)

가상 오브젝트 관리 모듈(132)은, 이 좌표를 가상 오브젝트의 표시 위치로서 설정한다. 이와 같이 하여 가상 오브젝트 관리 모듈(132)은, 도 6에 나타내는 흐름도의 스텝 S106에 있어서, 메모리(133)로부터 취득한 비표시 데이터의 위치 정보를 3차원 정보 해석부(131)로부터 취득한 카메라 촬영 화상에 대응하는 카메라 좌표계로 변환하는 처리를 행한다.

스텝 S107에서는 가상 오브젝트 관리 모듈(132)은 메모리(133)로부터 취득한 비표시 데이터를 가상 오브젝트로 하여, 스텝 S106에 있어서 산출한 가상 오브젝트의 표시 위치에 표시하는 처리를 실행한다.

이 처리에 의해, 도 8에 나타내는 표시 데이터(400)가, 유저(100)가 장착한 안경(141)의 디스플레이에 표시된다. 도 8에 나타내는 표시 데이터(400)는, 실제 오브젝트로서의 PC(401)와, 가상 오브젝트(402)가 함께 표시되는 합성 화상이다. 가상 오브젝트 관리 모듈(132)은, 가상 오브젝트의 표시 위치를, 도 8에 나타낸 바와 같이 PC 표시부의 표시 데이터의 경계로부터 PC의 표시부 외로의 연장 방향에 설정한다. 이러한 표시 처리에 의해, 유저는 위화감을 느끼지 않고 처리 대상으로 하고 있는 용지 전체를 관찰할 수 있다.

이 처리에 의해, 유저(100)는 PC의 표시부에 표시된 데이터와 함께, PC의 표시부 외로 밀려나온 비표시 데이터에 대해서도 가상 오브젝트로서 항상 확인하는 것이 가능하게 된다.

또한, 도 6에 나타내는 흐름도를 참조하여 설명한 처리는, 유저가 PC(120)를 조작하여, 예를 들어 스크롤 처리 등에 의해 비표시 데이터의 범위가 변경될 때마다 행해진다. 어플리케이션 실행부(121)는, 비표시 데이터의 영역이나 내용이 변경될 때마다 메모리(122)의 기억 데이터의 갱신을 실행하고, 갱신 데이터가 복합 현실감(MR) 생성 장치(130)에 송신되며, 복합 현실감(MR) 생성 장치(130)는 갱신된 데이터에 기초하여 가상 오브젝트의 표시 형태를 변경하는 처리를 리얼타임 갱신 처리로서 실행한다.

[2. 실세계의 오브젝트 형상에 적합하게 한 가상 오브젝트의 표시 처리]

이어서, 본 발명의 제2 실시예로서, 실세계의 오브젝트 형상에 적합하게 한 가상 오브젝트의 표시 처리에 대하여 설명한다.

상술한 실시예에서는 가상 오브젝트의 표시를 PC의 화면에 대응하는 평면을 확대하여 표시하는 구성으로 하고 있었다. 그러나, 예를 들어 도 9에 나타낸 바와 같이, 실세계에 있어서 PC의 표시부의 평면이 벽(521)에 의해 가로막혀져 있는 경우가 있다. 이러한 경우, 상술한 가상 오브젝트의 표시 처리를 실행하면, 가상 오브젝트는 벽을 꿰뚫고 표시되게 되어, 유저는 위화감이 있는 데이터를 관찰하게 된다.

이하에서는 도 9에 나타낸 바와 같은 표시 데이터(500)를 생성하여 유저에게 제시한다. 즉, 가상 오브젝트(512)를 실세계의 실제 오브젝트(예를 들어 도 9에 나타내는 벽(521a, 521b))의 형상에 함께 표시한다.

본 실시예는 가상 오브젝트(512)는 실세계의 오브젝트를 따라 표시하는 것을 가능하게 하는 실시예이다. 예를 들어, 도 9에 나타낸 바와 같이, 가상 오브젝트(512)를, 실제 오브젝트인 벽(521b)의 표면을 따라 표시하는 것을 가능하게 한다. 또한, 본 실시예에 있어서도, 장치 구성은 도 1을 참조하여 설명한 구성을 적용한다.

도 10을 참조하여, 본 실시예에 있어서 PC(120)의 어플리케이션 실행부(121)가 메모리(122)에 저장하는 비표시 데이터의 위치 정보에 대하여 설명한다. PC(120)의 어플리케이션 실행부(121)는, 예를 들어 스크롤 조작에 의해 화면에 표시되지 않게 된 비표시 데이터가 발생한 경우, 그 비표시 데이터를 메모리(122)에 저장한다. 도 10의 예에서는 점선 프레임으로 나타내는 비표시 데이터(530)의 데이터 내용이 PC(120)의 메모리(122)에 저장된다.

또한, PC(120)의 어플리케이션 실행부(121)는, 앞서 설명한 실시예와 마찬가지로 표시부(201)의 좌측 상단부의 점을 원점으로 하고, 수평 방향을 x축, 세로 방향을 y축으로 한 표시부(201)에 평행한 평면을 설정한다. 이 좌표계를 PC 표시부 대응 좌표계로 한다. 어플리케이션 실행부(121)는, 이 PC 표시부 대응 좌표계에서의 비표시 데이터(530)의 위치를 구한다.

도 10에 나타내는 비표시 데이터(530)의 네 구석의 좌표는, 도면에 나타낸 바와 같이

(x10, y10)

(x11, y11)

(x12, y12)

(x13, y13)

의 4점의 좌표로 된다.

복합 현실감(MR) 생성 장치(130)의 가상 오브젝트 관리 모듈(132)은, 이와 같이 하여 PC(120)로부터 수신한 비표시 데이터의 위치 정보와, 3차원 정보 해석부(131)로부터 취득한 카메라 촬영 화상 중의 실제 오브젝트의 3차원 위치 정보를 적용하여 가상 오브젝트(비표시 데이터)의 표시 위치를 결정한다.

본 실시예에서는 도 9를 참조하여 설명한 표시 데이터(500)를 생성한다. 즉 가상 오브젝트가 실제 오브젝트의 표면을 따라 표시되도록 가상 오브젝트의 표시 위치를 결정한다.

도 11에 나타내는 흐름도를 참조하여, 본 발명의 정보 처리 장치의 처리 시퀀스에 대하여 설명한다.

도 11에 나타내는 흐름도의 스텝 S201 내지 S203의 처리는, 도 1에 나타내는 PC(120)의 처리이다.

스텝 S204 내지 S209의 처리는, 도 1에 나타내는 복합 현실감(MR) 생성 장치(130)의 처리이다.

우선, PC(120)의 어플리케이션 실행부(121)는, 스텝 S201에 있어서 PC의 표시부의 영역 외로 밀려나온 비표시 데이터의 발생을 검출하면, 스텝 S202에 있어서 비표시 데이터의 실체 데이터와 그 위치 정보를 PC(120)의 메모리(122)에 저장한다. 이 처리는 도 10을 참조하여 설명한 처리이다. 비표시 데이터의 위치 정보는, 예를 들어 PC 표시부 평면에서의 비표시 데이터의 네 구석의 좌표 데이터이다.

이어서, 스텝 S203에 있어서, 메모리에 저장된 비표시 데이터와 위치 정보가 통신부를 통하여 복합 현실감(MR) 생성 장치(130)에 전송된다.

스텝 S204 이후는 복합 현실감(MR) 생성 장치(130)의 처리로서 행해진다.

우선, 스텝 S204에 있어서, 복합 현실감(MR) 생성 장치(130)는 PC(120)로부터 전송된 비표시 데이터와 그 위치 정보를 복합 현실감(MR) 생성 장치(130)측의 메모리(133)에 저장한다.

이어서, 스텝 S205에 있어서, 복합 현실감(MR) 생성 장치(130)의 가상 오브젝트 관리 모듈(132)은 메모리(133)에 저장된 데이터, 즉 비표시 데이터와 그 위치 정보를 취득한다.

스텝 S206에 있어서, 가상 오브젝트 관리 모듈(132)은, 메모리(133)로부터 취득한 비표시 데이터의 위치 정보를 3차원 정보 해석부(131)로부터 취득한 카메라 촬영 화상에 대응하는 카메라 좌표계로 변환하는 처리를 행한다.

이 처리는 앞서 제1 실시예의 처리로서 설명한 도 6에 나타내는 흐름도의 스텝 S106의 처리와 마찬가지의 처리이다.

즉, 3차원 정보 해석부(131)가 카메라 촬영 화상에 포함되는 PC(120)의 표시부의 네 구석의 마커(321a 내지 321d)의 3차원 위치 정보를 취득한다. 앞서 도 7을 참조하여 설명한 바와 같이,

마커(321a)=(Xa, Ya, Za)

마커(321b)=(Xb, Yb, Zb)

마커(321c)=(Xc, Yc, Zc)

마커(321d)=(Xd, Yd, Zd)

의 위치 정보를 취득한다.

가상 오브젝트 관리 표시 모듈(132)은, 이 3차원 위치 정보에 기초하여 카메라 좌표계에서의 실제 오브젝트인 PC의 표시부의 평면을 산출하고, 그 산출한 평면 상에 PC(120)로부터 취득한 비표시 데이터(530)를 설정하도록 좌표 변환을 실행한다. 카메라 촬영 화상에는 PC 표시부 내의 용지 위치도 포함되며, 카메라로부터 취득된 PC 표시부 내의 용지 위치에 함께 PC(120)로부터 취득한 비표시 데이터(330)를 설정하도록 좌표 변환을 실행한다.

이 좌표 변환에서는 PC의 표시부 평면에 의해 형성되는 XY 평면 상에, 앞서 PC(120)로부터 수신한 비표시 데이터의 네 구석의 좌표가 설정되도록 좌표 변환을 실행한다. PC 표시부 대응 좌표계(x, y, z)에서의 비표시 데이터(330)의 네 구석의 위치 좌표는, 카메라 좌표계(X, Y, Z)의 좌표로서 이하와 같이 변환된다.

(x10, y10, z10)→(X10, Y10, Z10)

(x11, y11, z11)→(X11, Y11, Z11)

(x12, y12, z12)→(X12, Y12, Z12)

(x13, y13, z13)→(X13, Y13, Z13)

또한, 본 실시예에서는 앞서의 실시예와 달리 Z 방향에 대해서도 고려한 처리를 행한다.

가상 오브젝트 관리 표시 모듈(132)은, 스텝 S207에 있어서 스텝 S206의 변환 처리에 의해 얻은 가상 오브젝트의 표시 위치를 나타내는 카메라 좌표계의 4개의 좌표에 의해 얻어지는 면이 실제 오브젝트의 면과 교차하고 있지 않은지를 판정한다. 실제 오브젝트의 면, 3차원 정보 해석부(131)가 취득하는 실제 오브젝트의 3차원 위치 정보로부터 취득된다.

가상 오브젝트의 표시면이 실제 오브젝트의 면과 교차하고 있지 않은 경우에는, 스텝 S207의 판정은 '아니오'로 된다. 이 경우에는 스텝 S209로 진행하여, 스텝 S206에 있어서 산출한 변환 좌표를 적용하여 가상 오브젝트를 표시한다. 이 처리는 앞서 설명한 제1 실시예와 마찬가지의 처리로 되며, PC 표시부의 평면을 확대한 평면 상에 가상 오브젝트를 표시한다.

한편, 스텝 S207에 있어서, 스텝 S206의 변환 처리에 의해 얻은 가상 오브젝트의 표시 위치를 나타내는 카메라 좌표계의 4개의 좌표에 의해 얻어지는 면이 실제 오브젝트의 면과 교차하고 있다고 판정한 경우에는 스텝 S208로 진행한다.

즉, 도 9에 나타낸 바와 같은 상태의 경우이다. 이러한 경우에는 스텝 S208에 있어서, 가상 오브젝트의 표시 위치를 나타내는 좌표를 재변환하는 처리를 행한다. 즉, 스텝 S206에 있어서 산출한 가상 오브젝트의 표시 위치를 나타내는 4개의 좌표를 다시 변환하는 처리를 행한다.

이 변환 처리는 가상 오브젝트의 표시 위치를 나타내는 4개의 좌표를 실제 오브젝트를 형성하는 면에 설정하도록 변환하는 처리로서 행해진다. 이 처리에 대하여 도 12를 참조하여 설명한다.

스텝 S206에 있어서, 산출한 가상 오브젝트의 표시 위치인 네 구석의 좌표가 도 12에 나타내는 점(541 내지 544)이다. 이들 좌표는 도면에 나타낸 바와 같이 이하의 좌표이다.

점(541)=(X10, Y10, Z10)

점(542)=(X11, Y11, Z11)

점(543)=(X13, Y13, Z13)

점(544)=(X12, Y12, Z12)

그러나, 이 4점에 의해 게재되는 면은 실제 오브젝트인 벽(521)의 면과 교차하고 있다. 또한, 실제 오브젝트인 벽(521)의 형성면은 3차원 정보 해석부(131)의 해석에 의해 얻어진다. 예를 들어, 도 12에 나타내는 벽의 네 구석의 점을 특징점으로서 검출하고, 이 4개의 특징점에 의해 구성되는 면을 실제 오브젝트인 벽(521)의 형성면으로 판정한다.

도 12에 나타내는 예에서는, 벽(521b)의 평면은 네 구석의 좌표인 이하의 4개의 좌표에 의해 정의된다.

(X30, Y30, Z30)

(X31, Y31, Z31)

(X32, Y32, Z32)

(X33, Y33, Z33)

가상 오브젝트 관리 모듈(132)은, 도 12에 나타내는 가상 오브젝트의 4점(541 내지 544)을 상기의 벽(521b)의 형성면에 전개하도록 가상 오브젝트의 4점(541 내지 544)의 좌표를 변환한다. 이 결과로서 도면에 나타낸 바와 같은 변환 좌표가 얻어진다.

점(541)(X10, Y10, Z10)→변환 후(X10v, Y10v, Z10v)(=점(541))

점(542)(X11, Y11, Z11)→변환 후(X11v, Y11v, Z11v)(=점(552))

점(543)(X13, Y13, Z13)→변환 후(X13v, Y13v, Z13v)(=점(553))

점(544)(X12, Y12, Z12)→변환 후(X12v, Y12v, Z12v)(=점(542))

이렇게 4개의 변환 좌표를 산출한다. 또한, 도면으로부터 이해되는 바와 같이 점(541)과 점(542)은 변환 전후의 좌표 위치에 변화는 없다.

벽(521b)을 꿰뚫은 위치에 있던 점(542)과 점(543)은 벽(521b)의 평면 상의 위치로 변환하는 처리가 행해진다.

스텝 S208에 있어서, 이러한 좌표 변환 처리 후 스텝 S209로 진행한다. 스텝 S209에서는, 가상 오브젝트 관리 모듈(132)은 메모리(133)로부터 취득한 비표시 데이터를 가상 오브젝트로서, 스텝 S208에 있어서 산출한 가상 오브젝트의 표시 위치에 표시하는 처리를 실행한다.

이 처리에 의해, 예를 들어 도 13에 나타내는 표시 데이터(500)가, 유저(100)가 장착한 안경(141)의 디스플레이에 표시된다. 도 13에 나타내는 표시 데이터(500)는 실제 오브젝트로서의 PC(511)와 가상 오브젝트(512)가 함께 표시되는 합성 화상이다.

유저(100)는 PC의 표시부에 표시된 데이터와 함께, PC의 표시부 외로 밀려나온 비표시 데이터에 대해서도 가상 오브젝트로서 항상 확인하는 것이 가능하게 된다.

또한, 도 11에 나타내는 흐름도를 참조하여 설명한 처리는, 유저가 PC(120)를 조작하여, 예를 들어 스크롤 처리 등에 의해 비표시 데이터의 범위가 변경될 때마다 행해진다. 어플리케이션 실행부(121)는, 비표시 데이터의 영역이나 내용이 변경될 때마다 메모리(122)의 기억 데이터의 갱신을 실행하고, 갱신 데이터가 복합 현실감(MR) 생성 장치(130)에 송신되며, 복합 현실감(MR) 생성 장치(130)는 갱신된 데이터에 기초하여 가상 오브젝트의 표시 형태를 변경하는 처리를 리얼타임 갱신 처리로서 실행한다.

[3. 그 밖의 표시 장치를 이용한 처리예]

상술한 실시예에서는 유저가 PC를 조작하는 경우에 PC의 표시 화면에 표시되지 않게 된 데이터를 가상 오브젝트로서 관찰하는 것을 가능하게 한 구성을 설명하였다.

그러나, 본 발명을 적용한 처리, 즉 가상 오브젝트 표시 처리는 PC에서의 처리 데이터뿐만 아니라, 여러가지 표시부를 갖는 장치에 있어서 이용할 수 있다. 예를 들어, 도 14에 나타낸 바와 같이 휴대 전화(600)의 표시부에 표시하는 데이터의 표시 영역 이외의 관찰을 행하는 경우에도, 상술한 가상 오브젝트 표시 처리를 행함으로써, 도 14에 나타낸 바와 같은 표시 데이터(700)를 유저(100)가 장착한 안경(141)의 디스플레이에 표시할 수 있다.

표시 데이터(700)에는 유저가 소유하는 실제 오브젝트로서의 휴대 전화 화상(701)과, 지도 데이터로서의 가상 오브젝트(702)가 표시되며, 유저는 휴대 전화의 표시부 외의 부분의 넓은 지도 정보를 확인하는 것이 가능하게 된다.

본 발명의 구성에 따르면, 예를 들어 PC 등의 표시부의 화면 외로 스크롤된 정보가 그대로 실세계에 표시되므로, 정보를 표시하는 데에 스크롤 바를 조작할 필요가 없고, 넓은 영역의 데이터를 항상 확인하는 것이 가능하게 된다. 또한, 화면 외로의 가상 오브젝트의 표시는, 유저 조작을 행하고 있는 화면에 연속해서 표시되기 때문에, 시각적인 위화감을 발생시키지 않고 넓은 영역의 정보를 항상 확인하는 것이 가능하게 된다.

이상, 특정한 실시예를 참조하면서 본 발명에 대하여 상세하게 설명해 왔다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있는 것은 자명하다. 즉, 예시라고 하는 형태로 본 발명을 개시해 온 것이며, 한정적으로 해석되어서는 안된다. 본 발명의 요지를 판단하기 위해서는 특허청구범위를 참작해야만 한다.

또한, 명세서 중에 있어서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 혹은 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, LAN(Local Area Network), 인터넷과 같은 네트워크를 통하여 프로그램을 수신하여, 내장하는 하드 디스크 등의 기록 매체에 인스톨할 수 있다.

또한, 명세서에 기재된 각종 처리는 기재된 것에 따라 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 혹은 필요에 따라 병렬적으로 혹은 개별적으로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템이란 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 제한되지 않는다.

<산업상 이용가능성>

이상, 설명한 바와 같이, 본 발명의 일 실시예의 구성에 따르면, 표시부를 갖는 PC나 휴대 전화 등의 다양한 표시 장치에 있어서, 표시부 외의 영역으로 밀려나온 비표시 데이터를 표시부의 표시 데이터에 연속하는 위치에 가상 오브젝트로서 표시하는 구성을 실현한다. 이 구성에 의해, 유저는 PC 등의 한정된 표시 영역의 표시 데이터뿐만 아니라, 표시부 외로 나와 버린 데이터를 항상 관찰하여 확인하는 것이 가능하게 되어, 데이터 처리 효율을 높일 수 있다.

100: 유저
120: PC(퍼스널 컴퓨터)
121: 어플리케이션 실행부
122: 메모리
123: 통신부
130: 복합 현실감(MR) 생성 장치
131: 3차원 정보 해석부
132: 가상 오브젝트 관리 모듈
133: 메모리
134: 통신부
141: 안경
142: 카메라
150: 디스플레이 표시 화상
151: PC 화상
152: PC 표시부
161: 가상 오브젝트
201: 표시부
202: 용지
321a 내지 321d: 마커
330: 비표시 데이터
350: 원점
401: PC
402: 가상 오브젝트
500: 표시 데이터
511: PC
512: 가상 오브젝트
521: 벽
530: 비표시 데이터
600: 휴대 전화
700: 표시 데이터
701: 휴대 전화 화상(실제 오브젝트)
702: 가상 오브젝트

Claims

제1 표시부를 이용한 데이터 처리에 있어서 상기 제1 표시부의 표시 데이터에 연속하는 비표시 데이터와 상기 비표시 데이터의 위치 정보를 메모리에 저장하는 어플리케이션 실행부와,
카메라 촬영 화상에 포함되는 상기 제1 표시부를 포함하는 실제 오브젝트의 3차원 위치를 해석하는 3차원 정보 해석부와,
상기 메모리에 저장된 비표시 데이터와 상기 비표시 데이터의 위치 정보와, 상기 3차원 정보 해석부가 해석한 상기 제1 표시부의 3차원 위치 정보를 입력하고, 상기 카메라 촬영 화상에 포함되는 실제 오브젝트와, 상기 비표시 데이터로 이루어지는 가상 오브젝트로 이루어지는 합성 화상을 생성하여 제2 표시부에 표시하는 가상 오브젝트 관리부를 갖고,
상기 가상 오브젝트 관리부는,
상기 제2 표시부에서의 상기 가상 오브젝트의 표시 위치를, 상기 제2 표시부에 표시하는 상기 제1 표시부의 표시 데이터의 경계로부터 제1 표시부 외부로 연장한 방향의 위치에 설정하는, 정보 처리 장치.
제1항에 있어서, 상기 가상 오브젝트 관리부는,
상기 메모리에 저장된 비표시 데이터의 위치 정보인 좌표 데이터를, 상기 제2 표시부의 표시 화상에서의 표시 위치의 지표로 되는 카메라 좌표계로 변환하고, 상기 변환 후의 좌표 데이터를 적용하여 상기 가상 오브젝트의 표시 위치를 결정하는, 정보 처리 장치.
제2항에 있어서, 상기 오브젝트 관리부는,
카메라 좌표계로 변환한 상기 가상 오브젝트의 표시 위치와, 카메라 촬영 화상에 포함되는 실제 오브젝트의 형성면이 교차하는지의 여부를 판정하여, 교차하는 경우에는, 상기 변환 후의 좌표 데이터를, 상기 실제 오브젝트의 형성면 상에 위치하도록 좌표 재변환 처리를 실행하고, 재변환 처리 후의 좌표 데이터를 적용하여 상기 가상 오브젝트의 표시 위치를 결정하는, 정보 처리 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 정보 처리 장치는,
상기 어플리케이션 실행부를 갖는 제1 장치와,
상기 3차원 정보 해석부와, 상기 가상 오브젝트 관리부를 갖는 제2 장치에 의해 구성되고,
상기 어플리케이션 실행부가 제1 장치 내의 제1 메모리에 저장한 데이터를 통신부를 통하여 상기 제2 장치에 전송하고, 상기 제2 장치에 있어서, 상기 3차원 정보 해석부와 상기 가상 오브젝트 관리부가 수신 데이터를 이용한 처리를 행하는, 정보 처리 장치.
정보 처리 장치에서 실행하는 정보 처리 방법으로서,
어플리케이션 실행부가, 제1 표시부를 이용한 데이터 처리에 있어서 상기 제1 표시부의 표시 데이터에 연속하는 비표시 데이터와 상기 비표시 데이터의 위치 정보를 메모리에 저장하는 어플리케이션 실행 스텝과,
3차원 정보 해석부가, 카메라 촬영 화상에 포함되는 상기 제1 표시부를 포함하는 실제 오브젝트의 3차원 위치를 해석하는 3차원 정보 해석 스텝과,
가상 오브젝트 관리부가, 상기 메모리에 저장된 비표시 데이터와 상기 비표시 데이터의 위치 정보와, 상기 3차원 정보 해석부가 해석한 상기 제1 표시부의 3차원 위치 정보를 입력하고, 상기 카메라 촬영 화상에 포함되는 실제 오브젝트와, 상기 비표시 데이터로 이루어지는 가상 오브젝트로 이루어지는 합성 화상을 생성하여 제2 표시부에 표시하는 가상 오브젝트 관리 스텝을 갖고,
상기 가상 오브젝트 관리 스텝은,
상기 제2 표시부에서의 상기 가상 오브젝트의 표시 위치를, 상기 제2 표시부에 표시하는 상기 제1 표시부의 표시 데이터의 경계로부터 제1 표시부 외부로 연장한 방향의 위치에 설정하는 처리를 행하는 스텝을 갖는, 정보 처리 방법.
정보 처리 장치에서 정보 처리를 실행시키는 프로그램으로서,
어플리케이션 실행부에, 제1 표시부를 이용한 데이터 처리에 있어서 상기 제1 표시부의 표시 데이터에 연속하는 비표시 데이터와 상기 비표시 데이터의 위치 정보를 메모리에 저장시키는 어플리케이션 실행 스텝과,
3차원 정보 해석부에, 카메라 촬영 화상에 포함되는 상기 제1 표시부를 포함하는 실제 오브젝트의 3차원 위치를 해석시키는 3차원 정보 해석 스텝과,
가상 오브젝트 관리부에, 상기 메모리에 저장된 비표시 데이터와 상기 비표시 데이터의 위치 정보와, 상기 3차원 정보 해석부가 해석한 상기 제1 표시부의 3차원 위치 정보를 입력시켜, 상기 카메라 촬영 화상에 포함되는 실제 오브젝트와, 상기 비표시 데이터로 이루어지는 가상 오브젝트로 이루어지는 합성 화상을 생성하여 제2 표시부에 표시시키는 가상 오브젝트 관리 스텝을 갖고,
상기 가상 오브젝트 관리 스텝은,
상기 제2 표시부에서의 상기 가상 오브젝트의 표시 위치를, 상기 제2 표시부에 표시하는 상기 제1 표시부의 표시 데이터의 경계로부터 제1 표시부 외부로 연장한 방향의 위치에 설정하는 처리를 행하게 하는 스텝을 갖는 프로그램.