KR20210031894A

KR20210031894A - 정보 처리 장치, 정보 처리 방법 및 프로그램

Info

Publication number: KR20210031894A
Application number: KR1020217000351A
Authority: KR
Inventors: 다카요시 시미즈; 츠요시 이시카와
Original assignee: 소니 주식회사
Priority date: 2018-07-20
Filing date: 2019-06-25
Publication date: 2021-03-23
Also published as: JPWO2020017261A1; US11250636B2; CN112424728A; EP3825817A4; WO2020017261A1; US20210217248A1; EP3825817A1; JP7338626B2; CN112424728B

Abstract

피사체를 포함하는 촬상 화상과, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보를 취득하는 취득부(110, 140)와, 상기 촬상 화상, 상기 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 생성하는 콘텐츠 구성 정보 생성부(150)를 구비하는, 정보 처리 장치.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램

본 개시는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.

근년, VR(Virtual Reality) 기술이 다양한 장면에서 활용되고 있다. 예를 들어 다른 장소에 있는 유저끼리의 커뮤니케이션 지원을 위하여 VR 기술이 활용되고 있다.

그 일례로서 하기 특허문헌 1에서는, 강사측의 기기로부터 학생측의 기기로 강의 자료를 배신하면서 각각의 기기에 있어서, 가상 공간 내에 강의 자료에 기초하는 가상 오브젝트를 표시하는 기술이 개시되어 있다. 강의 자료는, 강사측의 기기가 구비하는 영상 입력 수단에 의하여 입력된, 실시간으로 또는 즉흥적으로 작성 또는 인용된 자료를 포함한다.

일본 특허 공개 제2009-145883호 공보

상기 특허문헌 1에 있어서의 강의 자료는 실사 VR 콘텐츠의 일례이다. 실사 VR 콘텐츠란, 실 공간을 촬상한 촬상 화상을 가상 공간 내에 배치한 VR 콘텐츠이다. 예를 들어 실 공간의 전천구 화상(상하 좌우 전방위의 360도 파노라마 화상)이 가상 공간 내에 배치된 실사 VR 콘텐츠에 따르면, 유저는 마치 당해 실 공간에 있는 것 같은 감각을 얻을 수 있다.

실사 VR 콘텐츠는, 전형적으로는 2차원적인 촬상 화상에 의하여 구성되므로, 만지는 등의 3차원적인 공간 인터랙션을 실현하는 것은 곤란하다. 그 때문에, 예를 들어 유저가 실사 VR 콘텐츠 내의 물체를 만졌다고 하더라도 그 촉각은 유저에게 피드백되지 않는다. 이와 같이, 실사 VR 콘텐츠에 있어서 실현되는 인터랙션은, 실 공간에 있어서의 인터랙션과는 다른 부자연스런 것이었다.

그래서 본 개시에서는, 실사 VR 콘텐츠에 있어서의 공간 인터랙션을 보다 적절히 실현하는 것이 가능한 구조를 제안한다.

본 개시에 따르면, 피사체를 포함하는 촬상 화상과, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보를 취득하는 취득부와, 상기 촬상 화상, 상기 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 생성하는 콘텐츠 구성 정보 생성부를 구비하는, 정보 처리 장치가 제공된다.

또한 본 개시에 따르면, 피사체를 포함하는 촬상 화상, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 취득하는 취득부와, 상기 콘텐츠 구성 정보에 기초하여 상기 가상 공간 내에 상기 촬상 화상을 표시하고, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 대응하는 피드백의 출력을 제어하는 출력 제어부를 구비하는, 정보 처리 장치가 제공된다.

또한 본 개시에 따르면, 피사체를 포함하는 촬상 화상과, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보를 취득하는 것과, 상기 촬상 화상, 상기 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 생성하는 것을 구비하는, 프로세서에 의하여 실행되는, 정보 처리 방법이 제공된다.

또한 본 개시에 따르면, 피사체를 포함하는 촬상 화상, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 취득하는 것과, 상기 콘텐츠 구성 정보에 기초하여 상기 가상 공간 내에 상기 촬상 화상을 표시하고, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 대응하는 피드백의 출력을 제어하는 것을 구비하는, 프로세서에 의하여 실행되는, 정보 처리 방법이 제공된다.

또한 본 개시에 따르면, 컴퓨터를, 피사체를 포함하는 촬상 화상과, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보를 취득하는 취득부와, 상기 촬상 화상, 상기 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 생성하는 콘텐츠 구성 정보 생성부로서 기능시키기 위한, 프로그램이 제공된다.

또한 본 개시에 따르면, 컴퓨터를, 피사체를 포함하는 촬상 화상, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 취득하는 취득부와, 상기 콘텐츠 구성 정보에 기초하여 상기 가상 공간 내에 상기 촬상 화상을 표시하고, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 대응하는 피드백의 출력을 제어하는 출력 제어부로서 기능시키기 위한, 프로그램이 제공된다.

이상 설명한 바와 같이, 본 개시에 따르면, 실사 VR 콘텐츠에 있어서의 공간 인터랙션을 보다 적절히 실현하는 것이 가능한 구조가 제공된다. 또한 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께, 또는 상기 효과 대신, 본 명세서에 나타난 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.

도 1은 본 개시의 일 실시 형태에 따른 콘텐츠 배신 시스템의 구성의 일례를 도시하는 도면이다.
도 2는 제1 실시 형태에 따른 기록 장치의 개요를 설명하기 위한 도면이다.
도 3은 동 실시 형태에 따른 재생 장치의 개요를 설명하기 위한 도면이다.
도 4는 동 실시 형태에 따른 기록 장치의 기능 구성의 일례를 도시하는 블록도이다.
도 5는 동 실시 형태에 따른 콘텐츠 구성 정보의 포맷의 일례를 도시하는 도면이다.
도 6은 동 실시 형태에 따른 기록 장치에 의하여 실행되는 기록 처리의 흐름의 일례를 도시하는 흐름도이다.
도 7은 동 실시 형태에 따른 재생 장치의 기능 구성의 일례를 도시하는 블록도이다.
도 8은 동 실시 형태에 따른 재생 장치에 의하여 실행되는 제1 공간 인터랙션 처리의 흐름의 일례를 도시하는 흐름도이다.
도 9는 동 실시 형태에 따른 제2 공간 인터랙션의 일례를 설명하기 위한 도면이다.
도 10a는 동 실시 형태에 따른 재생 장치에 의하여 실행되는 제2 공간 인터랙션 처리의 흐름의 일례를 도시하는 흐름도이다.
도 10b는 동 실시 형태에 따른 재생 장치에 의하여 실행되는 제2 공간 인터랙션 처리의 흐름의 일례를 도시하는 흐름도이다.
도 11은 동 실시 형태에 따른 시점 전환 오브젝트에 기초하는 시점 전환을 설명하기 위한 도면이다.
도 12는 동 실시 형태에 따른 유저 위치의 이동 및 전환의 일례를 설명하기 위한 도면이다.
도 13은 도 12에서 도시한 배치의 센서 장치에 의하여 촬상된 촬상 화상을 이용한 VR 콘텐츠의 시점 전환의 일례를 도시하는 도면이다.
도 14는 동 실시 형태에 따른 유저 위치의 이동 및 시점의 전환의 일례를 설명하기 위한 도면이다.
도 15는 동 실시 형태에 따른 유저 위치의 이동 및 시점의 전환의 일례를 설명하기 위한 도면이다.
도 16은 동 실시 형태에 따른 재생 장치에 의하여 실행되는 시점 전환 처리의 흐름의 일례를 도시하는 흐름도이다.
도 17은 제2 실시 형태에 따른 기록 장치의 개요를 설명하기 위한 도면이다.
도 18은 동 실시 형태에 따른 재생 장치의 개요를 설명하기 위한 도면이다.
도 19는 동 실시 형태에 따른 기록 장치의 기능 구성의 일례를 도시하는 블록도이다.
도 20은 동 실시 형태에 따른 콘텐츠 구성 정보의 포맷의 일례를 도시하는 도면이다.
도 21은 동 실시 형태에 따른 기록 장치에 의하여 실행되는 기록 처리의 흐름의 일례를 도시하는 흐름도이다.
도 22는 동 실시 형태에 따른 재생 장치에 의하여 실행되는 제1 공간 인터랙션 처리의 흐름의 일례를 도시하는 흐름도이다.
도 23은 동 실시 형태에 따른 제2 공간 인터랙션의 일례를 설명하기 위한 도면이다.
도 24는 동 실시 형태에 따른 재생 장치에 의하여 실행되는 제2 공간 인터랙션 처리의 흐름의 일례를 도시하는 흐름도이다.
도 25는 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 도시하는 블록도이다.

이하에, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명한다. 또한 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 번호를 붙임으로써, 중복 설명을 생략한다.

또한 설명은 이하의 순서로 행하기로 한다.

1. 시스템 구성예

2. 제1 실시 형태

2.1. 개요

2.2. 기록 장치측의 기술적 특징

2.2.1. 기록 장치의 기능 구성예

2.2.2. 콘텐츠 구성 정보의 포맷

2.2.3. 기록 처리의 흐름

2.3. 재생 장치측의 기술적 특징

2.3.1. 재생 장치의 기능 구성예

2.3.2. 공간 인터랙션

2.3.3. 시점 전환

3. 제2 실시 형태

3.1. 개요

3.2. 기록 장치측의 기술적 특징

3.2.1. 기록 장치의 기능 구성예

3.2.2. 콘텐츠 구성 정보의 포맷

3.2.3. 기록 처리의 흐름

3.3. 재생 장치측의 기술적 특징

3.3.1. 재생 장치의 기능 구성예

3.3.2. 공간 인터랙션

4. 보충

5. 하드웨어 구성예

6. 정리

≪1. 시스템 구성예≫

도 1은, 본 개시의 일 실시 형태에 따른 콘텐츠 배신 시스템(1)의 구성의 일례를 도시하는 도면이다. 도 1에 도시한 바와 같이 콘텐츠 배신 시스템(1)은 기록 장치(10) 및 재생 장치(20)를 포함하며, 기록 장치(10)와 재생 장치(20)는 네트워크(30)를 통하여 접속된다.

기록 장치(10)는, 재생 장치(20)에 있어서 재생되는 VR 콘텐츠를 위한 정보를 취득 및 기록하여 재생 장치(20)에 송신하는 정보 처리 장치이다. 예를 들어 기록 장치(10)는, 실 공간을 촬상한 촬상 화상(동화상/정지 화상) 및 당해 실 공간의 심도 정보를 재생 장치(20)에 송신한다. 기록 장치(10)는, 기록을 생략하고, 취득한 정보를 실시간으로 송신해도 된다.

동화상이란, 복수의 정지 화상(화상 데이터) 및 각각의 정지 화상의 재생 시각을 포함하는 데이터이다. 동화상이 재생될 때는, 재생 시각 순으로 정지 화상이 연속적으로 재생된다. 동화상을 구성하는 정지 화상은 프레임이라고도 칭해진다. 동화상의 표시 속도는 프레임 레이트라고도 칭해지며, 1초간당 표시되는 프레임의 수(FPS: Frame Per Second)로 나타난다. 동화상은, 화상 데이터의 재생과 함께 재생되어야 할 음성 데이터를 포함하고 있어도 된다.

기록 장치(10)로부터 재생 장치(20)로 송신되는 촬상 화상은 동화상인 것으로 한다.

재생 장치(20)는, 기록 장치(10)로부터 수신한 정보에 기초하여 VR 콘텐츠의 재생을 제어하는 정보 처리 장치이다. 예를 들어 재생 장치(20)는, 기록 장치(10)로부터 수신한 정보에 기초하여 VR 콘텐츠를 생성하여, VR 콘텐츠를 시각적으로 출력시킴과 함께, VR 콘텐츠에 대한 유저 조작에 대응하는 피드백을 출력 장치에 의하여 출력시킨다.

VR 콘텐츠란, 가상 공간에 각종 가상 오브젝트가 배치된 콘텐츠이다. 가상 오브젝트란, 가상 공간 내에 배치되는 가상적인 물체이다. 가상 오브젝트에는, 가상 오브젝트끼리의 충돌 판정에 이용되는 요소가 부여된다. 이 요소는 컬라이더라 칭해지는 경우가 있다. 컬라이더는 가상 오브젝트에 겹쳐지도록 배치되며, 컬라이더끼리의 충돌 판정에 의하여 가상 오브젝트끼리의 충돌 판정이 행해진다. 또한 가상 오브젝트는 표시되지만 컬라이더는, 전형적으로는 표시되지 않는다(즉, 비가시적임). 이는, 컬라이더가 충돌 판정에 이용되는 요소인 것에 기인한다. 물론 컬라이더를 표시하는 설정이 이루어져도 되며, 그 경우에는 컬라이더는 표시된다.

네트워크(30)는, 네트워크(30)에 접속되어 있는 장치로부터 송신되는 정보의 유선 또는 무선 전송로이다. 네트워크(30)는, 예를 들어 인터넷, LAN(Local Area Network), 무선 LAN, 또는 셀룰러 통신 네트워크 등에 의하여 실현된다.

≪2. 제1 실시 형태≫

제1 실시 형태는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트에, 당해 실 오브젝트의 표면 3차원 위치 정보를 대응지음으로써, 가상 공간에 있어서의 당해 실 오브젝트의 표면과 가상 오브젝트의 3차원적인 공간 인터랙션을 실현하는 형태이다.

<2.1. 개요>

(1) 기록 장치의 개요

도 2는, 본 실시 형태에 따른 기록 장치(10)의 기록 장치의 개요를 설명하기 위한 도면이다. 도 2에서는, 기록 장치(10)에 의한 정보의 기록 대상으로 되는 공간의 일례가 도시되어 있다. 도 2에 도시한 바와 같이 본 공간에서는, 관객석(17)에 있는 많은 관객 앞에서, 스테이지(16) 상에서 공연자(18)가 퍼포먼스하고 있다. 본 공간에는, 기록 장치(10)에 의한 기록에 관여하는 장치로서 제1 센서 장치(11) 및 제2 센서 장치(12(12A 및 12B))가 설치되어 있다. 또한 본 공간에는 모니터(15)도 배치되어 있다.

·제1 센서 장치(11)

제1 센서 장치(11)는, VR 콘텐츠에 있어서 공간 인터랙션의 대상으로 되는 실 오브젝트를 포함하는, 실 공간을 센싱하는 장치이다. 실 오브젝트란, 실 공간에 존재하는 물체이다. 제1 센서 장치(11)는 촬상 장치 및 뎁스 센서를 구비한다. 촬상 장치는, 실 공간의 실 오브젝트(즉, 피사체)를 촬상하여 촬상 화상을 취득하는 장치이다. 촬상 장치는, 예를 들어 단안 카메라, 스테레오 카메라, 또는 적외선 카메라 등에 의하여 실현된다. 촬상되는 화상은, 2차원 화상, 전천구(360도) 화상, 반천구(180도) 화상, 또는 그 외의 임의의 촬상 범위를 갖는 화상이다. 이하에서는, 촬상 장치는 스테레오 카메라에 의하여 실현되어, 입체시하는 것이 가능한 스테레오 전천구 화상이 촬상되는 것으로 한다. 또한 이하에서는 촬상 장치를 VR 카메라라고도 칭한다. 뎁스 센서는, 실 공간의 실 오브젝트의 심도 정보를 검출하는 장치이다. 심도 정보란, 센서의 광축 방향(깊이)의 측정값이다. 뎁스 센서로서는, 예를 들어 Light Coding, Time of Flight, 또는 Infrared Depth 등의 임의의 방식의 센서가 채용될 수 있다.

제1 센서 장치(11)는, 예를 들어 모니터(15)의 중앙에 설치되어 비교적 근거리로부터, 공연자(18)를 포함하는 스테이지(16) 상을 센싱한다. 스테이지(16) 및 공연자(18)는, VR 콘텐츠에 있어서 공간 인터랙션의 대상으로 되는 실 오브젝트이다.

·제2 센서 장치(12)

제2 센서 장치(12)는, 실 공간을 센싱하는 장치이다. 제2 센서 장치(12)는 촬상 장치를 구비한다. 촬상 장치에 대해서는, 제1 센서 장치(11)에 관하여 상기 설명한 바와 같다. 제2 센서 장치(12)는 관객석에 설치되어 비교적 원거리로부터, 공연자(18)를 포함하는 스테이지(16) 상을 센싱한다.

·모니터(15)

모니터(15)는, 재생 장치(20)에 의한 VR 콘텐츠의 제공을 받고 있는 유저의 모습을 표시하는 표시 장치이다. 이 때문에 공연자(18)는, 실제로 눈앞에 있는 관객과, 네트워크(30) 너머로 자신을 감상하고 있는 관객을 시인하면서 퍼포먼스할 수 있다.

이상, 기록 대상 공간에 설치되는 장치에 대하여 설명하였다.

기록 장치(10)는, 제1 센서 장치(11) 및 제2 센서 장치(12)에 의한 센싱 결과에 기초하여, 재생 장치(20)측에서 VR 콘텐츠를 구성하기 위한 각종 정보를 포함하는 콘텐츠 구성 정보를 생성한다. 그리고 기록 장치(10)는, 생성한 콘텐츠 구성 정보를 재생 장치(20)에 송신한다.

또한 제1 센서 장치(11)에 의한 센싱 결과는, 후술하는 공간 인터랙션이 가능한 VR 콘텐츠의 생성 및 후술하는 시점 전환을 위하여 이용된다. 제2 센서 장치(12)에 의한 센싱 결과는, 후술하는 시점 전환을 위하여 이용된다.

(2) 재생 장치의 개요

도 3은, 본 실시 형태에 따른 재생 장치(20)의 개요를 설명하기 위한 도면이다. 도 3에서는, 재생 장치(20)에 의한 VR 콘텐츠의 재생에 관여하는 장치로서 HMD(Head Mounted Display)(21) 및 컨트롤러(22)가 도시되어 있다.

HMD(21)는, VR 콘텐츠를 출력하는 출력 장치이다. HMD(21)는, 화상을 표시 가능한 표시부가 유저의 눈앞에 위치하도록 하여 유저의 두부에 장착된다. 그리고 HMD(21)는, VR 콘텐츠를 표시하면서 유저의 머리의 움직임에 맞추어 VR 콘텐츠를 회전 또는 줌시키거나 한다. 또한 HMD(21)는, VR 콘텐츠에 대한 유저 조작에 대응하는 시각적/청각적/후각적인 피드백을 출력한다. 출력 장치는 HMD(21) 외에도, 예를 들어 스마트폰 또는 태블릿 단말기 등에 의하여 실현되어도 된다.

컨트롤러(22)는, VR 콘텐츠에 대한 유저 조작을 접수하면서 유저 조작에 대응하는 촉각 피드백을 출력하는 입출력 장치이다. 도 3에 도시한 예에서는, 컨트롤러(22)는 스틱형 장치이며 유저에게 파지되어 조작된다. 컨트롤러(22)는 스틱형 이외에도, 예를 들어 글로브형 등의 임의의 형상으로 실현될 수 있다. 컨트롤러(22)의 위치 및 자세에 기초하여 VR 콘텐츠가 조작된다. 출력될 수 있는 촉각 피드백으로서는, 예를 들어 진동, 전기 자극, 또는 역각 등을 들 수 있다. 이하에서는, 촉각 피드백은 진동에 의하여 실현되는 것으로 한다.

또한 본 명세서에 있어서 위치란, 특별히 언급하지 않는 한 3차원 위치인 것으로 한다. 또한 자세란, 특별히 언급하지 않는 한 6자유도(6DoF)의 자세인 것으로 한다.

이상, 재생 장치(20)에 의한 VR 콘텐츠의 재생에 관여하는 장치에 대하여 설명하였다.

재생 장치(20)는, 기록 장치(10)로부터 수신한 콘텐츠 구성 정보에 기초하여 VR 콘텐츠를 생성한다. 여기서, 도 2에 도시한 제1 센서 장치(11) 및 제2 센서 장치(12)는, 기록 대상 공간에 있어서의 시점에 대응한다. 유저는, 기록 대상 공간에 있어서의 시점을 자유로이 선택하여, 임의의 시점으로부터 기록 대상 공간을 본 VR 콘텐츠의 제공을 받을 수 있다. 시점의 전환은, 재생할 VR 콘텐츠를 전환함으로써 행해진다. 상세하게는, 시점의 전환은, 재생할 VR 콘텐츠의 바탕으로 되는 콘텐츠 구성 정보가 어느 센서 장치(제1 센서 장치(11) 또는 제2 센서 장치(12))의 센싱 결과에 기초하여 생성될지를 전환함으로써 실현된다.

본 실시 형태에 따른 VR 콘텐츠에서는, 가상 오브젝트의 하나로서, 실 공간을 촬상한 촬상 화상이 가상 공간 내에 배치되어 표시된다. 또한 본 실시 형태에 따른 VR 콘텐츠에서는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트에, 당해 실 오브젝트의 3차원 위치를 나타내는 3차원 위치 정보가 대응지어진다. 이것에 의하여, 가상 공간 내에 배치된 촬상 화상에 포함되는 실 오브젝트가 관여하는 공간 인터랙션을 실현하는 것이 가능해진다. 이하, 이 점에 대하여 상세히 설명한다.

도 3에 도시한 바와 같이 HMD(21)는, 재생 장치(20)에 의하여 생성된 VR 콘텐츠(40)를 표시한다. VR 콘텐츠(40)에서는, 가상 공간에, 도 2에 도시한 스테이지(16) 상의 공연자(18)를 포함하는 촬상 화상이 배치되어 표시되어 있고, 또한 촬상 화상 내의 스테이지(16) 및 공연자(18)의 각각에 3차원 위치 정보가 대응지어져 있다.

유저가 컨트롤러(22)를 조작하면, 실 공간에 있어서의 컨트롤러(22)의 위치 및 자세에 따라 가상 공간에 있어서의 조작체(41)의 위치 및 자세가 변화된다. 조작체(41)는, 가상 공간에 있어서의 유저의 조작 위치를 나타내는 가상 오브젝트이다. 재생 장치(20)는, 가상 공간에 있어서의 조작체(41)의 위치와, 스테이지(16) 또는 공연자(18)에 대응지어진 3차원 위치 정보에 기초하여, 가상 공간에 있어서의 조작체(41)와 스테이지(16) 또는 공연자(18)의 충돌을 판정한다. 그리고 재생 장치(20)는, 충돌하였다고 판정한 경우에는, 충돌에 대응하는 시각적/청각적/후각적인 피드백을 HMD(21)에 출력시키고, 충돌에 대응하는 촉각 피드백을 컨트롤러(22)에 출력시킨다.

이와 같이, 본 실시 형태에 따른 콘텐츠 배신 시스템(1)에 따르면, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트가 관여하는 공간 인터랙션을 실현하는 것이 가능해진다.

<2.2. 기록 장치측의 기술적 특징>

<2.2.1. 기록 장치의 기능 구성예>

도 4는, 본 실시 형태에 따른 기록 장치(10)의 기능 구성의 일례를 도시하는 블록도이다. 도 4에 도시한 바와 같이 기록 장치(10)는 화상 취득부(110), 스트리밍 처리부(120), 심도 정보 취득부(130), 표면 모델 취득부(140), 콘텐츠 구성 정보 생성부(150) 및 송신부(160)를 포함한다.

또한 도 4에서는, 제1 센서 장치(11) 및 제2 센서 장치(12)의 기능 구성의 일례도 도시되어 있다. 도 4에 도시한 바와 같이 제1 센서 장치(11)는 VR 카메라(101) 및 뎁스 센서(102)를 포함하고, 제2 센서 장치(12)는 VR 카메라(101)를 포함한다. 기록 장치(10)는, 하나 이상의 제1 센서 장치(11) 및 하나 이상의 제2 센서 장치(12)에 접속될 수 있다.

이하, 이들의 기능 구성에 대하여 설명한다.

(1) 제1 센서 장치(11)

VR 카메라(101) 및 뎁스 센서(102)에 관해서는, 도 2를 참조하면서 상기 설명한 바와 같으므로 설명을 생략한다.

(2) 제2 센서 장치(12)

VR 카메라(101)에 관해서는, 도 2를 참조하면서 상기 설명한 바와 같으므로 설명을 생략한다.

(3) 기록 장치(10)

(화상 취득부(110))

화상 취득부(110)는, 제1 센서 장치(11) 또는 제2 센서 장치(12)에 포함되는 VR 카메라(101)로부터, 실 공간의 실 오브젝트를 포함하는 촬상 화상을 취득하는 기능을 갖는다. 여기서, 촬상 화상을 취득한다는 것은, 촬상 화상의 데이터를 수신하는 것, 또는 메모리 등의 소정의 기록 매체에 기록된 촬상 화상 데이터를 판독하는 것 등을 가리킨다. VR 카메라(101)가 스테레오 카메라인 경우, 화상 취득부(110)는, 좌우 2매의 촬상 화상(좌측의 촬상 화상인 L 화상 및 우측의 촬상 화상인 R 화상)으로 이루어지는 스테레오 화상(스테레오의 전천구 화상)을 촬상 화상으로서 취득한다. 화상 취득부(110)는, 취득한 촬상 화상을 스트리밍 처리부(120)에 출력한다.

(스트리밍 처리부(120))

스트리밍 처리부(120)는, 화상 취득부(110)에 의하여 취득된 촬상 화상의 스트리밍 처리를 행하는 기능을 갖는다. 예를 들어 스트리밍 처리부(120)는 촬상 시각 시간순으로 촬상 화상을 콘텐츠 구성 정보 생성부(150)에 출력한다.

(심도 정보 취득부(130))

심도 정보 취득부(130)는, 제1 센서 장치(11)에 포함되는 뎁스 센서(102)로부터 실 공간의 실 오브젝트의 심도 정보를 취득하는 기능을 갖는다. 여기서의 심도 정보란, 예를 들어 뎁스 화상이다. 심도 정보 취득부(130)는, 취득한 심도 정보를 표면 모델 취득부(140)에 출력한다.

(표면 모델 취득부(140))

표면 모델 취득부(140)는, 심도 정보 취득부(130)에 의하여 취득된 심도 정보에 기초하여 실 오브젝트의 표면 모델을 취득하는 기능을 갖는다. 실 오브젝트의 표면 모델이란, 실 오브젝트의 표면의 점이자 3차원 위치 정보가 대응지어진 점을 복수 포함하는 점 군의 정보를 포함하는 3차원 모델 데이터이다. 여기서의 3차원 위치 정보란, 뎁스 센서(102)의 위치에 기초하여 설정되는 원점과, 뎁스 센서(102)의 자세에 기초하여 설정되는 좌표축에 의하여 정의되는, 뎁스 센서(102)의 좌표계에 있어서의 위치를 나타내는 정보이다. 표면 모델은, 실 오브젝트의 표면의 점 군의 3차원 위치 정보(피사체 3차원 위치 정보에 상당)인 것으로도 파악할 수 있다. 여기서의 점 군이란, 예를 들어 심도 정보 취득부(130)에 의하여 취득된 뎁스 화상에 있어서의 화소를 복수 포함하는 화소 군이다. 또한 점 군의 해상도는 임의이다. 촬상 화상 내의 실 오브젝트의 해상도보다도, 당해 실 오브젝트에 대응하는 점 군의 해상도가 낮아도 된다. 그 경우, 촬상 화상 전체를 점 군으로 구성하는(즉, 촬상 화상을 포인트 클라우드로 표현하는) 경우보다도 전송 데이터양을 삭감하는 것이 가능해짐과 함께, 유저가 시인하는 실 오브젝트의 해상도를 높이는 것이 가능해진다. 물론 본 기술에 있어서, 촬상 화상이 포인트 클라우드로서 표현되어도 된다.

표면 모델은, 소정의 조건을 만족시키는 실 오브젝트의, 표면의 점 군의 3차원 위치 정보여도 된다. 소정의 조건을 만족시키는 실 오브젝트란, 예를 들어 VR 콘텐츠에 있어서 공간 인터랙션에 관여시키는 실 오브젝트이며, 도 2에 도시한 예에 있어서의 스테이지(16) 및 공연자(18)이다. 이 경우, 소정의 조건이란, 공간 인터랙션에 관여시키는 실 오브젝트일 것이며, 구체적으로는, 동체(動體)일 것, 소정의 역치를 초과하는 크기의 면을 가질 것, 또는 전경(前景)일 것 등이다. 예를 들어 표면 모델 취득부(140)는, 뎁스 화상에 화상 인식 등을 적용함으로써, 소정의 조건을 만족시키는 실 오브젝트를 특정한다. 그리고 표면 모델 취득부(140)는, 뎁스 화상으로부터, 소정의 조건을 만족시키는 실 오브젝트의 표면의 점 군을 추출하고 그 외의 것을 삭제함으로써, 소정의 조건을 만족시키는 실 오브젝트의 표면의 점 군의 3차원 위치 정보로 이루어지는 표면 모델을 취득한다. 이것에 의하여, 표면 모델을 형성하는 점의 수를, 공간 인터랙션에 관여하는 실 오브젝트에 대응하는 점에 한정하여 삭감하는 것이 가능해지므로, 콘텐츠 구성 정보의 기록 장치(10)로부터 재생 장치(20)로의 전송 지연을 방지하는 것이 가능해진다.

표면 모델 취득부(140)는, 공연자(18)의 손 등의, 인터랙션의 발생이 상정되는 영역을 사전에 화상 인식 처리에 의하여 검출하여 전송 지연의 경감에 이용해도 된다. 예를 들어 표면 모델 취득부(140)는, 인터랙션의 발생이 상정되는 영역만을 대상으로 표면 모델을 생성하여 콘텐츠 구성 정보에 기록해도 된다.

표면 모델 취득부(140)는, 공연자(18)의 손 이외의 몸의 소정 부위 등의, 인터랙션의 발생을 피해야 할 영역을 화상 인식 처리에 의하여 사전에 검출하여 전송 지연의 경감에 이용해도 된다. 예를 들어 표면 모델 취득부(140)는, 인터랙션의 발생을 피해야 할 영역에 대해서는 표면 모델의 생성 대상 외로 하여, 콘텐츠 구성 정보에 당해 부위의 표면 모델 정보를 기록하는 것을 금지해도 된다.

표면 모델은, 콘텐츠 구성 정보의 전송 속도에 따른 수의 점의 3차원 위치 정보여도 된다. 그 경우, 표면 모델 취득부(140)는, 표면 모델을 형성하는 점 군이, 전송 속도에 따른 소정의 입도로 되기까지 씨닝한다. 예를 들어 표면 모델 취득부(140)는, 전송 속도가 느리면 점 군으로부터 많은 점을 씨닝하고, 전송 속도가 빠르면 점 군으로부터 적은 수의 점을 씨닝한다. 이것에 의하여, 콘텐츠 구성 정보의 기록 장치(10)로부터 재생 장치(20)로의 전송 지연을 과부족 없이 방지하는 것이 가능해진다.

또한 표면 모델 취득부(140)는 점 군의 노이즈를 제거해도 된다. 여기서 노이즈란, 예를 들어 다른 것과 현저히 떨어진 점이다. 점 군에 포함되는 점의 수를 삭감함으로써, 기록 장치(10)로부터 재생 장치(20)로의 전송에 있어서의 지연을 경감하는 것이 가능해진다. 이와 같이 하여 실 오브젝트의 표면 모델이 생성된다.

(콘텐츠 구성 정보 생성부(150))

콘텐츠 구성 정보 생성부(150)는, 스트리밍 처리부(120) 및 표면 모델 취득부(140)로부터의 출력에 기초하여 콘텐츠 구성 정보를 생성하는 기능을 갖는다. 콘텐츠 구성 정보 생성부(150)는, 생성한 콘텐츠 구성 정보를 송신부(160)에 출력한다.

콘텐츠 구성 정보는, 재생 장치(20)측에서 VR 콘텐츠를 구성하기 위한 각종 정보를 포함하는 정보이다. 콘텐츠 구성 정보 생성부(150)는, 촬상 화상 및 표면 모델, 그리고 이들 정보에 기초하여 재생 장치(20)측에서 VR 콘텐츠를 구성하기 위한 각종 정보를 컨테이너화함으로써, 콘텐츠 구성 정보를 생성한다. 콘텐츠 구성 정보는, 촬상 화상, 표면 모델, 및 촬상 화상 내의 실 오브젝트와 표면 모델을 관련짓는 가상 공간 관련짓기 정보를 포함한다. 가상 공간 관련짓기 정보는, 가상 공간 내에 표시되는 촬상 화상 내의 실 오브젝트가 관여하는 인터랙션에 이용되는 정보이다. 콘텐츠 구성 정보의 포맷에 대해서는 후술한다.

콘텐츠 구성 정보 생성부(150)는, 재생 장치(20)측에서 선택된 시점에 대응하는 콘텐츠 구성 정보를 생성한다. 상세하게는, 콘텐츠 구성 정보 생성부(150)는, 재생 장치(20)측에서 선택된 시점에 대응하는 센서 장치(제1 센서 장치(11) 또는 제2 센서 장치(12))에 의한 센싱 결과에 기초하여 콘텐츠 구성 정보를 생성한다.

(송신부(160))

송신부(160)는, 다른 장치에 정보를 송신하는 기능을 갖는다. 구체적으로는, 송신부(160)는, 콘텐츠 구성 정보 생성부(150)에 의하여 생성된 콘텐츠 구성 정보를 재생 장치(20)에 송신한다.

<2.2.2. 콘텐츠 구성 정보의 포맷>

도 5는, 본 실시 형태에 따른 콘텐츠 구성 정보의 포맷의 일례를 도시하는 도면이다. 도 5에 도시한 바와 같이 콘텐츠 구성 정보는 VR용 화상 정보 및 공간 인터랙션 구성 정보를 포함한다. 도 5에서는, 프레임 번호가 1 내지 n인 프레임의 화상 및 표면 모델을 컨테이너화한, 콘텐츠 구성 정보의 포맷이 나타나 있다. 이하, 포맷에 대하여 상세히 설명한다.

·VR용 화상 정보

VR용 화상 정보는, 스트리밍 처리부(120)로부터 출력되는 화상과, 그에 관련되는 정보를 포함한다.

VR용 화상 정보는, 프레임별 L 화상(스테레오 화상에 있어서의 좌측의 화상)과 그 프레임 번호, 및 프레임별 R 화상(스테레오 화상에 있어서의 우측의 화상)과 그 프레임 번호를 포함한다. 프레임 번호는, 화상의 촬상 시각에 대응하는 정보이며, 가상 공간 관련짓기 정보에 상당한다.

VR용 화상 정보는 화상의 메타데이터를 포함한다. 메타데이터는 콘텐츠 ID를 포함한다. 콘텐츠 ID는 VR 콘텐츠의 식별 정보이다. 콘텐츠 ID는, 기록 대상 공간에 있어서의 시점을 나타내는 정보로도 파악할 수 있어도 된다. 달리 말하면 콘텐츠 ID는, 촬상 화상이 어느 센서 장치(VR 카메라(101))에 의하여 촬상되었는지를 나타내는 정보, 즉, 촬상 화상을 촬상한 센서 장치의 식별 정보여도 된다. 이 콘텐츠 ID는, 촬상 화상과 표면 모델을 관련짓는 식별 정보이며, 가상 공간 관련짓기 정보에 상당한다.

·공간 인터랙션 구성 정보

공간 인터랙션 구성 정보는, 표면 모델, 표면 모델의 속성 정보 및 프레임 번호를 포함한다. 프레임별 표면 모델이란, 프레임별 화상에 포함되는 실 오브젝트의 표면 모델이다. 즉, 공간 인터랙션 구성 정보는, 프레임별 화상에 포함되는 실 오브젝트의 표면의 복수의 점의 3차원 위치 정보를 포함한다. 속성 정보란, 반발 계수, 마찰 계수 및 법선 방향 등의, 프레임별 화상에 포함되는 실 오브젝트의 물리 계수를 나타내는 정보이다. 속성 정보는, 표면 모델에 포함되는 점별로 설정될 수 있다. 프레임 번호는, 표면 모델의 검출 시각(즉, 심도 정보의 검출 시각)에 대응하는 정보이며, 가상 공간 관련짓기 정보에 상당한다. 어느 시각에 촬상된 촬상 화상의 프레임 번호와 동일 시각에 검출된 표면 모델의 프레임 번호는 일치하는 것이 바람직하다. 이것에 의하여, 촬상 화상과 표면 모델의 시계열적인 동기(이하, 타이밍 동기라고도 칭함)를 확립하는 것이 용이해진다.

공간 인터랙션 구성 정보는 메타데이터를 포함한다. 메타데이터는 콘텐츠 ID, 시점 전환 오브젝트 정보, 센서 장치 위치 자세 정보 및 피드백 설정 정보를 포함한다.

콘텐츠 ID는 VR 콘텐츠의 식별 정보이다. 콘텐츠 ID는, 기록 대상 공간에 있어서의 시점을 나타내는 정보로도 파악할 수 있어도 된다. 달리 말하면 콘텐츠 ID는, 표면 모델이 어느 센서 장치(뎁스 센서(102))에 의하여 검출된 심도 정보에 기초하여 생성되었는지를 나타내는 정보, 즉, 심도 정보를 검출한 센서 장치의 식별 정보여도 된다. 이 콘텐츠 ID는, 촬상 화상과 표면 모델을 관련짓는 식별 정보이며, 가상 공간 관련짓기 정보에 상당한다.

시점 전환 오브젝트 정보는, 시점 전환 오브젝트에 관한 정보이며, 시점 전환을 위하여 이용된다. 시점 전환 오브젝트란, 시점 전환을 위한 컬라이더가 대응지어지는 가상 오브젝트이다. 시점 전환 오브젝트 정보는, 시점 전환 오브젝트의 ID, 시점 전환 오브젝트의 3차원 위치 정보, 및 시점 전환 오브젝트에 대응지어지는 콘텐츠 ID를 포함한다. 이 콘텐츠 ID는, 당해 시점 전환 오브젝트에 기초하는 시점의 전환이 행해지는 경우의, 전환처의 VR 콘텐츠의 콘텐츠 ID이다.

센서 장치 위치 자세 정보란, 촬상 화상을 촬상한 촬상 장치의 좌표계 및 표면 모델(즉, 심도 정보)을 검출한 센서의 좌표계에 관한 정보이며, 가상 공간 관련짓기 정보에 상당한다. 즉, 본 실시 형태에 따른 센서 장치 위치 자세 정보란, VR 카메라(101)의 좌표계 및 뎁스 센서(102)의 좌표계에 관한 정보이다. VR 카메라(101)의 좌표계는, VR 카메라(101)의 위치에 기초하여 설정되는 원점과, VR 카메라(101)의 자세에 기초하여 설정되는 좌표축에 의하여 정의된다. 뎁스 센서(102)의 좌표계는, 뎁스 센서(102)의 위치에 기초하여 설정되는 원점과, 뎁스 센서(102)의 자세에 기초하여 설정되는 좌표축에 의하여 정의된다.

센서 장치 위치 자세 정보는, 이들 좌표계를 정의하는 정보인, VR 카메라(101) 및 뎁스 센서(102)의 위치 및 자세를 나타내는 정보를 포함하고 있어도 된다. 또한 센서 장치 위치 자세 정보는, VR 카메라(101) 및 뎁스 센서(102)의 위치의 차분 및 자세의 차분 등의, 이들 좌표계의 어긋남을 나타내는 정보를 포함하고 있어도 된다. 센서 장치 위치 자세 정보는, 예를 들어 VR 카메라(101) 및 뎁스 센서(102)의 설치 상황에 기초하여 수동으로 설정되어도 된다. 또한 센서 장치 위치 자세 정보는, 인식 대상물을 VR 카메라(101)로 촬상하고 또한 뎁스 센서(102)로 센싱하였을 때의, 촬상 화상에 있어서의 인식 대상물의 위치 및 자세와, 뎁스 화상에 있어서의 인식 대상물의 위치 및 자세를 비교함으로써 취득되어도 된다. 또한 인식 대상물로서는, 소정의 체커 패턴이 부여된 패널 또는 입방체 기구 등을 들 수 있다.

동일한 제1 센서 장치(11)에 포함되는 VR 카메라(101) 및 뎁스 센서(102)이더라도 위치 및 자세에 어긋남이 생길 수 있다. 이 어긋남에 기인하여, 재생 장치(20)측에서의 VR 콘텐츠의 구성 시에, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트와 당해 실 오브젝트에 대응지어지는 표면 모델에 어긋남이 생길 수 있다. 이 점, 센서 장치 위치 자세 정보가 콘텐츠 구성 정보에 포함됨으로써, 재생 장치(20)측에서 어긋남을 보정하는 것이 가능해진다.

피드백 설정 정보란, 가상 공간 내에 표시되는 촬상 화상 내의 실 오브젝트가 관여하는 인터랙션이 행해지는 경우의 피드백 내용을 설정하는 정보이다. 피드백 설정 정보는, 시각적, 촉각적, 청각적, 또는 후각적으로 피드백될 내용을 설정하는 정보를 포함한다. 상세하게는, 피드백 설정 정보는, 시각적으로 피드백될 내용을 설정하는 시각 피드백 설정 정보를 포함할 수 있다. 시각 피드백 설정 정보는, 예를 들어 충돌하였을 때 표시되어야 할, 충돌하였음을 나타내는 아이콘을 나타내는 정보 등을 포함한다. 피드백 설정 정보는, 촉각적으로 피드백될 내용을 설정하는 촉각 피드백 설정 정보를 포함한다. 촉각 피드백 설정 정보는, 예를 들어 충돌하였을 때 출력되어야 할, 진동의 주파수, 진폭 및 진동 시간을 나타내는 정보 등을 포함할 수 있다. 피드백 설정 정보는, 청각적으로 피드백될 내용을 설정하는 청각 피드백 설정 정보를 포함할 수 있다. 청각 피드백 설정 정보는, 예를 들어 충돌하였을 때 출력되어야 할, 소리를 나타내는 정보 등을 포함한다. 피드백 설정 정보는, 후각적으로 피드백될 내용을 설정하는 후각 피드백 설정 정보를 포함할 수 있다. 후각 피드백 설정 정보는, 예를 들어 충돌하였을 때 출력되어야 할, 화약 또는 향수 등의 냄새를 나타내는 정보를 포함한다. 피드백 설정 정보는, 가상 공간에 있어서의 시점 이동 시에 피드백될 내용을 설정하는 시점 이동 설정 정보를 포함한다. 시점 이동 설정 정보는, 예를 들어 시점 전환 위치를 지정하는 정보, 및 시점 이동 후의 시계의 회전량을 지정하는 정보를 포함한다. 피드백 설정 정보가 콘텐츠 구성 정보에 포함됨으로써, VR 콘텐츠의 제작자가 의도하는 피드백을 유저에게 제공하는 것이 가능해진다.

여기서, 촬상 화상 내에 공간 인터랙션에 관여하는 실 오브젝트가 복수 포함되는 경우, 공간 인터랙션 구성 정보는, 표면 모델, 표면 모델의 속성 정보, 및 메타데이터의 세트를 실 오브젝트별로 포함하고 있어도 된다. 또한 공간 인터랙션 구성 정보는 실 오브젝트별로 피드백 설정 정보를 포함하고 있어도 된다. 그 경우, 이들 실 오브젝트별 정보에 대해서는 실 오브젝트의 식별 정보가 대응지어진다.

또한 프레임 사이에서 표면 모델이 유용되어도 된다. 그 경우, 공간 인터랙션 정보는, 유용될 표면 모델, 및 당해 표면 모델을 유용할 기간을 식별하기 위한 정보를 포함한다. 예를 들어 소정 시간 동안 움직이지 않는 실 오브젝트가 있는 경우, 콘텐츠 구성 정보 생성부(150)는 당해 소정 시간의 개시 프레임에 대응지어 표면 모델을 기록함과 함께, 그 표면 모델을 유용할 시간 정보(예를 들어 당해 소정 시간의 종료 프레임)를 기록한다. 이것에 의하여 전송량을 삭감할 수 있으므로, 전송 지연을 경감하는 것이 가능해진다.

<2.2.3. 기록 처리의 흐름>

도 6은, 본 실시 형태에 따른 기록 장치(10)에 의하여 실행되는 기록 처리의 흐름의 일례를 도시하는 흐름도이다. 도 6에 도시한 바와 같이 먼저, 화상 취득부(110)는 실 공간의 촬상 화상을 취득하고 심도 정보 취득부(130)는 심도 정보를 취득한다(스텝 S102).

그 후, 표면 모델 취득부(140)는 심도 정보에 기초하여 표면 모델을 생성한다. 상세하게는, 표면 모델 취득부(140)는 심도 정보에 기초하여, 소정의 조건을 만족시키는 실 오브젝트의 표면을 형성하는 점 군(예를 들어 화소 군)을 추출한다(스텝 S104). 여기서의 소정의 조건이란, 예를 들어 동체일 것, 소정의 역치를 초과하는 크기의 면을 가질 것, 전경일 것, 인터랙션의 발생이 상정되는 영역일 것, 및/또는 인터랙션의 발생을 피해야 할 영역이 아닐 것 등이다. 다음에, 표면 모델 취득부(140)는, 점 군이 소정의 입도로 되기까지 점을 씨닝한다(스텝 S106). 다음으로, 표면 모델 취득부(140)는 프레임 단위로 점 군의 노이즈를 제거한다(스텝 S108). 이와 같이 하여 표면 모델 취득부(140)는 표면 모델을 생성한다.

그리고 콘텐츠 구성 정보 생성부(150)는 촬상 화상과 표면 모델에 기초하여 콘텐츠 구성 정보를 생성한다(스텝 S110). 그 후, 송신부(160)는 콘텐츠 구성 정보를 재생 장치(20)에 송신한다(스텝 S112).

<2.3. 재생 장치측의 기술적 특징>

<2.3.1. 재생 장치의 기능 구성예>

도 7은, 본 실시 형태에 따른 재생 장치(20)의 기능 구성의 일례를 도시하는 블록도이다. 도 7에 도시한 바와 같이 재생 장치(20)는 수신부(210), 콘텐츠 구성 정보 해석부(220), 타이밍 동기부(230), 좌표 변환부(240), 가상 오브젝트 제어부(250), 출력 제어부(260) 및 선택부(270)를 포함한다.

또한 도 7에서는 HMD(21) 및 컨트롤러(22)의 기능 구성의 일례도 도시되어 있다. 도 7에 도시한 바와 같이 HMD(21)는 표시부(201), 위치 자세 검출부(202), 음성 출력부(203) 및 음성 입력부(204)를 포함하고, 컨트롤러(22)는 위치 자세 검출부(205) 및 진동 출력부(206)를 포함한다.

이하, 이들의 기능 구성에 대하여 설명한다.

(1) HMD(21)

(표시부(201))

표시부(201)는, VR 콘텐츠를 표시하는 기능을 갖는다. 표시부(201)는, 출력 제어부(260)에 의한 제어에 기초하여 VR 콘텐츠를 표시한다. 예를 들어 표시부(201)는 LCD(Liquid Crystal Display) 또는 OLED(Organic Light-Emitting Diode) 등에 의하여 실현될 수 있다.

(위치 자세 검출부(202))

위치 자세 검출부(202)는, HMD(21)(즉, HMD(21)를 장착한 유저의 두부)의 위치 및 자세를 검출하는 기능을 갖는다. 예를 들어 위치 자세 검출부(202)는 자이로 센서 및 가속도 센서를 포함하며, 각속도에 기초하여 자세를 검출하고, 각속도 및 가속도를 이용한 INS(inertial navigation system) 연산에 의하여 위치를 검출한다. 위치 자세 검출부(202)는, 검출한 HMD(21)의 위치 및 자세를 나타내는 정보를 재생 장치(20)의 출력 제어부(260)에 출력한다.

(음성 출력부(203))

음성 출력부(203)는, VR 콘텐츠에 관한 음성을 출력하는 기능을 갖는다. 예를 들어 음성 출력부(203)는 스피커 또는 이어폰, 증폭기 및 DAC(Digital Analog Converter) 등을 포함한다. 음성 출력부(203)는, 출력 제어부(260)에 의한 제어에 기초하여 4음성을 재생한다.

(음성 입력부(204))

음성 입력부(204)는, 유저의 음성을 입력하는 기능을 갖는다. 예를 들어 음성 입력부(204)는 마이크, 마이크 증폭기 및 ADC(Analog Digital Converter) 등을 포함하며, 유저의 음성을 나타내는 디지털 신호를 생성한다. 음성 입력부(204)는, 입력된 유저의 음성을 나타내는 정보를 가상 오브젝트 제어부(250)에 출력한다.

(2) 컨트롤러(22)

(위치 자세 검출부(205))

위치 자세 검출부(205)는, 컨트롤러(22)의 위치 및 자세를 검출하는 기능을 갖는다. 예를 들어 위치 자세 검출부(205)는 자이로 센서 및 가속도 센서를 포함하며, 각속도에 기초하여 자세를 검출하고, 각속도 및 가속도를 이용한 INS(inertial navigation system) 연산에 의하여 위치를 검출한다. 위치 자세 검출부(205)는, 검출한 컨트롤러(22)의 위치 및 자세를 나타내는 정보를 가상 오브젝트 제어부(250)에 출력한다.

(진동 출력부(206))

진동 출력부(206)는, 진동을 출력하는 기능을 갖는다. 진동 출력부(206)는, 출력 제어부(260)에 의한 제어에 기초하여 진동을 출력한다. 예를 들어 진동 출력부(206)는 편심 모터, LRA(Linear Resonant Actuator), 또는 VCM(Voice Coil Motor) 등에 의하여 실현될 수 있다.

(3) 재생 장치(20)

(수신부(210))

수신부(210)는, 다른 장치로부터 정보를 수신하는 기능을 갖는다. 보다 상세하게는, 수신부(210)는, 기록 장치(10)로부터 콘텐츠 구성 정보를 취득하는 취득부로서 기능한다. 수신부(210)는, 선택 중인 시점에 대응하는 콘텐츠 구성 정보, 즉, 선택 중인 시점에 대응하는 제1 센서 장치(11) 또는 제2 센서 장치(12)에 의한 센싱 결과에 기초하여 생성된 콘텐츠 구성 정보를 수신한다. 수신부(210)는, 수신한 콘텐츠 구성 정보를 콘텐츠 구성 정보 해석부(220)에 출력한다.

(콘텐츠 구성 정보 해석부(220))

콘텐츠 구성 정보 해석부(220)는, 콘텐츠 구성 정보로부터 각종 정보를 추출하는 기능을 갖는다. 예를 들어 콘텐츠 구성 정보 해석부(220)는 콘텐츠 구성 정보로부터 VR용 화상 정보 및 공간 인터랙션 구성 정보를 분리 및 추출하여 각각 출력한다.

(타이밍 동기부(230))

타이밍 동기부(230)는, VR용 화상 정보에 포함되는 촬상 화상과 공간 인터랙션 구성 정보에 포함되는 표면 모델의 타이밍 동기를 확립하는 기능을 갖는다. 상세하게는, 타이밍 동기부(230)는, 촬상 화상과, 당해 촬상 화상의 촬상 시각과 동일 시각을 검출 시각으로 하는 표면 모델을 대응지음으로써, 촬상 화상과 표면 모델의 타이밍 동기를 확립한다. 그때, 타이밍 동기부(230)는, 촬상 화상의 프레임 번호와 표면 모델의 프레임 번호에 기초하여 촬상 화상과 표면 모델의 타이밍 동기를 확립한다. 타이밍 동기부(230)는, 타이밍 동기가 확립된 촬상 화상과 표면 모델을, 즉, 촬상 화상과 당해 촬상 화상의 촬상 시각과 동일 시각을 검출 시각으로 하는 표면 모델을 좌표 변환부(240)에 출력한다.

(좌표 변환부(240))

좌표 변환부(240)는, VR용 화상 정보에 포함되는 촬상 화상과 공간 인터랙션 구성 정보에 포함되는 표면 모델의 좌표계의 동기를 확립하는 기능을 갖는다. 좌표 변환부(240)는 표면 모델에 대하여, 센서 장치 위치 자세 정보가 나타내는 VR 카메라(101)의 좌표계와 뎁스 센서(102)의 좌표계의 어긋남을 보정하기 위한 좌표 변환 처리를 적용한다. 구체적으로는, 좌표 변환부(240)는, 표면 모델을 형성하는 점 군의 3차원 위치를, VR 카메라(101)의 위치에 기초하여 설정되는 원점과 VR 카메라(101)의 자세에 기초하여 설정되는 좌표축에 의하여 정의되는, VR 카메라(101)의 좌표계에 있어서의 3차원 위치로 변환한다. 이것에 의하여, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트와 당해 실 오브젝트의 표면 모델의 3차원 위치를 맞추는 것이 가능해진다. 좌표 변환부(240)는, 타이밍 동기 및 좌표계의 동기가 확립된 촬상 화상과 표면 모델을 출력 제어부(260) 및 가상 오브젝트 제어부(250)에 출력한다.

(가상 오브젝트 제어부(250))

가상 오브젝트 제어부(250)는, 가상 오브젝트에 관한 각종 제어를 행하는 기능을 갖는다.

·위치 및 자세의 제어

가상 오브젝트 제어부(250)는 가상 오브젝트의 위치 및 자세를 제어한다. 상세하게는, 가상 오브젝트 제어부(250)는 가상 오브젝트의 위치 및 자세를 연산한다. 조작체(41)에 관해서는, 가상 오브젝트 제어부(250)는, 위치 자세 검출부(205)로부터 출력된 컨트롤러(22)의 위치 및 자세를 나타내는 정보에 기초하여 조작체(41)의 위치 및 자세를 연산한다.

가상 오브젝트 제어부(250)는, 가상 오브젝트에 관한 물리 연산을 행한다. 예를 들어 가상 오브젝트 제어부(250)는, 가상 오브젝트끼리가 충돌하거나 가상 오브젝트가 던져지거나 한 경우에, 당해 가상 오브젝트의 가상 공간에서의 이동을 연산하여 이동 후의 가상 오브젝트의 위치 및 자세를 연산한다. 또한 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트가 관여하는 물리 연산에는, 당해 실 오브젝트에 대응지어진 물리 계수 등의 속성 정보가 가미된다.

가상 오브젝트 제어부(250)는, 가상 오브젝트의 위치 및 자세의 연산 결과를 출력 제어부(260)에 출력한다.

·컬라이더의 대응짓기

가상 오브젝트 제어부(250)는 가상 오브젝트에 컬라이더를 대응짓는다. 특히 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트에 컬라이더를 대응짓는다. 이것에 의하여, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트와 다른 가상 오브젝트의 충돌의 검출이 가능해진다. 이하, 컬라이더의 대응짓기에 대하여 상세히 설명한다.

가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상에 대하여, 당해 촬상 화상과의 타이밍 동기 및 좌표계의 동기가 확립된 표면 모델을 대응짓는다. 보다 간이하게는, 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트에 당해 실 오브젝트의 표면 모델을 대응짓는다.

가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 표면 모델에, 보다 상세하게는 표면 모델을 구성하는 점의 각각에 컬라이더를 대응짓는다. 상세하게는, 가상 오브젝트 제어부(250)는 컬라이더의 3차원 위치 정보로서 표면 모델의 3차원 위치 정보를 이용한다. 이것에 의하여, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트의 접촉 판정이 가능해진다.

또한 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 표면 모델에 물리 계수 등의 속성 정보를 대응짓는다. 이것에 의하여, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트와 가상 오브젝트의 충돌 시의 감촉 및 튕김 등의 표현이 가능해진다.

·충돌 검출

가상 오브젝트 제어부(250)는, 가상 오브젝트끼리의 충돌을 검출하는 충돌 검출부로서의 기능도 갖는다. 예를 들어 가상 오브젝트 제어부(250)는, 가상 오브젝트에 대응지어진 컬라이더끼리의 충돌 판정에 의하여 가상 오브젝트끼리의 충돌을 검출한다.

가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트와 가상 오브젝트의 충돌도 검출한다. 그 경우, 가상 오브젝트 제어부(250)는, 표면 모델과, 다른 가상 오브젝트의 3차원 위치 정보에 기초하여, 가상 공간 내에 표시된 촬상 화상 내의 실 오브젝트와 다른 가상 오브젝트의 충돌을 검출한다. 상세하게는, 가상 오브젝트 제어부(250)는, 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트에 대응지어진 표면 모델에 대응지어진 컬라이더와, 가상 오브젝트에 대응지어진 컬라이더의 충돌을 검출한다.

가상 오브젝트 제어부(250)는, 가상 오브젝트의 위치 및 자세의 시계열 변화에 기초하여, 충돌 시의 상대 속도, 및 충돌 각도 등의 충돌 상황에 관한 정보를 취득할 수 있다.

가상 오브젝트 제어부(250)는, 충돌의 유무 및 충돌 상황에 관한 정보를 출력 제어부(260)에 출력한다.

·그 외

가상 오브젝트 제어부(250)는, 음성 입력부(204)에 입력된 유저의 음성 지시에 기초하여 가상 오브젝트를 제어해도 된다. 예를 들어 가상 오브젝트 제어부(250)는, 유저의 음성을 나타내는 텍스트 정보로 이루어지는 가상 오브젝트를 생성하여 가상 공간 내에서 이동시키거나, 유저에 대응하는 아바타의 가상 오브젝트의 입을 움직이거나 한다.

(출력 제어부(260))

출력 제어부(260)는, 콘텐츠 구성 정보에 기초하여 가상 공간 내에 촬상 화상을 표시하는 기능을 갖는다. 예를 들어 출력 제어부(260)는, 가상 공간 내에 촬상 화상을 배치함으로써 가상 공간 내에 촬상 화상을 표시한다.

출력 제어부(260)는, 위치 자세 검출부(202)로부터 출력된 HMD(21)의 위치 및 자세를 나타내는 정보에 기초하여 가상 공간에 있어서의 유저 위치를 이동시키거나 시계를 회전시키거나 한다. 가상 공간에 있어서의 유저 위치의 이동은, 가상 공간 내에 배치된 촬상 화상의 줌 인/줌 아웃에 의하여 실현될 수 있다. 즉, 가상 공간에 있어서의 유저 위치의 이동은, 유저 위치의 이동 벡터와는 반대의 벡터로 가상 공간 내에서 촬상 화상을 이동시킴으로써 실현된다. 가상 공간에 있어서의 시계의 회전은, 가상 공간 내에 배치한 촬상 화상 중 표시부(201)에 표시시키는 영역을 이동시킴으로써 실현될 수 있다. 이들에 의하여 유저는, VR 콘텐츠 내에서 자유로이 돌아다니며 360도 주위를 빙 둘러보는 체험을 향수할 수 있다.

출력 제어부(260)는, 가상 오브젝트의 표시를 제어하는 기능을 갖는다. 예를 들어 출력 제어부(260)는, 가상 오브젝트 제어부(250)에 의하여 연산된 위치 및 자세로 가상 오브젝트를 표시한다.

출력 제어부(260)는, 콘텐츠 구성 정보에 기초하여, 가상 공간 내에 표시된 촬상 화상에 포함되는 실 오브젝트가 관여하는 인터랙션에 대응하는 피드백의 출력을 제어하는 기능을 갖는다. 예를 들어 출력 제어부(260)는, 가상 공간 내에 표시된 촬상 화상에 포함되는 실 오브젝트와 다른 가상 오브젝트의 충돌이 검출된 경우, 충돌에 대응하는 시각적, 촉각적, 청각적 및/또는 후각적인 피드백의, 유저에 대한 출력을 제어한다.

-시각 피드백

출력 제어부(260)는, 가상 오브젝트끼리의 충돌이 검출된 경우, 표시부(201)에 시각적인 피드백을 출력시켜도 된다. 예를 들어 출력 제어부(260)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트에 조작체(41)가 충돌한 경우에, 충돌하였음을 나타내는 정보를 표시부(201)에 의하여 출력시킨다. 출력 제어부(260)는, 표시부(201)에 출력시킬 정보를, 충돌 상황에 관한 정보에 기초하여 제어해도 된다. 충돌한 가상 오브젝트 중 한쪽이, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트인 경우, 표시부(201)에 출력시킬 정보는, 표면 모델에 대응지어진 물리 계수 및/또는 시각 피드백 설정 정보에 기초하여 결정된다.

-촉각 피드백

출력 제어부(260)는, 가상 오브젝트끼리의 충돌이 검출된 경우, 진동 출력부(206)에 촉각 피드백을 출력시켜도 된다. 예를 들어 출력 제어부(260)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트에 조작체(41)가 충돌한 경우에, 충돌하였음을 나타내는 진동을 진동 출력부(206)에 의하여 출력시킨다. 출력 제어부(260)는, 진동 출력부(206)에 출력시킬 진동에 관한 파라미터를, 충돌 상황에 관한 정보에 기초하여 지정해도 된다. 진동에 관한 파라미터로서는, 출력시킬 진동의 주파수, 진폭 및 진동 시간 등을 들 수 있다. 충돌한 가상 오브젝트 중 한쪽이, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트인 경우, 진동 파라미터는, 표면 모델에 대응지어진 물리 계수 및/또는 촉각 피드백 설정 정보에 기초하여 결정된다.

-청각 피드백

출력 제어부(260)는, 가상 오브젝트끼리의 충돌이 검출된 경우, 음성 출력부(203)에 청각 피드백을 출력시켜도 된다. 예를 들어 출력 제어부(260)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트에 조작체(41)가 충돌한 경우에, 충돌하였음을 나타내는 음성을 음성 출력부(203)에 의하여 출력시킨다. 출력 제어부(260)는, 음성 출력부(203)에 출력시킬 음성에 관한 파라미터를, 충돌 상황에 관한 정보에 기초하여 지정해도 된다. 음성에 관한 파라미터로서는, 재생시킬 음성의 종류 및 음량 등을 들 수 있다. 충돌한 가상 오브젝트 중 한쪽이, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트인 경우, 음성에 관한 파라미터는, 표면 모델에 대응지어진 물리 계수 및/또는 청각 피드백 설정 정보에 기초하여 결정된다.

-후각 피드백

출력 제어부(260)는, 가상 오브젝트끼리의 충돌이 검출된 경우, 도시하지 않은 후각 출력 디바이스에 후각 피드백을 출력시켜도 된다. 예를 들어 출력 제어부(260)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트에 조작체(41)가 충돌한 경우에, 충돌하였음을 나타내는 냄새를 후각 출력 디바이스에 의하여 출력시킨다. 출력 제어부(260)는, 후각 출력 디바이스에 출력시킬 냄새에 관한 파라미터를, 충돌 상황에 관한 정보에 기초하여 지정해도 된다. 냄새에 관한 파라미터로서는 냄새의 종류 및 냄새의 강도 등을 들 수 있다. 충돌한 가상 오브젝트 중 한쪽이, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트인 경우, 냄새에 관한 파라미터는, 표면 모델에 대응지어진 물리 계수 및/또는 후각 피드백 설정 정보에 기초하여 결정된다.

-보충

출력 제어부(260)는, 가상 오브젝트끼리의 충돌이 검출된 후 소정의 정지 조건이 성립하기까지의 동안, 시각/촉각/청각/후각 피드백을 출력시켜도 된다. 소정의 정지 조건이란, 예를 들어 충돌 발생 후에 소정 시간이 경과하는 것, 또는 가상 오브젝트끼리의 거리가 소정 거리를 초과하는 것 등이다. 이것에 의하여 충돌의 여운을 유저에게 부여하는 것이 가능해진다.

이와 같이 하여, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트가 관여하는 시각적, 촉각적, 청각적, 또는 후각적인 인터랙션이 실현된다.

(선택부(270))

선택부(270)는, 시점을 선택하는(즉, 재생될 VR 콘텐츠를 전환하는) 기능을 갖는다. 보다 상세하게는, 선택부(270)는, 재생될 VR 콘텐츠의 바탕으로 되는 콘텐츠 구성 정보를, 어느 센서 장치에 의한 센싱 결과에 기초하여 생성된 콘텐츠 구성 정보로 할지를 선택한다. 시점의 선택은, 예를 들어 콘텐츠 ID의 선택에 의하여 행해진다. 선택부(270)는, 선택 결과를 나타내는 정보(예를 들어 콘텐츠 ID)를 기록 장치(10)에 송신하여, 수신할 콘텐츠 구성 정보를 전환해도 된다.

<2.3.2. 공간 인터랙션>

(1) 제1 공간 인터랙션

제1 공간 인터랙션은, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트와 유저의 인터랙션에 관한 것이다. 본 인터랙션에 대해서는, 도 3을 참조하여 상기 설명한 바와 같다. 상세하게는, 재생 장치(20)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트(스테이지(16) 또는 공연자(18))와, 유저가 조작하는 조작체(41)가 충돌한 경우에, 충돌에 대응하는 촉각 피드백을 컨트롤러(22)에 의하여 출력시킨다. 이와 같은 인터랙션에 관한 처리의 흐름을 도 8을 참조하여 설명한다.

도 8은, 본 실시 형태에 따른 재생 장치(20)에 의하여 실행되는 제1 공간 인터랙션 처리의 흐름의 일례를 도시하는 흐름도이다. 도 8에 도시한 바와 같이 먼저, 수신부(210)는 선택 중인 시점에 대응하는 콘텐츠 구성 정보를 수신한다(스텝 S202). 다음으로, 콘텐츠 구성 정보 해석부(220)는 콘텐츠 구성 정보로부터 VR용 화상 정보 및 공간 인터랙션 구성 정보를 추출한다(스텝 S204). 다음에, 타이밍 동기부(230)는, 촬상 화상과 표면 모델의 타이밍 동기를 확립하고, 좌표 변환부(240)는, 촬상 화상과 표면 모델의 좌표계의 동기를 확립한다(스텝 S206). 다음으로, 출력 제어부(260)는 가상 공간에 촬상 화상을 배치한다(스텝 S208).

다음에, 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상에 대하여, 컬라이더 및 물리 계수를 대응지은 표면 모델을 겹쳐서 배치한다(스텝 S210). 다음으로, 가상 오브젝트 제어부(250)는 컨트롤러(22)의 위치 및 자세에 기초하여, 가상 공간에 있어서의 조작체(41)의 위치 및 자세를 제어한다(스텝 S212). 다음에, 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트와 조작체(41)의 충돌 유무를 판정한다(스텝 S214). 상세하게는, 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상에 겹쳐진 표면 모델에 대응지어진 컬라이더와, 조작체(41)에 대응지어진 컬라이더의 충돌 유무를 판정한다. 충돌하지 않았다고 판정된 경우(스텝 S216/아니오), 처리는 다시 스텝 S202로 되돌아간다. 충돌하였다고 판정된 경우(스텝 S216/예), 출력 제어부(260)는, 충돌에 따른 피드백을 출력한다(스텝 S218). 상세하게는, 출력 제어부(260)는, 표면 모델에 대응지어진 물리 계수 및 피드백 설정 정보에 기초하여 유저에 대한 시각/촉각/청각/후각 피드백의 출력을 제어한다. 그 후, 처리는 다시 스텝 S202로 되돌아간다.

(2) 제2 공간 인터랙션

제2 공간 인터랙션은, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트와 조작체(41) 이외의 가상 오브젝트의 인터랙션에 관한 것이다. 본 인터랙션에 관하여 도 9를 참조하여 상세히 설명한다.

도 9는, 본 실시 형태에 따른 제2 공간 인터랙션의 일례를 설명하기 위한 도면이다. 도 9에 도시한 VR 콘텐츠(40)에서는, 가상 공간에, 도 2에 도시한 스테이지(16) 상의 공연자(18)를 포함하는 촬상 화상이 배치되어 있고, 또한 촬상 화상 내의 스테이지(16) 및 공연자(18)의 각각에 표면 모델이 대응지어져 있다. 유저는 컨트롤러(22)를 통하여, 가상 공간에 있어서 가상 오브젝트인 볼(43)의 위치에 조작체(41)를 대어서 쥐고, 그 후 던지는 조작을 행할 수 있다. 쥐는 조작이 행해지면, 볼(43)이 조작체(41)의 자 오브젝트로 되고 조작체(41)가 볼(43)의 모 오브젝트로 된다. 자 오브젝트는 모 오브젝트에 연동하여 움직인다. 던지는 조작이 행해지면, 자모 관계가 해제되어 자 오브젝트는 물리 연산의 결과에 따라 공중을 이동한다. 유저가 볼(43)을 쥐고 공연자(18)에게 던지면, 볼(43)이 공연자(18)에 충돌하여 튕겨난다. 그때의 시각 피드백으로서, 충돌하였음을 나타내는 아이콘(44)이 표시된다. 또한 공연자(18)로부터 튕긴 볼(43)이 스테이지(16)에 충돌하여 구른다. 그때, 출력 제어부(260)는 스테이지(16) 상에 볼(43)의 그림자를 표시하거나, 구르는 소리를 출력하거나 해도 된다. 이와 같은 인터랙션에 관한 처리의 흐름을 도 10a 및 도 10b를 참조하여 설명한다.

도 10a 및 도 10b는, 본 실시 형태에 따른 재생 장치(20)에 의하여 실행되는 제2 공간 인터랙션 처리의 흐름의 일례를 도시하는 흐름도이다. 도 10a에 도시한 스텝 S302 내지 S312에 따른 처리는, 도 8에 도시한 스텝 S202 내지 S212에 따른 처리와 마찬가지이다. 그 후, 가상 오브젝트 제어부(250)는, 볼(43)과 조작체(41)의 충돌 유무, 및 쥐는 조작의 유무를 판정한다(스텝 S314). 상세하게는, 가상 오브젝트 제어부(250)는, 볼(43)에 대응지어진 컬라이더와 조작체(41)에 대응지어진 컬라이더의 충돌 유무를 판정하여, 쥐는 조작이 입력되었는지 여부를 판정한다. 충돌하지 않았거나 또는 쥐는 조작이 행해지지 않았다고 판정된 경우(스텝 S316/아니오), 처리는 다시 스텝 S302로 되돌아간다.

충돌하고 또한 쥐는 조작이 행해졌다고 판정된 경우(스텝 S316/예), 도 10b에 도시한 바와 같이, 가상 오브젝트 제어부(250)는 볼(43)을 조작체(41)의 자 오브젝트로 하고, 출력 제어부(260)는, 볼(43)이 조작체(41)에 부수되어 이동하는 모습을 표시한다(스텝 S318). 다음에, 가상 오브젝트 제어부(250)는, 볼(43)을 던지는 조작이 행해졌는지 여부를 판정한다(스텝 S320). 던지는 조작이 행해지지 않았다고 판정된 경우(스텝 S320/아니오), 처리는 다시 스텝 S318로 되돌아간다. 던지는 조작이 행해졌다고 판정된 경우(스텝 S320/예), 출력 제어부(260)는, 가상 오브젝트 제어부(250)에 의한 물리 연산의 결과에 기초하여, 던져진 볼(43)의 공중 이동을 표시한다(스텝 S322). 다음으로, 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트(스테이지(16) 또는 공연자(18))와 볼(43)의 충돌 유무를 판정한다(스텝 S324). 충돌하지 않았다고 판정된 경우(스텝 S326/아니오), 처리는 다시 스텝 S322로 되돌아간다.

충돌하였다고 판정된 경우(스텝 S326/예), 출력 제어부(260)는, 가상 오브젝트 제어부(250)에 의한 물리 연산의 결과에 기초하여, 볼(43)이 구르는 모습을 표시한다(스텝 S328). 예를 들어 가상 오브젝트 제어부(250)는, 충돌하였다고 판정된 컬라이더에 대응하는 점의 속성 정보에 기초하여 물리 연산을 행하고, 출력 제어부(260)는 물리 연산의 결과에 기초하여, 볼(43)이 구르는 궤적을 표시한다. 그때, 출력 제어부(260)는, 표면 모델에 대응지어진 물리 계수 및 피드백 설정 정보에 기초하여 유저에 대한 시각/촉각/청각/후각 피드백의 출력을 제어해도 된다. 예를 들어 출력 제어부(260)는, 충돌하였음을 나타내는 아이콘을 표시하고, 볼의 그림자를 표시하고, 볼이 구르는 소리를 재생한다. 그 후, 처리는 다시 스텝 S302로 되돌아간다.

<2.3.3. 시점 전환>

선택부(270)는, 가상 공간에 있어서의 유저 위치에 대응하는 콘텐츠 구성 정보를, 수신부(210)가 취득해야 할 콘텐츠 구성 정보로서 선택한다. 즉, 선택부(270)는, 가상 공간에 있어서의 유저 위치에 따라, 재생될 VR 콘텐츠를 전환한다. 선택부(270)는 시점 전환 오브젝트에 기초하여 시점 전환을 실시한다. 이하, 이 점에 대하여 상세히 설명한다.

가상 오브젝트 제어부(250)는 시점 전환 오브젝트 정보에 기초하여 가상 공간에 시점 전환 오브젝트를 설정한다. 상세하게는, 가상 오브젝트 제어부(250)는, 시점 전환 오브젝트 정보에 있어서 지정된 3차원 위치에 시점 전환 오브젝트를 배치하고, 당해 시점 전환 오브젝트에 컬라이더, 콘텐츠 ID 및 시점 전환 위치를 대응짓는다. 이 콘텐츠 ID는, 당해 시점 전환 오브젝트에 기초하는 시점의 전환이 행해지는 경우의, 전환처의 VR 콘텐츠의 콘텐츠 ID이다. 시점 전환 위치는, 가상 공간에 있어서의 소정의 위치이며, 시점 이동 설정 정보로서 설정될 수 있다. 또한 시점 전환 오브젝트는, 전형적으로는 비표시이다.

가상 오브젝트 제어부(250)는, 유저의 시선과 시점 전환 오브젝트의 충돌을 검출한다. 상세하게는, 가상 오브젝트 제어부(250)는, 시점 전환 오브젝트에 대응지어진 컬라이더에 기초하여 충돌을 검출한다. 여기서의 유저의 시선은, 눈의 축 방향이어도 되고 얼굴의 배향이어도 된다. 전자의 경우, 가상 오브젝트 제어부(250)는, 유저의 눈의 촬상 화상의 화상 인식 결과에 기초하여 유저의 시선을 인식한다. 후자의 경우, 가상 오브젝트 제어부(250)는, 위치 자세 검출부(202)에 의한 검출 결과에 기초하여 유저의 시선을 인식한다.

출력 제어부(260)는, 유저의 시선과 시점 전환 오브젝트의 충돌이 검출된 경우, 유저 위치를 이동시킨다. 상세하게는, 출력 제어부(260)는, 가상 공간에 있어서의 유저 위치를, 당해 시점 전환 오브젝트에 대응지어진 시점 전환 위치까지 연속적으로 이동시킨다. 이 연속적인 유저 위치의 이동은, 시점 전환 위치에 대응하는 배율로 되기까지 가상 공간 내에 배치된 촬상 화상을 줌 인/줌 아웃함으로써 행해진다. 또한 시점 전환 위치까지의 유저 위치의 이동은, 스윙 등의 유저 조작에 기초하여 행해져도 된다.

그리고 선택부(270)는, 가상 공간에 있어서의 유저 위치가 시점 전환 위치에 도달하였음을 트리거로 하여, 선택하는 콘텐츠 구성 정보를 전환한다. 상세하게는, 선택부(270)는, 가상 공간 내에 배치된 촬상 화상의 줌 인/줌 아웃의 배율이 소정의 배율로 된 경우에, 선택하는 콘텐츠 구성 정보를 전환한다. 선택부(270)는, 도달한 시점 전환 위치에 대응하는 시점 전환 오브젝트에 대응지어진 콘텐츠 ID를 전환처의 VR 콘텐츠의 콘텐츠 ID로서 선택한다. 즉, 선택부(270)는, 도달한 시점 전환 위치에 대응하는 시점 전환 오브젝트에 대응지어진 콘텐츠 ID의 콘텐츠 구성 정보를, 재생할 VR 콘텐츠를 생성하기 위한 바탕으로 되는 콘텐츠 구성 정보로서 선택한다.

시점 전환 위치는, 전환처의 콘텐츠 구성 정보의 바탕으로 되는 촬상 화상을 촬상한 촬상 장치(즉, VR 카메라(101))의 위치에 상당하는 가상 공간 내의 위치인 것이 바람직하다. 상세하게는, 가상 공간에 있어서의 시점 전환 위치가, 전환처의 콘텐츠 구성 정보의 바탕으로 된 촬상 화상을 촬상한 VR 카메라(101)의 위치를 가상 공간에 매핑하였을 때의 위치와 일치하거나, 또는 소정 거리 이내인 것이 바람직하다. 이 경우, 전환 전후에 가상 공간에 배치된 촬상 화상 내의 실 오브젝트까지의 거리가 동일해지므로, 전환 전후에 당해 실 오브젝트의 스케일감은 동일해진다. 이것에 의하여, 시점 전환 시에 순간적으로 시점이 이동한 것 같은 위화감을 유저에게 주는 것을 방지할 수 있다.

시점 전환 오브젝트에 기초하는 시점 전환에 대하여, 도 11을 참조하여 상세히 설명한다.

도 11은, 본 실시 형태에 따른 시점 전환 오브젝트에 기초하는 시점 전환을 설명하기 위한 도면이다. 도 11에 도시한 바와 같이, VR 콘텐츠 #1이, 선택 중인 시점의 VR 콘텐츠인 것으로 한다. 즉, 재생 장치(20)는 VR 콘텐츠 #1을 재생하고 있는 것으로 한다. VR 콘텐츠 #1에는, VR 콘텐츠 #2-1, #2-2, #2-3의 각각이 대응지어진 시점 전환 오브젝트가 배치되어 있다. 또한 VR 콘텐츠에 붙여진 「#」 바로 뒤의 숫자는, 선택된 시점의 레이어를 나타내며, 「-」 뒤의 숫자는, 동 레이어에 있어서의 인덱스이다. VR 콘텐츠 #2-1에 대응지어진 시점 전환 오브젝트에 기초하는 시점 전환이 행해지면, 재생 장치(20)는 VR 콘텐츠 #2-1을 재생한다. VR 콘텐츠 #2-2에 대응지어진 시점 전환 오브젝트에 기초하는 시점 전환이 행해지면, 재생 장치(20)는 VR 콘텐츠 #2-2를 재생한다. VR 콘텐츠 #2-3에 대응지어진 시점 전환 오브젝트에 기초하는 시점 전환이 행해지면, 재생 장치(20)는 VR 콘텐츠 #2-3을 재생한다. 그 후에도 마찬가지로 시점의 전환이 행해진다.

·구체예

이하, 시점의 전환의 구체예에 대하여 도 12 내지 도 15를 참조하여 구체적으로 설명한다.

도 12는, 본 실시 형태에 따른 유저 위치의 이동 및 전환의 일례를 설명하기 위한 도면이다. 도 12에서는, 재생 장치(20)에 의하여 실행되는 유저 위치의 이동 궤적 및 시점의 전환의 모습, 그리고 유저의 시선을 기록 대상 공간에 매핑한 모습이 도시되어 있다. 도 12에 도시한 바와 같이, 공연자(18)가 있는 스테이지(16) 상에 제1 센서 장치(11)가 배치되고, 관객석(17) 중 스테이지(16)의 가까이에 제2 센서 장치(12A)가 배치되고, 스테이지(16)로부터 가장 먼 곳에 제2 센서 장치(12B)가 배치되어 있다.

도 13은, 도 12에서 도시한 배치의 센서 장치에 의하여 촬상된 촬상 화상을 이용한 VR 콘텐츠의 시점 전환의 일례를 도시하는 도면이다. VR 콘텐츠(40B)는, 제2 센서 장치(12B)에 의하여 촬상된 촬상 화상이 가상 공간 내에 배치된 VR 콘텐츠이다. 가상 오브젝트 제어부(250)는, VR 콘텐츠(40B)에 있어서, 공연자(18)를 포함하는 3차원 위치 및 크기의 시점 전환 오브젝트(45B)를 배치하고, 제2 센서 장치(12A)의 식별 정보를 콘텐츠 ID로서 대응지은 것으로 한다. 유저의 시선이 시점 전환 오브젝트(45B)에 충돌하고, 또한 유저 위치가 시점 전환 위치까지 이동한 경우, 선택부(270)는, 시점 전환 오브젝트(45B)에 대응지어진 콘텐츠 ID에 기초하는 시점의 선택을 행한다. 상세하게는, 선택부(270)는, 제2 센서 장치(12A)에 의한 센싱 결과에 기초하여 생성된 콘텐츠 구성 정보를, 재생될 VR 콘텐츠의 바탕으로 되는 콘텐츠 구성 정보로서 선택한다. 그 결과, 출력 제어부(260)는, 제2 센서 장치(12A)에 의하여 촬상된 촬상 화상이 가상 공간 내에 배치된 VR 콘텐츠(40A)로 표시를 전환한다.

여기서, 가상 공간에 있어서의 시점 전환 위치는, 실 공간에 있어서의 제2 센서 장치(12A)의 위치에 상당하는 위치와 일치하는 것이 바람직하다. 이 경우, 선택부(270)는, 가상 공간에 있어서의 유저 위치가, 실 공간에 있어서의 제2 센서 장치(12A)의 위치에 상당하는 위치에 도달하였을 때, VR 콘텐츠(40A)로의 전환을 행한다. 이것에 의하여 전환 전후에 공연자(18)까지의 거리가 동일해지므로, 전환 전후에 공연자(18)의 스케일감은 동일해진다. 따라서 시점 전환 시, 순간적으로 시점이 이동한 것 같은 위화감을 유저에게 주는 것을 방지할 수 있다.

가상 오브젝트 제어부(250)는, VR 콘텐츠(40A)에 있어서, 공연자(18)를 포함하는 3차원 위치 및 크기의 시점 전환 오브젝트(45A)를 배치하고, 제1 센서 장치(11)의 식별 정보를 콘텐츠 ID로서 대응지은 것으로 한다. 유저의 시선이 시점 전환 오브젝트(45A)에 충돌하고, 또한 유저 위치가 시점 전환 위치까지 이동한 경우, 선택부(270)는, 시점 전환 오브젝트(45A)에 대응지어진 콘텐츠 ID에 기초하는 시점의 선택을 행한다. 상세하게는, 선택부(270)는, 제1 센서 장치(11)에 의한 센싱 결과에 기초하여 생성된 콘텐츠 구성 정보를, 재생될 VR 콘텐츠의 바탕으로 되는 콘텐츠 구성 정보로서 선택한다. 그 결과, 출력 제어부(260)는, 제1 센서 장치(11)에 의하여 촬상된 촬상 화상이 가상 공간 내에 배치된 VR 콘텐츠로 표시를 전환한다.

여기서, 가상 공간에 있어서의 시점 전환 위치는, 실 공간에 있어서의 제1 센서 장치(11)의 위치에 상당하는 위치와 일치하는 것이 바람직하다. 이 경우, 선택부(270)는, 가상 공간에 있어서의 유저 위치가, 실 공간에 있어서의 제1 센서 장치(11)의 위치에 상당하는 위치에 도달하였을 때, 제1 센서 장치(11)에 의하여 촬상된 촬상 화상이 가상 공간 내에 배치된 VR 콘텐츠로의 전환을 행한다. 이것에 의하여, 전환 전후에 공연자(18)까지의 거리가 동일해지므로, 전환 전후에 공연자(18)의 스케일감은 동일해진다. 따라서 시점 전환에 기인하는 위화감을 유저에게 주는 것을 방지할 수 있다.

이와 같이 유저 위치의 이동에 수반하여 시점의 전환을 반복함으로써, 기록 대상 공간 내를 연속적으로 이동하고 있는 것 같은 체험을 유저에게 제공하는 것이 가능해진다. 또한 시점 전환 위치와 VR 카메라(101)의 위치를 일치시킴으로써, 시점 전환에 기인하는 위화감을 유저에게 주는 것을 방지하여 유저 체험의 열화를 방지하는 것이 가능해진다.

·보충

도 14는, 본 실시 형태에 따른 유저 위치의 이동 및 시점의 전환의 일례를 설명하기 위한 도면이다. 도 14에서는, 재생 장치(20)에 의하여 실행되는 유저 위치의 이동 궤적 및 시점의 전환의 모습, 그리고 유저의 시선을 기록 대상 공간에 매핑한 모습이 도시되어 있다. 도 14에 도시한 바와 같이, 공연자(18)가 스테이지(16) 상에 있고, 관객석(17)에 제2 센서 장치(12A 내지 12D)가 배치되어 있다.

도 14에 도시한 예에서는, 제2 센서 장치(12D)를 시점으로 하는 VR 콘텐츠에 있어서, 시점 전환 위치가 제2 센서 장치(12C)의 위치로 설정된다. 그리고 시점 전환 위치인 제2 센서 장치(12C)의 위치의 유저의 이동에 수반하여, 제2 센서 장치(12C)를 시점으로 하는 VR 콘텐츠로의 전환이 행해진다. 마찬가지로, 제2 센서 장치(12B)를 시점으로 하는 VR 콘텐츠로의 전환, 제2 센서 장치(12A)를 시점으로 하는 VR 콘텐츠로의 전환이 행해진다. 유저 위치의 이동 궤적은 각각의 시점 사이에서 직선인 것이 바람직한 한편, 도 14에 도시한 바와 같이 복수의 시점 사이의 이동 궤적끼리는 직선적이지 않아도 된다.

도 15는, 본 실시 형태에 따른 유저 위치의 이동 및 시점의 전환의 일례를 설명하기 위한 도면이다. 도 15에서는, 재생 장치(20)에 의하여 실행되는 유저 위치의 이동 궤적 및 시점의 전환의 모습, 그리고 유저의 시선을 기록 대상 공간에 매핑한 모습이 도시되어 있다. 도 15에 도시한 바와 같이, 공연자(18)가 스테이지(16) 상에 있고, 관객석(17)에 제2 센서 장치(12A 및 12B)가 배치되어 있다. 도 15에서는, 도 13에 도시한 예와 마찬가지로 공연자(18)를 포함하도록 시점 전환 오브젝트가 배치되는 것으로 한다.

재생 장치(20)는, 제2 센서 장치(12A)를 시점으로 하는 VR 콘텐츠를 재생하고 있던 것으로 한다. 그리고 도 15에 도시한 바와 같이, 유저가 공연자(18)에게 시선을 향하게 하면서 유저 위치가 후방으로 이동한 것으로 한다. 또한 유저 위치의 후방으로의 이동은, 제2 센서 장치(12A)를 시점으로 하는 VR 콘텐츠에 있어서, 가상 공간 내에 배치된 촬상 화상을 줌 아웃함으로써 실현된다. 유저 위치가 시점 전환 위치(19)로 이동하면, 제2 센서 장치(12A)를 시점으로 하는 VR 콘텐츠로부터, 제2 센서 장치(12B)를 시점으로 하는 VR 콘텐츠로의 전환이 실시된다. 이 경우, 시점 전환 위치(19)로부터 제2 센서 장치(12A)의 위치까지 시점이 순간적으로 이동한 것 같은 위화감을 유저에게 줄 수도 있다.

그래서 시점 전환 위치는, 가상 공간에 표시된 촬상 화상 내의 소정의 실 오브젝트까지의 거리가, 전환처의 콘텐츠 구성 정보의 바탕으로 되는 촬상 화상을 촬상한 촬상 장치(즉, VR 카메라(101))의 위치에 상당하는 가상 공간 내의 위치와 동등한 것이 바람직하다. 도 15에 도시한 예에서는, 시점 전환 위치(19)와 제2 센서 장치(12B)의 위치는, 공연자(18)까지의 거리가 동등한 것이 바람직하다. 또한 동등하다는 것은, 동일 또는 그 차가 소정 범위 내인 것을 의미한다. 이 경우, 전환 전후에 공연자(18)의 스케일감은 동등해진다. 그 때문에, 유저에게 주는 위화감을 경감할 수 있다.

또한 시점 전환 위치(19)와 제2 센서 장치(12B)의 위치는, 공연자(18)와의 각도가 다르므로, 이동 전후에 공연자(18)를 보는 각도가 바뀌어 버려 유저에게 위화감을 줄 수도 있다. 그래서 출력 제어부(260)는, 가상 오브젝트 제어부(250)에 의한 VR 콘텐츠의 전환 후, 가상 공간 내에 표시된 촬상 화상 내의 소정의 실 오브젝트가 상기 유저의 시선과 충돌하도록 가상 공간에 촬상 화상을 배치해도 된다. 구체적으로는, 출력 제어부(260)는 시점 전환 시에 유저의 시선 상에(예를 들어 유저의 얼굴의 정면에) 공연자(18)가 위치하도록 시계를 회전시킨다. 이것에 의하여 전환 전후에 유저가 공연자(18)를 보는 각도가 바뀌지 않게 되므로, 유저에게 주는 위화감을 경감할 수 있다. 또한 이동 후의 시계의 회전량은 시점 이동 설정 정보로서 설정될 수 있다.

·처리의 흐름

계속해서, 도 16을 참조하여 시점 전환 처리의 흐름의 일례를 설명한다.

도 16은, 본 실시 형태에 따른 재생 장치(20)에 의하여 실행되는 시점 전환 처리의 흐름의 일례를 도시하는 흐름도이다. 또한 도 16에 도시한 흐름도에 기초하는 처리에서는, 시점 전환에 관여하는 처리 이외에 대해서는 생략되어 있다.

도 16에 도시한 바와 같이 먼저, 수신부(210)는, 선택 중인 시점에 대응하는 콘텐츠 구성 정보를 수신한다(스텝 S402). 다음으로, 콘텐츠 구성 정보 해석부(220)는 콘텐츠 구성 정보로부터 VR용 화상 정보 및 공간 인터랙션 구성 정보를 추출한다(스텝 S404). 다음으로, 출력 제어부(260)는 가상 공간에 촬상 화상을 배치한다(스텝 S406). 다음에, 가상 오브젝트 제어부(250)는 시점 전환 오브젝트 정보에 기초하여 가상 공간에 시점 전환 오브젝트를 배치한다(스텝 S408).

다음으로, 가상 오브젝트 제어부(250)는, 유저의 시선이 시점 전환 오브젝트에 충돌하는지 여부를 판정한다(스텝 S410). 충돌하지 않는다고 판정된 경우(스텝 S410/예), 처리는 다시 스텝 S402로 되돌아간다. 충돌한다고 판정된 경우(스텝 S410/예), 출력 제어부(260)는 유저 위치의 이동에 따라, 가상 공간 내에 배치된 촬상 화상을 줌 인/줌 아웃한다(스텝 S412). 다음에, 가상 오브젝트 제어부(250)는, 시점 전환 위치까지 유저 위치가 이동하였는지의 여부를 판정한다(스텝 S414). 이동하지 않았다고 판정된 경우(스텝 S414/아니오), 처리는 다시 스텝 S402로 되돌아간다. 이동하였다고 판정된 경우(스텝 S414/예), 선택부(270)는, 시점 전환 오브젝트에 대응지어진 콘텐츠 ID를 선택한다(스텝 S416). 이것에 의하여, 스텝 S402에 있어서 수신되는 콘텐츠 구성 정보가, 새로이 선택된 콘텐츠 ID의 콘텐츠 구성 정보로 전환되어, 시점의 전환이 실현된다. 그 후, 처리는 다시 스텝 S402로 되돌아간다.

≪3. 제2 실시 형태≫

제2 실시 형태는, 가상 공간 내에 배치된 촬상 화상 내의 트래킹 대상물에 당해 트래킹 대상물의 3차원 위치 정보를 대응지음으로써, 가상 공간 내에 배치된 촬상 화상 내의 트래킹 대상물이 관여하는 공간 인터랙션을 실현하는 형태이다. 제1 실시 형태에서는, 실 오브젝트의 표면 전체에 대하여 3차원 위치 정보가 대응지어져 있던 것에 비하여, 제2 실시 형태에서는, 실 오브젝트 중 트래킹 대상물의 3차원 위치에 대응하는 1점에 3차원 위치 정보가 대응지어진다. 예를 들어 실 오브젝트 중 트래킹 대상물의 3차원 위치에 대응하는 1점에 대응지어지는 3차원 위치 정보는, 트래커에 대응하는 실 오브젝트의 3차원 위치에 대응하는 소정의 좌표계의 특정 좌표이다.

<3.1. 개요>

(1) 기록 장치의 개요

도 17은, 본 실시 형태에 따른 기록 장치(10)의 기록 장치의 개요를 설명하기 위한 도면이다. 도 17에서는, 기록 장치(10)에 의한 정보의 기록 대상으로 되는 공간의 일례가 도시되어 있다. 도 17에 도시한 바와 같이 본 공간에서는, 관객석(17)에 있는 많은 관객 앞에서, 스테이지(16) 상에서 트래커(14)를 장착한 공연자(18)가 노래하고 있다. 본 공간에는, 기록 장치(10)에 의한 기록에 관여하는 장치로서 제3 센서 장치(13)가 설치되어 있다. 또한 본 공간에는 모니터(15)도 배치되어 있다.

·제3 센서 장치(13)

제3 센서 장치(13)는, 실 공간을 센싱하는 장치이다. 제3 센서 장치(13)는 촬상 장치를 구비한다. 촬상 장치에 대해서는, 제1 센서 장치(11)에 관하여 상기 설명한 바와 같다.

또한, 제3 센서 장치(13)는, 실 공간에 있어서의 트래킹 대상물의 위치 및 자세를 검출하는 트래커 센서를 구비한다. 예를 들어 트래커 센서는, 공연자(18)가 손목에 장착하고 있는 트래커(14)를 트래킹 대상물로 하여 트래커(14)의 위치 및 자세를 검출한다. 트래커 센서에 의한 트래킹에는 광학식, 레이저식, 또는 자기식의 임의의 트래킹 기술이 이용될 수 있다.

·모니터(15)

모니터(15)에 대해서는, 제1 실시 형태에 있어서 상기 설명한 바와 같다.

기록 장치(10)는, 제3 센서 장치(13)에 의한 센싱 결과에 기초하여, 재생 장치(20)측에서 VR 콘텐츠를 구성하기 위한 각종 정보를 포함하는 콘텐츠 구성 정보를 생성한다. 그리고 기록 장치(10)는, 생성한 콘텐츠 구성 정보를 재생 장치(20)에 송신한다.

(2) 재생 장치의 개요

도 18은, 본 실시 형태에 따른 재생 장치(20)의 개요를 설명하기 위한 도면이다. 도 18에서는, 재생 장치(20)에 의한 VR 콘텐츠의 재생에 관여하는 장치로서 HMD(21) 및 컨트롤러(22)가 도시되어 있다. HMD(21) 및 컨트롤러(22)에 대해서는, 제1 실시 형태에 있어서 상기 설명한 바와 같다.

재생 장치(20)는, 기록 장치(10)로부터 수신한 콘텐츠 구성 정보에 기초하여 VR 콘텐츠를 생성한다. 본 실시 형태에 따른 VR 콘텐츠에서는, 가상 오브젝트의 하나로서, 실 공간을 촬상한 촬상 화상이 가상 공간 내에 배치된다. 또한 본 실시 형태에 따른 VR 콘텐츠에서는, 가상 공간 내에 배치된 촬상 화상 내의 트래커(14)에, 당해 트래커(14)의 3차원 위치를 나타내는 3차원 위치 정보가 대응지어진다. 이것에 의하여, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트인 트래커(14)의 공간 인터랙션을 실현하는 것이 가능해진다. 이하, 이 점에 대하여 상세히 설명한다.

도 18에 도시한 바와 같이 HMD(21)는, 재생 장치(20)에 의하여 생성된 VR 콘텐츠(40)를 표시한다. VR 콘텐츠(40)에서는, 가상 공간에, 도 17에 도시한 스테이지(16) 상에서 트래커(14)를 장착한 공연자(18)를 포함하는 촬상 화상이 배치되어 있고, 또한 촬상 화상 내의 트래커(14)에 3차원 위치 정보가 대응지어져 있다.

유저가 컨트롤러(22)를 조작하면, 실 공간에 있어서의 컨트롤러(22)의 위치 및 자세에 따라 가상 공간에 있어서의 조작체(41)의 위치 및 자세가 변화된다. 조작체(41)는, 가상 공간에 있어서의 유저의 조작 위치를 나타내는 가상 오브젝트이다. 재생 장치(20)는, 가상 공간에 있어서의 조작체(41)의 위치와, 트래커(14)에 대응지어진 3차원 위치 정보에 기초하여, 가상 공간에 있어서의 조작체(41)과 트래커(14)의 충돌을 판정한다. 그리고 재생 장치(20)는, 충돌하였다고 판정한 경우에는, 충돌에 대응하는 촉각 피드백을 컨트롤러(22)에 출력시킨다.

이와 같이 본 실시 형태에 따른 콘텐츠 배신 시스템(1)에 따르면, 가상 공간 내에 배치된 촬상 화상 내의 실 오브젝트인 트래킹 대상물이 관여하는 공간 인터랙션을 실현하는 것이 가능해진다.

<3.2. 기록 장치측의 기술적 특징>

<3.2.1. 기록 장치의 기능 구성예>

도 19는, 본 실시 형태에 따른 기록 장치(10)의 기능 구성의 일례를 도시하는 블록도이다. 도 19에 도시한 바와 같이 기록 장치(10)는 화상 취득부(110), 스트리밍 처리부(120), 트래커 위치 취득부(170), 콘텐츠 구성 정보 생성부(150) 및 송신부(160)를 포함한다.

또한 도 19에서는, 제3 센서 장치(13)의 기능 구성의 일례도 도시되어 있다. 도 19에 도시한 바와 같이 제3 센서 장치(13)는 VR 카메라(101) 및 트래커 센서(103)를 포함한다.

이하, 이들 구성 요소에 대하여 설명한다. 단, 제1 실시 형태에 있어서 설명한 구성 요소에 대해서는, 제1 실시 형태와 마찬가지의 점에 대해서는 설명을 생략하며, 제1 실시 형태와 다른 점에 대하여 설명한다.

(1) 제3 센서 장치(13)

VR 카메라(101)에 대해서는 제1 실시 형태에 있어서, 트래커 센서(103)에 대해서는 도 17을 참조하면서 상기 설명한 바와 같다.

(2) 기록 장치(10)

(화상 취득부(110))

화상 취득부(110)에 대해서는, 제1 실시 형태에 있어서 상기 설명한 바와 같다.

(스트리밍 처리부(120))

스트리밍 처리부(120)에 대해서는, 제1 실시 형태에 있어서 상기 설명한 바와 같다.

(트래커 위치 취득부(170))

트래커 위치 취득부(170)는, 제3 센서 장치(13)에 포함되는 트래커 센서(103)로부터, 실 공간의 트래커(14)의 위치를 나타내는 3차원 위치 정보를 취득하는 기능을 갖는다. 여기서의 3차원 위치 정보란, 트래커 센서(103)의 위치에 기초하여 설정되는 원점과, 트래커 센서(103)의 자세에 기초하여 설정되는 좌표축에 의하여 정의되는, 트래커 센서(103)의 좌표계에 있어서의 위치를 나타내는 정보이다. 트래커(14)의 3차원 위치 정보는, 트래커(14)의 1점의 3차원 위치 정보(피사체 3차원 위치 정보에 상당)이다. 트래커 위치 취득부(170)는, 취득한 트래커(14)의 3차원 위치 정보를 콘텐츠 구성 정보 생성부(150)에 출력한다.

(콘텐츠 구성 정보 생성부(150))

콘텐츠 구성 정보 생성부(150)에 대해서는, 제1 실시 형태에 있어서 행한 상기 설명의 표면 모델을 트래커(14)의 3차원 위치 정보로 등치시키면 된다.

(송신부(160))

송신부(160)에 대해서는, 제1 실시 형태에 있어서 상기 설명한 바와 같다.

<3.2.2. 콘텐츠 구성 정보의 포맷>

도 20은, 본 실시 형태에 따른 콘텐츠 구성 정보의 포맷의 일례를 도시하는 도면이다. 도 20에 도시한 바와 같이 콘텐츠 구성 정보는 VR용 화상 정보 및 공간 인터랙션 구성 정보를 포함한다. 도 20에서는, 프레임 번호가 1 내지 n인 프레임의 화상 및 트래커(14)의 3차원 위치 정보를 컨테이너화한, 콘텐츠 구성 정보의 포맷이 도시되어 있다.

·VR용 화상 정보

VR용 화상 정보에 대해서는, 제1 실시 형태에 있어서 상기 설명한 바와 같다.

·공간 인터랙션 구성 정보

공간 인터랙션 구성 정보는, 프레임별 트래커(14)의 3차원 위치 정보, 트래커(14)의 위치 자세 정보의 속성 정보 및 프레임 번호를 포함한다. 프레임별 트래커(14)의 3차원 위치 정보는, 프레임별 화상에 있어서의 트래커(14)의 위치를 나타내는 정보이다. 속성 정보란, 반발 계수, 마찰 계수 및 법선 방향 등의, 공간 인터랙션을 위한 물리 계수를 포함하는 정보이다. 프레임 번호는, 트래커(14)의 3차원 위치 정보의 검출 시각에 대응하는 정보이며, 가상 공간 관련짓기 정보에 상당한다. 어떤 시각에 촬상된 촬상 화상의 프레임 번호와 동일 시각에 검출된 트래커(14)의 3차원 위치 정보의 프레임 번호는 일치하는 것이 바람직하다. 이것에 의하여 촬상 화상과 트래커(14)의 3차원 위치 정보의 타이밍 동기를 확립하는 것이 용이해진다.

공간 인터랙션 구성 정보는 메타데이터를 포함한다. 메타데이터는 콘텐츠 ID, 시점 전환 오브젝트 정보, 센서 장치 위치 자세 정보 및 피드백 설정 정보를 포함한다. 콘텐츠 ID, 시점 전환 오브젝트 정보 및 피드백 설정 정보에 대해서는, 제1 실시 형태에 있어서 상기 설명한 바와 같다.

본 실시 형태에 따른 센서 장치 위치 자세 정보란, 촬상 화상을 촬상한 촬상 장치의 좌표계, 및 트래커(14)의 3차원 위치 정보를 검출한 센서의 좌표계에 관한 정보이며, 가상 공간 관련짓기 정보에 상당한다. 즉, 본 실시 형태에 따른 센서 장치 위치 자세 정보란, VR 카메라(101)의 좌표계, 및 트래커 센서(103)의 좌표계에 관한 정보이다. 트래커 센서(103)의 좌표계는, 트래커 센서(103)의 위치에 기초하여 설정되는 원점과, 트래커 센서(103)의 자세에 기초하여 설정되는 좌표축에 의하여 정의된다.

센서 장치 위치 자세 정보는, 이들 좌표계를 정의하는 정보인, VR 카메라(101) 및 트래커 센서(103)의 위치 및 자세를 나타내는 정보를 포함하고 있어도 된다. 또한 센서 장치 위치 자세 정보는, VR 카메라(101) 및 트래커 센서(103)의 위치의 차분 및 자세의 차분 등의, 이들 좌표계의 어긋남을 나타내는 정보를 포함하고 있어도 된다. 센서 장치 위치 자세 정보는, 예를 들어 VR 카메라(101) 및 트래커 센서(103)의 설치 상황에 기초하여 수동으로 설정되어도 된다. 또한 센서 장치 위치 자세 정보는, 트래커(14)를 VR 카메라(101)로 촬상하고 또한 트래커 센서(103)로 센싱하였을 때의, 촬상 화상 내의 트래커(14)의 위치 및 자세와, 트래커 센서(103)에 의하여 검출되는 트래커(14)의 위치 및 자세를 비교함으로써 취득되어도 된다.

동일한 제3 센서 장치(13)에 포함되는 VR 카메라(101) 및 트래커 센서(103)이더라도 위치 및 자세에 어긋남이 생길 수 있다. 이 어긋남에 기인하여 재생 장치(20)측에서의 VR 콘텐츠의 구성 시에, 가상 공간 내에 배치된 촬상 화상 내의 트래커(14)의 위치 및 자세와, 당해 트래커(14)에 대응지어지는 트래커(14)의 3차원 위치 정보에 어긋남이 생길 수 있다. 이 점, 센서 장치 위치 자세 정보가 콘텐츠 구성 정보에 포함됨으로써 재생 장치(20)측에서 어긋남을 보정하는 것이 가능해진다.

여기서, 촬상 화상 내에 트래커(14)가 복수 포함되는 경우, 공간 인터랙션 구성 정보는, 트래커(14)의 1점의 3차원 위치 정보, 속성 정보 및 메타데이터의 세트를 트래커(14)별로 포함하고 있어도 된다. 또한 공간 인터랙션 구성 정보는 트래커(14)별로 피드백 설정 정보를 포함하고 있어도 된다. 그 경우, 이들 트래커(14)별 정보에 대해서는 트래커(14)의 식별 정보가 대응지어진다.

또한 프레임 사이에서 트래커(14)의 3차원 위치 정보가 유용되어도 된다. 그 경우, 공간 인터랙션 정보는, 유용될 트래커(14)의 3차원 위치 정보, 및 당해 트래커(14)의 3차원 위치 정보를 유용할 기간을 식별하기 위한 정보를 포함한다. 예를 들어 소정 시간 동안 움직이지 않는 트래커(14)가 있는 경우, 콘텐츠 구성 정보 생성부(150)는, 당해 소정 시간의 개시 프레임에 대응지어 트래커(14)의 3차원 위치 정보를 기록함과 함께, 그 트래커(14)의 3차원 위치 정보를 유용할 시간 정보(예를 들어 당해 소정 시간의 종료 프레임)를 기록한다. 이것에 의하여 전송량을 삭감할 수 있으므로, 전송 지연을 경감하는 것이 가능해진다.

<3.2.3. 기록 처리의 흐름>

도 21은, 본 실시 형태에 따른 기록 장치(10)에 의하여 실행되는 기록 처리의 흐름의 일례를 도시하는 흐름도이다. 도 21에 도시한 바와 같이 먼저, 화상 취득부(110)는 실 공간의 촬상 화상을 취득하고 트래커 위치 취득부(170)는 트래커(14)의 3차원 위치 정보를 취득한다(스텝 S502). 다음으로, 콘텐츠 구성 정보 생성부(150)는, 촬상 화상과 트래커(14)의 3차원 위치 정보에 기초하여 콘텐츠 구성 정보를 생성한다(스텝 S504). 그 후, 송신부(160)는 콘텐츠 구성 정보를 재생 장치(20)에 송신한다(스텝 S506).

<3.3. 재생 장치측의 기술적 특징>

<3.3.1. 재생 장치의 기능 구성예>

본 실시 형태에 따른 재생 장치(20)는, 도 7에 도시한 구성 요소를 마찬가지로 갖는다. 각 구성 요소에 대해서는, 제1 실시 형태에 있어서 한 상기 설명의 제1 센서 장치(11) 및 제2 센서 장치(12)를 제3 센서 장치(13)로, 뎁스 센서(102)를 트래커 센서(103)로, 표면 모델을 트래커(14)의 3차원 위치 정보로, 실 오브젝트를 트래커(14)로 각각 등치시키면 된다. 그 외, 본 실시 형태에 특징적인 점에 대하여 이하에 설명한다.

(출력 제어부(260))

출력 제어부(260)는 트래커(14)의 3차원 위치 정보에 기초하여, 가상 공간 내에 표시되는 촬상 화상 내의 트래커(14)에 가상 오브젝트를 중첩하여 표시한다. 이것에 의하여, 공연자(18)가 움직여 트래커(14)가 움직였다고 하더라도 트래커(14)의 움직임에 가상 오브젝트를 부수시키는 것이 가능해진다.

또한 출력 제어부(260)는, 트래커(14)의 3차원 위치 정보의 정밀도에 기초하여, 트래커(14)에 충첩시키는 가상 오브젝트의 크기 및/또는 선명도를 제어해도 된다. 예를 들어 출력 제어부(260)는, 트래커(14)의 3차원 위치 정보의 정밀도가 나쁜 경우, 가상 오브젝트의 사이즈를 크게 하고, 및/또는 가상 오브젝트를 블러 처리한다. 이것에 의하여, 트래커(14)의 3차원 위치 정보의 정밀도가 나빠서, VR 콘텐츠에 있어서의 트래커(14)와 그에 중첩되는 가상 오브젝트에 어긋남이 생기는 경우이더라도, 그 어긋남을 두드러지지 않게 할 수 있다. 한편, 출력 제어부(260)는, 트래커(14)의 3차원 위치 정보의 정밀도가 좋은 경우, 가상 오브젝트의 사이즈를 작게 하고, 및/또는 가상 오브젝트를 강조해도 된다.

(선택부(270))

선택부(270)는 선택 후보의 시점으로서 제3 센서 장치(13)를 선택할 수 있다. 즉, 선택부(270)는, 재생될 VR 콘텐츠의 바탕으로 되는 콘텐츠 구성 정보로서, 제3 센서 장치(13)에 의한 센싱 결과에 기초하여 생성된 콘텐츠 구성 정보를 선택할 수 있다.

<3.3.2. 공간 인터랙션>

(1) 제1 공간 인터랙션

제1 공간 인터랙션은, 가상 공간 내에 배치된 촬상 화상 내의 트래커(14)와 유저의 인터랙션에 관한 것이다. 본 인터랙션에 대해서는, 도 18을 참조하여 상기 설명한 바와 같다. 상세하게는, 재생 장치(20)는, 가상 공간 내에 배치된 촬상 화상 내의 트래커(14)와 유저가 조작하는 조작체(41)가 충돌한 경우에, 충돌에 대응하는 촉각 피드백을 컨트롤러(22)에 의하여 출력시킨다. 이와 같은 인터랙션에 관한 처리의 흐름을 도 22를 참조하여 설명한다.

도 22는, 본 실시 형태에 따른 재생 장치(20)에 의하여 실행되는 제1 공간 인터랙션 처리의 흐름의 일례를 도시하는 흐름도이다. 도 22에 도시한 바와 같이 먼저, 수신부(210)는 콘텐츠 구성 정보를 수신한다(스텝 S602). 다음으로, 콘텐츠 구성 정보 해석부(220)는 콘텐츠 구성 정보로부터 VR용 화상 정보 및 공간 인터랙션 구성 정보를 추출한다(스텝 S604). 다음에, 타이밍 동기부(230)는, 촬상 화상과 트래커(14)의 3차원 위치 정보의 타이밍 동기를 확립하고, 좌표 변환부(240)는, 촬상 화상과 트래커(14)의 3차원 위치 정보의 좌표계의 동기를 확립한다(스텝 S606). 다음으로, 출력 제어부(260)는 가상 공간에 촬상 화상을 배치한다(스텝 S608).

다음에, 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상 내의 트래커(14)에 물리 계수 및 컬라이더를 대응짓는다(스텝 S610). 다음으로, 가상 오브젝트 제어부(250)는 컨트롤러(22)의 위치 및 자세에 기초하여, 가상 공간에 있어서의 조작체(41)의 위치 및 자세를 제어한다(스텝 S612). 다음에, 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상 내의 트래커(14)와 조작체(41)의 충돌 유무를 판정한다(스텝 S614). 상세하게는, 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상 내의 트래커(14)에 대응지어진 컬라이더와, 조작체(41)에 대응지어진 컬라이더의 충돌 유무를 판정한다. 충돌하지 않았다고 판정된 경우(스텝 S616/아니오), 처리는 다시 스텝 S602로 되돌아간다. 충돌하였다고 판정된 경우(스텝 S616/예), 출력 제어부(260)는 충돌에 따른 피드백을 출력한다(스텝 S618). 상세하게는, 출력 제어부(260)는, 트래커(14)에 대응지어진 물리 계수 및 피드백 설정 정보에 기초하여 유저에 대한 시각/촉각/청각/후각 피드백의 출력을 제어한다. 그 후, 처리는 다시 스텝 S602로 되돌아간다.

(2) 제2 공간 인터랙션

제2 공간 인터랙션은, 가상 공간 내에 배치된 촬상 화상 내의 트래커(14)에 대응지어진 실 오브젝트와 유저의 인터랙션에 관한 것이다. 본 인터랙션에 관하여 도 23을 참조하여 상세히 설명한다.

도 23은, 본 실시 형태에 따른 제2 공간 인터랙션의 일례를 설명하기 위한 도면이다. 도 23에 도시한 VR 콘텐츠(40A)에서는, 가상 공간에, 도 2에 도시한 스테이지(16) 상에서 트래커(14)를 장착한 공연자(18)를 포함하는 촬상 화상이 배치되어 있고, 또한 촬상 화상 내의 트래커(14)에 3차원 위치 정보가 대응지어져 있다. 출력 제어부(260)는 트래커(14)의 3차원 위치 정보에 기초하여, 트래커(14)의 3차원 위치에 대응하는 실 오브젝트의 3차원 위치에 중첩하도록 가상 오브젝트인 선물(47)을 배치한다. 예를 들어 도 23에 도시한 예에서는, 출력 제어부(260)는 트래커(14)를 장착한 측의 손바닥의 위치에 선물(47)을 배치한다. 그 때문에 먼저, 가상 오브젝트 제어부(250)는, 트래커(14)에 대응하는 실 오브젝트의 3차원 위치 정보를, 트래커(14)의 3차원 위치 정보에 소정의 위치 오프셋 정보를 더함으로써 결정한다. 예를 들어 출력 제어부(260)는, 트래커(14)의 장착 위치인 손목의 위치 자세와, 손목에 대한 손바닥의 위치 자세의 차분을, 위치 오프셋 정보로서 이용한다. 그리고 가상 오브젝트 제어부(250)는, 트래커(14)에 대응하는 실 오브젝트의 3차원 위치에 컬라이더를 대응짓는다. 이것에 의하여, 트래커(14)를 장착한 측의 손바닥에 대한 가상 오브젝트의 배치, 및 충돌 판정이 가능해진다. 공연자(18)가 움직여 트래커(14)가 움직였다고 하더라도 트래커(14)의 움직임에 선물(47)이 부수되게 된다. 유저는 컨트롤러(22)를 통하여, 선물(47)의 위치에 조작체(41)를 대어서 수취하는 조작을 행할 수 있다. 수취하는 조작이 행해지면, 선물(47)이 조작체(41)의 자 오브젝트로 되고 조작체(41)가 볼(43)의 모 오브젝트로 된다. 그 때문에, VR 콘텐츠(40B)에 도시한 바와 같이 선물(47)이 조작체(41)에 부수되어 움직이게 된다. 이와 같이 하여, 가상 공간 내에 배치된 촬상 화상 내의 공연자(18)와 유저의 선물(47)의 수수의 인터랙션이 실현된다. 이와 같은 인터랙션에 관한 처리의 흐름을 도 24를 참조하여 설명한다.

도 24는, 본 실시 형태에 따른 재생 장치(20)에 의하여 실행되는 제2 공간 인터랙션 처리의 흐름의 일례를 도시하는 흐름도이다. 도 24에 도시한 스텝 S702 내지 S708에 따른 처리는, 도 22에 도시한 스텝 S602 내지 S608에 따른 처리와 마찬가지이다. 그 후, 가상 오브젝트 제어부(250)는, 상술한 바와 같이 위치 오프셋 정보를 이용하여, 트래커(14)에 대응하는 실 오브젝트(예를 들어 손바닥)의 3차원 위치에 물리 계수 및 컬라이더를 대응짓는다(스텝 S710). 다음으로, 출력 제어부(260)는, 가상 공간 내에 배치된 촬상 화상 내의 트래커(14)에 대응하는 실 오브젝트의 3차원 위치에 선물(47)을 배치한다(스텝 S712). 다음으로, 가상 오브젝트 제어부(250)는 컨트롤러(22)의 위치 및 자세에 기초하여, 가상 공간에 있어서의 조작체(41)의 위치 및 자세를 제어한다(스텝 S714).

그 후, 가상 오브젝트 제어부(250)는, 트래커(14)에 대응하는 실 오브젝트와 조작체(41)의 충돌 유무, 및 수취하는 조작의 유무를 판정한다(스텝 S716). 상세하게는, 가상 오브젝트 제어부(250)는, 가상 공간 내에 배치된 촬상 화상 내의 트래커(14)에 대응하는 실 오브젝트(예를 들어 손바닥)에 대응지어진 컬라이더와, 조작체(41)에 대응지어진 컬라이더의 충돌 유무를 판정하여, 수취하는 조작이 입력되었는지 여부를 판정한다. 충돌하지 않았거나 또는 수취하는 조작이 행해지지 않았다고 판정된 경우(스텝 S718/아니오), 처리는 다시 스텝 S702로 되돌아간다. 충돌하고 또한 수취하는 조작이 행해졌다고 판정된 경우(스텝 S718/예), 출력 제어부(260)는 선물(47)을 조작체(41)의 자 오브젝트로 하여, 선물(47)이 조작체(41)에 부수되어 이동하는 모습을 표시한다(스텝 S720). 그때, 출력 제어부(260)는, 트래커(14)에 대응지어진 물리 계수 및 피드백 설정 정보에 기초하여 유저에 대한 시각/촉각/청각/후각 피드백의 출력을 제어해도 된다. 그 후, 처리는 다시 스텝 S702로 되돌아간다.

≪4. 보충≫

(1) 기록측

기록 장치(10)는, 제1 센서 장치(11) 또는 제2 센서 장치(12)이 센싱에 실패한 경우, 또는 센싱이 도중에 끊기는 경우에는, 센싱 결과를 예측하거나 직전의 센싱 결과를 이용하여 보간하거나 해도 된다. 또한 기록 장치(10)는 뎁스 센서(102)와 트래커 센서(103)를 조합하여 콘텐츠 구성 정보를 생성해도 된다. 즉, 제1 실시 형태와 제2 실시 형태는 조합되어도 된다. 예를 들어 기록 장치(10)가 생성하는 콘텐츠 구성 정보는, 표면 모델 데이터와 트래커의 3차원 위치 정보의 양쪽을 포함해도 된다.

(2) 재생측

재생 장치(20)는, 조작체(41)에 의한 조작량을 유저에 맞추어 조정해도 된다. 예를 들어 재생 장치(20)는, 실 공간에 있어서의 컨트롤러(22)의 위치의 변화량과 가상 공간에 있어서의 조작체(41)의 위치의 변화량의 관계를 유저의 손의 길이에 따라 조정한다. 상세하게는, 재생 장치(20)는, 손이 짧은 유저에 대해서는 약간의 컨트롤러(22)의 이동으로 조작체(41)를 크게 이동시킨다. 그 외에도 재생 장치(20)는, 조작체(41)가 임의로 조작 대상에 접근하도록 해도 된다.

(3) 오프셋 처리에 대하여

상기 제2 실시 형태에 있어서 설명한 바와 같이 트래커(14)에 대응하는 실 오브젝트가 공간 인터랙션의 대상으로 되는 경우, 위치 오프셋 정보를 이용하여, 트래커(14)에 대응하는 실 오브젝트의 3차원 위치 정보가 취득된다. 이러한 처리를 오프셋 처리라고도 칭한다.

오프셋 처리에 있어서 이용되는, 트래커(14)와 트래커(14)에 대응하는 실 오브젝트의 위치 및 자세의 관계를 나타내는 위치 오프셋 정보는 기록 장치(10)측에서 취득되어도 되고 재생 장치(20)측에서 취득되어도 된다. 기록 장치(10)측에서 취득되는 경우, 콘텐츠 구성 정보 생성부(150)는, 트래커 위치 취득부(170)가 취득한 트래커(14)의 3차원 위치 정보와, 위치 오프셋 정보를, 콘텐츠 구성 정보에 포함시켜 기록해도 된다. 즉, 콘텐츠 구성 정보는, 트래커(14)의 3차원 위치 정보 및 위치 오프셋 정보를 포함한다. 그리고 재생 장치(20)는, 수신한 콘텐츠 구성 정보에 포함되는 트래커(14)의 3차원 위치 정보 및 위치 오프셋 정보에 기초하여, 트래커(14)에 대응하는 실 오브젝트의 3차원 위치 정보를 취득한다.

제2 실시 형태에 있어서는, 기록 장치(10)측에서는 오프셋 처리가 행해지지 않고 재생 장치(20)측에서 오프셋 처리가 행해지는 예를 설명하였다. 그러나 본 기술은 이러한 예에 한정되지 않는다. 예를 들어 기록 장치(10)측에서 오프셋 처리가 행해지고 재생 장치(20)측에서는 오프셋 처리가 행해지지 않아도 된다. 그 경우, 콘텐츠 구성 정보 생성부(150)는, 트래커 위치 취득부(170)가 취득한 트래커(14)의 3차원 위치 정보에 위치 오프셋 정보를 더함으로써, 트래커(14)에 대응하는 실 오브젝트의 3차원 위치 정보를 취득한다. 그리고 콘텐츠 구성 정보 생성부(150)는 이러한 3차원 위치 정보를 콘텐츠 구성 정보에 포함시켜 기록한다. 즉, 콘텐츠 구성 정보는, 트래커(14)에 대응하는 실 오브젝트의 3차원 위치 정보를 포함한다. 그리고 재생 장치(20)는, 수신한 콘텐츠 구성 정보에 기초하여, 트래커(14)에 대응하는 실 오브젝트의 3차원 위치에 컬라이더를 대응짓는다.

≪5. 하드웨어 구성예≫

끝으로, 도 25를 참조하여 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성에 대하여 설명한다. 도 25는, 본 실시 형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 도시하는 블록도이다. 또한 도 25에 도시하는 정보 처리 장치(900)는, 예를 들어 도 4, 도 7 및 도 19에 각각 도시한 기록 장치(10) 또는 재생 장치(20)를 실현할 수 있다. 본 실시 형태에 따른 기록 장치(10) 또는 재생 장치(20)에 의한 정보 처리는, 소프트웨어와, 이하에 설명하는 하드웨어의 협동에 의하여 실현된다.

도 25에 도시한 바와 같이 정보 처리 장치(900)는 CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903) 및 호스트 버스(904a)를 구비한다. 또한 정보 처리 장치(900)는 브리지(904), 외부 버스(904b), 인터페이스(905), 입력 장치(906), 출력 장치(907), 스토리지 장치(908), 드라이브(909), 접속 포트(911) 및 통신 장치(913)를 구비한다. 정보 처리 장치(900)는 CPU(901) 대신, 또는 이와 함께 전기 회로, DSP 혹은 ASIC 등의 처리 회로를 가져도 된다.

CPU(901)는 연산 처리 장치 및 제어 장치로서 기능하여, 각종 프로그램에 따라 정보 처리 장치(900) 내의 동작 전반을 제어한다. 또한 CPU(901)는 마이크로프로세서여도 된다. ROM(902)은, CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(903)은, CPU(901)의 실행에 있어서 사용하는 프로그램이나, 그 실행에 있어서 적절히 변화되는 파라미터 등을 일시 기억한다. CPU(901)는, 예를 들어 도 4 또는 도 19에 도시하는 화상 취득부(110), 스트리밍 처리부(120), 심도 정보 취득부(130), 표면 모델 취득부(140), 콘텐츠 구성 정보 생성부(150) 및 트래커 위치 취득부(170)를 형성할 수 있다. 또한 CPU(901)는, 예를 들어 도 7에 도시하는 콘텐츠 구성 정보 해석부(220), 타이밍 동기부(230), 좌표 변환부(240), 가상 오브젝트 제어부(250), 출력 제어부(260) 및 선택부(270)를 형성할 수 있다.

CPU(901), ROM(902) 및 RAM(903)은, CPU 버스 등을 포함하는 호스트 버스(904a)에 의하여 상호 간에 접속되어 있다. 호스트 버스(904a)는 브리지(904)를 통하여 PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(904b)에 접속되어 있다. 또한 반드시 호스트 버스(904a), 브리지(904) 및 외부 버스(904b)를 분리 구성할 필요는 없으며, 하나의 버스에 이들 기능을 실장해도 된다.

입력 장치(906)는, 예를 들어 마우스, 키보드, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등, 유저에 의하여 정보가 입력되는 장치에 의하여 실현된다. 또한 입력 장치(906)는, 예를 들어 적외선이나 그 외의 전파를 이용한 리모트 컨트롤 장치여도 되고, 정보 처리 장치(900)의 조작에 대응한 휴대 전화나 PDA 등의 외부 접속 기기여도 된다. 또한 입력 장치(906)는, 예를 들어 상기 입력 수단을 이용하여 유저에 의하여 입력된 정보에 기초하여 입력 신호를 생성하여 CPU(901)에 출력하는 입력 제어 회로 등을 포함하고 있어도 된다. 정보 처리 장치(900)의 유저는 이 입력 장치(906)를 조작함으로써, 정보 처리 장치(900)에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 할 수 있다.

출력 장치(907)는, 취득한 정보를 유저에 대하여 시각적 또는 청각적으로 통지하는 것이 가능한 장치로 형성된다. 이와 같은 장치로서, CRT 디스플레이 장치, 액정 디스플레이 장치, 플라스마 디스플레이 장치, EL 디스플레이 장치, 레이저 프로젝터, LED 프로젝터 및 램프 등의 표시 장치나, 스피커 및 헤드폰 등의 음성 출력 장치나, 프린터 장치 등이 있다. 출력 장치(907)는, 예를 들어 정보 처리 장치(900)가 행한 각종 처리에 의하여 얻어진 결과를 출력한다. 구체적으로는, 표시 장치는, 정보 처리 장치(900)가 행한 각종 처리에 의하여 얻어진 결과를 텍스트, 이미지, 표, 그래프 등 다양한 형식으로 시각적으로 표시한다. 한편, 음성 출력 장치는, 재생된 음성 데이터나 음향 데이터 등으로 이루어지는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.

스토리지 장치(908)는, 정보 처리 장치(900)의 기억부의 일례로서 형성된 데이터 저장용 장치이다. 스토리지 장치(908)는, 예를 들어 HDD 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 또는 광 자기 기억 디바이스 등에 의하여 실현된다. 스토리지 장치(908)는, 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치, 및 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함해도 된다. 이 스토리지 장치(908)는, CPU(901)가 실행하는 프로그램이나 각종 데이터, 및 외부로부터 취득한 각종 데이터 등을 저장한다.

드라이브(909)는 기억 매체용 리더라이터이며, 정보 처리 장치(900)에 내장 혹은 외장된다. 드라이브(909)는, 장착되어 있는 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 기억 매체에 기록되어 있는 정보를 판독하여 RAM(903)에 출력한다. 또한 드라이브(909)는 리무버블 기억 매체에 정보를 기입할 수도 있다.

접속 포트(911)는, 외부 기기와 접속되는 인터페이스이며, 예를 들어 USB(Universal Serial Bus) 등에 의하여 데이터 전송 가능한 외부 기기와의 접속구이다.

통신 장치(913)는, 예를 들어 네트워크(920)에 접속하기 위한 통신 디바이스 등으로 형성된 통신 인터페이스이다. 통신 장치(913)는, 예를 들어 유선 혹은 무선 LAN(Local Area Network), LTE(Long Term Evolution), Bluetooth(등록 상표), 또는 WUSB(Wireless USB)용 통신 카드 등이다. 또한 통신 장치(913)는 광 통신용 라우터, ADSL(Asymmetric Digital Subscriber Line)용 라우터, 또는 각종 통신용 모뎀 등이어도 된다. 이 통신 장치(913)는, 예를 들어 인터넷이나 다른 통신 기기와의 사이에서, 예를 들어 TCP/IP 등의 소정의 프로토콜에 준하여 신호 등을 송수신할 수 있다. 통신 장치(913)는, 예를 들어 도 4 또는 도 19에 도시하는 송신부(160)를 형성할 수 있다. 또한 통신 장치(913)는, 예를 들어 도 7에 도시하는 수신부(210)를 형성할 수 있다.

또한 네트워크(920)는, 네트워크(920)에 접속되어 있는 장치로부터 송신되는 정보의 유선 또는 무선 전송로이다. 예를 들어 네트워크(920)는, 인터넷, 전화 회선망, 위성 통신망 등의 공중 회선망이나, Ethernet(등록 상표)을 포함하는 각종 LAN(Local Area Network), WAN(Wide Area Network) 등을 포함해도 된다. 또한 네트워크(920)는 IP-VPN(Internet Protocol-Virtual Private Network) 등의 전용 회선망을 포함해도 된다.

이상, 본 실시 형태에 따른 정보 처리 장치(900)의 기능을 실현 가능한 하드웨어 구성의 일례를 나타내었다. 상기 각 구성 요소는, 범용적인 부재를 이용하여 실현되어 있어도 되고, 각 구성 요소의 기능에 특화된 하드웨어에 의하여 실현되어 있어도 된다. 따라서 본 실시 형태를 실시하는 그때그때의 기술 레벨에 따라 적절히, 이용할 하드웨어 구성을 변경하는 것이 가능하다.

또한 상술한 바와 같은 본 실시 형태에 따른 정보 처리 장치(900)의 각 기능을 실현하기 위한 컴퓨터 프로그램을 제작하여 PC 등에 실장하는 것이 가능하다. 또한 이와 같은 컴퓨터 프로그램이 저장된, 컴퓨터에서 판독 가능한 기록 매체도 제공할 수 있다. 기록 매체는, 예를 들어 자기 디스크, 광 디스크, 광 자기 디스크, 플래시 메모리 등이다. 또한 상기 컴퓨터 프로그램은, 기록 매체를 이용하지 않고, 예를 들어 네트워크를 통하여 배신되어도 된다.

≪6. 정리≫

이상, 도 1 내지 도 25를 참조하여 본 개시의 일 실시 형태에 대하여 상세히 설명하였다. 상기 설명한 바와 같이 본 실시 형태에 따른 기록 장치(10)는, 실 오브젝트를 포함하는 촬상 화상과, 실 오브젝트의 3차원 위치 정보를 취득한다. 그리고 기록 장치(10)는, 촬상 화상, 실 오브젝트의 3차원 위치 정보, 및 가상 공간 내에 표시되는 촬상 화상 내의 실 오브젝트가 관여하는 인터랙션에 이용되는 정보이며, 촬상 화상 내의 실 오브젝트와 당해 실 오브젝트의 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 생성한다. 이것에 의하여 재생 장치(20)측에서, 가상 공간 내에 촬상 화상을 배치하면서 당해 촬상 화상 내의 실 오브젝트에 3차원 위치 정보를 대응지을 수 있다. 재생 장치(20)는 이러한 3차원 위치 정보를 참조함으로써, 가상 공간 내에 표시된 촬상 화상 내의 실 오브젝트와 다른 가상 오브젝트의 공간 인터랙션을 실현하는 것이 가능해진다. 상세하게는, 재생 장치(20)는, 가상 공간 내에 표시된 촬상 화상 내의 실 오브젝트의 3차원 위치 정보와 다른 가상 오브젝트의 3차원 위치 정보에 기초하여 이들의 충돌을 검출하고, 충돌에 수반하는 피드백을 출력하는 것이 가능해진다. 이와 같이 하여 실사 VR 콘텐츠에 있어서의 공간 인터랙션을 보다 적절히 실현하는 것이 가능해진다.

이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세히 설명하였지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 자이면, 청구의 범위에 기재된 기술적 사상의 범주 내에 있어서 각종 변경예 또는 수정예에 상도할 수 있는 것은 명백하며, 이들에 대해서도 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.

또한 본 명세서에 있어서 흐름도 및 시퀀스도를 이용하여 설명한 처리는, 반드시 도시된 순서로 실행되지는 않아도 된다. 몇몇 처리 스텝은 병렬적으로 실행되어도 된다. 또한 추가적인 처리 스텝이 채용되어도 되고, 일부의 처리 스텝이 생략되어도 된다.

또한 본 명세서에 기재된 효과는 어디까지나 설명적 또는 예시적인 것이지 한정적이지는 않다. 즉, 본 개시에 따른 기술은, 상기 효과와 함께, 또는 상기 효과 대신, 본 명세서의 기재로부터 당업자에게는 명백한 다른 효과를 발휘할 수 있다.

또한 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.

(1)

피사체를 포함하는 촬상 화상과, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보를 취득하는 취득부와,

상기 촬상 화상, 상기 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 생성하는 콘텐츠 구성 정보 생성부

를 구비하는, 정보 처리 장치.

(2)

상기 가상 공간 관련짓기 정보는, 상기 촬상 화상과 상기 피사체 3차원 위치 정보를 관련짓는 식별 정보를 포함하는, 상기 (1)에 기재된 정보 처리 장치.

(3)

상기 가상 공간 관련짓기 정보는, 상기 촬상 화상을 촬상한 촬상 장치의 좌표계, 및 상기 피사체 3차원 위치 정보를 검출한 센서의 좌표계에 관한 정보를 포함하는, 상기 (1) 또는 (2)에 기재된 정보 처리 장치.

(4)

상기 가상 공간 관련짓기 정보는, 상기 촬상 화상의 촬상 시각에 대응하는 정보, 및 상기 피사체 3차원 위치 정보의 검출 시각에 대응하는 정보를 포함하는, 상기 (1) 내지 (3) 중 어느 한 항에 기재된 정보 처리 장치.

(5)

상기 콘텐츠 구성 정보는, 상기 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션이 행해지는 경우의 피드백 내용을 설정하는 피드백 설정 정보를 더 포함하는, 상기 (1) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.

(6)

상기 피드백 설정 정보는, 시각적, 촉각적, 청각적, 또는 후각적으로 피드백될 내용을 설정하는 정보를 포함하는, 상기 (5)에 기재된 정보 처리 장치.

(7)

상기 피드백 설정 정보는, 상기 가상 공간 내에 있어서의 시점 이동 시에 피드백될 내용을 설정하는 정보를 포함하는, 상기 (5) 또는 (6)에 기재된 정보 처리 장치.

(8)

상기 콘텐츠 구성 정보는, 상기 피사체의 물리 계수를 나타내는 정보를 포함하는, 상기 (1) 내지 (7) 중 어느 한 항에 기재된 정보 처리 장치.

(9)

상기 피사체 3차원 위치 정보는, 상기 피사체의 표면의 복수의 점의 3차원 위치 정보인, 상기 (1) 내지 (8) 중 어느 한 항에 기재된 정보 처리 장치.

(10)

상기 피사체 3차원 위치 정보는, 소정의 조건을 만족시키는 상기 피사체의, 표면의 복수의 점의 3차원 위치 정보인, 상기 (9)에 기재된 정보 처리 장치.

(11)

상기 피사체 3차원 위치 정보는, 상기 콘텐츠 구성 정보의 전송 속도에 따른 수의 점의 3차원 위치 정보인, 상기 (9) 또는 (10)에 기재된 정보 처리 장치.

(12)

상기 피사체 3차원 위치 정보는, 트래킹 대상물의 1점의 3차원 위치 정보인, 상기 (1) 내지 (11) 중 어느 한 항에 기재된 정보 처리 장치.

(13)

피사체를 포함하는 촬상 화상, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 취득하는 취득부와,

상기 콘텐츠 구성 정보에 기초하여 상기 가상 공간 내에 상기 촬상 화상을 표시하고, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 대응하는 피드백의 출력을 제어하는 출력 제어부

를 구비하는, 정보 처리 장치.

(14)

상기 가상 공간 관련짓기 정보는, 상기 촬상 화상과 상기 피사체 3차원 위치 정보를 관련짓는 식별 정보를 포함하는, 상기 (13)에 기재된 정보 처리 장치.

(15)

상기 가상 공간 관련짓기 정보는, 상기 촬상 화상을 촬상한 촬상 장치의 좌표계, 및 상기 피사체 3차원 위치 정보를 검출한 센서의 좌표계에 관한 정보를 포함하는, 상기 (13) 또는 (14)에 기재된 정보 처리 장치.

(16)

상기 가상 공간 관련짓기 정보는, 상기 촬상 화상의 촬상 시각에 대응하는 정보, 및 상기 피사체 3차원 위치 정보의 검출 시각에 대응하는 정보를 포함하는, 상기 (13) 내지 (15) 중 어느 한 항에 기재된 정보 처리 장치.

(17)

상기 콘텐츠 구성 정보는, 상기 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션이 행해지는 경우의 피드백 내용을 설정하는 피드백 설정 정보를 더 포함하는, 상기 (13) 내지 (16) 중 어느 한 항에 기재된 정보 처리 장치.

(18)

상기 콘텐츠 구성 정보는, 상기 피사체의 물리 계수를 나타내는 정보를 포함하는, 상기 (13) 내지 (17) 중 어느 한 항에 기재된 정보 처리 장치.

(19)

상기 정보 처리 장치는,

상기 피사체 3차원 위치 정보에 대하여, 상기 촬상 화상을 촬상한 촬상 장치의 좌표계와 상기 피사체 3차원 위치 정보를 검출한 센서의 좌표계의 어긋남을 보정하기 위한 좌표 변환 처리를 적용하는 좌표 변환부를 더 구비하는, 상기 (13) 내지 (18) 중 어느 한 항에 기재된 정보 처리 장치.

(20)

상기 정보 처리 장치는,

상기 촬상 화상과 상기 피사체 3차원 위치 정보의 타이밍 동기를 확립하는 타이밍 동기부를 더 구비하는, 상기 (13) 내지 (19) 중 어느 한 항에 기재된 정보 처리 장치.

(21)

상기 출력 제어부는, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체와 다른 가상 오브젝트의 충돌에 대응하는 피드백의 출력을 제어하는, 상기 (13) 내지 (20) 중 어느 한 항에 기재된 정보 처리 장치.

(22)

상기 출력 제어부는, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체와 상기 가상 공간에 있어서의 유저의 조작 위치를 나타내는 가상 오브젝트가 충돌한 경우에, 충돌하였음을 나타내는 촉각 피드백의 출력을 제어하는, 상기 (21)에 기재된 정보 처리 장치.

(23)

상기 정보 처리 장치는, 상기 피사체 3차원 위치 정보와 상기 다른 가상 오브젝트의 3차원 위치 정보에 기초하여, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체와 상기 다른 가상 오브젝트의 충돌을 검출하는 충돌 검출부를 더 구비하는, 상기 (21) 또는 (22)에 기재된 정보 처리 장치.

(24)

상기 출력 제어부는, 상기 피사체 3차원 위치 정보에 기초하여, 상기 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체에 가상 오브젝트를 중첩하는, 상기 (13) 내지 (23) 중 어느 한 항에 기재된 정보 처리 장치.

(25)

상기 출력 제어부는, 상기 피사체 3차원 위치 정보의 정밀도에 기초하여, 상기 피사체에 충첩시키는 가상 오브젝트의 크기 및/또는 선명도를 제어하는, 상기 (24)에 기재된 정보 처리 장치.

(26)

상기 정보 처리 장치는, 상기 가상 공간에 있어서의 유저 위치에 대응하는 상기 콘텐츠 구성 정보를, 상기 취득부가 취득해야 할 상기 콘텐츠 구성 정보로서 선택하는 선택부를 더 구비하는, 상기 (13) 내지 (25) 중 어느 한 항에 기재된 정보 처리 장치.

(27)

상기 선택부는, 상기 가상 공간에 있어서의 유저 위치가 소정의 위치에 도달하였음을 트리거로 하여, 선택하는 상기 콘텐츠 구성 정보를 전환하는, 상기 (26)에 기재된 정보 처리 장치.

(28)

상기 소정의 위치는, 전환처의 상기 콘텐츠 구성 정보의 바탕으로 되는 상기 촬상 화상을 촬상한 촬상 장치의 위치에 상당하는 상기 가상 공간 내의 위치인, 상기 (27)에 기재된 정보 처리 장치.

(29)

상기 소정의 위치는, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 소정의 실 오브젝트까지의 거리가, 전환처의 상기 콘텐츠 구성 정보의 바탕으로 되는 상기 촬상 화상을 촬상한 촬상 장치의 위치에 상당하는 상기 가상 공간 내의 위치와 동등한, 상기 (27)에 기재된 정보 처리 장치.

(30)

상기 출력 제어부는, 상기 선택부에 의한 전환 후, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 소정의 실 오브젝트가 유저의 시선과 충돌하도록 상기 가상 공간에 상기 촬상 화상을 배치하는, 상기 (27) 또는 (29)에 기재된 정보 처리 장치.

(31)

상기 출력 제어부는, 상기 가상 공간에 있어서의 유저의 시선이 소정의 가상 오브젝트에 충돌한 경우에 상기 유저 위치를 이동시키는, 상기 (27) 내지 (30) 중 어느 한 항에 기재된 정보 처리 장치.

(32)

피사체를 포함하는 촬상 화상과, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보를 취득하는 것과,

상기 촬상 화상, 상기 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 생성하는 것

을 구비하는, 프로세서에 의하여 실행되는, 정보 처리 방법.

(33)

피사체를 포함하는 촬상 화상, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 취득하는 것과,

상기 콘텐츠 구성 정보에 기초하여 상기 가상 공간 내에 상기 촬상 화상을 표시하고, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 대응하는 피드백의 출력을 제어하는 것

을 구비하는, 프로세서에 의하여 실행되는, 정보 처리 방법.

(34)

컴퓨터를,

로서 기능시키기 위한, 프로그램.

(35)

컴퓨터를,

로서 기능시키기 위한, 프로그램.

1: 콘텐츠 배신 시스템
10: 기록 장치
110: 화상 취득부
120: 스트리밍 처리부
130: 심도 정보 취득부
140: 표면 모델 취득부
150: 콘텐츠 구성 정보 생성부
160: 송신부
170: 트래커 위치 취득부
11: 제1 센서 장치
12: 제2 센서 장치
13: 제3 센서 장치
101: VR 카메라
102: 뎁스 센서
103: 트래커 센서
14: 트래커
15: 모니터
16: 스테이지
17: 관객석
18: 공연자
19: 시점 전환 위치
20: 재생 장치
210: 수신부
220: 콘텐츠 구성 정보 해석부
230: 타이밍 동기부
240: 좌표 변환부
250: 가상 오브젝트 제어부
260: 출력 제어부
270: 선택부
22: 컨트롤러
201: 표시부
202: 위치 자세 검출부
203: 음성 출력부
204: 음성 입력부
205: 위치 자세 검출부
206: 진동 출력부

Claims

피사체를 포함하는 촬상 화상과, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보를 취득하는 취득부와,
상기 촬상 화상, 상기 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 생성하는 콘텐츠 구성 정보 생성부
를 구비하는, 정보 처리 장치.
제1항에 있어서,
상기 가상 공간 관련짓기 정보는, 상기 촬상 화상과 상기 피사체 3차원 위치 정보를 관련짓는 식별 정보를 포함하는, 정보 처리 장치.
제1항에 있어서,
상기 가상 공간 관련짓기 정보는, 상기 촬상 화상을 촬상한 촬상 장치의 좌표계, 및 상기 피사체 3차원 위치 정보를 검출한 센서의 좌표계에 관한 정보를 포함하는, 정보 처리 장치.
제1항에 있어서,
상기 가상 공간 관련짓기 정보는, 상기 촬상 화상의 촬상 시각에 대응하는 정보, 및 상기 피사체 3차원 위치 정보의 검출 시각에 대응하는 정보를 포함하는, 정보 처리 장치.
제1항에 있어서,
상기 콘텐츠 구성 정보는, 상기 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션이 행해지는 경우의 피드백 내용을 설정하는 피드백 설정 정보를 더 포함하는, 정보 처리 장치.
제5항에 있어서,
상기 피드백 설정 정보는, 시각적, 촉각적, 청각적, 또는 후각적으로 피드백될 내용을 설정하는 정보를 포함하는, 정보 처리 장치.
제5항에 있어서,
상기 피드백 설정 정보는, 상기 가상 공간 내에 있어서의 시점 이동 시에 피드백될 내용을 설정하는 정보를 포함하는, 정보 처리 장치.
제1항에 있어서,
상기 콘텐츠 구성 정보는, 상기 피사체의 물리 계수를 나타내는 정보를 포함하는, 정보 처리 장치.
제1항에 있어서,
상기 피사체 3차원 위치 정보는, 상기 피사체의 표면의 복수의 점의 3차원 위치 정보인, 정보 처리 장치.
제9항에 있어서,
상기 피사체 3차원 위치 정보는, 소정의 조건을 만족시키는 상기 피사체의, 표면의 복수의 점의 3차원 위치 정보인, 정보 처리 장치.
제9항에 있어서,
상기 피사체 3차원 위치 정보는, 상기 콘텐츠 구성 정보의 전송 속도에 따른 수의 점의 3차원 위치 정보인, 정보 처리 장치.
제1항에 있어서,
상기 피사체 3차원 위치 정보는, 트래킹 대상물의 1점의 3차원 위치 정보인, 정보 처리 장치.
피사체를 포함하는 촬상 화상, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 취득하는 취득부와,
상기 콘텐츠 구성 정보에 기초하여 상기 가상 공간 내에 상기 촬상 화상을 표시하고, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 대응하는 피드백의 출력을 제어하는 출력 제어부
를 구비하는, 정보 처리 장치.
제13항에 있어서,
상기 가상 공간 관련짓기 정보는, 상기 촬상 화상과 상기 피사체 3차원 위치 정보를 관련짓는 식별 정보를 포함하는, 정보 처리 장치.
제13항에 있어서,
상기 가상 공간 관련짓기 정보는, 상기 촬상 화상을 촬상한 촬상 장치의 좌표계, 및 상기 피사체 3차원 위치 정보를 검출한 센서의 좌표계에 관한 정보를 포함하는, 정보 처리 장치.
제13항에 있어서,
상기 가상 공간 관련짓기 정보는, 상기 촬상 화상의 촬상 시각에 대응하는 정보, 및 상기 피사체 3차원 위치 정보의 검출 시각에 대응하는 정보를 포함하는, 정보 처리 장치.
제13항에 있어서,
상기 콘텐츠 구성 정보는, 상기 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션이 행해지는 경우의 피드백 내용을 설정하는 피드백 설정 정보를 더 포함하는, 정보 처리 장치.
제13항에 있어서,
상기 콘텐츠 구성 정보는, 상기 피사체의 물리 계수를 나타내는 정보를 포함하는, 정보 처리 장치.
제13항에 있어서,
상기 정보 처리 장치는,
상기 피사체 3차원 위치 정보에 대하여, 상기 촬상 화상을 촬상한 촬상 장치의 좌표계와 상기 피사체 3차원 위치 정보를 검출한 센서의 좌표계의 어긋남을 보정하기 위한 좌표 변환 처리를 적용하는 좌표 변환부를 더 구비하는, 정보 처리 장치.
제13항에 있어서,
상기 정보 처리 장치는,
상기 촬상 화상과 상기 피사체 3차원 위치 정보의 타이밍 동기를 확립하는 타이밍 동기부를 더 구비하는, 정보 처리 장치.
제13항에 있어서,
상기 출력 제어부는, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체와 다른 가상 오브젝트의 충돌에 대응하는 피드백의 출력을 제어하는, 정보 처리 장치.
제21항에 있어서,
상기 출력 제어부는, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체와, 상기 가상 공간에 있어서의 유저의 조작 위치를 나타내는 가상 오브젝트가 충돌한 경우에, 충돌하였음을 나타내는 촉각 피드백의 출력을 제어하는, 정보 처리 장치.
제21항에 있어서,
상기 정보 처리 장치는, 상기 피사체 3차원 위치 정보와 상기 다른 가상 오브젝트의 3차원 위치 정보에 기초하여, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체와 상기 다른 가상 오브젝트의 충돌을 검출하는 충돌 검출부를 더 구비하는, 정보 처리 장치.
제13항에 있어서,
상기 출력 제어부는, 상기 피사체 3차원 위치 정보에 기초하여, 상기 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체에 가상 오브젝트를 중첩하는, 정보 처리 장치.
제24항에 있어서,
상기 출력 제어부는, 상기 피사체 3차원 위치 정보의 정밀도에 기초하여, 상기 피사체에 충첩시키는 가상 오브젝트의 크기 및/또는 선명도를 제어하는, 정보 처리 장치.
제13항에 있어서,
상기 정보 처리 장치는, 상기 가상 공간에 있어서의 유저 위치에 대응하는 상기 콘텐츠 구성 정보를, 상기 취득부가 취득해야 할 상기 콘텐츠 구성 정보로서 선택하는 선택부를 더 구비하는, 정보 처리 장치.
제26항에 있어서,
상기 선택부는, 상기 가상 공간에 있어서의 유저 위치가 소정의 위치에 도달하였음을 트리거로 하여, 선택하는 상기 콘텐츠 구성 정보를 전환하는, 정보 처리 장치.
제27항에 있어서,
상기 소정의 위치는, 전환처의 상기 콘텐츠 구성 정보의 바탕으로 되는 상기 촬상 화상을 촬상한 촬상 장치의 위치에 상당하는 상기 가상 공간 내의 위치인, 정보 처리 장치.
제27항에 있어서,
상기 소정의 위치는, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 소정의 실 오브젝트까지의 거리가, 전환처의 상기 콘텐츠 구성 정보의 바탕으로 되는 상기 촬상 화상을 촬상한 촬상 장치의 위치에 상당하는 상기 가상 공간 내의 위치와 동등한, 정보 처리 장치.
제27항에 있어서,
상기 출력 제어부는, 상기 선택부에 의한 전환 후, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 소정의 실 오브젝트가 유저의 시선과 충돌하도록 상기 가상 공간에 상기 촬상 화상을 배치하는, 정보 처리 장치.
제27항에 있어서,
상기 출력 제어부는, 상기 가상 공간에 있어서의 유저의 시선이 소정의 가상 오브젝트에 충돌한 경우에 상기 유저 위치를 이동시키는, 정보 처리 장치.
피사체를 포함하는 촬상 화상과, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보를 취득하는 것과,
상기 촬상 화상, 상기 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 생성하는 것
을 구비하는, 프로세서에 의하여 실행되는, 정보 처리 방법.
피사체를 포함하는 촬상 화상, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 취득하는 것과,
상기 콘텐츠 구성 정보에 기초하여 상기 가상 공간 내에 상기 촬상 화상을 표시하고, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 대응하는 피드백의 출력을 제어하는 것
을 구비하는, 프로세서에 의하여 실행되는, 정보 처리 방법.
컴퓨터를,
피사체를 포함하는 촬상 화상과, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보를 취득하는 취득부와,
상기 촬상 화상, 상기 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 생성하는 콘텐츠 구성 정보 생성부
로서 기능시키기 위한, 프로그램.
컴퓨터를,
피사체를 포함하는 촬상 화상, 상기 피사체의 3차원 위치를 나타내는 피사체 3차원 위치 정보, 및 가상 공간 내에 표시되는 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 이용되는 정보이며, 상기 촬상 화상 내의 상기 피사체와 상기 피사체 3차원 위치 정보를 관련짓는 가상 공간 관련짓기 정보를 포함하는 콘텐츠 구성 정보를 취득하는 취득부와,
상기 콘텐츠 구성 정보에 기초하여 상기 가상 공간 내에 상기 촬상 화상을 표시하고, 상기 가상 공간 내에 표시된 상기 촬상 화상 내의 상기 피사체가 관여하는 인터랙션에 대응하는 피드백의 출력을 제어하는 출력 제어부
로서 기능시키기 위한, 프로그램.