KR20180059765A

KR20180059765A - 정보 처리 장치, 정보 처리 방법 및 프로그램

Info

Publication number: KR20180059765A
Application number: KR1020187007343A
Authority: KR
Inventors: 준이치 레키모토
Original assignee: 소니 주식회사
Priority date: 2015-09-25
Filing date: 2016-07-12
Publication date: 2018-06-05
Also published as: EP3355576A1; EP3355576A4; WO2017051592A1; US10600253B2; US20180247463A1; CN108028910A; JPWO2017051592A1

Abstract

시점의 이행에 수반되는 위치 관계의 변화를 유저가 이해하기 쉬운 영상을 생성하는 것이 가능한, 정보 처리 장치, 정보 처리 방법 및 프로그램을 제안한다. 제1 공간 내를 이동하는 제1 이동체에 장착된 제1 촬상부에 의해 촬상되는 제1 영상을, 유저가 시인하는 표시 영역에 표시시키는 표시 제어부를 구비하고, 상기 표시 제어부는, 상기 제1 촬상부의 시점인 제1 시점과, 상기 제1 공간을 촬상하기 위한 제2 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 생성하는 정보 처리 장치이다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램

본 개시는, 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.

종래, 유저가 원격의 대리 로봇과 통신을 행하기 위한 방법으로서 텔레프레즌스가 알려져 있다. 이 텔레프레즌스에서는, 로봇에 의해 측정되는 정보가 유저에게 전달된다. 또한, 유저의 움직임이 로봇을 제어하고, 그 결과, 유저가 로봇과 동일한 것처럼 느낄 수 있다. 이 텔레프레즌스에 따르면, 물리적인 위치의 제약이 없는 것처럼 유저는 지각할 수 있다.

또한, 근년, 사람과 사람의 텔레프레즌스를 가능하게 하는 기술이 제안되어 있다. 예를 들어, 헤드 마운트 카메라를 장착한 유저가 어떤 환경에서 작업을 하고, 그리고, 이 헤드 마운트 카메라에 의해 촬상된 영상이, 원격의 다른 유저에게 전달되는 기술이 제안되어 있다. 이 기술에 따르면, 예를 들어 어떤 환경에 위치하는 필드 워커는, 전문가에 의해 원격적으로 지원받을 수 있다.

예를 들어, 하기 특허문헌 1에는, 공간 내를 이동하는 이동체에 장착된 촬상 장치에 의해 촬상된 영상을, 유저가 시인하는 표시 영역에 표시시키는 기술이 기재되어 있다.

국제 공개 제2015/122108호

그러나, 특허문헌 1에 기재된 기술에서는, 공간 내에 위치하는 시점간에서 이행되면, 표시되는 영상이 비연속적으로 전환된다. 이 때문에, 시점의 이행 후의 위치 관계를 유저가 알 수 없게 될 수 있다.

따라서, 본 개시에서는, 시점의 이행에 수반되는 위치 관계의 변화를 유저가 이해하기 쉬운 영상을 생성하는 것이 가능한, 신규이면서도 개량된 정보 처리 장치, 정보 처리 방법 및 프로그램을 제안한다.

본 개시에 따르면, 제1 공간 내를 이동하는 제1 이동체에 장착된 제1 촬상부에 의해 촬상되는 제1 영상을, 유저가 시인하는 표시 영역에 표시시키는 표시 제어부를 구비하고, 상기 표시 제어부는, 상기 제1 촬상부의 시점인 제1 시점과, 상기 제1 공간을 촬상하기 위한 제2 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 생성하는 정보 처리 장치가 제공된다.

또한, 본 개시에 따르면, 제1 공간 내를 이동하는 제1 이동체에 장착된 제1 촬상부에 의해 촬상되는 제1 영상을, 유저가 시인하는 표시 영역에 표시시키는 것과, 상기 제1 촬상부의 시점인 제1 시점과, 상기 제1 공간을 촬상하기 위한 제2 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 프로세서가 생성하는 것을 포함하는 정보 처리 방법이 제공된다.

또한, 본 개시에 따르면, 컴퓨터를, 제1 공간 내를 이동하는 제1 이동체에 장착된 제1 촬상부에 의해 촬상되는 제1 영상을, 유저가 시인하는 표시 영역에 표시시키는 표시 제어부로서 기능시키기 위한 프로그램이며, 상기 표시 제어부는, 상기 제1 촬상부의 시점인 제1 시점과, 상기 제1 공간을 촬상하기 위한 제2 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 생성하는 프로그램이 제공된다.

이상 설명한 바와 같이 본 개시에 따르면, 시점의 이행에 수반되는 위치 관계의 변화를 유저가 이해하기 쉬운 영상을 생성할 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어느 효과여도 된다.

도 1은 본 개시의 실시 형태에 의한 정보 처리 시스템의 구성예를 도시한 설명도이다.
도 2는 상기 실시 형태에 의한 이동체(2)에 장착되는 헤드셋(20)의 외관도이다.
도 3은 상기 실시 형태에 의해 구성되는 포인트 클라우드를 나타낸 화상의 일례이다.
도 4는 상기 실시 형태에 의한 jack-out 및 jack-in에 기초한 시점의 이동을 모식적으로 도시한 설명도이다.
도 5는 도 4에 도시한 시점 「1」 내지 시점 「3」에 기초하여 생성되는 영상의 예를 도시한 설명도이다.
도 6은 상기 실시 형태에 의한 서버(10)의 구성예를 도시한 기능 블록도이다.
도 7은 상기 실시 형태에 의한, 공간 관측 영상의 표시 시에 있어서의 「로크 온」 마크의 표시예를 도시한 설명도이다.
도 8은 상기 실시 형태에 의한 jack-out 시에 있어서의 시점의 이동예를 도시한 설명도이다.
도 9는 상기 실시 형태에 의한 POI(Point of Interest)에 기초하는 공간 관측 시점의 이동예를 도시한 설명도이다.
도 10은 상기 실시 형태에 의한 jack-in 시에 있어서의 시점의 이동예를 도시한 설명도이다.
도 11은 상기 실시 형태에 의한 jack-out 시에 생성되는 제1 천이 영상에 포함되는 프레임의 예를 도시한 설명도이다.
도 12는 상기 실시 형태에 의한 jack-in 시에 생성되는 제2 천이 영상에 포함되는 프레임의 예를 도시한 설명도이다.
도 13은 상기 실시 형태에 의한 동작의 흐름의 일례를 나타낸 흐름도이다.
도 14는 상기 실시 형태에 의한 「jack-out 처리」의 흐름을 나타낸 흐름도이다.
도 15는 상기 실시 형태에 의한 「jack-in 처리」의 흐름을 나타낸 흐름도이다.
도 16은 상기 실시 형태의 응용예에 의한, 상이한 작업 공간에 있어서의 시점간의 이동을 모식적으로 도시한 설명도이다.
도 17은 상기 실시 형태의 응용예에 의한, 이행처의 시점을 선택하기 위한 리스트의 일례를 도시한 설명도이다.
도 18은 상기 실시 형태의 응용예에 의한, 이행처의 시점을 선택하기 위한 맵의 일례를 도시한 설명도이다.
도 19는 상기 실시 형태의 응용예에 의한 천이 영상의 표시예를 도시한 설명도이다.
도 20은 상기 실시 형태에 의한 서버(10)의 하드웨어 구성예를 도시한 설명도이다.
도 21은 상기 실시 형태의 변형예에 의한, 이동체(2)에 장착되는 전방위 카메라(24)의 외관도이다.
도 22는 전방위 카메라(24)에 의한 촬상 영역을 도시한 설명도이다.
도 23은 상기 실시 형태의 변형예에 의한 자주식 뎁스 카메라(90)의 모식도이다.
도 24는 상기 실시 형태의 변형예에 의한, 이동체(2)에 장착되는 장착형 뎁스 카메라(92)의 모식도이다.

이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 붙임으로써 중복 설명을 생략한다.

또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소를, 동일한 부호 뒤에 상이한 알파벳을 붙여 구별하는 경우도 있다. 예를 들어, 실질적으로 동일한 기능 구성을 갖는 복수의 구성을, 필요에 따라서 이동체(2a) 및 이동체(2b)와 같이 구별한다. 단, 실질적으로 동일한 기능 구성을 갖는 복수의 구성 요소의 각각을 특별히 구별할 필요가 없는 경우, 동일 부호만을 붙인다. 예를 들어, 이동체(2a) 및 이동체(2b)를 특별히 구별할 필요가 없는 경우에는 간단히 이동체(2)라 칭한다.

또한, 이하에 나타내는 항목 순서에 따라서 당해 「발명을 실시하기 위한 형태」를 설명한다.

1. 정보 처리 시스템의 구성

2. 실시 형태의 상세한 설명

3. 하드웨어 구성

4. 변형예

<<1. 정보 처리 시스템의 구성>>

먼저, 본 실시 형태에 의한 정보 처리 시스템의 구성에 대하여, 도 1을 참조하여 설명한다. 도 1에 도시한 바와 같이, 본 실시 형태에서는, 기본적으로, 하나 이상의 이동체(2)가 위치하는 작업 공간과, 유저(4)가 위치하는 환경이 설정되어 있고, 그리고, 양자가 원격하고 있는 것을 상정한다. 여기서, 이동체(2)는, 예를 들어 소정의 작업 공간에 있어서 작업을 행하는 사람, 로봇, 또는, 작업 공간에 설치된 카메라(센서) 등이다. 또한, 이하에서는, 이동체(2)가 사람인 예를 중심으로 하여 설명을 행한다. 또한, 소정의 작업 공간은, 예를 들어 방 등의 공간이다. 또한, 유저(4)는 후술하는 서버(10)에 의해 제공되는, 작업 공간에 관한 영상을 시인하는 인물이다. 또한, 작업 공간은, 본 개시에 있어서의 제1 공간의 일례이다. 또한, 서버(10)는 본 개시에 있어서의 정보 처리 장치의 일례이다.

<1-1. 이동체(2)의 환경>

먼저, 이동체(2)가 위치하는 작업 공간에 관한 정보 처리 시스템의 구성에 대하여 설명한다. 도 1에 도시한 바와 같이, 예를 들어 작업 공간에는, 복수의 뎁스 카메라(30), 및, 복수의 모션 캡쳐 센서(32)가 배치된다.

또한, 이동체(2)가 사람인 경우에는, 도 1 및 도 2에 도시한 바와 같이, 이동체(2)는 예를 들어 헤드셋(20)을 장착하고 있다. 또한, 도 2의 (A)는 헤드셋(20)을 장착한 이동체(2)의 정면으로부터의 외관을 도시한 도면이고, 또한 도 2의 (B)는 헤드셋(20)을 장착한 이동체(2)의 좌측으로부터의 외관을 도시한 도면이다. 도 2에 도시한 바와 같이, 예를 들어 헤드셋(20)은 카메라(200), 및, 헤드 트래킹용 마커(210)를 갖는다. 여기서, 카메라(200)는 본 개시에 있어서의 제1 촬상부의 일례이다. 카메라(200)는, 예를 들어 이동체(2)의 시선 방향의 영상을 촬상한다. 예를 들어, 카메라(200)는 어안 카메라여도 된다.

헤드 트래킹용 마커(210)는, 예를 들어 적외선을 반사하는 마커이다. 도 2에 도시한 바와 같이, 헤드 트래킹용 마커(210)는 1대의 헤드셋(20)에 복수개 설치될 수 있다. 이 헤드 트래킹용 마커(210)는 (작업 공간 내에 배치된) 복수의 모션 캡쳐 센서(32)에 의해 센싱될 수 있다. 이에 의해, 작업 공간에 있어서의 이동체(2)의 위치가 트래킹된다.

뎁스 카메라(30)는 예를 들어 뎁스 센서 및 RGB 센서를 갖는다. 이 뎁스 카메라(30)는 작업 공간 내에 위치하는 각 물체의 삼차원 정보를 취득한다. 예를 들어, 뎁스 카메라(30)는 적외선의 조사, 및, time-of-flight를 사용함으로써, 작업 공간 내에 위치하는 각 물체의 삼차원 정보를 취득한다.

또한, 도 1에 도시한 바와 같이, 작업 공간 내에는, 기본적으로, 복수의 뎁스 카메라(30)가 설치된다. 또한, 각 모션 캡쳐 센서(32) 및 각 뎁스 카메라(30)는, 작업 공간에 있어서 센싱되는 동일한 물체의 좌표값이 동일하게 되도록, 각각 미리 캘리브레이션될 수 있다. 그리고, 후술하는 바와 같이, 서버(10)는 복수의 뎁스 카메라(30)에 의해 센싱된 RGB-D의 정보를 통합함으로써, 포인트 클라우드(각 포인트가 삼차원 좌표를 갖는 정보의 집합)를 구성하는 것이 가능하다. 이에 의해, 작업 공간에 있어서의 각 이동체(2)의 삼차원 좌표가 특정 가능해진다.

예를 들어, 도 3은 복수의 뎁스 카메라(30)에 의해 센싱된 정보에 기초하여 구성된 포인트 클라우드를 도시한 화상(40)의 일례이다. 통상, 1대의 뎁스 카메라(30)로는, 작업 공간 전체를 촬상하는 것은 어려워, 센싱 불가능한 영역이 발생할 수 있다. 따라서, 작업 공간에 있어서 서로 다른 위치에 배치된 복수의 뎁스 카메라(30)가 작업 공간을 센싱하고, 그리고, 센싱된 정보가 통합됨으로써, 센싱 불가능한 영역이 가능한 한 작아질 수 있다.

서버(10)는 유저(4)에게 시인시키는 영상의 생성 및 표시 제어 등을 행한다. 예를 들어, 서버(10)는 어떤 이동체(2)에 장착된 (헤드셋(20)의) 카메라(200)에 의한 촬상 영상을 취득하고, 그리고, 취득한 촬상 영상에 기초하여 이동체 영상을 생성한다. 그리고, 서버(10)는 생성한 이동체 영상을, 후술하는 프로젝터(36)에 투영시킨다.

또한, 서버(10)는 작업 공간 내에 설치되어도 되고, 유저(4)가 위치하는 환경에 설치되어도 되고, 또는, 그 밖의 장소에 설치되어도 된다.

<1-2. 유저(4)의 환경>

다음에, 유저(4)가 위치하는 환경에 관한 정보 처리 시스템의 구성에 대하여 설명한다. 예를 들어, 도 1에 도시한 바와 같이, 당해 환경에는, 복수의 모션 캡쳐 센서(34), 3대의 프로젝터(36), 및, 3매의 스크린(38)이 배치된다.

모션 캡쳐 센서(34)는, 당해 환경에 있어서의 유저(4)의 움직임을 검출한다. 예를 들어, 모션 캡쳐 센서(34)는 유저(4)의 헤드의 움직임을 검출한다.

프로젝터(36)는 발광에 의해 화상을 투영하는 장치이다. 예를 들어, 프로젝터(36)는 서버(10)로부터 영상을 수신하고, 그리고, 수신한 영상을 스크린(38)에 투영한다. 도 1에 도시한 예에서는, 유저(4)의 정면, 좌측 및 우측에 각각 스크린(38)이 위치하는 위치 관계로, 3매의 스크린(38)이 설치된다. 그리고, 각 프로젝터(36)는 각 프로젝터(36)의 방향의 스크린(38)용의 영상을 각 스크린(38)에 투영한다. 또한, 3대의 프로젝터(36)는 스테레오 영상을 하나 이상의 스크린(38)에 투영하는 것도 가능하다.

유저(4)는 예를 들어 LCD(Liquid Crystal Display)를 갖는 3D 안경을 장착할 수 있다. 이에 의해, 유저(4)는 스크린(38)에 표시된 영상을 입체시할 수 있다.

상술한 정보 처리 시스템에 따르면, 유저(4)는 스크린(38)에 투영되는 작업 공간 내의 영상을 시인함으로써, 마치 작업 공간 내에 위치하고 있는 것 같은 감각을 얻을 수 있다. 또한, 예를 들어 유저(4)에 의한 이동체(2)의 작업 지원 등, 이동체(2)와 유저(4)의 제휴가 가능해진다.

또한, 유저(4)가 위치하는 환경의 정보 처리 시스템은, 상술한 구성에 한정되지 않고, 스크린(38)은 1매만 설치되어 있어도 된다. 또한, 이 경우, 프로젝터(36)도 1대만 설치되어 있어도 된다.

또한, 상술한 정보 처리 시스템은, 예를 들어 인터넷 등의 통신망을 통한 분산 시스템으로서 구성 가능하다. 예를 들어, (이동체(2)가 위치하는) 작업 공간과, 유저(4)가 위치하는 환경과, 서버(10)는 서로 이격된 지점에 위치하고 있으며, 그리고, 각 지점에 설치되어 있는 장치간은 통신망을 통해 접속될 수 있다.

<1-3. 개요>

[1-3-1. 공지 기술의 과제]

그런데, 작업 공간에 있어서 이동체(2)가 복수 존재하는 경우, 원격에 위치하는 유저(4)는 각 이동체(2)의 시점(이하, 이동체 시점이라 칭하는 경우가 있음)간을 자유롭게 이행하여, 작업 공간 내의 영상을 시인 가능한 것이 바람직하다.

그러나, 예를 들어 카메라를 스위치하도록 시점을 전환하면, 시점의 전환 후에, 유저(4)는 작업 공간에 있어서의 위치 관계를 알 수 없게 되어, 혼란스러울 수 있다.

따라서, 상기 사정을 일 착안점으로 하여, 본 실시 형태에 의한 서버(10)를 창작하기에 이르렀다. 서버(10)는 작업 공간에 있어서의 이동체(2)의 이동체 시점간을 이행할 때에, 작업 공간을 관측하기 위한 공간 관측 시점을 경유시킨다. 또한, 이동체 시점과 공간 관측 시점 사이의 이행 시에, 서버(10)는 이동체(2)의 이동체 시점과 공간 관측 시점 사이에서 시점 위치를 연속적으로 이동시킴으로써 영상을 생성하고, 그리고, 생성한 영상을 유저(4)에게 시인시키는 것이 가능하다. 이에 의해, 작업 공간에 있어서의 시점의 이동을 공간적으로 끊김없이 유저(4)에게 제시할 수 있다.

[1-3-2. 텔레프레즌스의 개요]

여기서, 본 실시 형태에 의해 실현되는 텔레프레즌스의 개요에 대하여, 도 4 및 도 5를 참조하여 설명한다. 도 4는 본 실시 형태에 의한 jack-out 및 jack-in에 기초한 시점의 이동을 모식적으로 도시한 설명도이다. 여기서, jack-out는 유저(4)가 현재 시인하고 있는 영상의 촬상원인 이동체(2)의 이동체 시점으로부터 공간 관측 시점으로 시점을 이행시키는 것이다. 또한, jack-in은, (현재의) 공간 관측 시점으로부터, 작업 공간 내에 위치하는 어느 이동체(2)의 이동체 시점으로 시점을 이행시키는 것이다.

또한, 도 5의 (A)는 도 4에 도시한 이동체(2a)의 이동체 시점(도 4에 도시한 화살표 「1」)에 기초하는 영상(이하, 이동체 영상이라 칭하는 경우가 있음)의 일례를 도시하고 있다. 또한, 도 5의 (B)는 공간 관측 시점(도 4에 도시한 화살표 「2」)에 기초하는 영상(이하, 공간 관측 영상이라 칭하는 경우가 있음)의 일례를 도시하고 있다. 또한, 도 5의 (C)는 도 4에 도시한 이동체(2b)의 이동체 시점(도 4에 도시한 화살표 「3」)에 기초하는 영상의 일례를 도시하고 있다.

또한, 도 4에서는, 초기 상태로서, 유저(4)가 이동체(2a)에 jack-in하고 있는 것을 전제로 하고 있다. 이 경우, 도 5의 (A)에 도시한 바와 같은, 이동체(2a)의 이동체 시점에 기초하는 영상(50a)이 스크린(38)에 투영되어 있고, 그리고, 유저(4)는 영상(50a)을 시인하고 있다. 이 이동체 영상(50a)을 시인함으로써, 유저(4)는 마치 이동체(2a) 안에 들어가고 있는 듯한 감각을 얻을 수 있다.

그 후, 유저(4)가 "jack-out" 커맨드를 발행하면, 서버(10)는 이동체(2a)의 이동체 시점으로부터 공간 관측 시점으로 시점 위치를 연속적으로 이동시킨다. 또한, "jack-out" 커맨드의 발행은, 본 개시에 있어서의 제1 조작의 일례이다.

그 후, 예를 들어 도 5의 (B)에 도시한 바와 같은, 공간 관측 시점에 기초하는 영상(50b)이 스크린(38)에 투영된다. 이에 의해, 유저(4)는 예를 들어 작업 공간 전체를 부감적으로 관측할 수 있다. 또한, 유저(4)는 작업 공간 내에서 공간 관측 시점의 위치를 자유롭게 이동시켜 작업 공간을 관측할 수 있다.

그 후, 유저(4)는 도 4에 도시한 다른 이동체(2b)의 이동체 시점을 통해 영상을 시인하는 것을 희망한 것으로 한다. 이 경우, 먼저, 유저(4)는 소정의 방법에 의해 이동체(2b)를 선택하고, 그리고, "jack-in" 커맨드를 발행한다. 그렇게 하면, 서버(10)는 공간 관측 시점으로부터 이동체(2b)의 이동체 시점으로 시점 위치를 연속적으로 이동시킨다. 그 후, 예를 들어 도 5의 (C)에 도시한 바와 같은, 이동체(2b)의 이동체 시점에 기초하는 영상(50c)이 스크린(38)에 투영된다.

또한, 이동체(2)의 이동체 시점에 기초하는 영상은 클리어한 화상을 제공하지만, 기본적으로는, 입체시 영상이 아니다. 따라서, 유저(4)는 예를 들어 jack-in하고 있는 이동체(2)로부터 jack-out하여, 공간 관측 시점에 기초하여 작업 공간을 입체시할 수 있다. 그 후, 상세한 영상을 확인하기 위해, 동일한 이동체(2)에 다시 jack-in하는 것도 가능하다.

<<2. 실시 형태의 상세한 설명>>

<2-1. 구성>

이상, 본 실시 형태의 개요에 대하여 설명하였다. 다음에, 본 실시 형태에 의한 서버(10)의 구성에 대하여 상세하게 설명한다. 도 6은 본 실시 형태에 의한 서버(10)의 구성을 도시한 기능 블록도이다. 도 6에 도시한 바와 같이, 서버(10)는 제어부(100), 통신부(120) 및 기억부(122)를 갖는다.

[2-1-1. 제어부(100)]

제어부(100)는 서버(10)에 내장되는, 후술하는 CPU(150)나 RAM(154) 등의 하드웨어를 사용하여, 서버(10)의 동작을 전반적으로 제어한다. 또한, 도 6에 도시한 바와 같이, 제어부(100)는 공간 정보 취득부(102), 조작 정보 취득부(104), 시점 이동부(106), 영상 생성부(108), 및, 출력 제어부(110)를 갖는다.

[2-1-2. 공간 정보 취득부(102)]

공간 정보 취득부(102)는 예를 들어 작업 공간에 있어서 센싱되는 삼차원 정보 및 화상 정보를 취득한다. 예를 들어, 공간 정보 취득부(102)는 작업 공간에 있어서 복수의 뎁스 카메라(30)에 의해 센싱된 RGB-D의 정보를 복수의 뎁스 카메라(30)로부터 수신한다.

또한, 공간 정보 취득부(102)는 취득된 삼차원 정보 및 화상 정보에 기초하여, 포인트 클라우드를 구성한다.

[2-1-3. 조작 정보 취득부(104)]

조작 정보 취득부(104)는 유저(4)의 조작 정보를 취득한다. 예를 들어, 조작 정보 취득부(104)는 "jack-in" 커맨드 또는 "jack-out" 커맨드를 발행하는 조작의 정보를 취득한다. 여기서, "jack-in" 커맨드 또는 "jack-out" 커맨드를 발행하는 조작은, 예를 들어 제스처 조작, 조작부(도시 생략)에 대한 조작, 음성 입력, 또는, 시선 조작 등이어도 된다. 또한, 제스처 조작은, 예를 들어 헤드 제스처나, 핸드 제스처 등이다. 또한, 조작부는, 예를 들어 조이 스틱이나 터치 패널 등이다.

예를 들어, 조작 정보 취득부(104)는 모션 캡쳐 센서(34) 등에 의해 검출되는, 유저(4)의 헤드 정보(위치, 가속도, 속도 등)를 취득하고, 그리고, 취득된 정보에 기초하여 헤드 제스처를 인식한다. 일례로서, 유저(4)가 헤드를 후방 경사 상방으로 재빠르게 움직이는 움직임이 검출된 경우에는, 조작 정보 취득부(104)는 검출된 움직임을, "jack-out" 커맨드를 발행하기 위한 헤드 제스처로서 인식한다.

(2-1-3-1. jack-in 대상의 선택)

또한, 예를 들어 "jack-in" 커맨드의 발행 전에, 조작 정보 취득부(104)는 jack-in 대상인 이동체(2)를 유저(4)가 선택하는 조작의 정보를 취득한다. 예를 들어, 공간 관측 영상에 표시되어 있는 하나 이상의 이동체(2) 중 어느 방향으로 유저(4)가 시선을 향한 것이 검출된 경우에는, 조작 정보 취득부(104)는 시선이 향해진 이동체(2)를 jack-in 대상인 이동체(2)로서 인식한다. 또한, 이때, 출력 제어부(110)의 제어에 의해, 도 7에 도시한 바와 같이, 공간 관측 영상에 있어서의 jack-in 대상인 이동체(2)의 예를 들어 근방에 「로크 온」 마크(510)가 중첩 표시될 수 있다.

또는, 작업 공간에 위치하는 하나 이상의 POI 중 어느 것을 유저(4)가 선택하는 조작이 검출된 경우에는, 조작 정보 취득부(104)는 선택된 POI에 대응하는 이동체(2)를 jack-in 대상인 이동체(2)로서 인식한다. 여기서, POI는, 작업 공간 내의 예를 들어 작업 테이블의 중심 등의 소정의 위치나, 이동체(2)의 위치 등을 포함한다. 또한, 예를 들어 공간 관측 영상의 표시 시에, POI의 선택 UI가 유저(4)에게 제시될 수 있다. 그리고, 이 선택 UI를 사용하여, 유저(4)는 어느 POI를 선택할 수 있다.

[2-1-4. 시점 이동부(106)]

시점 이동부(106)는 조작 정보 취득부(104)에 의해 취득되는 조작 정보, 및, 공간 정보 취득부(102)에 의해 구성된 포인트 클라우드에 기초하여, 이동체(2)의 이동체 시점과 공간 관측 시점 사이에서 시점 위치를 연속적으로 이동시킨다. 예를 들어, 시점 이동부(106)는 이동체(2)의 이동체 시점과 공간 관측 시점을 연속적으로 연결하는 이동 경로를 결정하고, 그리고, 결정한 이동 경로를 따라서 시점 위치를 연속적으로 이동시킨다. 또한, 시점 이동부(106)는 이동 경로에 있어서의 시점 위치의 이동에 따라서 시점의 방향이 연속적으로 변화되도록, 시점의 방향을 결정하는 것도 가능하다. 또한, 시점 이동부(106)는 이동 경로에 있어서의 시점 위치의 이동에 따라서 화각이 연속적으로 변화되도록 화각을 결정하는 것도 가능하다.

(2-1-4-1. jack-out 시)

예를 들어, "jack-out" 커맨드의 발행을 나타내는 조작 정보가 조작 정보 취득부(104)에 의해 취득된 경우에는, 시점 이동부(106)는 유저(4)가 jack-in 중인 이동체(2)의 이동체 시점으로부터 공간 관측 시점까지 시점 위치를 연속적으로 이동시킨다.

여기서, 도 8을 참조하여, 상기의 내용에 대하여 더욱 상세하게 설명한다. 도 8은 "jack-out" 커맨드가 발행된 경우에 있어서 시점 이동부(106)에 의해 결정되는 이동 경로의 일례(이동 경로(60))를 도시한 설명도이다. 이 경우에는, 예를 들어 시점 이동부(106)는, 공간 정보 취득부(102)에 의해 구성된 포인트 클라우드에 기초하여, 이동 경로(60)의 시점에 있어서의 시점 V1을, 유저(4)가 jack-in 중인 이동체(2)의 이동체 시점과 일치시키고, 또한, 이동 경로(60)의 종점에 있어서의 시점 V5를 공간 관측 시점과 일치시킨다. 그리고, 시점 이동부(106)는 시점 위치가 연속적으로 변화되도록 시점 위치를 선형 보간함으로써, 이동 경로(60)를 결정한다. 예를 들어, 도 8에 도시한 바와 같이, 시점 이동부(106)는 이동 경로(60)를 베지어 곡선으로서 결정해도 된다. 또한, 이때, 공간 관측 시점의 위치는, 도 8에 도시한 바와 같이, 작업 공간에 있어서 해당 이동체(2)보다도 후방 또한 상방에 설정되고, 또한, 공간 관측 시점의 방향은, 해당 이동체(2)를 향하는 방향으로 설정될 수 있다.

또한, 시점 이동부(106)는, 예를 들어 이동 경로(60)의 시점에 있어서의 시점 V1의 방향을, 유저(4)가 jack-in 중인 이동체(2)의 이동체 시점의 방향과 일치시키고, 또한, 이동 경로(60)의 종점에 있어서의 시점 V5의 방향을 공간 관측 시점의 방향과 일치시켜도 된다. 그리고, 시점 이동부(106)는 시점 위치의 이동에 따라서 시점의 방향이 연속적으로 변화되도록, 이동 경로(60)에 있어서 시점의 방향을 선형 보간해도 된다. 상기의 결정예에 따르면, jack-out가 완료되었을 때의 공간 관측 시점에 기초하는 영상은, 이동체(2)의 후방으로부터 이동체(2)를 내려다보는 영상으로 될 수 있다. 또한, 당해 영상은, 해당 이동체(2)가 영상의 중앙에 위치하는 영상으로 될 수 있다.

이에 의해, 예를 들어 이동체(2)가 사람인 경우에는, 유저(4)가 jack-in 중인 인물의 헤드로부터 빠져나오고, 그리고, 해당 인물의 후방 또한 상방으로 시점이 연속적으로 상승해 가는 천이 영상이 생성된다. 따라서, 유저(4)는 천이 영상을 시인함으로써, 해당 인물로부터 체외 이탈하는 듯한 감각을 얻을 수 있다.

또한, 시점 이동부(106)는 이동 경로(60)의 시점과 종점 사이에서 화각이 연속적으로 변화되도록, 이동 경로(60)에 있어서의 화각을 결정하는 것도 가능하다. 예를 들어, 도 8에 도시한 예에서는, 시점 이동부(106)는 이동 경로(60)의 시점에 있어서의 시점 V1의 화각을, 유저(4)가 jack-in 중인 이동체(2)의 이동체 시점의 화각과 일치시키고, 또한, 이동 경로(60)의 종점에 있어서의 시점 V5의 화각을 공간 관측 시점의 화각과 일치시켜도 된다. 그리고, 시점 이동부(106)는 시점 위치의 이동에 따라서 화각이 연속적으로 변화되도록, 이동 경로(60)에 있어서 화각을 선형 보간해도 된다.

또한, 시점 이동부(106)는, 결정한 이동 경로에 있어서의 현재의 시점 위치와 종점의 위치의 위치 관계에 기초하여, 현재의 시점 위치의 이동 속도를 결정하는 것이 가능하다. 예를 들어, 도 8에 도시한 예에서는, 시점 V2, V3, V4, V5는, 시점 이동부(106)에 의해 결정된 이동 경로를 따라서 단위 시간 간격으로 이동된 시점을 각각 나타내고 있다. 도 8에 도시한 바와 같이, 시점 이동부(106)는 이동 경로(60)에 있어서의 시점 위치가 종점에 가까워질수록 이동 속도가 느려지도록, 시점의 이동 속도를 결정한다. 여기서, 경과 시간과, 시점의 이동 속도의 관계는 선형이어도 되고, 비선형이어도 된다. 예를 들어, 시점 이동부(106)는 경과 시간과, 시점의 이동 속도의 관계가 소정의 대수 함수와 일치하도록, 시점의 이동 속도를 결정해도 된다. 혹은, 시점 이동부(106)는, 결정한 이동 경로를 따라서 시점의 이동 속도가 슬로우 인 및 슬로우 아웃과 같이 변화되도록, 시점의 이동 속도를 결정해도 된다. 즉, 시점 이동부(106)는 이동 경로에 있어서의 시점으로부터 중간 지점까지 이동 속도가 서서히 가속되어 가고, 그리고, 중간 지점으로부터 종점까지 이동 속도가 서서히 감속되어 가도록, 시점의 이동 속도를 결정해도 된다.

- 공간 관측 시점의 결정

또한, jack-out 시의 공간 관측 시점의 위치는, 소정의 조건에 기초하여 결정될 수 있다. 예를 들어, 당해 공간 관측 시점은, 작업 공간에 있어서의 이동체(2)의 배치에 기초하여 결정되어도 된다. 일례로서, 당해 공간 관측 시점은, 작업 공간에 위치하는 모든 이동체(2)가 관측 가능한 위치 및 화각으로 결정되어도 된다.

또는, 당해 공간 관측 시점은, 해당 유저(4)의 설정 정보에 따라서 결정되어도 된다. 또는, 당해 공간 관측 시점은, 작업 공간에 있어서 행해지는 작업(작업 목적)에 기초하여 결정되어도 된다. 예를 들어, 작업 목적에 적합한 공간 관측 시점의 위치 및 화각의 정보가 기억부(122)에 미리 저장되어 있고, 그리고, 당해 공간 관측 시점은, 기억부(122)에 저장되어 있는 정보에 기초하여 결정될 수 있다. 일례로서, 작업 공간이 「수술실」인 경우(수술 모드 시)에는, 당해 공간 관측 시점은, 적어도 수술대 전체를 관측 가능한 위치 및 화각으로 정해질 수 있다. 또는, 작업 공간이 「키친」인 경우(요리 모드 시)에는, 당해 공간 관측 시점은, 키친 전체를 관측 가능한 위치 및 화각으로 정해질 수 있다.

또한, 작업 공간에 대응하는 작업 목적은, 예를 들어 "jack-out" 커맨드의 발행 전 등에 유저(4)에게 선택시켜도 된다. 또는, 이동체(2)가 행하고 있는 작업의 내용을 나타내는 정보에 기초하여, 서버(10)가 작업 목적을 자동적으로 결정해도 된다. 또는, 작업 공간(작업 공간의 위치나 작업 공간의 종류 등)에 따라서, 서버(10)가 작업 목적을 자동적으로 결정해도 된다.

(2-1-4-2. 공간 관측 시점 모드 시)

또한, jack-out가 종료된 경우(이하, 공간 관측 시점 모드 시라 칭하는 경우가 있음)에는, 시점 이동부(106)는 조작 정보 취득부(104)에 의해 취득되는 조작 정보에 기초하여, 공간 관측 시점의 위치를 연속적으로 이동시킨다. 예를 들어, 시점 이동부(106)는 POI에 기초하여 작업 공간을 내비게이트하는 조작의 검출에 기초하여, 도 9에 도시한 바와 같이, 공간 관측 시점의 위치를 연속적으로 이동시킨다. 예를 들어, 작업 공간에 위치하는 어느 POI에 접근하기 위한 조작이 검출된 경우에는, 도 9에 도시한 시점 V1, V2, V3과 같이, 시점 이동부(106)는, 예를 들어 공간 관측 시점의 방향을 해당 POI를 향한 상태를 유지하면서, 공간 관측 시점의 위치를 해당 POI에 연속적으로 접근시킨다. 또한, 어느 POI의 주위를 회전하기 위한 조작이 검출된 경우에는, 도 9에 도시한 시점 V1, V4, V5, V6과 같이, 시점 이동부(106)는, 예를 들어 (서클 스트래이프와 같이) 해당 POI를 중심으로 하여 공간 관측 시점의 위치를 연속적으로 회전 이동시키면서, 공간 관측 시점의 방향이 해당 POI를 향한 상태를 유지하도록, 공간 관측 시점의 방향을 연속적으로 변화시킨다.

(2-1-4-3. jack-in 시)

또한, jack-in 대상인 이동체(2)가 유저(4)에 의해 선택되고, 또한, "jack-in" 커맨드가 발행된 것을 나타내는 조작 정보가 조작 정보 취득부(104)에 의해 취득된 경우에는, 시점 이동부(106)는 공간 관측 시점으로부터, jack-in 대상인 이동체(2)의 이동체 시점까지 시점 위치를 연속적으로 이동시킨다.

여기서, 도 10을 참조하여, 상기 내용에 대하여 더욱 상세하게 설명한다. 도 10은 "jack-in" 커맨드가 발행된 경우에 있어서 시점 이동부(106)에 의해 결정되는 이동 경로의 일례(이동 경로(62))를 도시한 설명도이다. 이 경우에는, 예를 들어 시점 이동부(106)는 이동 경로(62)의 시점에 있어서의 시점 V1을, ("jack-in" 커맨드의 발행 시의) 공간 관측 시점과 일치시키고, 또한, 이동 경로(62)의 종점에 있어서의 시점 V5를, jack-in 대상인 이동체(2)의 이동체 시점과 일치시킨다. 그리고, 시점 이동부(106)는 시점 위치가 연속적으로 변화되도록 시점 위치를 선형 보간함으로써, 이동 경로(62)를 결정한다. 예를 들어, 도 10에 도시한 바와 같이, 시점 이동부(106)는 이동 경로(62)를 베지어 곡선으로서 결정해도 된다.

또한, 시점 이동부(106)는, 예를 들어 이동 경로(62)의 시점에 있어서의 시점 V1의 방향을, 예를 들어 모션 캡쳐 센서(34) 등에 의해 센싱되는 유저(4)의 헤드 방향(또는 시선 방향)과 일치시키고, 또한, 이동 경로(62)의 종점에 있어서의 시점 V5의 방향을, jack-in 대상인 이동체(2)의 이동체 시점의 방향과 일치시켜도 된다. 그리고, 시점 이동부(106)는 시점 위치의 이동에 따라서 시점의 방향이 연속적으로 변화되도록, 이동 경로(62)에 있어서 시점의 방향을 선형 보간해도 된다. 상기의 결정예에 따르면, 공간 관측 시점으로부터 이동체(2)의 이동체 시점으로 연속적으로 이동하는 천이 영상이 생성될 수 있다. 예를 들어 jack-in 대상인 이동체(2)가 사람인 경우에는, jack-in 대상인 이동체(2)의 후방으로부터 해당 이동체(2)의 헤드부까지 시점 위치가 연속적으로 이동하고, 그리고, 해당 이동체(2)와 통합되는 듯한 감각을 유저(4)에게 부여할 수 있는 천이 영상이 생성된다.

또한, 시점 이동부(106)는 이동 경로(62)의 시점과 종점 사이에서 화각이 연속적으로 변화되도록, 이동 경로(62)에 있어서의 화각을 결정하는 것도 가능하다. 예를 들어, 도 10에 도시한 예에서는, 시점 이동부(106)는 이동 경로(60)의 시점에 있어서의 시점 V1의 화각을, 공간 관측 시점의 화각과 일치시키고, 또한, 이동 경로(60)의 종점에 있어서의 시점 V5의 화각을, jack-in 대상인 이동체(2)의 이동체 시점의 화각과 일치시켜도 된다. 그리고, 시점 이동부(106)는 시점 위치의 이동에 따라서 화각이 연속적으로 변화되도록, 이동 경로(62)에 있어서 화각을 선형 보간해도 된다.

또한, 시점 이동부(106)는 (jack-out의 경우와 마찬가지로) 이동 경로(62)에 있어서의 시점 위치가 종점에 가까워질수록 이동 속도가 느려지도록, 시점의 이동 속도를 결정하는 것이 가능하다. 예를 들어, 도 10에 도시한 예에서는, 시점 V2, V3, V4, V5는, 시점 이동부(106)에 의해 이동 경로를 따라서 단위 시간 간격으로 이동된 시점을 나타내고 있다. 예를 들어, 시점 이동부(106)는 경과 시간과, 시점의 이동 속도의 관계가 소정의 대수 함수와 일치하도록, 시점의 이동 속도를 결정해도 된다.

[2-1-5. 영상 생성부(108)]

영상 생성부(108)는 본 개시에 있어서의 표시 제어부의 일례이다. 영상 생성부(108)는 유저(4)가 시인하는 표시 영역에 표시되는 영상을 생성한다.

(2-1-5-1. 이동체 영상)

예를 들어, 유저(4)가 어느 이동체(2)에 jack-in하고 있는 동안에는, 영상 생성부(108)는 해당 이동체(2)에 장착된 카메라(200)에 의해 촬상된 영상에 기초하여, 이동체 영상을 생성한다. 예를 들어, 영상 생성부(108)는 해당 카메라(200)에 의해 촬상된 화상에 기초하여 파노라마 화상(이동체 영상)을 생성한다. 예를 들어, 이동체 영상은, 이동체(2)의 이동체 시점의 위치의 주위의 환경을 유저(4)가 자유롭게 둘러보는 것이 가능한 반구의 영상이어도 된다. 이 이동체 영상에 따르면, jack-in 중인 이동체(2)의 시점에 있어서 촬상되는 영상을 유저(4)는 시인할 수 있다.

또한, 이동체(2)가 사람인 경우에는, 이동체(2)의 헤드부가 회전하면, 생성되는 이동체 영상에 있어서, 바람직하지 않은 화상의 흔들림이 포함된다. 그리고, 유저(4)는, 이러한 이동체 영상을 보면 모션 시크니스를 느낄 수 있다. 따라서, 영상 생성부(108)는 해당 카메라(200)에 의해 촬상된 화상에 대하여, 예를 들어 특허문헌 1에 기재된 기술 등의 공지의 기술을 사용한 흔들림의 보정 처리를 행함으로써, 이동체 영상을 생성하는 것이 바람직하다.

예를 들어, 영상 생성부(108)는 해당 카메라(200)에 의해 촬상된 연속한 프레임간에서의 이동체(2)의 헤드부의 회전을 추정한다. 그리고, 영상 생성부(108)는, 해당 카메라(200)에 의해 촬상된 각 프레임에 대하여, 당해 프레임에 관하여 추정된 합계의 (이동체(2)의 헤드부) 회전량에 따라서 역회전시키는 보정을 행한다. 이에 의해, 생성되는 이동체 영상에 있어서, 이동체(2)의 헤드부의 회전에 수반되는 화상의 흔들림이 억제된다.

(2-1-5-2. 공간 관측 영상)

또한, 공간 관측 시점 모드 시에는, 영상 생성부(108)는 시점 이동부(106)에 의해 결정되는 공간 관측 시점(위치, 방향 및 화각)과, 공간 정보 취득부(102)에 의해 구성된 포인트 클라우드에 기초하여, 공간 관측 영상을 생성한다. 이 공간 관측 영상에서는, 유저(4)는 작업 공간을 부감할 수 있고, 예를 들어 작업 공간의 전체를 관측할 수 있다. 예를 들어, 유저(4)는 작업 공간에 위치하는 복수의 이동체(2)의 위치 관계를 파악할 수 있다.

또한, 변형예로서, 유저(4)가 직전까지 jack-in하고 있었던 이동체(2)가 공간 관측 시점의 시야에 포함되는 경우에는, 영상 생성부(108)는 해당 이동체(2)를 명시하는 표시를 공간 관측 영상 내에 배치해도 된다.

(2-1-5-3. 제1 천이 영상)

또한, "jack-out" 커맨드가 발행된 경우에는, 영상 생성부(108)는 유저(4)가 jack-in하고 있는 이동체(2)의 이동체 시점으로부터 공간 관측 시점까지, 시점 이동부(106)에 의해 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 생성한다. 이 경우에는, 예를 들어 영상 생성부(108)는 단위 시간마다, 시점 이동부(106)에 의해 이동된 시점과, 공간 정보 취득부(102)에 의해 구성된 포인트 클라우드에 기초하여 프레임을 생성함으로써, 제1 천이 영상을 생성한다.

도 11은 생성된 제1 천이 영상에 포함되는 4매의 프레임의 예를 도시한 도면이다. 또한, 도 11에 도시한 프레임(70a)은, 예를 들어 "jack-out" 커맨드가 발행된 시점에 있어서의 이동체 영상과 동일하고, 또한, 프레임(70d)은 jack-out가 종료된 시점에 있어서의 공간 관측 영상과 동일하다. 도 11에 도시한 바와 같이, 프레임(70a)과 프레임(70d) 사이에, (프레임(70a)으로부터 프레임(70d)으로의 천이를 나타내는) 프레임(70b) 및 프레임(70c)이 표시된다.

이 제1 천이 영상에서는, 유저(4)가 직전까지 jack-in하고 있었던 이동체(2)의 이동체 시점으로부터 공간 관측 시점으로의 이행에 수반되는 위치 관계의 변화를, 유저(4)는 용이하게 이해할 수 있다.

(2-1-5-4. 제2 천이 영상)

또한, jack-in 대상인 이동체(2)가 유저(4)에 의해 선택되고, 또한, "jack-in" 커맨드가 발행된 것을 나타내는 조작 정보가 조작 정보 취득부(104)에 의해 취득된 경우에는, 영상 생성부(108)는 공간 관측 시점으로부터 jack-in 대상인 이동체(2)의 이동체 시점까지, 시점 이동부(106)에 의해 연속적으로 이동되는 시점 위치에 따른 제2 천이 영상을 생성한다. 또한, 제2 천이 영상의 구체적인 생성 방법은, 제1 천이 영상과 개략 마찬가지이다.

도 12는 생성된 제2 천이 영상에 포함되는 4매의 프레임의 예를 도시한 도면이다. 또한, 도 12에 도시한 프레임(72a)은, 예를 들어 "jack-in" 커맨드가 발행된 시점에 있어서의 공간 관측 영상과 동일하고, 또한, 프레임(72d)은 jack-in이 종료된 시점에 있어서의, jack-in 대상인 이동체(2)의 이동체 영상과 동일하다. 도 12에 도시한 바와 같이, 프레임(72a)과 프레임(72d) 사이에, (프레임(72a)으로부터 프레임(72d)으로의 천이를 나타내는) 프레임(72b) 및 프레임(72c)이 표시된다.

이 제2 천이 영상에서는, 공간 관측 시점으로부터 jack-in 대상인 이동체(2)의 이동체 시점으로의 이행에 수반되는 위치 관계의 변화를, 유저(4)는 용이하게 이해할 수 있다.

[2-1-6. 출력 제어부(110)]

(2-1-6-1. 영상의 표시)

출력 제어부(110)는 본 개시에 있어서의 표시 제어부의 일례이다. 출력 제어부(110)는 영상 생성부(108)에 의해 생성된 영상을, 유저(4)가 시인하는 표시 영역에 표시시킨다. 예를 들어, 출력 제어부(110)는 이동체 영상, 공간 관측 영상, 제1 천이 영상, 또는, 제2 천이 영상이 영상 생성부(108)에 의해 생성되었을 때에, 생성된 영상을 스크린(38)에 대하여 프로젝터(36)에 순차적으로 투영시킨다.

(2-1-6-2. 「로크 온」 마크)

또한, 공간 관측 영상의 표시 시에, 출력 제어부(110)는 예를 들어 도 7에 도시한 바와 같은 「로크 온」 마크(510)를 공간 관측 영상에 중첩하여 표시시키는 것이 가능하다. 이 「로크 온」 마크(510)는, 예를 들어 유저(4)에 의해 jack-in 대상으로서 선택된 이동체(2)를 명시하기 위한 표시이다. 단, 이러한 예에 한정되지 않고, 「로크 온」 마크(510)는 jack-in 대상인 이동체(2)를 유저(4)가 선택하기 위한 UI여도 된다. 이 경우, 공간 관측 영상 내에 표시되어 있는 모든 이동체(2)에 관하여 「로크 온」 마크(510)가 표시되어도 된다.

(2-1-6-3. 이동체(2)의 선택 시의 UI)

또한, 예를 들어 공간 관측 영상의 표시 시에, 출력 제어부(110)는 jack-in 대상인 이동체(2)를 유저(4)가 선택하기 위한 UI를, 표시 중인 영상에 중첩하여 표시시키는 것도 가능하다. 이 UI는, 예를 들어 이동체(2)마다, 현재 jack-in 가능한지 여부의 정보, 당해 이동체(2)에 jack-in 가능한 유저(4)의 정원, 및, 당해 이동체(2)에 jack-in하고 있는 유저(4)의 식별 정보 등의 정보를 포함할 수 있다. 또한, 이 UI는, 임의의 이동체(2)와 채트하기 위한 채트 UI를 포함해도 되고, 또는, 개개의 이동체(2)와 다른 유저(4b)(또는 당해 유저(4a))의 채트의 이력 정보를 포함해도 된다. 또는, 이 UI는, 임의의 이동체(2)(사람)에 대하여 발호하기 위한 전화번호부 UI를 포함해도 된다. 예를 들어, 유저(4)는 헤드셋이나 휴대 전화기 등을 사용하여, 임의의 이동체(2)와 통화할 수 있다.

(2-1-6-4. 이동체(2)에의 통지)

또한, 변형예로서, jack-out 대상(또는 jack-in 대상)인 이동체(2)가 사람인 경우에는, 출력 제어부(110)는 jack-out(또는 jack-in)의 실행의 완료를 나타내는 통지를, jack-out 대상(또는 jack-in 대상)인 이동체(2)에 대하여 출력시키는 것도 가능하다. 예를 들어, jack-out 후에, 출력 제어부(110)는 jack-out의 실행의 완료를 나타내는 표시, 음성 또는 진동을, 유저(4)가 직전까지 jack-in하고 있었던 이동체(2)에 대하여 출력시켜도 된다. 또한, 이때, 출력 제어부(110)는 jack-out 한 유저(4)의 식별 정보를 해당 이동체(2)에 대하여 더 통지해도 된다. 또한, jack-in의 경우의 통지예도 마찬가지여도 된다.

[2-1-7. 통신부(120)]

통신부(120)는 서버(10)와 통신 가능한 다른 장치와의 사이에서 정보의 송수신을 행한다. 예를 들어, 통신부(120)는 출력 제어부(110)의 제어에 따라서, 생성된 영상을 프로젝터(36)에 송신한다. 또한, 통신부(120)는 각 이동체(2)에 장착된 카메라(200)에 의해 촬상된 영상을 수신한다. 또한, 통신부(120)는 센싱된 정보를 뎁스 카메라(30), 모션 캡쳐 센서(32), 또는, 모션 캡쳐 센서(34) 등으로부터 수신한다.

[2-1-8. 기억부(122)]

기억부(122)는 각종 데이터나 각종 소프트웨어를 기억한다. 예를 들어, 기억부(122)는 이력 정보 DB를 기억한다. 이 이력 정보 DB에서는, 예를 들어 일시, 유저(4)의 식별 정보, 당해 유저(4)에 의해 jack-in 또는 jack-out된 이동체(2)의 식별 정보, 작업 공간에 관한 정보, 및, jack-in 또는 jack-out의 실행 정보가 대응지어질 수 있다. 여기서, 작업 공간에 관한 정보는, 예를 들어 작업 공간의 장소를 나타내는 정보, 또는, 작업 공간에서 행해지는 작업 내용(예를 들어, 수술, 요리 등)의 정보를 포함할 수 있다. 이에 의해, 예를 들어 유저(4)는 유저(4)의 식별 정보, 또는, 이동체(2)의 식별 정보를 검색 키로 하여 이력 정보 DB를 검색함으로써, 원하는 이력 정보를 열람할 수 있다. 또한, 유저(4)는 이력 정보를 열람하였을 때에, 해당 이력 정보에 따른 내용의 jack-in 또는 jack-out의 지시를 새롭게 행하는 것도 가능하다.

또한, 제어부(100)는 예를 들어 jack-in 또는 jack-out이 실행될 때마다, 해당 이력 정보를 이력 정보 DB에 저장하는 것이 가능하다.

<2-2. 동작>

[2-2-1. 전체적인 흐름]

이상, 본 실시 형태에 의한 구성에 대하여 설명하였다. 다음에, 본 실시 형태에 의한 동작의 흐름의 일례에 대하여 설명한다. 또한, 이하에서는, 서버(10)가 작업 공간의 삼차원 정보를 미리 취득하고 있고, 그리고, 포인트 클라우드가 미리 구성되어 있는 것을 전제로 한다. 또한, 초기 상태에서는, 작업 공간 내의 어떤 이동체(2)에 유저(4)가 jack-in 중인 것을 전제로 한다.

도 13에 도시한 바와 같이, 먼저, 서버(10)의 영상 생성부(108)는 유저(4)가 jack-in하고 있는 이동체(2)에 장착된 카메라(200)에 의해 촬상된 영상을 취득하고, 그리고, 취득한 영상에 기초하여 이동체 영상을 순차적으로 생성한다. 그리고, 출력 제어부(110)는, 생성한 이동체 영상을, 유저(4)가 시인하는 표시 영역에 순차적으로 표시시킨다(S101).

그리고, 서버(10)는 유저(4)에 의해 "jack-out" 커맨드가 발행되었는지 여부를 판정한다(S103). "jack-out" 커맨드가 발행되지 않은 경우에는(S103 : "아니오"), 서버(10)는 S101의 처리를 반복한다.

한편, "jack-out" 커맨드가 발행된 것이 검출된 경우에는(S103 : "예"), 서버(10)는 후술하는 「jack-out 처리」를 행한다(S105).

그 후, 영상 생성부(108)는 공간 관측 시점과, 공간 정보 취득부(102)에 의해 미리 구성된 포인트 클라우드에 기초하여 공간 관측 영상을 순차적으로 생성한다. 그리고, 출력 제어부(110)는 생성된 공간 관측 영상을, 유저(4)가 시인하는 표시 영역에 순차적으로 표시시킨다(S107).

그리고, 서버(10)는 유저(4)에 의해 jack-in 대상인 이동체(2)가 선택되고, 또한, "jack-in" 커맨드가 발행되었는지 여부를 판정한다(S109). jack-in 대상인 이동체(2)가 선택되지 않았거나, 또는, "jack-in" 커맨드가 발행되지 않은 경우에는(S109 : "아니오"), 서버(10)는 S107의 처리를 반복한다.

한편, jack-in 대상인 이동체(2)가 선택되고, 또한 "jack-in" 커맨드가 발행된 경우에는(S109 : "예"), 서버(10)는 후술하는 「jack-in 처리」를 행한다(S111).

그 후, 영상 생성부(108)는 S111에서 jack-in된 이동체(2)에 장착되어 있는 카메라(200)에 의해 촬상된 영상을 취득하고, 그리고, 취득한 영상에 기초하여 이동체 영상을 순차적으로 생성한다. 그리고, 출력 제어부(110)는, 생성한 이동체 영상을, 유저(4)가 시인하는 표시 영역에 순차적으로 표시시킨다(S113).

[2-2-2. jack-out 처리]

여기서, 도 14를 참조하여, S105에 있어서의 「jack-out 처리」의 내용에 대하여 상세하게 설명한다. 도 14에 도시한 바와 같이, 먼저, 시점 이동부(106)는 유저(4)가 jack-in 중인 이동체(2)의 이동체 시점으로부터 공간 관측 시점까지의 이동 경로를, 구성 완료된 포인트 클라우드에 기초하여 결정한다(S201).

그 후, 시점 이동부(106)는 생성 대상인 제1 천이 화상에 있어서의 프레임의 번호를 나타내는 변수 I에 「1」을 설정한다(S203). 그리고, 시점 이동부(106)는 생성 대상인 제1 천이 화상에 포함되는 프레임의 총 매수를 N으로 설정한다(S205).

계속해서, 시점 이동부(106)는 I가 N 이하인지 여부를 판정한다(S207). I가 N 이하인 경우에는(S207 : "예"), 시점 이동부(106)는 S201에서 결정한 이동 경로를 따라서 I번째의 프레임 시점까지 시점 위치를 이동시킨다. 또한, 시점 이동부(106)는 시점 위치의 이동에 따라서 시점의 방향 및 화각이 연속적으로 변화되도록, I번째의 프레임 시점의 시점의 방향 및 화각을 결정한다(S209).

계속해서, 영상 생성부(108)는 이동된 시점 위치와, 구성 완료된 포인트 클라우드에 기초하여 I번째의 프레임을 생성한다(S211).

계속해서, 시점 이동부(106)는 I에 「1」을 가산한다(S213). 그리고, 시점 이동부(106)는 다시 S207의 처리를 행한다.

S207에 있어서 I가 N보다도 큰 경우, 즉, 제1 천이 영상의 생성이 종료된 경우에는(S207 : "아니오"), 출력 제어부(110)는, 생성된 제1 천이 영상을, 유저(4)가 시인하는 표시 영역에 표시시킨다(S215). 그리고, 서버(10)는 「jack-out 처리」를 종료한다.

[2-2-3. jack-in 처리]

다음에, 도 15를 참조하여, S111에 있어서의 「jack-in 처리」의 내용에 대하여 상세하게 설명한다. 도 15에 도시한 바와 같이, 먼저, 시점 이동부(106)는 현재의 공간 관측 시점으로부터, S109에서 유저(4)에 의해 선택된 jack-in 대상인 이동체(2)의 이동체 시점까지의 이동 경로를, 구성 완료된 포인트 클라우드에 기초하여 결정한다(S301).

또한, 도 15에 도시한 S303 내지 S315의 처리는, 「jack-out 처리」에 있어서의 S203 내지 S215의 처리와 개략 마찬가지이다.

<2-3. 효과>

[2-3-1. 효과 1]

이상 설명한 바와 같이, 본 실시 형태에 의한 서버(10)는 작업 공간에 있어서의 이동체(2)의 이동체 시점간을 이동할 때에 공간 관측 시점을 경유시킨다. 또한, 이동체 시점과 공간 관측 시점 사이의 이행 시(jack-out 또는 jack-in 시)에는, 서버(10)는 미리 구성된 포인트 클라우드에 기초하여, 이동체(2)의 이동체 시점과 공간 관측 시점 사이에서 시점 위치를 연속적으로 이동시킴으로써 천이 영상을 생성하고, 그리고, 생성한 천이 영상을, 유저(4)가 시인하는 표시 영역에 표시시킨다. 이 때문에, 작업 공간에 있어서의 시점의 이동을 공간적으로 끊김없이 유저(4)에게 제시할 수 있으므로, 시점의 이행에 수반되는 위치 관계의 변화를 유저(4)는 용이하게 이해할 수 있다.

또한, 공지의 기술에서는, 이동체 시점에 기초하는 영상만을 제공하는 기술, 혹은, 공간 관측 시점에 기초하는 영상만을 제공하는 기술이 개시되어 있다. 그러나, 본 실시 형태와 같은, 이동체(2a)의 이동체 시점과 공간 관측 시점을 심리스하게 이행하고, 또한, 다른 이동체(2b)의 이동체 시점에 들어가는 것을 실현하는 기술은 개시되어 있지 않다. 본 실시 형태에 따르면, 작업 공간에 위치하는 복수의 이동체(2)(사람이나 로봇)의 시점간을 자유롭게, 또한, 공간적인 연속성을 유지하면서 이행하는 것이 가능해진다. 따라서, 원격에 위치하는 유저(4)(관측자)는 작업 공간 전체를 파악하기 쉽다.

[2-3-2. 효과 2]

또한, 본 실시 형태는, 예를 들어 재해 현장 등의 원격 감시나 원격 조작 등에 적용 가능하다. 또한, 본 실시 형태에 따르면, 이동체(2)와 유저(4)의 제휴가 가능하게 되므로, 예를 들어 원격 수술이나 원격 실험 등의 여러 분야에도 적용 가능하다. 예를 들어, 유저(4)는 이동체 영상 및 공간 관측 영상을 적절히 전환하여 영상을 참조함으로써, 이동체(2)에 대하여 다양한 작업의 지시를 적절하게 부여할 수 있다.

[2-3-3. 효과 3]

또한, 본 실시 형태에 따르면, 스킬 전달을 위한 플랫폼을 구성 가능하다. 예를 들어, 스포츠, 악기의 연주, 공예 등의 스킬의 원격 학습에 유용하다. 예를 들어, 교사(이동체(2))는 자신의 스킬을 원격의 학습자(유저(4))에게 보이고, 그리고, 학습자는 보고 흉내낼 수 있다. 또한, 학습자는, 교사의 모범 연기를, 공간 관측 시점 또는 교사의 시점 중 어느 것으로부터도 관찰할 수 있다. 또한, 교사의 모범 연기가 등신대의 3D 모델로서 스크린(38)에 투영되는 경우, 학습자는, 교사의 모범 연기와 자신의 연기를 비교할 수 있다. 또한, 교사의 모범 연기를 아카이브화하고, 그리고, 스킬 전달을 위한, 새로운 인터렉티브한 교과서로서 패키지화할 수도 있다.

[2-3-4. 효과 4]

또한, 이동체(2)가 사람인 경우에는, jack-out 시에, 유저(4)가 jack-in 중인 이동체(2)의 헤드로부터 빠져나오고, 그리고, 해당 이동체(2)의 후방 또한 상방으로 시점이 연속적으로 상승해 가는 제1 천이 영상이 생성되고, 그리고, 유저(4)에게 제시된다. 이에 의해, 유저(4)는 해당 이동체(2)로부터 체외 이탈하는 듯한 감각을 얻을 수 있다.

또한, 본 실시 형태에 따르면, 인공적인 체외 이탈 체험을 연구하기 위한 플랫폼을 구성 가능하다. 예를 들어, 본 실시 형태에서는, 이동체 시점과 공간 관측 시점 사이에서의 심리스한 천이를 유저(4)에게 제공할 수 있으므로, 대외 이탈 체험에 관한 인지 작용을 연구하는 데 유용하다.

<2-4. 응용예>

이상, 본 실시 형태에 대하여 설명하였다. 상술한 실시 형태에서는, 기본적으로, 하나의 작업 공간에 있어서 시점간을 이행하는 예에 대하여 설명하였다. 그런데, 복수의 작업 공간이 미리 설정되어 있는 경우에는, 다른 작업 공간에 있어서의 시점간의 이행이 가능한 것이 바람직하다. 예를 들어, 도 16에 도시한 바와 같이, 작업 공간 "Room A"에 위치하는 이동체(2a)의 이동체 시점 또는 공간 관측 시점으로부터, 작업 공간 "Room B"에 위치하는 이동체(2c)의 이동체 시점으로 이행 가능한 것이 바람직하다.

다음에, 본 실시 형태의 응용예에 대하여 설명한다. 후술하는 바와 같이, 본 응용예에 따르면, 상이한 작업 공간에 위치하는 이동체(2)의 이동체 시점간을 연속적으로 연결하는 천이 영상을 생성하고, 그리고, 생성한 천이 영상을 유저(4)에게 시인시키는 것이 가능하다. 이에 의해, 상이한 작업 공간간에서 시점이 이행되는 경우에도, 시점의 이행에 수반되는 위치 관계의 변화를 유저(4)는 용이하게 이해할 수 있다.

[2-4-1. 구성]

먼저, 본 응용예에 의한 서버(10)의 구성에 대하여 상세하게 설명한다. 또한, 본 응용예에 의한 서버(10)에 포함되는 구성 요소에 대해서는, (도 6에 도시한) 상술한 실시 형태와 마찬가지이다. 이하에서는, 상술한 실시 형태와 상이한 기능을 갖는 구성 요소에 대해서만 설명을 행하고, 중복되는 내용에 대해서는 설명을 생략한다.

(2-4-1-1. 공간 정보 취득부(102))

본 응용예에 의한 공간 정보 취득부(102)는 복수의 작업 공간의 각각에 있어서 센싱되는 삼차원 정보 및 화상 정보를 취득한다. 예를 들어, 공간 정보 취득부(102)는, 복수의 작업 공간의 각각에 배치되어 있는 복수의 뎁스 카메라(30)에 의해 센싱된 RGB-D의 정보를, 각 작업 공간에 있어서의 복수의 뎁스 카메라(30)로부터 수신한다.

또한, 공간 정보 취득부(102)는 작업 공간마다, 취득된 삼차원 정보 및 화상 정보에 기초하여 당해 작업 공간의 포인트 클라우드를 구성한다.

(2-4-1-2. 조작 정보 취득부(104))

본 응용예에 의한 조작 정보 취득부(104)는, 예를 들어 공간 관측 시점 모드 시에, 어느 작업 공간에 위치하는 이동체 시점 또는 공간 관측 시점으로 시점을 이행하기 위한, 유저(4)의 조작 정보를 취득한다. 또한, 본 응용예에 있어서, 예를 들어 jack-in 대상인 이동체(2)를 지정하는 조작, 또는, 다른 작업 공간에 있어서의 공간 관측 시점으로 이행하기 위한 조작 등을 유저(4)는 행하는 것이 가능하다.

- 리스트로부터의 선택

예를 들어, 조작 정보 취득부(104)는 어느 작업 공간에 위치하는 이동체 시점 또는 공간 관측 시점으로 시점을 이행하기 위한, 유저(4)에게 제시되는 리스트로부터의 선택 조작의 정보를 취득하는 것이 가능하다. 예를 들어, 도 17에 도시된 바와 같은, 이동체(2)의 식별 정보(800) 및 작업 공간의 식별 정보(802)가 대응지어진 리스트(80)가 유저(4)에게 제시될 수 있다. 그리고, 유저(4)는 jack-in 대상인 이동체(2)를 리스트(80)로부터 선택하는 것, 및, 다른 작업 공간을 리스트(80)로부터 선택하는 것이 가능하다. 또한, 도 17에 도시한 리스트(80)는 이동체 「Michael」 및 이동체 「Jessica」가 작업 공간 「ABC Building Room101」에 위치하고 있는 것, 및, 이동체 「John」이 작업 공간 「XYZ Hall Room205」에 위치하고 있는 것을 나타내고 있다. 이 경우, 예를 들어 조작 정보 취득부(104)는 jack-in 대상인 이동체(2)를 리스트(80)로부터 유저(4)가 선택하는 조작의 정보를 취득한다. 또는, 조작 정보 취득부(104)는 jack-in 대상인 이동체(2)가 위치하는 작업 공간을 리스트(80)로부터 유저(4)가 선택하는 조작의 정보를 취득하고, 그리고, 취득한 정보에 기초하여 jack-in 대상인 이동체(2)를 특정하는 것도 가능하다. 또는, 조작 정보 취득부(104)는 다른 작업 공간의 공간 관측 시점으로 시점을 이행하기 위한, 작업 공간을 리스트(80)로부터 유저(4)가 선택하는 조작의 정보를 취득한다.

- 맵으로부터의 선택

또는, 조작 정보 취득부(104)는 어느 작업 공간에 위치하는 이동체 시점 또는 공간 관측 시점으로 시점을 이행하기 위한, 유저(4)에게 제시되는 맵으로부터의 선택 조작의 정보를 취득하는 것이 가능하다. 예를 들어, 도 18에 도시한 바와 같은, 각 작업 공간의 식별 정보(822), 및, 각 작업 공간에 위치하는 이동체(2)의 식별 정보(820)가 (각 작업 공간의 위치 정보와 대응지어져) 표시된 맵(82)이 유저(4)에게 제시될 수 있다. 그리고, 유저(4)는 jack-in 대상인 이동체(2)를 맵(82)으로부터 선택하는 것, 또는, 다른 작업 공간을 맵(82)으로부터 선택하는 것이 가능하다. 또한, 조작 정보의 구체적인 취득예에 관해서는, 상술한 리스트(80)의 경우와 마찬가지이다.

(2-4-1-3. 시점 이동부(106))

본 응용예에 의한 시점 이동부(106)는 조작 정보 취득부(104)에 의해 취득된 조작 정보에 따라서 특정되는, 이행처의 작업 공간에 있어서의 이동체 시점 또는 공간 관측 시점과, 현재의 작업 공간에 있어서의 현재의 시점 사이에서 시점 위치를 연속적으로 이동시킨다. 예를 들어, 현재의 시점이, 작업 공간 A에 위치하는 이동체(2a)의 이동체 시점이며, 또한, 이행처의 시점이, 작업 공간 B에 위치하는 이동체(2b)의 이동체 시점인 경우에는, 시점 이동부(106)는, 먼저, 이동체(2a)의 이동체 시점, 작업 공간 A 내의 공간 관측 시점, 부감 맵, 작업 공간 B 내의 공간 관측 시점, 및, 이동체(2b)의 이동체 시점의 순으로 연속적으로 연결하는 이동 경로를 결정한다. 그리고, 시점 이동부(106)는 결정한 이동 경로를 따라서 시점 위치를 연속적으로 이동시킨다. 여기서, 부감 맵은, 작업 공간 A와 작업 공간 B의 위치 관계를 나타내는 맵이다.

(2-4-1-4. 영상 생성부(108))

본 응용예에 의한 영상 생성부(108)는, 예를 들어 현재의 작업 공간(예를 들어 작업 공간 A)에 있어서의 현재의 이동체 시점으로부터 jack-out하고, 또한, 다른 작업 공간(예를 들어 작업 공간 B)에 위치하는 어떤 이동체(2b)의 이동체 시점으로 jack-in하기 위한 커맨드가 유저(4)에 의해 발행된 경우에는, 시점 이동부(106)에 의해 연속적으로 이동되는 시점 위치에 따른 천이 영상을 생성한다. 예를 들어, 영상 생성부(108)는, 생성 대상인 천이 영상 중, 작업 공간 A 내의 공간 관측 시점, 부감 맵, 및, 작업 공간 B 내의 공간 관측 시점의 순으로 이동되는 시점 위치에 따른 영상에 관해서는, 작업 공간 A로부터의 줌아웃, 작업 공간 A로부터 작업 공간 B로의 스크롤, 및, 작업 공간 B의 줌인의 순으로 시점 이동하는 애니메이션으로서 생성해도 된다. 도 19는 이 애니메이션의 1프레임의 표시예(84)를 도시한 설명도이다. 도 19에서는, 예를 들어 작업 공간 「ABC Building」으로부터 작업 공간 「XYZ Hall」로 시점이 이동될 때의 애니메이션의 예를 나타내고 있다.

[2-4-2. 효과]

이상, 설명한 바와 같이, 본 응용예에 따르면, 상이한 작업 공간에 위치하는 이동체(2)의 이동체 시점간을 연속적으로 연결하는 천이 영상을 생성하고, 그리고, 생성한 천이 영상을, 유저(4)가 시인하는 표시 영역에 표시시킨다. 이에 의해, 상이한 작업 공간간에서 시점이 이행되는 경우에도, 시점의 이행에 수반되는 위치 관계의 변화를 유저(4)는 용이하게 이해할 수 있다.

[2-4-3. 변형예]

또한, 상기의 설명에서는, 복수의 작업 공간이 정해져 있는 경우에 있어서, 부감 맵을 포함하는 천이 영상을 생성하는 예에 대하여 설명하였지만, 본 응용예는, 이러한 예에 한정되지 않는다. 예를 들어, 유저(4)가 현재 jack-in하고 있는 이동체(2a)와, 새로운 jack-in 대상인 이동체(2b)가 소정의 위치 관계로 되어 있는 경우에는, 서버(10)는 상술한 천이 영상의 생성 및 표시 제어를 행하는 것이 가능하다. 여기서, 소정의 위치 관계는, 예를 들어 이동체(2a)와 이동체(2b)가 소정의 역치 이상 이격되어 있는 경우여도 되고, 또는, 이동체(2a)와 이동체(2b) 사이에 차폐물(예를 들어 벽)이 존재하는 경우여도 된다.

<<3. 하드웨어 구성>>

다음에, 본 실시 형태에 의한 서버(10)의 하드웨어 구성에 대하여, 도 20을 참조하여 설명한다. 도 20에 도시한 바와 같이, 서버(10)는 CPU(150), ROM(152), RAM(154), 내부 버스(156), 인터페이스(158), 스토리지 장치(160) 및 통신 장치(162)를 구비한다.

CPU(150)는, 연산 처리 장치 및 제어 장치로서 기능하고, 각종 프로그램에 따라서 서버(10) 내의 동작 전반을 제어한다. 또한, CPU(150)는, 서버(10)에 있어서 제어부(100)의 기능을 실현한다. 또한, CPU(150)는, 마이크로프로세서 등의 프로세서에 의해 구성된다.

ROM(152)은, CPU(150)가 사용하는 프로그램이나 연산 파라미터 등의 제어용 데이터 등을 기억한다.

RAM(154)은, 예를 들어 CPU(150)에 의해 실행되는 프로그램 등을 일시적으로 기억한다.

내부 버스(156)는 CPU 버스 등으로 구성된다. 이 내부 버스(156)는 CPU(150), ROM(152) 및 RAM(154)을 서로 접속한다.

인터페이스(158)는 스토리지 장치(160) 및 통신 장치(162)를 내부 버스(156)와 접속한다. 예를 들어 스토리지 장치(160)는 이 인터페이스(158) 및 내부 버스(156)를 통해, CPU(150)와의 사이에서 데이터를 교환한다.

스토리지 장치(160)는 기억부(122)로서 기능하는, 데이터 저장용의 장치이다. 스토리지 장치(160)는, 예를 들어 기억 매체, 기억 매체에 데이터를 기록하는 기록 장치, 기억 매체로부터 데이터를 판독하는 판독 장치, 또는, 기억 매체에 기록된 데이터를 삭제하는 삭제 장치 등을 포함한다.

통신 장치(162)는 예를 들어 공중망이나 인터넷 등의 통신망에 접속하기 위한 통신 디바이스 등으로 구성된 통신 인터페이스이다. 또한, 통신 장치(162)는 무선 LAN(Local Area Network) 대응 통신 장치, LTE(Long Term Evolution) 대응 통신 장치, 또는, 유선에 의한 통신을 행하는 와이어 통신 장치여도 된다. 이 통신 장치(162)는 통신부(120)로서 기능한다.

<<4. 변형예>>

이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명하였지만, 본 개시는 이러한 예에 한정되지 않는다. 본 개시가 속하는 기술 분야에 있어서의 통상의 지식을 갖는 자라면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명백하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.

<4-1. 변형예 1>

예를 들어, 상술한 실시 형태에서는, 이동체(2)가 사람인 경우, 이동체(2)는 (도 2에 도시한 바와 같은) 헤드셋(20)을 장착하는 예에 대하여 설명하였지만, 이러한 예에 한정되지 않고, 전방위 카메라를 장착하는 것도 가능하다.

또한, 공지의 전방위 카메라를 이동체(2)가 헤드부에 장착한 경우에는, 이동체(2)의 전체 주위의 이동체 영상을 생성하는 것은 가능하다. 그러나, 스테레오 입체시를 실현할 수 없다.

그런데, 이동체 영상을 사용한 작업 지원 등의 응용을 고려하면, 이동체(2)의 전방 방향이 입체시 가능하면 유용하다. 따라서, 변형예로서, 이동체(2)는 예를 들어 도 21에 도시한 바와 같은 전방위 카메라(24)를 헤드부의 좌우(귀의 상방)에 장착해도 된다. 이 전방위 카메라(24)는 예를 들어 180° 초과의 시야각을 갖는 카메라, 및, 포지션 트래킹용의 마커를 구비한다. 이 전방위 카메라(24)가 헤드부의 좌우에 장착되면, 예를 들어 도 22에 도시한 바와 같이, 이동체(2)의 전방 방향의 촬상 영역(86), 및, 이동체(2)의 좌우 방향 및 후방 방향의 촬상 영역(88)이 촬상 가능하다. 그리고, 도 22에 도시한 바와 같이, 전방 방향의 촬상 영역(86)에 관해서는, 2개(좌우)의 전방위 카메라(24)에 의해 촬상되므로, 양안 입체시가 가능해진다.

이 변형예에 따르면, 이동체(2)의 전방 방향이 입체시 가능한 이동체 영상을, 유저(4)에게 시인시킬 수 있다. 따라서, 이동체 영상을 사용한 작업 지원 등의 경우에서 유용하다. 또한, 입체시가 불필요한 경우에는, 헤드부의 편측에 장착되는 전방위 카메라(24)의 촬상 범위를 제한하면 되고, 그리고, 이 경우에도, 이동체(2)의 전체 주위 영상을 취득할 수 있다.

<4-2. 변형예 2>

또한, 본 실시 형태에 의한 정보 처리 시스템은, 모션 캡쳐 센서(32)를 갖지 않아도 된다. 이 이유는, 복수의 뎁스 카메라(30)에 의한 센싱에 기초하여 구성되는 포인트 클라우드와, 각 이동체(2)에 장착되는 카메라(200)에 의해 촬상되는 영상에 기초하여, 서버(10)는 작업 공간에 있어서의 각 이동체(2)의 이동체 시점의 방향(이동체(2)의 이동 방향)을 특정할 수 있기 때문이다.

또한, 다른 변형예로서, 복수의 프로젝터(36) 및 복수의 스크린(38)이 설치되는 것 대신에, 서버(10)와 통신 가능한 HMD(Head Mounted Display)를 유저(4)가 장착해도 된다. 여기서, HMD는, 본 개시에 있어서의 표시 영역의 일례이다. 이 변형예에 따르면, 서버(10)로부터 송신되는 영상을 유저(4)는 HMD에 의해 시인할 수 있다.

또한, 이 변형예에서는, 유저(4)의 헤드나 눈 등의 움직임은, HMD에 의해 센싱되어도 된다. 그리고, 이 경우, 모션 캡쳐 센서(34)도 설치되지 않아도 된다.

<4-3. 변형예 3>

[4-3-1. 자주식 뎁스 카메라(90)]

또한, 상술한 실시 형태에서는, 작업 공간에 설치된 복수의 뎁스 카메라(30)에 의해 작업 공간의 삼차원 정보가 센싱되는 예에 대하여 설명하였지만, 이러한 예에 한정되지 않는다. 예를 들어, 도 23에 도시한 바와 같은, 작업 공간 내를 자유롭게 이동 가능한 자주식 뎁스 카메라(90)에 의해, 작업 공간의 삼차원 정보가 센싱되어도 된다. 예를 들어, 자주식 뎁스 카메라(90)는 뎁스 카메라가 설치된 자동 운전차여도 된다.

[4-3-2. 장착형 뎁스 카메라(92)]

또는, 도 24에 도시한 바와 같은, 이동체(2)가 장착하는 장착형 뎁스 카메라(92)에 의해, 작업 공간의 삼차원 정보가 센싱되어도 된다. 이 변형예에서는, 작업 공간 내를 각 이동체(2)가 이동함에 따라서, 서버(10)는 포인트 클라우드를 순차적으로 구성한다. 또한, 이 변형예에서는, 이동체(2)의 이동체 시점으로부터 삼차원 정보를 취득 가능하므로, 이동체 시점은, 공간 관측 시점으로도 된다. 따라서, 이 변형예에 따르면, 서버(10)는 공간 관측 영상과 같은 영상으로서 이동체 영상을 생성할 수 있다.

또는, (설치식의) 뎁스 카메라(30), 자주식 뎁스 카메라(90), 또는, 장착형 뎁스 카메라(92) 중 어느 2 이상이 병용됨으로써, 작업 공간의 삼차원 정보가 센싱되는 것도 가능하다.

<4-4. 변형예 4>

[4-4-1. 제한예 1]

또한, 다른 변형예로서, 소정의 조건을 충족시키는 경우에는, 서버(10)는 jack-out 또는 jack-in의 실행을 제한하는 것도 가능하다. 여기서, 소정의 조건은, 예를 들어 공간 관측 영상을 생성할 때에, 해당 작업 공간에 관한 삼차원 정보가 충분히 취득되어 있지 않은 경우이다. 또한, 이 경우, 예를 들어 "jack-out" 커맨드 또는 "jack-in" 커맨드가 발행되었을 때 등에, 서버(10)는 에러의 표시나 음성을 출력시켜도 된다.

또는, 서버(10)는 에러를 출력시키면서, 또한, 삼차원 정보가 충분히 취득되어 있는 위치까지 공간 관측 시점을 이동시켜도 된다. 그리고, 서버(10)는 이동 후의 공간 관측 시점에 기초하여 공간 관측 영상을 생성하는 것이 가능하다.

또는, 상술한 변형예 3에 의한 자주식 뎁스 카메라(90) 또는 장착형 뎁스 카메라(92)가 사용되는 경우에는, 서버(10)는 자주식 뎁스 카메라(90), 또는, 장착형 뎁스 카메라(92)를 장착하고 있는 이동체(2)를, 삼차원 정보가 충분히 취득되도록 이동시켜도 된다. 그리고, 서버(10)는 새롭게 취득된 삼차원 정보에 기초하여 공간 관측 영상을 생성하는 것이 가능하다.

또는, 작업 공간에 있어서 어떠한 차폐물이 존재하는 경우에는, 서버(10)는 차폐물을 어떠한 로봇에게 이동시키도록 해도 된다.

[4-4-2. 제한예 2]

또는, 상기의 소정의 조건은, 해당 이동체(2) 또는 관리자가 jack-out 또는 jack-in을 금지하고 있는 경우여도 된다. 이 조건에 따르면, 예를 들어 이동체(2)가 사람인 경우에, 이동체(2)는 프라이버시의 관점에서 jack-in을 일부 제한하는 것이 가능해진다.

[4-4-3. 제한예 3]

또는, 상기의 소정의 조건은, 해당 이동체(2)가 예를 들어 헤드 등을 크게 움직이고 있는 경우여도 된다. 이 조건에 따르면, 해당 이동체(2)로부터 jack-out할 때, 또는, 해당 이동체(2)에 jack-in할 때에 유저(4)가 느끼는 모션 시크니스가 커진다고 추정되는 경우에, jack-out 및 jack-in이 실행되지 않도록 제한할 수 있다.

또한, 이 경우, 예를 들어 "jack-out" 커맨드 또는 "jack-in" 커맨드가 유저(4)에 의해 발행되었을 때에는, 서버(10)는 jack-out 또는 jack-in의 실행을 일시 보류하고, 그리고, 해당 이동체(2)의 헤드 등의 움직임이 수렴되었을 때에 jack-out 또는 jack-in을 실행하는 것도 가능하다.

<4-5. 변형예 5>

또한, 상술한 실시 형태에서는, 본 개시에 있어서의 정보 처리 장치가 서버(10)인 예에 대하여 설명하였지만, 이러한 예에 한정되지 않는다. 예를 들어, 당해 정보 처리 장치는, PC(Personal Computer), 스마트폰, 태블릿 단말기, HMD, 게임기 등이어도 된다.

또한, 상술한 실시 형태에 따르면, CPU(150), ROM(152) 및 RAM(154) 등의 하드웨어를, 상술한 실시 형태에 의한 서버(10)의 각 구성과 동등한 기능을 발휘시키기 위한 컴퓨터 프로그램도 제공 가능하다. 또한, 해당 컴퓨터 프로그램이 기록된 기록 매체도 제공된다.

또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적이지 않다. 즉, 본 개시에 관한 기술은, 상기의 효과와 함께, 또는 상기의 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명백한 다른 효과를 발휘할 수 있다.

또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.

(1)

제1 공간 내를 이동하는 제1 이동체에 장착된 제1 촬상부에 의해 촬상되는 제1 영상을, 유저가 시인하는 표시 영역에 표시시키는 표시 제어부를 구비하고,

상기 표시 제어부는, 상기 제1 촬상부의 시점인 제1 시점과, 상기 제1 공간을 촬상하기 위한 제2 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 생성하는 정보 처리 장치.

(2)

상기 정보 처리 장치는, 상기 제1 공간의 삼차원 정보를 취득하는 공간 정보 취득부와,

상기 공간 정보 취득부에 의해 취득된 상기 제1 공간의 삼차원 정보에 기초하여, 상기 제1 시점과 상기 제2 시점 사이에서 시점 위치를 연속적으로 이동시키는 시점 이동부를 더 구비하고,

상기 표시 제어부는, 상기 시점 이동부에 의한 시점 위치의 이동에 기초하여 상기 제1 천이 영상을 생성하는, 상기 (1)에 기재된 정보 처리 장치.

(3)

상기 정보 처리 장치는, 상기 유저에 의한, 상기 제1 시점으로부터 상기 제2 시점으로 이동하기 위한 제1 조작의 검출 정보를 취득하는 조작 정보 취득부를 더 구비하고,

상기 제1 조작이 검출되었을 때에, 상기 표시 제어부는, 상기 제1 천이 영상을 생성하고, 또한, 생성한 상기 제1 천이 영상을 상기 표시 영역에 표시시키는, 상기 (2)에 기재된 정보 처리 장치.

(4)

상기 시점 이동부는, 상기 제1 시점이 시점이며, 또한, 상기 제2 시점이 종점인, 시점 위치의 이동 경로를 결정하고, 결정한 이동 경로를 따라서 시점 위치를 연속적으로 이동시키는, 상기 (3)에 기재된 정보 처리 장치.

(5)

상기 시점 이동부는, 또한, 시점 위치의 이동에 따라서 시점의 방향이 연속적으로 변화되도록, 상기 이동 경로에 있어서의 시점의 방향을 결정하는, 상기 (4)에 기재된 정보 처리 장치.

(6)

상기 시점 이동부는, 상기 이동 경로의 시점에 있어서의 시점의 방향을 상기 제1 시점의 방향과 일치시키고, 또한, 상기 이동 경로의 종점에 있어서의 시점의 방향을 상기 제2 시점의 방향과 일치시키는, 상기 (5)에 기재된 정보 처리 장치.

(7)

상기 시점 이동부는, 또한, 시점 위치의 이동에 따라서 시점의 화각이 연속적으로 변화되도록, 상기 이동 경로에 있어서의 시점의 화각을 결정하는, 상기 (5) 또는 (6)에 기재된 정보 처리 장치.

(8)

상기 시점 이동부는, 현재의 시점 위치와 상기 이동 경로에 있어서의 종점의 위치의 위치 관계에 기초하여, 상기 시점 위치의 이동 속도를 변화시키는, 상기 (4) 내지 (7) 중 어느 한 항에 기재된 정보 처리 장치.

(9)

상기 시점 이동부는, 현재의 시점 위치와 상기 이동 경로에 있어서의 종점의 위치 사이의 거리가 짧을수록, 상기 시점 위치의 이동 속도를 느리게 하는, 상기 (8)에 기재된 정보 처리 장치.

(10)

상기 시점 이동부는, 경과 시간과 시점 위치의 이동 속도의 관계가 비선형으로 되도록, 상기 시점 위치의 이동 속도를 결정하는, 상기 (8) 또는 (9)에 기재된 정보 처리 장치.

(11)

상기 제2 시점은, 상기 제1 공간에 있어서 상기 제1 이동체의 후방, 또한 상방에 위치하고 있고,

상기 제2 시점은, 상기 제1 이동체를 향하고 있는, 상기 (4) 내지 (10) 중 어느 한 항에 기재된 정보 처리 장치.

(12)

상기 제1 시점으로부터 상기 제2 시점으로 이동한 후에, 상기 조작 정보 취득부는, 제2 이동체를 상기 유저가 선택하는 제2 조작의 검출 정보를 더 취득하고,

상기 표시 제어부는, 상기 제2 시점과, 상기 제2 조작에 의해 선택된 제2 이동체에 장착되어 있는 제2 촬상부의 시점인 제3 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제2 천이 영상을 생성하고, 또한, 생성한 제2 천이 영상을 상기 표시 영역에 표시시키는, 상기 (4) 내지 (11) 중 어느 한 항에 기재된 정보 처리 장치.

(13)

상기 제2 이동체는, 상기 제1 공간에 위치하고,

상기 제2 조작은, 하나 이상의 상기 제2 이동체 중 어느 것을 상기 유저가 선택하는 조작인, 상기 (12)에 기재된 정보 처리 장치.

(14)

상기 시점 이동부는, 또한, 상기 제2 시점이 시점이며, 또한, 상기 제3 시점이 종점인, 시점 위치의 제2 이동 경로를 결정하고, 또한, 결정한 제2 이동 경로를 따라서 시점 위치를 연속적으로 이동시키고,

상기 표시 제어부는, 상기 제2 이동 경로를 따른 시점 위치의 이동에 기초하여 상기 제2 천이 영상을 생성하는, 상기 (12) 또는 (13)에 기재된 정보 처리 장치.

(15)

상기 시점 이동부는, 또한, 상기 제2 이동 경로를 따른 시점 위치의 이동에 따라서 시점의 방향이 연속적으로 변화되도록, 상기 제2 이동 경로에 있어서의 시점의 방향을 결정하는, 상기 (14)에 기재된 정보 처리 장치.

(16)

상기 시점 이동부는, 상기 제2 이동 경로의 시점에 있어서의 시점의 방향을, 상기 제2 조작이 검출되었을 때의 상기 유저의 방향과 일치시키고, 또한, 상기 제2 이동 경로의 종점에 있어서의 시점의 방향을 상기 제3 시점의 방향과 일치시키는, 상기 (15)에 기재된 정보 처리 장치.

(17)

상기 제2 조작에 의해 선택된 제2 이동체가 제2 공간에 위치하는 경우에는, 상기 표시 제어부는, 상기 제2 시점으로부터, 상기 제2 공간을 촬상하기 위한 제4 시점으로의 시점 위치의 연속적인 이동에 기초한 공간 이동 영상을 상기 표시 영역에 표시시키고,

상기 공간 이동 영상의 종료 후에, 상기 표시 제어부는, 상기 제4 시점과, 상기 제2 조작에 의해 선택된 제2 이동체에 장착되어 있는 제2 촬상부의 시점인 제3 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제2 천이 영상을 상기 표시 영역에 표시시키는, 상기 (12) 내지 (16) 중 어느 한 항에 기재된 정보 처리 장치.

(18)

상기 공간 이동 영상은, 상기 제1 공간과 상기 제2 공간의 위치 관계를 나타내는 영상인, 상기 (17)에 기재된 정보 처리 장치.

(19)

제1 공간 내를 이동하는 제1 이동체에 장착된 제1 촬상부에 의해 촬상되는 제1 영상을, 유저가 시인하는 표시 영역에 표시시키는 것과,

상기 제1 촬상부의 시점인 제1 시점과, 상기 제1 공간을 촬상하기 위한 제2 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 프로세서가 생성하는 것을 포함하는 정보 처리 방법.

(20)

컴퓨터를,

제1 공간 내를 이동하는 제1 이동체에 장착된 제1 촬상부에 의해 촬상되는 제1 영상을, 유저가 시인하는 표시 영역에 표시시키는 표시 제어부로서 기능시키기 위한 프로그램이며,

상기 표시 제어부는, 상기 제1 촬상부의 시점인 제1 시점과, 상기 제1 공간을 촬상하기 위한 제2 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 생성하는 프로그램.

2 : 이동체
4 : 유저
10 : 서버
20 : 헤드셋
24 : 전방위 카메라
30 : 뎁스 카메라
32, 34 : 모션 캡쳐 센서
36 : 프로젝터
38 : 스크린
90 : 자주식 뎁스 카메라
92 : 장착형 뎁스 카메라
100 : 제어부
102 : 공간 정보 취득부
104 : 조작 정보 취득부
106 : 시점 이동부
108 : 영상 생성부
110 : 출력 제어부
120 : 통신부
122 : 기억부

Claims

제1 공간 내를 이동하는 제1 이동체에 장착된 제1 촬상부에 의해 촬상되는 제1 영상을, 유저가 시인하는 표시 영역에 표시시키는 표시 제어부를 구비하고,
상기 표시 제어부는, 상기 제1 촬상부의 시점인 제1 시점과, 상기 제1 공간을 촬상하기 위한 제2 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 생성하는 정보 처리 장치.
제1항에 있어서,
상기 정보 처리 장치는, 상기 제1 공간의 삼차원 정보를 취득하는 공간 정보 취득부와,
상기 공간 정보 취득부에 의해 취득된 상기 제1 공간의 삼차원 정보에 기초하여, 상기 제1 시점과 상기 제2 시점 사이에서 시점 위치를 연속적으로 이동시키는 시점 이동부를 더 구비하고,
상기 표시 제어부는, 상기 시점 이동부에 의한 시점 위치의 이동에 기초하여 상기 제1 천이 영상을 생성하는 정보 처리 장치.
제2항에 있어서,
상기 정보 처리 장치는, 상기 유저에 의한, 상기 제1 시점으로부터 상기 제2 시점으로 이동하기 위한 제1 조작의 검출 정보를 취득하는 조작 정보 취득부를 더 구비하고,
상기 제1 조작이 검출되었을 때에, 상기 표시 제어부는, 상기 제1 천이 영상을 생성하고, 또한, 생성한 상기 제1 천이 영상을 상기 표시 영역에 표시시키는 정보 처리 장치.
제3항에 있어서,
상기 시점 이동부는, 상기 제1 시점이 시점이며, 또한, 상기 제2 시점이 종점인, 시점 위치의 이동 경로를 결정하고, 결정한 이동 경로를 따라서 시점 위치를 연속적으로 이동시키는 정보 처리 장치.
제4항에 있어서,
상기 시점 이동부는, 또한, 시점 위치의 이동에 따라서 시점의 방향이 연속적으로 변화되도록, 상기 이동 경로에 있어서의 시점의 방향을 결정하는 정보 처리 장치.
제5항에 있어서,
상기 시점 이동부는, 상기 이동 경로의 시점에 있어서의 시점의 방향을 상기 제1 시점의 방향과 일치시키고, 또한, 상기 이동 경로의 종점에 있어서의 시점의 방향을 상기 제2 시점의 방향과 일치시키는 정보 처리 장치.
제5항에 있어서,
상기 시점 이동부는, 또한, 시점 위치의 이동에 따라서 시점의 화각이 연속적으로 변화되도록, 상기 이동 경로에 있어서의 시점의 화각을 결정하는 정보 처리 장치.
제4항에 있어서,
상기 시점 이동부는, 현재의 시점 위치와 상기 이동 경로에 있어서의 종점의 위치의 위치 관계에 기초하여, 상기 시점 위치의 이동 속도를 변화시키는 정보 처리 장치.
제8항에 있어서,
상기 시점 이동부는, 현재의 시점 위치와 상기 이동 경로에 있어서의 종점의 위치 사이의 거리가 짧을수록, 상기 시점 위치의 이동 속도를 느리게 하는 정보 처리 장치.
제8항에 있어서,
상기 시점 이동부는, 경과 시간과 시점 위치의 이동 속도의 관계가 비선형으로 되도록, 상기 시점 위치의 이동 속도를 결정하는 정보 처리 장치.
제4항에 있어서,
상기 제2 시점은, 상기 제1 공간에 있어서 상기 제1 이동체의 후방, 또한 상방에 위치하고 있고,
상기 제2 시점은, 상기 제1 이동체를 향하고 있는 정보 처리 장치.
제4항에 있어서,
상기 제1 시점으로부터 상기 제2 시점으로 이동한 후에, 상기 조작 정보 취득부는, 제2 이동체를 상기 유저가 선택하는 제2 조작의 검출 정보를 더 취득하고,
상기 표시 제어부는, 상기 제2 시점과, 상기 제2 조작에 의해 선택된 제2 이동체에 장착되어 있는 제2 촬상부의 시점인 제3 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제2 천이 영상을 생성하고, 또한, 생성한 제2 천이 영상을 상기 표시 영역에 표시시키는 정보 처리 장치.
제12항에 있어서,
상기 제2 이동체는, 상기 제1 공간에 위치하고,
상기 제2 조작은, 하나 이상의 상기 제2 이동체 중 어느 것을 상기 유저가 선택하는 조작인 정보 처리 장치.
제12항에 있어서,
상기 시점 이동부는, 또한, 상기 제2 시점이 시점이며, 또한, 상기 제3 시점이 종점인, 시점 위치의 제2 이동 경로를 결정하고, 또한, 결정한 제2 이동 경로를 따라서 시점 위치를 연속적으로 이동시키고,
상기 표시 제어부는, 상기 제2 이동 경로를 따른 시점 위치의 이동에 기초하여 상기 제2 천이 영상을 생성하는 정보 처리 장치.
제14항에 있어서,
상기 시점 이동부는, 또한, 상기 제2 이동 경로를 따른 시점 위치의 이동에 따라서 시점의 방향이 연속적으로 변화되도록, 상기 제2 이동 경로에 있어서의 시점의 방향을 결정하는 정보 처리 장치.
제15항에 있어서,
상기 시점 이동부는, 상기 제2 이동 경로의 시점에 있어서의 시점의 방향을, 상기 제2 조작이 검출되었을 때의 상기 유저의 방향과 일치시키고, 또한, 상기 제2 이동 경로의 종점에 있어서의 시점의 방향을 상기 제3 시점의 방향과 일치시키는 정보 처리 장치.
제12항에 있어서,
상기 제2 조작에 의해 선택된 제2 이동체가 제2 공간에 위치하는 경우에는, 상기 표시 제어부는, 상기 제2 시점으로부터, 상기 제2 공간을 촬상하기 위한 제4 시점으로의 시점 위치의 연속적인 이동에 기초한 공간 이동 영상을 상기 표시 영역에 표시시키고,
상기 공간 이동 영상의 종료 후에, 상기 표시 제어부는, 상기 제4 시점과, 상기 제2 조작에 의해 선택된 제2 이동체에 장착되어 있는 제2 촬상부의 시점인 제3 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제2 천이 영상을 상기 표시 영역에 표시시키는 정보 처리 장치.
제17항에 있어서,
상기 공간 이동 영상은, 상기 제1 공간과 상기 제2 공간의 위치 관계를 나타내는 영상인 정보 처리 장치.
제1 공간 내를 이동하는 제1 이동체에 장착된 제1 촬상부에 의해 촬상되는 제1 영상을, 유저가 시인하는 표시 영역에 표시시키는 것과,
상기 제1 촬상부의 시점인 제1 시점과, 상기 제1 공간을 촬상하기 위한 제2 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 프로세서가 생성하는 것을 포함하는 정보 처리 방법.
컴퓨터를,
제1 공간 내를 이동하는 제1 이동체에 장착된 제1 촬상부에 의해 촬상되는 제1 영상을, 유저가 시인하는 표시 영역에 표시시키는 표시 제어부로서 기능시키기 위한 프로그램이며,
상기 표시 제어부는, 상기 제1 촬상부의 시점인 제1 시점과, 상기 제1 공간을 촬상하기 위한 제2 시점 사이에서 연속적으로 이동되는 시점 위치에 따른 제1 천이 영상을 생성하는 프로그램.