KR20170026376A - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

Abstract

정보 처리 장치가, 피사체의 기준 시점과 상기 피사체의 타겟 시점에 기초하여, 기준 화상 및 타겟 화상을 상기 타겟 시점의 식별에 응답하여 복수의 보완 화상 중 적어도 하나와 연결하는 회로를 포함한다. 상기 복수의 보완 화상 각각은 상기 기준 시점과 상기 타겟 시점 사이의 상기 피사체의 보완 시점에 대응한다. 상기 복수의 보완 화상 중 적어도 하나는 보간(interpolation) 화상이고, 상기 보간 화상은 가상 패스를 따른 가상 시점에 대응하는 화상이다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM}

관련 출원에 대한 상호 참조

본 출원은 2014년 7월 3일 출원된 일본특허출원 제2014-137930호에 대한 우선권을 주장하며, 상기 일본특허출원의 전체 내용은 참조에 의해 본원에 통합된다.

본 개시는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.

복수의 촬상 디바이스에 의해 촬상된 촬상 화상으로부터 동화상을 생성하는 기술이 개발되어 있다. 촬상 화상이 촬상된 시간에 기초하여 동화상을 생성하는 기술로서는, 예를 들면 아래의 특허문헌 1에 기재된 기술을 들 수 있다.

일본특허공개 제2012-004739호 공보

예를 들면, 야구장, 스타디움, 콘서트 회장 등에서는, 복수의 촬상 디바이스가 배치되고 이 복수의 촬상 디바이스에 의해 동시에 촬상을 행할 수 있다. 이와 같이 복수의 촬상 디바이스에 의해 동시에 촬상을 행하는 경우, 유저는, 표시 화면에 표시되는 촬상 화상의 절환(switching)을 소망하는 경우가 있을 수 있다.

본 개시는, 촬상 화상의 절환에 따른 유저의 편의성 향상을 도모하는 것이 가능한, 신규하고 개량된 정보 처리 장치, 정보 처리 방법 및 프로그램을 제안한다.

정보 처리 장치가, 피사체의 기준 시점(視点)과 상기 피사체의 타겟 시점에 기초하여, 기준 화상 및 타겟 화상을 상기 타겟 시점의 식별에 응답하여 복수의 보완 화상 중 적어도 하나와 연결하는 회로를 포함한다. 상기 복수의 보완 화상 각각은 상기 기준 시점과 상기 타겟 시점 사이의 상기 피사체의 보완 시점에 대응한다. 일 실시형태에 있어서, 복수의 보완 화상 중 적어도 하나는 촬상 화상이다.

정보 처리 장치의 조작 방법이, 피사체의 기준 시점 및 상기 피사체의 타겟 시점에 기초하여 기준 화상과 타겟 화상 사이에, 상기 타겟 시점의 식별에 응답하여, 복수의 보완 화상 중 적어도 하나를 연결하는 단계를 포함한다. 상기 복수의 보완 화상 각각은 상기 기준 시점과 상기 타겟 시점 사이의 상기 피사체의 보완 시점에 대응한다. 추가적으로, 보완 화상을 연결하는 단계는 상기 복수의 보완 화상을 조합하는 것을 포함한다.

회로를 포함하는 정보 처리 장치를 제어하는 프로그램을 기억시킨 비일시적인 컴퓨터 판독가능한 매체에 있어서, 상기 프로그램은, 피사체의 기준 시점 및 상기 피사체의 타겟 시점에 기초하여, 기준 화상과 타겟 화상 사이에, 상기 타겟 시점의 식별에 응답하여, 복수의 보완 화상 중 적어도 하나를 연결하는 단계를 포함하는 동작을 수행하도록 실행될 수 있다. 상기 복수의 보완 화상 각각은 상기 기준 시점과 상기 타겟 시점 사이의 상기 피사체의 보완 시점에 대응한다.

본 개시의 1 또는 2 이상의 실시형태에 따르면, 촬상 화상의 절환에 따른 유저의 편의성의 향상을 도모할 수 있다.

또한, 상기 효과는 반드시 한정적인 것은 아니고, 상기 효과와 함께 또는 상기 효과를 대신하여, 본 명세서에서 제시되어도 좋은 효과 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되는 것도 가능하다.

도 1은 본 실시형태에 따른 정보 처리 방법을 설명하기 위한 설명도이다.
도 2는 본 실시형태에 따른 촬상 디바이스의 하드웨어 구성의 일례를 나타내는 설명도이다.
도 3은 본 실시형태에 따른 정보 처리 방법을 설명하기 위한 설명도이다.
도 4는 본 실시형태에 따른 정보 처리 방법을 설명하기 위한 설명도이다.
도 5a는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 5b는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 5c는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 6은 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 7은 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 8a는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 8b는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 9는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 10은 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 11a는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 11b는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 12는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.
도 13은 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 나타내는 흐름도이다.
도 14는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 나타내는 흐름도이다.
도 15는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 설명하기 위한 설명도이다.
도 16은 본 실시형태에 따른 정보 처리 장치의 구성의 일례를 나타내는 블럭도이다.
도 17은 본 실시형태에 따른 정보 처리 장치의 하드웨어 구성의 일례를 나타내는 설명도이다.

이하, 첨부 도면을 참조하여, 본 개시의 바람직한 실시형태에 대해 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어 실질적으로 동일한 기능 및 구성을 갖는 구성 요소에 대해서는, 동일한 참조 부호를 부여하여 중복 설명을 생략한다.

이하, 아래와 같은 순서로 설명을 행한다.

1. 본 실시형태에 따른 정보 처리 방법

2. 본 실시형태에 따른 정보 처리 장치

3. 본 실시형태에 따른 프로그램

(본 실시형태에 따른 정보 처리 방법)

본 실시형태에 따른 정보 처리 장치의 구성에 대해 설명하기에 앞서, 우선, 본 실시형태에 따른 정보 처리 방법에 대해 설명한다. 이하에서는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를, 본 실시형태에 따른 정보 처리 장치가 실시하는 경우를 예로 들어, 본 실시형태에 따른 정보 처리 방법에 대해 설명한다.

<1> 본 실시형태에 따른 정보 처리 방법의 개요

도 1은 본 실시형태에 따른 정보 처리 방법을 설명하기 위한 설명도이다. 도 1의 A는, 야구장에 설치된 복수의 촬상 디바이스(소정 영역 내에 위치하는 복수의 촬상 디바이스의 일례)에 의한 촬상을 개념적으로 나타내고 있다. 또한, 도 1의 B1~B6는, 도 1의 A에 나타내는 복수의 촬상 디바이스에 의해 촬상된 촬상 화상의 일례를 각각 나타내고 있다.

본 실시형태에 따른 촬상 디바이스 각각은, 촬상에 의해 화상(동화상 또는 정지화상)을 생성한다. 복수의 촬상 디바이스 중의 일부 또는 전부의 촬상 디바이스는, 본 실시형태에 따른 정보 처리 장치에 포함되어도 되고, 본 실시형태에 따른 정보 처리 장치와 유선 또는 무선으로 통신 가능한 외부 디바이스(본 실시형태에 따른 정보 처리 장치 외부의 촬상 장치)여도 된다. 예를 들어, 복수의 촬상 디바이스 중의 일부 또는 전부가, 본 실시형태에 따른 정보 처리 장치 외부의 촬상 장치인 경우, 본 실시형태에 따른 정보 처리 장치와 촬상 장치는 시스템(정보 처리 시스템)을 구성한다.

본 실시형태에 따른 촬상 디바이스로서는, 예를 들면, 디지털 스틸 카메라, 디지털 비디오 카메라 등을 들 수 있다.

도 2는 본 실시형태에 따른 촬상 디바이스의 하드웨어 구성의 일례를 나타내는 설명도이다. 본 실시형태에 따른 촬상 디바이스는, 예를 들면, 렌즈(10), 촬상 소자(12) 및 신호 처리 회로(14)를 포함한다.

또한, 본 실시형태에 따른 촬상 디바이스는, 예를 들면, 촬상 디바이스 전체를 제어하는 프로세서, 외부 장치와 무선 또는 유선으로 통신을 행하기 위한 통신 디바이스, 촬상 화상 등의 화상을 표시 화면에 표시하는 표시 디바이스 및 유저가 조작 가능한 조작 디바이스 등을 더 포함하고 있어도 된다.

렌즈(10)는 광학계의 렌즈를 포함하고, 촬상 소자(12)는, 예를 들면 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자를 복수 이용한 이미지 센서를 포함한다. 신호 처리 회로(14)는, 예를 들면, AGC(Automatic Gain Control) 회로 및 ADC(Analog to Digital Converter)를 포함하여 촬상 소자(12)에 의해 생성된 아날로그 신호를 디지털 신호(화상 데이터)로 변환한다. 또한, 신호 처리 회로(14)는, 예를 들면 RAW 현상과 관련되는 각종 처리를 실시한다. 또한, 신호 처리 회로(14)는, 예를 들면, 화이트 밸런스(White Balance) 보정 처리, 색조 보정 처리, 감마 보정 처리, YCbCr 변환 처리, 에지 강조 처리 등 각종 신호 처리를 실시하여도 좋다.

이하에서는, 도 1에 나타내는 바와 같은, 야구장에 설치된 복수의 촬상 디바이스에 의해 촬상되는 복수의 촬상 화상을 예로 들어서 본 실시형태에 따른 정보 처리 방법과 관련되는 처리에 대해 설명한다. 여기서, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 대상이 되는 복수의 촬상 화상을 촬상하는 복수의 촬상 디바이스는, 야구장에 설치되어 있는 촬상 디바이스로 한정되지 않는다. 본 실시형태에 따른 촬상 디바이스로서는, 예를 들면, 스타디움이나 콘서트 회장 등의 소정 영역 내에 위치하는 촬상 디바이스를 들 수 있다. 또한, 복수의 촬상 디바이스 각각은, 동일한 피사체를 촬상하는 것이 가능한 장소에 위치하고 있어도 좋다. 즉, 복수의 촬상 디바이스로서는, 예를 들면, 소정 영역 내 또는 동일한 피사체를 촬상하는 것이 가능한 장소에 배치되어 있는 촬상 디바이스를 들 수 있다. 또한, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 대상이 되는 복수의 촬상 화상이 도 1에 나타내는 예로 한정되지 않음은 물론이다.

예를 들면, 도 1의 A에 나타내는 바와 같이 소정 영역 내에 위치하는 복수의 촬상 디바이스에 의해 동시에 촬상을 행할 때에, 도 1의 B1~B6에 나타내는 바와 같이, 촬상에 의해 취득된 촬상 화상이 랜덤하게 배열되는 경우에는, 스크린에 표시되는 촬상 화상을 보는 유저는 촬상 화상들 사이의 관계성을 파악하는 것이 곤란하다. 여기서, 촬상 화상들 사이의 관계성의 파악이란, 예를 들면, 각 촬상 화상을 촬상하는 촬상 디바이스가 어디에 위치하고 있는지를 파악하는 것 등을 들 수 있다.

또한, 상기한 바와 같이 복수의 촬상 화상을 랜덤하게 배열하는 경우에, 유저는, 복수의 촬상 화상 가운데 하나의 촬상 화상으로부터 다른 촬상 화상으로의 표시의 절환을 직관적으로 실시하는 것은 곤란하다.

그러므로, 본 실시형태에 따른 정보 처리 장치는, 복수의 촬상 디바이스에 의해 동시에 촬상을 행함으로써 생성되는 복수의 촬상 화상을, 복수의 촬상 디바이스 사이의 위치 관계에 대응하는 형태로 표시한다. 또한, 본 실시형태에 따른 정보 처리 장치는, 표시된 복수의 촬상 화상 가운데 하나의 촬상 화상으로부터 복수의 촬상 화상 가운데 다른 화상으로 화상을 절환하고 이를 표시시킨다(표시 제어 처리). 여기서, 본 실시형태에 따른 복수의 촬상 화상의 절환은 시점의 절환에 상당한다. 이하에서는, 절환되어 표시되는 복수의 촬상 화상 가운데 절환원의 촬상 화상을 「기준 화상」이라 칭하고, 복수의 촬상 화상 가운데 표시 절환처의 화상을 「절환처 화상」이라 칭한다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면, 복수의 촬상 디바이스에 의한 촬상 시에 있어서의 위치 관계에 기초하여 배열된 복수의 촬상 화상의 배열 순서에 따라 복수의 촬상 화상을 표시함으로써, 복수의 촬상 화상을 복수의 촬상 디바이스 사이의 위치 관계에 대응하는 형태로 표시한다. 본 실시형태에 따른 “복수의 촬상 디바이스 사이의 위치 관계에 대응하는 형태에 의한, 복수의 촬상 화상의 표시”의 구체적인 예에 대해서는 후술한다.

여기서, 복수의 촬상 화상을 복수의 촬상 디바이스 사이의 위치 관계에 기초하여 배열하는 처리(이하, 「재배열 처리」라고 칭함)는, 본 실시형태에 따른 정보 처리 장치에 의해 본 실시형태에 따른 정보 처리 방법과 관련되는 처리로서 행해져도 좋고, 본 실시형태에 따른 정보 처리 장치의 외부 장치에서 행해져도 좋다. 본 실시형태에 따른 정보 처리 장치가 재배열 처리를 실시하는 경우에, 본 실시형태에 따른 정보 처리 장치는, 재배열 처리에 의해 배열되는 복수의 촬상 화상의 배열 순서에 따라서 복수의 촬상 화상을 표시한다. 또한, 외부 장치에서 재배열 처리를 행하는 경우에는, 본 실시형태에 따른 정보 처리 장치는 해당 외부 장치에서 배열된 복수의 촬상 화상의 배열 순서에 따라서 복수의 촬상 화상을 표시한다. 이하에서는, 본 실시형태에 따른 정보 처리 장치가 재배열 처리를 행하는 경우를 예로 들어 설명한다.

본 실시형태에 따른 정보 처리 장치가 재배열 처리를 행하는 경우, 본 실시형태에 따른 정보 처리 장치는, 복수의 촬상 디바이스에 의해 동시에 촬상을 행함으로써 생성되는 복수의 촬상 화상을, 복수의 촬상 디바이스에 의한 촬상 시에 있어서의 위치 관계에 기초하여 배열한다. 예를 들어, 본 실시형태에 따른 정보 처리 장치는, 복수의 촬상 화상의 절환이 가능하게 되도록, 복수의 촬상 화상을, 복수의 촬상 디바이스 사이의 위치 관계에 기초한 공간적인 규칙성에 따라 1차원의 축으로 배열한다. 여기서, 본 실시형태에 따른 재배열 처리에는, 예를 들면, 배열되어 있지 않은 복수의 촬상 화상을 신규로 배열함으로써 어떤 규칙에 따라 배열되어 있는 복수의 촬상 화상을 재배열하는 것이 포함된다.

도 3은 본 실시형태에 따른 정보 처리 방법을 설명하기 위한 설명도이며, 본 실시형태에 따른 정보 처리 방법과 관련되는 재배열 처리의 일례를 나타내고 있다. 도 3의 A는, 복수의 촬상 화상의 일례를 나타내고 있다. 도 3의 C는, 도 3의 B에 나타내는 복수의 촬상 디바이스 사이의 위치 관계에 기초한 공간적인 규칙성에 따라서 도 3의 A에 나타내는 복수의 촬상 화상이 1차원의 축으로 배열되는 경우의 예를 나타내고 있다.

본 실시형태에 따른 정보 처리 장치는, 재배열 처리를 행함으로써, 예를 들면 도 3의 B에 나타내는 바와 같이 복수의 촬상 디바이스가 공간적으로 배열되도록, 복수의 촬상 화상을 배열한다.

또한, 재배열 처리에 의해 복수의 촬상 화상을 배열한 경우에는, 본 실시형태에 따른 정보 처리 장치는, 표시 제어 처리를 행함으로써, 예를 들면 도 3의 C에 나타내는 바와 같이 배열된 복수의 촬상 화상의 배열 순서에 따라서 복수의 촬상 화상을 표시한다. 또한, 본 실시형태에 따른 정보 처리 장치는, 표시된 복수의 촬상 화상 가운데 하나의 촬상 화상으로부터 복수의 촬상 화상 가운데 다른 화상으로 화상을 절환하고 이를 표시한다.

여기서, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 본 실시형태에 따른 정보 처리 장치가 포함하는 표시부(후술함)의 표시 화면, 또는, 본 실시형태에 따른 정보 처리 장치와 무선 또는 유선으로 접속되어 있는 외부의 표시 디바이스의 표시 화면에 화상을 표시한다. 본 실시형태에 따른 정보 처리 장치는, 예를 들면 표시부(후술함) 등에 대해, 표시시키는 화상을 나타내는 화상 데이터 및 화상의 표시 명령을 전달함으로써, 표시 화면에 화상을 표시한다.

또한, 본 실시형태에 따른 정보 처리 장치는, 표시 제어 처리에 있어서, 기준 화상에 대응하는 촬상 디바이스와 절환처 화상에 대응하는 촬상 디바이스 사이의 위치 관계에 기초하여, 선택적으로 1 또는 2 이상의 보완 화상에 의한 보충을 행한다. 또한, 본 실시형태에 따른 정보 처리 장치는, 보완 화상이 보충되어졌을 경우에는, 절환처 화상을 표시시키기 전에 보완 화상을 표시시킨다. 본 실시형태에 따른 보완 화상을 선택적으로 보충하는 처리에 대해서는 후술한다.

본 실시형태에 따른 보완 화상의 예는, “기준 화상에 대응하는 촬상 디바이스 및 절환처 화상에 대응하는 촬상 디바이스가 아닌 다른 촬상 디바이스에 의해 촬상된 촬상 화상”과 “가상 패스 상에 위치하는 가상적인 촬상 디바이스에 의해 촬상된 촬상 화상에 상당하도록 생성된 화상”의 일방 또는 양방을 포함한다. 이하에서는, “가상 패스 상에 위치하는 가상적인 촬상 디바이스에 의해 촬상된 촬상 화상에 상당하도록 생성된 화상”을 "보간(interpolation) 화상"이라 칭하고, 이 보간 화상이 "생성 화상" 또는 "생성 화상"과 "촬상 화상"의 조합이 될 수 있다.

본 실시형태에 따른 생성 화상은, 예를 들면, IBR(Image-Based Rendering), MBR(Model Based Rendering), Rectification 등의 수법에 의해 생성된다. 여기서, IBR이 이용되는 경우에는, 생성 화상은, 예를 들면 복수의 촬상 화상에 기초하여 생성된다. 또한, MBR이 이용되는 경우에는, 생성 화상은, 예를 들면, 복수의 촬상 화상과 화상의 3차원 정보("Depth"를 나타내는 데이터)에 기초하여 생성된다. 또한, Rectification이 이용되는 경우에는, 생성 화상은, 예를 들면, 촬상 디바이스의 자세를 나타내는 데이터(예를 들면, 가속도 센서 및 자이로 센서 등의 센서 정보)에 기초하여 생성된다. 또한, 본 실시형태에 따른 생성 화상은, 상기한 바와 같은 수법에 의해 생성된 화상의 색조를 더 조정함으로써 얻어지는 화상이어도 된다.

여기서, 본 실시형태에 따른 생성 화상의 생성 방법은 상기 방법으로 한정되지 않는다. 예를 들면, 본 실시형태에 따른 생성 화상은, 복수의 촬상 화상 가운데 하나의 촬상 화상에 대해서 화상 처리를 행하여 얻어진 화상이어도 된다. 본 실시형태에 따른 화상 처리로서는, 예를 들면, 화상의 확대 또는 축소, 화상의 회전, 화상의 크로핑, 및 이들 중의 2 이상을 조합한 처리 등을 들 수 있다.

본 실시형태에 따른 생성 화상은, 본 실시형태에 따른 정보 처리 장치가 포함하는 1 또는 2 이상의 프로세서나 각종 처리 회로에 의해 생성되어도 되고, 본 실시형태에 따른 정보 처리 장치와 무선 또는 유선으로 통신 가능한 외부 장치에 의해 생성되어도 좋다.

도 4는 본 실시형태에 따른 정보 처리 방법을 설명하기 위한 설명도이며, 본 실시형태에 따른 정보 처리 방법과 관련되는 표시 제어 처리의 일례를 나타내고 있다.

도 4의 A는, 표시되고 있는 복수의 촬상 화상(도 4의 A에 나타내는 G) 가운데에서, 유저가 화상의 절환에 관한 조작을 행할 수 있는 조작 화면의 일례를 나타내고 있다. 도 4의 A의 V는, 화상이 표시되는 주(main) 화상 표시 영역이며, 도 4의 A의 G는, 유저가 촬상 화상을 선택하는 조작을 행할 수 있는 선택 영역이다.

본 실시형태에 따른 정보 처리 장치는, 표시 제어 처리를 행함으로써, 예를 들면 도 4의 A의 G에 나타내는 바와 같이, 재배열 처리에서 배열된 복수의 촬상 화상의 배열 순서에 따라서 복수의 촬상 화상을 표시한다. 즉, 도 4의 A의 G에 나타내는 선택 영역에 표시되어 있는 복수의 촬상 화상은, 본 실시형태에 따른 정보 처리 장치가 표시 제어 처리에 의해 표시시키는, 복수의 촬상 디바이스 사이의 위치 관계에 대응하는 형태에 의한 복수의 촬상 화상의 표시의 일례에 해당한다.

여기서, 본 실시형태에 따른 복수의 촬상 디바이스 사이의 위치 관계에 대응하는 형태에 의한 복수의 촬상 화상의 표시의 예는, 도 4의 A의 G에 나타내는 예로 한정되지 않는다. 예를 들면, 본 실시형태에 따른 정보 처리 장치는, 도 3의 C에 나타내는 바와 같이, 재배열 처리에 의해 배열된 복수의 촬상 화상의 배열 순서에 따라서 복수의 촬상 화상을 복수의 단에 표시하는 것도 가능하다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면 도 4의 A에 나타내는 바와 같은 조작 화면에 대한 유저 조작에 기초하여, 기준 화상으로부터 절환처 화상으로 화상을 절환한다. 기준 화상, 절환처 화상, 보완 화상 등의 화상은, 예를 들면 도 4의 A의 V에 나타내는 바와 같이 조작 화면의 주 화상 표시 영역에 표시된다.

여기서, 조작 화면에 대한 유저 조작 등의 본 실시형태에 따른 유저 조작으로서는, 예를 들면, 마우스, 키보드, 리모트 콘트롤러 등의 조작 디바이스를 이용한 조작이나, 조작 화면이 표시되어 있는 터치 패널에 대한 조작 등을 들 수 있다.

본 실시형태에 따른 화상의 표시의 예로서는, 예를 들면 아래와 같은 (i)~(iii)에 나타내는 예를 들 수 있다. 여기서, 본 실시형태에 따른 화상의 표시의 예가 아래와 같은 (i)~(iii)에 나타내는 예로 한정되지 않음은 물론이다.

(i) 화상이 정지화상인 경우

도 4의 A의 V에 나타내는 바와 같은 조작 화면의 주 화상 표시 영역과 도 4의 A의 G에 나타내는 바와 같은 조작 화면의 선택 영역에 있어서, 각각의 정지화상은 단순히 표시된다. 화상의 절환 시에는, 절환에 의해 주 화상 표시 영역에 표시되는 화상의 앵글이 변화한다.

(ii) 화상이 동화상인 경우의 제1 예

도 4의 A의 V에 나타내는 바와 같은 조작 화면의 주 화상 표시 영역과 도 4의 A의 G에 나타내는 바와 같은 조작 화면의 선택 영역에 있어서, 동화상이 재생된다. 화상의 절환 시에는, 절환에 의해 주 화상 표시 영역에 표시되는 동화상은, 재생이 계속되면서, 화상의 앵글이 변화한다.

(iii) 화상이 동화상인 경우의 제2 예

도 4의 A의 V에 나타내는 바와 같은 조작 화면의 주 화상 표시 영역과 도 4의 A의 G에 나타내는 바와 같은 조작 화면의 선택 영역에 있어서, 동화상이 재생된다. 화상의 절환 시에는, 주 화상 표시 영역 및 선택 영역에 표시되고 있는 각 동화상의 재생이 일시 정지되고 화상의 앵글이 변화한다. 또한, 화상의 앵글의 변화가 완료된 후에, 주 화상 표시 영역 및 선택 영역에 표시되고 있는 각 동화상의 재생이 재개된다.

도 4의 B는 표시 제어 처리에 의해 실현되는 화상 절환의 일례를 나타내고 있다. 도 4의 B에서는, 기준 화상(도 4의 B에 나타내는 스타트 화상)으로부터 절환처 화상(도 4의 B에 나타내는 목표(goal) 화상)으로의 절환에서, 5개의 보완 화상(도 4에 나타내는 촬상 화상 및 생성 화상)이 보충되어 표시되는 예를 나타내고 있다.

여기서, 도 4의 B에 나타내는 5개의 보완 화상 중의 촬상 화상은, 기준 화상에 대응하는 촬상 디바이스 및 절환처 화상에 대응하는 촬상 디바이스가 아닌 다른 촬상 디바이스에 의해 촬상된 화상이다. 상기 다른 촬상 디바이스에 의해 촬상된 촬상 화상이 보완 화상으로서 이용되는 것은, 소정의 영역 내에 위치하는 촬상 디바이스로부터의 시점을 이용하는 것에 상당한다.

또한, 도 4의 B에 나타내는 5개의 보완 화상 중의 생성 화상은, 예를 들면, IBR, MBR, Rectification 등의 수법에 의해 생성된 화상이다. 생성 화상이 보완 화상으로서 이용되는 것은, 소정의 영역 내에 가상적인 촬상 디바이스를 가상적으로 배치하고 가상적인 촬상 디바이스로부터의 시점을 생성하는 것에 상당한다.

도 4의 C는, 도 4의 B에 나타내는 화상의 절환에 대응하는 촬상 디바이스들 사이의 위치 관계를 개념적으로 나타내고 있다. 도 4의 C에 나타내는 RD는 소정의 영역 내에 위치하는 촬상 디바이스를 나타내고 있고, 도 4의 C에 나타내는 VD는 소정의 영역 내에 가상적으로 위치하는 가상적인 촬상 디바이스를 나타내고 있다.

예를 들면 도 4의 B에 나타내는 바와 같이, 기준 화상과 절환처 화상 사이에 보완 화상이 연결됨으로써 보다 부드러운 화상 절환이 실현된다.

여기서, 본 실시형태에 따른 표시 제어 처리에 의해 실현되는 화상 절환은, 도 4의 B에 나타내는 예로 한정되지 않는다.

예를 들면, 본 실시형태에 따른 정보 처리 장치는, 화상(예를 들면, 기준 화상, 절환처 화상, 보완 화상 등)으로부터 유저에게 주목시키는 소정의 피사체를 검출하고 화상을 절환하는 경우에, 검출된 소정의 피사체의 표시 위치가 부드럽게 바뀌도록 화상에 대해 화상 처리를 실시하고 화상 처리를 거친 화상을 표시할 수도 있다. 또한, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 화상을 절환하는 경우에, 검출된 소정의 피사체의 표시 위치 및 크기가 변함이 없도록 화상에 대해 화상 처리를 실시하고 화상 처리를 거친 화상을 표시하여도 좋다.

도 5a~도 5c는 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이다.

소정의 피사체는, 예를 들면 도 5a에 나타내는 바와 같이, 유저가 모든 촬상 화상에 대해서 피사체를 선택하는 조작을 실시할 때 설정된다(소정의 피사체의 수동 설정). 또한, 소정의 피사체는, 예를 들면 도 5b에 나타내는 바와 같이, 유저가 복수의 촬상 화상 가운데 하나의 촬상 화상에 대해 피사체를 선택하는 조작을 행할 때 설정되어도 좋다(소정의 피사체의 반자동 설정).

또한, 소정의 피사체는, 예를 들면 도 5c에 나타내는 바와 같이, 복수의 촬상 디바이스가 향하고 있는 방향을 기초로 하여, 소정의 피사체가 존재하는 위치를 추정함으로써 설정될 수도 있다(소정의 피사체의 자동 설정). 자동적으로 소정의 피사체가 설정되는 경우, 예를 들면, 화상의 중심 부근의 영역 등의 화상에 있어서의 주목 영역에 포함되는 피사체가, 소정의 피사체로서 설정된다.

또한, 소정의 피사체가 설정되었을 경우, 본 실시형태에 따른 정보 처리 장치는, 소정의 피사체의 특징을 학습하고, 소정의 피사체의 특징을 나타내는 데이터를 기억부(후술함)나 접속되어 있는 외부 기록 매체 등의 기록 매체에 기억시킨다. 또한, 본 실시형태에 따른 정보 처리 장치는, 소정의 피사체의 특징을 나타내는 데이터를 이용하여, 화상(예를 들면, 기준 화상, 절환처 화상, 보완 화상 등)으로부터 피사체를 검출한다.

예를 들면, 상기와 같이 소정의 피사체가 설정됨으로써, 본 실시형태에 따른 정보 처리 장치는, 다른 프레임의 화상(촬상 화상이 동화상인 경우의 예) 등의 다른 시간에 있어서의 촬상에 대응하는 화상으로부터 소정의 피사체를 트랙킹하는 것(시간 방향으로 자동적으로 피사체 검출을 실시하는 것)이 가능하다.

본 실시형태에 따른 정보 처리 장치는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리로서, 예를 들면, 상기의 표시 제어 처리를 행한다. 또한, 본 실시형태에 따른 정보 처리 장치는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리로서, 예를 들면, 재배열 처리 및 표시 제어 처리를 행할 수도 있다.

여기서, 본 실시형태에 따른 정보 처리 방법이 이용되는 경우에, 상기 표시 제어 처리에 의해, 예를 들면 복수의 촬상 디바이스의 촬상 시에 있어서의 위치 관계에 기초하여 배열된 복수의 촬상 화상의 배열 순서에 따라 복수의 촬상 화상이 표시되는 등과 같이, 복수의 촬상 화상이 복수의 촬상 디바이스 사이의 위치 관계에 대응하는 형태로 표시된다. 또한, 복수의 촬상 화상의 재배열은 예를 들면 상기 재배열 처리에 의해 실현된다. 따라서, 예를 들면, 도 4의 A에 나타내는 것 같은 복수의 촬상 화상이 표시되는 조작 화면에서는 촬상 화상의 배열이 촬상 디바이스의 공간적인 배치에 대응하고 있으므로, 유저는, 조작 화면에 대한 화상의 절환에 관한 조작을 보다 직관적으로 실시할 수 있다.

또한, 본 실시형태에 따른 정보 처리 방법이 이용되는 경우에는, 상기 표시 제어 처리에 의해 기준 화상으로부터 절환처 화상으로의 화상의 절환 시에 있어서, 보다 부드러운 화상의 절환이 실현된다. 또한, 보다 부드러운 화상의 절환이 실현된다면, 표시되는 화상을 보는 유저는, 예를 들면, 주목하고 싶은 피사체에 집중할 수 있다.

따라서, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 행함으로써, 촬상 화상의 절환과 관련되는 유저의 편의성의 향상을 도모할 수 있다.

또한, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리는, 복수의 촬상 디바이스에 의해 촬상된 촬상 화상에 대해 행해지므로, 촬상의 후처리로서 행하는 것이 가능하다. 따라서, 소정의 영역 내에 배치되는 복수의 촬상 디바이스가 이상적인 시점 위치로부터 벗어난 위치에 배치되어 있는 경우이더라도, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리에 의해 보다 부드러운 화상의 절환이 실현된다. 따라서, 본 실시형태에 따른 정보 처리 방법이 이용되는 경우에는, 소정의 영역 내로의 촬상 디바이스의 배치를 보다 개략적으로 행하는 것이 가능하므로, 예를 들면, 촬상 디바이스의 배치의 수고의 저감이나, 촬상 디바이스의 배치에 필요로 하는 시간의 단축을 도모할 수 있다.

여기서, “상기 표시 제어 처리” 및 “상기 재배열 처리 및 상기 표시 제어 처리”는, 편의상, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 구분한 것이다. 따라서, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리는, 예를 들면, “상기 재배열 처리 및 상기 표시 제어 처리”를 하나의 처리로 파악할 수도 있다. 또한, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리는, 예를 들면, “상기 표시 제어 처리” 및 “상기 재배열 처리 및 상기 표시 제어 처리” 각각을 (임의의 구분법에 의해) 2 이상의 처리로서 파악할 수도 있다. 이하에서는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리가 상기 재배열 처리 및 상기 표시 제어 처리로 분리될 수 있는 경우를 예로 든다. 여기서, 상술한 바와 같이, 상기 재배열 처리는 본 실시형태에 따른 정보 처리 장치의 외부 장치에서 행해져도 좋다.

<2> 본 실시형태에 따른 정보 처리 방법과 관련되는 처리

다음으로, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리에 대해 보다 구체적으로 설명한다.

(1) 재배열 처리

본 실시형태에 따른 정보 처리 장치는, 소정의 영역 내에 위치하는 복수의 촬상 디바이스에 의해 동시에 촬상을 행함으로써 생성되는 복수의 촬상 화상을, 복수의 촬상 디바이스 사이의 위치 관계에 기초하여 배열한다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면, GPS(Global Positioning System) 디바이스나 가속도 센서 등의 센서로부터 취득되는 센서 정보(데이터) 및 촬상 화상의 일방 또는 양방을 이용하여, 촬상 디바이스의 위치 및 자세를 추정한다.

여기서, 촬상 화상을 이용하여 촬상 디바이스의 위치 및 자세를 추정하는 경우에는, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 화상에 포함되는 피사체의 관계로부터 촬상 디바이스의 위치 및 자세를 추정할 수 있는 SfM(Structure from Motion) 기술을 이용하여, 촬상 화상으로부터 촬상 디바이스의 위치 및 자세를 추정한다.

또한, 예를 들면, SfM 기술을 이용하는 경우, 본 실시형태에 따른 정보 처리 장치는, 촬상 화상으로부터 촬상 디바이스의 촬상 파라미터(예를 들면, 촛점 거리 또는 왜곡을 나타내는 파라미터)를 얻을 수 있다. 따라서, 상기와 같이 촬상 화상을 이용하여 촬상 디바이스의 위치 및 자세가 추정되는 경우, 예를 들면, 촬상 화상이 줌 상태로 촬영한 촬상 디바이스에 의해 촬상된 촬상 화상일 때나, 또는 촬상 화상이 광각 상태로 촬영한 촬상 디바이스에 의해 촬상된 촬상 화상일 때에도, 촬상 화상으로부터 촬상을 행한 촬상 디바이스의 위치 및 자세를 추정할 수 있다.

또한, 상기 센서로서는, 예를 들면, 촬상 디바이스가 포함한 센서, 촬상 디바이스에 접속되어 있는 외부 센서, 촬상 디바이스에 시일 등으로 부착되는 외부 센서 등을 들 수 있다.

또한, 본 실시형태에 따른 정보 처리 장치는, 추정된 촬상 디바이스의 위치 및 자세에 기초한 촬상 디바이스의 공간적인 위치 관계에 기초하여, 복수의 촬상 화상을 배열한다.

상기한 바와 같이, 촬상 디바이스의 위치 및 자세는 촬상 화상과 센서 정보의 일방 또는 양방을 이용하여 추정된다. 즉, 본 실시형태에 따른 촬상 디바이스의 공간적인 위치 관계에는, 예를 들면, GPS 디바이스 등으로부터 취득할 수 있는 위치 데이터(센서 정보의 일례) 등에 기초한, 촬상 디바이스의 물리적인 위치 관계(촬상 디바이스의 촬상 위치의 물리적인 위치 관계)와, 촬상 화상으로부터 추정되는 정보에 기초한 촬상 디바이스의 위치 관계가 포함될 수 있다.

여기서, 촬상 화상으로부터 추정되는 정보에 기초한 촬상 디바이스의 위치 관계는 상기한 예로 한정되지 않는다. 예를 들면, 본 실시형태에 따른 정보 처리 장치는, 촬상 화상에 포함되는 소정의 피사체의 크기에 의해 피사체와의 거리를 추정하고, 추정된 거리를 이용하여 촬상 디바이스의 위치 관계를 결정할 수도 있다. 상기한 바와 같이 촬상 화상에 포함되는 소정의 피사체의 크기에 의해 피사체와의 거리를 추정하는 경우, 예를 들면, 줌 상태로 촬영한 하나의 촬상 디바이스에 의해 촬상된 촬상 화상과, 광각 상태로 촬영한 다른 촬상 디바이스에 의해 촬상된 촬상 화상에 포함되는 소정의 피사체의 크기가 실질적으로 동일할 때는, 당해 하나의 촬상 디바이스와 당해 다른 촬상 디바이스에 있어서의, 당해 피사체와의 거리 관계로서의 위치 관계는 실질적으로 동일하다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면, 기점이 되는 촬상 화상과 촬상 화상을 배열하는 방향에 기초하여 복수의 촬상 화상을 배열한다. 기점이 되는 촬상 화상으로서는, 예를 들면, 조작 화면의 주 화상 표시 영역(예를 들면, 도 4의 A에 나타내는 V)에 표시되고 있는 촬상 화상을 들 수 있다. 또한, 기점이 되는 촬상 화상과 배열 방향은, 유저의 조작에 의해 지정되어도 좋고, 또는 본 실시형태에 따른 정보 처리 장치에 의해 랜덤 등의 소정의 규칙에 기초하여 결정되어도 좋다.

또한, 조작 화면의 주 화상 표시 영역(예를 들면, 도 4의 A에 나타내는 V)에 표시되는 화상 등, 현재 표시되고 있는 화상이 바뀌었을 경우에는, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 현재 표시되고 있는 화상을 중심으로 하여 복수의 촬상 화상의 재배열을 행하고, 복수의 촬상 화상의 배열을 적응적으로 변경한다.

도 6은 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이며, 재배열 처리의 일례를 나타내고 있다.

도 6의 A는, 소정의 영역 내에 촬상 디바이스가 2개 위치하는 경우에 있어서의 촬상 화상의 배열 방법을, 촬상 디바이스의 위치 관계에 의해 개념적으로 나타내고 있다. 도 6의 B는, 소정의 영역 내에 촬상 디바이스가 3개 위치하는 경우에 있어서의 촬상 화상의 배열 방법을, 촬상 디바이스의 위치 관계에 의해 개념적으로 나타내고 있다. 도 6의 C는, 소정의 영역 내에 촬상 디바이스가 4개 위치하는 경우에 있어서의 촬상 화상의 배열 방법을, 촬상 디바이스의 위치 관계에 의해 개념적으로 나타내고 있다. 도 6의 D는, 소정의 영역 내에 촬상 디바이스가 8개 위치하는 경우에 있어서의 촬상 화상의 배열 방법을, 촬상 디바이스의 위치 관계에 의해 개념적으로 나타내고 있다.

상기한 바와 같이, 예를 들면 촬상 디바이스의 위치 및 자세를 추정함으로써 촬상 디바이스의 공간적인 위치 관계를 파악하는 것이 가능하다. 따라서, 기점이 되는 촬상 화상 및 촬상 화상을 배열하는 방향이 상기한 바와 같이 결정됨으로써, 본 실시형태에 따른 정보 처리 장치는, 예를 들면 도 6에 나타내는 바와 같이 복수의 촬상 화상을 촬상 디바이스들의 위치 관계의 공간적인 규칙성에 따라 배열할 수 있다. 여기서, 촬상 디바이스들의 위치 관계의 공간적인 규칙성은, 예를 들면, 복수의 촬상 디바이스가 촬상하는 동일한 피사체에 대응하는 규칙성이어도 된다.

여기서, 본 실시형태에 따른 정보 처리 장치는, 기점이 되는 촬상 화상과 촬상 화상을 배열하는 방향에 기초하여, 복수의 촬상 화상에 대해서 우선 순위(촬상 디바이스들의 위치 관계의 공간적인 규칙성에 따른 우선 순위)를 설정하고, 설정된 우선 순위에 따라 복수의 촬상 화상을 배열할 수도 있다.

구체적인 예를 들면, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 기점이 되는 촬상 화상에 대해 가장 높은 우선 순위를 설정한다. 또한, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 도 6의 A~D에 나타내는 바와 같은 배열 방향, 즉, 우선 순위를 설정하는 방향을 따라, 기점이 되는 촬상 화상에 대응하는 촬상 디바이스로부터의 거리가 가까운 촬상 디바이스에 의해 촬상된 촬상 화상으로부터의 순서로, 높은 우선 순위를 설정한다. 예를 들면, 도 6의 D에 나타내는 바와 같이, 우선 순위를 설정하는 방향이 최종적으로 기점이 되는 촬상 화상에 대응하는 촬상 디바이스의 위치에 도달하는 궤적에 따른 방향인 경우에는, 본 실시형태에 따른 정보 처리 장치는, 기점이 되는 촬상 화상에 대응하는 촬상 디바이스의 위치에 도달했을 때에, 촬상 화상에 대한 우선 순위의 설정을 종료한다. 또한, 예를 들면 도 6의 A~C의 우측 도면에 나타내는 바와 같이, 우선 순위를 설정하는 방향이, 최종적으로 기점이 되는 촬상 화상에 대응하는 촬상 디바이스의 위치에 도달하지 않는 궤적에 따른 방향인 경우에는, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 우선 순위가 설정된 촬상 화상이, 설정되어 있는 소정의 수가 되었을 경우나 우선 순위의 설정을 개시하고 나서 소정의 시간이 경과 했을 경우에, 촬상 화상에 대한 우선 순위의 설정을 종료한다.

상기한 바와 같이 설정된 우선 순위에 따라서 복수의 촬상 화상을 배열하는 경우에는, 본 실시형태에 따른 표시 제어 처리에 의해, 설정된 우선 순위에 대응하는 순서에 따라, 복수의 촬상 화상이 표시되게 된다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면, 소정의 영역 내에 위치하는 모든 촬상 디바이스로부터 취득되는 촬상 화상에 대해서 재배열 처리를 행한다.

여기서, 본 실시형태에 따른 재배열 처리는 상기한 바로 한정되지 않는다. 예를 들면, 본 실시형태에 따른 정보 처리 장치는, 아래의 (a)~(f)에 나타내는 바와 같이, 소정의 영역 내에 위치하는 복수의 촬상 디바이스로부터 취득되는 촬상 화상으로부터 소정의 촬상 화상을 제외하고, 복수의 촬상 화상을 배열할 수도 있다.

(a) 촬상 화상의 제외에 관한 재배열 처리의 제1 예

본 실시형태에 따른 정보 처리 장치는, 복수의 촬상 화상 가운데 유저에 의해 지정된 촬상 화상을 제외하고, 복수의 촬상 화상을 배열한다.

촬상 화상의 제외와 관련된 유저 조작은, 예를 들면, 도 4의 A에 나타내는 바와 같은 조작 화면이나, 복수의 촬상 화상이 일람 표시되고, 제외하는 촬상 화상을 선택할 수 있는 화면 등, 제외하는 촬상 화상을 유저가 선택할 수 있는 임의의 화면 상에서 행해진다. 또한, 촬상 화상의 제외와 관련된 유저 조작은, 예를 들면, 촬상 화상을 이용하지 않는 촬상 디바이스를 선택하는 조작이어도 좋다.

(b) 촬상 화상의 제외에 관한 재배열 처리의 제2 예

본 실시형태에 따른 정보 처리 장치는, 복수의 촬상 화상 가운데 소정의 오브젝트가 포함되지 않은 촬상 화상을 제외하고, 복수의 촬상 화상을 배열한다.

여기서, 본 실시형태에 따른 소정의 오브젝트로서는, 예를 들면, 유저에 의해 촬상 화상으로부터 검출되는 오브젝트나, 복수의 촬상 화상으로부터 검출되는 오브젝트, 설정되어 있는 오브젝트를 들 수 있다.

예를 들면, 유저가 도 5a나 도 5b에 나타내는 바와 같은 조작을 행할 때, 촬상 화상으로부터 피사체가 선택된다. 또한, 복수의 촬상 화상으로부터 검출되는 오브젝트로서는, 예를 들면, 설정되어 있는 임계값 이상의 수의 촬상 화상(또는 해당 임계값보다 큰 수의 촬상 화상)에 있어서 중심 부근 등 설정되어 있는 영역에 포함되는 피사체를 들 수 있다. 또한, 본 실시형태에 따른 설정되어 있는 오브젝트는, 미리 설정된 오브젝트여도 되고, 유저 조작에 의해 촬상 화상으로부터 지정된 피사체의 특징이 학습된 결과 설정된 오브젝트여도 된다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면, 소정의 오브젝트의 특징을 나타내는 데이터에 대응하는 특징을 가지는 피사체가 촬상 화상에 포함되지 않은 경우에, 소정의 오브젝트가 포함되지 않은 촬상 화상이라고 상정하고 해당 촬상 화상을 제외한다.

(c) 촬상 화상의 제외에 관한 재배열 처리의 제3 예

본 실시형태에 따른 정보 처리 장치는, 촬상 화상에 포함되는 색에 기초하여 촬상 화상을 제외하고, 복수의 촬상 화상을 배열한다. 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 다른 촬상 화상과 색이 크게 다른 촬상 화상을 판정한다. 또한, 색이 크게 다르다고 판정된 촬상 화상을 제외한다.

여기서, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 촬상 화상 각각의 색 히스토그램을 산출하고, 산출된 색 히스토그램에 기초하여 다른 촬상 화상과 색이 크게 다른 촬상 화상의 판정을 행한다. 여기서, 본 실시형태에 따른 다른 촬상 화상과 색이 크게 다른 촬상 화상의 판정 방법은, 상기한 바로 한정되지 않고, 본 실시형태에 따른 정보 처리 장치는, 다른 화상과 색이 크게 다른 화상을 판정할 수 있는 임의의 방법을 이용할 수 있다.

(d) 촬상 화상의 제외에 관한 재배열 처리의 제4 예

본 실시형태에 따른 정보 처리 장치는, 촬상 화상의 해상도에 기초하여 촬상 화상을 제외하고, 복수의 촬상 화상을 배열한다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면, 다른 촬상 화상과 해상도가 크게 다른 촬상 화상을 판정한다. 또한, 해상도가 크게 다르다고 판정된 촬상 화상을 제외한다.

여기서, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, “촬상 화상의 해상도와 복수의 촬상 화상의 평균 해상도 사이의 차의 절대치”가, 설정되어 있는 임계값 이상인 촬상 화상(또는 절대치가 임계값보다 큰 촬상 화상)을, 다른 촬상 화상과 해상도가 크게 다른 촬상 화상이라고 판정한다. 여기서 본 실시형태에 따른 다른 촬상 화상과 해상도가 크게 다른 촬상 화상의 판정 방법은, 상기한 바로 한정되지 않고, 본 실시형태에 따른 정보 처리 장치는 다른 화상과 해상도가 크게 다른 화상을 판정할 수 있는 임의의 방법을 이용할 수 있다.

여기서, 촬상 화상의 제외에 따른 재배열 처리의 제4 예는, 상기한 바로 한정되지 않는다.

예를 들면, 본 실시형태에 따른 정보 처리 장치는, 해상도의 하한에 대응하는 제1 해상도 이하의 해상도를 갖는 촬상 화상(또는 제1 해상도보다 작은 해상도를 갖는 촬상 화상)을 제외해도 된다. 또한, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 해상도의 상한에 대응하는 제2 해상도 이상의 해상도를 갖는 촬상 화상(또는 제2 해상도보다 큰 해상도를 갖는 촬상 화상)을 제외해도 된다.

(e) 촬상 화상의 제외에 관한 재배열 처리의 제5 예

본 실시형태에 따른 정보 처리 장치는, 상기 (a)에 나타낸 제1 예~상기 (d)에 나타낸 제4 예의 2 이상의 처리를 조합한 처리에 의해, 촬상 화상을 제외한 후에 복수의 촬상 화상을 배열하여도 좋다.

(f) 촬상 화상의 제외에 관한 재배열 처리의 제6 예

본 실시형태에 따른 정보 처리 장치는, 상기 (a)에 나타내는 제1 예~상기 (e)에 나타내는 제5 예에 따른 처리에 의해 제외된 화상이더라도, 유저 조작에 의해 재차 추가된 경우에는, 추가된 화상을 제외하지 않고 복수의 촬상 화상을 배열할 수도 있다.

(2) 표시 제어 처리

본 실시형태에 따른 정보 처리 장치는, 상기 (1)의 처리(재배열 처리)에 의해 배열된 복수의 촬상 화상 중의 기준 화상으로부터 절환처 화상으로, 화상을 절환하여 표시한다.

또한, 본 실시형태에 따른 정보 처리 장치는, 화상을 절환하는 때에는, 기준 화상에 대응하는 촬상 디바이스와 절환처 화상에 대응하는 촬상 디바이스 사이의 위치 관계에 기초하여, 선택적으로 1 또는 2 이상의 보완 화상을 선택적으로 보충한다. 또한, 보완 화상이 보충되어졌을 경우에는, 본 실시형태에 따른 정보 처리 장치는, 예를 들면 도 4의 B에 나타내는 바와 같이, 절환처 화상을 표시하기 전에 보완 화상을 표시한다.

여기서, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 기준 화상에 대응하는 촬상 디바이스와 절환처 화상에 대응하는 촬상 디바이스 사이의 거리에 기초하여, 보완 화상을 선택적으로 보충한다.

본 실시형태에 따른 “하나의 촬상 디바이스와 다른 촬상 디바이스 사이의 거리”로서는, 예를 들면, 하나의 촬상 디바이스와 다른 촬상 디바이스 사이의 직선 거리를 들 수 있다. 하나의 촬상 디바이스와 다른 촬상 디바이스 사이의 직선 거리는, 예를 들면, 촬상 화상으로부터 추정되는 촬상 디바이스의 위치나, GPS 디바이스 등의 센서로부터 취득할 수 있는 센서 정보가 나타내는 위치 등에 의해 산출된다.

여기서, 본 실시형태에 따른 “하나의 촬상 디바이스와 다른 촬상 디바이스 사이의 거리”는, 상기한 바로 한정되지 않는다.

예를 들면, 본 실시형태에 따른 “하나의 촬상 디바이스와 다른 촬상 디바이스 사이의 거리”는, 하나의 촬상 디바이스와 다른 촬상 디바이스와의 사이에 있어서의, 화상 표시의 절환과 관련되는 가상적인 표시의 절환 경로(이하, 「가상 패스」라고 지칭함)의 거리여도 된다. 본 실시형태에 따른 가상 패스는, 기준 화상에 대응하는 촬상 디바이스와 절환처 화상에 대응하는 촬상 디바이스 사이의 위치 관계에 기초하여 설정된다. 예를 들면, 본 실시형태에 따른 가상 패스는, 복수의 촬상 디바이스가 촬상하는 동일한 피사체에 대한 패스로서 설정된다. 본 실시형태에 따른 가상 패스의 구체적인 예에 대해서는 후술한다.

보다 구체적으로는, 본 실시형태에 따른 정보 처리 장치는, 기준 화상에 대응하는 촬상 디바이스와 절환처 화상에 대응하는 촬상 디바이스 사이의 거리가, 설정되어 있는 임계값 이상인 경우(또는, 해당 거리가 해당 임계값보다 큰 경우)에, 보완 화상을 보충한다. 또한, 본 실시형태에 따른 정보 처리 장치는, 기준 화상에 대응하는 촬상 디바이스와 절환처 화상에 대응하는 촬상 디바이스 사이의 거리가, 설정되어 있는 임계값보다 작은 경우(또는, 해당 거리가 해당 임계값 이하인 경우)에는, 보완 화상을 보충하지 않는다. 상기 임계값은, 미리 설정되어 있는 고정값이어도 좋고, 유저 조작 등에 의해 변경 가능한 가변값이어도 좋다.

또한, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 거리와 보완 화상의 수가 대응지어져 있는 테이블이나, 보완 화상의 수가 일의적으로 구해지는 거리의 함수 등을 이용하여, 기준 화상에 대응하는 촬상 디바이스와 절환처 화상에 대응하는 촬상 디바이스 사이의 거리에 따른 수의 보완 화상을 보충해도 된다.

본 실시형태에 따른 정보 처리 장치는, 화상(예를 들면, 기준 화상, 절환처 화상, 보완 화상 등)을 절환하여 표시하는 경우에는, 예를 들면, 설정된 가상 패스에 기초하여, 설정된 가상 패스에 대응하는 화상을 표시한다.

여기서, 본 실시형태에 따른 가상 패스에 대응하는 화상으로서는, 가상 패스 상에 위치하는 촬상 디바이스에 의해 촬상된 촬상 화상과, 가상 패스 상에 위치하는 가상적인 촬상 디바이스에 의해 촬상된 촬상 화상에 상당하도록 생성된 생성 화상을 들 수 있다.

구체적인 예를 들면, 본 실시형태에 따른 가상 패스에 대응하는 화상으로서는, 예를 들면 아래와 같이 열거하는 화상을 들 수 있다.

- 기준 화상(기준 화상에 대응하는 촬상 디바이스의 위치가 가상 패스 상에 있는 경우)

- 기준 화상에 대해서 화상 처리를 행함으로써 생성된 생성 화상(기준 화상에 대응하는 촬상 디바이스의 위치가 가상 패스 상에 없는 경우)

- 절환처 화상(절환처 화상에 대응하는 촬상 디바이스의 위치가 가상 패스 상에 있는 경우)

- 절환처 화상에 대해서 화상 처리를 행함으로써 생성된 생성 화상(절환처 화상에 대응하는 촬상 디바이스의 위치가 가상 패스 상에 없는 경우)

- 가상 패스 상에 위치하는, 기준 화상에 대응하는 촬상 디바이스 및 절환처 화상에 대응하는 촬상 디바이스가 아닌 다른 촬상 디바이스에 의해 촬상된 촬상 화상

- 상기 다른 촬상 디바이스에 의해 촬상된 촬상 화상 등에 기초하여 생성된 생성 화상

이하에서는, 기준 화상에 대해서 화상 처리를 행함으로써 생성되는 생성 화상을, 「기준 화상에 기초하는 화상」이라 지칭한다. 또한, 이하에서는, 절환처 화상에 대해서 화상 처리를 행함으로써 생성되는 생성 화상을, 「절환처 화상에 기초하는 화상」이라 지칭한다.

이하, 본 실시형태에 따른 표시 제어 처리의 일례에 대해 보다 구체적으로 설명한다.

(2-1) 본 실시형태에 따른 표시 제어 처리의 제1 예：가상 패스의 설정과 관련되는 처리의 일례

우선, 가상 패스의 설정과 관련되는 처리의 일례에 대해 설명한다.

도 7은, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이며, 본 실시형태에 따른 표시 제어 처리에 있어서의 가상 패스의 설정과 관련되는 처리의 일례를 나타내고 있다. 도 7에 나타내는 “Cam1”은, 기준 화상에 대응하는 촬상 디바이스를 나타내고 있으며, 도 7에 나타내는“Cam2”는, 절환처 화상에 대응하는 촬상 디바이스를 나타내고 있다. 또한, 도 7에 나타내는 “P1”,“P2” 및 “P3”각각은 가상 패스의 일례를 나타내고 있다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면 도 7의 A에 나타내는 바와 같이, 기준 화상에 대응하는 촬상 디바이스 Cam1과 절환처 화상에 대응하는 촬상 디바이스 Cam2 사이에 위치하는 촬상 디바이스가, 가상 패스 상에 위치하는 경로를 가상 패스로서 설정한다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면, 위치가 인접하는 촬상 디바이스간을 직선으로 연결함으로써, 가상 패스를 설정한다(예를 들면, 도 7의 A에 나타내는 가상 패스 P1). 또한, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 위치가 인접하는 촬상 디바이스간을, 베지어(bezier) 곡선 등의 곡선으로 연결함으로써, 가상 패스를 설정해도 좋다(예를 들면, 도 7의 A에 나타내는 가상 패스 P2).

또한, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 유저 조작에 기초하여 가상 패스를 설정하는 것도 가능하다(예를 들면, 도 7의 B에 나타내는 가상 패스 P3). 가상 패스의 설정에 따른 유저 조작은, 예를 들면, 본 실시형태에 따른 정보 처리 장치가 잠정적으로 설정한 가상 패스를 수정하는 조작이어도 좋고, 신규로 가상 패스를 설정하는 조작이어도 좋다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면 상기한 바와 같이 가상 패스를 설정한다.

여기서, 본 실시형태에 따른 가상 패스의 설정과 관련되는 처리는, 상기한 바와 같이 나타내는 예로 한정되지 않는다. 예를 들면, 본 실시형태에 따른 정보 처리 장치는, 소정의 곡률을 갖는 원호 등, 미리 설정되어 있는 가상 패스를 설정하는 것도 가능하다.

또한, 본 실시형태에 따른 정보 처리 장치는, 본 실시형태에 따른 가상 패스의 설정과 관련되는 처리를, 상기 (a)~상기 (f)에 나타내는 소정의 촬상 화상의 제외와 관련되는 처리와 병행하여 실시하는 것도 가능하다. 즉, 본 실시형태에 따른 정보 처리 장치는, 가상 패스를 설정하면서, 촬상 화상을 선택적으로 제외해도 좋다.

(2-2) 본 실시형태에 따른 표시 제어 처리의 제2 예：설정된 가상 패스에 대응하는 화상의 표시와 관련되는 처리의 일례

다음에, 설정된 가상 패스에 대응하는 화상의 표시와 관련되는 처리의 일례에 대해 설명한다.

도 8a는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이며, 본 실시형태에 따른 표시 제어 처리에 있어서의 가상 패스에 대응하는 화상의 표시와 관련되는 처리의 일례를 나타내고 있다. 도 8a는, 설정된 가상 패스 P 상에, 복수의 촬상 디바이스가 위치하는 경우를 나타내고 있다.

도 8a에 나타내는 “Cam1”은 기준 화상에 대응하는 촬상 디바이스를 나타내고 있으며, 도 8a에 나타내는“Cam2”는 절환처 화상에 대응하는 촬상 디바이스를 나타내고 있다. 또한, 도 8a에 나타내는 “Cam3”는, 가상 패스 P 상에 위치하는, 기준 화상에 대응하는 촬상 디바이스 및 절환처 화상에 대응하는 촬상 디바이스가 아닌 다른 촬상 디바이스를 나타내고 있다. 또한, 도 8a에 나타내는 “Cam3＇”는, 가상 패스 P 상에 위치하는 가상적인 촬상 디바이스의 일례를 나타내고 있다.

도 8a의 A에서는, 기준 화상에 대응하는 촬상 디바이스 Cam1, 및 절환처 화상에 대응하는 촬상 디바이스 Cam2가, 가상 패스 P 상에 위치하고 있다. 따라서, 본 실시형태에 따른 정보 처리 장치는, 화상의 절환 시에, 기준 화상 및 절환처 화상을 표시한다.

또한, 도 8a의 A에서는, 다른 촬상 디바이스가 가상 패스 P 상에 위치하고 있다. 따라서, 본 실시형태에 따른 정보 처리 장치는, 화상의 절환 시에, 기본적으로 각 촬상 디바이스에 의해 촬상된 촬상 화상을, 보완 화상으로서 표시한다.

그렇지만, 설정된 가상 패스 P 상에 위치하는 촬상 디바이스 Cam3에 의해 촬상된 촬상 화상에는, 다른 촬상 디바이스에 의해 촬상된 촬상 화상과 달리, 피사체 O가 화상의 중심 부근에 존재하고 있지 않다. 그러므로, 화상의 절환 시에 촬상 디바이스 Cam3에 의해 촬상된 촬상 화상이 보완 화상으로서 이용되는 경우에는, 예를 들면, 피사체 O가 중심 부근으로부터 어긋나는 것이나, 화상의 절환이 부드럽게 되지 않는 것 등이, 화상을 보는 유저에게 인식될 우려가 있다.

그러므로, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 촬상 디바이스 Cam3에 의해 촬상된 촬상 화상에 대해서 화상 처리를 행함으로써, 도 8a의 B에 나타내는 가상적인 촬상 디바이스 Cam3＇로부터 촬상된 촬상 화상에 상당하는 생성 화상을 생성한다. 본 실시형태에 따른 정보 처리 장치는, 촬상 디바이스 Cam3에 의해 촬상된 촬상 화상에 대해서, 예를 들면, 크로핑(cropping), 회전(rotation), 아핀(affine) 변환, 호모그래피(homography) 변환 등을 행함으로써, 생성 화상을 생성한다.

또한, 본 실시형태에 따른 정보 처리 장치는, 촬상 디바이스 Cam3에 의해 촬상된 촬상 화상 대신에, 생성한 생성 화상을 보완 화상으로 한다.

예를 들면, 도 8a에 나타내는 바와 같이 생성 화상을 생성하고, 생성 화상을 보완 화상으로서 표시함으로써, 예를 들면, 화상의 절환 시에 보다 부드러운 화상을 유저에게 보여줄 수 있다. 또한, 도 8a에 나타내는 바와 같이 생성 화상을 생성하고, 생성 화상을 보완 화상으로 함으로써, 예를 들면, 복수의 촬상 화상을 동시에 표시하는 경우나, 이른바 타임 슬라이스 화상을 표시하는 경우에, 보다 아름다운 화상을 작성할 수 있다.

도 8b는, 본 실시형태에 따른 정보 처리 방법과 관련된 처리의 일례를 설명하기 위한 설명도이며, 본 실시형태에 따른 표시 제어 처리에 있어서의 가상 패스에 대응하는 화상의 표시와 관련되는 처리의 다른 예를 나타내고 있다. 도 8b는, 설정된 가상 패스 P 상에, 복수의 촬상 디바이스가 위치하고 있지 않는 경우를 나타내고 있다.

도 8b에 나타내는 “Cam1”는 기준 화상에 대응하는 촬상 디바이스를 나타내고 있으며, 도 8b에 나타내는 “Cam2”는 절환처 화상에 대응하는 촬상 디바이스를 나타내고 있다. 또한, 도 8b에 나타내는 “Cam3”, “Cam4”, “Cam5” 각각은 가상 패스 P 상에 위치하는, 기준 화상에 대응하는 촬상 디바이스 및 절환처 화상에 대응하는 촬상 디바이스가 아닌 다른 촬상 디바이스를 나타내고 있다.

또한, 도 8a에 나타내는 “Cam1＇”, “Cam2＇”, “Cam3＇”, “Cam4＇”, “Cam5＇” 각각은, 가상 패스 P 상에 위치하는 가상적인 촬상 디바이스의 일례를 나타내고 있다.

도 8b의 A에서는, 기준 화상에 대응하는 촬상 디바이스 Cam1이, 가상 패스 P 상에 위치하고 있지 않다. 여기서, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 기준 화상에 대응하는 촬상 디바이스의 위치와 가상 패스에 기초하여, 기준 화상에 대응하는 촬상 디바이스의 위치가 가상 패스 상에 존재하는지 아닌지를 판정한다.

도 8b의 A에 나타내는 바와 같이, 기준 화상에 대응하는 촬상 디바이스의 위치가 가상 패스 상에 존재하지 않는 경우에는, 본 실시형태에 따른 정보 처리 장치는, 기준 화상을, 가상 패스 상에 위치하는 가상적인 촬상 디바이스 Cam1＇에 의해 촬상된 촬상 화상에 상당하는 화상이 되도록 화상 처리하고, 기준 화상에 기초하는 화상을 생성한다. 생성되는 기준 화상에 기초하는 화상은, 가상적인 촬상 디바이스 Cam1＇에 의해 촬상된 촬상 화상에 상당한다. 본 실시형태에 따른 정보 처리 장치는, 촬상 디바이스 Cam1에 의해 촬상된 촬상 화상에 대해서, 예를 들면, 스케일 변환이나, 아핀 변환 등을 실시함으로써, 기준 화상에 기초하는 화상을 생성한다.

또한, 본 실시형태에 따른 정보 처리 장치는, 화상의 절환 시에, 생성된 기준 화상에 기초하는 화상을 표시시킨다.

또한, 도 8b의 A에 나타내는 바와 같이, 절환처 화상에 대응하는 촬상 디바이스의 위치가 가상 패스 상에 존재하지 않는 경우에는, 본 실시형태에 따른 정보 처리 장치는, 절환처 화상을, 가상 패스 상에 위치하는 가상적인 촬상 디바이스 Cam2＇에 의해 촬상된 촬상 화상에 상당하는 화상이 되도록 화상 처리하고, 절환처 화상에 기초하는 화상을 생성한다. 생성되는 절환처 화상에 기초하는 화상은, 가상적인 촬상 디바이스 Cam2＇에 의해 촬상된 촬상 화상에 상당한다. 본 실시형태에 따른 정보 처리 장치는, 촬상 디바이스 Cam2에 의해 촬상된 촬상 화상에 대해서, 예를 들면, 스케일 변환이나, 아핀 변환 등을 실시함으로써, 절환처 화상에 기초하는 화상을 생성한다.

또한, 본 실시형태에 따른 정보 처리 장치는, 화상의 절환 시에, 생성된 절환처 화상에 기초하는 화상을 표시시킨다.

또한, 도 8b의 A에 나타내는 바와 같이, 기준 화상에 대응하는 촬상 디바이스 및 절환처 화상에 대응하는 촬상 디바이스가 아닌 다른 촬상 디바이스 Cam3~Cam5의 위치가 가상 패스 상에 존재하지 않는 경우에는, 본 실시형태에 따른 정보 처리 장치는, 다른 촬상 디바이스 Cam3~Cam5에 의해 촬상된 촬상 화상을, 가상 패스 상에 위치하는 가상적인 촬상 디바이스 Cam3＇~ Cam5＇에 의해 촬상된 촬상 화상에 상당하는 화상이 되도록 화상 처리하여, 생성 화상을 생성한다. 생성되는 생성 화상은, 가상적인 촬상 디바이스 Cam3＇~ Cam5＇에 의해 촬상된 촬상 화상에 상당한다. 본 실시형태에 따른 정보 처리 장치는, 촬상 디바이스 Cam3~Cam5에 의해 촬상된 촬상 화상에 대해서, 예를 들면, 스케일 변환이나, 아핀 변환 등을 실시함으로써, 생성 화상을 생성한다.

또한, 본 실시형태에 따른 정보 처리 장치는, 화상의 절환 시에, 생성된 생성 화상을, 보완 화상으로서 표시시킨다.

예를 들면, 도 8b에 나타내는 바와 같이, 기준 화상 및 절환처 화상 대신에 기준 화상에 기초하는 화상 및 절환처 화상에 기초하는 화상을 표시시키고, 생성 화상을 보완 화상으로서 표시시킴으로써, 예를 들면, 화상의 절환 시에 보다 부드러운 화상을 유저에게 보이게 할 수 있다. 또한, 도 8b에 나타내는 바와 같이, 기준 화상에 기초하는 화상 및 절환처 화상에 기초하는 화상을 생성하고, 또한, 생성 화상을 생성하고 생성 화상을 보완 화상으로 함으로써, 예를 들면, 복수의 촬상 화상을 동시에 표시시키는 경우나, 이른바 타임 슬라이스 화상을 표시시키는 경우에, 보다 아름다운 화상을 작성할 수 있다.

본 실시형태에 따른 정보 처리 장치는, 설정된 가상 패스에 대응하는 화상의 표시와 관련되는 처리로서, 예를 들면, 도 8a 및 도 8b를 참조하여 나타낸 바와 같은 처리를 행한다.

여기서, 설정된 가상 패스에 대응하는 화상의 표시와 관련되는 처리의 일례는, 도 8a 및 도 8b를 참조하여 나타낸 바와 같은 처리로 한정되지 않는다.

예를 들면, 본 실시형태에 따른 정보 처리 장치는, 화상의 절환 시에, 소정의 피사체에 포커스를 맞춘 화상을 표시시키는 것도 가능하다.

도 9는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이며, 본 실시형태에 따른 표시 제어 처리에 있어서의 가상 패스에 대응하는 화상의 표시와 관련되는 처리의 다른 예를 나타내고 있다.

도 9에 나타내는 A1~A4는, 복수의 촬상 디바이스에 의해 촬상된 촬상 화상의 일례를 나타내고 있다. 또한, 도 9에 나타내는 B1~B4는, 도 9의 A1~A4의 각 촬상 화상에 대해서, 도 8a 및 도 8b를 참조하여 나타내는 처리와 유사한 처리를 행한 후에, 화상에 포함되는 포수(소정의 피사체의 일례)에게 포커스를 맞춘 화상의 일례를 나타내고 있다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면, 화상으로부터 소정의 피사체를 검출하고, 검출된 소정의 피사체가 포커싱 되도록 화상 처리를 행함으로써, 도 9의 B1~B4에 나타내는 화상을 생성 화상으로서 생성한다. 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 도 5a~도 5c를 참조하여 나타내는 방법에 의해 학습된 결과 얻어지는 소정의 피사체의 특징을 나타내는 데이터를 이용하여, 화상(예를 들면, 기준 화상, 절환처 화상, 보완 화상 등)으로부터 피사체를 검출한다.

도 9의 B1~B4에 나타내는 바와 같이, 소정의 피사체에 포커스를 맞춘 화상이 생성 화상으로서 생성되어 표시되면, 소정의 피사체의 표시 위치가 부드럽게 바뀌는 화상을 유저에게 보여 줄 수 있다. 또한, 예를 들면 도 9의 B1~B4에 나타내는 바와 같이, 소정의 피사체에 포커스를 맞춘 화상이 생성 화상으로서 생성되면, 예를 들면, 복수의 촬상 화상을 동시에 표시시키는 경우나, 이른바 타임 슬라이스 화상을 표시시키는 경우에, 보다 아름다운 화상을 작성할 수 있다.

(2-3) 본 실시형태에 따른 표시 제어 처리의 제3 예：설정된 가상 패스에 대응하는 화상의 표시와 관련되는 처리의 다른 예

상술한 바와 같이, 가상 패스는, 유저 조작에 기초하여 설정되어도 좋다. 또한, 본 실시형태에 따른 정보 처리 장치는, 화상의 절환 시에, 촬상 디바이스에 의해 촬상된 촬상 화상을 이용하는지 아닌지를, 예를 들면, 촬상 디바이스의 위치(공간적인 배치)나, 촬상 화상에 포함되는 피사체의 유무, 촬상 화상에 포함되는 피사체의 위치에 기초하여, 적응적으로 결정하는 것도 가능하다.

도 10은, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이며, 본 실시형태에 따른 표시 제어 처리에 있어서의 가상 패스에 대응하는 화상의 표시와 관련되는 처리의 다른 예를 나타내고 있다.

도 10에 나타내는 A1, B1, C1는, 가상 패스 상에 위치하는 하나의 촬상 디바이스에 의해 촬상된 촬상 화상의 일례를 나타내고 있다. 또한, 도 10에 나타내는 A3 및 B3는, 가상 패스 상에 위치하는 다른 촬상 디바이스에 의해 촬상된 촬상 화상의 일례를 나타내고 있다. 또한, 도 10에 나타내는 C3는, 보완 화상의 일례를 나타내고 있으며 가상 패스 상에 위치하는 상기 다른 촬상 디바이스에 의해 촬상된 촬상 화상을 크로핑하여 생성된 생성 화상을 나타내고 있다. 또한, 도 10에 나타내는 A2, B2, C2는, 보완 화상의 일례를 나타내고 있으며 생성 화상을 각각 나타내고 있다.

가상 패스 상에 하나의 촬상 디바이스와 다른 촬상 디바이스가 위치할 경우에 있어서, 하나의 촬상 디바이스에 대응하는 시점의 화상으로부터 다른 촬상 디바이스에 대응하는 시점의 화상으로 절환하는 경우에는, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 설정된 가상 패스에 따라, 도 10의 A2나 B2에 나타내는 보완 화상을, 도 10의 A3나 B3에 나타내는 화상이 표시되기 전에 표시시킨다. 여기서, 도 10의 A1, A2, A3에 나타내는 화상의 절환은, 예를 들면, 가상 패스 베이스의 화상의 절환으로 파악할 수 있다. 또한, 도 10의 A1, A2, A3에 나타내는 화상의 절환은, 예를 들면, 피사체 베이스의 화상의 절환으로 파악할 수 있다.

또한, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 도 10의 C1, C2, C3에 나타내는 바와 같이, 피사체가 표시되는 위치나 피사체의 크기가 변하지 않도록, 화상을 절환하는 것도 가능하다. 예를 들면, 도 10의 C1, C2, C3에 나타내는 바와 같이, 피사체가 표시되는 위치나 피사체의 크기가 변함없게, 화상이 절환되는 경우에는, 유저는, 화상을 보다 직감적으로 볼 수가 있고 또한 화상의 편집을 보다 직감적으로 행할 수 있다. 도 10의 C1, C2, C3에 나타내는 화상의 절환은, 예를 들면, 피사체 베이스의 화상의 절환으로 파악할 수 있다.

예를 들면, 도 10에 나타내는 바와 같은 화상의 절환을 행함으로써, 보다 부드러운 화상의 절환이 실현된다.

(2-4) 본 실시형태에 따른 표시 제어 처리의 제4 예

도 11a 및 도 11b는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이며, 본 실시형태에 따른 표시 제어 처리에 의해 실현되는 화상 절환의 일례를 나타내고 있다. 도 11a 및 도 11b에 나타내는 예에서는, 야구장에 배치된 복수의 촬상 디바이스 Cam1, Cam2,…에 의해 촬상을 행할 때 있어서, 촬상 디바이스 Cam1에 의해 촬상된 촬상 화상으로부터 촬상 디바이스 Cam4에 의해 촬상된 촬상 화상으로 화상이 절환되는 경우에 있어서의 예를 나타내고 있다.

도 11a의 A는, 촬상 디바이스 Cam1에 의해 촬상된 촬상 화상의 일례를 나타내고 있으며 예를 들면 표시 화면에 현재 표시되고 있는 화상이다. 도 11a 및 도 11b에 나타내는 예에서는, 촬상 디바이스 Cam1에 의해 촬상된 촬상 화상이 기준 화상에 해당한다.

또한, 도 11a의 B는, 도 11a의 왼쪽으로부터 순서대로, 촬상 디바이스 Cam2에 의해 촬상된 촬상 화상, 촬상 디바이스 Cam3에 의해 촬상된 촬상 화상, 촬상 디바이스 Cam4에 의해 촬상된 촬상 화상, 촬상 디바이스 Cam5에 의해 촬상된 촬상 화상,…의 일례를 나타내고 있다. 도 11a 및 도 11b에 나타내는 예에서는, 촬상 디바이스 Cam4에 의해 촬상된 촬상 화상이 기준 화상에 해당한다.

기준 화상으로부터 절환처 화상으로의 화상 절환과 관련되는 가상 패스 P는, 예를 들면 도 11b의 A에 나타내는 바와 같이, 기준 화상에 대응하는 촬상 디바이스 Cam1과 절환처 화상에 대응하는 촬상 디바이스 Cam4와의 사이에 위치하는, 촬상 디바이스 Cam2, Cam3를 경유하도록 설정된다. 예를 들면 도 11b의 A에 나타내는 바와 같이 가상 패스 P가 설정됨으로써, 촬상 디바이스 Cam2, Cam3에 의해 촬상된 촬상 화상을, 보완 화상으로서 이용할 수 있다. 여기서, 상술한 바와 같이, 본 실시형태에 따른 가상 패스는, 예를 들면 유저 조작 등에 기초하여 임의 설정하는 것이 가능하다.

또한, 기준 화상으로부터 절환처 화상으로의 화상 절환 시에, 예를 들면 도 11b의 B에 나타내는 바와 같이, 가상 패스 상의 가상적인 촬상 디바이스 VD1~VD3에 의해 촬상된 촬상 화상에 상당하는 생성 화상이, 보완 화상으로서 보충되어도 된다. 보완 화상의 수는, 예를 들면, 기준 화상에 대응하는 촬상 디바이스 Cam1와 절환처 화상에 대응하는 촬상 디바이스 Cam2 사이의 거리에 따라 결정된다.

예를 들면 도 11b의 B에 나타내는 바와 같이, 촬상 디바이스 Cam2, Cam3에 의해 촬상된 촬상 화상과 가상적인 촬상 디바이스 VD1~VD3에 의해 촬상된 촬상 화상에 상당하는 생성 화상이, 보완 화상으로서 보충되어지면, 도 11의 C에 나타내는 바와 같은 화상 절환이 실현된다.

(2-5) 본 실시형태에 따른 표시 제어 처리의 제5 예：화상 절환에 관한 UI(User Interface)의 예

예를 들면 도 4의 A를 참조하여 나타낸 바와 같이, 본 실시형태에 따른 화상 절환은, 유저가 화상 절환에 관한 조작을 실시하는 것이 가능한 조작 화면에 대한 유저 조작에 기초하여 행해져도 좋다.

도 12는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 설명하기 위한 설명도이며, 본 실시형태에 따른 화상 절환과 관련되는 UI의 일례를 나타내고 있다. 도 12의 A는, 유저가 화상 절환에 관한 조작을 실시할 수 있는 조작 화면의 일례를 나타내고 있고, 도 12의 B는, 유저가 화상 절환에 관한 조작을 실시할 수 있는 조작 화면의 다른 예를 나타내고 있다.

(2-5-1) 조작 화면의 제1 예(도 12의 A)

도 12의 A를 참조하면, 제1 예에 따른 조작 화면에는, 화상이 표시되는 주 화상 표시 영역 V와 상기 (1)의 처리(재배열 처리)에 의해 배열된 촬상 화상이 표시되어 유저가 촬상 화상을 선택하는 조작을 실시하는 것이 가능한 선택 영역 S1이 포함된다. 여기서, 선택 영역 S1에 대한 조작이, 본 실시형태에 따른 화상 절환에 관련되는 조작의 일례에 해당한다. 또한, 본 실시형태에 따른 조작 화면에는, 화상의 재생과 관련되는 조작 버튼이나, 탐색 바(seek bar) 등이 포함되어 있어도 좋다.

주 화상 표시 영역 V에 표시되어 있는 촬상 화상은 기준 화상에 해당한다. 또한, 선택 영역 S1에는, 예를 들면, 기준 화상(주 화상 표시 영역 V에 표시되고 있는 촬상 화상)에 대응하는 촬상 디바이스와의 위치 관계에 따라, 기준 화상에 대응하는 촬상 디바이스가 아닌 다른 촬상 디바이스에 의해 촬상된 촬상 화상이 표시된다. 선택 영역 S1에는, 예를 들면, 상기 (1)의 처리(재배열 처리)와 관련되는 배열 방향으로, 기준 화상에 대응하는 촬상 디바이스와의 거리가 가까운 순서로, 다른 촬상 디바이스에 의해 촬상된 촬상 화상이 표시된다. 주 화상 표시 영역 V에 표시되어 있는 촬상 화상이 다른 화상으로 바뀌었을 경우에는, 주 화상 표시 영역 V에 표시되어 있는 화상에 대응하는 화상이, 선택 영역 S1에 표시된다.

도 12의 A에 나타내는 조작 화면에 대해서 유저 조작을 행하는 경우, 유저가 선택 영역 S1에 표시되어 있는 화상을 선택하면, 본 실시형태에 따른 정보 처리 장치는, 주 화상 표시 영역 V에 표시되어 있는 촬상 화상으로부터 선택 영역 S1에 있어 선택된 촬상 화상으로, 화상을 절환한다.

(2-5-2) 조작 화면의 제2 예(도 12의 B)

도 12의 B를 참조하면, 제2 예에 따른 조작 화면에는, 화상이 표시되는 주 화상 표시 영역 V와 상기 (1)의 처리에서 배열된 촬상 화상에 대응하는 촬상 디바이스의 위치가 표시되어 유저가 선택과 관련되는 조작을 행하는 것이 가능한 선택 영역 S2가 포함된다. 여기서, 선택 영역 S2에 대한 조작이, 본 실시형태에 따른 화상 절환에 관련한 조작의 일례에 해당한다. 주 화상 표시 영역 V에 표시되어 있는 촬상 화상은, 도 12의 A와 마찬가지로, 기준 화상에 해당한다.

선택 영역 S2에 대한 유저의 선택과 관련되는 조작으로서는, 예를 들면, 촬상 디바이스를 선택하는 조작이나, 가상 패스를 설정하는 조작을 들 수 있다. 촬상 디바이스를 선택하는 조작은, 예를 들면, 선택된 촬상 디바이스에 대응하는 촬상 화상을 절환처 화상으로서 선택하는, 절환처 화상의 선택 조작에 상당한다. 또한, 가상 패스를 설정하는 조작은, 예를 들면, 가상 패스를 설정하는 것에 따른, 절환처 화상의 선택 조작에 상당한다.

또한, 선택 영역 S2에서는, 예를 들면 도 12의 B의 I에 나타내는 바와 같이, “주 화상 표시 영역 V에 표시되고 있는 촬상 화상에 대응하는 촬상 디바이스에 대해서 색이 부여되는 것”이나, “주 화상 표시 영역 V에 표시되고 있는 촬상 화상에 대응하는 촬상 디바이스의 사이즈가 다른 촬상 디바이스보다 크도록 표시를 행하는 것”, “주 화상 표시 영역 V에 표시되고 있는 촬상 화상에 대응하는 촬상 디바이스에 대해 문자가 붙여지는 것” 등에 의해, 주 화상 표시 영역 V에 표시되고 있는 촬상 화상에 대응하는 촬상 디바이스가 명시되어 있어도 좋다.

도 12의 B에 나타내는 조작 화면에 대해 유저 조작을 행하는 경우, 유저가 선택 영역 S2에 표시되고 있는 촬상 디바이스를 선택하면, 본 실시형태에 따른 정보 처리 장치는, 주 화상 표시 영역 V에 표시되고 있는 촬상 화상으로부터 선택 영역 S2에 있어 선택된 촬상 디바이스에 의해 촬상된 촬상 화상으로, 화상을 절환한다. 또한, 도 12의 B에 나타내는 조작 화면에 대해 유저 조작을 행하는 경우, 예를 들면 유저가 가상 패스를 설정하면, 본 실시형태에 따른 정보 처리 장치는, 주 화상 표시 영역 V에 표시되고 있는 촬상 화상으로부터 선택 영역 S2에 있어 설정된 가상 패스의 종점에 대응하는 화상으로, 화상을 절환한다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면 도 12에 나타내는 조작 화면에 대한 유저 조작에 기초하여 표시 제어 처리를 행하고, 화상을 절환하여 표시시킨다. 여기서, 본 실시형태에 따른 화상 절환과 관련되는 UI가 도 12에 나타내는 조작 화면에 한정되지 않음은 물론이다.

<3> 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 구체적인 예

도 13은, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 나타내는 흐름도이다. 도 13에서는, 예를 들면, 도 13의 B에 나타내는 처리가, 상기 (2)의 처리(표시 제어 처리)의 일례에 해당한다. 또한, 도 13에서는, 상기 (1)의 처리(재배열 처리)에 대해서는 생략하고 있다.

또한, 도 13의 A에 나타내는 스텝 S100~S108의 처리는, 상기 (2)의 처리(표시 제어 처리)에 의해 화상이 절환되어 표시되기 전에 행해지는, 사전 처리의 일례를 나타내고 있다. 여기서, 도 13의 A에 나타내는 스텝 S100~S108의 처리는, 사전 처리에 한정되지 않고, 도 13의 B에 나타내는 스텝 S200과 스텝 S202의 처리 사이에 행해지는, 리얼 타임 처리여도 된다.

우선, 도 13의 A를 참조하면, 본 실시형태에 따른 정보 처리 장치는, 촬상 디바이스의 위치를 추정한다(S100). 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 촬상 화상이나, GPS 디바이스 등의 센서로부터 얻어지는 센서 정보에 의해 촬상 디바이스의 위치를 추정한다.

본 실시형태에 따른 정보 처리 장치는, 촬상 화상으로부터 피사체를 검출한다(S102). 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 도 5a~도 5c를 참조하여 나타내는 방법 등에 의해 학습된 결과 얻어지는 소정의 피사체의 특징을 나타내는 데이터를 이용하여, 촬상 화상으로부터 피사체를 검출한다.

본 실시형태에 따른 정보 처리 장치는, 촬상 화상의 색조를 보정한다(S104).

본 실시형태에 따른 정보 처리 장치는, 가상 패스의 추정 및 촬상 화상의 사용 판정을 행한다(S106).

도 14는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례를 나타내는 흐름도이며, 도 13의 A의 스텝 S106의 처리의 일례를 나타내고 있다. 또한, 도 15는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 설명하기 위한 설명도이며, 도 15에 나타내는 A, B는, 도 14에 나타내는 처리를 보충하기 위한 도면을 나타내고 있다.

본 실시형태에 따른 정보 처리 장치는, 유저가 지정한 촬상 화상을 제외한다(S300). 또한, 본 실시형태에 따른 정보 처리 장치는, 소정의 피사체가 포함되지 않은 촬상 화상을 제외한다(S302). 또한, 본 실시형태에 따른 정보 처리 장치는, 다른 촬상 화상과 색이 크게 다른 촬상 화상을 제외한다(S304). 또한, 본 실시형태에 따른 정보 처리 장치는, 다른 촬상 화상과 해상도가 크게 다른 촬상 화상을 제외한다(S306).

스텝 S300~S306의 처리를 행함으로써, 예를 들면, 도 15의 A에 나타내는 촬상 디바이스 Cam1에 의해 촬상된 촬상 화상과 같은, 소정의 피사체가 포함되지 않은 촬상 화상이나, 도 15의 A에 나타내는 촬상 디바이스 Cam2에 의해 촬상된 촬상 화상과 같은, 해상도가 부족한 촬상 화상이 제외된다. 여기서, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 스텝 S300~S306의 처리를 행하지 않는 것도 가능하다.

본 실시형태에 따른 정보 처리 장치는 가상 패스를 생성한다(S308). 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 기준 화상에 대응하는 촬상 디바이스와 절환처 화상에 대응하는 촬상 디바이스와의 사이에 위치하는 다른 촬상 디바이스를 경유하는 가상 패스를 생성한다. 여기서, 후술하는 스텝 S312의 처리에 있어서 촬상 화상이 제외되고, 재차 스텝 S308의 처리를 행하는 경우에는, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 제외된 촬상 화상에 대응하는 촬상 디바이스를 경유하지 않는 가상 패스를 재차 생성한다.

본 실시형태에 따른 정보 처리 장치는, 설정된 가상 패스를 평가하고(S310), 가상 패스에 적합하지 않은 화상을 제외시킨다(S312). 가상 패스에 적합하지 않은 화상의 제외는, 예를 들면 1개의 화상씩 행해진다.

본 실시형태에 따른 정보 처리 장치는, 예를 들면, 설정된 가상 패스에 있어서 가상 패스에 적합하지 않은 화상이 존재하는지 아닌지를 판정하고, 가상 패스를 평가한다.

구체적인 예를 들면, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 가상 패스 상에 위치하는 촬상 디바이스에 의해 촬상된 촬상 화상이, 아래와 같은 경우의 1 또는 2 이상에 해당하는지 아닌지를 판정하고, 각 촬상 화상에 대해서 평가값을 산출하고, 평가값에 의해 가상 패스를 평가한다. 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 아래와 같은 경우 각각 대응하는 값의 합을 평가값으로 하여 가상 패스를 평가해도 되고, 각 경우에 대응하는 값 각각을 평가값으로 하여, 복수의 평가값을 직렬적으로 이용하는 등, 복수의 평가값의 조합에 의해 가상 패스를 평가해도 된다. 여기서, 평가값의 산출 방법이, 아래와 같은 경우의 1 또는 2 이상에 해당하는지 아닌지를 판정하는 방법으로 한정되지 않음은 물론이다.

- 촬상 디바이스의 자세/위치가 어긋나 있는 경우(예를 들면, 가상 패스까지의 거리가 임계값 이상인 경우나, 가상 패스에 수직이 아닌 경우)

- 대상의 촬상 화상을 제외했을 때에 생성되는 가상 패스가 극단적으로 짧아지는 경우

- 대상의 촬상 화상을 제외했을 때에 생성되는 가상 패스가, 부드럽게 되는 경우

본 실시형태에 따른 정보 처리 장치는, 예를 들면, 스텝 S310에 있어 산출된 평가값과 임계값을 이용하여 임계값 처리를 행하여 가상 패스에 적합하지 않은 화상을 판정하고, 스텝 S312에 있어서 가상 패스에 적합하지 않다고 판정된 화상을 제외한다.

여기서, 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 촬상 화상에 소정의 피사체가 포함되지 않거나, 다른 촬상 화상과 색이 크게 다른 등의 판정 기준에 의해, 가상 패스에 적합하지 않는 화상을 판정하는 것도 가능하다. 스텝 S308~S312의 처리의 단계에서, 촬상 화상에 소정의 피사체가 포함되지 않은 등의 판정 기준에 의해 가상 패스에 적합하지 않는 화상의 판정을 행하는 경우에는, 본 실시형태에 따른 정보 처리 장치는, 스텝 S300~S306의 처리를 행하지 않아도 좋다.

스텝 S308~S312의 처리를 행함으로써, 예를 들면 도 15의 B에 나타내는 촬상 디바이스 Cam3와 같은 촬상 디바이스가 제외된다.

본 실시형태에 따른 정보 처리 장치는, 기준 화상에 대응하는 촬상 디바이스와 절환처 화상에 대응하는 촬상 디바이스와의 사이에 위치하는 다른 촬상 디바이스에 의해 촬상된 촬상 화상 가운데, 제외하는 것이 가능한 화상이 있는지를 판정한다(S314). 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 스텝 S312에 있어서 제외된 촬상 화상 이외에, 스텝 S310에 있어서 가상 패스에 적합하지 않다고 판정된 촬상 화상이 존재하지 않는 경우에, 제외하는 것이 가능한 화상이 없다고 판정한다.

스텝 S314에 있어서 제외하는 것이 가능한 화상이 없다고 판정되지 않는 경우에는, 본 실시형태에 따른 정보 처리 장치는, 스텝 S308로부터의 처리를 반복한다. 또한, 스텝 S314에 있어서 제외하는 것이 가능한 화상이 없다고 판정되었을 경우에는, 본 실시형태에 따른 정보 처리 장치는, 도 13의 A의 스텝 S106의 처리를 종료한다.

도 13의 A의 스텝 S106에서는, 예를 들면 도 14에 나타내는 처리를 행한다. 여기서 도 13의 A의 스텝 S106의 처리가 도 14에 나타내는 처리에 한정되지 않음은 물론이다.

다시 도 13의 A를 참조하여, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리의 일례에 대하여 설명한다. 본 실시형태에 따른 정보 처리 장치는, 촬상 화상으로부터 3차원 정보(Depth를 나타내는 데이터)를 생성한다(S108). 여기서, 스텝 S108에 있어서 생성되는 3차원 정보는, 생성 화상(보완 화상의 일례)의 생성에 이용된다.

본 실시형태에 따른 정보 처리 장치는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리에 있어서의 사전 처리로서 예를 들면 도 13의 A에 나타내는 처리를 행한다.

여기서, 본 실시형태에 따른 사전 처리는, 도 13의 A에 나타내는 예에 한정되지 않는다. 예를 들면, 본 실시형태에 따른 정보 처리 장치는, 스텝 S104의 처리와 스텝 S108의 처리 중 일방 또는 양방의 처리를, 행하지 않아도 좋다.

또한, 상술한 바와 같이, 도 13의 A에 나타내는 처리(위에서 설명한 도 13의 A의 변형예에 따른 처리를 포함한다)는, 사전 처리에 한정되지 않고, 도 13의 B에 나타내는 스텝 S200과 스텝 S202의 처리 사이에 행해져도 좋다.

다음으로 도 13의 B를 참조하면, 본 실시형태에 따른 정보 처리 장치는, 절환처 시점(절환처 화상)이 선택되었는지의 여부를 판정한다(S200). 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 도 12에 나타내는 조작 화면에 대한 절환처 화상의 선택과 관련되는 유저 조작이 검출되었을 경우에, 절환처 시점이 선택되었다고 판정한다.

스텝 S200에 있어서 절환처 시점이 선택되었다고 판정되지 않는 경우에는, 본 실시형태에 따른 정보 처리 장치는, 절환처 시점이 선택되었다고 판정될 때까지 처리를 진행시키지 않는다.

또한, 스텝 S200에 있어서 절환처의 시점이 선택되었다고 판정되었을 경우에는, 본 실시형태에 따른 정보 처리 장치는, 1 또는 2 이상의 보완 화상을 선택적으로 보충하고(S202), 기준 화상으로부터 절환처 화상으로 화상을 절환하여 표시시킨다(S204). 본 실시형태에 따른 정보 처리 장치는, 가상 패스 상에 위치하는 촬상 디바이스에 의해 촬상된 촬상 화상이나, 가상 패스 상에 위치하는 가상적인 촬상 디바이스에 의해 촬상된 촬상 화상에 상당하도록, 각종 렌더링이나 각종 변환 등에 의해 생성된 생성 화상을, 보완 화상으로서 보충한다.

예를 들면, 도 13의 B에 나타내는 처리를 행함으로써, 기준 화상으로부터 절환처 화상으로의 보다 스무드한 화상의 절환이 실현된다.

본 실시형태에 따른 정보 처리 장치는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리로서 예를 들면 도 13의 A 및 도 13의 B에 나타내는 처리를 행한다. 여기서, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리가, 도 13의 A 및 도 13의 B에 나타내는 처리에 한정되지 않음은 물론이다.

(본 실시형태에 따른 정보 처리 장치)

다음으로, 상술한 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 행할 수 있는, 본 실시형태에 따른 정보 처리 장치의 구성의 일례에 대해 설명한다. 이하에서는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리로서 상기 (1)의 처리(재배열 처리) 및 상기 (2)의 처리(표시 제어 처리)를 행하는 경우에 있어서의, 본 실시형태에 따른 정보 처리 장치의 구성을 예로 든다.

도 16은, 본 실시형태에 따른 정보 처리 장치(100)의 구성의 일례를 나타내는 블럭도이다. 정보 처리 장치(100)는, 예를 들면, 통신부(102)와 제어부(104)를 포함한다.

또한, 정보 처리 장치(100)는, 예를 들면, ROM(Read Only Memory; 도시하지 않음), RAM(Random Access Memory; 도시하지 않음), 기억부(도시하지 않음), 유저가 조작 가능한 조작부(도시하지 않음), 여러 가지 화면을 표시 화면에 표시하는 표시부(도시하지 않음) 등을 포함하고 있어도 된다. 정보 처리 장치(100)는, 예를 들면, 데이터 전송로로서의 버스에 의해 상기 각 구성 요소 사이를 접속한다.

ROM(도시하지 않음)은, 제어부(104)가 사용하는 프로그램이나 연산 파라미터 등의 제어용 데이터를 기억한다. RAM(도시하지 않음)은, 제어부(104)에 의해 실행되는 프로그램 등을 일시적으로 기억한다.

기억부(도시하지 않음)는, 정보 처리 장치(100)가 포함하는 기억 수단이며, 예를 들면, 피사체의 특징을 나타내는 데이터 등의 본 실시형태에 따른 정보 처리 방법과 관련되는 데이터나, 각종 애플리케이션 등 여러 가지 데이터를 기억한다. 여기서, 기억부(도시하지 않음)로서는, 예를 들면, 하드 디스크(Hard Disk) 등의 자기 기록 매체나, 플래쉬 메모리(flash memory) 등의 불휘발성 메모리 등을 들 수 있다. 또한, 기억부(도시하지 않음)는, 정보 처리 장치(100)로부터 착탈 가능해도 좋다.

조작부(도시하지 않음)로서는, 후술하는 조작 입력 디바이스를 들 수 있다. 또한, 표시부(도시하지 않음)로서는, 후술하는 표시 디바이스를 들 수 있다.

(정보 처리 장치(100)의 하드웨어 구성예)

도 17은, 본 실시형태에 따른 정보 처리 장치(100)의 하드웨어 구성의 일례를 나타내는 설명도이다. 정보 처리 장치(100)는, 예를 들면, MPU(150), ROM(152), RAM(154), 기록 매체(156), 입/출력 인터페이스(158), 조작 입력 디바이스(160), 표시 디바이스(162), 통신 인터페이스(164)를 포함한다. 또한, 정보 처리 장치(100)는, 예를 들면, 데이터 전송로로서의 버스(166)에 의해 각 구성 요소 간을 접속한다.

MPU(150)는, 예를 들면, MPU(Micro Processing Unit) 등의 연산 회로를 포함하는, 1 또는 2 이상의 프로세서나, 각종 처리 회로 등을 포함하고, 정보 처리 장치(100) 전체를 제어하는 제어부(104)로서 기능한다. 또한, MPU(150)는, 정보 처리 장치(100)에 있어서, 예를 들면, 후술하는 재배열부(110), 및 표시 제어부(112)로서의 역할을 한다.

ROM(152)은, MPU(150)가 사용하는 프로그램이나 연산 파라미터 등의 제어용 데이터 등을 기억한다. RAM(154)은, 예를 들면, MPU(150)에 의해 실행되는 프로그램 등을 일시적으로 기억한다.

기록 매체(156)는, 기억부(도시하지 않음)로서 기능하고, 예를 들면, 피사체의 특징을 나타내는 데이터 등의 본 실시형태에 따른 정보 처리 방법과 관련되는 데이터나, 각종 어플리케이션 등 여러 가지 데이터를 기억한다. 여기서, 기록 매체(156)로서는, 예를 들면, 하드 디스크 등의 자기 기록 매체나, 플래쉬 메모리 등의 불휘발성 메모리를 들 수 있다. 또한, 기록 매체(156)는 정보 처리 장치(100)로부터 착탈 가능해도 좋다.

입/출력 인터페이스(158)는, 예를 들면, 조작 입력 디바이스(160)나, 표시 디바이스(162)와의 접속을 행한다. 조작 입력 디바이스(160)는, 조작부(도시하지 않음)로서 기능하고, 또한, 표시 디바이스(162)는 표시부(도시하지 않음)로서 기능한다. 여기서, 입/출력 인터페이스(158)로서는, 예를 들면, USB(Universal Serial Bus) 단자나, DVI(Digital Visual Interface) 단자, HDMI(High-Definition Multimedia Interface)(등록상표) 단자, 각종 처리 회로 등을 들 수 있다.

또한, 조작 입력 디바이스(160)는, 예를 들면, 정보 처리 장치(100) 상에 설치될 수 있고 정보 처리 장치(100)의 내부에서 입/출력 인터페이스(158)와 접속된다. 조작 입력 디바이스(160)로서는, 예를 들면, 버튼이나, 방향 키, 조그 다이얼 등의 회전형 선택 장치, 혹은, 이들의 조합 등을 들 수 있다.

또한, 표시 디바이스(162)는, 예를 들면, 정보 처리 장치(100) 상에 설치될 수 있고 정보 처리 장치(100)의 내부에서 입/출력 인터페이스(158)와 접속된다. 표시 디바이스(162)로서는, 예를 들면, 액정 디스플레이(Liquid Crystal Display)나 유기 EL 디스플레이((Organic Electro-Luminescence Display) 또는 OLED 디스플레이(Organic Light Emitting Diode Display)로 불린다.) 등을 들 수 있다.

여기서, 입/출력 인터페이스(158)가, 정보 처리 장치(100)의 외부 장치로서의 외부 조작 입력 디바이스(예를 들면, 키보드나 마우스 등)나 외부 표시 디바이스 등의, 외부 디바이스와 접속하는 것도 가능함은 물론이다. 또한, 표시 디바이스(162)는, 예를 들면 터치 패널 등, 표시와 유저 조작이 가능한 디바이스여도 좋다.

통신 인터페이스(164)는, 정보 처리 장치(100)가 포함하는 통신 수단이며, 네트워크를 거쳐(또는 직접적으로), 외부의 촬상 디바이스나 외부의 표시 디바이스 등의 외부 디바이스와 무선 또는 유선으로 통신을 행하기 위한 통신부(102)로서 기능한다. 여기서, 통신 인터페이스(164)로서는, 예를 들면, 통신 안테나 및 RF(Radio Frequency) 회로(무선 통신)나, IEEE 802.15.1 포트 및 송수신 회로(무선 통신), IEEE 802.11 포트 및 송수신 회로(무선 통신), 또는 LAN(Local Area Network) 단자 및 송수신 회로(유선 통신) 등을 들 수 있다. 또한, 본 실시형태에 따른 네트워크로서는, 예를 들면, LAN이나 WAN(Wide Area Network) 등의 유선 네트워크, 무선 LAN(WLAN：Wireless Local Area Network) 등의 무선 네트워크, 혹은, TCP/IP(Transmission Control Protocol/Internet Protocol) 등의 통신 프로토콜을 이용하는 인터넷 등을 들 수 있다.

정보 처리 장치(100)는, 예를 들면 도 17에 나타내는 구성에 의해, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 행한다. 여기서, 본 실시형태에 따른 정보 처리 장치(100)의 하드웨어 구성은, 도 17에 나타내는 구성으로 한정되지 않는다.

예를 들면, 정보 처리 장치(100)는, 접속되어 있는 외부 통신 디바이스를 거쳐서 외부 장치와 통신을 행하는 경우에는, 통신 인터페이스(164)를 포함하지 않아도 된다.

또한, 정보 처리 장치(100)는, 촬상에 의해 촬상 화상을 생성하는 촬상부(도시하지 않음)로서 기능하는 촬상 디바이스를 더 포함하고 있어도 좋다.

또한, 정보 처리 장치(100)는, 예를 들면, 기록 매체(156)나, 조작 입력 디바이스(160), 표시 디바이스(162)를 구비하지 않은 구성을 취하는 것도 가능하다.

다시 도 16을 참조하여, 정보 처리 장치(100)의 구성의 일례에 대해 설명한다. 통신부(102)는, 정보 처리 장치(100)가 포함하는 통신 수단이며, 네트워크를 거쳐서(또는 직접적으로), 외부의 촬상 디바이스 등의 외부 디바이스나 외부 장치와 무선 또는 유선으로 통신을 행한다. 또한, 통신부(102)는, 예를 들면 제어부(104)에 의해 통신이 제어된다.

여기서, 통신부(102)로서는, 예를 들면, 통신 안테나 및 RF 회로나, LAN 단자 및 송수신 회로 등을 들 수 있지만, 통신부(102)의 구성은, 상기한 바로 한정되지 않는다. 예를 들면, 통신부(102)는, USB 단자 및 송수신 회로 등의 통신을 행할 수 있는 임의의 규격에 대응하는 구성이나, 네트워크를 거쳐서 외부 장치와 통신을 행할 수 있는 임의의 구성을 취할 수 있다. 또한, 통신부(102)는, 복수의 통신 방식에 의해, 1 또는 2 이상의 외부 장치와 통신을 행하는 것이 가능한 구성을 취하여도 된다.

제어부(104)는, 예를 들면 MPU 등을 포함하고 정보 처리 장치(100) 전체를 제어하는 역할을 할 수 있다. 또한, 제어부(104)는, 예를 들면, 재배열부(110)와 표시 제어부(112)를 포함하고, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 주도적으로 행하는 역할을 한다.

재배열부(110)는, 상기 (1)의 처리(재배열 처리)를 주도적으로 행하는 역할을 하고, 소정의 영역 내에 위치하는 복수의 촬상 디바이스에 의해 동시에 촬상을 행함으로써 생성되는 복수의 촬상 화상을, 복수의 촬상 디바이스의 위치 관계에 기초하여 배열한다.

또한, 재배열부(110)는, 예를 들면 상기 (a)~(f)에 나타내는 바와 같이, 복수의 촬상 화상 중에서 어떤 촬상 화상을 제외하면서, 복수의 화상을 배열하여도 된다.

표시 제어부(112)는, 상기 (2)의 처리(표시 제어 처리)를 주도적으로 행하는 역할을 한다. 표시 제어부(112)는, 예를 들면, 재배열부(110)에 의해 배열된 복수의 촬상 화상의 배열 순서에 따라 복수의 촬상 화상을 표시시킴으로써, 복수의 촬상 화상을, 복수의 촬상 디바이스 사이의 위치 관계에 대응하는 형태로 표시시킨다. 또한, 표시 제어부(112)는, 기준 화상으로부터 절환처 화상으로 화상을 절환하여 표시시킨다.

표시 제어부(112)는, 기준 화상에 대응하는 촬상 디바이스와 절환처 화상에 대응하는 촬상 디바이스 사이의 위치 관계에 기초하여, 선택적으로 1 또는 2 이상의 보완 화상을 보충한다. 그리고, 표시 제어부(112)는, 보완 화상이 보충되었을 경우에는, 절환처 화상을 표시시키기 전에 보완 화상을 표시시킨다.

또한, 표시 제어부(112)는, 화상을 절환하여 표시시키는 경우에는, 설정된 가상 패스에 대응하는 화상(예를 들면, 기준 화상, 기준 화상에 기초하는 화상, 보완 화상, 절환 화상, 절환 화상에 기초하는 화상)을 표시시켜도 좋다. 구체적으로는, 표시 제어부(112)는, 예를 들면, 기준 화상에 대응하는 촬상 디바이스의 위치와 가상 패스에 기초하여, 기준 화상 대신에, 기준 화상에 기초하는 화상을 가상 패스에 대응하는 화상으로서 선택적으로 표시시킨다. 또한, 표시 제어부(112)는, 예를 들면, 절환 화상에 대응하는 촬상 디바이스의 위치와 가상 패스에 기초하여, 절환 화상 대신에, 절환 화상에 기초하는 화상을 가상 패스에 대응하는 화상으로서 선택적으로 표시시킨다. 또한, 표시 제어부(112)는, 예를 들면, 가상 패스에 대응하는 화상을 보완 화상으로서 보충하고, 보충되어진 보완 화상을 표시시킨다.

표시 제어부(112)는, 예를 들면, 상기 (2-1)에 나타내는 제1 예에 따른 처리~상기 (2-5)에 나타내는 제5 예에 따른 처리 중 1 또는 2 이상을 행한다.

제어부(104)는, 예를 들면, 재배열부(110) 및 표시 제어부(112)를 포함함으로써, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 주도적으로 행한다.

정보 처리 장치(100)는, 예를 들면 도 16에 나타내는 구성에 의해, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리(예를 들면, 상기 (1)의 처리(재배열 처리) 및 상기 (2)의 처리(표시 제어 처리))를 행한다.

따라서, 정보 처리 장치(100)는, 예를 들면 도 16에 나타내는 구성에 의해, 촬상 화상의 절환과 관련되는 유저의 편리성의 향상을 도모할 수 있다.

또한, 예를 들면 도 16에 나타내는 구성에 의해, 정보 처리 장치(100)는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 행함으로써 제공되는 효과를 제공할 수 있다.

여기서, 본 실시형태에 따른 정보 처리 장치의 구성은, 도 16에 나타내는 구성으로 한정되지 않는다.

예를 들면, 본 실시형태에 따른 정보 처리 장치는, 도 16에 나타내는 재배열부(110)와 표시 제어부(112)의 일방 또는 양방을, 제어부(104)와는 개별적으로 포함(예를 들면, 서로 다른 처리 회로에 의해 실현함)할 수 있다.

또한, 상술한 바와 같이, 상기 (1)의 처리(재배열 처리) 및 상기 (2)의 처리(표시 제어 처리)는, 편의상, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 분리하여 얻어진 것이다. 따라서, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 실현하기 위한 구성은, 도 16에 나타내는 재배열부(110) 및 표시 제어부(112)에 한정되지 않고, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 분리하는 방법에 따른 구성을 취하는 것이 가능하다.

또한, 예를 들면, 통신부(102)와 유사한 기능 및 구성을 갖는 외부의 통신 디바이스를 거쳐 외부 장치와 통신을 행하는 경우에는, 본 실시형태에 따른 정보 처리 장치는, 통신부(102)를 구비하지 않아도 좋다.

또한, 본 실시형태에 따른 정보 처리 장치는, 도 16에 나타내는 재배열부(110)를 포함하지 않는 구성을 취하는 것도 가능하다. 재배열부(110)를 포함하지 않는 구성을 취하는 경우에도, 본 실시형태에 따른 정보 처리 장치는, 상기 (2)의 처리(표시 제어 처리)를 행할 수 있으므로, 촬상 화상의 절환과 관련되는 유저의 편리성의 향상을 도모할 수 있다.

또한, 본 실시형태에 따른 정보 처리 장치는, 촬상 디바이스를 포함하고 촬상에 의해 촬상 화상을 생성하는 촬상부(도시하지 않음)를 더 포함하고 있어도 좋다.

이상, 본 실시형태를 정보 처리 장치를 예로 들어 설명하였지만, 본 실시형태는, 이러한 형태로 한정되지 않는다. 본 실시형태는, 예를 들면, PC(Personal Computer)나 서버 등을 포함하는 컴퓨터, 디지털 스틸 카메라나 디지털 비디오 카메라를 포함하는 촬상 장치, 휴대 전화나 스마트 폰을 포함하는 통신 장치, 태블릿형 장치, 표시 장치, 영상/음악 재생 장치(또는 영상/음악 기록 재생 장치), 게임기 등의 여러 가지 기기에 적용할 수 있다. 또한, 본 실시형태는, 예를 들면, 상기한 바와 같은 기기에 포함시킬 수 있는, 처리 IC(Integrated Circuit)에 적용할 수도 있다.

또한, 본 실시형태에 따른 정보 처리 장치는, 예를 들면 클라우드 컴퓨팅 등과 같이, 네트워크와의 접속(또는 각 장치 간의 통신)을 전제로 한, 복수의 장치를 포함하는 시스템에 의해 실현되어도 좋다. 즉, 상술한 본 실시형태에 따른 정보 처리 장치는, 예를 들면, 복수의 장치를 포함하는 시스템으로서 실현되는 것도 가능하다.

상술한 본 실시형태에 따른 정보 처리 장치가, 예를 들면 클라우딩 컴퓨팅 등과 같은 시스템으로서 실현되는 경우, 본 실시형태에 따른 시스템은, 예를 들면, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 행하고, 유선 또는 무선으로 통신 가능한 장치(예를 들면, 유저가 소지하는 장치 등)의 표시 화면에, 절환되는 화상을 표시시킨다. 여기서, 상술한 본 실시형태에 따른 정보 처리 장치가, 복수의 장치를 포함하는 시스템은 아니고, 1개의 장치여도, 본 실시형태에 따른 정보 처리 장치는, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 행하고, 유선 또는 무선으로 통신 가능한 장치의 표시 화면에, 절환되는 화상을 표시시키는 것이 가능하다.

(본 실시형태에 따른 프로그램)

컴퓨터를, 본 실시형태에 따른 정보 처리 장치로서 기능시키기 위한 프로그램(예를 들면, 상기 (1)의 처리(재배열 처리) 및 상기 (2)의 처리(표시 제어 처리) 등, 본 실시형태에 따른 정보 처리 방법과 관련되는 처리를 실행하는 것이 가능한 프로그램)이, 컴퓨터에 있어서 프로세서 등에 의해 실행됨으로써, 촬상 화상의 절환과 관련되는 유저의 편리성의 향상을 도모할 수 있다.

또한, 컴퓨터를, 본 실시형태에 따른 정보 처리 장치로서 기능시키기 위한 프로그램이, 컴퓨터에 있어서 프로세서 등에 의해 실행되면, 상술한 본 실시형태에 따른 정보 처리 방법과 관련되는 처리에 의해 제공되는 효과를 제공할 수가 있다.

본 발명의 기술 분야에 있어서의 통상의 지식을 갖는 자이면, 첨부하는 특허청구범위 또는 그 균등물에 기재된 기술적 사상의 범주 내에서, 설계 요구조건이나 기타 요소들에 따라 각종 변경, 조합, 하위 조합 및 변경이 가능함은 분명하다.

예를 들면, 위의 기재에서는, 컴퓨터를, 본 실시형태에 따른 정보 처리 장치로서 기능시키기 위한 프로그램(컴퓨터 프로그램)이 제공되는 것을 나타냈지만, 본 실시형태는, 또한 상기 프로그램을 기억시킨 기록 매체도 아울러 제공할 수가 있다.

상술한 구성은, 본 실시형태의 일례를 나타내는 것이며, 당연히 본 개시의 기술적 범위에 속하는 것이다.

또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적인 것은 아니다. 즉, 본 개시와 관련되는 기술은, 상기의 효과와 함께, 또는 상기의 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 분명한 다른 효과를 발휘할 수 있다.

(1) 정보 처리 장치로서, 피사체의 기준 시점(視点)과 상기 피사체의 타겟 시점에 기초하여, 기준 화상 및 타겟 화상을 상기 타겟 시점의 식별에 응답하여 복수의 보완 화상 중 적어도 하나와 연결하도록 구성된 회로를 포함하고, 상기 복수의 보완 화상 각각은 상기 기준 시점과 상기 타겟 시점 사이의 상기 피사체의 보완 시점에 대응하는, 정보 처리 장치.

(2) 상기 (1)에 있어서, 상기 회로는 표시 화면상의 상기 타겟 시점에 대응하는 표시에 기초하는 상기 타겟 시점의 식별을 수신하도록 구성된, 정보 처리 장치.

(3) 상기 (1) 또는 (2)에 있어서, 상기 복수의 보완 화상 중 적어도 하나는 촬상 화상인, 정보 처리 장치.

(4) 상기 (1) 내지 (3)에 있어서, 상기 회로는 상기 기준 시점으로부터 상기 타겟 시점까지 가상 패스(path)를 설정하도록 구성된, 정보 처리 장치.

(5) 상기 (1) 내지 (4)에 있어서, 상기 복수의 보완 화상 중 적어도 하나는 보간(interpolation) 화상이고, 상기 보간 화상은 상기 가상 패스를 따른 가상 시점에 대응하는 화상인, 정보 처리 장치.

(6) 상기 (1) 내지 (5)에 있어서, 상기 회로는 상기 가상 패스를 따른 상기 복수의 보완 화상, 상기 기준 화상 및 상기 타겟 화상 중 적어도 하나의 화상에 대해 화상 처리를 행하도록 구성된, 정보 처리 장치.

(7) 상기 (1) 내지 (6)에 있어서, 상기 복수의 보완 화상 중 적어도 하나는, 상기 가상 패스를 따른 가상 시점에 대응하는, 촬상 화상과 보간 화상의 조합인, 정보 처리 장치.

(8) 상기 (1) 내지 (7)에 있어서, 상기 복수의 보완 화상은, 상기 기준 시점과 상기 타겟 시점 사이의 가상 패스를 따른 가상 시점에 각각 대응하는 화상인 복수의 보간 화상을 포함하는, 정보 처리 장치.

(9) 상기 (1) 내지 (8)에 있어서, 상기 복수의 보완 화상은 서로 반복적으로 교호하는 복수의 보간 화상과 복수의 촬상 화상을 포함하는, 정보 처리 장치.

(10) 상기 (1) 내지 (9)에 있어서, 상기 표시 화면은 주(main) 화상 표시 영역과 상기 타겟 시점에 대응하는 표시를 포함하는 선택 영역을 포함하는, 정보 처리 장치.

(11) 상기 (1) 내지 (10)에 있어서, 상기 선택 영역은 선택 가능한 복수의 타겟 시점에 각각 대응하는 복수의 촬상 화상을 표시하는, 정보 처리 장치.

(12) 상기 (1) 내지 (10)에 있어서, 상기 선택 영역은 선택 가능한 복수의 타겟 시점으로서 복수의 보완 시점을 표시하는, 정보 처리 장치.

(13) 상기 (1) 내지 (11)에 있어서, 상기 회로는 상기 타겟 시점으로서 상기 복수의 촬상 화상 중 하나의 선택을 수신하도록 구성된, 정보 처리 장치.

(14) 상기 (1) 내지 (12)에 있어서, 상기 회로는 상기 타겟 시점으로서 상기 복수의 보완 시점 중 하나의 선택을 수신하도록 구성된, 정보 처리 장치.

(15) 상기 (1) 내지 (14)에 있어서, 상기 복수의 촬상 화상은 동시에 서로 다른 시점에서 각각 촬상되는, 정보 처리 장치.

(16) 상기 (1) 내지 (15)에 있어서, 상기 복수의 보간 화상은 상기 복수의 촬상 화상과는 다른 시간에 생성되는, 정보 처리 장치.

(17) 상기 (1) 내지 (16)에 있어서, 상기 복수의 보완 화상은 상기 기준 화상 및 상기 타겟 화상과 함께 비디오 데이터를 형성하는, 정보 처리 장치.

(18) 상기 (1) 내지 (17)에 있어서, 상기 화상은 생성 화상인, 정보 처리 장치.

(19) 상기 (1) 내지 (18)에 있어서, 상기 화상은 생성 화상인, 정보 처리 장치.

(20) 정보 처리 장치의 조작 방법으로서, 피사체의 기준 시점 및 상기 피사체의 타겟 시점에 기초하여 기준 화상과 타겟 화상 사이에, 상기 타겟 시점의 식별에 응답하여, 복수의 보완 화상 중 적어도 하나를 연결하는 단계를 포함하고, 상기 복수의 보완 화상 각각은 상기 기준 시점과 상기 타겟 시점 사이의 상기 피사체의 보완 시점에 대응하는, 정보 처리 장치의 조작 방법.

(21) 상기 (20)에 있어서, 상기 연결하는 단계는 상기 복수의 보완 화상을 조합하는 것을 포함하는, 정보 처리 장치의 조작 방법.

(22) 회로를 포함하는 정보 처리 장치를 제어하는 프로그램을 기억시킨 비일시적인 컴퓨터 판독가능한 매체로서, 상기 프로그램은, 피사체의 기준 시점 및 상기 피사체의 타겟 시점에 기초하여, 기준 화상과 타겟 화상 사이에, 상기 타겟 시점의 식별에 응답하여, 복수의 보완 화상 중 적어도 하나를 연결하는 단계를 포함하는 동작을 수행하도록 실행될 수 있고, 상기 복수의 보완 화상 각각은 상기 기준 시점과 상기 타겟 시점 사이의 상기 피사체의 보완 시점에 대응하는, 프로그램을 기억시킨 비일시적인 컴퓨터 판독가능한 매체.

10: 렌즈
12: 촬상 소자
14: 신호 처리 회로
100: 정보 처리 장치
102: 통신부
104: 제어부
110: 재배열부
112: 표시 제어부

Claims (22)

1. 정보 처리 장치로서,
   피사체의 기준 시점(視点)과 상기 피사체의 타겟 시점에 기초하여, 기준 화상 및 타겟 화상을 상기 타겟 시점의 식별에 응답하여 복수의 보완 화상 중 적어도 하나와 연결하도록 구성된 회로를 포함하고,
   상기 복수의 보완 화상 각각은 상기 기준 시점과 상기 타겟 시점 사이의 상기 피사체의 보완 시점에 대응하는, 정보 처리 장치.
2. 제1항에 있어서,
   상기 회로는 표시 화면상의 상기 타겟 시점에 대응하는 표시에 기초하는 상기 타겟 시점의 식별을 수신하도록 구성된, 정보 처리 장치.
3. 제1항에 있어서,
   상기 복수의 보완 화상 중 적어도 하나는 촬상 화상인, 정보 처리 장치.
4. 제1항에 있어서,
   상기 회로는 상기 기준 시점으로부터 상기 타겟 시점까지 가상 패스(path)를 설정하도록 구성된, 정보 처리 장치.
5. 제4항에 있어서,
   상기 복수의 보완 화상 중 적어도 하나는 보간(interpolation) 화상이고, 상기 보간 화상은 상기 가상 패스를 따른 가상 시점에 대응하는 화상인, 정보 처리 장치.
6. 제5항에 있어서,
   상기 회로는 상기 가상 패스를 따른 상기 복수의 보완 화상, 상기 기준 화상 및 상기 타겟 화상 중 적어도 하나의 화상에 대해 화상 처리를 행하도록 구성된, 정보 처리 장치.
7. 제1항에 있어서,
   상기 복수의 보완 화상 중 적어도 하나는, 상기 가상 패스를 따른 가상 시점에 대응하는, 촬상 화상과 보간 화상의 조합인, 정보 처리 장치.
8. 제1항에 있어서,
   상기 복수의 보완 화상은, 상기 기준 시점과 상기 타겟 시점 사이의 가상 패스를 따른 가상 시점에 각각 대응하는 화상인 복수의 보간 화상을 포함하는, 정보 처리 장치.
9. 제1항에 있어서,
   상기 복수의 보완 화상은 서로 반복적으로 교호하는 복수의 보간 화상과 복수의 촬상 화상을 포함하는, 정보 처리 장치.
10. 제2항에 있어서,
    상기 표시 화면은 주(main) 화상 표시 영역과 상기 타겟 시점에 대응하는 표시를 포함하는 선택 영역을 포함하는, 정보 처리 장치.
11. 제10항에 있어서,
    상기 선택 영역은 선택 가능한 복수의 타겟 시점에 각각 대응하는 복수의 촬상 화상을 표시하는, 정보 처리 장치.
12. 제10항에 있어서,
    상기 선택 영역은 선택 가능한 복수의 타겟 시점으로서 복수의 보완 시점을 표시하는, 정보 처리 장치.
13. 제11항에 있어서,
    상기 회로는 상기 타겟 시점으로서 상기 복수의 촬상 화상 중 하나의 선택을 수신하도록 구성된, 정보 처리 장치.
14. 제12항에 있어서,
    상기 회로는 상기 타겟 시점으로서 상기 복수의 보완 시점 중 하나의 선택을 수신하도록 구성된, 정보 처리 장치.
15. 제9항에 있어서,
    상기 복수의 촬상 화상은 동시에 서로 다른 시점에서 각각 촬상되는, 정보 처리 장치.
16. 제9항에 있어서,
    상기 복수의 보간 화상은 상기 복수의 촬상 화상과는 다른 시간에 생성되는, 정보 처리 장치.
17. 제1항에 있어서,
    상기 복수의 보완 화상은 상기 기준 화상 및 상기 타겟 화상과 함께 비디오 데이터를 형성하는, 정보 처리 장치.
18. 제5항에 있어서,
    상기 화상은 생성 화상인, 정보 처리 장치.
19. 제8항에 있어서,
    상기 화상은 생성 화상인, 정보 처리 장치.
20. 정보 처리 장치의 조작 방법으로서,
    피사체의 기준 시점 및 상기 피사체의 타겟 시점에 기초하여 기준 화상과 타겟 화상 사이에, 상기 타겟 시점의 식별에 응답하여, 복수의 보완 화상 중 적어도 하나를 연결하는 단계를 포함하고,
    상기 복수의 보완 화상 각각은 상기 기준 시점과 상기 타겟 시점 사이의 상기 피사체의 보완 시점에 대응하는, 정보 처리 장치의 조작 방법.
21. 제20항에 있어서,
    상기 연결하는 단계는 상기 복수의 보완 화상을 조합하는 것을 포함하는, 정보 처리 장치의 조작 방법.
22. 회로를 포함하는 정보 처리 장치를 제어하는 프로그램을 기억시킨 비일시적인 컴퓨터 판독가능한 매체로서,
    상기 프로그램은, 피사체의 기준 시점 및 상기 피사체의 타겟 시점에 기초하여, 기준 화상과 타겟 화상 사이에, 상기 타겟 시점의 식별에 응답하여, 복수의 보완 화상 중 적어도 하나를 연결하는 단계를 포함하는 동작을 수행하도록 실행될 수 있고,
    상기 복수의 보완 화상 각각은 상기 기준 시점과 상기 타겟 시점 사이의 상기 피사체의 보완 시점에 대응하는,
    프로그램을 기억시킨 비일시적인 컴퓨터 판독가능한 매체.

Images