KR102629225B1 - 배치 결정 장치, 시스템, 배치 결정 방법 및 기록 매체 - Google Patents

Abstract

가상 시점 화상의 생성에 사용되는 복수의 카메라(102)의 배치를 결정하는 배치 결정 장치(108)이며, 촬영 대상 영역(503)을 나타내는 정보를 취득하고, 그 정보에 기초하여, 복수의 카메라(102) 중 2 이상의 카메라(102)에 의해 촬영 대상 영역(503)의 전역이 촬영되며, 또한 복수의 카메라(102) 중 상기 2 이상의 카메라(102)와는 상이한 다른 2 이상의 카메라(102)에 의해 촬영 대상 영역(503)의 전역이 촬영되도록, 복수의 카메라(102)의 배치를 결정한다.

Description

배치 결정 장치, 시스템, 배치 결정 방법 및 기록 매체

본 발명은 복수의 촬영 장치의 배치를 결정하는 기술에 관한 것이다.

근년, 복수의 촬영 장치를 다른 위치에 배치하여, 동기하여 촬영하고, 당해 촬영에 의해 얻어진 복수의 화상을 사용하여, 지정된 가상 시점으로부터의 가상 시점 화상을 생성하는 기술이 주목받고 있다.

특허문헌 1은, 가상 시점 화상을 생성하는 기술에 대하여 기재되어 있고, 복수의 촬영 장치를 원주를 따라 촬영 대상 영역인 원의 중심을 향하도록 배치하는 것에 대하여 기재되어 있다.

일본 특허 공개 제2010-79505호 공보

특허문헌 1에서는, 촬영 대상 영역인 원의 중심의 근방에 존재하는 피사체를 촬영하는 촬영 장치의 대수와, 그곳으로부터 떨어진 위치에 존재하는 피사체를 촬영하는 촬영 장치의 대수에 차가 생긴다. 또한, 촬영 대상 영역이 큰 경우에는, 그 차가 커진다. 그 때문에, 가상 시점 화상에 있어서의 피사체의 재현 정밀도에 대하여, 가상 시점간의 차가 커지는 경우가 있다.

그래서, 상기 과제를 감안하여, 본 발명에서는 광범위한 촬영 대상 영역이라도, 가상 시점간에 있어서의 피사체의 재현 정밀도의 차를 저감하는 것을 목적으로 한다.

본 발명의 하나의 양태는, 이하와 같다. 즉, 가상 시점 화상의 생성에 사용되는 복수의 촬영 장치의 배치를 결정하는 배치 결정 장치이며, 상기 복수의 촬영 장치에 의한 촬영의 대상으로 되는 촬영 대상 영역을 나타내는 정보를 취득하는 영역 취득 수단과, 상기 영역 취득 수단에 의해 취득된 정보에 기초하여, 상기 복수의 촬영 장치 중 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역의 전역이 촬영되며, 또한 상기 복수의 촬영 장치 중 상기 2 이상의 촬영 장치와는 상이한 다른 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역의 전역이 촬영되도록 상기 복수의 촬영 장치의 배치를 결정하는 배치 결정 수단을 갖는 것을 특징으로 한다.

본 발명에 따르면, 광범위한 촬영 대상 영역이라도, 가상 시점간에 있어서의 피사체의 재현 정밀도의 차를 저감할 수 있다.

도 1은 화상 처리 시스템의 구성예를 도시하는 도면.
도 2는 배치 결정 장치의 하드웨어의 구성예를 도시하는 도면.
도 3은 실시 형태 1에 관한 배치 결정 장치의 구성예를 도시하는 도면.
도 4는 실시 형태 1에 관한 배치 결정 장치의 처리 수순예를 도시하는 흐름도.
도 5a는 실시 형태 1에 관한 촬영 대상 영역의 예를 도시하는 도면.
도 5b는 실시 형태 1에 관한 촬영 대상 영역의 예를 도시하는 도면.
도 6은 해상도를 설명하기 위한 도면.
도 7은 배치 영역의 예를 도시하는 도면.
도 8은 배치 영역에 있어서의 복수의 카메라의 배치예를 도시하는 도면.
도 9는 이상적인 복수의 카메라의 배치를 도시하는 도면.
도 10은 복수의 카메라의 배치예를 도시하는 도면.
도 11a는 복수의 카메라의 다른 배치예를 도시하는 도면.
도 11b는 복수의 카메라의 다른 배치예를 도시하는 도면.
도 12는 복수의 카메라의 다른 배치예를 도시하는 도면.
도 13은 결정한 배치예를 도시하는 도면.
도 14는 실시 형태 2에 관한 배치 결정 장치의 처리 수순예를 도시하는 흐름도.
도 15는 배치 영역으로부터 본 촬영 대상 영역의 각도를 설명하는 도면.
도 16은 실시 형태 2에 관한 배치 결정 장치의 구성예를 도시하는 도면.
도 17a는 실시 형태 1에 관한 배치 결정 장치가 참조하는 표의 일례를 도시하는 도면.
도 17b는 실시 형태 1에 관한 배치 결정 장치가 참조하는 표의 일례를 도시하는 도면.
도 17c는 실시 형태 1에 관한 배치 결정 장치가 참조하는 표의 일례를 도시하는 도면.
도 18은 실시 형태 3에 관한 배치 결정 장치의 구성예를 도시하는 도면.
도 19a는 실시 형태 3에 관한 배치 결정 장치가 참조하는 표의 일례를 도시하는 도면.
도 19b는 실시 형태 3에 관한 배치 결정 장치가 참조하는 표의 일례를 도시하는 도면.
도 19c는 실시 형태 3에 관한 배치 결정 장치가 참조하는 표의 일례를 도시하는 도면.
도 20a는 실시 형태 3에 관한 촬영 대상 영역의 예를 도시하는 도면.
도 20b는 실시 형태 3에 관한 촬영 대상 영역의 예를 도시하는 도면.
도 21은 실시 형태 3에 관한 배치 결정 장치의 처리 수순예를 도시하는 흐름도.

이하, 도면을 참조하면서, 본 발명을 실시하기 위한 형태에 대하여 설명한다. 또한, 이하의 실시 형태는 본 발명을 한정하는 것은 아니며, 또한 본 실시 형태에서 설명되고 있는 특징의 조합 전부가 본 발명의 해결 수단에 필수적인 것이라고는 할 수 없다. 또한, 동일한 구성에 대해서는, 동일한 부호를 부여하여 설명한다.

<실시 형태 1>

도 1은, 화상 처리 시스템(100)의 구성의 일례를 도시하는 도면이다. 화상 처리 시스템(100)은, 멀티 카메라 시스템(101), 허브(104), 제어 장치(105), 가상 시점 화상 생성 장치(106)를 갖는다. 또한, 화상 처리 시스템(100)은, 가상 시점 지정 장치(107)와 배치 결정 장치(108)를 포함하고 있어도 된다.

화상 처리 시스템(100)은, 복수의 촬영 장치에 의한 촬영에 기초하는 복수의 화상과, 지정된 가상 시점에 기초하여, 지정된 시점으로부터의 외관을 나타내는 가상 시점 화상을 생성하는 시스템이다. 본 실시 형태에 있어서의 가상 시점 화상은, 자유 시점 영상이라고도 불리는 것인데, 유저가 자유롭게(임의로) 지정한 시점에 대응하는 화상에 한정되지 않고, 예를 들어 복수의 후보로부터 유저가 선택한 시점에 대응하는 화상 등도 가상 시점 화상에 포함된다. 또한, 본 실시 형태에서는 가상 시점의 지정이 유저 조작에 의해 행해지는 경우를 중심으로 설명하지만, 가상 시점의 지정이 화상 해석의 결과 등에 기초하여 자동으로 행해져도 된다. 또한, 본 실시 형태에서는 가상 시점 화상이 동화상인 경우를 중심으로 설명하지만, 가상 시점 화상은 정지 화상이어도 된다.

멀티 카메라 시스템(101)은, 촬영 대상 공간을 복수의 방향으로부터 촬영하는 복수의 카메라(촬영 장치)(102aa 내지 102lc)를 갖는다. 복수의 카메라(102aa 내지 102lc)는, 복수의 카메라 그룹(103a 내지 103l) 중 어느 카메라 그룹에 속해 있다. 또한, 이하에서는 특별히 구별할 필요가 없는 경우, 카메라(102), 카메라 그룹(103)이라고 표현한다.

각각의 카메라 그룹(103)은, 1대 이상의 카메라(102)를 갖는다. 구체적으로는, 카메라 그룹(103a)에는 3대의 카메라(102aa, 102ab, 102ac)가 속해 있다. 단, 카메라 그룹(103)에 속하는 카메라의 대수는 3대에 한하지 않고, 2대 이하여도 되고, 4대 이상이어도 된다. 또한, 카메라 그룹(103)의 각각에 속하는 카메라(102)의 대수는 동일해도 되고, 상이해도 된다.

복수의 카메라(102)로 촬영된 복수의 화상은, 허브(104)를 통하여, 가상 시점 화상 생성 장치(106)로 보내진다. 또한, 제어 장치(105)는, 멀티 카메라 시스템(101)의 촬영을 제어하거나, 멀티 카메라 시스템(101)이 갖는 복수의 카메라(102)의 배치 상황을 관리한다.

가상 시점 화상 생성 장치(106)는, 멀티 카메라 시스템(101)에서 촬영된 복수의 화상에 기초하여, 가상 시점 지정 장치(107)에서 지정된 시점으로부터 본 가상 시점 화상을 생성한다. 가상 시점 지정 장치(107)에서 지정되는 시점 정보는, 가상 시점의 위치 및 방향을 나타내는 정보이다. 구체적으로는, 시점 정보는, 가상 시점의 3차원 위치를 나타내는 파라미터와, 팬, 틸트 및 롤 방향에 있어서의 가상 시점의 방향을 나타내는 파라미터를 포함하는, 파라미터 세트이다. 또한, 시점 정보의 내용은 상기에 한정되지 않는다. 예를 들어, 시점 정보로서의 파라미터 세트에는, 가상 시점의 시야의 크기(화각)를 나타내는 파라미터가 포함되어도 된다. 또한, 시점 정보는 복수의 파라미터 세트를 가져도 된다. 예를 들어, 시점 정보가, 가상 시점 화상의 동화상을 구성하는 복수의 프레임에 각각 대응하는 복수의 파라미터 세트를 갖고, 연속되는 복수의 시점 각각에 있어서의 가상 시점의 위치 및 방향을 나타내는 정보여도 된다. 또한, 가상 시점 지정 장치(107)는, 가상 시점 화상 생성 장치(106) 또는 화상 처리 시스템(100)과 유선 혹은 무선으로 접속되어 있다.

가상 시점 화상 생성 장치(106)는, 예를 들어 이하의 방법으로 가상 시점 화상을 생성한다. 먼저, 복수의 촬영 장치에 의해 각각 다른 방향으로부터 촬영함으로써 복수의 화상이 취득된다. 다음에, 그 복수의 화상으로부터, 인물이나 볼 등의 소정의 오브젝트(피사체)에 대응하는 전경 영역을 추출한 전경 화상과, 전경 영역 이외의 배경 영역을 추출한 배경 화상이 취득된다. 또한, 소정의 피사체의 3차원 형상을 나타내는 전경 모델과 전경 모델에 착색하기 위한 텍스처 데이터가 전경 화상에 기초하여 생성되고, 경기장 등의 배경의 3차원 형상을 나타내는 배경 모델에 착색하기 위한 텍스처 데이터가 배경 화상에 기초하여 생성된다. 그리고, 전경 모델과 배경 모델에 대하여 텍스처 데이터를 매핑하고, 시점 정보가 나타내는 가상 시점에 따라 렌더링을 행함으로써, 가상 시점 화상이 생성된다. 또한, 배경으로서는 필드나 골 포스트이다. 단, 가상 시점 화상의 생성 방법은 이것에 한정되지 않으며, 3차원 모델을 사용하지 않고 촬영 화상의 사영 변환에 의해 가상 시점 화상을 생성하는 방법 등, 다양한 방법을 사용할 수 있다.

배치 결정 장치(108)는, 후술하는 바와 같이 멀티 카메라 시스템(101)이 갖는 복수의 카메라(102)의 배치를 결정한다. 이 배치 결정 장치(108)는, 화상 처리 시스템(100)에 포함되어 있어도 되고, 포함되어 있지 않아도 된다. 배치 결정 장치(108)는, 제어 장치(105) 또는 화상 처리 시스템(100)과 유선 또는 무선으로 접속되어 있다.

또한, 상술한 전경 화상과 배경 화상은, 가상 시점 화상 생성 장치(106)에서 촬영 화상으로부터 각각 추출되어도 되고, 그 이외의 장치에서, 예를 들어 카메라(102)에서 추출되어도 된다. 카메라(102)에서 전경 화상과 배경 화상이 추출되는 경우, 복수의 카메라(102)의 각각에서 전경 화상과 배경 화상의 양쪽 모두를 추출해도 되고, 복수의 카메라(102)의 일부의 카메라가 전경 화상을 추출하고, 다른 일부가 배경 화상을 추출하도록 해도 된다. 또한, 복수의 카메라(102)에는, 전경 화상과 배경 화상의 어느 것도 추출하지 않는 카메라(102)가 포함되어 있어도 된다.

도 2는, 배치 결정 장치(108)의 하드웨어 구성의 일례를 도시하는 도면이다. CPU(201)는, ROM(202)이나 RAM(203)에 저장되어 있는 컴퓨터 프로그램이나 데이터를 사용하여 정보 처리 장치의 전체를 제어함으로써, 정보 처리 장치의 각 기능을 실현한다. 또한, 정보 처리 장치가 CPU(201)와는 다른 1개 또는 복수의 전용 하드웨어를 갖고, CPU(201)에 의한 처리의 적어도 일부를 전용 하드웨어가 실행해도 된다. 전용 하드웨어의 예로서는, ASIC(특정 용도용 집적 회로), FPGA(필드 프로그래머블 게이트 어레이) 및 DSP(디지털 시그널 프로세서) 등이 있다. ROM(202)은, 변경을 필요로 하지 않는 프로그램 등을 저장한다.

RAM(203)은, 보조 기억 장치(204)로부터 공급되는 프로그램이나 데이터, 및 통신 I/F(207)를 통하여 외부로부터 공급되는 데이터 등을 일시 기억한다. 보조 기억 장치(204)는, 예를 들어 하드 디스크 드라이브 등으로 구성되며, 화상 데이터나 음성 데이터 등의 다양한 데이터를 기억한다. 표시부(205)는, 예를 들어 액정 디스플레이나 LED 등으로 구성되며, 유저가 정보 처리 장치를 조작하기 위한 GUI(Graphical User Interface) 등을 표시한다.

조작부(206)는, 예를 들어 키보드나 마우스, 조이스틱, 터치 패널 등으로 구성되며, 유저에 의한 조작을 받아 각종 지시를 CPU(201)에 입력한다. 통신 I/F(207)는, 정보 처리 장치의 외부의 장치와의 통신에 사용된다. 예를 들어, 정보 처리 장치가 외부의 장치와 유선으로 접속되는 경우에는, 통신용 케이블이 통신 I/F(207)에 접속된다. 정보 처리 장치가 외부의 장치와 무선 통신하는 기능을 갖는 경우에는, 통신 I/F(207)는 안테나를 구비한다. 버스(208)는, 정보 처리 장치의 각 부를 연결하여 정보를 전달한다.

본 실시 형태에서는 표시부(205)와 조작부(206)가 배치 결정 장치(108)의 내부에 존재하는 것으로 하지만, 표시부(205)와 조작부(206) 중 적어도 한쪽이 배치 결정 장치(108)의 외부에 다른 장치로서 존재해도 된다. 이 경우, CPU(201)가, 표시부(205)를 제어하는 표시 제어부, 및 조작부(206)를 제어하는 조작 제어부로서 동작해도 된다.

도 3은, 배치 결정 장치(108)의 기능 구성의 일례를 도시하는 도면이다. 배치 결정 장치(108)는, 허용값 취득부(303), 촬영 대상 영역 취득부(304), 카메라 그룹수 취득부(305), 배치 결정부(306)를 갖고 있다. 또한, 배치 결정 장치(108)는, 이벤트 정보 기억부(301)와 회장 정보 기억부(302)를 가져도 된다. 본 실시 형태는, 배치 결정 장치(108)가 이벤트 정보 기억부(301)와 회장 정보 기억부(302)를 갖는 예로 설명을 행한다. 그러나, 이벤트 정보 기억부(301)와 회장 정보 기억부(302)는, 배치 결정 장치(108)와는 다른 장치에 포함되며, 그 장치로부터 배치 결정 장치(108)가 필요한 정보를 취득하도록 해도 된다.

이벤트 정보 기억부(301)는, 촬영 대상의 이벤트에 관한 정보를 기억한다. 이벤트 정보는, 예를 들어 이하의 정보이다. 이벤트의 종별이나 그 밖의 이벤트를 특정할 수 있는 정보, 필드의 크기의 정보, 피사체의 이동 범위의 정보, 피사체의 밀집도의 정보, 가상 시점 화상의 용도에 관한 정보, 이벤트의 규모의 정보 등이다. 이벤트의 종별은 럭비, 축구, 볼더링, 야구, 육상 경기, 수상 경기, 빙상 경기 등의 스포츠 경기나, 콘서트나 연극 등이며, 특별히 한정되지 않는다. 필드란, 이벤트에 있어서 피사체인 인물이나 볼, 이벤트에서 사용되는 도구 등의 동체를 이동시킬 수 있는 면을 말한다. 피사체의 이동 범위는 이벤트별로 설정된다. 피사체의 밀집도는, 이벤트에 있어서 피사체인 인물이 밀집한 경우의 그 밀집도를 수치화한 것이다. 예를 들어 럭비, 축구, 야구의 밀집도를 비교하면, 럭비가 가장 밀집도가 크고, 야구가 가장 밀집도가 작다. 럭비의 피사체의 밀집도가 큰 요인은, 스크럼이나 몰 등의 플레이가 발생하기 때문이다. 가상 시점 화상의 용도는, 생방송에서의 사용 용도, 아카이브 배신에서의 사용 용도, 행동 분석이나 전술 분석 등에서의 사용 용도 등이 있다.

회장 정보 기억부(302)는, 복수의 카메라(102)를 배치하는 회장에 관한 정보를 기억한다. 회장 정보는, 예를 들어 이하의 정보이다. 회장의 명칭의 정보, 회장의 크기의 정보, 회장 내에서의 카메라(102)를 배치 가능한 구조체와 그 위치에 관한 정보나, 배치 가능한 카메라(102)의 대수의 정보 등이다. 또한, 회장은, 럭비나 축구 등의 시합 회장으로 되는 스타디움이나, 연극이나 콘서트 등의 회장 등이다. 또한, 회장은, 스포츠팀의 연습장 등이어도 된다. 카메라(102)를 배치 가능한 구조체와 그 위치를 나타내는 정보는, 2차원 화상으로 표시되어 있어도 되고, 3차원 데이터로서 표시되어 있어도 된다.

허용값 취득부(303)는, 소정의 기준으로 되는 피사체를 카메라(102)가 촬영 하였을 때, 그 피사체의 화상 중의 크기인 해상도의 하한값을 설정하여 취득한다. 구체적으로는, 가상 시점 화상의 용도에 따라 하한 해상도를 설정한다. 예를 들어, 가상 시점 화상의 용도가 생방송용의 부감 화상인 경우에는, 하한 해상도를 작게 설정하고, 가상 시점 화상의 용도가 리플레이 화상인 경우에는, 하한 해상도를 크게 설정한다. 또한, 하한 해상도에 대해서는 후술한다.

허용값 취득부(303)는, 이벤트 정보의 하나인 가상 시점 화상의 용도와 하한 해상도의 대응을 미리 표로서 기억해 두고, 그 표를 참조하여 설정하도록 해도 된다. 즉, 허용값 취득부(303)는, 조작부(206)를 통하여 오퍼레이터로부터 이벤트를 특정할 수 있는 정보의 입력을 접수하면, 이벤트 정보 기억부(301)에 기억되어 있는 이벤트 정보와 그 표를 참조하여, 하한 해상도를 취득하도록 해도 된다. 참조되는 표의 일례를 도 17a에 도시한다. 또한, 참조되는 표는, 가상 시점 화상의 용도의 정보와 하한 해상도의 정보가 대응지어져 있으면 되지만, 이것에 한정되지 않는다. 상기 이외의 이벤트 정보와 하한 해상도의 정보가 대응지어져 있어도 된다. 또한, 참조되는 표는, 이벤트의 명칭 등의 이벤트를 특정할 수 있는 정보와 하한 해상도가 대응지어져 있어도 된다. 또한, 참조되는 표는, 이벤트 정보 기억부(301)에 기억되어 있어도 되고, 외부의 장치에 기억되어 있어도 된다.

또한, 허용값 취득부(303)는, 조작부(206)를 통하여, 오퍼레이터로부터 직접, 하한 해상도의 수치 등의 정보를 취득해도 된다.

촬영 대상 영역 취득부(304)는, 이벤트 정보에 기초하여, 멀티 카메라 시스템(101)의 촬영 대상으로 되는 영역인 촬영 대상 영역을 결정한다. 구체적으로는, 촬영 대상 영역 취득부(304)는, 다음과 같은 구성으로 하면 된다. 즉, 먼저, 촬영 대상 영역 취득부(304)는 이벤트 정보의 적어도 일부의 정보와 촬영 대상 영역을 나타내는 정보를 대응지은 표를 기억한다. 이벤트 정보의 적어도 일부의 정보란, 필드의 크기의 정보, 피사체의 이동 범위의 정보 등이다. 그리고, 촬영 대상 영역 취득부(304)는, 조작부(206)를 통하여 오퍼레이터로부터 이벤트를 특정할 수 있는 정보의 입력을 접수하면, 이벤트 정보 기억부(301)에 기억되어 있는 이벤트 정보와 그 표를 참조하여, 촬영 대상 영역을 결정한다. 참조되는 표의 일례를 도 17b에 도시한다. 또한, 참조되는 표는, 필드의 크기의 정보와 피사체의 이동 범위의 정보와 촬영 대상 영역의 정보가 대응지어져 있으면 되지만, 이것에 한정되지 않는다. 상기 이외의 이벤트 정보와 촬영 대상 영역의 정보가 대응지어져 있어도 된다. 또한, 참조되는 표는, 이벤트의 명칭 등의 이벤트를 특정할 수 있는 정보와 촬영 대상 영역이 대응지어져 있어도 된다. 또한, 참조되는 표는, 이벤트 정보 기억부(301)에 기억되어 있어도 되고, 외부의 장치에 기억되어 있어도 된다.

또한, 촬영 대상 영역 취득부(304)는, 조작부(206)를 통하여, 오퍼레이터로부터 직접, 촬영 대상 영역의 정보를 취득해도 된다.

여기서, 촬영 대상 영역에 대하여 설명을 행한다. 도 5a는, 촬영 대상 영역의 일례를 도시하는 도면이며, 이 도면에서는 이벤트가 럭비인 경우의 예를 도시하고 있다. 촬영 대상 영역(503)은 2차원 상의 면이며, 도 5b의 공간(504)의 일부를 구성한다. 이 촬영 대상 영역(503)은, 촬영 대상 영역 취득부(304)에 의해, 필드(501)의 크기나, 인물(선수)이나 볼 등 피사체의 이동 범위에 기초하여 결정된다. 여기서, 이동 범위란, 필드(501) 상의 이동 범위뿐만 아니라, 예를 들어 라인 아웃에 의한 스로우 인을 행할 때, 터치 라인 밖에 선수가 서기 때문에, 필드(501)의 주변도 이동 범위에 포함하는 것으로 한다. 이동 범위는 이벤트에 따라 그 크기가 설정되어 있어도 된다. 예를 들어, 럭비라면, 이동 거리는 터치 라인이나 데드 볼 라인, 터치 인 골 라인이나 골 포스트(502) 등으로부터의 거리나 각도 등으로 규정되어 있어도 되고, 필드(501)를 포함하도록 설정된 범위로 규정되어도 된다. 또한, 축구라면, 마찬가지로 터치 라인이나 골 라인, 코너 플래그의 위치 등으로부터의 거리나 각도로 규정되어도 된다. 또한, 야구라면, 이동 범위로서 파울 존을 포함하도록 설정되어 있어도 된다.

이와 같이, 촬영 대상 영역(503)은, 플레이 에어리어(필드(501))를 포함하고, 또한 플레이 에어리어보다 외측에 있는 소정의 범위를 포함하도록 설정된다. 이와 같이 촬영 대상 영역(503)이 설정됨으로써, 필드(501)의 전역에 있어서, 고화질의 가상 시점 화상을 생성할 수 있다.

도 5b는, 높이 방향을 고려한 공간(504)이 촬영 대상 영역으로서 설정되는 예를 도시하는 도면이다. 즉, 도 5b의 예에서는, 촬영 대상 영역은 3차원 공간이다. 도 5b에서는, 주로 볼이 움직이는 범위를 고려하여, 골 포스트(502)의 상부의 공간을 포함하는 범위를 포함하도록 촬영 대상 영역이 설정된다. 그 밖에, 촬영 대상 영역은, 필드(501)로부터 소정의 높이가 고려된 공간이어도 된다. 예를 들어 소정의 높이란, 인물(선수)의 신장이나 인물이 도약하였을 때의 높이, 라인 아웃 시에 리프트되는 선수의 도달점 등이다.

카메라 그룹수 취득부(305)는, 촬영 대상 영역(503)을 복수의 방향으로부터 촬영하도록, 멀티 카메라 시스템(101)을 구성하는 카메라 그룹(103)의 수를 취득한다. 구체적으로는, 카메라 그룹수 취득부(305)는, 피사체의 밀집도를 기초로, 카메라 그룹(103)의 수를 설정한다. 카메라 그룹수 취득부(305)는, 피사체의 밀집도가 큰 경우에는, 피사체의 밀집도가 작은 경우에 비하여, 카메라 그룹(103)의 수를 보다 많이 설정하도록 한다. 또한, 카메라 그룹수 취득부(305)는, 이벤트 정보의 하나인 피사체의 밀집도와, 카메라 그룹(103)의 수의 대응을 미리 표로서 기억해 두고, 그 표를 참조하여 설정하도록 해도 된다. 즉, 카메라 그룹수 취득부(305)는, 조작부(206)를 통하여 이벤트를 특정할 수 있는 정보의 입력을 접수하면, 이벤트 정보 기억부(301)에 기억되어 있는 이벤트 정보와 그 표를 참조하여, 카메라 그룹(103)의 수를 취득하도록 해도 된다. 참조되는 표의 일례를 도 17c에 도시한다. 또한, 참조되는 표는, 피사체의 밀집도의 정보와 카메라 그룹(103)의 수의 정보가 대응지어져 있으면 되지만, 이것에 한정되지 않는다. 상기 이외의 이벤트 정보와 카메라 그룹(103)의 수의 정보가 대응지어져 있어도 된다. 또한, 참조되는 표는, 이벤트의 명칭 등의 이벤트를 특정할 수 있는 정보와 카메라 그룹(103)의 수가 대응지어져 있어도 된다. 또한, 참조되는 표는, 이벤트 정보 기억부(301)에 기억되어 있어도 되고, 외부의 장치에 기억되어 있어도 된다.

또한, 카메라 그룹수 취득부(305)는, 조작부(206)를 통하여, 오퍼레이터로부터 직접, 카메라 그룹(103)의 수의 정보를 취득해도 된다.

배치 결정부(306)는, 하한 해상도, 촬영 대상 영역(503), 카메라 그룹수, 회장 정보에 기초하여, 카메라(102)의 배치를 결정한다. 하한 해상도는 허용값 취득부(303)에 의해 취득되고, 촬영 대상 영역(503)은 촬영 대상 영역 취득부(304)에 의해 취득되고, 카메라 그룹수는 카메라 그룹수 취득부(305)에 의해 취득된다. 또한, 회장 정보는 회장 정보 기억부(302)에 기억되어 있다. 배치 결정부(306)는, 조작부(206)를 통하여 입력된 회장을 특정하기 위한 정보에 기초하여, 회장 정보 기억부(302)로부터 필요한 회장 정보를 취득한다. 예를 들어, 취득하는 회장 정보는, 회장 내에서의 카메라(102)를 배치 가능한 구조체와 그 위치에 관한 정보나, 배치 가능한 카메라(102)의 대수의 정보 등이다.

배치 결정부(306)는, 구체적으로는, 먼저 촬영 대상 영역(503)과, 카메라 그룹수와, 회장 정보를 기초로, 카메라 그룹(103)의 배치 위치를 결정한다. 다음에, 배치 결정부(306)는, 카메라 그룹(103)별로, 속하는 복수의 카메라(102)의 배치를 결정한다. 그때, 배치 결정부(306)는, 카메라 그룹(103)에 속하는 복수의 카메라(102)에 의해 촬영 대상 영역(503)의 전역이 촬영되도록, 각 카메라 그룹(103)에 속하는 복수의 카메라(102)의 배치를 결정한다. 또한 배치 결정부(306)는, 카메라 그룹(103)에 속하는 복수의 카메라(102)에 있어서, 촬영 대상 영역(503)의 전역에서, 해상도가 하한 해상도를 상회하도록, 복수의 카메라(102)의 배치를 결정한다. 또한, 전체 카메라 그룹(103)에서, 상기 촬영 대상 영역에 관한 조건, 해상도에 관한 조건을 충족하도록, 복수의 카메라(102)의 배치가 결정되는 것으로 하였지만, 이것에 한정되지 않는다. 예를 들어, 소정수의 카메라 그룹(103)에 속하는 복수의 카메라(102)만이 상기 조건을 충족하도록, 복수의 카메라(102)의 배치가 결정되어도 된다. 또한, 소정의 위치에 있는 카메라 그룹(103)이나 소정의 관계에 있는 카메라 그룹(103)이 상기 조건을 충족하도록, 그 카메라 그룹(103)에 속하는 복수의 카메라(102)의 배치가 결정되어도 된다. 즉, 일부의 카메라 그룹(103)에 속하는 복수의 카메라(102)에 의해, 촬영 대상 영역(503)의 전역이 아니라 일부가 촬영되도록, 그 복수의 카메라(102)가 배치되어 있어도 된다. 또한, 일부의 카메라 그룹(103)에 속하는 복수의 카메라(102)에 있어서, 촬영 대상 영역(503)의 일부의 영역에서, 해상도가 하한 해상도를 상회하지 않아도 된다.

도 4는, 배치 결정 장치(108)의 처리 수순의 일례를 도시하는 흐름도이다. 도 4를 사용하여 배치 결정 장치(108)가 행하는 처리에 대하여 설명을 행한다.

먼저, 배치 결정 장치(108)는, 조작부(206)를 통하여 오퍼레이터로부터의 배치 결정의 지시를 접수한다. 그 지시에 따라, 스텝 S401에서, 허용값 취득부(303)는 하한 해상도를 취득한다.

여기서, 하한 해상도에 대하여 설명을 행하는데, 그 전에 해상도에 대하여 설명한다. 여기서 말하는 해상도는, 카메라(102)가 촬영한 화상에 있어서, 기준으로 되는 피사체의 크기이며, 화소수로 표시된다. 기준으로 되는 피사체는, 촬영 대상으로 되는 이벤트에 있어서, 전형적인 피사체나 가상적인 피사체여도 되고, 특정 피사체나 임의의 피사체여도 된다. 예를 들어, 신장 2m의 직립한 선수를 기준으로 되는 피사체로 정한다. 그 경우에는, 카메라(102)가 촬영한 화상에 있어서, 신장 2m의 직립한 선수의 머리끝에서 발끝까지의 화소수가 해상도로 된다.

도 6은, 해상도를 설명하기 위한 도면이다. 필드(501) 내의 위치(602a)에 있어서의, 기준으로 되는 피사체(여기서는, 신장 2m의 직립한 선수)의 신장을 나타내는 촬영 화상에 있어서의 화소수를 해상도(601a)로 한다. 또한, 위치(602b)에 있어서의, 기준으로 되는 피사체의 신장을 나타내는 촬영 화상에 있어서의 화소수를 해상도(601b)로 한다. 해상도는, 카메라(102)로부터의 거리나 카메라(102)의 초점 거리 등에 따라 다르다. 예를 들어, 카메라(102)로부터 가까운 위치(602a)의 해상도(601a)는, 먼 위치(602b)의 해상도(601b)보다 커진다.

하한 해상도는, 카메라(102)가 촬영한 화상에 있어서의 해상도의 허용값이다. 하한 해상도는, 가상 시점 화상에 있어서의 피사체의 화질에 영향을 미친다. 즉, 가상 시점 화상에 있어서, 기준으로 되는 피사체의 화소수가 하한 해상도보다 커지면, 디지털 줌과 마찬가지의 효과에 의해 화질 열화가 생긴다. 따라서, 하한 해상도는, 가상 시점 화상에 있어서 얼마만큼 피사체를 크게 찍고 싶은지, 어떤 구도로 하고 싶은지에 따라 결정된다. 예를 들어, 기준으로 되는 피사체를, 가상 시점 화상의 4분의 1의 사이즈까지 크게 찍는 것을 생각하자. 가상 시점 화상의 사이즈를 1920화소×1080화소로 한다. 그러면, 하한 해상도는 1080 화소÷4=270화소로 결정된다. 또한, 어느 정도의 디지털 줌을 허용하도록 하한 해상도는 결정되어도 된다. 예를 들어, 1.2배의 디지털 줌까지 허용할 수 있다고 판단하면, 270÷1.2=225화소를 하한 해상도로 결정한다.

이 하한 해상도는, 필드(501) 내의 임의의 위치에 있어서의 기준으로 되는 피사체를, 촬영 화상에 있어서 어떤 화소수 이상으로 표현할 것인가라는 것을 나타내고 있다. 단, 이것에 한정되는 것은 아니다. 예를 들어, 하한 해상도는, 필드(501) 내의 임의의 위치가 아니라, 소정의 위치 혹은 소정의 범위 내에 있어서의 기준으로 되는 피사체를, 촬영 화상에 있어서 어떤 화소수 이상으로 표현할 것인가라는 것을 나타내도록 해도 된다.

허용값 취득부(303)는, 상술한 바와 같이, 조작부(206)를 통하여 오퍼레이터로부터 입력되는 이벤트를 특정할 수 있는 정보와, 미리 기억된 표에 기초하여, 하한 해상도를 결정하여 취득한다.

다음에, 스텝 S402에서, 촬영 대상 영역 취득부(304)는, 촬영 대상 영역(503)을 결정하여 취득한다. 구체적으로는, 상술한 바와 같이, 조작부(206)를 통하여 오퍼레이터로부터 입력되는 이벤트를 특정할 수 있는 정보와, 미리 기억된 표에 기초하여, 촬영 대상 영역(503)이 결정된다. 또한, 촬영 대상 영역(503)에 대해서는, 전술한 바와 같다.

스텝 S403에서, 카메라 그룹수 취득부(305)는, 카메라 그룹(103)의 수를 결정하여 취득한다. 카메라 그룹(103)의 수는, 가상 시점 화상 생성 장치(106)가 피사체의 3차원 형상 데이터를 고정밀도로 생성하기 위해 필요한 방향의 수에 따라 결정한다. 피사체의 3차원 형상 데이터의 생성에 필요한 방향의 수는, 피사체의 밀집도에 따라 변화한다. 카메라 그룹수 취득부(305)는, 피사체의 밀집도와 필요한 방향의 수(즉, 카메라 그룹의 수)를 대응지어 표로서 미리 기억해 둔다. 예를 들어, 카메라 그룹수 취득부(305)는, 피사체를 모방한 CG(컴퓨터 그래픽스)를 사용하여 가상 시점 화상을 생성하고, 그 화질을 보고 필요한 방향의 수 및 그 시점 위치를, 피사체의 밀집도와 대응지어 표로서 미리 기억한다. 예를 들어, 야구의 피처 등, 피사체가 단독으로 존재하는 상황에서는, 오쿨루전이 발생하기 어려우므로, 적은 방향으로부터의 촬영이어도 되지만, 럭비의 스크럼 등, 다수의 피사체가 밀집된 상황에서는, 많은 방향으로부터 촬영할 필요가 있다. 여기서 결정한 방향의 수를, 카메라 그룹(103)의 수라고 결정한다. 이하, 예로서, 카메라 그룹(103)의 수를 12로 결정하였다고 하자. 또한, 카메라 그룹(103)의 배치 영역도 이 스텝에서 결정되어도 되지만, 본 실시 형태에서는 다음 스텝 S404에서 결정되는 것으로 하자.

스텝 S404에서, 배치 결정부(306)는, 카메라 그룹수 및 회장 정보에 기초하여, 카메라 그룹(103)의 배치 영역을 결정한다. 배치 결정 처리에 대하여, 도 7 내지 12를 사용하여 상세하게 설명한다. 도 7은, 카메라 그룹(103)의 배치 위치의 예를 도시하는 도면이다. 먼저, 회장 정보, 예를 들어 스타디움(702)의 설계도 등으로부터, 카메라(102)를 배치하는 것이 가능한 영역을, 배치 영역(701a 내지 701l)의 후보로서 결정한다. 배치 영역(701a 내지 701l)의 후보는, 스타디움(702)의 기둥, 통로, 난간, 천장 등이다. 결정된 배치 영역의 후보는, 표시부(205)에서 표시시키도록 해도 된다. 또한, 이하에서는 특별한 사정이 없는 한, 배치 영역(701a 내지 701l)은 배치 영역(701)이라고 한다.

다음에, 배치 영역(701)의 후보 중에서, 이하에 설명하는 기준에 따라, 카메라 그룹(103)의 배치 영역(701)을 결정한다. 피사체를 촬영하는 인접하는 2개의 카메라 그룹(103)의 간격이 넓어지면, 그 사이에 지정된 가상 시점으로부터 생성된 가상 시점 화상의 화질이 열화된다. 그 때문에 카메라 그룹(103)간의 간격이 불균일하면, 가상 시점 화상의 화질이 지정된 가상 시점의 위치에 따라 변동되어 버린다. 따라서, 촬영 대상 영역(503)의 피사체로부터 보아, 카메라 그룹(103)의 배치 영역(701)은, 가능한 한 등간격으로 되도록 결정되는 것이 좋다. 예를 들어, 촬영 대상 영역(503)의 중심(703)의 피사체로부터 보아, 인접하는 배치 영역(701) 사이의 각도가 동등하게 되도록 배치 영역(701)을 결정한다. 카메라 그룹(103)의 수가 12인 경우, 인접하는 배치 영역(701) 사이의 이상적인 각도는 360도/12=30도이다. 따라서, 예를 들어 배치 영역(701a)과 배치 영역(701b)을, 그 사이의 각도(704ab)가 30도가 되도록 결정한다. 그러나, 기둥의 위치 등, 스타디움(702)의 구조 상의 이유에 의해, 등간격으로 배치 영역(701)을 결정할 수 없는 경우가 고려된다. 그래서, 예를 들어 이상적인 각도의 1.5배를 허용 범위로 하는 등, 미리 기준을 마련하여 배치 영역(701)을 결정해도 된다. 즉, 피사체로부터 보아 인접하는 배치 영역(701) 사이의 각도가 소정의 값을 초과하지 않도록 배치 영역(701)을 결정한다.

스텝 S405에서, 배치 결정부(306)는, 카메라 그룹(103)의 배치 영역(701)과, 하한 해상도와, 촬영 대상 영역(503)에 기초하여, 카메라 그룹(103)별로, 카메라 그룹(103)에 속하는 2 이상의 카메라(102)의 대수 및 배치를 결정한다. 그때, 이하의 조건을 충족하도록, 카메라 그룹(103)에 속하는 2 이상의 카메라(102)의 대수 및 배치가 결정된다. 즉, 카메라 그룹(103)별로, 촬영 대상 영역(503)의 전역이 촬영되도록, 2 이상의 카메라(102)의 대수 및 배치가 결정된다. 또한, 촬영 대상 영역(503)의 전역에서 해상도가 하한 해상도보다 초과하도록, 카메라(102)의 대수 및 배치가 결정된다. 또한, 카메라(102)의 대수가 가능한 한 적어지도록 배치가 결정된다. 또한, 여기서 말하는 카메라(102)의 배치는, 카메라(102)의 위치와 방향을 포함하는 것으로 한다.

먼저, 도 8을 사용하여, 배치 영역(701) 내에서, 복수의 카메라(102)를 배치하는 위치를 설명한다. 카메라 그룹(103)에 속하는 복수의 카메라(102)는, 각각 대응하는 배치 영역(701)에 배치한다. 예를 들어, 카메라 그룹(103a)에 속하는 복수의 카메라(102)는, 대응하는 배치 영역(701a)에 배치한다. 배치 영역(701) 내에 있어서, 카메라 그룹(103)에 속하는 복수의 카메라(102)를 가능한 한 가까운 위치에 배치한다.

도 9는, 이상적인 상태로서, 동일한 카메라 그룹(103a) 내의 3대의 카메라(102aa, 102ab, 102ac)를, 각각의 광학 중심이 겹치도록 배치한 예이다. 카메라(102aa)의 촬영 범위가 901aa이다. 카메라(102ab)의 촬영 범위가 901ab이다. 카메라(102ac)의 촬영 범위가 901ac이다. 카메라(102)의 촬영 범위(901)는 방사상으로 넓어진다. 따라서, 광학 중심이 겹치는 경우에는, 촬영 범위(901aa, 901ab, 901ac)가 접하도록 카메라(102aa, 102ab, 102ac)를 배치할 수 있다. 촬영 범위(901)가 겹치지 않고 접함으로써, 3대의 카메라(102aa 내지 102ac)로 효율적으로 넓은 영역을 커버할 수 있다. 그러나, 실제는, 카메라(102)의 물리적인 제약에 의해, 광학 중심이 겹치도록 배치할 수는 없다. 따라서, 가능한 한 가까운 위치에 배치함으로써, 촬영 범위(901)의 겹침을 적게 한다.

도 8로 되돌아가서, 예를 들어 카메라 그룹(103h)에 속하는 복수의 카메라(102ha, 102hb, 102hc)를, 촬영 대상 영역(503)의 중심(703)으로부터 보아, 소정의 각도(801h)의 범위 내에 배치한다. 예를 들어, 카메라 그룹(103)에 속하는 복수의 카메라(102)를 소정의 거리 이내에 배치한다.

다른 관점에서 설명하면, 각각의 카메라(102)를, 다른 카메라 그룹(103)의 카메라(102)보다, 자신이 속하는 카메라 그룹(103)의 카메라(102)의 근처에 배치한다. 예를 들어, 인접하는 카메라 그룹(103g와 103h)에 대하여 설명한다. 카메라 그룹(103g)에 카메라(102ga, 102gb, 102gc)가 속한다고 하자. 또한, 카메라 그룹(103h)에 카메라(102ha, 102hb, 102hc)가 속한다고 하자. 이 경우에, 카메라(102gc)는 카메라(102ha, 102hb, 102hc)보다 카메라(102ga, 102gb)의 근처에 배치한다. 이유는 다음과 같다. 가령, 카메라(102gc)를 카메라(102ha)의 근처에 배치하였다고 하자. 그러면, 카메라(102gc)는, 카메라 그룹(103h)과는 반대측에 위치하는 카메라 그룹(103f)의 카메라(102)와의 간격이 넓어져, 가상 시점 화상의 화질이 열화되는 방향이 생기기 때문이다.

다음에, 도 10 내지 12를 사용하여, 카메라 그룹(103)에 속하는 복수의 카메라(102)에 의해 촬영 대상 영역(503)의 전역을 촬영하는 일례를 설명한다.

도 10은, 카메라 그룹(103i)에 대하여, 3대의 카메라(102ia, 102ib, 102ic)에 의해, 촬영 대상 영역(503)의 전역을 촬영하는 예이다. 카메라(102ia)의 촬영 범위가 901ia이다. 카메라(102ib)의 촬영 범위가 901ib이다. 카메라(102ic)의 촬영 범위가 901ic이다. 촬영 대상 범위란, 촬영 화상에 있어서의 기준으로 되는 피사체의 해상도가, 하한 해상도를 초과하는 영역에 대응하고 있다. 도 10에 도시하는 바와 같이, 이들 촬영 범위(901ia, 901ib, 901ic)를 합치면, 촬영 대상 영역(503)의 전역이 촬영된다. 예를 들어, 카메라(102ib)를 한가운데에 배치하고, 오른쪽에 카메라(102ia)를 배치하고, 왼쪽에 카메라(102ic)를 배치하여, 3대의 카메라(102)가 부채형으로 배치되어 있다. 결과로서, 각각의 촬영 범위(901ia, 901ib, 901ic)도 부채형으로 넓어진다.

도 10은, 촬영 대상 영역(503)의 면 내 방향에 대하여, 카메라(102ia 내지 102ic)의 촬영 범위(901ia 내지 901ic)에 대하여 설명하는 도면이다. 단, 촬영 대상 영역은, 필드(501)의 소정의 높이까지를 포함하는 3차원 공간이어도 되며, 그 경우에는 필드(501)의 소정의 높이 방향을 포함시킨 촬영 대상 영역을 촬영하도록 카메라(102)를 배치할 필요가 있다. 또한, 3대의 카메라(102)의 광학 중심의 위치가 일치하지 않기 때문에, 예를 들어 촬영 범위(901ic와 901ib)의 일부가 겹쳐 있다. 3대의 카메라(102)를 가능한 한 근처에 배치함으로써, 촬영 범위(901)의 겹침을 줄여, 더 효율이 좋은 배치가 가능하게 된다. 즉, 카메라 그룹(103)에 필요한 카메라(102)의 대수를 줄일 수 있다.

여기서, 카메라(102)의 광축과 스타디움(702)의 필드(501)의 교점을 카메라(102)의 주시점(1001)이라고 정의한다. 도 10에서, 카메라(102ia)의 주시점이 1001ia이다. 카메라(102ib)의 주시점이 1001ib이다. 카메라(102ic)의 주시점이 1001ic이다. 도 10에 도시하는 바와 같이, 주시점(1001)의 위치는 모두 다르다. 즉, 카메라 그룹(103)에 속하는 복수의 카메라(102)의 주시점은 모두 다르다. 단, 1개의 카메라 그룹(103)에는, 동일한 주시점으로 되는 카메라(102)가 포함되어 있어도 된다.

또한, 도 10의 카메라(102)의 배치예에서는, 카메라(102ia 내지 102ic)의 광축은, 서로 다른 방향으로 향해져 있다. 또한, 카메라(102ia 내지 102ic)의 각각과, 각각의 주시점을 연결하는 선분의 필드(501)로의 사영된 선분은 서로 교차하지 않는다.

도 11은, 다른 카메라 그룹(103)에 속하는 카메라(102)의 배치의 예를 도시하는 도면이다. 카메라 그룹(103g)에는 6대의 카메라(102ga, 102gb, 102gc, 102gd, 102ge, 102gf)가 포함되어 있다. 이 카메라(102ga, 102gb, 102gc, 102gd, 102ge, 102gf)에 의해, 촬영 대상 영역(503)의 전역이 촬영되고 있다.

도 11a는, 촬영 대상 영역(503)을 위에서 본 도면이며, 촬영 대상 영역(503)의 면 내 방향에 대하여, 102ga, 102gb, 102gc, 102gd, 102ge, 102gf의 배치를 도시하는 도면이다. 카메라(102ga)에 대하여, 촬영 범위가 901ga이며, 주시점이 1101ga이다. 카메라(102gb 내지 102gf)에 대해서도 마찬가지이다. 6대의 카메라(102)를 또한 2개의 서브그룹으로 나눈다. 첫 번째 서브그룹에는, 카메라(102ga, 102gb, 102gc)가 속하고, 배치 영역(701)으로부터 보아, 촬영 대상 영역(503)의 전방측(카메라 그룹(103g)의 배치 영역(701g)에 가까운 측)을 촬영하도록 배치한다. 두 번째 서브그룹에는, 카메라(102gd, 102ge, 102gf)가 속하고, 배치 영역(701)으로부터 보아, 촬영 대상 영역(503)의 안측(카메라 그룹(103g)의 배치 영역(701g)으로부터 먼 측)을 촬영하도록 배치한다. 또한, 도 11a에 도시하는 바와 같이, 각각의 서브그룹 내의 카메라(102)는, 촬영 범위(901)가 부채형으로 넓어지도록 배치되어 있다.

도 11b는, 촬영 대상 영역(503)을 옆에서 본 도면이며, 촬영 대상 영역(503)의 높이 방향에 대하여, 카메라(102)의 배치를 도시하는 도면이다. 도 11b에 도시하는 바와 같이, 촬영 대상 영역(503)의 전방측을 촬영하는 카메라(102ga, 102gb, 102gc)와, 촬영 대상 영역(503)의 안측을 촬영하는 카메라(102gd, 102ge, 102gf)가, 다른 높이에 배치되어 있다. 예를 들어, 촬영 대상 영역(503)의 전방측을 촬영하는 카메라(102gb)는, 안측을 촬영하는 카메라(102ge)에 비하여 부각이 커진다. 따라서, 촬영 대상 영역(503)의 전방측을 촬영하는 카메라(102gb)를 하측에 배치함으로써, 물리적으로 간섭하지 않고, 보다 가까이에 배치할 수 있다. 즉, 카메라 그룹(103)에 속하는 복수의 카메라(102)를 서브그룹으로 나누고, 서브그룹별로 높이를 바꾸어 배치해도 된다.

도 12는, 카메라 그룹(103g)에 속하는 카메라(102)의 배치의 다른 예를 도시하는 도면이다. 카메라 그룹(103g)에는 6대의 카메라(102ga, 102gb, 102gc, 102gd, 102ge, 102gf)가 포함되어 있다. 이 카메라(102ga, 102gb, 102gc, 102gd, 102ge, 102gf)에 의해, 촬영 대상 영역(503)의 전역이 촬영된다. 이 예에서는, 서브그룹별로 위치가 다르도록 배치되어 있다. 예를 들어, 배치 영역(701g)이 2개의 기둥을 포함하도록 설정된다. 그리고, 그 2개의 기둥 각각에 다른 서브그룹이 할당된다. 예를 들어, 촬영 대상 영역(503)으로부터 보아 왼쪽 기둥에, 첫 번째 서브그룹에 속하는 카메라(102ga, 102gb, 102gc)가 배치된다. 촬영 대상 영역(503)으로부터 보아 오른쪽 기둥에, 두 번째 서브그룹에 속하는 카메라(102gd, 102ge, 102gf)가 배치된다. 즉, 카메라 그룹(103)에 속하는 복수의 카메라(102)를 서브그룹으로 나누고, 서브그룹별로 위치를 바꾸어 배치해도 된다.

하한 해상도가 다르면, 카메라 그룹(103)별 카메라(102)의 대수는 다르다. 하한 해상도를 크게 하면, 카메라(102)의 초점 거리를 길게 할 필요가 있다. 그리고, 초점 거리를 길게 하면, 카메라(102)의 촬영 범위(901)가 좁아진다. 따라서, 촬영 대상 영역(503)의 전역을 촬영하기 위해 필요한 카메라(102)의 대수가 증가한다. 반대로, 하한 해상도를 작게 하면, 카메라(102)의 초점 거리를 짧게 할 수 있다. 초점 거리를 짧게 하면, 카메라(102)의 촬영 범위(901)가 넓어진다. 따라서, 촬영 대상 영역(503)의 전역을 촬영하기 위해 필요한 카메라(102)의 대수가 감소한다.

스텝 S406에서, 배치 결정부(306)는, S405에서 결정한 카메라 그룹(103)별로 결정한 카메라(102)의 대수를 합계하고, 멀티 카메라 시스템(101)에 필요한 카메라(102)의 대수를 결정한다.

스텝 S407에서, 배치 결정부(306)는, 스텝 S406에서 계산한 카메라의 대수에 문제가 없는지를 판정한다. 구체적으로는, 배치 결정부(306)는, 카메라의 대수가 소정의 대수보다 많거나 혹은 적은 경우에 문제가 있다고 판정한다. 문제가 없다("예")고 판정한 경우는 처리를 종료한다. 문제가 있다("아니오")고 판정한 경우는 스텝 S408로 진행한다. 또한, 소정의 대수는, 예산에 의해 설정되어도 되고, 가상 시점 화상 생성 장치(106)의 처리 능력이나, 촬영한 화상을 전송할 때의 전송 대역 용량 등을 기초로 설정되어도 된다.

스텝 S408에서, 배치 결정부(306)는, 어느 배치 조건을 변경할지를 결정한다. 변경 가능한 배치 조건은, 촬영 대상 영역(503), 하한 해상도, 카메라 그룹(103)의 수 중 어느 것이다. 또한, 변경할 배치 조건은, 배치 결정부(306)에 의해 자동적으로 결정되어도 되고, 오퍼레이터가 조작부(206)를 통하여 직접 입력되어도 된다. 또한, 배치 결정부(306)에 의해 자동적으로 결정되는 경우라도, 미리 오퍼레이터가 변경할 배치 조건에 우선도를 설정하거나, 미리 어느 배치 조건을 변경할지 지정하도록 해도 된다.

스텝 S409에서, 배치 결정부(306)는, 변경할 배치 조건이 촬영 대상 영역(503)인지 여부를 판정한다. 촬영 대상 영역(503)인 경우("예")는, 스텝 S410로 진행한다. 그렇지 않은 경우("아니오")는, 스텝 S411로 진행한다.

스텝 S410에서, 촬영 대상 영역 취득부(304)는 촬영 대상 영역(503)을 변경한다. 스텝 S407에서 문제가 있다고 판정한 이유가, 「카메라의 대수가 많은」 것인 경우에는, 촬영 대상 영역(503)을 좁게 하도록 변경한다. 반대로, 「카메라의 대수가 적은」 것인 경우에는, 촬영 대상 영역(503)을 넓게 하도록 변경한다. 촬영 대상 영역 취득부(304)에 의해 촬영 대상 영역(503)이 변경되면, 스텝 S405로 진행하여, 변경된 촬영 대상 영역(503)에 기초하여, 배치 결정부(306)는 카메라(102)의 대수 및 배치를 다시 결정한다. 또한, 촬영 대상 영역 취득부(304)는, 오퍼레이터로부터, 조작부(206)를 통하여 촬영 대상 영역을 취득하도록 해도 된다.

스텝 S411에서, 배치 결정부(306)는, 변경할 배치 조건이 하한 해상도인지 여부를 판정한다. 하한 해상도인 경우("예")는, 스텝 S412로 진행한다. 그렇지 않은 경우("아니오")는, 스텝 S413으로 진행한다.

스텝 S412에서, 허용값 취득부(303)가 하한 해상도를 변경한다. 스텝 S407에서 문제가 있다고 판정한 이유가, 「카메라의 대수가 많은」 것인 경우에는, 하한 해상도를 작게 하도록 변경한다. 반대로, 「카메라의 대수가 적은」 것인 경우에는, 하한 해상도를 크게 하도록 변경한다. 허용값 취득부(303)에 의해 하한 해상도가 변경된 후, 스텝 S405로 진행하여, 변경된 하한 해상도에 기초하여, 배치 결정부(306)는 카메라(102)의 대수 및 배치를 다시 결정한다. 또한, 허용값 취득부(303)는, 오퍼레이터로부터, 조작부(206)를 통하여 하한 해상도를 취득하도록 해도 된다.

스텝 S413에서, 카메라 그룹수 취득부(305)는 카메라 그룹(103)의 수를 변경한다. 스텝 S407에서 문제가 있다고 판정한 이유가, 「카메라의 대수가 많은」 것인 경우에는, 카메라 그룹(103)의 수를 줄이도록 변경한다. 반대로, 「카메라의 대수가 적은」 것인 경우에는, 카메라 그룹(103)의 수를 늘리도록 변경한다. 카메라 그룹수 취득부(305)에 의해 카메라 그룹(103)의 수가 변경된 후, 스텝 S404로 진행하여, 배치 결정부(306)는 카메라 그룹(103)의 배치 영역(701)을 다시 결정한다. 그리고, 스텝 S405로 진행하여, 배치 결정부(306)는 카메라(102)의 대수 및 배치를 다시 결정한다. 또한, 카메라 그룹수 취득부(305)는, 오퍼레이터로부터, 조작부(206)를 통하여 카메라 그룹수를 취득하도록 해도 된다.

배치 결정 장치(108)가 결정한 배치의 효과에 대하여, 도 13을 사용하여 설명한다. 각각의 카메라 그룹(103)은, 촬영 대상 영역(503)의 전역이 촬영되도록, 속하는 복수의 카메라(102)가 배치된다. 즉, 촬영 대상 영역(503) 중의 임의의 위치의 피사체가, 각각의 카메라 그룹(103)에 있어서, 적어도 1대의 카메라(102)로부터 촬영되게 된다. 1301의 위치에 있는 피사체에 대하여 생각해 보자. 카메라 그룹(103a)에 있어서, 카메라(102aa)가 1301의 위치의 피사체를 촬영한다. 카메라 그룹(103b)에 있어서, 카메라(102ba)가 1301의 위치의 피사체를 촬영한다. 이하 마찬가지이다. 바꾸어 말하면, 카메라 그룹(103)의 수와 동일 수의 카메라(102)로부터, 촬영 대상 영역(503) 중의 임의의 위치의 피사체가 촬영되게 된다. 또한, 각각의 카메라 그룹(103)의 배치 영역(701)은, 가능한 한 등간격으로 되도록 결정되어 있다. 즉, 촬영 대상 영역(503) 중의 임의의 위치의 피사체에 대하여, 화질이 좋은 가상 시점 화상을 생성하는 것이 가능하다.

<실시 형태 2>

본 실시 형태에 있어서, 실시 형태 1과는 다른 배치 결정 장치(1600)의 예에 대하여 설명한다. 도 16에, 본 실시 형태에 있어서의 배치 결정 장치(1600)의 기능 구성예를 도시한다. 도 16에 도시하는 바와 같이, 배치 결정 장치(1600)는, 도 3의 허용값 취득부(303) 대신에 카메라 대수 취득부(1601)를 갖고 있다. 또한, 배치 결정 장치(1600)는, 도 3의 배치 결정부(306) 대신에 배치 결정부(1602)를 갖고 있다. 또한, 배치 결정 장치(1600)의 하드웨어 구성은, 도 2와 동일하기 때문에 생략한다.

카메라 대수 취득부(1601)는, 조작부(206)를 통하여, 오퍼레이터로부터 직접, 멀티 카메라 시스템(101)이 갖는 카메라(102)의 대수를 취득한다. 예를 들어, 가상 시점 화상 생성 장치(106)의 처리 성능을 기초로, 카메라(102)의 대수가 설정되어도 된다. 가상 시점 화상 생성 장치(106)의 처리 성능이 높을수록, 보다 많은 화상을 처리할 수 있다. 즉, 가상 시점 화상 생성 장치(106)의 처리 성능이 높을수록, 카메라(102)의 대수를 보다 많은 값으로 설정할 수 있다. 또한, 예산에 기초하여 카메라(102)의 대수가 설정되어도 된다. 카메라(102)의 대수를 늘리면, 배치에 필요한 비용이 늘어난다. 즉, 예산이 클수록, 카메라(102)의 대수를 보다 많은 값으로 설정할 수 있다.

또한, 카메라 대수 취득부(1601)는, 이하의 구성이어도 된다. 즉, 카메라 대수 취득부(1601)는, 이벤트 정보의 하나인 이벤트의 규모나 피사체의 밀집도와 카메라(102)의 대수를 대응지어, 그 대응을 나타내는 표를 기억해 둔다. 그리고, 카메라 대수 취득부(1601)는, 조작부(206)를 통하여 오퍼레이터로부터 이벤트를 특정하는 정보의 입력을 접수하면, 이벤트 정보 기억부(301)에 기억되어 있는 이벤트 정보와 그 표를 참조하여, 카메라(102)의 대수를 취득하도록 해도 된다. 예를 들어, 이벤트의 규모가 큰 경우에는, 작은 경우에 비하여, 카메라(102)의 대수가 보다 많아지도록 결정된다. 또한, 피사체의 밀집도가 큰 경우에는, 피사체의 밀집도가 작은 경우에 비하여, 카메라(102)의 대수가 보다 많아지도록 결정된다.

배치 결정부(1602)는, 카메라(102)의 대수, 촬영 대상 영역(503), 카메라 그룹수, 회장 정보에 기초하여, 카메라(102)의 배치를 결정한다. 카메라(102)의 대수는 카메라 대수 취득부(1601)에 의해 취득되고, 촬영 대상 영역(503)은 촬영 대상 영역 취득부(304)에 의해 취득되고, 카메라 그룹수는 카메라 그룹수 취득부(305)에 의해 취득된다.

도 14는, 배치 결정 장치(1600)의 처리 수순의 일례를 도시하는 흐름도이다. 스텝 S402 내지 스텝 S404는, 도 4와 동일한 처리이므로, 설명은 생략한다.

스텝 S1401에서, 카메라 대수 취득부(1601)가 카메라(102)의 대수를 취득한다. 예를 들어, 가상 시점 화상 생성 장치(106)의 처리 성능을 기초로, 카메라(102)의 대수가 설정되어도 된다. 가상 시점 화상 생성 장치(106)의 처리 성능이 높을수록, 보다 많이 화상을 처리할 수 있다. 즉, 가상 시점 화상 생성 장치(106)의 처리 성능이 높을수록, 카메라(102)의 대수를 보다 많은 값으로 할 수 있다. 예를 들어, 예산에 기초하여, 카메라(102)의 대수가 설정되어도 된다. 카메라(102)의 대수를 늘리면, 배치에 필요한 비용이 늘어난다. 즉, 예산이 클수록, 카메라(102)의 대수를 보다 많은 값으로 할 수 있다.

스텝 S1402에서, 배치 결정부(1602)가, 스텝 S1401에서 취득한 대수의 카메라(102)를, 스텝 S403에서 취득한 수의 카메라 그룹(103)에 할당한다. 카메라 그룹(103)에 필요한 카메라(102)의 대수는, 스텝 S402에서 취득한 촬영 대상 영역(503)과, 배치 영역(701)의 관계에 따라 변화한다. 예를 들어, 도 15에 도시하는 바와 같이, 배치 영역(701)으로부터 본 촬영 대상 영역(503)을 각도(1501)로 나타낸다. 배치 영역(701a)으로부터 본 촬영 대상 영역(503)의 각도(1501)가 1501a이다. 그리고, 그 각도(1501)에 따라, 카메라 그룹(103)에 카메라(102)를 할당한다. 즉, 배치 영역(701)으로부터 본 촬영 대상 영역(503)의 각도(1501)가 큰 카메라 그룹(103)에, 보다 많은 카메라(102)를 할당한다.

스텝 S1403에서, 배치 결정부(1602)는, 스텝 S1402에서 할당한 카메라 그룹(103)별 카메라(102)의 대수와 회장 정보에 기초하여, 카메라 그룹(103)별로, 카메라(102)의 배치를 결정한다. 구체적인 카메라(102)의 배치는, 촬영 대상 영역(503)의 전역이 촬영되도록 결정된다. 또한, 카메라(102)는, 촬영 대상 영역(503)의 전역에서, 해상도가 가능한 한 높아지도록 배치한다.

스텝 S1404에서, 배치 결정부(1602)는, 카메라 그룹(103)별로, 촬영 대상 영역(503)의 전역에 있어서 해상도를 계산한다. 카메라(102)의 촬영 범위에 겹치는 영역에서는 복수의 카메라(102)로부터 피사체가 촬영된다. 그 경우에는, 해상도가 큰 카메라(102)의 값을 해상도로 한다.

스텝 S1405에서, 배치 결정부(1602)는, 스텝 S1404에서 계산된 해상도에 문제가 없는지를 판정한다. 예를 들어, 해상도가 소정의 값보다 작은 영역이 촬영 대상 영역(503) 내에 있는 경우에 문제가 있다고 판정된다. 문제가 없다("예")고 판정된 경우는 처리를 종료한다. 문제가 있다("아니오")고 판정된 경우는 스텝 S1406으로 진행한다.

스텝 S1406에서, 배치 결정부(1602)는, 어느 배치 조건을 변경할지를 결정한다. 변경 가능한 배치 조건은, 촬영 대상 영역(503)과 카메라 그룹(103)의 수 중 어느 것이다.

스텝 S1407에서, 배치 결정부(1602)는, 변경할 조건이 촬영 대상 영역(503)인지 여부를 판정한다. 변경할 조건이 촬영 대상 영역(503)인 경우("예")는, 스텝 S1408로 진행한다. 변경할 조건이 촬영 대상 영역(503)이 아닌 경우("아니오")는, 스텝 S1409로 진행한다.

스텝 S1408에서, 촬영 대상 영역 취득부(304)는, 촬영 대상 영역(503)을 변경한다. 구체적으로는, 촬영 대상 영역 취득부(304)는, 계산되는 해상도가 보다 높아지도록, 촬영 대상 영역(503)을 좁게 하도록 변경한다. 촬영 대상 영역 취득부(304)에 의해 촬영 대상 영역(503)이 변경된 후, 스텝 S1403로 진행하여, 배치 결정부(1602)는 각각의 카메라 그룹(103)에 대해 카메라(102)의 배치를 결정한다. 그리고, 스텝 1404로 진행한다. 또한, 촬영 대상 영역 취득부(304)는, 오퍼레이터로부터, 조작부(206)를 통하여 촬영 대상 영역을 취득하도록 해도 된다.

스텝 S1409에서, 카메라 그룹수 취득부(305)는 카메라 그룹(103)의 수를 변경한다. 구체적으로는, 카메라 그룹수 취득부(305)는, 계산되는 해상도를 보다 높게 하도록, 카메라 그룹(103)의 수를 줄이도록 변경한다. 카메라 그룹(103)의 수를 줄이면, 카메라 그룹(103)에 할당되는 카메라(102)의 대수가 늘어나고, 해상도가 높아지기 때문이다. 카메라 그룹수 취득부(305)에 의해 카메라 그룹(103)의 수가 변경된 후, 스텝 S404로 진행하여, 배치 결정부(1602)는 카메라 그룹(103)의 배치 영역(701)을 다시 결정한다. 그리고, 스텝 S1402, S1403으로 진행하여, 배치 결정부(1602)는 카메라(102)의 대수 및 배치를 다시 결정한다. 또한, 카메라 그룹수 취득부(305)는, 오퍼레이터로부터, 조작부(206)를 통하여 카메라 그룹수를 취득하도록 해도 된다.

본 실시 형태에 있어서도, 실시 형태 1과 마찬가지의 효과를 얻을 수 있다. 즉, 카메라 그룹(103)의 수와 동일 수의 카메라(102)로부터, 촬영 대상 영역(503) 중의 임의의 위치의 피사체가 촬영되게 된다. 또한, 각각의 카메라 그룹(103)의 배치 영역(701)은, 가능한 한 등간격으로 되도록 결정되어 있다. 즉, 촬영 대상 영역(503) 중의 임의의 위치의 피사체에 대하여, 화질이 좋은 가상 시점 화상을 생성하는 것이 가능하다.

<실시 형태 3>

본 실시 형태에 있어서, 실시 형태 1과는 다른 배치 결정 장치(1800)의 예에 대하여 설명한다. 도 18에, 본 실시 형태에 있어서의 배치 결정 장치(1800)의 기능 구성예를 도시한다. 도 18에 도시하는 바와 같이, 배치 결정 장치(1800)는, 이벤트 정보 기억부(1801), 회장 정보 기억부(1802), 허용값 취득부(1803), 촬영 대상 영역 취득부(1804), 카메라 그룹수 취득부(1805), 배치 결정부(1806)를 갖는다. 또한, 배치 결정 장치(1800)는, 종별 취득부(1807), 영역 설정부(1808), 레벨 정보 설정부(1809), 그룹수 설정부(1810)를 갖는다. 단, 종별 취득부(1807), 영역 설정부(1808), 레벨 정보 설정부(1809), 그룹수 설정부(1810)는, 이벤트 정보를 생성하기 위해 사용되는 기능부이며, 배치 결정 장치는 그들 기능부를 갖고 있지 않아도 된다. 즉, 이벤트 정보 기억부(1801)에 종별 취득부(1807), 영역 설정부(1808), 레벨 정보 설정부(1809), 그룹수 설정부(1810)에 의해 생성된 이벤트 정보가 기억되어 있으면, 그 이벤트 정보로부터 카메라의 배치를 결정할 수 있다. 또한, 배치 결정 장치(1800)의 하드웨어 구성은, 도 2와 동일하기 때문에 생략한다. 이하에서는, 실시 형태 1과 다른 점을 중심으로 설명을 행한다.

본 실시 형태에 있어서는, 복수의 카메라에 의해 촬영의 대상으로 되는 공간(예를 들어, 도 5b의 공간(504))에 대하여, 복수의 공간을 정의하고, 정의된 복수의 공간 각각을 촬영 대상 영역으로 한다. 그리고, 본 실시 형태에 있어서의 배치 결정 장치(1800)는, 복수의 촬영 대상 영역에 대하여, 카메라 그룹의 수와 배치 및 각 카메라 그룹의 카메라의 수와 배치를 결정한다. 단, 복수의 촬영 대상 영역 중의 모든 촬영 대상 영역에 대하여, 본 실시 형태를 적용할 필요는 없고, 그 중 하나에 대하여 본 실시 형태를 적용하도록 해도 된다.

정의되는 복수의 공간은, 모두 복수의 카메라에 의해 촬영의 대상으로 되는 공간(도 5b의 공간(504))에 포함된다. 또한, 정의되는 복수의 공간은, 서로 배타적으로 정의되어도 된다. 즉, 도 5b의 공간(504)을 분할하는 복수의 공간으로 구성되도록, 복수의 공간이 정의되어도 된다. 또한, 정의되는 복수의 공간 중, 임의의 2개의 공간이 일부 겹쳐 있어도 되고, 또한 한쪽의 공간이 다른 쪽의 공간에 포함되어 있어도 된다.

종별 취득부(1807)는, 이벤트에 등장하는 주가 되는 전경(피사체)의 종별과, 그 이동 범위를 취득한다. 종별 취득부(1807)는, 조작부(206)를 통하여, 오퍼레이터에 의해, 피사체의 종별과 그 이동 범위에 관한 정보가 입력됨으로써, 그 정보를 취득한다. 이 정보의 예를 도 19a에 도시한다. 여기서는, 이벤트로서 럭비를 상정하고, 주가 되는 피사체의 종별로서 인물(선수)과, 볼이 입력되고, 인물에 대해서는 정지 인물과 움직이는 인물로 나누어 입력된 예를 나타내고 있다. 또한, 각각의 피사체가 이동하는 범위가, 피사체의 종별과 대응하여 입력된다. 여기서, 이동 범위는, 럭비 시합 중에 인물이나 볼이 존재할 가능성이 있는 범위를 나타내고 있다. 예를 들어, 정지 인물의 이동 범위란, 정지 인물이 존재할 가능성이 있는 범위를 나타내는 것이다. 그 때문에, 정지 인물의 이동 범위는, 필드의 세로나 가로의 길이와 거의 동등한 길이로 된다. 높이 방향은, 예를 들어 선수의 신장(예를 들어 2m)과 동등하게 된다. 한편, 움직이는 인물의 이동 범위는, 정지 인물의 이동 범위보다 넓어진다. 예를 들어, 높이 방향에 대하여, 럭비에서는 라인 아웃에 의한 스로우 인에서 선수가 다른 선수를 리프트하는 경우가 있기 때문에, 정지 인물의 이동 범위보다 움직이는 인물의 이동 범위 쪽이 넓어진다. 구체적으로는, 높이가 5m 정도로 된다. 볼의 이동 범위는 더 넓어진다. 예를 들어, 럭비에서는 찬 볼이 높게 올라가기 때문에, 볼의 이동 범위의 높이를 20m로 한다. 또한, 세로나 가로 방향, 즉 필드의 면 내 방향에 있어서도, 움직이는 인물이나 볼은 정지 인물보다 이동 범위가 넓어진다.

종별 취득부(1807)가 취득한 정보는, 영역 설정부(1808)에 출력되고, 또한 이벤트 정보 기억부(1801)에도 출력되어, 이벤트 정보 기억부(1801)에 의해 기억된다. 구체적으로는, 이벤트 정보 기억부(1801)는, 도 19a에서 도시되는 표를 기억한다. 단, 이벤트 정보 기억부(1801)는, 도 19a의 표 이외의 형식으로, 종별 취득부(1807)로부터 출력된 정보를 기억해도 된다.

또한, 도 19a에 도시된 정보를 입력함에 있어서, 오퍼레이터는, 실시 형태 1과 마찬가지로, 이벤트의 종별이나 그 밖의 이벤트를 특정할 수 있는 정보, 필드의 크기의 정보, 피사체의 밀집도의 정보, 가상 시점 화상의 용도에 관한 정보를 입력한다. 단, 배치 결정 장치(1800)를 특정 이벤트에서만 사용하는 경우에는, 이벤트의 종별이나 그 밖의 이벤트를 특정할 수 있는 정보의 입력을 생략할 수 있다.

영역 설정부(1808)는, 종별 취득부(1807)에 의해 취득된 피사체의 종별과 그 이동 범위를 나타내는 정보에 기초하여, 복수의 촬영 대상 영역을 설정한다. 단, 복수의 촬영 대상 영역 중, 임의의 2개 이상의 촬영 대상 영역의 일부가 부분적으로 중복되어 있어도 된다. 도 20a, 20b는, 3개의 촬영 대상 영역을 설정한 예의 촬영 대상 영역의 관계를 도시한다. 도 20a는, 필드를 위에서 본 모식도이며, 3개의 촬영 대상 영역의 세로와 가로의 크기의 관계를 도시하고 있다. 또한, 도 20b는, 필드를 옆에서 본 도면이며, 3개의 촬영 대상 영역의 높이의 관계를 도시하고 있다. 여기서는, 제1 촬영 대상 영역(2001)은 정지 인물의 이동 범위에 대응하고, 제2 촬영 대상 영역(2002)은 움직이는 인물의 이동 범위에 대응하고, 제3 촬영 대상 영역(2003)은 볼의 이동 범위에 대응한다. 제1 촬영 대상 영역(2001), 제2 촬영 대상 영역(2002), 제3 촬영 대상 영역(2003)은, 이 순으로 범위가 넓게 되어 있다. 또한, 제1 촬영 대상 영역(2001)은 제2 촬영 대상 영역(2002)에 포함되고, 제2 촬영 대상 영역(2002)은 제3 촬영 대상 영역(2003)에 포함되어 있다. 단, 제1 촬영 대상 영역(2001)의 전부가 아니라 일부가, 제2 촬영 대상 영역(2002)에 포함되도록 해도 된다. 제2 촬영 대상 영역(2002)의 전부가 아니라 일부가, 제3 촬영 대상 영역(2003)에 포함되도록 해도 된다.

영역 설정부(1808)에서 설정된 복수의 촬영 대상 영역을 나타내는 정보는, 레벨 정보 설정부(1809)에 출력되고, 이벤트 정보 기억부(1801)에도 출력되어, 이벤트 정보 기억부(1801)에 의해 기억된다.

또한, 영역 설정부(1808)는, 정지 인물과 움직이는 인물의 이동 범위에 대하여 동일한 촬영 대상 영역을 대응시키도록 촬영 대상 영역을 설정해도 된다. 구체적으로는, 영역 설정부(1808)는, 도 20a, 20b의 제1 촬영 대상 영역(2001)을 설정하지 않고, 나머지의 제2 촬영 대상 영역(2002)과 제3 촬영 대상 영역(2003)을 설정해도 된다.

레벨 정보 설정부(1809)는, 영역 설정부(1808)에 의해 설정된 복수의 촬영 대상 영역의 각각에 대하여, 3차원 형상 데이터의 품질의 요구 레벨과, 하한 해상도의 요구 레벨을 설정한다. 레벨 정보 설정부(1809)는, 조작부(206)를 통하여, 오퍼레이터에 의한 입력을 접수하여, 그 요구 레벨을 설정한다. 각 촬영 대상 영역에 대응하는 3차원 형상 데이터의 품질의 요구 레벨과 하한 해상도의 요구 레벨의 예를, 도 19b에 도시한다. 여기서는, 3차원 형상 데이터의 품질의 요구 레벨과 하한 해상도의 요구 레벨을 「고」, 「중」, 「저」의 3단계로 정의한다. 또한, 하한 해상도의 요구 레벨은, 실시 형태 1에서 나타낸 바와 같이, 하한 해상도를 나타내는 화소수로 정의되어도 된다.

제1 촬영 대상 영역(2001)의 주된 피사체는 정지 인물이다. 정지 인물에 대해서는, 가상 시점 화상에 있어서, 고화질로 표시함으로써, 가상 시점 화상의 화질을 향상시킬 수 있다. 그 때문에, 레벨 정보 설정부(1809)는, 정지 인물의 이동 범위에 대응하는 제1 촬영 대상 영역(2001)에 대해서는, 3차원 형상 데이터의 품질의 요구 레벨 및 하한 해상도의 요구 레벨을, 「고」라고 설정한다. 또한, 하한 해상도의 요구 레벨이 「고」란, 적어도 얼굴의 얼굴 생김새나 윤곽이 명확해지는 레벨을 의미한다. 구체적인 수치예로서, 촬영 화상에 있어서 2m의 높이에 대한 화소수가 400화소로 설정되는 것을 들 수 있다. 이것은 적어도 0.5㎝/화소의 분해능을 요구하는 것에 상당한다.

제2 촬영 대상 영역(2002)의 주된 피사체는 움직이는 인물이다. 움직이는 인물은, 정지 인물과는 달리 이동하고 있기 때문에, 그 화질은 정지 인물의 화질에 비하여 낮아도 허용될 수 있다. 그 때문에, 제2 촬영 대상 영역(2002)에 대한 3차원 형상 데이터의 품질의 요구 레벨 및 하한 해상도 레벨은, 「중」으로 설정된다. 구체적인 하한 해상도 레벨의 수치예로서, 촬영 화상에 있어서 2m의 높이에 대한 화소수가 200화소로 설정되는 것을 들 수 있다.

제3 촬영 대상 영역(2003)의 주된 피사체는 볼이다. 럭비에 있어서 볼은, 인물보다 빠르게 이동하는 것이 가능하고, 또한 인물보다 작기 때문에, 그 화질은 움직이는 인물의 화질과 비교하여 낮아도 허용될 수 있다.

또한, 도 19b에서는, 하나의 촬영 대상 영역에 대한, 3차원 형상 데이터의 품질의 요구 레벨과 하한 해상도의 요구 레벨이 동일한 레벨이지만, 이벤트에 따라서는 3차원 형상 데이터의 품질의 요구 레벨과 하한 해상도의 요구 레벨이 동일한 레벨이 아니어도 된다. 예를 들어, 하나의 촬영 대상 영역에 대한 3차원 형상 데이터의 품질의 요구 레벨이 「고」이고, 그 촬영 대상 영역에 대한 하한 해상도의 요구 레벨이 「저」로 되어도 상관없다.

레벨 정보 설정부(1809)에서 설정된 정보는, 그룹수 설정부(1810)와 이벤트 정보 기억부(1801)에 출력되어, 이벤트 정보 기억부(1801)에 의해 기억된다. 구체적으로는, 이벤트 정보 기억부(1801)는, 도 19b에서 도시되는 표를 기억한다. 단, 이벤트 정보 기억부(1801)는, 도 19b의 표 이외의 형식으로, 종별 취득부(1807)로부터 출력된 정보를 기억해도 된다.

그룹수 설정부(1810)는, 레벨 정보 설정부(1809)에 의해 설정된 3차원 형상 데이터의 품질의 요구 레벨로부터 카메라 그룹(103)의 수를 설정한다. 3차원 형상 데이터는, 카메라 그룹수가 크면 클수록, 그 정밀도가 향상된다. 그 때문에, 요구 레벨이 높을수록, 카메라 그룹의 수를 크게 하도록 한다. 각 촬영 대상 영역과 카메라 그룹수를, 도 19c에 도시한다. 여기서는, 3차원 형상 데이터의 품질의 요구 레벨이 「고」이면, 카메라 그룹수를 「30」, 「중」이면 「24」, 「저」이면 「10」로 설정된 예가 도시되어 있다. 그룹수 설정부(1810)에서 설정된 정보는, 이벤트 정보 기억부(1801)에도 출력되어, 이벤트 정보 기억부(1801)에 의해 기억된다. 구체적으로는, 이벤트 정보 기억부(1801)는, 도 19c에서 도시되는 표를 기억한다. 단, 이벤트 정보 기억부(1801)는, 도 19c의 표 이외의 형식으로, 종별 취득부(1807)로부터 출력된 정보를 기억해도 된다.

그룹수 설정부(1810)는, 카메라 그룹수를, 3차원 형상 데이터의 품질의 요구 레벨에 기초하여 일의적으로 설정해도 되지만, 피사체의 밀집도에도 기초하여 설정해도 된다. 럭비의 예에서는, 제1 촬영 대상 영역(2001)에서는, 스크럼이나 몰 등의 플레이가 발생하기 때문에 밀집도가 높지만, 제2 촬영 대상 영역(2002), 제3 촬영 대상 영역(2003)에서는 밀집도가 낮다. 이 점도 고려하여, 그룹수 설정부(1810)는 카메라 그룹수를 설정한다. 즉, 그룹수 설정부(1810)는, 밀집도가 높을수록 카메라 그룹수를 많게 하도록 설정한다.

이벤트 정보 기억부(1801)는, 촬영 대상의 이벤트에 관한 정보를 기억한다. 이벤트 정보는, 실시 형태 1에서 나타낸 정보 외에, 이벤트별로 설정된, 피사체의 종별을 나타내는 정보, 촬영 영역을 나타내는 정보, 촬영 영역별 피사체의 밀집도의 정보 등을 포함하고 있어도 된다.

회장 정보 기억부(1802)는, 복수의 카메라(102)를 배치하는 회장에 관한 정보를 기억한다. 회장 정보는, 실시 형태 1에서 나타낸 정보와 마찬가지의 정보이다.

허용값 취득부(1803)는, 소정의 기준으로 되는 피사체를 카메라(102)가 촬영 하였을 때, 그 피사체의 화상 중의 크기인 해상도의 하한값을 설정한다. 구체적으로는, 이벤트 정보의 하나인, 이벤트별로 설정된 복수의 촬영 대상 영역과 하한 해상도의 요구 레벨의 대응 관계를 나타내는 정보에 기초하여, 허용값 취득부(1803)는, 촬영 대상 영역의 각각에 하한값을 설정한다. 이벤트별로 설정된 복수의 촬영 대상 영역과 하한 해상도의 요구 레벨의 대응 관계를 나타내는 정보는, 도 19b에서 도시하는 바와 같은 대응표로서, 이벤트 정보 기억부(1801)에 기억되어 있어도 되고, 외부의 기억 장치에 기억되어 있어도 된다. 이에 의해, 허용값 취득부(1803)는, 조작부(206)를 통하여 오퍼레이터로부터 이벤트를 특정할 수 있는 정보의 입력을 접수하면, 그 이벤트에 설정된 복수의 촬영 대상 영역에 대하여, 하한 해상도를 설정한다.

또한, 허용값 취득부(1803)는, 조작부(206)를 통하여, 오퍼레이터로부터 직접, 하한 해상도의 수치 등의 정보를 취득해도 된다.

촬영 대상 영역 취득부(1804)는, 이벤트 정보에 기초하여, 그 이벤트에 대응하는 복수의 촬영 대상 영역을 결정한다. 구체적으로는, 촬영 대상 영역 취득부(1804)는, 다음과 같은 구성으로 하면 된다. 즉, 먼저, 촬영 대상 영역 취득부(1804)는 이벤트 정보의 적어도 일부의 정보와 복수의 촬영 대상 영역을 나타내는 정보가 대응지어진 표를 기억한다. 이벤트 정보의 적어도 일부의 정보란, 피사체의 종별을 나타내는 정보, 피사체의 이동 범위의 정보, 필드의 크기의 정보 등이다. 그리고, 촬영 대상 영역 취득부(1804)는, 조작부(206)를 통하여 오퍼레이터로부터 이벤트를 특정할 수 있는 정보의 입력을 접수하면, 이벤트 정보 기억부(1801)에 기억되어 있는 이벤트 정보와 그 표를 참조하여, 복수의 촬영 대상 영역을 결정한다. 또한, 참조되는 표는, 피사체의 종별의 정보와 피사체의 이동 범위의 정보와 복수의 촬영 대상 영역의 정보가 대응지어져 있으면 되지만, 이것에 한정되지 않는다. 상기 이외의 이벤트 정보와 촬영 대상 영역의 정보가 대응지어져 있어도 된다. 또한, 참조되는 표는, 이벤트의 명칭 등의 이벤트를 특정할 수 있는 정보와 복수의 촬영 대상 영역이 대응지어져 있어도 된다. 또한, 참조되는 표는, 이벤트 정보 기억부(1801)에 기억되어 있어도 되고, 외부의 장치에 기억되어 있어도 된다.

또한, 촬영 대상 영역 취득부(1804)는, 조작부(206)를 통하여, 오퍼레이터로부터 직접, 촬영 대상 영역의 정보를 취득해도 된다.

카메라 그룹수 취득부(1805)는, 이벤트 정보와 카메라 그룹(103)의 수가 대응지어진 표를 참조하여, 카메라 그룹을 설정하도록 해도 된다. 즉, 카메라 그룹수 취득부(1805)는, 조작부(206)를 통하여 이벤트를 특정할 수 있는 정보의 입력을 접수하면, 이벤트 정보 기억부(1801)에 기억되어 있는 이벤트 정보와 그 표를 참조하여, 촬영 대상 영역별로 카메라 그룹(103)의 수를 취득한다. 참조되는 표의 일례를 도 19c에 도시한다. 또한, 참조되는 표는, 촬영 대상 영역의 정보와 카메라 그룹(103)의 수의 정보가 대응지어져 있으면 되지만, 이것에 한정되지 않는다. 또한, 참조되는 표는, 이벤트 정보 기억부(1801)에 기억되어 있어도 되고, 외부의 장치에 기억되어 있어도 된다.

또한, 카메라 그룹수 취득부(1805)는, 조작부(206)를 통하여, 오퍼레이터로부터 직접, 카메라 그룹(103)의 수의 정보를 취득해도 된다.

배치 결정부(1806)는, 하한 해상도, 복수의 촬영 대상 영역, 촬영 대상 영역별 카메라 그룹수, 회장 정보에 기초하여, 카메라(102)의 배치를 결정한다. 하한 해상도는 허용값 취득부(1803)에 의해 취득되고, 복수의 촬영 대상 영역은 촬영 대상 영역 취득부(1804)에 의해 취득되고, 카메라 그룹수는 카메라 그룹수 취득부(1805)에 의해 취득된다. 또한, 회장 정보는, 회장 정보 기억부(1802)에 기억되어 있다. 배치 결정부(1806)는, 조작부(206)를 통하여 입력된 회장을 특정하기 위한 정보에 기초하여, 회장 정보 기억부(1802)로부터 필요한 회장 정보를 취득한다. 예를 들어, 취득하는 회장 정보는, 회장 내에서의 카메라(102)를 배치 가능한 구조체와 그 위치에 관한 정보나, 배치 가능한 카메라(102)의 대수의 정보 등이다.

배치 결정부(1806)는, 먼저, 복수의 촬영 대상 영역의 각각에 대하여, 실시 형태 1과 마찬가지로, 카메라 그룹수와, 회장 정보를 기초로, 카메라 그룹(103)의 배치 위치를 결정한다. 다음에, 배치 결정부(1806)는, 카메라 그룹(103)별로, 속하는 복수의 카메라(102)의 배치를 결정한다. 그때, 배치 결정부(1806)는, 카메라 그룹(103)에 속하는 복수의 카메라(102)에 의해 촬영 대상 영역의 각각의 전역이 촬영되도록, 각 카메라 그룹(103)에 속하는 복수의 카메라(102)의 배치를 결정한다. 즉, 제1 촬영 대상 영역(2001)의 카메라 그룹(103)에 속하는 복수의 카메라(102)에 의해, 제1 촬영 대상 영역(2001)의 전역이 촬영되도록, 이 카메라 그룹(103)에 속하는 복수의 카메라(102)의 배치가 결정된다. 제2 촬영 대상 영역(2002)의 카메라 그룹(103)에 속하는 복수의 카메라(102)나, 제3 촬영 대상 영역(2003)의 카메라 그룹(103)에 속하는 복수의 카메라(102)도 마찬가지로 배치가 결정된다.

또한, 배치 결정부(1806)는, 카메라 그룹(103)에 속하는 복수의 카메라(102)에 있어서, 촬영 대상 영역의 각각의 전역에서, 해상도가 하한 해상도를 상회하도록, 복수의 카메라(102)의 배치를 결정한다. 또한, 각 촬영 대상 영역에 대응하는 전체 카메라 그룹(103)에서, 상기 촬영 대상 영역에 관한 조건, 해상도에 관한 조건을 충족하도록, 복수의 카메라(102)의 배치가 결정되는 것으로 하였지만, 이것에 한정되지 않는다. 예를 들어, 소정수의 카메라 그룹(103)에 속하는 복수의 카메라(102)만이 상기 조건을 충족하도록, 복수의 카메라(102)의 배치가 결정되어도 된다. 또한, 소정의 위치에 있는 카메라 그룹(103)이나 소정의 관계에 있는 카메라 그룹(103)이 상기 조건을 충족하도록, 그 카메라 그룹(103)에 속하는 복수의 카메라(102)의 배치가 결정되어도 된다. 즉, 일부의 카메라 그룹(103)에 속하는 복수의 카메라(102)에 의해, 각 촬영 대상 영역의 전역이 아니라 일부가 촬영되도록, 그 복수의 카메라(102)가 배치되어 있어도 된다. 또한, 일부의 카메라 그룹(103)에 속하는 복수의 카메라(102)에 있어서, 각 촬영 대상 영역의 일부의 영역에서, 해상도가 하한 해상도를 상회하지 않아도 된다.

도 21은, 배치 결정 장치(1800)의 처리 수순의 일례를 도시하는 흐름도이다. 도 21을 사용하여 배치 결정 장치(1800)가 행하는 처리에 대하여 설명을 행한다.

먼저, 배치 결정 장치(1800)는, 조작부(206)를 통하여 오퍼레이터로부터의 배치 결정의 지시를 접수한다. 그리고, 스텝 S2101에 있어서 촬영 대상 영역 취득부(1804)는, 복수의 촬영 대상 영역을 결정하여 취득한다. 구체적으로는, 조작부(206)를 통하여 오퍼레이터로부터 입력되는 이벤트를 특정할 수 있는 정보와, 미리 기억된 표에 기초하여, 복수의 촬영 대상 영역이 결정된다. 복수의 촬영 대상 영역으로서는, 도 20a 및 도 20b에서 도시하는 바와 같이 제1 촬영 대상 영역(2001), 제2 촬영 대상 영역(2002), 제3 촬영 대상 영역(2003)이 설정된다.

다음에, 스텝 S2102에 있어서, 허용값 취득부(1803)는, 3차원 형상 데이터의 품질의 요구 레벨과 하한 해상도의 레벨을 취득한다. 허용값 취득부(1803)는, 조작부(206)를 통하여 오퍼레이터로부터 입력되는 이벤트를 특정할 수 있는 정보와, 미리 기억된 표에 기초하여, 촬영 대상 영역별로, 3차원 형상 데이터의 품질의 요구 레벨과 하한 해상도의 레벨을 결정하여 취득한다.

다음에, 스텝 S2103에서, 카메라 그룹수 취득부(1805)는, 촬영 대상 영역별로 카메라 그룹(103)의 수를 결정하여 취득한다. 카메라 그룹(103)의 수는, 가상 시점 화상 생성 장치(106)가 생성하는 3차원 형상 데이터의 품질의 요구 레벨에 따라 결정된다. 이 3차원 형상 데이터의 생성에 필요한 방향의 수는, 3차원 형상 데이터의 품질의 요구 레벨에 따라 변화한다. 즉, 3차원 형상 데이터의 품질의 요구 레벨이 높은 경우, 즉 3차원 형상 데이터의 정밀도를 높게 하는 경우, 많은 방향으로부터 촬영하는 것이 필요해지기 때문에, 카메라 그룹(103)의 수는 많아진다. 한편, 3차원 형상 데이터의 품질의 요구 레벨이 낮은 경우, 3차원 형상 데이터의 정밀도가 낮아도 되므로, 촬영 방향을 적게 해도 되고, 그 결과 카메라 그룹(103)의 수를 적게 할 수 있다.

카메라 그룹수 취득부(1805)는, 3차원 형상 데이터의 품질의 요구 레벨과 필요한 방향의 수(즉, 카메라 그룹의 수)를 대응지어 표를 참조함으로써, 카메라 그룹(103)의 수를 결정할 수 있다. 3차원 형상 데이터의 품질의 요구 레벨과 촬영 대상 영역이 대응하고 있기 때문에, 여기서는 3차원 형상 데이터의 품질의 요구 레벨이 아니라 촬영 대상 영역과 카메라 그룹의 수를 대응시킨 표(도 19c)를 참조함으로써, 카메라 그룹(103)의 수가 결정된다.

이하, 예로서, 제1 촬영 대상 영역(2001), 제2 촬영 대상 영역(2002), 제3 촬영 대상 영역(2003) 각각의 카메라 그룹(103)의 수를 30, 24, 10으로 결정하였다고 하자. 또한, 카메라 그룹(103)의 배치 영역도 이 처리에서 결정되어도 되지만, 본 실시 형태에서는, 다음 스텝 S2104에서 결정되는 예를 나타낸다.

스텝 S2104에서, 배치 결정부(1806)는, 카메라 그룹수 및 회장 정보에 기초하여, 촬영 대상 영역별로 카메라 그룹(103)의 배치 영역을 결정한다. 또한, 이 처리는, 복수의 촬영 대상 영역의 각각에 대하여, 도 4의 S404와 마찬가지의 처리를 행하는 것에 상당하기 때문에, 설명을 생략한다.

스텝 S2105에서, 배치 결정부(1806)는, 카메라 그룹(103)의 배치 영역과, 하한 해상도 요구 레벨에 기초하여, 각 촬영 대상 영역의 카메라 그룹(103)별로, 카메라 그룹(103)에 속하는 2 이상의 카메라(102)의 대수 및 배치를 결정한다. 이 처리는, 복수의 촬영 대상 영역의 각각에 대하여, 도 4의 S405와 마찬가지의 처리를 행하는 것에 상당하기 때문에, 설명을 생략한다. 또한, 배치 결정부(1806)에 의해 결정되는 카메라(102)의 배치에 대해서도 실시 형태 1과 마찬가지이다.

스텝 S2106에서, 배치 결정부(1806)는, S2105에서, 각 촬영 대상 영역의 카메라 그룹(103)별로 결정한 카메라(102)의 대수를 합계하고, 멀티 카메라 시스템(101)에 필요한 카메라(102)의 대수를 결정한다.

스텝 S2107은, 배치 결정부(1806)는, 스텝 S2106에서 계산한 카메라의 대수에 문제가 없는지를 판정한다. 또한, 스텝 S2107은 도 4의 S407과 마찬가지의 처리이기 때문에, 상세한 설명은 생략한다. 문제가 없다("예")고 판정한 경우는 처리를 종료한다. 문제가 있다("아니오")고 판정한 경우는 스텝 S2108로 진행한다.

스텝 S2108에서, 배치 결정부(1806)는, 어느 배치 조건을 변경할지를 결정한다. 변경 가능한 배치 조건은, 촬영 대상 영역, 하한 해상도, 카메라 그룹(103)의 수 중 어느 것이다. 스텝 S2108은 도 4의 S408과 마찬가지의 처리이기 때문에, 상세한 설명은 생략한다.

스텝 S2109에서, 배치 결정부(1806)는, 변경할 배치 조건이 촬영 대상 영역인지 여부를 판정한다. 촬영 대상 영역의 경우("예")는, 스텝 S2110으로 진행한다. 그렇지 않은 경우("아니오")는, 스텝 S2111로 진행한다.

스텝 S2110에서, 촬영 대상 영역 취득부(1804)는, 촬영 대상 영역을 변경한다. 또한, 복수의 촬영 대상 영역 중 1개 이상의 촬영 대상 영역을 변경한다. 즉, 촬영 대상 영역의 전부를 변경하지 않아도 된다. 스텝 S2107에서 문제가 있다고 판정한 이유가, 「카메라의 대수가 많은」 것인 경우에는, 복수의 촬영 대상 영역 중 1개 이상의 촬영 대상 영역을 좁게 하도록 변경한다. 반대로, 「카메라의 대수가 적은」 것인 경우에는, 복수의 촬영 대상 영역 중 1개 이상의 촬영 대상 영역을 넓게 하도록 변경한다. 촬영 대상 영역 취득부(1804)에 의해 촬영 대상 영역이 변경되면, 스텝 S2105로 진행하여, 변경된 촬영 대상 영역을 포함하는 복수의 촬영 대상 영역에 기초하여, 배치 결정부(1806)는 카메라(102)의 대수 및 배치를 다시 결정한다. 또한, 촬영 대상 영역 취득부(1804)는, 오퍼레이터로부터, 조작부(206)를 통하여 촬영 대상 영역을 취득하도록 해도 된다.

스텝 S2111에서, 배치 결정부(1806)는, 변경할 배치 조건이 하한 해상도인지 여부를 판정한다. 하한 해상도인 경우("예")는, 스텝 S2112로 진행한다. 그렇지 않은 경우("아니오")는, 스텝 S2113으로 진행한다.

스텝 S2112에서, 허용값 취득부(1803)가 하한 해상도 요구 레벨을 변경한다. 문제가 있다고 판정한 이유가 「카메라의 대수가 많은」 것인 경우에는, 1개 이상의 촬영 대상 영역의 하한 해상도 요구 레벨을 작게 하도록 변경한다. 반대로, 문제가 있다고 판정한 이유가 「카메라의 대수가 적은」 것인 경우에는, 1개 이상의 촬영 대상 영역의 하한 해상도 요구 레벨을 크게 하도록 변경한다. 허용값 취득부(1803)에 의해 하한 해상도가 변경된 후, 스텝 S2105로 진행하여, 배치 결정부(1806)는 카메라(102)의 대수 및 배치를 다시 결정한다. 또한, 허용값 취득부(1803)는, 오퍼레이터로부터, 조작부(206)를 통하여 하한 해상도 요구 레벨을 취득하도록 해도 된다.

스텝 S2113에서, 카메라 그룹수 취득부(1805)는 카메라 그룹(103)의 수를 변경한다. 스텝 S2107에서 문제가 있다고 판정한 이유가 「카메라의 대수가 많은」 것인 경우에는, 1개 이상의 촬영 대상 영역의 카메라 그룹(103)의 수를 줄이도록 변경한다. 반대로, 문제가 있다고 판정한 이유가 「카메라의 대수가 적은」 것인 경우에는, 1개 이상의 촬영 대상 영역의 카메라 그룹(103)의 수를 늘리도록 변경한다. 카메라 그룹수 취득부(1805)에 의해 카메라 그룹(103)의 수가 변경된 후, 스텝 S2104로 진행하여, 배치 결정부(1806)는 카메라 그룹(103)의 배치 영역을 다시 결정한다. 그리고, 스텝 S2105로 진행하여, 배치 결정부(1806)는 카메라(102)의 대수 및 배치를 다시 결정한다. 또한, 카메라 그룹수 취득부(1805)는, 오퍼레이터로부터, 조작부(206)를 통하여 카메라 그룹수를 취득하도록 해도 된다.

본 실시 형태에 따르면, 실시 형태 1과 마찬가지의 효과를 발휘한다. 즉, 촬영 대상 영역의 카메라 그룹(103) 각각은, 대응하는 촬영 대상 영역의 전역이 촬영되도록, 그 카메라 그룹(103)에 속하는 복수의 카메라(102)가 배치된다. 이 때문에, 촬영 대상 영역 중의 임의의 위치의 피사체가, 각각의 카메라 그룹(103)에 있어서, 적어도 1대의 카메라(102)로부터 촬영되게 된다. 그리고, 카메라 그룹(103)의 수와 동일 수의 카메라(102)로부터, 촬영 대상 영역 중의 임의의 위치의 피사체가 촬영되게 된다. 또한, 각각의 카메라 그룹(103)의 배치 영역은, 가능한 한 등간격으로 되도록 결정되어 있다. 즉, 촬영 대상 영역 중의 임의의 위치의 피사체에 대하여, 화질이 좋은 가상 시점 화상을 생성하는 것이 가능하다.

또한, 본 실시 형태에서는, 피사체의 종별과 그 이동 범위에 따라, 화상에 있어서의 해상도의 요구 레벨이 복수 있는 경우, 그 복수의 요구 레벨의 각각에 대하여, 촬영 대상 영역을 설정하고 있다. 그리고, 그 촬영 대상 영역별로, 카메라 그룹(103)의 수 및 배치, 그리고 카메라 그룹 내의 카메라(102)의 수 및 배치를 결정함으로써, 피사체의 종별에 따른, 적절한 카메라의 수를 적절한 위치에 배치할 수 있다. 예를 들어, 실시 형태 1의 도 5 공간(504)과 도 20a 및 도 20b의 제3 촬영 대상 영역(2003)이 동일한 경우, 실시 형태 1보다 카메라(102)의 수를 삭감할 수 있다. 그 이유는, 실시 형태 1에서는, 피사체의 종별이나 이동 범위에 구애되지 않고 일률적으로 카메라 그룹(103)의 수, 카메라(102)의 수를 결정하고 있기 때문이다. 예를 들어, 실시 형태 1에서는, 지상으로부터 떨어진 영역, 구체적으로는 제2 촬영 대상 영역(2002)에 포함되지 않는 제3 촬영 대상 영역(2003)의 영역에 있어서도, 카메라 그룹에 속하는 전체 카메라로 촬영하도록 하기 때문에, 카메라(102)의 수가 많아진다. 단, 그 영역은, 볼만이 피사체로 되기 때문에, 3차원 형상 데이터의 품질의 요구 레벨이 낮아도 되며, 높은 해상도로 촬영할 필요가 없다. 그 때문에, 본 실시 형태에 따르면, 그 점을 고려하여, 그 영역을 촬영하는 카메라 그룹(103)의 수를 삭감하고, 또한 그 카메라 그룹(103)에 속하는 카메라(102)의 수도 삭감하고 있다.

또한, 실시 형태 3에 있어서, 예를 들어 제1 촬영 대상 영역(2001)과 제2 촬영 대상 영역(2002)에서, 1 이상의 카메라 그룹을 공유시켜도 된다. 그 경우, 보다 카메라(102)의 수를 삭감할 수 있다. 이 경우, 이하와 같은 처리가 행해진다. 즉, S404의 처리가 이하와 같이 행해진다. 배치 결정부(1806)는, 제1 촬영 대상 영역(2001)에 대하여 카메라 그룹(103)의 배치를 결정한다. 또한, 배치 결정부(1806)는, 제2 촬영 대상 영역(2002)에 대하여 카메라 그룹(103)의 배치를 결정한다. 그리고, 제1 촬영 대상 영역(2001)에 대하여 결정된 카메라 그룹(103) 중, 제2 촬영 대상 영역(2002)에 대하여 결정된 카메라 그룹(103)과 위치가 가까운 카메라 그룹(103)이 있는지 판정한다. 제1 촬영 대상 영역(2001)의 카메라 그룹(103) 중, 제2 촬영 대상 영역(2002)에 대하여 결정된 카메라 그룹(103)과 위치가 가까운 카메라 그룹(103)이 있는 경우, 그 카메라 그룹(103)을 제1 촬영 대상 영역(2001)으로부터 제외하도록 한다. 카메라 그룹(103)에 속하는 카메라(102)의 수나 배치는, 그 카메라 그룹(103)에 대응하는 촬영 대상 영역에 기초하여, 하한 해상도 요구 레벨이나 3차원 형상 데이터의 품질의 요구 레벨에 따라 결정되는 점은, 상기 설명과 다르지 않다. 예를 들어, 제1 촬영 대상 영역(2001)에 대하여, 도 7에서 도시하는 바와 같은 12의 배치 영역(701a 내지 701l)이 결정된 것으로 한다. 한편, 제2 촬영 대상 영역(2002)에 대하여, 도 7에서 도시하는 바와 같은 배치 영역(701b, 701d, 701f, 701h, 701j, 701k)에 가까운 위치가 결정된 것으로 한다. 그 경우, 배치 영역(701b, 701d, 701f, 701h, 701j, 701k)은, 제1 촬영 대상 영역(2001)의 카메라 그룹으로부터 제외된다. 즉, 제1 촬영 대상 영역(2001)의 카메라 그룹으로서는, 배치 영역(701a, 701c, 701e, 701g, 701i, 701l)이 남고, 그 후의 처리가 행해진다.

이와 같이, 제1 촬영 대상 영역(2001)과 제2 촬영 대상 영역(2002)에서, 1 이상의 카메라 그룹을 공유시킨 멀티 카메라 시스템를 사용해도, 3차원 형상 데이터를 적절하게 생성할 수 있다. 또한, 제1 촬영 대상 영역(2001)의 카메라 그룹(103)과 제2 촬영 대상 영역(2002)의 카메라 그룹(103)은 교호로 배치됨으로써, 3차원 형상 데이터의 생성 시에, 품질의 레벨이 방향에 따라 치우치는 것을 저감할 수 있다. 또한, 제2 촬영 대상 영역(2002)에 있어서, 피사체의 3차원 형상 데이터의 생성에는, 제2 촬영 대상 영역(2002)의 카메라 그룹(103)의 카메라뿐만 아니라, 제1 촬영 대상 영역(2001)의 카메라 그룹(103)의 카메라의 촬영 화상도 사용된다. 단, 가상 시점 화상의 화소값을 결정할 때, 화질을 향상시키기 위해, 하한 해상도의 요구 레벨이 높은 제1 촬영 대상 영역(2001)의 카메라 그룹(103)의 카메라 촬영 화상만을 사용한다. 또한, 제1 촬영 대상 영역(2001)의 카메라 그룹(103)의 카메라의 촬영 화상을 우선적으로 사용하면, 제2 촬영 대상 영역(2002)의 카메라 그룹(103)의 카메라의 촬영 화상을 사용해도 상관없다. 예를 들어, 가상 시점 화상의 주목 화소의 화소값을, 복수의 촬영 화상에 있어서 주목 화소와 대응하는 위치의 화소값을 가중치를 사용한 평균화 처리에 의해 결정하는 경우, 이하와 같이 한다. 즉, 제1 촬영 대상 영역(2001)의 카메라 그룹(103)의 카메라의 촬영 화상의 주목 화소와 대응하는 위치의 화소값의 가중치를, 제2 촬영 대상 영역(2002)의 카메라 그룹(103)의 카메라 촬영 화상의 주목 화소와 대응하는 위치의 화소값의 가중치보다 크게 한다.

또한, 제1 촬영 대상 영역(2001)과 제2 촬영 대상 영역(2002)을 예로 들었지만, 복수의 촬영 대상 영역 중 임의의 2 이상의 촬영 대상 영역의 일부의 카메라 그룹을 공유화해도, 카메라(102)의 수를 경감할 수 있다.

또한, 종별 취득부(1807)는, 피사체의 종별 대신에, 복수의 촬영 대상 영역의 정보를 취득하도록 해도 된다. 즉, 예를 들어 도 19a에 있어서, 촬영 대상 영역의 종별(제1 촬영 대상 영역(2001), 제2 촬영 대상 영역(2002), 제3 촬영 대상 영역(2003))과, 그 촬영 대상 영역을 규정하는 세로, 가로, 높이의 길이를 나타내는 정보가 취득되어도 된다. 또한, 이벤트로서, 럭비를 예로 들어 설명을 행하였지만, 축구 등의 구기나, 육상 경기 등에도 본 실시 형태는 적용할 수 있다. 예를 들어, 육상의 트랙 경기인 100m 달리기에 있어서, 선수가 달리는 트랙 상에서, 골 지점 근방에 있어서는, 그 밖의 장소보다 고화질의 가상 시점 화상이 요구되는 것이 고려된다. 그 경우, 골 지점 근방의 영역에 대하여, 각종 요구 레벨을 높게 하고, 그 이외의 영역의 각종 요구 레벨을 낮게 하도록 해도 된다.

<그 밖의 실시 형태>

또한, 본 발명의 목적은, 이하로도 달성된다. 전술한 실시 형태의 기능을 실현하는 소프트웨어의 프로그램 코드를 기록한 기억 매체를 시스템 혹은 장치에 공급한다. 그 시스템 혹은 장치의 컴퓨터(또는 CPU나 MPU)가 기억 매체에 저장된 프로그램 코드를 판독하여 실행한다.

이 경우, 기억 매체로부터 판독된 프로그램 코드 자체가 전술한 실시 형태의 기능을 실현하게 되고, 그 프로그램 코드를 기억한 기억 매체는 본 발명을 구성하게 된다.

프로그램 코드를 공급하기 위한 기억 매체로서는, 예를 들어 플렉시블 디스크, 하드 디스크, 광 디스크, 광 자기 디스크, CD-ROM, CD-R, 자기 테이프, 불휘발성 메모리 카드, ROM 등을 사용할 수 있다.

또한, 이하의 처리에 의해 전술한 실시 형태의 기능이 실현되는 경우도 포함된다. 컴퓨터가 판독한 프로그램 코드의 지시에 기초하여, 컴퓨터 상에서 가동하고 있는 OS(오퍼레이팅 시스템) 등이 실제의 처리의 일부 또는 전부를 행한다.

또한, 이하의 처리에 의해 전술한 실시 형태의 기능이 실현되는 경우도 포함된다. 먼저 기억 매체로부터 판독된 프로그램 코드가, 컴퓨터에 삽입된 기능 확장 보드나 컴퓨터에 접속된 기능 확장 유닛에 구비되는 메모리에 기입된다. 다음에 그 프로그램 코드의 지시에 기초하여, 그 기능 확장 보드나 기능 확장 유닛에 구비되는 CPU 등이 실제의 처리의 일부 또는 전부를 행한다.

본 발명은 상기 실시 형태에 제한되는 것은 아니며, 본 발명의 정신 및 범위로부터 이탈하지 않고, 여러 가지 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 밝히기 위해 이하의 청구항을 첨부한다.

본원은 2019년 5월 16일 제출의 일본 특허 출원 제2019-092773호 및 2019년 9월 20일 제출의 일본 특허 출원 제2019-172187호를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용의 전부를 여기에 원용한다.

Claims (22)

1. 가상 시점 화상의 생성에 사용되는 복수의 촬영 장치의 배치를 결정하는 배치 결정 장치이며,
   상기 복수의 촬영 장치에 의해 촬영된 촬영 대상 영역을 나타내는 정보를 취득하는 영역 취득 수단과,
   촬영 장치에 의해 촬영된 화상의 분해능에 관한 정보를 취득하는 분해능 취득 수단과,
   상기 영역 취득 수단에 의해 취득된 정보 및 상기 분해능 취득 수단에 의해 취득된 정보에 기초하여, 상기 복수의 촬영 장치 중 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되며, 또한 상기 복수의 촬영 장치 중 상기 2 이상의 촬영 장치와는 상이한 다른 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되며, 또한 상기 복수의 촬영 장치에 의해 촬영된 화상들의 화소들이 상기 분해능을 만족시키도록, 상기 복수의 촬영 장치의 배치를 결정하는 배치 결정 수단을 갖는 것을 특징으로 하는 배치 결정 장치.
2. 제1항에 있어서,
   상기 분해능 취득 수단에 의해 취득된 정보는, 기준으로 되는 피사체가 상기 촬영 대상 영역에 존재하는 경우에, 상기 촬영 장치가 촬영하여 취득하는 화상에 있어서 상기 기준으로 되는 피사체의 미리정해진 방향의 크기를 나타내는 화소수의 허용값을 나타내고,
   상기 배치 결정 수단은, 추가로 상기 허용값에 기초하여, 상기 복수의 촬영 장치 중 상기 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되며, 또한 상기 다른 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되며, 또한 상기 복수의 촬영 장치가 촬영하는 화상에 있어서의 상기 기준으로 되는 피사체의 상기 미리정해진 방향의 크기가 상기 허용값을 상회하도록, 상기 복수의 촬영 장치의 배치를 결정하는 것을 특징으로 하는 배치 결정 장치.
3. 제2항에 있어서, 상기 기준으로 되는 피사체란, 상기 촬영 대상 영역에 대하여 미리정해진 방향으로 미리정해진 크기를 갖는 피사체인 것을 특징으로 하는 배치 결정 장치.
4. 제2항에 있어서, 상기 기준으로 되는 피사체란, 미리정해진 신장을 갖고, 직립해 있는 인물인 것을 특징으로 하는 배치 결정 장치.
5. 제2항에 있어서, 상기 허용값은 상기 가상 시점 화상의 용도에 기초하여 결정되는 것을 특징으로 하는 배치 결정 장치.
6. 제5항에 있어서, 상기 가상 시점 화상을 생방송에서 사용하는 경우에는, 상기 가상 시점 화상을 아카이브 배신에서 사용하는 경우보다, 상기 허용값이 작은 것을 특징으로 하는 배치 결정 장치.
7. 제1항에 있어서, 상기 촬영 장치의 대수를 취득하는 대수 취득 수단을 더 갖고,
   상기 배치 결정 수단은, 추가로 상기 대수 취득 수단에 의해 취득된 대수에 기초하여, 상기 복수의 촬영 장치 중 상기 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되며, 또한 상기 다른 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되도록, 상기 복수의 촬영 장치의 배치를 결정하는 것을 특징으로 하는 배치 결정 장치.
8. 제7항에 있어서, 상기 대수 취득 수단은, 가상 시점 화상을 생성하는 장치의 처리 성능에 기초하여, 상기 대수를 결정하는 것을 특징으로 하는 배치 결정 장치.
9. 제1항에 있어서, 상기 배치 결정 수단은, 추가로 상기 복수의 촬영 장치를 배치하는 회장에 관한 정보에 기초하여, 상기 복수의 촬영 장치 중 상기 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되며, 또한 상기 다른 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되도록, 상기 복수의 촬영 장치의 배치를 결정하는 것을 특징으로 하는 배치 결정 장치.
10. 제1항에 있어서, 2 이상의 촬영 장치가 속하는 그룹의 수를 취득하는 그룹수 취득 수단을 더 갖고,
    상기 배치 결정 수단은,
    상기 그룹수 취득 수단에 의해 취득된 그룹의 수에 기초하여, 상기 그룹의 배치 영역을 결정하고,
    상기 그룹별로, 상기 그룹에 속하는 촬영 장치의 배치를 결정하는 것을 특징으로 하는 배치 결정 장치.
11. 제10항에 있어서, 상기 그룹수 취득 수단은, 이벤트의 종별에 기초하여, 상기 그룹의 수를 취득하는 것을 특징으로 하는 배치 결정 장치.
12. 제10항에 있어서, 상기 배치 결정 수단은, 상기 촬영 대상 영역의 미리정해진 위치와, 인접하는 2개의 그룹의 각각의 배치 영역을 연결하는 선분이 이루는 각도가, 미리정해진 값을 초과하지 않도록 그룹의 배치 영역을 결정하는 것을 특징으로 하는 배치 결정 장치.
13. 제10항에 있어서, 상기 배치 결정 수단은, 그룹 내의 촬영 장치들 간의 간격이 미리정해진 거리를 초과하지 않도록, 상기 복수의 촬영 장치의 배치를 결정하는 것을 특징으로 하는 배치 결정 장치.
14. 제1항에 있어서, 상기 배치 결정 수단은, 상기 2 이상의 촬영 장치 중, 상기 다른 2 이상의 촬영 장치에 가까운 촬영 장치가, 상기 다른 2 이상의 촬영 장치 중의 어느 촬영 장치보다 상기 2 이상의 촬영 장치 중의 다른 촬영 장치에 가까워지도록, 상기 복수의 촬영 장치의 배치를 결정하는 것을 특징으로 하는 배치 결정 장치.
15. 제1항에 있어서, 상기 촬영 대상 영역은, 상기 복수의 촬영 장치에 의해 촬영된 공간의 적어도 일부인 것을 특징으로 하는 배치 결정 장치.
16. 제15항에 있어서, 상기 공간은, 제1 촬영 대상 영역과, 상기 제1 촬영 대상 영역과는 다른 제2 촬영 대상 영역을 포함하고,
    상기 배치 결정 수단은, 상기 복수의 촬영 장치 중 2 이상의 제1 촬영 장치에 의해 상기 제1 촬영 대상 영역이 촬영되며, 또한 상기 복수의 촬영 장치 중 상기 제1 촬영 장치와는 다른 2 이상의 제2 촬영 장치에 의해 상기 제1 촬영 대상 영역이 촬영되도록 상기 복수의 촬영 장치의 배치를 결정하고,
    상기 배치 결정 수단은, 상기 복수의 촬영 장치 중 상기 제1 및 제2 촬영 장치와는 다른 2 이상의 제3 촬영 장치에 의해 상기 제2 촬영 대상 영역이 촬영되며, 또한 상기 복수의 촬영 장치 중 상기 제1 내지 제3 촬영 장치와는 다른 2 이상의 제4 촬영 장치에 의해 상기 제1 촬영 대상 영역이 촬영되도록 상기 복수의 촬영 장치의 배치를 결정하는 것을 특징으로 하는 배치 결정 장치.
17. 제16항에 있어서, 상기 제2 촬영 대상 영역은, 상기 제1 촬영 대상 영역을 포함하는 것을 특징으로 하는 배치 결정 장치.
18. 가상 시점 화상의 생성에 사용되는 복수의 촬영 장치를 갖고,
    상기 복수의 촬영 장치 중 2 이상의 촬영 장치는, 상기 2 이상의 촬영 장치가 촬영 대상 영역을 촬영하며, 또한 상기 2 이상의 촬영 장치에 의해 촬영된 촬영 범위들이 서로 겹치도록 배치되고, 상기 복수의 촬영 장치 중 상기 2 이상의 촬영 장치와는 상이한 다른 2 이상의 촬영 장치는, 상기 다른 2 이상의 촬영 장치가 상기 촬영 대상 영역을 촬영하며, 또한 상기 다른 2 이상의 촬영 장치에 의해 촬영된 촬영 범위들이 서로 겹치도록 배치되고, 상기 복수의 촬영 장치에 의해 촬영된 화상들의 화소들은 미리정해진 분해능을 만족시키는 것을 특징으로 하는 시스템.
19. 제18항에 있어서, 상기 2 이상의 촬영 장치 중, 상기 다른 2 이상의 촬영 장치에 가까운 촬영 장치는, 상기 다른 2 이상의 촬영 장치 중의 어느 촬영 장치보다 상기 2 이상의 촬영 장치 중의 다른 촬영 장치에 근처에 배치되어 있는 것을 특징으로 하는 시스템.
20. 제18항에 있어서, 상기 복수의 촬영 장치에 의한 촬영에 의해 취득된 화상에 기초하여, 상기 가상 시점 화상을 생성하는 생성 수단을 더 갖는 것을 특징으로 하는 시스템.
21. 가상 시점 화상의 생성에 사용되는 복수의 촬영 장치의 배치를 결정하는 배치 결정 방법이며,
    상기 복수의 촬영 장치에 의해 촬영된 촬영 대상 영역을 나타내는 정보를 취득하는 영역 취득 공정과,
    촬영 장치에 의해 촬영된 화상의 분해능에 관한 정보를 취득하는 분해능 취득 공정과,
    상기 영역 취득 공정에서 취득된 정보 및 상기 분해능 취득 공정에서 취득된 정보에 기초하여, 상기 복수의 촬영 장치 중 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되며, 또한 상기 복수의 촬영 장치 중 상기 2 이상의 촬영 장치와는 상이한 다른 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되며, 또한 상기 복수의 촬영 장치에 의해 촬영된 화상들의 화소들이 상기 분해능을 만족시키도록, 상기 복수의 촬영 장치의 배치를 결정하는 배치 결정 공정을 갖는 것을 특징으로 하는 배치 결정 방법.
22. 가상 시점 화상의 생성에 사용되는 복수의 촬영 장치의 배치를 결정하는 배치 결정 방법을 컴퓨터가 실행하도록 하는 프로그램을 저장한 비일시적 컴퓨터 판독 가능한 기록 매체이며,
    상기 배치 결정 방법은,
    상기 복수의 촬영 장치에 의해 촬영된 촬영 대상 영역을 나타내는 제1 정보를 취득하는 단계와,
    촬영 장치에 의해 촬영된 화상의 분해능에 관한 제2 정보를 취득하는 단계와,
    상기 제1 정보 및 상기 제2 정보에 기초하여, 상기 복수의 촬영 장치 중 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되며, 또한 상기 복수의 촬영 장치 중 상기 2 이상의 촬영 장치와는 상이한 다른 2 이상의 촬영 장치에 의해 상기 촬영 대상 영역이 촬영되며, 또한 상기 복수의 촬영 장치에 의해 촬영된 화상들의 화소들이 상기 분해능을 만족시키도록, 상기 복수의 촬영 장치의 배치를 결정하는 단계를 갖는 것을 특징으로 하는, 비일시적 컴퓨터 판독 가능한 기록 매체.

Images