KR20230130688A - 정보 처리장치, 정보 처리방법, 및, 기억매체 - Google Patents

Abstract

정보 처리장치(100)는, 복수의 카메라(101)가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상을 생성하기 위해서 사용되는 소재 데이터로서, 제1 소재 데이터와, 제1 소재 데이터와는 다른 제2 소재 데이터를 포함하는 복수의 소재 데이터를 취득하는 관리부(108)와, 취득된 복수의 소재 데이터 중, 단말(112)에 의해 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여 결정되는 소재 데이터를 단말(112)에 출력하는 송수신부(110)를 갖는다.

Description

정보 처리장치, 정보 처리방법, 및, 프로그램

본 개시는, 가상 시점 화상을 생성하는 기술에 관한 것이다.

최근, 촬상 영역의 주위에 복수의 촬상장치를 배치해서 피사체의 촬상을 행하고, 각각의 촬상장치로부터 취득된 복수의 촬상 화상을 사용하여, 지정된 시점(가상 시점)에서 본 화상(가상 시점 화상)을 생성하는 기술이 주목받고 있다. 이 기술에 따르면, 예를 들면, 축구나 농구의 하이라이트 씬을 다양한 각도에서 시청할 수 있기 때문에, 통상의 화상과 비교해서 유저에게 높은 임장감을 줄 수 있다. 특허문헌 1에는, 피사체의 형상을 나타내는 3차원 형상 데이터로서, 3차원 위치를 나타내는 복수의 점으로 구성되는 점군 데이터를 생성하는 시스템에 대해서 기재되어 있다. 또한, 특허문헌 1에 기재된 시스템은, 생성된 점군 데이터를 사용해서 렌더링 처리를 행함으로써, 임의의 시점에서 본 화상(가상 시점 화상)을 생성한다. 특허문헌 2에는, RGB-D 카메라에 의해 취득되는 정보로부터, 오브젝트의 정면 영역 뿐만 아니라, 측면 영역도 포함시킨 광범위한 3차원 모델을 복원하는 기술에 대해서 기재되어 있다. 특허문헌 2에 따르면, 심도 맵의 깊이 데이터에 근거하여 오브젝트 영역을 추출하고, 오브젝트의 3차원 표면 모델을 그 깊이 데이터에 근거하여 생성한다. 또한, 특허문헌 2에 따르면, 3차원 표면 모델을 사용해서 생성되는 3차원 메쉬 모델을 사용해서 렌더링 처리를 함으로써, 가상 시점 화상이 생성된다.

국제공개 제2018/147329호 일본국 특개 2016-71645호 공보

전술한 것과 같이, 가상 시점 화상의 생성 방법은 복수 존재하고, 각각의 생성 방법에 있어서 사용되는 데이터가 다르다. 따라서, 가상 시점 화상의 생성에 관한 처리를 실행하는 장치에 출력되는 데이터가, 이 장치가 대응하지 않고 있는 데이터인 경우에, 적절히 처리가 실행되지 않을 가능성이 있다.

본 개시는 상기한 과제를 감안하여 이루어진 것이다. 그 목적은, 데이터의 출력처의 장치가 처리가능한 가상 시점 화상의 생성에 관한 소재 데이터를 출력 가능하게 하는 것이다.

본 개시에 따른 정보 처리장치는, 복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 복수의 소재 데이터로서, 제1 소재 데이터와, 상기 제1 소재 데이터와는 다른 제2 소재 데이터를 포함하는 복수의 소재 데이터를 취득하는 취득 수단과, 상기 취득 수단에 의해 취득되는 복수의 소재 데이터 중, 소재 데이터의 출력처인 다른 장치에 의해 가상 시점 화상을 생성가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여 결정되는 소재 데이터를, 상기 다른 장치에 출력하는 출력 수단을 갖는 것을 특징으로 한다.

본 개시에 따르면, 데이터의 출력처의 장치가 처리가능한 가상 시점 화상의 생성에 관한 소재 데이터가 출력 가능해진다.

도1은 제1실시형태에 있어서의 정보 처리장치를 포함하는 가상 시점 화상 생성 시스템의 구성의 일례를 설명하기 위한 도면이다.
도2는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도3은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도4는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도5는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도6은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도7은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도8은 제1실시형태에 있어서의 가상 시점 화상 생성 시스템이 행하는 처리의 일례를 나타낸 플로우차트다.
도9는 제1실시형태에 있어서의 가상 시점 화상 생성 시스템이 행하는 처리의 일례를 나타낸 플로우차트다.
도10은 가상 시점 화상 생성 시스템에 있어서 행해지는 통신의 일례를 나타낸 도면이다.
도11은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도12는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도13은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도14a는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도14b는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도14c는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도15는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도16은 제1실시형태에 있어서의 정보 처리장치를 포함하는 가상 시점 화상 생성 시스템의 구성의 일례를 설명하기 위한 도면이다.
도17은 가상 시점 화상 생성 시스템에 있어서 행해지는 통신의 일례를 나타낸 도면이다.
도18은 제2실시형태에 있어서의 정보 처리장치를 포함하는 가상 시점 화상 생성 시스템의 구성의 일례를 설명하기 위한 도면이다.
도19는 제2실시형태에 있어서의 가상 시점 화상 생성 시스템이 행하는 처리의 일례를 나타낸 플로우차트다.
도20은 제3실시형태에 있어서의 정보 처리장치를 포함하는 가상 시점 화상 생성 시스템의 구성의 일례를 설명하기 위한 도면이다.
도21은 제3실시형태에 있어서의 가상 시점 화상 생성 시스템이 행하는 처리의 일례를 나타낸 플로우차트다.
도22는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도23은 정보 처리장치의 하드웨어 구성예를 나타낸 블록도다.

이하, 본 개시의 실시형태에 대해서, 도면을 참조하면서 설명한다. 이때, 이하의 실시형태에 기재되는 구성요소는, 실시형태의 일례를 나타낸 것으로, 본 개시를 그것들에만 한정하는 것은 아니다.

(제1실시형태)

본 실시형태에 있어서는, 복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 데이터(이하, 소재 데이터라고 한다)를 표시장치에 출력하는 정보 처리장치에 대해 설명한다.

도23은, 본 실시형태에 있어서의 정보 처리장치에 적용가능한 컴퓨터의 하드웨어의 구성예를 나타낸 블록도다. 정보 처리장치는, CPU(1601), RAM(1602), ROM(1603), 조작부(1604), 출력부(1605), 외부 기억장치(1606), I/F(1607), 및, 버스(1608)를 갖는다. 이때, 도23에 나타낸 하드웨어 구성은, 후술하는 가상 시점 화상 생성 시스템에 포함되는 어느쪽의 장치에도 적용가능하다.

CPU(1601)은, RAM(1602)이나 ROM(1603)에 격납되어 있는 컴퓨터 프로그램이나 데이터를 사용해서 컴퓨터 전체의 제어를 행한다. RAM(1602)은, 외부 기억장치 806으로부터 로드된 컴퓨터 프로그램이나 데이터, I/F(인터페이스)(1607)를 통해 외부에서 취득한 데이터 등을 일시적으로 기억하기 위한 에어리어를 갖는다. 또한, RAM(1602)은, CPU(1601)이 각종의 처리를 실행할 때에 사용하는 워크 에어리어를 갖는다. 즉, RAM(1602)은, 예를 들면, 프레임 메모리로서 할당하거나, 그 밖의 각종의 에어리어를 적절히 제공할 수 있다.

ROM(1603)에는, 본 장치의 설정 데이터나, 부트 프로그램 등이 격납된다. 조작부(1604)는, 키보드, 마우스, 및 조이스틱 등의 입력장치에 의해 구성되고, 이들 입력장치를 사용한 유저 조작에 근거하여, 각종의 지시를 CPU(1601)에 대하여 입력할 수 있다. 출력부(1605)는, CPU(1601)에 의한 처리 결과를 출력한다. 출력부(1605)는 예를 들면 액정 디스플레이 등으로 구성된다.

외부 기억장치(1606)는, 하드 디스크 드라이브 장치로 대표되는 정보 기억장치일 수 있다. 외부 기억장치(1606)에는, OS(오퍼레이팅 시스템)이나, 본 실시형태에 있어서의 장치가 갖는 각 처리부의 기능을 CPU(1601)에게 실현시키기 위한 컴퓨터 프로그램이 보존되어 있다. 외부 기억장치(1606)에 보존되어 있는 컴퓨터 프로그램이나 데이터는, CPU(1601)에 의한 제어에 따라 적절히, RAM(1602)에 로드되어, CPU(1601)에 의한 처리 대상이 된다. 더구나, 외부 기억장치(1606)에는, 처리 대상으로서의 각 화상 데이터, 및 처리에 사용되는 각종의 정보가 기억되어 있어도 된다.

I/F(1607)에는, LAN이나 인터넷 등의 네트워크, 투영 장치나 표시장치 등의 다른 기기를 접속할 수 있고, 본 컴퓨터는 이 I/F(1607)를 거쳐 다양한 정보를 취득하거나, 송신할 수 있다. 예를 들면, 정보 처리장치가 외부의 장치와 유선으로 접속되는 경우에는, 통신용의 케이블이 통신 I/F(1607)에 접속된다. 정보 처리장치가 외부의 장치와 무선통신하는 기능을 갖는 경우에는, 통신 I/F(1607)는 안테나를 구비한다. 버스(1608)는 전술한 각 부를 연결하는 버스다.

이때, 전술한 구성 중 적어도 어느 한개가 다른 장치로서 정보 처치장치의 외부에 접속되어도 된다. 이것은, 후술하는 가상 시점 화상 생성 시스템에 포함되는 어느쪽의 장치에 있어서도 마찬가지이다.

<가상 시점 화상 생성 시스템의 구성>

다음에, 본 실시형태에 있어서의 가상 시점 화상 생성 시스템의 구성에 대해 설명한다. 이때, 본 실시형태에 있어서의 가상 시점 화상은, 자유 시점 화상으로도 불리는 것이지만, 유저가 자유롭게(임의로) 지정한 시점에 대응하는 화상에 한정되지 않고, 예를 들면, 복수의 후보로부터 유저가 선택한 시점에 대응하는 화상 등도 가상 시점 화상에 포함된다. 본 실시형태에서는 가상 시점의 지정이 유저 조작에 의해 행해지는 경우를 중심으로 설명하지만, 가상 시점의 지정이 화상 해석의 결과 등에 근거하여 자동으로 행해져도 된다. 또한, 본 실시형태에서는 가상 시점 화상이 동화상인 경우를 중심으로 설명하지만, 가상 시점 화상은 정지 화상이어도 된다.

도1은, 가상 시점 화상 생성 시스템(1)의 구성을 설명하기 위한 도면이다. 가상 시점 화상 생성 시스템(1)은, 예를 들면 경기장(스타디움)이나 콘서트홀 등의 시설에 설치되는 복수의 촬상장치를 사용해서 피사체의 촬상을 행하고, 얻어진 복수의 촬상 화상에 근거하여, 가상 시점 화상을 생성하기 위한 데이터(소재 데이터)를 생성한다. 가상 시점 화상 생성 시스템(1)은, 카메라(101a∼z), 입력부(102), 축적부(103), 제1모델 생성부(104), 제2모델 생성부(105), 거리 화상 생성부(106), 메쉬 모델 생성부(107), 정보 처리장치(100), 및, 단말(112a∼d)을 갖는다. 정보 처리장치(100)의 기능 구성에 대해서는 후술한다.

카메라(101a∼z)는, 피사체를 둘러싸도록 배치되고, 동기를 취해서 촬상이 행해진다. 단, 카메라의 대수는 도1에 한정되지 않는다. 카메라(101a∼z)는 네트워크로 접속되어 있고, 입력부(102)에 접속되어 있다. 카메라(101a∼z)는 동기를 취해서 촬상을 행한다. 즉, 카메라(101a∼z)의 각각이 촬상하는 촬상 화상의 프레임은, 같은 시각에 취득된다. 취득된 촬상 화상은, 촬상 시각에 관한 시각 정보 및 프레임의 번호가 부여되어, 입력부(102)에 송신된다. 이때, 시각 정보는, 임의의 형식을 사용하는 것이 가능하다. 또한, 각 카메라에는 각각 카메라 ID기 할당되어 있고, 각 카메라가 취득한 촬상 화상에, 카메라 ID의 정보가 부여된다. 이때, 이후의 설명에 있어서, 특별히 구별할 이유가 없는 경우, 카메라(101a∼z)를 간단히 카메라(101)로 기재한다.

입력부(102)는 카메라(101a∼z)가 행하는 촬상에 의해 얻어진 화상 데이터를 입력하고, 축적부(103)에 출력한다. 축적부(103)는 입력된 화상 데이터를 일단 축적하는 축적부다.

제1모델 생성부(104), 제2모델 생성부(105), 거리 화상 생성부(106), 및 메쉬 모델 생성부(107)는, 각각 가상 시점 화상의 생성에 사용되는 소재 데이터를 생성하는 처리부다. 여기에서, 본 실시형태에 있어서의 소재 데이터는, 가상 시점 화상을 생성하기 위한 데이터로서, 촬상 화상에 근거하여 생성되는 데이터를 나타낸다. 소재 데이터는, 예를 들면, 촬상 화상으로부터 추출한 전경 화상과 배경 화상의 데이터, 3차원 공간에 있어서의 피사체의 형상을 나타내는 모델(이하, 3차원 형상 데이터라고도 한다), 및 3차원 형상 데이터에 착색하기 위한 텍스처 데이터 등이다. 또한, 가상 시점 화상의 생성 방법에 의해, 다른 소재 데이터가 필요하게 될 수 있다. 상세에 대해서는, 후술한다.

제1모델 생성부(104)는, 소재 데이터로서, 입력된 화상 데이터에 근거하여, 피사체의 3차원 형상을 나타내는 점군 데이터와, 전경 화상을 생성한다. 여기에서, 전경 화상은, 촬상 화상으로부터 오브젝트(예를 들면, 선수나 볼 등)에 대응하는 영역을 추출한 화상이다. 제1모델 생성부(104)는, 예를 들면, 피사체가 찍히지 않은 상태의 화상을 기준 화상으로서 촬상하고, 입력된 화상 데이터(촬상 화상)와의 차분을 사용하여, 피사체에 대응하는 영역을 추출한다. 또한, 제1모델 생성부(104)는, 피사체 영역의 추출 결과에 근거하여, 피사체에 대응하는 영역의 화소값을 1, 그 이외의 영역의 화소값을 0으로 한 실루엣 화상을 생성한다.

더구나, 제1모델 생성부(104)는, 생성한 실루엣 화상을 사용하여, 시체적교차법(Shape-from-Silhouette)을 사용하여, 점군 데이터를 생성한다. 생성되는 점군 데이터는, 3차원 공간에 있어서의 좌표의 정보를 갖는 복수의 점의 집합에 의해 피사체의 3차원 형상을 나타내는 데이터다. 또한, 제1모델 생성부(104)는, 추출된 피사체 영역의 외접 사각형을 구하고, 외접 사각형에 대응하는 촬상 화상 중의 영역을 잘라내어, 이것을 전경 화상으로서 생성한다. 전경 화상은, 가상 시점 화상을 생성할 때에, 3차원 형상 데이터에 착색을 행하기 위한 텍스처 데이터로서 사용된다. 이때, 점군 데이터 및 전경 화상의 생성 방법에 대해서는 전술한 방법에 한정되지 않고, 임의의 생성 방법이 사용가능하다.

제2모델 생성부(105)는, 피사체의 3차원 형상을 나타내는 점군과, 피사체의 색을 나타내는 정보를 포함하는 데이터(이후, 착색된 점군 데이터)를 소재 데이터로서 생성한다. 착색된 점군 데이터는, 제1모델 생성부(104)에서 생성된 점군 데이터와, 축적부(103)로부터 취득되는 각 카메라(101)의 촬상 화상 혹은 전경 화상을 사용해서 생성할 수 있다. 제2모델 생성부(105)는, 점군 데이터에 포함되는 각 점에 대해서, 점에 대응하는 3차원 위치를 촬상하는 카메라(101)가 취득한 촬상 화상의 색(화소값)을 특정한다. 제2모델 생성부(105)는, 특정한 색을 해당 점에 대응시킴으로써, 색 정보를 갖는 점군 데이터인 착색된 점군 데이터를 생성할 수 있다. 이때, 제2모델 생성부(105)는, 제1모델 생성부(104)에 의해 생성된 점군 데이터를 사용하지 않고, 축적부(103)로부터 취득되는 화상 데이터를 사용해서 착색된 점군 데이터를 생성해도 된다.

거리 화상 생성부(106)는, 각 카메라(101)로부터 피사체까지의 거리를 나타내는 거리 화상을 소재 데이터로서 생성한다. 거리 화상 생성부(106)는, 예를 들면, 스테레오 매칭법 등으로, 복수의 촬상 화상 사이에서 시차를 산출하고, 시차의 데이터로부터 거리 화상의 화소값을 결정함으로써, 거리 화상을 생성한다. 이때, 거리 화상의 생성 방법은 이것에 한정되지 않는다. 예를 들면, 거리 화상 생성부(106)는, 제1모델 생성부(104)에서 생성된 점군 데이터를 사용하여, 점군 데이터에 있어서의 각 점의 3차원 위치로부터 각 카메라(101)까지의 거리를 구하는 것에 의해, 거리 화상을 생성해도 된다. 또한, 거리 화상 생성부(106)는, 적외선 센서 등을 사용한 거리 카메라를 사용하여, 거리 화상을 별도 취득하는 구성이어도 된다.

메쉬 모델 생성부(107)는, 축적부(103)로부터 취득된 화상 데이터에 근거하여, 피사체의 3차원 형상을 나타내는 메쉬 데이터를 소재 데이터로서 생성한다. 메쉬 모델 생성부(107)는, 예를 들면, 특허문헌 2에 기재된 방법을 사용하여, 복수의 폴리곤의 집합체인 메쉬 데이터를 생성한다. 이 방법을 사용할 때에는, 거리 화상 생성부(106)에서 생성된 거리 화상 데이터가 심도 맵으로서 사용된다. 이때, 메쉬 데이터의 생성 방법은 이것에 한정되지 않는다. 예를 들면, 메쉬 모델 생성부(107)는, 제1모델 생성부(104)가 생성하는 점군 데이터, 및 제2모델 생성부(105)가 생성하는 착색된 점군 데이터 등을 변환함으로써, 메쉬 데이터를 생성해도 된다.

전술한 제1모델 생성부(104), 제2모델 생성부(105), 거리 화상 생성부(106), 및 메쉬 모델 생성부(107)는, 예를 들면, 한 개의 장치에 포함되는 구성이어도 되고, 각각이 다른 장치로서 접속되는 구성이어도 된다. 또한, 이들 생성부 중 임의의 생성부의 조합을 갖는 복수의 장치에 의해 구성되어도 된다. 예를 들면, 제1모델 생성부(104) 및 제2모델 생성부(105)를 갖는 제1생성 장치와, 거리 화상 생성부(106) 및 메쉬 모델 생성부(107)를 갖는 제2생성 장치가 접속되는 구성이어도 된다. 더구나, 이들 생성부의 적어도 어느 한개, 또는 이들 생성부가 행하는 처리의 일부를 실행하는 처리부가, 카메라(101) 및 후술하는 정보 처리장치(100) 등의 다른 장치에 포함되어 있어도 된다. 예를 들면, 제1모델 생성부가 행하는 실루엣 화상의 생성 및/또는 전경 화상의 생성의 처리가, 카메라(101)에 의해 행해져도 된다. 이 경우, 카메라(101)는, 촬상 화상에 근거하여 생성되는 실루엣 화상 및/또는 전경 화상에, 시각 정보, 프레임 번호 및 카메라 ID 등의 각종의 정보를 부여하여, 입력부(102)에 송신한다.

단말(112a∼d)은, 후술하는 정보 처치 장치 100으로부터 소재 데이터를 취득하고, 소재 데이터에 근거하여 가상 시점 화상을 생성해서 표시하는 표시장치다. 단말(112a∼d)은, 예를 들면, PC, 스마트폰, 및 태블릿 등일 수 있다. 이후의 설명에 있어서는, 특별히 구별할 이유가 없는 경우에는, 단말(112a∼d)을 간단히 단말(112)로 기재한다.

다음에, 가상 시점 화상 생성 시스템(1)이 갖는 정보 처리장치(100)의 기능 구성에 대해서, 도1을 사용하여 설명한다. 정보 처리장치(100)는, 관리부(108), 보존부(109), 송수신부(110), 및, 선택부(111)를 갖는다.

관리부(108)는 제1모델 생성부(104), 제2모델 생성부(105), 거리 화상 생성부(106), 메쉬 모델 생성부(107)에서 생성된 복수의 소재 데이터를 취득하고, 보존부 108에 보존한다. 보존할 때에는 각각의 데이터를 판독하기 위한 데이터 액세스를 위한 테이블을 생성하는 것 등을 하여, 시각 정보나 프레임 번호 등에 관련시켜 데이터의 읽고 쓰기를 할 수 있도록 관리한다. 또한, 후술하는 선택부(111)의 지시에 근거하여, 데이터의 출력을 행한다.

보존부(109)는 입력된 소재 데이터를 보존한다. 보존부(109)는, 도23의 외부 기억장치(1606)에 대응하고, 반도체 메모리나 자기 기록장치 등으로 구성된다. 보존될 때의 소재 데이터의 서식(포맷)에 관해서는 후술한다. 데이터의 기록, 판독은 관리부(108)로부터의 지시에 근거하여 행하고, 기록된 데이터는 판독 지시에 따라서 송수신부(110)에 출력된다.

송수신부(110)는, 후술하는 단말(112)과 통신을 행하고, 단말로부터의 요구나, 데이터의 송수신을 행한다. 선택부(111)는, 복수의 소재 데이터 중에서, 정보 처리장치(100)에 접속되는 표시장치에 송신할 소재 데이터를 선택한다. 동작에 대해서는 후술한다. 선택부(111)는, 선택한 소재 데이터의 출력 지시를 관리부(108)에 송신한다.

단말(112a∼d)은, 정보 처리장치(100)로부터 소재 데이터를 취득한다. 또한, 단말(112a∼d)은, 유저에 의한 가상 시점의 지정에 관한 조작을 접수하고, 지정된 가상 시점에 대응하는 가상 시점 화상을 소재 데이터에 근거하여 생성한다. 또한, 단말(112a∼d)은, 생성한 가상 시점 화상을 표시한다. 본 실시형태에서는 단말 112a는 전경 화상과 점군 데이터를 사용해서 가상 시점 화상을 생성한다. 또한, 단말 112b는 착색된 점군 데이터를 사용해서 가상 시점 화상을 생성한다. 또한, 단말 112c는 전경 화상과 거리 화상을 사용해서 가상 시점 화상을 생성한다. 또한, 단말 112d는 메쉬 데이터를 사용해서 가상 시점 화상을 생성한다.

여기에서, 전술한 한 것과 같이, 단말의 종류에 의해, 가상 시점 화상을 생성할 때에 사용하는 소재 데이터가 다른 경우가 있다. 사용되는 소재 데이터가 다른 요인으로서는, 예를 들면, 단말이 채용하고 있는 가상 시점 화상의 생성 방법, 및 단말이 사용하고 있는 가상 시점 화상의 생성용의 소프트웨어의 종류가 다른 것 등이 있을 수 있다. 또한, 단말이 취급할 수 있는 소재 데이터의 포맷이 다른 것 등도 요인으로서 들 수 있다. 더구나, 메쉬 데이터에 근거한 가상 시점 화상은 표시할 수 있지만, 점군 데이터에 근거한 가상 시점 화상은 표시할 수 없는 것 등, 단말의 표시 능력이나 처리 능력이 다른 것도 요인으로서 들 수 있다. 이들 요인에 의해, 단말이 표시할 수 없는 가상 시점 화상에 대응하는 소재 데이터를 단말에 제공해도, 단말이 가상 시점 화상을 적절히 표시할 수 없는 문제가 생길 수 있다. 이 문제를 해결하기 위해서, 본 실시형태에 있어서의 정보 처리장치(100)는, 복수의 소재 데이터 중, 표시장치인 단말이 표시가능한 가상 시점 화상의 종별에 따라, 송신해야 할 소재 데이터를 결정해서 출력한다. 처리의 상세에 대해서는, 후술한다.

<소재 데이터의 포맷의 예>

도2에 보존부(109)에서 보존되는 3차원 형상 데이터의 서식의 일례를 나타낸다. 소재 데이터는, 도2a에 나타낸 것과 같이 1개의 그룹에 대응하는 시퀀스로서 보존된다. 시퀀스는, 예를 들면, 촬상이 행해진 기간, 촬상된 경기, 더구나 이 경기중에 발생한 이벤트나 컷트마다 생성될 수 있다. 관리부(108)는, 시퀀스 단위로 데이터를 관리한다. 각 시퀀스에는 시퀀스 헤더(Sequence Header)가 포함된다. 시퀀스 헤더에는, 도2b에 나타낸 것과 같이, 시퀀스의 시작인 것을 나타내는 시퀀스 헤더 스타트 코드(Sequence Header Start Code)가 보존된다. 이어서, 시퀀스 전체에 관한 정보가 보존된다. 예를 들면, 시퀀스의 명칭, 촬상 장소, 촬상이 개시된 일시, 시각 등을 나타내는 시각 정보, 프레임 레이트, 화상 사이즈가 보존된다. 시퀀스의 명칭에는, 예를 들면, 경기나 이벤트의 명칭 등, 시퀀스를 특정하기 위한 정보가 기재된다.

시퀀스에는 각각의 3차원 형상 데이터가 데이터 세트(Data Set)라고 하는 단위로 보존된다. 시퀀스 헤더에는 그 데이터 세트의 수(Number of Data set) M이 기재된다. 이하, 데이터 세트 단위의 정보가 보존된다. 데이터 세트 단위의 정보에서는, 최초로 데이터 세트의 식별 ID가 부여된다. 식별 ID는 보존부(109) 내지, 전체 데이터 세트에서 유일한 ID가 부여된다. 이어서, 데이터 세트의 종별이 보존된다. 본 실시형태에서는, 데이터 세트로서, 점군 데이터, 전경 화상, 착색된 점군 데이터, 거리 화상 데이터, 메쉬 데이터가 있는 것으로 한다. 각각을 데이터 세트 클래스 코드로서 표현한다. 데이터 세트 클래스 코드(Data set class code)는 도2e에 나타낸 2바이트의 코드로서 표현되어 있다. 단, 데이터의 종별이나 코드는 이것에 한정되지 않는다. 다른 3차원 형상 데이터를 나타내는 데이터이어도 상관없다. 이어서, 해당 데이터 세트에의 포인터가 보존된다. 단, 각 데이터 세트에의 액세스를 위한 정보이면 되고, 포인터에 한정되지 않는다. 예를 들면, 보존부(109)에서 파일 시스템을 구축하고, 파일명으로 하여도 상관없다.

다음에, 시퀀스에 포함되는 각 데이터 세트의 포맷에 대해 설명한다. 본 실시형태에서는 데이터 세트의 종별로서, 점군 데이터, 전경 화상, 착색된 점군 데이터, 거리 화상 데이터, 메쉬 데이터를 예로 들어 설명한다.

도3에 전경 화상 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 전경 화상 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 도3a에 나타낸 것과 같이, 데이터 세트의 선두에는 전경 화상 데이터 헤더가 보존된다. 헤더에는 본 데이터 세트가 전경 화상의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다.

각 프레임에 포함되는 정보를 도3b에 나타낸다. 각 프레임에는, 전경 화상 데이터의 선두 프레임의 시각을 나타내는 시각 정보(Time information), 해당 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 데이터 사이즈는 다음의 프레임의 데이터를 참조하기 위한 것이고, 헤더에 함께 보존되어 있어도 된다. 이어서, 시각 정보가 나타내는 시각에 가상 시점 화상을 생성하기 위한 피사체의 수(Number of Object) P가 보존된다. 더구나 그 시점에서 촬상에 사용된 카메라의 대수(Number of Camera) C가 보존된다. 이어서, 사용된 카메라의 카메라 ID(Camera ID of Cth Camera)이 보존된다. 이어서, 피사체마다 피사체가 찍히는 전경 화상의 화상 데이터(1st Foreground Image of Cth Camera)가 보존된다. 화상 데이터의 선두에, 도3c에 나타낸 것과 같이, 전경 화상의 데이터 사이즈, 전경 화상의 크기, 화소값의 비트 심도, 및 화소값이 래스터 순서로 보존된다. 이하, 피사체마다 각 카메라로부터의 전경 화상 데이터를 계속해서 보존한다. 이때, 해당 카메라에 피사체가 찍히지 않은 경우에는, NULL 데이터를 기록하거나, 피사체 단위로 찍혀 있는 카메라 수와 해당하는 카메라 ID를 보존해도 상관없다.

도4에 점군 데이터의 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 점군 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 데이터 세트의 선두에는, 점군 데이터 헤더가 보존된다. 헤더에는, 도4a에 나타낸 것과 같이, 본 데이터 세트가 점군 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다.

각 프레임에 포함되는 정보를 도4b에 나타낸다. 각 프레임에는, 프레임의 시각을 나타내는 시각 정보(Time information)가 보존되어 있다. 이어서, 해당 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이것은 다음의 프레임의 데이터를 참조하기 위한 것이고, 헤더에 함께 보존되어 있어도 된다. 이어서, 시각 정보가 나타내는 시각의 피사체, 즉 점군 데이터의 수(Number of Object) P가 보존된다. 이하, 피사체마다의 점군 데이터가 순서대로 보존되어 있다. 우선, 최초의 피사체의 점군을 구성하는 좌표 점수(Number of Points in 1st Object)가 보존된다. 이하, 해당 수의 점의 좌표(Point coordination in 1st Object)가 보존된다. 이하, 마찬가지로 하여, 해당 시각에 포함되는 피사체 전체의 점군 데이터가 보존된다.

본 실시형태에서는 좌표계를 3축의 데이터로서 보존하지만, 이것에 한정되지 않고, 극좌표나 그 밖의 좌표계이어도 상관없다. 이때, 좌표값의 데이터 길이가 고정인 것으로 하여 점군 데이터 헤더에 기재해도 되고, 점군마다 다른 데이터 길이로 해도 된다. 데이터 길이가 점군마다 다른 경우, 데이터 사이즈를 점군마다 보존한다. 데이터 사이즈를 참조함으로써, 좌표 점수로부터 다음의 점군의 보존 위치의 특정을 행할 수 있다.

도5에 착색된 점군 데이터의 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 착색된 점군 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 데이터 세트의 선두에는 착색된 점군 데이터 헤더가 보존된다. 헤더에는, 도5a에 나타낸 것과 같이, 본 데이터 세트가 착색된 점군 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다.

각 프레임에 포함되는 정보를 도5b에 나타낸다. 각 프레임에는, 각 프레임의 점군 데이터에는 프레임의 시각을 나타내는 시각 정보(Time information)가 보존되어 있다. 이어서, 해당 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이것은 다음의 프레임의 데이터를 참조하기 위한 것이고, 헤더에 함께 보존되어 있어도 된다. 이어서, 시각 정보가 나타내는 시각의 피사체, 즉 착색된 점군 데이터의 수(Number of Object) P가 보존된다. 이하, 피사체마다의 착색된 점군 데이터가 순서대로 보존되어 있다. 우선, 최초의 피사체의 점군을 구성하는 좌표 점수(Number of Points in 1st Object)가 보존된다. 이하, 해당 수의 점의 좌표와 점의 색 정보(Point coordination in Pth Object)이 보존된다. 이하, 마찬가지로 하여, 해당 시각에 포함되는 피사체 전체의 착색된 점군 데이터가 보존된다.

본 실시형태에서는, 좌표계를 3축의 데이터로 하고, 색 정보를 RGB의 삼원색의 값으로 보존하지만, 이것에 한정되지 않는다. 좌표계에서는 극좌표나 그 밖의 좌표계이어도 상관없다. 또한, 색 정보도 균등 색공간이나 휘도, 색도라고 하는 정보로 표현해도 상관없다. 또한, 좌표값의 데이터 길이가 고정인 것으로 하여 착색된 점군 데이터 헤더에 기재해도 되고, 착색된 점군마다 다른 데이터 길이로 해도 된다. 데이터 길이가 착색된 점군마다 다른 경우, 데이터 사이즈를 점군마다 보존한다. 데이터 사이즈를 참조함으로써, 좌표 점수로부터 다음의 착색된 점군의 보존 위치의 특정을 행할 수 있다.

도6에 거리 화상 데이터의 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 거리 화상 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 데이터 세트의 선두에는 거리 화상 데이터 헤더가 보존된다. 헤더에는, 도6a에 나타낸 것과 같이, 본 데이터 세트가 거리 화상 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다.

각 프레임에 포함되는 정보를 도6b에 나타낸다. 각 프레임에는 프레임의 시각을 나타내는 시각 정보(Time information)가 보존되어 있다. 이어서, 해당 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이것은 다음의 프레임의 데이터를 참조하기 위한 것이고, 헤더에 함께 보존되어 있어도 된다. 거리 화상 데이터는 카메라 단위로 취득되는 것이기 때문에, 해당 프레임에서 사용된 카메라의 수(Number of Camera) C가 보존된다. 이어서, 순서대로 각 카메라의 카메라 ID(Camera ID of Cth Camera)이 보존된다. 이어서, 각 카메라에 대응하는 거리 화상 데이터(Distance Image of Cth Camera)가 보존된다. 거리 화상 데이터의 선두에는, 도6c에 나타낸 것과 같이, 거리 화상의 데이터 사이즈, 거리 화상의 크기, 화소값의 비트 심도, 및 화소값이 래스터 순서로 보존된다. 이하, 각 카메라로부터의 거리 화상 데이터를 계속해서 보존한다. 이때, 해당 카메라에 피사체가 찍히지 않은 경우에는, NULL 데이터를 기록하거나, 피사체 단위로 찍히고 있는 카메라 수 C와 해당하는 카메라 ID 만을 보존해도 상관없다.

도7에 메쉬 데이터의 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 메쉬 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 데이터 세트의 선두에는 메쉬 데이터 헤더가 보존된다. 헤더에는, 도7a에 나타낸 것과 같이, 본 데이터 세트가 메쉬 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다.

각 프레임에 포함되는 정보를 도7b에 나타낸다. 각 프레임에는, 프레임의 시각을 나타내는 시각 정보(Time information)가 보존되어 있다. 이어서, 해당 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이것은 다음 프레임의 데이터를 참조하기 위한 것이고, 헤더에 함께 보존되어 있어도 된다. 이어서, 피사체의 수(Number of Object) P가 보존된다. 이하, 피사체마다의 메쉬 데이터가 보존된다. 피사체마다의 메쉬 데이터에는, 선두에 메쉬 데이터를 구성하는 폴리곤 수(Number of Points in Pth Object)가 보존된다. 더구나, 피사체마다의 메쉬 데이터에는, 폴리곤마다의 데이터, 즉 폴리곤의 정점의 좌표 및 폴리곤의 색의 정보(Polygon information in Pth Object)가 보존된다. 이하, 마찬가지로 하여, 해당 시각에 포함되는 피사체 전체의 메쉬 데이터가 보존된다.

본 실시형태에서는 정점을 기술하는 좌표계를 3축의 데이터로 하고, 색 정보를 RGB의 삼원색의 값으로 보존하지만, 이것에 한정되지 않는다. 좌표계에서는 극좌표나 그 밖의 좌표계이어도 상관없다. 또한, 색 정보도 균등 색공간이나 휘도, 색도라고 하는 정보로 표현해도 상관없다. 또한, 본 실시형태에 있어서의 메쉬 데이터는, 1개의 폴리곤에 1개의 색을 할당하는 포맷이지만, 이것에 한정되지 않는다. 예를 들면, 색 정보를 포함하지 않는 메쉬 데이터를 생성하고, 전경 화상 데이터를 사용해서 폴리곤의 색을 결정하는 방법이라도 상관없다. 또한, 가상 시점 화상 생성 시스템(1)은, 1개의 폴리곤에 1개의 색을 할당하는 메쉬 데이터와는 별도로, 색 정보를 포함하지 않는 메쉬 데이터와 전경 화상을 소재 데이터로서 생성해도 된다. 1개의 폴리곤에 1개의 색이 할당된 메쉬 데이터를 사용해서 가상 시점 화상이 생성되는 경우에는, 가상 시점의 위치 및 가상 시점에서의 시선 방향에 상관없이, 폴리곤의 색이 결정한다. 한편, 색 정보를 포함하지 않는 메쉬 데이터와 전경 화상으로부터 가상 시점 화상이 생성되는 경우, 가상 시점의 위치 및 가상 시점에서의 시선 방향에 따라, 폴리곤의 색이 변화한다.

또한, 기존의 포맷, 예를 들면, PLY 포맷이나 STL 포맷이어도 상관없다. 각각의 포맷에 대응하는 데이터 세트 클래스 코드를 준비함으로써 대응가능하다.

<가상 시점 화상 생성 시스템의 동작>

다음에, 가상 시점 화상 생성 시스템(1)의 동작에 대해서, 도8의 플로우차트를 사용하여 설명한다. 도8의 처리는, 가상 시점 화상 생성 시스템(1)에 있어서의 각 장치가 갖는 CPU가, ROM 또는 외부 기억장치에 기억된 프로그램을 판독해서 실행함으로써 실현된다.

스텝 S800에 있어서, 관리부(108)는, 소재 데이터를 기억하기 위한 포맷의 시퀀스 헤더를 생성한다. 이 시점에서, 가상 시점 화상 생성 시스템(1)이 생성하는 데이터 세트가 결정된다. 스텝 S801에 있어서, 카메라(101)에 의한 촬상이 개시하고, 취득되는 촬상 화상의 프레임마다, 스텝 S802로부터 스텝 S812의 처리가 반복하여 행해진다.

스텝 S802에 있어서, 입력부(102)는, 카메라(101a∼z)로부터 촬상 화상의 프레임 데이터를 취득하여, 축적부(103)에 송신한다. 스텝 S803에 있어서, 제1모델 생성부(104)는, 축적부(103)로부터 취득되는 촬상 화상에 근거하여. 전경 화상 및 실루엣 화상을 생성한다. 스텝 S804에 있어서, 제1모델 생성부(104)는, 생성한 실루엣 화상을 사용하여, 예를 들면, 시체적교차법을 사용해서 형상 추정을 행하여, 점군 데이터를 생성한다.

스텝 S805에 있어서, 관리부(108)는, 전경 화상을 제1모델 생성부(104)로부터 취득하여, 도2 및 도3의 포맷에 따라 보존부(109)에 보존한다. 또한, 관리부(108)는, 이미 보존되어 있는 전경 화상 데이터 세트 헤더의 프레임 수 등, 반복 처리에 있어서 변화하는 값의 데이터를 갱신한다. 스텝 S806에 있어서, 관리부(108)는 점군 데이터를 제1모델 생성부(104)로부터 취득하고, 도2 및 도4의 포맷에 따라, 각 점군 데이터를 보존한다. 또한, 관리부(108)는, 점군 데이터 세트 헤더의 프레임 수 등의 데이터를 갱신한다.

스텝 S807에 있어서, 제2모델 생성부(105)는, 제1모델 생성부(104)에 의해 생성된 점군 데이터 및 전경 화상 데이터를 사용하여, 착색된 점군 데이터를 생성한다. 스텝 S808에 있어서, 관리부(108)는 착색된 점군 데이터를 제2모델 생성부(105)로부터 취득하여, 도2 및 도5의 포맷에 따라 보존부(109)에 보존한다. 또한, 관리부(108)는, 착색된 점군 데이터 세트 헤더의 프레임 수 등의 데이터를 갱신한다.

스텝 S809에 있어서, 거리 화상 생성부(106)는, 제1모델 생성부(104)에 의해 생성된 점군 데이터를 사용하여, 각 카메라(101)에 대응하는 거리 화상 데이터를 생성한다. 스텝 S810에 있어서, 관리부(108)는 거리 화상을 거리 화상 생성부(106)로부터 취득하고, 도2 및 도6의 포맷에 따라 보존부(109)에 보존한다. 또한, 관리부(108)는, 거리 화상 데이터 세트 헤더의 프레임 수 등의 데이터를 갱신한다.

스텝 S811에 있어서, 메쉬 모델 생성부(107)는, 거리 화상 생성부(106)에 의해 생성된 거리 화상 데이터 및 전경 화상 데이터를 사용하여, 메쉬 데이터를 생성한다. 스텝 S812에 있어서, 관리부(108)는 메쉬 데이터를 메쉬 모델 생성부(107)로부터 취득하여, 도2 및 도7의 포맷에 따라 보존부(109)에 보존한다. 또한, 관리부(108)는, 메쉬 데이터 세트 헤더의 프레임 수 등의 데이터를 갱신한다. 스텝 S813에 있어서, 가상 시점 화상 생성 시스템(1)은, 반복 처리를 종료할 것인지를 판정한다. 예를 들면, 카메라(101)에 의한 촬상이 종료하거나, 미리 결정된 프레임 수에 대한 처리가 종료한 경우에, 반복 처리가 종료한다.

스텝 S814에 있어서, 단말로부터, 소재 데이터의 요구를 접수한다. 또한, 송수신부(110)는, 가상 시점 화상을 표시하는 단말(112)이 처리가능한 소재 데이터의 형식을 특정하기 위한 정보를 취득한다. 여기에서, 단말(112)이 소재 데이터를 처리가능하다는 것은, 단말(112)이 취득한 소재 데이터의 파일 내의 데이터를 해석하고, 기술되어 있는 내용에 따라 적절히 처리 가능한 것을 가리킨다. 예를 들면, 단말(112)이 대응하고 있지 않고, 판독할 수 없는 소재 데이터의 파일 형식은, 처리 가능하지 않다고 하게 된다. 또한, 단말(112)이 소재 데이터를 처리가능하다는 것은, 단말(112)이, 취득한 소재 데이터에 근거하여 가상 시점 화상을 생성 가능한 것을 가리킨다. 또한, 본 실시형태에서는, 소재 데이터의 「형식」을 특정한다고 하는 표현을 사용하지만, 소재 데이터의 「종류」, 「구조」, 「서식」 등, 임의의 표현이 사용되어도 된다.

취득되는 정보는, 예를 들면, 단말의 사양, 종별에 관한 정보, 단말의 처리 능력에 관한 정보 등을 포함할 수 있다. 또한, 예를 들면, 취득되는 정보는, 예를 들면, 단말이 사용하는 가상 시점 화상의 생성 방법, 가상 시점 화상의 생성이나 재생에 사용하는 소프트웨어의 정보 등을 포함할 수 있다. 또한, 예를 들면, 취득되는 정보는, 단말이 표시가능한 가상 시점 화상의 포맷에 관한 정보 등을 포함할 수 있다. 송수신부(110)는, 취득된 정보를 선택부(111)에 송신한다. 선택부(111)는, 취득된 정보에 근거하여. 보존부(109)에 보존되는 복수의 소재 데이터 중, 표시장치에 출력할 소재 데이터를 결정한다.

예를 들면, 정보 처리장치(100)는, 단말 112a와 같이 전경 화상 데이터와 점군 데이터로부터 가상 시점 화상을 생성하는 단말에 대해서는, 전경 화상 데이터 세트와 점군 데이터 세트를 선택한다. 또한, 정보 처리장치(100)는, 단말 112b와 같이 착색된 점군 데이터로부터 가상 시점 화상을 생성하는 단말에 있어서는, 착색된 점군 데이터 세트를 선택한다. 또한, 정보 처리장치(100)는, 단말 112c와 같이 거리 화상 데이터와 전경 화상 데이터로부터 가상 시점 화상을 생성하는 단말에 있어서는, 거리 화상 데이터 세트와 전경 화상 데이터 세트를 선택한다. 또한, 정보 처리장치(100)는, 단말 112d와 같이 메쉬 데이터를 렌더링하는 렌더러를 갖는 경우에는, 데이터 세트의 종별로 메쉬 데이터 세트를 선택한다. 이와 같이, 정보 처리장치(100)는, 단말에 따라 다른 소재 데이터가 출력되도록 동작한다.

이때, 송수신부(110)가 단말로부터 취득하는 정보는 전술한 것에 한정되지 않고, 예를 들면, 점군 데이터 등의 특정한 소재 데이터를 지정하는 정보이어도 된다. 또한, 정보 처리장치(100)는, 복수의 단말의 종별과 각각의 단말에 출력해야 할 소재 데이터를 대응시킨 테이블을 미리 외부 기억장치 등에 유지해 두고, 선택부(111)는 이 테이블을 취득하는 구성이어도 된다. 이 경우, 정보 처리장치(100)는, 단말의 접속을 확인한 것에 따라, 취득한 테이블에 기재된 소재 데이터를 선택한다.

스텝 S815에 있어서, 송수신부(110)는, 생성할 가상 시점 화상에 관한 정보를 수신한다. 가상 시점 화상에 관한 정보에는 가상 시점 화상을 생성하는 시퀀스를 선택하는 정보가 포함된다. 시퀀스를 선택하는 정보는, 예를 들면, 시퀀스의 명칭이나 촬상의 일시, 및 생성할 가상 시점 화상을 생성하는 선두의 프레임의 시각 정보의 적어도 1개를 포함한다. 송수신부(110)는, 가상 시점 화상에 관한 정보를 선택부(111)에 출력한다.

선택부(111)는 관리부(108)에게 선택된 시퀀스 데이터에 관한 정보, 예를 들면, 시퀀스 명을 관리부(108)에 출력한다. 관리부(108)는 입력된 시퀀스 명의 시퀀스 데이터를 선택한다. 선택부(111)는, 관리부(108)에게 가상 시점 화상을 생성하는 선두의 프레임의 시각 정보를 출력한다. 관리부(108)는 각 데이터 세트의 촬상의 개시 시점의 시각 정보와 입력된 가상 시점 화상을 생성하는 선두의 프레임의 시각 정보를 비교하여, 선두 프레임 프레임을 선택한다. 예를 들면, 시퀀스의 촬상의 개시 시점의 시각 정보가 2021년 4월 1일 10시 32분 42초 00이고, 가상 시점 화상을 생성하는 선두의 프레임의 시각 정보가 2021년 4월 1일 10시 32분 43초 40인 경우, 100프레임의 데이터를 건너뛰어 판독한다. 이것은 각 데이터 세트의 프레임의 데이터 사이즈에 의해, 판독할 프레임의 데이터의 선두를 산출함으로써 실현된다.

스텝 S816에 있어서, 정보 처리장치(100) 및 단말(112)은, 생성되는 가상 시점 화상의 최후의 프레임까지, S817 내지 S820의 처리를 반복하여 실행한다.

스텝 S817에 있어서, 선택부(111)는 스텝 S814에서 입력된 가상 시점 화상 생성을 행하는데 필요한 데이터 세트의 종별에 근거하여, 보존부(109)에 보존되는 데이터 세트를 선택한다. 스텝 S818에 있어서, 관리부(108)는 순서대로 판독할 프레임에 대응하는 소재 데이터를 선택한다. 스텝 S819에 있어서, 보존부(109)는 선택된 소재 데이터를 송수신부(110)에 출력하고, 송수신부(110)는 가상 시점 화상을 생성할 단말(112)에 소재 데이터를 출력한다. 스텝 S820에 있어서, 단말 110은, 수신한 소재 데이터와, 유저 조작에 의해 설정된 가상 시점에 근거하여, 가상 시점 화상을 생성하여, 표시한다. 단말 112a와 같은 전경 화상 데이터와 점군 데이터로부터 가상 시점 영상을 생성하는 단말에 있어서는, 최초에 가상 시점 화상에 있어서의 점군 데이터의 점의 위치를 특정한다. 또한, 점의 위치에 대응하는 화소값을, 전경 화상 데이터의 사영에 의해 착색함으로써, 가상 시점 화상이 생성된다. 전경 화상 데이터와 점군 데이터로부터 가상 시점 화상을 생성하는 방법에 있어서는, 가상 시점의 위치 및 가상 시점에서의 시선 방향에 따라, 점에 착색되는 색이 변화한다. 단말 112b와 같은 착색된 점군 데이터로부터 가상 시점 화상을 생성하는 단말에 있어서도, 최초에 가상 시점 영상에 있어서의 점군 데이터의 점의 위치를 특정한다. 특정된 점의 위치에 대응하는 화소값을, 점에 대응된 색으로 착색함으로써, 가상 시점 화상이 생성된다. 착색된 점군을 사용해서 가상 시점 화상을 생성하는 방법에 있어서는, 각 점에 대응하는 색은 고정이므로, 가상 시점의 위치 및 가상 시점에서의 시선 방향에 상관없이 소정의 색으로 착색된다.

단말 112c와 같은 거리 화상 데이터와 전경 화상 데이터로부터 가상 시점 화상을 생성하는 단말에 있어서는, 복수의 거리 화상 데이터로부터 가상 시점 화상 위의 물체의 위치를 특정하고, 전경 화상을 사용한 텍스처매핑에 의해 가상 시점 화상을 생성한다. 단말 112d와 같이 폴리곤 데이터로부터 가상 시점 화상을 생성하는 단말에 대해서는, 통상의 컴퓨터 그래픽스와 마찬가지로, 가상 시점에서 보이는 면에 색의 값이나 화상을 부착함으로써, 가상 시점 화상이 생성된다.

스텝 S821에 있어서, 가상 시점 화상 생성 시스템(1)은, 반복 처리를 종료할 것인지를 판정한다. 예를 들면, 가상 시점 화상의 생성이 종료하거나, 미리 결정된 프레임 수의 처리가 종료하면, 반복 처리가 종료한다.

도10은 각 부의 통신의 상황을 나타내는 시퀀스도이다. 최초에 단말(112)이 기동되고(F1100), 단말(112)은, 단말(112)이 갖는 가상 시점 화상 생성의 렌더러 등의 정보를 취득한다. 단말(112)은, 취득된 단말의 정보를, 정보 처리장치(100)에 송신한다(F1101). 여기에서는, 단말(112)로부터 송신되는 정보는, 단말의 사양에 관한 정보인 것으로 하지만, 전술한 어느쪽의 정보가 송신되어도 된다.

송수신부(110)는, 단말의 사양을 선택부(111)에 송신한다(F1102). 선택부(111)는, 송신된 정보에 근거하여, 단말(112)이 렌더링할 수 있는 소재 데이터의 데이터 세트를 선택한다. 선택부(111)는, 선택한 데이터 세트의 종별을 관리부(108)에 통지한다(F1103). 이때, 선택부(111)는, 예를 들면, 미리 소재 데이터의 종별 코드를 기억해 두고, 결정한 소재 데이터의 종별의 종별 코드를 관리부(108)에 송신한다. 또한, 단말(112)은 데이터의 송신 개시 요구를 정보 처리장치(100)에 출력하고(F1104), 송수신부(110)는 송신의 개시 요구를, 선택부(111)를 거쳐 관리부(108)에 송신한다(F1105).

단말(112)로부터는 가상 시점 화상을 개시하는 프레임의 시각 정보가 정보 처리장치(100)에 송신되고(F1106), 송수신부(110), 선택부(111)를 거쳐 관리부(108)에 입력된다(F1107). 관리부(108)는, 선택된 소재 데이터의 종별 및 시각 정보로부터 선택된 데이터 세트의 프레임 데이터의 판독의 지정을 보존부(109)에 송신한다(F1108). 보존부(109)는 지정된 데이터를 송수신부(110)에 출력하고(F1109), 송수신부(110)는 송신 개시를 수신한 단말(112)에 소재 데이터를 송신한다(F1110).

단말(112)은 소재 데이터를 수신하고, 소재 데이터를 사용해서 가상 시점 화상의 생성(렌더링)을 행하고, 생성한 가상 시점 화상을 표시한다(F1111). 이후, 단말(112)로부터 송신 종료의 의뢰가 보내져 올 때까지, 정보 처리장치(100)는 프레임 순서로 소재 데이터를 송신한다.

가상 시점 화상의 생성이 종료하면, 단말(112)은, 소재 데이터의 송신 종료의 요구를 정보 처리장치(100)에 송신한다(F1112). 송수신부(110)는, 송신 종료의 요구를 수신하면, 정보 처리장치(100)의 각 처리부에 통지한다(F1113). 이상에서 처리가 종료한다. 이때, 전술한 처리는, 복수의 단말(112)에 대하여 각각 독립하여 실행된다.

이상의 구성과 동작에 의해, 정보 처리장치(100)는, 다른 소재 데이터를 포함하는 복수의 소재 데이터 중, 단말(112)이 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여 결정되는 소재 데이터를 단말(112)에 출력한다. 이에 따라, 복수의 단말(112)이 접속된 경우에도, 각 단말에서 적절히 가상 시점 화상의 생성 및 표시가 가능해진다.

(제1실시형태의 변형예)

제1 실시형태에서는, 예를 들면, 제2모델 생성부(105)는, 제1모델 생성부 105가 생성한 점군 데이터 및 전경 화상 데이터를 사용해서 착색된 점군을 생성한다. 이와 같이, 제1 실시형태에서는, 제1모델 생성부(104), 제2모델 생성부(105), 거리 화상 생성부(106), 메쉬 모델 생성부(107)가, 서로 생성한 데이터를 사용해서 소재 데이터를 생성하는 예에 대해 설명하였다. 그렇지만, 이것에 한정되지 않는다. 예를 들면, 제1 실시형태에서는, 제1모델 생성부(104), 제2모델 생성부(105), 거리 화상 생성부(106), 메쉬 모델 생성부(107)가, 각각 축적부(103)로부터 촬상 화상을 취득하고, 독립하여 소재 데이터의 생성을 행해도 된다. 이 경우, 도8에 있어서의 스텝 S803 내지 스텝 S812의 처리는, 각 처리부에 의해 병행하여 실행된다.

또한, 제1실시형태에서는 전경 화상을 피사체마다 분할해서 보존했지만, 이것에 한정되지 않고, 카메라에서 촬상된 화상 자체를 보존해도 상관없다. 또한, 제1실시형태에서는 점군 데이터를 프레임 단위로 보존했지만, 이것에 한정되지 않는다. 예를 들면, 각 피사체의 식별을 행하여, 피사체 단위로 보존하는 것도 가능하다.

또한, 제1 실시형태에서는, 3차원 형상 데이터를 식별하기 위해서, 데이터를 식별하기 위한 정보를 시퀀스의 헤더에 넣었지만, 이것에 한정되지 않고, 보존부(109)나 관리부(108)에 데이터와 관련시킨 리스트 등으로 관리해도 상관없다. 또한, 관리부(108)는 제1모델 생성부(104), 제2모델 생성부(105), 거리 화상 생성부(106), 메쉬 모델 생성부(107)에서 생성된 점군 데이터, 전경 화상, 착색된 점군 데이터, 거리 화상 데이터, 메쉬 데이터는 부호화되어 있어도 상관없다.

또한, 제1 본 실시형태에 있어서, 시각을 나타내는 정보로서 시각 정보를 사용했지만, 이것에 한정되지 않고, 프레임의 ID나 프레임을 특정할 수 있는 정보를 사용하는 것이 가능하다. 또한, 제1실시형태에 있어서, 데이터 세트의 생성 방법을 데이터 세트의 메타 정보로서 부여해 두고, 생성 방법이 다르지만 같은 종별의 데이터 세트가 존재하는 경우, 그 정보를 단말에 보내, 단말측에서 데이터 세트를 선택해도 상관없다. 더구나, 본 실시형태에 덧붙여, 전천구 화상이나 통상의 2차원 화상을 생성하여, 데이터 세트로서 보존해도 상관없다.

이때, 도12와 같이 간단히 점군 데이터의 프레임 데이터와 전경 화상 데이터의 프레임 데이터를 인터리브해서 교대로 전송하는 것으로 해도 된다. 마찬가지로 점군 데이터 대신에, 거리 화상 데이터를 사용해도 상관없다.

또한, 소재 데이터를 오브젝트 단위로 관리해도 상관없다. 도13에 일례를 나타낸다.

시퀀스의 새로운 데이터 세트로서 오브젝트 데이터 세트를 정의한다. 이때, 오브젝트 데이터 세트는 복수 존재해도 상관없다. 예를 들면, 피사체가 소속하는 팀마다 등, 소정의 단위로 설치할 수 있다.

오브젝트 데이터 세트의 선두의 오브젝트 데이터 헤더에는, 오브젝트 데이터 세트의 시작인 것을 나타내는 오브젝트 데이터 헤더 스타트 코드(Object Data Header)가 보존된다. 더구나, 오브젝트 데이터 헤더에는, 데이터 사이즈(Data size)가 보존된다. 이어서, 해당 오브젝트 데이터 세트에 포함되는 피사체의 수(Number of Object) P가 보존된다. 이하, 피사체마다 데이터의 정보가 기보존된다.

피사체 데이터의 정보(Pth Object Data Description)에는, 피사체의 ID 번호(Object ID)와, 피사체 데이터의 정보의 크기(Data Size)가 보존된다. 이어서, 데이터 세트로서의 데이터의 종별을 나타내는 데이터 세트 클래스 코드(Data set class code)가 보존된다. 또한, 해당 피사체의 오브젝트 데이터에의 포인터(Pointer of object data)가 보존된다. 또한, 피사체에 관한 메타데이터(Meta data)가 보존된다. 메타데이터에는, 예를 들면, 스포츠이면, 선수의 이름, 소속팀, 등 번호 등의 정보 등을 보존할 수 있다.

각 오브젝트 데이터에는, 데이터 세트 클래스 코드에 근거한 데이터가 보존된다. 도13은, 전경 화상과 점군 데이터를 통합한 데이터 세트의 예다. 선두에 헤더로서, 오브젝트 데이터 세트의 크기, 선두 프레임의 시각 정보, 프레임 레이트 등이 보존된다. 이하, 프레임 단위의 데이터가 보존된다. 프레임 단위의 데이터에서는 선두에 그 프레임의 시각 정보(Time information) 및 해당 프레임의 데이터의 크기(Data size)가 보존된다. 이어서, 해당 피사체의 해당 프레임에서의 점군 데이터의 크기(Data Size of Point Cloud)와 점수(Number of Points)가 보존된다. 이하, 점군의 점의 좌표(Point coordination)가 보존된다. 이어서, 피사체가 찍히고 있었던 카메라의 대수(Number of Camera) C가 보존된다. 이하, 각각의 카메라의 카메라 ID(Camera ID of 1st Camera)과 전경 화상 데이터(Data Size of Foreground image of 1st Camera)가 보존된다. 이하, 카메라마다 카메라 ID와 전경 화상 데이터가 보존된다.

이때, 오브젝트 데이터의 데이터 세트가 착색된 점군 데이터이면, 도14a와 같이 데이터 세트 클래스 코드가 설정되고, 각 프레임의 데이터로서, 시각 정보, 데이터의 크기, 착색된 점군의 점의 수, 착색된 점군의 데이터가 보존된다. 또한, 오브젝트 데이터의 데이터 세트가 메쉬 데이터이면, 도14b와 같이 데이터 세트 클래스 코드가 설정되고, 각 프레임의 데이터로서, 시각 정보, 데이터의 크기, 폴리곤의 수, 각 폴리곤의 데이터가 보존된다. 또한, 오브젝트 데이터의 데이터 세트가 거리 화상이면, 도14c와 같이 데이터 세트 클래스 코드가 설정되고, 각 프레임의 데이터로서, 시각 정보, 데이터의 크기, 카메라의 수, 각 거리 화상의 데이터가 보존된다.

이와 같이, 데이터를 피사체마다 관리하고, 출력함으로써, 예를 들면, 선수나 공연자의 피사체를 지정하고, 지정된 피사체 중심의 화상을 판독까지의 시간을 단축할 수 있다. 지정된 선수의 움직임을 중심으로 한 화상이나, 피사체의 후방을 추종하도록 하는 가상 시점 화상의 생성시에 유효하다. 또한, 지정된 선수의 검색도 간단히 행하는 것도 가능해진다.

또한, 관리부(108)는, 도15와 같이, 소재 데이터의 종별마다 시퀀스를 구성해도 상관없다. 이 경우, 선택부(111)는, 단말에 출력하는 소재 데이터의 종별에 대응하는 시퀀스를 선택한다. 이 구성에 따르면, 출력처의 단말이 사용하는 렌더링 방법에 맞춰서 시퀀스를 합쳐서 출력할 수 있으므로, 신속하게 출력하는 것이 가능해진다.

또한, 제1실시형태에 있어서는, 복수의 소재 데이터의 생성이 완료한 후에, 단말에 의한 가상 시점 화상이 행해지는 구성에 대해 설명했지만, 이것에 한정되지 않는다. 도9의 동작을 행함으로써, 소재 데이터의 생성을 행하면서, 단말(112)에서의 가상 시점 화상을 생성하는 것이 가능해진다. 동 도면에 있어서, 각 부의 동작이 도8과 같은 스텝에 관해서는, 같은 번호를 붙이고, 설명을 생략한다.

스텝 S900에 있어서, 도8의 스텝 S814와 마찬가지로, 송수신부(110)는, 가상 시점 화상을 표시하는 단말(112)이 처리가능한 소재 데이터의 형식을 특정하기 위한 정보 취득을 행한다. 더구나, 송수신부(110)는, 단말(112)이 생성하는 가상 시점 화상에 관한 시각 정보 등의 정보를 취득한다. S901에 있어서, 가상 시점 화상 생성 시스템(1)은, 생성할 가상 시점 화상의 프레임마다, S802 내지 S920의 처리를 반복하여 실행한다.

스텝 S902에 있어서, 선택부(111)는, 시각 정보 등의 정보에 근거하여 선택한 시퀀스 데이터에 관한 정보를 관리부(108)에 출력한다. 관리부(108)는, 취득된 정보가 나타내는 시퀀스 데이터를 선택한다. 스텝 S801 내지 스텝 S812는, 도8과 마찬가지로, 각 프레임의 촬상 화상의 취득, 소재 데이터의 생성 및 보존이 행해진다. 스텝 S917에 있어서, 관리부(108)는, 스텝 S902에서 결정된 데이터 세트의 종별에 근거하여, 단말(112)에 송신할 소재 데이터의 데이터 세트를 선택한다. 스텝 S918에 있어서, 송수신부(110)는, 생성된 소재 데이터 중에서, 선택된 데이터 세트의 프레임 데이터를 선택해서 단말에 출력한다.

스텝 S920에 있어서, 단말(112)은, 수신한 소재 데이터와, 유저 조작 등에 근거하여 설정된 가상 시점에 근거하여, 가상 시점 화상을 생성하여 표시한다.

S921에 있어서, 가상 시점 화상 생성 시스템(1)은, 반복 처리를 종료할 것인지를 판정한다. 예를 들면, 정보 처리장치(100)가 단말(112)로부터 가상 시점 화상의 생성을 종료하는 통지를 수신한 경우에, 반복 처리가 종료한다. 이상의 동작에 의해, 소재 데이터의 생성을 행하면서, 단말(112)에서 가상 시점 화상을 생성하는 것이 가능해진다. 이에 따라, 예를 들면, 카메라(101)에 의한 촬상을 행하면서, 낮은 지연에서 가상 시점 화상을 감상하는 것이 가능해진다. 이때, S921에 있어서 단말(112)이 가상 시점 화상의 생성을 종료해도, S802로부터 S812에 나타낸 소재 데이터의 생성 및 보존이 계속해서 행해지는 구성이어도 된다.

또한, 제1실시형태에 있어서는, 전경 화상 데이터와 점군 데이터를 다른 데이터 세트로서 보존했지만, 이것에 한정되지 않는다. 도11에 전경 화상 데이터와 점군 데이터를 통합한 전경 화상·점군 데이터 세트의 구성의 일례를 나타낸다. 도11에 나타낸 포맷은, 도3의 전경 화상 데이터 세트와 마찬가지로 데이터 세트의 선두에는 전경 화상·점군 데이터 헤더(Foreground & Point Cloud Model Header)가 보존된다. 이 데이터 헤더에는, 헤더에는 본 데이터 세트가 전경 화상·점군 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다. 이어서, 각 프레임의 전경 화상 데이터와 점군 데이터가 보존된다. 각 프레임의 전경 화상·점군 데이터에는 프레임의 시각을 나타내는 시각 정보(Time information), 해당 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이어서, 시각 정보가 나타내는 시각에 대응하는 피사체의 수(Number of Object) P가 보존된다. 더구나, 그 시점에서 촬상에 사용된 카메라의 대수(Number of Camera) C가 보존된다. 이어서, 사용된 카메라의 카메라 ID(Camera ID of 1st∼Cth Camera)이 보존된다. 이어서, 각 피사체의 데이터가 보존된다. 우선, 도4의 점군 데이터와 마찬가지로 피사체의 점군을 구성하는 좌표 점수가 보존된다. 이하, 해당 수의 점의 좌표가 보존된다. 이어서, 해당의 피사체를 찍은 각 카메라의 전경 화상 데이터가 도3과 마찬가지로 순서대로 격납된다. 이하, 피사체마다 점군 데이터와 전경 화상 데이터를 보존한다.

이상과 같이 구성함으로써, 렌더러인 단말에 의해 필수적인 조합의 데이터 세트를 통합해서 보존할 수 있다. 이에 따라, 데이터의 판독을 간이화하는 것이 가능해진다. 이때, 여기에서는 점군 데이터와 전경 화상 데이터를 통합한 포맷에 대해 설명했지만, 이것에 한정되지 않는다. 예를 들면, 거리 화상과 전경 화상을 통합한 포맷이나, 3 이상의 소재 데이터를 통합한 포맷 등, 임의의 데이터를 조합해서 통합한 포맷을 구성하는 것이 가능하다.

또한, 제1실시형태에 있어서의 가상 시점 화상 생성 시스템(1)의 구성에, 도16에 나타낸 CG 모델 생성부(113)를 추가해도 상관없다. CG 모델 생성부(113)는 CAD나 CG 소프트웨어 등을 사용하여, 복수의 종별의 3차원 형상 데이터를 소재 데이터로서 생성한다. 관리부(108)는, CG 모델 생성부(113)가 생성한 소재 데이터를 취득하고, 다른 소재 데이터와 마찬가지로 보존부(109)에 격납하는 것이 가능하다.

또한, 가상 시점 화상 생성 시스템(1)이 행하는 통신의 흐름의 다른 예를 도17에 나타낸다. 도17에 나타낸 처리는, 정보 처리장치(100)로부터의 소재 데이터의 송신을 트리거로 하여 처리가 개시되는 예이다. 최초에, 선택부(111)는, 송신할 데이터 세트의 종별 및, 송신할 데이터의 선두의 시각 정보를 결정하고, 관리부(108)에 보낸다(F1700). 관리부(108)는 선택된 데이터 세트의 종별, 시각 정보로부터 선택된 데이터 세트의 프레임 데이터의 판독의 지정을 보존부(109)에 송신한다. 선택부(111)는 데이터의 송신을 개시하는 것을 송수신부(110)에 송신한다(F1701). 송수신부(110)는 각 단말(112)에 데이터의 송신이 개시되는 것을 송신한다(F1702). 이것을 받고, 단말(112)은 데이터의 수신의 준비를 행한다.

선택부(111)는 송신할 데이터 세트의 사양으로서, 소재 데이터의 종별, 선두의 시각 정보를 송수신부(110)에 송신한다(F1703). 송수신부(110)는 이들 정보를 각 단말(112)에 송신한다(F1704). 각 단말(112)은 정보 처리장치(100)로부터 송신되는 종별의 데이터 세트에서 가상 시점 화상의 생성이 가능한지 아닌지의 가부 판정을 행하여(F1705), 가능하면, 가상 시점 화상의 생성의 준비를 행한다. 또한, 단말(112)은 가부 판단 결과를 정보 처리장치(100)에 송신한다(F1706). 선택부(111)는, 단말(112)의 가부 판정의 결과가 가능인 경우, 데이터의 송신 개시를 관리부(108)에 송신한다. 이때, 여기에서 가부 판정의 결과가 불가능인 경우에는, 정보 처리장치(100)는 다른 데이터 세트의 사양을 단말(112)에 송신하고, 다시 가부 판정의 결과를 기다린다. 이때, F1703에 있어서, 선택부(111)는, 이미 보존부(109)에 보존되어 있는 소재 데이터의 종별을 참조하여, 송신가능한 데이터 세트의 사양을 송신하는 구성이어도 된다. 이 경우에는, 단말(112)은, F1705에 있어서, 자신이 처리가능한 소재 데이터의 종별을 특정가능한 정보를 정보 처리장치(100)에 통지한다.

관리부(108)는, 송신 개시를 받고, 선택된 소재 데이터의 종별, 선두 프레임의 시각 정보로부터 선택된 데이터 세트의 프레임 데이터의 판독의 지정을 보존부(109)에 송신한다(F1707). 보존부(109)는 지정된 데이터를 송수신부(110)에 출력하고(F1708), 송수신부(110)는 수신이 가능한 것으로 한 단말에 해당 데이터를 송신한다(F1709). 단말(112)은 데이터를 수신하고, 렌더링 등을 행하여, 가상 시점 화상의 생성, 표시를 행한다(F1710). 이후, 단말(112)은, 가상 시점 화상의 생성이 종료할 때까지, 프레임 순서로 선택된 데이터 세트로부터 프레임의 데이터를 수신하고, 가상 시점 화상을 생성한다.

이상의 통신을 행함으로써, 송신측에서 소재 데이터를 선택하는 것이 가능해진다. 이때, 가부 결과의 송신이 없어도 데이터의 송신을 일방적으로 실시하는 것도 가능하다. 또한, 정보 처리장치(100)가 소재 데이터를 선택하는 경우, 예를 들면, 과거에 통신한 단말의 정보나, 미리 단말의 정보와 소재 데이터의 종별을 대응시킨 테이블 등을 참조하는 구성이어도 된다.

또한, 제1 실시형태에서는, 복수의 소재 데이터로서, 점군 데이터 및 전경 화상, 착색된 점군 데이터, 거리 화상, 및, 메쉬 데이터가 생성되는 예에 대해 설명했지만, 이들 소재 데이터 이외의 데이터가 더 생성되는 구성이어도 된다. 일례로서, 빌보드 데이터가 생성되는 경우에 대해 설명한다.

빌보드 데이터는, 판자 형상의 폴리곤에, 전경 화상을 사용해서 착색을 행함으로써 얻어지는 데이터다. 여기에서는, 메쉬 모델 생성부(107)에 의해 생성되는 것으로 한다. 도22는, 보존부(109)에 보존되는 빌보드 데이터의 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 빌보드 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 데이터 세트의 선두에는, 도22a에 나타낸 것과 같이, 빌보드 데이터 헤더가 보존된다. 헤더에는 본 데이터 세트가 빌보드 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다. 각 프레임의 빌보드 데이터에는 프레임의 시각을 나타내는 시간 정보(Time Information)가 보존되어 있다. 이어서, 해당 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이하, 피사체마다 각 카메라의 빌보드 데이터가 보존된다.

빌보드 데이터는 피사체마다 각 카메라에 있어서의 빌보드의 폴리곤 데이터와 텍스처 매핑되는 화상 데이터의 조합으로 보존된다. 우선, 빌보드의 1개의 폴리곤 데이터(Polygon billboard of Cth Camera for Pth Object)가 기재된다. 이어서, 텍스처매핑하기 위한 전경 화상 데이터(Foreground Image of Cth Camera for Pth Object)가 보존된다. 빌보드 방식은 피사체를 1개의 폴리곤으로서 취급함으로써, 처리와 데이터 량을 대폭 경감할 수 있다. 이때, 빌보드 데이터를 나타내는 폴리곤은, 1개에 한정되지 않고, 메쉬 데이터보다도 적은 폴리곤 수인 것으로 한다. 이에 따라, 메쉬 데이터와 비교하고, 처리와 데이터 량이 경감된 빌보드 데이터를 생성할 수 있다.

이와 같이, 본 실시형태에 있어서의 가상 시점 화상 생성 시스템(1)은, 다양한 소재 데이터를 생성하고, 단말에 출력하는 것이 가능하다. 이때, 전술한 소재 데이터의 전체를 생성할 필요는 없고, 임의의 소재 데이터를 생성하는 구성으로 해도 된다. 또한, 복수의 소재 데이터를 미리 생성해 두는 것이 아니라, 복수의 소재 데이터를 생성가능한 가상 시점 화상 생성 시스템(1)이, 단말의 정보에 따라, 생성할 소재 데이터를 특정하는 구성이어도 된다. 예를 들면, 정보 처리장치(100)의 선택부(111)는, 단말(112)이 표시가능한 가상 시점 화상의 종별을 특정하기 위한 정보에 근거하여, 단말(112)에 출력할 소재 데이터의 종별을 결정한다. 선택부(111)는, 결정한 소재 데이터의 종별을 관리부(108)에 통지하고, 관리부(108)는 결정된 소재 데이터를 생성하는 처리부에 대하여, 소재 데이터를 생성하도록 지시를 송신한다. 예를 들면, 결정된 소재 데이터가 착색된 점군 데이터인 경우, 관리부(108)는 제2모델 생성부(105)에 대하여, 착색된 점군 데이터의 생성을 지시한다.

더구나, 관리부(108)는 미도시의 신호선에 의해, 축적부(103)로부터 입력된 화상 데이터를 판독하고, 결정한 소재 데이터를 작성하는 것도 가능하다. 판독된 화상 데이터를 제1모델 생성부(104), 제2모델 생성부(105), 거리 화상 생성부(106), 메쉬 모델 생성부(107)의 어느쪽인가 해당하는 생성부에 입력하고, 필요한 소재 데이터를 생성한다. 생성된 소재 데이터는 관리부(108), 보존부(109), 송수신부(110)를 거쳐 단말(112)에 송출된다.

또한, 제1 실시형태에서는, 단말(112)이 처리가능한 소재 데이터의 형식을 특정하기 위한 정보는, 단말의 종별 등, 변화하지 않는 정보인 것을 중심으로 설명했지만, 이것에 한정되지 않는다. 즉, 단말(112)이 처리가능한 소재 데이터의 형식을 특정하기 위한 정보는, 동적으로 변화하는 정보이어도 된다. 예를 들면, 단말(112)이 처리 부하의 증대 등에 의해, 처리가능한 소재 데이터가 변화한 경우, 단말(112)은 정보 처리장치(100)에 대하여, 다시 정보를 송신한다. 이에 따라, 정보 처리장치(100)는, 단말(112)에 출력할 적절한 소재 데이터를 선택할 수 있다. 더구나, 정보 처리장치(100)는, 단말(112)과의 통신로의 통신 대역의 변화에 따라, 출력할 소재 데이터를 동적으로 결정해도 된다.

또한, 제1 실시형태에서는 생성된 소재 데이터가 같은 보존부(109)에 보존되는 것으로 했지만, 이것에 한정되지 않는다. 즉, 소재 데이터의 종별마다, 다른 보존부에 보존되는 구성이어도 된다. 이 경우에, 정보 처리장치(100)가 복수의 보존부를 갖는 구성이어도 되고, 각 보존부가 다른 장치로서 가상 시점 화상 생성 시스템(1)에 포함되는 구성이어도 된다. 복수 종류의 소재 데이터가 각각 다른 보존부에 보존되는 경우, 정보 처리장치(100)는, 단말(112)에 출력할 소재 데이터가 보존되어 있는 장소를 나타내는 포인터 등의 정보를 단말(112)에 출력하는 구성으로 한다. 이에 따라, 단말(112)은, 가상 시점 화상의 생성에 필요한 소재 데이터가 보존되어 있는 보존부에 액세스하여, 소재 데이터를 취득할 수 있다.

(제2실시형태)

제1 실시형태에서는, 단말(112)이 가상 시점 화상을 생성하는 경우의 시스템의 구성에 대해 설명하였다. 본 실시형태에서는, 정보 처리장치가 가상 시점 화상을 생성하는 구성에 대해 설명한다. 이때, 본 실시형태의 정보 처리장치(200)의 하드웨어 구성은, 제1실시형태와 같기 때문에 설명을 생략한다. 또한, 제1실시형태와 같은 기능 구성에 대해서는, 동일한 부호를 붙이고, 설명을 생략한다.

도18은, 정보 처리장치(200)를 갖는 가상 시점 화상 생성 시스템(2)의 구성을 설명하기 위한 도면이다. 정보 처리장치(200)는, 제1실시형태의 정보 처리장치(100)와 동일한 구성 이외에, 가상 시점 화상 생성부(209), 송수신부(210), 및 선택부(211)를 갖는다. 단말(212a∼d)은, 유저 조작 등에 근거하여 가상 시점을 설정하고, 설정한 가상 시점을 나타내는 가상 시점 정보를 정보 처리장치(200)에 송신한다. 단말(212a∼d)은 가상 시점 화상을 생성하는 기능(렌더러)을 갖지 않고, 가상 시점의 설정과 가상 시점 화상의 표시 만을 행한다. 이후의 설명에 있어서는, 특별히 구별할 이유가 없는 경우, 단말(212a∼d)을 간단히 단말(212)로 기재한다.

송수신부(210)는, 단말(212)로부터 가상 시점 정보를 수신하고, 가상 시점 화상 생성부(209)에 송신한다. 더구나 생성된 가상 시점 화상을, 가상 시점 정보를 송신한 단말에 송신하는 기능을 구비한다. 가상 시점 화상 생성부(209)는 복수의 렌더러를 구비하고, 입력된 가상 시점 정보에 근거하여 가상 시점 화상의 생성을 행한다. 복수의 렌더러는, 각각, 다른 소재 데이터에 근거하여 가상 시점 화상을 생성한다. 이때, 가상 시점 화상 생성부(209)는 복수의 렌더러를 동시에 동작시켜, 복수의 단말로부터의 요구에 따라, 복수의 가상 시점 화상을 생성할 수 있다.

선택부(211)는 가상 시점 화상 생성부(209)가 가상 시점 화상을 생성하기 위해서 필요한 데이터 세트를 선택한다. 선택에 있어서는, 처리부하나 데이터 판독 부하에 의해 선택한다. 예를 들면, 단말 212a로부터의 요구에 의해 전경 화상 데이터 세트와 점군 데이터 세트에 의해 화상 생성을 행하고 있는 한가운데에, 단말 212b로부터 화상 생성의 요구가 있었던 것으로 한다. 여기에서, 본 실시형태에 있어서는, 전경 화상 데이터와 점군 데이터는 다른 소재 데이터와 비교해서 데이터 량이 큰 것으로 한다. 선택부(211)는, 보존부(109)로부터의 판독 대역에 있어서, 전경 화상 데이터 세트와 점군 데이터 세트를 2개 판독할 여유가 없다고 판단한 경우, 전경 화상 데이터 및 점군 데이터 데이터보다도 데이터 량이 적은 메쉬 데이터 세트를 선택한다. 가상 시점 화상 생성부(209)는, 메쉬 데이터의 렌더러를 설정하고, 메쉬 데이터를 사용하여, 단말 212b를 위한 가상 시점 화상을 생성한다. 이때, 메쉬 데이터 대신에, 전경 화상 데이터 및 점군 데이터보다도 데이터 량이 적은 착색된 점군 데이터 세트를 선택해도, 데이터 량을 삭감하는 것이 가능하다.

또한, 단말(212)로부터의 요구 등에 따라서는, 가상 시점 화상 생성부(209)의 처리 능력을 초과하거나, 소비 전력을 억제할 필요가 생긴다. 선택부(211)는, 보다 처리가 가벼운 렌더러가 사용되도록 하기 위해, 보다 처리가 부하가 낮은 다른 데이터 세트를 선택한다. 예를 들면, 전경 화상 데이터 세트와 점군 데이터 세트에서의 처리는, 착색된 점군 데이터 세트를 사용하는 경우보다도 처리부하가 크다. 단말의 수가 전경 화상 데이터 세트와 점군 데이터 세트에 의한 가상 시점 화상을 생성의 능력을 초과한 경우, 착색된 점군 데이터 세트에 의한 가상 시점 화상의 생성을 행한다. 전술한 것과 같이, 본 실시형태에 있어서의 정보 처리장치(200)는, 처리부하에 따라, 가상 시점 화상의 생성에 사용할 소재 데이터를 선택한다.

가상 시점 화상 생성 시스템(2)의 동작에 대해서, 도19의 플로우차트를 사용하여 설명한다. 동 도면에 있어서, 각 부의 동작이 도8과 같은 스텝에 관해서는, 같은 번호를 붙이고, 설명을 생략한다. 스텝 S930에 있어서, 송수신부 212는, 단말(212)로부터 가상 시점 정보를 취득하고, 선택부(211)와 가상 시점 화상 생성부(209)에 송신한다. 스텝 S931에 있어서, 선택부(211)는 가상 시점 화상 생성부(209)의 부하, 전송 대역 등에 근거하여, 가상 시점 생성부 209의 가상 시점 화상 생성 방법(렌더러)을 선택하고, 필요한 소재 데이터를 선택하도록 관리부(108)에 정보를 송신한다.

스텝 S932에 있어서, 선택된 가상 시점 화상 생성 수단을 사용해서 가상 시점 화상의 생성을 행하고, 송수신부(210)를 거쳐 단말에 출력한다. 이상의 구성과 동작에 의해, 3차원 정보 처리장치에 있어서, 단말의 증감에 따라, 처리부하를 조정하여, 보다 많은 단말에의 가상 시점 화상의 송신이 가능해진다.

이때, 본 실시형태에 있어서는, 정보 처리장치(200)의 처리부하 및 전송 대역에 따라 다른 소재 데이터를 사용한 가상 시점 화상의 생성을 행하는 구성에 대해 설명했지만, 이것에 한정되지 않는다. 정보 처리장치(200)는, 예를 들면, 단말(212)이 재생할 수 있는 가상 시점 화상의 포맷, 재생에 사용하는 소프트웨어나 어플리케이션, 및 단말(212)이 갖는 표시부의 표시 능력 등에 근거하여, 생성할 가상 시점 화상을 결정하는 구성이어도 된다.

또한, 가상 시점 화상 생성부(209)의 처리 능력을 초과하는 경우에는, 단말로부터 요구된 데이터 세트의 종별에 따라, 정보 처리장치(200)의 대수를 늘려도 된다.

(제3실시형태)

본 실시형태에 있어서는, 생성된 소재 데이터를, 다른 소재 데이터로 변환해서 사용하는 정보 처리장치에 대해 설명한다. 본 실시형태의 정보 처리장치(300)의 하드웨어 구성은, 전술한 실시형태와 같기 때문에 설명을 생략한다. 또한, 전술한 실시형태와 같은 기능 구성에 대해서는, 동일한 부호를 붙이고, 설명을 생략한다.

정보 처리장치(300)를 갖는 가상 시점 화상 생성 시스템(3)의 구성에 대해서, 도20을 사용하여 설명한다. 변환부(301)는, 데이터 세트를 다른 데이터 세트로 변환하는 변환부다. 선택부(311)는, 제1실시형태의 선택부(111)의 기능 이외에, 단말(112)로부터 보존부(109)에 없는 데이터 세트가 입력된 경우, 변환부(301)를 사용해서 데이터 세트의 변환이 행해지도록 제어하는 기능을 갖는다. 보존부(309)는, 보존되어 있는 데이터 세트의 종별을 선택부(311)에 출력하는 기능과, 보존되어 있는 데이터를 변환부(301)에 출력하는 기능을 갖는다.

정보 처리장치(300)가 행하는 처리의 일례를 설명한다. 예를 들면, 보존부(109)에는 전경 화상 데이터 세트와 점군 데이터 세트 만이 보존되어 있었을 경우에, 단말(112)로부터 거리 화상의 출력을 요구된 것으로 한다. 이 경우, 선택부(311)는 송수신부(110)로부터 입력된 단말(212)로부터의 데이터 세트의 요구와 보존부(309)의 내용을 비교한다. 비교한 결과, 적합한 데이터 세트가 보존되어 있지 않다고 판정한다. 더구나, 선택부(311)는, 변환부(301)에서 변환하기 위한 데이터 세트를 판독하기 위해서, 필요한 데이터 세트의 판독을 관리부(108)에 지시한다. 변환부(301)는, 점군 데이터 세트를 보존부(309)로부터 취득하고, 점군 데이터의 각 점으로부터 각 카메라까지의 거리를 구해서 거리 화상 데이터를 생성해서 거리 화상 데이터 세트로 변환한다. 즉, 도4의 점군 데이터 세트로부터 도6의 거리 화상 데이터 세트로 변환한다. 송수신부(110)는, 변환에 의해 얻어진 거리 화상 데이터를, 단말(112)에 출력한다.

또한, 변환 처리의 다른 예로서, 변환부(301)는, 데이터 세트 내의 데이터를 재배치함으로써 다른 데이터 세트로 변환한다. 예를 들면, 보존부(109)에는 전경 화상 데이터 세트와 점군 데이터 세트 만이 보존되어 있었을 경우에, 단말(112)로부터 오브젝트마다 배치된 데이터 포맷을 요구된 것으로 한다. 선택부(311)는 송수신부(110)로부터 입력된 단말(112)로부터의 데이터 세트의 요구와 보존부(309)의 내용을 비교한다. 비교한 결과, 선택부(311)는, 필요한 데이터 세트의 판독을 관리부(108)에 지시한다. 관리부(108)에서는 선택부(311)의 지시에 근거하여 보존부(309)로부터 전경 화상 데이터와 점군 데이터 세트를 판독하고, 변환부(301)에 송신한다. 변환부(301)는, 데이터의 재배치와 헤더 데이터의 생성에 의해 오브젝트 데이터 세트를 생성하고, 송수신부(110)를 거쳐 단말(112)에 출력한다.

이상이, 변환부(301)가 행하는 변환 처리의 일례이다. 이때, 전술한 예에 한정되지 않고, 예를 들면 점군 데이터로부터 메쉬 데이터로의 변경이나, 복수의 소재 데이터의 통합 또는 분리 등, 임의의 데이터로부터 임의의 데이터에의 변환이 가능하다.

이어서, 가상 시점 화상 생성 시스템(3)의 동작에 대해서, 도21의 플로우차트를 사용하여 설명한다. 동 도면에 있어서, 각 부의 동작이 전술한 실시형태와 같은 스텝에 관해서는, 같은 번호를 붙이고, 설명을 생략한다. 스텝 S1001에 있어서, 선택부(311)는, 보존부(309)에 보존되어 있는 소재 데이터 중에, 단말(112)로부터의 요구에 적합한 데이터가 있는지를 확인한다. 만약에 적합한 데이터 세트가 없으면 스텝 S1001로 처리를 진행하고, 있으면 스텝 S816으로 처리를 진행한다.

스텝 S1001에 있어서, 선택부(311)는, 단말(112)로부터의 요구에 적합한 데이터 세트를 생성하기 위해서, 사용할 보존부(309)에 보존된 데이터 세트를 선택한다. 변환부(301)는 선택된 데이터 세트를 보존부(309)로부터 취득하고, 취득한 데이터 세트를 단말(212)의 요구에 적합한 데이터 세트로 변환한다. 이상에서 설명한 것과 같이, 정보 처리장치(300)가 단말의 요구에 따라 데이터 세트를 변환함으로써, 보다 많은 종류의 단말에의 소재 데이터의 송신이 가능해진다. 또한, 단말(112)로부터의 요구를 받아 소재 데이터를 변환해서 생성하기 때문에, 많은 종류의 소재 데이터를 보존해 두는 경우와 비교하여, 보존부(309)에 미리 기억해 두는 소재 데이터의 데이터 량이 적어도 된다. 이에 따라, 보존부(309)의 리소스를 유효하게 활용할 수 있다. 이때, 변환해서 생성된 데이터 세트를 보존부(309)에 보존해도 물론 상관없다. 또한, 한번 변환해서 생성되어, 보존부(309)에 보존된 소재 데이터는, 이후의 처리에서는 보존부(309)로부터 판독되어 사용되어도 된다.

(기타 실시형태)

전술한 제1, 제2, 제3 실시형태에서는 가상 시점 화상을 표시하는 단말에 소재 데이터를 출력하는 예에 대해 설명했지만, 출력처의 장치는 이것에 한정되지 않는다. 예를 들면, 소재 데이터를 취득해서 소정의 처리를 행하는 다른 장치에 대하여 소재 데이터를 출력하는 경우에도, 전술한 실시형태는 적용가능하다. 이 경우, 정보 처리장치(100)는, 출력처의 다른 장치가 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여, 다른 장치에 출력할 소재 데이터를 결정한다.

전술한 제1, 제2, 제3실시형태 중, 임의의 실시형태의 구성을 조합해서 사용하는 것이 가능하다. 또한, 전술한 실시형태에 있어서 설명한 소재 데이터의 종류에 한정되지 않고, 다른 소재 데이터를 포함하는 복수의 소재 데이터를 생성하고, 가상 시점 화상을 생성하는 구성에 있어서, 전술한 실시형태는 적용가능하다.

본 개시는, 전술한 실시형태의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 거쳐 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에서도 실현가능하다. 또한, 1 이상의 기능을 실현하는 회로(예를 들면, ASIC)에 의해서도 실현가능하다.

본 발명은 상기 실시형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위에서 이탈하지 않고, 다양한 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 명확하게 하기 위해서 이하의 청구항을 첨부한다.

본원은, 2021년 2월 18일 제출된 일본국 특허출원 특원 2021-024137을 기초로서 우선권을 주장하는 것이며, 그것의 기재 내용의 전체를 여기에 원용한다.

Claims (27)

1. 복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 복수의 소재 데이터로서, 제1 소재 데이터와, 상기 제1 소재 데이터와는 다른 제2 소재 데이터를 포함하는 복수의 소재 데이터를 취득하는 취득 수단과,
   상기 취득 수단에 의해 취득되는 복수의 소재 데이터 중, 소재 데이터의 출력처인 다른 장치에 의해 가상 시점 화상을 생성가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여 결정되는 소재 데이터를, 상기 다른 장치에 출력하는 출력 수단을 갖는 것을 특징으로 하는 정보 처리장치.
   
2. 제 1항에 있어서,
   상기 복수의 소재 데이터를 생성하는 생성 수단을 갖고,
   상기 취득 수단은, 상기 생성 수단에 의해 생성되는 복수의 소재 데이터를 취득하는 것을 특징으로 하는 정보 처리장치.
   
3. 제 2항에 있어서,
   상기 생성 수단은, 상기 제1 소재 데이터의 생성을 행하는 제1 생성 수단과, 상기 제2 소재 데이터의 생성을 행하는 제2 생성 수단을 포함하고,
   상기 제1 생성 수단이 행하는 생성과 상기 제2 생성 수단이 행하는 생성은, 병행하여 행해지는 것을 특징으로 하는 정보 처리장치.
   
4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
   상기 취득 수단에 의해 취득되는 복수의 소재 데이터를 기억하는 기억 수단을 갖고,
   상기 출력 수단은, 상기 기억 수단에 기억되는 복수의 소재 데이터 중, 상기 정보에 근거하여 결정되는 소재 데이터를 상기 다른 장치에 출력하는 것을 특징으로 하는 정보처치 장치.
   
5. 제 4항에 있어서,
   상기 복수의 소재 데이터에 있어서의 소정의 그룹을 나타내는 시퀀스와, 상기 시퀀스를 특정하기 위한 정보가 관련되어 상기 기억 수단에 기억되는 것을 특징으로 하는 정보 처리장치.
   
6. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
   상기 정보는, 상기 다른 장치의 종별에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
   
7. 제 1항 내지 제 6항 중 어느 한 항에 있어서,
   상기 정보는, 상기 다른 장치의 처리 능력에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
   
8. 제 1항 내지 제 7항 중 어느 한 항에 있어서,
   상기 정보는, 상기 다른 장치가 사용하는 가상 시점 화상의 생성 방법에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
   
9. 제 1항 내지 제 8항 중 어느 한 항에 있어서,
   상기 정보는, 상기 다른 장치가 표시가능한 가상 시점 화상의 포맷에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
   
10. 제 1항 내지 제 9항 중 어느 한 항에 있어서,
    상기 정보를 상기 다른 장치로부터 취득하는 정보 취득 수단을 갖고,
    상기 출력 수단은, 상기 복수의 소재 데이터 중, 상기 정보 취득 수단에 의해 취득되는 상기 정보에 근거하여 결정되는 소재 데이터를 상기 다른 장치에 출력하는 것을 특징으로 하는 정보 처리장치.
    
11. 제 1항 내지 제 9항 중 어느 한 항에 있어서,
    소재 데이터의 출력처인 복수의 다른 장치 각각이 처리가능한 소재 데이터의 형식을 특정가능한 정보를 유지하는 유지 수단을 갖고,
    상기 출력 수단은, 상기 복수의 소재 데이터 중, 상기 유지 수단에 의해 유지되는 상기 정보에 근거하여 결정되는 소재 데이터를 다른 장치에 출력하는 것을 특징으로 하는 정보 처리장치.
    
12. 복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 복수의 소재 데이터로서, 제1 소재 데이터와, 상기 제1 소재 데이터와는 다른 제2 소재 데이터를 포함하는 복수의 소재 데이터 중, 가상 시점 화상을 생성가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여 결정되는 소재 데이터를 취득하는 취득 수단과,
    상기 취득 수단에 의해 취득되는 소재 데이터에 근거하여 가상 시점 화상을 생성하는 생성 수단을 갖는 것을 특징으로 하는 정보 처리장치.
    
13. 제 12항에 있어서,
    상기 정보는, 상기 정보 처리장치의 종별에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
    
14. 제 12항 또는 제 13항에 있어서,
    상기 정보는, 상기 정보 처리장치의 처리 능력에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
    
15. 제 12항 내지 제 14항 중 어느 한 항에 있어서,
    상기 정보는, 상기 정보 처리장치가 사용하는 가상 시점 화상의 생성 방법에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
    
16. 제 12항 내지 제 15항 중 어느 한 항에 있어서,
    상기 정보는, 상기 정보 처리장치가 표시가능한 가상 시점 화상의 포맷에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
    
17. 제 12항 내지 제 16항 중 어느 한 항에 있어서,
    상기 소재 데이터를 출력하는 다른 장치에 상기 정보를 송신하는 송신 수단을 갖고,
    상기 취득 수단은, 상기 출력 수단에 의해 상기 다른 장치에 출력되는 정보에 근거하여 결정되는 소재 데이터를 취득하는 것을 특징으로 하는 정보 처리장치.
    
18. 제 1항 내지 제 17항 중 어느 한 항에 있어서,
    상기 제1 소재 데이터는, 상기 피사체의 3차원 형상을 나타내는 점군 데이터 및 상기 피사체의 색을 나타내는 텍스처 데이터를 포함하는 데이터이고,
    상기 제2 소재 데이터는, 상기 피사체의 3차원 형상 및 상기 피사체의 색을 나타내는 점군 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
19. 제 1항 내지 제 17항 중 어느 한 항에 있어서,
    상기 제1 소재 데이터는, 상기 피사체의 3차원 형상을 나타내는 메쉬 데이터 및 상기 피사체의 색을 나타내는 텍스처 데이터를 포함하는 데이터이고,
    상기 제2 소재 데이터는, 상기 피사체의 3차원 형상 및 상기 피사체의 색을 나타내는 메쉬 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
20. 제 1항 내지 제 17항 중 어느 한 항에 있어서,
    상기 제1 소재 데이터는, 상기 피사체의 3차원 형상을 나타내는 점군 데이터를 포함하는 데이터이고,
    상기 제2 소재 데이터는, 상기 피사체의 3차원 형상을 나타내는 메쉬 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치
    
21. 제 1항 내지 제 17항 중 어느 한 항에 있어서,
    상기 제1 소재 데이터는, 상기 피사체의 3차원 형상을 나타내는 점군 데이터를 포함하는 데이터이고,
    상기 제2 소재 데이터는, 상기 복수의 촬상장치와 상기 피사체의 거리를 나타내는 거리 화상 및 상기 피사체의 색을 나타내는 텍스처 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
22. 제 1항 내지 제 17항 중 어느 한 항에 있어서,
    상기 제1 소재 데이터는, 상기 피사체의 3차원 형상을 나타내는 메쉬 데이터를 포함하는 데이터이고,
    상기 제2 소재 데이터는, 상기 복수의 촬상장치와 상기 피사체의 거리를 나타내는 거리 화상 및 상기 피사체의 색을 나타내는 텍스처 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
23. 제 20항 또는 제 21항에 있어서,
    상기 점군 데이터는, 상기 피사체의 색을 더 나타내는 것을 특징으로 하는 정보 처리장치.
    
24. 제 20항 또는 제 22항에 있어서,
    상기 메쉬 데이터는, 상기 피사체의 색을 더 나타내는 것을 특징으로 하는 정보 처리장치.
    
25. 복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 소재 데이터로서, 제1 소재 데이터와, 상기 제1 소재 데이터와는 다른 제2 소재 데이터를 포함하는 복수의 소재 데이터를 취득하는 취득 공정과,
    상기 취득 공정에 있어서 취득되는 복수의 소재 데이터 중, 소재 데이터의 출력처인 다른 장치에 의해 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여 결정되는 소재 데이터를, 상기 다른 장치에 출력하는 출력 공정을 갖는 것을 특징으로 하는 정보 처리방법.
    
26. 복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 복수의 소재 데이터로서, 제1 소재 데이터와, 상기 제1 소재 데이터와는 다른 제2 소재 데이터를 포함하는 복수의 소재 데이터 중, 가상 시점 화상을 생성가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여 결정되는 소재 데이터를 취득하는 취득 공정과,
    상기 취득 공정에 있어서 취득되는 소재 데이터에 근거하여, 가상 시점 화상을 생성하는 생성 공정을 갖는 것을 특징으로 하는 정보 처리방법.
    
27. 컴퓨터를, 청구항 1 내지 24 중 어느 한 항에 기재된 정보 처리장치로서 기능시키기 위한 프로그램.

Images