KR20230130687A - 정보 처리장치, 정보 처리방법, 및, 기억매체 - Google Patents

Abstract

정보 처리장치(100)는, 복수의 카메라(101)가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상을 생성하기 위해서 사용되는 소재 데이터로서, 제1 형식에 의해 표시되는 소재 데이터를 취득하는 취득부(105)와, 소재 데이터의 출력처인 다른 장치에 의해 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여, 취득된 소재 데이터의 형식을 제1 형식으로부터 제2 형식으로 변환하는 변환부(107)와, 제2 형식으로 변환된 소재 데이터를, 다른 장치에 출력하는 송수신부(108)를 갖는다.

Description

정보 처리장치, 정보 처리방법, 및, 프로그램

본 개시는, 가상 시점 화상을 생성하는 기술에 관한 것이다.

최근, 촬상 영역의 주위에 복수의 촬상장치를 배치해서 피사체의 촬상을 행하고, 각각의 촬상장치로부터 취득된 복수의 촬상 화상을 사용하여, 지정된 시점(가상 시점)에서 본 화상(가상 시점 화상)을 생성하는 기술이 주목받고 있다. 이 기술에 따르면, 예를 들면, 축구나 농구의 하이라이트 씬을 다양한 각도에서 시청할 수 있기 때문에, 통상의 화상과 비교해서 유저에게 높은 임장감을 줄 수 있다.

특허문헌 1에는, 피사체의 형상을 나타낸 3차원 형상 데이터로서, 3차원 위치를 나타낸 복수의 점으로 구성되는 점군 데이터를 생성하는 시스템에 대해서 기재되어 있다. 또한, 특허문헌 1에 기재된 시스템은, 생성된 점군 데이터를 사용해서 렌더링 처리를 행함으로써, 임의의 시점에서 본 화상(가상 시점 화상)을 생성한다.

특허문헌 2에는, RGB-D 카메라에 의해 취득되는 정보로부터, 오브젝트의 정면 영역 뿐만 아니라, 측면 영역도 포함시킨 광범위한 3차원 모델을 복원하는 기술에 대해서 기재되어 있다. 특허문헌 2에 따르면, 심도 맵의 깊이 데이터에 근거하여 오브젝트 영역을 추출하고, 오브젝트의 3차원 표면 모델을 그 깊이 데이터에 근거하여 생성한다. 또한, 특허문헌 2에 따르면, 3차원 표면 모델을 사용해서 생성되는 3차원 메쉬 모델을 사용해서 렌더링 처리를 행함으로써, 가상 시점 화상이 생성된다.

국제공개 제2018/147329호 일본국 특개 2016-71645호 공보

상기 한 것과 같이, 가상 시점 화상의 생성 방법은 복수 존재하고, 각각의 생성 방법에 있어서 사용되는 데이터가 다르다. 따라서, 가상 시점 화상의 생성에 관련한 처리를 실행하는 장치에 출력되는 데이터가, 출력처의 장치가 대응하지 않고 있는 데이터인 경우에, 적절히 처리가 실행되지 않을 가능성이 있다.

본 개시는 상기 한 과제를 감안하여 이루어진 것이다. 그 목적은, 데이터의 출력처의 장치가 처리가능한 가상 시점 화상의 생성에 관한 소재 데이터를 출력 가능하게 하는 것이다.

본 개시에 따른 정보 처리장치는, 복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 소재 데이터로서, 제1 형식에 의해 표시되는 소재 데이터를 취득하는 취득 수단과, 상기 소재 데이터의 출력처인 다른 장치에 의해 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여, 상기 취득 수단에 의해 취득된 소재 데이터의 형식을 상기 제1 형식으로부터 제2 형식으로 변환하는 변환 수단과, 상기 변환 수단에 의해 상기 제2 형식으로 변환된 소재 데이터를, 상기 다른 장치에 출력하는 출력 수단을 갖는다.

본 개시에 따르면, 데이터의 출력처의 장치가 처리가능한 가상 시점 화상의 생성에 관한 소재 데이터가 출력 가능해진다.

정보 처리장치의 하드웨어 구성예를 나타낸 블록도다.
도2는 제1실시형태에 있어서의 정보 처리장치를 포함하는 가상 시점 화상 생성 시스템의 구성의 일례를 설명하기 위한 도면이다.
도3은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도4는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도5는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도6은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도7은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도8은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도9는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도10a는 변환 처리를 특정하기 위한 정보의 일례다.
도10b는 변환 처리를 특정하기 위한 정보의 일례다.
도11은 제1실시형태에 있어서의 가상 시점 화상 생성 시스템이 행하는 처리의 일례를 나타낸 플로우차트다.
도12는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도13은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도14a는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도14b는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도14c는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도15는 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도16은 보존부에 보존되는 소재 데이터의 데이터 구조의 일례다.
도17은 제2실시형태에 있어서의 정보 처리장치를 포함하는 가상 시점 화상 생성 시스템의 구성의 일례를 설명하기 위한 도면이다.
도18은 제2실시형태에 있어서의 가상 시점 화상 생성 시스템이 행하는 처리의 일례를 나타낸 플로우차트다.

이하, 본 개시의 실시형태에 대해서, 도면을 참조하면서 설명한다. 이때, 이하의 실시형태에 기재되는 구성요소는, 실시형태의 일례를 나타낸 것이며, 본 개시를 그것들에만 한정하는 것은 아니다.

(제1실시형태)

본 실시형태에 있어서는, 복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 데이터(이하, 소재 데이터라고 한다)를 표시장치에 출력하는 정보 처리장치에 대해 설명한다.

도1은, 본 실시형태에 있어서의 정보 처리장치에 적용가능한 컴퓨터의 하드웨어의 구성예를 나타낸 블록도다. 정보 처리장치는, CPU(1601), RAM(1602), ROM(1603), 조작부(1604), 출력부(1605), 외부 기억장치(1606), I/F(1607), 및, 버스(1608)를 갖는다. 이때, 도1에 나타낸 하드웨어 구성은, 후술하는 가상 시점 화상 생성 시스템에 포함되는 어느쪽의 장치에도 적용가능하다.

CPU(1601)은, RAM(1602)이나 ROM(1603)에 격납되어 있는 컴퓨터 프로그램이나 데이터를 사용해서 컴퓨터 전체의 제어를 행한다. RAM(1602)은, 외부 기억장치 806으로부터 로드된 컴퓨터 프로그램이나 데이터, I/F(인터페이스)(1607)를 통해 외부에서 취득한 데이터 등을 일시적으로 기억하기 위한 에어리어를 갖는다. 또한, RAM(1602)은, CPU(1601)이 각종의 처리를 실행할 때에 사용하는 워크 에어리어를 갖는다. 즉, RAM(1602)은, 예를 들면, 프레임 메모리로서 할당하거나, 그 밖의 각종의 에어리어를 적절히 제공할 수 있다.

ROM(1603)에는, 본 장치의 설정 데이터나, 부트 프로그램 등이 격납된다. 조작부(1604)는, 키보드, 마우스, 및 조이스틱 등의 입력장치에 의해 구성되고, 이들 입력장치를 사용한 유저 조작에 근거하여, 각종의 지시를 CPU(1601)에 대하여 입력할 수 있다. 출력부(1605)는, CPU(1601)에 의한 처리 결을 출력한다. 출력부(1605)는 예를 들면, 액정 디스플레이 등으로 구성된다.

외부 기억장치(1606)는, 하드 디스크 드라이브 장치로 대표되는 정보 기억장치일 수 있다. 외부 기억장치(1606)에는, OS(오퍼레이팅 시스템)이나, 본 실시형태에 있어서의 장치가 갖는 각 처리부의 기능을 CPU(1601)에게 실현시키기 위한 컴퓨터 프로그램이 보존되어 있다. 외부 기억장치(1606)에 보존되어 있는 컴퓨터 프로그램이나 데이터는, CPU(1601)에 의한 제어에 따라 적절히, RAM 802에 로드되어, CPU(1601)에 의한 처리 대상이 된다. 더구나, 외부 기억장치(1606)에는, 처리 대상으로서의 각 화상 데이터, 및 처리에 사용되는 각종의 정보가 기억되어 있어도 된다.

I/F(1607)에는, LAN이나 인터넷 등의 네트워크, 투영 장치나 표시장치 등의 다른 기기를 접속할 수 있고, 본 컴퓨터는 이 I/F(1607)를 거쳐 다양한 정보를 취득하거나, 송신할 수 있다. 예를 들면, 정보 처리장치(200)가 외부의 장치와 유선으로 접속되는 경우에는, 통신용의 케이블이 통신 I/F(1607)에 접속된다. 정보 처리장치가 외부의 장치와 무선통신하는 기능을 갖는 경우에는, 통신 I/F(1607)는 안테나를 구비한다. 버스(1608)는 전술한 각 부를 연결하는 버스다.

이때, 전술한 구성 중 적어도 어느 한개가 다른 장치로서 정보처치 장치의 외부에 접속되어도 된다. 이것은, 후술하는 가상 시점 화상 생성 시스템에 포함되는 어느쪽의 장치에 있어서도 마찬가지이다.

<가상 시점 화상 생성 시스템의 구성>

다음에, 본 실시형태에 있어서의 가상 시점 화상 생성 시스템의 구성에 대해 설명한다. 이때, 본 실시형태에 있어서의 가상 시점 화상은, 자유 시점 화상으로도 불리는 것이지만, 유저가 자유롭게(임의로) 지정한 시점에 대응하는 화상에 한정되지 않고, 예를 들면, 복수의 후보로부터 유저가 선택한 시점에 대응하는 화상 등도 가상 시점 화상에 포함된다. 본 실시형태에서는 가상 시점의 지정이 유저 조작에 의해 행해지는 경우를 중심으로 설명하지만, 가상 시점의 지정이 화상 해석의 결과 등에 근거하여 자동으로 행해져도 된다. 또한, 본 실시형태에서는 가상 시점 화상이 동작 화상인 경우를 중심으로 설명하지만, 가상 시점 화상은 정지 화상이어도 된다.

도2는, 가상 시점 화상 생성 시스템(1)의 구성을 설명하기 위한 도면이다. 가상 시점 화상 생성 시스템(1)은, 예를 들면, 경기장(스타디움)이나 콘서트홀 등의 시설에 설치되는 복수의 촬상장치를 사용해서 피사체의 촬상을 행하고, 얻어진 복수의 촬상 화상에 근거하여, 가상 시점 화상을 생성하기 위한 데이터(소재 데이터)를 생성한다. 가상 시점 화상 생성 시스템(1)은, 카메라(101a∼z), 입력부(102), 축적부(103), 소재 데이터 생성부(104), 정보 처리장치(100), 및, 단말(109a∼d)을 갖는다. 정보 처리장치(100)의 기능 구성에 대해서는 후술한다.

카메라(101a∼z)는, 피사체를 둘러싸도록 배치되고, 동기를 취해서 촬상이 행해진다. 단, 카메라의 대수는 도2에 한정되지 않는다. 카메라(101a∼z)는 네트워크로 접속되어 있고, 입력부(102)에 접속되어 있다. 카메라(101a∼z)는 동기를 취해서 촬상을 행한다. 즉, 카메라(101a∼z)의 각각이 촬상하는 촬상 화상의 프레임은, 같은 시각에 취득된다. 취득된 촬상 화상은, 촬상 시각에 관한 시각 정보 및 프레임의 번호가 부여되어, 입력부(102)에 송신된다. 이때, 시각 정보는, 임의의 형식을 사용하는 것이 가능하다. 또한, 각 카메라에는 각각 카메라 ID를 할당되어 있고, 각 카메라가 취득한 촬상 화상에, 카메라 ID의 정보가 부여된다. 이때, 이후의 설명에 있어서, 특별히 구별할 이유가 없는 경우, 카메라(101a∼z)를 간단히 카메라(101)로 기재한다.

입력부(102)는 카메라(101a∼z)가 행하는 촬상에 의해 얻어진 화상 데이터를 입력하고, 축적부(103)에 출력한다. 축적부(103)는 입력된 화상 데이터를 일단 축적하는 축적부다.

소재 데이터 생성부(104)는, 축적부(103)에 축적된 화상 데이터 사용하여, 가상 시점 화상의 생성에 사용되는 소재 데이터를 생성한다. 여기에서, 본 실시형태에 있어서의 소재 데이터는, 가상 시점 화상을 생성하기 위한 데이터로서, 촬상 화상에 근거하여 생성되는 데이터를 나타낸다. 소재 데이터는, 예를 들면, 촬상 화상으로부터 추출한 전경 화상과 배경 화상의 데이터, 3차원 공간에 있어서의 피사체의 형상을 나타내는 모델(이하, 3차원 형상 데이터라고도 한다), 및 3차원 형상 데이터를 착색하기 위한 텍스처 데이터 등이다. 본 실시형태에 있어서의 소재 데이터 생성부(104)는, 가상 시점 화상 생성 시스템(1)에 미리 설정된 형식의 소재 데이터를 생성하는 것으로 한다.

단말(109a∼d)은, 후술하는 정보 처치 장치 100으로부터 소재 데이터를 취득하고, 소재 데이터에 근거하여 가상 시점 화상을 생성해서 표시하는 표시장치다. 단말(109a∼d)은, 예를 들면, PC, 스마트폰, 및 태블릿 등일 수 있다. 이후의 설명에 있어서는, 특별히 구별할 이유가 없는 경우에는, 단말(109a∼d)을 간단히 단말(109)로 기재한다.

다음에, 가상 시점 화상 생성 시스템(1)이 갖는 정보 처리장치(100)의 기능 구성에 대해서, 도2를 사용하여 설명한다. 정보 처리장치(100)는, 취득부(105), 보존부(106), 변환부(107), 및, 송수신부(108)를 갖는다.

취득부(105)는, 소재 데이터를 취득하고, 보존부 108에 보존한다. 본 실시형태에 있어서의 취득부(105)는, 가상 시점 화상 생성 시스템(1) 내의 소재 데이터 생성부(104)로부터 소재 데이터를 취득한다. 취득부(105)는, 취득한 소재 데이터를 보존할 때, 소재 데이터를 소정의 형식(포맷)으로 보존한다. 예를 들면, 소재 데이터는, 각각의 데이터를 판독하기 위한 데이터 액세스를 위한 테이블을 생성하는 것 등을 하고, 시각 정보나 프레임 번호 등에 관련시켜 데이터의 읽고 쓰기를 할 수 있는 포맷으로 보존된다. 취득부(105)가 취득할 수 있는 소재 데이터의 종별 및 보존될 때의 소재 데이터의 포맷에 관해서는 후술한다.

보존부(106)는 입력된 소재 데이터를 보존한다. 보존부(106)는, 도1의 외부 기억장치(1606)에 대응하고, 반도체 메모리나 자기기록장치 등으로 구성된다. 데이터의 기록, 판독은 취득부(105)로부터의 지시에 근거하여 행하고, 기록된 데이터는 판독 지시에 따라 송수신부(108)에 출력된다.

변환부(107)는, 보존부(106)에 보존되어 있는 소재 데이터의 포맷을, 소재 데이터의 출력처인 단말(109)이 처리가능한 포맷에 맞춰서 변환하는 처리를 행한다. 변환 처리에 대해서는 후술한다. 송수신부(108)는, 단말(109)과 통신을 행하여, 단말로부터의 요구나, 데이터의 송수신을 행한다. 단말(109a∼d)은, 정보 처리장치(100)로부터 소재 데이터를 취득한다. 또한, 단말(109a∼d)은, 유저에 의한 가상 시점의 지정에 관한 조작을 접수하고, 지정된 가상 시점에 대응하는 가상 시점 화상을 소재 데이터에 근거하여 생성한다. 또한, 단말(109a∼d)은, 생성한 가상 시점 화상을 표시한다. 본 실시형태에서는, 단말 109a는 전경 화상과 점군 데이터를 사용해서 가상 시점 화상을 생성하는 것으로 한다. 또한, 단말 109b는 착색된 점군 데이터를 사용해서 가상 시점 화상을 생성하는 것으로 한다. 또한, 단말 109c는 전경 화상과 거리 화상을 사용해서 가상 시점 화상을 생성하는 것으로 한다. 또한, 단말 109d는 메쉬 데이터를 사용해서 가상 시점 화상을 생성하는 것으로 한다.

여기에서, 상기한 것과 같이, 가상 시점 화상의 생성 방법에 의해, 가상 시점 화상을 생성할 때에 사용하는 소재 데이터가 다른 경우가 있다. 사용되는 소재 데이터가 다른 요인으로서는, 예를 들면, 단말이 채용하고 있는 가상 시점 화상의 생성 방법, 및 단말이 사용하고 있는 가상 시점 화상의 생성용의 소프트웨어의 종류가 다른 것 등이 있을 수 있다. 또한, 단말이 취급할 수 있는 소재 데이터의 포맷이 다른 것 등도 요인으로서 들 수 있다. 더구나, 메쉬 데이터에 근거한 가상 시점 화상은 표시할 수 있지만, 점군 데이터에 근거한 가상 시점 화상은 표시할 수 없는 것 등, 단말의 표시 능력이나 처리 능력이 다른 것도 요인으로서 들 수 있다. 이들 요인에 의해, 단말이 표시할 수 없는 가상 시점 화상에 대응하는 소재 데이터를 단말에 출력해도, 단말이 가상 시점 화상을 생성할 수 없는 문제가 생길 수 있다. 이 문제를 해결하기 위해서, 본 실시형태에 있어서의 정보 처리장치(100)는, 취득한 소재 데이터의 포맷을, 소재 데이터의 출력처인 단말(109)이 처리가능한 포맷으로 변환하고, 변환한 소재 데이터를 단말(109)에 출력한다.

<소재 데이터의 종별 및 포맷의 예>

본 실시형태에 있어서의 정보 처리장치(100)의 취득부(105)가 취득할 수 있는 소재 데이터의 종별에 대해 설명한다. 본 실시형태에 있어서의 취득부(105)는, 소재 데이터 생성부(104)가 생성하는 소재 데이터를 취득하기 위해서, 소재 데이터 생성부(104)가 생성하는 소재 데이터와 그 생성 방법에 대해서, 이하에서 설명한다. 이때, 이하에서 설명하는 소재 데이터의 종별은 일례이며, 하기 이외의 소재 데이터가 생성되는 구성이어도 된다.

처음에, 소재 데이터 생성부(104)가, 소재 데이터로서, 피사체의 3차원 형상을 나타내는 점군 데이터와, 전경 화상을 생성하는 경우에 대해 설명한다. 여기에서, 전경 화상은, 촬상 화상으로부터 오브젝트(예를 들면, 선수나 볼 등)에 대응하는 영역을 추출한 화상이다. 소재 데이터 생성부(104)는, 예를 들면, 피사체가 찍히지 않은 상태의 화상을 기준 화상으로서 촬상하고, 입력된 화상 데이터(촬상 화상)와의 차분을 사용하여, 피사체에 대응하는 영역을 추출한다. 또한, 소재 데이터 생성부(104)는, 피사체 영역의 추출 결과에 근거하여, 피사체에 대응하는 영역의 화소값을 1, 그 이외의 영역의 화소값을 0으로 한 실루엣 화상을 생성한다.

더구나, 소재 데이터 생성부(104)는, 생성한 실루엣 화상을 사용하여, 시체적교차법(Shape-from-Silhouette)을 사용하여, 점군 데이터를 생성한다. 생성되는 점군 데이터는, 3차원 공간에 있어서의 좌표의 정보를 갖는 복수의 점의 집합에 의해 피사체의 3차원 형상을 나타내는 데이터다. 또한, 소재 데이터 생성부(104)는, 추출된 피사체 영역의 외접 사각형을 구하고, 외접 사각형에 대응하는 촬상 화상 중의 영역을 잘라내어, 이것을 전경 화상으로서 생성한다. 전경 화상은, 가상 시점 화상을 생성할 때에, 3차원 형상 데이터에 착색을 행하기 위한 텍스처 데이터로서 사용된다. 이때, 점군 데이터 및 전경 화상의 생성 방법에 대해서는 전술한 방법에 한정되지 않고, 임의의 생성 방법이 사용가능하다.

다음에, 소재 데이터 생성부(104)가, 피사체의 3차원 형상을 나타내는 점군과, 피사체의 색을 나타내는 정보를 포함하는 데이터(이후, 착색된 점군 데이터)를 소재 데이터로서 생성하는 경우에 대해 설명한다. 착색된 점군 데이터는, 전술한 방법으로 생성되는 점군 데이터와, 축적부(103)로부터 취득되는 각 카메라(101)의 촬상 화상 혹은 전경 화상을 사용해서 생성할 수 있다. 소재 데이터 생성부(104)는, 점군 데이터에 포함되는 각 점에 대해서, 점에 대응하는 3차원 위치를 촬상하는 카메라(101)가 취득한 촬상 화상의 색(화소값)을 특정한다. 소재 데이터 생성부(104)는, 특정한 색을 점에 대응시킴으로써, 색 정보를 갖는 점군 데이터인 착색된 점군 데이터를 생성할 수 있다.

다음에, 소재 데이터 생성부(104)가, 각 카메라(101)로부터 피사체까지의 거리를 나타내는 거리 화상을 소재 데이터로서 생성하는 경우에 대해 설명한다. 소재 데이터 생성부(104)는, 예를 들면, 스테레오 매칭법 등으로, 복수의 촬상 화상 사이에서 시차를 산출하고, 시차의 데이터로부터 거리 화상의 화소값을 결정함으로써, 거리 화상을 생성한다. 이때, 거리 화상의 생성 방법은 이것에 한정되지 않는다. 예를 들면, 소재 데이터 생성부(104)는, 전술한 방법에 의해 생성되는 점군 데이터를 사용하여, 점군 데이터에 있어서의 각 점의 3차원 위치로부터 각 카메라(101)까지의 거리를 구하는 것에 의해, 거리 화상을 생성해도 된다. 또한, 소재 데이터 생성부(104)는, 적외선 센서 등을 사용한 거리 카메라를 사용하여, 거리 화상을 별도 취득하는 구성이어도 된다.

다음에, 소재 데이터 생성부(104)가, 피사체의 3차원 형상을 나타내는 메쉬 데이터를 소재 데이터로서 생성하는 경우에 대해 설명한다. 소재 데이터 생성부(104)는, 예를 들면, 특허문헌 2에 기재된 방법을 사용하여, 복수의 폴리곤의 집합체인 메쉬 데이터를 생성한다. 이 방법을 사용할 때에는, 조출하는 방법에 의해 생성되는 거리 화상 데이터가 심도 맵으로서 사용된다. 이때, 메쉬 데이터의 생성 방법은 이것에 한정되지 않는다. 예를 들면, 소재 데이터 생성부(104)는, 전술한 방법에 의해 생성되는 점군 데이터 및 착색된 점군 데이터 등을 변환함으로써, 메쉬 데이터를 생성해도 된다.

다음에, 소재 데이터 생성부(104)가, 피사체의 개관을 나타내는 빌보드 데이터를 생성하는 경우에 대해 설명한다. 빌보드 데이터는, 판자 형상의 폴리곤에, 전경 화상을 사용해서 착색을 행함으로써 얻어지는 데이터다. 빌보드 데이터를 생성하는 경우, 소재 데이터 생성부(104)는, 판자 형상의 폴리곤과, 전술한 방법에 의해 전경 화상을 생성한다.

이때, 전술한 소재 데이터 생성부(104)가 행하는 처리의 일부가, 촬상장치 및 후술하는 정보 처리장치(100) 등의 다른 장치에 의해 행해지는 구성이어도 된다. 예를 들면, 점군 데이터가 생성되는 경우에 있어서의 실루엣 화상의 생성 및/또는 전경 화상의 생성의 처리가, 카메라(101)에 의해 행해져도 된다. 이 경우, 카메라(101)는, 촬상 화상에 근거하여 생성되는 실루엣 화상 및/또는 전경 화상에, 시각 정보, 프레임 번호 및 카메라 ID 등의 각종의 정보를 부여하여, 입력부(102)에 송신한다.

다음에, 전술한 소재 데이터가 보존될 때의, 소재 데이터의 포맷의 일례에 대해서 이하에서 설명한다. 소재 데이터 생성부(104)가 생성한 소재 데이터는, 취득부(105)에 의해 취득되어, 이하에서 설명하는 포맷으로 보존부(106)에 보존된다.

도3에 보존부(106)에서 보존되는 소재 데이터의 서식의 일례를 나타낸다. 소재 데이터는, 도3a에 나타낸 것과 같이 1개의 그룹에 대응하는 시퀀스로서 보존된다. 시퀀스는, 예를 들면, 촬상이 행해진 기간, 촬상된 경기, 더구나 경기중에 발생한 이벤트나 컷트마다 생성될 수 있다. 보존부(106)는, 시퀀스 단위로 데이터를 관리한다. 각 시퀀스에는 시퀀스 헤더(Sequence Header)가 포함된다. 시퀀스 헤더에는, 도3b에 나타낸 것과 같이 시퀀스의 시작인 것을 나타내는 시퀀스 헤더 스타트 코드(Sequence Header Start Code)가 보존된다. 이어서, 시퀀스 전체에 관한 정보가 보존된다. 예를 들면, 시퀀스의 명칭, 촬상 장소, 촬상이 개시된 일시, 시각 등을 나타내는 시각 정보, 프레임 레이트, 화상 사이즈가 보존된다. 시퀀스의 명칭에는, 예를 들면, 경기나 이벤트의 명칭 등, 시퀀스를 특정하기 위한 정보가 기재된다.

시퀀스에는 각각의 소재 데이터가 데이터 세트(Data Set)이라고 하는 단위로 보존된다. 시퀀스 헤더에는 그 데이터 세트의 수(Number of Data set) M이 기록된다. 이하, 데이터 세트 단위의 정보가 보존된다. 데이터 세트 단위의 정보에서는, 최초에 데이터 세트의 식별 ID가 부여된다. 식별 ID는 보존부(106) 내지, 전체 데이터 세트에서 유일한 ID가 부여된다. 이어서, 데이터 세트의 종별이 보존된다. 도3a에 나타낸 예에서는, 데이터 세트로서, 점군 데이터, 전경 화상, 착색된 점군 데이터, 거리 화상 데이터, 메쉬 데이터가 시퀀스에 포함되어 있지만, 이들 데이터 세트가 모두 시퀀스에 포함될 필요는 없다. 본 실시형태에 있어서는, 취득부(105)에 의해 취득된 소재 데이터가 데이터 세트로서 시퀀스에 포함되는 것으로 한다. 예를 들면, 취득부(105)가 점군 데이터 및 전경 화상 데이터를 취득한 경우, 시퀀스에는 점군 데이터와 전경 화상 데이터의 데이터 세트가 포함된다. 시퀀스에 포함되는 데이터 세트는, 각각 데이터 세트 클래스 코드(Data set class code)로 표현된다. 데이터 세트 클래스 코드는 도3e에 나타낸 2바이트의 코드로서 표현되어 있다. 단, 데이터의 종별이나 코드는 이것에 한정되지 않는다. 다른 3차원 형상 데이터를 나타내는 데이터이어도 상관없다. 이어서, 데이터 세트에의 포인터가 보존된다. 단, 각 데이터 세트에의 액세스를 위한 정보이면 되고, 포인터에 한정되지 않는다. 예를 들면, 보존부에서 파일 시스템을 구축하고, 파일명으로 하여도 상관없다.

다음에, 시퀀스에 포함되는 각 데이터 세트의 포맷에 대해 설명한다. 본 실시형태에서는 데이터 세트의 종별로서, 점군 데이터, 전경 화상, 착색된 점군 데이터, 거리 화상 데이터, 메쉬 데이터, 빌보드 데이터를 예로 들어 설명한다.

도4에 전경 화상 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 전경 화상 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 도4a에 나타낸 것과 같이, 데이터 세트의 선두에는 전경 화상 데이터 헤더가 보존된다. 헤더에는 본 데이터 세트가 전경 화상의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다.

각 프레임에 포함되는 정보를 도4b에 나타낸다. 각 프레임에는, 전경 화상 데이터의 선두 프레임의 시각을 나타내는 시각 정보(Time information), 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 데이터 사이즈는 다음의 프레임의 데이터를 참조하기 위한 것이고, 헤더에 함께 보존되어 있어도 된다. 이어서, 시각 정보가 나타내는 시각에 가상 시점 화상을 생성하기 위한 피사체의 수(Number of Object) P가 보존된다. 더구나 그 시점에서 촬상에 사용된 카메라의 대수(Number of Camera) C가 보존된다. 이어서, 사용된 카메라의 카메라 ID(Camera ID of Cth Camera)이 보존된다. 이어서, 피사체마다 피사체가 찍히는 전경 화상의 화상 데이터(1st Foreground Image of Cth Camera)가 보존된다. 화상 데이터의 선두에, 도4c에 나타낸 것과 같이, 전경 화상의 데이터 사이즈, 전경 화상의 크기, 화소값의 비트 심도, 및 화소값이 래스터 순서로 보존된다. 이하, 피사체마다 각 카메라로부터의 전경 화상 데이터를 계속해서 보존한다. 이i, 카메라에 피사체가 찍히지 않고 있는 경우에는, NULL 데이터를 기록하거나, 피사체 단위로 찍히고 있는 카메라 수와 해당하는 카메라 ID를 보존해도 상관없다.

도5에 점군 데이터의 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 점군 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 데이터 세트의 선두에는, 점군 데이터 헤더가 보존된다. 헤더에는, 도5a에 나타낸 것과 같이, 본 데이터 세트가 점군 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다.

각 프레임에 포함되는 정보를 도5b에 나타낸다. 각 프레임에는, 프레임의 시각을 나타내는 시각 정보(Time information)가 보존되어 있다. 이어서, 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이것은 다음 프레임의 데이터를 참조하기 위한 것이고, 헤더에 함께 보존되어 있어도 된다. 이어서, 시각 정보가 나타내는 시각의 피사체, 즉 점군 데이터의 수(Number of Object) P가 보존된다. 이하, 피사체마다의 점군 데이터가 순서대로 보존되어 있다. 우선, 최초의 피사체의 점군을 구성하는 좌표 점수(Number of Points in 1st Object)가 보존된다. 이하, 점의 좌표(Point coordination in 1st Object)가 보존된다. 이하, 마찬가지로 하여, 시각 정보에 대응하는 시각에 포함되는 피사체 전체의 점군 데이터가 보존된다.

본 실시형태에서는 좌표계를 3축의 데이터로서 보존하지만, 이것에 한정되지 않고, 극좌표나 그 밖의 좌표계이어도 상관없다. 이때, 좌표값의 데이터 길이가 고정인 것으로 하여 점군 데이터 헤더에 기재해도 되고, 점군마다 다른 데이터 길이로 해도 된다. 데이터 길이가 점군마다 다른 경우, 데이터 사이즈를 점군마다 보존한다. 데이터 사이즈를 참조함으로써, 좌표 점수로부터 다음의 점군의 보존 위치의 특정을 행할 수 있다.

도6에 착색된 점군 데이터의 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 착색된 점군 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 데이터 세트의 선두에는 착색된 점군 데이터 헤더가 보존된다. 헤더에는, 도6a에 나타낸 것과 같이, 본 데이터 세트가 착색된 점군 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다.

각 프레임에 포함되는 정보를 도6b에 나타낸다. 각 프레임에는, 각 프레임의 점군 데이터에는 프레임의 시각을 나타내는 시각 정보(Time information)가 보존되어 있다. 이어서, 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이것은 다음 프레임의 데이터를 참조하기 위한 것이고, 헤더에 함께 보존되어 있어도 된다. 이어서, 시각 정보가 나타내는 시각의 피사체, 즉 착색된 점군 데이터의 수(Number of Object) P가 보존된다. 이하, 피사체마다의 착색된 점군 데이터가 순서대로 보존되어 있다. 우선, 최초의 피사체의 점군을 구성하는 좌표 점수(Number of Points in 1st Object)가 보존된다. 이하, 점의 좌표와 점의 색 정보(Point coordination in 1st Object)가 보존된다. 이하, 마찬가지로 하여, 시각 정보에 대응하는 시각에 포함되는 피사체 전체의 착색된 점군 데이터가 보존된다.

본 실시형태에서는 좌표계를 3축의 데이터로 하고, 색 정보를 RGB의 삼원색의 값으로 보존하지만, 이것에 한정되지 않는다. 좌표계에서는 극좌표나 그 밖의 좌표계이어도 상관없다. 또한, 색 정보도 균등 색공간이나 휘도, 색도라고 하는 정보로 표현해도 상관없다. 또한, 좌표값의 데이터 길이가 고정인 것으로 해서 착색된 점군 데이터 헤더에 기재해도 되고, 착색된 점군마다 다른 데이터 길이로 해도 된다. 데이터 길이가 착색된 점군마다 다른 경우, 데이터 사이즈를 점군마다 보존한다. 데이터 사이즈를 참조함으로써, 좌표 점수로부터 다음의 착색된 점군의 보존 위치의 특정을 행할 수 있다.

도7에 거리 화상 데이터의 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 거리 화상 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 데이터 세트의 선두에는 거리 화상 데이터 헤더가 보존된다. 헤더에는, 도7a에 나타낸 것과 같이, 본 데이터 세트가 거리 화상 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다.

각 프레임에 포함되는 정보를 도7b 에 나타낸다. 각 프레임에는 프레임의 시각을 나타내는 시각 정보(Time information)가 보존되어 있다. 이어서, 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이것은 다음 프레임의 데이터를 참조하기 위한 것이고, 헤더에 함께 보존되어 있어도 된다. 거리 화상 데이터는 카메라 단위로 취득되는 것이기 때문에, 프레임에서 사용된 카메라의 수(Number of Camera) C가 보존된다. 이어서, 순서대로 카메라 ID(Camera ID of Cth Camera)이 보존된다. 이어서, 거리 화상 데이터(Distance Image of Cth Camera)가 보존된다. 거리 화상 데이터의 선두에는, 도7c에 나타낸 것과 같이, 거리 화상의 데이터 사이즈, 거리 화상의 크기, 화소값의 비트 심도, 및 화소값이 래스터 순서로 보존된다.

이하, 각 카메라로부터의 거리 화상 데이터를 계속해서 보존한다. 이때, 카메라에 피사체가 찍히지 않고 있는 경우에는, NULL 데이터를 기록하거나, 피사체 단위로 찍히고 있는 카메라수 C와 해당하는 카메라 ID 만을 보존해도 상관없다.

도8에 메쉬 데이터의 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 메쉬 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 데이터 세트의 선두에는 메쉬 데이터 헤더가 보존된다. 헤더에는, 도8a에 나타낸 것과 같이, 본 데이터 세트가 메쉬 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다.

각 프레임에 포함되는 정보를 도8b에 나타낸다. 각 프레임에는, 프레임의 시각을 나타내는 시각 정보(Time information)가 보존되어 있다. 이어서, 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이것은 다음 프레임의 데이터를 참조하기 위한 것이고, 헤더에 함께 보존되어 있어도 된다. 이어서, 피사체의 수(Number of Object) P가 보존된다. 이하, 피사체마다의 메쉬 데이터가 보존된다. 피사체마다의 메쉬 데이터에는, 선두에 메쉬 데이터를 구성하는 폴리곤 수(Number of Points in Pth Object)가 보존된다. 더구나, 피사체마다의 메쉬 데이터에는, 폴리곤마다의 데이터, 즉 폴리곤의 정점의 좌표 및 폴리곤의 색의 정보(Polygon information in Pth Object)가 보존된다. 이하, 마찬가지로 하여, 시각 정보에 대응하는 시각에 포함되는 피사체 전체의 메쉬 데이터가 보존된다. 이때, 전술한 메쉬 데이터는, 1개의 폴리곤에 1개의 색을 할당하는 메쉬 데이터이지만, 색 정보를 포함하지 않는 메쉬 데이터이어도 된다. 이하의 설명에서는, 도8에 나타낸 메쉬 데이터를, 착색된 메쉬 데이터로 하고, 색 정보를 포함하지 않는 메쉬 데이터를, 간단히 메쉬 데이터라고 한다. 착색된 메쉬 데이터를 사용해서 가상 시점 화상이 생성되는 경우에는, 가상 시점의 위치 및 가상 시점에서의 시선 방향에 상관없이, 폴리곤의 색이 결정한다. 한편, 색 정보를 포함하지 않는 메쉬 데이터를 사용해서 가상 시점 화상이 생성되는 경우, 가상 시점의 위치 및 가상 시점에서의 시선 방향에 따라, 전경 화상을 사용해서 폴리곤에 착색이 된다.

도9에 빌보드 데이터의 데이터 세트의 구성의 일례를 나타낸다. 설명을 위해, 빌보드 데이터 세트는 프레임 단위로 보존되어 있는 것으로 하지만, 이것에 한정되지 않는다. 데이터 세트의 선두에는, 도9a에 나타낸 것과 같이, 빌보드 데이터 헤더가 보존된다. 헤더에는 본 데이터 세트가 빌보드 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다. 각 프레임의 빌보드 데이터에는 프레임의 시간을 나타내는 시간 정보(Time Information)가 보존되어 있다. 이어서, 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이하, 피사체마다 각 카메라의 빌보드 데이터가 보존된다.

빌보드 데이터는 피사체마다 각 카메라에 있어서의 빌보드의 폴리곤 데이터와 텍스처 매핑되는 화상 데이터의 조합으로 보존된다. 우선, 빌보드의 1개의 폴리곤 데이터(Polygon billboard of Cth Camera for Pth Object)가 기재된다. 이어서, 텍스처 매핑하기 위한 전경 화상 데이터(Foreground Image of Cth Camera for Pth Object)가 보존된다. 빌보드 방식은 피사체를 1개의 폴리곤으로서 취급함으로써, 처리와 데이터 량을 대폭 경감할 수 있다. 이때, 빌보드 데이터를 나타내는 폴리곤은, 1개에 한정되지 않고, 메쉬 데이터보다도 적은 폴리곤 수인 것으로 한다.

본 실시형태에서는 정점을 기술하는 좌표계를 3축의 데이터로 하고, 색 정보를 RGB의 삼원색의 값으로 보존하지만, 이것에 한정되지 않는다. 좌표계에서는 극좌표나 그 밖의 좌표계이어도 상관없다. 또한, 색 정보도 균등 색공간이나 휘도, 색도라고 하는 정보로 표현해도 상관없다. 또한, 기존의 포맷, 예를 들면, PLY 포맷이나 STL 포맷이어도 상관없다. 각각의 포맷에 대응하는 데이터 세트 클래스 코드를 준비함으로써 대응가능하다.

<변환부가 행하는 변환 처리의 예 1>

다음에, 변환부(107)가 행하는 변환 처리에 대해 설명한다. 변환부(107)는, 취득부(105)가 취득하고, 보존부(106)에 소정의 형식으로 보존되어 있는 소재 데이터를, 출력처의 장치가 처리가능한 형식으로 변환하는 처리를 행한다. 전술한 것과 같이, 가상 시점 화상의 생성 방법은 복수 종류 있기 때문에, 생성 방법에 의해 사용되는 소재 데이터도 다른 경우가 있다. 한편, 소재 데이터를 생성하는 시스템에 있어서는, 소정의 형식의 소재 데이터 밖에 생성되지 않는 경우가 있다. 이때, 시스템에서 생성된 소재 데이터가, 가상 시점 화상의 생성에 관한 처리를 행하는 장치가 처리할 수 없는 형식인 경우, 가상 시점 화상이 생성되지 않는 것 등의 문제가 생길 수 있다. 이 문제를 해결하기 위해서, 변환부(107)를 거쳐 소재 데이터를 처리가능한 형식으로 변환함으로써, 소재 데이터의 출력처의 장치가 적절히 처리를 행할 수 있게 할 수 있다.

변환부(107)는, 우선, 소재 데이터의 출력처의 장치가 처리가능한 소재 데이터를 특정한다. 송수신부(108)는, 정보 처리장치(100)에 접속된 단말(109)로부터, 단말(109)이 처리가능한 소재 데이터의 형식을 특정하기 위한 정보를 취득한다. 여기에서, 단말(109)이 소재 데이터를 처리가능하다는 것은, 단말(109)이 취득한 소재 데이터의 파일 내의 데이터를 해석하고, 기술되어 있는 내용에 따라 적절히 처리 가능한 것을 가리킨다. 예를 들면, 단말(109)이 대응하고 있지 않아, 판독할 수 없는 소재 데이터의 파일 형식은, 처리 가능하지 않다고 하게 된다. 또한, 단말 112가 소재 데이터를 처리가능하다는 것은, 단말 112가, 취득한 소재 데이터에 근거하여 가상 시점 화상을 생성 가능한 것을 가리킨다. 또한, 본 실시형태에서는, 소재 데이터의 「형식」을 특정한다고 하는 표현을 사용하지만, 소재 데이터의 「종류」, 「구조」, 「서식」 등, 임의의 표현이 사용되어도 된다.

취득되는 정보는, 예를 들면, 단말의 사양, 종별에 관한 정보, 단말의 처리 능력에 관한 정보 등을 포함할 수 있다. 또한 예를 들면, 취득되는 정보는, 단말이 사용하는 가상 시점 화상의 생성 방법, 가상 시점 화상의 생성이나 재생에 사용하는 어플리케이션 및 소프트웨어 등의 정보 등을 포함할 수 있다. 또한 예를 들면, 취득되는 정보는, 단말이 표시가능한 가상 시점 화상의 포맷에 관한 정보 등을 포함할 수 있다. 송수신부(108)는, 취득한 정보를 변환부(107)에 송신한다. 변환부(107)는, 취득한 정보에 근거하여, 단말(109)에 출력하는 소재 데이터의 형식을 특정한다.

또한, 변환부(107)는, 보존부(106)에 보존되어 있는 소재 데이터의 형식을 특정한다. 변환부(107)는, 예를 들면, 보존부(106)에 보존되어 있는 소재 데이터의 데이터 세트 클래스 코드, 및 데이터 세트의 헤더 등을 참조함으로써, 소재 데이터의 종별을 특정한다. 이때, 취득부(105)가 취득하는 소재 데이터의 형식이나 종별이 미리 결정되어 있는 경우에는, 데이터 세트를 참조하지 않아도 된다. 변환부(107)는, 단말(109)에 출력하는 소재 데이터의 형식과, 보존부(106)에 보존되어 있는 소재 데이터의 형식이 일치하지 않는 경우, 보존부(106)에 보존되어 있는 소재 데이터의 변환 처리를 행한다. 송수신부(108)는, 변환 처리에 의해 얻어진 소재 데이터를, 출력처의 장치에 출력한다.

변환 처리의 일례로서, 보존부(106)에는 전경 화상 데이터 세트와 점군 데이터 세트 만이 보존되어 있는 경우에 대해 설명한다. 여기에서, 정보 처리장치(100)에 단말 109c가 접속되어, 단말 109c로부터 거리 화상의 출력이 요구된 것으로 한다. 이 경우, 변환부(107)는 송수신부(108)로부터 입력된 단말 109c로부터의 데이터 세트의 요구와 보존부 309에 보존되어 있는 소재 데이터의 형식을 비교한다. 비교한 결과, 적합한 형식의 소재 데이터가 보존되어 있지 않다고 판정한다. 변환부(107)는, 보존부(106)로부터 점군 데이터 세트를 취득하고, 점군 데이터의 각 점에서 각 카메라까지의 거리를 구해서 거리 화상 데이터를 생성해서 거리 화상 데이터 세트로 변환한다. 즉, 도5의 점군 데이터 세트로부터 도7의 거리 화상 데이터 세트로 변환한다. 송수신부(108)는, 변환 처리에 의해 얻어진 거리 화상 데이터를, 단말(109)에 출력한다.

이와 같이, 변환부(107)는, 단말(109)로부터의 요구에 따라, 보존부(106)에 보존되어 있는 소재 데이터를 소정의 형식으로 변환한다. 이때, 단말(109)로부터 요구되는 소재 데이터의 형식과, 보존부(106)에 보존되어 있는 소재 데이터의 형식이 일치하는 경우에는, 변환 처리는 행해지지 않는다. 이 경우, 예를 들면, 변환부(107)가 보존부(106)에 보존되어 있는 소재 데이터를 취득하고, 변환하지 않고 송수신부(108)에 송신하는 구성이어도 되고, 보존부(106)로부터 직접 송수신부(108)에 송신하는 구성이어도 된다.

변환부(107)는, 전술한 처리의 흐름과 유사한 처리에 의해, 이하와 같이 변환 처리를 행한다. 예를 들면, 보존부(106)에 점군 데이터와 전경 화상 데이터가 보존되어 있는 경우에 있어서는, 단말(109)로부터의 요구에 따라, 착색된 점군 데이터, 거리 화상, 메쉬 데이터 및 전경 화상, 착색된 메쉬 데이터, 빌보드 데이터로 변환할 수 있다. 또한 예를 들면, 보존부(106)에 착색된 점군 데이터가 보존되어 있는 경우에 있어서는, 단말(109)로부터의 요구에 따라, 착색된 메쉬 데이터, 거리 화상, 빌보드 데이터로 변환할 수 있다. 또한 예를 들면, 보존부(106)에 메쉬 데이터와 전경 화상 데이터가 보존되어 있는 경우에 있어서는, 단말(109)로부터의 요구에 따라, 점군 데이터 및 전경 화상 데이터, 착색된 점군 데이터, 착색된 메쉬 데이터, 거리 화상, 빌보드 데이터로 변환할 수 있다. 또한 예를 들면, 보존부(106)에 착색된 메쉬 데이터가 보존되어 있는 경우에 있어서는, 단말(109)로부터의 요구에 따라, 착색된 점군 데이터, 거리 화상, 빌보드 데이터로 변환할 수 있다.

또한 예를 들면, 보존부(106)에 거리 화상 데이터와 전경 화상이 보존되어 있는 경우에 있어서는, 단말(109)로부터의 요구에 따라, 빌보드 데이터로 변환할 수 있다. 또한 예를 들면, 보존부(106)에 빌보드 데이터 및 전경 화상 데이터가 보존되어 있는 경우에 있어서는, 점군 데이터 및 전경 화상 데이터, 착색된 점군 데이터, 메쉬 데이터 및 전경 화상, 착색된 메쉬 데이터, 거리 화상으로 변환할 수 있다. 빌보드 데이터로부터 3차원 형상을 나타내는 점군 데이터나 메쉬 데이터로 변환하는 경우, 예를 들면, 빌보드 데이터를 사용한 시체적교차법을 실행함으로써 변환된다.

이때, 전술한 예에서는, 단말(109)로부터 취득되는 정보에 근거하여, 변환부(107)가 소재 데이터의 변환 처리를 행하는 구성에 대해 설명했지만, 이것에 한정되지 않는다. 변환부(107)는, 소재 데이터의 출력처의 단말이 미리 알고 있는 경우, 단말에 출력하기 위한 소재 데이터를 미리 변환해 두는 것이 가능하다. 예를 들면, 보존부(106)에 점군 데이터 및 전경 화상 데이터가 보존되고, 정보 처리장치(100)에는 단말 109a, b, d가 접속되는 것으로 한다. 단말 109a는 전경 화상과 점군 데이터를 사용해서 가상 시점 화상을 생성한다. 또한, 단말 109b는 착색된 점군 데이터를 사용해서 가상 시점 화상을 생성한다. 또한, 단말 109d는 착색된 메쉬 데이터를 사용해서 가상 시점 화상을 생성한다. 여기에서, 변환부(107)는, 도10a에 나타낸 테이블을 참조하여, 보존부(106)에 보존되어 있는 점군 데이터 및 전경 화상 데이터를 무엇으로 변환할 것인지를 결정한다. 도10a에 있어서의 변환 플래그는, 변환하는 경우를 「1」, 변환하지 않는 경우를 「0」으로 나타내고 있다. 변환부(107)는, 변환 플래그의 값에 근거하여, 점군 및 전경 화상 데이터를, 착색된 점군 데이터, 및 착색된 메쉬 데이터로 변환한다. 송수신부(108)는, 변환부(107)의 변환 처리에 의해 생성된 착색된 점군 데이터 및 착색된 메쉬 데이터를, 각각 단말 109b, 109d에 출력한다. 또한, 송수신부(108)는, 단말 109a에 대해서는, 보존부(106)에 보존되어 있는 점군 데이터 및 전경 화상 데이터를 출력한다.

이상에서 설명한 구성에 의해, 취득부(105)가 취득한 소재 데이터의 종별이, 단말(109)로부터 요구되는 소재 데이터의 종별과 다른 경우에 있어서도, 적절한 형식으로 변환해서 출력할 수 있다. 이때, 전술한 예에서는, 점군 데이터 및 전경 화상 데이터가 취득되는 예에 대해 설명했지만, 다른 소재 데이터가 취득되는 경우에 대해서도 마찬가지로 변환 처리가 행해진다.

<변환부가 행하는 변환 처리의 예 2>

다음에, 변환부(107)가 행하는 변환 처리의 다른 예에 대해 설명한다. 변환부(107)는, 소재 데이터의 종별의 변환 뿐만 아니라, 소재 데이터의 내용을 변환하는 것이 가능하다. 여기에서는, 변환되는 내용으로서, 소재 데이터의 데이터 량을 특정하는 정보인 해상도 및 프레임 레이트에 대해 설명한다. 더구나, 변환되는 내용으로서, 포맷에 대해서도 설명한다.

우선, 소재 데이터의 해상도의 변환 처리에 대해 설명한다. 예를 들면, 보존부(106)에 점군 데이터가 보존되어 있는 경우, 변환부(107)는, 점군 데이터의 해상도를 변경하는 것이 가능하다. 여기에서 말하는 해상도는, 점군 데이터를 구성하는 복수의 점의 밀도를 나타낸 것으로 한다. 복수의 점의 밀도는, 피사체의 3차원 형상을 나타내는데 사용되는 점의 수에 대응한다. 복수의 점의 밀도가 클수록, 보다 세밀하게 3차원 형상을 표현할 수 있으므로, 해상도는 보다 높아진다. 한편, 복수의 점의 밀도가 작을수록, 해상도는 보다 낮아진다. 변환부(107)는, 단말(109)로부터 취득되는 정보에 따라, 점군 데이터를 구성하는 점의 밀도를 보다 크게 하거나(해상도를 높게 하거나), 또는, 밀도를 보다 작게 하도록(해상도를 낮게 하도록) 변환 처리를 행한다. 변환부(107)는, 밀도를 크게 하는 경우에는, 예를 들면, 복수의 점의 사이를 보간하는 처리를 행한다. 또한, 변환부(107)는, 밀도를 크게 하는 경우에는, 점을 솎아내는 처리를 행한다. 점의 보간처리 및 점을 솎아내는 처리는, 점군 데이터에 대하여 한결같이 행해져도 되고, 임의의 방법으로 행해져서 된다. 예를 들면, 선수의 얼굴 부분은, 선수의 몸 부분보다도 점의 밀도가 높아지도록, 점의 보간처리 및 점을 솎아내는 처리를 행해도 된다. 또한, 변환부(107)는, 점군 데이터의 점의 보간 또는 솎아냄을 행한 경우, 보존부(106)에 보존되어 있는 점군 데이터의 내용을 변경한다. 이 경우, 변환부(107)는, 도5b에 있어서의 점의 좌표의 정보의 추가 및 삭제를 행한다.

전술한 점군 데이터의 해상도의 변환 방법은, 착색된 점군 데이터에 있어서도 적용가능하다. 또한, 보존부(106)에 보존되어 있는 소재 데이터가, 소정의 체적을 갖는 복셀의 집합인 복셀 데이터인 경우에 대해 설명한다. 복셀 데이터의 해상도는, 3차원 형상을 나타내는 복셀 한개당의 크기(복셀 사이즈)에 대응한다. 복셀 사이즈가 작을수록, 보다 세밀하게 3차원 형상을 표현할 수 있으므로, 해상도는 보다 높아진다. 한편, 복셀 사이즈가 클수록, 해상도는 보다 낮아진다. 변환부(107)는, 단말(109)로부터 취득되는 정보에 따라, 복셀 데이터를 구성하는 복셀의 크기를 보다 작게 하거나(해상도를 높게 하거나), 또는, 보다 크게 하도록(해상도를 낮게 하도록) 변환 처리를 행한다.

또한, 보존부(106)에 보존되어 있는 소재 데이터가 메쉬 데이터인 경우에 대해 설명한다. 메쉬 데이터의 해상도는, 메쉬 데이터를 구성하는 폴리곤의 크기(폴리곤 사이즈)에 대응한다. 폴리곤 사이즈가 작을수록, 보다 세밀하게 3차원 형상을 표현할 수 있으므로, 해상도는 보다 높아진다. 한편, 폴리곤 사이즈가 클수록, 해상도는 보다 낮아진다. 변환부(107)는, 단말(109)로부터 취득되는 정보에 따라, 메쉬 데이터를 구성하는 폴리곤의 크기를 보다 작게 하거나(해상도를 높게 하거나), 또는, 보다 작게 하도록(해상도를 낮게 하도록) 변환 처리를 행한다. 폴리곤의 크기의 변환 방법으로서는, 예를 들면, 폴리곤의 정점의 수를 늘리거나(폴리곤의 수를 늘리거나), 또는 정점의 수를 줄이는(폴리곤의 수를 줄이는) 것 등의 처리에 의해 행해진다. 또한, 변환부(107)는, 폴리곤의 정점의 수를 변경한 경우, 변경 처리에 따라, 도8b에 나타낸 폴리곤 정보의 내용을 변경한다. 이상에서 설명한 메쉬 데이터의 해상도의 변환 처리는, 착색된 메쉬 데이터에도 적용가능하다.

또한, 변환부(107)는, 전경 화상의 해상도를 변환한다. 변환부(107)는, 예를 들면, 초해상 처리에 의해 화소값의 정보를 늘리거나(해상도를 높게 하거나), 또는, 복수의 화소값의 평균값을 한개의 화소값으로 치환하는 것 등을 해서 화소값의 정보를 줄이는(해상도를 낮게 하는) 처리를 행하는 것이 가능하다. 이때, 전경 화상의 해상도의 변환은, 점군 데이터나 메쉬 데이터 등, 전경 화상을 사용해서 착색되는 소재 데이터에 대응시켜 행해지는 구성으로 한다. 변환부(107)는, 예를 들면, 점군 데이터 또는 메쉬 데이터의 해상도를 보다 낮게 하도록 변환한 경우, 전경 화상의 해상도도 낮게 하도록 변경한다. 또한 예를 들면, 변환부(107)는, 점군 데이터 또는 메쉬 데이터의 해상도를 보다 높게 하도록 변환한 경우, 전경 화상의 해상도도 높게 하도록 변경한다. 단 이것에 한정되지 않고, 예를 들면, 점군 데이터 또는 메쉬 데이터의 해상도를 보다 낮게 한 경우에도, 전경 화상의 해상도는 변경하지 않는 구성이어도 된다. 이와 같이 함으로써, 3차원 형상은 거칠게 표현되지만, 색은 실제의 피사체의 색에 가까운 상태가 되어, 데이터 량을 삭감하면서 가상 시점 화상의 화질의 저하가 억제된다고 하는 효과가 있다.

이때, 변환부(107)는, 점군 데이터에 있어서의 점의 좌표값, 메쉬 데이터에 있어서의 메쉬의 정점의 좌표값, 및, 거리 화상 데이터에 있어서의 거리의 값의 정밀도를 변환하는 처리를 행해도 된다. 즉, 변환부(107)는, 이들 값을, 부동 소수점, 고정 소수점, 정수 중 어느 한개로 변환함으로써, 데이터의 정밀도를 변경하는 처리를 행하는 것이 가능하다. 또한, 변환부(107)는, 전경 화상의 화소값에 대하여, 양자화처리 등에 의해 비트 심도를 보다 작게 하고, 및, 보간처리 등에 의해 비트 심도를 보다 크게 하는 변환 처리를 행해도 된다.

다음에, 소재 데이터의 프레임 레이트의 변환 처리에 대해 설명한다. 변환부(107)는, 보존부(106)에 보존되어 있는 소재 데이터의 프레임 레이트를 크게 하거나 또는 작게 하도록 변환 처리를 행하는 것이 가능하다. 예를 들면, 보존부(106)에 보존되어 있는 소재 데이터의 프레임 레이트가 60fps인 경우에 대해 설명한다. 변환부(107)는, 프레임 레이트를 크게 하는 경우, 예를 들면, 프레임을 보간 생성하여, 120fps로 한다. 또한, 변환부(107)는, 예를 들면, 프레임 레이트를 작게 하는 경우, 예를 들면, 프레임을 솎아내는 처리를 행하여, 30fps로 한다. 이때, 변경후의 프레임 레이트의 값과, 프레임 레이트의 변경의 방법은 이것에 한정되지 않는다. 예를 들면, 데이터 세트의 시퀀스에 있어서의 특정한 범위만 프레임 레이트를 변경해도 된다. 이때, 프레임 레이트의 변경은, 전경 화상 데이터, 점군 데이터, 메쉬 데이터, 거리 화상 데이터, 빌보드 데이터 등 어느 종별의 소재 데이터에도 적용가능하다.

다음에, 소재 데이터의 포맷의 변환 처리에 대해 설명한다. 여기에서 말하는 포맷은, 예를 들면, 파일의 확장자나, 데이터의 구조 등을 가리키는 것으로 한다. 변환부(107)는, 예를 들면, 단말(109)이 처리가능한 소재 데이터의 파일의 확장자와, 보존부(106)에 보존되어 있는 소재 데이터의 파일의 확장자가 다른 경우, 파일의 포맷의 변환 처리를 행한다. 이 처리는, 어느쪽의 종별의 소재 데이터에도 적용가능하다. 또한 예를 들면, 변환부(107)는, 보존부(106)에 보존되어 있는 메쉬 데이터를 구성하는 폴리곤의 형상을 변경하는 처리를 행해도 된다. 예를 들면, 보존부(106)에 보존되어 있는 메쉬 데이터의 폴리곤의 형상이 삼각형이고, 단말(109)이 처리가능한 메쉬 데이터의 폴리곤의 형상이 육각형인 경우에, 변환부(107)는 폴리곤의 형상을 삼각형으로부터 육각형으로 변환하는 처리를 행한다. 이와 같이, 변환부(107)는, 폴리곤의 형상을 임의의 다각형으로 변경할 수 있다.

이상에서 설명한 예에서는, 단말(109)로부터 취득되는 정보에 근거하여, 소재 데이터의 해상도, 프레임 레이트, 및 포맷의 변환 처리가 행해지는 것으로 했지만, 이것에 한정되지 않는다. 변환부(107)는, 소재 데이터의 출력처의 단말이 미리 알고 있는 경우, 단말에 출력하기 위한 소재 데이터를 미리 변환해 두는 것이 가능하다. 이 경우, 변환부(107)는, 예를 들면, 도10b에 나타낸 것과 같은 테이블을 참조하여, 소재 데이터의 변환 처리를 행한다. 도10b의 예에 있어서는, 변환부(107)는, 보존부(106)에 보존되어 있는 점군 데이터의 해상도가 낮아지도록 변환하여, 프레임 레이트를 작게 하도록 변환한다.

소재 데이터의 해상도, 프레임 레이트 등의 데이터 량을 특정하기 위한 정보의 변환을 행함으로써, 예를 들면, 단말의 처리 능력이나 표시 능력에 따른 소재 데이터를 출력하는 것이 가능해진다. 예를 들면, 소재 데이터의 해상도가 4K 상당이고, 단말이 8K 영상을 표시가능하는 경우, 변환부(107)는 소재 데이터의 해상도를 높게 하도록 변환한다. 반대로, 단말이 2K 영상 밖에 표시할 수 없는 경우, 변환부(107)는 소재 데이터의 해상도를 낮게 하도록 변환한다.

<정보 처리장치의 동작>

다음에, 정보 처리장치(100) 및, 정보 처리장치로부터 소재 데이터를 취득하는 단말(109)의 동작에 대해서, 도11의 플로우차트를 사용하여 설명한다. 도11의 처리는, 가상 시점 화상 생성 시스템(1)에 있어서의 각 장치가 갖는 CPU가, ROM 또는 외부 기억장치에 기억된 프로그램을 판독해서 실행함으로써 실현된다. 정보 처리장치(100)의 전원이 ON이 되면, 처리가 개시된다.

S1100에 있어서, 취득부(105)는, 다른 장치로부터 소재 데이터를 취득한다. 여기에서는, 취득부(105)는, 소재 데이터 생성부(104)가 생성한 소재 데이터를 취득한다. S1101에 있어서, 취득부(105)는, 취득한 소재 데이터를, 전술한 포맷으로 보존부(106)에 보존한다. S1102에 있어서, 송수신부(108)는, 정보 처리장치(100)에 접속된 단말(109)로부터, 소재 데이터의 출력의 요구를 수신한다. 이때, 송수신부(108)는, 단말(109)로부터, 단말(109)이 처리가능한 소재 데이터의 형식을 특정하기 위한 정보를 취득한다. 이때, 송수신부(108)가 단말로부터 취득하는 정보는 전술한 것에 한정되지 않고, 예를 들면, 점군 데이터 등의 특정한 소재 데이터를 지정하는 정보이어도 된다. 또한, 정보 처리장치(100)는, 복수의 단말의 종별과 각각의 단말에 출력해야 할 소재 데이터를 대응시킨 테이블을 미리 외부 기억장치 등에 유지해 두고, 송수신부(108)는 이 테이블을 취득하는 구성이어도 된다. 송수신부(108)는, 취득한 정보를 변환부(107)에 송신한다.

또한, S1102에 있어서, 송수신부(108)는, 소재 데이터의 시퀀스를 특정하는 정보를 취득한다. 시퀀스를 특정하는 정보는, 예를 들면, 시퀀스 명일 수 있다. 송수신부(108)는, 취득한 시퀀스 명 등의 정보를 변환부(107)에 송신하고, 대응하는 시퀀스가 취득되도록 지시한다.

S1103에 있어서, 변환부(107)는, 보존부(106)에 보존되어 있는 소재 데이터의 형식과, 송수신부(108)로부터 취득된 정보에 근거하여, 소재 데이터의 변환 처리가 필요한지를 판정한다. 변환부(107)는, 송수신부(108)로부터 취득된 정보에 근거해서 특정되는, 단말(109)에 출력하는 소재 데이터의 형식이, 보존부(106)에 보존되어 있는 소재 데이터의 형식과 일치하지 않는 경우, 변환 처리가 필요하다고 판정한다(S1103에서 Yes). 그리고, 변환부(107)는, S1104에 있어서, 보존부(106)에 보존되어 있는 소재 데이터의 변환 처리를 행한다. 한편, 변환부(107)는, 단말(109)에 출력하는 소재 데이터의 형식이, 보존부(106)에 보존되어 있는 소재 데이터의 형식과 일치하는 경우, 변환 처리가 불필요하다고 판정하여(S1103에서 No), S1104를 스킵한다.

S1105에 있어서, 송수신부(108)는, 변환부(107)로부터 취득된 소재 데이터를, 단말(109)에 출력한다. S1106에 있어서, 단말(109)은 소재 데이터를 취득하고, S1107 및 S1108의 처리를 실행한다. S1107 및 S1108의 처리는, 생성되는 가상 시점 화상의 프레임마다 반복하여 행해진다.

S1107에 있어서, 단말(109)은, 유저 조작 등에 근거하여, 가상 시점의 위치 및 가상 시점에서의 시선 방향을 결정한다. S1108에 있어서, 단말(109)은, 정보 처리장치(100)로부터 취득한 소재 데이터와, 결정한 가상 시점의 위치 및 가상 시점에서의 시선 방향에 근거하여, 가상 시점 화상을 생성한다. 단말 109a와 같이 전경 화상 데이터와 점군 데이터로부터 가상 시점 영상을 생성하는 단말에 있어서는, 최초에 가상 시점 화상에 있어서의 점군 데이터의 점의 위치를 특정한다. 또한, 점의 위치에 대응하는 화소값을, 전경 화상 데이터의 사영에 의해 착색함으로써, 가상 시점 화상이 생성된다. 전경 화상 데이터와 점군 데이터로부터 가상 시점 화상을 생성하는 방법에 있어서는, 가상 시점의 위치 및 가상 시점에서의 시선 방향에 따라, 점에 착색되는 색이 변화한다. 단말 109b와 같은 착색된 점군 데이터로부터 가상 시점 화상을 생성하는 단말에 있어서도, 최초에 가상 시점 영상에 있어서의 점군 데이터의 점의 위치를 특정한다. 특정된 점의 위치에 대응하는 화소값을, 점에 대응된 색으로 착색함으로써, 가상 시점 화상이 생성된다. 착색된 점군을 사용해서 가상 시점 화상을 생성하는 방법에 있어서는, 각 점에 대응하는 색은 고정이므로, 가상 시점의 위치 및 가상 시점에서의 시선 방향에 상관없이 소정의 색으로 착색된다.

단말 109c와 같이 거리 화상 데이터와 전경 화상 데이터로부터 가상 시점 화상을 생성하는 단말에 있어서는, 복수의 거리 화상 데이터로부터 가상 시점 화상 위의 물체의 위치를 특정하고, 전경 화상을 사용한 텍스처 매핑에 의해 가상 시점 화상을 생성한다. 단말 109d와 같이 메쉬 데이터로부터 가상 시점 화상을 생성하는 단말에 대해서는, 통상의 컴퓨터 그래픽스 마찬가지로, 가상 시점에서 보이는 면에 색의 값과 화상을 부착함으로써, 가상 시점 화상이 생성된다.

S1109에 있어서, 단말(109)은, 생성한 가상 시점 화상을 표시부에 표시한다. S1110에 있어서, 단말(109)은, 반복 처리를 종료할 것인지를 판정한다. 예를 들면, 유저의 지시 등에 의해 가상 시점 화상의 생성이 종료하면, 반복 처리가 종료한다.

이상의 구성과 동작에 의해, 정보 처리장치(100)는, 단말(109)이 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여 변환 처리를 행하고, 얻어진 소재 데이터를 단말(109)에 출력한다. 이에 따라, 정보 처리장치(100)가 유지하는 소재 데이터의 형식과, 단말이 처리가능한 소재 데이터의 형식이 다른 경우에도, 단말이 처리가능한 소재 데이터를 출력할 수 있다. 이때, 도11에 나타낸 처리에 있어서는, S1104에 있어서 변환 처리가 행해진 후에, 가상 시점 화상의 프레임마다의 처리가 행해지는 것으로 했지만, 이것에 한정되지 않는다. 즉, 정보 처리장치(100)는, 결정된 가상 시점에 따라 보존부 108에 보존되어 있는 소재 데이터를 판독하고, 변환 처리를 행해서 단말(109)에 소재 데이터를 출력해도 된다. 이 경우, 예를 들면, 도11에 있어서의 S1102로부터 S1104까지의 처리가, S1107과 S1108 사이에 행해진다.

또한, 정보 처리장치(100)는, 변환부(107)에 의해 취득된 변환후의 소재 데이터를 보존부(106)에 보존하는 구성이어도 된다. 이때, 변환 처리에 의해 생성된 소재 데이터는, 같은 보존부(106)에 보존되어도 되고, 소재 데이터의 종별마다 다른 보존부에 보존되는 구성이어도 된다. 더구나, 다른 보존부에 보존되는 경우, 정보 처리장치(100)가 복수의 보존부를 갖는 구성이어도 되고, 각 보존부가 다른 장치로서 가상 시점 화상 생성 시스템(1)에 포함되는 구성이어도 된다. 복수 종류의 소재 데이터가 각각 다른 보존부에 보존되는 경우, 정보 처리장치(100)는, 단말(109)에 출력하는 소재 데이터가 보존되어 있는 장소를 나타내는 포인터 등의 정보를 단말(109)에 출력하는 구성으로 한다. 이에 따라, 단말(109)은, 가상 시점 화상의 생성에 필요한 소재 데이터가 보존되어 있는 보존부에 액세스하여, 소재 데이터를 취득할 수 있다.

(제1실시형태의 변형예)

제1 실시형태에서는, 가상 시점 화상 생성 시스템(1)에 있어서 소재 데이터가 생성되고, 정보 처리장치에 있어서의 취득부(105)에 의해 취득되는 구성에 대해 설명했지만, 이것에 한정되지 않는다. 정보 처리장치(100)는, 예를 들면, 다른 시스템에서 생성된 소재 데이터를 취득하거나, 복수의 장치로부터 소재 데이터를 취득하는 것이 가능하다. 그리고, 정보 처리장치(100)는, 취득한 소재 데이터를 단말(109)에 맞춘 형식으로 변환하고, 단말(109)에 출력할 수 있다.

또한, 제1실시형태에서는 전경 화상을 피사체마다 분할해서 보존했지만, 이것에 한정되지 않고, 카메라에서 촬상된 화상 자체를 보존해도 상관없다. 또한, 제1실시형태에서는 점군 데이터를 프레임 단위로 보존했지만, 이것에 한정되지 않는다. 예를 들면, 각 피사체의 식별을 행하고, 피사체 단위로 보존하는 것도 가능하다.

또한, 제1 실시형태에서는, 3차원 형상 데이터를 식별하기 위해서, 데이터를 식별하기 위한 정보를 시퀀스의 헤더에 넣었지만, 이것에 한정되지 않고, 데이터와 관련시킨 리스트 등으로 관리해도 상관없다. 또한, 보존부(106)에 보존되는 소재 데이터는 부호화되어 있어도 상관없다. 이때, 취득부(105)는, 소재 데이터를 보존부(106)에 보존할 때에 부호화하는 구성이어도 되고, 소재 데이터 생성부(104)가 부호화 처리를 행한 소재 데이터를 취득하는 구성이어도 된다.

또한, 제1실시형태에 있어서는, 전경 화상 데이터와 점군 데이터를 다른 데이터 세트로서 보존했지만, 이것에 한정되지 않는다. 도12에 전경 화상 데이터와 점군 데이터를 통합한 전경 화상·점군 데이터 세트의 구성의 일례를 나타낸다. 도12에 나타낸 포맷은, 도4의 전경 화상 데이터 세트와 마찬가지로 데이터 세트의 선두에는 전경 화상·점군 데이터 헤더(Foreground & Point Cloud Model Header)가 보존된다. 이 데이터 헤더에는, 헤더에는 본 데이터 세트가 전경 화상·점군 데이터의 데이터 세트인 것과, 프레임 수 등이 보존되어 있다. 이어서, 각 프레임의 전경 화상 데이터와 점군 데이터가 보존된다. 각 프레임의 전경 화상·점군 데이터에는 프레임의 시각을 나타내는 시각 정보(Time information), 프레임의 데이터 사이즈(Data Size)가 보존되어 있다. 이어서, 시각 정보가 나타내는 시각에 대응하는 피사체의 수(Number of Object) P가 보존된다. 더구나 그 시점에서 촬상에 사용된 카메라의 대수(Number of Camera) C가 보존된다. 이어서, 사용된 카메라의 카메라 ID(Camera ID of Cth Camera)이 보존된다. 이어서, 각 피사체의 데이터가 보존된다. 우선, 도5의 점군 데이터와 마찬가지로 피사체의 점군을 구성하는 좌표 점수가 보존된다. 이하, 점의 좌표가 보존된다. 이어서, 피사체를 찍은 각 카메라의 전경 화상 데이터가 도4와 마찬가지로 순서대로 격납된다. 이하, 피사체마다 점군 데이터와 전경 화상 데이터를 보존한다.

이상과 같이 구성함으로써, 렌더러인 단말에 의해 필수적인 조합의 데이터 세트를 통합해서 보존 할 수 있다. 이에 따라, 데이터의 판독을 간이화하는 것이 가능해진다. 이때, 여기에서는 점군 데이터와 전경 화상 데이터를 통합한 포맷에 대해 설명했지만, 이것에 한정되지 않는다. 예를 들면, 거리 화상과 전경 화상을 통합한 포맷이나, 3개 이상의 소재 데이터를 통합한 포맷 등, 임의의 데이터를 조합해서 통합한 포맷을 구성하는 것이 가능하다. 또한, 변환부(107)는, 여기에서 서술한 것 같은 소재 데이터의 통합, 및, 통합된 소재 데이터의 분리 등의 변환도 가능하다.

또한, 도16과 같이 간단히 점군 데이터의 프레임 데이터와 전경 화상 데이터의 프레임 데이터를 인터리브해서 교대로 격납하는 구성이어도 된다. 마찬가지로 점군 데이터 대신에, 거리 화상 데이터가 격납되어도 상관없다. 또한 변환부(107)는, 소재 데이터를 도16과 같은 데이터 구성으로 변환하는 것도 가능하다.

또한, 소재 데이터를 오브젝트 단위로 관리해도 상관없다. 도13에 일례를 나타낸다.

시퀀스의 새로운 데이터 세트로서, 오브젝트 데이터 세트를 정의한다. 이때, 오브젝트 데이터 세트는 복수 존재해도 상관없다. 예를 들면, 피사체의 소속하는 팀마다 등, 소정의 단위로 설치할 수 있다.

오브젝트 데이터 세트의 선두의 오브젝트 데이터 헤더에는, 오브젝트 데이터 세트의 시작인 것을 나타내는 오브젝트 데이터 헤더 스타트 코드(Object Data Header)가 보존된다. 더구나, 오브젝트 데이터 헤더에는, 데이터 사이즈(Data size)가 보존된다. 이어서, 오브젝트 데이터 세트에 포함되는 피사체의 수(Number of Object) P가 보존된다. 이하, 피사체마다 데이터의 정보가 기보존된다.

피사체 데이터의 정보(Pth Object Data Description)에는, 피사체의 ID 번호(Object ID)와, 피사체 데이터의 정보의 크기(Data Size)가 보존된다. 이어서, 데이터 세트로서의 데이터의 종별을 나타내는 데이터 세트 클래스 코드(Data set class code)가 보존된다. 또한, 피사체의 오브젝트 데이터에의 포인터(Pointer of object data)가 보존된다. 또한, 피사체에 관한 메타데이터(Meta data)가 보존된다. 메타데이터에는, 예를 들면, 스포츠이면, 선수의 이름, 소속팀, 등 번호 등의 정보 등을 보존할 수 있다.

각 오브젝트 데이터에는, 데이터 세트 클래스 코드에 근거한 데이터가 보존된다. 도13은, 전경 화상과 점군 데이터를 통합한 데이터 세트의 예다. 선두에 헤더로서, 오브젝트 데이터 세트의 크기, 선두 프레임의 시각 정보, 프레임 레이트 등이 보존된다. 이하, 프레임 단위의 데이터가 보존된다. 프레임 단위의 데이터에서는 선두에 그 프레임의 시각 정보(Time information) 및 프레임의 데이터의 크기(Data size)가 보존된다. 이어서, 피사체의 프레임에서의 점군 데이터의 크기(Data Size of Point Cloud)와 점수(Number of Points)가 보존된다. 이하, 점군의 점의 좌표(Point coordination)가 보존된다. 이어서, 피사체가 찍히고 있었던 카메라의 대수(Number of Camera) C가 보존된다. 이하, 각각의 카메라의 카메라 ID(Camera ID of 1st∼Cth Camera)과 전경 화상 데이터(Data Size of Foreground image of 1st∼Cth Camera)가 보존된다. 이하, 카메라마다 카메라 ID와 전경 화상 데이터가 보존된다.

이때, 오브젝트 데이터의 데이터 세트가 착색된 점군 데이터이면, 도14a와 같이 데이터 세트 클래스 코드가 설정되고, 각 프레임의 데이터로서, 시각 정보, 데이터의 크기, 착색된 점군의 점의 수, 착색된 점군의 데이터가 보존된다. 또한, 오브젝트 데이터의 데이터 세트가 메쉬 데이터이면, 도14b와 같이 데이터 세트 클래스 코드가 설정되고, 각 프레임의 데이터로서, 시각 정보, 데이터의 크기, 폴리곤의 수, 각 폴리곤의 데이터가 보존된다. 또한, 오브젝트 데이터의 데이터 세트가 거리 화상이면, 도14c와 같이 데이터 세트 클래스 코드가 설정되고, 각 프레임의 데이터로서, 시각 정보, 데이터의 크기, 카메라의 수, 각 거리 화상의 데이터가 보존된다.

이와 같이, 데이터를 피사체마다 관리하고, 출력함으로써, 예를 들면, 선수나 공연자의 피사체를 지정하고, 지정된 피사체 중심의 화상을 판독할 때까지의 시간을 단축할 수 있다. 지정된 선수의 움직임을 중심으로 한 화상이나, 피사체의 후방을 추종하도록 하는 가상 시점 화상의 생성시에 유효하다. 또한, 지정된 선수의 검색도 간단하게 행하는 것도 가능해진다. 또한, 변환부 106은, 도4∼9에 나타낸 것과 같은 프레임 단위로 데이터를 관리하는 형식으로부터, 도13, 14a∼c에 나타낸 것과 같이 피사체마다 데이터를 관리하는 형식으로 변환하는 것이 가능하다. 물론, 도13, 14a∼c의 형식으로부터 도4∼9의 형식으로 변환하는 것도 가능하다.

또한, 취득부(105)는, 도15와 같이, 소재 데이터의 종별마다 시퀀스를 구성해도 상관없다. 예를 들면, 취득부(105)가 취득하는 소재 데이터가 전경 화상 데이터와 점군 데이터인 경우, 도15에 나타낸 것과 같이, 전경 화상 데이터와 점군 데이터의 각각에서 시퀀스를 생성하야, 보존부(106)에 보존한다. 이 구성에 따르면, 출력처의 단말이 사용하는 렌더링 방법에 맞춰서 시퀀스를 함께 출력할 수 있으므로, 신속하게 출력하는 것이 가능해진다. 또한, 변환부(107)는, 도3과 같이 소재 데이터가 합쳐서 1개의 시퀀스로 되어 있는 형식으로부터, 도15와 같이 소재 데이터마다 분할된 시퀀스로 변환하는 것이 가능하다. 물론, 도15의 형식으로부터 도3의 형식으로 변환하는 것도 가능하다. 또한, 변환부(107)는, 출력처의 장치가 소재 데이터를 처리할 수 있도록, 소재 데이터의 헤더 등에 소정의 정보를 부여하는 처리를 행하는 구성이어도 된다. 반대로, 변환부(107)는, 출력처의 장치에 있어서 불필요한 메타데이터 등의 정보를 삭제하는 처리를 행하는 구성이어도 된다.

또한, 본 실시형태에 있어서는, 정보 처리장치(100)는, 소재 데이터 생성부(104) 및 단말(109)과는 다른 장치인 것으로 설명했지만. 이것에 한정되지 않는다. 즉, 정보 처리장치(100)가, 소재 데이터를 생성하는 장치, 또는, 소재 데이터를 취득하는 장치와 일체가 되어 있는 구성이어도 된다.

정보 처리장치(100)의 기능이, 소재 데이터 생성부(104)를 포함하는 소재 데이터 생성 장치에 포함되는 경우에 대해 설명한다. 이 경우, 취득부(105) 및 변환부(107)는, 생성되는 소재 데이터의 종별을 미리 특정할 수 있다. 따라서, 변환부(107)는, 단말(109)로부터 취득되는 단말(109)이 처리가능한 소재 데이터를 특정하기 위한 정보와, 도10a, 도10b에 나타낸 테이블 등을 참조하여, 소재 데이터의 변환 처리를 행한다.

한편, 정보 처리장치(100)의 기능이, 소재 데이터를 취득해서 가상 시점 화상의 생성에 관한 처리를 행하는 장치에 포함되어 있는 경우에 대해 설명한다. 예를 들면, 정보 처리장치(100)의 기능이, 단말(109)에 포함되는 것으로 한다. 이 경우, 변환부(107)는, 단말이 처리가능한 소재 데이터의 형식을 미리 특정할 수 있다. 따라서, 변환부(107)는, 다른 장치로부터 취득한 소재 데이터의 형식을, 미리 특정한 소재 데이터의 형식으로 변환한다. 이때, 취득하는 소재 데이터의 종별 등을 특정하는 정보(예를 들면, 데이터 세트 클래스 코드 등)가 소재 데이터에 부여됨으로써, 변환부(107)는 어느쪽의 변환 처리를 행하면 되는지를 결정할 수 있다.

또한, 제1 실시형태에서는, 단말(109)이 처리가능한 소재 데이터의 형식을 특정하기 위한 정보는, 단말의 종별 등, 변화되지 않는 정보인 것을 중심으로 설명했지만, 이것에 한정되지 않는다. 즉, 단말(109)이 처리가능한 소재 데이터의 형식을 특정하기 위한 정보는, 동적으로 변화하는 정보이어도 된다. 예를 들면, 단말(109)이 처리부하의 증대 등에 의해, 처리가능한 소재 데이터가 변화한 경우, 단말(109)은 정보 처리장치(100)에 대하여, 다시 정보를 송신한다. 이에 따라, 정보 처리장치(100)는, 단말(109)에 출력하는 적절한 소재 데이터를 결정하여, 변환 처리를 행할 수 있다. 더구나, 정보 처리장치(100)는, 단말(109)과의 통신로의 통신 대역의 변화에 따라, 변환 처리에 의해 생성하는 소재 데이터를 동적으로 결정해도 된다.

(제2실시형태)

제1 실시형태에서는 단말(109)이 가상 시점 화상을 생성하는 경우의 시스템의 구성에 대해 설명하였다. 본 실시형태에서는, 정보 처리장치가 가상 시점 화상을 생성하는 구성에 대해 설명한다. 이때, 본 실시형태의 정보 처리장치(200)의 하드웨어 구성은, 제1실시형태와 같기 때문에 설명을 생략한다. 이때, 제1실시형태와 같은 기능 구성에 대해서는, 동일한 부호를 붙이고, 설명을 생략한다.

도17은, 정보 처리장치(200)를 갖는 가상 시점 화상 생성 시스템(2)의 구성을 설명하기 위한 도면이다. 정보 처리장치(200)는, 제1실시형태의 정보 처리장치(100)와 동일한 구성 이외에, 변환부(201), 가상 시점 화상 생성부(202), 및 송수신부(203)를 갖는다. 단말(202a∼d)은, 유저 조작 등에 근거하여 가상 시점을 설정하고, 설정한 가상 시점의 위치 및 가상 시점에서의 시선 방향을 나타내는 가상 시점 정보를 정보 처리장치(200)에 송신한다. 단말(204a∼d)은 가상 시점 화상을 생성하는 기능(렌더러)을 갖지 않고, 가상 시점의 설정과 가상 시점 화상의 표시 만을 행한다. 이후의 설명에 있어서는, 특별히 구별할 이유가 없는 경우, 단말(204a∼d)을 간단히 단말(204)로 기재한다.

송수신부(203)는, 단말(204)로부터 가상 시점 정보를 수신하여, 가상 시점 화상 생성부(202)에 송신한다. 또한, 송수신부(203)는, 단말(204)에 출력하는 가상 시점 화상의 종별을 특정하기 위한 정보를 단말(204)로부터 취득한다. 또한, 송수신부(203)는, 생성된 가상 시점 화상을, 가상 시점 정보를 송신한 단말에 송신하는 기능을 구비한다. 가상 시점 화상 생성부(202)는, 가상 시점 정보와, 보존부(106) 또는 변환부(201)로부터 취득되는 소재 데이터에 근거하여, 가상 시점 화상을 생성한다. 소재 데이터를 사용한 가상 시점 화상의 생성 방법은, 제1실시형태에서 설명한 방법과 같다.

변환부(201)는, 단말(204)에 출력하는 가상 시점 화상의 형식에 따라, 제1실시형태에 있어서의 변환 처리와 유사한 처리에 의해, 보존부(106)에 보존되어 있는 소재 데이터의 변환을 행한다. 예를 들면, 보존부(106)에 점군 데이터 및 전경 화상 데이터가 보존되어 있고, 가상 시점 화상의 출력처인 단말(204)이, 착색된 메쉬 데이터에 근거하여 생성되는 가상 시점 화상을 표시하는 것으로 한다. 이 경우, 변환부(201)는, 보존부(106)에 보존되는 점군 데이터 및 전경 화상 데이터를, 착색된 메쉬 데이터로 변환한다. 가상 시점 화상 생성부(202)는, 변환부(201)에 의한 변환 처리에 의해 취득되는 착색된 메쉬 데이터를 사용해서 가상 시점 화상을 생성하고, 송수신부(203)를 거쳐 단말(204)에 출력한다. 또한 예를 들면, 예를 들면, 보존부(106)에 점군 데이터 및 전경 화상 데이터가 보존되어 있지만, 단말(204)은 표시 능력의 관계에 의해, 보존부(106)에 보존되는 점군 데이터를 사용해서 생성된 가상 시점 화상을 표시할 수 없는 것으로 한다. 이 경우, 변환부(201)는, 단말(204)로부터 취득되는 표시 능력에 관한 정보에 근거하여, 소재 데이터의 변환 처리의 내용을 결정한다. 여기에서, 변환부(201)는, 단말(204)은 점군 데이터의 해상도를 보다 낮아지도록 변환해서 생성되는 가상 시점 화상이면 표시가능하다고 판정한 것으로 한다. 변환부(201)는, 보존부(106)에 보존되는 점군 데이터의 해상도를 보다 낮게 하도록(복셀 사이즈를 크게 하도록) 변환한다. 가상 시점 화상 생성부(202)는, 변환부(201)에 의한 변환 처리에 의해 얻어진 소재 데이터를 사용해서 가상 시점 화상을 생성하고, 송수신부(203)를 거쳐 단말(204)에 출력한다.

또한, 변환부(201)는, 가상 시점 화상 생성부(202)가 생성한 가상 시점 화상의 형식을 변환하는 것도 가능하다. 이때, 가상 시점 화상 생성부(202)는, 보존부(106)에 보존되는 소재 데이터를 사용해도 되고, 변환부(201)에 의해 변환된 소재 데이터를 사용해도 된다. 예를 들면, 가상 시점 화상 생성부(202)가 생성한 가상 시점 화상의 해상도가 소정보다도 높기 때문에 단말(204)에서 표시를 할 수 없는 것으로 한다. 이 경우, 변환부(201)는, 가상 시점 화상의 해상도가 보다 낮아지도록, 생성된 가상 시점 화상의 형식을 변환한다. 또한, 단말(204)이 사용하는 가상 시점 화상의 재생용의 어플리케이션이나 소프트웨어가 특정한 포맷의 가상 시점 화상 밖에 재생할 수 없는 것으로 한다. 이 경우, 변환부(201)는, 단말(204)이 재생가능한 가상 시점 화상의 형식으로 되도록, 생성된 가상 시점 화상의 포맷을 변환한다. 또한 예를 들면, 단말(204)이 헤드 마운트 디스플레이(HMD)인 경우에는, 생성된 가상 시점 화상을 HMD용의 화상으로 변환한다. 이와 같이, 변환부(201)는, 단말의 표시 능력, 단말이 표시가능한 가상 시점 화상의 형식, 및 단말의 종별 등에 따라, 가상 시점 화상을 변환할 수 있다.

이상에서 설명한 것과 같이, 변환부(201)가, 보존부(106)에 보존되는 소재 데이터 및 가상 시점 화상 생성부(202)가 생성하는 가상 시점 화상의 적어도 어느 한개를 변환함으로써, 적절한 형식의 가상 시점 화상을 단말(204)에 출력할 수 있다. 이때, 본 실시형태는 제1실시형태와 조합해서 실시하는 것이 가능하다. 즉, 렌더러를 갖는 장치에 대해서는, 장치가 처리가능한 소재 데이터를 출력하고, 렌더러를 갖지 않는 장치에 대해서는, 장치가 표시가능한 가상 시점 화상을 출력하는 구성으로 해도 된다. 이 구성에 있어서도, 변환부는, 출력처의 장치에 따라 소재 데이터 및 가상 시점 화상의 적어도 어느 한개의 형식을 변환하는 변환 처리를 실행한다.

도18을 사용하여, 정보 처리장치(200) 및 단말(204)이 행하는 처리에 대해 설명한다. 여기에서는, 변환부(201)가 소재 데이터를 변환하는 경우의 처리의 예를 설명한다. 이때, 도11과 같은 처리에 대해서는, 동일한 부호를 붙이고, 설명을 생략한다.

S1801에 있어서, 송수신부(203)는, 단말(204)에 출력하는 가상 시점 화상의 형식을 특정하기 위한 정보를, 단말(204)로부터 취득한다. 취득하는 정보는, 예를 들면, 제1실시형태에 있어서 설명한 정보와 유사한 정보일 수 있다. 변환부(201)는, 취득한 정보에 따라, S1103 및 S1104에 있어서 변환 처리를 행한다.

S1802에 있어서, 가상 시점 화상 생성부(202) 및 단말(204)은, 생성되는 가상 시점 화상의 프레임마다, S1803으로부터 S1109의 처리를 반복하여 실행한다. S1803에 있어서, 송수신부(203)은, 단말(204)로부터, 가상 시점의 위치 및 가상 시점에서의 시선 방향을 나타내는 가상 시점 정보를 취득한다. 또한, 송수신부(203)는, 취득한 가상 시점 정보를 가상 시점 화상 생성부(202)에 송신한다. S1804에 있어서, 가상 시점 화상 생성부(202)는, 변환부(201)에 의한 변환 처리에 의해 얻어진 소재 데이터와, 송수신부(203)로부터 취득된 가상 시점 정보에 근거하여, 가상 시점 화상을 생성한다. S1805에 있어서, 송수신부(203)는, 생성된 가상 시점 화상을 단말(204)에 출력한다. 단말(204)은, S1109nioite 가상 시점 화상을 표시한다.

S1806에 있어서, 정보 처리장치(200)는, 반복 처리를 종료할 것인지를 판정한다. 예를 들면, 단말로부터의 지시 등에 의해 가상 시점 화상의 생성이 종료하면, 반복 처리가 종료한다. 이상에서 설명한 구성에 의해, 단말(204)에 따라 적절한 형식의 가상 시점 화상이 출력된다. 이때, 변환부(201)가 가상 시점 화상의 형식의 변환을 행하는 경우에는, 도18의 처리에 있어서, S1804의 후에 가상 시점 화상의 변환 처리의 공정이 추가된다. 이 경우에 있어서의 소재 데이터의 변환 처리(S1103, S1104)는 필수는 아니다.

이때, 도18에 나타낸 처리에 있어서는, S1104에 있어서 변환 처리가 행해진 후에, 가상 시점 화상의 프레임마다의 처리가 행해지는 것으로 했지만, 이것에 한정되지 않는다. 즉, 정보 처리장치(100)는, 취득된 가상 시점 정보에 따라 보존부 108에 보존되어 있는 소재 데이터를 판독하고, 변환 처리를 행해서 가상 시점 화상을 생성해도 된다. 이 경우, 예를 들면, 도18에 있어서의 S1801로부터 S1104까지의 처리가, S1803과 S1804 사이에 행해진다.

(기타 실시형태)

전술한 제1 및 제2 실시형태에서는, 가상 시점 화상을 표시하는 단말에 소재 데이터를 출력하는 예에 대해 설명했지만, 출력처의 장치는 이것에 한정되지 않는다. 예를 들면, 소재 데이터를 취득해서 소정의 처리를 행하는 다른 장치에 대하여 소재 데이터를 출력하는 경우에도, 전술한 실시형태는 적용가능하다. 이 경우, 정보 처리장치(100)는, 출력처의 다른 장치가 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여, 다른 장치에 출력하는 소재 데이터를 결정하고, 소재 데이터의 변환 처리를 행한다.

본 개시는, 전술한 실시형태의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 거쳐 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에서도 실현가능하다. 또한, 1 이상의 기능을 실현하는 회로(예를 들면, ASIC)에 의해서도 실현가능하다.

본 발명은 상기 실시형태에 제한되는 것은 아니고, 본 발명의 정신 및 범위에서 이탈하지 않고, 다양한 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 명확하게 하기 위해서 이하의 청구항을 첨부한다.

본원은, 2021년 2월 18일 제출된 일본국 특허출원 특원 2021-024136을 기초로 하여 우선권을 주장하는 것이며, 그것의 기재 내용의 전체를 여기에 원용한다.

Claims (25)

1. 복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 소재 데이터로서, 제1 형식에 의해 표시되는 소재 데이터를 취득하는 취득 수단과,
   상기 소재 데이터의 출력처인 다른 장치에 의해 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여, 상기 취득 수단에 의해 취득된 소재 데이터의 형식을 상기 제1 형식으로부터 제2 형식으로 변환하는 변환 수단과,
   상기 변환 수단에 의해 상기 제2 형식으로 변환된 소재 데이터를, 상기 다른 장치에 출력하는 출력 수단을 갖는 것을 특징으로 하는 정보 처리장치.
   
2. 제 1항에 있어서,
   상기 변환 수단에 의해 변환되는 소재 데이터의 형식은, 소재 데이터의 종별을 특정하는 형식인 것을 특징으로 하는 정보처리.
   
3. 제 1항 또는 제 2항에 있어서,
   상기 정보는, 상기 다른 장치의 종별에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
   
4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
   상기 정보는, 상기 다른 장치의 처리 능력에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
   
5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
   상기 정보는, 상기 다른 장치가 사용하는 가상 시점 화상의 생성 방법에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
   
6. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
   상기 정보는, 상기 다른 장치가 표시가능한 가상 시점 화상의 포맷에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
   
7. 제 1항 내지 제 6항 중 어느 한 항에 있어서,
   상기 취득 수단에 의해 취득되는 소재 데이터에 근거하여, 제3 형식에 의해 표시되는 가상 시점 화상을 생성하는 생성 수단을 갖고,
   상기 변환 수단은, 생성 수단에 의해 생성된 가상 시점 화상의 형식을, 상기 제3 형식으로부터 제4 형식으로 변환하는 것을 특징으로 하는 정보 처리장치.
   
8. 정보 처리장치로서,
   복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 소재 데이터로서, 제1 형식에 의해 표시되는 소재 데이터가 상기 정보 처리장치에 의해 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여, 상기 소재 데이터의 형식을 상기 제1 형식으로부터 제2 형식으로 변환된 소재 데이터를 취득하는 취득 수단과,
   상기 취득 수단에 의해 취득되는 소재 데이터에 근거하여, 가상 시점 화상을 생성하는 생성 수단을 갖는 것을 특징으로 하는 정보 처리장치.
   
9. 제 8항에 있어서,
   상기 정보는, 상기 정보 처리장치의 종별에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
   
10. 제 8항 또는 제 9항에 있어서,
    상기 정보는, 상기 정보 처리장치의 처리 능력에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
    
11. 제 8항 내지 제 10항 중 어느 한 항에 있어서,
    상기 정보는, 상기 정보 처리장치가 사용하는 가상 시점 화상의 생성 방법에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
    
12. 제 8항 내지 제 11항 중 어느 한 항에 있어서,
    상기 정보는, 상기 정보 처리장치가 표시가능한 가상 시점 화상의 포맷에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
    
13. 제 1항 내지 제 12항 중 어느 한 항에 있어서,
    상기 제2 형식에 의해 표시되는 소재 데이터는, 상기 피사체의 3차원 형상을 나타내는 점군 데이터 및 상기 피사체의 색을 나타내는 텍스처 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
14. 제 1항 내지 제 12항 중 어느 한 항에 있어서,
    상기 제2 형식에 의해 표시되는 소재 데이터는, 상기 피사체의 3차원 형상 및 피사체의 색을 나타내는 점군 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
15. 제 1항 내지 제 12항 중 어느 한 항에 있어서,
    상기 제2 형식에 의해 표시되는 소재 데이터는, 상기 피사체의 3차원 형상 및 피사체의 색을 나타내는 메쉬 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
16. 제 1항 내지 제 12항 중 어느 한 항에 있어서,
    상기 제2 형식에 의해 표시되는 소재 데이터는, 상기 피사체의 3차원 형상을 나타내는 메쉬 데이터 및 상기 피사체의 색을 나타내는 텍스처 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
17. 제 14항 내지 제 16항 중 어느 한 항에 있어서,
    상기 제1 형식에 의해 표시되는 소재 데이터는, 상기 피사체의 3차원 형상을 나타내는 점군 데이터 및 상기 피사체의 색을 나타내는 텍스처 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
18. 제 16항에 있어서,
    상기 제1 형식에 의해 표시되는 소재 데이터는, 상기 피사체의 3차원 형상 및 피사체의 색을 나타내는 점군 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
19. 제 13항 내지 제 15항 중 어느 한 항에 있어서,
    상기 제1 형식에 의해 표시되는 소재 데이터는, 상기 피사체의 3차원 형상을 나내는 메쉬 데이터 및 상기 피사체의 색을 나타내는 텍스처 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
20. 제 14항에 있어서,
    상기 제1 형식에 의해 표시되는 소재 데이터는, 상기 피사체의 3차원 형상 및 피사체의 색을 나타내는 메쉬 데이터를 포함하는 데이터인 것을 특징으로 하는 정보 처리장치.
    
21. 제 1항 내지 제 20항 중 어느 한 항에 있어서,
    상기 소재 데이터의 형식은, 소재 데이터의 데이터 량을 특정하는 정보에 관한 형식인 것을 특징으로 하는 정보 처리장치.
    
22. 제 21항에 있어서,
    상기 소재 데이터의 데이터 량을 특정하는 정보는, 소재 데이터의 해상도에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
    
23. 제 21항 또는 제 22항에 있어서,
    상기 소재 데이터의 데이터 량을 특정하는 정보는, 소재 데이터의 프레임 레이트에 관한 정보를 포함하는 것을 특징으로 하는 정보 처리장치.
    
24. 복수의 촬상장치가 피사체를 촬상함으로써 얻어지는 복수의 촬상 화상에 근거한 가상 시점 화상의 생성에 사용되는 소재 데이터로서, 제1 형식에 의해 표시되는 소재 데이터를 취득하는 취득 공정과,
    상기 소재 데이터의 출력처인 다른 장치에 의해 처리가능한 소재 데이터의 형식을 특정하기 위한 정보에 근거하여, 상기 취득 공정에 있어서 취득된 소재 데이터의 형식을 상기 제1 형식으로부터 제2 형식으로 변환하는 변환 공정과,
    상기 변환 공정에 있어서 상기 제2 형식으로 변환된 소재 데이터를, 상기 다른 장치에 출력하는 출력 공정을 갖는 것을 특징으로 하는 정보 처리방법.
    
25. 컴퓨터를, 청구항 1 내지 23 중 어느 한 항에 기재된 정보 처리장치로서 기능시키기 위한 프로그램.

Images