KR102153985B1

KR102153985B1 - 가상 시점 화상을 생성하는 장치, 시스템, 방법, 및 비일시적 컴퓨터 판독가능 기억 매체

Info

Publication number: KR102153985B1
Application number: KR1020197032123A
Authority: KR
Inventors: 나오키 우메무라
Original assignee: 캐논 가부시끼가이샤
Priority date: 2017-12-14
Filing date: 2018-12-13
Publication date: 2020-09-09
Also published as: EP3605471A1; US11798224B2; US20200066028A1; US11443478B2; US10755471B2; JP2019106144A; KR20190128735A; EP3605471A4; CN110574075B; CN110574075A; CN112489182A; US20200349756A1; JP6513169B1; KR102280587B1; US20220375158A1; KR20200064176A; WO2019117264A1

Abstract

복수 시점 화상 데이터 전송 시의 네트워크 부하를 억제하면서, 촬영 씬 내에 존재하는 구조물 등이 현실과 같이 3차원으로 표현된 자연스러운 가상 시점 화상이 얻어지도록 한다. 본 발명에 관한 생성 장치는 오브젝트에 대응하는 3차원 형상 데이터와, 구조물에 대응하는 3차원 형상 데이터와, 적어도 상기 오브젝트 및 상기 구조물과는 다른 배경에 대응하는 배경 데이터와, 가상 시점을 나타내는 정보에 기초하여, 가상 시점 화상을 생성한다.

Description

가상 시점 화상을 생성하는 장치, 시스템, 방법, 및 비일시적 컴퓨터 판독가능 기억 매체

본 발명은 복수의 시점 위치로부터 촬상한 복수 시점 화상에 기초하여, 가상 시점에서의 화상을 생성하는 기술에 관한 것이다.

요즘, 복수대의 실제 카메라로 촬영한 화상을 사용하여, 3차원 공간 내에 가상적으로 배치된 실제로는 존재하지 않는 카메라(가상 카메라)로부터의 화상을 재현하는 가상 시점 화상 기술이 주목받고 있다. 이 가상 시점 화상 기술에 의하면, 예를 들어 축구나 농구의 시합에 있어서의 하이라이트 씬을 다양한 각도로부터 시청하는 것이 가능하게 되기 때문에, 유저에 보다 높은 임장감을 부여할 수 있다.

가상 시점 화상의 생성에는, 복수의 실제 카메라가 촬영한 화상 데이터의 화상 처리 서버 등에 대한 집약과, 당해 서버 등에 있어서의 3차원 모델(오브젝트의 형상 데이터)의 생성이나 렌더링 처리가 필요해질 수 있다.

오브젝트의 3차원 형상을 추정하는 방법으로서,「시체적(視體積) 교차법(Visual Hull)」이라고 불리는 방법이 알려져 있다(특허문헌 1).

일본 특허 공개 제2014-10805호 공보

종래의 3차원 형상을 추정하는 기술에서는, 예를 들어 촬영 범위에 존재하는 축구 골대 등의 정지 물체인 구조물에 대해서는, 3차원 모델이 생성되지 않을 우려가 있었다. 이것은, 3차원 형상의 추정 대상이 되는 오브젝트는, 촬영 화상 내의 움직이는 물체인 인간 등의 전경의 부분이기 때문이다. 즉, 축구 골대 등 정지 상태의 구조물은 배경으로서 취급되는 결과, 3차원 모델의 생성 대상이 되지 않는다. 구조물의 3차원 모델이 생성되지 않은 상태에서 가상 시점 화상을 생성하면, 움직임이 없는 구조물 등은 움직임이 있는 인물 등의 뒤에 2차원적으로 표현되어, 지면 등에 달라붙은 것과 같이 표현되어 버려, 실제의 촬영 씬과는 동떨어진 영상 표현이 되어 버린다. 도 1에 그 일례를 나타낸다. 도 1은, 축구의 원 씬의 가상 시점 화상인데, 축구 골대(골포스트, 크로스바, 골 네트의 모든 요소)가 잔디밭의 필드에 달라붙은 것 같은 화상으로 되어 있다. 또한, 도 13b는, 씨름의 원 씬의 가상 시점 화상인데, 밀어내기되어 씨름판 아래에 쓰러져 있어야 할 씨름 선수가 씨름판 위에 쓰러져 있는 것 같은 화상으로 되어 있다.

본 발명은 상기 과제를 감안하여 이루어진 것이며, 그 목적은, 정지 물체인 구조물 등이라도, 현실에 가까와지도록 3차원으로 표현된 자연스러운 가상 시점 화상이 얻어지게 하는 것이다.

본 발명에 관한 시스템은, 복수의 방향으로부터의 촬영에 의해 얻어진 복수의 촬영 화상에 기초하여, 구조물의 영역 및 오브젝트의 영역을 다른 영역과 구별하여 나타내는 제1 화상을 생성하는 제1 생성 수단과, 복수의 방향으로부터의 촬영에 의해 얻어진 복수의 촬영 화상에 기초하여, 상기 오브젝트의 영역을 다른 영역과 구별하여 나타내는 제2 화상을 생성하는 제2 생성 수단과, 상기 제1 생성 수단에 의해 생성된 상기 제1 화상과 상기 제2 화상을 송신하는 송신 수단과, 상기 송신 수단으로부터 송신된 상기 제1 화상과 상기 제2 화상에 기초하여, 상기 오브젝트에 대응하는 3차원 형상 데이터를 취득하는 제1 취득 수단과, 상기 송신 수단으로부터 송신된 상기 제1 화상에 기초하여, 상기 구조물에 대응하는 3차원 형상 데이터를 취득하는 제2 취득 수단과, 적어도 상기 오브젝트 및 상기 구조물과는 다른 배경의 영역에 대응하는 배경 데이터를 취득하는 제3 취득 수단과, 가상 시점을 나타내는 정보를 취득하는 제4 취득 수단과, 상기 제1 취득 수단에 의해 취득된 상기 오브젝트에 대응하는 3차원 형상 데이터와, 상기 제2 취득 수단에 의해 취득된 상기 구조물에 대응하는 3차원 형상 데이터와, 상기 제3 취득 수단에 의해 취득된 상기 배경 데이터와, 상기 제4 취득 수단에 의해 취득된 상기 가상 시점을 나타내는 정보에 기초하여, 가상 시점 화상을 생성하는 제3 생성 수단을 갖고, 상기 송신 수단은, 상기 제1 화상을, 상기 제2 화상보다 적은 빈도로 송신하는 것을 특징으로 한다.

본 발명에 따르면, 정지 물체인 구조물 등이라도, 구조물 등이 현실에 가까와지도록 3차원으로 표현된 자연스러운 가상 시점 화상을 얻을 수 있다.

본 발명의 또 다른 특징은, 첨부된 도면을 참조하여 행하는 이하의 실시 형태의 설명에 의해 분명해진다.

도 1은 종래 방법의 문제점을 설명하는 도면.
도 2는 실시 형태 1에 관한, 카메라 시스템의 배치 일례를 나타내는 도면.
도 3은 가상 시점 화상 생성 시스템의 하드웨어 구성의 일례를 나타내는 도면.
도 4는 복수의 카메라의 공통 촬영 영역을 설명하는 도면.
도 5는 볼륨 데이터의 설명도.
도 6은 실시 형태 1에 관한, 구조물 모델의 생성 과정을 나타내는 시퀀스도.
도 7a는 축구 골대가 없는 상태의 필드 촬영 화상을 나타내는 도면.
도 7b는 축구 골대가 있는 상태의 필드 촬상 화상을 나타내는 도면.
도 8은 축구 골대의 3차원 모델을 볼륨 데이터 상에서 도시한 도면.
도 9는 실시 형태 1에 관한, 가상 시점 화상의 생성 과정을 나타내는 시퀀스도.
도 10a는 촬영 화상의 일례를 나타내는 도면.
도 10b는 전경 화상의 일례를 나타내는 도면.
도 10c는 가상 시점 화상의 일례를 나타내는 도면.
도 11은 선수의 3차원 모델을 볼륨 데이터 상에서 도시한 도면.
도 12는 실시 형태 1의 변형예에 관한, 카메라 시스템의 배치 일례를 나타내는 도면.
도 13a는 종래 방법의 문제점을 설명하는 도면.
도 13b는 종래 방법의 문제점을 설명하는 도면.
도 14는 씨름판을 바로 위로부터 본 부감도 상에서, 그 주위를 네 영역으로 나눈 것을 나타내는 도면.
도 15는 실시 형태 2에 관한, 촬영 씬 내의 구조물 부분의 화상 데이터를 씨닝하여 전송하는 처리의 흐름을 나타내는 흐름도.
도 16은 실시 형태 2에 관한, 가상 시점 화상의 생성 처리의 흐름을 나타내는 흐름도.

이하, 첨부된 도면을 참조하여, 본 발명을 실시하는 형태에 대해 설명한다. 각 실시 형태에 있어서 나타내는 구성은 일례에 지나지 않고, 본 발명은 도시된 구성에 한정되는 것은 아니다.

실시 형태 1

근년, 카메라의 고화질화에 따라 촬영 화상의 해상도는 높아지고, 그 데이터양은 증가되는 경향이 있다. 복수의 카메라로 촬영한 복수 시점 화상 데이터를, 네트워크 망을 통하여 서버 등에 송신할 때에 그대로 송신하면 네트워크에 큰 부하가 걸려 버린다. 나아가, 복수 시점 화상 데이터를 수신한 서버 등에 있어서의 3차원 모델 생성이나 렌더링 처리 시의 계산량도 증가된다. 따라서 본 실시 형태에서는, 복수 시점 화상 데이터 전송 시의 네트워크 부하를 억제하면서, 촬영 씬 내에 존재하는 구조물 등이 현실에 가까와지도록 3차원으로 표현된 자연스러운 가상 시점 화상을 얻는 양태에 대해 설명한다. 구체적으로는, 촬영 씬 내의 정지 또는 정지 상태에 가까운 상태가 계속되는 구조물을 전경도 배경도 아닌 독자적인 속성의 오브젝트로서 분리하여, 미리 3차원 모델화해 두는 양태를 설명한다. 이하에서는, 축구 시합을 촬영 씬으로 하여 구조물로서의 축구 골대를 미리 3차원 모델화하는 경우를 예로 들어 설명을 행하는 것으로 한다.

또한, 가상 시점 화상이란, 엔드 유저 및/또는 선임의 오퍼레이터 등이 자유롭게 가상 카메라의 위치 및 자세를 조작함으로써 생성되는 영상이며, 자유 시점 화상이나 임의 시점 화상 등이라고도 불린다. 또한, 생성되는 가상 시점 화상이나 그 원인이 되는 복수 시점 화상은, 동화상이어도, 정지 화상이어도 된다. 이하에 설명하는 각 실시 형태에서는, 입력되는 복수 시점 화상 및 출력되는 가상 시점 화상이, 모두 동화상인 경우의 예를 중심으로 설명하기로 한다. 또한, 본 실시 형태에서의 구조물은, 동일한 앵글로부터 시계열로 촬영을 행한 경우에 그 위치에 변화가 보이지 않는 정적 오브젝트(정지 물체)이면 된다. 예를 들어, 옥내 스튜디오 등을 촬영 씬으로 하는 경우에는, 가구나 소도구를 본 실시 형태에서 의미하는 구조물로서 다룰 수 있다.

도 2는, 본 실시 형태에 관한, 가상 시점 화상 생성 시스템을 구성하는 모두 10대의 카메라 시스템(110a 내지 110j)의 배치를, 필드(200)를 바로 위로부터 본 부감도에 있어서 도시한 도면이다. 각 카메라 시스템(110a 내지 110j)은, 지상으로부터 어느 일정한 높이로 필드(200)를 둘러싸도록 설치되어 있고, 한쪽 골앞을 다양한 각도로부터 촬영하여, 시점이 다른 복수 시점 화상 데이터를 취득한다. 잔디밭의 필드(200) 상에는, 축구 코트(201)가 (실제로는 백색의 라인으로)그려져 있고, 그 좌우 양단에 축구 골대가 놓여 있다. 또한, 좌측의 축구 골대(202) 앞의 X표시(203)는 카메라 시스템(110a 내지 110j)의 공통된 시선 방향(주시점)을 나타내고, 파선의 원(204)은 주시점(203)을 중심으로 하여 카메라 시스템(110a 내지 110j)이 각각 촬영 가능한 에어리어를 나타내고 있다. 본 실시 형태에서는, 필드(200)의 하나의 꼭지점을 원점으로 하여, 긴 변 방향을 x축, 짧은 변 방향을 y축, 높이 방향을 z축으로 한 좌표계로 나타내기로 한다.

도 3은, 가상 시점 화상 생성 시스템의 하드웨어 구성의 일례를 나타내는 도면이다. 도 3의 가상 시점 화상 생성 시스템은, 카메라 시스템(110a 내지 110j), 스위칭 허브(120), 제어 장치(130), 서버(140) 및 데이터베이스(150)로 구성된다.

각 카메라 시스템(110a 내지 110j) 내에는, 렌즈나 촬상 센서 등으로 구성되는 촬상부(111a 내지 111j) 및 제어 장치(130)의 지시에 따라 촬상부의 제어나 소정의 화상 처리를 행하는 카메라 어댑터(112a 내지 112j)가 구비되어 있다. 카메라 어댑터는, 제어나 화상 처리에 필요한 연산 처리 장치(CPU 또는 ASIC)나 메모리(RAM 및 ROM)를 구비하고 있다. 또한, 카메라 시스템(110a 내지 110j) 사이는, 네트워크 케이블(160a 내지 160i)에 의해, 인접하는 카메라 시스템끼리 데이지 체인 방식으로 접속되어 있다. 카메라 시스템(110a 내지 110j)으로 촬영된 화상 데이터는, 네트워크 케이블(160a 내지 160i)을 통하여 전송된다. 스위칭 허브(이하, 「HUB」라고 표기)(120)는, 네트워크상의 데이터 전송의 라우팅을 행한다. HUB(120)와 카메라 시스템(110a) 사이는 네트워크 케이블(170a)로 접속되고, HUB(120)와 카메라 시스템(110j) 사이는 네트워크 케이블(170b)로 접속되어 있다. 서버(140)는, 카메라 시스템(110a 내지 110j)으로부터 송신되어 온 복수 시점 화상 데이터를 가공하고, 가상 시점 화상 데이터를 생성한다. 또한, 서버(140)는, 시각 동기 신호를 생성하여 시스템 전체의 동기 제어도 담당한다. 데이터베이스(150)(이하, 「DB」라고 표기)는, 서버(140)로부터 보내져 온 화상 데이터를 축적하고, 축적된 화상 데이터를 필요에 따라 서버(150)에 제공한다. 또한, HUB(120)와 서버(140) 사이는 네트워크 케이블(170c)로, 서버(140)와 DB(150) 사이는 네트워크 케이블(170d)로, HUB(120)와 제어 장치(130) 사이는 네트워크 케이블(113e)로 접속되어 있다. 제어 장치(130)는, 각 카메라 시스템(110a 내지 110j)나 서버(140)를 통괄적으로 제어한다. 그리고, 복수 시점 화상을 바탕으로 서버(140)로 생성된 가상 시점 화상을, 예를 들어 도시되지 않은 표시 장치나 네트워크상의 다른 정보 처리 장치에 출력한다. 도 3에 나타내는 시스템 구성에서는, 복수의 카메라 시스템간을 데이지 체인 방식으로 접속하고 있지만, HUB(120)와 각 카메라 시스템(110a 내지 110j)을 각각 직접 접속하는 스타형 접속이어도 상관없다. 또한, 가상 시점 화상 생성 시스템을 구성하는 카메라 시스템의 수는 10대로 한정되는 것은 아니다.

여기서, 본 실시 형태에서의 복수 시점 화상 데이터의 취득에 대해 설명한다. 먼저, 서버(140)가, 시각 동기 신호를 각 카메라 시스템에 대해 송신한다(타임 서버 기능). 각 카메라 시스템(110a 내지 110j)에 있어서는, 내부의 카메라 어댑터(112a 내지 112j)의 제어 하에서 각 촬상부(111a 내지 111j)가, 수신된 시각 동기 신호를 따라서 촬영을 행한다. 이에 따라, 프레임 단위로 동기가 취해진 동화상에 의한 복수 시점 화상의 취득이 가능해진다. 구체적으로는 이하와 같이 하여, 각 카메라 시스템에서 촬영된 화상 데이터가 서버(140)로 순차 전송된다. 먼저, 카메라 시스템(110a)에 있어서, 촬상부(111a)에 의해 촬영된 화상 데이터에 의해 카메라 어댑터(112a)에서 후술하는 화상 처리를 실시한 후, 네트워크 케이블(160a) 통하여, 카메라 시스템(110b)에 전송한다. 카메라 시스템(110b)은, 마찬가지의 처리를 행하고, 그 촬영 화상 데이터를, 카메라 시스템(110a)으로부터 취득한 촬영 화상 데이터과 합해 카메라 시스템(110c)에 전송한다. 각 카메라 시스템에서 마찬가지의 처리가 실행되어, 10대의 카메라 시스템(110a 내지 110j) 각각에서 취득된 합계 10 시점분의 촬영 화상 데이터가, 네트워크 케이블(170b)을 통하여 HUB(120)에 전송되어서, 최종적으로 서버(140)로 보내진다. 서버(140)는, 수취한10 시점 분의 촬영 화상 데이터를 사용하여, 후술하는 구조물 모델의 생성, 오브젝트의 형상 추정, 렌더링과 같은 화상 처리를 행한다.

도 4는, 상기 10대의 카메라 시스템 중 4대의 카메라 시스템(110a 내지 110d)이 각각 갖는 촬상부(111a 내지 111d)로부터의 촬영 영역을, 전술한 도 2를 베이스로 모식적으로 나타낸 도면이다. 카메라 시스템(110a 내지 110d) 각각으로부터 뻗은 삼각형의 영역(411 내지 414)은, 카메라 시스템(110a 내지 110d)에 각각 대응하는 촬영 영역을 시체적으로 나타낸 것이다. 그리고, 상기 네 삼각형으로 나타내는 촬영 영역(411 내지 414)이 겹치는 다각형의 영역(415)은, 카메라 시스템(110a 내지 110d)의 공통 촬상 영역을 나타내고 있다. 여기에서는, 4대의 카메라 시스템의 경우를 예로 공통 촬상 영역을 설명했지만, 마찬가지의 방법으로, 모두 10대의 카메라 시스템에 있어서의 공통 촬상 영역이 도출 가능하다. 당연한 이야기이지만, 모두 10대의 카메라 시스템에 있어서의 공통 촬영 영역은, 상술한 다각형 영역(415)보다도 작아진다. 이와 같이 공통된 주시점을 촬상하는 카메라군의 공통 촬상 영역은, 각 카메라가 갖는 시체적의 중복 영역을 산출함으로써 얻을 수 있다. 또한, 공통 촬영 영역에 존재하는 오브젝트의 3차원 모델도 마찬가지로, 각 카메라 시스템에서 취득된 복수 시점 화상의 중복 영역으로부터 도출 가능하다.

다음에, 본 실시 형태의 특징의 하나인, 상술한 바와 같이 하여 얻은 공통 촬상 영역 내에 존재하는 구조물을 3차원 모델화하는 방법에 대해 설명한다. 여기에서는, 축구 골대(202)의 3차원 모델을 생성하는 경우를 예로 들어 설명을 행한다. 먼저, 필드(200) 상의 3차원 공간을 일정한 크기를 갖는 입방체(복셀)로 충전한 볼륨 데이터(도 5를 참조)를 준비한다. 볼륨 데이터를 구성하는 복셀의 값은 0과 1로 표현되며, 「1」은 형상 영역, 「0」은 비형상 영역을 각각 나타낸다. 도 5에 있어서, 부호 501이 복셀(실제의 사이즈보다도 설명의 편의상 크게 표기)을 나타내고 있다. 다음에, 각 카메라 시스템(110a 내지 110j)이 구비하는 촬상부(111a 내지 111j)의 카메라 파라미터를 사용하여, 복셀의 3차원 좌표를 월드 좌표계로부터 카메라 좌표계로 변환한다. 그리고, 구조물이 그 카메라 좌표계에 있는 경우는, 복셀에 의해 당해 구조물의 3차원 형상을 나타낸 모델(구조물 모델)이 생성된다. 또한, 카메라 파라미터란, 각 촬상부(111a 내지 111j)의 설치 위치나 방향(시선 방향) 및 렌즈의 초점 거리 등의 정보를 가리킨다.

도 6은, 촬영 씬 내에 존재하는 구조물 모델의 생성 과정을 나타내는 시퀀스도이다. 이 시퀀스도에서 나타나는 일련의 처리를, 예를 들어 경기장의 설영 시 등, 가상 시점 화상의 원데이터가 되는 복수 시점 화상의 본편 촬영 개시 전(예를 들어 시합 개시 전)에 행해 둔다. 도 6에 있어서는, 10대의 카메라 시스템(110a 내지 110j)의 집합을 「카메라 시스템군」이라 표기하고 있다.

스텝 601에서는, 각 촬상부(111a 내지 111j)가, 구조물이 없는(여기에서는, 축구 골대(202)가 미설치) 상태의 대상 3차원 공간(여기서는 필드(200))을 촬영한다. 도 7a는, 축구 골대(202)가 없는 상태에서의 필드(200)를 카메라 시스템(110i)의 촬상부(111i)로부터 촬영하여 얻어진 화상을 나타내고 있다. 시점이 다른 이와 같은 촬영 화상이 각각의 카메라 시스템에 있어서 취득된다.

다음에, 스텝 602에서는, 각 촬상부(111a 내지 111j)가, 구조물이 있는(여기에서는, 축구 골대(2020)가 설치) 상태의 대상 3차원 공간(필드(200))을 촬영한다. 도 7b는, 축구 골대(202)가 있는 상태에서의 필드(200)를 카메라 시스템(110i)의 촬상부(111i)로부터 촬영하여 얻어진 화상을 나타내고 있다. 스텝 601과 마찬가지로, 시점이 다른 이와 같은 촬영 화상이 각각의 카메라 시스템에 있어서 취득된다. 또한, 스텝 601 및 602에서 얻은 촬영 화상 데이터는, 각 카메라 어댑터(112a 내지 112j) 내의 메모리에서 보유되어 있는 것으로 한다.

스텝 603에서는, 각 카메라 어댑터(112a 내지 112j)가, 스텝 601에서 얻은 촬영 화상과 스텝 602에서 얻은 촬영 화상의 차분으로부터, 구조물이 찍혀 있는 화상 영역과 그 이외의 배경이 찍혀 있는 화상 영역으로 분리된다. 이에 의해, 구조물(여기서는 축구 골대(202))에 대응하는 화상 데이터와 그 이외의 배경(여기서는 필드(200))에 대응하는 화상 데이터가 얻어진다.

스텝 604에서는, 각 카메라 어댑터(112a 내지 112j)가, 스텝 603에서 얻어진 구조물에 대응하는 화상 데이터와 배경에 대응하는 화상 데이터를 서버(140)에 대해 전송한다.

스텝 605에서는, 서버(140)가, 각 카메라 시스템으로부터 수신한 구조물의 화상 데이터와 각 카메라 시스템의 카메라 파라미터에 기초하여, 전술한 복셀로 구성되는 구조물(여기서는 축구 골대(202))의 3차원 모델을 생성한다. 도 8은, 축구 골대(202)의 3차원 모델을, 전술한 볼륨 데이터상으로 도시한 도면이다. 또한, 복셀 그 자체가 아니고, 복셀의 중심을 나타내는 점의 집합(점군)에 의해, 3차원 형상을 표현해도 된다. 이와 같이 하여 생성된 구조물 모델은, 서버(140) 내의 메모리 또는 DB(150)에 보존된다. 또한, 구조물의 화상 데이터와 함께 수취한 배경의 화상 데이터도 함께 보존된다.

이상이, 촬영 씬 내의 구조물 모델을 생성할 때의 처리의 흐름이다. 마찬가지의 방법으로, 예를 들어 코너 플랙이라는 다른 구조물의 3차원 모델을 생성해도 된다. 또한, 본 실시 형태에서는, 카메라 어댑터측에 구조물과 그 이외의 배경의 분리를 행했지만, 이것을 서버(140)측에서 행해도 된다.

계속해서, 상술한 바와 같이 하여 얻어진 구조물 모델을 사용하여, 촬영 씬 내에 존재하는 구조물이 위화감 없이 표현되는 가상 시점 화상의 생성에 대해 설명한다. 도 9는, 본 실시 형태에 관한, 가상 시점 화상의 생성 과정을 나타내는 시퀀스도이다. 도 6의 시퀀스도와 마찬가지로, 10대의 카메라 시스템(110a 내지 110j)의 집합을 「카메라 시스템군」이라고 표기하고 있다.

축구 시합 개시 등에 맞추어, 스텝 901에서는, 제어 장치(130)가, 서버(140)에 대해 가상 시점 화상의 원인이 되는 복수 시점 화상의 촬영 지시(촬영 개시 커맨드)를 보낸다. 계속되는 스텝 902에서는, 제어 장치(130)로부터의 촬영 지시를 받고, 서버(140)가, 각 카메라 시스템(110a 내지 110j)에 대해, 시각(時刻) 동기 신호를 송신한다. 그리고, 스텝 903에서는, 각 카메라 시스템(110a 내지 110j)이, 대상 3차원 공간(여기서는, 필드(200) 상의 3차원 공간)의 촬영을 개시한다. 이에 의해 예를 들어 카메라 시스템(110i)에 있어서는, 도 10a로 나타내는 바와 같은, 축구 시합 중의 화상이 얻어진다. 그리고, 시점이 다른 이와 같은 화상의 촬영이 각각의 카메라 시스템에 있어서 행하여진다.

스텝 904에서는, 각 카메라 어댑터(112a 내지 112j)에 있어서, 스텝 903에서 취득한 촬영 화상으로부터, 움직임이 있는 오브젝트를 포함하는 전경(여기서는, 선수와 볼)의 데이터를 추출하는 처리가 실행된다. 이 추출 처리는, 스텝 903에서 취득된 촬영 화상과 전술한 스텝 602에서 취득된 구조물이 있는 촬영 화상(도 7b)을 비교하여, 그 차분에 기초하여 전경과 배경으로 분리하는 처리라고 바꿔 말할 수 있다. 도 10b는, 도 10a의 촬영 화상(전경(全景) 화상. 이하, 전체 경치 화상이라 함)으로부터 추출된 전경(前景)만의 화상을 나타내고 있다. 계속되는 스텝 905에서는, 각 카메라 어댑터(112a 내지 112j)가, 추출된 전경의 화상 데이터를 서버(140)에 대해 전송한다. 이 때, 필드(200)나 축구 골대(202)에 대응하는 화상 영역(배경의 화상 데이터)에 대해서는, 서버(140)에 전송되지 않는다. 따라서, 그만큼 데이터 전송량이 억제된다.

스텝 906에서는, 유저 지시에 기초하여, 제어 장치(130)가, 가상 시점 화상의 생성 지시(생성 개시 커맨드)를, 가상 시점이나 주시점에 관한 정보와 함께 서버(140)에 송신한다. 이 때, 가상 시점 화상을 작성·시청하고 싶은 유저는, 제어 장치(130)가 구비하는 GUI(도시되지 않음)를 통하여, 가상 시점 화상의 생성에 필요한 정보를 입력한다. 구체적으로는, 가상 시점의 위치나 그 이동 경로, 나아가 어디(어느 오브젝트)를 주시하는가 하는 가상 시점 화상의 생성에 필요한 정보(이하, 「가상 시점 정보」라고 칭함)를 소정의 UI 화면을 통하여 설정한다.

스텝 907에서는, 서버(140)가, 카메라 군으로부터 수신한 전경의 화상 데이터와 전술한 카메라 파라미터를 사용하여, 촬영 씬 내에서 움직임이 있는 오브젝트의 3차원 모델(전경 모델)을 생성한다. 여기에서는, 선수와 볼의 3차원 모델이 전경 모델로서 생성되게 된다. 도 11은, 본 스텝에서 생성되는 선수와 볼의 3차원 모델 중, 어느 한사람의 선수에 대응하는 3차원 모델을, 전술한 도 8과 마찬가지로, 볼륨 데이터상에서 도시한 도면이다.

스텝 908에서는, 서버(140)는, 제어 장치(130)로부터 수취한 가상 시점 정보, 스텝 907에서 취득한 전경 모델, 및 미리 생성·취득해 둔 구조물 모델 및 배경 데이터를 사용하여, 가상 시점 화상을 생성한다. 구체적으로는, 예를 들어 Visual Hull 방법 등을 사용하여, 설정된 가상 시점(가상 카메라)으로부터 본 경우의 구조물 모델과 전경 모델의 각각의 형상 추정을 행한다. 이 형상 추정 처리의 결과, 촬영 씬 내에 존재하는 오브젝트의 3차원 형상을 표현한 볼륨 데이터가 얻어진다. 이렇게, 가상 시점으로부터 본 오브젝트의 3차원 형상이 얻어지면, 다음에, 이들 오브젝트의 3차원 형상을 하나의 화상으로 합성한다. 합성 처리 시, 설정된 가상 시점에서의 거리가, 구조물 모델보다도 전경 모델쪽이 가까운 경우는, 구조물 모델 위로부터 전경 모델을 매핑한다. 반대로, 구조물 모델쪽이 전경 모델보다도 가상 시점에 가까운 경우는, 전경 모델 위로부터 구조물 모델을 매핑한다. 이렇게, 예를 들어 카메라 시스템(110i)의 촬상부(111i)로부터의 시점을 높이 방향(+z 방향)으로 이동한 점을 가상 시점으로 한 경우의 가상 시점 화상은, 도 10c에 나타낸 바와 같은 화상이 된다. 도 10c에 나타내는 가상 시점 화상에 있어서는, 전경 모델인 선수와 볼, 구조물 모델인 축구 골대가, 모두 자연스러운 3차원 형상으로 필드(200) 상에 매핑되어 있음을 알 수 있다. 이와 같은 처리를, 별도 설정된 타임 프레임 수만큼 반복함으로써, 동화상에 의한 원하는 가상 시점 화상이 얻어진다.

또한, 본 실시 형태에서는, 도 9의 시퀀스에 있어서, 배경의 화상 데이터를 일절 전송하지 않음으로써 전체 데이터 전송량의 억제를 도모하고 있다. 이 경우, 예를 들어 옥외에서의 스포츠 씬을 동영상으로 촬영하는 경우 등에서는 일조 조건 등이 시계열로 변화된다는 점에서, 완성되는 가상 시점 화상에 있어서의 배경 부분이 실제와 달라져 버린다는 문제가 일어날 수 있다. 이와 같은 문제가 염려되는 경우에는, 전경의 화상 데이터를 전송하는 사이에, 스텝 904의 전경·배경 분리로 얻어진 배경의 화상 데이터를 적절히 전송해도 된다.

또한, 본 실시 형태에서는, 구조물 모델의 생성과 전경 모델의 생성을 서버(140)에서 행하고 있지만, 이에 한정되지 않는다. 예를 들어, 구조물 모델의 생성까지를 카메라 어댑터에서 행하여 그것을 서버(140)에 송신해도 된다. 또는 다른 정보 처리 장치에서 생성한 구조물 모델의 데이터를 서버(140)가 취득해도 된다. 요는, 복수 시점 화상으로부터 추출한 전경 데이터로부터 전경 모델을 생성하는 단계에서, 서버(140)에 있어서 구조물 모델이 이용 가능한 상태가 되어 있으면 된다.

<변형예>

상술한 예에서는, 촬영 씬 내의 구조물을 전경도 배경도 아닌 독자 속성의 오브젝트로서 다루고, 미리 구조물의 3차원 모델을 생성·보유해 둠으로써 데이터 전송량의 삭감을 도모했다. 데이터 전송량의 삭감의 관점에서는, 구조물의 3차원 모델을 배경으로서 취급하는 것이라도 그 목적은 달성 가능하다. 단, 구조물 모델을 배경으로서 취급하는 경우에는, 이하와 같은 문제가 발생한다.

도 12는, 촬영 씬이 씨름인 경우, 본 변형예에 관한 가상 시점 화상 생성 시스템을 구성하는 모두 10대의 카메라 시스템(110a 내지 110j)의 배치를 도시한 도면이다. 각 카메라 시스템(110a 내지 110j)은, 씨름 회장의 천장에 씨름판 주위를 둘러싸게 설치되어 있고, 씨름판 위를 다양한 각도에서 촬영하여, 시점이 다른 복수 시점 화상 데이터를 취득한다. 이 경우, 씨름판(=구조물)뿐인 상태를 촬영한 화상에 기초하여 3차원 모델화를 행하고, 얻어진 씨름판의 3차원 형상을 배경으로서 취급한다.

여기서, 씨름 선수 2명이 씨름을 한 결과, 예를 들어 도 13a에 나타내는 바와 같이 한쪽 씨름 선수가 씨름판 위에서 떨어졌다고 하자. 이 도 13a의 상태를 모두 10대의 카메라 시스템(110a 내지 110j)로 촬영하여 서버(140)에 대해 전경의 화상 데이터만을 전송하는 케이스를 생각한다. 서버(140)에 의해 전경의 화상 데이터를 수신한 서버(140)는, 배경으로 미리 제작해 둔 씨름판의 3차원 모델 위에 전경인 씨름 선수 2명을 매핑하게 된다. 그렇게 하면, 도 13b에 나타내는 바와 같이, 밀어내어져 씨름판 밖에 쓰러져 있어야 할 씨름 선수가 씨름판 위에 쓰러져 있는 듯한 화상이 되어 버린다. 즉, 3차원 모델화한 구조물을 배경으로 하여 취급하는 경우, 전경의 위치에 따라서는 자연스러운 가상 시점 화상은 되지 않는다. 그래서, 구조물 서모델을 배경으로서 취급하는 경우에는, 자연스러운 가상 시점 화상을 얻을 수 있는지 여부를 사전에 판정하고, 부자연스러운 가상 시점 화상이 될 가능성이 높은 경우에 유저에 대해 경고를 행하는 것이 바람직하다.

도 14는, 씨름판을 바로 위로부터 본 부감도이며, 씨름판의 주위를 A, B, C, D의 네 영역으로 나누고 있다. 이 A, B, C, D의 영역 각각은, 씨름판 아래(씨름판밖)의 부분을 나타내고 있다. 중앙의 X표시는, 카메라 시스템(110a 내지 110j) 내의 촬상부(111a 내지 111j)의 주시점이다. 본 변형예에서는, 가상 시점 화상의 생성 지시가 있을 때, 그 전경의 위치를 확인한다. 상기 예에서는, 씨름 선수의 위치가 씨름판 위인지 여부를, 지정된 가상 시점(가상 카메라)으로부터의 거리 또는 도시되지 않은 씨름판 전체를 부감으로 촬영하고 있는 카메라의 화상에도 기초하여 판정한다. 그리고, 씨름 선수 중 적어도 1명이 씨름판 위에 있지 않고, 지정된 가상 시점의 위치와 씨름 선수의 위치가, A 내지 D 중 어느 동일 영역 내에 존재하지 않으면 가상 시점 화상의 생성 불능이라고 판단하여, 경고를 행하도록 한다. 한쪽이 A의 영역 내이고 다른 쪽이 C의 영역 내인 식으로, 가상 시점의 위치가 존재하는 영역과, 씨름 선수가 있는 위치의 영역이 상이한 경우는, 실제와는 다른 장소에 씨름 선수를 붙인 것 같은, 부자연스러운 가상 시점 화상이 생성될 가능성이 높기 때문이다. 이와 같이, 구조물 서모델을 배경으로서 취급하는 경우에는, 유의가 필요하다.

본 실시 형태에 따르면, 구조물에 대해서는 그 3차원 모델을 미리 작성해 두고, 다른 전경 모델과 다른 취급을 한다. 이에 의해, 가상 시점 화상의 원인이 되는 복수 시점 화상 데이터 전송량을 억제하면서, 촬영 씬 내의 구조물이 위화감 없이 표현된 가상 시점 화상을 생성하는 것이 가능해진다.

실시 형태 2

실시 형태 1은, 촬영 씬 내의 구조물을, 전경도 배경도 아닌 독자적인 속성의 오브젝트로서 분리하고, 미리 3차원 모델화하여 서버에 보유해 둠으로써, 데이터 전송량을 억제하는 양태였다. 다음에, 촬영 씬 내의 구조물을 전경으로서 다루면서, 구조물에 대해서는 데이터를 씨닝하여 전송함으로써, 데이터 전송량을 억제하는 양태를 실시 형태 2로서 설명한다. 또한, 시스템 구성 등 실시 형태 1과 공통되는 내용에 대해서는 설명을 생략 내지는 간략화하고, 이하에서는 차이점을 중심으로 설명하기로 한다.

본 실시예에서도 실시 형태 1과 같은, 축구 시합을 촬영 씬으로 하는 경우를 예로 설명을 행한다. 즉, 카메라 시스템의 배치는 전술한 도 2와 같다는 전제하에, 이하 설명을 행한다. 이 경우에 있어서, 구조물인 축구 골대를, 선수나 볼과는 구별하면서도, 전경 모델로서 다룬다. 도 15는, 본 실시 형태에 관한, 촬영 씬 내의 구조물 부분의 화상 데이터를 씨닝하여 전송하는 처리의 흐름을 나타내는 흐름도이다. 도 15의 플로우는, 제어 장치(130)의 UI를 통하여 유저가 가상 시점 화상의 원인이 되는 복수 시점 화상의 촬영을 지시한 경우에, 각 카메라 시스템에 있어서 그 실행을 개시한다. 즉, 카메라 어댑터 내의 CPU 등이 소정의 프로그램을 실행함으로써 실현된다.

여기서, 도 15의 플로우 실행 개시 전에는, 그 준비 처리를 끝낼 필요가 있다. 구체적으로는, 각 카메라 시스템(110a 내지 110j)에 있어서, 필드(200)를 구조물이 없는 상태와 있는 상태에서 촬영한 전체 경치 화상(도 7a 및 도 7b를 참조)을 각각 취득하여, 각 카메라 어댑터(112a 내지 112j) 내의 메모리에 보유해 둔다. 이 준비 처리는, 예를 들어 시합이 시작되기 전의 경기장의 설영 시점에 행해 둔다. 또한, 준비 처리에서 얻어진 이들 화상 데이터는 서버(140)에도 송신되어, 후술하는 가상 시점 화상의 생성 처리에서 참조하기 위해서 서버(140) 내의 메모리에 보유된다. 이와 같은 준비 처리의 완료를 전제로, 도 15의 플로우가 실행 가능해진다.

먼저, 스텝 1501에서는, 각 카메라 어댑터(112a 내지 112j)에 있어서, 그 내부에 갖는 카운터(도시되지 않음)의 값이 초기화된다. 구체적으로는, 초기값으로서 "0"이 설정된다. 계속되는 스텝 1502에서는, 각 촬상부(111a 내지 111j)에 있어서, 서버(140)로부터 송신되어 오는 시각 동기 신호에 따른 촬영이 개시된다. 다음으로 스텝 1503에서는, 현재의 카운터값이 "0"인지 여부에 따라, 이후 처리의 분류가 이루어진다. 카운터값이 "0"이면 스텝 1507로 진행하고, "0" 이외의 값이면 스텝 1504로 진행한다.

스텝 1504에서는, 카운터값이 "1"만큼 감산(디크리먼트)된다. 계속되는 스텝 1505에서는, 각 카메라 어댑터(112a 내지 112j)에 있어서, 각 촬상부(111a 내지 111j)에서 촬영한 화상(프레임)으로부터 전경의 영역을 추출하는 처리가 실행된다. 구체적으로는, 준비 처리에서 취득·보유해 둔 두 패턴의 전체 경치 화상 중 구조물이 있는 전체 경치 화상을 사용하여, 촬영 화상의 차분을 구하는 처리(전경·배경 분리 처리)를 행한다. 지금, 준비 처리에서 취득한 두 패턴의 전체 경치 화상 중 구조물이 있는 전체 경치 화상에는, 구조물로서의 축구 골대(202)가 필드(200) 상에 설치된 상태에서 찍혀 있다(도 7b). 따라서, 축구 골대를 포함하지 않는, 선수나 볼과 같은 동적 오브젝트만 찍혀 있는 영역을 잘라낸 화상이 전경 데이터로서 얻어지게 된다. 그리고, 스텝 1506에서는, 각 카메라 어댑터(112a 내지 112j)가, 스텝 1505에서 얻어진 구조물을 포함하지 않는 전경 데이터를 서버(140)에 대해 송신한다. 전경 데이터의 송신을 종료하면, 스텝 1510으로 진행하여, 촬영 종료 여부가 판정된다. 서버(140)로부터 촬영 종료의 지시를 수신하지 않았으면 스텝 1503으로 되돌아간다.

스텝 1507에서는, 각 카메라 어댑터(112a 내지 112j)에 있어서, 각 촬상부(111a 내지 111j)에서 촬영한 화상(프레임)으로부터 전경의 영역을 추출하는 처리가 실행된다. 구체적으로는, 준비 처리에서 취득·보유해 둔 두 패턴의 전체 경치 화상 중 구조물이 없는 전체 경치 화상을 사용하여, 촬영 화상의 차분을 구하는 전경·배경 분리 처리를 행한다. 지금, 준비 처리에서 취득한 두 패턴의 전체 경치 화상 중 구조물이 없는 전체 경치 화상에는, 축구 골대(202) 미설치 상태의 필드(200)만 찍혀 있다(도 7a). 따라서, 선수나 볼이 찍혀 있는 영역뿐만 아니라 축구 골대가 찍혀 있는 영역도 함께 잘라낸 화상이 전경 데이터로서 얻어지게 된다. 즉, 본 스텝에 있어서는, 구조물인 축구 골대도 전경으로서 추출된다. 그리고, 스텝 1508에서는, 각 카메라 어댑터(112a 내지 112j)가, 스텝 1507에서 얻어진 「구조물을 포함한 전경 데이터」를 서버(140)에 대해 송신한다. 이 때, 구조물의 영역도 전경 데이터에 포함되어 있는 것을 수신한 서버(140)측에서도 알 수 있도록, 구조물의 유무를 나타내는 정보(예를 들어, 포함하는 경우를 "1" 포함하지 않는 경우를 "0"으로 나타내는 2치 플래그)를 부여하여 송신을 행한다. 계속되는 스텝 1509에서는, 카운터에 소정의 값 N(N＞1)이 설정된다. 구체적으로는, 각 촬상부(111a 내지 111j)에 의한 동화상 촬영의 프레임 레이트가 60fps인 경우, 예를 들어 "60"과 같은 값이 설정된다. 유저는, 카운터에서 설정하는 소정값을 임의의 값으로 함으로써, 구조물을 포함한 전경 데이터를 송신하는 빈도(N회에 1회)를 자유로이 변경할 수 있다. 카운터에 대한 소정값의 설정을 종료한 후는 스텝 1510으로 진행하여, 촬영 종료 여부가 판정된다. 서버(140)로부터 촬영 종료의 지시를 수신하지 않았으면 스텝 1503으로 되돌아간다.

이상이, 촬영 씬 내의 구조물 부분의 화상 데이터를 씨닝하여 전송하는 처리의 내용이다. 이와 같은 처리를 행하는 결과, 예를 들어 소정값으로서 프레임 레이트와 동일 값이 카운터에서 설정된 경우는, 60회에 1회만 구조물(여기서는 축구 골대)을 포함하는 전경의 화상 데이터의 전송이 서버(140)에 대해 이루어지게 된다. 물론, 선수나 볼과 같은 동적 오브젝트는 60회 모두(매 프레임) 전송된다. 이와 같이, 정적 오브젝트인 구조물의 화상 정보에 관해서는, 선수나 볼과 같은 동적 오브젝트보다도 프레임 레이트를 낮추어 전송할 수 있기 때문에, 구조물을 포함하는 전경의 화상 데이터를 매 프레임 전송하는 것 보다도 전송 효율을 훨씬 높일 수 있다. 또한, 구조물의 화상 정보를 포함하는 전경 화상을 구조물의 화상 정보를 포함하지 않는 전경 화상보다 적은 빈도로 송신함으로써, 전송 데이터를 삭감할 수 있다.

다음에, 상술한 바와 같이 하여 순차 보내져 온 전경의 화상 데이터를 바탕으로, 서버(140)에서 가상 시점 화상을 생성할 때의 처리에 대해 설명한다. 도 16은, 서버(140)에 있어서의 가상 시점 화상의 생성 처리의 흐름을 나타내는 흐름도이다. 도 16의 플로우는, 카메라 시스템(110a 내지 110j)으로 촬영되어 전송되어 온 모든 전경의 화상 데이터 중에서 유저가 지정한 특정한 타임 프레임(예를 들어 10초분)분의 전경 화상을 대상으로, 프레임 단위로 실행되는 것이다. 또한, 이 일련의 처리는, 제어 장치(130)의 지시에 기초하여, 서버(140) 내의 CPU가 소정의 프로그램을 실행함으로써 실현된다.

먼저, 스텝 1601에서는, 설정된 타임 프레임분의 전경 화상 데이터 중 처리 대상이 되는 주목할 전경 화상(프레임)이 결정된다. 계속되는 스텝 1602에서는, 주목 전경 화상에 구조물이 포함되어 있는지 여부가, 전술한 2치 플래그에 기초하여 판정된다. 판정 결과, 주목 전경 화상에 구조물이 포함되는 경우는 스텝 1603으로 진행하고, 구조물이 포함되지 않는 경우는 스텝 1605로 진행한다.

주목 전경 화상에 구조물이 포함되는 경우의 스텝 1603에서는, 주목 전경 화상으로부터 구조물에 대응하는 화상 영역을 추출하여, 구조물을 나타내는 화상(이하, 「구조물 화상」이라고 칭함)이 생성된다. 이 생성 처리는, 이하와 같은 수순으로 행하여진다. 먼저, 전술한 준비 처리에서 취득되어 미리 보유해 둔 구조물이 있는 상태 촬영 화상(전체 경치 화상)과 주목 전경 화상의 차분을 구하여, 전경에 대응하는 화상 영역을 취출한다. 다음에, 당해 취출한 전경에 대응하는 화상 영역과, 미리 보유해 둔 구조물이 없는 상태의 촬영 화상(전체 경치 화상)을 합성한다. 그리고, 당해 합성에 의해 얻어진 합성 화상과, 주목 전경 화상의 차분을 구하여, 구조물에 대응하는 화상 영역만을 나타내는 구조물 화상이 얻어진다. 그리고, 스텝 1604에서, 스텝 1603에서 생성된 구조물 화상 데이터가, 서버(140) 내의 메모리에 보유된다. 이미 구조물 화상 데이터가 보유되어 있는 경우는, 새롭게 생성된 구조물 화상 데이터에 의해 덮어쓰기(갱신)되게 된다. 생성된 구조물 화상 데이터를 메모리에 보존한 후는 스텝 1607로 진행한다.

한편, 주목 전경 화상에 구조물이 포함되지 않는 경우의 스텝 1605에서는, 선행하는 스텝 1603 및 스텝 1604의 처리에서 생성·보유된 구조물 화상 데이터가 판독된다. 계속되는 1606에서는, 판독된 구조물 화상과, 구조물을 포함하지 않는 주목 전경 화상이 합성되어, 구조물을 포함한 주목 전경 화상이 생성된다.

스텝 1607에서는, 구조물을 전경의 일부로 한, 촬영 씬 내의 오브젝트의 3차원 모델(전경 모델)이 생성된다. 이 때, 주목 전경 화상에 원래 구조물을 포함하고 있는 경우(스텝 1602에서 "예")의 본 스텝에서는, 당해 주목 전경 화상을 그대로 사용하여 전경 모델이 생성된다. 한편, 주목 전경 화상에 원래 구조물을 포함하지 않은 경우(스텝 1602에서 "아니오")의 본 스텝에서는, 스텝 1606에서 구조물이 합성된 주목 전경 화상을 사용하여 전경 모델이 생성된다. 어느 경우에 있어서도, 선수나 볼과 같은 동적 오브젝트 이외에도, 구조물(정적 오브젝트)인 축구 골대도 포함된 전경 모델이 생성되게 된다.

스텝 1608에서는, 유저에 의해 별도 설정된 가상 시점의 위치 정보에 기초하여, 스텝 1607에서 생성한 전경 모델을 당해 가상 시점에서 본 경우의 형상 추정을 행하여, 가상 시점 화상이 생성된다.

이상이, 본 실시 형태에 관한, 서버(140)에서의 가상 시점 화상의 생성 처리의 내용이다. 본 실시 형태와 같이, 촬영 씬 내의 구조물을 전경으로 다루면서 그 화상 데이터를 씨닝하여 전송함으로써도, 실시 형태 1과 동일한 효과를 얻을 수 있다.

(그 밖의 실시예)

본 발명은 상술한 실시 형태의 하나 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 하나 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에 의해서도 실현 가능하다. 또한, 하나 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실현 가능하다.

실시 형태를 참조하여 본 발명을 설명하였지만, 본 발명이 상술한 실시 형태에 한정되지 않음은 물론이다. 하기의 클레임은 가장 넓게 해석되어, 그러한 변형예 및 동등한 구조·기능 모두를 포함하는 것으로 한다.

본 출원은, 2017년 12월 14일 출원된 일본 특허 출원 제2017-239888호에 기초하여 우선권을 주장하고, 상기 일본 특허 출원은, 이 참조에 의해 본 명세서에 포함된다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
시스템으로서,
복수의 방향으로부터의 촬영에 의해 취득된 복수의 촬영 화상에 기초하여, 구조물의 영역 및 오브젝트의 영역을 다른 영역들과 구별되게 나타내는 제1 화상을 생성하는 제1 생성 수단;
복수의 방향으로부터의 촬영에 의해 취득된 복수의 촬영 화상에 기초하여, 상기 오브젝트의 영역을 다른 영역들과 구별되게 나타내는 제2 화상을 생성하는 제2 생성 수단;
상기 제1 생성 수단에 의해 생성된 상기 제1 화상과 상기 제2 생성 수단에 의해 생성된 상기 제2 화상을 송신하는 송신 수단;
상기 송신 수단으로부터 송신된 상기 제1 화상과 상기 제2 화상에 기초하여, 상기 오브젝트에 대응하는 3차원 형상 데이터를 취득하는 제1 취득 수단;
상기 송신 수단으로부터 송신된 상기 제1 화상에 기초하여, 상기 구조물에 대응하는 3차원 형상 데이터를 취득하는 제2 취득 수단;
상기 오브젝트 및 상기 구조물과는 상이한 배경의 영역에 대응하는 배경 데이터를 취득하는 제3 취득 수단;
가상 시점을 나타내는 정보를 취득하는 제4 취득 수단; 및
상기 제1 취득 수단에 의해 취득된 상기 오브젝트에 대응하는 3차원 형상 데이터, 상기 제2 취득 수단에 의해 취득된 상기 구조물에 대응하는 3차원 형상 데이터, 상기 제3 취득 수단에 의해 취득된 상기 배경 데이터, 및 상기 제4 취득 수단에 의해 취득된 상기 가상 시점을 나타내는 정보에 기초하여, 가상 시점 화상을 생성하는 제3 생성 수단을 포함하고,
상기 송신 수단은 상기 제1 화상을 상기 제2 화상보다 적은 빈도로 송신하는, 시스템.
제12항에 있어서, 상기 송신 수단으로부터 송신된 상기 제1 화상과 상기 제2 화상에 기초하여, 상기 구조물의 영역을 다른 영역들과 구별되게 나타내는 제3 화상을 생성하는 제4 생성 수단을 더 포함하는, 시스템.
제13항에 있어서, 상기 제1 취득 수단과 상기 제2 취득 수단은,
물리적으로 동일하고,
상기 제2 화상이 상기 송신 수단으로부터 송신된 경우에, 상기 송신 수단으로부터 송신된 상기 제2 화상 및 상기 제4 생성 수단에 의해 생성된 상기 제3 화상에 기초하여 상기 오브젝트에 대응하는 3차원 형상 데이터와 상기 구조물에 대응하는 3차원 형상 데이터를 취득하는, 시스템.
제12항에 있어서, 상기 제3 생성 수단은,
상기 제4 취득 수단에 의해 취득된 상기 가상 시점을 나타내는 정보에 의해 특정된 가상 시점으로부터 상기 오브젝트까지의 거리가 상기 특정된 가상 시점으로부터 상기 구조물까지의 거리보다 짧은 경우에는, 상기 가상 시점 화상에서 상기 오브젝트가 상기 구조물의 앞에 존재하도록 상기 구조물에 대응하는 3차원 형상 데이터와 상기 오브젝트에 대응하는 3차원 형상 데이터를 합성하고,
상기 특정된 가상 시점으로부터 상기 구조물까지의 거리가 상기 특정된 가상 시점으로부터 상기 오브젝트까지의 거리보다 짧은 경우에는, 상기 가상 시점 화상에서 상기 오브젝트가 상기 구조물의 뒤에 존재하도록 상기 오브젝트에 대응하는 3차원 형상 데이터와 상기 구조물에 대응하는 3차원 형상 데이터를 합성하는, 시스템.
삭제
가상 시점 화상을 생성하는 생성 방법으로서,
복수의 방향으로부터의 촬영에 의해 취득된 복수의 촬영 화상에 기초하여, 구조물의 영역 및 오브젝트의 영역을 다른 영역들과 구별되게 나타내는 제1 화상을 생성하는 제1 생성 단계;
복수의 방향으로부터의 촬영에 의해 취득된 복수의 촬영 화상에 기초하여, 상기 오브젝트의 영역을 다른 영역들과 구별되게 나타내는 제2 화상을 생성하는 제2 생성 단계;
상기 제1 생성 단계에서 생성된 상기 제1 화상과 상기 제2 생성 단계에서 생성된 상기 제2 화상을 송신하는 송신 단계;
상기 송신 단계에서 송신된 상기 제1 화상과 상기 제2 화상에 기초하여, 상기 오브젝트에 대응하는 3차원 형상 데이터를 취득하는 제1 취득 단계;
상기 송신 단계에서 송신된 상기 제1 화상에 기초하여, 상기 구조물에 대응하는 3차원 형상 데이터를 취득하는 제2 취득 단계;
상기 오브젝트 및 상기 구조물과는 상이한 배경의 영역에 대응하는 배경 데이터를 취득하는 제3 취득 단계;
가상 시점을 나타내는 정보를 취득하는 제4 취득 단계; 및
상기 제1 취득 단계에서 취득된 상기 오브젝트에 대응하는 3차원 형상 데이터, 상기 제2 취득 단계에서 취득된 상기 구조물에 대응하는 3차원 형상 데이터, 상기 제3 취득 단계에서 취득된 상기 배경 데이터, 및 상기 제4 취득 단계에서 취득된 상기 가상 시점을 나타내는 정보에 기초하여, 가상 시점 화상을 생성하는 제3 생성 단계를 포함하고,
상기 송신 단계에서는, 상기 제1 화상을 상기 제2 화상보다 적은 빈도로 송신하는, 생성 방법.
삭제
컴퓨터가 가상 시점 화상을 생성하는 생성 방법을 수행하게 하는 프로그램을 기억하는 비일시적 컴퓨터 판독가능 기억 매체로서,
상기 생성 방법은,
복수의 방향으로부터의 촬영에 의해 취득된 복수의 촬영 화상에 기초하여, 구조물의 영역 및 오브젝트의 영역을 다른 영역들과 구별되게 나타내는 제1 화상을 생성하는 제1 생성 단계;
복수의 방향으로부터의 촬영에 의해 취득된 복수의 촬영 화상에 기초하여, 상기 오브젝트의 영역을 다른 영역들과 구별되게 나타내는 제2 화상을 생성하는 제2 생성 단계;
상기 제1 생성 단계에서 생성된 상기 제1 화상과 상기 제2 생성 단계에서 생성된 상기 제2 화상을 송신하는 송신 단계;
상기 송신 단계에서 송신된 상기 제1 화상과 상기 제2 화상에 기초하여, 상기 오브젝트에 대응하는 3차원 형상 데이터를 취득하는 제1 취득 단계;
상기 송신 단계에서 송신된 상기 제1 화상에 기초하여, 상기 구조물에 대응하는 3차원 형상 데이터를 취득하는 제2 취득 단계;
상기 오브젝트 및 상기 구조물과는 상이한 배경의 영역에 대응하는 배경 데이터를 취득하는 제3 취득 단계;
가상 시점을 나타내는 정보를 취득하는 제4 취득 단계; 및
상기 제1 취득 단계에서 취득된 상기 오브젝트에 대응하는 3차원 형상 데이터, 상기 제2 취득 단계에서 취득된 상기 구조물에 대응하는 3차원 형상 데이터, 상기 제3 취득 단계에서 취득된 상기 배경 데이터, 및 상기 제4 취득 단계에서 취득된 상기 가상 시점을 나타내는 정보에 기초하여, 가상 시점 화상을 생성하는 제3 생성 단계를 포함하고,
상기 송신 단계에서는, 상기 제1 화상을 상기 제2 화상보다 적은 빈도로 송신하는, 비일시적 컴퓨터 판독가능 기억 매체.