KR20200129184A - 3차원 모델의 생성 장치, 생성 방법, 및 프로그램 - Google Patents

Abstract

대상 오브젝트의 일부를 가려 버리는 구조물 등이 촬영 씬 내에 존재하고 있어도, 생성되는 3차원 모델에 있어서 결손이 발생하지 않도록 한다. 3차원 모델의 생성 장치이며, 복수의 시점에서 촬영한 각 화상 내의 정지하고 있는 오브젝트인 구조물의 영역을 나타내는 제1 마스크 화상, 및 상기 복수의 시점에서 촬영한 각 화상 내의 동체의 오브젝트인 전경의 영역을 나타내는 제2 마스크 화상을 취득하는 취득 수단과, 취득한 상기 제1 마스크 화상과 상기 제2 마스크 화상을 합성하여, 상기 복수의 시점에서 촬영한 화상 내의 상기 구조물의 영역과 상기 전경의 영역을 통합한 제3 마스크 화상을 생성하는 합성 수단과, 상기 제3 마스크 화상을 사용한 시체적 교차법에 의해, 상기 구조물과 상기 전경을 포함하는 3차원 모델을 생성하는 생성 수단을 갖는 것을 특징으로 한다.

Description

3차원 모델의 생성 장치, 생성 방법, 및 프로그램{3-DIMENSIONAL MODEL GENERATION DEVICE, METHOD AND PROGRAM}

본 발명은, 화상 내 오브젝트의 3차원 모델의 생성에 관한 것이다.

종래, 복수대의 카메라에 의해 상이한 시점으로부터 동기 촬영된 복수 시점 화상을 사용하여, 오브젝트의 3차원 형상을 추정하는 방법으로서, 「시체적(視體積) 교차법(Visual Hull)」이라고 불리는 방법이 알려져 있다(특허문헌 1, 비특허문헌 1). 도 1의 (a) 내지 (c)는, 시체적 교차법의 기본 원리를 나타내는 도면이다. 어떤 오브젝트를 촬영한 화상으로부터는, 촬상면에 당해 오브젝트의 2차원 실루엣을 나타내는 마스크 화상이 얻어진다(도 1의 (a)). 그리고, 카메라의 투영 중심으로부터 마스크 화상의 윤곽 상의 각 점을 통과시키도록, 3차원 공간 중으로 넓어지는 뿔체를 생각한다(도 1의 (b)). 이 뿔체를 해당하는 카메라에 의한 대상의 「시체적」이라고 칭한다. 또한, 복수의 시체적의 공통 영역, 즉 시체적의 교차를 구함으로써, 오브젝트의 3차원 형상(3차원 모델)이 구해진다(도 1의 (c)). 이와 같이 시체적 교차법에 의한 형상 추정에서는, 오브젝트가 존재할 가능성이 있는 공간 중의 샘플링점을 마스크 화상에 사영하고, 복수의 시점에서 공통적으로 사영한 점이 마스크 화상에 포함되는지를 검증함으로써, 오브젝트의 3차원 형상을 추정한다.

일본 특허 공개 제2014-10805호 공보

Laurentini A: "The Visual Hull Concept for Silhouette-Based Image Understanding", IEEE Transcriptions Pattern Analysis and machine Intelligence, Vol.16, No.2, pp.150-162, Feb.1994

상술한 시체적 교차법에서는, 마스크 화상이 대상 오브젝트의 실루엣을 정확하게 표현되어 있을 필요가 있고, 마스크 화상 상의 실루엣이 부정확한 경우는 생성되는 3차원 형상도 부정확한 것이 되어 버린다. 예를 들어, 대상 오브젝트인 인물의 일부가, 당해 인물의 앞쪽에 존재하는 구조물 등의 정지 물체에 의해 가려져, 마스크 화상이 나타내는 인물의 실루엣의 일부가 부족해 버리면, 생성되는 3차원 모델에 결손이 발생해 버린다. 또한, 실루엣의 일부가 부족한 마스크 화상에 대해서는 사용하지 않기로 하면, 얻어지는 3차원 모델의 형상 정밀도가 떨어져 버린다. 특히, 구조물에 의해 가려져 있는 부분이 상대적으로 작은 경우는, 가령 실루엣의 일부가 가려진 마스크 화상이어도, 사용함으로써 높은 형상 정밀도의 3차원 모델이 얻어지므로 최대한 이용하는 것이 바람직하다.

본 발명은, 상기의 과제를 감안하여 이루어진 것이며, 그 목적은, 대상 오브젝트의 일부를 가려 버리는 구조물 등이 촬영 씬 내에 존재하고 있어도, 생성되는 3차원 모델에 있어서 결손이 발생하지 않도록 하는 것이다.

본 발명에 관한 3차원 모델의 생성 장치는, 복수의 시점에서 촬영한 각 화상 내의 정지하고 있는 오브젝트인 구조물의 영역을 나타내는 제1 마스크 화상, 및 상기 복수의 시점에서 촬영한 각 화상 내의 동체의 오브젝트인 전경의 영역을 나타내는 제2 마스크 화상을 취득하는 취득 수단과, 취득한 상기 제1 마스크 화상과 상기 제2 마스크 화상을 합성하여, 상기 복수의 시점에서 촬영한 화상 내의 상기 구조물의 영역과 상기 전경의 영역을 통합한 제3 마스크 화상을 생성하는 합성 수단과, 상기 제3 마스크 화상을 사용한 시체적 교차법에 의해, 상기 구조물과 상기 전경을 포함하는 3차원 모델을 생성하는 생성 수단을 갖는 것을 특징으로 한다.

본 발명에 따르면, 대상 오브젝트의 일부를 가려 버리는 구조물 등이 촬영 씬 내에 존재하고 있어도, 결손이 없는, 혹은 저감시킨 고품질의 3차원 모델의 생성이 가능해진다.

본 발명의 가일층의 특징은, 첨부의 도면을 참조하여 행하는 이하의 실시 형태의 설명으로부터 명확해진다.

도 1의 (a) 내지 (c)는, 시체적 교차법의 기본 원리를 나타내는 도면이다.
도 2의 (a)는 가상 시점 화상 생성 시스템의 구성을 나타내는 블록도이고, (b)는 카메라 어레이를 구성하는 각 카메라의 배치예를 나타내는 도면이다.
도 3은 실시 형태 1에 관한 3차원 모델 생성 장치의 내부 구성을 나타내는 기능 블록도이다.
도 4는 실시 형태 1에 관한 3차원 모델 형성 처리의 흐름을 나타내는 흐름도이다.
도 5의 (a) 내지 (h)는, 각 카메라로 촬영된 화상의 일례를 나타내는 도면이다.
도 6의 (a) 내지 (h)는, 구조물 마스크의 일례를 나타내는 도면이다.
도 7의 (a) 내지 (h)는, 전경 마스크의 일례를 나타내는 도면이다.
도 8의 (a) 내지 (h)는, 통합 마스크의 일례를 나타내는 도면이다.
도 9는 통합 마스크를 바탕으로 생성되는 통합 3차원 모델의 일례를 나타내는 도면이다.
도 10은 종래 방법에 의한, 전경 마스크만을 사용하여 생성한 3차원 모델의 일례를 나타내는 도면이다.
도 11은 실시 형태 2에 관한 3차원 모델 형성 처리의 흐름을 나타내는 흐름도이다.
도 12의 (a)는 통합 마스크를 바탕으로 생성한 통합 3차원 모델을 나타내는 도면이고, (b)는 구조물 마스크에만 기초하여 생성한 구조물의 3차원 모델을 나타내는 도면이고, (c)는 (a)의 통합 3차원 모델과 (b)의 구조물의 3차원 모델의 차분에 의해 얻어진 전경만의 3차원 모델을 나타내는 도면이다.
도 13은 실시 형태 3에 관한, 3차원 모델을 구성하는 복셀의 예를 나타내는 도면이다.
도 14는 실시 형태 3에 관한, 가상 시점 화상 생성 시스템의 카메라 배치의 예를 나타내는 도면이다.
도 15는 실시 형태 3에 관한, 3차원 모델 생성 장치의 기능 구성의 일례를 나타내는 도면이다.
도 16은 실시 형태 3에 관한 3차원 모델 생성 장치가 실시하는 처리의 수순을 나타내는 흐름도이다.
도 17은 실시 형태 3에 관한 복수의 카메라에 의해 촬영한 촬영 화상의 예를 나타내는 도면이다.
도 18은 실시 형태 3에 관한 구조물 마스크 화상의 예를 나타내는 도면이다.
도 19는 실시 형태 3에 관한 전경 마스크 화상의 예를 나타내는 도면이다.
도 20은 실시 형태 3에 관한 전경 마스크 화상과 구조물 마스크 화상을 통합한 통합 마스크 화상의 예를 나타내는 도면이다.
도 21은 실시 형태 3에 관한 경기장 시스템의 3차원 모델 생성 대상의 복셀 공간을 나타내는 도면이다.
도 22는 실시 형태 3에 관한 True Count/False Count를 나타내는 도면이다.
도 23은 실시 형태 3에 관한 False Count의 역치 판정을 적용하여 생성된 3차원 모델의 일례를 나타내는 도면이다.
도 24는 실시 형태 3에 관한 False Count의 역치 판정 및 True Count의 역치 판정을 적용하여 생성된 3차원 모델의 일례를 나타내는 도면이다.
도 25는 결락이 발생하는 경우의 3차원 모델을 나타내는 도면이다.
도 26은 실시 형태 4에 관한 3차원 모델 생성 장치의 기능 구성의 일례를 나타내는 도면이다.
도 27은 실시 형태 4에 관한 3차원 모델 생성 장치가 실시하는 처리의 수순을 나타내는 흐름도이다.
도 28은 실시 형태 4에 관한 가상 시점 화상 생성 시스템의 카메라 배치와 전경의 예를 나타낸 도면이다.
도 29는 실시 형태 4에 관한 True/False Count를 나타내는 도면이다.
도 30은 실시 형태 5에 관한 3차원 모델 생성 장치의 기능 블록을 나타낸 도면이다.
도 31은 실시 형태 5에 관한 3차원 모델 생성 장치의 처리 플로우를 나타낸 도면이다.
도 32는 실시 형태 5에 관한 가중 가산 없음과 있음에 따른 True/False Count를 나타내는 도면이다.
도 33은 실시 형태 6에 관한 3차원 모델 생성 장치의 기능 블록을 나타낸 도면이다.
도 34는 실시 형태 6에 관한 3차원 모델 생성 장치의 처리 플로우를 나타낸 도면이다.
도 35는 실시 형태 6에 관한 False Count/Structure를 나타내는 도면이다.

이하, 첨부 도면을 참조하여, 본 발명을 실시 형태에 따라서 상세하게 설명한다. 또한, 이하의 실시 형태에 있어서 나타내는 구성은 일례에 지나지 않으며, 본 발명은 도시된 구성에 한정되는 것은 아니다.

실시 형태 1

본 실시 형태에서는, 촬영 씬에 있어서의 전경의 2차원 실루엣에 더하여, 그의 적어도 일부를 가리는 구조물의 2차원 실루엣도 포함하는 마스크 화상을 사용하여, 전경에 대해서 결손이 없는, 혹은 저감시킨 3차원 모델을 생성하는 양태에 대해서 설명한다. 이 양태에서는, 전경의 일부를 가리는 구조물 등을 포함한 3차원 모델이 생성된다. 또한, 본 명세서에 있어서, 「전경」이란, 시계열로 같은 앵글로부터 촬영을 행한 경우에 있어서 움직임이 있는(그의 절대 위치가 변화할 수 있음), 가상적인 시점으로부터 보는 것이 가능한, 촬영 화상 내에 존재하는 동적 오브젝트(동체)를 가리킨다. 또한, 「구조물」이란, 시계열로 같은 앵글로부터 촬영을 행한 경우에 있어서 움직임이 없는(그의 절대 위치가 변화하지 않는, 즉 정지하고 있음), 전경을 가려 버릴 가능성이 있는, 촬영 화상 내에 존재하는 정적 오브젝트를 가리킨다. 또한, 여기에서 말하는 3차원 모델이란, 3차원의 형상을 나타내는 데이터를 말한다.

이하의 설명에서는, 축구의 시합을 촬영 씬으로 하여 가상 시점 화상을 생성하는 경우에 있어서, 선수나 볼과 같은 전경(동적 오브젝트)의 일부가, 축구 골대 등의 구조물(정적 오브젝트)에 의해 가려져 버리는 케이스를 상정하고 있다. 또한, 가상 시점 화상이란, 엔드 유저 및／또는 선임의 오퍼레이터 등이 자유롭게 가상 카메라의 위치 및 자세를 조작함으로써 생성되는 영상이며, 자유 시점 화상이나 임의 시점 화상 등이라고도 불린다. 또한, 생성되는 가상 시점 화상이나 그의 근원이 되는 복수 시점 화상은, 동화상이어도, 정지 화상이어도 된다. 이하에 설명하는 각 실시 형태에서는, 동화상의 복수 시점 화상을 사용하여 동화상의 가상 시점 화상을 생성하기 위한 3차원 모델을 생성하는 경우를 예로 들어 설명하기로 한다.

본 실시 형태에서는 축구를 촬영 씬으로 하고, 고정적으로 설치된 축구 골대를 구조물로 하여 이하 설명을 행하기로 하지만, 이것에 한정되지 않는다. 예를 들어, 추가로 코너 플래그를 구조물로서 취급해도 되고, 옥내 스튜디오 등을 촬영 씬으로 하는 경우에는 가구나 소도구를 구조물로서 다룰 수도 있다. 즉, 정지 또는 정지에 가까운 상태가 계속되는 정지 물체면 된다.

(시스템 구성)

도 2의 (a)는, 본 실시 형태에 관한, 3차원 모델 생성 장치를 포함하는 가상 시점 화상 생성 시스템의 구성의 일례를 나타내는 블록도이다. 가상 시점 화상 생성 시스템(100)은, 복수의 카메라를 포함하는 카메라 어레이(110), 제어 장치(120), 전경 분리 장치(130), 3차원 모델 생성 장치(140), 렌더링 장치(150)로 구성된다. 제어 장치(120), 전경 분리 장치(130), 3차원 모델 생성 장치(140) 및 렌더링 장치(150)는, 연산 처리를 행하는 CPU, 연산 처리의 결과나 프로그램 등을 기억하는 메모리 등을 구비한 일반적인 컴퓨터(정보 처리 장치)에 의해 실현된다.

도 2의 (b)는, 카메라 어레이(110)를 구성하는 전체 8대의 카메라(211 내지 218)의 배치를, 필드(200)를 바로 위로부터 본 부감도에 있어서 나타낸 도면이다. 각 카메라(211 내지 218)는, 지상으로부터 어느 일정한 높이에 필드(200)를 둘러싸도록 설치되어 있고, 한쪽의 골대 앞을 여러 가지 각도로부터 촬영하여, 시점이 상이한 복수 시점 화상 데이터를 취득한다. 잔디 필드(200) 위에는, 축구 코트(201)가 (실제로는 백색의 라인으로)그려져 있으며, 그 좌측에 축구 골대(202)가 놓여 있다. 또한, 축구 골대(202) 앞의 X 표시(203)는, 카메라(211 내지 218)의 공통의 시선 방향(주 시점)을 나타내고, 파선의 원(204)은 주 시점(203)을 중심으로 하여 카메라(211 내지 218)가 각각 촬영 가능한 에어리어를 나타내고 있다. 본 실시 형태에서는, 필드(200)의 하나의 각을 원점으로 하고, 긴 변 방향을 x축, 짧은 변 방향을 y축, 높이 방향을 z축으로 한 좌표계로 나타내기로 한다. 카메라 어레이(110)의 각 카메라에서 얻어진 복수 시점 화상의 데이터는, 제어 장치(120) 및 전경 분리 장치(130)로 보내진다. 또한, 도 2의 (a)에서는, 각 카메라(211 내지 218)와, 제어 장치(120) 및 전경 분리 장치(130)는, 스타형 토폴러지로 접속되어 있지만 데이지 체인 접속에 의한 링형이나 버스형 토폴러지여도 된다. 또한, 도 2에 있어서, 카메라 8대의 예를 나타냈지만, 카메라의 수는, 8대 미만 또는 8대를 초과해도 된다.

제어 장치(120)는, 카메라 파라미터나 구조물 마스크를 생성하여, 3차원 모델 생성 장치(140)에 공급한다. 카메라 파라미터는, 각 카메라의 위치나 자세(시선 방향)를 나타내는 외부 파라미터와, 각 카메라가 구비하는 렌즈의 초점 거리나 화각(촬영 영역) 등을 나타내는 내부 파라미터로 이루어지고, 캘리브레이션에 의해 얻어진다. 캘리브레이션은, 체커보드와 같은 특정 패턴을 촬영한 복수의 화상을 사용하여 취득한 3차원의 세계 좌표계의 점과 그것에 대응하는 2차원상의 점의 대응 관계를 구하는 처리이다. 구조물 마스크는, 각 카메라(211 내지 218)에서 취득되는 각 촬영 화상 중에 존재하는 구조물의 2차원 실루엣을 나타내는 마스크 화상이다. 마스크 화상은, 촬영 화상 내의 추출 대상의 부분이 어디일지를 특정하는 기준 화상이며, 0과 1로 표시되는 2치 화상이다. 본 실시 형태에서는, 축구 골대(202)를 구조물로서 취급하고, 각 카메라 각각이 소정 위치로부터 소정 앵글로 촬영한 화상 내의 축구 골대(202)의 영역(2차원 실루엣)을 나타내는 실루엣 화상이 구조물 마스크로 된다. 또한, 구조물 마스크의 근원이 되는 촬영 화상은, 시합 전후나 하프 타임중 등, 전경으로 되는 선수 등이 존재하지 않는 타이밍에 촬영한 것을 사용하면 된다. 단, 예를 들어 옥외에서는 일조 변동의 영향을 받거나 함으로써, 사전·사후에 촬영한 화상으로는 부적절한 경우가 있다. 이와 같은 경우, 예를 들어 선수 등이 찍혀 있는 동화상 중 소정 수의 프레임(예를 들어 연속되는 10초분의 프레임)을 사용하여, 거기서부터 선수 등을 지움으로써 얻어도 된다. 이 경우, 각 프레임에 있어서의 각 화소값의 중앙값을 채용한 화상에 기초하여 구조물 마스크를 얻을 수 있다.

전경 분리 장치(130)는, 입력되는 복수 시점의 각 촬영 화상 각각에 대해서, 필드(200) 위의 선수나 볼에 대응하는 전경 영역과 그 이외의 배경 영역을 판별하는 처리를 행한다. 이 전경 영역의 판별에는, 미리 준비한 배경 화상(구조물 마스크의 근원이 되는 촬영 화상과 같아도 됨)을 사용한다. 구체적으로는, 각 촬영 화상에 대해서 배경 화상과의 차분을 구하여, 당해 차분에 대응하는 영역을 전경 영역으로서 특정한다. 이에 의해, 촬영 화상별 전경 영역을 나타내는 전경 마스크를 생성한다. 본 실시 형태에 있어서는, 촬영 화상 중, 선수나 볼을 나타내는 전경 영역에 속하는 화소를 "0", 그 이외의 배경 영역에 속하는 화소를 "1"로 나타내는 2치 화상이, 전경 마스크로서 생성되게 된다.

3차원 모델 생성 장치(140)는, 카메라 파라미터나 복수 시점 화상에 기초하여, 오브젝트의 3차원 모델을 생성한다. 3차원 모델 생성 장치(140)의 상세에 대해서는 후술한다. 생성한 3차원 모델의 데이터는, 렌더링 장치(150)에 출력된다.

렌더링 장치(150)는, 3차원 모델 생성 장치(140)로부터 수취한 3차원 모델, 제어 장치(120)로부터 수취한 카메라 파라미터, 전경 분리 장치(130)로부터 수취한 전경 화상, 미리 준비한 배경 화상에 기초하여, 가상 시점 화상을 생성한다. 구체적으로는, 카메라 파라미터로부터 전경 화상과 3차원 모델의 위치 관계를 구하여, 3차원 모델에 대응하는 전경 화상을 매핑하고, 임의의 앵글로부터 주목 오브젝트를 본 경우의 가상 시점 화상이 생성된다. 이와 같이 하여 예를 들어, 선수가 득점을 한 골대 앞의 결정적 씬의 가상 시점 화상을 얻을 수 있다.

또한, 도 2에 나타낸 가상 시점 화상 생성 시스템의 구성은 일례이며 이것에 한정되지 않는다. 예를 들어, 1대의 컴퓨터가 복수의 장치(예를 들어 전경 분리 장치(130)와 3차원 모델 생성 장치(140) 등)의 기능을 겸비해도 된다. 혹은, 각 카메라의 모듈에 전경 분리 장치(130)의 기능을 갖게 하여, 각 카메라로부터 촬영 화상과 그 전경 마스크의 데이터를 공급하도록 구성해도 된다.

(3차원 모델 생성 장치)

도 3은, 본 실시 형태에 관한 3차원 모델 생성 장치(140)의 내부 구성을 나타내는 기능 블록도이다. 3차원 모델 생성 장치(140)는, 데이터 수신부(310), 구조물 마스크 저장부(320), 마스크 합성부(330), 좌표 변환부(340), 3차원 모델 형성부(350), 데이터 출력부(360)로 구성된다. 이하, 각 부에 대해서 상세하게 설명한다.

데이터 수신부(310)는, 카메라 어레이(110)를 구성하는 각 카메라의 카메라 파라미터 및 촬영 씬 내에 존재하는 구조물의 2차원 실루엣을 나타내는 구조물 마스크를, 제어 장치(120)로부터 수신한다. 또한, 카메라 어레이(110)의 각 카메라에서 얻어진 촬영 화상(복수 시점 화상) 및 각 촬영 화상 내에 존재하는 전경의 2차원 실루엣을 나타내는 전경 마스크의 데이터를 전경 분리 장치(130)로부터 수신한다. 수신한 데이터 중, 구조물 마스크는 구조물 마스크 저장부(320)에, 전경 마스크는 마스크 합성부(330)에, 복수 시점 화상은 좌표 변환부(340)에, 카메라 파라미터는 좌표 변환부(340)와 3차원 모델 형성부(350)에, 각각 전달된다.

구조물 마스크 저장부(320)는, 구조물 마스크를 RAM 등에 저장·보유하고, 필요에 따라 마스크 합성부(330)로 공급한다.

마스크 합성부(330)는, 구조물 마스크 저장부(320)로부터 구조물 마스크를 판독하고, 이것을 데이터 수신부(310)로부터 수취한 전경 마스크와 합성하여, 양자를 하나로 통합한 마스크 화상(이하, 「통합 마스크」라고 칭함)을 생성한다. 생성한 통합 마스크는, 3차원 모델 형성부(350)로 보내진다.

좌표 변환부(340)는, 데이터 수신부(310)로부터 수취한 복수 시점 화상을, 카메라 파라미터에 기초하여, 카메라 좌표계로부터 세계 좌표계로 변환한다. 이 좌표 변환에 의해, 시점이 상이한 각 촬영 화상이, 각각 3차원 공간상의 어느 영역을 나타내고 있는지를 나타내는 정보로 변환된다.

3차원 모델 형성부(350)는, 세계 좌표계로 변환된 복수 시점 화상, 각 카메라에 대응하는 통합 마스크를 사용하여, 촬영 씬 내의 구조물을 포함하는 오브젝트의 3차원 모델을 시체적 교차법에 의해 생성한다. 생성한 오브젝트의 3차원 모델의 데이터는, 데이터 출력부(360)를 통해 렌더링 장치(150)로 출력된다.

(3차원 모델의 형성 처리)

도 4는, 본 실시 형태에 관한, 3차원 모델 형성 처리의 흐름을 나타내는 흐름도이다. 이 일련의 처리는, 3차원 모델 생성 장치(140)가 구비하는 CPU가, ROM이나 HDD 등의 기억 매체로 된 소정의 프로그램을 RAM에 전개하여 이것을 실행함으로써 실현된다. 이하, 도 4의 플로우를 따라 설명한다.

먼저, 스텝 401에서는, 데이터 수신부(310)가, 각 카메라(211 내지 218)로부터 본 경우의 구조물(여기서는, 축구 골대(202))의 2차원 실루엣을 나타내는 구조물 마스크와, 각 카메라의 카메라 파라미터를, 제어 장치(120)로부터 수신한다. 도 5의 (a) 내지 (h)는, 카메라 어레이(110)를 구성하는 카메라(211 내지 222)로 각각 촬영되는 화상을 나타내고 있다. 이제, 축구 코트(201) 위에 선수(골키퍼)가 한명, 축구 골대(202) 앞에 존재하고 있다. 그리고, 도 5의 (a), (b), (h)의 각 촬상 화상에 있어서는, 카메라와 선수의 사이에 축구 골대(202)가 위치하기 때문에, 선수의 일부가 축구 골대(202)에 의해 숨겨져 버렸다. 도 5의 (a) 내지 (h)의 각 촬영 화상으로부터는, 축구 골대(202)의 영역이 1(백색), 그 이외의 영역이 0(흑색)의 2치로 표현된, 구조물 마스크가 각각 얻어지게 된다. 도 6의 (a) 내지 (h)는, 도 5의 (a) 내지 (h)의 각 촬영 화상에 대응하는 구조물 마스크를 나타내고 있다.

다음으로, 스텝 402에서는, 데이터 수신부(310)가, 각 카메라(211 내지 218)로 촬영된 화상에 있어서의 전경(여기서는, 선수나 볼)의 2차원 실루엣을 나타내는 전경 마스크를, 그 근원이 된 복수 시점 화상과 함께, 전경 분리 장치(130)로부터 수신한다. 도 7의 (a) 내지 (h)는, 도 5의 (a) 내지 (h)의 각 촬영 화상에 대응하는 전경 마스크를 각각 나타내고 있다. 전경 분리 장치(130)는, 동일한 앵글로부터 촬영된 화상 간에 시간적으로 변화가 있는 영역을 전경으로서 추출하기 때문에, 도 7의 (a), (b), (h)의 각 도면에서는, 축구 골대(202)에 숨겨져 있는 선수의 일부의 영역은 전경 영역으로서 추출되지 않는다. 수신한 전경 마스크의 데이터는 마스크 합성부(330)에 보내진다.

다음으로, 스텝 403에서는, 마스크 합성부(310)가, 구조물 마스크 저장부(320)로부터 구조물 마스크의 데이터를 판독하고, 판독한 구조물 마스크와, 데이터 수신부(310)로부터 수취한 전경 마스크를 합성하는 처리를 실행한다. 이 합성은, 2치(흑백)로 표시되는 전경 마스크와 구조물 마스크의 각 화소에 대해서 논리합(OR)을 구하는 연산 처리이다. 도 8의 (a) 내지 (h)는, 도 6의 (a) 내지 (h)에 나타낸 각 구조물 마스크와, 도 7의 (a) 내지 (h)로 나타낸 각 전경 마스크를 각각 합성하여 얻어진 통합 마스크를 나타내고 있다. 완성된 통합 마스크에 있어서는, 선수의 실루엣에 결손은 보이지 않는다.

그리고, 스텝 404에 있어서, 3차원 모델 형성부(350)가, 스텝 403에서 얻은 통합 마스크를 바탕으로 시체적 교차법을 사용하여 3차원 모델을 생성한다. 이에 의해, 상이한 시점으로부터 촬영된 복수 화상 간의 공통 촬영 영역에 존재하는 전경과 구조물의 3차원 형상을 나타내는 모델(이하, 「통합 3차원 모델」이라고 칭함)이 생성된다. 본 실시 형태의 경우라면, 선수나 볼에 더하여, 축구 골대(202)를 포함한 통합 3차원 모델이 생성되게 된다. 통합 3차원 모델의 생성은, 구체적으로는 이하와 같은 수순으로 행한다. 먼저, 필드(200) 상의 3차원 공간을 일정 크기를 갖는 입방체(복셀)로 충전한 볼륨 데이터를 준비한다. 볼륨 데이터를 구성하는 복셀의 값은 0과 1로 표현되며, 「1」은 형상 영역, 「0」은 비형상 영역을 각각 나타낸다. 다음으로, 각 카메라(211 내지 218)의 카메라 파라미터(설치 위치나 시선 방향 등)를 사용하여, 복셀의 3차원 좌표를 세계 좌표계로부터 카메라 좌표계로 변환한다. 그리고, 통합 마스크로 나타나는 구조물 및 전경이 그 카메라 좌표계에 있는 경우는, 복셀에 의해 당해 구조물 및 전경의 3차원 형상을 나타낸 모델이 생성된다. 또한, 복셀 자체가 아닌, 복셀의 중심을 나타내는 점의 집합(점군)에 의해, 3차원 형상을 표현해도 된다. 도 9는, 도 8에서 나타낸 통합 마스크를 바탕으로 생성되는 통합 3차원 모델을 나타내고 있으며, 부호 901은 전경인 선수의 3차원 형상, 부호 902는 구조물인 축구 골대(202)의 3차원 형상에 상당한다. 전술한 바와 같이, 통합 마스크에는 전경인 선수의 실루엣에 결손이 없기 때문에, 완성된 통합 3차원 모델에 있어서도 결손은 발생되어 있지 않다. 도 10은, 종래 방법에 의한, 전경 마스크만을 사용하여 생성한 3차원 모델을 나타내고 있다. 전술한 바와 같이, 도 7의 (a), (b), (h)에 나타내는 전경 마스크에서는, 선수의 일부가 전경 영역으로서 표현되어 있지 않기 때문에, 생성되는 3차원 모델에 있어서 당해 일부가 결손되어 버린다. 본 실시 형태의 방법에서는, 전경 마스크와 구조물 마스크를 합성한 마스크 화상을 사용함으로써, 전경의 3차원 모델의 일부에 결손이 발생하는 것을 피하는 것이 가능해진다.

이상이, 본 실시 형태에 관한, 3차원 모델 형성 처리의 내용이다. 동화상의 가상 시점 화상을 생성하는 경우에는, 상술한 각 스텝의 처리를 프레임 단위로 반복하여 행하여, 프레임별 3차원 모델을 생성한다. 단, 구조물 마스크의 수신과 저장(스텝 401)에 대해서는, 플로우의 개시 직후에만 행하면 충분하며, 2프레임째 이후에 대해서는 생략 가능하다. 또한, 동일한 촬영 장소에서 일시를 바꾸어서 촬영을 행하는 경우는, 구조물 마스크의 수신·저장을 첫회만 행하여 RAM 등에 보유해 두고, 차회 이후는 보유해 둔 것을 이용해도 된다.

이상과 같이 본 실시 형태에 따르면, 전경으로 되는 오브젝트를 숨겨 버리는 구조물이 존재하고 있어도, 전경에 결손이 없는, 혹은 저감시킨 고정밀도의 3차원 모델을 생성할 수 있다.

실시 형태 2

실시 형태 1에서는, 촬영 씬 내에 존재하는 구조물을 포함하는 형태로, 결손이 없는, 혹은 저감시킨 전경의 3차원 모델을 생성하였다. 다음으로, 구조물을 제거한, 결손이 없는, 혹은 저감시킨 전경만의 3차원 모델을 생성하는 양태를, 실시 형태 2로서 설명한다. 또한, 시스템 구성 등 실시 형태 1과 공통되는 내용에 대해서는 설명을 생략 내지는 간략화하고, 이하에서는 차이점을 중심으로 설명하기로 한다.

본 실시 형태의 3차원 모델 생성 장치(140)의 구성도, 실시 형태 1과 기본적으로는 동일하지만(도 3을 참조), 이하의 점에서 상이하다.

먼저, 구조부 마스크 저장부(320)에 대한 구조물 마스크의 판독이, 마스크 합성부(330)뿐만 아니라, 3차원 모델 생성부(350)에 의해서도 이루어진다. 도 3에 있어서의 파선의 화살표는 이것을 나타내고 있다. 그리고, 3차원 모델 생성부(350)에서는, 통합 마스크를 사용한 전경＋구조물의 통합 3차원 모델의 생성에 더하여, 구조물 마스크를 사용한 구조물만의 3차원 모델의 생성도 행한다. 그리고, 통합 마스크를 바탕으로 생성한 통합 3차원 모델과, 구조물 마스크를 바탕으로 생성한 구조물의 3차원 모델의 차분을 구함으로써, 결손이 없는, 혹은 저감시킨 전경만의 3차원 모델을 추출한다.

(3차원 모델의 형성 처리)

도 11은, 본 실시 형태에 관한, 3차원 모델 형성 처리의 흐름을 나타내는 흐름도이다. 이 일련의 처리는, 3차원 모델 생성 장치(140)가 구비하는 CPU가, ROM이나 HDD 등의 기억 매체로 된 소정의 프로그램을 RAM에 전개하여 이것을 실행함으로써 실현된다. 이하, 도 11의 플로우를 따라 설명한다.

스텝 1101 내지 스텝 1104는, 실시 형태 1의 도 4의 플로우에 있어서의 스텝 401 내지 스텝 404에 각각 대응하고, 상이한 바는 없으므로 설명을 생략한다.

계속해서 스텝 1105에 있어서, 3차원 모델 형성부(350)는, 구조부 마스크 저장부(320)로부터 구조물 마스크를 판독하여, 시체적 교차법에 의해 구조물의 3차원 모델을 생성한다.

다음으로, 스텝 1106에 있어서, 3차원 모델 형성부(350)는, 스텝 1104에서 생성한 전경＋구조물의 합성 3차원 모델과 스텝 1105에서 생성한 구조물의 3차원 모델의 차분을 구하여, 전경만의 3차원 모델을 추출한다. 여기서, 구조물의 3차원 모델을 3차원 공간상에서 예를 들어 10％ 정도 팽창시키고 나서 통합 3차원 모델과의 차분을 구해도 된다. 이에 의해, 통합 3차원 모델부터 구조물에 대응하는 부분을 확실하게 제거할 수 있다. 이때, 구조물의 3차원 모델의 일부만을 팽창시키도록 해도 된다. 예를 들어, 축구 골대(202)의 경우라면, 축구 코트(201) 내에는 선수가 존재할 가능성이 높기 때문에, 코트(201)측에는 팽창시키지 않도록 하고, 코트(201)와 반대측만 팽창시키는 방식으로, 영역에 따라 팽창시키는 부분을 결정해도 된다. 나아가, 선수나 볼 등의 전경으로 되는 오브젝트가 구조물로부터 얼마나 이격되어 있는지에 따라 팽창시키는 비율(팽창률)을 변화시켜도 된다. 예를 들어, 전경으로 되는 오브젝트가 구조물로부터 먼 위치에 있는 경우는, 팽창률을 크게 함으로써, 확실하게 구조물의 3차원 모델이 제거되도록 한다. 또한, 전경으로 되는 오브젝트가 구조물에 가까운 위치에 있을수록 팽창률을 작게 함으로써, 전경의 3차원 모델의 부분까지가 잘못하여 제거되지 않도록 한다. 이때의 팽창률은, 전경으로부터의 거리에 따라 리니어로 변화시켜도 되고, 1 또는 복수의 기준으로 되는 거리를 마련하여 단계적으로 결정해도 된다.

도 12의 (a)는, 전술한 도 9와 같은, 통합 마스크를 바탕으로 생성한 통합 3차원 모델을 나타내고 있다. 도 12의 (b)는, 구조물 마스크에만 기초하여 생성한 구조물의 3차원 모델을 나타내고 있다. 그리고, 도 12의 (c)는, 도 12의 (a)의 통합 3차원 모델과 도 12의 (b)의 구조물의 3차원 모델의 차분에 의해 얻어진, 전경만의 3차원 모델을 나타내고 있다.

이상이, 본 실시 형태에 관한, 3차원 모델의 형성 처리의 내용이다. 또한, 동화상의 가상 시점 화상을 생성하는 경우는, 상술한 각 스텝의 처리를 프레임 단위로 반복하여 행하여, 프레임별 3차원 모델을 생성한다. 단, 구조물 마스크의 수신과 저장(스텝 1101) 및 구조물의 3차원 모델의 생성(스텝 1105)에 대해서는, 플로우의 개시 직후에만 행하면 충분하며, 2프레임째 이후에 대해서는 생략 가능하다. 또한, 동일한 촬영 장소에서 일시를 바꾸어서 촬영을 행하는 경우는, 구조물 마스크의 수신·저장 및 구조물의 3차원 모델 생성을 첫회만 행하여 RAM 등에 보유해 두고, 차회 이후는 보유해 둔 것을 이용해도 된다.

이상과 같이 본 실시 형태에 따르면, 전경으로 되는 오브젝트를 숨겨 버리는 구조물이 존재하고 있어도, 구조물을 포함하지 않는 고정밀도의 전경만의 3차원 모델을 생성할 수 있다.

실시 형태 3

실시 형태 1 및 2에서는, 전경＋구조물의 통합 3차원 모델로부터, 구조물의 3차원 모델을 차감함으로써, 전경만의 3차원 모델을 생성하였다. 다음으로, 전경＋구조물의 통합 3차원 모델을 구성하는 복셀별로(혹은 소정 영역별로) 어느 마스크 화상에 포함될지를 카운트하고, 카운트값이 역치 이하인 부분을 통합 3차원 모델로부터 삭제함으로써 전경만의 3차원 모델을 구하는 양태를, 실시 형태 3으로서 설명한다.

본 실시 형태에서는, 먼저, 3차원 공간을 구성하는 복수의 부분 영역 각각에 대해서, 복수의 카메라 중 촬영 화상 내에 있어서의 대상 물체의 영역을 나타내는 전경 영역에 당해 부분 영역이 포함되는 카메라의 수가 제1 역치 이하라는 조건에 합치되는지 여부를 판정한다. 이 제1 역치는, 전체 카메라 대수보다 적은 임의의 값을, 각 카메라의 설치 위치나 시선 방향 등을 고려하여 설정한다. 그리고, 조건에 합치된다고 판정되지 않은 부분 영역을 포함하는 대상 물체의 3차원 모델을 생성한다.

(3차원 모델의 표현 방법)

도 13의 (a)는 입방체의 단일 복셀을 나타낸다. 도 13의 (b)는 3차원 모델 생성의 대상 공간을 나타낸 복셀 집합을 나타낸다. 도 13의 (b)에 나타내는 바와 같이, 복셀은 3차원 공간을 구성하는 미소한 부분 영역이다. 그리고, 도 13의 (c)는 대상 공간의 복셀 집합인 도 13의 (b)의 집합으로부터 사각뿔 영역 이외의 복셀을 제거함으로써 사각뿔의 3차원 모델의 복셀 집합을 생성한 예를 나타낸다. 또한, 본 실시 형태에서는 3차원 공간 및 3차원 모델이 입방체의 복셀로 구성되는 예를 설명하지만, 이에 한정되지 않으며 점군 등으로 구성되어도 된다.

(시스템 구성)

본 실시 형태에 관한 3차원 모델 생성 장치를 포함하는 가상 시점 화상 생성 시스템의 구성예를 나타내는 블록도는, 도 2의 (a)에서 나타내는 것과 동일하기 때문에, 설명은 생략한다.

카메라 어레이(110)는, 복수의 카메라(110a) 내지 카메라(110z)를 포함하는 촬영 장치군이며, 다양한 각도로부터 피사체를 촬영하여, 전경 분리 장치(130) 및 제어 장치(120)로 화상을 출력한다. 또한, 카메라(110a) 내지 카메라(110z)와 전경 분리 장치(130), 제어 장치(120)는, 스타형 토폴러지로 접속되어 있는 것으로 하지만, 데이지 체인 접속에 의한 링형, 버스형 등의 토폴러지로 접속되어도 된다. 카메라 어레이(110)는, 예를 들어 도 14에 나타내는 바와 같이 경기장의 주위에 배치되고, 모든 카메라에서 공통된 필드 위의 주 시점을 향해서 다양한 각도로부터 동기되어 촬영한다. 단, 카메라 어레이(110)에 포함되는 카메라 중 반수가 향해져 있는 주 시점과, 나머지 반수가 향해져 있는 별도의 주 시점과 같이, 복수의 주 시점이 설정되어도 된다.

여기서, 전경이란, 가상 시점에서 임의의 각도로부터 보는 것을 가능하게 하는 소정의 대상 물체(촬영 화상에 기초하여 3차원 모델을 생성하는 대상으로 되는 피사체)이며, 본 실시 형태에서는 경기장의 필드 위에 존재하는 인물을 가리킨다. 한편, 배경이란, 전경 이외의 영역이며, 본 실시 형태에서는 경기장 전체(필드, 관객석 등)를 가리킨다. 단, 전경과 배경은 이들 예에 한정되지 않는다. 또한, 본 실시 형태에 있어서의 가상 시점 화상은, 자유롭게 지정 가능한 시점으로부터의 외관을 나타내는 화상뿐만 아니라, 카메라가 설치되어 있지 않은 가상적인 시점으로부터의 외관을 나타내는 화상 전반을 포함함으로써 한다.

제어 장치(120)는, 카메라 어레이(110)에서 동기되어 촬영된 화상으로부터 카메라(110a) 내지 카메라(110z)의 위치나 자세를 나타내는 카메라 파라미터를 산출하고, 산출한 카메라 파라미터를 3차원 모델 생성 장치(140)에 출력한다. 여기서, 카메라 파라미터는, 외부 파라미터 및 내부 파라미터로 구성되어 있다. 외부 파라미터는, 회전 행렬과 병진 행렬로 구성되어 있으며, 카메라의 위치나 자세를 나타낸다. 내부 파라미터는, 카메라의 초점 거리나 광학적 중심 등의 정보를 포함하며, 카메라의 화각이나 촬영 센서의 크기 등을 나타낸다.

카메라 파라미터를 산출하는 처리는 캘리브레이션이라고 불린다. 카메라 파라미터는, 예를 들어 체커보드와 같은 특정 패턴을 카메라에 의해 촬영한 복수매의 화상을 사용하여 취득한 3차원의 세계 좌표계의 점과, 거기에 대응하는 2차원상의 점의 대응 관계를 이용함으로써 구할 수 있다.

제어 장치(120)는, 카메라(110a) 내지 카메라(110z)로 촬영되는 화상 중에서, 전경의 앞에 겹칠 가능성이 있는 구조물의 영역을 나타내는 구조물 마스크 화상을 산출하고, 산출한 구조물 마스크 화상의 정보를 출력한다. 본 실시 형태에서는, 구조물이란 촬영 대상 공간 내에 설치된 정지 물체이며, 예로서 축구 골대를 구조물로서 취급하고, 각 카메라로 촬영되는 화상 내에 있어서의 골대의 영역을 나타내는 화상이 구조물 마스크 화상으로 된다.

전경 분리 장치(130)는, 카메라 어레이(110)로부터 입력되는 복수의 카메라로 촬영된 화상으로부터, 전경으로서 필드 위의 인물이 존재하는 영역과, 그 이외의 배경의 영역을 식별하고, 전경 영역을 나타내는 전경 마스크 화상을 출력한다. 전경 영역의 식별 방법으로서, 미리 보유하는 배경 화상과 촬영 화상의 차분이 있는 영역을 전경 영역으로서 식별하는 방법이나, 이동하는 물체의 영역을 전경 영역으로서 식별하는 방법 등을 사용할 수 있다.

여기서, 마스크 화상이란, 촬영 화상으로부터 추출하고 싶은 특정 부분을 나타내는 기준 화상이며, 0과 1로 표시되는 2치 화상이다. 예를 들어, 전경 마스크 화상은, 촬영 화상 중에서, 예를 들어 선수 등의 전경이 존재하는 영역을 나타내고, 촬영 화상과 같은 해상도로, 전경 영역을 나타내는 화소를 1, 전경 이외의 화소를 0으로 하여 나타낸 화상이다. 단, 마스크 화상의 형식은 이것에 한정되는 것은 아니며, 촬영 화상 내에 있어서의 특정 오브젝트의 영역을 나타내는 정보면 된다.

3차원 모델 생성 장치(140)는, 복수의 카메라에 의해 촬영된 복수의 촬영 화상을 사용하여 3차원 모델을 생성하는 정보 처리 장치로서의 기능을 갖는다. 먼저, 제어 장치(120)로부터 카메라 파라미터 및 구조물 마스크 화상의 정보를 수신하고, 전경 분리 장치(130)로부터 전경 마스크 화상을 수신한다. 그리고, 3차원 모델 생성 장치(140)는, 구조물 마스크 화상과 전경 마스크 화상을 통합하여 통합 영역을 나타내는 통합 마스크 화상을 생성한다. 또한, 전경의 3차원 모델을 생성하는 대상으로 되는 공간 내의 각 복셀이 통합 마스크 화상에 포함되지 않는 카메라의 수, 및 각 복셀이 상기 전경 마스크 화상에 포함되는 카메라의 수에 기초하여, 각 복셀을 제거할지 여부를 판정한다. 그리고, 제거하는 것으로 판정된 복셀을 제거한 나머지 복셀에 기초하여, 예를 들어 시체적 교차법에 의해 전경의 3차원 모델을 생성하고, 렌더링 장치(150)에 출력한다.

렌더링 장치(150)는, 3차원 모델 생성 장치(140)로부터 3차원 모델을 수신하고, 전경 분리 장치(130)로부터 전경을 나타내는 화상을 수신한다. 또한, 카메라 파라미터로부터 전경을 나타내는 화상과 3차원 모델의 위치 관계를 구하여, 3차원 모델에 대응하는 전경 화상을 첩부함으로써 착색을 행하고, 3차원 모델을 임의 시점으로부터 관찰한 가상 시점 화상을 생성한다. 또한, 가상 시점 화상에는 배경의 화상이 포함되어 있어도 된다. 즉, 렌더링 장치(150)는, 3차원 공간 내에 배경의 모델과 전경의 모델과 시점의 위치를 설정함으로써, 배경 및 전경을 설정된 시점으로부터 본 가상 시점 화상을 생성해도 된다.

(3차원 모델 생성 장치의 기능 구성)

계속해서, 도 15를 참조하여, 본 실시 형태에 관한 3차원 모델 생성 장치의 기능 구성을 설명한다. 3차원 모델 생성 장치(140)는, 수신부(155), 구조물 마스크 저장부(101), 카메라 파라미터 보유부(102), 마스크 통합부(103), 좌표 변환부(104), 마스크 내외 판정부(105), 역치 설정부(106), 전경 모델 생성부(107) 및 출력부(108)를 구비하고 있다.

수신부(155)는, 제어 장치(120)로부터, 카메라 어레이(110)를 구성하는 각 카메라의 카메라 파라미터 및 구조물의 영역을 나타내는 구조물 마스크 화상을 수신한다. 또한, 수신부(155)는, 전경 분리 장치(130)로부터, 카메라 어레이(110)의 각 카메라로 촬영된 화상과, 그 화상 내의 전경 영역을 나타내는 전경 마스크 화상을 촬영마다 수신한다.

구조물 마스크 저장부(101)는, 수신부(155)에서 수신한 구조물 마스크 화상을 저장한다. 구조물 마스크 화상은 카메라의 위치에 따른 고정의 화상이다.

카메라 파라미터 보유부(102)는, 카메라 어레이(110)에 의해 촬영된 각 카메라의 위치 및／또는 자세를 나타내는 외부 파라미터와, 초점 거리 및／또는 화상 사이즈를 나타내는 내부 파라미터를 카메라 파라미터로서 보유한다.

마스크 통합부(103)는, 카메라 어레이(110)로 촬영할 때마다 전경 분리 장치(130)로부터 수신되는 전경 마스크 화상과, 구조물 마스크 저장부(101)에 저장되어 있는 구조물 마스크 화상을 통합하여, 통합 마스크 화상을 생성한다. 전경 마스크 화상과 구조물 마스크 화상의 통합 방법의 상세는 후술한다.

좌표 변환부(104)는, 카메라 파라미터 보유부(102)에 보유되어 있는 카메라 파라미터에 기초하여 각 촬영 화상의 세계 좌표계에서의 위치나 화각을 산출하고, 각 촬영 화상이 3차원 공간상의 어느 촬영 영역을 나타내는지를 나타내는 정보로 변환한다.

마스크 내외 판정부(105)는, 대상으로 되는 복셀 공간 내의 각 복셀이 전경 마스크 화상 내에 포함되는 카메라의 대수가 역치 이하인 경우에, 당해 복셀을 제거하는 것으로 판정한다. 또한, 대상으로 되는 복셀 공간 내의 각 복셀이 통합 마스크 화상 내에 포함되지 않는 카메라의 대수가 다른 역치 이상인 경우, 당해 복셀을 제거하는 것으로 판정한다.

역치 설정부(106)는, 마스크 내외 판정부(105)에 의해 복셀을 제거할지 여부를 판정하기 위한 각 역치를 설정한다. 이 역치는, 3차원 모델 생성 장치(140)에 대한 유저 조작에 따라 설정되어도 되고, 역치 설정부(106)가 자동으로 설정해도 된다. 전경 모델 생성부(107)는, 대상으로 되는 복셀 공간 내의 복셀 중, 마스크 내외 판정부(105)에 의해 제거되어야 한다고 판정된 복셀을 제거하고, 남은 복셀에 기초하여 3차원 모델을 생성한다. 출력부(108)는, 전경 모델 생성부(107)에 의해 생성된 3차원 모델을 렌더링 장치(150)로 출력한다.

도 16은, 본 실시 형태에 관한 3차원 모델 생성 장치가 실시하는 처리의 수순을 나타내는 흐름도이다.

S1601에 있어서, 수신부(155)는, 카메라 어레이(110)를 구성하는 각 카메라의 구조물 마스크 화상을 제어 장치(120)로부터 수신한다. 여기서, 촬영 화상 및 구조물 마스크 화상의 일례를 설명한다. 도 17은, 카메라 어레이(110)의 일부를 구성하는 5대의 카메라로 촬영된 다섯 촬영 화상의 예를 나타낸다. 여기에서는, 필드 위에 인물이 한명, 골대가 구조물로서 필드 위에 존재하고 있으며, 도 17의 (b), 도 17의 (c), 도 17의 (d)에서는 인물의 앞에 구조물인 골대가 있기 때문에, 인물의 일부가 숨겨져 있다. 도 18은, 도 17에 나타낸 각 촬영 화상에 대응하는 구조물 마스크 화상을 나타내고 있다. 구조물인 골대의 영역이 1(백색), 구조물 이외의 영역이 0(흑색)인 2치 화상으로서 나타나 있다.

S1602에 있어서, 수신부(155)는, 전경 영역을 나타내는 전경 마스크 화상을 전경 분리 장치(130)로부터 수신한다. 여기서, 전경 마스크 화상의 일례를 설명한다. 도 19는, 도 17에 나타낸 각 촬영 화상에 대응하는 전경 마스크 화상을 나타내고 있다. 전경 분리 장치(130)는, 시간적으로 변화가 있는 영역을 전경 영역으로서 추출하기 때문에, 도 19의 (b), 도 19의 (c), 도 19의 (d)와 같이 골대에 숨겨진 인물의 일부의 영역은 전경 영역으로서 추출되지 않는다. 또한, 도 19의 (e)에서는 시간적 변화가 없었던 인물의 다리의 일부가 전경 영역으로서 추출되어 있지 않다.

S1603에 있어서, 마스크 통합부(103)는, S1601 및 S1602에서 수신한 구조물 마스크 화상과 전경 마스크 화상을 통합하여 통합 마스크 화상을 생성한다. 도 20은, 도 18에 나타낸 구조물 마스크 화상과 도 19에 나타낸 전경 마스크 화상을 통합한 결과인 통합 마스크 화상의 일례를 나타낸다. 통합 마스크 화상은 2치로 표시되는 전경 마스크 화상과 구조물 마스크 화상의 OR(논리합)에 의해 산출한다.

S1604에 있어서, 마스크 내외 판정부(105)는, 대상 복셀 공간 내에서 미선택된 복셀을 하나 선택한다.

S1605에 있어서, 마스크 내외 판정부(105)는, 선택된 하나의 복셀이 각 카메라의 통합 마스크 화상의 마스크 영역 내에 포함되지 않는 카메라의 대수(이후, False Count라고 칭함)를 카운트한다.

S1606에 있어서, 마스크 내외 판정부(105)는, False Count가 역치 이상인지 여부를 판정한다. False Count가 역치 이상인 경우, 선택된 하나의 복셀은 전경도 구조물도 아니라고 판정될 수 있기 때문에, S1607로 진행된다. 이에 의해, 명백하게 비전경인 많은 복셀을 제거할 수 있다. 한편, False Count가 역치 미만인 경우, 선택된 하나의 복셀은 전경 또는 구조물이라고 판정될 수 있기 때문에, S1608로 진행된다.

S1607에 있어서, 전경 모델 생성부(107)는, 선택된 하나의 복셀을 대상 복셀 공간으로부터 제거한다. S1608에 있어서, 마스크 내외 판정부(105)는, 선택된 하나의 복셀이 각 카메라의 전경 마스크 화상의 마스크 영역 내에 포함되는 카메라의 대수(이후, True Count라고 칭함)를 카운트한다.

S1609에 있어서, 마스크 내외 판정부(105)는, True Count가 다른 역치 이하인지 여부를 판정한다. True Count가 다른 역치 이하인 경우, 선택된 하나의 복셀은 구조물이라고 판정될 수 있기 때문에, S1607로 진행되어, 선택된 하나의 복셀을 대상 복셀 공간으로부터 제거한다. 한편, True Count가 다른 역치를 초과하는 경우, 선택된 하나의 복셀은 전경이라고 판정될 수 있기 때문에, 대상 복셀 공간으로부터 제거하지 않는다.

S1610에 있어서, 마스크 내외 판정부(105)는, 대상 복셀 공간 내의 모든 복셀에 대해서 처리가 완료되었는지 여부를 판정한다. 모든 복셀에 대해서 처리가 완료된 경우, S1611로 진행된다. 한편, 모든 복셀에 대해서 처리가 완료되지 않은 경우, S1604로 돌아가, 미선택의 복셀 중 다음 하나의 복셀을 선택하고, 이후, 마찬가지의 처리를 행한다.

S1611에 있어서, 전경 모델 생성부(107)는, 대상 복셀 공간에 대해서 복셀의 제거 판정을 행한 후 나머지 복셀을 사용하여, 전경의 3차원 모델을 생성한다.

S1612에 있어서, 출력부(108)는, 전경 모델 생성부(107)에 의해 생성된 전경의 3차원 모델을 렌더링 장치(150)로 출력한다. 이상의 일련의 처리가, 각 카메라에 의해 촬영된 프레임마다에 실시된다.

여기서, 도 14에 나타낸 16대의 카메라에 의해 경기장을 촬영하는 가상 시점 화상 생성 시스템을 예로서, 3차원 모델의 생성예를 설명한다. 도 21은, 본 실시 형태에 관한 경기장 시스템의 3차원 모델 생성 대상의 복셀 공간을 나타내는 도면이고, 격자로 나타난 직육면체의 영역이 대상 복셀 공간을 나타내고 있다.

도 22는, 도 14에 나타낸 16대의 카메라에 의해 경기장을 촬영한 경우에 있어서의 전경, 일부의 카메라에서 미검출된 전경, 구조물에 숨겨진 전경, 구조물, 비전경으로서, 각각 인물, 인물의 다리, 인물의 헤드부, 골대, 그 밖의 영역에 대한, 복셀의 False Count/True Count와, 판정 결과의 예를 나타내고 있다. 단, 1대의 카메라에서 인물의 다리의 전경 추출에 실패하고 있고, 또한 3대의 카메라에서 인물의 헤드부가 구조물인 골대에 숨겨져 있어, 이들은 전경 분리 장치(130)에 의해 전경으로서 추출되지 않는 것으로 한다.

S1606의 판정에 있어서, False Count의 역치가 고정값인 10인 경우, 그 밖의 영역에 위치하는 복셀은 False Count가 16이고 역치를 초과하기 때문에 제거된다. 그 결과, 예를 들어 도 23에 나타낸 바와 같은 전경과 구조물로 구성되는 3차원 모델이 생성되게 된다. 여기서 도 23은, False Count의 역치 판정을 적용하여 생성된 3차원 모델의 일례를 나타내는 도면이다.

또한, S1609의 판정에 있어서, True Count의 역치(다른 역치)가 고정값인 5인 경우, 구조물인 골대 영역에 위치하는 복셀은 True Count가 0이고 역치 이하이기 때문에 제거된다. 한편, 인물, 인물의 다리, 헤드부의 영역에 위치하는 복셀은 True Count는 각각 16, 15, 13이고, 제2 역치를 초과하기 때문에 제거되지 않는다.

즉, 도 22에 나타내는 바와 같이, 전경(인물), 일부 미검출된 전경(다리) 및 구조물에 의해 숨겨진 전경(헤드부)은 복셀 잔존이라고 판정되고, 구조물(골대) 및 비전경(그 밖의 영역)은 복셀 제거라고 판정되게 된다. 따라서, 최종적으로, 도 21에 나타낸 대상 공간의 복셀 집합으로부터, 예를 들어 도 24에 나타내는 바와 같은 결락이 없는 인물의 3차원 모델이 생성되게 된다. 여기서 도 24는, False Count의 역치 판정 및 True Count의 역치 판정을 적용하여 생성된 3차원 모델의 일례를 나타내는 도면이다.

이에 비해, 도 25는, 도 19에 나타낸 전경 마스크 화상만을 사용하여 시체적 교차법에 의해 3차원 모델을 생성한 예를 나타낸다. 도 19의 (a)는 인물 전체가 찍혀 있지만, 도 19의 (b), 도 19의 (c), 도 19의 (d)에 나타내는 촬영 화상에서는 구조물의 골대에 의해 인물의 헤드의 일부가 숨겨져 있다. 또한, 도 19의 (e)에 나타내는 촬영 화상에서는 인물의 다리가 전경으로서 추출되어 있지 않다. 그 때문에, 생성된 3차원 모델도 일부가 결핍되어 있다.

이상 설명한 바와 같이, 본 실시 형태에서는, 대상 물체(전경)의 3차원 모델을 생성하는 대상으로 되는 공간 내의 각 복셀에 대해서, 대상으로 하는 복셀이 전경의 영역을 나타내는 전경 마스크 화상에 포함되는 카메라의 수가 역치(True Count의 역치) 이하인지 여부를 판정하고, 당해 수가 역치 이하인 경우에 그 복셀을 제거한다.

본 실시 형태에 따르면, 대상 물체(전경)의 영역을 나타내는 전경 마스크 화상에 결락이 있는 경우에도, 생성될 대상 물체(전경)의 3차원 모델의 결락을 피하고, 3차원 모델의 품질을 향상시킬 수 있다.

또한, 전경 마스크 화상과 구조물 마스크 화상을 통합하여 통합 마스크 화상을 생성하고, 대상으로 하는 복셀이 통합 마스크 화상에 포함되지 않는 카메라의 수가 역치(False Count의 역치) 이상인 경우에, 당해 복셀을 제거하는 것으로 판정한다. 이에 의해, 명백하게 비전경인 많은 복셀을 제거할 수 있으므로, 후단의 처리의 속도를 향상시키는 것이 가능해진다.

실시 형태 4

상술한 실시 형태 3에서는, 복셀이 각 카메라로부터 촬영 범위 내(화각 내)인지 여부를 판정하고 있지 않기 때문에, 다수의 카메라에서 촬영 범위 외인 경우에, 잘못하여 전경을 나타내는 복셀을 제거해 버릴 가능성이 있다. 예를 들어, 도 14에 나타내는 바와 같은 카메라 배치에 의해 경기장을 촬영한 경우에 있어서, 주 시점과 반대측의 골대 부근에 위치하는 인물의 영역에 위치하는 복셀을 촬영 범위 내에 포함하는 카메라의 대수는 3대이며, True Count가 3으로 된다. 그 때, True Count의 역치가 5인 경우, 역치 미만이기 때문에 당해 복셀은 제거되어 버리게 된다. 그래서, 화각 내외 판정의 결과에 기초하여 역치를 설정함으로써, 주 시점으로부터 이격된 위치에 있는 전경도 제거되지 않도록 3차원 모델을 생성하는 양태를, 실시 형태 4로서 설명한다.

본 실시 형태에서는, 복셀을 촬영 범위 내(화각 내)에 포함하는 카메라의 대수에 기초하여 True Count의 역치를 산출함으로써, 복셀이 주 시점으로부터 이격되어 있었다고 해도, 잘못하여 전경을 나타내는 복셀을 제거해 버리는 것을 피한다.

(3차원 모델 생성 장치의 기능 구성)

도 26을 참조하여, 본 실시 형태에 관한 3차원 모델 생성 장치의 기능 구성을 설명한다. 본 실시 형태에 관한 3차원 모델 생성 장치(140)는, 수신부(155), 구조물 마스크 저장부(101), 카메라 파라미터 보유부(102), 마스크 통합부(103), 좌표 변환부(104), 마스크 내외 판정부(105), 역치 설정부(106), 전경 모델 생성부(107), 출력부(108)에 더하여, 화각 내외 판정부(109) 및 역치 산출부(260)를 추가로 구비하고 있다. 또한, 가상 시점 화상 생성 시스템의 기본적 구성은, 실시 형태 1 내지 3과 마찬가지이기 때문에, 설명은 생략한다. 또한, 3차원 모델 생성 장치(140)를 구성하는, 수신부(155), 구조물 마스크 저장부(101), 카메라 파라미터 보유부(102), 마스크 통합부(103), 좌표 변환부(104), 마스크 내외 판정부(105), 역치 설정부(106), 전경 모델 생성부(107), 출력부(108)에 대해서도, 실시 형태 3과 같기 때문에 설명을 생략한다.

화각 내외 판정부(109)는, 각 카메라의 카메라 파라미터에 기초하여, 대상 복셀 공간 내의 각 복셀이 각 카메라의 촬영 범위 내인지 여부를 판정한다.

역치 산출부(260)는, 촬영 범위 내라고 판정된 카메라의 대수에 소정의 비율을 승산한 값을, True Count의 역치로서 산출한다. 예를 들어, 어떤 복셀을 촬영 범위 내로 하는 카메라의 대수가 5대, 소정의 비율을 60％로 하면, 그 복셀에 대한 True Count의 역치는 3으로서 산출된다. 역치 산출부(260)에 의해 산출된 역치는 역치 설정부(106)로 출력되고, 역치 설정부(106)는 역치 설정부(106)로부터 입력된 역치를 True Count의 역치로서 설정한다.

또한, 어떤 복셀을 촬영 범위 내로 하는 카메라의 대수가 일정수 미만인 경우, 생성되는 3차원 모델의 정밀도는 낮아지고, 처리가 불필요하다고 생각된다는 점에서, 카메라의 대수가 일정수 미만인 것에는 역치를 소정값으로 설정하도록 구성해도 된다.

도 27은, 본 실시 형태에 관한 3차원 모델 생성 장치가 실시하는 처리의 수순을 나타내는 흐름도이다. S2701 내지 S2704의 각 처리는, 실시 형태 3의 도 16의 플로우에 있어서의 S1601 내지 S1604의 각 처리와 마찬가지이기 때문에, 설명을 생략한다.

S2705에 있어서, 화각 내외 판정부(109)는, 각 카메라의 카메라 파라미터에 기초하여, S2704에서 선택된 하나의 복셀 각 카메라의 화각 내에 포함되는지 여부를 판정한다.

S2706에 있어서, 마스크 내외 판정부(105)는, 선택된 하나의 복셀이 각 카메라의 통합 마스크 화상의 마스크 영역 내에 포함되지 않고, 또한, 선택된 하나의 복셀이 화각 내에 포함되는, 카메라의 대수(이후, False Count라고 칭함)를 카운트한다.

S2707 내지 S2709의 각 처리는, 전술한 도 16의 플로우에 있어서의 S1606 내지 S1608의 각 처리와 마찬가지이기 때문에, 설명을 생략한다.

S2710에 있어서, 역치 산출부(260)는, 선택된 하나의 복셀을 화각 내에 포함하는 카메라의 대수에 기초하여, True Count의 역치를 산출한다. 역치 설정부(106)는, 역치 산출부(260)에 의해 산출된 True Count의 역치를 설정한다.

S2711 내지 S2714의 각 처리는, 전술한 도 16의 플로우에 있어서의 S1609 내지 S1612의 처리와 마찬가지이기 때문에, 설명을 생략한다. 이상이 도 27의 플로우에 있어서의 일련의 처리이다.

여기서, 도 28은, 도면 중에 X 표시로 표시하는 주 시점에 대해서, 가까운 위치의 흑색점으로 표시하는 전경 A와 당해 주 시점으로부터 먼 위치의 흑색점으로 표시하는 전경 B를 포함하는 경기장을, 도 14와 마찬가지로 16대의 카메라에 의해 촬영하는 모습을 나타내고 있다. 전경 A는 16대 모든 카메라에서 화각 내이며, 전경 B는 카메라(110k, 110l, 110m)의 3대의 카메라에서만 화각 내인 것으로 한다.

또한, 도 29는, 도 28에 나타내는 카메라 배치에 있어서 주 시점으로부터 가까운 전경 A의 위치의 복셀과, 주 시점으로부터 먼 전경 B의 위치의 복셀의 각각의 False Count/True Count의 일례를 나타낸다. False Count의 역치는 고정값인 10으로 하고, True Count의 역치는, 복셀을 화각 내에 포함하는 카메라의 대수의 70％로 한다.

주 시점에 가까운 전경 A에 위치하는 복셀은 16대 모든 카메라에서 통합 마스크 화상 내에 포함되기 때문에, 복셀이 통합 마스크 화상 외로 되는 카메라는 존재하지 않는다. 따라서, 복셀이 통합 마스크 화상 외 및 화각 내의 카메라의 대수는 0이고, False Count는 0이다.

또한, 주 시점에 가까운 전경 A에 위치하는 복셀을 화각 내에 포함하는 카메라의 대수도 16대이므로, True Count의 역치는 16대의 70％인 11.2로 된다. 그리고, 주 시점에 가까운 전경 A에 위치하는 복셀은 모든 카메라에서 전경 마스크 화상 내로 되기 때문에 True Count는 16으로 되고, 당해 카운트값은 역치(11.2) 이상이므로 복셀은 제거되지 않는다.

주 시점으로부터 먼 전경 B의 위치의 복셀은 13대의 카메라(카메라(110k, 110l, 110m)를 제외한 13대)에서 화각 외로 되고, 3대의 카메라(카메라(110k, 110l, 110m))에서 화각 내로 된다. 또한, 3대의 카메라(카메라(110k, 110l, 110m))에서 복셀이 통합 마스크 화상 내로 된다. 따라서, 복셀이 통합 마스크 화상 외 및 화각 내의 카메라의 대수는 0대이고, False Count는 0이다.

또한, 주 시점으로부터 먼 전경 B에 위치하는 복셀을 화각 내에 포함하는 카메라의 대수가 3대이므로, True Count의 역치는 3대의 70％인 2.1로 된다. 그리고, 주 시점으로부터 먼 전경 B에 위치하는 복셀은 3대의 카메라에서 전경 마스크 화상 내로 되기 때문에 True Count는 3으로 되어, 당해 카운트값은 역치(2.1) 이상이므로 복셀은 제거되지 않는다.

이와 같이, 대상으로 하는 복셀이 화각 내에 포함되는 카메라의 대수에 기초하여, True Count의 역치를 설정함으로써, 주 시점으로부터 이격되어 있어, 화각 내인 카메라 대수가 적은 전경에 대해서 3차원 모델을 생성할 수 있다. 따라서, 주 시점으로부터 먼 전경이어도 결락을 억제한 3차원 모델을 생성하는 것이 가능해진다.

실시 형태 5

상술한 실시 형태 3 및 실시 형태 4에서는, 각 복셀의 True Count로서 복셀이 전경 마스크 화상 내에 포함되는 카메라만을 카운트하는 양태를 설명하였다. 그러나, 그 경우, 다수의 카메라에 있어서 구조물에 의해 숨겨진 전경의 위치에 있는 복셀은, True Count가 역치를 초과하지 않아, 제거되어 버리는 경우가 있다. 그래서, 다수의 카메라에서 구조물에 의해 전경이 가려진 경우라도 결락이 없는 3차원 모델을 생성하는 양태를, 실시 형태 5로서 설명한다.

본 실시 형태에서는, 대상으로 하는 복셀이 전경 마스크 화상 외여도 구조물 마스크 화상 내에 포함되는 경우에는, 그 복셀은 전경일 가능성이 있기 때문에, 복셀이 구조물 마스크 화상 내에 포함된다고 판정된 카메라의 대수에 가중치를 승산한 값을, True Count에 가산함으로써, 전경의 결락을 피한다.

구체적으로는, 먼저, 대상으로 하는 복셀이 구조물 마스크 화상에 포함되는 카메라 대수에 기초하여 가중치를 설정한다. 그리고, 대상으로 하는 복셀이 전경 마스크 화상에 포함되는 카메라의 수와, 대상으로 하는 복셀이 구조물 마스크 화상에 포함되는 카메라의 대수에 가중치를 승산한 값을 가산한 값이, True Count의 역치 이하인 경우에, 당해 복셀을 제거하는 것으로 판정한다.

(3차원 모델 생성 장치의 기능 구성)

도 30을 참조하여, 본 실시 형태에 관한 3차원 모델 생성 장치의 기능 구성을 설명한다. 본 실시 형태에 관한 3차원 모델 생성 장치(140)는, 실시 형태 4의 3차원 모델 생성 장치의 구성에 더하여, 가중 설정부(300)를 추가로 구비하고 있다.

가중 설정부(300)는, 대상으로 하는 복셀이 구조물 마스크 화상 내라고 판정된 경우에 True Count에 가산하는 값을, 카메라 1대당 가중치로서 설정한다. 이 가중치는, 전경에 위치하는 복셀의 가능성을 나타내는 값과 동등하고, 본 실시 형태에서는, 카메라 1대당 가중치를 0.5로 설정한다. 그리고, 대상으로 하는 복셀이 구조물 마스크 화상 내라고 판정된 카메라의 대수에, 카메라 1대당 가중치 0.5를 승산한 값을, True Count에 가산한다.

도 31은, 본 실시 형태에 관한 3차원 모델 생성 장치가 실시하는 처리의 수순을 나타내는 흐름도이다.

S3101 내지 S3104의 각 처리는, 실시 형태 4의 도 27의 플로우에 있어서의 S2701 내지 S2704의 각 처리와 마찬가지이다. 또한, S3105 내지 S3108의 각 처리는, 전술한 도 27의 플로우에 있어서의 S2706 내지 S2709의 각 처치와 마찬가지이다. 또한, S3109와 S3110의 처리는 각각, 전술한 도 27의 플로우에 있어서의 S2705와 S2710의 처리와 마찬가지이다.

S3111에 있어서, 마스크 내외 판정부(105)는, 선택된 하나의 복셀이 각 카메라의 구조물 마스크 화상의 마스크 영역 내에 포함되는 카메라의 대수를 카운트한다.

S3112에 있어서, 가중 설정부(300)는, 구조물 마스크 화상의 마스크 영역 내에 포함되는 카메라의 대수에, 카메라 1대당 가중치 0.5를 승산한 값을, S3108에서 산출된 True Count에 가산한다. S3113 내지 S3116의 각 처리는, 전술한 도 27의 플로우에 있어서의 S2711 내지 S2714의 각 처리와 마찬가지이다. 이상이 도 31의 플로우에 있어서의 일련의 처리이다.

여기서, 도 32에, 어떤 전경 영역에 위치하는 복셀에 있어서의, 가중 가산 없음의 경우의 True Count의 예와, 본 실시 형태에 관한 가중 가산 있음의 경우의 True Count의 예를 나타낸다.

이 복셀은 16대 모든 카메라에서 화각 내이며, 대상으로 하는 복셀을 전경 마스크 화상 내에 포함하는 카메라의 대수가 7대, 대상으로 하는 복셀을 구조물 마스크 화상 내에 포함하는 카메라의 대수가 9대인 것으로 한다. 이 경우, 복셀이 통합 마스크 화상외인 카메라는 0대(전체 카메라 16대-7대-9대)이다. 따라서, 복셀이 통합 마스크 화상 외 및 화각 내의 카메라의 대수는 0이고, False Count는 0이다.

가중 가산 없음의 경우, 대상으로 하는 복셀을 전경 마스크 화상 내에 포함하는 카메라의 대수가 7대이기 때문에, True Count는 7로 된다. True Count의 역치가, 대상으로 하는 복셀을 화각 내에 포함하는 카메라의 대수의 70％인 것으로 한다. 그러면, 역치는 11.2(16×0.7)로 되기 때문에, True Count(7)<역치(11.2)이고, True Count가 역치 이하로 되기 때문에, 당해 복셀은 제거되어 버린다.

한편, 가중 가산 있음의 경우, 대상으로 하는 복셀을 전경 마스크 화상 내에 포함하는 카메라의 대수가 7대이기 때문에, 마찬가지로 True Count는 7로 되고, 이것에 가중치가 가산되게 된다. 대상으로 하는 복셀을 구조물 마스크 화상 내에 포함하는 카메라의 대수가 9이고, 카메라 1대당 가중치가 0.5이기 때문에, 9×0.5＝4.5를 가중치로서 가산한다. 가중치를 가산한 후의 True Count는 11.5이고, True Count(11.5)>역치(11.2)로 되어, 역치를 초과한다는 점에서, 당해 복셀은 전경인 것으로서 제거되지 않는다.

또한, 본 실시 형태에서는, 구조물이 하나인 경우를 상정하였지만, 전경과 겹칠 가능성이 있는 상이한 복수의 구조물이 있는 경우, 구조물 마스크 화상의 종류별로 상이한 가중치를 설정하고, 그 가중치에 기초하는 값을 True Count에 가산해도 된다. 예를 들어, 경기장의 경기 필드를 둘러싸도록 설치되어 있는 전자 간판의 구조물 마스크 화상에 대해서는, 전자 간판은 커서 전경과 겹치기 쉽다는 점에서 전경을 포함할 가능성이 높아지므로, 카메라 1대당 가중치를 0.5로 한다. 또한, 골대의 구조물 마스크 화상에 대해서는, 카메라 1대당 가중치를 0.3으로 한다. 골보다도 전자 간판쪽이 크고 간극도 없으므로 전경(인물)과 겹칠 가능성이 높다고 생각된다는 점에서, 전자 간판에 대한 가중치를, 골대에 대한 가중치보다도 큰 값으로 하고 있다.

또한, 복셀 위치, 씬, 마스크 영역의 크기나 형상, 촬영 대상으로 되는 경기장의 에어리어 등에 따라 상이한 가중치를 설정해도 된다.

이상 설명한 바와 같이, 본 실시 형태에서는, 대상으로 하는 복셀이 구조물 마스크 화상의 마스크 영역 내에 포함되는 카메라의 대수에 기초한 가중 True Count에 가산하고 나서, 역치 판정을 행한다. 이에 의해, 다수의 카메라에서 전경이 구조물에 의해 가려지는 경우에도, 결락이 없는 3차원 모델의 생성을 실현할 수 있다.

이상과 같이, 실시 형태 1 내지 5에 따르면, 전경으로 되는 오브젝트를 숨겨 버리는 구조물이 존재하고 있어도, 구조물을 포함하지 않는 고정밀도의 전경만의 3차원 모델을 생성할 수 있다.

실시 형태 6

다음으로, 실시 형태 3에서 사용한 전경 마스크 화상에 포함되는 카메라 대수(True Count) 대신, 구조물 마스크 화상에 포함되는 카메라 대수를 사용하는 양태를, 실시 형태 6으로서 설명한다. 실시 형태 3에서는, 전경 마스크 화상과 구조물 마스크 화상에 기초하여 생성한 3차원 모델에 대해서, 매회, 전경 마스크 화상을 갱신하고, 3차원 모델을 구성하는 복셀이 전경 마스크 화상에 포함되는지 판정하기 때문에, 처리가 번잡해지는 경우가 있다. 그래서, 전경 마스크 화상과 구조물 마스크 화상에 기초하여 생성한 3차원 모델에 대해서, 고정된 구조물 마스크 화상에 포함되는 카메라 대수를 카운트함으로써, 구조물을 포함하지 않는 전경 3차원 모델의 생성을 행한다.

(3차원 모델 생성 장치의 기능 구성, 및 하드웨어 구성)

도 33은, 본 실시 형태에 있어서의 3차원 모델 생성 장치(140)의 구성을 나타내는 도면이다. 본 실시 형태에 있어서의 3차원 모델 생성 장치(140)의 구성은, 실시 형태 3과 거의 마찬가지이며, 동일한 처리를 행하는 블록에 대해서는 설명을 생략한다. 본 실시 형태에 관한 3차원 모델 생성 장치(140)는, 마스크 내외 판정부(105) 대신, 마스크 내외 판정부(3300)를 구비하고 있다. 마스크 내외 판정부(3300)는, 대상으로 되는 복셀 공간 내의 각 복셀이 통합 마스크 화상 및 구조물 마스크 화상의 마스크 내외에 포함되는 카메라 대수를 카운트하고, 역치 판정에 의해, 대상으로 되는 복셀을 제거할지 여부를 판정하여, 전경 모델 생성부(107)에 출력한다. 또한, 본 실시 형태의 3차원 모델 생성 장치(140)의 하드웨어 구성은, 도 4의 (b)와 마찬가지이기 때문에, 설명은 생략한다.

도 34는, 본 실시 형태에 있어서의 3차원 모델 생성 장치(140)가 실시하는 처리의 수순을 나타내는 흐름도이다. S3401 내지 S3407 및 S3410 내지 S3412의 각 처리는, 실시 형태 3에서 도 16을 참조하면서 설명한 S1601 내지 S1607 및 S1610 내지 S1612의 각 처리와 마찬가지이기 때문에 생략하고, 주로 필요 개소를 중심으로 설명하기로 한다.

S3406에 있어서, 마스크 내외 판정부(3300)는, False Count가 역치 이상인지 여부를 판정한다. False Count가 역치 미만인 경우, 선택된 복셀은 전경 또는 구조물이라고 판정될 수 있기 때문에, S3408로 진행된다.

S3408에 있어서, 마스크 내외 판정부(3300)는, 선택된 하나의 복셀에 대응하는 화소나 영역이 각 카메라의 구조물 마스크 화상의 마스크 영역 내에 포함되는 카메라의 대수(이후, Structure Count라고 칭함)를 카운트한다.

S3409에 있어서, 마스크 내외 판정부(3300)는, Structure Count가 역치 이상인지 판정한다. Structure Count가 역치 이상인 경우는, 선택된 복셀은 구조물이라고 판정될 수 있기 때문에, S3407로 진행되어, 선택된 복셀을 대상 복셀 공간으로부터 제거한다. 한편, Structure Count가 역치 미만인 경우, 선택된 복셀은 전경이라고 판정될 수 있기 때문에, 대상 복셀 공간으로부터 제거하지 않는다.

여기서, 도 14에 나타낸 16대의 카메라에 의해 경기장을 촬영하는 가상 시점 화상 생성 시스템을 예로서, 3차원 모델의 생성예를 설명한다. 도 35는, 도 14에 나타낸 가상 시점 화상 생성 시스템에 있어서의 전경, 일부의 카메라에서 미검출된 전경, 구조물에 숨겨진 전경, 구조물, 비전경으로서, 각각, 인물, 인물의 다리, 인물의 헤드부, 골대, 그 밖의 영역에 대한, 복셀의 False Count/Structure Count와 판정 결과의 예를 나타낸다. 단, 1대의 카메라에서 인물의 다리의 전경 추출에 실패하고, 또한 3대의 카메라에서 인물의 헤드부가 구조물인 골대에 의해 숨겨져 있어, 이들은 전경 배경 분리 장치(13)에 의해 전경으로서 추출되지 않는 것으로 한다.

S3404의 판정에 있어서, False Count의 역치가 고정값인 10인 경우, 인물, 발, 헤드부, 구조물의 골포스트를 제외한 그 밖의 영역에 위치하는 복셀은, False Count가 16이고, 역치를 초과하기 때문에, 제거된다. False Count의 역치 판정을 적용하여 생성된 3차원 모델에 대해서는, 전술한 도 23에 나타낸 바와 같다.

또한, S3408에 나타낸 판정에 있어서, Structure Count의 역치가 고정값인 3인 경우, 구조물인 골대의 영역에 위치하는 복셀은, Structure Count가 5이고, 역치 이상이기 때문에, 제거된다. 한편, 인물, 인물의 다리, 헤드부의 영역에 위치하는 복셀은, Structure Count는 각각 0이고, 역치 미만으로 되기 때문에, 제거되지 않는다. 따라서, 전술한 도 24에 나타내는 바와 같은 결락이 없는 인물의 3차원 모델이 생성된다.

이상의 처리에 의해, 구조물 마스크에 포함되는 카메라 대수(Structure Count)의 역치 판정에 의해, 전경이 구조물에 의해 가려지는 경우라도 결락이 없는 3차원 모델 생성을 실현할 수 있다.

(그 밖의 실시 형태)

본 발명은, 상술한 실시 형태의 1 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 하나 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에서도 실현 가능하다. 또한, 1 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실현 가능하다.

실시 형태를 참조하여 본 발명을 설명하였지만, 본 발명이 상술한 실시 형태에 한정되지 않는 것은 물론이다. 하기의 클레임은 가장 넓게 해석되어서, 그와 같은 변형예 및 동등한 구조·기능 모두를 포함하는 것으로 한다. 본 발명은 상기 실시 형태에 제한되는 것은 아니며, 본 발명의 정신 및 범위로부터 벗어나지 않고, 여러 가지 변경 및 변형이 가능하다. 따라서, 본 발명의 범위를 공표하기 위해서 이하의 청구항을 첨부한다.

본원은, 2017년 12월 14일 제출된 일본 특허 출원 제2017-239891 및 2018년 5월 7일 제출된 일본 특허 출원 제2018-089467 및 2018년 11월 6일 제출된 일본 특허 출원 제2018-209196을 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용의 모두를 여기에 원용한다.

Claims (18)

1. 오브젝트에 대응하는 3차원 형상 데이터를 생성하는 생성 장치로서,
   복수의 촬영 방향으로부터 촬영을 행하는 복수의 촬영 장치에 의해 취득된 복수의 촬영 화상 내의 상기 오브젝트의 영역을 나타내는 화상 데이터, 및 상기 복수의 촬영 방향 중 적어도 하나의 촬영 방향으로부터의 촬영 시에 상기 오브젝트를 가리는 구조물의 영역을 나타내는 화상 데이터를 취득하는 취득 수단과,
   상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하기 위한 3차원 공간을 구성하는 소정의 요소별로, 당해 소정의 요소에 대응하는 화소 또는 영역을 상기 오브젝트의 영역에 포함하는 촬영 화상을 취득한 촬영 장치의 수를 특정하는 특정 수단과,
   상기 취득 수단에 의해 취득된 상기 오브젝트의 영역을 나타내는 화상 데이터와, 상기 취득 수단에 의해 취득된 상기 구조물의 영역을 나타내는 화상 데이터와, 상기 특정 수단에 의해 특정된 상기 촬영 장치의 수의 정보에 기초하여, 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하는 생성 수단
   을 갖는 생성 장치.
2. 제1항에 있어서,
   상기 오브젝트에 대응하는 3차원 형상 데이터는, 상기 구조물에 대응하는 3차원 형상 데이터를 포함하지 않는 상기 오브젝트에 대응하는 3차원 형상 데이터이고,
   상기 생성 수단은,
   상기 취득 수단에 의해 취득된 상기 오브젝트의 영역을 나타내는 화상 데이터와, 상기 취득 수단에 의해 취득된 상기 구조물의 영역을 나타내는 화상 데이터에 기초하여, 상기 구조물에 대응하는 3차원 형상 데이터를 포함하는 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하고,
   상기 구조물에 대응하는 3차원 형상 데이터를 포함하는 상기 오브젝트에 대응하는 3차원 형상 데이터와, 상기 특정 수단에 의해 특정된 상기 촬영 장치의 수의 정보에 기초하여, 상기 구조물에 대응하는 3차원 형상 데이터를 포함하지 않는 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하는, 생성 장치.
3. 제2항에 있어서,
   상기 구조물에 대응하는 3차원 형상 데이터를 포함하는 상기 오브젝트에 대응하는 3차원 형상 데이터로부터, 상기 특정 수단에 의해 특정된 상기 촬영 장치의 수가 역치 이하인 요소에 대응하는 데이터를 제외함으로서, 상기 구조물에 대응하는 3차원 형상 데이터를 포함하지 않는 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하는, 생성 장치.
4. 제3항에 있어서,
   상기 역치는, 상기 복수의 촬영 방향에 기초하는 값인, 생성 장치.
5. 제3항 또는 제4항에 있어서,
   상기 역치는, 상기 복수의 촬영 방향으로부터의 촬영을 행하는 상기 복수의 촬영 장치 각각의 설치 위치에 기초하는 값인, 생성 장치.
6. 제3항 내지 제5항 중 어느 한 항에 있어서,
   상기 역치는, 상기 복수의 촬영 방향으로부터의 촬영을 행하는 상기 복수의 촬영 장치의 대수보다 적은 값인, 생성 장치.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 화상 데이터는, 상기 오브젝트의 영역을 나타내는 제1 화상과 상기 구조물의 영역을 나타내는 제2 화상이 합성된 화상 데이터이고,
   상기 특정 수단은, 상기 촬영 장치의 수로서, 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하기 위한 3차원 공간을 구성하는 소정의 요소별로, 상기 소정의 요소에 대응하는 화소 또는 영역을 상기 오브젝트의 영역에 포함하는 상기 제1 화상에 대응하는 촬영 장치의 수를 특정하는, 생성 장치.
8. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 화상 데이터는, 상기 오브젝트의 영역을 나타내는 제1 화상의 화상 데이터와 상기 구조물의 영역을 나타내는 제2 화상의 화상 데이터를 포함하고,
   상기 특정 수단은, 상기 촬영 장치의 수로서, 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하기 위한 3차원 공간을 구성하는 소정의 요소별로, 상기 소정의 요소에 대응하는 화소 또는 영역을 상기 오브젝트의 영역에 포함하는 상기 제1 화상에 대응하는 촬영 장치의 수를 특정하는, 생성 장치.
9. 오브젝트에 대응하는 3차원 형상 데이터를 생성하는 생성 장치로서,
   복수의 촬영 방향으로부터 촬영을 행하는 복수의 촬영 장치에 의해 취득된 복수의 촬영 화상 내의 상기 오브젝트의 영역을 나타내는 화상 데이터, 및 상기 복수의 촬영 방향 중 적어도 하나의 촬영 방향으로부터의 촬영 시에 상기 오브젝트를 가리는 구조물의 영역을 나타내는 화상 데이터를 취득하는 취득 수단과,
   상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하기 위한 3차원 공간을 구성하는 소정의 요소별로, 당해 소정의 요소에 대응하는 화소 또는 영역을 상기 구조물의 영역에 포함하는 촬영 화상을 취득한 촬영 장치의 수를 특정하는 특정 수단과,
   상기 취득 수단에 의해 취득된 상기 오브젝트의 영역을 나타내는 화상 데이터와, 상기 취득 수단에 의해 취득된 상기 구조물의 영역을 나타내는 화상 데이터와, 상기 특정 수단에 의해 특정된 상기 촬영 장치의 수의 정보에 기초하여, 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하는 생성 수단
   을 갖는 생성 장치.
10. 제9항에 있어서,
    상기 오브젝트에 대응하는 3차원 형상 데이터는, 상기 구조물에 대응하는 3차원 형상 데이터를 포함하지 않는 상기 오브젝트에 대응하는 3차원 형상 데이터이고,
    상기 생성 수단은,
    상기 취득 수단에 의해 취득된 상기 오브젝트의 영역을 나타내는 화상 데이터와, 상기 취득 수단에 의해 취득된 상기 구조물의 영역을 나타내는 화상 데이터에 기초하여, 상기 구조물에 대응하는 3차원 형상 데이터를 포함하는 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하고,
    상기 구조물에 대응하는 3차원 형상 데이터를 포함하는 상기 오브젝트에 대응하는 3차원 형상 데이터와, 상기 특정 수단에 의해 특정된 상기 촬영 장치의 수의 정보에 기초하여, 상기 구조물에 대응하는 3차원 형상 데이터를 포함하지 않는 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하는, 생성 장치.
11. 제10항에 있어서,
    상기 구조물에 대응하는 3차원 형상 데이터를 포함하는 상기 오브젝트에 대응하는 3차원 형상 데이터로부터, 상기 특정 수단에 의해 특정된 촬영 장치의 수가 역치 이하인 요소에 대응하는 데이터를 제외함으로서, 상기 구조물에 대응하는 3차원 형상 데이터를 포함하지 않는 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하는, 생성 장치.
12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 화상 데이터는, 상기 오브젝트의 영역을 나타내는 제1 화상과 상기 구조물의 영역을 나타내는 제2 화상이 합성된 화상 데이터이고,
    상기 특정 수단은, 상기 촬영 장치의 수로서, 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하기 위한 3차원 공간을 구성하는 소정의 요소별로, 상기 소정의 요소에 대응하는 화소 또는 영역을 상기 구조물의 영역에 포함하는 상기 제2 화상에 대응하는 촬영 장치의 수를 특정하는, 생성 장치.
13. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 화상 데이터는, 상기 오브젝트의 영역을 나타내는 제1 화상의 화상 데이터와 상기 구조물의 영역을 나타내는 제2 화상의 화상 데이터를 포함하고,
    상기 특정 수단은, 상기 촬영 장치의 수로서, 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하기 위한 3차원 공간을 구성하는 소정의 요소별로, 상기 소정의 요소에 대응하는 화소 또는 영역을 상기 구조물의 영역에 포함하는 상기 제2 화상에 대응하는 촬영 장치의 수를 특정하는, 생성 장치.
14. 제7항, 제8항, 제12항 및 제13항 중 어느 한 항에 있어서,
    상기 제1 화상과 상기 제2 화상은, 상기 생성 장치가 갖는 수신 수단을 통해 취득되는, 생성 장치.
15. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 요소는 상기 3차원 공간을 구성하는 점 또는 복셀인, 생성 장치.
16. 오브젝트에 대응하는 3차원 형상 데이터의 생성 방법으로서,
    복수의 촬영 방향으로부터 촬영을 행하는 복수의 촬영 장치에 의해 취득된 복수의 촬영 화상 내의 상기 오브젝트의 영역을 나타내는 화상 데이터, 및 상기 복수의 촬영 방향 중 적어도 하나의 촬영 방향으로부터의 촬영 시에 상기 오브젝트를 가리는 구조물의 영역을 나타내는 화상 데이터를 취득하고,
    상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하기 위한 3차원 공간을 구성하는 소정의 요소별로, 당해 소정의 요소에 대응하는 화소 또는 영역을 상기 오브젝트의 영역에 포함하는 촬영 화상을 취득한 촬영 장치의 수를 특정하고,
    취득된 상기 오브젝트의 영역을 나타내는 화상 데이터와, 취득된 상기 구조물의 영역을 나타내는 화상 데이터와, 특정된 상기 촬영 장치의 수에 기초하여, 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하는, 생성 방법.
17. 오브젝트에 대응하는 3차원 형상 데이터의 생성 방법으로서,
    복수의 촬영 방향으로부터 촬영을 행하는 복수의 촬영 장치에 의해 취득된 복수의 촬영 화상 내의 상기 오브젝트의 영역을 나타내는 화상 데이터, 및 상기 복수의 촬영 방향 중 적어도 하나의 촬영 방향으로부터의 촬영 시에 상기 오브젝트를 가리는 구조물의 영역을 나타내는 화상 데이터를 취득하고,
    상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하기 위한 3차원 공간을 구성하는 소정의 요소별로, 당해 소정의 요소에 대응하는 화소 또는 영역을 상기 구조물의 영역에 포함하는 촬영 화상을 취득한 촬영 장치의 수를 특정하고,
    취득된 상기 오브젝트의 영역을 나타내는 화상 데이터와, 취득된 상기 구조물의 영역을 나타내는 화상 데이터와, 특정된 상기 촬영 장치의 수에 기초하여, 상기 오브젝트에 대응하는 3차원 형상 데이터를 생성하는, 생성 방법.
18. 프로그램을 기록한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 프로그램은 컴퓨터로 하여금, 제1항 내지 제15항 중 어느 한 항에 따른 생성 장치로서 기능시키는, 비일시적 컴퓨터 판독가능 저장 매체.
    
    

Images