KR102342668B1

KR102342668B1 - 화상 처리장치, 화상 처리방법 및 기억매체

Info

Publication number: KR102342668B1
Application number: KR1020180143082A
Authority: KR
Inventors: 슈고 히구치
Original assignee: 캐논 가부시끼가이샤
Priority date: 2017-11-20
Filing date: 2018-11-20
Publication date: 2021-12-23
Also published as: JP2019095936A; EP3487176B1; CN109816766A; US20190158802A1; EP3487176A1; US10986324B2; KR20190058337A; CN109816766B; JP7109907B2

Abstract

화상 처리장치는, 촬영 영역을 복수의 방향에서 촬영하는 복수의 카메라에 의한 촬영에 근거한 화상을 취득하도록 구성된 화상 취득부와, 가상 시점을 나타내는 시점 정보를 취득하도록 구성된 정보 취득부와, 상기 화상 취득부에 의해 취득되는 화상과 상기 정보 취득부에 의해 취득되는 시점 정보에 근거하여, 가상 시점 화상에 있어서, 상기 촬영 영역 내에 위치하는 복수의 오브젝트 중에서 결정된 주목 오브젝트를 차폐하는 위치의 오브젝트의 투명도가, 상기 주목 오브젝트를 차폐하지 않는 위치의 오브젝트의 투명도보다도 높도록, 상기 가상 시점 화상을 생성하도록 구성된 생성부를 구비한다.

Description

화상 처리장치, 화상 처리방법 및 기억매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND STORAGE MEDIUM}

본 발명은, 복수의 시점 위치에서 촬상한 복수 시점 화상에 근거하여, 가상 시점으로부터 화상을 생성하는 기술에 관한 것이다.

복수대의 실제 카메라로 촬영한 화상을 사용하여, 3차원 공간 내에 가상적으로 배치되지만 실제로는 존재하지 않는 카메라(가상 카메라)로부터의 화상을 재현하는 기술로서, 가상 시점 화상기술이 있다(일본국 특개 2010-20487호 공보).

가상 시점 화상을 생성할 때, 설정된 가상 시점의 특정한 위치나 특정한 시선 방향에서는, 유저가 만족하는 고화질의 가상 시점 화상이 얻어지지 않는 경우가 있다. 이것은, 가상 시점 화상을 생성하는 알고리즘과 복수 시점 화상의 특성에 기인할 경우가 많다. 이 점을 감안하여, 미리 가상 시점을 설정할 수 없는 영역과 시선을 향할 수 없는 방향을 유저에게 명시하여, 가상 시점의 설정 범위를 제한하는 기술이 알려져 있다(일본국 특개 2007-195091호 공보).

상기한 일본국 특개 2007-195091호 공보와 같이 가상 시점의 설정 범위를 제한하면, 얻어지는 가상 시점 화상의 표현력이 부족하게 되는 경우가 있다. 가상 시점 화상의 생성에 대해, 표현력을 높이기 위해서, 화질을 희생하여서라도 특정한 위치에 가상 시점을 설정하고, 유저가 원하는 시선 방향에서 특정한 오브젝트를 주시하고 싶은 케이스도 존재한다. 예를 들면, 축구의 득점 씬의 가상 시점 화상을 생성할 때에는, 슛을 한 선수 A가 다른 선수 B와 C에 의해 가로막혀 버리는 앵글이라도, 이 앵글에서 선수 A를 중심으로 한 가상 시점 화상을 원하는 경우가 있다.

전술한 이와 같은 상황을 감안하여, 촬영 영역을 복수의 방향에서 촬영하는 복수의 촬상 장치에 의한 촬영에 근거한 화상을 취득하도록 구성된 화상 취득부와, 가상 시점을 나타내는 시점 정보를 취득하도록 구성된 정보 취득부와, 상기 촬영 영역에서 오브젝트의 우선 순위를 설정하도록 구성된 설정부와, 상기 화상 취득부에 의해 취득되는 화상과 상기 정보 취득부에 의해 취득되는 시점 정보에 근거하여, 가상 시점 화상에 있어서의 오브젝트가, 상기 설정부에 의해 설정된 상기 오브젝트의 우선 순위에 근거하여 결정된 투명도로 표시되도록 상기 가상 시점 화상을 생성하도록 구성된 생성부를 구비하고, 제 1 오브젝트의 투명도는, 상기 제 1 오브젝트가 우선 순위가 상기 제 1 오브젝트, 및 제 2 오브젝트의 우선 순위보다 높은 제 3 오브젝트를 차폐하는 위치에 있는 경우 및 상기 제 2 오브젝트가 상기 제 3 오브젝트를 차폐하지 않은 위치에 있는 경우에 상기 제 2 오브젝트의 투명도보다 높고, 상기 제 1 오브젝트의 투명도는, 상기 제 1 오브젝트가 제 4 오브젝트를 차폐하는 위치에 있더라도, 우선 순위가 상기 제 1 오브젝트의 우선 순위보다 높지 않은 상기 제 4 오브젝트의 투명도보다 높지 않은, 화상 처리장치 제공하는 것을 목표로 하는 본 발명이 제공된다.

본 발명의 또 다른 특징은 첨부도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.

도 1은 화상처리 시스템의 촬상 환경과 구성을 도시한 도면이다.
도 2는 화상 처리장치의 하드웨어 구성의 일례를 도시한 도면이다.
도 3은 본 실시형태에 따른 화상 처리장치의 기능 블록도이다.
도 4는 가상 시점 화상 생성 처리의 전체의 흐름을 나타내는 흐름도이다.
도 5a는 오브젝트 형상 테이블의 일례를 나타낸 것이다. 도 5b는 분류 처리를 행한 후의 오브젝트 형상 테이블의 일례를 나타낸 것이다. 도 5c는 추가 설정된 주목 플래그를 포함하는 오브젝트 형상 테이블의 일례이다.
도 6은 주목 오브젝트 설정 화면의 일례를 도시한 도면이다.
도 7a 및 도 7n은 각각 가상 시점 화상의 일례를 도시한 도면이다.
도 8은 렌더링 처리의 상세를 나타내는 흐름도이다.
도 9는 렌더링부의 내부구성을 나타내는 블록도이다.
도 10은 차폐 오브젝트 표시 설정 화면의 일례를 도시한 도면이다.
도 11a, 도 11b 및 도 11c는 차폐 오브젝트의 표시 태양별의 묘화 예를 도시한 도면이다.
도 12는 차폐 오브젝트가 존재하는 범위를 나타내는 UI 화면의 일례를 도시한 도면이다.

이하, 첨부도면을 참조하여, 본 발명을 실시하는 형태에 대해 설명한다. 이때, 이하의 실시형태에서 나타내는 구성은 일례에 지나지 않고, 본 발명은 도시된 구성에 한정되는 것은 아니다.

도 1은, 본 실시형태에 있어서의 화상처리 시스템의 촬상 환경과 구성을 도시한 도면이다. 도 1에 나타낸 화상처리 시스템에서는, 필드(105)를 둘러싸도록 배치된 10대의 카메라(101)에 의해, 촬영 영역인 축구 필드(105) 위에 있는 선수 102 및 103과 볼(104)이 촬영된다. 각 카메라(101)에서 촬영된 화상 데이터는, 서로 시차가 있는 복수 시점 화상 데이터로서 화상 처리장치(200)에 보내지고, 소정의 화상처리가 실행되어서 가상 시점 화상이 생성된다. 본 실시형태에서는, 스포츠 씬을 예로 들어 설명한다. 이와 달리, 이하에서 설명하는 수법은, 피사체가 되는 오브젝트를 둘러싸도록 배치된 복수의 카메라에 의해 얻어진 복수 시점 화상으로부터 가상 시점 화상을 생성하는 경우에 있어서 폭넓게 적용가능하다. 도 1에서는 카메라의 수를 10대이지만, 이 수에 특별히 제한은 없다. 단, 4개의 변의 각각에 적어도 복수대의 카메라가 존재하는 것이 바람직하다.

화상 처리장치(200)는, 퍼스널컴퓨터로 대표되는 일반적인 정보 처리장치와 유사한 구성을 구비한다. 도 2는, 화상 처리장치(200)의 하드웨어 구성의 일례를 도시한 도면이다. 화상 처리장치(200)는, CPU(201), RAM(202), ROM(203), HDD(204), 입력 I/F(205), 출력 I/F(206)를 가진다. 화상 처리장치(200)를 구성하는 구성요소들은, 시스템 버스(207)에 의해 서로 접속되어 있다. 화상 처리장치(200)는, 입력 I/F(205)를 거쳐, 카메라(101), 조작부(210), 외부 메모리(211)에 접속되어 있다. 이 장치는, 출력 I/F(206)를 거쳐, 외부 메모리(211) 및 표시장치(212)에 더 접속되어 있다. CPU(201)은, RAM(202)을 워크 메모리로 사용하여, ROM(203)에 격납된 프로그램을 실행하고, 시스템 버스(207)를 거쳐 화상 처리장치(200)를 구성하는 구성요소들을 총괄적으로 제어한다. 이에 따라, 후술하는 다양한 처리가 실현된다. HDD(204)은, 화상 처리장치(200)에서 처리할 각종의 데이터를 기억하는 대용량 기억장치이며, 예를 들면, SSD이어도 된다. HDD(204)에는, 각 카메라(101)의 설치 위치와 방향(시선 방향)과, 각 카메라(101)가 구비하는 렌즈의 초점거리(이하, 이들 정보를 합쳐서 "카메라 파라미터"로 부른다)가 기억되어 있는 것으로 가정한다. 또한, HDD(204)는, 복수 시점 화상과 오브젝트가 없는 화상(배경 화상)의 데이터 보존에도 이용된다. CPU(201)은, 시스템 버스(207)를 거쳐 HDD(204)에의 데이터의 기록 및 HDD(204)에 기억된 데이터의 판독을 행할 수 있다. 입력 I/F(205)는, USB나 IEEE1394 등의 시리얼 버스 I/F이다. 외부장치로부터 화상 처리장치(200)에 데이터와 명령이 이 입력 I/F(205)를 거쳐서 입력된다. 화상 처리장치(200)는, 이 입력 I/F(205)를 거쳐, 외부 메모리(211)(예를 들면, 하드디스크, 메모리카드, CF 카드, SD 카드, USB 메모리 등의 기억매체)로부터 데이터를 취득한다. 화상 처리장치(200)는, 이 입력 I/F(205)를 거쳐, 조작부(210)를 사용해서 입력된 유저의 명령을 취득한다. 조작부(210)는 마우스와 키보드 등의 입력장치이며, 유저의 지시를 화상 처리장치(200)에 입력하기 위해서 사용된다. 출력 I/F(206)는, 입력 I/F(205)와 마찬가지로, USB나 IEEE1394 등의 시리얼 버스 I/F를 구비한다. 더구나, 예를 들어, DVI나 HDMI 등의 영상 출력 단자를 사용하는 것도 가능하다. 화상 처리장치(200)로부터 외부장치에 데이터가 출력 I/F(206)를 거쳐서 출력된다. 화상 처리장치(200)는, 이 출력 I/F(206)를 거쳐, 액정 디스플레이 등의 표시장치(212)에 GUI(graphical user interface)의 화면 표시와 생성한 가상 시점 화상 데이터의 표시를 행한다. 상기한 것 이외에 화상 처리장치(200)의 다른 구성이 존재한다. 그러나, 이들 구성요소는 본 발명의 주목적이 아니다. 이들의 설명을 생략한다.

계속해서, 화상 처리장치(200)에서 행하는 일련의 화상처리에 대해 설명한다. 도 3은, 본 실시형태에 따른 화상 처리장치(200)의 기능 블럭도다. 본 실시형태에 있어서의 화상 처리장치(200)는, 화상 데이터 취득부(301), 카메라 파라미터 취득부(302), 형상 데이터 생성부(303), 오브젝트 분류부(304), 주목 오브젝트 설정부(305), 가상 카메라 설정부(306) 및 렌더링부(307)를 구비한다. 이들 구성요소는, 화상 처리장치(200)의 CPU(201)이 소정의 어플리케이션 프로그램을 실행함으로써 실현된다. 단, 도 3에 나타낸 구성의 일부를 하드웨어로 실현해도 된다. 구성요소의 상세에 대해서는 후술하지만, 본 실시형태의 특징을 이해하기 쉽게 설명하면 아래와 같다.

위치 및 시선 방향이 기지의 복수의 카메라(101)에서 촬영된 복수 시점 화상으로부터, 예를 들면, 일본국 특개 2010-20487호 공보에서 개시된 방법을 사용함으로써, 촬영 씬 내의 인물과 볼 등의 오브젝트의 3차원 형상에 대한 형상 정보를 얻는다. 3차원 공간에서의 오브젝트의 형상을 정의할 수 있다. 따라서, 카메라(101)마다의 촬상 화상에 대응하는 뎁스(depth) 화상을 연산에 의해 구할 수 있다. 뎁스 화상은, 카메라의 시점과 오브젝트의 표면 상의 점 사이의 거리를 표시하는 화소들의 집합이다. 같은 이유로, 카메라(101)가 존재하지 않는 임의의 시점(가상 시점)으로부터의 시선 방향의 뎁스 화상도 생성할 수 있다. 이 뎁스 화상에 있어서의 화소의 색은, 현실의 촬상 화상에 있어서 대응하는 위치의 화소값으로부터 구할 수 있다. 통상, 뎁스 화상 위의 임의의 위치 P의 색을 결정하기 위해서는, 위치 P를 뎁스 화상으로서 갖는 가상 시점에 가까운 시점에서 촬영된 복수의 촬상 화상 내의 화소값을 사용해서 산출한다. 구체적으로는, 출력된 가상 시점 화상에 있어서의 주목 화소의 화소값 Q(x,y)는 이하의 수학식 1에 의해 구할 수 있다.

상기 수학식 1에 있어서, 각도 θ1은 첫번째의 입력 시점과 가상 시점 사이의 각도이고, 각도 θ2는 두번째 입력 시점과 가상 시점 사이의 각도이다. 화소값 P1(x1,y1)은 첫번째 입력 시점의 대응 화소 (x1,y1)의 화소값을 나타내고, 화소값 P2(x2,y2)는 두번째 입력 시점의 대응 화소 (x2,y2)의 화소값을 나타낸다. W1(x1,y1)은 첫번째 입력 시점의 가중 화소 맵에 있어서의 대응 화소 (x1,y1)의 가중을 나타내고, W2(x2,y2)는 두번째 입력 시점에 대한 대응 화소 (x2,y2)의 가중을 나타낸다. 가중 W는 이하의 수학식 2로 표시된다.

전술한 연산 처리를 반복함으로써, 가상 시점 화상을 구성하는 각 화소의 색을 나타내는 화소값을 얻을 수 있다. 이때, 여기에서는, 가상 시점에 가까운 2개의 시점에서의 촬상 화상을 사용할 경우를 설명한다. 이와 달리, 3개 이상의 시점의 촬영 화상을 사용해도 된다.

본 실시형태에서는 가상 시점의 위치나 그것의 시선 방향에 제한을 두지 않는다. 그렇지만, 예를 들면, 주목 오브젝트(예를 들면, 선수 A)를 포함하는 가상 시점 화상을 생성하는 경우에는, 가상 시점과 선수 A 사이에 다른 오브젝트(예를 들면, 선수 B)가 개입하여, 중요한 선수 A가 선수 B로 가로막힐 수 있다. 지금까지는, 이러한 경우, 선수 B가 방해가 되지 않는 위치로 유저가 가상 시점을 변경해야만 한다. 즉, 유저는, 당초에 원한 앵글로부터의 가상 시점 화상을 포기해야만 한다. 본 실시형태에서는, 유저가 원하는 앵글에서, 주목 오브젝트의 전체가 시인가능하게 하는(다른 오브젝트로 방해되지 않는) 가상 시점 화상을 생성하는 것이 가능해 진다. 이하, 적절히 흐름도를 참조하여, 본 실시형태에 따른 가상 시점 화상의 생성 방법을 설명한다.

도 4는, 본 실시형태에 따른, 가상 시점 화상 생성 처리의 전체의 흐름을 나타낸 흐름도다. 이 생성 처리는, 예를 들면, 유저가 미도시의 GUI를 거쳐 특정 오브젝트 우선 모드를 선택했을 경우에, 대응하는 프로그램에 따라서 실행된다. 단, 디폴트로 특정 오브젝트 우선 모드가 선택되어도 된다. 이하, 도 4의 플로우에 따라 설명한다.

S401에서는, 화상 데이터 취득부(301)가, 카메라(101)에서 촬영된 임의의 촬영 씬의 복수 시점 화상 데이터 및 동일한 촬영 씬 위의 배경 화상 데이터를 취득한다. 도 1에 나타낸 화상처리 시스템의 경우, 필드(105) 위에서의 축구의 씬을 10개의 다른 시점에서 촬영한 촬상 화상 데이터와, 각 촬상 화상에 대응하는 배경 화상 데이터가, 각 카메라(101)로부터 수신된다(또는 HDD(204)로부터 판독된다). 여기에서, 배경 화상은, 선수와 볼 등의 주요한 오브젝트가 캡처되지 않은 화상이다. 예를 들면, 촬영 씬이 축구인 경우의 배경 화상으로서, 선수, 즉 주요 오브젝트가 존재하고 있지 않는 시합의 전후나 하프타임에 촬영한 화상을 사용해도 된다. 단, 예를 들면, 옥외의 일조 변동의 영향으로 인해, 사전 또는 사후에 촬영한 화상은 배경 화상으로서 부적절한 경우가 있어서 유의가 필요하다. 취득한 복수 시점 화상과 배경 화상의 데이터는, 형상 데이터 생성부(303)와 렌더링부(307)에 보내진다.

S402에서는, 카메라 파라미터 취득부(302)가 전술한 카메라 파라미터를 취득한다. 도 1에 나타낸 화상처리 시스템의 경우, 미리 캘리브레이션을 행해서 얻은 카메라(101) 각각에 대한 설치 위치, 시선 방향, 및 렌즈의 초점거리의 정보가 HDD(204)로부터 판독된다. 이와 달리, 복수 시점 화상의 촬영중, 각 카메라(101)로 얻어진 촬상 화상으로부터 자연 특징량을 산출하는 것에 의한 동적 캘리브레이션에 의해 카메라 파라미터를 취득해도 된다. 카메라 파라미터의 데이터는, 형상 데이터 생성부(303)와 렌더링부(307)에 보내진다.

S403에서는, 형상 데이터 생성부(303)는, 입력된 복수 시점 화상 데이터, 배경 화상 데이터, 및 카메라 파라미터를 사용하여, 촬영 씬에 존재하는 오브젝트의 3차원의 형상 데이터를 생성한다. 도 5a는, 오브젝트 단위의 3차원 형상 데이터의 일람을 나타낸 테이블(오브젝트 형상 테이블)의 일례를 나타낸다. 테이블 내의 각 행은 1개의 독립된 오브젝트에 대응한다. 각 오브젝트의 형상은 복셀의 집합에 의해 특정된다. 테이블의 각 행에 격납되어 있는 정보 (x,y,z)는, 각각의 복셀의 중심 위치의 3차원 위치 정보를 나타내고 있다. 이 단계에서의 형상 데이터는, 각 오브젝트가 각각 무엇을 표시하고 있는지를 식별할 수 없는 상태에 있다. 각 오브젝트에 부수되는 그림자도 독립된 오브젝트로서 데이터에 포함되어 있다. 각 오브젝트의 형상 데이터(이 데이터를 모은 오브젝트 형상 테이블)는, 오브젝트 분류부(304)에 보내진다.

S404에서는, 오브젝트 분류부(304)는, 오브젝트 형상 테이블에 포함되는 각 형상 데이터를, 데이터가 무슨 오브젝트를 표시하고 있는지를 식별가능한 상태에서 형상 데이터를 분류한다. 예를 들면, 본 실시형태와 같이 인물, 그림자 및 볼을 포함하는 3종류의 오브젝트로 분류하는 경우에는, 인물과 볼의 3차원 모델 정보(크기와 형상의 정보)를 미리 HDD(204)에 유지해 두고, 각 형상 데이터와 이 정보의 매칭 처리를 행함으로써 분류가능하다. 높이 성분이 그라운드 면과 같은 부분은 그림자 오브젝트로서 분류할 수 있다. 분류후의 오브젝트 형상 테이블에는, 각 오브젝트의 종류를 표시하는 정보와 각 오브젝트를 식별가능한 ID가 부여된다. 그림자로 분류된 오브젝트에는, 해당 그림자를 발생하는 오브젝트의 ID가 속성정보로서 부여된다. 도 5b는, 분류 처리를 행한 후의 오브젝트 형상 테이블을 나타내고 있다. 각 오브젝트에 대하여 전술한 "ID", "종류" 및, "속성 정보" 필드가 추가되어 있다.

S405에서는, 주목 오브젝트 설정부(305)가, 촬영 씬 내의 오브젝트들 중에서, 유저 조작에 근거하여, 주목 오브젝트를 설정한다. 유저는, 예를 들면, 도 6에 나타낸 것과 같은 UI 화면(주목 오브젝트 설정 화면)을 거쳐, 주목 오브젝트를 지정한다. 주목 오브젝트 설정 화면에는, 형상 데이터를 사용해서 어떤 적당한 가상 시점에서 생성한 화상(601)이 표시된다. 마우스와 터치 조작 중에서 어느 것에 의해 해당 화상(601) 위에서 주목 오브젝트를 1개 이상 선택한다. 이때, 선택된 오브젝트를 하이라이트 표시하거나, 또는 선택가능한 오브젝트 이외의 배경 영역을 그레이 표시해도 된다. 1개 이상의 오브젝트가 선택된 상태에서 OK 버튼(602)이 눌러지면, 해당 오브젝트가 주목 오브젝트로서 설정된다. 이렇게 해서 설정된 주목 오브젝트에는, 다른 오브젝트로부터 식별하기 위한 정보로서 예를 들면 2값의 플래그(주목 플래그)가 부여된다. 도 5c는, 도 5b에 나타낸 분류후의 오브젝트 형상 테이블에 대하여 "주목 플래그" 필드가 추가 설정된 상태를 나타내고 있다. 도 5c의 주목 플래그에서, "1"은 주목 오브젝트를 나타내고, "0"은 비주목 오브젝트를 나타내고 있다. 주목 오브젝트를 유저가 지정할 수 있도록 하는 UI 화면은, 도 6에 나타낸 예에 한정되지 않는다. 예를 들면, 주목 오브젝트가 많은 경우에는, 다른 가상 시점에서 생성한 복수의 가상 시점 화상, 또는 평면도의 가상 시점 화상을 표시해도 된다. 이에 따라, 복수의 인물 오브젝트가 밀집하여 존재하는 씬이라도, 유저는 원하는 인물 오브젝트를 용이하게 지정 할 수 있다. 이와 달리, 주시하고 싶지 않은 오브젝트를 지정하여, 남은 오브젝트를 주목 오브젝트로서 지정하여도 된다. 이와 달리, 각 오브젝트의 섬네일 화상을 부가한 분류후의 오브젝트 형상 테이블을 표시하여, ID를 통해 주목 오브젝트를 지정할 수 있도록 하여도 된다. 이와 달리, 복수의 오브젝트 중 한 개 또는 일부의 오브젝트가 디폴트로 주목 오브젝트로서 설정되어 있어도 된다. 예를 들면, 볼이 디폴트로 주목 오브젝트로서 설정되어 있어도 된다. 이와 달리, 예를 들면, 볼과 그 부근에 있는 선수가 디폴트로 주목 오브젝트로서 설정되어 있어도 된다.

S406에서는, 가상 카메라 설정부(306)는, 생성하고 싶은 가상 시점 화상에 있어서의 가상 카메라에 관한 정보, 구체적으로는, 가상 시점 위치와 시선 방향의 정보를, 미도시의 UI 화면을 거친 유저 조작에 근거하여 설정한다. 가상 시점의 위치와 방향 중 적어도 한개를 나타내는 미리 설정된 가상 시점 정보(가상 카메라 정보)를 HDD(204)로부터 판독해서 설정해도 된다.

S407에서는, 렌더링부(307)는, 도 5c의 상태의 오브젝트 형상 테이블 및 S406에서 설정한 가상 카메라 정보에 근거하여, 렌더링 처리를 행하여, 가상 시점 화상을 생성한다. 렌더링 처리의 상세에 대해서는 후술한다. 도 7a 및 도 7b는, 두사람의 선수 701 및 702와 볼(703)이 존재하는 씬의, 본 실시형태에서 생성되는 가상 시점 화상의 일례를 도시한 도면이다. 도 7a는 종래 수법에 따른 가상 시점 화상을 나타낸 것이다. 이 도면에서, 그것의 움직임을 보고 싶은 선수 A와 볼이 선수 B에 의해 가로막혀져 있다. 도 7b는, 선수 A와 볼을 주목 오브젝트로 지정된 경우의 본 실시형태에 따른 가상 시점 화상이다. 여기에서는, 방해가 된 선수 B가 투과율 100%에서 투명화처리되어, 주시하고 싶은 선수 A와 볼이 잘 보이는 상태로 되어 있다. 전술한 것과 같이 달성된 가상 시점 화상은 다양한 형태로 출력되는데, 예를 들면, 이 화상이 표시장치(212)에 표시되거나, HDD(204)나 외부 메모리(211)에 격납된다.

이상이, 본 실시형태에 따른 가상 시점 화상 생성 처리의 개요다.

<렌더링 처리>

도 8은, 렌더링부(307)가 실행하는, 특정 오브젝트 우선 모드시의 렌더링 처리의 상세를 나타낸 흐름도다. 도 9는, 렌더링부(307)의 내부 구성을 나타낸 블럭도다. 렌더링부(307)는, 판정 처리부(910), 묘화 처리부(920) 및 합성 처리부(930)로 구성된다. 더구나, 판정 처리부(910)는, 그림자 판정부(911), 주목 오브젝트 판정부(912) 및 차폐 판정부(913)를 구비한다. 묘화 처리부(920)는, 주목 오브젝트 묘화부(921), 차폐 오브젝트 묘화부(922) 및 그림자 오브젝트 묘화부(923)를 구비한다. 이하, 도 8의 플로우 및 도 9의 블럭도를 참조하면서, 렌더링 처리의 상세에 대해 설명한다.

우선, S801에서, 판정 처리부(910)는, 오브젝트 형상 테이블 중에서 묘화 대상으로서 1개의 주시하는 오브젝트(이하, 주시 오브젝트(noted object))를 결정한다. 전형적으로는, ID의 값이 가장 작은 오브젝트가 주시 오브젝트로서 결정된다. 계속되는 S802에서는, 그림자 판정부(911)가, 오브젝트 형상 테이블의 "종류" 필드를 참조하여, 주시 오브젝트가 그림자 오브젝트인지 아닌지를 판정한다. 주시 오브젝트가 그림자 오브젝트이면, S807로 처리를 진행한다. 한편, 주시 오브젝트가 그림자 오브젝트 이외의 오브젝트이면, S803으로 처리를 진행한다.

S8803에서는, 주목 오브젝트 판정부(912)가, 오브젝트 형상 테이블의 "주목 플래그" 필드를 참조하여, 주시 오브젝트가 주목 오브젝트인지 아닌지를 판정한다. 주시 오브젝트가 주목 오브젝트이면, S805로 처리를 진행한다. 주목 오브젝트가 아니면, S804로 처리를 진행한다.

S804에서는, 차폐 판정부(913)가, 주시 오브젝트가 주목 오브젝트를 차폐하는지 아닌지를 판정한다. 차폐 판정부(913)는, 3차원 공간에 있어서의 가상 카메라의 위치, 주시 오브젝트의 위치와, 주목 오브젝트의 위치에 근거하여 오브젝트가 차폐되는지 아닌지를 판정한다. 예를 들면, 차폐 판정부(913)는, S406에서 설정된 가상 카메라 정보에 포함되는 가상 시점 위치로부터 주목 오브젝트를 향하는 광선을 가상적으로 조사하고, 해당 광선이 주목 오브젝트에 도달하기 전에 주시 오브젝트에 충돌하는지 아닌지로 판정을 행할 수 있다. 예를 들면, 이하의 수학식 3을 사용한 차폐 판정도 가능하다.

상기 수학식 3은, 가상 시점에서 보았을 때에 주시 오브젝트가 주목 오브젝트의 가까이에 배치되고, 양쪽의 오브젝트의 각도가 근접하고 있는지 아닌지를 판정하는 것이다. 상기 수학식 3에 있어서, 거리 L은 가상 시점 위치와 주목 오브젝트의 거리이고, 거리 L'은 가상 시점 위치와 주시 오브젝트의 거리이다. 각도 θ은 가상 시점 위치를 기준으로 하여 주목 오브젝트와 주시 오브젝트 사이의 각도이다. 임계값 θ_Th는 각도 θ에 관해 미리 설정된다. 임계값 θ_Th는, 주목 오브젝트의 실제의 크기와 가상 시점 위치까지의 거리 L로부터 구할 수 있다. 예를 들면, 가로 폭 약 1m인 주목 오브젝트가 가상 시점 위치로부터 20m 떨어져 존재할 경우, θ이 3도를 하회하면 그것의 가까이에 존재하는 주시 오브젝트에 의해 주목 오브젝트가 차폐된다. 즉, 이 경우, θ_Th를 3도로 한 수학식 3을 만족하는 경우, 주시 오브젝트가 가상 시점에서 볼 때 주목 오브젝트를 차단하도록 위치하고 있다고 판단할 수 있다. 판정의 결과, 주시 오브젝트가 주목 오브젝트를 차폐하지 않는 경우에는, S805로 처리를 진행한다. 한편, 주시 오브젝트가 주목 오브젝트를 차폐하는 경우에는, S806으로 처리를 진행한다.

S805에서는, 주목 오브젝트 묘화부(921)가, 주시 오브젝트를 통상의 수법으로, 즉, 촬영 화상에 있어서의 시인성을 유지한 상태에서 묘화하는 처리를 행한다. 본 스텝은, 주시 오브젝트가 주목 오브젝트일 경우 또는 주시 오브젝트가 주목 오브젝트를 차폐하지 않는 기타 오브젝트일 경우의 묘화처리다. 즉, 본 스텝의 묘화대상이 되는 오브젝트는, 가상 시점 화상에 있어서 유저가 오브젝트를 양호하게 인식할 수 있도록, 촬상 화상으로 손색이 없는 정도의 가시화 상태에서 묘화할 필요가 있다. 따라서, 설정된 가상 시점에서 주목 오브젝트를 보았을 때의 뎁스 화상을 생성하고, 뎁스 화상의 화소의 색을, 소정의 복수 시점 화상에 대응하는 위치의 화소값으로부터 구하는 처리(통상의 묘화처리)를 행한다.

S806에서는, 차폐 오브젝트 묘화부(922)가, 주시 오브젝트를 투과시켜서 묘화하는 처리를 행한다. 차폐 오브젝트를 완전히 투과시키는 경우에는, 이 오브젝트는 묘화되지 않는다고 할 수 있다. 본 스텝은, 주시 오브젝트가, 유저가 지정한 주목 오브젝트를 차폐하는 경우의 묘화처리다. 즉, 본 스텝의 묘화 대상이 되는 오브젝트(차폐 오브젝트)가 완전한 가시화 상태에서 묘화되면, 이 오브젝트는 주목 오브젝트를 차단해서 그것의 시인성을 저해한다. 차폐 오브젝트는 주목 오브젝트의 시인성을 억제하지 않도록 묘화하는 것이 바람직하다. 주목 오브젝트의 시인성의 저하를 억제하기 위한 수법으로서는, 차폐 오브젝트를 투과 또는 반투과로 하는 것과, 예를 들면, 차폐 오브젝트의 윤곽 만을 소정의 색 또는 파선 등으로 표시하는 태양과, 차폐 오브젝트의 그림자 만을 표시하는 태양을 들 수 있다. 도 10은, 차폐 오브젝트의 표시 태양을 지정하는 UI 화면(차폐 오브젝트 표시 설정 화면)의 일례를 도시한 도면이다. 유저는, 마우스의 조작에 의해, 차폐 오브젝트의 묘화방법을 선택지 중에서 지정할 수 있다. 도 11a 내지 도 11c는, 표시 태양의 베리에이션을 나타낸 도면이다. 도 11a는 차폐 오브젝트를 반투과로 묘화하는 경우를 나타낸 것이다. 도 11b는 윤곽 만 묘화하는 경우를 나타낸 것이다. 도 11c는 그림자 만을 묘화하는 경우를 나타낸 것이다. 이 경우에 있어서, 예를 들면, 투과율 100%의 완전 투과로 묘화할 경우(도 7 참조)에는, 차폐 오브젝트의 형상 데이터를 제외하고 묘화하면 된다. 이때, 화소값의 산출에 사용하는 복수 시점 화상에는 차폐 오브젝트도 포함된다. 따라서, 차폐 오브젝트에 대응하는 부분의 화소값을 사용하지 않도록 마스크 처리를 해도 된다. 마스크 처리에 사용하는 마스크 화상은, 예를 들면, 화소값 산출에 사용하는 복수 시점 화상에 차폐 오브젝트를 역사영해서 구하면 된다. 이에 따라, 차폐 오브젝트의 형상 부분 만이 백색(그 부분의 화소값을 사용하지 않는다)으로 표시하고, 그 밖의 부분을 흑색(그 부분의 화소값을 사용한다)으로 표현한 2값의 마스크 화상이 얻어질 수 있다. 이와 달리, N값(N=분류의 종류 수+1)의 마스크 화상을 생성하고, 오브젝트의 종류에 대응시킨 값에 따라 그 부분의 화소값을 사용하거나(투과시키지 않는다), 사용하지 않거나(투과시킨다)를 결정해도 된다. 예를 들면, 촬영 씬 내에 움직임이 있는 오브젝트가 인물 A, 인물 B 및 볼인 경우이면, 종류 수가 3이다. 그 결과, 4값화 화상을 생성한다. 주시하고 싶은 주목 오브젝트가 인물 A와 볼인 경우, 이들 부분에 대응하는 화소값은 사용하고, 다른 부분(인물 B와 배경)에 대응하는 화소값은 사용하지 않도록 마스크 처리를 행한다. 반투명으로 묘화하는 경우에는, 차폐 오브젝트 만을 미리 묘화하고, 임의의 투명도에서 블렌딩을 행하면 된다. 이 때의 투과율은, 전술한 도 10의 UI 화면에서 나타낸 것과 같이, 예를 들면, 0 내지 100%의 범위에서 유저가 수동 설정하거나, 주목 오브젝트와의 위치 관계에 따라 자동으로 결정하여도 된다. 자동으로 결정할 경우의 투명도 α은, 예를 들면, 전술한 L, L', θ을 사용하여, L<L'인 경우에 0(불투명)으로 결정하고, θ가 작을(차폐 비율이 높을)수록 크고, L이 작을(가상 시점이 주목 오브젝트에 가까울)수록 커지도록 결정한다. 이와 달리, 보다 단순화하여, 예를 들면, 이하의 수학식 4를 사용해서 결정해도 된다.

상기 수학식 4에 있어서, k는 계수, C는 비제로인 분모를 달성하기 위한 상수다. 차폐 오브젝트의 묘화수법은 전술한 내용에 한정되는 것은 아니다. 요는 주목 오브젝트의 시인성 저하를 억제하는 방식으로 묘화할 수 있으면 된다 것이다.

S807에서는, 그림자 오브젝트 묘화부(923)가, 주시 오브젝트를 전술한 속성 정보에 따라서 묘화하는 처리를 행한다. 본 스텝은, 주시 오브젝트가, 인물이나 볼의 그림자를 나타내는 오브젝트일 경우의 묘화처리다. 이 그림자 오브젝트는, 통상, 독립된 오브젝트로서 존재하지 않는다. 그 때문에, 원칙적으로는, 그림자 오브젝트가 종속하는 인물이나 볼의 묘화 상태에 준해서 묘화하는 것이 바람직하다. 즉, 종속처인 인물 오브젝트가 가시화 상태에서 묘화(통상 묘화)되고 있을 경우에는, 그림자 오브젝트도 명료한 가시화 상태에서 묘화한다. 인물 오브젝트가 예를 들면 투과 상태에서 묘화되고 있을 때는, 그림자 오브젝트도 투과 상태(그림자를 제거한 상태)에서 묘화하는 것이 바람직하다. 그림자 오브젝트가 종속하는 오브젝트는, 오브젝트 형상 테이블의 "속성 정보"의 필드를 참조함으로써 특정가능하다. 그림자 오브젝트를 투과 상태에서 묘화할 경우, 그것의 형상 데이터를 삭제한 것 만으로는, 자연스러운 묘화 결과가 얻어질 수 없는 경우가 있다. 이것은, 화소값의 산출에 사용하는 복수 시점 화상에는 모두 그림자가 포함되어, 그것의 대응하는 화소 위치에는 투과 상태에 적합한 화소값이 존재하지 않기 때문이다. 따라서, 그림자를 자연스러운 형태로 삭제우기 위해서, 예를 들면, 배경 화상에 있어서의 대응하는 화소 위치의 화소값을 사용해서 묘화를 행한다. 차폐 오브젝트에 종속하는 그림자 오브젝트인 경우에는, 전술한 도 10의 UI 화면에서 설정된 내용이 우선한다. 즉, 차폐 오브젝트의 표시 태양을 지정하는 UI 화면에 있어서, 그림자 만을 표시시키는 것이 지정된 경우에는, 종속처의 차폐 오브젝트가 투과 상태에서 묘화되는 설정이더라도, S805와 마찬가지로 통상의 묘화처리를 행한다.

S808에서는, 묘화 처리부(920)가, 오브젝트 형상 테이블 내의 모든 오브젝트의 묘화가 완료하였는지 아닌지를 판정한다. 미처리의 오브젝트가 남아있으면, S801로 처리가 되돌아가, 다음의 주시 오브젝트를 결정해서 처리를 속행한다. 한편, 모든 오브젝트의 처리가 완료한 경우에는, S809로 처리를 진행한다.

S809에서는, 합성 처리부(930)가, 스텝 S805 내지 S807에서 생성된 모든 오브젝트의 묘화 결과를 합성하여, S406에서 설정된 가상 시점에서 보았을 경우의 가상 시점 화상을 생성한다.

이상이, 렌더링부(307)가 실행하는 렌더링 처리의 내용이다. 본 실시형태에서는, 도 8의 플로우로 나타낸 각 스텝을 1개의 렌더링부가 실행하는 것을 가정하여 설명을 행했다. 그러나, 이 실행은 이것에 한정되지 않는다. 예를 들면, 동일 구성의 렌더링부를 복수 설치해도 된다. 렌더링부를 차폐 오브젝트를 묘화하는 렌더링부와 그 이외의 오브젝트를 묘화하는 렌더링부로 분류하고, 병렬로 처리하고, 렌더힝부에 의해 얻어진 묘화 결과를 합성하여도 된다. 이와 달리, 판정 처리부(910), 묘화 처리부(920), 합성 처리부(930)의 각각에 대응하는 독립된 화상처리부를 설치하고, 기능마다 역할분담해도 된다.

전술한 실시형태에서는, 주목 플래그의 유무에 따라, 렌더링시에 투과 묘화를 행할 것인지 아닌지를 결정하고 있었다. 본 실시형태는 이것에 한정되지 않는다. 예를 들면, 오브젝트마다 주목도(우선 순위)를 지정해도 되고, 설정된 주목도에 따라 방해가 되는 오브젝트로서 오브젝트를 고려할 것인지 아닌지(렌더링시에 투과시켜서 묘화를 행할 것인지 아닌지)를 결정하여도 된다. 예를 들면, 주목도가 해당 오브젝트다도 상위의 인물 오브젝트를 차폐하는 경우에는, 상위의 주목도를 갖는 오브젝트를 투과 처리한다. 이와 달리, 주목도가 해당 오브젝트다도 하위의 인물 오브젝트를 차폐할 때해도, 하위의 주목도를 갖는 오브젝트가 투과 처리되지 않는다. 이렇게 주목도가 설정된 경우에는, 각 오브젝트에 대하여 주목 플래그 대신에(또는 추가하여) 우선 순위를 표시하는 레벨 정보를 부여한다. 렌더링시에는, 해당 레벨 정보를 참조해서 묘화 내용을 제어하면 된다.

전술한 실시형태에서는, 주목 오브젝트를 유저가 복수의 오브젝트 중에서 개별적으로 지정할 경우의 예를 주로 설명했다. 그러나, 이것에 한정되지 않는다. 예를 들면, 유저가 어떤 조건을 설정하고, 화상 처리장치(200)가 각 오브젝트의 오브젝트 정보에 근거하여, 그 조건을 만족하는 오브젝트를 자동으로 주목 오브젝트로서 설정해도 된다. 더욱 구체적으로는, 유저는, "볼 및 그 주변에 위치하는 선수"라고 하는 조건을 설정하거나, "PK(penalty kick) 중의 킥커와 골키퍼"라는 조건을 설정해도 된다. 특정한 팀의 선수를 통상대로 묘화하고, 다른 쪽 팀의 선수는 얇게 묘화해도 된다. 이렇게, 주목 오브젝트의 설정 방법에 자유도를 갖게 하면, 유저에게 있어서 편리성을 향상시킬 수 있다.

전술한 설명에서는, 가상 시점 화상이라고 호칭법을 사용했지만, 본 실시형태의 시스템은 정지 화상과 동화상 모두에 적용할 수 있다. 즉, 복수 시점 화상은, 1개 또는 복수의 정지 화상 또는 동화상이어도 된다. 가상상 시점 화상은, 1개 또는 복수의 정지 화상 또는 동화상으로서 생성되어도 된다.

가상 시점 화상을 동화상으로서 생성할 경우, 동화상을 구성하는 각 프레임에 있어서의 가상 카메라 정보와 주목 오브젝트는, 유저가 1 프레임씩 설정해도 된다. 이와 달리, 이들 정보와 오브젝트를 시간축을 따라 연속적으로 설정하여도 된다. 예를 들면, 가상 시점의 궤적을 설정해도 된다. 유저가 선두 프레임에서 설정한 주목 오브젝트는 트랙킹 기술에 따라 후속 프레임에 대하여 자동으로 설정해도 된다. 이에 따라, 입출력할 데이터가 동화상인 경우에 있어서, 시계열로 변화할 수 있는 가상 카메라 정보와 주목 오브젝트를 효율적으로 설정할 수 있다.

배경 화상은, 예를 들면, 동화상으로서 보존된 복수 시점 화상 중 소정 수의 프레임(예를 들면, 연속하는 10초분의 프레임)을 사용해서 움직임이 있는 오브젝트를 제거함으로써 얻어도 된다. 예를 들면, 각 프레임에 있어서의 각 화소값의 중앙치를 채용한 화상을 생성함으로써, 배경 화상을 얻을 수 있다.

동화상으로서의 복수 시점 화상으로부터 동화상으로서의 가상 시점 화상을 생성할 경우, 오브젝트의 위치와 움직임, 가상 시점 위치와 그것의 이동 궤적(가상 카메라 패스)에 따라, 일시적으로, 즉 프레임 단위로, 주목 오브젝트가 비주목 오브젝트에 의해 차폐되어 버리는 경우가 있을 수 있다. 이 경우, 주목 오브젝트가 차폐되는 시점(프레임)을 유저에게 통지하여도 된다. 도 12는, 설정된 가상 카메라 패스 중 차폐 오브젝트에 의해 주목 오브젝트가 가로막히는 범위를 시각적으로 나타낸 UI 화면의 일례를 도시한 도면이다. 도 12의 UI 화면에서, 필드를 평면도에서 본 경우의 가상 시점 화상 위에, 유저가 설정한 가상 카메라 패스가 실선 1201로 표시되어 있다. 주시 오브젝트가 다른 오브젝트에 의해 차폐되어 버리는 구간이 굵은 선 1202로 강조 표시되어 있다. 차폐의 유무는, 모든 주시 오브젝트에 대한 전술한 차폐 판정(도 8의 플로우의 S804)의 결과에 근거하여 결정할 수 있다. 가상 카메라 패스와 주목 오브젝트의 양쪽이 결정된 시점에서, 차폐의 범위가 식별된다. 그 결과, 식별된 타이밍, 예를 들면, 주목 오브젝트가 미리 설정된 경우에는, 가상 카메라 패스가 설정된 시간에 통지하면 된다. 이러한 통지를 행함으로써, 유저는, 주시 오브젝트를 차폐하고 있는 오브젝트의 표시 방법을 변경함으로써, 보다 만족도가 높은 가상 시점 영상을 얻는 것이 가능해진다.

이상에서 설명한 바와 같이, 본 실시형태에 따르면, 설정된 가상 시점에서 주목 오브젝트가 다른 오브젝트에 의해 가로막히는 경우에도, 가상 시점 화상에 있어서의 해당 주목 오브젝트의 시인성 저하를 억제할 수 있다.

기타 실시형태

본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)^TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.

본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.

예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims

촬영 영역을 복수의 방향에서 촬영하는 복수의 촬상 장치에 의한 촬영에 근거한 화상을 취득하도록 구성된 화상 취득부와,
가상 시점을 나타내는 시점 정보를 취득하도록 구성된 정보 취득부와,
상기 촬영 영역에서 오브젝트의 우선 순위를 설정하도록 구성된 설정부와,
상기 화상 취득부에 의해 취득되는 화상과 상기 정보 취득부에 의해 취득되는 시점 정보에 근거하여, 가상 시점 화상에 있어서의 오브젝트가, 상기 설정부에 의해 설정된 상기 오브젝트의 우선 순위에 근거하여 결정된 투명도로 표시되도록 상기 가상 시점 화상을 생성하도록 구성된 생성부를 구비하고,
제 1 오브젝트의 투명도는, 상기 제 1 오브젝트가 우선 순위가 상기 제 1 오브젝트, 및 제 2 오브젝트의 우선 순위보다 높은 제 3 오브젝트를 차폐하는 위치에 있는 경우 및 상기 제 2 오브젝트가 상기 제 3 오브젝트를 차폐하지 않은 위치에 있는 경우에 상기 제 2 오브젝트의 투명도보다 높고,
상기 제 1 오브젝트의 투명도는, 상기 제 1 오브젝트가 제 4 오브젝트를 차폐하는 위치에 있더라도, 우선 순위가 상기 제 1 오브젝트의 우선 순위보다 높지 않은 상기 제 4 오브젝트의 투명도보다 높지 않은, 화상 처리장치.
제 1항에 있어서,
상기 생성부는, 상기 제 3 오브젝트를 차폐하는 위치의 상기 제 1 오브젝트가 표시되지 않는 상기 가상 시점 화상을 생성하도록 구성된 화상 처리장치.
제 1항에 있어서,
상기 가상 시점 정보와 상기 오브젝트의 위치에 근거하여 특정된 상기 가상 시점으로부터 상기 가상 시점의 위치 및 시점 방향에 근거하여, 상기 제 3 오브젝트를 차폐하는 위치의 상기 제 1 오브젝트를 특정하도록 구성된 특정부를 더 구비하고,
상기 생성부는, 상기 특정부에 의한 특정 결과에 근거하여 상기 가상 시점 화상을 생성하도록 구성된 화상 처리장치.
제 1항에 있어서,
상기 생성부는, 상기 제 3 오브젝트를 차폐하는 위치의 오브젝트가 상기 제 3 오브젝트와 상기 가상 시점의 거리에 따라 변하는 투명도를 갖는 상기 가상 시점 화상을 생성하도록 구성된 화상 처리장치.
제 1항에 있어서,
상기 생성부는, 상기 제 3 오브젝트를 차폐하는 위치의 상기 제 1 오브젝트가 상기 제 1 오브젝트의 방향에 따라 변하는 투명도를 갖는 상기 가상 시점 화상을 생성하도록 구성된 화상 처리장치.
제 1항에 있어서,
상기 제 3 오브젝트는, 상기 오브젝트 중에서 유저 조작에 근거하여 결정되는 오브젝트인 화상 처리장치.
제 1항에 있어서,
상기 오브젝트의 적어도 어느 것에 관한 오브젝트 정보를 취득하도록 구성된 오브젝트 정보 취득부와,
상기 오브젝트 정보 취득부에 의해 취득되는 상기 오브젝트 정보에 근거하여, 상기 오브젝트 중에서 상기 제 3 오브젝트를 결정하도록 구성된 결정부를 더 구비한 화상 처리장치.
제 7항에 있어서,
상기 오브젝트 정보는 오브젝트의 주목도를 나타내는 정보를 포함하는 화상 처리장치.
제 1항에 있어서,
상기 생성부는, 상기 제 4 오브젝트를 차폐하지 않는 위치의 상기 제 1 오브젝트가 투명화되어 있지 않은 상기 가상 시점 화상을 생성하도록 구성된 화상 처리장치.
제 1항에 있어서,
상기 생성부는, 상기 제 3 오브젝트를 차폐하는 위치의 상기 1 오브젝트의 그림자가 표시되지 않는 상기 가상 시점 화상을 생성하도록 구성된 화상 처리장치.
제 1항에 있어서,
상기 제 3 오브젝트를 차폐하는 위치의 상기 제 1 오브젝트의 투명도와, 상기 제 1 오브젝트의 윤곽을 표시할 것인지 아닌지와, 상기 제 1 오브젝트의 그림자를 표시할 것인지 아닌지의 적어도 어느 것을 유저 조작에 근거하여 설정하도록 구성된 투명도 설정부를 더 구비하고,
상기 생성부는, 상기 투명도 설정부에 의한 설정에 따른 상기 가상 시점 화상을 생성하도록 구성된 화상 처리장치.
제 1항에 있어서,
상기 생성부에 의해 생성되는 상기 가상 시점 화상이 상기 제 3 오브젝트를 차폐하는 위치의 상기 제 1 오브젝트를 포함하는지 아닌지를 나타내는 정보를 출력하도록 구성된 출력부를 더 구비한 화상 처리장치.
촬영 영역을 복수의 방향에서 촬영하는 복수의 촬상 장치에 의한 촬영에 근거한 화상을 취득하는 단계와,
가상 시점을 나타내는 시점 정보를 취득하는 단계와,
상기 촬영 영역에서 오브젝트의 우선 순위를 설정하는 단계와,
상기 취득되는 화상과 상기 취득되는 시점 정보에 근거하여, 가상 시점 화상에 있어서의 오브젝트가, 상기 설정하는 단계에 의해 설정되는 상기 오브젝트의 우선 순위에 근거하여 결정된 투명도로 표시되도록 상기 가상 시점 화상을 생성하는 단계를 포함하는 화상 처리방법으로서,
제 1 오브젝트의 투명도는, 상기 제 1 오브젝트가 우선 순위가 상기 제 1 오브젝트, 및 제 2 오브젝트의 우선 순위보다 높은 제 3 오브젝트를 차폐하는 위치에 있는 경우 및 상기 제 2 오브젝트가 상기 제 3 오브젝트를 차폐하지 않은 위치에 있는 경우에 상기 제 2 오브젝트의 투명도보다 높고,
상기 제 1 오브젝트의 투명도는, 상기 제 1 오브젝트가 제 4 오브젝트를 차폐하는 위치에 있더라도, 우선 순위가 상기 제 1 오브젝트의 우선 순위보다 높지 않은 상기 제 4 오브젝트의 투명도보다 높지 않은, 화상 처리방법.
제 13항에 있어서,
상기 가상 시점 정보에 근거하여 특정된 상기 가상 시점으로부터 상기 가상 시점의 위치 및 시점 방향과 상기 오브젝트의 위치에 근거하여, 상기 제 3 오브젝트를 차폐하는 위치의 상기 제 1 오브젝트를 특정하는 단계를 더 포함하고,
상기 가상 시점 화상의 생성에 있어서, 상기 차폐하는 위치의 오브젝트의 특정 결과에 근거하여 상기 가상 시점 화상이 생성되는 화상 처리방법.
컴퓨터에,
촬영 영역을 복수의 방향에서 촬영하는 복수의 촬상 장치에 의한 촬영에 근거한 화상을 취득하는 단계와,
가상 시점을 나타내는 시점 정보를 취득하는 단계와,
상기 촬영 영역에서 오브젝트의 우선 순위를 설정하는 단계와,
상기 취득되는 화상과 상기 취득되는 시점 정보에 근거하여, 가상 시점 화상에 있어서의 오브젝트가, 상기 설정하는 단계에 의해 설정되는 상기 오브젝트의 우선 순위에 근거하여 결정된 투명도로 표시되도록 상기 가상 시점 화상을 생성하는 단계를 포함하는 화상 처리방법을 실행시키기 위한 프로그램을 기억하는 비일시적인 컴퓨터 판독가능한 기억매체로서,
제 1 오브젝트의 투명도는, 상기 제 1 오브젝트가 우선 순위가 상기 제 1 오브젝트, 및 제 2 오브젝트의 우선 순위보다 높은 제 3 오브젝트를 차폐하는 위치에 있는 경우 및 상기 제 2 오브젝트가 상기 제 3 오브젝트를 차폐하지 않은 위치에 있는 경우에 상기 제 2 오브젝트의 투명도보다 높고,
상기 제 1 오브젝트의 투명도는, 상기 제 1 오브젝트가 제 4 오브젝트를 차폐하는 위치에 있더라도, 우선 순위가 상기 제 1 오브젝트의 우선 순위보다 높지 않은 상기 제 4 오브젝트의 투명도보다 높지 않은, 비일시적인 컴퓨터 판독가능한 기억매체.
제 1 항에 있어서,
유저 조작에 근거하여, 상기 가상 시점 화상에 차폐 오브젝트의 그림자를 표시할 것인지 아닌지를 설정하도록 구성된 그림자 설정부를 더 구비한 화상 처리장치.
제 16 항에 있어서,
상기 제 1 오브젝트가 투명해지더라도, 상기 그림자 설정부에 의해 상기 가상 시점 화상에 상기 차폐 오브젝트의 그림자가 표시되는 설정에 근거하여 상기 제 1 오브젝트의 그림자가 상기 가상 시점 화상에 표시되는 화상 처리장치.