KR102162107B1

KR102162107B1 - 화상 처리 장치, 화상 처리 방법 및 프로그램

Info

Publication number: KR102162107B1
Application number: KR1020197035987A
Authority: KR
Inventors: 유지 가토
Original assignee: 캐논 가부시끼가이샤
Priority date: 2018-02-16
Filing date: 2019-01-23
Publication date: 2020-10-06
Also published as: US11284057B2; JP6407460B1; JP2019144638A; KR20190138896A; WO2019159617A1; US20200084431A1; CN110720114A; CN110720114B

Abstract

가상 시점에서 가까운 위치에 오브젝트가 존재해도 화질의 저하가 눈에 띄기어렵게 하여 가상 시점 화상의 화질을 향상시킨다. 가상 시점 화상을 생성하는 화상 처리 장치가, 정보 취득 수단, 결정 수단, 생성 수단의 각 수단을 구비한다. 정보 취득 수단은 가상 시점 정보를 취득한다. 결정 수단은, 가상 시점 정보가 나타내는 가상 시점의 위치 및 방향과, 유저 조작에 따른 입력의 적어도 어느 것에 기초하여, 가상 시점 화상에 관계되는 복수의 오브젝트 중 투명화의 대상으로 되지 않는 주목 오브젝트를 결정한다. 생성 수단은, 복수의 오브젝트 중 주목 오브젝트와는 다른 비주목 오브젝트이며 또한 가상 시점 정보가 나타내는 가상 시점의 위치로부터 제1 거리 이격된 위치의 오브젝트의 투명도가, 해당 가상 시점으로부터 보아 제1 거리보다 긴 제2 거리 이격된 위치의 비주목 오브젝트의 투명도보다 높은 가상 시점 화상을 생성한다.

Description

화상 처리 장치, 화상 처리 방법 및 프로그램

본 발명은 가상 시점 영상의 화질을 향상시키는 표시 제어 기술에 관한 것이다.

복수대의 실제 카메라로 촬영한 영상을 사용하여, 3차원 공간 내에 가상적으로 배치된 실제로는 존재하지 않는 카메라(가상 카메라)로부터의 영상을 재현하는 기술로서, 가상 시점 영상 생성 기술이 있다. 가상 시점 영상 생성 기술은, 스포츠 방송 등에서, 보다 임장감이 높은 영상 표현으로서 기대되고 있다. 여기서, 일반적인 카메라에 의한 촬영에서는 피사체(오브젝트)에 가까울수록, 얻어지는 화상 해상도는 높아져 간다. 그러나, 가상 카메라의 경우는, 피사체에 접근하였다고 해도 실제 카메라로 촬영한 화상 해상도보다 고정밀의 화상을 얻을 수는 없다. 특히, 오브젝트로부터 일정 거리보다 가까운 위치에 가상 카메라를 설정한 경우에는, 실제 카메라에 의한 촬영 화상을 확대해 묘화하게 되므로, 그만큼 화상 해상도가 저하된다. 그 결과, 낮은 해상도로 유저에게 위화감을 생기게 하는 화상이 되어 버린다. 이 시점에서, 좌안용 화상과 우안용 화상을 사용하여 가상 공간에 3D 영상 표시를 행하는 기술에 있어서, 멀리 있는 작은 오브젝트일수록 투과도를 높게 하여 묘화함으로써, 입체시에 수반되는 위화감을 억제하는 기술이 있다(특허문헌 1).

일본 특허 공개 제2012-123337호 공보

상기 특허문헌 1의 기술은, 시점과의 거리가 떨어질수록 시차 방향의 폭이 좁아져, 부분적으로 표시되지 않게 되는 오브젝트의 개소가 우안용 화상과 좌안용 화상에서 다를 수 있으므로, 오브젝트에 깜박거림 등이 생기고, 유저에게 불쾌감을 초래하는 것을 그 출발점으로 하고 있다. 이에 반하여, 상술한 가상 시점 영상에 있어서의 위화감의 원인은, 가상 시점 영상의 해상도가, 그 기반이 되는 실제 카메라로 촬영된 영상의 해상도에 의존하는 점에 있고, 양자는 위화감의 발생 원인이 전혀 다르다. 그리고, 가상 시점 영상의 생성에 상기 특허문헌 1의 기술을 적용해도, 가상 카메라와 오브젝트 사이의 거리가 가까울수록 화질이 저하된다고 하는 문제는 해소할 수 없다.

본 발명에 관한 화상 처리 장치는, 복수의 카메라에 의해 복수의 방향으로부터 촬영함으로써 얻어지는 복수의 화상에 기초하는 가상 시점 화상을 생성하는 화상 처리 장치이며, 가상 시점의 위치 및 방향을 나타내는 가상 시점 정보를 취득하는 정보 취득 수단과, 상기 정보 취득 수단에 의해 취득되는 상기 가상 시점 정보가 나타내는 가상 시점의 위치 및 방향과, 유저 조작에 따른 입력의 적어도 어느 것에 기초하여, 상기 가상 시점 화상에 관계되는 복수의 오브젝트 중 투명화의 대상으로 되지 않는 주목 오브젝트를 결정하는 결정 수단과, 상기 정보 취득 수단에 의해 취득되는 상기 가상 시점 정보가 나타내는 가상 시점의 위치 및 방향에 따른 상기 가상 시점 화상을 생성하는 생성 수단이며, 상기 복수의 오브젝트 중, 상기 결정 수단에 의해 결정된 상기 주목 오브젝트와는 다른 비주목 오브젝트이며 또한 상기 가상 시점 정보가 나타내는 가상 시점의 위치로부터 제1 거리 이격된 위치의 오브젝트의 투명도가, 해당 가상 시점으로부터 보아 상기 제1 거리보다 긴 제2 거리 이격된 위치의 비주목 오브젝트의 투명도보다 높은 상기 가상 시점 화상을 생성하는 생성 수단을 갖는 것을 특징으로 한다.

본 발명에 따르면, 설정된 가상 카메라로부터 가까운 위치에 오브젝트가 존재해도, 화질의 저하가 눈에 띄기 어려워, 가상 시점 영상의 화질을 향상시키는 것이 가능하게 된다.

본 발명의 또 다른 특징은, 첨부된 도면을 참조하여 행하는 이하의 실시 형태의 설명에 의해 분명해진다.

도 1은 화상 처리 장치의 하드웨어 구성예를 나타내는 블록도.
도 2의 (a)는 투과도의 제어를 행하지 않고 가상 시점 영상의 묘화를 행한 경우의 일례를 나타내는 도면, (b)는 투과도의 제어를 행하여 가상 시점 영상을 묘화한 경우의 일례를 나타내는 도면.
도 3은 화상 처리 장치의 기능 구성을 나타내는 블록도.
도 4는 복수 시점 영상으로부터 가상 시점 영상을 생성하는 화상 처리의 흐름을 나타내는 흐름도.
도 5의 (a)는 폴리곤 데이터의 일례를 나타내는 도면, (b)는 텍스처 데이터의 일례를 나타내는 도면.
도 6은 투과도 산출 처리의 상세를 나타내는 흐름도.
도 7은 기준 투과 임계값 Dt_b와 투과 임계값 Dt의 관계를 설명하는 도면.
도 8은 오브젝트로부터 가상 카메라까지의 거리와 투과도의 관계를 나타내는 그래프.

이하, 본 발명의 실시 형태에 대해, 도면을 참조하여 설명한다. 또한, 이하의 실시 형태는 본 발명을 한정하는 것은 아니고, 또한, 본 실시 형태에서 설명되고 있는 특징의 조합 모두가 본 발명의 해결 수단에 필수적인 것만은 아니다.

실시 형태 1

본 실시 형태에서는, 가상 카메라 가까이에 존재하는 오브젝트를 투과시킴으로써 눈에 띄지 않게 하여, 가상 시점 영상의 화질을 향상시키는 묘화 방법에 대해 설명한다. 또한, 가상 시점 영상이란, 엔드 유저 및/또는 선임의 오퍼레이터 등이 자유롭게 가상 카메라의 위치 및 자세를 조작함으로써 생성되는 영상이며, 자유 시점 영상이나 임의 시점 영상 등이라고도 불린다. 또한, 가상 시점 영상은, 동화상이어도, 정지 화상이어도 된다. 본 실시 형태에서는, 가상 시점 영상이 동화상인 경우의 예를 중심으로 설명한다.

본 실시 형태에서의 화상 처리 장치(100)의 하드웨어 구성예에 대해, 도 1을 사용하여 설명한다. 동 도면에서, CPU(101)는, RAM(102)을 워크 메모리로 하여, ROM(103) 및/또는 하드 디스크 드라이브(HDD)(105)에 저장된 프로그램을 실행하고, 시스템 버스(112)를 통해 후술하는 각 구성을 제어한다. 이에 의해, 후술하는 다양한 처리가 실행된다. HDD 인터페이스(I/F)(104)는, 화상 처리 장치(100)와, HDD(105)나 광 디스크 드라이브 등의 2차 기억 장치를 접속하는, 예를 들어 시리얼 ATA(SATA) 등의 인터페이스이다. CPU(101)는, HDD I/F(104)를 통한, HDD(105)로부터의 데이터 판독, 및 HDD(105)로의 데이터 기입이 가능하다. 또한 CPU(101)는, HDD(105)에 저장된 데이터를 RAM(102)에 전개한다. 또한, CPU(101)는, 프로그램의 실행에 의해 얻어진 RAM(102) 상의 각종 데이터를 HDD(105)에 보존하는 것이 가능하다. 입력 인터페이스(I/F)(106)는, 키보드와 마우스, 디지털 카메라, 스캐너 등의 입력 디바이스(107)와 화상 처리 장치(100)를 접속하는, 예를 들어 USB나 IEEE1394 등의 시리얼 버스 인터페이스이다. CPU(101)는, 입력 I/F(106)를 통해서 입력 디바이스(107)로부터 데이터를 읽어들이는 것이 가능하다. 출력 인터페이스(I/F)(108)는, 디스플레이 등의 출력 디바이스(109)와 화상 처리 장치(100)를 접속하는, 예를 들어 DVI나 HDMI(등록 상표) 등의 영상 출력 인터페이스이다. CPU(101)는, 출력 I/F(108)를 통해서 출력 디바이스(109)에 가상 시점 영상에 관한 데이터를 보냄으로써, 가상 시점 영상의 표시를 실행시킬 수 있다. 네트워크 인터페이스(I/F)(110)는, 화상 처리 장치(100)와 외부 서버(111)를 접속하는, 예를 들어 LAN 카드 등의 네트워크 카드이다. CPU(101)는, 네트워크 I/F(110)를 통해서 외부 서버(111)로부터 데이터를 읽어들이는 것이 가능하다.

또한, 상기 설명에서는, HDD(105), 입력 디바이스(107), 및 출력 디바이스(109)가 화상 처리 장치(100)와는 별도의 디바이스로서 구성되는 예를 나타내었다. 그러나 이 형태에 제한되지 않는다. 예를 들어, 화상 처리 장치(100)는 스마트 폰 등이어도 되며, 이 경우에는, 입력 디바이스(107)(터치 패널)와 출력 디바이스(109)(표시 스크린)는, 화상 처리 장치(100)와 일체이다. 또한, HDD(105) 내장의 디바이스를 화상 처리 장치(100)로서 사용하는 것도 가능하다. 또한, 도 1에서 도시한 구성 모두가 필수의 구성인 것만은 아니다. 예를 들어, HDD(105)에 기억된 가상 시점 영상을 재생하는 경우, 외부 서버(111)는 불필요하다. 반대로, 외부 서버(111)로부터 취득한 가상 시점 영상을 생성하는 경우, HDD(105)는 불필요하다. 또한, 화상 처리 장치(100)가 복수의 CPU(101)를 갖고 있어도 된다. 또한, CPU(101)와는 다른 전용의 하나 또는 복수의 하드웨어와 GPU(Graphics Processing Unit)를 갖고, CPU(101)에 의한 처리의 적어도 일부를 GPU와 전용의 하드웨어가 행하도록 해도 된다. 전용의 하드웨어의 예로서는, ASIC(특정 용도용 집적 회로), FPGA(필드 프로그래머블 게이트 어레이) 및 DSP(디지털 시그널 프로세서) 등이 있다.

본 실시 형태에서는, 촬영 씬 내의 오브젝트에 대해, 가상 카메라와의 거리에 따라 그 투과도를 변경함으로써, 가상 카메라 가까이의 해상도 저하가 발생되는 영역을 눈에 띄지 않게 한다. 여기서, 본 실시 형태에서의 투과도 제어의 사고 방식에 대해 설명해 둔다. 도 2의 (a)는 투과도의 제어를 행하지 않고 가상 시점 화상의 묘화를 행한 경우의 예를 나타내며, 동 (b)는 투과도의 제어를 행하여 가상 시점 화상을 묘화한 경우의 예를 나타낸다. 도 2의 (a) 및 (b)에는 각각 동일 위치 자세의 가상 카메라로 두 오브젝트(인물)를 묘화한 4매의 화상이 배열되어 있다. 도 2의 (a) (b) 어느 것에 있어서도, 오른쪽에 있는 화상일수록, 가상 카메라로부터 보다 가까운 위치에 우측의 오브젝트가 존재하고 있다. 본 실시 형태의 경우, 오브젝트의 텍스처 데이터의 생성에는, 실제 카메라로 촬영한 화상을 이용한다. 그 때문에, 일정한 거리보다 가까이 있는 오브젝트에 대해서는, 해당 오브젝트의 위치가 가상 카메라로부터 가까울수록 그 텍스처 화상은 확대되어 묘화되기 때문에, 해상도가 저하되어 거칠어진다. 그래서, 도 2의 (b)에 도시하는 바와 같이, 가상 카메라로부터의 거리가 일정 이하인 경우, 가상 카메라에 가까워짐에 따라 투과도가 높아지도록 제어한다. 화상 내의 우측의 오브젝트가 가상 카메라에 가까워짐에 따라 그 텍스처 화상이 확대되어 묘화되는 점은 투과도 제어를 행하지 않는 도 2의 (a)의 경우와 같지만, 투과시킴으로써 해상도의 저하가 눈에 띄기 어려워진다.

이하, 복수의 카메라에 의해 복수의 방향으로부터 촬영함으로써 얻어지는 동화상의 복수 시점 화상(이하, 복수 시점 영상)으로부터, 가상 시점의 위치 및 방향에 따른 동화상의 가상 시점 화상(이하, 가상 시점 영상)을 생성할 때의 처리를 예로, 본 실시 형태의 화상 처리 장치(100)의 구성 등에 대해 상세하게 설명한다. 도 3은, 화상 처리 장치(100)의 논리 구성의 일례를 나타내는 기능 블록도이다. CPU(101)는, ROM(103) 및/또는 HDD(104)에 저장된 프로그램을 판독하여 RAM(102)를 워크 에어리어로 하여 실행함으로써, 도 3에 도시하는 화상 처리 장치(100) 내부의 각 기능 블록의 역할을 한다. 또한, 도 3의 조작부(301) 및 표시부(306)는, 도 1의 입력 디바이스(107) 및 출력 디바이스(109)에 각각 대응한다. 또한, CPU(101)가 화상 처리 장치(100) 내부의 모든 기능 블록의 역할을 할 필요는 없으며, 각 기능 블록에 대응하는 전용 처리 회로를 마련하도록 해도 된다.

도 4는 본 실시 형태의 화상 처리 장치(100)에서 행해지는, 복수 시점 영상으로부터 가상 시점 영상을 생성하는 화상 처리의 흐름을 나타내는 흐름도이다. 도 4의 흐름도에 있어서 도시되는 일련의 처리는, 화상 처리 장치(100)가 구비하는 CPU(101)가, ROM(103) 및/또는 HDD(104)에 저장된 프로그램을 판독하여 RAM(102)을 워크 에어리어로서 실행함으로써 실현된다. 또한, 각 처리의 설명에 있어서의 기호 「S」는 스텝을 나타낸다.

S401에서는, 시점 제어부(302)가, 촬영된 복수 시점 영상의 설정 프레임 중 대상 프레임에 대응하는 가상 카메라의 카메라 파라미터가 취득된다. 복수 시점 영상이 60fps로 촬영되어, 그 중 10초분을 설정 프레임으로 하여 가상 시점 영상을 생성하는 경우라면, 전체 600 프레임이 순차 대상 프레임으로 된다. 여기서, 카메라 파라미터에는, 외부 파라미터와 내부 파라미터가 포함된다. 외부 파라미터는, 가상 카메라의 위치 및 자세(방향)를 나타내는 파라미터이며, 내부 파라미터는, 가상 카메라의 광학적인 특성을 나타내는 파라미터이다. 가상 카메라의 위치를 나타내는 벡터를 t, 회전을 나타내는 행렬을 R이라 하면, 가상 카메라의 외부 파라미터는 이하와 같이 나타낼 수 있다.

여기서의 좌표계는 왼손 좌표계이며, 가상 카메라의 시점에 있어서 우측을 +x방향, 상측을 +y방향, 전방측(안쪽)을 +z방향이라 한다. 또한, 화상의 주점 위치를(c_x,c_y), 실제 카메라의 초점 거리를 f라 하면, 가상 카메라의 내부 파라미터 K는 이하와 같이 나타낼 수 있다.

또한, 카메라 파라미터의 표현 방법은 행렬에 한정되지 않는다. 예를 들어, 가상 카메라의 위치를 3차원 좌표로 나타내고, 가상 카메라의 자세를 yaw, roll, 및 pitch의 값의 나열에 의해 표현해도 된다. 또한, 외부 파라미터와 내부 파라미터는 상술한 것에 한정되는 것은 아니다. 예를 들어, 가상 카메라의 줌 값을 나타내는 정보를 가상 카메라의 내부 파라미터로서 취득해도 된다. 본 스텝에서는, 유저 인터페이스의 일례인 조작부(301)를 통해서 입력된 가상 카메라의 위치ㆍ자세에 관한 유저 조작을 접수한 시점 제어부(202)가, 해당 유저 조작에 따른 가상 카메라의 외부 카메라 파라미터를 생성한다. 예를 들어 유저가, 마우스를 우측 방향으로 움직이게 한 경우에는 가상 카메라의 자세가 우측 방향으로 회전하는, 마우스를 상측 방향으로 움직이게 한 경우에는 가상 카메라의 자세가 상측 방향으로 변화하는 외부 파라미터가 생성된다. 내부 파라미터에 대해서는 미리 HDD(105) 등에 보유 지지해 둔 것을 판독하면 된다. 이와 같이 하여 취득한, 묘화에 이용하는 시점 정보로서의 가상 카메라의 카메라 파라미터는, 투과도 제어부(304)와 묘화부(305)로 출력된다.

S402에서는, 데이터 취득부(303)가, 렌더링에 필요한 화상 데이터를, HDD(105) 또는 외부 서버(111)로부터 취득한다. 구체적으로는, 설정 타임 프레임 중 처리 대상 프레임의 촬영 씬 내에 포함되는 오브젝트의 폴리곤 데이터와 텍스처 데이터가 취득된다. 도 5의 (a) 및 (b)는 촬영 씬이 축구 시합인 경우에 취득되는 데이터의 일례이다. 도 5의 (a)는 선수의 3차원 형상을 나타내는 폴리곤 데이터를 나타내고, 동(b)는 그 표면의 색이나 질감을 나타내는 텍스처 데이터를 나타낸다. 각 폴리곤 데이터에는, 선수, 심판, 볼, 축구 골대와 같은, 각 오브젝트의 속성을 나타내는 정보가 부가되어 있다. 또한, 주목할 오브젝트(예를 들어, 볼이나 특정 선수)에 대응하는 폴리곤 데이터에만, 소정의 플래그를 부가하여 다른 오브젝트로부터 식별 가능하게 해 두어도 된다. 또한, 텍스처 데이터를 복수 패턴 준비해 두고, 설정된 가상 카메라의 위치ㆍ자세에 따라 구분지어 사용해도 된다. 또한, 오브젝트의 3차원 형상을 나타내는 데이터로서는, 소위 복셀 데이터여도 된다. 이와 같이 하여 취득한 데이터는, 투과도 제어부(304)와 묘화부(305)로 출력된다.

S403에서는, 투과도 제어부(304)가, 촬영 씬 내에 존재하는 각 오브젝트에 대해, 투과도의 산출 처리를 행한다. 투과도 산출 처리의 상세에 대해서는 후술한다. 산출된 각 오브젝트의 투과도의 정보는, 묘화부(305)로 출력된다.

S404에서는, 묘화부(305)가, 데이터 취득부(203)로부터 취득한 데이터와 시점 제어부(202)로부터 취득한 카메라 파라미터와 투과도 제어부(204)로부터 취득한 각 오브젝트의 투과도를 기초로, 대상 프레임의 가상 시점 영상을 생성한다. 이 때, 투과도와는 관계없이, 오브젝트의 윤곽을 묘화함으로써, 오브젝트의 존재를 확인할 수 있도록 해도 상관없다. 또한, 투과도에 맞추어 오브젝트를 흐리게 함으로써, 화질의 저하를 보다 눈에 띄기 어렵게 해도 된다. 또한, 투과시킨 오브젝트의 그림자의 묘화는 투과도에 맞추어 농도를 조정해도 되고, 투과도와는 관계없이 묘화해도 된다. 렌더링에 관해서는 기존의 기술 등을 적절하게 적용하면 되며, 여기서는 설명을 생략한다. 또한, 투과도가 최대로 설정된 오브젝트(가상 시점 영상에 표시되지 않는 오브젝트)에 대해서는, 그 오브젝트의 3차원 형상을 나타내는 모델에 투명한 텍스처 데이터가 매핑되어도 되지만, 그 오브젝트의 3차원 형상을 나타내는 정보를 사용하지 않고 렌더링이 행해져도 된다. 표시되지 않는 오브젝트의 3차원 형상을 나타내는 정보를 사용하지 않고 렌더링을 행함으로써, 가상 시점 영상의 생성에 관한 처리 부하를 저감할 수 있다. 생성된 가상 시점 영상의 데이터는, 표시부(206)로 출력된다.

S405에서는, 표시부(206)가, 대상 프레임의 가상 시점 영상 데이터를 묘화부(205)로부터 취득해 표시한다. 이어지는 S406에서는, 설정 프레임의 모든 프레임에 대해, S401 내지 S405까지의 처리가 완료되었는지 여부가 판정된다. 미처리 프레임이 있으면 S401로 되돌아가서 처리가 속행된다. 한편, 모든 프레임에 대해 처리가 완료되었으면 처리를 종료한다.

이상이, 화상 처리 장치(100)에서 행해지는, 복수 시점 영상으로부터 가상 시점 영상을 생성할 때까지의 화상 처리의 흐름이다. 본 실시 형태의 S402에서는, 오브젝트의 형상 데이터 이외에도, 미리 생성해 둔 텍스처 데이터도 취득하였지만 이에 한정되지 않는다. 예를 들어, 오브젝트의 형상 데이터만을 취득해 두고, 렌더링시에 가상 카메라의 시점 위치에 기초하여, 현실의 촬상 화상(복수 시점 화상)에 있어서의 대응하는 위치의 화소값으로부터 구해도 된다.

<투과도 산출 처리＞

다음에, 본 실시 형태의 특징인, 오브젝트별로 투과도 결정 처리에 대해 상세하게 설명한다. 도 6은, 투과도 산출 처리의 상세를 나타내는 흐름도이다. 이하, 도 6의 플로우를 따라 설명한다.

S601에서는, 현재의 동작 모드가, 오브젝트의 투과 제어를 행하는 동작 모드인지 여부가 판정된다. 예를 들어, 가상 시점 영상의 생성 시에 유저 자신이 가상 카메라의 제어를 행하는 대화형 재생 모드의 경우에는, 투과 제어를 행하는 동작 모드라고 판정한다. 또한, 오브젝트가 축구 선수, 심판 등의 인물이며, 해당 인물의 눈의 위치나 시선의 방향을 가상 카메라의 위치ㆍ자세로서 이용함으로써, 선수, 심판 등의 시계를 재현하는 인물 시선 재생 모드의 경우에는, 투과 제어를 행하지 않는 동작 모드라고 판정한다. 인물 시선 재생 모드의 경우에는, 해상도 저하의 문제보다 그 인물의 시계에 비치는 것(가상 시점)이 재현되어 있는 것이 중요하기 때문이다. 인물 시선 재생 모드는, 예를 들어 선수(이름이나 등번호 등의 선수를 특정 가능한 정보)와 심판의 일람으로부터 어느 것을 선택함으로써 실행되도록 해도 된다. 또한, 인물 시선 모드에서 유저가 가상 시점을 결정하는 조작을 행한 경우에는, 대화형 재생 모드로 전환하도록 해도 된다. 또한, 예를 들어 스포츠 씬의 가상 시점 영상에, 해당 씬에 관련된 분석 데이터 등을 중첩 표시하는 동작 모드의 경우도, 오브젝트의 투과 처리를 행하지 않는 쪽이 분석 데이터를 보기 쉽기 때문에, 투과 제어를 행하지 않는 동작 모드라고 판정한다. 또한, 유저가 GUI(Graphical User Interface) 등을 이용하여 투과 제어를 행할지 여부를 지정해도 된다. 이와 같은 기준에 따라 모드 판정 처리를 행하고, 투과 제어를 행하는 동작 모드라고 판정되는 경우에는 S602로 진행된다. 한편, 투과 제어를 행하지 않는 동작 모드라고 판정되는 경우에는 S609로 진행되어, 대상 프레임에 비치고 있는(복수 시점 화상에 포함되어 있는) 모든 오브젝트에 대해 투과도 α의 값을 최솟값(실질적으로 투과 처리가 행해지지 않는 투과도)으로 설정하여 본 처리를 빠져 나간다. 투과도 α에 대해 후술한다.

S602에서는, 대상 프레임에 비치고 있는 모든 오브젝트 중에서 투과 처리의 대상 외가 되는 주목 오브젝트가 설정된다. 여기서, 주목 오브젝트는, 축구의 골 씬을 대상으로 가상 시점 영상을 생성하는 경우라면, 슈팅을 행한 선수와 볼이라는 식으로, 해당 씬에 있어서 빼 놓을 수 없는 중요한 오브젝트가 해당하게 된다. 이 때는, 어느 오브젝트를 주목 오브젝트로 할지를 촬영 씬에 따라 미리 정해 두고, 예를 들어 전술한 플래그 등을 참조하여 설정한다. 또는 오브젝트의 형상이나 크기 등으로부터 자동으로 판정하여 설정해도 된다. 나아가, 유저가 GUI를 통해서, 직접 주목 오브젝트를 지정하는 조작을 행하고, 화상 처리 장치(100)가 그 유저 조작에 따른 입력에 기초하여 주목 오브젝트를 결정하도록 해도 된다. 혹은 복수의 오브젝트 중 유저가 지정한 오브젝트 이외의 오브젝트가 주목 오브젝트로서 결정되어도 된다. 또한 화상 처리 장치(100)는, 가상 카메라의 카메라 파라미터가 나타내는 가상 시점의 위치 및 방향과 오브젝트의 위치에 기초하여, 주목 오브젝트를 결정해도 된다. 예를 들어, 가상 시점의 위치 및 방향에 따른 시계의 중심으로부터 소정의 범위 내에 위치하는 오브젝트가 주목 오브젝트로서 결정되어도 된다. 가상 시점에 따른 시계의 중심 부근에 위치하는 오브젝트는, 가상 시점을 지정하는 유저가 특히 보고 싶은 오브젝트일 가능성이 높기 때문이다. 또한 반대로, 가상 시점에 따른 시계의 중심을 포함하는 소정의 범위의 밖에 위치하는 오브젝트가 주목 오브젝트로서 결정되어도 된다.

S603에서는, 대상 프레임에 비치고 있는 주목 오브젝트 이외의 오브젝트 중에서, 투과 처리의 대상 오브젝트가 하나 선택된다. 이 대상 오브젝트를 복수의 오브젝트 중에서 선택하는 방법은 특별히 한정되지 않고 랜덤이어도 되며, 오브젝트의 사이즈순 등으로 정해도 된다. 또한, 본 실시 형태에서는, 주목 오브젝트 이외의 모든 오브젝트를 순으로 대상 오브젝트로 선택하기로 하고 있지만, 투과 처리의 대상으로 하는 특정한 오브젝트를 미리 정해 두어도 된다. 예를 들어, 축구의 골 씬을 대상으로 가상 시점 영상을 생성하는 경우라면, 선수나 심판이나 골 포스트는 투과 처리의 대상으로 되는 오브젝트, 그 이외의 그라운드나 관객석이나 볼은 투과 처리의 대상으로 하지 않는 오브젝트라는 식이다. 나아가, 유저가 GUI를 통해서 지정할 수 있도록 해도 된다.

S604에서는, S602에서 설정된 주목 오브젝트와 S603에서 선택된 대상 오브젝트의 거리 d₁이 산출되고, 해당 산출 거리 d₁이 소정의 임계값 이하인지 여부가 판정된다. 예를 들어, 축구의 골 씬의 가상 시점 영상을 생성하는 경우라면, 주목 오브젝트인 골을 터뜨린 선수로부터 일정 거리(예를 들어, 3m)를 임계값 th로서 설정한다. 이와 같이 함으로써, 골을 터뜨린 선수의 바로 근처에서 슈팅을 막으려고 한 상대팀의 선수의 움직임 등, 주목 오브젝트에 얽힌 일련의 플레이를 시인 가능하게 한다. 즉, 화질 열화보다 씬의 내용을 우선한 제어를 행한다. 판정 결과, 주목 오브젝트와 대상 오브젝트의 거리 d₁이 임계값 th 이하인 경우에는, 대상 오브젝트를 투과하지 않고 그대로 묘화하기 위해, S607로 진행한다. 한편, 주목 오브젝트와 대상 오브젝트의 거리 d₁이 임계값 th보다 큰 경우에는, 대상 오브젝트를 그 거리에 따라 투과시켜서 묘화하기 위해, S605로 진행한다.

S605에서는, S603에서 선택된 대상 오브젝트의 대표점으로 설정된 가상 카메라의 시점 위치(가상 시점 위치)의 거리 d₂가 산출되고, 해당 산출 거리 d₂가 소정의 임계값 이하인지 여부가 판정된다. 여기서, 대상 오브젝트의 대표점은, 그 오브젝트의 위치를 나타내는 점이며, 예를 들어 모델의 로컬 좌표 원점의 글로벌한 위치나 모델의 중심 위치이다. 또한, 여기서의 임계값은, 실제로 투과시킬지 여부를 판별하기 위한 임계값이다. 이 임계값을, 상술한 스텝 604에서의 임계값 th와 구별하기 위해, 이하 「투과 임계값 Dt」라고 표기한다. 설정된 가상 카메라의 수직 해상도가 h, 수직 화각이 θ일 때, 판정 처리에 적용되는 투과 임계값 Dt는, 미리 정한 기준으로 하는 가상 카메라에 관한 투과 임계값(이하, 「기준 투과 임계값 Dt_b」라고 표기)에 기초하여 변화한다. 기준 투과 임계값 Dt_b는, 기준으로 하는 가상 카메라의 수직 화소수 h_b 및 수직 화각 θ_b에 의해 정의되고, 해당 기준으로 하는 가상 카메라에 있어서 투과 처리를 개시하게 되는 해당 기준으로 하는 가상 카메라로부터의 거리를 나타낸다. 이 기준 투과 임계값 Dt_b는, 테스트 등을 행하여 미리 정해 둔다. 그리고, 실제로 유저가 설정한 가상 카메라 하에서도, 기준으로 하는 가상 카메라에서의 투과 처리가 개시되는 묘화 해상도와 동일한 묘화 해상도로 투과 처리가 개시되는 투과 임계값 Dt가 도출되어, 본 스텝에서의 판정 처리에 적용된다. 도 7은, 기준 투과 임계값 Dt_b와 투과 임계값 Dt의 관계를 설명하는 도면이다. 이와 같이, 투과 임계값 Dt를 가변으로 함으로써, 가상 카메라의 화각이나 해상도에 좌우되지 않고 실제 카메라로 촬영한 화상의 해상도에 맞추어, 적절한 투과 임계값의 적용이 가능하게 된다. 이 때, 기준 투과 임계값 Dt_b는, 오브젝트의 종류(예를 들어, 심판이나 선수)에 따라 설정해도 된다. 나아가, 각각의 오브젝트별로(예를 들어, 선수 A와 선수 B), 또는 오브젝트의 그룹별(예를 들어, A팀 소속의 선수와 B팀 소속의 선수)로 별개의 기준 투과 임계값 Dt_b를 설정해도 된다. 이와 같이, 기준 투과 임계값 Dt_b에 기초하여, 판정 처리에 적용하는 투과 임계값 Dt를 설정함으로써, 예를 들어 설정된 가상 카메라의 화각이 좁은 경우에는 투과 임계값 Dt가 커지고, 설정된 가상 카메라로부터의 거리가 먼 오브젝트에 대해서도 적절하게 투과 처리가 이루어지게 된다. 판정 결과, 산출 거리 d₂가 투과 임계값 Dt 이하이면 S606으로 진행한다. 한편, 산출 거리 d₂가 투과 임계값 Dt보다 크면 S607로 진행한다. 또한, 복수 시점 화상의 화질이 낮을수록, 가상 카메라와 오브젝트의 거리가 가까운 경우에 가상 시점 영상에 표시되는 오브젝트의 화질도 낮아지기 때문에, 기준 투과 임계값 Dt_b가 복수 시점 화상의 화질에 관한 파라미터에 기초하여 결정되어도 된다. 예를 들어, 복수 시점 화상의 해상도가 낮을수록, 기준 투과 임계값 Dt_b가 큰 값으로 설정되어도 된다.

S606에서는, S605에서 산출한 가상 카메라와 오브젝트의 거리 d₂에 기초하여, 대상 오브젝트에 관한 투과도 α가 산출된다. 여기서, 투과도 α는, 그 값이 0일 때에는 불투명한 상태를 나타내고, 1일 때에는 가장 투명한 상태를 나타내며, 0으로부터 1의 사이일 때에는 반투명의 상태를 나타낸다. 그리고, 예를 들어 도 8의 그래프에 나타내는 바와 같이, 거리 d₂가 짧아질수록 투과도 α가 높아지게 산출된다. 도 8의 그래프에서, 소실 임계값 Dv는, 설정된 가상 카메라까지의 거리가 일정 거리 이내이고 가까운 경우에, 대상 오브젝트가 가장 투명해져서 그 존재가 소실되어 버릴 때의 일정 거리를 나타내는 임계값이다. 단, 여기서 말하는 "소실"은, 반드시 완전 투과 상태를 의미하는 것은 아니고, 예를 들어 그 존재가 희미하게 확인할 수 있을 정도의 투과 상태를 포함할 수 있는 것이다. 설정된 가상 카메라의 수직 해상도가 h, 수직 화각이 θ일 때의 소실 임계값 Dv는, 투과 임계값 Dt와 마찬가지로 가변으로 한다. 즉, 기준으로 하는 가상 카메라에서 가상 시점 영상을 생성하였을 때의 소실 임계값(기준 소실 임계값) Dt_b일 때의 묘화 해상도와 같은 해상도일 때, 오브젝트가 완전 투과가 되도록(=투과도 α가 최댓값)으로 되도록, 설정된 가상 카메라에 관한 소실 임계값 Dv가 설정된다. 이 때, 기준 소실 임계값 Dv_b는, 기준으로 하는 가상 카메라의 수직 화소수 hb, 수직 화각 θb에 있어서, 해당 가상 카메라로부터의 거리가 이 거리보다 짧은 경우에는, 대상 오브젝트의 투과도 α의 값을 1(최댓값)로 한다고 하는 임계값이다. 여기서는 최댓값을 1로 하고 있지만, 상술한 바와 같이, 예를 들어 0.9와 같은 완전히 투과하지 않는 값을 최댓값으로 해도 된다. 이와 같이 대상 오브젝트의 투과도 α는, 소실 임계값 Dv와 투과 임계값 Dt에 기초하여 산출된다. 또한, 투과도 α와 거리 d₂의 관계를 나타내는 도면 8의 그래프는 일례에 지나지 않는다. 예를 들어, 도 8과 같이 선형으로 변화하도록 투과도 α를 설정하는 대신, 소정의 2차 함수를 기초로 변화하도록 해도 되고, 가상 카메라로부터 대상 오브젝트까지의 거리가 가까울수록 높은 투과도가 되도록 변화시킬 수 있으면 된다. 또한, 단계적으로 다른 거리와 투과도 α의 값을 대응지은 룩업 테이블을 작성해 두고, 그것을 참조하여 투과도 α를 설정해도 된다. 이 때, 대상 오브젝트가 고속으로 가상 카메라에 다가오는 경우에는, 더 높은 투과도가 설정되도록, 오브젝트의 이동 속도나 가상 카메라의 이동 속도에 따라 투과도 α의 조정을 행해도 상관없다. 조정 방법으로는, 예를 들어 도 8의 그래프로부터 도출되는 투과도 α의 값에 대해, 이동 속도에 따라 다른 계수를 곱하여, 최종적인 투과도 α를 결정한다는 방법이 고려된다. 구체적으로는, 예를 들어 기준 속도일 때를 1.0으로 하고, 기준 속도보다 고속이 됨에 따라, 1.1, 1.2, 1.3…이라는 식으로 계수의 값을 크게 해 가면 된다.

S607에서는, 대상 오브젝트에 대한 투과도 α의 값이, 불투과를 나타내는 값(여기서는 0)으로 설정된다.

S608에서는, 주목 오브젝트 이외의 모든 오브젝트에 대한 투과 처리가 완료되었는지 여부가 판정된다. 미처리 오브젝트가 있으면, S603으로 되돌아가서 다음 대상 오브젝트가 선택되어 투과 처리가 속행된다. 한편, 주목 오브젝트 이외의 모든 오브젝트에 대한 투과 처리가 완료되었으면, 본 처리를 종료한다.

이와 같은 처리에 의해, 주목 오브젝트 이외의 오브젝트에 대한 투과도가 산출된다. 본 실시 형태에서는, 주목 오브젝트로부터의 거리나 가상 카메라로부터의 거리에 따라, 그 오브젝트를 투과시킬지 여부 및 어느 정도 투과시킬지를 결정하고 있었지만, 이에 한정되지 않는다. 예를 들어, 가상 카메라로부터 보았을 때에 주목 오브젝트를 은폐하는 위치에 있는 오브젝트에 대해서는, 더 높은 투과도(또는 완전 투과)가 일률적으로 설정되도록 구성해도 된다. 또한, 본 실시 형태에서는, 투과 제어를 행하지 않는 모드인 경우에, 처리 대상 프레임에 비치고 있는 모든 오브젝트에 대해 투과도 α에 최솟값을 설정하고 있었지만, 모든 오브젝트를 투과 처리의 대상 외로 설정한 후에, S404에서 모든 오브젝트에 대해 통상의 묘화 처리를 행하도록 구성해도 된다.

이상과 같이 본 실시 형태에 따르면, 설정한 가상 카메라로부터 가까운 위치에 오브젝트가 존재해도, 일정한 조건 하에서 투과 처리가 실시되므로 화질의 저하가 눈에 띄기 어려워진다. 이에 의해, 유저에게 불쾌감을 초래하지 않는 고화질의 가상 시점 영상을 얻을 수 있다.

<다른 실시 형태＞

본 발명은 상술한 실시 형태의 하나 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 하나 이상의 프로세서가 프로그램을 판독하여 실행하는 처리에 의해서도 실현 가능하다. 또한, 하나 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실현 가능하다.

실시 형태를 참조하여 본 발명을 설명하였지만, 본 발명이 상술한 실시 형태에 한정되지 않음은 물론이다. 하기의 클레임은 가장 넓게 해석되어, 그러한 변형예 및 동등한 구조ㆍ기능 모두를 포함하는 것으로 한다.

본원은, 2018년 2월 16일에 제출한 일본 특허 출원 제2018-025826호를 기초로 하여 우선권을 주장하는 것이며, 그 기재 내용 모두를 여기에 원용한다.

Claims

화상 처리 장치이며,
복수의 촬영 장치에 의한 복수의 방향으로부터의 촬영에 기초하는 화상 데이터를 취득하는 화상 취득 수단과,
가상 시점의 위치 및 시선 방향을 나타내는 가상 시점 정보를 취득하는 정보 취득 수단과,
상기 화상 취득 수단에 의해 취득되는 상기 화상 데이터 및 상기 정보 취득 수단에 의해 취득되는 상기 가상 시점 정보에 기초하여, 상기 가상 시점 정보에 의해 나타나는 상기 가상 시점의 상기 위치 및 상기 시선 방향에 대응하는 가상 시점 화상을 생성하는 생성 수단을 갖고,
복수의 오브젝트 중 상기 가상 시점의 상기 위치로부터의 거리가 임계값 미만인 위치의 오브젝트는, 상기 생성 수단에 의해 생성되는 상기 가상 시점 화상에서 투명 또는 반투명하고, 상기 임계값은 상기 가상 시점 화상에서의 오브젝트의 해상도에 의해 결정되는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 가상 시점 화상에서, 상기 가상 시점으로부터 상기 임계값 미만의 거리에 위치하는 복수의 오브젝트 중 상기 가상 시점의 상기 위치로부터의 오브젝트의 거리가 짧을수록 상기 오브젝트의 투명도가 높은 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 오브젝트의 위치와 상기 가상 시점 정보에 의해 특정되는 상기 가상 시점의 상기 위치 사이의 거리와, 상기 가상 시점 정보에 의해 특정되는 상기 가상 시점에 대응하는 화각에 기초하여, 해당 오브젝트의 투명도를 결정하는 결정 수단을 갖고,
상기 생성 수단은, 상기 결정 수단에 의해 결정된 투명도의 오브젝트를 포함하는 상기 가상 시점 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 가상 시점 정보는, 가상 시점에 대응하는 줌 값의 정보를 포함하는 것을 특징으로 하는 화상 처리 장치.
삭제
제1항에 있어서, 상기 가상 시점 화상에서, 상기 복수의 오브젝트 중 상기 가상 시점의 상기 위치와의 거리가 상기 임계값 이상인 오브젝트는 투명화되지 않는 것을 특징으로 하는 화상 처리 장치.
제6항에 있어서, 상기 임계값은, 상기 정보 취득 수단에 의해 취득되는 가상 시점 정보에 의해 특정되는 상기 가상 시점에 대응하는 화각에 기초하여 결정되는 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서, 상기 결정 수단은, 상기 오브젝트의 위치와 상기 가상 시점 정보에 의해 특정되는 상기 가상 시점의 상기 위치 사이의 거리와, 상기 가상 시점 정보에 의해 특정되는 상기 가상 시점에 대응하는 화각과, 상기 가상 시점 화상의 해상도에 기초하여, 해당 오브젝트의 투명도를 결정하는 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서, 상기 결정 수단은, 상기 가상 시점 정보에 의해 특정되는 가상 시점에 대응하는 화각, 제1 오브젝트의 위치와 상기 가상 시점의 상기 위치 사이의 거리, 및 해당 제1 오브젝트와는 다른 제2 오브젝트의 위치와 상기 제1 오브젝트의 상기 위치 사이의 거리에 기초하여, 상기 제1 오브젝트의 투명도를 결정하는 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서, 상기 결정 수단은, 상기 가상 시점 정보에 의해 특정되는 상기 가상 시점에 대응하는 화각과, 오브젝트의 위치와 상기 가상 시점의 상기 위치 사이의 거리와, 해당 오브젝트의 이동 속도 및 가상 시점의 이동 속도 중 적어도 하나에 기초하여, 해당 오브젝트의 투명도를 결정하는 것을 특징으로 하는 화상 처리 장치.
제10항에 있어서, 상기 가상 시점 화상에서, 가상 시점을 향하는 방향에 있어서의 이동 속도가 제1 속도인 오브젝트의 투명도가, 가상 시점을 향하는 방향에 있어서의 이동 속도가 상기 제1 속도보다 느린 제2 속도인 오브젝트의 투명도보다 높은 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서, 상기 복수의 오브젝트 중 하나 이상의 오브젝트 각각에 대해, 투과 처리를 행할지를 설정하는 설정 수단을 갖고,
상기 생성 수단은, 상기 설정 수단에 의해 투과 처리를 행하는 오브젝트로서 설정된 오브젝트가 상기 결정 수단에 의해 결정된 투명도에 따라 투명화된 가상 시점 화상이며, 또한, 상기 설정 수단에 의해 투과 처리를 행하는 오브젝트로서 설정되지 않은 오브젝트가 투명화되지 않은 상기 가상 시점 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서, 상기 생성 수단은,
상기 복수의 촬영 장치의 촬영 영역 내에 위치하는 복수의 오브젝트 중 하나의 위치 및 시선의 방향을 상기 가상 시점의 상기 위치 및 상기 시선 방향으로 하는 가상 시점 정보가 상기 정보 취득 수단에 의해 취득되는 경우에는, 오브젝트의 투명화가 행해지지 않는 가상 시점 화상을 생성하고,
오브젝트의 위치 및 시선의 방향에 구애되지 않는 가상 시점 정보가 상기 정보 취득 수단에 의해 취득되는 경우에는, 상기 결정 수단에 의해 결정되는 투명도에 따라 오브젝트가 투명화된 가상 시점 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.
제3항에 있어서, 상기 생성 수단은,
분석 데이터가 중첩된 가상 시점 화상을 생성하는 경우에는, 오브젝트의 투명화가 행해지지 않는 가상 시점 화상을 생성하고,
분석 데이터가 중첩되지 않은 가상 시점 화상을 생성하는 경우에는, 상기 결정 수단에 의해 결정되는 투명도에 따라 오브젝트가 투명화된 가상 시점 화상을 생성하는 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 오브젝트는 인물인 것을 특징으로 하는 화상 처리 장치.
제1항에 있어서, 상기 화상 취득 수단에 의해 취득되는 화상 데이터는, 폴리곤 데이터, 텍스처 데이터 및 복셀 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 화상 처리 장치.
복수의 촬영 장치에 의한 복수의 방향으로부터의 촬영에 기초하는 화상 데이터를 취득하는 화상 취득 공정과,
가상 시점에 대응하는 가상 시점의 위치 및 시선 방향을 나타내는 가상 시점 정보를 취득하는 정보 취득 공정과,
상기 화상 취득 공정에서 취득되는 상기 화상 데이터 및 상기 정보 취득 공정에서 취득되는 상기 가상 시점 정보에 기초하여, 상기 가상 시점 정보에 의해 나타나는 상기 가상 시점의 상기 위치 및 상기 시선 방향에 대응하는 가상 시점 화상을 생성하는 생성 공정을 갖고,
복수의 오브젝트 중 상기 가상 시점의 상기 위치로부터의 거리가 임계값 미만인 위치의 오브젝트는, 상기 생성 공정에서 생성되는 상기 가상 시점 화상에서 투명 또는 반투명하고, 상기 임계값은 상기 가상 시점 화상에서의 오브젝트의 해상도에 의해 결정되는 것을 특징으로 하는 화상 처리 방법.
제17항에 있어서, 상기 가상 시점 화상에서, 상기 가상 시점으로부터 상기 임계값 미만의 거리에 위치하는 복수의 오브젝트 중 상기 가상 시점의 상기 위치로부터의 오브젝트의 거리가 짧을수록 상기 오브젝트의 투명도가 높은 것을 특징으로 하는 화상 처리 방법.
제17항에 있어서, 오브젝트의 위치와 상기 가상 시점 정보에 의해 특정되는 상기 가상 시점의 상기 위치 사이의 거리와, 상기 가상 시점 정보에 의해 특정되는 상기 가상 시점에 대응하는 화각에 기초하여, 해당 오브젝트의 투명도를 결정하는 결정 공정을 갖고,
상기 생성 공정에 있어서는, 상기 결정 공정에서 결정된 투명도의 오브젝트를 포함하는 상기 가상 시점 화상을 생성하는 것을 특징으로 하는 화상 처리 방법.
컴퓨터로 하여금 화상 처리 방법을 수행하도록 하는 프로그램을 저장한 비일시적 저장 매체이며, 상기 화상 처리 방법은,
복수의 촬영 장치에 의한 복수의 방향으로부터의 촬영에 기초하는 화상 데이터를 취득하는 화상 취득 공정과,
가상 시점의 위치 및 시선 방향을 나타내는 가상 시점 정보를 취득하는 정보 취득 공정과,
상기 화상 취득 공정에서 취득되는 상기 화상 데이터 및 상기 정보 취득 공정에서 취득되는 상기 가상 시점 정보에 기초하여, 상기 가상 시점 정보에 의해 나타나는 상기 가상 시점의 상기 위치 및 상기 시선 방향에 대응하는 가상 시점 화상을 생성하는 생성 공정을 갖고,
복수의 오브젝트 중 상기 가상 시점의 상기 위치로부터의 거리가 임계값 미만인 위치의 오브젝트는, 상기 생성 공정에서 생성되는 상기 가상 시점 화상에서 투명 또는 반투명하고, 상기 임계값은 상기 가상 시점 화상에서의 오브젝트의 해상도에 의해 결정되는 것을 특징으로 하는 비일시적 저장 매체.