KR102316061B1 - 화상 처리장치, 방법 및 컴퓨터 프로그램 - Google Patents

화상 처리장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102316061B1
KR102316061B1 KR1020180088921A KR20180088921A KR102316061B1 KR 102316061 B1 KR102316061 B1 KR 102316061B1 KR 1020180088921 A KR1020180088921 A KR 1020180088921A KR 20180088921 A KR20180088921 A KR 20180088921A KR 102316061 B1 KR102316061 B1 KR 102316061B1
Authority
KR
South Korea
Prior art keywords
image
resolution
virtual viewpoint
viewpoint
information
Prior art date
Application number
KR1020180088921A
Other languages
English (en)
Other versions
KR20190017653A (ko
Inventor
토모히로 니시야마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20190017653A publication Critical patent/KR20190017653A/ko
Application granted granted Critical
Publication of KR102316061B1 publication Critical patent/KR102316061B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

화상 처리장치가 제공된다. 화상 취득 수단은 복수의 카메라에 의해 복수의 방향에서 대상 영역에 대한 촬영에 근거하여 얻어지는 화상을 취득한다. 정보 취득 수단은 가상 시점의 위치를 나타내는 시점 정보를 취득한다. 설정 수단은, 상기 대상 영역 내의 기준 위치와 상기 정보 취득 수단에 의해 취득되는 시점 정보에 근거하여, 상기 대상 영역 내의 오브젝트의 해상도에 관한 파라미터를 설정한다. 생성 수단은, 상기 화상 취득 수단에 의해 취득되는 화상과, 상기 정보 취득 수단에 의해 취득되는 시점 정보에 근거하여, 상기 설정 수단에 의해 설정된 파라미터에 따른 해상도를 갖는 오브젝트의 화상을 포함하는 가상 시점 화상을 생성한다.

Description

화상 처리장치, 방법 및 컴퓨터 프로그램{IMAGE PROCESSING APPARATUS, METHOD, AND COMPUTER PROGRAM}
본 발명은 화상 처리장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
복수대의 카메라에서 취득한 화상과, 피사체의 3차원 모델(피사체까지의 거리 정보를 포함한다)을 사용하여, 촬상 시점과는 다른 가상 시점으로부터의 화상(가상 시점 화상)을 생성하는 수법이 알려져 있다. 일본국 특개 2000-215311에는, 가상 시점에서 본 거리 맵(화소마다 씬까지의 거리가 격납된 데이터)을 사용하여, 가상 시점 화상의 각 화소에 대한 화소값을 산출함으로써, 가상 시점 화상을 생성하는 것이 개시되어 있다.
한편, 일본국 특개 2002-366935에는, 3차원 모델의 격납에는 큰 메모리 용량을 필요로 하기 때문에, 피사체 표면 부근의 복셀 해상도를 높게 하고, 피사체 내부의 복셀 해상도를 낮게 하는 것이 개시되고 있다.
본 발명의 일 실시형태에 따르면, 화상 처리장치는, 복수의 카메라에 의해 복수의 방향에서 대상 영역에 대한 촬영에 근거하여 얻어지는 화상을 취득하는 화상 취득 수단과, 가상 시점의 위치를 나타내는 시점 정보를 취득하는 정보 취득 수단과, 상기 대상 영역 내의 기준 위치와 상기 정보 취득 수단에 의해 취득되는 시점 정보에 근거하여, 상기 대상 영역 내의 오브젝트의 해상도에 관한 파라미터-상기 오브젝트의 3차원 형상을 나타내는 데이터인 형상 데이터의 구성요소의 사이즈이다-를 설정하는 설정 수단과, 상기 화상 취득 수단에 의해 취득되는 화상에 근거하여, 상기 설정 수단에 의해 설정된 파라미터에 따른 해상도를 갖는 상기 오브젝트의 형상 데이터를 생성하고, 상기 생성된 형상 데이터에 근거하여, 상기 화상 취득 수단에 의해 취득되는 화상과, 상기 정보 취득 수단에 의해 취득되는 시점 정보와, 상기 오브젝트의 화상을 포함하는 가상 시점 화상을 생성하는 생성 수단을 구비한다.
본 발명의 또 다른 실시형태에 따르면, 방법은, 복수의 카메라에 의해 복수의 방향에서 대상 영역에 대한 촬영에 근거하여 얻어지는 화상을 취득하는 단계와, 가상 시점의 위치를 나타내는 시점 정보를 취득하는 단계와, 상기 대상 영역 내의 기준 위치와 상기 취득된 시점 정보에 근거하여, 상기 대상 영역 내의 오브젝트의 해상도에 관한 파라미터-상기 오브젝트의 3차원 형상을 나타내는 데이터인 형상 데이터의 구성요소의 사이즈이다-를 설정하는 단계와, 상기 취득된 화상에 근거하여, 상기 설정된 파라미터에 따른 해상도를 갖는 상기 오브젝트의 형상 데이터를 생성하는 단계와, 상기 생성된 형상 데이터에 근거하여, 상기 취득된 화상과, 상기 취득된 시점 정보와, 상기 오브젝트의 화상을 포함하는 가상 시점 화상을 생성하는 단계를 포함한다.
본 발명의 또 다른 특징은 첨부도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도 1은 일 실시형태에 따른 촬상 시스템의 예를 나타낸 도면이다.
도 2는 일 실시형태에 따른 화상 생성장치의 구성을 나타내는 블록도이다.
도 3은 일 실시형태에 따른 화상 생성장치의 구성을 나타내는 블록도이다.
도 4는 일 실시형태에 따른 화상 생성 방법의 처리의 흐름을 나타내는 흐름도이다.
도 5는 공간 해상도의 산출 방법을 설명하는 개념도이다.
도 6은 해상도의 설정에 사용하는 유저 인터페이스의 일례를 도시한 도면이다.
도 7은 일 실시형태에 따른 화상 생성 방법의 처리의 흐름을 나타내는 흐름도이다.
일본국 특개 2000-215311에 기재된 수법을 사용했을 경우, 씬에 따라 가상 시점 화상의 화질이 저하하는 일이 있었다. 가상 시점 화상의 화질은, 3차원 모델의 해상도를 높게 함으로써 향상되지만, 이것은 처리량 및 처리에 필요한 메모리 용량의 증가를 일으킨다. 일본국 특개 2002-366935에 기재된 방법을 사용한 경우에도, 가상 시점 화상의 화질에 대한 영향이 큰 피사체의 표면 형상을 나타내는 복셀을 충분히 작게 할 필요가 있기 때문에, 처리량 및 처리에 필요한 메모리 용량의 저감은 불충분했다.
본 발명의 일 실시형태는, 가상 시점 화상을 생성할 때에, 허용가능한 화질을 유지하면서, 처리부하를 억제할 수 있다.
가상 시점 화상을 생성할 경우, 피사체 형상 데이터의 거리 분해능이 지나치게 낮으면 가상 시점의 화질이 열화하지만, 거리 분해능이 지나치게 높으면 화질이 향상되지 않는다는 사실에도 불구하고 처리량이 증가한다. 따라서, 본 발명의 일 실시형태에 있어서는, 생성하려고 하는 가상 시점 화상에 적합한 거리 분해능을 갖도록, 사용하는 피사체 형상 데이터의 공간 해상도가 조정된다. 이하, 본 발명의 실시형태를 도면에 근거하여 설명한다. 단, 본 발명의 범위는 이하의 실시형태에 한정되는 것은 아니다.
[실시형태1]
실시형태1에서는, 가상 시점으로부터 피사체까지의 거리에 따라, 피사체 형상 데이터의 공간 해상도를 설정하는 예에 대해 설명한다. 일 실시형태에 따르면, 가상 시점 화상을 피사체 형상 데이터에 근거하여 생성할 때에, 허용가능한 화질을 유지하면서, 연산량 또는 사용하는 메모리 용량을 저감할 수 있다. 이때, 자유롭게 설정된 가상 시점에서의 가상 시점 화상은 자유 시점 화상으로 불린다. 또한, 가상 시점 화상을 피사체의 3차원 모델에 근거하여 생성할 수 있고, 이하에서는 피사체의 형상을 나타내는 피사체 형상 데이터의 예로서, 피사체의 3차원 모델을 사용할 경우에 대해서 설명한다.
도 1은, 본 실시형태에 따른 촬상 시스템의 예를 나타낸다. 촬상 시스템(100)은, 복수의 카메라(101)와, 화상 생성장치(200)를 구비한다. 도 1에는, 본 실시형태에 있어서 사용되는 카메라(101)의 배치를 나타낸다. 도 1에 나타낸 것과 같이, 피사체를 둘러싸도록 배치된 복수의 카메라(101)를 사용하여, 피사체의 촬상이 행해진다. 카메라(101)는, 복수의 다른 위치로부터 피사체의 화상군을 촬상한다. 도 1의 예에서는, 경기장 내부 또는 외부에 배치된 복수의 카메라(101)를 사용하여, 촬영 대상 영역(촬영 영역)인 그라운드(104) 위에 있는 선수(102) 및 볼(103)이 촬영되고 있다. 도 1은 스포츠 씬에의 응용 예를 나타내지만, 본 실시형태는 임의의 씬에 있어서의 피사체의 촬영에 적용가능하다. 이때, 본 실시형태에 있어서는, 피사체는 시간과 함께 이동하는 물체를 가리키고, 예를 들면 선수(102) 및 볼(103)을 포함한다. 그러나, 피사체의 특정 방법은 임의이고, 배경과 같은 정지 물체를 피사체로서 다룰 수도 있다.
다음에, 실시형태1에 따른 화상 생성장치(200)의 구성에 대해 설명한다. 도 2는, 화상 생성장치(200)의 구성의 일례를 나타낸다. CPU(201)은, RAM(202) 또는 R0M(203) 등의 메모리에 격납되어 있는 컴퓨터 프로그램 및 데이터를 사용하여 각종의 처리를 실행한다. 이에 따라, CPU(201)은, 화상 생성장치(200) 전체의 동작 제어를 행하는 동시에, 화상 생성장치(200)가 행하는 후술하는 각 처리를 실행 및 제어한다. 이때, CPU(201)은, 1개의 프로세서이어도 되고, 복수의 프로세서이어도 된다.
RAM(202)은, R0M(203) 또는 기억부(204)와 같은 메모리로부터 로드된 컴퓨터 프로그램 및 데이터를 격납하기 위한 에어리어를 가진다. 더구나, RAM(202)은, CPU(201)이 CPU(201)가 각종의 처리를 실행할 때에 사용하는 워크 에어리어를 가진다. 이렇게, RAM(202)은, 각종의 에어리어를 제공할 수 있다. R0M(203)은, 고쳐쓰기 불필요한 설정 데이터 및 부트 프로그램과 같은 데이터 및 프로그램을 격납하고 있다.
기억부(204)는, 프로그램 및 데이터를 격납하는 기억장치이며, 예를 들면, 하드디스크 드라이브 장치와 같은 대용량 정보 기억장치다. 기억부(204)는, 예를 들면, OS(오퍼레이팅 시스템), 및 화상 생성장치(200)가 행하는 후술하는 각 처리를 CPU(201)에게 실행시키기 위한 컴퓨터 프로그램 및 데이터를 보존할 수 있다. 기억부(204)는, 처리 대상이 되는 화상 또는 동화상의 데이터를 격납할 수 있다. 기억부(204)에 보존되어 있는 프로그램 및 데이터는, CPU(201)에 의한 제어에 따라서 RAM(202)에 로드된 후 CPU(201)에 의한 처리 대상으로 될 수 있다. 기억부(204)는, 하드디스크 드라이브 장치 이외에, CD-ROM 혹은 DVD-ROM 등의 기억매체로부터 정보를 판독하는 기기이거나, 또는 플래시 메모리 혹은 USB 메모리 등의 메모리 장치이어도 된다.
출력 인터페이스(205)는, 출력 인터페이스(205)에 접속된 표시장치(207)에 표시 데이터를 보내는 것에 의해, 표시장치(207)에게 표시를 행하게 할 수 있다. 이렇게 해서, 표시장치(207)는, CPU(201)에 의한 처리 결과를 사용해서 화상 또는 문자를 표시 또는 투영할 수 있다. 표시장치(207)는, 예를 들면 CRT, 액정 화면, 또는 프로젝터 장치일 수 있다.
CPU(201), RAM(202), R0M(203), 기억부(204), 및 출력 인터페이스(205)는, 모두 버스(206)에 접속되고 있고, 버스(206)를 거쳐 서로 통신할 수 있다. 이때, 도 2에 나타낸 구성은, 화상 생성장치(200)에 적용가능한 컴퓨터 장치의 구성의 일례에 지나지 않는다. 예를 들면, 화상 생성장치(200)는, CPU(201) 대신에, 또는 CPU(201)과 함께, GPU(Graphics Processing Unit), ASIC, 또는 FPGA 등의 하드웨어를 갖고 있어도 된다. 이 경우, GPU, ASIC, 또는 FPGA 등의 하드웨어가, CPU(201)이 보통 행하는 처리의 일부 또는 모두를 행해도 된다.
(공간 해상도의 설정 방법)
본 실시형태에 따른 공간 해상도의 설정 방법에 대해서 도 5를 참조해서 설명한다. 도 5는, 3차원 공간중에 설정된 복셀(501)과, 가상 시점에 배치된 가상 카메라(503)의 위치 관계를 나타낸다. 본 실시형태에 있어서 얻어지는 가상 시점 화상은, 가상 시점에 배치된 가상 카메라(503)에 의해 얻어지는 화상에 해당한다.
이하의 설명에 있어서, 피사체가 존재하는 3차원공간은 복셀을 사용해서 이산적으로 나타낸다. 즉, 대상이 되는 3차원공간은, 크기 Δ[mm]의 정규격자인 복셀로 구획된다. 각 복셀의 좌표는, (x좌표, y좌표, z좌표)=(0,0,0), (1,0,0), (3,0,1) …과 같이, 격자 벡터를 사용해서 표현할 수 있다. 복셀에 대응하는 3차원공간 내에서의 실제의 물리적인 위치는, 이러한 격자 벡터에 정규격자의 크기 Δ를 승산함으로써 얻어진다. Δ로서는, 예를 들면, 5mm 등의 값을 사용할 수 있다.
도 5는, 복셀(501)을 가상 카메라(503)에 사영한 상태를 나타내고 있다. 선 506은 복셀(501)의 중심부로부터 가상 카메라(503)까지의, 가상 카메라(503)의 광축방향에 따른 거리 z[mm]을 표시한다. 또한, 선 505, 507은, 복셀(501)의 단부를 가상 카메라(503)에 사영하는 선이다. 선 502는 복셀의 크기 Δ[mm]을 표시한다. 면 504는 가상 카메라(503)에 의해 얻어지는 가상 시점 화상의 투영면을 표시한다. 이하에서는, 가상 카메라(503)의 픽셀 단위로 표시한 초점거리를 f[pix]로 한다.
복셀(501)을 가상 카메라(503)에 사영할 때, 가상 카메라(503)에서 볼 때 복셀(501)이 가장 크게 보이는 것은, 복셀(501)의 가장 긴 대각선(길이는 √3Δ)이, 가상 카메라(503)의 광축과 직교할 경우다. 이때, 복셀(501)의, 가상 시점 화상 위에서의 크기는, 이하의 식에 따른 픽셀 폭 d[pix]로 표시된다.
d=√3(fΔ/z) …식 (1)
바꿔 말하면, 복셀의 크기가 Δ인 경우, 가상 시점 화상 위에서의 피사체의 해상도는 d[pix]보다 미세해지지 않는다. 여기에서는, 가장 피사체의 해상도가 낮아지는 케이스를 고려하여, 복셀의 가장 긴 대각선(길이는 √3Δ)을 사용해서 픽셀 폭 d를 계산했다. 그렇지만, 이 대신에 복셀의 정방형의 대각선(길이는 √2Δ) 또는 복셀의 한 변(길이는 Δ)을 사용해서 픽셀 폭 d를 계산할 수도 있다.
한편, 가상 시점 화상 위에서, 피사체를 허용 해상도 w[pix]보다 미세한 해상도로 표현하고 싶은 경우, 식(1)에 따르면,
√3(fΔ/z)<w …식(2)
가 성립할 필요가 있다. 예를 들면, 피사체를 2[pix]보다 미세한 해상도로 표현하고 싶은 경우에는, √3(fΔ/z)<2가 성립할 필요가 있다. 이 식을 Δ에 대해서 푸는 것으로, 허용 해상도 w를 얻기 위해서 필요한 복셀의 크기 Δ, 즉 필요한 공간 해상도를 얻을 수 있다. 이렇게, 특정한 피사체까지의 거리 z와, 가상 시점 화상에 있어서의 특정한 피사체에 관한 허용 해상도 w를 사용하여, 특정한 피사체를 허용 해상도 w보다 미세하게 표현하기 위해서 필요한 공간 해상도 Δ를 얻을 수 있다. 또한, 피사체에 한정되지 않는 특정한 주 시점까지의 거리 z를 사용하여, 공간 해상도 Δ를 얻을 수도 있다.
이렇게 결정된 공간 해상도 Δ는 피사체 형상 데이터의 해상도로서 설정할 수 있다. 이 경우, 피사체 형상 데이터에 의해 표시되는 형상을 갖고 기준점에 위치하는 피사체를 가상 시점 화상에 투영했을 때, 가상 시점 화상 위에서의 피사체의 형상의 해상도를, 해상도로서 지정된 값 이상(w 이상)으로 설정되도록 증가(더 미세하게)시킬 수 있다. 이 예에 있어서, 허용 해상도 w는, 가상 시점 화상에 있어서의 피사체의 형상의 해상도로서 지정된 해상도라고 할 수 있다.
또한, 가상 시점 화상 위에서, 모든 피사체를 w[pix]보다 미세한 해상도로 표현하고 싶은 경우가 있다. 가상 카메라(503)에 피사체가 가까울수록 √3(fΔ/z)은 커지기 때문에, 가상 카메라(503)에 가장 가까운 피사체에 대해서 식(2)이 성립하면, 모든 피사체에 대해서 식(2)이 성립한다. 따라서, 가상 시점 화상 위에서, 모든 피사체를 w[pix]보다 미세한 해상도로 표현하기 위해서는, 가상 카메라(503)에 가장 가까운 피사체의 거리가 zmin일 때,
√3(fΔ/zmin)<w …식(3)
이 성립할 필요가 있다.
이렇게, 가상 시점에 가장 가까운 거리를 갖는 피사체까지의 거리 zmin과, 가상 시점 화상에 있어서의 허용 해상도 w를 사용하여, 모든 피사체를 허용 해상도 w보다 미세하게 표현하기 위해서 필요한 공간 해상도 Δ를 얻을 수 있다. 즉, 기준점과 가상 시점 사이의 거리는, 복수의 피사체 중 가상 시점에 가장 가까운 피사체와 가상 시점 사이의 거리일 수 있다. 단, 이것에 한정되지 않고, 기준점과 가상 시점 사이의 거리는, 예를 들면, 복수의 피사체 중 주 시점에 가장 가까운 피사체와 가상 시점 사이의 거리이어도 된다.
또한, 계산 비용 및 필요한 메모리 용량이 저감되기 때문에, 식(2) 또는 식 (3)이 성립하는 공간 해상도 Δ 중 가장 큰 값을, 3차원 모델의 공간 해상도로서 채용할 수 있다. 예를 들면, Δ= wz/f√3 또는 Δ=wzmin/f√3에 따라 공간 해상도 Δ를 결정할 수 있다.
더구나, 피사체마다 3차원 모델의 해상도 Δ를 변경할 수도 있다. 이 경우, 피사체 i까지의 대표적인 거리를 zi, 피사체 i의 3차원 모델의 해상도를 Δi, 및 허용 해상도를 w[pix]로 하면, 식(1)을 사용해서 식(4)가 얻어질 수 있다.
Δi=wzi/f√3 …식(4)
식(4)을 사용함으로써, 피사체마다 최적의 해상도를 산출 할 수 있다. 이 경우, 가상 카메라(503)에 가까운 피사체보다도, 가상 카메라(503)로부터 먼 피사체에 대해, 피사체의 3차원 모델을 구성하는 구성요소인 복셀의 크기 Δ가 커진다. 이렇게, 복수의 피사체의 각각과 가상 시점 사이의 거리에 따라, 각각의 피사체에 대한 피사체 형상 데이터의 해상도를 독립적으로 설정 할 수 있다. 이때, 화상 생성장치(200)가 설정하는 피사체의 해상도에 관한 파라미터는, 복셀의 크기 Δ에 한정되지 않고, 피사체 형상 데이터를 구성하는 복셀수나, 3차원 모델을 구성하는 메쉬의 크기 등, 다른 파라미터이어도 된다.
이때, 초점거리 f는 단위[mm]로 표시될 수도 있다. 가상 시점 화상에 있어서의 투영면 상의 물체의 해상도를 r[pix/mm]로 하면, 픽셀 단위로 표현한 초점거리 f[pix]는,
f[pix]=r[pix/mm]xf[mm] …식(5)
로 표현할 수도 있다.
(본 실시형태의 처리)
이하, 실시형태1의 화상 생성장치(200)에서 행해지는 처리에 대해서, 도 3에 나타내는 기능 블럭도 및 도 4에 나타내는 흐름도를 사용하여 설명한다. 실시형태1의 화상 생성장치(200)는, 도 3에 나타낸 것과 같이 화상 취득부(301), 파라미터 취득부(302), 위치 취득부(303), 시점 취득부(304), 해상도 설정부(305), 모델 생성부(306), 렌더링부(307), 및 해상도 취득부(308)를 구비한다. 화상 생성장치(200)는, CPU(201)이 R0M(203) 내에 격납된 제어프로그램을 판독해 실행함으로써 상기 각 부의 기능을 실현 할 수 있다. 이때, 화상 생성장치(200)는, 도 3에 나타내는 구성부의 1 이상에 해당하는 전용의 처리 회로를 구비해도 된다. 이하, 각 구성부에 의해 행해지는, 본 실시형태에 따른 처리의 흐름을 설명한다.
스텝 S401에서, 화상 취득부(301)는, 복수의 다른 위치로부터 촬상된 피사체의 화상군을 취득한다. 예를 들면, 화상 취득부(301)는, 복수의 시점에서 얻어진 화상 데이터(즉 복수의 카메라(101)에 의해 촬상된 화상 데이터)를, 기억부(204)로부터 취득 할 수 있다. 화상 취득부(301)는, 카메라(101)로부터 직접 화상을 취득해도 된다. 화상 취득부(301)는, 복수의 카메라(101)에 의해 대략 동시에 얻어진 정지 화상군을 취득 할 수 있다. 또한, 화상 취득부(301)는, 복수의 다른 위치로부터 촬상된 동화상군을 취득할 수도 있다. 예를 들면, 화상 취득부(301)는, 복수의 카메라(101)에 의해 얻어진 동화상 중, 대략 동시에 얻어진 프레임 화상군을 취득할 수도 있다.
스텝 S402에서, 파라미터 취득부(302)는, 카메라(101)의 카메라 파라미터를 취득한다. 카메라 파라미터는, 내부 파라미터, 외부 파라미터, 및 왜곡 파라미터를 포함한다. 내부 파라미터는, 화상 중심의 좌표값, 및 카메라 렌즈의 초점거리를 포함하여도 된다. 외부 파라미터는, 카메라의 위치와 방향을 나타내는 파라미터다. 본 명세서에서는, 외부 파라미터로서, 세계좌표에 있어서의 카메라의 위치 벡터 및 회전 행렬을 사용하지만, 외부 파라미터는 카메라의 위치와 방향을 다른 방법으로 기술해도 된다. 왜곡 파라미터는, 카메라의 렌즈의 왜곡을 표시한다. 이러한 카메라 파라미터로부터는, 화상을 촬상하는 카메라의 위치와, 카메라로부터 화상의 각 화소에 대응하는 피사체를 향하는 방향을 얻을 수 있다. 카메라 파라미터의 취득 방법은 특별하게 한정되지 않는다. 예를 들면, 카메라 파라미터는 기억부(204)에 미리 격납되어 있어도 된다. 카메라 파라미터는, 복수 시점에서의 화상 데이터를 기초로 해서, 예를 들면, structure from motion법을 사용해서 추정을 행함으로써 얻을 수 있고, 차트 등을 사용하는 캘리브레이션을 행함으로써 얻을 수도 있다.
스텝 S403에서, 시점 취득부(304)는, 가상 시점의 위치 정보를 취득한다. 예를 들면, 시점 취득부(304)는, 가상 시점의 카메라 파라미터를 취득할 수 있다. 본 실시형태에 있어서 얻어지는 가상 시점 화상은, 카메라 파라미터에 따라서 가상 시점에 배치되는 가상 카메라에 의해 얻어지는 화상에 해당한다. 가상 시점의 카메라 파라미터로부터는, 가상 시점의 위치와, 가상 시점으로부터 가상 시점 화상의 각 화소에 대응하는 피사체를 향하는 방향을 얻을 수 있다. 이러한 카메라 파라미터의 구체적인 예로서는, 가상 시점의 위치 및 방향(시선 방향), 초점거리, 및 가상 시점 화상의 화소수(해상도) 등을 들 수 있다.
스텝 S404에서, 위치 취득부(303)는, 해상도 설정의 기준이 되는 기준점과 가상 시점 사이의 거리를 취득한다. 기준점에는, 이미 설명한 바와 같이 해상도 설정의 기준이 되는 피사체를 나타내는 점, 및 해상도 설정의 기준이 되는 주 시점이 포함된다. 즉, 위치 취득부(303)는, 가상 시점으로부터, 피사체 또는 결정된 주 시점까지의 거리를 취득 할 수 있다. 여기에서, 위치 취득부(303)는, 피사체의 위치 정보를, 기준점의 위치 정보로서 취득 할 수 있고, 이 위치 정보에 근거하여, 기준점과 가상 시점 사이의 거리를 취득 할 수 있다.
스텝 S404에서 취득되는 거리는 개략 거리이어도 된다. 또한, 위치 취득부(303)는, 1개의 피사체(예를 들면, 선수)의 복수의 부분에 대해서 가상 시점으로부터의 거리를 취득할 필요는 없고, 1개의 피사체에 대해서 1개의 거리를 취득해도 된다. 더구나, 위치 취득부(303)는, 복수의 피사체(예를 들면, 복수의 선수)가 존재할 경우, 복수의 피사체 중 1개의 피사체(예를 들면, 가상 시점에서 가장 가까운 피사체)에 대해서만 가상 시점에서의 거리를 취득하도록 구성해도 된다. 한편, 위치 취득부(303)는, 복수의 피사체의 각각에 대해서 가상 시점에서의 거리를 취득해도 된다.
위치 취득부(303)는, 예를 들면, 피사체의 화상군을 사용해서 피사체의 개략 위치 정보를 추정 할 수 있다. 그리고, 위치 취득부(303)는, 피사체의 개략 위치 정보를, 기준점의 위치 정보로서 취득 할 수 있다. 이렇게 하여, 위치 취득부(303)는, 기준점과 가상 시점 사이의 거리를 취득 할 수 있다. 이것을 행하는 구체적인 방법으로서는, 해상도가 거친 복셀을 사용한 시체적 교차법을 들 수 있다. 또한, 피사체 인식을 행하고, 인식된 피사체의 일부에 대해서 스테레오 매칭법을 사용하는 거리 추정을 행할 수도 있다. 피사체까지의 대략적인 거리를 취득하기 위한, 공지의 다른 방법을 사용할 수도 있다. 또한, 위치 취득부(303)는, 주 시점을 지정하는 정보를 취득하고, 가상 시점으로부터 주 시점까지의 거리를 산출할 수도 있다. 여기에서, 주 시점은, 가상 시점 화상에 있어서, 주목되어야 할 메인 타겟이 되는 점이다. 또한, 광축을 공통의 위치를 향하도록 복수의 카메라(101)가 설치될 경우, 주 시점은 이 위치이어도 된다. 즉, 주 시점은 복수의 카메라(101)가 향하는 위치이어도 된다.
스텝 S405에서, 해상도 취득부(308)는, 가상 시점 화상 중의 기준점에 대응하는 개소의 해상도로서 지정된 해상도를 취득한다. 가상 시점 화상은, 기준점에 대응하는 개소에 있어서의 피사체의 형상의 해상도가 소정의 해상도 이상이 되도록, 생성된다. 예를 들면, 해상도 취득부(308)는, 전술한 가상 시점에 대한 허용 해상도를 취득 할 수 있다. 해상도 취득부(308)가 허용 해상도를 취득하는 방법은 특별하게 한정되지 않는다. 예를 들면, 해상도 취득부(308)는, 미리 정해진 허용 해상도를 기억부(204) 등의 기억매체로부터 취득 할 수 있다. 또한, 해상도 취득부(308)는, 허용 해상도를 외부 유닛에서 취득할 수도 있다. 한편, 허용 해상도는 고정 값이어도 된다. 허용 해상도의 설정 방법의 일례에 대해서는 후술한다.
스텝 S406에서, 해상도 설정부(305)는, 해상도 설정의 기준이 되는 기준점과 가상 시점 사이의 거리에 따라 피사체 형상 데이터의 해상도를 설정한다. 또한, 해상도 설정부(305)는, 가상 시점 화상 중의 기준점에 대응하는 개소의 해상도로서 지정된 해상도에 따라, 피사체 형상 데이터의 해상도를 설정 할 수 있다. 또한, 전술한 바와 같이, 가상 시점 화상의 화각(예를 들면, 초점거리) 및 해상도에 따라, 피사체 형상 데이터의 해상도를 설정 할 수 있다. 예를 들면, 해상도 설정부(305)는, 스텝 S405에서 취득된 허용 해상도에 따라, 전술한 바와 같이 피사체의 3차원 모델을 생성할 때의 공간 해상도를 산출 할 수 있다.
스텝 S407에서, 모델 생성부(306)는, 피사체의 화상군을 사용하여, 해상도 설정부(305)에 의해 설정된 해상도에 따라 피사체의 피사체 형상 데이터를 생성한다. 예를 들면, 모델 생성부(306)는, 스텝 S406에서 산출한 공간 해상도에 따라, 피사체의 3차원 모델을 생성 할 수 있다. 피사체의 3차원 모델을 생성하는 방법으로서는, 예를 들면, 시체적 교차법 또는 스테레오 매칭법과 같은 공지의 방법을 사용할 수 있다. 이러한 방법은 일본국 특개 2000-215311 등의 공지 문헌에 기재되어 있고, 상세한 설명은 생략한다. 그러나, 피사체 형상 데이터를 얻기 위한 방법은 이 방법에 한정되지 않고, 예를 들면, 여러가지 해상도를 가지는 피사체 형상 데이터가 미리 준비되어 있어도 된다.
모델 생성부(306)가 복셀에 의해 표시되는 3차원 모델을 생성할 경우, 해상도 설정부(305)에 의해 설정된 해상도를 가지는 3차원 모델을 생성 할 수 있다. 이 경우, 피사체 형상 데이터는 복셀 데이터이며, 해상도는 복셀의 크기를 표시할 수 있다. 또한, 모델 생성부(306)는, 3차원 모델로서 가상 시점에서 본 피사체의 뎁스 맵(depth map) 또는 시차 맵을 생성할 수도 있다. 이 경우, 해상도 설정부(305)는, 3차원 모델의 복셀의 크기를 설정하는 방법과 유사한 방법으로, 뎁스 값의 스텝 폭을 산출 할 수 있다. 즉, 피사체 형상 데이터는 뎁스 맵 데이터 또는 시차 맵 데이터이어도 되고, 여기에서 해상도는 심도 방향의 스텝 폭을 나타낼 수 있다.
이때, 해상도 설정부(305)에 의한 공간 해상도의 설정 방법은, 모델 생성부(306)가 생성하는 3차원 모델의 종류에 따라 적절히 변경 할 수 있다. 예를 들면, 공간 해상도는, 가상 시점 화상의 허용 해상도와, 가상 시점으로부터 피사체까지의 거리에 따라 설정 할 수 있다. 구체적으로는, 가상 시점 화상의 허용 해상도가 보다 작은 경우에, 보다 큰 허용 해상도와 비교해서 3차원 모델이 보다 세밀해지도록, 공간 해상도를 설정 할 수 있다. 또한, 가상 시점으로부터 피사체까지의 거리가 보다 짧은 경우에, 보다 긴 거리와 비교해서 3차원 모델이 보다 세밀해지도록, 공간 해상도를 설정 할 수 있다. 일례로서, 식(1)에 근거하여 공간 해상도를 산출하는 것 대신에, 가상 시점 화상의 허용 해상도가 일정한 경우에, 가상 시점으로부터 피사체까지의 거리가 길어질수록 공간 해상도가 낮아지도록, 다른 식에 근거하여 공간 해상도를 산출 할 수 있다. 또한, 미리 공간 해상도와 가상 시점으로부터 피사체까지의 거리의 관계를 표시하는 테이블을 준비하고, 이 테이블에 근거하여 공간 해상도를 설정할 수도 있다. 또한, 해상도 설정부(305)가, 가상 시점 화상의 화각이 보다 좁은 경우에, 화각이 보다 넓은 경우와 비교해서 3차원 모델이 보다 세밀해지도록, 공간 해상도를 설정할 수도 있다. 더구나, 해상도 설정부(305)는, 가상 시점 화상의 화소수가 보다 많은 경우에, 화소수가 보다 적은 경우와 비교해서 3차원 모델이 보다 세밀해지도록, 공간 해상도를 설정할 수도 있다.
스텝 S408에서, 렌더링부(307)는, 해상도에 따른 피사체 형상 데이터와, 피사체의 화상군을 사용하여, 가상 시점으로부터의 피사체의 가상 시점 화상을 생성한다. 예를 들면, 렌더링부(307)는, 스텝 S407에서 생성된 3차원 모델에 근거하여, 가상 시점에서의 가상 시점 화상을 생성할 수 있다. 가상 시점 화상을 생성하는 방법으로서는 공지의 방법을 사용할 수 있다. 이러한 방법은 일본국 특개 2000-215311과 같은 공지문헌에 기재되어 있고, 상세한 설명은 생략한다. 간단하게 일례를 들면, 렌더링부(307)는, 3차원 모델과 스텝 S404에서 얻어진 카메라 파라미터에 근거하여, 가상 시점에서의 가상 시점 화상의 주목 화소에 대응하는 피사체의 위치를 특정 할 수 있다. 다음에, 렌더링부(307)는, 스텝 S402에서 얻어진 카메라 파라미터를 참조함으로써, 카메라(101)의 촬상화상에 있어서의 이 피사체의 위치에 대응하는 화소를 특정 할 수 있다. 그리고, 렌더링부(307)는, 이렇게 해서 특정된 화소의 색정보를 사용하여, 주목 화소의 색정보를 결정 할 수 있다. 이러한 처리를 각 화소에 대해서 행함으로써, 가상 시점 화상을 생성 할 수 있다.
상기한 바와 같이, 해상도 설정부(305)는, 피사체와 가상 시점 사이의 거리와, 가상 시점 화상에 대한 피사체의 형상의 해상도로서 지정된 해상도와, 피사체 형상 데이터의 해상도를 설정 할 수 있다. 따라서, 렌더링부(307)는, 피사체와 가상 시점 사이의 거리에 관계 없이, 가상 시점 화상에 있어서의 피사체의 형상의 해상도가 소정의 해상도 이상이 되도록, 가상 시점 화상을 생성 할 수 있다. 이상이, 화상 생성장치(200)의 처리의 흐름이다. 이때, 화상 생성장치(200)는, 설정된 파라미터에 따른 해상도의 오브젝트의 화상을 포함하는 가상 시점 화상을 생성하고, 그 생성 방법은 상기에 한정되지 않는다. 예를 들면, 해상도 설정부(305)에 의해 설정된 해상도를 피사체 형상 데이터의 생성시에 반영시키는 것 대신에, 미리 정해진 해상도로 피사체 형상 데이터를 생성하고, 해상도 설정부(305)에 의해 설정된 해상도를 렌더링시에 반영시켜도 된다.
(허용 해상도를 설정하는 방법의 예)
이하에서는, 일례로서, 유저가 UI를 사용해서 허용 해상도를 입력하고, 입력된 허용 해상도를 해상도 취득부(308)가 취득할 경우에 대해 설명한다. 이 경우, 해상도 취득부(308)는, 유저가 가상 시점 화상 중의 기준점에 대응하는 개소의 해상도를 지정하기 위한 유저 인터페이스를 표시장치에게 표시시킬 수 있다.
도 6은, 공간 해상도를 설정하기 위해서 사용할 수 있는 UI의 일례를 나타낸다. 도 6에 나타내는 윈도우 601은, 표시장치(207)에 표시되는 표시 화면을 표시한다. 윈도우 601은, 윈도우 602, 슬라이드 바(603), 윈도우 604 내지 606, 윈도우 607, 및 OK 버튼(608)을 포함하고 있다. 해상도 취득부(308)는, 이러한 윈도우 601을 표시장치(207)에 표시시켜, 윈도우 601 상에서 유저가 입력한 허용 해상도를 취득할 수 있다.
윈도우 602에는 화상이 표시된다. 예를 들면, 윈도우 602에는 의사적인 가상 시점 화상을 표시 할 수 있다. 윈도우 602에 표시하는 화상은 실제로 렌더링된 가상 시점 화상이어도 되지만, 다른 화상이어도 된다. 예를 들면, 윈도우 602에는, 카메라(101)의 어느 한 개에 의해 촬상된 화상을 표시할 수도 있다. 이 경우에는, 방향이 가상 시점에 가장 가까운 카메라, 또는 위치가 가상 시점에 가장 가까운 카메라가 촬상한 화상을, 윈도우 602에 표시 할 수 있다. 또한, 해상도 취득부(308)은, 카메라(101)에 의해 촬상된 화상을, 가상 시점의 화각에 따라 확대 또는 축소한 후, 윈도우 602에 표시 할 수 있다. 윈도우 602에는, 화상 전체를 표시할 필요는 없다. 즉, 해상도 취득부(308)가 가상 시점에 가장 가까운 피사체의 화상 등, 화질에 대한 공간 해상도의 영향이 가장 큰 영역만을 표시하도록 구성해도 된다.
슬라이드 바(603)는, 가상 시점 화상의 허용 해상도를 제어하기 위해서 사용된다. 즉, 유저는 슬라이드 바(603)의 위치를 조정함으로써, 허용 해상도를 지시 할 수 있고, 이렇게 해서 지시된 허용 해상도를 해상도 취득부(308)가 취득 할 수 있다. 또한, 해상도 취득부(308)는, 선택된 허용 해상도에 따라 블러된 화상을, 윈도우 602에 표시 할 수 있다. 예를 들면, 해상도 취득부(308)는, 슬라이드 바(603)의 위치에 대응하는 허용 해상도 w[pix]를 취득하고, 직경 w의 블러가 적용된 화상을 윈도우 602에 표시 할 수 있다. 블러를 적용하는 방법으로서는, 예를 들면, 가우시언 필터 또는 평균치 필터 등의 로우패스 필터를 적용하는 방법을 들 수 있다. 이렇게, 유저 인터페이스 위에는 화상이 표시되고, 화상의 해상도는 유저가 지정한 해상도에 따라 변화된다.
윈도우 604 내지 606에 대해서는, 가상 시점 화상 생성 처리에 관한 각종 정보가 표시된다. 예를 들면, 윈도우 604에는, 현재 선택되어 있는 허용 해상도에 따라서 전술의 방법으로 해상도 설정부(305)가 산출한 공간 해상도가 수치로 표시된다. 또한, 윈도우 605에는, 윈도우 604에 표시된 공간 해상도를 사용하는 경우에, 가상 시점 화상 또는 가상 시점 동화상을 생성하기 위해서 필요하다고 추정되는 소요 시간이 표시된다. 더구나, 윈도우 606에는, 윈도우 604에 표시된 공간 해상도를 사용할 경우에 대해서 추정되는 3차원 모델의 데이터량이 표시된다.
윈도우 607에는, 공간 해상도의 설정 방법을 나타내는 선택 항목이 표시된다. 구체적으로는, 윈도우 602에는 설정 모드로서 "피사체마다" 및 "최근접 피사체"가 표시되어 있다. "피사체마다"는, 피사체마다 공간 해상도를 변하게 하는 모드를 나타내고, "최근접 피사체"는, 가상 시점에 가장 가까운 피사체 만에 근거하여 공간 해상도를 결정하는 모드를 나타낸다. 유저는, 라디오 버튼을 사용해서 선호하는 모드를 선택 할 수 있다. 피사체마다 공간 해상도를 변하게 하는 경우에는, 윈도우 604에는 대표적인 피사체, 예를 들면, 가상 시점에 가장 가까운 피사체에 대한 공간 해상도가 표시된다. 도 6에는 표시되지 않고 있지만, 특정한 주 시점까지의 거리에 따라 공간 해상도를 설정할 경우, 예를 들면, 윈도우 602에 클릭하는 것에 의해 주 시점(예를 들면, 그라운드 상의 점)를 지정가능한 유저 인터페이스를 사용할 수 있다.
유저는, 윈도우 602에 표시된 화상의 화질, 및 윈도우 604 내지 606에 표시된 수치를 보면서, 슬라이드 바(603)를 사용해서 허용 해상도를 조정 할 수 있다. 그리고, 유저가 OK 버튼(608)을 누른 경우에, 슬라이드 바(603)에 따른 허용 해상도에 따라서 해상도 설정부(305)가 산출한 공간 해상도(윈도우 604)가 가상 시점 화상의 생성에 사용되는 공간 해상도로서 설정된다.
이상의 처리를 사용하는 본 실시형태에 따르면, 가상 시점 화상을 3차원 모델에 근거하여 생성할 때에, 허용가능한 화질을 유지하면서, 연산량 또는 사용하는 메모리 용량을 저감할 수 있다. 즉, 그 결과로써 처리부하를 저감할 수 있다.
[실시형태2]
실시형태2에서는, 다시점에서 촬영된 동화상으로부터 가상 시점 영상을 생성할 때에, 프레임 사이의 해상도 변동을 억제하는 구성에 대해 설명한다. 여기에서, 가상 시점 영상은 복수의 프레임으로 구성되고, 각각의 프레임은 가상 시점 화상에 해당한다. 그리고, 각각의 가상 시점 화상은, 대략 동시에 각 카메라(101)에 의해 얻어진 동화상을 구성하는 프레임을 사용해서 생성된다.
3차원 모델의 공간 해상도가 프레임에 상관없이 일정한 경우, 이미 설명한 것과 같이 가상 시점의 위치에 따라 가상 시점 화상의 해상도 열화가 발생할 가능성이 있다. 즉, 시간방향으로 해상도의 변동이 발생한다. 본실시형태에서는, 실시형태1과 유사한 수법을 사용하여, 각 프레임 화상의 프레임마다의 가상 시점 화상의 허용 해상도가 일정하게 되도록, 간 해상도를 적절히 산출함에 의해, 프레임 사이의 해상도 변동이 억제된다.
본 실시형태에 따른 화상 생성장치의 기본적인 구성은 실시형태1과 같기 때문에, 설명을 생략한다. 이하, 실시형태2의 처리에 대해서, 도 7의 흐름도를 참조해서 설명한다.
스텝 S402 및 S405는 실시형태1과 유사하게 행해진다. 스텝 S701에 있어서, 화상 취득부(301)는 프레임 번호 n을 초기화하고, n의 값을 최초의 프레임 번호로 설정한다. 이어서, 스텝 S702에서, 화상 취득부(301)는 프레임 번호 n의 다시점 화상 데이터를 취득한다. 구체적으로는, 화상 취득부(301)는, 각각의 카메라(101)가 취득한 동화상 데이터로부터, 대략 동시에 얻어진 프레임 번호 n의 화상군을 취득한다.
스텝 S703에서, 시점 취득부(304)는, 프레임마다의 가상 시점의 위치 정보를 취득한다. 예를 들면, 시점 취득부(304)는, 프레임 번호 n에 대한 가상 시점 파라미터를 취득 할 수 있다. 가상 시점 파라미터는, 실시형태1에서 설명한 것과 같다. 스텝 S404는, 실시형태1과 마찬가지로 행해진다. 스텝 S406에 있어서, 해상도 설정부(305)는, 실시형태1과 유사한 방법으로, 프레임 번호 n에 대한 피사체 형상 데이터의 해상도를 설정한다. 즉, 해상도 설정부(305)는, 프레임마다, 기준점과 가상 시점 사이의 거리에 따라 피사체 형상 데이터의 해상도를 설정한다. 스텝 S407은, 실시형태1과 마찬가지로 행해진다. 스텝 S408에 있어서, 렌더링부(307)는, 실시형태1과 유사한 방법으로, 프레임 번호 n에 대한 가상 시점 화상을 생성한다. 즉, 렌더링부(307)는, 프레임마다, 해상도에 따른 상기 피사체 형상 데이터와, 동화상을 사용하여, 가상 시점에서의 피사체의 가상 시점 화상을 생성한다. 이러한 처리에 의해, 렌더링부(307)는, 가상 시점 영상을 생성한다.
스텝 S704에서 렌더링부(307)는, 모든 프레임을 처리했는지를 판단한다. 처리 대상의 프레임이 남아 있는 경우, 스텝 S705에서 화상 취득부(301)는 프레임 번호를 n으로부터 n+1로 갱신한다. 스텝 S704에서 모든 프레임의 처리가 완료했다고 판단된 경우에는, 처리를 종료한다.
이때, 도 7을 사용하여 설명한 상기한 처리에서는, 프레임마다 피사체 형상 데이터의 해상도가 설정되는 것으로 했지만, 이것에 한정되지 않는다. 예를 들면, 화상 생성장치(200)는, 각 프레임에 있어서의 피사체와 가상 시점의 거리를 산출하고, 피사체와 가상 시점이 가장 접근하는 프레임에 대한 상기 거리에 따라, 전체 프레임에 대한 피사체 형상 데이터의 해상도를 설정해도 된다. 즉, 처리 대상의 복수의 프레임 중, 가상 시점 화상에 있어서의 피사체의 해상도가 가장 낮아지는 프레임의 조건에 따라, 다른 프레임에 있어서의 피사체 형상 데이터의 해상도를 설정해도 된다. 또한, 같은 촬영 시점에 대응하는 복수의 가상 시점이 설정고어 복수의 가상 시점 화상이 생성되도록 하는 경우도, 마찬가지로, 가상 시점마다 피사체 형상 데이터의 해상도를 마찬가지로 설정해도 되고, 1개의 가상 시점과 기준점의 관계에 근거해서, 다른 가상 시점에 관한 피사체 형상 데이터의 해상도를 설정해도 된다.
실시형태1에서 설명한 바와 같이, 가상 시점으로부터 가상 시점에 가장 가까운 피사체 또는 주 시점까지의 거리와, 이 피사체 또는 주 시점에 대한 허용 해상도에 따라서 공간 해상도를 설정 할 수 있다. 그리고, 실시형태2에 있어서, 해상도 설정부(305)는, 가상 시점 영상 중의 기준점에 대응하는 개소의 해상도가, 각각의 프레임에 대해서 일정하게 되도록, 소정 범위 내가 되도록, 또는 소정의 해상도 이상이 되도록, 피사체 형상 데이터의 해상도를 설정 할 수 있다. 즉, 허용 해상도로서는, 각각의 프레임에 대해서 일정한 값, 또는 소정 범위 내로부터 선택된 값을 사용할 수 있다. 이 경우, 이 피사체 또는 주 시점 부근에 대한 프레임 사이의 해상도 변동을 억제할 수 있다. 또한, 실시형태1에서 설명한 바와 같이, 피사체까지의 거리 및 허용 해상도에 따라, 피사체마다 공간 해상도를 변화시킬 수 있다. 이 경우, 피사체마다 프레임 사이의 해상도 변동을 억제 할 수 있다.
본 실시형태에 있어서도, 허용 해상도의 설정은, 도 6에 나타내는 UI를 사용해서 유저가 행할 수 있다. 이 경우, 동화상 또는 가상 시점 영상 중, 대표적인 1프레임 만을 윈도우 602에 표시할 수 있다. 예를 들면, 피사체와 가상 카메라(503)가 가장 근접하고 있는 프레임을 윈도우 602에 표시하고, 이 프레임에 근거하여 허용 해상도를 설정 할 수 있다. 이러한 방법에 따르면, 가장 엄격한 조건에서 허용 해상도를 설정 할 수 있다. 또한, 다수의 프레임이 동시에 표시된 상태에서, 슬라이드 바에 의한 허용 해상도의 조정을 행하는 UI를 채용할 수도 있다. 이렇게 하여, 설정된 허용 해상도를 모든 프레임에 대하여 적용 할 수 있다. 단, 허용 해상도는, 모든 프레임에 대해서 엄밀하게 일정할 필요는 없고, 프레임마다 다소 변동해도 된다.
본 실시형태에 따르면, 가상 시점 영상에 있어서의 시간방향의 해상도 변동을 억제하고, 유저에게 있어서 위화감이 없는 가상 시점 영상을 생성하는 것이 가능하게 된다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (18)

  1. 복수의 카메라에 의해 복수의 방향에서 대상 영역에 대한 촬영에 근거하여 얻어지는 화상을 취득하는 화상 취득 수단과,
    가상 시점의 위치를 나타내는 시점 정보를 취득하는 정보 취득 수단과,
    상기 대상 영역 내의 기준 위치와 상기 정보 취득 수단에 의해 취득되는 시점 정보에 근거하여, 상기 대상 영역 내의 오브젝트의 해상도에 관한 파라미터-상기 오브젝트의 3차원 형상을 나타내는 데이터인 형상 데이터의 구성요소의 사이즈이다-를 설정하는 설정 수단과,
    상기 화상 취득 수단에 의해 취득되는 화상에 근거하여, 상기 설정 수단에 의해 설정된 파라미터에 따른 해상도를 갖는 상기 오브젝트의 형상 데이터를 생성하고, 상기 생성된 형상 데이터에 근거하여, 상기 화상 취득 수단에 의해 취득되는 화상과, 상기 정보 취득 수단에 의해 취득되는 시점 정보와, 상기 오브젝트의 화상을 포함하는 가상 시점 화상을 생성하는 생성 수단을 구비한 화상 처리장치.
  2. 제 1항에 있어서,
    상기 정보 취득 수단에 의해 취득되는 시점 정보에 근거하여, 상기 기준위치와 상기 시점 정보가 나타내는 가상 시점의 위치 간의 거리를 판정하는 판정 수단을 더 구비하고,
    상기 설정 수단은, 상기 판정 수단에 의해 판정된 거리에 근거하여, 상기 해상도에 관한 파라미터를 설정하는 화상 처리장치.
  3. 제 1항에 있어서,
    상기 복수의 카메라의 위치를 나타내는 카메라 정보를 취득하는 카메라 정보 취득 수단을 더 구비하고,
    상기 설정 수단은, 상기 기준위치, 상기 시점 정보, 및 상기 카메라 정보 취득 수단에 의해 취득되는 카메라 정보에 근거하여, 상기 파라미터를 설정하는 화상 처리장치.
  4. 제 1항에 있어서,
    가상 시점 화상의 해상도를 제어하기 위한 지시를 접수하는 접수수단을 더 구비하고,
    상기 설정 수단은, 상기 기준위치, 상기 시점 정보, 및 상기 접수수단에 의해 접수된 지시에 근거하여, 상기 파라미터를 설정하는 화상 처리장치.
  5. 제 1항에 있어서,
    상기 기준 위치는, 상기 대상 영역 내의 오브젝트의 위치인 화상 처리장치.
  6. 제 1항에 있어서,
    상기 설정 수단은, 복수의 기준 위치인 복수의 오브젝트의 위치와, 상기 정보 취득 수단에 의해 취득되는 시점 정보에 근거하여, 상기 복수의 오브젝트의 각각의 해상도에 관한 파라미터를 설정하는 화상 처리장치.
  7. 제 1항에 있어서,
    상기 설정 수단은, 상기 정보 취득 수단에 의해 취득되는 상기 시점 정보에 근거하여 상기 대상 영역 내의 복수의 오브젝트 중 1개를 선택하고, 상기 기준 위치인 해당 선택된 오브젝트의 위치와 상기 시점 정보에 근거하여, 상기 파라미터를 설정하는 화상 처리장치.
  8. 제 7항에 있어서,
    상기 설정 수단에 의해 선택되는 오브젝트는, 상기 복수의 오브젝트 중에서, 상기 시점 정보가 나타내는 가상 시점에 가장 가까운 오브젝트인 화상 처리장치.
  9. 제 1항에 있어서,
    상기 설정 수단은, 상기 기준 위치인 프레임 화상에 대한 오브젝트의 위치와, 상기 정보 취득 수단에 의해 취득되는 시점 정보에 근거하여, 상기 가상 시점 화상의 복수의 프레임 화상의 각각의 프레임 화상에 대한 오브젝트의 해상도에 관한 파라미터를 설정하는 화상 처리장치.
  10. 제 1항에 있어서,
    상기 기준 위치는 상기 복수의 카메라가 향하는 위치인 화상 처리장치.
  11. 삭제
  12. 제 1항 내지 제 10항 중 어느 한 항에 있어서,
    상기 정보 취득 수단에 의해 취득되는 시점 정보에는, 가상 시점의 방향을 나타내는 정보 및 가상 시점 화상의 화각을 나타내는 정보가 포함되는 화상 처리장치.
  13. 삭제
  14. 삭제
  15. 제 1항 내지 제 10항 중 어느 한 항에 있어서,
    상기 형상 데이터의 데이터 사이즈에 따른 상기 가상 시점 화상을 생성하기 위한 처리 시간을 표시부에 표시하게 하는 표시 제어 수단을 더 구비한 화상 처리장치.
  16. 제 1항 내지 제 10항 중 어느 한 항에 있어서,
    상기 설정 수단은, 가상 시점 화상의 복수의 프레임 화상에 대한 기준 위치의 해상도 파라미터가 소정의 범위 내에 포함되도록, 상기 파라미터를 더 설정하는 화상 처리장치.
  17. 복수의 카메라에 의해 복수의 방향에서 대상 영역에 대한 촬영에 근거하여 얻어지는 화상을 취득하는 단계와,
    가상 시점의 위치를 나타내는 시점 정보를 취득하는 단계와,
    상기 대상 영역 내의 기준 위치와 상기 취득된 시점 정보에 근거하여, 상기 대상 영역 내의 오브젝트의 해상도에 관한 파라미터-상기 오브젝트의 3차원 형상을 나타내는 데이터인 형상 데이터의 구성요소의 사이즈이다-를 설정하는 단계와,
    상기 취득된 화상에 근거하여, 상기 설정된 파라미터에 따른 해상도를 갖는 상기 오브젝트의 형상 데이터를 생성하는 단계와,
    상기 생성된 형상 데이터에 근거하여, 상기 취득된 화상과, 상기 취득된 시점 정보와, 상기 오브젝트의 화상을 포함하는 가상 시점 화상을 생성하는 단계를 포함하는 방법.
  18. 컴퓨터를 청구항 1 내지 10 중 어느 한 항에 기재된 화상 처리장치로서 기능시키기 위해, 기억매체에 기억된 컴퓨터 프로그램.
KR1020180088921A 2017-08-10 2018-07-31 화상 처리장치, 방법 및 컴퓨터 프로그램 KR102316061B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2017-155882 2017-08-10
JP2017155882A JP7033865B2 (ja) 2017-08-10 2017-08-10 画像生成装置、画像生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
KR20190017653A KR20190017653A (ko) 2019-02-20
KR102316061B1 true KR102316061B1 (ko) 2021-10-22

Family

ID=63207508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180088921A KR102316061B1 (ko) 2017-08-10 2018-07-31 화상 처리장치, 방법 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US10872462B2 (ko)
EP (1) EP3442225B1 (ko)
JP (1) JP7033865B2 (ko)
KR (1) KR102316061B1 (ko)
CN (1) CN109389545B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902243B2 (en) * 2016-10-25 2021-01-26 Deep North, Inc. Vision based target tracking that distinguishes facial feature targets
JP6482696B2 (ja) * 2017-06-23 2019-03-13 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
CN110008802B (zh) * 2018-12-04 2023-08-29 创新先进技术有限公司 从多个脸部中选择目标脸部及脸部识别比对方法、装置
WO2020188929A1 (ja) * 2019-03-18 2020-09-24 ソニー株式会社 撮像装置、情報処理方法、およびプログラム
CN113826378B (zh) * 2019-05-16 2024-05-07 佳能株式会社 布置确定装置、系统、布置确定方法和存储介质
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7423251B2 (ja) * 2019-10-25 2024-01-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7290546B2 (ja) * 2019-10-29 2023-06-13 Kddi株式会社 ３ｄモデル生成装置および方法
WO2021100681A1 (ja) * 2019-11-20 2021-05-27 パナソニックＩｐマネジメント株式会社 三次元モデル生成方法及び三次元モデル生成装置
WO2022133800A1 (zh) * 2020-12-23 2022-06-30 京东方科技集团股份有限公司 移位寄存器及其驱动方法、栅极驱动器、显示装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044569A (ja) * 2012-08-27 2014-03-13 Xacti Corp 電子機器

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3593466B2 (ja) 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP2000236535A (ja) 1999-02-15 2000-08-29 P I Ii:Kk 動画像情報処理方法および装置ならびに動画像情報配信方法
WO2001043077A1 (fr) * 1999-12-06 2001-06-14 Fujitsu Limited Procede et dispositif d'affichage d'images
JP2002366935A (ja) 2001-06-12 2002-12-20 Minolta Co Ltd ボリュームデータの生成方法および装置並びにコンピュータプログラム
EP1538536A1 (en) * 2003-12-05 2005-06-08 Sony International (Europe) GmbH Visualization and control techniques for multimedia digital content
WO2010023580A1 (en) * 2008-08-29 2010-03-04 Koninklijke Philips Electronics, N.V. Dynamic transfer of three-dimensional image data
US9250704B2 (en) * 2009-03-25 2016-02-02 Sony Corporation Information processing device and information processing method
US8655632B2 (en) * 2009-09-03 2014-02-18 Schlumberger Technology Corporation Gridless geological modeling
JP5456020B2 (ja) * 2009-10-30 2014-03-26 キヤノン株式会社 情報処理装置および方法
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
JP5562103B2 (ja) * 2010-04-16 2014-07-30 キヤノン株式会社 画像処理装置および方法
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
JP6214236B2 (ja) * 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
US20160140733A1 (en) * 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
KR102375411B1 (ko) * 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
KR102167988B1 (ko) * 2015-09-16 2020-10-20 주식회사바텍 3차원 엑스선 영상 표시 장치
JP6674247B2 (ja) * 2015-12-14 2020-04-01 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Ｃｙｇａｍｅｓ 複合現実環境を作成するためのシステム等
EP3264372A1 (en) * 2016-06-30 2018-01-03 Alcatel Lucent Image processing device and method
JP6419128B2 (ja) * 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10762653B2 (en) * 2016-12-27 2020-09-01 Canon Kabushiki Kaisha Generation apparatus of virtual viewpoint image, generation method, and storage medium
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
JP6425847B1 (ja) 2017-08-14 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014044569A (ja) * 2012-08-27 2014-03-13 Xacti Corp 電子機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Guannan Li, et al., "Free-viewpoint video relighting from multi-view sequence under", 2013년.11.15.*

Also Published As

Publication number Publication date
JP7033865B2 (ja) 2022-03-11
EP3442225A1 (en) 2019-02-13
US10872462B2 (en) 2020-12-22
CN109389545B (zh) 2023-05-26
JP2019036790A (ja) 2019-03-07
US20190051035A1 (en) 2019-02-14
EP3442225B1 (en) 2022-11-02
CN109389545A (zh) 2019-02-26
KR20190017653A (ko) 2019-02-20

Similar Documents

Publication Publication Date Title
KR102316061B1 (ko) 화상 처리장치, 방법 및 컴퓨터 프로그램
US10916048B2 (en) Image processing apparatus, image processing method, and storage medium
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
KR102387891B1 (ko) 화상 처리장치, 화상 처리장치의 제어방법, 및 컴퓨터 판독가능한 기억매체
US20180098047A1 (en) Imaging system, image processing apparatus, image processing method, and storage medium
US11589023B2 (en) Image processing apparatus, image processing method, and storage medium
US10742852B2 (en) Image processing apparatus, object shape estimation method, and storage medium
US10719975B2 (en) Information processing apparatus and method of generating three-dimensional model
US20150292871A1 (en) Image processing apparatus and image processing method
WO2021031210A1 (zh) 视频处理方法和装置、存储介质和电子设备
US11087482B2 (en) Apparatus that generates three-dimensional shape data, method and storage medium
WO2017187935A1 (en) Information processing apparatus, information processing method, and program
US11328494B2 (en) Image processing apparatus, image processing method, and storage medium
JP2022064148A (ja) 画像処理装置、画像処理方法
JP6915016B2 (ja) 情報処理装置及び方法、情報処理システム、ならびにプログラム
KR102209908B1 (ko) 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법
CN117528236A (zh) 虚拟摄像机的调整方法和装置
JP2015099483A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant