KR20180065642A - 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치 - Google Patents

카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR20180065642A
KR20180065642A KR1020160166776A KR20160166776A KR20180065642A KR 20180065642 A KR20180065642 A KR 20180065642A KR 1020160166776 A KR1020160166776 A KR 1020160166776A KR 20160166776 A KR20160166776 A KR 20160166776A KR 20180065642 A KR20180065642 A KR 20180065642A
Authority
KR
South Korea
Prior art keywords
image
focal
viewpoint
source
generating
Prior art date
Application number
KR1020160166776A
Other languages
English (en)
Other versions
KR102534875B1 (ko
Inventor
배성준
김도형
김재우
박성진
손욱호
장호욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160166776A priority Critical patent/KR102534875B1/ko
Priority to US15/834,237 priority patent/US10484658B2/en
Publication of KR20180065642A publication Critical patent/KR20180065642A/ko
Application granted granted Critical
Publication of KR102534875B1 publication Critical patent/KR102534875B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치가 개시된다. 임의시점 영상을 생성하는 방법은 동일 시점에 카메라어레이(camera array)에 포함된 복수의 카메라에 의해 촬영된 원천 영상 집합(original image set)을 적어도 하나의 초점 거리마다 각각 획득하는 단계, 상기 적어도 하나의 초점 거리마다 상기 원천 영상 집합으로부터 다중초점 영상을 생성함으로써, 다중초점 영상 집합(multi-focus image set)을 획득하는 단계 및 상기 다중초점 영상 집합으로부터 시점이동하려는 위치에서의 시점이동 영상(arbitrary view-point image)을 생성하는 단계를 포함한다. 따라서, 일관된 영상품질을 획득할 수 있다.

Description

카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치{METHOD FOR GENERATING IMAGE OF ARBITRARY VIEW-PONT USING CAMERA ARRAY AND MULTI-FOCUS IMAGE AND APPARATUS THEREOF}
본 발명은 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 깊이 정보 및 시점 차이를 이용하지 않고 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치에 관한 것이다.
최근 영상 기술이 발전함에 따라 3D 영상 컨텐츠가 보급되어 각 영화 상영관에서는 3차원 입체 영상으로 영화 컨텐츠를 상영하고, 각 가정에서도 3D TV가 보급되어 3D 영상 컨텐츠가 활발하게 이용되고 있다.
이러한 3차원 입체 영상은 보는 시점 방향에 따라 다른 영상을 제공해야 하므로 임의의 시점 또는 자유시점에서의 영상을 생성하는 기술이 필수적으로 요구된다.
종래에 임의시점 영상을 생성하는 방법 중 하나는 두개의 카메라를 이용하여 촬영된 영상 사이의 시점 차이를 이용하는 방법이다.
이러한 방법은 양안의 시차에 따른 입체시를 이용하는데, 구체적으로 사람의 두 눈은 평균적으로 65mm 떨어져 있고 따라서 같은 장면을 보더라도 망막에 맺히는 상은 달라질 수 있다. 이 때문에 물체의 원근을 인식하며, 이러한 생리적 요인을 반영하여 두 개의 카메라가 같은 방향을 향하는 평행형 카메라(parallel camera)를 이용하여 촬영된 두 개의 영상 사이의 시점 차이로부터 임의시점 영상을 생성할 수 있다. 그러나 이 방법은 임의시점 영상을 생성하는데 필요한 계산량이 매우 많아 영상 생성에 걸리는 시간이 매우 큰 문제가 있다.
임의시점 영상을 생성하는 또 다른 방법 중 하나는 깊이 정보를 이용하는 방법이다. 이것은 주어진 깊이 정보를 이용하여 임의시점의 영상을 생성하는데, 깊이 정보의 양 및 정확도에 따라 생성된 임의시점 영상이 품질 편차가 매우 심할 수 있으며, 이 또한 앞선 방법과 마찬가지로 깊이 정보를 계산하는데 많은 계산량이 필요로 하여 합성에 걸리는 시간이 매우 큰 문제점이 있다.
따라서, 종래의 방법과 다른 방법으로 임의시점 영상을 생성함으로써 생성에 걸리는 시간을 단축시키고 필요로하는 데이터양을 줄임과 동시에 일관된 임의시점 영상 품질을 유지해야할 필요성이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 임의시점 영상 생성 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 임의시점 영상 생성 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명은, 임의시점 영상 생성 방법을 제공한다.
여기서, 임의시점 영생 생성 방법은, 동일 시점에 카메라어레이(camera array)에 포함된 복수의 카메라에 의해 촬영된 원천 영상 집합(original image set)을 적어도 하나의 초점 거리마다 각각 획득하는 단계, 적어도 하나의 초점 거리마다 원천 영상 집합으로부터 다중초점 영상을 생성함으로써, 다중초점 영상 집합(multi-focus image set)을 획득하는 단계 및 다중초점 영상 집합으로부터 시점이동하려는 위치에서의 시점이동 영상(arbitrary view-point image)을 생성하는 단계를 포함한다.
여기서, 적어도 하나의 초점 거리마다 각각 획득하는 단계 이후에, 카메라어레이의 속성을 반영하여 원천 영상 집합에 대한 보정을 수행하는 단계를 포함할 수 있다.
여기서, 원천 영상의 집합에 대한 보정을 수행하는 단계는, 원천 영상 집합을 이용하여 카메라어레이에 속한 각각의 카메라에 대한 특성 또는 위치를 획득하는 단계 및 획득된 특성 또는 위치를 반영하여 원천 영상 집합에 속한 각각의 원천 영상을 보정하는 단계를 포함할 수 있다.
여기서, 다중초점 영상 집합을 획득하는 단계는, 원천 영상 집합 내의 각각의 원천 영상을 카메라어레이에 속한 카메라 각각의 위치좌표만큼 평행이동하는 단계 및 평행이동된 각각의 원천 영상에 대하여 평균을 취하여 다중초점 영상을 생성하는 단계를 포함할 수 있다.
여기서, 카메라 각각의 위치좌표는, 카메라어레이의 기준 카메라(reference camera)를 중심으로, x와 y방향의 픽셀좌표에 의해 결정될 수 있다.
여기서, 평행이동하는 단계는, 적어도 하나의 초점 거리 중에서 선정된 기준 초점 거리와, 다른 초점 거리의 상대적 거리를 기초로 카메라 각각의 위치좌표를 보정하여 평행이동할 수 있다.
여기서, 시점이동 영상을 획득하는 단계는, 획득된 다중초점 영상 집합 내의 각각의 다중초점 영상을 시점이동하는 방향과 거리에 따라 평행이동하는 단계 및 평행이동된 각각의 다중초점 영상에 대하여 평균을 취함으로써 시점이동 영상을 생성하는 단계를 포함할 수 있다.
여기서, 평행이동하는 단계는, 상대적 거리를 기초로 시점이동하려는 거리를 보정하여 평행이동할 수 있다.
여기서, 시점이동 영상을 생성하는 단계는, 적어도 하나의 초점 거리에서 평행이동된 각각의 원천 영상의 픽셀값들이 갖는 분산도를 반영하여 시점이동 영상을 생성하는 단계를 포함할 수 있다.
여기서, 분산도는, 평행이동된 각각의 원천 영상의 픽셀값과 생성된 다중초점 영상의 픽셀값 사이의 편차를 이용하여 적어도 하나의 초점 거리마다 산출될 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 임의시점 영상 생성 장치를 제공한다.
여기서, 임의시점 영상 생성 장치는, 적어도 하나의 명령어를 수행하는 프로세서(processor) 및 적어도 하나의 명령어를 저장하는 메모리(memory)를 포함한다.
여기서, 프로세서는, 동일 시점에 카메라어레이(camera array)에 포함된 복수의 카메라에 의해 촬영된 원천 영상 집합(original image set)을 적어도 하나의 초점 거리마다 각각 획득하고, 적어도 하나의 초점 거리마다 원천 영상 집합으로부터 다중초점 영상을 생성함으로써, 다중초점 영상 집합(multi-focus image set)을 획득하고, 다중초점 영상 집합으로부터 시점이동하려는 위치에서의 시점이동 영상(arbitrary view-point image)을 생성할 수 있다.
여기서, 프로세서는, 카메라어레이의 속성을 반영하여 원천 영상 집합에 대한 보정을 수행할 수 있다.
여기서, 프로세서는, 원천 영상 집합을 이용하여 카메라어레이에 속한 각각의 카메라에 대한 특성 또는 위치를 획득하고, 획득된 특성 또는 위치를 반영하여 원천 영상 집합에 속한 각각의 원천 영상을 보정할 수 있다.
여기서, 프로세서는, 원천 영상 집합 내의 각각의 원천 영상을 카메라어레이에 속한 카메라 각각의 위치좌표만큼 평행이동하고, 평행이동된 각각의 원천 영상에 대하여 평균을 취하여 다중초점 영상을 생성할 수 있다.
여기서, 카메라 각각의 위치좌표는, 카메라어레이의 기준 카메라(reference camera)를 중심으로, x와 y방향의 픽셀좌표에 의해 결정될 수 있다.
여기서, 프로세서는, 적어도 하나의 초점 거리 중에서 선정된 기준 초점 거리와, 다른 초점 거리의 상대적 거리를 기초로 카메라 각각의 위치좌표를 보정하여 평행이동할 수 있다.
여기서, 프로세서는, 획득된 다중초점 영상 집합 내의 각각의 다중초점 영상을 시점이동하는 방향과 거리에 따라 평행이동하고, 평행이동된 각각의 다중초점 영상에 대하여 평균을 취함으로써 시점이동 영상을 생성할 수 있다.
여기서, 프로세서는, 상대적 거리를 기초로 시점이동하려는 방향과 거리를 보정하여 다중초점 영상을 평행이동할 수 있다.
여기서, 프로세서는, 적어도 하나의 초점 거리에서 평행이동된 각각의 원천 영상의 픽셀값들이 갖는 분산도를 반영하여 시점이동 영상을 생성할 수 있다.
여기서, 분산도는, 평행이동된 각각의 원천 영상의 픽셀값과 생성된 다중초점 영상의 픽셀값 사이의 편차를 이용하여 적어도 하나의 초점 거리마다 산출될 수 있다.
상기와 같은 본 발명에 따른 임의시점의 영상을 생성하는 방법 또는 장치를 이용할 경우에는 깊이정보와 시점차이 정보 없이 영상을 합성하므로 일관된 영상품질을 획득할 수 있다.
또한, 임의시점의 영상을 생성하는데 걸리는 시간이 짧아 초당 30프레임 이상의 처리가 필요한 동영상 수준의 임의시점 영상 생성이 수반되는 애플리케이션에도 사용될 수 있는 장점이 있다.
또한, 분산도를 이용하여 임의시점 영상의 품질을 개선시킬 수 있고, 분산도는 픽셀 단위로 계산되므로 계산량 소모가 적은 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 임의시점 영상 생성 방법에 대한 흐름도이다.
도 2는 본 발명의 카메라 어레이에 따른 원천 영상 집합을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 원천 영상 집합을 획득한 후의 추가 단계에 대한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 다중초점 영상 집합을 획득하는 단계를 구체화한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 원천 영상 사이의 초점을 재조정하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 카메라어레이의 좌표를 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 기준 초점 거리 및 다중초점 영상에 대한 예시도이다.
도 8은 어느 하나의 다중초점 영상에서 시점이동되는 방법을 설명하기 위한 예시도이다.
도 9는 다중초점 영상마다 시점이동되는 차이를 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시예에 따른 임의시점 영상 생성 장치에 대한 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 임의시점 영상 생성 방법에 대한 흐름도이다. 도 2는 본 발명의 카메라 어레이에 따른 원천 영상 집합을 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 임의시점 영상 생성 방법은, 동일 시점에 카메라 어레이(camera array)에 포함된 복수의 카메라에 의해 촬영된 원천 영상 집합(original image set)을 적어도 하나의 초점 거리마다 각각 획득하는 단계(S200), 적어도 하나의 초점 거리마다 원천 영상 집합으로부터 다중초점 영상을 생성함으로써, 다중초점 영상 집합(multi-focus image set)을 획득하는 단계(S210) 및 다중초점 영상 집합으로부터 시점이동하려는 위치에서의 시점이동 영상(arbitrary view-point image)을 생성하는 단계(S220)를 포함할 수 있다.
여기서, 임의시점 영상 생성 방법은 후술하는 임의시점 영상 생성 장치에 의해 수행될 수 있고, 임의시점 영상 생성 장치의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
도 2를 참조하면, 본 발명에서 개시하는 카메라어레이(20)는 카메라(21)의 집합으로서, 예를 들면 가로(row) m개, 세로(column) n개로 총 m×n 개의 카메라가 배열될 수 있다.
여기서 카메라(21) 각각은 미리 결정된 해상도를 갖는 장면을 촬영할 수 있고, 예를 들면, n번째 카메라(21)가 촬영한 특정 해상도의 장면을 Ln 으로, i번째 카메라가 촬영한 특정 해상도의 장면을 Li로 지칭할 수 있다. 이처럼, 카메라어레이(20)를 적어도 하나의 초점 거리에 대해서 촬영한다면 하나의 초점 거리에서는 m×n 개의 원천 영상을 획득할 수 있고, 이때 어느 하나의 초점 거리에서 촬영된 m×n 개의 원천 영상을 원천 영상 집합으로 지칭할 수 있다.
해상도는 카메라의 종류, 촬영 의도나 촬영 대상물의 크기 등에 따라 달리 결정될 수 있고, 카메라 종속적이거나 사용자에 의해 각각의 카메라(21)에 입력되어 설정될 수 있다.
본 발명에서는 m×n 개의 카메라로 구성된 카메라 어레이를 기초로 설명하고, 가로 세로 각각 홀수개의 카메라로 구성되는 것이 바람직할 수 있으나, 이에 한정되는 것이 아니고, 다양한 형태와 개수로 배열될 수 있는 것으로 이해되어야 한다.
도 3은 본 발명의 일 실시예에 따른 원천 영상 집합을 획득한 후의 추가 단계에 대한 흐름도이다.
카메라어레이에 포함된 각각의 카메라에 의해 촬영된 원천 영상은 카메라어레이에 포함된 카메라의 위치가 서로 상이하고 카메라 각각 또한 모두 동일한 특성을 갖지 않을 수 있기 때문에 이러한 차이를 보정할 필요가 있을 수 있다.
따라서, 도 3을 참조하면 도 1에서의 적어도 하나의 초점 거리마다 각각 획득하는 단계(S200) 이후에, 상기 카메라어레이의 속성을 반영하여 상기 원천 영상 집합에 대한 보정을 수행하는 단계를 포함할 수 있다.
구체적으로, 원천 영상의 집합에 대한 보정을 수행하는 단계는, 원천 영상 집합을 이용하여 카메라어레이에 속한 각각의 카메라에 대한 특성 또는 위치를 획득하는 단계(S201) 및 획득된 특성 또는 위치를 반영하여 원천 영상 집합에 속한 각각의 원천 영상을 보정하는 단계(S202)를 포함할 수 있다.
여기서, 특성 또는 위치를 획득하는 과정은 사용자에 의해 입력될 수도 있고, 별도의 측정 장치(calibration device)에 의해 측정된 데이터 또는 카메라어레이나 카메라에 내장된 데이터를 수신받아 획득될 수 있다.
여기서, 카메라에 대한 특성 또는 위치를 획득하는 단계(S201) 이후에 획득된 특성 또는 위치에 대한 측정값을 저장하는 단계를 더 포함할 수 있다.
여기서, 원천 영상을 보정하는 구체적인 방법은 획득된 특성 또는 위치에 따라 달라질 수 있고 본 발명이 속하는 기술분야의 통상의 기술자에 따라 다양한 방법이 적용될 수 있어 자세한 설명은 생략한다.
도 4는 본 발명의 일 실시예에 따른 다중초점 영상 집합을 획득하는 단계를 구체화한 흐름도이다. 도 5는 본 발명의 일 실시예에 따른 원천 영상 사이의 초점을 재조정하는 과정을 설명하기 위한 예시도이다. 도 6은 본 발명의 일 실시예에 따른 카메라어레이의 좌표를 설명하기 위한 예시도이다. 도 7은 본 발명의 일 실시예에 따른 기준 초점 거리 및 다중초점 영상에 대한 예시도이다.
도 4를 참조하면, 도 1에서의 다중초점 영상 집합을 획득하는 단계(S210)는, 상기 원천 영상 집합 내의 각각의 원천 영상을 상기 카메라어레이에 속한 카메라 각각의 위치좌표만큼 평행이동하는 단계(S211) 및, 평행이동된 각각의 원천 영상에 대하여 평균을 취하여 다중초점 영상을 생성하는 단계(S212)를 포함할 수 있다.
도 5를 참조하면, 어느 하나의 초점 거리에서 촬영된 원천 영상들(50, 51, 52)은 카메라어레이에서의 촬영된 카메라 위치가 일부 상이한 까닭에 같은 시점(view-point)을 서로 다른 픽셀 좌표로 촬영할 수 있다. 따라서, 촬영된 원천 영상을 재조정하는 과정이 필요할 수 있다.
구체적으로 설명하면, 기준 카메라에 의해 촬영된 원천 영상(51, LR(x,y))과 다른 제1 카메라에 의해 촬영된 원천 영상(50, Lj(x,y)) 및 제2 카메라에 의해 촬영된 원천 영상(52, Li(x,y))는 서로 카메라어레이에서의 좌표값 차이(Dj, Di)를 고려하여 원천영상을 재조정할 필요가 있다.
이하에서 기준 카메라 및 카메라어레이의 좌표를 설명할 수 있다.
도 6을 참조하면, 카메라어레이에 포함된 카메라에서 좌표를 결정하는 기준이 되는 기준 카메라(reference camera)가 설정될 수 있다. 예를 들면, 카메라 어레이의 정 중앙에 위치한 카메라(60)를 기준 카메라로 설정할 수 있고, 기준 카메라의 좌표를 (0,0)으로 설정할 수 있다.
따라서, 나머지 카메라 각각의 위치좌표는, 상기 카메라어레이의 기준 카메라(reference camera)를 중심으로, x와 y방향의 픽셀좌표에 의해 결정될 수 있다.
예를 들면, 도 6의 3번으로 지시된 카메라는 기준 카메라(60)로부터 y방향으로 2칸 위에 위치하고 있어 단순히 카메라어레이의 좌표에 따를 때 (0, 2)가 될 수 있으나, 영상 보정에 카메라어레이의 위치차이를 반영하기 위해서는 픽셀 단위로 표현되는 것이 바람직할 수 있다. 따라서, (0, 2)에서 카메라어레이의 한칸 사이의 거리를 픽셀단위로 환산한 값만큼을 곱한 좌표(Dx3, Dy3)가 각각의 카메라의 좌표값이 될 수 있다.
이처럼, x와 y방향의 좌표값은 픽셀 단위로 표현됨으로써 원천 영상을 재조정할 때 그대로 적용할 수 있다.
다시 도 5를 참조하면, 이와 같이 결정된 제1 카메라의 위치좌표(Dj)만큼 제1 카메라의 원천 영상(50)을 평행이동할 수 있고, 제2 카메라의 위치좌표(Di)만큼 제2 카메라의 원천 영상(52)을 평행이동할 수 있다.
여기서 평행이동할 때 초점 거리에 따라 같은 시점에 대한 픽셀 좌표값이 변동될 수 있으므로 이를 반영해야 하며 따라서, 초점 거리 사이의 상대적 거리를 기초로 보정할 수 있는데, 이에 대하여 이하에서 설명할 수 있다.
도 7을 참조하면, 서로 다른 적어도 하나의 초점 거리에 따라 각각 원천 영상 집합이 촬영되고, 이때, 적어도 하나의 초점 거리 중에서 하나의 기준 초점 거리(αμo)가 선정될 수 있는데, 선정된 기준 초점 거리를 기초로 다른 초점 거리와의 상대적 거리(αμ1 , αμ2 , αμ (-1), αμ (-2))를 결정할 수 있다.
예를 들면, 기준 초점 거리와의 상대적 거리 αμ1 과 αμ2 이 실제 거리상 1m 와 2m 였다면 1.0 과 2.0으로 설정할 수 있다. 다만, 이때 각 초점 거리와 기준 초점 거리의 상대적 거리는 실제 거리 비율을 유지하는 한도에서 달리 설정될 수 있으며, 더 상세하게는 초점 거리 상호간의 실제 거리, 카메라어레이의 카메라 상호간의 거리를 고려하여 설정될 수 있고, 각 카메라좌표값의 평행이동 계수로서 같은 시점에서의 픽셀값을 도출할 수 있도록 실험적으로 결정될 수도 있다.
따라서, 상기 내용을 정리하여 다시 도 4 및 도 5를 참조하면 평행이동하는 단계(S211)는, 상기 적어도 하나의 초점 거리 중에서 선정된 기준 초점 거리와, 다른 초점 거리의 상대적 거리를 기초로 상기 카메라 각각의 위치좌표를 보정하여 평행이동할 수 있다.
구체적으로, 평행이동된 원천영상은 다음의 수학식 1과 같이 결정될 수 있다.
Figure pat00001
여기서, L i (x, y)는 i번째 카메라에서 촬영된 원천 영상을 의미할 수 있고, x, y는 원천 영상의 픽셀 좌표를 의미할 수 있다. 또한, Dx i , Dy i 는 i번째 카메라의 카메라 위치의 x좌표와 y좌표를 각각 의미할 수 있고, α μ 는 촬영된 초점 거리와 기준 초점 거리 사이의 상대적 거리를 의미할 수 있다.
즉 원천 영상 L i (x, y)를 x 축으로 α μ · Dx i 만큼, y축으로 α μ · Dy i 만큼 평행이동할 수 있다.
다음으로, 평행이동된 원천영상들의 각 픽셀값에 대하여 평균을 취함으로써 다중초점 영상(F μ ( x,y ))이 생성될 수 있는데, 구체적으로 다음의 수학식 2와 같이 결정될 수 있다.
Figure pat00002
여기서, i는 각각의 카메라를 의미하며, I는 카메라 어레이의 카메라 집합, |I|는 카메라 어레이에 포함된 카메라의 개수를 의미할 수 있다.
여기서, 다중초점 영상은 하나의 초점 거리마다 생성될 수 있으므로, 도 7을 다시 참조하면, 초점 거리마다 각각의 다중초점 영상(F μ (-2), F μ (-1), F μ0 , F μ1 , F μ2 )이 생성되어 다중초점 영상 집합을 획득할 수 있다.
이하에서는 도 1에서의 시점이동 영상을 생성하는 단계(S220)를 상세하게 설명한다.
도 8은 어느 하나의 다중초점 영상에서 시점이동되는 방법을 설명하기 위한 예시도이다.
도 8을 참조하면, 다중초점 영상에 특정 물체(object)에 대하여 화살표가 가리키는 방향으로 시점이동할 수 있고, 이때 시점이동되는 각도 방향(θ) 및 시점이동되는 거리(δ) 가 결정될 수 있다.
따라서, 시점이동된 영상을 획득하기 위해서는 앞서 획득된 다중초점 영상 각각에 대하여 각도 방향 및 시점이동되는 거리를 이용하여 평행이동함으로써 어느 하나의 시점(view-point)에 따른 픽셀값을 얻을 수 있다.
따라서, 도 1에서 시점이동 영상을 생성하는 단계(S220)는 구체적으로, 획득된 다중초점 영상 집합 내의 각각의 다중초점 영상을 시점이동하는 방향과 거리에 따라 평행이동하는 단계 및 평행이동된 각각의 다중초점 영상에 대하여 평균을 취함으로써 시점이동 영상을 생성하는 단계를 포함할 수 있다.
도 9는 다중초점 영상마다 시점이동되는 차이를 설명하기 위한 예시도이다.
도 9를 참조하면, 시점이동된 임의시점은 다중초점 영상의 중심을 기준으로 하여, 각각의 초점 거리에서 획득된 다중초점 영상마다 서로 다른 거리만큼 평행이동하는 것을 확인할 수 있다.
예를 들어, 기준 초점 거리에서 획득된 다중초점 영상(Fμo)에서 시점이동되는 거리와 다른 초점 거리에서 획득된 다중초점 영상(Fμ (-2))에서 시점이동되는 거리를 살펴보면 도 9에서 확인할 수 있는 것과 같이 시점이동되는 거리의 차이가 발생할 수 있다. 따라서, 초점 거리마다 시점이동되는 거리가 달라지게 되므로 이점을 반영하여 평행이동되는 것이 바람직할 수 있다.
정리하면, 시점이동하는 방향과 거리에 따라 평행이동하는 단계는, 상대적 거리를 기초로 시점이동하려는 거리를 보정하여 평행이동할 수 있다.
이를 수식으로 표현하면, 다중초점 영상은 다음의 수학식 3과 같이 평행이동될 수 있다.
Figure pat00003
여기서, θ 는 시점이동되는 방향각이고 δ는 시점이동되는 거리일 수 있다. 이때, 방향각 θ는 radian 단위일 수 있고, δ는 픽셀단위일 수 있다.
α μ 는 어느 특정 초점 거리와 기준 초점 거리 사이의 상대적 거리를 의미할 수 있다.
또한, 여기서의 수학식 3은 도 8에 따른 각도 및 이동 거리에 따라 결정된 값으로서, 각도의 기준이 되는 축을 달리 결정할 수도 있으며 그에 따라 수학식 3의 부호가 변경될 수도 있다. 따라서, 여기서 도출되는 수학식 3은 시점이동을 정하는 방향 및 거리의 기준에 따라 달리 결정될 수도 있다.
여기서, 평행이동된 다중초점 영상의 집합으로부터 획득되는 시점이동 영상(V (δ,θ) (x,y))은 다음의 수학식 4에 의해 도출될 수 있다.
Figure pat00004
여기서, U는 적어도 하나의 초점 거리들을 의미할 수 있고, |U|은 초점 거리의 개수를 의미할 수 있다.
한편, 다중초점 영상은 초점에 따라 초점이 잘 맞은 경우와 그렇지 못한 경우가 있을 수 있다. 따라서, 초점이 잘 맞은 경우의 다중초점영상은 시점이동 영상을 획득할 때 더 많이 반영하고, 초점이 덜 맞은 경우의 다중초점영상은 시점이동 영상을 획득할 때 적게 반영하면, 보다 정확도가 높은 영상을 획득할 수 있다.
이것은 각각의 초점 거리에 따라 픽셀값의 분산도가 낮을수록 초점이 잘 맞았다고 판단할 수 있고, 분산도가 높을수록 편차가 크므로 초점이 덜 맞았다고 판단할 수 있다.
따라서, 도 1에서의 시점이동 영상을 생성하는 단계(S220)는, 적어도 하나의 초점 거리에서 평행이동된 각각의 원천 영상의 픽셀값들이 갖는 분산도를 반영하여 시점이동 영상을 생성하는 단계를 포함할 수 있다.
여기서, 분산도는, 평행이동된 각각의 원천 영상의 픽셀값과 상기 생성된 다중초점 영상의 픽셀값 사이의 편차를 이용하여 상기 적어도 하나의 초점 거리마다 산출될 수 있다.
구체적으로 분산도(σμ(x,y))는 다음의 수학식 5를 통하여 도출될 수 있다.
Figure pat00005
여기서, 각각의 기호는 앞에서 설명한 내용과 동일할 수 있다.
여기서, 분산도가 반영된 시점이동 영상은 다음의 수학식 6과 같이 결정될 수 있다.
Figure pat00006
여기서, β는 비례상수로서 분산도를 반영하는 정도에 따라 달리 설정될 수 있고,
Figure pat00007
와 같이 결정될 수 있으며, 그 밖의 기호는 앞에서와 동일할 수 있다.
도 10은 본 발명의 일 실시예에 따른 임의시점 영상 생성 장치에 대한 구성도이다.
도 10을 참조하면, 본 발명의 일 실시예에 따른 임의시점 영상 생성 장치(10)는, 적어도 하나의 명령어를 수행하는 프로세서(11) 및 상기 적어도 하나의 명령어를 저장하는 메모리(12)를 포함할 수 있다.
여기서, 임의시점 영상 생성 장치(10)는 입력부(13)를 더 포함할 수 있다. 입력부는 키보드, 마우스, 터치 스크린, 메모리카드 리더, USB(Universal Serial Bus) 인터페이스 등을 의미할 수 있다. 입력부를 통하여 각 과정의 수행 여부, 카메라어레이에 포함된 복수의 카메라에 의해 촬영된 원천 영상 집합 등을 입력받을 수 있다.
여기서, 임의시점 영상 생성 장치(10)는 통신부(14)를 더 포함할 수 있다. 통신부는 3G(third generation), LTE(long term evolution), WIFI(wireless fidelity), bluetooth 등의 유무선 네트워크를 이용하여 다른 기기와 통신할 수 있는 모듈을 의미할 수 있다. 통신부를 통하여 카메라어레이에 의해 촬영된 원천 영상 집합을 수신받거나, 각종 과정을 수행하는데 필요한 데이터를 수신받을 수 있다. 또한, 통신부(14)를 통해 수신된 데이터는 메모리(12)에 저장될 수 있다.
여기서, 프로세서(11)는, 동일 시점에 카메라어레이(camera array)에 포함된 복수의 카메라에 의해 촬영된 원천 영상 집합(original image set)을 적어도 하나의 초점 거리마다 각각 획득하고, 상기 적어도 하나의 초점 거리마다 상기 원천 영상 집합으로부터 다중초점 영상을 생성함으로써, 다중초점 영상 집합(multi-focus image set)을 획득하고, 상기 다중초점 영상 집합으로부터 시점이동하려는 위치에서의 시점이동 영상(arbitrary view-point image)을 생성할 수 있다.
여기서, 프로세서(11)는, 카메라어레이의 속성을 반영하여 원천 영상 집합에 대한 보정을 수행할 수 있다.
여기서, 프로세서(11)는, 원천 영상 집합을 이용하여 카메라어레이에 속한 각각의 카메라에 대한 특성 또는 위치를 획득하고, 획득된 특성 또는 위치를 반영하여 원천 영상 집합에 속한 각각의 원천 영상을 보정할 수 있다.
여기서, 프로세서(11)는, 원천 영상 집합 내의 각각의 원천 영상을 카메라어레이에 속한 카메라 각각의 위치좌표만큼 평행이동하고, 평행이동된 각각의 원천 영상에 대하여 평균을 취하여 다중초점 영상을 생성할 수 있다.
여기서, 카메라 각각의 위치좌표는, 카메라어레이의 기준 카메라(reference camera)를 중심으로, x와 y방향의 픽셀좌표에 의해 결정될 수 있다.
여기서, 프로세서(11)는, 적어도 하나의 초점 거리 중에서 선정된 기준 초점 거리와, 다른 초점 거리의 상대적 거리를 기초로 카메라 각각의 위치좌표를 보정하여 평행이동할 수 있다.
여기서, 프로세서(11)는, 획득된 다중초점 영상 집합 내의 각각의 다중초점 영상을 시점이동하는 방향과 거리에 따라 평행이동하고, 평행이동된 각각의 다중초점 영상에 대하여 평균을 취함으로써 시점이동 영상을 생성할 수 있다.
여기서, 프로세서(11)는, 상대적 거리를 기초로 시점이동하려는 방향과 거리를 보정하여 다중초점 영상을 평행이동할 수 있다.
여기서, 프로세서(11)는, 적어도 하나의 초점 거리에서 평행이동된 각각의 원천 영상의 픽셀값들이 갖는 분산도를 반영하여 시점이동 영상을 생성할 수 있다.
여기서, 분산도는, 평행이동된 각각의 원천 영상의 픽셀값과 생성된 다중초점 영상의 픽셀값 사이의 편차를 이용하여 적어도 하나의 초점 거리마다 산출될 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 동일 시점에 카메라어레이(camera array)에 포함된 복수의 카메라에 의해 촬영된 원천 영상 집합(original image set)을 적어도 하나의 초점 거리마다 각각 획득하는 단계;
    상기 적어도 하나의 초점 거리마다 상기 원천 영상 집합으로부터 다중초점 영상을 생성함으로써, 다중초점 영상 집합(multi-focus image set)을 획득하는 단계; 및,
    상기 다중초점 영상 집합으로부터 시점이동하려는 위치에서의 시점이동 영상(arbitrary view-point image)을 생성하는 단계를 포함하는, 임의시점 영상 생성 방법.
  2. 청구항 1에서,
    상기 적어도 하나의 초점 거리마다 각각 획득하는 단계 이후에,
    상기 카메라어레이의 속성을 반영하여 상기 원천 영상 집합에 대한 보정을 수행하는 단계를 포함하는, 임의시점 영상 생성 방법.
  3. 청구항 2에서,
    상기 원천 영상의 집합에 대한 보정을 수행하는 단계는,
    상기 원천 영상 집합을 이용하여 상기 카메라어레이에 속한 각각의 카메라에 대한 특성 또는 위치를 획득하는 단계; 및
    획득된 특성 또는 위치를 반영하여 상기 원천 영상 집합에 속한 각각의 원천 영상을 보정하는 단계를 포함하는, 임의시점 영상 생성 방법.
  4. 청구항 1에서,
    상기 다중초점 영상 집합을 획득하는 단계는,
    상기 원천 영상 집합 내의 각각의 원천 영상을 상기 카메라어레이에 속한 카메라 각각의 위치좌표만큼 평행이동하는 단계; 및,
    평행이동된 각각의 원천 영상에 대하여 평균을 취하여 다중초점 영상을 생성하는 단계를 포함하는, 임의시점 영상 생성 방법.
  5. 청구항 4에서,
    상기 카메라 각각의 위치좌표는,
    상기 카메라어레이의 기준 카메라(reference camera)를 중심으로, x와 y방향의 픽셀좌표에 의해 결정되는, 임의시점 영상 생성 방법.
  6. 청구항 4에서,
    상기 평행이동하는 단계는,
    상기 적어도 하나의 초점 거리 중에서 선정된 기준 초점 거리와, 다른 초점 거리의 상대적 거리를 기초로 상기 카메라 각각의 위치좌표를 보정하여 평행이동하는, 임의시점 영상 생성 방법.
  7. 청구항 6에서,
    상기 시점이동 영상을 획득하는 단계는,
    획득된 다중초점 영상 집합 내의 각각의 다중초점 영상을 시점이동하는 방향과 거리에 따라 평행이동하는 단계; 및,
    평행이동된 각각의 다중초점 영상에 대하여 평균을 취함으로써 시점이동 영상을 생성하는 단계를 포함하는, 임의시점 영상 생성 방법.
  8. 청구항 7에서,
    상기 평행이동하는 단계는,
    상기 상대적 거리를 기초로 시점이동하려는 거리를 보정하여 평행이동하는, 임의시점 영상 생성 방법.
  9. 청구항 4에서,
    상기 시점이동 영상을 생성하는 단계는,
    상기 적어도 하나의 초점 거리에서 상기 평행이동된 각각의 원천 영상의 픽셀값들이 갖는 분산도를 반영하여 시점이동 영상을 생성하는 단계를 포함하는, 임의시점 영상 생성 방법.
  10. 청구항 9에서,
    상기 분산도는,
    상기 평행이동된 각각의 원천 영상의 픽셀값과 생성된 다중초점 영상의 픽셀값 사이의 편차를 이용하여 상기 적어도 하나의 초점 거리마다 산출되는, 임의시점 영상 생성 방법.
  11. 적어도 하나의 명령어를 수행하는 프로세서(processor); 및,
    상기 적어도 하나의 명령어를 저장하는 메모리(memory)를 포함하는 임의시점 영상 생성 장치에서,
    상기 프로세서는,
    동일 시점에 카메라어레이(camera array)에 포함된 복수의 카메라에 의해 촬영된 원천 영상 집합(original image set)을 적어도 하나의 초점 거리마다 각각 획득하고, 상기 적어도 하나의 초점 거리마다 상기 원천 영상 집합으로부터 다중초점 영상을 생성함으로써, 다중초점 영상 집합(multi-focus image set)을 획득하고, 상기 다중초점 영상 집합으로부터 시점이동하려는 위치에서의 시점이동 영상(arbitrary view-point image)을 생성하는, 임의시점 영상 생성 장치.
  12. 청구항 11에서,
    상기 프로세서는,
    상기 카메라어레이의 속성을 반영하여 상기 원천 영상 집합에 대한 보정을 수행하는, 임의시점 영상 생성 장치.
  13. 청구항 12에서,
    상기 프로세서는,
    상기 원천 영상 집합을 이용하여 상기 카메라어레이에 속한 각각의 카메라에 대한 특성 또는 위치를 획득하고, 획득된 특성 또는 위치를 반영하여 상기 원천 영상 집합에 속한 각각의 원천 영상을 보정하는, 임의시점 영상 생성 장치.
  14. 청구항 11에서,
    상기 프로세서는,
    상기 원천 영상 집합 내의 각각의 원천 영상을 상기 카메라어레이에 속한 카메라 각각의 위치좌표만큼 평행이동하고, 평행이동된 각각의 원천 영상에 대하여 평균을 취하여 다중초점 영상을 생성하는, 임의시점 영상 생성 장치.
  15. 청구항 14에서,
    상기 카메라 각각의 위치좌표는,
    상기 카메라어레이의 기준 카메라(reference camera)를 중심으로, x와 y방향의 픽셀좌표에 의해 결정되는, 임의시점 영상 생성 장치.
  16. 청구항 14에서,
    상기 프로세서는,
    상기 적어도 하나의 초점 거리 중에서 선정된 기준 초점 거리와, 다른 초점 거리의 상대적 거리를 기초로 상기 카메라 각각의 위치좌표를 보정하여 평행이동하는, 임의시점 영상 생성 장치.
  17. 청구항 16에서,
    상기 프로세서는,
    획득된 다중초점 영상 집합 내의 각각의 다중초점 영상을 시점이동하는 방향과 거리에 따라 평행이동하고, 평행이동된 각각의 다중초점 영상에 대하여 평균을 취함으로써 시점이동 영상을 생성하는, 임의시점 영상 생성 장치.
  18. 청구항 17에서,
    상기 프로세서는,
    상기 상대적 거리를 기초로 시점이동하려는 방향과 거리를 보정하여 상기 다중초점 영상을 평행이동하는, 임의시점 영상 생성 장치.
  19. 청구항 14에서,
    상기 프로세서는,
    상기 적어도 하나의 초점 거리에서 상기 평행이동된 각각의 원천 영상의 픽셀값들이 갖는 분산도를 반영하여 시점이동 영상을 생성하는, 임의시점 영상 생성 장치.
  20. 청구항 19에서,
    상기 분산도는,
    상기 평행이동된 각각의 원천 영상의 픽셀값과 생성된 다중초점 영상의 픽셀값 사이의 편차를 이용하여 상기 적어도 하나의 초점 거리마다 산출되는, 임의시점 영상 생성 장치.
KR1020160166776A 2016-12-08 2016-12-08 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치 KR102534875B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160166776A KR102534875B1 (ko) 2016-12-08 2016-12-08 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치
US15/834,237 US10484658B2 (en) 2016-12-08 2017-12-07 Apparatus and method for generating image of arbitrary viewpoint using camera array and multi-focus image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160166776A KR102534875B1 (ko) 2016-12-08 2016-12-08 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180065642A true KR20180065642A (ko) 2018-06-18
KR102534875B1 KR102534875B1 (ko) 2023-05-22

Family

ID=62490395

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160166776A KR102534875B1 (ko) 2016-12-08 2016-12-08 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치

Country Status (2)

Country Link
US (1) US10484658B2 (ko)
KR (1) KR102534875B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3252709B1 (en) * 2015-09-15 2019-05-22 Huawei Technologies Co., Ltd. Image distortion correction method and apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050106160A (ko) * 2004-05-04 2005-11-09 삼성전자주식회사 휘도 히스토그램을 이용한 영상 자동 보정 장치
KR20090006979A (ko) * 2007-07-13 2009-01-16 엘지이노텍 주식회사 오토 포커스 장치 및 그 오토 포커싱 방법
KR20120084612A (ko) * 2011-01-20 2012-07-30 주식회사 슈프리마 초점 정보 제공 장치 및 초점 조절 장치
US20160037096A1 (en) * 2014-08-01 2016-02-04 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
US9460544B2 (en) * 2011-08-09 2016-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Device, method and computer program for generating a synthesized image from input images representing differing views

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0684585B1 (en) * 1994-04-22 2003-02-05 Canon Kabushiki Kaisha Image forming method and apparatus
WO2004114224A1 (ja) * 2003-06-20 2004-12-29 Nippon Telegraph And Telephone Corporation 仮想視点画像生成方法及び３次元画像表示方法並びに装置
DE112009000093T5 (de) * 2008-01-04 2010-12-09 3M Innovative Properties Co., St. Paul Hierarchische Verarbeitung unter Nutzung von Bildverformung
CN102598652B (zh) * 2009-10-30 2015-08-12 佳能株式会社 信息处理设备和方法
US8654195B2 (en) * 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
US8941750B2 (en) * 2011-12-27 2015-01-27 Casio Computer Co., Ltd. Image processing device for generating reconstruction image, image generating method, and storage medium
US9386297B2 (en) * 2012-02-24 2016-07-05 Casio Computer Co., Ltd. Image generating apparatus generating reconstructed image, method, and computer-readable recording medium
JP6112824B2 (ja) * 2012-02-28 2017-04-12 キヤノン株式会社 画像処理方法および装置、プログラム。
EP2888720B1 (en) 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
US20150310613A1 (en) * 2012-12-07 2015-10-29 Canon Kabushiki Kaisha Image generating apparatus and image generating method
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
KR101975246B1 (ko) 2014-10-10 2019-05-07 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
US9924157B2 (en) * 2015-04-08 2018-03-20 Canon Kabushiki Kaisha Image processing device, image pickup apparatus, image processing method, and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050106160A (ko) * 2004-05-04 2005-11-09 삼성전자주식회사 휘도 히스토그램을 이용한 영상 자동 보정 장치
KR20090006979A (ko) * 2007-07-13 2009-01-16 엘지이노텍 주식회사 오토 포커스 장치 및 그 오토 포커싱 방법
KR20120084612A (ko) * 2011-01-20 2012-07-30 주식회사 슈프리마 초점 정보 제공 장치 및 초점 조절 장치
US9460544B2 (en) * 2011-08-09 2016-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Device, method and computer program for generating a synthesized image from input images representing differing views
US20160037096A1 (en) * 2014-08-01 2016-02-04 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
KR102534875B1 (ko) 2023-05-22
US10484658B2 (en) 2019-11-19
US20180167599A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
KR100918294B1 (ko) 입체 시화상(視畵像) 표시장치, 입체 시화상 표시방법 및컴퓨터 프로그램
US10116867B2 (en) Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
CN107274338B (zh) 用于深度图的低等待时间变形的系统、方法和装置
WO2018019282A1 (zh) 双目全景图像获取方法，装置及存储介质
CN110050250A (zh) 显示器同步的图像规整
CN105474622A (zh) 用于产生全对焦图像的方法和设备
CN113272863A (zh) 基于双像素图像的深度预测
CN109767466B (zh) 画面渲染方法、装置、终端及对应的存储介质
CN108605148A (zh) 视频显示系统
US20120050269A1 (en) Information display device
CN112584034B (zh) 图像处理方法、图像处理装置及应用其的电子设备
US10255664B2 (en) Image processing device and method
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
US20220182595A1 (en) Optical flow based omnidirectional stereo video processing method
US20130155200A1 (en) Stereoscopic image generating device and stereoscopic image generating method
US20140267617A1 (en) Adaptive depth sensing
CN114742703A (zh) 双目立体全景图像的生成方法、装置、设备和存储介质
US10580214B2 (en) Imaging device and imaging method for augmented reality apparatus
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
US20160350622A1 (en) Augmented reality and object recognition device
CN107659772B (zh) 3d图像生成方法、装置及电子设备
US11790550B2 (en) Learnable cost volume for determining pixel correspondence
KR20180065642A (ko) 카메라 어레이와 다중 초점 영상을 이용하여 임의 시점의 영상을 생성하는 방법 및 장치
US10152803B2 (en) Multiple view image display apparatus and disparity estimation method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant