KR101997991B1 - 시점 변환을 이용하는 영상 결합 방법 및 시스템 - Google Patents

시점 변환을 이용하는 영상 결합 방법 및 시스템 Download PDF

Info

Publication number
KR101997991B1
KR101997991B1 KR1020170161345A KR20170161345A KR101997991B1 KR 101997991 B1 KR101997991 B1 KR 101997991B1 KR 1020170161345 A KR1020170161345 A KR 1020170161345A KR 20170161345 A KR20170161345 A KR 20170161345A KR 101997991 B1 KR101997991 B1 KR 101997991B1
Authority
KR
South Korea
Prior art keywords
images
image
cameras
viewpoint
camera system
Prior art date
Application number
KR1020170161345A
Other languages
English (en)
Other versions
KR20190062794A (ko
Inventor
박기영
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020170161345A priority Critical patent/KR101997991B1/ko
Priority to US16/201,906 priority patent/US10972712B2/en
Publication of KR20190062794A publication Critical patent/KR20190062794A/ko
Application granted granted Critical
Publication of KR101997991B1 publication Critical patent/KR101997991B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

시점 변환을 이용하는 영상 결합 방법 및 시스템이 개시된다. 일 실시예에 따른 영상 결합 방법은, 카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계; 상기 영상들에 대한 깊이 맵(Depth map)을 이용하여 상기 영상들 각각에 대한 시점 변환을 수행하는 단계; 및 상기 시점 변환이 수행된 영상들을 결합하는 단계를 포함할 수 있다.

Description

시점 변환을 이용하는 영상 결합 방법 및 시스템{IMAGE MERGING METHOD AND SYSTEM USING VIEWPOINT TRANSFORMATION}
아래의 설명은 영상 결합 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 시점 변환(Viewpoint transformation)을 이용하여 영상을 결합하는 기술에 대한 것이며, 더 나아가 영상의 시점을 변환하여 정합하는 기술 자체에 대한 것이다.
일반적인 디지털 카메라가 가지고 있는 한계를 극복하기 위해서 여러 장의 영상들을 촬영한 후에 그 영상들을 결합하는 방법들이 사용되어 왔다. 그 대표적인 예로는 High dynamic range imaging(HDR imaging)과 Focus stacking이 있다. HDR imaging은 일반적인 디지털 카메라가 얻을 수 있는 대비의 한계인 300:1을 극복하기 위해 한 장면을 적정 노출, 과다 노출, 부족한 노출 등으로 여러 장을 촬영한 후에 이 영상들을 합성하는 것이다. Focus stacking은 여러 장의 영상을 서로 다른 거리에 초점을 맞추고 촬영한 후(서로 다른 초점 위치를 갖는 영상들을 촬영한 후)에 합성하여 심도가 매우 깊은 영상을 얻는 것으로 접사 촬영이나 현미경 촬영에서 많이 사용되는 기술이며 풍경 사진에서도 사용될 수 있다.
이런 영상 결합 방식들은 결합하고자 하는 영상들 간의 정확한 정합(registration)을 전제로 하므로 한 대의 카메라를 사용하여 카메라를 고정하고 고정된 피사체에 대해서 노출이나 초점 위치 등의 설정을 변경해가며 촬영하거나, 또는 설정을 변경해가면 고속으로 촬영한 영상들을 사용한다. 이러한 방식은 논문 Eden, Uyttendaele, and Szeliski, "Seamless image stitching of scenes with large motions and exposure differences", CVPR 2006 또는 Kang, Uyttendaele, Winder, and Szeliski, "High dynamic range video", SIGGRAPH 2003) HDR imaging 등에 개시되어 있다.
그러나 이러한 종래의 영상 결합 방식은, 피사체를 고속으로 촬영하는 과정에서 피사체의 움직임이 조금이라도 있게 되는 경우, 정확히 정합된 영상을 얻을 수 없는 문제점과, 짧은 촬영 시간 내에 충분한 노출을 얻기 위한 별도의 조명 장치를 필요로 하는 단점을 갖는다.
따라서, 아래의 실시예들은 종래의 영상 결합 방식의 문제점과 단점을 해결하기 위하여, 복수의 카메라들에서 동시에 촬영된 영상들을 정확히 정합하는 기술을 제안한다.
일 실시예들은 종래의 영상 결합 방식의 문제점과 단점을 해결하기 위해, 복수의 카메라들에서 동시에 촬영된 영상들을 정확히 정합한 뒤 결합하는 영상 결합 방법, 시스템 및 컴퓨터와 결합되어 영상 결합 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램을 제안한다.
구체적으로, 일 실시예들은 복수의 카메라들에서 동시에 촬영된 영상들에 대한 깊이 맵(Depth map)에 기초한 시점 변환 수식을 이용하여 영상들 각각에 대한 시점 변환(Viewpoint transformation)을 수행함으로써 영상들 각각의 시점을 일치시켜 영상들을 정합한 뒤 결합하는 영상 결합 방법, 시스템 및 컴퓨터 프로그램을 제안한다.
이 때, 일 실시예들은 시점 변환이 수행된 영상들, 그리고 결합된 영상에서의 홀을 채움으로써, 결합된 영상의 완성도를 향상시키는 영상 결합 방법, 시스템 및 컴퓨터 프로그램을 제안한다.
또한, 일 실시예들은 영상에 대한 깊이 맵에 기초한 시점 변환 수식을 이용하여 영상들 각각에 대한 시점 변환을 수행함으로써 영상들 각각의 시점을 일치시켜 정합하는 영상 정합 방법, 시스템 및 컴퓨터와 결합되어 영상 정합 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램을 제안한다.
일 실시예에 따르면, 카메라 시스템에 구비되는 컴퓨터에 의해 실행되는 시점 변환(Viewpoint transformation)을 이용하는 영상 결합 방법은, 상기 카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계; 상기 영상들에 대한 깊이 맵(Depth map)을 이용하여 상기 영상들 각각에 대한 시점 변환을 수행하는 단계; 및 상기 시점 변환이 수행된 영상들을 결합하는 단계를 포함한다.
일 측면에 따르면, 상기 영상들 각각에 대한 시점 변환을 수행하는 단계는, 상기 깊이 맵에 기초하여 상기 복수의 카메라들 각각의 초점 거리, 상기 카메라 시스템의 베이스라인의 길이 및 상기 복수의 카메라들 사이의 시차에 기초한 시점 변환 수식을 설정하는 단계; 상기 시점 변환 수식에서 이동 파라미터-상기 이동 파라미터는 상기 영상들 각각이 촬영된 위치가 가상의 특정 위치로 이동될 때의 이동할 거리와 관련된 값임-를 결정하는 단계; 및 상기 시점 변환 수식을 이용하여 상기 영상들 각각의 시점을 일치하도록 변환하는 단계를 포함할 수 있다.
다른 측면에 따르면, 상기 시점 변환 수식에서 이동 파라미터를 결정하는 단계는, 상기 복수의 카메라들 각각의 광학 중심이 상기 카메라 시스템의 가상의 기준 위치로 이동될 때의 이동할 거리에 기초하여 상기 이동 파라미터를 결정하는 단계일 수 있다.
또 다른 측면에 따르면, 상기 시점 변환 수식에서 이동 파라미터를 결정하는 단계는, 상기 카메라 시스템의 베이스라인의 길이에 기초하여 상기 이동 파라미터를 결정하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 영상들 각각의 시점을 일치하도록 변환하는 단계는, 상기 영상들 각각의 시점을 상기 카메라 시스템의 기준 위치에서 촬영된 영상의 시점으로 변환하는 단계일 수 있다.
또 다른 측면에 따르면, 상기 영상들 각각에 대한 시점 변환을 수행하는 단계는, 상기 영상들 각각에 대한 시점 변환을 수행하기 이전에, 상기 깊이 맵의 홀을 채우는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 영상들 각각에 대한 시점 변환을 수행하는 단계는, 상기 시점 변환이 수행된 영상들 각각의 홀을 채우는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 시점 변환이 수행된 영상들을 결합하는 단계는, 상기 결합된 영상의 홀이 채워지도록 상기 결합된 영상의 시점을 변환하는 단계를 더 포함할 수 있다.
또 다른 측면에 따르면, 상기 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계는, 상기 복수의 카메라들로부터 서로 다른 노출 값을 갖는 상기 영상들을 획득하는 단계를 포함하고, 상기 시점 변환이 수행된 영상들을 결합하는 단계는, 상기 시점 변환이 수행된 서로 다른 노출 값을 갖는 영상들을 결합하여 HDR(Hyper dynamic range) 영상을 생성하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계는, 상기 복수의 카메라들로부터 서로 다른 초점 위치를 갖는 상기 영상들을 획득하는 단계를 포함하고, 상기 시점 변환이 수행된 영상들을 결합하는 단계는, 상기 시점 변환이 수행된 서로 다른 초점 위치를 갖는 영상들을 결합하여 올 인 포커스(All in focus) 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따르면, 컴퓨터와 결합되어 시점 변환을 이용하는 영상 결합 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서, 상기 영상 결합 방법은, 카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계; 상기 영상들에 대한 깊이 맵(Depth map)을 이용하여 상기 영상들 각각에 대한 시점 변환을 수행하는 단계; 및 상기 시점 변환이 수행된 영상들을 결합하는 단계를 포함한다.
일 실시예에 따르면, 카메라 시스템에 구비되는 컴퓨터로 구현되는 시점 변환을 이용하는 영상 결합 시스템은, 컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상을 획득하는 영상 획득부; 상기 영상들에 대한 깊이 맵(Depth map)을 이용하여 상기 영상들 각각에 대한 시점 변환을 수행하는 시점 변환 수행부; 및 상기 시점 변환이 수행된 영상들을 결합하는 결합부를 포함한다.
일 실시예에 따르면, 카메라 시스템에 구비되는 컴퓨터에 의해 실행되는 영상 정합 방법은, 상기 카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계; 상기 영상들에 대한 깊이 맵에 기초하여 상기 복수의 카메라들 각각의 초점 거리, 상기 카메라 시스템의 베이스라인의 길이 및 상기 복수의 카메라들 사이의 시차에 기초한 시점 변환 수식을 설정하는 단계; 상기 시점 변환 수식에서 이동 파라미터-상기 이동 파라미터는 상기 영상들 각각이 촬영된 위치가 가상의 특정 위치로 이동될 때의 이동할 거리와 관련된 값임-를 결정하는 단계; 및 상기 시점 변환 수식을 이용하여 상기 영상들 각각의 시점을 일치하도록 변환함으로써 상기 영상들을 정합하는 단계를 포함한다.
일 측면에 따르면, 상기 시점 변환 수식에서 이동 파라미터를 결정하는 단계는, 상기 복수의 카메라들 각각의 광학 중심이 상기 카메라 시스템의 가상의 기준 위치로 이동될 때의 이동할 거리에 기초하여 상기 이동 파라미터를 결정하는 단계일 수 있다.
일 실시예에 따르면, 컴퓨터와 결합되어 영상 정합 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서, 상기 영상 정합 방법은, 카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계; 상기 영상들에 대한 깊이 맵에 기초하여 상기 복수의 카메라들 각각의 초점 거리, 상기 카메라 시스템의 베이스라인의 길이 및 상기 복수의 카메라들 사이의 시차에 기초한 시점 변환 수식을 설정하는 단계; 상기 시점 변환 수식에서 이동 파라미터-상기 이동 파라미터는 상기 영상들 각각이 촬영된 위치가 가상의 특정 위치로 이동될 때의 이동할 거리와 관련된 값임-를 결정하는 단계; 및 상기 시점 변환 수식을 이용하여 상기 영상들 각각의 시점을 일치하도록 변환함으로써 상기 영상들을 정합하는 단계를 포함한다.
일 실시예에 따르면, 카메라 시스템에 구비되는 컴퓨터로 구현되는 영상 정합 시스템은, 컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상을 획득하는 영상 획득부; 상기 영상들에 대한 깊이 맵에 기초하여 상기 복수의 카메라들 각각의 초점 거리, 상기 카메라 시스템의 베이스라인의 길이 및 상기 복수의 카메라들 사이의 시차에 기초한 시점 변환 수식을 설정하는 수식 설정부; 상기 시점 변환 수식에서 이동 파라미터-상기 이동 파라미터는 상기 영상들 각각이 촬영된 위치가 가상의 특정 위치로 이동될 때의 이동할 거리와 관련된 값임-를 결정하는 이동 파라미터 결정부; 및 상기 시점 변환 수식을 이용하여 상기 영상들 각각의 시점을 일치하도록 변환함으로써 상기 영상들을 정합하는 영상 정합부를 포함한다.
일 실시예들은 종래의 영상 결합 방식의 문제점과 단점을 해결하기 위해, 복수의 카메라들에서 동시에 촬영된 영상들을 정확히 정합한 뒤 결합하는 영상 결합 방법, 시스템 및 컴퓨터와 결합되어 영상 결합 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램을 제안할 수 있다.
구체적으로, 일 실시예들은 복수의 카메라들에서 동시에 촬영된 영상들에 대한 깊이 맵(Depth map)에 기초한 시점 변환 수식을 이용하여 영상들 각각에 대한 시점 변환(Viewpoint transformation)을 수행함으로써 영상들 각각의 시점을 일치시켜 영상들을 정합한 뒤 결합하는 영상 결합 방법, 시스템 및 컴퓨터 프로그램을 제안할 수 있다.
이 때, 일 실시예들은 시점 변환이 수행된 영상들, 그리고 결합된 영상에서의 홀을 채움으로써, 결합된 영상의 완성도를 향상시키는 영상 결합 방법, 시스템 및 컴퓨터 프로그램을 제안할 수 있다.
따라서, 일 실시예들은 카메라의 조리개 또는 초점 위치를 변경하며 촬영한 영상들을 정합하여 결합하기 위하여 한 대의 고정된 사용하는 대신에 조리개 또는 초점 위치 설정이 다른 복수의 카메라를 사용하여 동시에 촬영한 영상들을 정합하여 결합하므로, 별도의 조명 장치를 필요로 하지 않으며, 피사체가 움직이고 있는 상황에서도 사용할 수 있는 기술을 제안할 수 있다.
이에, 일 실시예들은 상기 기술이 HDRI 또는 Focus stacking 등의 분야에서 활용되도록 할 수 있다.
또한, 일 실시예들은 영상에 대한 깊이 맵에 기초한 시점 변환 수식을 이용하여 영상들 각각에 대한 시점 변환을 수행함으로써 영상들 각각의 시점을 일치시켜 정합하는 영상 정합 방법, 시스템 및 컴퓨터와 결합되어 영상 정합 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램을 제안할 수 있다.
따라서, 일 실시예들은 별도의 조명 장치 없이, 피사체가 움직이고 있는 상황에서도 영상들을 정확하게 정합하는 기술을 제안함으로써, 정합된 영상의 활용 폭을 넓힐 수 있다.
도 1은 일 실시예에 따른 카메라 시스템을 나타낸 블록도이다.
도 2는 일 실시예에 따른 카메라 시스템의 프로세서가 포함할 수 있는 구성요소의 예를 나타낸 블록도이다.
도 3 내지 7은 일 실시예에 따른 영상 결합 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 영상 결합 방법을 나타낸 플로우 차트이다.
도 9는 일 실시예에 따른 영상의 시점을 재변환하는 과정을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 영상 정합 시스템을 나타낸 블록도이다.
도 11은 일 실시예에 따른 영상 정합 방법을 나타낸 플로우 차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 카메라 시스템을 나타낸 블록도이다.
도 1을 참조하면, 일 실시예에 따른 카메라 시스템(100)은 복수의 카메라들(110), 메모리(120), 프로세서(130) 및 입출력 인터페이스(140)를 포함할 수 있다. 이하, 카메라 시스템(100)이 복수의 카메라들(110)(예컨대, 2대의 카메라들)이 수평으로 배치되는 스테레오 카메라 시스템인 것으로 설명하나 이제 제한되거나 한정되지 않고, 복수의 카메라들(110)이 동일한 피사체를 동시에 촬영하도록 배치된 다양한 카메라 시스템일 수 있다.
메모리(120)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치non-volatile mass storage device)를 포함할 수 있다. 또한, 메모리(120)에는 운영체제, 복수의 카메라들(110) 각각에서 촬영된 영상, 적어도 하나의 프로그램 코드(일례로 후술되는 영상 결합 방법을 수행하는 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(120)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(도면에는 도시되지 않음)을 통해 메모리(120)에 로딩될 수도 있다.
프로세서(130)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(120) 또는 통신 모듈에 의해 프로세서(130)로 제공될 수 있다. 예를 들어, 프로세서(130)는 메모리(120)와 같은 기록 장치에 저장된 프로그램 코드(일례로 후술되는 영상 결합 방법을 수행하는 코드)에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
입출력 인터페이스(140)는 입출력 장치(도면에는 도시되지 않음)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 카메라 시스템(100)에 구비되는 터치 스크린, 버튼 등의 장치를, 그리고 출력 장치는 촬영된 영상들을 표시하는 디스플레이와 같은 장치를 포함할 수 있다. 다른 예를 들면, 입출력 인터페이스(140)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다.
다른 실시예들에서 카메라 시스템(100)은 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 카메라 시스템(100)는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
이하에서는 상술한 카메라 시스템에 구비되는 프로세서(130)에 의해 실행되는 영상 결합 방법과 프로세서(130)를 포함하는 영상 결합 시스템의 구체적인 실시예를 설명하기로 한다.
도 2는 일 실시예에 따른 카메라 시스템의 프로세서가 포함할 수 있는 구성요소의 예를 나타낸 블록도이다.
도 2를 참조하면, 일 실시예에 따른 영상 결합 시스템은 도 1을 참조하여 상술된 카메라 시스템(100)의 프로세서(130)를 포함하도록 구성될 수 있다. 보다 상세하게, 영상 결합 시스템은 도면에 도시된 바와 같이 프로세서(130)의 구성요소들인 영상 획득부(210), 시점 변환 수행부(220) 및 결합부(230)를 포함할 수 있다. 실시예에 따라 프로세서(130)의 구성요소들은 선택적으로 프로세서(130)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서(130)의 구성요소들은 프로세서(130)의 기능의 표현을 위해 분리 또는 병합될 수도 있다. 예컨대, 프로세서(130)의 구성요소들 중 적어도 일부는 카메라 시스템(100)과 통신으로 연결되는 별도의 서버에 포함되는 프로세서에 구현될 수 있다.
이러한 프로세서(130)의 구성요소들은 도 8의 영상 결합 방법이 포함하는 단계들(S810 내지 S860)을 수행하도록 메모리(120)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램(예컨대, 영상 결합 방법을 실행하는 코드로 구성된 프로그램)의 명령(instruction)을 실행하도록 구현될 수 있다.
여기서, 프로세서(130)의 구성요소들은 메모리(120)에 저장된 프로그램 코드가 제공하는 명령에 따른 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 카메라 시스템(100)에 포함되는 복수의 카메라들(110) 각각에서 촬영된 영상을 획득하는 동작에 대한 기능적 표현으로서 영상 획득부(210)가 이용될 수 있다.
이에, 프로세서(130)의 각 구성요소들은 다음과 같이 동작함으로써, 영상 결합 방법을 수행할 수 있다. 구체적으로, 영상 획득부(210)가 카메라 시스템(100)에 포함되는 복수의 카메라들(110) 각각에서 촬영된 영상(이하, 복수의 카메라들(110)에서 촬영된 영상들은 복수의 카메라들(110) 각각에서 동시에 촬영한 영상을 의미함)을 획득하고, 시점 변환 수행부(220)가 영상들에 대한 깊이 맵을 이용하여 영상들 각각에 대한 시점 변환을 수행하며, 결합부(230)가 시점 변환이 수행된 영상들을 결합함으로써, 영상 결합 시스템은 조리개 또는 초점 위치가 다른 여러 영상을 결합하기 위하여 카메라를 고정시킬 필요가 없으며 피사체가 움직이고 있는 상황에서도, 영상들이 동일한 위치에서 촬영된 것처럼 영상들 각각의 시점을 변환하여 정합한 뒤 결합할 수 있다. 각 구성요소들의 동작에 대한 상세한 설명은 도 8을 참조하여 기재하기로 하며, 시점 변환 수행부(220)의 동작 원리에 대한 상세한 설명은 도 3 내지 7을 참조하여 기재하기로 한다.
도 3 내지 7은 일 실시예에 따른 영상 결합 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 영상 결합 시스템은 카메라 시스템(100)을 구성하는 복수의 카메라들(110) 각각의 광학 중심을 가상의 특정 위치(310)로 일치시킴으로써 복수의 카메라들(110) 각각에서 촬영된 영상이 동일한 위치(310)에서 촬영된 것처럼 변환할 수 있다. 이하, 가상의 특정 위치(310)는 카메라 시스템(100)의 가상의 기준 위치를 의미할 수 있으며, 카메라 시스템(100)의 가상의 기준 위치는 카메라 시스템(100)을 구성하는 복수의 카메라들(110)의 배치를 고려하여 복수의 카메라들(110)의 후방으로 일정 거리 이상 후퇴된 임의의 지점일 수 있다. 일례로, 카메라 시스템(100)이 두 대의 카메라들이 수평으로 배치되는 스테레오 카메라 시스템인 경우, 가상의 기준 위치는 복수의 카메라들(110)의 가운데 지점으로부터 일정 거리 이상 후퇴된 지점일 수 있다.
이 때, 복수의 카메라들(110) 각각의 광학 중심을 일치시키게 되면, 복수의 카메라들(110)에서 촬영된 영상들의 시점 역시 일치하게 된다.
즉, 영상 결합 시스템은 복수의 카메라들(110) 각각을 실제로 이동시키는 것이 아닌, 복수의 카메라들(110)에서 동시에 촬영된 영상들의 시점을 가상의 특정 위치(310)에서 촬영된 영상의 시점인 것처럼 변환함으로써, 영상 결합 방법을 수행한다.
이를 위한 원리로서, 도 4를 참조하면, 특정 위치(410)에 있는 카메라로부터 df 거리에 있는 w라는 점은 db 거리에 있는 배경에서 광축(Optical axis)(420)에서 X 만큼 떨어진 위치에 나타난다. 이 위치는 카메라가 특정 위치(410)에서 후방으로 r 만큼 후퇴한 위치(430)에 배치될 때 X' 위치로 변경되고, 카메라가 특정 위치(410)에서 s 만큼 옆으로 이동된 위치(440)에 배치될 때 광축(450)에서 X" 만큼 떨어진 위치로 변경된다. 이러한 X, X', X"들이 영상에서 영상 중심으로부터 x, x', x" 만큼 떨어진 위치에 나타난다고 하면, 이 위치들은 도 5 내지 7과 같은 핀홀(pinhole) 카메라 모델을 사용해 계산될 수 있다.
예를 들어, 카메라가 특정 위치(410)에서 r 만큼 후퇴한 위치(430)로 이동하는 경우는 도 4로부터 아래 식 1과 같이 X'이 계산될 수 있다.
<식 1>
Figure 112017118967341-pat00001
또한, 식 1과 같이 계산되는 X'은 도 5 내지 6의 핀홀 카메라 모델을 이용하면 영상에서는 아래 식 2와 같이 표현될 수 있다.
<식 2>
Figure 112017118967341-pat00002
한편, 깊이 맵에서 깊이 d와 시차 D는
Figure 112017118967341-pat00003
의 관계를 가지므로(여기서, f는 초점 거리를 의미하고, B는 카메라 시스템(100)에서의 베이스라인의 길이, D는 시차를 의미함), 식 2는 아래 식 3과 같이 표현될 수 있다.
<식 3>
Figure 112017118967341-pat00004
다른 예를 들면, 카메라가 특정 위치(410)에서 측방으로 s 만큼 떨어진 위치(440)에 이동하는 경우는 도 4로부터 아래 식 4와 같이 X"이 계산될 수 있다.
<식 4>
Figure 112017118967341-pat00005
또한, 식 4와 같이 계산되는 X"은 도 5 내지 7의 핀홀 카메라 모델을 이용하면 영상에서는 아래 식 5와 같이 표현될 수 있으며, 깊이 d와 시차 D의 관계에 따라 아래 식 6과 같이 표현될 수 있다.
<식 5>
Figure 112017118967341-pat00006
<식 6>
Figure 112017118967341-pat00007
따라서, 카메라가 특정 위치(410)에서 후방으로 r 만큼 후퇴하고 측방으로 s 만큼 떨어진 위치로 이동하는 경우
Figure 112017118967341-pat00008
는 도 5 내지 7의 핀홀 카메라 모델을 이용하여 영상에서 아래 식 7과 같이 계산될 수 있다.
<식 7>
Figure 112017118967341-pat00009
또한, 식 7은 깊이 d와 시차 D의 관계에 따라 아래 식 8과 같이 표현될 수 있다.
<식 8>
Figure 112017118967341-pat00010
식 8로부터 카메라가 특정 위치(410)에서 촬영한 영상을 카메라가 특정 위치(410)로부터 x, y, z 방향으로 각각 mx, my, mz 만큼 이동했을 때 촬영한 영상으로 변환하는 시점 변환 수식이 획득될 수 있다. 카메라가 특정 위치(410)에서 촬영한 원래의 영상 I(x, y)와 카메라가 특정 위치(410)로부터 mx, my, mz 만큼 이동했을 때 촬영한 영상인 변환된 영상 I'(x', y')에 대해 x, y, x', y'는 각각의 영상에서의 픽셀 위치라 하면 포워드 와핑(forward warping)은 아래 식 9와 같이 표현될 수 있고, 백워드 와핑(backward warping)은 식 10과 같이 표현될 수 있다.
<식 9>
Figure 112017118967341-pat00011
<식 10>
Figure 112017118967341-pat00012
식 9 및 10에서
Figure 112017118967341-pat00013
및
Figure 112017118967341-pat00014
는 광축(420, 450)이 지나는 영상 중심의 좌표를 의미한다.
일 실시예에 따른 영상 결합 시스템은 이와 같이 유도되는 식 9 및 10을 이용하여 영상에 대한 시점 변환을 수행함으로써 영상들을 정합한 뒤에 결합할 수 있다. 이에 대한 상세한 설명은 도 8을 참조하여 기재하기로 하며, 영상에 대한 시점 변환을 수행하여 정합하는 시스템 및 방법에 대한 상세한 설명은 도 10 내지 11을 참조하여 기재하기로 한다.
도 8은 일 실시예에 따른 영상 결합 방법을 나타낸 플로우 차트이다.
도 8을 참조하면, 단계(S810)에서 일 실시예에 따른 영상 결합 시스템에 포함되는 영상 획득부(210)는, 카메라 시스템(100)에 포함되는 복수의 카메라들(110) 각각에서 촬영된 영상을 획득한다. 여기서, 복수의 카메라들(110) 각각에서 촬영된 영상을 복수의 카메라들(110)이 동시에 동작하여 동시에 촬영된 영상들일 수 있다. 이 때, 복수의 카메라들(110)은 동일한 피사체를 촬영하도록 물리적으로 구분되어(이격되어) 배치되기 때문에, 영상들(복수의 카메라들 각각에서 촬영된 영상) 사이에는 시차가 발생될 수 있다.
또한, 단계(S810)에서 영상 획득부(210)는 영상들을 획득하는 동시에, 영상들에 대한 깊이 맵을 더 획득할 수 있다. 이하, 영상들에 대한 깊이 맵은 영상들이 촬영되는 동시에, 종래 깊이 맵을 획득하는 알고리즘을 통해 영상 전체 픽셀에 걸쳐 시차와 깊이와의 관계를 정의하는 영상으로 획득될 수 있다.
이 때, 복수의 카메라들(110)이 두 대의 카메라들로서, 좌측 카메라에서 촬영된 영상과 우측 카메라에서 촬영된 영상으로 좌대우 깊이 맵과 우대좌 깊이 맵이 획득되는 경우, 좌측 카메라로부터 촬영된 영상과 우측 카메라로부터 촬영된 영상이 정합되지 않는 영역에서 홀(Hole)이 발생될 수 있다.
따라서, 단계(S820)에서 영상 결합 시스템은 단계(S830) 이전에, 깊이 맵의 홀을 채울 수 있다. 예컨대, 영상 결합 시스템은 깊이 맵에서의 홀이 발생되는 영역과 인접한 영역의 픽셀 값으로 홀에 해당하는 픽셀의 값을 채울 수 있다. 이러한 단계(S820)는 영상 결합 시스템에 의해 수행되는 것으로 설명하였으나, 보다 정확하게는 영상 결합 시스템에 포함되는 영상 획득부(210), 시점 변환 수행부(220) 또는 결합부(230) 중 어느 하나에 의해 수행될 수 있다. 그러나 이에 제한되거나 한정되지 않고, 영상 결합 시스템에 포함되는 구성요소들 중 영상 획득부(210), 시점 변환 수행부(220) 및 결합부(230)와 구별되는 별도의 구성요소(도면에는 도시되지 않음)에 의해 수행될 수도 있다.
단계(S830)에서 영상 결합 시스템에 포함되는 시점 변환 수행부(220)는, 영상들에 대한 깊이 맵을 이용하여 영상들 각각에 대한 시점 변환을 수행한다. 구체적으로, 시점 변환 수행부(220)는 깊이 맵에 기초하여 복수의 카메라들(110) 각각의 초점 거리, 카메라 시스템(100)의 베이스라인의 길이 및 복수의 카메라들(110) 사이의 시차에 기초한 시점 변환 수식(전술된 식 9 또는 10)을 설정하고, 시점 변환 수식에서 이동 파라미터를 결정함으로써, 시점 변환 수식을 이용하여 영상들 각각의 시점을 일치하도록 변환할 수 있다. 이하, 영상들 각각의 시점을 일치하도록 변환한다는 것은 영상들을 정합한다는 것을 의미한다.
여기서, 이동 파라미터는 영상들 각각이 촬영된 위치가 가상의 특정 위치로 이동될 때의 이동할 거리와 관련된 값으로서, 식 9 및 10에서 mx, my, mz에 해당된다. 따라서, 시점 변환 수행부(220)가 이동 파라미터를 결정한다는 것은, 복수의 카메라들(110) 각각의 광학 중심이 카메라 시스템(100)의 가상의 기준 위치로 이동될 때의 이동할 거리를 이동 파라미터로 결정한다는 것을 의미한다. 이 때, 가상의 기준 위치는 카메라 시스템(100)이 도 3에 도시된 바와 같이 두 대의 카메라들이 수평으로 배치되는 스테레오 카메라 시스템인 경우 두 대의 카메라들의 가운데 지점으로부터 일정 거리 이상 후퇴된 지점(310)을 의미할 수 있으며, 카메라 시스템(100)이 360 카메라 시스템인 경우 복수의 카메라들(110)이 배치되는 원의 중심점을 의미할 수 있다. 예를 들어, 카메라 시스템(100)이 도 3에 도시된 바와 같이 두 대의 카메라들이 수평으로 배치되는 스테레오 카메라 시스템인 경우 시점 변환 수행부(220)는 스테레오 카메라 시스템의 베이스라인 크기의 절반으로 mx 또는 my를 결정할 수 있으며, 카메라 시스템(100)이 360 카메라 시스템인 경우 시점 변환 수행부(220)는 식 9 또는 10에서 mz의 값만을 결정하면 된다.
이처럼 복수의 카메라들(110) 각각의 광학 중심이 카메라 시스템(100)의 가상의 기준 위치로 이동될 때의 이동할 거리를 이동 파라미터로 결정하기 위해서는, 복수의 카메라들(110) 각각의 광학 중심을 확인하는 단계가 필수적이다. 이러한 단계는 도면에는 도시되지 않았지만 단계(S830) 이전 임의의 시점에 적응적으로 수행될 수 있으며, 복수의 카메라들(110) 각각의 회전축을 앞뒤로 이동시키며 좌우로 회전시켰을 때 시차가 발생하지 않는 회전축의 위치를 실험적으로 탐색함으로써 수행될 수 있다.
이 때, 복수의 카메라들(110) 각각의 광학 중심을 일치시키게 되면, 복수의 카메라들(110)에서 촬영된 영상들의 시점 역시 일치하게 된다.
따라서, 단계(S830)에서 시점 변환 수행부(220)는, 영상들 각각의 시점을 카메라 시스템(100)의 기준 위치에서 촬영된 영상의 시점으로 변환하여 일치시킴으로써, 영상들을 정합할 수 있다. 이에, 카메라 시스템(100)이 도 3에 도시된 바와 같이 두 대의 카메라들이 수평으로 배치되는 스테레오 카메라 시스템인 경우 시점 변환 수행부(220)는 복수의 카메라들(110) 각각의 위치가 카메라들(110)의 가운데 지점으로부터 일정 거리 이상 후퇴된 지점(310)으로 이동되는 가상의 변환을 수행할 수 있으며, 카메라 시스템(100)이 360 카메라 시스템인 경우 시점 변환 수행부(220)는 복수의 카메라들(110) 각각의 위치가 후방으로 후퇴된 지점(복수의 카메라들(110)이 배치되는 원의 중심점)으로 이동되는 가상의 변환을 수행할 수 있다.
이 때, 단계(S830)에서 시점 변환 수행부(220)가 영상들 각각의 시점을 복수의 카메라들(110) 각각의 시점으로부터 일정 거리 이상 후퇴된 기준 위치에서 촬영된 영상의 시점으로 일치시키는 것은, 가림(Occlusion)이 발생하는 것을 최소화하기 위함이다.
영상들에 대한 시점 변환이 수행되고 나면, 단계(S840)에서 영상 결합 시스템은 시점 변환이 수행된 영상들 각각의 홀을 채울 수 있다. 예컨대, 영상 결합 시스템은 시점 변환이 수행된 영상들 각각에서 홀이 발생되는 영역과 인접한 영역의 픽셀 값으로 홀에 해당하는 픽셀의 값을 채울 수 있다. 다른 예로, 시점 변환이 수행된 영상들 각각에서 홀이 발생되는 영역이 서로 다른 경우, 영상 결합 시스템은 시점 변환이 수행된 제1 영상에서 홀에 해당하는 픽셀의 값을 시점 변환이 수행된 제2 영상에서 제1 영상의 홀에 대응하는 영역의 픽셀 값으로 채울 수 있다. 마찬가지로, 영상 결합 시스템은 시점 변환이 수행된 제2 영상에서 홀에 해당하는 픽셀의 값을 시점 변환이 수행된 제1 영상에서 제2 영상의 홀에 대응하는 영역의 픽셀 값으로 채울 수 있다. 이러한 단계(S840)는 영상 결합 시스템에 의해 수행되는 것으로 설명하였으나, 보다 정확하게는 영상 결합 시스템에 포함되는 영상 획득부(210), 시점 변환 수행부(220) 또는 결합부(230) 중 어느 하나에 의해 수행될 수 있다. 그러나 이에 제한되거나 한정되지 않고, 영상 결합 시스템에 포함되는 구성요소들 중 영상 획득부(210), 시점 변환 수행부(220) 및 결합부(230)와 구별되는 별도의 구성요소(도면에는 도시되지 않음)에 의해 수행될 수도 있다.
단계(S850)에서 영상 결합 시스템에 포함되는 결합부(230)는, 시점 변환이 수행된 영상들을 결합한다. 결합 방식으로는 종래의 영상 합성 방식이 활용될 수 있으므로, 이에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나기 때문에 생략하기로 한다.
단계(S860)에서 시점 변환 수행부(220)는, 결합된 영상의 홀이 채워지도록 결합된 영상의 시점을 변환할 수 있다. 결합된 영상의 시점을 변환하는 것은 단계(S830)와 동일한 원리로 역 방향으로 수행될 수 있다. 예를 들어, 단계(S830)에서 영상들 각각의 시점이 후방으로 후퇴된 지점(310)에서 촬영된 영상의 시점으로 이동되는 변환이 수행된 경우, 단계(S860)에서 시점 변화 수행부(220)는 도 9와 같이 후퇴된 지점(310)으로부터 전진된 지점(910)으로 이동되는 변환(재변환)을 수행할 수 있다. 따라서, 영상들 각각의 시점이 후퇴되며 발생되었던 홀의 대부분이 채워질 수 있다.
이와 같이 상술된 실시예들에 따르면, 깊이 맵(Depth map)에 기초한 시점 변환 수식을 이용하여 영상들 각각에 대한 시점 변환(Viewpoint transformation)을 수행하여 영상들 각각의 시점을 일치시켜(복수의 카메라들(110) 각각의 광학 중심을 일치시켜) 영상들을 정합한 뒤 결합하는 영상 결합 방법, 시스템 및 컴퓨터 프로그램이 제안됨으로써, 조리개 또는 초점 위치가 다른 여러 영상을 결합하기 위하여 카메라를 고정시킬 필요가 없으며 피사체가 움직이고 있는 상황에서도, 영상들이 동일한 위치에서 촬영된 것처럼 영상들 각각의 시점이 변환되어 결합될 수 있다.
이러한 영상 결합 방식은 HDR imaging 또는 Focus stacking 등의 분야에서 활용될 수 있다. 예를 들어 단계(S810)에서 영상 획득부(210)가 복수의 카메라들(110)로부터 서로 다른 노출 값을 갖는 영상들(예컨대, 노출 값이 일정 값 이상인 영상 및 노출 값이 일정 값 미만인 영상)을 획득함으로써, 단계(S850)에서 결합부(230)는 시점 변환이 수행된 서로 다른 노출 값을 갖는 영상들을 결합하여 HDR 영상을 생성할 수 있다. 다른 예를 들면, 단계(S810)에서 영상 획득부(210)가 복수의 카메라들(110)로부터 서로 다른 초점 위치를 갖는 영상들(예컨대, 원거리에 초점을 맞춘 영상 및 근거리에 초점을 맞춘 영상)을 획득함으로써, 단계(S850)에서 결합부(230)는 시점 변환이 수행된 서로 다른 초점 위치를 갖는 영상들을 결합하여 올 인 포커스(All in focus) 영상을 생성할 수 있다.
또한, 상술한 단계(S830)의 영상 시점 변환 단계는 별도의 방법 및 시스템으로 구현되어 활용될 수 있다. 이에 대한 상세한 설명은 도 10 내지 11을 참조하여 기재하기로 한다.
도 10은 일 실시예에 따른 영상 정합 시스템을 나타낸 블록도이고, 도 11은 일 실시예에 따른 영상 정합 방법을 나타낸 플로우 차트이다.
도 10 내지 11을 참조하면, 일 실시예에 따른 영상 정합 시스템(1000)은 적어도 하나의 카메라를 포함하는 카메라 시스템에 포함되는 프로세서로 구성될 수 있다. 이에, 영상 정합 시스템(1000)는 도면에 도시된 바와 같이 프로세서의 구성요소들인 영상 획득부(1010), 수식 설정부(1020), 이동 파라미터 결정부(1030) 및 영상 정합부(1040)를 포함할 수 있다. 실시예에 따라 프로세서의 구성요소들은 선택적으로 프로세서에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서의 구성요소들은 프로세서의 기능의 표현을 위해 분리 또는 병합될 수도 있다. 예컨대, 프로세서의 구성요소들 중 적어도 일부는 카메라 시스템과 통신으로 연결되는 별도의 서버에 포함되는 프로세서에 구현될 수 있다.
이러한 프로세서의 구성요소들은 영상 정합 방법이 포함하는 단계들(S1010 내지 S1040)을 수행하도록 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램(예컨대, 영상 정합 방법을 실행하는 코드로 구성된 프로그램)의 명령(instruction)을 실행하도록 구현될 수 있다.
여기서, 프로세서의 구성요소들은 메모리에 저장된 프로그램 코드가 제공하는 명령에 따른 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 카메라 시스템에서 촬영된 영상을 획득하는 동작에 대한 기능적 표현으로서 영상 획득부(1010)가 이용될 수 있다.
이에, 프로세서의 각 구성요소들은 다음과 같이 동작함으로써, 영상 정합 방법을 수행할 수 있다.
단계(S1110)에서 영상 획득부(1010)는 카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상(복수의 카메라들에서 동시에 촬영된 영상들)을 획득한다.
또한, 단계(S1110)에서 영상 획득부(1010)는 영상들을 획득하는 동시에 영상들에 대한 깊이 맵을 더 획득할 수 있다. 이하, 영상들에 대한 깊이 맵은 영상들이 촬영되는 동시에, 종래 깊이 맵을 획득하는 알고리즘을 통해 영상들 각각의 전체 픽셀에 걸쳐 시차와 깊이와의 관계를 정의하는 영상으로 획득될 수 있다. 예를 들어, 깊이 맵은 카메라 시스템이 복수의 카메라들로 복수의 영상들을 동시에 촬영하거나, 하나의 카메라로 복수의 영상들을 순차적으로 촬영함에 따라 획득될 수 있다.
단계(S1120)에서 수식 설정부(1020)는 영상들에 대한 깊이 맵에 기초하여 복수의 카메라들 각각의 초점 거리, 카메라 시스템의 베이스라인의 길이 및 복수의 카메라들 사이의 시차에 기초한 시점 변환 수식(전술된 식 9 또는 10)을 설정할 수 있다.
단계(S1130)에서 이동 파라미터 결정부(1030)는 시점 변환 수식에서 이동 파라미터를 결정할 수 있다.
여기서, 이동 파라미터는 영상들 각각이 촬영된 위치가 가상의 특정 위치로 이동될 때의 이동할 거리와 관련된 값으로서, 식 9 및 10에서 mx, my, mz에 해당된다. 따라서, 이동 파라미터 결정부(930)가 이동 파라미터를 결정한다는 것은, 카메라 시스템의 광학 중심(카메라 시스템에 포함되는 적어도 하나의 카메라의 광학 중심)이 가상의 특정 위치로 이동될 때의 이동할 거리를 이동 파라미터로 결정한다는 것을 의미한다.
이처럼 카메라 시스템의 광학 중심이 가상의 특정 위치로 이동될 때의 이동할 거리를 이동 파라미터로 결정하기 위해서는, 카메라 시스템의 광학 중심을 확인하는 단계가 필수적이다. 이러한 단계는 도면에는 도시되지 않았지만 단계(S1130) 이전 임의의 시점에(일례로 단계(S1120)에서) 적응적으로 수행될 수 있으며, 복수의 카메라들 각각의 회전축을 앞뒤로 이동시키며 좌우로 회전시켰을 때 시차가 발생하지 않는 회전축의 위치를 실험적으로 탐색함으로써 수행될 수 있다.
단계(S1140)에서 정합부(1040)는 시점 변환 수식을 이용하여 영상들 각각의 시점을 일치하도록 변환함으로써 영상들을 정합할 수 있다. 즉, 단계(S1140)에서 정합부(1040)는, 영상들 각각의 시점을 가상의 특정 위치에서 촬영된 영상의 시점으로 변환함으로써, 일치시켜 영상들을 정합할 수 있다.
이상 설명된 영상 정합 방법은, 상술된 단계들(S1110 내지 S1140) 이외에도 도 8을 참조하여 상술된 단계들(S820 및/또는 S840)를 더 포함할 수 있다. 이러한 경우, 영상 시점 변환 시스템은 단계(S1120) 이전에 깊이 맵의 홀을 채우는 단계를 수행할 수 있으며. 단계(S1140)에서 시점 변환이 수행된 영상들 각각의 홀을 채우는 단계를 포함하여 홀이 채워진 영상들을 정합할 수 있다.
이와 같이 상술된 실시예들에 따르면, 영상에 대한 깊이 맵에 기초한 시점 변환 수식을 이용하여 영상의 시점을 변환하여 정합하는 영상 정합 방법, 시스템 및 컴퓨터 프로그램이 제안됨으로써, 별도의 조명 장치 없이, 피사체가 움직이고 있는 상황에서도 영상들을 영상이 가상의 특정 위치에서 촬영된 것처럼 시점을 변환하여 정합하는 기술이 제공될 수 있으며, 정합된 영상의 활용 폭이 넓어질 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 카메라 시스템에 구비되는 컴퓨터에 의해 실행되는 시점 변환(Viewpoint transformation)을 이용하는 영상 결합 방법에 있어서,
    상기 카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계;
    상기 영상들에 대한 깊이 맵(Depth map)에 기초하여 상기 복수의 카메라들 각각의 초점 거리, 상기 카메라 시스템의 베이스라인의 길이 및 상기 복수의 카메라들 사이의 시차에 기초한 시점 변환 수식을 설정하는 단계;
    상기 시점 변환 수식에서 이동 파라미터-상기 이동 파라미터는 상기 영상들 각각이 촬영된 위치가 가상의 특정 위치로 이동될 때의 이동할 거리와 관련된 값임-를 결정하는 단계;
    상기 시점 변환 수식을 이용하여 상기 영상들 각각의 시점을 일치하도록 변환하는 상기 영상들 각각에 대한 시점 변환을 수행하는 단계; 및
    상기 시점 변환이 수행된 영상들을 결합하는 단계
    를 포함하고,
    상기 시점 변환 수식에서 이동 파라미터를 결정하는 단계는,
    상기 복수의 카메라들 각각의 광학 중심이 상기 카메라 시스템의 가상의 기준 위치로 이동될 때의 이동할 거리 및 상기 카메라 시스템의 베이스라인의 길이에 기초하여 상기 이동 파라미터를 결정하는 단계이며,
    상기 영상들 각각에 대한 시점 변환을 수행하는 단계는,
    상기 영상들 각각에 대한 시점 변환을 수행하기 이전에, 상기 깊이 맵의 홀을 채우는 단계
    를 더 포함하는 영상 결합 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 영상들 각각에 대한 시점 변환을 수행하는 단계는,
    상기 영상들 각각의 시점을 상기 카메라 시스템의 기준 위치에서 촬영된 영상의 시점으로 변환하는 단계인, 영상 결합 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 영상들 각각에 대한 시점 변환을 수행하는 단계는,
    상기 시점 변환이 수행된 영상들 각각의 홀을 채우는 단계
    를 더 포함하는 영상 결합 방법.
  8. 제1항에 있어서,
    상기 시점 변환이 수행된 영상들을 결합하는 단계는,
    상기 결합된 영상의 홀이 채워지도록 상기 결합된 영상의 시점을 변환하는 단계
    를 더 포함하는 영상 결합 방법.
  9. 제1항에 있어서,
    상기 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계는,
    상기 복수의 카메라들로부터 서로 다른 노출 값을 갖는 상기 영상들을 획득하는 단계
    를 포함하고,
    상기 시점 변환이 수행된 영상들을 결합하는 단계는,
    상기 시점 변환이 수행된 서로 다른 노출 값을 갖는 영상들을 결합하여 HDR(Hyper dynamic range) 영상을 생성하는 단계
    를 포함하는 영상 결합 방법.
  10. 제1항에 있어서,
    상기 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계는,
    상기 복수의 카메라들로부터 서로 다른 초점 위치를 갖는 상기 영상들을 획득하는 단계
    를 포함하고,
    상기 시점 변환이 수행된 영상들을 결합하는 단계는,
    상기 시점 변환이 수행된 서로 다른 초점 위치를 갖는 영상들을 결합하여 올 인 포커스(All in focus) 영상을 생성하는 단계
    를 포함하는 영상 결합 방법.
  11. 컴퓨터와 결합되어 시점 변환을 이용하는 영상 결합 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서,
    상기 영상 결합 방법은,
    카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상을 획득하는 단계;
    상기 영상들에 대한 깊이 맵(Depth map)에 기초하여 상기 복수의 카메라들 각각의 초점 거리, 상기 카메라 시스템의 베이스라인의 길이 및 상기 복수의 카메라들 사이의 시차에 기초한 시점 변환 수식을 설정하는 단계;
    상기 시점 변환 수식에서 이동 파라미터-상기 이동 파라미터는 상기 영상들 각각이 촬영된 위치가 가상의 특정 위치로 이동될 때의 이동할 거리와 관련된 값임-를 결정하는 단계;
    상기 시점 변환 수식을 이용하여 상기 영상들 각각의 시점을 일치하도록 변환하는 상기 영상들 각각에 대한 시점 변환을 수행하는 단계; 및
    상기 시점 변환이 수행된 영상들을 결합하는 단계
    를 포함하고,
    상기 시점 변환 수식에서 이동 파라미터를 결정하는 단계는,
    상기 복수의 카메라들 각각의 광학 중심이 상기 카메라 시스템의 가상의 기준 위치로 이동될 때의 이동할 거리 및 상기 카메라 시스템의 베이스라인의 길이에 기초하여 상기 이동 파라미터를 결정하는 단계이며,
    상기 영상들 각각에 대한 시점 변환을 수행하는 단계는,
    상기 영상들 각각에 대한 시점 변환을 수행하기 이전에, 상기 깊이 맵의 홀을 채우는 단계
    를 더 포함하는 기록 매체에 기록된 컴퓨터 프로그램.
  12. 카메라 시스템에 구비되는 컴퓨터로 구현되는 시점 변환을 이용하는 영상 결합 시스템에 있어서,
    컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라 시스템에 포함되는 복수의 카메라들 각각에서 촬영된 영상을 획득하는 영상 획득부;
    상기 영상들에 대한 깊이 맵(Depth map)에 기초하여 상기 복수의 카메라들 각각의 초점 거리, 상기 카메라 시스템의 베이스라인의 길이 및 상기 복수의 카메라들 사이의 시차에 기초한 시점 변환 수식을 설정하고, 상기 시점 변환 수식에서 이동 파라미터-상기 이동 파라미터는 상기 영상들 각각이 촬영된 위치가 가상의 특정 위치로 이동될 때의 이동할 거리와 관련된 값임-를 결정하며, 상기 시점 변환 수식을 이용하여 상기 영상들 각각의 시점을 일치하도록 변환하는 상기 영상들 각각에 대한 시점 변환을 수행하는 시점 변환 수행부; 및
    상기 시점 변환이 수행된 영상들을 결합하는 결합부
    를 포함하고,
    상기 시점 변환 수행부는,
    상기 복수의 카메라들 각각의 광학 중심이 상기 카메라 시스템의 가상의 기준 위치로 이동될 때의 이동할 거리 및 상기 카메라 시스템의 베이스라인의 길이에 기초하여 상기 이동 파라미터를 결정하며,
    상기 영상들 각각에 대한 시점 변환을 수행하기 이전에, 상기 깊이 맵의 홀을 채우는 영상 결합 시스템.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020170161345A 2017-11-29 2017-11-29 시점 변환을 이용하는 영상 결합 방법 및 시스템 KR101997991B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170161345A KR101997991B1 (ko) 2017-11-29 2017-11-29 시점 변환을 이용하는 영상 결합 방법 및 시스템
US16/201,906 US10972712B2 (en) 2017-11-29 2018-11-27 Image merging method using viewpoint transformation and system therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170161345A KR101997991B1 (ko) 2017-11-29 2017-11-29 시점 변환을 이용하는 영상 결합 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190062794A KR20190062794A (ko) 2019-06-07
KR101997991B1 true KR101997991B1 (ko) 2019-07-08

Family

ID=66632864

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170161345A KR101997991B1 (ko) 2017-11-29 2017-11-29 시점 변환을 이용하는 영상 결합 방법 및 시스템

Country Status (2)

Country Link
US (1) US10972712B2 (ko)
KR (1) KR101997991B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726602B (zh) * 2019-03-22 2022-04-22 舜宇光学（浙江）研究院有限公司 异视场角摄像-显像系统的匹配方法及其系统和计算系统
US11039113B2 (en) * 2019-09-30 2021-06-15 Snap Inc. Multi-dimensional rendering
KR102310789B1 (ko) * 2019-11-07 2021-10-07 연세대학교 산학협력단 다양한 시점에서 연속적으로 획득된 영상을 활용한 카메라 자세 및 깊이 추정 장치 및 방법
CN111260597B (zh) * 2020-01-10 2021-12-03 大连理工大学 一种多波段立体相机的视差图像融合方法
CN111210481A (zh) * 2020-01-10 2020-05-29 大连理工大学 多波段立体相机的深度估计加速方法
KR102600939B1 (ko) * 2022-07-15 2023-11-10 주식회사 브이알크루 비주얼 로컬라이제이션을 위한 데이터를 생성하기 위한 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287517A (ja) * 2003-03-19 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
KR100490885B1 (ko) * 2002-04-17 2005-05-19 중앙대학교 산학협력단 직각 교차 실린더를 이용한 영상기반 렌더링 방법
KR101406073B1 (ko) * 2013-03-12 2014-06-11 현대오트론 주식회사 어라운드 뷰 영상을 생성하는 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120093751A (ko) * 2011-02-15 2012-08-23 한국전자통신연구원 정면시점 영상합성을 통한 시선 맞춤 장치 및 방법
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
JP6132275B2 (ja) * 2012-07-02 2017-05-24 パナソニックＩｐマネジメント株式会社 サイズ測定装置及びサイズ測定方法
WO2014138695A1 (en) * 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
US10567739B2 (en) * 2016-04-22 2020-02-18 Intel Corporation Synthesis of transformed image views
US9900584B2 (en) * 2016-04-27 2018-02-20 Semyon Nisenzon Depth map generation based on cluster hierarchy and multiple multiresolution camera clusters

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100490885B1 (ko) * 2002-04-17 2005-05-19 중앙대학교 산학협력단 직각 교차 실린더를 이용한 영상기반 렌더링 방법
JP2004287517A (ja) * 2003-03-19 2004-10-14 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
KR101406073B1 (ko) * 2013-03-12 2014-06-11 현대오트론 주식회사 어라운드 뷰 영상을 생성하는 방법 및 장치

Also Published As

Publication number Publication date
US10972712B2 (en) 2021-04-06
US20190166350A1 (en) 2019-05-30
KR20190062794A (ko) 2019-06-07

Similar Documents

Publication Publication Date Title
KR101997991B1 (ko) 시점 변환을 이용하는 영상 결합 방법 및 시스템
KR102105189B1 (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
KR101602394B1 (ko) 3d 깊이 정보를 기반으로 한 이미지 블러
KR100866491B1 (ko) 영상 처리 방법 및 장치
US10257502B2 (en) Methods and apparatus for controlling light field capture
KR20160140452A (ko) 이미지 기반의 라이트 필드를 사용자의 디바이스 상에 표시하기 위한 방법 및 장치, 및 대응하는 컴퓨터 프로그램 제품
US9729857B2 (en) High resolution depth map computation using multiresolution camera clusters for 3D image generation
JP6655379B2 (ja) 焦点スタックから適応スライス画像を生成する方法および装置
US20130093839A1 (en) Apparatus and method of generating three-dimensional (3d) panoramic image
US11694349B2 (en) Apparatus and a method for obtaining a registration error map representing a level of sharpness of an image
KR20120046802A (ko) 하나의 카메라를 이용하여 3차원 파노라마 영상을 생성하는 장치 및 방법
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
KR102209907B1 (ko) 시점 변환을 이용하는 360도 영상 저장 방법 및 렌더링 방법
US10061189B2 (en) Stereo-panoramic data
KR101986433B1 (ko) 시점 변환을 이용하는 영상 스티칭 방법 및 시스템
WO2017096859A1 (zh) 照片的处理方法及装置
KR102209908B1 (ko) 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법
JP2004132759A (ja) 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム
JP2023540647A (ja) 映画産業向けプリビジュアライゼーション・デバイス及びシステム
JP6571779B2 (ja) 立体画像化
WO2021031096A1 (en) Multi-shot image capture without image stabilization
JP2019118042A (ja) 画像処理装置、画像処理方法及びプログラム
JP2012107971A (ja) 画像処理装置および距離計測装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant