KR101684194B1 - 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템 - Google Patents

초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템 Download PDF

Info

Publication number
KR101684194B1
KR101684194B1 KR1020150181137A KR20150181137A KR101684194B1 KR 101684194 B1 KR101684194 B1 KR 101684194B1 KR 1020150181137 A KR1020150181137 A KR 1020150181137A KR 20150181137 A KR20150181137 A KR 20150181137A KR 101684194 B1 KR101684194 B1 KR 101684194B1
Authority
KR
South Korea
Prior art keywords
aperture
image
depth
rgb
image sets
Prior art date
Application number
KR1020150181137A
Other languages
English (en)
Inventor
경종민
문준호
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020150181137A priority Critical patent/KR101684194B1/ko
Application granted granted Critical
Publication of KR101684194B1 publication Critical patent/KR101684194B1/ko
Priority to US15/530,246 priority patent/US10623719B2/en
Priority to CN201611170377.7A priority patent/CN106973199B/zh

Links

Images

Classifications

    • H04N13/0214—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/02—Diaphragms
    • H04N13/0003—
    • H04N13/0022—
    • H04N13/0235—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템(multi-aperture camera system)은 RGB 광 신호를 유입시키는 제1 애퍼처 및 상기 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되고, 복수의 위치들에 배치되도록 이동하는 단일 광학계; 상기 단일 광학계가 상기 복수의 위치들 각각에 배치됨에 응답하여 상기 복수의 위치들에 대응하는 복수의 이미지 세트들-상기 복수의 이미지 세트들 각각은 상기 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 상기 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득하는 이미지 센서; 및 상기 복수의 이미지 세트들 각각에서의 시차(disparity)를 계산하고, 상기 복수의 이미지 세트들 각각에서의 시차를 이용하여 피사체에 대한 깊이를 결정하는 깊이 결정부를 포함하고, 상기 제1 애퍼처 및 상기 제2 애퍼처는 서로 어긋난 중심 위치를 갖도록 상기 단일 광학계 상에 형성된다.

Description

초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템{MULTI APERTURE CAMERA SYSTEM FOR IMPROVING DEPTH ACCURACY USING FOCUSING DISTANCE SCAN}
아래의 실시예들은 시차(disparity)를 이용하여 피사체에 대한 깊이를 결정하는 멀티 애퍼처 카메라 시스템에 관한 것으로, 보다 상세하게는, 초점 맞는 피사체 거리 스캔을 이용하여 피사체에 대한 깊이 정확도를 향상시키는 기술이다.
기존의 피사체에 대한 깊이를 결정하는 기술은 이미지 센서가 광학계에 대해 초점 맞는 피사체 거리에 근접하도록 광학계 및 이미지 센서의 위치를 설정하는 대신에, 임의로 광학계 및 이미지 센서의 위치를 설정함으로써, 광학계를 통해 이미지 센서에서 획득되는 복수의 이미지들을 이용하여 피사체에 대한 깊이를 추정한다.
예를 들어, 기존의 DFD(depth from defocus) 기술은 광학계 및 이미지 센서의 위치를 임의로 설정함으로써, 이미지 센서가 광학계에 대해 초점 맞는 피사체 거리에 근접하도록 배치되지 못한 채, 광학계에 형성된 복수의 애퍼처들을 통해 획득되는 복수의 이미지들 각각에서의 블러(blur) 크기를 이용하여 피사체에 대한 깊이를 추정한다.
다른 예를 들면, 기존의 시차(disparity)를 이용하는 기술은 광학계와 이미지 센서로 구성되는 카메라 모듈을 두 개 구비한 후, 두 개의 카메라 모듈 각각에서 광학계 및 이미지 센서의 위치를 임의로 설정함으로써, 이미지 센서가 광학계에 대해 초점 맞는 피사체 거리에 근접하도록 배치되지 못한 채, 두 개의 카메라 모듈 각각에서 획득되는 이미지 사이의 시차를 이용하여 피사체에 대한 깊이를 결정한다.
이와 같은 기존의 피사체에 대한 깊이를 결정하는 기술은 블러 크기를 이용하거나, 시차를 이용하는 경우 모두 임의로 광학계 및 이미지 센서의 위치가 설정되어, 이미지 센서가 광학계에 대해 초점 맞는 피사체 거리에 근접하도록 배치되지 않기 때문에, 피사체에 대한 깊이가 정확하게 계산되지 못하는 단점이 있다.
이에, 아래의 실시예들은 기존의 피사체에 대한 깊이를 결정하는 기술의 문제점을 해결하기 위하여, 광학계가 이미지 센서를 기준으로 상대적으로 복수의 위치들에 배치되도록 이동됨으로써, 복수의 초점 맞는 피사체 거리들을 스캔하여 피사체에 대한 깊이를 결정하는 기술을 제안한다.
일실시예들은 이미지 센서에 대해 상대적인 복수의 위치들에 배치되도록 광학계를 이동시켜가며 획득되는 복수의 이미지 세트들-복수의 이미지 세트들 각각은 RGB 이미지 및 비 RGB 이미지를 포함함-을 이용하여 피사체에 대한 깊이를 결정하는 멀티 애퍼처 카메라 시스템 및 그 동작 방법을 제공한다.
구체적으로, 일실시예들은 서로 어긋난 중심 위치를 갖는 애퍼처들이 형성된 단일 광학계를 이미지 센서에 대해 상대적으로 이동시켜가며 복수의 이미지 세트들을 획득함으로써, 복수의 이미지 세트들 각각에서의 시차를 이용하여 피사체에 대한 깊이를 결정하는 멀티 애퍼처 카메라 시스템 및 그 동작 방법을 제공한다.
또한, 일실시예들은 서로 다른 파장대의 광 신호를 유입시키는 애퍼처들이 형성된 광학계를 이미지 센서에 대해 상대적으로 이동시켜가며 복수의 이미지 세트들을 획득함으로써, 복수의 이미지 세트들 각각에서의 블러 크기의 변화를 이용하여 피사체에 대한 깊이를 결정하는 멀티 애퍼처 카메라 시스템 및 그 동작 방법을 제공한다.
따라서, 일실시예들은 이미지 센서에 대해 상대적인 복수의 위치들에 배치되도록 광학계를 이동시켜 복수의 초점 맞는 피사체 거리들을 스캔함으로써, 기존의 피사체에 대한 깊이를 결정하는 기술에 비해, 보다 정확한 깊이를 결정하는 멀티 애퍼처 카메라 시스템 및 그 동작 방법을 제공한다.
일실시예에 따르면, 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템(multi-aperture camera system)은 RGB 광 신호를 유입시키는 제1 애퍼처 및 상기 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되고, 복수의 위치들에 배치되도록 이동하는 단일 광학계; 상기 단일 광학계가 상기 복수의 위치들 각각에 배치됨에 응답하여 상기 복수의 위치들에 대응하는 복수의 이미지 세트들-상기 복수의 이미지 세트들 각각은 상기 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 상기 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득하는 이미지 센서; 및 상기 복수의 이미지 세트들 각각에서의 시차(disparity)를 계산하고, 상기 복수의 이미지 세트들 각각에서의 시차를 이용하여 피사체에 대한 깊이를 결정하는 깊이 결정부를 포함하고, 상기 제1 애퍼처 및 상기 제2 애퍼처는 서로 어긋난 중심 위치를 갖도록 상기 단일 광학계 상에 형성된다.
상기 깊이 결정부는 상기 복수의 이미지 세트들 각각에서의 상관도(correlation)를 계산하고, 상기 복수의 이미지 세트들 각각에서의 상관도를 기초로 상기 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 시차를 이용하여 상기 피사체에 대한 깊이를 결정할 수 있다.
상기 깊이 결정부는 상기 복수의 이미지 세트들 각각에서의 상관도에 기초하여 상기 복수의 이미지 세트들 중 가장 높은 상관도를 갖는 어느 하나의 이미지 세트를 선택하고, 상기 선택된 어느 하나의 이미지 세트에서의 시차를 이용하여 상기 피사체에 대한 깊이를 결정할 수 있다,
상기 깊이 결정부는 상기 복수의 이미지 세트들 각각에서의 상관도에 기초하여 상기 복수의 이미지 세트들 각각에 대한 가중치를 설정하고, 상기 복수의 이미지 세트들 각각에서의 시차를 이용하여 상기 피사체에 대한 복수의 깊이들을 추출하며, 상기 복수의 깊이들 각각에 상기 가중치를 적용한 평균값에 따라 상기 피사체에 대한 깊이를 결정할 수 있다.
상기 깊이 결정부는 상기 복수의 이미지 세트들 각각에 대한 가중치에 기초하여 상기 복수의 이미지 세트들 중 일부 이미지 세트들을 선택하고, 상기 선택된 일부 세트들 각각에서의 시차를 이용하여 상기 피사체에 대한 복수의 깊이들을 추출하며, 상기 복수의 깊이들 각각에 상기 가중치를 적용한 평균값에 따라 상기 피사체에 대한 깊이를 결정할 수 있다.
상기 깊이 결정부는 상기 복수의 이미지 세트들 각각에서의 시차, 상기 제1 애퍼처의 중심 위치와 상기 제2 애퍼처의 중심 위치 사이의 거리, 상기 단일 광학계가 배치되는 상기 복수의 위치들 각각에 대한 상기 이미지 센서에 초점이 맞은 피사체 깊이 및 상기 단일 광학계가 배치되는 상기 복수의 위치들 각각에 대한 초점 거리에 기초하여 상기 피사체로부터 상기 단일 광학계까지의 깊이를 계산할 수 있다.
상기 복수의 이미지 세트들 각각에서의 시차는 상기 복수의 이미지 세트들 각각에 포함되는 상기 RGB 이미지 및 상기 비 RGB 이미지 사이의 시차일 수 있다.
상기 제1 애퍼처 및 상기 제2 애퍼처는 상기 이미지 센서의 수평방향, 수직방향 또는 비스듬한(oblique) 방향 중 적어도 하나의 방향으로 오프셋되는 중심 위치를 갖도록 형성될 수 있다.
다른 일실시예에 따르면, 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템(multi-aperture camera system)은 RGB 광 신호를 유입시키는 제1 애퍼처 및 상기 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되고, 복수의 위치들에 배치되도록 이동하는 광학계; 상기 광학계가 상기 복수의 위치들 각각에 배치됨에 응답하여 상기 복수의 위치들에 대응하는 복수의 이미지 세트들-상기 복수의 이미지 세트들 각각은 상기 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 상기 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득하는 이미지 센서; 및 상기 복수의 이미지 세트들 각각에서의 블러(blur) 크기의 변화를 이용하여 피사체에 대한 깊이를 결정하는 깊이 결정부를 포함한다.
상기 깊이 결정부는 상기 복수의 이미지 세트들 각각에서의 상관도(correlation)를 계산하고, 상기 복수의 이미지 세트들 각각에서의 상관도를 기초로 상기 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 블러 크기의 변화를 이용하여 상기 피사체에 대한 깊이를 결정할 수 있다.
일실시예에 따르면, 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템(multi-aperture camera system)의 동작 방법은 RGB 광 신호를 유입시키는 제1 애퍼처 및 상기 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되는 단일 광학계를 복수의 위치들에 배치되도록 이동시키는 단계; 상기 복수의 위치들 각각에 배치되는 상기 단일 광학계에 형성된 상기 제1 애퍼처 및 상기 제2 애퍼처를 통하여 상기 RGB 광 신호 및 상기 비 RGB 광 신호 각각을 유입시키는 단계; 상기 단일 광학계가 상기 복수의 위치들 각각에 배치됨에 응답하여 상기 복수의 위치들에 대응하는 복수의 이미지 세트들-상기 복수의 이미지 세트들 각각은 상기 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 상기 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득하는 단계; 및 상기 복수의 이미지 세트들 각각에서의 시차(disparity)를 이용하여 피사체에 대한 깊이를 결정하는 단계를 포함하고, 상기 제1 애퍼처 및 상기 제2 애퍼처는 서로 어긋난 중심 위치를 갖도록 상기 단일 광학계 상에 형성된다.
상기 피사체에 대한 깊이를 결정하는 단계는 상기 복수의 이미지 세트들 각각에서의 상관도(correlation)를 계산하는 단계; 및 상기 복수의 이미지 세트들 각각에서의 상관도를 기초로 상기 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 시차를 이용하여 상기 피사체에 대한 깊이를 결정하는 단계를 포함할 수 있다.
다른 일실시예에 따르면, 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템(multi-aperture camera system)의 동작 방법은 RGB 광 신호를 유입시키는 제1 애퍼처 및 상기 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되는 광학계를 복수의 위치들에 배치되도록 이동시키는 단계; 상기 복수의 위치들 각각에 배치되는 상기 광학계에 형성된 상기 제1 애퍼처 및 상기 제2 애퍼처를 통하여 상기 RGB 광 신호 및 상기 비 RGB 광 신호 각각을 유입시키는 단계; 상기 광학계가 상기 복수의 위치들 각각에 배치됨에 응답하여 상기 복수의 위치들에 대응하는 복수의 이미지 세트들-상기 복수의 이미지 세트들 각각은 상기 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 상기 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득하는 단계; 및 상기 복수의 이미지 세트들 각각에서의 블러(blur) 크기의 변화를 이용하여 피사체에 대한 깊이를 결정하는 단계를 포함한다.
일실시예들은 이미지 센서에 대해 상대적인 복수의 위치들에 배치되도록 광학계를 이동시켜가며 획득되는 복수의 이미지 세트들-복수의 이미지 세트들 각각은 RGB 이미지 및 비 RGB 이미지를 포함함-을 이용하여 피사체에 대한 깊이를 결정하는 멀티 애퍼처 카메라 시스템 및 그 동작 방법을 제공할 수 있다.
구체적으로, 일실시예들은 서로 어긋난 중심 위치를 갖는 애퍼처들이 형성된 단일 광학계를 이미지 센서에 대해 상대적으로 이동시켜가며 복수의 이미지 세트들을 획득함으로써, 복수의 이미지 세트들 각각에서의 시차를 이용하여 피사체에 대한 깊이를 결정하는 멀티 애퍼처 카메라 시스템 및 그 동작 방법을 제공할 수 있다.
또한, 일실시예들은 서로 다른 파장대의 광 신호를 유입시키는 애퍼처들이 형성된 광학계를 이미지 센서에 대해 상대적으로 이동시켜가며 복수의 이미지 세트들을 획득함으로써, 복수의 이미지 세트들 각각에서의 블러 크기의 변화를 이용하여 피사체에 대한 깊이를 결정하는 멀티 애퍼처 카메라 시스템 및 그 동작 방법을 제공할 수 있다.
따라서, 일실시예들은 이미지 센서에 대해 상대적인 복수의 위치들에 배치되도록 광학계를 이동시켜 복수의 초점 맞는 피사체 거리들을 스캔함으로써, 기존의 피사체에 대한 깊이를 결정하는 기술에 비해, 보다 정확한 깊이를 결정하는 멀티 애퍼처 카메라 시스템 및 그 동작 방법을 제공할 수 있다.
도 1은 일실시예에 따른 멀티 애퍼처 카메라에서 시차를 이용하여 이미지 센서와 피사체 사이의 깊이를 결정하는 원리를 설명하기 위한 도면이다.
도 2는 일실시예에 따른 멀티 애퍼처 카메라 시스템에서 초점 맞는 피사체 거리에 따른 피사체에 대한 깊이의 정확도를 설명하기 위한 도면이다.
도 3은 일실시예에 따른 멀티 애퍼처 카메라 시스템의 깊이 결정 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 멀티 애퍼처 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다.
도 5는 일실시예에 따른 멀티 애퍼처 카메라 시스템을 나타낸 블록도이다.
도 6은 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다.
도 7은 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템을 나타낸 블록도이다.
도 8은 일실시예에 따른 멀티 애퍼처 카메라 시스템의 깊이 결정 원리를 설명하기 위한 도면이다.
도 9는 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템의 깊이 결정 원리를 설명하기 위한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 멀티 애퍼처 카메라에서 시차를 이용하여 이미지 센서와 피사체 사이의 깊이를 결정하는 원리를 설명하기 위한 도면이다.
도 1을 참조하면, 멀티 애퍼처 카메라 시스템은 이미지 센서(120)의 수평방향, 수직방향 또는 비스듬한 방향 중 적어도 하나의 방향으로 오프셋되어 서로 어긋난 중심 위치를 갖도록 단일 광학계(110) 상에 형성되는 제1 애퍼처(111) 및 제2 애퍼처(112)를 이용함으로써, 피사체에 대한 깊이를 결정한다. 단일 광학계(110)는 제1 애퍼처(111) 및 제2 애퍼처(112)가 형성되는 필터와 렌즈를 포함하는 광학 장치를 의미한다.
이하, 피사체에 대한 깊이는 이미지 센서(120)와 피사체 사이의 거리인, 단일 광학계(110)의 제1 주평면(principal plane)과 피사체 사이의 거리로서 정의될 수 있다. 후술되지만, 이러한 경우, 이미지 센서(120)와 피사체 사이의 거리는 단일 광학계(110)의 제1 주평면과 피사체 사이의 거리 및 단일 광학계(110)의 제1 주평면과 이미지 센서(120) 사이의 거리(단일 광학계(110)의 제1 주평면과 이미지 센서(120) 사이의 거리는 멀티 애퍼처 카메라 시스템에서 미리 설정된 값임)가 합산되어 계산될 수 있다. 따라서, 이미지 센서(120)와 피사체 사이의 거리가 결정되는 것은 단일 광학계(110)의 제1 주평면과 피사체 사이의 거리가 결정되는 것을 의미한다.
여기서, 제1 애퍼처(111)는 RGB 광 신호(예컨대, 400nm 내지 650nm 사이 파장대의 광 신호)를 유입시키도록 형성되고, 제2 애퍼처(112)는 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키도록 형성된다. 이하, 제2 애퍼처(112)가 IR 광 신호(예컨대, 650 nm 내지 810 사이 파장대의 광 신호)를 유입시키는 것으로 기재하나, 이에 제한되거나 한정되지 않고, RGB 광 신호와 다른 파장대의 다양한 비 RGB 광 신호를 유입시킬 수 있다.
이 때, 제1 애퍼처(111) 및 제2 애퍼처(112)는 서로 어긋난 중심 위치를 갖도록 형성되기 때문에, 제1 애퍼처(111)에 의해 유입되는 RGB 광 신호를 이미지 센서(120)가 처리하여 획득되는 피사체에 대한 RGB 이미지의 중심 위치는 제2 애퍼처(112)에 의해 유입되는 IR 광 신호를 이미지 센서(120)가 처리하여 획득되는 피사체에 대한 비 RGB 이미지의 중심 위치와 일반적으로 일치하지 않게 된다. 예를 들어, 이미지 센서(120)가 도면에 도시된 위치로부터 단일 광학계(110)에 더 가까워지는 위치에 배치되는 경우, 비 RGB 이미지의 중심 위치가 RGB 이미지의 중심 위치를 기준으로 오른쪽으로 치우치는 형상이 발생되고, 이미지 센서(120)가 도면에 도시된 위치로부터 단일 광학계(110)에 더 멀어지는 위치에 배치되는 경우, 비 RGB 이미지의 중심 위치가 RGB 이미지의 중심 위치를 기준으로 왼쪽으로 치우치는 현상이 발생된다.
멀티 애퍼처 카메라 시스템은 이와 같은 원리를 이용하여 RGB 이미지 및 비 RGB 이미지 사이의 시차 p를 수학식 1과 같이 계산할 수 있다. 이하, RGB 이미지 및 비 RGB 이미지 사이의 시차는 RGB 이미지의 중심 위치 및 비 RGB 이미지의 중심 위치 사이의 시차(특히, RGB 이미지 중 피사체에 대한 영역의 중심 위치 및 비 RGB 이미지 중 피사체에 대한 영역의 중심 위치 사이의 시차)를 의미한다.
<수학식 1>
Figure 112015124008959-pat00001

수학식 1에서, x는 제1 애퍼처(111)의 중심 위치와 제2 애퍼처(112)의 중심 위치 사이의 거리를 나타내고, f는 초점 거리(단일 광학계(110)로부터 피사체에 대한 상이 맺히는 초점면(focal plane)까지의 거리)를 나타내며, a는 피사체 깊이(피사체로부터 단일 광학계(110)의 제1 주평면까지의 거리)를 나타내고,
Figure 112015124008959-pat00002
는 이미지 센서(120)에 초점이 맞은 피사체 깊이를 나타낸다.
이 때, RGB 이미지의 중심 위치와 비 RGB 이미지의 중심 위치 사이의 시차 p의 값이 양수에서 음수로 바뀌거나, 음수에서 양수로 바뀌는 경우, 두 이미지들 사이의 시차 방향이 바뀐 것이다. 따라서, p의 값의 부호에 따라, 피사체가 초점 맞은 위치를 기준으로 전경(foreground)에 있는지 또는 배경(background)에 있는지가 구분될 수 있다.
또한, 수학식 1로부터 피사체 깊이 a가 수학식 2와 같이 계산될 수 있다.
<수학식 2>
Figure 112015124008959-pat00003

수학식 2에서,
Figure 112015124008959-pat00004
는 이미지 센서(120)에 초점이 맞은 피사체 깊이를 나타내고, f는 초점 거리를 나타내며, p는 RGB 이미지 및 비 RGB 이미지 사이의 시차를 나타내고, x는 제1 애퍼처(111)의 중심 위치와 제2 애퍼처(112)의 중심 위치 사이의 거리를 나타낸다.
따라서, 이미지 센서(120)와 피사체 사이의 깊이 c는 수학식 3과 같이 결정될 수 있다.
<수학식 3>
Figure 112015124008959-pat00005

수학식 3에서 a는 피사체 깊이(피사체로부터 단일 광학계(110)의 제1 주평면까지의 거리)를 나타내고, b는 단일 광학계(110)의 제1 주평면과 이미지 센서(120) 사이의 거리를 나타낸다.
여기서, 제1 애퍼처(111) 및 제2 애퍼처(112)는 이미지 센서(120)의 수평방향, 수직방향 또는 비스듬한 방향 중 적어도 하나의 방향으로 오프셋되어 서로 어긋난 중심 위치를 갖도록 형성됨으로써, 깊이를 결정하기 위하여 스캔 라인 프로세싱 기법(이 때, 스캔 라인 프로세싱 기법은 이미지 센서(120)에 의해, 이미지 센서(120)의 수평방향, 수직방향 또는 비스듬한 방향 중 적어도 하나의 방향으로 수행될 수 있음)이 적용될 수 있다. 예를 들어, 이미지 센서(120)의 수평 방향(X 축 방향), 수직 방향(Y 축 방향) 또는 비스듬한 방향(X 축 및 Y 축에 대해 비스듬한 방향) 중 적어도 하나의 방향과 제1 애퍼처(111)의 중심 및 제2 애퍼처(112)의 중심을 연결하는 선분의 방향이 일치되도록 제1 애퍼처(111) 및 제2 애퍼처(112)가 정렬될 수 있다. 따라서, 제1 애퍼처(111) 및 제2 애퍼처(112)의 오프셋 방향과 이미지 센서(120)의 수평 방향, 수직방향 또는 비스듬한 방향 중 적어도 하나의 방향 사이의 각도가 이상적으로 0에 가깝도록 설정되기 때문에, 멀티 애퍼처 카메라 시스템은 스캔 라인 프로세싱 기법을 손쉽게 적용할 수 있다. 즉, 제1 애퍼처(111) 및 제2 애퍼처(112)는 이미지 센서(120)에서 적용하는 스캔 라인 프로세싱 기법이 진행되는 방향으로 오프셋되는 중심 위치를 갖도록 형성될 수 있다.
이 때, 제1 애퍼처(111) 및 제2 애퍼처(112)의 오프셋 방향과 이미지 센서(120)의 수평 방향 사이의 각도가 0에 가깝도록 설정되지 않는 경우, 멀티 애퍼처 카메라 시스템은 시차 탐색 영역을 확장함으로써, 스캔 라인 프로세싱 기법을 적용할 수도 있다.
일실시예에 따른 멀티 애퍼처 카메라 시스템은 상술한 바와 같은 RGB 이미지 및 비 RGB 이미지 사이의 시차를 이용하는 원리를 기반으로 피사체에 대한 깊이를 결정할 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
또한, 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템은 상술한 바와 같은 RGB 이미지 및 비 RGB 이미지 사이의 시차를 이용하는 원리 대신에, 서로 다른 파장대의 광 신호가 유입되어 획득되는 RGB 이미지 및 비 RGB 이미지 사이의 블러 크기의 변화를 이용하는 원리를 기반으로 피사체에 대한 깊이를 결정할 수도 있다. 블러 크기의 변화를 이용하여 깊이를 결정하는 방식으로는 기존의 두 개의 이미지들 사이의 블러 크기의 변화를 이용하여 깊이를 결정하는 DFD 기술이 이용될 수 있다.
도 2는 일실시예에 따른 멀티 애퍼처 카메라 시스템에서 초점 맞는 피사체 거리에 따른 피사체에 대한 깊이의 정확도를 설명하기 위한 도면이다.
도 2에 도시된, 피사체로부터 단일 광학계까지의 깊이와 단일 광학계에 형성되는 복수의 애퍼처들을 통하여 획득되는 이미지 사이의 시차(또는 블러 크기 변화)에 대한 그래프를 참조하면, 복수의 애퍼처들 각각을 통하여 획득되는 RGB 이미지 및 비 RGB 이미지 사이의 시차 또는 블러 크기 변화가 0에 가깝게 되는 경우(210), 피사체로부터 단일 광학계까지의 깊이가 이상적으로 가장 정확하게 획득될 수 있다.
즉, 복수의 애퍼처들 각각을 통하여 획득되는 RGB 이미지 및 비 RGB 이미지 사이의 시차 또는 블러 크기 변화가 0에 가깝게 되는 경우는 이미지 센서가 광학계에 대하여 초점 맞는 피사체 거리에 위치하는 경우(이미지 센서가 광학계로부터 피사체에 대한 상이 맺히는 초점면에 위치하는 경우)를 의미하기 때문에, 이미지 센서가 광학계에 대하여 초점 맞는 피사체 거리에 위치하는 경우, 광학계를 통하여 이미지 센서에서 획득되는 RGB 이미지 및 비 RGB 이미지 사이의 시차 또는 블러 크기의 변화를 이용하여 가장 정확한 깊이가 결정될 수 있다.
따라서, 일실시예에 따른 멀티 애퍼처 카메라 시스템은 피사체에 대한 정확한 깊이를 결정하기 위하여, 광학계가 이미지 센서에 대해 상대적인 복수의 위치들에 배치되도록 함으로써, 상대적으로 광학계에 대해 이미지 센서가 초점 맞는 피사체 거리에 근접하게 위치하거나, 광학계에 대해 이미지 센서가 복수의 초점 맞는 피사체 거리들 각각에 위치하도록 할 수 있다. 이에 대한 상세한 설명은 도 3을 참조하여 기재하기로 한다.
도 3은 일실시예에 따른 멀티 애퍼처 카메라 시스템의 깊이 결정 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 일실시예에 따른 멀티 애퍼처 카메라 시스템(310)은 광학계(311)를 이미지 센서(312)에 대해 상대적인 복수의 위치들(P1, P2, P3)에 배치되도록 이동시킴으로써, 광학계(311)에 형성된 제1 애퍼처(RGB 광 신호를 유입시키는 애퍼처) 및 제2 애퍼처(RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 애퍼처)를 통하여 이미지 센서(312)에 대해 상대적인 복수의 위치들(P1, P2, P3)에 대응하는 복수의 이미지 세트들을 획득할 수 있다. 이하, 광학계(311)가 복수의 위치들(P1, P2, P3)에 배치되도록 이동된다는 것은 광학계(311)가 이미지 센서(312)를 기준으로 상대적인 복수의 위치들(P1, P2, P3)에 배치되도록 이미지 센서(312)에 대해 상대적으로 이동된다는 것을 의미한다.
예를 들어, 멀티 애퍼처 카메라 시스템(310)은 제1 피사체(320)에 대해 광학계(311)를 P1 위치, P2 위치 및 P3 위치에 배치되도록 이동시킴으로써, 광학계(311)가 P1 위치에 배치되었을 때의 P1 이미지 세트(P1-RGB 이미지 및 P1-비 RGB 이미지)를 획득하고, 광학계(311)가 P2 위치에 배치되었을 때의 P2 이미지 세트(P2-RGB 이미지 및 P2-비 RGB 이미지)를 획득하며, 광학계(311)가 P3 위치에 배치되었을 때의 P3 이미지 세트(P3-RGB 이미지 및 P3-비 RGB 이미지)를 획득할 수 있다.
마찬가지로, 멀티 애퍼처 카메라 시스템(310)은 제2 피사체(330)에 대해서도 광학계(311)를 P1 위치, P2 위치 및 P3 위치에 배치되도록 이동시킴으로써, 광학계(311)가 P1 위치에 배치되었을 때의 P1 이미지 세트(P1-RGB 이미지 및 P1-비 RGB 이미지)를 획득하고, 광학계(311)가 P2 위치에 배치되었을 때의 P2 이미지 세트(P2-RGB 이미지 및 P2-비 RGB 이미지)를 획득하며, 광학계(311)가 P3 위치에 배치되었을 때의 P3 이미지 세트(P3-RGB 이미지 및 P3-비 RGB 이미지)를 획득할 수 있다.
이 때, 제1 애퍼처 및 제2 애퍼처는 도 1을 참조하여 상술한 바와 같이, 서로 어긋난 중심 위치를 갖도록 광학계(311) 상에 형성될 수 있으며, 광학계(311)는 제1 애퍼처 및 제2 애퍼처 모두가 형성되는 단일 광학계를 의미할 수 있다.
이에, 멀티 애퍼처 카메라 시스템(310)은 복수의 이미지 세트들 각각에서의 시차를 계산함으로써, 복수의 이미지 세트들 각각에서의 시차를 이용하여 깊이를 결정할 수 있다. 여기서, 복수의 이미지 세트들 각각에서의 시차는 복수의 이미지 세트들 각각에 포함되는 RGB 이미지 및 비 RGB 이미지 사이의 시차를 의미한다.
구체적으로, 멀티 애퍼처 카메라 시스템(310)은 복수의 이미지 세트들 각각의 상관도(correlation)를 계산함으로써, 복수의 이미지 세트들 각각의 상관도를 기초로 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 시차를 이용하여 피사체에 대한 깊이를 결정할 수 있다.
예를 들어, 광학계(311)로부터 D1 거리에 있는 제1 피사체(320)가 이미지 센서(312)에 초점이 맞도록 광학계(311)가 배치되는 위치(초점 맞는 피사체 거리를 갖는 경우의 광학계(311)의 위치)가 P1 위치인 경우, 멀티 애퍼처 카메라 시스템(310)은 제1 피사체(320)에 대한 P1 이미지 세트에서의 상관도(P1-RGB 이미지 및 P1-비 RGB 이미지 사이의 상관도), P2 이미지 세트에서의 상관도(P2-RGB 이미지 및 P2-비 RGB 이미지 사이의 상관도) 및 P3 이미지 세트에서의 상관도(P3-RGB 이미지 및 P3-비 RGB 이미지 사이의 상관도)를 계산한 후, P1 이미지 세트에서의 상관도, P2 이미지 세트에서의 상관도 및 P3 이미지 세트에서의 상관도를 기초로 가장 높은 상관도를 갖는 P1 이미지 세트를 추출하여, 추출된 P1 이미지 세트에서의 시차를 이용하여 제1 피사체(320)에 대한 깊이를 제1 피사체(320)의 실제 거리인 D1과 근접한 값을 갖도록 결정할 수 있다. 이하, 시차를 이용하여 피사체에 대한 깊이를 결정하는 상세한 과정은 도 1을 참조하여 기재한 원리를 기반으로 수행될 수 있다. 이에 대한 상세한 설명은 도 8을 참조하여 더 기재하기로 한다.
다른 예를 들면, 광학계(311)로부터 D1 거리에 있는 제1 피사체(320)가 이미지 센서(312)에 초점이 맞도록 광학계(311)가 배치되는 위치가 P1 위치인 경우, 멀티 애퍼처 카메라 시스템(310)은 제1 피사체(320)에 대한 P1 이미지 세트에서의 상관도, P2 이미지 세트에서의 상관도 및 P3 이미지 세트에서의 상관도를 계산한 후, P1 이미지 세트에서의 상관도, P2 이미지 세트에서의 상관도 및 P3 이미지 세트에서의 상관도에 기초하여 P1 이미지 세트의 가중치, P2 이미지 세트의 가중치 및 P3 이미지 세트의 가중치를 설정할 수 있다. 이 때, P1 이미지 세트에서의 상관도가 가장 높으므로 P1 이미지 세트의 가중치가 가장 높게 설정되고, 그 다음 P2 이미지 세트에서의 상관도가 높으므로 P2 이미지 세트의 가중치가 다음으로 높게 설정되며, P3 이미지 세트에서의 상관도가 제일 낮으므로 P3 이미지 세트의 가중치가 가장 낮게 설정될 수 있다. 따라서, 멀티 애퍼처 카메라 시스템(310)은 P1 이미지 세트에서의 시차를 기반으로 계산된 깊이, P2 이미지 세트에서의 시차를 기반으로 계산된 깊이 및 P3 이미지 세트에서의 시차를 기반으로 계산된 깊이 각각에 설정된 가중치들을 각각 적용한 평균값(예컨대, P1 이미지 세트에서의 시차를 기반으로 계산된 깊이에 가중치를 적용한 값, P2 이미지 세트에서의 시차를 기반으로 계산된 깊이에 가중치를 적용한 값, P3 이미지 세트에서의 시차를 기반으로 계산된 깊이에 가중치를 적용한 값을 기초로 계산되는 평균값)에 따라 제1 피사체(320)에 대한 깊이를 결정할 수 있다. 이러한 경우, 제1 피사체(320)에 대해 결정되는 깊이는 제1 피사체(320)의 실제 거리인 D1과 D3 사이의 값을 갖게 되며, 특히, 제1 피사체(320)의 실제 거리인 D1과 근접한 값을 갖게 될 수 있다.
여기서, 멀티 애퍼처 카메라 시스템(310)은 복수의 이미지 세트들 각각에서의 시차를 이용하여 계산된 제1 피사체(320)에 대한 깊이에 가중치를 적용하는 대신에, 복수의 이미지 세트들 각각에서의 시차 자체에 가중치를 적용함으로써, 가중치가 적용된 복수의 이미지 세트들 각각에서의 시차를 이용하여 제1 피사체(320)에 대한 깊이를 결정할 수도 있다.
또한, 멀티 애퍼처 카메라 시스템(310)은 P1 이미지 세트에서의 시차를 기반으로 계산된 깊이, P2 이미지 세트에서의 시차를 기반으로 계산된 깊이 및 P3 이미지 세트에서의 시차를 기반으로 계산된 깊이 모두에 설정된 가중치를 적용하는 대신에, 복수의 이미지 세트들 중 높은 가중치로 설정된 일부 이미지 세트들인 P1 이미지 세트 및 P2 이미지 세트를 추출함으로써, 추출된 P1 이미지 세트에서의 시차를 기반으로 계산된 깊이 및 P2 이미지 세트에서의 시차를 기반으로 계산된 깊이에 설정된 가중치를 각각 적용한 평균값(예컨대, P1 이미지 세트에서의 시차를 기반으로 계산된 깊이에 가중치를 적용한 값 및 P2 이미지 세트에서의 시차를 기반으로 계산된 깊이에 가중치를 적용한 값을 기초로 계산되는 평균값)에 따라 제1 피사체(320)에 대한 깊이를 결정할 수 있다. 이러한 경우, 제1 피사체(320)에 대해 결정되는 깊이는 제1 피사체(320)의 실제 거리인 D1과 D2 사이의 값을 갖게 되며, 특히, 제1 피사체(320)의 실제 거리인 D1과 근접한 값을 갖게 될 수 있다.
또 다른 예를 들어, 광학계(311)로부터 D3 거리에 있는 제2 피사체(330)가 이미지 센서(312)에 초점이 맞도록 광학계(311)가 배치되는 위치(초점 맞는 피사체 거리를 갖는 경우의 광학계(311)의 위치)가 P3 위치인 경우, 멀티 애퍼처 카메라 시스템(310)은 제2 피사체(330)에 대한 P1 이미지 세트에서의 상관도, P2 이미지 세트에서의 상관도 및 P3 이미지 세트에서의 상관도를 계산한 후, P1 이미지 세트에서의 상관도, P2 이미지 세트에서의 상관도 및 P3 이미지 세트에서의 상관도를 기초로 가장 높은 상관도를 갖는 P3 이미지 세트를 추출하여, 추출된 P3 이미지 세트에서의 시차를 이용하여 제2 피사체(330)에 대한 깊이를 제2 피사체(330)의 실제 거리인 D3과 근접한 값을 갖도록 결정할 수 있다.
마찬가지로, 광학계(311)로부터 D3 거리에 있는 제2 피사체(330)가 이미지 센서(312)에 초점이 맞도록 광학계(311)가 배치되는 위치가 P3 위치인 경우, 멀티 애퍼처 카메라 시스템(310)은 제2 피사체(330)에 대한 P1 이미지 세트에서의 상관도, P2 이미지 세트에서의 상관도 및 P3 이미지 세트에서의 상관도를 계산한 후, P1 이미지 세트에서의 상관도, P2 이미지 세트에서의 상관도 및 P3 이미지 세트에서의 상관도에 기초하여 P1 이미지 세트의 가중치, P2 이미지 세트의 가중치 및 P3 이미지 세트의 가중치를 설정할 수 있다. 이 때, P1 이미지 세트에서의 상관도가 가장 낮으므로 P1 이미지 세트의 가중치가 가장 낮게 설정되고, 그 다음 P2 이미지 세트에서의 상관도가 낮으므로 P2 이미지 세트의 가중치가 다음으로 낮게 설정되며, P3 이미지 세트에서의 상관도가 제일 높으므로 P3 이미지 세트의 가중치가 가장 높게 설정될 수 있다. 따라서, 멀티 애퍼처 카메라 시스템(310)은 P1 이미지 세트에서의 시차를 기반으로 계산된 깊이, P2 이미지 세트에서의 시차를 기반으로 계산된 깊이 및 P3 이미지 세트에서의 시차를 기반으로 계산된 깊이 각각에 설정된 가중치들을 각각 적용한 평균값(예컨대, P1 이미지 세트에서의 시차를 기반으로 계산된 깊이에 가중치를 적용한 값, P2 이미지 세트에서의 시차를 기반으로 계산된 깊이에 가중치를 적용한 값, P3 이미지 세트에서의 시차를 기반으로 계산된 깊이에 가중치를 적용한 값을 기초로 계산되는 평균값)에 따라 제2 피사체(330)에 대한 깊이를 결정할 수 있다. 이러한 경우, 제2 피사체(330)에 대해 결정되는 깊이는 제2 피사체(330)의 실제 거리인 D3와 D1 사이의 값을 갖게 되며, 특히, 제2 피사체(330)의 실제 거리인 D3과 근접한 값을 갖게 될 수 있다.
또한, 멀티 애퍼처 카메라 시스템(310)은 복수의 이미지 세트들 중 높은 가중치로 설정된 일부 이미지 세트들인 P3 이미지 세트 및 P2 이미지 세트를 추출함으로써, 추출된 P3 이미지 세트에서의 시차를 기반으로 계산된 깊이 및 P2 이미지 세트에서의 시차를 기반으로 계산된 깊이에 설정된 가중치를 각각 적용한 평균값(예컨대, P3 이미지 세트에서의 시차를 기반으로 계산된 깊이에 가중치를 적용한 값 및 P2 이미지 세트에서의 시차를 기반으로 계산된 깊이에 가중치를 적용한 값을 기초로 계산되는 평균값)에 따라 제2 피사체(330)에 대한 깊이를 결정할 수도 있다. 이러한 경우, 제2 피사체(330)에 대해 결정되는 깊이는 제2 피사체(330)의 실제 거리인 D3과 D2 사이의 값을 갖게 되며, 특히, 제2 피사체(330)의 실제 거리인 D3과 근접한 값을 갖게 될 수 있다.
상술한 바와 같이, 일실시예에 따른 멀티 애퍼처 카메라 시스템(310)은 복수의 위치들(P1, P2, P3)에 배치되도록 광학계(311)를 이동시켜가며(복수의 초점 맞는 피사체 거리들을 스캔하는 효과를 야기시킴) 획득되는 복수의 이미지 세트들을 이용하여 피사체(320, 330)에 대한 깊이를 결정함으로써, 기존의 기술에 비해 보다 정확한 깊이를 획득할 수 있다.
또한, 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템은 광학계를 복수의 위치들(P1, P2, P3)에 배치되도록 이동시킴으로써, 광학계에 형성된 제1 애퍼처(RGB 광 신호를 유입시키는 애퍼처) 및 제2 애퍼처(RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 애퍼처)를 통하여 복수의 위치들(P1, P2, P3)에 대응하는 복수의 이미지 세트들을 획득한 후, 복수의 이미지 세트들 각각에서의 블러 크기의 변화를 이용하여 깊이를 결정할 수 있다.
구체적으로, 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각의 상관도를 계산함으로써, 복수의 이미지 세트들 각각의 상관도를 기초로 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 블러 크기의 변화를 이용하여 피사체에 대한 깊이를 결정할 수 있다.
이와 같이 복수의 이미지 세트들 각각에서의 블러 크기의 변화를 이용하여 깊이를 결정하는 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템은 일실시예에 따른 멀티 애퍼처 카메라 시스템(310)과 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 깊이를 계산하는 과정에서 블러 크기의 변화 또는 시차 중 어느 하나를 이용하는가에서 차이가 있을 뿐, 그 외의 과정에서는 모두 동일하게 동작할 수 있다. 이에 대한 상세한 설명은 도 9를 참조하여 기재하기로 한다.
도 4는 일실시예에 따른 멀티 애퍼처 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다.
도 4를 참조하면, 일실시예에 따른 멀티 애퍼처 카메라 시스템은 RGB 광 신호를 유입시키는 제1 애퍼처 및 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되는 단일 광학계를 복수의 위치들에 배치되도록 이동시킨다(410). 이하, 단일 광학계를 복수의 위치들에 배치되도록 이동시킨다는 것은 이미지 센서를 기준으로 상대적인 복수의 위치들에 배치되도록 단일 광학계를 이미지 센서에 대해 상대적으로 이동시킨다는 것을 의미한다.
여기서, 제1 애퍼처 및 제2 애퍼처는 서로 어긋난 중심 위치를 갖도록 단일 광학계 상에 형성될 수 있다. 예를 들어, 제1 애퍼처 및 제2 애퍼처는 이미지 센서의 수평방향, 수직방향 또는 비스듬한(oblique) 방향 중 적어도 하나의 방향으로 오프셋되는 중심 위치를 갖도록 형성될 수 있다.
이어서, 멀티 애퍼처 카메라 시스템은 복수의 위치들 각각에 배치되는 단일 광학계에 형성된 제1 애퍼처 및 제2 애퍼처를 통하여 RGB 광 신호 및 비 RGB 광 신호 각각을 유입시킨다(420).
그 다음, 멀티 애퍼처 카메라 시스템은 단일 광학계가 복수의 위치들 각각에 배치됨에 응답하여 복수의 위치들에 대응하는 복수의 이미지 세트들-복수의 이미지 세트들 각각은 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득한다(430).
그 후, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에서의 시차(disparity)를 이용하여 피사체에 대한 깊이를 결정한다. 여기서, 복수의 이미지 세트들 각각에서의 시차는 복수의 이미지 세트들 각각에 포함되는 RGB 이미지 및 비 RGB 이미지 사이의 시차를 의미한다.
이 때, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에서의 시차, 제1 애퍼처의 중심 위치와 제2 애퍼처의 중심 위치 사이의 거리, 단일 광학계가 배치되는 복수의 위치들 각각에 대한 이미지 센서에 초점이 맞은 피사체 깊이 및 단일 광학계가 배치되는 복수의 위치들 각각에 대한 초점 거리에 기초하여 피사체로부터 단일 광학계까지의 깊이를 계산할 수 있다.
구체적으로, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에서의 상관도(correlation)를 계산한 후(440), 복수의 이미지 세트들 각각에서의 상관도를 기초로 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 시차를 이용하여 피사체에 대한 깊이를 결정할 수 있다(450).
예를 들어, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에서의 상관도에 기초하여 복수의 이미지 세트들 중 가장 높은 상관도를 갖는 어느 하나의 이미지 세트를 선택한 후, 선택된 어느 하나의 이미지 세트에서의 시차를 이용하여 피사체에 대한 깊이를 결정할 수 있다.
또한, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각의 상관도에 기초하여 복수의 이미지 세트들 각각에 대한 가중치를 설정함으로써(460), 복수의 이미지 세트들 각각에 대한 가중치를 기초로 적어도 어느 하나의 세트에서의 시차를 이용하여 피사체에 대한 깊이를 결정할 수 있다(470).
예를 들어, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에서의 상관도에 기초하여 복수의 이미지 세트들 각각에 대한 가중치를 설정하고, 복수의 이미지 세트들 각각에서의 시차를 이용하여 피사체에 대한 복수의 깊이들을 추출한 후, 복수의 깊이들 각각에 가중치를 적용한 평균값에 따라 피사체에 대한 깊이를 결정할 수 있다.
더 구체적인 예를 들면, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에 대한 가중치에 기초하여 복수의 이미지 세트들 중 일부 이미지 세트들을 선택하고, 선택된 일부 세트들 각각에서의 시차를 이용하여 피사체에 대한 복수의 깊이들을 추출한 후, 복수의 깊이들 각각에 가중치를 적용한 평균값에 따라 피사체에 대한 깊이를 결정할 수도 있다.
도 5는 일실시예에 따른 멀티 애퍼처 카메라 시스템을 나타낸 블록도이다.
도 5를 참조하면, 일실시예에 따른 멀티 애퍼처 카메라 시스템은 단일 광학계(510), 이미지 센서(520) 및 깊이 결정부(530)를 포함한다.
단일 광학계(510)는 RGB 광 신호를 유입시키는 제1 애퍼처 및 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되고, 복수의 위치들에 배치되도록 이동한다. 이하, 단일 광학계가 복수의 위치들에 배치되도록 이동된다는 것은 이미지 센서를 기준으로 상대적인 복수의 위치들에 배치되도록 단일 광학계가 이미지 센서에 대해 상대적으로 이동된다는 것을 의미한다.
구체적으로, 단일 광학계(510)는 거리 결정부(511)의 제어 아래, 이미지 센서(520)를 기준으로 복수의 위치들에 배치되도록 이동됨으로써, 이미지 센서(520)와 단일 광학계(510) 사이의 거리를 복수 개의 거리들로 설정할 수 있다.
여기서, 제1 애퍼처 및 제2 애퍼처는 서로 어긋난 중심 위치를 갖도록 단일 광학계(510) 상에 형성될 수 있다. 예를 들어, 제1 애퍼처 및 제2 애퍼처는 이미지 센서(520)의 수평방향, 수직방향 또는 비스듬한(oblique) 방향 중 적어도 하나의 방향으로 오프셋되는 중심 위치를 갖도록 형성될 수 있다.
이미지 센서(520)는 단일 광학계(510)가 복수의 위치들 각각에 배치됨에 응답하여 복수의 위치들에 대응하는 복수의 이미지 세트들-복수의 이미지 세트들 각각은 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득한다.
깊이 결정부(530)는 복수의 이미지 세트들 각각에서의 시차(disparity)를 계산하고, 복수의 이미지 세트들 각각에서의 시차를 이용하여 피사체에 대한 깊이를 결정한다. 복수의 이미지 세트들 각각에서의 시차는 복수의 이미지 세트들 각각에 포함되는 RGB 이미지 및 비 RGB 이미지 사이의 시차를 의미한다.
이 때, 깊이 결정부(530)는 복수의 이미지 세트들 각각에서의 시차, 제1 애퍼처의 중심 위치와 제2 애퍼처의 중심 위치 사이의 거리, 단일 광학계(510)가 배치되는 복수의 위치들 각각에 대한 이미지 센서(520)에 초점이 맞은 피사체 깊이 및 단일 광학계(510)가 배치되는 복수의 위치들 각각에 대한 초점 거리에 기초하여 피사체로부터 단일 광학계(510)까지의 깊이를 계산할 수 있다.
구체적으로, 깊이 결정부(530)는 복수의 이미지 세트들 각각에서의 상관도(correlation)를 계산한 후, 복수의 이미지 세트들 각각에서의 상관도를 기초로 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 시차를 이용하여 피사체에 대한 깊이를 결정할 수 있다.
예를 들어, 깊이 결정부(530)는 복수의 이미지 세트들 각각에서의 상관도에 기초하여 복수의 이미지 세트들 중 가장 높은 상관도를 갖는 어느 하나의 이미지 세트를 선택한 후, 선택된 어느 하나의 이미지 세트에서의 시차를 이용하여 피사체에 대한 깊이를 결정할 수 있다.
다른 예를 들면, 깊이 결정부(530)는 복수의 이미지 세트들 각각에서의 상관도에 기초하여 복수의 이미지 세트들 각각에 대한 가중치를 설정하고, 복수의 이미지 세트들 각각에서의 시차를 이용하여 깊이 추출부(531)를 통해 피사체에 대한 복수의 깊이들을 추출한 후, 복수의 깊이들 각각에 가중치를 적용한 평균값에 따라 피사체에 대한 깊이를 결정할 수 있다.
더 구체적인 예를 들면, 깊이 결정부(530)는 복수의 이미지 세트들 각각에 대한 가중치에 기초하여 복수의 이미지 세트들 중 일부 이미지 세트들을 선택하고, 선택된 일부 세트들 각각에서의 시차를 이용하여 깊이 추출부(531)를 통해 피사체에 대한 복수의 깊이들을 추출한 후, 복수의 깊이들 각각에 가중치를 적용한 평균값에 따라 피사체에 대한 깊이를 결정할 수 있다.
도면에는, 거리 결정부(511), 깊이 추출부(531) 및 깊이 결정부(530)가 멀티 애퍼처 카메라 시스템 외부에 구비되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 멀티 애퍼처 카메라 시스템 내부에 구비될 수 있다. 또한, 거리 결정부(511) 및 깊이 추출부(531)는 적응적으로 깊이 결정부(530) 또는 이미지 센서(520)에 포함되어 구비될 수 있다,
도 6은 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다.
도 6을 참조하면, 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템은 RGB 광 신호를 유입시키는 제1 애퍼처 및 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되는 광학계를 복수의 위치들에 배치되도록 이동시킨다(610). 이하, 광학계를 복수의 위치들에 배치되도록 이동시킨다는 것은 이미지 센서를 기준으로 상대적인 복수의 위치들에 배치되도록 광학계를 이미지 센서에 대해 상대적으로 이동시킨다는 것을 의미한다.
여기서, 제1 애퍼처 및 제2 애퍼처는 하나의 필터 상에 형성될 수도 있으나, 이제 제한되거나 한정되지 않고, 하나의 렌즈에 대해 서로 다른 필터 상에 각각 형성될 수도 있다.
이어서, 멀티 애퍼처 카메라 시스템은 복수의 위치들 각각에 배치되는 광학계에 형성된 제1 애퍼처 및 제2 애퍼처를 통하여 RGB 광 신호 및 비 RGB 광 신호 각각을 유입시킨다(620).
그 다음, 멀티 애퍼처 카메라 시스템은 광학계가 복수의 위치들 각각에 배치됨에 응답하여 복수의 위치들에 대응하는 복수의 이미지 세트들-복수의 이미지 세트들 각각은 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득한다(630).
그 후, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에서의 블러(blur) 크기의 변화를 이용하여 피사체에 대한 깊이를 결정한다.
구체적으로, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에서의 상관도(correlation)를 계산한 후(640), 복수의 이미지 세트들 각각에서의 상관도를 기초로 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 블러 크기의 변화를 이용하여 피사체에 대한 깊이를 결정할 수 있다(650).
예를 들어, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에서의 상관도에 기초하여 복수의 이미지 세트들 중 가장 높은 상관도를 갖는 어느 하나의 이미지 세트를 선택한 후, 선택된 어느 하나의 이미지 세트에서의 블러 크기의 변화를 이용하여 피사체에 대한 깊이를 결정할 수 있다.
또한, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각의 상관도에 기초하여 복수의 이미지 세트들 각각에 대한 가중치를 설정함으로써(660), 복수의 이미지 세트들 각각에 대한 가중치를 기초로 적어도 어느 하나의 세트에서의 블러 크기의 변화를 이용하여 피사체에 대한 깊이를 결정할 수 있다(670).
예를 들어, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에서의 상관도에 기초하여 복수의 이미지 세트들 각각에 대한 가중치를 설정하고, 복수의 이미지 세트들 각각에서의 블러 크기의 변화를 이용하여 피사체에 대한 복수의 깊이들을 추출한 후, 복수의 깊이들 각각에 가중치를 적용한 평균값에 따라 피사체에 대한 깊이를 결정할 수 있다.
더 구체적인 예를 들면, 멀티 애퍼처 카메라 시스템은 복수의 이미지 세트들 각각에 대한 가중치에 기초하여 복수의 이미지 세트들 중 일부 이미지 세트들을 선택하고, 선택된 일부 세트들 각각에서의 블러 크기의 변화를 이용하여 피사체에 대한 복수의 깊이들을 계산한 후, 복수의 깊이들 각각에 가중치를 적용한 평균값에 따라 피사체에 대한 깊이를 결정할 수도 있다.
도 7은 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템을 나타낸 블록도이다.
도 7을 참조하면, 일실시예에 따른 멀티 애퍼처 카메라 시스템은 광학계(710), 이미지 센서(720) 및 깊이 결정부(730)를 포함한다.
광학계(710)는 RGB 광 신호를 유입시키는 제1 애퍼처 및 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되고, 복수의 위치들에 배치되도록 이동한다. 이하, 광학계가 복수의 위치들에 배치되도록 이동된다는 것은 이미지 센서를 기준으로 상대적인 복수의 위치들에 배치되도록 광학계가 이미지 센서에 대해 상대적으로 이동된다는 것을 의미한다.
구체적으로, 광학계(710)는 거리 결정부(711)의 제어 아래, 이미지 센서(720)를 기준으로 복수의 위치들에 배치되도록 이동됨으로써, 이미지 센서(720)와 광학계(710) 사이의 거리를 복수 개의 거리들로 설정할 수 있다.
여기서, 제1 애퍼처 및 제2 애퍼처는 단일 광학계 상에 형성될 수도 있으나, 이제 제한되거나 한정되지 않고, 하나의 렌즈에 대해 서로 다른 필터 상에 각각 형성될 수도 있다.
이미지 센서(720)는 광학계(710)가 복수의 위치들 각각에 배치됨에 응답하여 복수의 위치들에 대응하는 복수의 이미지 세트들-복수의 이미지 세트들 각각은 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득한다.
깊이 결정부(730)는 복수의 이미지 세트들 각각에서의 블러(blur) 크기의 변화를 이용하여 피사체에 대한 깊이를 결정한다.
구체적으로, 깊이 결정부(730)는 복수의 이미지 세트들 각각에서의 상관도(correlation)를 계산한 후, 복수의 이미지 세트들 각각에서의 상관도를 기초로 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 블러 크기의 변화를 이용하여 피사체에 대한 깊이를 결정할 수 있다.
예를 들어, 깊이 결정부(730)는 복수의 이미지 세트들 각각에서의 상관도에 기초하여 복수의 이미지 세트들 중 가장 높은 상관도를 갖는 어느 하나의 이미지 세트를 선택한 후, 선택된 어느 하나의 이미지 세트에서의 블러 크기의 변화를 이용하여 피사체에 대한 깊이를 결정할 수 있다.
다른 예를 들면, 깊이 결정부(730)는 복수의 이미지 세트들 각각에서의 상관도에 기초하여 복수의 이미지 세트들 각각에 대한 가중치를 설정하고, 복수의 이미지 세트들 각각에서의 블러 크기의 변화를 이용하여 깊이 추출부(731)를 통해 피사체에 대한 복수의 깊이들을 추출한 후, 복수의 깊이들 각각에 가중치를 적용한 평균값에 따라 피사체에 대한 깊이를 결정할 수 있다.
더 구체적인 예를 들면, 깊이 결정부(730)는 복수의 이미지 세트들 각각에 대한 가중치에 기초하여 복수의 이미지 세트들 중 일부 이미지 세트들을 선택하고, 선택된 일부 세트들 각각에서의 블러 크기의 변화를 이용하여 깊이 추출부(731)를 통해 피사체에 대한 복수의 깊이들을 추출한 후, 복수의 깊이들 각각에 가중치를 적용한 평균값에 따라 피사체에 대한 깊이를 결정할 수 있다.
도면에는, 거리 결정부(711), 깊이 추출부(731) 및 깊이 결정부(730)가 멀티 애퍼처 카메라 시스템 외부에 구비되는 것으로 도시되었으나, 이에 제한되거나 한정되지 않고, 멀티 애퍼처 카메라 시스템 내부에 구비될 수 있다. 또한, 거리 결정부(711) 및 깊이 추출부(731)는 적응적으로 깊이 결정부(730) 또는 이미지 센서(720)에 포함되어 구비될 수 있다,
도 8은 일실시예에 따른 렌즈를 포함하지 않는 멀티 애퍼처 카메라 시스템에서의 깊이 결정 원리를 설명하기 위한 도면이다.
도 8을 참조하면, 일실시예에 따른 멀티 애퍼처 카메라 시스템은 제1 애퍼처(811) 및 제2 애퍼처(812)가 형성된 단일 광학계(810) 및 이미지 센서(820)를 포함한다. 여기서, 제1 애퍼처(811) 및 제2 애퍼처(812)는 각각 RGB 광 신호 및 비 RGB 광 신호를 유입시키며, 서로 어긋난 중심 위치를 갖도록 형성될 수 있다.
이 때, 제1 애퍼처(811) 및 제2 애퍼처(812) 각각의 중심 위치 사이의 거리 b, 제1 애퍼처(811) 및 제2 애퍼처(812) 각각을 통하여 이미지 센서(820)에서 획득되는 RGB 이미지 및 비 RGB 이미지 사이의 시차 D, 피사체와 단일 광학계(810) 사이의 깊이 d 및 단일 광학계(810)와 이미지 센서(820) 사이의 거리 c 사이에는 일정한 비례 관계가 성립할 수 있다.
예를 들어, 제1 애퍼처(811) 및 제2 애퍼처(812) 각각의 중심 위치 사이의 거리 b가 커질수록 RGB 이미지 및 비 RGB 이미지 사이의 시차 D가 커지게 되며, 제1 애퍼처(811) 및 제2 애퍼처(812) 각각의 중심 위치 사이의 거리 b와 RGB 이미지 및 비 RGB 이미지 사이의 시차 D의 비율에 따라, 피사체와 단일 광학계(810) 사이의 깊이 d 및 단일 광학계(810)와 이미지 센서(820) 사이의 거리 c의 비율이 결정될 수 있다.
따라서, 일실시예에 따른 멀티 애퍼처 카메라 시스템은 위에서 상술한 바와 같이, RGB 이미지 및 비 RGB 이미지 사이의 시차 D를 이용하여 피사체와 단일 광학계(810) 사이의 깊이 d를 결정할 수 있다.
별도의 도면으로 도시되지는 않았지만, 렌즈를 포함하는 멀티 애퍼처 카메라 시스템에서도 마찬가지로 제1 애퍼처 및 제2 애퍼처 각각의 중심 위치 사이의 거리 b, 제1 애퍼처 및 제2 애퍼처 각각을 통하여 이미지 센서에서 획득되는 RGB 이미지 및 비 RGB 이미지 사이의 시차 D, 피사체와 단일 광학계 사이의 깊이 d 및 단일 광학계와 이미지 센서 사이의 거리 c 사이에 일정한 비례 관계가 성립될 수 있다.
도 9은 다른 일실시예에 따른 렌즈를 포함하지 않는 멀티 애퍼처 카메라 시스템에서의 깊이 결정 원리를 설명하기 위한 도면이다.
도 9를 참조하면, 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템은 제1 애퍼처(911) 및 제2 애퍼처(912)가 형성된 광학계(910) 및 이미지 센서(920)를 포함한다. 여기서, 제1 애퍼처(911) 및 제2 애퍼처(912)는 각각 RGB 광 신호 및 비 RGB 광 신호를 유입시키도록 형성될 수 있다.
이 때, 제1 애퍼처(911)의 지름 b, 제1 애퍼처(911) 및 제2 애퍼처(912) 각각을 통하여 이미지 센서(920)에서 획득되는 RGB 이미지 및 비 RGB 이미지 사이의 블러 크기 D, 피사체와 광학계(910) 사이의 깊이 d 및 광학계(910)와 이미지 센서(920) 사이의 거리 c 사이에는 일정한 비례 관계가 성립할 수 있다.
예를 들어, 제1 애퍼처(911)의 지름 b가 커질수록 RGB 이미지 및 비 RGB 이미지 사이의 블러 크기 D가 커지게 되며, 제1 애퍼처(911)의 지름 b와 RGB 이미지 및 비 RGB 이미지 사이의 블러 크기 D의 비율에 따라, 피사체와 광학계(910) 사이의 깊이 d 및 광학계(910)와 이미지 센서(920) 사이의 거리 c의 비율이 결정될 수 있다.
따라서, 다른 일실시예에 따른 멀티 애퍼처 카메라 시스템 역시 위에서 상술한 바와 같이, RGB 이미지 및 비 RGB 이미지 사이의 블러 크기 D를 이용하여 피사체와 광학계(910) 사이의 깊이 d를 결정할 수 있다.
별도의 도면으로 도시되지는 않았지만, 렌즈를 포함하는 멀티 애퍼처 카메라 시스템에서도 마찬가지로 제1 애퍼처의 지름 b, 제1 애퍼처 및 제2 애퍼처 각각을 통하여 이미지 센서에서 획득되는 RGB 이미지 및 비 RGB 이미지 사이의 블러 크기 D, 피사체와 광학계 사이의 깊이 d 및 광학계와 이미지 센서 사이의 거리 c 사이에 일정한 비례 관계가 성립될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

  1. 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템(multi-aperture camera system)에 있어서,
    RGB 광 신호를 유입시키는 제1 애퍼처 및 상기 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되고, 이미지 센서를 기준으로 상대적으로 복수의 위치들에 배치되도록 이동하는 단일 광학계;
    상기 단일 광학계가 상기 이미지 센서를 기준으로 상대적으로 상기 복수의 위치들 각각에 배치됨에 응답하여 상기 복수의 위치들에 대응하는 복수의 이미지 세트들-상기 복수의 이미지 세트들 각각은 상기 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 상기 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득하는 이미지 센서; 및
    상기 복수의 이미지 세트들 각각에서의 시차(disparity)를 계산하고, 상기 복수의 이미지 세트들 각각에서의 시차를 이용하여 피사체에 대한 깊이를 결정하는 깊이 결정부
    를 포함하고,
    상기 제1 애퍼처 및 상기 제2 애퍼처는
    서로 어긋난 중심 위치를 갖도록 상기 단일 광학계 상에 형성되는, 멀티 애퍼처 카메라 시스템.
  2. 제1항에 있어서,
    상기 깊이 결정부는
    상기 복수의 이미지 세트들 각각에서의 상관도(correlation)를 계산하고, 상기 복수의 이미지 세트들 각각에서의 상관도를 기초로 상기 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 시차를 이용하여 상기 피사체에 대한 깊이를 결정하는, 멀티 애퍼처 카메라 시스템.
  3. 제2항에 있어서,
    상기 깊이 결정부는
    상기 복수의 이미지 세트들 각각에서의 상관도에 기초하여 상기 복수의 이미지 세트들 중 가장 높은 상관도를 갖는 어느 하나의 이미지 세트를 선택하고, 상기 선택된 어느 하나의 이미지 세트에서의 시차를 이용하여 상기 피사체에 대한 깊이를 결정하는, 멀티 애퍼처 카메라 시스템.
  4. 제2항에 있어서,
    상기 깊이 결정부는
    상기 복수의 이미지 세트들 각각에서의 상관도에 기초하여 상기 복수의 이미지 세트들 각각에 대한 가중치를 설정하고, 상기 복수의 이미지 세트들 각각에서의 시차를 이용하여 상기 피사체에 대한 복수의 깊이들을 추출하며, 상기 복수의 깊이들 각각에 상기 가중치를 적용한 평균값에 따라 상기 피사체에 대한 깊이를 결정하는, 멀티 애퍼처 카메라 시스템.
  5. 제4항에 있어서,
    상기 깊이 결정부는
    상기 복수의 이미지 세트들 각각에 대한 가중치에 기초하여 상기 복수의 이미지 세트들 중 일부 이미지 세트들을 선택하고, 상기 선택된 일부 세트들 각각에서의 시차를 이용하여 상기 피사체에 대한 복수의 깊이들을 추출하며, 상기 복수의 깊이들 각각에 상기 가중치를 적용한 평균값에 따라 상기 피사체에 대한 깊이를 결정하는, 멀티 애퍼처 카메라 시스템.
  6. 제1항에 있어서,
    상기 깊이 결정부는
    상기 복수의 이미지 세트들 각각에서의 시차, 상기 제1 애퍼처의 중심 위치와 상기 제2 애퍼처의 중심 위치 사이의 거리, 상기 단일 광학계가 배치되는 상기 복수의 위치들 각각에 대한 상기 이미지 센서에 초점이 맞은 피사체 깊이 및 상기 단일 광학계가 배치되는 상기 복수의 위치들 각각에 대한 초점 거리에 기초하여 상기 피사체로부터 상기 단일 광학계까지의 깊이를 계산하는, 멀티 애퍼처 카메라 시스템.
  7. 제1항에 있어서,
    상기 복수의 이미지 세트들 각각에서의 시차는
    상기 복수의 이미지 세트들 각각에 포함되는 상기 RGB 이미지 및 상기 비 RGB 이미지 사이의 시차인, 멀티 애퍼처 카메라 시스템.
  8. 제1항에 있어서,
    상기 제1 애퍼처 및 상기 제2 애퍼처는
    상기 이미지 센서의 수평방향, 수직방향 또는 비스듬한(oblique) 방향 중 적어도 하나의 방향으로 오프셋되는 중심 위치를 갖도록 형성되는, 멀티 애퍼처 카메라 시스템.
  9. 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템(multi-aperture camera system)에 있어서,
    RGB 광 신호를 유입시키는 제1 애퍼처 및 상기 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되고, 이미지 센서를 기준으로 상대적으로 복수의 위치들에 배치되도록 이동하는 광학계;
    상기 광학계가 상기 이미지 센서를 기준으로 상대적으로 상기 복수의 위치들 각각에 배치됨에 응답하여 상기 복수의 위치들에 대응하는 복수의 이미지 세트들-상기 복수의 이미지 세트들 각각은 상기 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 상기 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득하는 이미지 센서; 및
    상기 복수의 이미지 세트들 각각에서의 블러(blur) 크기의 변화를 이용하여 피사체에 대한 깊이를 결정하는 깊이 결정부
    를 포함하는 멀티 애퍼처 카메라 시스템.
  10. 제9항에 있어서,
    상기 깊이 결정부는
    상기 복수의 이미지 세트들 각각에서의 상관도(correlation)를 계산하고, 상기 복수의 이미지 세트들 각각에서의 상관도를 기초로 상기 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 블러 크기의 변화를 이용하여 상기 피사체에 대한 깊이를 결정하는, 멀티 애퍼처 카메라 시스템.
  11. 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템(multi-aperture camera system)의 동작 방법에 있어서,
    RGB 광 신호를 유입시키는 제1 애퍼처 및 상기 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되는 단일 광학계를 이미지 센서를 기준으로 상대적으로 복수의 위치들에 배치되도록 이동시키는 단계;
    상기 이미지 센서를 기준으로 상대적으로 상기 복수의 위치들 각각에 배치되는 상기 단일 광학계에 형성된 상기 제1 애퍼처 및 상기 제2 애퍼처를 통하여 상기 RGB 광 신호 및 상기 비 RGB 광 신호 각각을 유입시키는 단계;
    상기 단일 광학계가 상기 복수의 위치들 각각에 배치됨에 응답하여 상기 복수의 위치들에 대응하는 복수의 이미지 세트들-상기 복수의 이미지 세트들 각각은 상기 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 상기 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득하는 단계; 및
    상기 복수의 이미지 세트들 각각에서의 시차(disparity)를 이용하여 피사체에 대한 깊이를 결정하는 단계
    를 포함하고,
    상기 제1 애퍼처 및 상기 제2 애퍼처는
    서로 어긋난 중심 위치를 갖도록 상기 단일 광학계 상에 형성되는, 멀티 애퍼처 카메라 시스템의 동작 방법.
  12. 제11항에 있어서,
    상기 피사체에 대한 깊이를 결정하는 단계는
    상기 복수의 이미지 세트들 각각에서의 상관도(correlation)를 계산하는 단계; 및
    상기 복수의 이미지 세트들 각각에서의 상관도를 기초로 상기 복수의 이미지 세트들 중 적어도 어느 하나의 세트에서의 시차를 이용하여 상기 피사체에 대한 깊이를 결정하는 단계
    를 포함하는 멀티 애퍼처 카메라 시스템의 동작 방법.
  13. 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템(multi-aperture camera system)의 동작 방법에 있어서,
    RGB 광 신호를 유입시키는 제1 애퍼처 및 상기 RGB 광 신호와 다른 파장대의 비 RGB 광 신호를 유입시키는 제2 애퍼처가 형성되는 광학계를 이미지 센서를 기준으로 상대적으로 복수의 위치들에 배치되도록 이동시키는 단계;
    상기 이미지 센서를 기준으로 상대적으로 상기 복수의 위치들 각각에 배치되는 상기 광학계에 형성된 상기 제1 애퍼처 및 상기 제2 애퍼처를 통하여 상기 RGB 광 신호 및 상기 비 RGB 광 신호 각각을 유입시키는 단계;
    상기 광학계가 상기 복수의 위치들 각각에 배치됨에 응답하여 상기 복수의 위치들에 대응하는 복수의 이미지 세트들-상기 복수의 이미지 세트들 각각은 상기 RGB 광 신호가 처리되어 획득되는 RGB 이미지 및 상기 비 RGB 광 신호가 처리되어 획득되는 비 RGB 이미지를 포함함-를 획득하는 단계; 및
    상기 복수의 이미지 세트들 각각에서의 블러(blur) 크기의 변화를 이용하여 피사체에 대한 깊이를 결정하는 단계
    를 포함하는 멀티 애퍼처 카메라 시스템의 동작 방법.
KR1020150181137A 2015-12-17 2015-12-17 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템 KR101684194B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150181137A KR101684194B1 (ko) 2015-12-17 2015-12-17 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템
US15/530,246 US10623719B2 (en) 2015-12-17 2016-12-16 Multi-aperture camera system for improving depth accuracy through focusing distance scan
CN201611170377.7A CN106973199B (zh) 2015-12-17 2016-12-16 利用对焦距离扫描提高深度精确度的多光圈相机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150181137A KR101684194B1 (ko) 2015-12-17 2015-12-17 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템

Publications (1)

Publication Number Publication Date
KR101684194B1 true KR101684194B1 (ko) 2016-12-07

Family

ID=57573340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150181137A KR101684194B1 (ko) 2015-12-17 2015-12-17 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템

Country Status (3)

Country Link
US (1) US10623719B2 (ko)
KR (1) KR101684194B1 (ko)
CN (1) CN106973199B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019015575A (ja) * 2017-07-05 2019-01-31 株式会社東芝 画像処理装置、測距装置および処理システム
KR102025012B1 (ko) * 2018-05-08 2019-09-24 재단법인 다차원 스마트 아이티 융합시스템 연구단 멀티 픽셀 마이크로 렌즈 픽셀 어레이와 컬러 믹스 문제를 해결하기 위한 카메라 시스템 및 그 동작 방법
CN109688321B (zh) * 2018-11-21 2021-09-07 惠州Tcl移动通信有限公司 电子设备及其图像显示方法、具有存储功能的装置
CN110602381B (zh) * 2019-08-26 2020-10-13 腾讯科技（深圳）有限公司 景深检测方法、装置、存储介质及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137170A (ko) * 2014-05-28 2015-12-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 수직 집적 셀 구조를 갖는 듀얼 애퍼처 카메라
KR20150137169A (ko) * 2014-05-28 2015-12-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 위치가 변경된 핀 홀을 포함하는 듀얼 애퍼처 카메라
KR101575964B1 (ko) * 2014-07-01 2015-12-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 듀얼 애퍼처 카메라의 센서 어레이

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7372642B2 (en) * 2006-02-13 2008-05-13 3M Innovative Properties Company Three-channel camera systems with non-collinear apertures
JP5670481B2 (ja) 2010-02-19 2015-02-18 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
US20160042522A1 (en) * 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
CN106165398B (zh) * 2014-04-04 2019-07-02 株式会社尼康 摄像元件、摄像装置以及图像处理装置
US9872012B2 (en) * 2014-07-04 2018-01-16 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction
CN104166987B (zh) * 2014-07-08 2017-01-25 哈尔滨师范大学 一种基于改进的自适应加权和置信度传播的视差估计方法
KR101638681B1 (ko) 2014-07-15 2016-07-12 주식회사 듀얼어퍼처인터네셔널 색재현성이 개선된 듀얼 애퍼처 카메라 및 그 동작 방법
US10114545B2 (en) * 2014-09-03 2018-10-30 Intel Corporation Image location selection for use in depth photography system
CN204269898U (zh) * 2014-10-31 2015-04-15 高准精密工业股份有限公司 组合式透镜模组以及应用此模组的摄像感测组件
KR101672669B1 (ko) 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137170A (ko) * 2014-05-28 2015-12-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 수직 집적 셀 구조를 갖는 듀얼 애퍼처 카메라
KR20150137169A (ko) * 2014-05-28 2015-12-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 위치가 변경된 핀 홀을 포함하는 듀얼 애퍼처 카메라
KR101575964B1 (ko) * 2014-07-01 2015-12-11 재단법인 다차원 스마트 아이티 융합시스템 연구단 듀얼 애퍼처 카메라의 센서 어레이

Also Published As

Publication number Publication date
US20170180710A1 (en) 2017-06-22
CN106973199A (zh) 2017-07-21
US10623719B2 (en) 2020-04-14
CN106973199B (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
KR101672669B1 (ko) 시차를 이용하는 멀티 애퍼처 카메라 시스템
US10375292B2 (en) Image pickup apparatus and method for generating image having depth information
US8018524B2 (en) Image-pickup method and apparatus having contrast and phase difference forcusing methods wherein a contrast evaluation area is changed based on phase difference detection areas
KR102228456B1 (ko) 깊이 정보를 갖는 영상을 생성하는 영상 획득 장치 및 영상 획득 방법
KR101684194B1 (ko) 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템
CN109255810B (zh) 图像处理装置及图像处理方法
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
US8411195B2 (en) Focus direction detection confidence system and method
JP2012128316A (ja) 自動焦点調整装置およびそれを有するレンズ装置
JP2020106630A (ja) 制御装置、撮像装置、および、プログラム
US20160094781A1 (en) Auto-focus device and method for controlling operation of same
WO2012176556A1 (ja) 対応点探索装置、および距離測定装置
US9485407B2 (en) Method of capturing images and obtaining information of the images
JP2007139892A (ja) 合焦検出装置
CN103837515A (zh) 一种共聚焦自动调节装置
JP6805135B2 (ja) 顕微鏡
KR101737260B1 (ko) 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법
KR20150109187A (ko) 구조광 시스템
KR101930196B1 (ko) 자동 초점 조절 기능 및/또는 깊이 추정 기능을 갖는 멀티 애퍼쳐 카메라 시스템
JP2018180135A (ja) 撮像装置
JP2017151458A5 (ko)
KR101599434B1 (ko) 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법
JP2020086216A (ja) 撮像制御装置、撮像装置及び撮像制御プログラム
KR20190074585A (ko) 비디오 프로젝터용 포커싱방법, 장치 및 저장매체에 저장된 프로그램
US10530985B2 (en) Image capturing apparatus, image capturing system, method of controlling image capturing apparatus, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191030

Year of fee payment: 4