KR101829534B1 - 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법 - Google Patents

멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR101829534B1
KR101829534B1 KR1020160064147A KR20160064147A KR101829534B1 KR 101829534 B1 KR101829534 B1 KR 101829534B1 KR 1020160064147 A KR1020160064147 A KR 1020160064147A KR 20160064147 A KR20160064147 A KR 20160064147A KR 101829534 B1 KR101829534 B1 KR 101829534B1
Authority
KR
South Korea
Prior art keywords
images
depth
subject
camera system
extracting
Prior art date
Application number
KR1020160064147A
Other languages
English (en)
Other versions
KR20170133119A (ko
Inventor
최상길
문준호
김동석
경종민
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020160064147A priority Critical patent/KR101829534B1/ko
Priority to US15/605,115 priority patent/US10249051B2/en
Publication of KR20170133119A publication Critical patent/KR20170133119A/ko
Application granted granted Critical
Publication of KR101829534B1 publication Critical patent/KR101829534B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/10—Bifocal lenses; Multifocal lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/08—Mirrors
    • G02B5/09—Multifaceted or polygonal mirrors, e.g. polygonal scanning mirrors; Fresnel mirrors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/30—Focusing aids indicating depth of field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템의 동작 방법은 상기 깊이 추출 카메라 시스템에 포함되는 단일 광학계를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들-상기 적어도 두 개 이상의 이미지들 각각은 피사체를 포함함-을 획득하는 단계; 및 상기 적어도 두 개 이상의 이미지들에서의 블러(blur) 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 단계를 포함한다.

Description

멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법{DEPTH EXTRACTING CAMERA SYSTEM USING MULTI FOCUS IMAGE AND OPERATION METHOD THEREOF}
아래의 실시예들은 깊이 추출 카메라 시스템 및 그 동작 방법에 관한 것으로, 보다 상세하게는, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 이용하여 피사체에 대한 깊이를 추출하는 기술에 대한 것이다.
기존의 피사체에 대한 깊이를 추출하는 기술은 피사체에 빛을 조사하는지 여부에 따라, 능동형과 수동형으로 구분된다.
능동형 깊이 추출 방법에는 피사체에 레이저를 조사하고 그 빛이 돌아오는 시간을 측정하는 TOF(time of flight) 방식, 피사체에 조사된 레이저가 깊이에 따라 센서의 다른 위치에 도달하는 것을 이용하는 삼각 측량(triangulation-based) 방식, 피사체에 선(line)이나 격자(grid) 형태의 패턴을 조사하고, 변형 형태를 파악하여 깊이를 추출하는 백색광(white light) 방식, 정보가 인코딩된 구조광을 조사하고 센서에서 구조광을 식별하여 삼각 측량 방식으로 깊이 정보를 추출하는 구조광(structured light) 방식이 있다.
이와 같은 능동형 깊이 추출 방법들을 이용한 카메라 시스템은 높은 정밀도를 보이지만, 제작 비용이 높은 단점이 있으며, 실외에서 사용이 제한되고, 사용 거리의 한계가 존재하며, 구조 상 소형화가 힘든 문제점이 있다.
수동형 깊이 추출 방법에는 대표적으로 두 개 이상의 카메라 장치들에서 취득한 이미지들 간의 시차(parallax)로부터 깊이를 추출하는 스테레오(depth from stereo) 방식이 있으며, 단일 카메라 시스템을 사용해 취득한 복수의 이미지들 간의 시차(motion parallax)로부터 깊이를 추출하는 structure from motion 방식과, 서로 다른 광 신호를 기반으로 획득되는 두 개의 이미지들 사이에서 블러(blur)의 크기 변화에 기초하여 깊이를 추출하는 방식이 있다.
이와 같은 수동형 깊이 추출 방법들은 컴퓨터 비전 분야로 간주되며, 처리 속도나 정확도에는 한계가 있으나 사용 환경에 있어서는 제한이 적고 제작 비용이 낮기 때문에, 다양한 분야에서 활용될 수 있다.
특히, 수동형 깊이 추출 방법들 중 블러의 크기 변화에 기초하여 깊이를 추출하는 방식은 depth from stereo나 structure from motion 방식에서 가장 큰 문제로 지적되는 이미지와 이미지간의 가려짐(image-to-image occlusion) 문제가 발생하지 않는다는 큰 장점을 가진다.
그러나 기존의 블러의 크기 변화에 기초하여 깊이를 추출하는 방식은 두 개의 이미지들을 획득하는 과정에서, 서로 다른 광 신호를 유입시키는 두 개의 애퍼처들이 요구되는 단점이 있고, 서로 다른 광 신호를 기반으로 획득되는 두 개의 이미지들을 이용하기 때문에, 추출되는 깊이의 정확도에 한계가 있다는 문제점이 있다.
이에, 아래의 실시예들은 기존의 깊이 추출 방식들의 단점을 해결하도록 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 이용하여 피사체에 대한 깊이를 추출하는 기술을 제안한다.
일실시예들은 단일 광학계를 통하여 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출하는 깊이 추출 카메라 시스템 및 그 동작 방법을 제공한다.
여기서, 일실시예들은 MALS(Micro-mirror Array Lens System)로 구성되는 단일 광학계 또는 복수의 위치들로 이동되는 단일 광학계를 구비함으로써, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하는 깊이 추출 카메라 시스템 및 그 동작 방법을 제공한다.
또한, 일실시예들은 깊이 추출 과정에서 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 이용할 수 있도록 소프트웨어적 이미지 프로세싱을 수행함으로써, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들의 크기를 매칭하는 깊이 추출 카메라 시스템 및 그 동작 방법을 제공한다.
또한, 일실시예들은 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들 각각의 초점 맞는 피사체 거리를 한정된 범위 내에서 설정함으로써, 정밀한 깊이를 추출하는 깊이 추출 카메라 시스템 및 그 동작 방법을 제공한다.
일실시예에 따르면, 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템의 동작 방법은 상기 깊이 추출 카메라 시스템에 포함되는 단일 광학계를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들-상기 적어도 두 개 이상의 이미지들 각각은 피사체를 포함함-을 획득하는 단계; 및 상기 적어도 두 개 이상의 이미지들에서의 블러(blur) 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 단계를 포함한다.
상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하는 단계는 MALS(Micro-mirror Array Lens System)로 구성되는 상기 단일 광학계를 이용하여 상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 동시에 획득하는 단계를 포함할 수 있다.
상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하는 단계는 복수의 위치들로 이동되는 상기 단일 광학계를 이용하여 상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하는 단계를 포함할 수 있다.
상기 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 단계는 상기 적어도 두 개 이상의 이미지들의 크기를 매칭하는 단계; 및 상기 크기가 매칭된 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 단계를 포함할 수 있다.
상기 적어도 두 개 이상의 이미지들의 크기를 매칭하는 단계는 이미지 크기 보간(interpolation) 통계치를 미리 구축하는 단계; 및 상기 이미지 크기 보간 통계치에 기초하여 상기 적어도 두 개 이상의 이미지들의 크기를 매칭하는 단계를 포함할 수 있다.
상기 이미지 크기 보간 통계치를 미리 구축하는 단계는 상기 단일 광학계를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 두 개의 샘플 이미지들-상기 두 개의 샘플 이미지들 각각은 예를 들어 도트 패턴과 같은 특정 패턴을 포함할 수 있음-을 획득하는 단계; 및 상기 두 개의 샘플 이미지들 각각에서의 도트 패턴 사이의 거리에 기초하여 상기 이미지 크기 보간 통계치를 미리 구축하는 단계를 포함할 수 있다.
상기 적어도 두 개 이상의 이미지들의 크기를 매칭하는 단계는 상기 적어도 두 개 이상의 이미지들 각각에서 적어도 하나의 패치를 추출하는 단계; 및 상기 적어도 두 개 이상의 이미지들 사이에서의 상기 적어도 하나의 패치의 위치 이동값에 기초하여 상기 적어도 두 개 이상의 이미지들의 크기를 매칭하는 단계를 포함할 수 있다.
상기 적어도 두 개 이상의 이미지들에서의 블러(blur) 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 단계는 상기 적어도 두 개 이상의 이미지들에서의 블러 차이의 비율을 기반으로 깊이를 계산하는 깊이 추출 알고리즘을 이용하여 상기 피사체에 대한 깊이를 추출하는 단계를 포함할 수 있다.
상기 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템의 동작 방법은 상기 추출된 피사체에 대한 깊이에 기초하여 초점 범위를 한정하는 단계; 상기 한정된 초점 범위 내에서 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 정밀한(fine) 이미지들-상기 적어도 두 개 이상의 정밀한 이미지들 각각은 상기 피사체를 포함함-을 획득하는 단계; 및 상기 적어도 두 개 이상의 정밀한 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 정밀한 깊이를 추출하는 단계를 더 포함할 수 있다.
상기 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 단계는 상기 적어도 두 개 이상의 이미지들 사이의 상관도에 기초하여, 두 개의 이미지들을 선택하는 단계; 및 상기 선택된 두 개의 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 단계를 포함할 수 있다.
상기 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 단계는 상기 적어도 두 개 이상의 이미지들을 조합하여 두 개의 이미지들을 생성하는 단계; 및 상기 생성된 두 개의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출하는 단계를 포함할 수 있다.
일실시예에 따르면, 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템은 단일 광학계; 상기 단일 광학계를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들-상기 적어도 두 개 이상의 이미지들 각각은 피사체를 포함함-을 획득하는 이미지 센서; 및 상기 적어도 두 개 이상의 이미지들에서의 블러(blur) 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 깊이 추출부를 포함한다.
상기 단일 광학계는 MALS(Micro-mirror Array Lens System)로 구성되고, 상기 이미지 센서는 상기 MALS로 구성되는 단일 광학계를 이용하여 상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 동시에 획득할 수 있다.
상기 깊이 추출부는 상기 적어도 두 개 이상의 이미지들의 크기를 매칭하고, 상기 크기가 매칭된 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 깊이를 추출할 수 있다.
일실시예들은 단일 광학계를 통하여 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출하는 깊이 추출 카메라 시스템 및 그 동작 방법을 제공할 수 있다.
따라서, 일실시예들은 단일 광학계를 통하여 획득되는 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용함으로써, 깊이 추출 연산의 복잡도를 낮추고, 깊이 추출 정확도를 향상시키는 깊이 추출 카메라 시스템 및 그 동작 방법을 제공할 수 있다.
여기서, 일실시예들은 MALS로 구성되는 단일 광학계 또는 복수의 위치들로 이동되는 단일 광학계를 구비함으로써, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하는 깊이 추출 카메라 시스템 및 그 동작 방법을 제공할 수 있다.
또한, 일실시예들은 깊이 추출 과정에서 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 이용할 수 있도록 소프트웨어적 이미지 프로세싱을 수행함으로써, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들의 크기를 매칭하는 깊이 추출 카메라 시스템 및 그 동작 방법을 제공할 수 있다.
따라서, 일실시예들은 적어도 두 개 이상의 이미지들의 크기를 하드웨어적 구조를 통하여 매칭하는 기술에 비하여 저렴한 제작 비용을 갖는 깊이 추출 카메라 시스템 및 그 동작 방법을 제공할 수 있다.
또한, 일실시예들은 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들 각각의 초점 맞는 피사체 거리를 한정된 초점 범위 내에서 설정함으로써, 정밀한 깊이를 추출하는 깊이 추출 카메라 시스템 및 그 동작 방법을 제공할 수 있다.
도 1은 일실시예에 따른 깊이 추출 카메라 시스템을 나타낸 도면이다.
도 2는 일실시예에 따른 깊이 추출 카메라 시스템의 깊이 맵 생성 과정을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 깊이 추출 카메라 시스템에 포함되는 단일 광학계를 설명하기 위한 도면이다.
도 4는 다른 일실시예에 따른 깊이 추출 카메라 시스템에 포함되는 단일 광학계를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 적어도 두 개 이상의 이미지들의 크기를 매칭하는 방법을 설명하기 위한 도면이다.
도 6은 다른 일실시예에 따른 적어도 두 개 이상의 이미지들의 크기를 매칭하는 방법을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 깊이 추출 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다.
도 8은 일실시예에 따른 깊이 추출 카메라 시스템을 나타낸 블록도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일실시예에 따른 깊이 추출 카메라 시스템을 나타낸 도면이다.
도 1을 참조하면, 일실시예에 따른 깊이 추출 카메라 시스템(100)은 단일 광학계(110), 이미지 센서(120) 및 깊이 추출부(도면에는 도시되지 않음)를 포함한다. 이하, 깊이 추출부가 이미지 센서(120)에 포함되도록 구비되는 경우로 설명하나, 이제 제한되거나 한정되지 않고, 이미지 센서(120)와 구별되는 별도의 모듈로 구비될 수도 있다.
단일 광학계(110)는 임의의 파장대의 광 신호를 유입시키는 렌즈를 포함한다. 특히, 단일 광학계(110)는 이미지 센서(120)에서 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하도록 지원하는 물리적 구조를 가질 수 있다.
예를 들어, 단일 광학계(110)는 MALS(Micro-mirror Array Lens System)로 구성됨으로써, MALS의 동작에 따라 이미지 센서(120)에서 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 동시에 획득하도록 지원할 수 있다. 다른 예를 들면, 단일 광학계(110)는 액추에이터를 포함하도록 구성됨으로써, 복수의 위치들로 이동되며 복수의 위치들 각각에서 광 신호를 유입시켜 이미지 센서(120)에서 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하도록 지원할 수도 있다. 이에 대한 상세한 설명은 도 3 내지 4를 참조하여 기재하기로 한다.
이미지 센서(120)는 단일 광학계(110)를 통하여 유입되는 광 신호를 처리하여 피사체를 포함하는 적어도 두 개 이상의 이미지들을 획득한다. 이 때, 적어도 두 개 이상의 이미지들은 서로 다른 초점 맞는 피사체 거리를 갖도록 획득된다.
예를 들어, 이미지 센서(120)는 단일 광학계(110)를 통하여 유입되는 광 신호를 처리하여, 먼 초점 맞는 피사체 거리(깊이 추출 카메라 시스템(100)을 기준으로 먼 초점 맞는 피사체 거리)를 갖는 제1 이미지 및 근접한 초점 맞는 피사체 거리(깊이 추출 카메라 시스템(100)을 기준으로 근접한 초점 맞는 피사체 거리)를 갖는 제2 이미지를 획득할 수 있다. 이는 후술되는 깊이 추출부의 깊이 추출 과정에서 요구되는 서로 다른 초점 맞는 피사체 거리를 갖는 이미지들의 최소 숫자가 적어도 두 개 이상이 되어야 하기 때문이다. 따라서, 이하, 이미지 센서(120)가 서로 다른 초점 맞는 피사체 거리를 갖는 두 개의 이미지들을 획득하는 경우로 설명하나, 이에 제한되거나 한정되지 않고, 이미지 센서(120)에서 획득되는 서로 다른 초점 맞는 피사체 거리를 갖는 이미지들은 세 개, 네 개 또는 그 이상일 수도 있다.
또한, 먼 초점 맞는 피사체 거리 및 근접한 초점 맞는 피사체 거리 각각은 후술되는 깊이 추출부의 깊이 추출 과정에서 요구되는 이미지들의 초점 맞는 피사체 거리 차이 정도에 기초하여 적응적으로 설정될 수 있다. 예를 들어, 제1 이미지 및 제2 이미지의 초점 맞는 피사체 거리 각각은 깊이 추출부에서 깊이를 추출하기에 적당한 초점 맞는 피사체 거리 간 차이를 갖도록 설정될 수 있다.
또한, 단일 광학계(110)가 유입시키는 광 신호는 다양한 파장대(예컨대, 가시광 파장대 또는 적외선 파장대)일 수 있고, 이미지 센서(120)는 단일 광학계(110)가 유입시키는 다양한 파장대의 광 신호를 처리하도록 생성될 수 있다. 예를 들어, 이미지 센서(120)는 RGB 픽셀들로 구성되거나, RGB 픽셀들 및 IR 픽셀들로 구성될 수 있다.
깊이 추출부는 이미지 센서(120)에서 획득되는 서로 다른 초점 맞는 피사체 거리를 갖는 제1 이미지 및 제2 이미지에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출한다. 여기서, 깊이 추출부는 PSF(Point Spread Function)를 기반으로 제1 이미지 및 제2 이미지에서 블러 크기 변화에 대응하는 깊이를 추출하는 기존의 깊이 추출 알고리즘을 이용할 뿐만 아니라, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이의 비율을 기반으로 깊이를 직접 계산하는 깊이 추출 알고리즘(예컨대, Shape from Focus 알고리즘)을 이용하여 피사체에 대한 깊이를 추출할 수 있다. 이에 대한 상세한 설명은 본 발명의 기술적 사상을 벗어나므로 생략하기로 한다.
이 때, 깊이 추출부의 깊이 추출 과정에서 이용되는 서로 다른 초점 맞는 피사체 거리를 갖는 제1 이미지 및 제2 이미지는 단일 광학계(110)의 물리적 구조에 따라 유입되는 광 신호가 이미지 센서(120)에서 처리되어 획득되기 때문에, 서로 다른 크기를 갖게 될 수도 있다. 따라서, 깊이 추출부는 추가적으로 서로 다른 초점 맞는 피사체 거리를 갖는 제1 이미지 및 제2 이미지에 대한 크기 매칭을 수행함으로써, 크기 매칭이 수행된 제1 이미지 및 제2 이미지에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출할 수 있다.
예를 들어, 깊이 추출부는 미리 구축된 이미지 크기 보간 통계치에 기초하여 서로 다른 초점 맞는 피사체 거리를 갖는 제1 이미지 및 제2 이미지의 크기를 매칭하여 일치시킬 수 있다. 이에 대한 상세한 설명은 도 5를 참조하여 기재하기로 한다.
다른 예를 들면, 깊이 추출부는 서로 다른 초점 맞는 피사체 거리를 갖는 제1 이미지 및 제2 이미지 각각에서 적어도 하나의 패치를 추출한 뒤, 제1 이미지 및 제2 이미지에서의 적어도 하나의 패치의 위치 이동값에 기초하여 제1 이미지 및 제2 이미지의 크기를 매칭하여 일치시킬 수 있다. 이에 대한 상세한 설명은 도 6을 참조하여 기재하기로 한다.
또한, 깊이 추출부는 상술한 바와 같이 먼 초점 맞는 피사체 거리를 갖는 제1 이미지 및 근접한 초점 맞는 피사체 거리를 갖는 제2 이미지에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출하는 과정을 초점 맞는 피사체 거리를 한정하며 반복 수행함으로써, 보다 정밀한 깊이를 추출할 수 있다. 여기서, 깊이 추출부는 이전 깊이 추출 과정에서 추출된 깊이에 기초하여 이번 깊이 추출 과정에서 이용할 이미지들 각각의 초점 맞는 피사체 거리를 한정할 수 있다.
예를 들어, 이미지 센서(120)에서 단일 광학계(110)를 통하여 서로 다른 러프(rough)한 초점 맞는 피사체 거리를 갖는 제1 이미지 및 제2 이미지(예컨대, 제1 이미지는 무한대에 가까운 먼 초점 맞는 피사체 거리를 갖고, 제2 이미지는 깊이 추출 카메라 시스템(100)과 매우 근접한 초점 맞는 피사체 거리를 가짐)가 획득되면, 깊이 추출부는 서로 다른 러프한 초점 맞는 피사체 거리를 갖는 제1 이미지 및 제2 이미지에서의 블러 차이를 이용하여 피사체에 대한 러프 깊이를 추출하여, 러프 깊이를 기초로 초점 범위를 한정한 뒤, 이미지 센서(120)로 하여금 한정된 초점 범위 내에서 서로 다른 초점 맞는 피사체 거리를 갖는 정밀한(fine) 제1 이미지 및 정밀한 제2 이미지(예컨대, 정밀한 제1 이미지는 러프 깊이를 기준으로 미리 설정된 한정 범위 내에서 가장 먼 초점 맞는 피사체 거리를 갖고, 정밀한 제2 이미지는 러프 깊이를 기준으로 미리 설정된 한정 범위 내에서 가장 근접한 초점 맞는 피사체 거리를 가짐)를 획득하도록 할 수 있다. 따라서, 깊이 추출부는 정밀한 제1 이미지 및 정밀한 제2 이미지에서의 블러 차이를 이용하여 피사체에 대해 보다 정밀한 깊이를 추출할 수 있다.
또한, 깊이 추출부는 깊이 추출 과정에서, 이미지 센서(120)에서 획득되는 먼 초점 맞는 피사체 거리를 갖는 제1 이미지 및 근접한 초점 맞는 피사체 거리를 갖는 제2 이미지만을 이용할 뿐만 아니라, 이미지 센서(120)에서 획득되는 추가적인 이미지들을 더 이용할 수 있다.
예를 들어, 이미지 센서(120)에서 세 개 이상의 이미지들(예컨대, 가장 먼 초점 맞는 피사체 거리를 갖는 제1 이미지, 근접한 초점 맞는 피사체 거리를 갖는 제2 이미지 및 중간 초점 맞는 피사체 거리를 갖는 제3 이미지 등)이 획득되면, 깊이 추출부는 세 개 이상의 이미지들 중 어느 두 개의 이미지들을 선택함으로써, 선택된 두 개의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출할 수 있다.
이 때, 깊이 추출부는 세 개 이상의 이미지들 사이의 상관도에 기초하여 가장 높은 상관도를 갖는 어느 두 개의 이미지들을 선택하거나, 세 개 이상의 이미지들 중 블러 차이가 깊이 추출에 적합한 값을 갖는 두 개의 이미지들을 선택할 수 있다.
다른 예를 들면, 이미지 센서(120)에서 세 개 이상의 이미지들이 획득되면, 깊이 추출부는 세 개 이상의 이미지들을 조합하여 두 개의 새로운 이미지들을 생성한 뒤, 생성된 두 개의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출할 수도 있다.
이와 같이, 깊이 추출부는 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 정확한 깊이를 추출할 수 있다. 이에, 깊이 추출부는 복수의 프레임들 별로 피사체에 대한 깊이를 추출하여, 프레임 별 피사체에 대한 깊이를 포함하는 깊이 맵을 완성할 수 있다. 이에 대한 상세한 설명은 도 2를 참조하여 기재하기로 한다.
도 2는 일실시예에 따른 깊이 추출 카메라 시스템의 깊이 맵 생성 과정을 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 깊이 추출 카메라 시스템은 도 1을 참조하여 기재한 깊이 추출 과정을 복수의 프레임들 별로 수행함으로써, 프레임 별 피사체에 대한 깊이를 포함하는 깊이 맵(210)을 완성할 수 있다.
예를 들어, 깊이 추출 카메라 시스템은 기존의 카메라 시스템보다 프레임 별 이미지 획득 속도가 두 배로 설정됨으로써, 제1 프레임에서 서로 다른 초점 맞는 피사체 거리를 갖는 제1-1 이미지 및 제1-2 이미지를 획득하고, 제2 프레임에서 서로 다른 초점 맞는 피사체 거리를 갖는 제2-1 이미지 및 제2-2 이미지를 획득하는 과정을 반복 수행한 뒤, 각각의 프레임에서의 피사체에 대한 깊이를 추출하여 이를 기초로 깊이 맵(210)을 완성할 수 있다.
도 3은 일실시예에 따른 깊이 추출 카메라 시스템에 포함되는 단일 광학계를 설명하기 위한 도면이다.
도 3을 참조하면, 일실시예에 따른 깊이 추출 카메라 시스템은 단일 광학계(300)를 MALS(310)로 구성함으로써, MALS(310)의 동작에 따라 이미지 센서를 통하여 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 동시에 획득할 수 있다.
예를 들어, 단일 광학계(300)는 렌즈(도면에는 도시되지 않음) 및 렌즈 하부(렌즈와 이미지 센서의 사이)에 배치되는 MALS(310)를 포함하도록 구성되어, MALS(310) 내부의 복수의 미러들의 동작(예컨대, 방향 전환 또는 위치 변경 등의 광 신호들 각각의 반사 각도를 변경하기 위한 동작)에 따라 렌즈로부터 유입되는 광 신호들 각각의 반사 각도를 적응적으로 변경함으로써, 서로 다른 초점 맞는 피사체 거리를 갖게 될 수 있다. 따라서, 이와 같은 단일 광학계(300)를 통하여 유입되는 광 신호들이 이미지 센서에서 처리되면, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들이 동시에 획득될 수 있다.
여기서, 깊이 추출 카메라 시스템에 스플리터가 포함되는 경우, 깊이 추출 카메라 시스템은 'T' 자 형태로 구성되어, 'T' 자 형태의 각 끝 위치에 렌즈, MALS(310) 및 이미지 센서가 차례차례 배치될 수 있다. 만약, 깊이 추출 카메라 시스템에 스플리터가 포함되지 않는 경우, 깊이 추출 카메라 시스템은 'ㄱ' 자 형태로 구성되어, 'ㄱ' 자 형태의 각 끝 위치에 렌즈, MALS(310) 및 이미지 센서가 차례차례 배치될 수 있다. 이러한 경우, MALS(310)는 렌즈에 대해 45도의 각도로 기울어져 배치될 수 있다.
이상, MALS(310)가 렌즈와 이미지 센서 사이에 배치되는 경우로 설명하였으나, 이에 제한되거나 한정되지 않고, MALS(310)는 렌즈의 상부에 배치될 수도 있다.
이 때, MALS(310)는 내부의 복수의 미러들의 동작을 고속으로 발생시키기 때문에, MALS(310)의 동작에 따라 유입되는 광 신호들은 이미지 센서에서 거의 동시에 처리된다고 볼 수 있다. 이에, MALS(310)로 구성되는 단일 광학계(300)를 포함하는 깊이 추출 카메라 시스템은 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 동시에 획득할 수 있다.
도 4는 다른 일실시예에 따른 깊이 추출 카메라 시스템에 포함되는 단일 광학계를 설명하기 위한 도면이다.
도 4를 참조하면, 다른 일실시예에 따른 깊이 추출 카메라 시스템은 단일 광학계(400)를 복수의 위치들로 이동되도록 구성함으로써, 단일 광학계(400)가 복수의 위치들로 이동되며 복수의 위치들 각각에서 유입시키는 광 신호를 이미지 센서(420)를 통해 처리하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득할 수 있다. 이하, 단일 광학계(400)가 복수의 위치들로 이동된다는 것은 이미지 센서(420)를 기준으로 이미지 센서(420)와 멀리 떨어지는 위치 또는 가까운 위치로 이동되는 것을 의미한다.
예를 들어, 단일 광학계(400)는 렌즈(410) 및 액추에이터(렌즈(410)를 복수의 위치들로 이동시키는 구성부로서, 도면에는 도시되지 않음)를 포함하도록 구성되어, 액추에이터의 동작에 따라 렌즈(410)를 복수의 위치들로 이동시켜가며 광 신호들을 유입시킬 수 있다. 따라서, 단일 광학계(400)가 복수의 위치들로 이동되며 유입시키는 광 신호들이 이미지 센서(420)에서 처리되면, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들이 획득될 수 있다.
더 구체적인 예를 들면, 단일 광학계(400)에 포함되는 렌즈(410)가 액추에이터에 의해 제1 위치(411)로 이동되어 유입되는 광 신호가 이미지 센서(420)에서 처리되면, 먼 초점 맞는 피사체 거리를 갖는 제1 이미지가 획득되고, 렌즈(410)가 액추에이터에 의해 제2 위치(412)로 이동되어 유입되는 광 신호가 이미지 센서(420)에서 처리되면, 근접한 초점 맞는 피사체 거리를 갖는 제2 이미지가 획득될 수 있다.
이 때, 액추에이터는 렌즈(410)를 복수의 위치들로 고속으로 이동시키기 때문에, 단일 광학계(400)를 통하여 유입되는 광 신호들은 이미지 센서(420)에서 거의 동시에 처리된다고 볼 수 있다. 따라서, 복수의 위치들로 이동되도록 구성되는 단일 광학계(400)를 포함하는 깊이 추출 카메라 시스템은 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 동시에 획득할 수 있다.
또한, 단일 광학계(400)가 복수의 위치들로 이동되는 경우로 설명하였으나, 이에 제한되거나 한정되지 않고, 단일 광학계(400)를 기준으로 이미지 센서(420)가 복수의 위치들로 이동될 수도 있다. 이러한 경우, 액추에이터는 이미지 센서(420)를 이동시키도록 이미지 센서(420)와 함께 구비될 수 있다.
도 5는 일실시예에 따른 적어도 두 개 이상의 이미지들의 크기를 매칭하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 일실시예에 따른 깊이 추출부는 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출하기 이전에, 미리 구축된 이미지 크기 보간 통계치에 기초하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에 대한 크기 매칭을 수행할 수 있다.
구체적으로, 이미지 센서에서 도트 패턴과 같은 특정 패턴을 포함하는 패턴 모델(캘리브레이션을 위한 체커 이미지 모델)이 촬영되어 서로 다른 초점 맞는 피사체 거리를 갖는 두 개의 샘플 이미지들(두 개의 샘플 이미지들에는 특정 패턴이 포함됨)(510, 520)이 획득되면, 깊이 추출부는 두 개의 샘플 이미지들(510, 520) 각각에서의 도트 패턴 사이의 거리에 기초하여 이미지 크기 보간 통계치를 미리 구축할 수 있다.
예를 들어, 깊이 추출부는 먼 초점 맞는 피사체 거리를 갖는 제1 샘플 이미지(510)에서의 도트 패턴 사이의 거리
Figure 112016050341071-pat00001
(예컨대, 이미지의 중심을 기준으로 미리 설정된 개수의 도트 패턴을 포함하는 영역에서의 대각 거리)와 근접한 초점 맞는 피사체 거리를 갖는 제2 샘플 이미지(520)에서의 도트 패턴 사이의 거리
Figure 112016050341071-pat00002
의 비율을 계산하여, 제2 샘플 이미지(520)의 크기를 제1 샘플 이미지(510)의 크기로 매칭하는 정도값을 획득할 수 있다. 깊이 추출부는 이와 같은 과정을 반복 수행함으로써, 제2 샘플 이미지를 제1 샘플 이미지의 크기로 매칭하는 정도값의 통계치인 이미지 크기 보간 통계치를 미리 구축할 수 있다.
따라서, 깊이 추출부는 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들의 크기가 서로 상이한 경우, 미리 구축된 이미지 크기 보간 통계치에 기초하여 적어도 두 개 이상의 이미지들에 대한 크기 매칭을 수행할 수 있다.
도 6은 다른 일실시예에 따른 적어도 두 개 이상의 이미지들의 크기를 매칭하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 다른 일실시예에 따른 깊이 추출부는 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들(610, 620)에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출하기 이전에, 적어도 두 개 이상의 이미지들(610, 620) 각각에서 복수의 패치들(630, 640)을 추출하여, 적어도 두 개 이상의 이미지들(610, 620) 사이에서의 복수의 패치들(630, 640) 각각의 위치 이동값에 기초하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들(610, 620)에 대한 크기 매칭을 수행할 수 있다. 여기서는 패치가 복수일 경우를 예시하고 있으나 패치가 단수일 경우도 적용 가능하다.
구체적으로, 깊이 추출부는 먼 초점 맞는 피사체 거리를 갖는 제1 이미지(610)에서 미리 설정된 개수 및 위치의 제1 복수의 패치들(630)을 추출하고, 근접한 초점 맞는 피사체 거리를 갖는 제2 이미지(620)에서 미리 설정된 개수 및 위치의 제2 복수의 패치들(640)을 추출할 수 있다. 이 때, 제1 복수의 패치들(630)과 제2 복수의 패치들(640)은 서로 대응되도록 개수 및 위치가 미리 설정될 수 있고, 이미지(610, 620)의 중심 영역을 포함하도록 설정될 수 있다.
제1 이미지(610) 및 제2 이미지(620) 각각에서 복수의 패치들(630, 640)이 추출되면, 깊이 추출부는 제1 복수의 패치들(630)과 제2 복수의 패치들(640) 사이의 위치 이동값을 계산할 수 있다. 예를 들어, 제1-1 패치(631)와 이에 대응하는 제2-1 패치(641) 사이의 위치 이동값 (
Figure 112016050341071-pat00003
,
Figure 112016050341071-pat00004
) 및 제1-2 패치(632)와 이에 대응하는 제2-2 패치(642) 사이의 위치 이동값 (
Figure 112016050341071-pat00005
,
Figure 112016050341071-pat00006
) 등이 제1 복수의 패치들(630) 및 제2 복수의 패치들(640)에 대해 순차적으로 계산될 수 있다.
제2 이미지(620)를 기준으로 제1 이미지(610)가 이동된 (
Figure 112016050341071-pat00007
,
Figure 112016050341071-pat00008
)는 제1 복수의 패치들(630) 및 제2 복수의 패치들(640)에 대해 순차적으로 계산된 위치 이동값들을 기반으로 수학식 1과 같이 표현될 수 있다.
<수학식 1>
Figure 112016050341071-pat00009
=
Figure 112016050341071-pat00010
=
Figure 112016050341071-pat00011
,
Figure 112016050341071-pat00012
=
Figure 112016050341071-pat00013
=
Figure 112016050341071-pat00014

수학식 1로부터 제1 이미지(610)와 제2 이미지(620) 사이의 비율
Figure 112016050341071-pat00015
은 수학식 2와 같이 계산된다.
<수학식 2>
Figure 112016050341071-pat00016

따라서, 깊이 추출부는 제1 이미지(610)와 제2 이미지(620) 사이의 비율
Figure 112016050341071-pat00017
에 기초하여, 서로 다른 초점 맞는 피사체 거리를 갖는 제1 이미지(610) 및 제2 이미지(620)에 대한 크기 매칭을 수행할 수 있다.
도 7은 일실시예에 따른 깊이 추출 카메라 시스템의 동작 방법을 나타낸 플로우 차트이다.
도 7을 참조하면, 일실시예에 따른 깊이 추출 카메라 시스템은 깊이 추출 카메라 시스템에 포함되는 단일 광학계를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들-적어도 두 개 이상의 이미지들 각각은 피사체를 포함함-을 획득한다(710).
예를 들면, 710 단계에서 깊이 추출 카메라 시스템은 MALS(Micro-mirror Array Lens System)로 구성되는 단일 광학계를 이용하여 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 동시에 획득할 수 있다.
다른 예를 들면, 710 단계에서 깊이 추출 카메라 시스템은 복수의 위치들로 이동되는 단일 광학계를 이용하여 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득할 수 있다.
그 후, 깊이 추출 카메라 시스템은 적어도 두 개 이상의 이미지들에서의 블러(blur) 차이를 이용하여 피사체에 대한 깊이를 추출한다(720).
이 때, 720 단계에서 깊이 추출 카메라 시스템은 적어도 두 개 이상의 이미지들에서의 블러 차이의 비율을 기반으로 깊이를 계산하는 깊이 추출 알고리즘을 이용하여 피사체에 대한 깊이를 추출할 수 있다.
특히, 720 단계에서 깊이 추출 카메라 시스템은 적어도 두 개 이상의 이미지들의 크기를 매칭함으로써, 크기가 매칭된 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출할 수 있다.
예를 들어, 깊이 추출 카메라 시스템은 단일 광학계를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 두 개의 샘플 이미지들-두 개의 샘플 이미지들 각각은 예를 들어 도트 패턴과 같은 특정 패턴을 포함함-을 획득하여, 두 개의 샘플 이미지들 각각에서의 특정 패턴 사이의 거리를 기초로 이미지 크기 보간(interpolation) 통계치를 미리 구축함으로써, 이미지 크기 보간 통계치에 기초하여 적어도 두 개 이상의 이미지들의 크기를 매칭할 수 있다.
다른 예를 들면, 깊이 추출 카메라 시스템은 적어도 두 개 이상의 이미지들 각각에서 적어도 하나의 패치를 추출함으로써, 적어도 두 개 이상의 이미지들 사이에서의 적어도 하나의 패치의 위치 이동값에 기초하여 적어도 두 개 이상의 이미지들의 크기를 매칭할 수 있다.
또한, 깊이 추출 카메라 시스템은 720 단계에서, 적어도 두 개 이상의 이미지들 사이의 상관도에 기초하여 두 개의 이미지들을 선택함으로써, 선택된 두 개의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출하거나, 적어도 두 개 이상의 이미지들을 조합하여 두 개의 이미지들을 생성함으로써, 생성된 두 개의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출할 수도 있다.
또한, 깊이 추출 카메라 시스템은 초점 맞는 피사체 거리를 한정하며 710 단계 내지 720 단계의 깊이 추출 과정을 반복 수행함으로써, 보다 정확한 깊이를 추출할 수 있다. 여기서, 깊이 추출 카메라 시스템은 이전 깊이 추출 과정에서 추출된 깊이에 기초하여 이번 깊이 추출 과정에서 이용될 적어도 두 개 이상의 이미지들 각각의 초점 맞는 피사체 거리를 한정할 수 있다.
예를 들어, 깊이 추출 카메라 시스템은 단일 광학계를 통하여 서로 다른 러프한 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하고, 서로 다른 러프한 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 러프 깊이를 추출하여, 피사체에 대한 러프 깊이를 기초로 초점 범위를 한정한 뒤, 한정된 초점 범위 내에서 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 정밀한(fine) 이미지들(적어도 두 개 이상의 정밀한 이미지들은 러프 깊이를 기준으로 미리 설정된 한정 범위 내에서 가장 먼 초점 맞는 피사체 거리를 갖거나, 가장 근접한 초점 맞는 피사체 거리를 가짐)을 획득할 수 있다. 따라서, 깊이 추출 카메라 시스템은 적어도 두 개 이상의 정밀한 이미지들에서의 블러 차이를 이용하여 보다 정밀한 피사체에 대한 깊이를 추출할 수 있다.
또한, 깊이 추출 카메라 시스템은 상술한 바와 같은 깊이 추출 과정을 복수의 프레임들 별로 반복 수행함으로써, 프레임 별 피사체에 대한 깊이를 포함하는 깊이 맵을 완성할 수 있다.
도 8은 일실시예에 따른 깊이 추출 카메라 시스템을 나타낸 블록도이다.
도 8을 참조하면, 일실시예에 따른 깊이 추출 카메라 시스템은 단일 광학계(810), 이미지 센서(820) 및 깊이 추출부(830)를 포함한다.
단일 광학계(810)는 MALS(Micro-mirror Array Lens System)로 구성되거나, 복수의 위치들로 이동되도록 형성될 수 있다.
이미지 센서(820)는 단일 광학계(810)를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들-적어도 두 개 이상의 이미지들 각각은 피사체를 포함함-을 획득한다.
예를 들어, 단일 광학계(810)가 MALS로 구성되는 경우, 이미지 센서(820)는 MALS의 동작에 따라, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 동시에 획득할 수 있다.
다른 예를 들면, 단일 광학계(810)가 복수의 위치들로 이동되도록 형성되는 경우, 이미지 센서(820)는 단일 광학계(810)가 복수의 위치들로 이동되며 유입시키는 광 신호를 처리하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득할 수 있다.
깊이 추출부(830)는 적어도 두 개 이상의 이미지들에서의 블러(blur) 차이를 이용하여 피사체에 대한 깊이를 추출한다.
이 때, 깊이 추출부(830)는 적어도 두 개 이상의 이미지들에서의 블러 차이의 비율을 기반으로 깊이를 계산하는 깊이 추출 알고리즘을 이용하여 피사체에 대한 깊이를 추출할 수 있다.
특히, 깊이 추출부(830)는 적어도 두 개 이상의 이미지들의 크기를 매칭함으로써, 크기가 매칭된 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출할 수 있다.
예를 들어, 깊이 추출부(830)는 단일 광학계(810)를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 두 개의 샘플 이미지들-두 개의 샘플 이미지들 각각은 예를 들어 도트 패턴과 같은 특정 패턴을 포함함-을 획득하여, 두 개의 샘플 이미지들 각각에서의 특정 패턴 사이의 거리를 기초로 이미지 크기 보간(interpolation) 통계치를 미리 구축함으로써, 이미지 크기 보간 통계치에 기초하여 적어도 두 개 이상의 이미지들의 크기를 매칭할 수 있다.
다른 예를 들면, 깊이 추출부(830)는 적어도 두 개 이상의 이미지들 각각에서 적어도 하나의 패치를 추출함으로써, 적어도 두 개 이상의 이미지들 사이에서의 적어도 하나의 패치의 위치 이동값에 기초하여 적어도 두 개 이상의 이미지들의 크기를 매칭할 수 있다.
또한, 깊이 추출부(830)는 적어도 두 개 이상의 이미지들 사이의 상관도에 기초하여 두 개의 이미지들을 선택함으로써, 선택된 두 개의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출하거나, 적어도 두 개 이상의 이미지들을 조합하여 두 개의 이미지들을 생성함으로써, 생성된 두 개의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출할 수도 있다.
또한, 깊이 추출부(830)는 초점 맞는 피사체 거리를 한정하며 단일 광학계(810) 및 이미지 센서(820)를 이용하는 깊이 추출 과정을 반복 수행함으로써, 보다 정확한 깊이를 추출할 수 있다. 여기서, 깊이 추출부(830)는 이전 깊이 추출 과정에서 추출된 깊이에 기초하여 이번 깊이 추출 과정에서 이용될 적어도 두 개 이상의 이미지들 각각의 초점 맞는 피사체 거리를 한정할 수 있다.
예를 들어, 이미지 센서(820)가 단일 광학계(810)를 통하여 서로 다른 러프한 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하면, 깊이 추출부(830)는 서로 다른 러프한 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 러프 깊이를 추출하여, 피사체에 대한 러프 깊이를 기초로 초점 범위를 한정한 뒤, 이미지 센서(820)로 하여금 한정된 초점 범위 내에서 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 정밀한 이미지들(적어도 두 개 이상의 정밀한 이미지들은 러프 깊이를 기준으로 미리 설정된 한정 범위 내에서 가장 먼 초점 맞는 피사체 거리를 갖거나, 가장 근접한 초점 맞는 피사체 거리를 가짐)을 획득하도록 할 수 있다. 따라서, 깊이 추출부(830)는 적어도 두 개 이상의 정밀한 이미지들에서의 블러 차이를 이용하여, 보다 정밀한 피사체에 대한 깊이를 추출할 수 있다.
또한, 깊이 추출 카메라 시스템은 상술한 바와 같은 단일 광학계(810), 이미지 센서(820) 및 깊이 추출부(830)의 동작을 기반으로 깊이 추출 과정을 복수의 프레임들 별로 반복 수행함으로써, 프레임 별 피사체에 대한 깊이를 포함하는 깊이 맵을 완성할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템의 동작 방법에 있어서,
    상기 깊이 추출 카메라 시스템에 포함되는 단일 광학계를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들-상기 적어도 두 개 이상의 이미지들 각각은 피사체를 포함하고, 상기 적어도 두 개 이상의 이미지들 중 어느 하나는 무한 초점 값의 초점 맞는 피사체 거리를 가지며, 상기 적어도 두 개 이상의 이미지들 중 나머지 하나는 상기 무한 초점 값보다 상기 깊이 추출 카메라 시스템에 근접한 초점 값의 초점 맞는 피사체 거리를 가짐-을 획득하는 단계; 및
    상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러(blur) 차이를 기반으로 상기 피사체에 대한 깊이를 직접 계산하는 알고리즘을 이용하여 상기 피사체에 대한 깊이를 추출하는 단계
    를 포함하는 깊이 추출 카메라 시스템의 동작 방법.
  2. 제1항에 있어서,
    상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하는 단계는
    MALS(Micro-mirror Array Lens System)로 구성되는 상기 단일 광학계를 이용하여 상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 동시에 획득하는 단계
    를 포함하는 깊이 추출 카메라 시스템의 동작 방법.
  3. 제1항에 있어서,
    상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하는 단계는
    복수의 위치들로 이동되는 상기 단일 광학계를 이용하여 상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 획득하는 단계
    를 포함하는 깊이 추출 카메라 시스템의 동작 방법.
  4. 제1항에 있어서,
    상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이를 기반으로 상기 피사체에 대한 깊이를 직접 계산하는 알고리즘을 이용하여 상기 피사체에 대한 깊이를 추출하는 단계는
    상기 적어도 두 개 이상의 이미지들의 크기를 매칭하는 단계; 및
    상기 크기가 매칭된 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 단계
    를 포함하는 깊이 추출 카메라 시스템의 동작 방법.
  5. 제4항에 있어서,
    상기 적어도 두 개 이상의 이미지들의 크기를 매칭하는 단계는
    이미지 크기 보간(interpolation) 통계치를 미리 구축하는 단계; 및
    상기 이미지 크기 보간 통계치에 기초하여 상기 적어도 두 개 이상의 이미지들의 크기를 매칭하는 단계
    를 포함하는 깊이 추출 카메라 시스템의 동작 방법.
  6. 제5항에 있어서,
    상기 이미지 크기 보간 통계치를 미리 구축하는 단계는
    상기 단일 광학계를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 두 개의 샘플 이미지들-상기 두 개의 샘플 이미지들 각각은 특정 패턴을 포함함-을 획득하는 단계; 및
    상기 두 개의 샘플 이미지들 각각에서의 특정 패턴 사이의 거리에 기초하여 상기 이미지 크기 보간 통계치를 미리 구축하는 단계
    를 포함하는 깊이 추출 카메라 시스템의 동작 방법.
  7. 제4항에 있어서,
    상기 적어도 두 개 이상의 이미지들의 크기를 매칭하는 단계는
    상기 적어도 두 개 이상의 이미지들 각각에서 적어도 하나의 패치를 추출하는 단계; 및
    상기 적어도 두 개 이상의 이미지들 사이에서의 상기 적어도 하나의 패치의 위치 이동값에 기초하여 상기 적어도 두 개 이상의 이미지들의 크기를 매칭하는 단계
    를 포함하는 깊이 추출 카메라 시스템의 동작 방법.
  8. 삭제
  9. 제1항에 있어서,
    상기 추출된 피사체에 대한 깊이에 기초하여 초점 범위를 한정하는 단계;
    상기 한정된 초점 범위 내에서 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 정밀한(fine) 이미지들-상기 적어도 두 개 이상의 정밀한 이미지들 각각은 상기 피사체를 포함함-을 획득하는 단계; 및
    상기 적어도 두 개 이상의 정밀한 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 정밀한 깊이를 추출하는 단계
    를 더 포함하는 깊이 추출 카메라 시스템의 동작 방법.
  10. 제1항에 있어서,
    상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이를 기반으로 상기 피사체에 대한 깊이를 직접 계산하는 알고리즘을 이용하여 상기 피사체에 대한 깊이를 추출하는 단계는
    상기 적어도 두 개 이상의 이미지들 사이의 상관도에 기초하여, 두 개의 이미지들을 선택하는 단계; 및
    상기 선택된 두 개의 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는 단계
    를 포함하는 깊이 추출 카메라 시스템의 동작 방법.
  11. 제1항에 있어서,
    상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러 차이를 기반으로 상기 피사체에 대한 깊이를 직접 계산하는 알고리즘을 이용하여 상기 피사체에 대한 깊이를 추출하는 단계는
    상기 적어도 두 개 이상의 이미지들을 조합하여 두 개의 이미지들을 생성하는 단계; 및
    상기 생성된 두 개의 이미지들에서의 블러 차이를 이용하여 피사체에 대한 깊이를 추출하는 단계
    를 포함하는 깊이 추출 카메라 시스템의 동작 방법.
  12. 삭제
  13. 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템에 있어서,
    단일 광학계;
    상기 단일 광학계를 통하여, 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들-상기 적어도 두 개 이상의 이미지들 각각은 피사체를 포함하고, 상기 적어도 두 개 이상의 이미지들 중 어느 하나는 무한 초점 값의 초점 맞는 피사체 거리를 가지며, 상기 적어도 두 개 이상의 이미지들 중 나머지 하나는 상기 무한 초점 값보다 상기 깊이 추출 카메라 시스템에 근접한 초점 값의 초점 맞는 피사체 거리를 가짐-을 획득하는 이미지 센서; 및
    상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들에서의 블러(blur) 차이를 기반으로 상기 피사체에 대한 깊이를 직접 계산하는 알고리즘을 이용하여 상기 피사체에 대한 깊이를 추출하는 깊이 추출부
    를 포함하는 깊이 추출 카메라 시스템.
  14. 제13항에 있어서,
    상기 단일 광학계는
    MALS(Micro-mirror Array Lens System)로 구성되고,
    상기 이미지 센서는
    상기 MALS로 구성되는 단일 광학계를 이용하여 상기 서로 다른 초점 맞는 피사체 거리를 갖는 적어도 두 개 이상의 이미지들을 동시에 획득하는, 깊이 추출 카메라 시스템.
  15. 제13항에 있어서,
    상기 깊이 추출부는
    상기 적어도 두 개 이상의 이미지들의 크기를 매칭하고, 상기 크기가 매칭된 적어도 두 개 이상의 이미지들에서의 블러 차이를 이용하여 상기 피사체에 대한 깊이를 추출하는, 깊이 추출 카메라 시스템.
KR1020160064147A 2016-05-25 2016-05-25 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법 KR101829534B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160064147A KR101829534B1 (ko) 2016-05-25 2016-05-25 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법
US15/605,115 US10249051B2 (en) 2016-05-25 2017-05-25 Depth extracting camera system using multi focus image and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160064147A KR101829534B1 (ko) 2016-05-25 2016-05-25 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20170133119A KR20170133119A (ko) 2017-12-05
KR101829534B1 true KR101829534B1 (ko) 2018-02-19

Family

ID=60421096

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064147A KR101829534B1 (ko) 2016-05-25 2016-05-25 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법

Country Status (2)

Country Link
US (1) US10249051B2 (ko)
KR (1) KR101829534B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200114117A (ko) * 2019-03-27 2020-10-07 서울대학교산학협력단 거리 측정 장치 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10277889B2 (en) * 2016-12-27 2019-04-30 Qualcomm Incorporated Method and system for depth estimation based upon object magnification
KR102472156B1 (ko) * 2018-04-19 2022-11-30 삼성전자주식회사 전자 장치 및 그 깊이 정보 생성 방법
KR102597470B1 (ko) * 2019-06-05 2023-11-03 삼성전자주식회사 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치
CN110602397A (zh) * 2019-09-16 2019-12-20 RealMe重庆移动通信有限公司 图像处理方法、装置、终端及存储介质
CN111064895B (zh) * 2019-12-31 2022-02-01 维沃移动通信有限公司 一种虚化拍摄方法和电子设备
WO2022213339A1 (zh) * 2021-04-09 2022-10-13 深圳市大疆创新科技有限公司 对焦方法、拍摄设备、拍摄系统以及可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009016256A1 (en) * 2007-08-01 2009-02-05 Dublin City University Ultra-compact aperture controlled depth from defocus range sensor
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US20160042522A1 (en) * 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data
US8432479B2 (en) * 2010-04-30 2013-04-30 Apple Inc. Range measurement using a zoom camera
US20120319945A1 (en) * 2010-05-21 2012-12-20 Mccarthy John System and method for reporting data in a computer vision system
JP2012027408A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 電子機器
JP6112824B2 (ja) * 2012-02-28 2017-04-12 キヤノン株式会社 画像処理方法および装置、プログラム。
US9185387B2 (en) * 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
US9530213B2 (en) * 2013-01-02 2016-12-27 California Institute Of Technology Single-sensor system for extracting depth information from image blur
US10007109B2 (en) * 2013-06-20 2018-06-26 The University Of North Carolina At Charlotte Wavelength discriminating imaging systems and methods
JP6214233B2 (ja) * 2013-06-21 2017-10-18 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム。
KR101563799B1 (ko) 2014-01-27 2015-10-27 충북대학교 산학협력단 초점 정보를 이용한 상대적 깊이 추정 방법
KR101600183B1 (ko) 2014-07-08 2016-03-04 재단법인 다차원 스마트 아이티 융합시스템 연구단 이미지로부터 깊이 정보를 추출하는 방법 및 장치
US9639946B2 (en) * 2015-03-11 2017-05-02 Sony Corporation Image processing system with hybrid depth estimation and method of operation thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200114117A (ko) * 2019-03-27 2020-10-07 서울대학교산학협력단 거리 측정 장치 및 방법
KR102191747B1 (ko) * 2019-03-27 2020-12-16 서울대학교산학협력단 거리 측정 장치 및 방법

Also Published As

Publication number Publication date
US20170345176A1 (en) 2017-11-30
US10249051B2 (en) 2019-04-02
KR20170133119A (ko) 2017-12-05

Similar Documents

Publication Publication Date Title
KR101829534B1 (ko) 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법
CN110036410B (zh) 用于从视图中获得距离信息的设备和方法
KR101672669B1 (ko) 시차를 이용하는 멀티 애퍼처 카메라 시스템
US10291894B2 (en) Single-sensor system for extracting depth information from image blur
CN106412433B (zh) 基于rgb-ir深度相机的自动对焦方法及系统
US9501833B2 (en) Method and system for providing three-dimensional and range inter-planar estimation
CN106454090B (zh) 基于深度相机的自动对焦方法及系统
JP4915859B2 (ja) 物体の距離導出装置
CN105578019A (zh) 一种可获得深度信息的影像提取系统与对焦方法
JP2008242658A (ja) 立体物体の撮像装置
CN108881717B (zh) 一种深度成像方法及系统
CN108924408B (zh) 一种深度成像方法及系统
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN106973199B (zh) 利用对焦距离扫描提高深度精确度的多光圈相机系统
JP2013224895A (ja) ３次元計測装置
KR20090037247A (ko) 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체
KR101994473B1 (ko) 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램
JP2020021126A (ja) 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム
CN108924407B (zh) 一种深度成像方法及系统
KR101737260B1 (ko) 영상간 피사계 심도 차이에서 깊이를 추출하는 카메라 시스템 및 그 동작 방법
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
CN111373222A (zh) 光投射系统
JP2004257934A (ja) ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体
KR101797360B1 (ko) 초점 정도 비율을 이용하는 깊이 추출 방법 및 깊이 추출 카메라 시스템
KR20140081561A (ko) 스테레오 카메라를 이용한 깊이 정보 추출 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant