KR101889886B1 - 심도 정보 생성 방법 및 장치 - Google Patents

심도 정보 생성 방법 및 장치 Download PDF

Info

Publication number
KR101889886B1
KR101889886B1 KR1020170178417A KR20170178417A KR101889886B1 KR 101889886 B1 KR101889886 B1 KR 101889886B1 KR 1020170178417 A KR1020170178417 A KR 1020170178417A KR 20170178417 A KR20170178417 A KR 20170178417A KR 101889886 B1 KR101889886 B1 KR 101889886B1
Authority
KR
South Korea
Prior art keywords
image
monochromatic
images
resolution
region
Prior art date
Application number
KR1020170178417A
Other languages
English (en)
Inventor
조성구
Original Assignee
세명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세명대학교 산학협력단 filed Critical 세명대학교 산학협력단
Priority to KR1020170178417A priority Critical patent/KR101889886B1/ko
Application granted granted Critical
Publication of KR101889886B1 publication Critical patent/KR101889886B1/ko
Priority to US16/225,297 priority patent/US10482620B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/22—Absorbing filters
    • G02B5/23—Photochromic filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 (a) 피사체로부터 복수의 렌즈 모듈을 통해 복수의 이미지를 획득하는 단계로서, 상기 복수의 이미지는 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지를 포함하는 단계; (b) 상기 2개의 단색 이미지의 적어도 일부에 대하여 보완적 이미지 향상 처리를 통해 해상도를 높여 보완된 2개의 단색 이미지를 생성하는 단계로서, 상기 보완적 이미지 향상 처리에서는 상기 복수의 이미지를 상기 2개의 단색 이미지 각각과 비교하여 적어도 일부에서 해상도가 더 높은 이미지를 이용하여 상기 2개의 단색 이미지 각각의 해상도를 높이는 단계; (c) 상기 피사체의 관심있는 영역이 상기 보완된 2개의 단색 이미지에서 선택되는 단계; 및 (d) 상기 보완된 2개의 단색 이미지를 스테레오 매칭하여 상기 관심있는 영역에서의 심도를 계산하는 단계를 포함하는 심도 정보 생성 방법에 관한 것이다.

Description

심도 정보 생성 방법 및 장치{Depth information generating method and apparatus}
본 발명은 심도 정보 생성 방법 및 장치에 관한 것이다.
피사체의 심도를 계산하기 위한 방법으로 광원을 사용하는 능동적(active) 방식이 있고 배경 조명을 이용하는 수동적(passive) 방법이 있으며 각각 장단점이 있다.
본 발명은 수동적(passive) 방법을 이용하여 심도를 생성하는 기술에 관한 것이다. 특히 스테레오 카메라를 이용하여 심도를 생성하는 방법 및 장치에 관한 것이다. 스테레오 이미지는 스테레오 카메라 모듈을 이용하여 생성한다.
도 1은 종래의 스테레오 카메라 모듈을 나타낸다.
종래의 스테레오 카메라 모듈은 피사체(O) 로 부터 나오는 광선(1)을 이미지 센서(CCD, Charged Coupling Devices 또는 CMOS, Complimentary Metal Oxide Semiconductor)(I)와, 그 위에 장착된 칼라필터(13)와, 칼라필터(13) 위에 장착되며 이미지 센서(I) 에 초점이 맺게 하는 두 개의 렌즈 모듈(11, 12)로 구성된다.
이때 이미지 센서(I) 의 각 픽셀 위에 R(Red), G(Green), B(Blue)로 구획되는 도 1의 (b)에서와 같은 칼라필터(13)는 각 칼라 파장에 해당되는 광선만 필터링하여 해당 픽셀에 도달하게 한다. 이로부터 촬영된 이미지의 각 픽셀은 해당 픽셀 근방의 상기 칼라필터(13)의 R, G, B 값들의 보간(interpolation)과 조합을 통하여 색을 나타낸다.
종래기술에서는 상기와 같이 두 개의 렌즈 모듈(11, 12)을 통해 획득한 스테레오 이미지의 매칭되는 두 픽셀 사이 간격을 측정하여 기하학적 방법으로 심도를 계산할 수 있다.
다만, 실제적으로 스테레오 카메라 기술을 구현하는 것에는 아래와 같은 문제점이 있다.
심도를 계산하기 위하여 렌즈 모듈을 캘리브레이션(calibration)할 때 왜곡을 포함한 광학적 수차 등에 의하여 캘리브레이션 오차가 커진다. 또한, 블러(blur)한 영역이 있을 시 대응되는 픽셀 매칭에 있어 오차가 많다. 또한, 블러한 영역을 줄이기 위해서 조리개 구경의 크기를 작게하면, 해상도가 떨어져서 오차가 커지게 된다.
나아가, 스마트폰 카메라와 같이 스테레오 카메라 모듈에서 두 개의 렌즈 모듈의 간격이 매우 작은 경우 픽셀 매칭에 있어 오차가 더욱 커지는 문제점이 있기 때문에, 스테레오 카메라 모듈에서 두 개의 렌즈 모듈의 간격이 작은 경우 오차를 더욱 줄일 필요성이 있다.
본 발명은 단색 스테레오 이미지의 블러한 영역을 줄이고 해상도를 높여 심도 정보를 생성함에 있어 캘리브레이션 오차와 픽셀 매칭 오차를 줄여 정밀도를 높인 심도 정보 생성 방법 및 장치를 제공하고자 한다.
본 발명의 일례에 따른 심도 정보 생성 방법은 (a) 피사체로부터 복수의 렌즈 모듈을 통해 복수의 이미지를 획득하는 단계로서, 상기 복수의 이미지는 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지를 포함하는 단계; (b) 상기 2개의 단색 이미지의 적어도 일부에 대하여 보완적 이미지 향상 처리를 통해 해상도를 높여 보완된 2개의 단색 이미지를 생성하는 단계로서, 상기 보완적 이미지 향상 처리에서는 상기 복수의 이미지를 상기 2개의 단색 이미지 각각과 비교하여 적어도 일부에서 해상도가 더 높은 이미지를 이용하여 상기 2개의 단색 이미지 각각의 해상도를 높이는 단계; (c) 상기 피사체의 관심있는 영역이 상기 보완된 2개의 단색 이미지에서 선택되는 단계; 및 (d) 상기 보완된 2개의 단색 이미지를 스테레오 매칭하여 상기 관심있는 영역에서의 심도를 계산하는 단계를 포함할 수 있다.
본 발명의 일례에 따른 심도 정보 생성 방법은 (a) 피사체로부터 복수의 렌즈 모듈을 통해 복수의 이미지를 획득하는 단계로서, 상기 복수의 이미지는 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지를 포함하는 단계; (b) 상기 피사체의 관심있는 영역이 상기 2개의 단색 이미지에서 선택되는 단계; (c) 상기 2개의 단색 이미지의 상기 관심있는 영역에 해당하는 영역에 대하여 보완적 이미지 향상 처리를 통해 해상도를 높여 보완된 2개의 단색 이미지를 생성하는 단계로서, 상기 보완적 이미지 향상 처리에서는 상기 복수의 이미지를 상기 2개의 단색 이미지 각각과 비교하여 상기 관심있는 영역에서 해상도가 더 높은 이미지를 이용하여 상기 2개의 단색 이미지 각각의 관심있는 영역의 해상도를 높이는 단계; 및 (d) 상기 보완된 2개의 단색 이미지를 스테레오 매칭하여 상기 관심있는 영역에서의 심도를 계산하는 단계를 포함할 수 있다.
상기 2개의 단색 이미지는 적어도 일부에서 서로 상이한 블러한 영역을 가지고, 상기 보완적 이미지 향상 처리에서는 상기 2개의 단색 이미지 중 어느 하나의 이미지의 블러한 영역을 다른 하나의 이미지의 해당 영역을 이용하여 해상도를 높일 수 있다.
상기 복수의 렌즈 모듈 중 적어도 일부는 서로 상이한 조리개값을 가질 수 있다.
상기 복수의 렌즈 모듈 중 상기 2개의 단색 이미지를 형성하는 2개의 렌즈 모듈은 하나의 이미지 센서 상에 서로 이격되어 배치될 수 있다.
상기 (a) 단계에서 상기 복수의 이미지는 상기 피사체의 적어도 하나의 칼라 이미지를 포함하고, 상기 칼라 이미지의 블러한 영역은 상기 2개의 단색 이미지 중 적어도 어느 하나의 블러한 영역과 상이한 영역을 포함하거나 상기 칼라 이미지는 상기 2개의 단색 이미지 각각 보다 단위면적당 픽셀의 개수가 많고, 상기 보완적 이미지 향상 처리에서는 상기 칼라 이미지를 이용하여 상기 2개의 단색 이미지 중 적어도 어느 하나의 블러한 영역의 해상도를 높일 수 있다.
상기 보완적 이미지 향상 처리에서는 해상도가 낮은 이미지로부터 해상도가 높은 이미지를 얻는 초해상도(super-resolution) 방법을 상기 관심있는 영역의 해상도를 높이기 위해 추가적으로 이용할 수 있다.
상기 초해상도 방법은 해상도가 낮은 복수의 이미지와 상기 해상도가 낮은 복수의 이미지에 대응되는 해상도가 높은 복수의 이미지를 인공지능 방법으로 학습시켜 얻은 인공지능 데이터를 이용할 수 있다.
본 발명의 일례에 따른 심도 정보 생성 장치는 피사체로부터 적어도 하나의 단색 스테레오 이미지를 촬영하기 위한 단색 스테레오 카메라 모듈; 상기 단색 스테레오 카메라 모듈에 의해 촬영되는 상기 단색 스테레오 이미지를 저장하는 데이터 저장부; 및 상기 데이터 저장부에 저장되는 상기 단색 스테레오 이미지를 처리하는 데이터 처리부를 포함하고, 상기 단색 스테레오 카메라 모듈은 하나의 이미지 센서; 상기 하나의 이미지 센서에 서로 이격되어 배치되는 복수의 렌즈 모듈; 및 상기 복수의 렌즈 모듈 각각과 상기 이미지 센서에 의해 형성되는 광경로 상에 배치되는 단색 필터를 포함하고, 상기 복수의 렌즈 모듈 중 적어도 2개의 렌즈 모듈은 서로 상이한 피사계 심도를 갖고, 상기 데이터 처리부는 상기 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지를 서로 비교하여 상기 2개의 단색 이미지 중 어느 하나의 블러한 영역의 이미지를 다른 하나의 해당 영역의 이미지를 이용하여 해상도를 높이는 보완 처리를 하고 스테레오 매칭하여 관심영역에 대한 심도를 계산할 수 있다.
상기 복수의 렌즈 모듈은 4개의 렌즈 모듈을 포함하고, 상기 단색 필터는 서로 상이한 색상의 제1단색 필터와 제2단색 필터를 포함하고, 상기 4개의 렌즈 모듈 중 2개의 렌즈 모듈 각각과 상기 이미지 센서에 의해 형성되는 광경로 상에는 제1단색 필터가 배치되고 나머지 2개의 렌즈 모듈 각각과 상기 이미지 센서에 의해 형성되는 광경로 상에는 제2단색 필터가 배치될 수 있다.
상기 복수의 렌즈 모듈 중 적어도 2개의 렌즈 모듈은 서로 상이한 조리개값을 가질 수 있다.
본 발명의 일례에 따른 심도 정보 생성 장치는 피사체로부터 적어도 하나의 단색 스테레오 이미지를 촬영하기 위한 단색 스테레오 카메라 모듈; 상기 피사체의 칼라 이미지를 촬영하기 위한 칼라 카메라 모듈; 상기 단색 스테레오 카메라 모듈과 상기 칼라 카메라 모듈에 의해 촬영되는 이미지를 저장하는 데이터 저장부; 및 상기 데이터 저장부에 저장되는 이미지를 처리하는 데이터 처리부를 포함하고, 상기 단색 스테레오 카메라 모듈은 하나의 제1이미지 센서; 상기 하나의 제1이미지 센서에 서로 이격되어 배치되는 복수의 제1렌즈 모듈; 및 상기 복수의 제1렌즈 모듈 중 적어도 2개의 제1렌즈 모듈 각각과 상기 제1이미지 센서에 의해 형성되는 광경로 상에 배치되는 단색 필터를 포함하고, 상기 칼라 카메라 모듈은 제2이미지 센서; 상기 제2이미지 센서에 배치되는 제2렌즈 모듈; 및 상기 제2렌즈 모듈과 상기 제2이미지 센서에 의해 형성되는 광경로 상에 배치되는 칼라 필터를 포함하고, 상기 데이터 처리부는 상기 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지 중 적어도 어느 하나를 상기 칼라 이미지를 이용하여 해상도를 높이는 보완 처리를 하고 스테레오 매칭하여 관심영역에 대한 심도를 계산하고, 상기 칼라 이미지의 블러한 영역은 상기 단색 이미지 중 적어도 어느 하나의 블러한 영역과 상이한 영역을 포함하거나 상기 칼라 이미지는 상기 단색 이미지 보다 단위면적당 픽셀의 개수가 많아 상기 단색 이미지의 보완적 이미지가 될 수 있다.
상기 단색 스테레오 이미지를 촬영하기 위한 상기 단색 스테레오 카메라 모듈의 렌즈는 메타물질로 만들 수 있다.
본 발명을 통해, 발명은 단색 스테레오 이미지의 블러한 영역을 줄이고 해상도를 높여 심도 정보를 생성함에 있어 캘리브레이션 오차와 픽셀 매칭 오차를 줄여 정밀도를 높일 수 있다.
나아가, 본 발명을 통해 이미지에서 관심있는 영역의 심도를 정밀하게 계산할 수 있어 다양한 분야에 응용이 가능하다. 예를 들면, 제스처, 시선 추적(eye-tracking), 얼굴 인식, 물체 인식 등에 응용이 가능하며 정밀도를 높일 수 있다.
도 1은 종래의 스테레오 카메라 모듈을 나타내는 도면이다.
도 2는 본 발명의 보완적 이미지 향상 처리의 개념을 설명하기 위한 도면이다.
도 3은 인공지능이 적용된 초해상도 방법을 나타낸 순서도이다.
도 4는 본 발명의 일 실시예에 따른 심도 정보 생성 장치를 나타내는 구성도이다.
도 5는 본 발명의 일 실시예에 따른 심도 정보 생성 장치의 단색 스테레오 카메라 모듈을 나타내는 도면이다.
도 6 및 도 7은 본 발명의 변형례에 따른 심도 정보 생성 장치의 복수의 렌즈 모듈이 배치된 단색 스테레오 카메라 모듈을 나타내는 도면이다.
도 8은 본 발명의 다른 변형례에 따른 심도 정보 생성 장치를 나타내는 구성도이다.
도 9는 본 발명의 일 실시예에 따른 심도 정보 생성 방법을 나타내는 순서도이다.
이하에서는 설명의 편의를 위해 본 발명의 일부 실시 예를 예시적인 도면을 통해 설명한다. 다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되지 않는다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
이하에서 사용되는 '초점 근접한계(Near limit of acceptable sharpess)'는 카메라로부터 화상이 선명(acceptable sharpess)하게 찍힌 구간의 시작부분까지의 거리로 정의되고, '초점 원격한계(Far limit of acceptable sharpness)'는 카메라로부터 화상이 선명하게 찍힌 구간의 종료부분까지의 거리로 정의된다.
이하에서 사용되는 '피사계 심도(depth of field)'는 초점 원격 한계와 초점 근접 한계 사이의 거리로 화상이 선명하게 찍히는 구간의 크기로 정의되고, '물체면(Object plane)'은 렌즈 모듈을 디자인할 때 초점이 가장 잘 맞는 피사체 위치로 정의된다. 따라서, 물체면은 초점 근접한계와 초점 원격한계 사이에 존재한다.
이하에서는 '보완적 이미지 향상 처리'의 개념에 대하여 설명한다.
도 2는 본 발명의 보완적 이미지 향상 처리의 개념을 설명하기 위한 도면이다.
본 명세서에서 사용되는 '렌즈 모듈'은 단렌즈 또는 복수의 렌즈를 포함하는 개념으로 이해되고, '카메라 모듈'은 렌즈 모듈, 광학 필터(단색 필터, 칼라 필터 등) 및 이미지 센서를 포함하는 개념으로 이해될 수 있다.
카메라 모듈에서 피사계 심도 밖에 있는 물체는 선명하지 않고 블러(blur)하게 되고 해상도가 떨어지게 된다. 한편, 두 카메라 모듈의 피사계 심도가 서로 다르면 두 카메라 모듈을 이용하여 블러한 영역의 이미지를 향상 시킬 수 있다. 이는 두 렌즈 모듈이 하나의 이미지 센서를 공용으로 사용하는 두 렌즈 모듈에서도 마찬가지이다.
예를 들어, 두 개의 렌즈 모듈에서 어느 한 렌즈 모듈은 물체면의 거리가 하나는 가깝고 다른 렌즈 모듈은 그 보다 더 멀리 있을 수 있다. 보다 구체적으로, 도 2에 도시된 바와 같이 제1렌즈 모듈(L1)의 제1초점 근접한계와 제1초점 원격한계를 각각 N1, F1이라 하고, 제2렌즈 모듈(L2)의 제2초점 근접한계와 제2초점 원격 한계를 각각 N2, F2(여기서 F2는 무한대가 될 수도 있음)라 할 때, 제1초점 원격한계(F1)와 제2초점 원격한계(F2) 사이에 있는 피사체는 제1렌즈 모듈(L1)로 촬영했을 때 블러(blur)하게 되나 제2렌즈 모듈(L2)로 촬영했을 때는 선명하게 된다. 반면, 제1초점 근접한계(N1)와 제2초점 근접한계(N2) 사이에 있는 피사체는 제1렌즈 모듈(L1)로 촬영했을 때 선명하게 되나 제2렌즈 모듈(L2)로 촬영했을 때는 블러하게 된다. 따라서, 제1초점 원격한계(F1)와 제2초점 원격한계(F2) 사이에서는 제2렌즈 모듈(L2)로 촬영한 이미지의 픽셀을 이용하여 제1렌즈 모듈(L1)의 이미지를 향상시키고, 제1초점 근접한계(N1)와 제2초점 근접한계(N2) 사이에서는 제1렌즈 모듈(L1)로 촬영한 이미지의 픽셀을 이용하여 제2렌즈 모듈(L2)의 이미지를 향상 시킬 수 있다. 이렇게 블러한 영역과 선명한 영역이 있는 두 이미지들을 상호 이용하여 선명한 이미지로 이미지 향상을 시킬 수 있다.
일반적으로 두 이미지(제1이미지, 제2이미지)가 있을 때, 제1이미지의 어떤 영역의 해상도가 이에 해당되는 제2이미지의 해당 영역의 해상도 보다 더 좋은 경우 제1이미지를 이용하여 제2이미지의 해당 영역 이미지의 해상도를 더 좋게 만들 수 있다. 이때, 제1이미지는 제2이미지의 '보완적 이미지'라 칭할 수 있다. 한편, 제1이미지의 다른 영역의 해상도가 이에 해당되는 제2이미지의 해당 영역의 해상도 보다 더 안 좋은 경우 제2이미지는 제1이미지의 '보완적 이미지'라 칭할 수 있다. 이런 경우 두 이미지, 즉 제1이미지와 제2이미지는 '상호 보완적 이미지'라 칭할 수 있다.
또한, 상기와 같은 제1이미지를 제공하는 제1카메라 모듈과 제2이미지를 제공하는 제2카메라 모듈에 있어서, 제1카메라 모듈과 제2카메라 모듈은 '상호 보완적 카메라 모듈'이라 칭할 수 있다. 또한, 마찬가지로 '상호 보완적 렌즈 모듈'이라는 용어가 사용될 수 있다.
상기와 같이 한 이미지의 해상도가 높은 영역을 이용하여 해상도가 낮은 다른 이미지의 해당 영역을 향상시키는 이미지 향상 방법을 본 발명에서 '보완적 이미지 향상 처리'라 칭할 수 있다.
이하에서는 조리개값(f/#)의 정의와 개념을 설명한다.
f를 렌즈 모듈의 초점거리(focal length)라 하고, D를 입사동공(entrance pupil)의 지름이라 할 때, 조리개값(f-number, f/#)는 f/D로 정의된다. 조리개값이 작을수록 물체면보다 더 가까운 거리에 있거나 더 먼거리에 있는 물체들은 초점이 맞지 않고 흐릿해지는(blur) 경향이 증가하여 피사계 심도가 작아지는 경향이 있다. 즉, 조리개값이 크면 일반적으로 피사계 심도가 증가한다. 한편, 조리개값을 작게하면 피사계 심도가 작아지는 경향이 있지만 렌즈 모듈의 해상도를 높이기 위해서 D를 크게 설계할 수 있다.
이하에서는 초해상도(super-resolution)와 인공지능에 대하여 설명한다.
도 3은 인공지능이 적용된 초해상도 방법을 나타낸 순서도이다.
카메라 모듈로 촬영한 이미지는 전술한 바와 같이 피사계 심도를 벗어난 경우에 흐릿(blur)해 진다.
한편, 피사계 심도 내에 있는 피사체라 하더라도 이미지의 디테일에서는 렌즈 모듈의 광학적 한계(PSF, Point Spread Function, 회절 등), 이미지 센서(CCD 또는 CMOS)의 크기 등의 한계(센서 픽셀의 크기가 너무 작아지면 흡수 광량이 적어져 shot noise 등이 발생함)로 인하여 광학적으로 블러한 현상이 발생할 수 있다. 스마트폰으로 촬영한 이미지를 확대해 보면 최대 확대되었을 때 볼 수 있는 흐릿한 영상이 그 예일 수 있다.
따라서, 본 발명에서는 전술한 '보완적 이미지 향상 처리'를 이용하여 이미지를 향상하는 것에 추가로 더하여 이미지 디테일에 존재하는 블러한 픽셀들에 대하여 초해상도 방법을 이용하여 이미지 향상을 더 할 수 있다.
초해상도(super-resolution) 방법은 노이즈나 블러한 영역이 있는 해상도가 낮은 이미지로부터 해상도가 높은 이미지를 얻는 방법 중 하나로 웨이블렛 방법, 주파수 도메인 방법, 통계적 방법 등을 통해 실현될 수 있다. 나아가, 초해상도 방법은 인공지능을 이용하여 구현될 수 있다.
본 발명에서도 블러한 영역이 있는 스테레오 이미지들의 해상도를 높이기 위하여 인공지능을 사용한 초해상도 방법을 이용할 수 있다.
인공지능 방법의 예를 들면 도 3과 같다. 즉 블러한 영역을 포함하는 이미지(Yi)와 이에 대응되는 블러한 영역이 제거된 이미지들(Xi) N개의 데이터에 대하여 다음의 수학식 1과 같은 비용(cost) 함수를 이용하여 CNN(Convolutional Neutral Network) 등과 같은 학습 알고리즘에 따라 학습을 시켜서 임의의 블러한 영역을 포함하는 이미지로부터 블러한 영역이 제거된 이미지를 얻어 해상도를 높일 수 있다(도 3의 S101, S102, S103 참조).
[수학식 1]
Figure 112017128416329-pat00001
여기서, F는 인공지능 변환함수, L은 비용함수를 나타낸다.
이하에서는 본 발명의 일 실시예(제1실시예)에 따른 심도 정보 생성 장치의 구성을 도면을 참조하여 설명한다.
도 4는 본 발명의 일 실시예에 따른 심도 정보 생성 장치를 나타내는 구성도이고, 도 5는 본 발명의 일 실시예에 따른 심도 정보 생성 장치의 단색 스테레오 카메라 모듈을 나타내는 도면이다.
도 4에서 볼 수 있듯이, 본 발명의 심도 정보 생성 장치(500)는 피사체로부터 적어도 하나의 단색 스테레오 이미지를 촬영하기 위한 단색 스테레오 카메라 모듈(100)과, 단색 스테레오 카메라 모듈(100)에 의해 촬영되는 단색 스테레오 이미지를 저장하는 데이터 저장부(200)와, 데이터 저장부(200)에 저장되는 단색 스테레오 이미지를 처리하는 데이터 처리부(300)를 포함할 수 있다.
단색 스테레오 카메라 모듈(100)은 하나의 이미지 센서(I)와, 하나의 이미지 센서(I)에 서로 이격되어 배치되는 복수의 렌즈 모듈(111, 112)와, 복수의 렌즈 모듈(111, 112) 각각과 이미지 센서(I)에 의해 형성되는 광경로 상에 배치되는 단색 필터(120)를 포함할 수 있다. 이때, 단색 필터(120)는 종래의 R, G, B 로 이루어진 베이어(Bayer)칼라 필터 대신 단색, 예컨대 그림 5의 (b)에서처럼 G(Green) 필터를 사용할 수 있다. 여기서, 녹색(G, Green) 대신 적색(R, Red)이나 청색(B, Blue) 또는 그 밖의 다른 단색 필터를 사용할 수도 있다.
본 실시예에서 복수의 렌즈 모듈(111, 112)은 '상호 보완적 렌즈 모듈'을 포함할 수 있다. 예를 들면, 복수의 렌즈 모듈(111, 112) 중 적어도 2개의 렌즈 모듈(111, 112)은 서로 상이한 조리개값을 가져 피사계 심도가 다를 수 있다. 예컨대, 제1렌즈 모듈(111)은 근거리 해상도가 좋고 제2렌즈 모듈(112)은 조리개값이 제1렌즈 모듈(111) 보다 커서 원거리 해상도가 좋을 수 있다.
데이터 저장부(200)는 인공지능 학습 결과 데이터를 저장할 수 있다.
데이터 처리부(300)는 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지를 서로 비교하여 2개의 단색 이미지 중 어느 하나의 블러한 영역의 이미지를 다른 하나의 해당 영역의 이미지를 이용하여 해상도를 높이는 보완 처리를 하고 스테레오 매칭하여 관심영역에 대한 심도를 계산할 수 있다.
한편, 본 실시예에서는 '관심있는 영역'이 선택될 수 있는데, 관심있는 영역은 이미지 센서(I)의 픽셀로부터 얻는 이미지 픽셀 데이터 값(원데이터(raw data) 인 것이 바람직함)의 국소적 극대값 위치 또는 픽셀 데이터값의 변화율이 현격한 경우와 같이 특정 픽셀을 미리 지정하여 선택될 수도 있고, 심도 생성 장치의 디스플레이(도시하지 않음)에서 선택될 수도 있다. 그 외에도 다양한 방법에 의하여 관심있는 영역이 선택될 수 있다. 나아가, 관심있는 영역은 이미지 전체일 수도 있다.
상기와 같은 구성에 의하여 본 실시예는 다음과 같은 향상된 작용효과가 있다.
단색 필터(120)를 사용함으로써 상호 보완적 렌즈 모듈(111, 112)의 오차를 크게 줄일 수 있다. 즉, 종래의 베이어 칼라필터(도 1의 (b) 참조)를 사용하는 경우 렌즈 모듈(도 1의 11, 12)은 색수차 및 왜곡을 줄여서 해상도를 높이기 위하여 보통 다수 개의 렌즈를 사용해야 한다. 한편 본 발명의 상호 보완적 렌즈 모듈(111, 112)은 단색(이 경우 Green)만 고려하면 되기 때문에 색수차에 대한 오차가 없어 소수개의 렌즈만으로도 왜곡이 거의 없고 광학 오차를 줄여 해상도를 높일 수 있다. 따라서, 심도를 계산할 때 렌즈 모듈 또는 렌즈 모듈로부터 발생할 수 있는 캘리브레이션(calibration) 오차를 크게 줄일 수 있다.
한편, 단색 스테레오 이미지를 촬영하기 위한 단색 스테레오 카메라 모듈의 렌즈는 메타물질(metamaterial)로 만들어 질 수 있다. 메타물질은 자연계에 존재하지 않는 특성을 구현하기 위해 빛의 파장 정도의 크기나 혹은 파장 보다 작은 크기로 만든 특정 모양의 금속이나 유전물질들(예를 들어, Titanium dioxide (TiO2) nanofins)을 이용하여 일정 모양의 나노구조 패턴으로 형성한 물질이다. 이러한 메타물질은 보통 렌즈의 재질인 유리나 플라스틱 같은 일반 물질의 광학적 한계에 의한 해상도 저하를 줄이고 파장 이하(subwavelength)의 해상도를 줄 수 있다. 따라서, 본 발명에서, 단색 스테레오 카메라 모듈(100)의 렌즈 모듈(111, 112)의 렌즈로 메타물질을 사용하면 캘리브레이션 오차를 대폭 줄여 심도를 더욱 정밀하게 계산할 수 있다.
또한, 상호 보완적 렌즈 모듈(111, 112)을 하나의 이미지 센서(I) 위에 설치함으로써 각각의 이미지 센서를 사용할 때 보다 피사체의 관심있는 영역들에 대한 대응되는 이미지센서(I) 위의 위치 사이 거리를 계산할 때 픽셀 매칭 오차를 대폭 줄일 수 있다.
나아가, 상호 보완적 렌즈 모듈(111, 112)을 사용함으로서 피사체의 위치가 가까운 거리에 있는 것이나 먼 거리에 있는 것이나 각 렌즈 모듈(111, 112)의 블러한 부분의 이미지 향상 처리를 쉽게 하여 해상도를 높일 수 있다.
본 실시예를 이용하여 물체면의 위치가 서로 다른 두 렌즈 모듈로 해상도가 낮은 영역의 해상도를 높게 상호 보완할 수 있다. 나아가 인공지능 데이터를 이용하는 초해상도 방법을 이용하여 관심있는 영역에 대한 해상도를 더욱 높일 수 있다. 따라서, 관심있는 영역에 대한 심도를 정밀하게 계산하여 생성할 수 있다.
이하에서는 본 발명의 변형례(제2실시예와 제3실시예)에 따른 심도 정보 생성 장치의 구성을 도면을 참조하여 설명한다.
도 6 및 도 7은 본 발명의 변형례에 따른 심도 정보 생성 장치의 복수의 렌즈 모듈이 배치된 단색 스테레오 카메라 모듈을 나타내는 도면이다.
도 6에 도시된 바와 같이, 본 실시예(제2실시예)에서 복수의 렌즈 모듈은 4개의 렌즈 모듈(111, 112, 113, 114)을 포함할 수 있다. 단색 필터(121, 122, 123, 124)는 서로 상이한 색상의 제1단색 필터(121, 122)와 제2단색 필터(123, 124)를 포함할 수 있다. 4개의 렌즈 모듈(111, 112, 113, 114) 중 2개의 렌즈 모듈(111, 112) 각각과 이미지 센서(I)에 의해 형성되는 광경로 상에는 제1단색 필터(121, 122)가 배치되고 나머지 2개의 렌즈 모듈(113, 114) 각각과 이미지 센서(I)에 의해 형성되는 광경로 상에는 제2단색 필터(123, 124)가 배치될 수 있다.
한편, 단색 스테레오 카메라 모듈(100)에서는 도 6과 같이 단일 이미지 센서(CCD 또는 CMOS)(I)에 초점이 맺게 하는 2개의 렌즈 모듈(111, 112) 외에 2개의 렌즈 모듈(113, 114)을 추가한 4개의 렌즈 모듈(111, 112, 113, 114)과 단색 필터(121, 122, 123, 124)가 단일 이미지 센서(I) 위에 순차적으로 이격되어 장착될 수 있다.
이때, 단색 필터(121, 122, 123, 124)는 녹색(G, Green)으로 이루어진 단색 필터 대신 두 종류의 단색 필터, 예컨대 도 6에서처럼 두 종류의 단색 녹색(G, Green) 필터와 청색(B, Blue) 필터를 대각선으로 배치하여 사용할 수 있다. 여기서 녹색과 청색 대신 적색과 녹색 또는 적색과 청색 또는 그 밖의 두 종류의 단색 필터를 사용할 수도 있다.
나아가 제1 및 제2렌즈 모듈(111, 112)과 제3 및 제4렌즈 모듈(113, 114)은 상호 보완적 렌즈 모듈로 구성될 수 있다. 예컨대 제1 및 제3렌즈 모듈(111, 113)을 포함하는 제1그룹(V)은 근거리 해상도가 좋고 제2 및 제4렌즈 모듈(112, 114)를 포함하는 제2그룹(X)은 조리개값이 제1그룹(V) 보다 커서 원거리 해상도가 좋을 수 있다. 이로부터 물체면의 위치가 서로 다른 두 렌즈 모듈로 해상도가 낮은 영역의 해상도를 좋게 상호 보완할 수 있다. 나아가 초해상도 방법을 이용하여 관심있는 영역에 대한 해상도를 더욱 높일 수 있다.
도 7에 도시된 바와 같이, 본 실시예(제3실시예)의 단색 스테레오 카메라 모듈(100)에서는 단일 이미지 센서(CCD 또는 CMOS)(I)에 초점이 맺게 하는 제1 내지 제4렌즈 모듈(111, 112, 113, 114) 외에 2개의 렌즈 모듈(115, 116)을 추가한 6개의 렌즈 모듈(111, 112, 113, 114, 115, 116)과 단색 필터(121, 122, 123, 124, 125, 126)가 단일 이미지 센서(I) 위에 순차적으로 이격되어 장착될 수 있다.
이때 단색 필터(121, 122, 123, 124, 125, 126)는 두 종류의 단색(위에서 G, B)으로 이루어진 단색 필터 대신 세 종류의 단색, 예컨대 그림에서처럼 적색(R) 필터, 녹색(G) 필터, 청색(B) 필터를 그림처럼 위치하여 사용할 수 있다.
나아가 제1 및 제2렌즈 모듈(111, 112)과 제3 및 제4렌즈 모듈(113, 114)과 제5 및 제6렌즈 모듈(115, 116)은 상호 보완적 렌즈 모듈로 구성될 수 있다. 예컨대 제1, 제3 및 제5렌즈 모듈(111, 113, 115)을 포함하는 제3그룹(W)은 가까운 거리 해상도가 좋고 제2, 제4 및 제6렌즈 모듈(112, 114, 116)을 포함하는 제4그룹(Z)은 조리개값이 제3그룹(W) 보다 커서 먼 거리 해상도가 좋을 수 있다.
이로부터 물체면의 위치가 서로 다른 두 렌즈 모듈로부터 해상도가 낮은 영역의 해상도를 좋게 상호 보완할 수 있다. 나아가 인공지능 데이터를 이용하는 초해상도 방법을 이용하여 관심있는 영역에 대한 해상도를 더욱 높일 수 있다.
이하에서는 본 발명의 다른 변형례(제4실시예)에 따른 심도 정보 생성 장치의 구성을 도면을 참조하여 설명한다.
도 8은 본 발명의 다른 변형례에 따른 심도 정보 생성 장치를 나타내는 구성도이다.
도 8에 도시된 바와 같이, 심도 정보 생성 장치(1000)는 피사체로부터 적어도 하나의 단색 스테레오 이미지를 촬영하기 위한 단색 스테레오 카메라 모듈(100)과, 피사체의 칼라 이미지를 촬영하기 위한 칼라 카메라 모듈(400)과, 단색 스테레오 카메라 모듈(100)과 칼라 카메라 모듈(400)에 의해 촬영되는 이미지를 저장하는 데이터 저장부(200)와, 데이터 저장부(200)에 저장되는 이미지를 처리하는 데이터 처리부(300)를 포함할 수 있다. 이때, 본 발명의 제4실시예에 따른 단색 스테레오 카메라 모듈(100), 데이터 저장부(200) 및 데이터 처리부(300)에 대한 설명은 본 발명의 제1실시예에 따른 단색 스테레오 카메라 모듈(100), 데이터 저장부(200) 및 데이터 처리부(300)에 대한 설명이 유추 적용될 수 있다.
단색 스테레오 카메라 모듈(100)은 하나의 제1이미지 센서와, 하나의 제1이미지 센서에 서로 이격되어 배치되는 복수의 제1렌즈 모듈과, 복수의 제1렌즈 모듈 중 적어도 2개의 제1렌즈 모듈 각각과 제1이미지 센서에 의해 형성되는 광경로 상에 배치되는 단색 필터를 포함할 수 있다.
칼라 카메라 모듈(400)은 제2이미지 센서와, 제2이미지 센서에 배치되는 제2렌즈 모듈과, 제2렌즈 모듈과 제2이미지 센서에 의해 형성되는 광경로 상에 배치되는 칼라 필터를 포함할 수 있다.
제4실시예에서 칼라 카메라 모듈(400)은 단색 스테레오 카메라 모듈(100)의 '보완적 카메라 모듈'일 수 있다. 즉, 칼라 이미지의 블러한 영역은 단색 이미지 중 적어도 어느 하나의 블러한 영역과 상이한 영역을 포함하거나 칼라 이미지는 단색 이미지 보다 단위면적당 픽셀의 개수가 많아 단색 이미지의 보완적 이미지가 될 수 있다.
데이터 처리부(300)는 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지 중 적어도 어느 하나를 칼라 이미지를 이용하여 해상도를 높이는 보완 처리를 하고 스테레오 매칭하여 관심영역에 대한 심도를 계산할 수 있다. 이때, 이미지의 보완 처리는 관심있는 영역에 제한적으로 수행될 수도 있다.
도 8의 구조를 가진 본 발명의 심도 정보 생성 장치(1000)는 칼라 카메라 모듈(400)이 1개일 때 먼 거리에 물체면이 있는 단색 스테레오 카메라 모듈(100)(예: GG)을 구성하고, 칼라 카메라 모듈(400)의 조리개값을 단색 스테레오 카메라 모듈(100)의 조리개값 보다 작게하여 가까운 거리에 물체면이 있도록하여, 칼라 카메라 모듈(400)을 단색 스테레오 카메라 모듈(100)의 '보완적 카메라 모듈'이 되게 할 수 있다.
이외에도, 단색 스테레오 카메라 모듈(100)을 가까운 거리에 물체면이 있게 하고 칼라 카메라 모듈(400)을 더 먼 거리에 물체면이 있게 하여 칼라 카메라 모듈(400)을 단색 스테레오 카메라 모듈(100)의 '보완적 카메라 모듈'이 되게 할 수도 있다.
변형례로, 칼라 카메라 모듈(400) 이 2개일 때, 근거리에 물체면이 있는 단색 스테레오 카메라 모듈(100)을 구성하고, 칼라 카메라 모듈(400) 중 1개의 물체면은 단색 스테레오 카메라 모듈(100)의 물체면 보다 더 가깝게 하고, 다른 1개의 칼라 카메라 모듈(400)의 물체면은 단색 스테레오 카메라 모듈(100)의 물체면 보다 더 크게 하여 두 칼라 카메라 모듈(400)을 단색 스테레오 카메라 모듈(100)의 '보완적 카메라 모듈'이 되게 할 수 있다.
칼라 카메라 모듈(400)이 2개이고 단색(예: R, G, B) 스테레오 카메라 모듈(100)이 두 쌍일 때, 단색(R, G, B) 스테레오 카메라 모듈(100) 제1그룹은 모두 근거리에 물체면이 있게 하고, 단색(R, G, B) 스테레오 카메라 모듈(100) 제2그룹은 모두 원거리에 물체면을 있게 하고, 칼라 카메라 모듈(400)의 1개의 물체면은 근거리에 있게 하고, 다른 칼라 카메라 모듈(400)의 1개의 물체면은 이보다 멀게 하여 두 개의 칼라 카메라 모듈(400)을 단색(R, G, B) 스테레오 카메라 모듈(100) 두 그룹의 '보완적 카메라 모듈'이 되게 할 수 있다.
한편, 이외에도 여러 가지 방법으로 단색 스테레오 카메라 모듈(100)의 '보완적 카메라 모듈'을 구성할 수 있음은 자명하다.
이하에서는 본 발명에 따른 심도 정보 생성 방법을 도면을 참조하여 설명한다.
도 9는 본 발명의 일 실시예에 따른 심도 정보 생성 방법을 나타내는 순서도이다.
일 실시예에 따른 심도 정보 생성 방법은 (a) 피사체(O)로부터 복수의 렌즈 모듈(111, 112)을 통해 복수의 이미지를 획득하는 단계로서, 복수의 이미지는 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지를 포함하는 단계(S100)와, (b) 2개의 단색 이미지의 적어도 일부에 대하여 보완적 이미지 향상 처리를 통해 해상도를 높여 보완된 2개의 단색 이미지를 생성하는 단계로서, 보완적 이미지 향상 처리에서는 복수의 이미지를 2개의 단색 이미지 각각과 비교하여 적어도 일부에서 해상도가 더 높은 이미지를 이용하여 2개의 단색 이미지 각각의 해상도를 높이는 단계(S200)와, (c) 피사체(O)의 관심있는 영역이 보완된 2개의 단색 이미지에서 선택되는 단계(S300)와, (d) 보완된 2개의 단색 이미지를 스테레오 매칭하여 관심있는 영역에서의 심도를 계산하는 단계(S400)를 포함할 수 있다.
다른 실시예에 따른 심도 정보 생성 방법은 (a) 피사체(O)로부터 복수의 렌즈 모듈(111, 112)을 통해 복수의 이미지를 획득하는 단계로서, 복수의 이미지는 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지를 포함하는 단계(S100)와, (b) 피사체(O)의 관심있는 영역이 2개의 단색 이미지에서 선택되는 단계(S300)와, (c) 2개의 단색 이미지의 관심있는 영역에 해당하는 영역에 대하여 보완적 이미지 향상 처리를 통해 해상도를 높여 보완된 2개의 단색 이미지를 생성하는 단계로서, 보완적 이미지 향상 처리에서는 복수의 이미지를 2개의 단색 이미지 각각과 비교하여 관심있는 영역에서 해상도가 더 높은 이미지를 이용하여 2개의 단색 이미지 각각의 관심있는 영역의 해상도를 높이는 단계(S200)와, (d) 보완된 2개의 단색 이미지를 스테레오 매칭하여 관심있는 영역에서의 심도를 계산하는 단계(S400)를 포함할 수 있다.
즉, 다른 실시예에서는 앞선 일 실시예와 비교하여 관심있는 영역의 선택 단계(S300)와 보완적 이미지 향상 처리 단계(S200)의 선후가 변경된 차이점을 갖는다. 즉, 본 발명에서는 보완적 이미지 향상 처리 단계(S200)가 관심있는 영역의 선택 단계(S300) 보다 먼저 수행될 수도 있고, 관심있는 영역의 선택 단계(S300)가 보완적 이미지 향상 처리 단계(S200) 보다 먼저 수행될 수도 있다.
2개의 단색 이미지는 적어도 일부에서 서로 상이한 블러한 영역을 가지고, 보완적 이미지 향상 처리에서는 2개의 단색 이미지 중 어느 하나의 이미지의 블러한 영역을 다른 하나의 이미지의 해당 영역을 이용하여 해상도를 높일 수 있다. 즉, 2개의 단색 이미지는 '상호 보완적 이미지'일 수 있다. 이때, 복수의 렌즈 모듈 중 적어도 일부(111, 112)는 서로 상이한 조리개값을 가질 수 있다.
복수의 렌즈 모듈 중 2개의 단색 이미지를 형성하는 2개의 렌즈 모듈(111, 112)은 하나의 이미지 센서(I) 상에 서로 이격되어 배치될 수 있다. 이 경우, 이미지 센서(I) 상의 위치 사이 거리를 계산할 때 픽셀 매칭 오차가 대폭 감소될 수 있다.
복수의 이미지는 피사체(O)의 적어도 하나의 칼라 이미지를 포함하고, 칼라 이미지의 블러한 영역은 2개의 단색 이미지 중 적어도 어느 하나의 블러한 영역과 상이한 영역을 포함하거나 칼라 이미지는 2개의 단색 이미지 각각 보다 단위면적당 픽셀의 개수가 많을 수 있다. 이때, 보완적 이미지 향상 처리에서는 칼라 이미지를 이용하여 2개의 단색 이미지 중 적어도 어느 하나의 블러한 영역의 해상도를 높일 수 있다.
보완적 이미지 향상 처리에서는 해상도가 낮은 이미지로부터 해상도가 높은 이미지를 얻는 초해상도(super-resolution) 방법을 관심있는 영역의 해상도를 높이기 위해 추가적으로 이용할 수 있다. 초해상도 방법은 해상도가 낮은 복수의 이미지와 해상도가 낮은 복수의 이미지에 대응되는 해상도가 높은 복수의 이미지를 인공지능 방법으로 학습시켜 얻은 인공지능 데이터를 이용할 수 있다. 이를 통해, 2개의 단색 이미지의 해상도를 더욱 향상 시킬 수 있다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 이상에서 기재된 '포함하다', '구성하다' 또는 '가지다' 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 단색 스테레오 카메라 모듈 200: 데이터 저장부
300: 데이터 처리부 400: 칼라 카메라 모듈

Claims (13)

  1. (a) 피사체로부터 복수의 렌즈 모듈을 통해 복수의 이미지를 획득하는 단계로서, 상기 복수의 이미지는 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지를 포함하는 단계;
    (b) 상기 2개의 단색 이미지의 적어도 일부에 대하여 보완적 이미지 향상 처리를 통해 해상도를 높여 보완된 2개의 단색 이미지를 생성하는 단계로서, 상기 보완적 이미지 향상 처리에서는 상기 복수의 이미지를 상기 2개의 단색 이미지 각각과 비교하여 적어도 일부에서 해상도가 더 높은 이미지를 이용하여 상기 2개의 단색 이미지 각각의 해상도를 높이는 단계;
    (c) 상기 피사체의 관심있는 영역이 상기 보완된 2개의 단색 이미지에서 선택되는 단계; 및
    (d) 상기 보완된 2개의 단색 이미지를 스테레오 매칭하여 상기 관심있는 영역에서의 심도를 계산하는 단계를 포함하고,
    상기 (a) 단계에서 상기 복수의 이미지는 상기 피사체의 적어도 하나의 칼라 이미지를 포함하고,
    상기 칼라 이미지의 블러한 영역은 상기 2개의 단색 이미지 중 적어도 어느 하나의 블러한 영역과 상이한 영역을 포함하거나 상기 칼라 이미지는 상기 2개의 단색 이미지 각각 보다 단위면적당 픽셀의 개수가 많고,
    상기 보완적 이미지 향상 처리에서는 상기 칼라 이미지를 이용하여 상기 2개의 단색 이미지 중 적어도 어느 하나의 블러한 영역의 해상도를 높이는 심도 정보 생성 방법.
  2. (a) 피사체로부터 복수의 렌즈 모듈을 통해 복수의 이미지를 획득하는 단계로서, 상기 복수의 이미지는 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지를 포함하는 단계;
    (b) 상기 피사체의 관심있는 영역이 상기 2개의 단색 이미지에서 선택되는 단계;
    (c) 상기 2개의 단색 이미지의 상기 관심있는 영역에 해당하는 영역에 대하여 보완적 이미지 향상 처리를 통해 해상도를 높여 보완된 2개의 단색 이미지를 생성하는 단계로서, 상기 보완적 이미지 향상 처리에서는 상기 복수의 이미지를 상기 2개의 단색 이미지 각각과 비교하여 상기 관심있는 영역에서 해상도가 더 높은 이미지를 이용하여 상기 2개의 단색 이미지 각각의 관심있는 영역의 해상도를 높이는 단계; 및
    (d) 상기 보완된 2개의 단색 이미지를 스테레오 매칭하여 상기 관심있는 영역에서의 심도를 계산하는 단계를 포함하고,
    상기 (a) 단계에서 상기 복수의 이미지는 상기 피사체의 적어도 하나의 칼라 이미지를 포함하고,
    상기 칼라 이미지의 블러한 영역은 상기 2개의 단색 이미지 중 적어도 어느 하나의 블러한 영역과 상이한 영역을 포함하거나 상기 칼라 이미지는 상기 2개의 단색 이미지 각각 보다 단위면적당 픽셀의 개수가 많고,
    상기 보완적 이미지 향상 처리에서는 상기 칼라 이미지를 이용하여 상기 2개의 단색 이미지 중 적어도 어느 하나의 블러한 영역의 해상도를 높이는 심도 정보 생성 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 2개의 단색 이미지는 적어도 일부에서 서로 상이한 블러한 영역을 가지고,
    상기 보완적 이미지 향상 처리에서는 상기 2개의 단색 이미지 중 어느 하나의 이미지의 블러한 영역을 다른 하나의 이미지의 해당 영역을 이용하여 해상도를 높이는 심도 정보 생성 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 복수의 렌즈 모듈 중 적어도 일부는 서로 상이한 조리개값을 갖는 심도 정보 생성 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 복수의 렌즈 모듈 중 상기 2개의 단색 이미지를 형성하는 2개의 렌즈 모듈은 하나의 이미지 센서 상에 서로 이격되어 배치되는 심도 정보 생성 방법.
  6. 삭제
  7. 제1항 또는 제2항에 있어서,
    상기 보완적 이미지 향상 처리에서는 해상도가 낮은 이미지로부터 해상도가 높은 이미지를 얻는 초해상도(super-resolution) 방법을 상기 관심있는 영역의 해상도를 높이기 위해 추가적으로 이용하는 심도 정보 생성 방법.
  8. 제7항에 있어서,
    상기 초해상도 방법은 해상도가 낮은 복수의 이미지와 상기 해상도가 낮은 복수의 이미지에 대응되는 해상도가 높은 복수의 이미지를 인공지능 방법으로 학습시켜 얻은 인공지능 데이터를 이용하는 심도 정보 생성 방법.
  9. 피사체로부터 적어도 하나의 단색 스테레오 이미지를 촬영하기 위한 단색 스테레오 카메라 모듈;
    상기 단색 스테레오 카메라 모듈에 의해 촬영되는 상기 단색 스테레오 이미지를 저장하는 데이터 저장부; 및
    상기 데이터 저장부에 저장되는 상기 단색 스테레오 이미지를 처리하는 데이터 처리부를 포함하고,
    상기 단색 스테레오 카메라 모듈은
    하나의 이미지 센서;
    상기 하나의 이미지 센서에 서로 이격되어 배치되는 복수의 렌즈 모듈; 및
    상기 복수의 렌즈 모듈 각각과 상기 이미지 센서에 의해 형성되는 광경로 상에 배치되는 단색 필터를 포함하고,
    상기 복수의 렌즈 모듈 중 적어도 2개의 렌즈 모듈은 서로 상이한 피사계 심도를 갖고,
    상기 데이터 처리부는 상기 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지를 서로 비교하여 상기 2개의 단색 이미지 중 어느 하나의 블러한 영역의 이미지를 다른 하나의 해당 영역의 이미지를 이용하여 해상도를 높이는 보완 처리를 하고 스테레오 매칭하여 관심영역에 대한 심도를 계산하고,
    상기 복수의 렌즈 모듈은 4개의 렌즈 모듈을 포함하고,
    상기 단색 필터는 서로 상이한 색상의 제1단색 필터와 제2단색 필터를 포함하고,
    상기 4개의 렌즈 모듈 중 2개의 렌즈 모듈 각각과 상기 이미지 센서에 의해 형성되는 광경로 상에는 제1단색 필터가 배치되고 나머지 2개의 렌즈 모듈 각각과 상기 이미지 센서에 의해 형성되는 광경로 상에는 제2단색 필터가 배치되는 심도 정보 생성 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 복수의 렌즈 모듈 중 적어도 2개의 렌즈 모듈은 서로 상이한 조리개값을 갖는 심도 정보 생성 장치.
  12. 피사체로부터 적어도 하나의 단색 스테레오 이미지를 촬영하기 위한 단색 스테레오 카메라 모듈;
    상기 피사체의 칼라 이미지를 촬영하기 위한 칼라 카메라 모듈;
    상기 단색 스테레오 카메라 모듈과 상기 칼라 카메라 모듈에 의해 촬영되는 이미지를 저장하는 데이터 저장부; 및
    상기 데이터 저장부에 저장되는 이미지를 처리하는 데이터 처리부를 포함하고,
    상기 단색 스테레오 카메라 모듈은
    하나의 제1이미지 센서;
    상기 하나의 제1이미지 센서에 서로 이격되어 배치되는 복수의 제1렌즈 모듈; 및
    상기 복수의 제1렌즈 모듈 중 적어도 2개의 제1렌즈 모듈 각각과 상기 제1이미지 센서에 의해 형성되는 광경로 상에 배치되는 단색 필터를 포함하고,
    상기 칼라 카메라 모듈은
    제2이미지 센서;
    상기 제2이미지 센서에 배치되는 제2렌즈 모듈; 및
    상기 제2렌즈 모듈과 상기 제2이미지 센서에 의해 형성되는 광경로 상에 배치되는 칼라 필터를 포함하고,
    상기 데이터 처리부는 상기 단색 스테레오 이미지를 형성하는 적어도 2개의 단색 이미지 중 적어도 어느 하나를 상기 칼라 이미지를 이용하여 해상도를 높이는 보완 처리를 하고 스테레오 매칭하여 관심영역에 대한 심도를 계산하고,
    상기 칼라 이미지의 블러한 영역은 상기 단색 이미지 중 적어도 어느 하나의 블러한 영역과 상이한 영역을 포함하거나 상기 칼라 이미지는 상기 단색 이미지 보다 단위면적당 픽셀의 개수가 많아 상기 단색 이미지의 보완적 이미지가 되는 심도 정보 생성 장치.
  13. 제9항 또는 제12항에 있어서,
    상기 단색 스테레오 이미지를 촬영하기 위한 상기 단색 스테레오 카메라 모듈의 렌즈는 메타물질로 만든 심도 정보 생성 장치.
KR1020170178417A 2017-12-22 2017-12-22 심도 정보 생성 방법 및 장치 KR101889886B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170178417A KR101889886B1 (ko) 2017-12-22 2017-12-22 심도 정보 생성 방법 및 장치
US16/225,297 US10482620B2 (en) 2017-12-22 2018-12-19 Method and device for producing depth information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170178417A KR101889886B1 (ko) 2017-12-22 2017-12-22 심도 정보 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101889886B1 true KR101889886B1 (ko) 2018-08-21

Family

ID=63453885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170178417A KR101889886B1 (ko) 2017-12-22 2017-12-22 심도 정보 생성 방법 및 장치

Country Status (2)

Country Link
US (1) US10482620B2 (ko)
KR (1) KR101889886B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862923A (zh) * 2022-07-06 2022-08-05 武汉市聚芯微电子有限责任公司 一种图像配准方法及装置、存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3930321A4 (en) * 2019-03-25 2022-04-20 Huawei Technologies Co., Ltd. DUAL CAMERA + TOF LARGE APERTURE BLUR PROCESS
PH12019050076A1 (en) * 2019-05-06 2020-12-02 Samsung Electronics Co Ltd Enhancing device geolocation using 3d map data
US11188776B2 (en) * 2019-10-26 2021-11-30 Genetec Inc. Automated license plate recognition system and related method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284188A (ja) * 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
KR20140054797A (ko) * 2012-10-29 2014-05-09 삼성전기주식회사 단말 및 이를 이용한 스테레오 카메라 촬영 영상의 보정 방법
KR20140120527A (ko) * 2013-04-03 2014-10-14 삼성전기주식회사 스테레오 영상 매칭 장치 및 스테레오 영상 매칭 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300294B2 (en) * 2009-09-18 2012-10-30 Toyota Motor Engineering & Manufacturing North America, Inc. Planar gradient index optical metamaterials
US20140192238A1 (en) * 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284188A (ja) * 2008-05-22 2009-12-03 Panasonic Corp カラー撮像装置
KR20140054797A (ko) * 2012-10-29 2014-05-09 삼성전기주식회사 단말 및 이를 이용한 스테레오 카메라 촬영 영상의 보정 방법
KR20140120527A (ko) * 2013-04-03 2014-10-14 삼성전기주식회사 스테레오 영상 매칭 장치 및 스테레오 영상 매칭 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862923A (zh) * 2022-07-06 2022-08-05 武汉市聚芯微电子有限责任公司 一种图像配准方法及装置、存储介质
CN114862923B (zh) * 2022-07-06 2022-09-09 武汉市聚芯微电子有限责任公司 一种图像配准方法及装置、存储介质

Also Published As

Publication number Publication date
US10482620B2 (en) 2019-11-19
US20190197717A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
KR101889886B1 (ko) 심도 정보 생성 방법 및 장치
JP6168794B2 (ja) 情報処理方法および装置、プログラム。
US20160377838A1 (en) Optical image capturing system
US9386262B2 (en) Image processing method, image processing apparatus and image pickup apparatus
WO2013080552A1 (ja) 撮像装置及び撮像システム
JP6672070B2 (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
US20100214438A1 (en) Imaging device and image processing method
KR20110033816A (ko) 단일-렌즈 확장피사계심도 촬상시스템
KR102376679B1 (ko) 일정한 해상도의 연속 하이브리드 줌 시스템
JP2013093754A (ja) 撮像装置
JPWO2013080551A1 (ja) 撮像装置
US9473700B2 (en) Camera systems and methods for gigapixel computational imaging
JP2010213274A (ja) 拡張された被写界深度の監視用撮像システム
JP2008245157A (ja) 撮像装置およびその方法
JP7411664B2 (ja) 光学系およびこれを含むカメラモジュール
JP5344648B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP6017347B2 (ja) コード読取り装置
JP5390046B2 (ja) 焦点拡張光学系及びＥＤｏＦ撮像システム
JP5459768B2 (ja) 被写体距離推定装置
US8860845B2 (en) Imaging apparatus and imaging method
JP2006311473A (ja) 撮像装置および撮像方法
WO2012132685A1 (ja) 焦点拡張光学系及び撮像システム
JP6682184B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
JP2013236291A (ja) 立体撮像装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant