KR101796551B1 - 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템 - Google Patents

가변조명에 강인한 깊이정보 고속 산출방법 및 시스템 Download PDF

Info

Publication number
KR101796551B1
KR101796551B1 KR1020150189695A KR20150189695A KR101796551B1 KR 101796551 B1 KR101796551 B1 KR 101796551B1 KR 1020150189695 A KR1020150189695 A KR 1020150189695A KR 20150189695 A KR20150189695 A KR 20150189695A KR 101796551 B1 KR101796551 B1 KR 101796551B1
Authority
KR
South Korea
Prior art keywords
image
weight
depth information
average value
color
Prior art date
Application number
KR1020150189695A
Other languages
English (en)
Other versions
KR20170079290A (ko
Inventor
최종호
Original Assignee
(주)이더블유비엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이더블유비엠 filed Critical (주)이더블유비엠
Priority to KR1020150189695A priority Critical patent/KR101796551B1/ko
Publication of KR20170079290A publication Critical patent/KR20170079290A/ko
Application granted granted Critical
Publication of KR101796551B1 publication Critical patent/KR101796551B1/ko

Links

Images

Classifications

    • H04N13/0271—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 방법은, 가변조명에 강인한 깊이정보를 고속으로 산출하는 방법으로서, 다중컬러센서로부터 입력영상으로서 컬러영상 R, G, B와 적외선영상 IR을 입력받는 입력단계와, 윤곽선을 추출하는 윤곽선 검출단계와, 미리 생성해 놓은 PSF모델에 기반하여, 포커스된(Focused) 컬러의 영상에 대하여, 블러된(Blurred) 레퍼런스 영상들을 생성하는 PSF 컨버젼단계와, 가중치가 적용된 LSSD 수식인 WLSSD 수식을 이용하여, 블러된 컬러의 영상과 블러된 레퍼런스 영상들의 상관관계를 계산하는 상관관계 처리단계와, 깊이의 단계를 나타내는 깊이맵을 생성하는 깊이맵 생성단계가 포함됨을 특징으로 한다.

Description

가변조명에 강인한 깊이정보 고속 산출방법 및 시스템 {Speedy calculation method and system of depth information strong against variable illumination}
본 발명은, 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템에 관한 것으로서, 보다 상세히는, 조명의 종류와 성질이 달라지더라도 다중컬러센서를 이용한 깊이정보가 정확도를 유지하면서 고속으로 산출되도록 하는 방법 및 시스템에 관한 것이다.
영상처리기술의 급격한 발전으로, 컬러영상과 깊이영상을 포함하는 3차원 카메라 기술이 이슈화되고 있다.
3차원 카메라 기술로는,
(1) 스테레오 카메라(Bumblebee2)
(2) IR 패턴(Randomized dots) 기반 카메라(Kinect, Xtion)
(3) 타임 오브 플라이트(Time of Flight; TOF) 카메라 (Kinect2)
등이 있다.
이는, 깊이영상을 이용한 3D 재구조화(Reconstruction), XYZ 3차원 공간상의 표현(Description) 확대 등을 통한 다양한 응용분야에 적용 가능하다.
예컨대 다음의 응용분야를 들 수 있다.
(1) 스테레오 3D 영상 생성 - 3D 디스플레이
(2) 디지털 카메라의 디포커싱(De-Focusing) / 오토포커싱(Auto-Focusing)
(3) 3D 프린팅의 3D 재구조화(Reconstruction)
(4) 3D 동작인식(Gesture Recognition)
그리고 이 분야의 종래기술로는,
(1) 이중조리개(Dual Aperture)에 기반한 다중컬러센서를 이용한 컬러영상 및 깊이정보 추출기술
(2) 커널(Kernel)기반 영상 회선(Convolution)기술
등을 들 수 있다.
한편, 다중컬러센서는, 이중조리개(Dual Aperture)를 통하여 컬러(RGB)영상과 적외선(IR)영상을 획득한다. 이 컬러영상과 적외선영상을 이용하여, 깊이정보를 가지는 깊이맵(Depth Map)을 생성하는 기술이 알려져 있다. 깊이맵은, 예컨대 깊이영상 생성에 이용될 수 있다.
깊이정보는, 대상물을 촬상하여 생성된 컬러영상과 적외선영상을 상관관계 비교하여, 최대유사도를 추출함으로써 행한다. 그리고 깊이정보 추출에 있어서의 품질요소는, 정확도와 속도이다.
미국특허공개 US2013/0033579『처리 Multi-Aperture Image Data』공보
점차 확대되고 있는 다양한 응용분야를 고려할 때, 다중컬러센서는, 자연광, 형광등, 백열등, 그리고 할로겐등 등과 같이 다양한 성질의 조명 환경 하에서 이용될 수 있는 것이 바람직하다.
종래기술에 있어서는, 컬러영상과 적외선영상의 취득시에, 고정적으로 한 종류의 조명, 예컨대 할로겐 조명만이 이용되는 것을 상정하고 있다. 이처럼, 한 종류의 조명에만 특화되어 있는 종래기술의 깊이정보 취득시스템은, 그 상정된 종류가 아닌 다른 종류의 조명 하에서는, 취득되는 깊이정보가 부정확하게 될 수 있다. 즉, 종래기술은, 조명의 밝기와 색과 같은 가변적인 변화에 민감한 영향을 받는다.
게다가, 상관관계 수식에는 여러 가지가 있지만, 정확성을 추구하는 설계에서는 연산량이 많아서 처리속도가 느리더라도 복잡한 상관관계 수식을 이용하고 있고, 가변적인 조명 환경 변화가 발생하더라도, 이 수식은 그대로 이용되었다.
즉, 종래기술에 의하면, (1) 조명이 가변적인 환경변화에서는 산출된 깊이정보의 정확도가 낮아지고, (2) 이러한 낮은 정확도를 보완하기 위해 복잡한 상관관계 수식을 이용하여 처리속도가 저조하다는 문제점이 있었다.
본 발명은, 상기 종래기술의 문제점을 해소하기 위하여 이루어진 것으로서, 다양한 밝기와 색의 조명 환경에 대해서도, 처리속도는 실시간처리를 유지하고, 정확도는 향상시킬 수 있는 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템을 제공하고자 하는 것이다.
상기 과제를 해결하기 위한 본 발명의 방법은, 가변조명에 강인한 깊이정보를 고속으로 산출하는 방법으로서, 다중컬러센서로부터 입력영상으로서 컬러영상 R, G, B와 적외선영상 IR을 입력받는 입력단계와, 윤곽선을 추출하는 윤곽선 검출단계와, 미리 생성해 놓은 PSF모델에 기반하여, 포커스된(Focused) 컬러의 영상에 대하여, 블러된(Blurred) 레퍼런스 영상들을 생성하는 PSF 컨버젼단계와, 가중치가 적용된 LSSD 수식인 WLSSD 수식을 이용하여, 블러된 컬러의 영상과 블러된 레퍼런스 영상들의 상관관계를 계산하는 상관관계 처리단계와, 깊이의 단계를 나타내는 깊이맵을 생성하는 깊이맵 생성단계가 포함됨을 특징으로 한다.
여기서, 상기 가중치는, 제1 가중치와 제2 가중치로 구성되고, 제1 가중치는, 샘플 영상의 평균값과 레퍼펀스 영상의 최대 평균값의 비율이고, 제2 가중치는, 레퍼런스 영상의 최대 평균값과 레퍼런스 영상의 평균값의 비율임이 바람직하다.
여기서, 상기 WLSSD 수식은,
Figure 112015128823914-pat00001
임이 바람직하다.
그리고, 상기 가중치의 동작 횟수는, PSF 뱅크의 수와 영상 크기의 곱에 의해 결정됨이 바람직하다.
한편, 본 발명의 시스템은, 가변조명에 강인한 깊이정보를 고속으로 산출하는 시스템으로서, 다중컬러센서로부터 입력영상으로서 컬러영상 R, G, B와 적외선영상 IR을 입력받는 입력부와, 윤곽선을 추출하는 윤곽선 검출부와, 미리 생성해 놓은 PSF모델에 기반하여, 포커스된 컬러의 영상에 대하여, 블러된 레퍼런스 영상들을 생성하는 PSF 컨버젼부와, 가중치가 적용된 LSSD 수식인 WLSSD 수식을 이용하여, 블러된 컬러의 영상과 블러된 레퍼런스 영상들의 상관관계를 계산하는 상관관 계 처리부와, 깊이의 단계를 나타내는 깊이맵을 생성하는 깊이맵 생성부가 포함됨을 특징으로 한다.
여기서, 상기 가중치는, 제1 가중치와 제2 가중치로 구성되고, 제1 가중치는, 샘플 영상의 평균값과 레퍼펀스 영상의 최대 평균값의 비율이고, 제2 가중치는, 레퍼런스 영상의 최대 평균값과 레퍼런스 영상의 평균값의 비율임이 바람직하다.
그리고, 상기 WLSSD 수식은,
Figure 112015128823914-pat00002
임이 바람직하다.
그리고, 상기 가중치의 동작 횟수는, PSF 뱅크의 수와 영상 크기의 곱에 의해 결정됨이 바람직하다.
본 발명에 의하면, 다양한 밝기와 색의 조명 환경에 대해서도, 처리속도는 실시간처리를 유지하고, 정확도는 향상시킬 수 있게 된다.
[도 1]은, 다중컬러센서에 기반한 고속의 깊이영상 추출장치의 블록도를 보여준다.
[도 2]는, R, G, B, Y 컬러의 조명에 의한 입력영상을 나타낸다.
[도 3]은, 히스토그램 스트레칭(Histogram Stretching)의 수식에 대한 정의를 표현한다.
[도 4]는, 히스토그램의 스트레칭 전과 후의 그래프를 보여준다.
[도 5]는, 히스토그램 스트레칭의 적용 전과 후의 영상을 비교한다.
[도 6]은, 히스토그램 스트레칭의 적용 전과 적용 후의 깊이맵 결과를 보여준다.
[도 7]은, 대표적인 상관관계 수식에 대한 정의를 나타낸다.
[도 8]은, 상관관계 수식을 스테레오 매칭(Stereo matching)에 적용한 결과를 보여준다.
[도 9]는, 상관관계 수식을 깊이맵에 적용한 결과를 보여준다.
[도 10]은, 상관관계 수식별 연산량의 비교표를 나타낸다.
[도 11]은, PSF모델에 기반하여, 단계별로 변환된 영상 내의 밝기를 비교한 비교도이다.
[도 12]는, 가중치가 포함된 WLSSD의 수식의 정의와, 기존의 LSSD 수식과의 비교도이다.
[도 13]은, LSSD(Weight 적용 전)와 WLSSD(Weight 적용 후)의 결과도를 보여준다.
이하, 본 발명의 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템에 대해 첨부도면을 참조하면서 상세히 설명한다. 다만, 동일구성을 가지고 동일기능을 하는 부분에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 그리고 연결된다는 것은 중간에 매체를 경유하는 경우를 포함한다. 그리고 어떤 기능블럭은, 다른 기능블럭에 흡수되어 구성되거나, 다른 복수의 블럭으로 분할되어 구현될 수 있다.
<방법>
본 발명은, 가변조명에 강인한 깊이정보를 고속으로 산출하는 방법이고, 한 종류의 조명이 아니라, 백열등, 형광등, 할로겐등 등의 다양한 조명에 동시에 또는 이시에 노출되는 가변조명 환경에 대해 적용될 수 있는 기술로서, 이러한 환경에 있어서도 다중컬러센서에 의한 입력영상(10)인 컬러영상(R, G, B)과 적외선영상(IR)으로부터 산출되는 깊이정보의 정확도를 향상시키면서 고속으로 처리할 수 있는 방법이다. 종래기술에 있어서는 조명이 달라지면 깊이정보의 정확도가 저하되지만, 본 발명에 의하면 조명이 달라지더라도 깊이정보의 정확도가 훼손되지 않는다. 그리고 종래기술에 있어서는 조명 변화에 따른 깊이정보의 부정확성을 커버하기 위하여, 연산량이 많은 상관관계 수식을 사용함으로써 처리속도가 저하되지만, 본 발명에 의하면 조명 변화가 있더라도 깊이정보의 정확성이 유지되므로, 상대적으로 연산량이 적은 상관관계 수식을 사용함으로써 고속처리가 가능한 구성이다.
본 발명의 방법은, 입력단계(10)와, 윤곽선 검출단계(50)와, PSF 컨버젼단 계(60)와, 상관관계 처리단계(70)와, 깊이맵 생성단계(80)가 포함됨을 특징으로 한다.
상기 입력단계(10)는, 다중컬러센서로부터 입력영상으로서 컬러영상 R, G, B와 적외선영상 IR을 입력받는 단계이다. 실제 환경 내에는 자연광, 백열등, 형광등, 할로겐 등 가변적인 밝기, 그리고 도 2와 같이 Red, Green, Blue, Yellow 등 다양한 색상의 빛이 포함되어 있다. 이로 인하여, 환경변화에 적응적으로 대응하는 방안이 필요하다.
참고로, 상기 입력단계(10)의 후에, 입력받은 다중컬러영상(예를 들면, R, G, B, IR)의 명암 대비(Brightness contrast)를 히스토그램(Histogram) 생성 및 가공하여, 적응적으로 영상 히스토그램을 균등하게 재조정하여 보정해도 좋다. 베이어(Bayer) 패턴의 R, G, B, IR을 입력받고, 이로부터 각각의 히스토그램을 생성한다. 이 히스토그램 정보에는 밝기 내 1 ~ 254의 최소, 최대값, 평균값, 분산값이 포함된다.
히스토그램의 가공은, 예컨대 히스토그램 스트레칭(Stretching)이어도 좋다. 이는 도 3의 수식을 이용할 수 있다. 이는 크게 선형적 수식과 비선형적 수식으로 나뉜다. 조명 적응적 대응을 위해서는, 선형적 방법을 선택한다. 여기서, I는 영상 내 화소를 정의하고, IN은 변환된 화소를 의미한다. Min과 Max는 R, G, B, IR 각각의 히스토그램의 밝기의 최소, 최대를 나타내고, newMin과 newMax는 통합적인 (R+G+B+IR) 히스토그램의 밝기의 최소, 최대를 나타낸다.
도 4는 다양한 색의 조명을 샘플로 하여, 히스토그램 스트레칭이 R, G, B, IR의 각각의 히스토그램에 반영되는 결과를 보여준다. 밝기가 저조한 영역에 군집되어 있는 Blue와 IR이 균등하게 확산됨을 알 수 있다.
도 5는 히스토그램 스트레칭의 적용 전과 후의 영상을 비교한다. Red, Green, Blue, Yellow 색의 조명에 따라, R, G, B, IR 각각의 히스토그램의 밝기가 불규칙적으로 생성되는 것(Before)을 검증하였고, 이에 히스토그램 스트레칭을 적용하여 히스토그램을 보정(After)하면, 가변적인 조명의 환경 하에, 적응적으로 영상이 균등하게 보정된다.
도 6은, 히스토그램 스트레칭이 적용되기 전과 적용된 후의 영상을 이용한 깊이정보 결과를 나타낸다.
히스토그램 스트레칭에 기반하여, 조명 가변적인 환경 내에서도, 동일한 깊이정보가 추출되어, 영상의 깊이정보에 대한 신뢰도를 더 향상시킬 수 있다. 이 보정된 영상에, 예컨대 가변적인 밝기변화에 민감하지만, 정확도에 강인하고, 연산량이 적은 가벼운 상관관계 수식을 적용하여도, 깊이정보의 정확도는 유지되고, 연산량이 크게 줄어들어, 처리속도가 빨라지는 강인함이 있다.
상기 윤곽선 검출단계(50)는, 윤곽선을 추출하는 단계이다. 이는 크게, 잡음제거(Noise Reduction)와 윤곽선추출을 포함한다. 잡음제거는, 영상처리 분야 내 대표적인 미디언 필터(Median Filter), 가중 미디언 필터(Weighted Median Filter), 바이래터럴 필터(Bilateral Filter)를 이용한다. 이는 잡음을 제거하고 경계선을 강조하는 효과가 있어, 윤곽선 검출의 정확도를 향상시키는데 효과적이다. 윤곽선추출은, 종래의 방법을 이용한다.
상기 PSF 컨버젼단계(60)는, 미리 생성해 놓은 PSF(Point Spread Function)모델에 기반하여, 포커스된 컬러의 영상에 대하여, 블러된 레퍼런스 영상들을 생성하는 단계이다. 여기서 레퍼런스 영상들은, 깊이정보를 추출하기 위한 비교영상들이다.
상기 상관관계 처리단계(70)는, 가중치가 적용된 LSSD 수식인 WLSSD(Weighted Locally scaled Sum of Squared Differences: 가중 지역적 스케일링 거리 제곱의 합) 수식을 이용하여, 블러된 컬러의 영상과 PSF을 기반하여 생성된 블러된 레퍼런스 영상들의 상관관계를 계산하는 단계이다. 상관관계의 원리는, 샘플(Target)과 레퍼런스 간의 차이값(Difference)을 추출하고, 이 차이값(Difference)에 기반하여, 최소값과 최대값이 되는 값을 추출하고, 이를 근거로, 유사성을 판단하는 것이다. 이 WLSSD 수식은, 조명 가변적인 환경에서도 강인하여, 깊이정보의 정확도를 유지할 수 있고, 종래기술에서 이용되는 ZNNC 수식보다 가벼운 상관관계에 기반한 것이어서, 처리속도를 향상시키는 구성이다.
원래 종래부터 알려져 있는 대표적인 9가지 상관관계 수식들의 정의는 도 7과 같다. 여기서, I1은 샘플(sample) 영상이고, 기준이 되는 영상을 의미한다. I2는 PSF 모델을 기반하여 생성한 레퍼런스 영상들로 정의된다. I1_mean은 샘플 영상의 평균값이고, I2_mean은 레퍼런스 영상들의 각각의 평균값을 의미한다.
이 9가지 수식은, SAD(Sum of Absolute Differences), ZSAD(Zero mean Sum of Absolute Differences), LSAD(Locally scaled Sum of Absolute Differences), SSD(Sum of Squared Differences), ZSSD(Zero mean Sum of Squared Differences), LSSD(Locally scaled Sum of Squared Differences), NCC(Normalized Cross 상관관계), ZNCC(Zero mean Normalized Cross Correlation), SHD(Sum of Hamming Distances)이다.
SAD와 SSD, ZSAD와 ZSSD, LSAD와 LSSD는 서로 동일한 결과를 획득하고, SAD와 SSD, ZSAD와 ZSSD, LSAD와 LSSD는 추출된 값이 작을수록 두 영상이 유사하다는 것을 의미한다. 절대값 처리나 제곱근 처리는, 음수를 양수로 변환하는 역할을 하는 것이다. SAD와 SSD는 단순하게 두 영상의 차 값이다. ZSAD와 ZSSD는 SAD와 SSD에 추가적으로 평균값을 적용하고, 각각의 영상이 서로의 평균값에 근사화된 값으로, 차이 값을 추출한다. LSAD와 LSSD는 SAD와 SSD에 두 영상의 평균을 이용한 비율 값을 적용하고, 이에 두 영상의 차이 값을 구한다.
NCC는 두 영상의 곱을 각각의 영상의 곱으로 나누어, 정규화 처리한다. 그리고 ZNCC는 NCC에 추가적으로 평균값을 적용하고, 평균값에 근사화된 값으로 적용한다. NCC와 ZNCC는 추출된 값이 클수록 두 영상이 유사하다는 것을 의미한다. SHD는 바이너리(Binary)를 기준한 비트(Bit)연산으로 차이값을 추출한다. 두 영상을 바이너리 XOR 연산 처리하고, 이 값은 작을수록 두 영상이 유사하다는 것을 의미한다.
그런데, 이 9가지 상관관계 수식은, 스테레오 매칭(Stereo matching) 분야에서 이용되던 것이다. 즉, 좌측 카메라와 우측 카메라의 입력영상의 비교를 위한 것이다. 도 8은, 이들 상관관계 수식을 스테레오 매칭에 적용하여 성능을 검증한 결과를 보여준다. SAD, ZAD, LSAD, SSD, ZSSD, LSSD, NCC, ZNCC, SHD 모두 유사한 결과로 획득한다.
이 스테레오 매칭에 사용되는 상관관계 수식이 모두, 깊이정보 분야에 사용되어도 좋은 것인지는 검증이 필요하다. 그래서 이들 상관관계 수식을 깊이정보의 추출 알고리즘에 적용한 결과를 도 9에 보여준다. SAD, ZSAD, SSD, ZSSD, SHD는, 스테레오 매칭에서와 달리 성능의 차이가 크게 나타낸다. 즉, 이들은 영상의 밝기와 색에 민감하다는 것이다. 반면에 LSAD, LSSD, NCC, ZNCC는 영상의 밝기와 색에 덜 민감하여, 유사한 결과를 보여준다.
도 10은, 9가지 상관관계 수식의 연산량을 분석한 결과이다. 실제 영상의 크기(Full size)를 512*384 = 1996608로 정의하고, PSF 모델의 박스크기를 고려하여, 실제 적용하는 영상의 크기(Accepted area)를 502*374=187748로 정의한다. 그리고 PSF모델은 17*17*50뱅크(stages)=14450이다. 선택사항으로, 민(Mean; 평균)값이 필요하며, 민값은 RGB 영상 x 1번, PSF모델에 기반하여 변환된 IR 영상 x PSF 뱅크의 수(50) 번만큼을 추출한다. 상세히는 RGB 영상 내에, (+,-)연산이 (PSF너비(17) x PSF높이(17) - 1) x 영상의 크기(Accepted area)(B) 영역(187748) = 54071424번을 수행되고, (x,/)연산은 영상의 크기(Accepted area)(B) 영역 = 187748번이 적용된다. 그리고 IR 영상 내에, (+,-) 및 (x,/)은 모두 PSF 뱅크의 배수만큼 처리된다. 하단의 그래프는 연산량의 크기를 보여주고, ZNCC가 연산이 가장 많음을 보여준다.
도 11은, PSF모델에 기반하여, 블러된 레퍼런스 영상들을 생성하는 과정에서, 밝기변화가 생기는 것을 보여준다. 블러되는 단계마다, 잡음이 제거되고 경계선이 스무딩(Smoothing)되며, 영상의 밝기의 변화가 달라진다.
도 12는, 기존의 LSSD(Locally scaled Sum of Squared Differences)와 이에 가중치(Weight)를 적용한 WLSSD(Weighted Locally scaled Sum of Squared Difference)의 정의이다.
Figure 112015128823914-pat00003
이다.
여기서, I1은 샘플 영상이고, 기준이 되는 영상을 의미하고, I2는 PSF 모델을 기반하여 생성한 레퍼런스 영상들로 정의한다. I1_mean은 샘플 영상의 평균값이고, I2_mean은 레퍼런스 영상들의 각각의 평균값을 의미한다.
종래의 LSSD 기반의 상관관계 수식은, 민값를 추출하는 데에 대부분의 시간이 소요되고, 이러한 연산구조는 병렬처리가 가능한 하드웨어 구조에서 효율적이다. 상세히는, 기존의 LSSD는 샘플 영상과 레퍼런스 영상의 비율을 이용하였고, 이 비율을 레퍼런스에 적용한 후, 샘플 영상과의 차를 추출한다. LSSD는 PSF 컨버젼에 의한 블러링에 의한 밝기변화(도 11 참조)에 민감하여, 밝기가 높거나 선명한 영상 환경이 아닌 반대의 환경에서, 잡음(Noise = Error)이 크게 발생한다.
이러한 제약요소를 고려하여, WLSSD는 기존의 LSSD 기반 내에, 적응적인 가중치(Adaptive Weight)를 적용하였다. 가중치는 제1 가중치(Weight1)와 제2 가중치(Weight2)로 구성된다. 제1 가중치는, 샘플 영상의 평균값과 레퍼펀스 영상의 최대 평균값의 비율이고, 제2 가중치는, 레퍼런스 영상의 최대 평균값과 레퍼런스 영상의 평균값의 비율이다. 상기 가중치의 동작 횟수는, PSF 뱅크의 수와 영상 크기의 곱에 의해 결정된다.
여기서, 레퍼런스 영상의 최대 평균값은 1 프레임(Frame)을 기준으로, 레퍼런스의 영상 내에, 평균값 중에 최대값을 의미하고, 밝기가 높거나 선명한 영상 환경에서는 LSSD 방식이 효율적이라는 장점을 유지하여, 조건의 범위는 효율적인 PSF 단계부터 진행하는 형태로, 조정함이 효율적이다. 예를 들면, 1 프레임(Frame)을 기준으로, PSF 크기를 고려한 마스크(Mask)를 기반하여, 마스크 내에 최대가 되는 평균값을 추출하고, 이 값을 유지해 가고, 다른 마스크로 이동한 후에도 이 최대 평균값을 이용하여, 적응적으로 밝기변화에 대한 가중치를 연산한다.
상기 깊이맵 생성단계(80)는, 깊이의 단계를 나타내는 깊이맵을 생성하는 단계이다. 깊이맵 생성단계는, 추출된 상관관계 관계를 고려하여, 최대 유사도를 획득한 레퍼런스 영상에 대응하는 단계를 깊이정보로 표현하고, 이에 컬러맵핑(Mapping) 처리를 한다. 맵핑된 컬러정보는, 예컨대 근거리일수록 빨간색, 원거리일수록 파란색으로 표현한다.
깊이정보의 획득 후에, RGB+IR, 그리고 깊이(Depth) 정보를 출력하는 역할을 하는 디스플레이 처리단계가 구비되어도 좋다.
<효과>
도 13은, LSSD(가중치 적용 전)와 WLSSD(가중치 적용 후)의 결과를 보여준다. WLSSD결과가 LSSD결과에 비하여 잡음이 줄어든다. 특히 적색(Red) 조명과 황색(Yellow) 조명일 경우에, 잡음제거에 효율적이다.
<장치/시스템>
상기 본 발명의 방법은, CPU나 마이크로프로세서 등의 데이터 처리유닛을 중심으로 메모리, 기능처리 반도체 등으로 이루어지는 데이터처리기기에 의해 시스템으로 구현될 수 있다. 상기 방법의 각 단계는, 시스템의 각 부로 대응되어 구현될 수 있고, 실제 구현에 있어서는, 어떤 부는 다른 부에 통합될 수도 있고, 또는 다른 복수의 부로 나뉠 수도 있다.
다중컬러센서에 기반하여, 영상 내에서, 고속으로, 깊이정보를 추출하는 장치의 개념도를, 도 1에 나타낸다. 본 발명의 시스템은, 도 1과 같이, 입력부(10)와, 윤곽선 검출부(50)와, PSF 컨버젼부(60)와, 상관관계 처리부(70)와, 깊이맵 생성부(80)가 포함됨을 특징으로 한다. 각 부의 상세한 동작은, 상기 방법의 발명의 대응되는 각 단계의 동작을 참조함으로써, 그 상세한 설명은 생략한다.
이상, 구체적 실시예를 들어 본 발명을 설명하였지만, 본 발명은 이에 한하는 것이 아니고, 청구범위에 기재된 범위 내에서 이루어진 개량, 변형, 변경은 모두 본 발명의 범위에 속하는 것으로 해석되어야 한다.
본 발명은, 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템 산업에 이용될 수 있다.
10: 입력영상
20: 메모리 인터페이스
30: 히스토그램 생성부
40: 적응적 컬러선택부
50: 윤곽선 검출부
60: PSF 컨버젼부
70: 상관관계 처리부
80: 깊이맵 생성부
90: 디스플레이 처리부

Claims (8)

  1. 가변조명에 강인한 깊이정보를 고속으로 산출하는 방법으로서,
    다중컬러센서로부터 입력영상으로서 컬러영상 R, G, B와 적외선영상 IR을 입력받는 입력단계와,
    윤곽선을 추출하는 윤곽선 검출단계와,
    미리 생성해 놓은 PSF모델에 기반하여, 포커스된 컬러의 영상에 대하여, 블러된 레퍼런스 영상들을 생성하는 PSF 컨버젼단계와,
    가중치가 적용된 LSSD 수식인 WLSSD 수식을 이용하여, 블러된 컬러의 영상과 블러된 레퍼런스 영상들의 상관관계를 계산하는 상관관계 처리단계와,
    깊이의 단계를 나타내는 깊이맵을 생성하는 깊이맵 생성단계
    가 포함되어 이루어지고,
    상기 가중치의 동작 횟수는, PSF 뱅크의 수와 영상 크기의 곱에 의해 결정됨
    을 특징으로 하는 가변조명에 강인한 깊이정보 고속 산출방법.
  2. 청구항 1에 있어서,
    상기 가중치는, 제1 가중치와 제2 가중치로 구성되고,
    제1 가중치는, 샘플 영상의 평균값과 레퍼펀스 영상의 최대 평균값의 비율이고,
    제2 가중치는, 레퍼런스 영상의 최대 평균값과 레퍼런스 영상의 평균값의 비율임
    을 특징으로 하는 가변조명에 강인한 깊이정보 고속 산출방법.
  3. 청구항 2에 있어서,
    상기 WLSSD 수식은,
    Figure 112015128823914-pat00004

    임을 특징으로 하는 가변조명에 강인한 깊이정보 고속 산출방법.
  4. 가변조명에 강인한 깊이정보를 고속으로 산출하는 시스템으로서,
    다중컬러센서로부터 입력영상으로서 컬러영상 R, G, B와 적외선영상 IR을 입력받는 입력부와,
    윤곽선을 추출하는 윤곽선 검출부와,
    미리 생성해 놓은 PSF모델에 기반하여, 포커스된 컬러의 영상에 대하여, 블러된 레퍼런스 영상들을 생성하는 PSF 컨버젼부와,
    가중치가 적용된 LSSD 수식인 WLSSD 수식을 이용하여, 블러된 컬러의 영상과 블러된 레퍼런스 영상들의 상관관계를 계산하는 상관관계 처리부와,
    깊이의 단계를 나타내는 깊이맵을 생성하는 깊이맵 생성부
    가 포함되어 이루어지고,
    상기 가중치의 동작 횟수는, PSF 뱅크의 수와 영상 크기의 곱에 의해 결정됨
    을 특징으로 하는 가변조명에 강인한 깊이정보 고속 산출시스템.
  5. 청구항 4에 있어서,
    상기 가중치는, 제1 가중치와 제2 가중치로 구성되고,
    제1 가중치는, 샘플 영상의 평균값과 레퍼펀스 영상의 최대 평균값의 비율이고,
    제2 가중치는, 레퍼런스 영상의 최대 평균값과 레퍼런스 영상의 평균값의 비율임
    을 특징으로 하는 가변조명에 강인한 깊이정보 고속 산출시스템.
  6. 청구항 5에 있어서,
    상기 WLSSD 수식은,
    Figure 112017045595651-pat00005

    임을 특징으로 하는 가변조명에 강인한 깊이정보 고속 산출시스템.
  7. 삭제
  8. 삭제
KR1020150189695A 2015-12-30 2015-12-30 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템 KR101796551B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150189695A KR101796551B1 (ko) 2015-12-30 2015-12-30 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150189695A KR101796551B1 (ko) 2015-12-30 2015-12-30 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20170079290A KR20170079290A (ko) 2017-07-10
KR101796551B1 true KR101796551B1 (ko) 2017-11-15

Family

ID=59355700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150189695A KR101796551B1 (ko) 2015-12-30 2015-12-30 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101796551B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210036483A (ko) 2019-09-26 2021-04-05 신용혁 전자동 무선조작 블라인드
US11877073B2 (en) 2021-10-08 2024-01-16 Arm Limited System, devices and/or processes for processing infrared pixel values

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022308A (ja) * 2010-06-14 2012-02-02 Nikon Corp 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022308A (ja) * 2010-06-14 2012-02-02 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
KR20170079290A (ko) 2017-07-10

Similar Documents

Publication Publication Date Title
US9053537B2 (en) Classifier for use in generating a diffuse image
Goel et al. Specific color detection in images using RGB modelling in MATLAB
Raffei et al. A low lighting or contrast ratio visible iris recognition using iso-contrast limited adaptive histogram equalization
CN106442556A (zh) 一种板状带孔工件表面缺陷检测装置和方法
WO2013030850A2 (en) Chemical structure recognition tool
KR101796551B1 (ko) 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템
Djerouni et al. Dorsal hand vein image contrast enhancement techniques
KR101796523B1 (ko) 가변조명 하의 깊이정보 정확도 향상방법 및 시스템
Manders et al. Robust hand tracking using a skin tone and depth joint probability model
Gupta et al. Fast single image haze removal method for inhomogeneous environment using variable scattering coefficient
Forczmański et al. An algorithm of face recognition under difficult lighting conditions
JP5203159B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
Li et al. Contrast enhancement algorithm for outdoor infrared images based on local gradient-grayscale statistical feature
JP4742068B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
WO2011033657A1 (ja) 特徴抽出装置
CN115761241A (zh) 一种图像增强方法及其应用
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2015501968A (ja) 固有画像の生成を改良するための後処理
KR102263573B1 (ko) 하알 대조 특징을 이용한 카메라 영상의 대상물 검출 방법
Agarwal et al. Specular reflection removal in cervigrams
KR101643550B1 (ko) 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법
Sun et al. Shadow detection and removal from solo natural image based on retinex theory
Mishra et al. Face detection for video summary using enhancement based fusion strategy
Rajalekshmi et al. Intelligent parking space detection and number plate extraction
KR100963240B1 (ko) 컬러 마커 인식 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant