KR101796523B1 - Enhancing method and system of accuracy of depth map under variable illumination - Google Patents

Enhancing method and system of accuracy of depth map under variable illumination Download PDF

Info

Publication number
KR101796523B1
KR101796523B1 KR1020150189691A KR20150189691A KR101796523B1 KR 101796523 B1 KR101796523 B1 KR 101796523B1 KR 1020150189691 A KR1020150189691 A KR 1020150189691A KR 20150189691 A KR20150189691 A KR 20150189691A KR 101796523 B1 KR101796523 B1 KR 101796523B1
Authority
KR
South Korea
Prior art keywords
color
channel
histogram
image
blurred
Prior art date
Application number
KR1020150189691A
Other languages
Korean (ko)
Other versions
KR20170079288A (en
Inventor
최종호
Original Assignee
(주)이더블유비엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이더블유비엠 filed Critical (주)이더블유비엠
Priority to KR1020150189691A priority Critical patent/KR101796523B1/en
Publication of KR20170079288A publication Critical patent/KR20170079288A/en
Application granted granted Critical
Publication of KR101796523B1 publication Critical patent/KR101796523B1/en

Links

Images

Classifications

    • H04N13/0271
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)

Abstract

본 발명의 방법은, 가변조명 하의 다중컬러센서에 의한 입력영상인 컬러영상(R, G, B)과 적외선영상(IR)으로부터 산출되는 깊이정보의 정확도를 향상시키는 방법으로서, 상기 입력영상에 대해, R, G, B, IR 채널별 히스토그램을 생성하는 히스토그램 생성단계와, 생성된 R, G, B, IR 채널별 히스토그램을 스트레칭하고, 스트레칭 전후의 각 채널의 변화량을 비교함으로써, 깊이정보 산출에 사용되는 블러된 컬러와 포커스된 컬러로서 사용될 채널의 컬러를 선택하는 적응적 컬러선택단계와, 윤곽선을 검출하는 윤곽선 검출단계와, 미리 생성해 놓은 PSF모델에 기반하여, 포커스된 컬러에 대하여, 블러된 레퍼런스 영상들을 생성하는 PSF 컨버젼단계와, 블러된 컬러의 영상과 블러된 레퍼런스 영상들의 상관관계를 계산하는 상관관계 처리단계와, 깊이의 단계를 나타내는 깊이맵을 생성하는 깊이맵 생성단계가 포함됨을 특징으로 한다.The method of the present invention is a method for improving the accuracy of depth information calculated from color images (R, G, B) and infrared images (IR) input by multi-color sensors under variable illumination, A histogram generation step of generating histograms for R, G, B, and IR channels, a histogram generation step for generating R, G, B, and IR channel histograms, An adaptive color selection step of selecting a color of a channel to be used as a blurred color and a focused color used for calculating the depth information by comparing the amount of change in the channel, an outline detection step of detecting an outline , A PSF for generating blurred reference images for the focused color, A conversion step, and calculating a correlation of the image of the blur and the color blur reference image correlation processing step, and a depth map generation step of generating a depth map showing the depth of the step is characterized by the included.

Description

가변조명 하의 깊이정보 정확도 향상방법 및 시스템 {Enhancing method and system of accuracy of depth map under variable illumination}TECHNICAL FIELD [0001] The present invention relates to a method and system for enhancing depth information accuracy under variable illumination,

본 발명은, 가변조명 하의 깊이정보 정확도 향상방법 및 시스템에 관한 것으로서, 보다 상세히는, 조명의 종류와 성질이 달라지더라도 다중컬러센서를 이용한 깊이정보가 높은 정확도로 산출되도록 하는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for improving depth information accuracy under variable illumination, and more particularly, to a method and system for calculating depth information using a multi-color sensor with high accuracy even when the type and nature of illumination change. will be.

영상처리기술의 급격한 발전으로, 컬러영상과 깊이영상을 포함하는 3차원 카메라 기술이 이슈화되고 있다.Due to the rapid development of image processing technology, 3D camera technology including color image and depth image is becoming an issue.

3차원 카메라 기술로는, With 3D camera technology,

(1) 스테레오 카메라(Bumblebee2)(1) Stereo camera (Bumblebee2)

(2) IR 패턴(Randomized dots) 기반 카메라(Kinect, Xtion)(2) IR pattern (Randomized dots) based camera (Kinect, Xtion)

(3) 타임 오브 플라이트(Time of Flight; TOF) 카메라 (Kinect2)(3) Time of Flight (TOF) camera (Kinect2)

등이 있다..

이는, 깊이영상을 이용한 3D 재구조화(Reconstruction), XYZ 3차원 공간상의 표현(Description) 확대 등을 통한 다양한 응용분야에 적용 가능하다.It can be applied to various application fields by 3D reconstruction using depth image and XYZ three dimensional space expansion.

예컨대 다음의 응용분야를 들 수 있다.For example, the following application fields can be cited.

(1) 스테레오 3D 영상 생성 - 3D 디스플레이(1) Stereo 3D image generation - 3D display

(2) 디지털 카메라의 디포커싱(De-Focusing) / 오토포커싱(Auto-Focusing)(2) De-focusing / Auto-focusing of a digital camera

(3) 3D 프린팅의 3D 재구조화(Reconstruction)(3) 3D reconstruction of 3D printing (Reconstruction)

(4) 3D 동작인식(Gesture Recognition)(4) 3D motion recognition (Gesture Recognition)

그리고 이 분야의 종래기술로는, In the prior art of this field,

(1) 이중조리개(Dual Aperture)에 기반한 다중컬러센서를 이용한 컬러영상 및 깊이정보 추출기술(1) Color image and depth information extraction technology using multi-color sensor based on dual aperture

(2) 커널(Kernel)기반 영상 회선(Convolution)기술(2) Kernel-based video convolution technology

등을 들 수 있다.And the like.

한편, 다중컬러센서는, 이중조리개(Dual Aperture)를 통하여 컬러(RGB)영상과 적외선(IR)영상을 획득한다. 이 컬러영상과 적외선영상을 이용하여, 깊이정보를 가지는 깊이맵(Depth Map)을 생성하는 기술이 알려져 있다. 깊이맵은, 예컨대 깊이영상 생성에 이용될 수 있다. Meanwhile, a multi-color sensor acquires a color (RGB) image and an infrared (IR) image through a dual aperture. A technique of generating a depth map having depth information by using the color image and the infrared image is known. The depth map can be used, for example, for depth image generation.

깊이정보는, 대상물을 촬상하여 생성된 컬러영상과 적외선영상을 상관관계 비교하여, 최대유사도를 추출함으로써 구한다. 그리고 깊이정보 추출에 있어서의 품질요소는, 정확도와 속도이다.The depth information is obtained by correlating a color image generated by picking up an object with an infrared image and extracting the maximum similarity. The quality factors in depth information extraction are accuracy and speed.

미국특허공개 US2013/0033579『처리 Multi-Aperture Image Data』공보US Patent Application Publication No. US2013 / 0033579 " Multi-Aperture Image Data "

종래기술에 있어서는, 컬러영상과 적외선영상의 취득시에, 고정적으로 한 종류의 조명, 예컨대 할로겐 조명만이 이용되는 것을 상정하고 있다. 이처럼, 한 종류의 조명에만 특화되어 있는 종래기술의 깊이정보 취득시스템에서는, 그 상정된 종류가 아닌 다른 종류의 조명 하에서 취득되는 깊이정보가, 부정확해진다는 문제가 있다. 즉, 종래기술은, 조명의 밝기와 색과 같은 가변적인 변화에 민감한 영향을 받는다는 문제가 있다.In the prior art, it is assumed that only one kind of illumination, for example, halogen illumination, is fixedly used when acquiring a color image and an infrared image. As described above, in the depth information acquisition system of the related art, which is specialized only for one kind of illumination, there is a problem that depth information acquired under different types of illumination other than the assumed kind becomes inaccurate. That is, there is a problem that the prior art is susceptible to variable changes such as brightness and color of illumination.

실제 환경 내에는 가변적인 밝기의 자연광, 백열등, 형광등, 할로겐 등이 존재하고, 도 2와 같이 Red, Green, Blue, Yellow 등 다양한 색상의 빛이 포함되어 있다. 이로 인하여, 깊이정보 산출에 있어서, 조명 환경변화에 적응적으로 대응할 수 있는 방안이 필요하다. 즉, 점차 확대되고 있는 다양한 응용분야를 고려할 때, 다중컬러센서는, 자연광, 형광등, 백열등, 그리고 할로겐등 등과 같이 다양한 성질의 조명 환경 하에서 정확도를 유지하면서 이용될 수 있는 것이 바람직하다. In the actual environment, natural light of variable brightness, incandescent light, fluorescent light, halogen and the like are present, and light of various colors such as Red, Green, Blue, and Yellow is included as shown in FIG. Therefore, in the depth information calculation, it is necessary to adaptively cope with the change of illumination environment. That is, in consideration of the increasingly diverse application fields, it is desirable that the multi-color sensor can be used while maintaining the accuracy under various lighting environments such as natural light, fluorescent light, incandescent light, and halogen.

본 발명은 이러한 종래기술의 문제점을 감안하여 이루어진 것으로서, 다양한 밝기와 색의 조명 환경 하에서도, 깊이정보 추출의 정확도를 향상시킬 수 있는 가변조명 하의 깊이정보 정확도 향상방법 및 시스템을 제공하고자 하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and system for improving depth information accuracy under variable illumination that can improve the accuracy of depth information extraction even under various lighting and color environments.

상기 과제를 해결하기 위한 본 발명의 방법은, 가변조명 하의 다중컬러센서에 의한 입력영상인 컬러영상(R, G, B)과 적외선영상(IR)으로부터 산출되는 깊이정보의 정확도를 향상시키는 방법으로서, 상기 입력영상에 대해, R, G, B, IR 채널별 히스토그램을 생성하는 히스토그램 생성단계와, 생성된 R, G, B, IR 채널별 히스토그램을 스트레칭(Stretching)하고, 스트레칭 전후의 각 채널의 변화량을 비교함으로써, 깊이정보 산출에 사용되는 블러된(Blurred) 컬러와 포커스된(Focused) 컬러로서 사용될 채널의 컬러를 선택하는 적응적 컬러선택단계와, 윤곽선을 검출하는 윤곽선 검출단계와, 미리 생성해 놓은 PSF(Point Spread Function)모델에 기반하여, 포커스된 컬러에 대하여, 블러된 레퍼런스 영상들을 생성하는 PSF 컨버젼단계와, 블러된 컬러의 영상과 블러된 레퍼런스 영상들의 상관관계를 계산하는 상관관계 처리단계와, 깊이의 단계를 나타내는 깊이맵을 생성하는 깊이맵 생성단계가 포함됨을 특징으로 한다.The method of the present invention for solving the above problem is a method for improving the accuracy of depth information calculated from color images (R, G, B) and infrared images (IR) which are input images by a multi-color sensor under variable illumination A histogram generation step of generating a histogram for each of the R, G, B and IR channels for the input image, a histogram for each of the generated R, G, B and IR channels, An adaptive color selection step of selecting a color of a channel to be used as a blurred color and a focused color used for calculating the depth information by comparing the amount of change of the channel, an outline detection step of detecting the outline , Based on a PSF (Point Spread Function) model generated in advance, a PSF for generating blurred reference images for the focused color A conversion step, and calculating a correlation of the image of the blur and the color blur reference image correlation processing step, and a depth map generation step of generating a depth map showing the depth of the step is characterized by the included.

여기서, 상기 히스토그램의 스트레칭은, 선형적 히스토그램 스트레칭 수식을 따라 수행됨이 바람직하다.Here, the stretching of the histogram is preferably performed according to a linear histogram stretching formula .

그리고 여기서, 상기 선형적 히스토그램 스트레칭 수식은, Here, the linear histogram stretching formula may be expressed as:

Figure 112015128821912-pat00001
Figure 112015128821912-pat00001

이고, 여기서, I는 영상 내 화소를 정의하고, I(N)은 변환된 화소를 의미하고, Min과 Max는 R, G, B, IR 채널의 각 히스토그램의 밝기의 최소, 최대를 나타내고, newMin과 newMax는 통합적인 (R+G+B+IR) 히스토그램의 밝기의 최소, 최대를 나타도록 구성되어도 좋다.Min and Max denote the minimum and maximum brightnesses of respective histograms of R, G, B, and IR channels, and I (N) And newMax may be configured to represent the minimum and maximum brightness of the integrated (R + G + B + IR) histogram.

그리고, 상기 히스토그램 생성단계는 (t-1) 시점에서 수행되고, 상기 적응적 컬러선택단계 이후는 (t) 시점에서 수행되도록 구성되어도 좋다.The histogram generation step may be performed at a time point (t-1), and the adaptive color selection step may be performed at a time point (t).

한편, 본 발명의 시스템은, 가변조명 하의 다중컬러센서에 의한 입력영상인 컬러영상(R, G, B)과 적외선영상(IR)으로부터 산출되는 깊이정보의 정확도를 향상시키는 시스템으로서, 상기 입력영상에 대해, R, G, B, IR 채널별 히스토그램을 생성하는 히스토그램 생성부와, 생성된 R, G, B, IR 채널별 히스토그램을 스트레칭하고, 스트레칭 전후의 각 채널의 변화량을 비교함으로써, 깊이정보 산출에 사용되는 블러된 컬러와 포커스된 컬러로서 사용될 채널의 컬러를 선택하는 적응적 컬러선택 와, 윤곽선을 검출하는 윤곽선 검출부와, 미리 생성해 놓은 PSF모델에 기반하여, 포커스된 컬러에 대하여, 블러된 레퍼런스 영상들을 생성하는 PSF 컨버젼부와, 블러된 컬러의 영상과 블러된 레퍼런스 영상들의 상관관계를 계산하는 상관관계 처리부와, 깊이의 단계를 나타내는 깊이맵을 생성하는 깊이맵 생성부가 포함됨을 특징으로 한다.Meanwhile, the system of the present invention improves the accuracy of depth information calculated from color images (R, G, B) and infrared images (IR) input by multi-color sensors under variable illumination, A histogram generator for generating a histogram for each of the R, G, B, and IR channels, a histogram generator for generating R, G, B, and IR channels, By comparing the amount of change in the channel, an adaptive < RTI ID = 0.0 & gt ; And a color selector, and the contour detecting unit for detecting a contour, based on the PSF PSF model preloaded generated, with respect to the focused color, generating a reference image blur Conversion unit, and the image and calculating a correlation of the reference image correlation processing blur, depth map for generating a depth map showing the depth of the step of the color blur And a generating unit .

여기서, 상기 히스토그램의 스트레칭은, 선형적 히스토그램 스트레칭 수식을 따라 수행됨이 바람직하다.Here, the stretching of the histogram is preferably performed according to a linear histogram stretching formula .

그리고 여기서, 상기 선형적 히스토그램 스트레칭 수식은, Here, the linear histogram stretching formula may be expressed as:

Figure 112015128821912-pat00002
Figure 112015128821912-pat00002

이고, 여기서, I는 영상 내 화소를 정의하고, I(N)은 변환된 화소를 의미하고, Min과 Max는 R, G, B, IR 채널의 각 히스토그램의 밝기의 최소, 최대를 나타내고, newMin과 newMax는 통합적인 (R+G+B+IR) 히스토그램의 밝기의 최소, 최대를 나타냄이 바람직하다.Min and Max denote the minimum and maximum brightnesses of respective histograms of R, G, B, and IR channels, and I (N) And newMax preferably represent the minimum and maximum brightness of the integrated (R + G + B + IR) histogram.

그리고, 상기 히스토그램 생성단계는 (t-1) 시점에서 수행되고, 상기 적응적 컬러선택단계 이후는 (t) 시점에서 수행됨이 바람직하다.It is preferable that the histogram generation step is performed at a time point (t-1), and the adaptive color selection step is performed at a time point (t).

본 발명에 의하면, 다양한 밝기와 색의 조명 환경 내에서도, 깊이정보 추출의 정확도를 향상시킬 수 있다.According to the present invention, the accuracy of extraction of depth information can be improved even in an illumination environment of various brightness and color.

[도 1]은, 다중컬러센서에 기반한 고속 깊이영상 추출장치의 블록도를 보여준다.
[도 2]는, Red, Green, Blue, Yellow 컬러의 조명에 의한 입력영상을 나타낸다.
[도 3]은, 히스토그램 스트레칭(Histogram Stretching)의 수식에 대한 정의를 표현한다.
[도 4]는, 입력영상에 대한 (a) 히스토그램 및 (b) 히스토그램 스트레칭의 결과를 보여준다.
[도 5]는, 입력영상의 각 채널에 대한 히스토그램 스트레칭의 적용 전 영상과 적용 후 영상을 비교한다.
[도 6]은, 히스토그램 스트레칭의 (a) 적용 전과 (b) 적용 후의 깊이맵 결과를 보여준다.
FIG. 1 shows a block diagram of a high-speed depth image extracting apparatus based on a multi-color sensor.
[Fig. 2] shows an input image by illumination of red, green, blue, and yellow colors.
FIG. 3 represents the definition of a formula of histogram stretching.
4 shows the results of (a) histogram and (b) histogram stretching for the input image.
5 compares the pre-applied image and the post-applied image of the histogram stretching for each channel of the input image.
Fig. 6 shows depth map results before (a) application of the histogram stretching and after (b) application.

이하, 본 발명의 가변조명 하의 깊이정보 정확도 향상방법 및 시스템에 대해, 첨부도면을 참조하면서 상세히 설명한다. 다만, 동일구성에 의해 동일기능을 수행하는 부재에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 또한, 연결된다고 하는 것은, 그 중간에 매체를 경유하는 개념을 포함한다.Hereinafter, a method and system for improving depth information accuracy under variable illumination according to the present invention will be described in detail with reference to the accompanying drawings. However, the same reference numerals are used to denote members performing the same function by the same configuration, even if the drawings are different, and the detailed description thereof may be omitted. Also, to be connected includes the concept of passing through the medium in the middle.

<방법><Method>

본 발명의 가변조명 하의 깊이정보 정확도 향상방법은, 한 종류의 조명이 아니라, 백열등, 형광등, 할로겐등 등의 다양한 조명에 동시에 또는 이시에 노출되는 가변조명 환경에 대해 적용될 수 있는 기술로서, 이러한 환경에 있어서도 다중컬러센서에 의한 입력영상(10)인 컬러영상(R, G, B)과 적외선영상(IR)으로부터 산출되는 깊이정보의 정확도를 향상시킬 수 있는 방법이다. 본 발명은, 히스토그램 스트레칭(Histogram Stretching)을 이용하여, 적응적으로 영상을 보정하고, 이로 인하여, 가변적인 조명 환경 하에서도 균일한 정도의 깊이정보가 추출되며, 이는 깊이정보의 신뢰도를 향상시킨다.The method of improving the depth information accuracy under the variable illumination of the present invention is a technique that can be applied not only to one kind of illumination but also to a variable illumination environment in which various lights such as an incandescent lamp, a fluorescent lamp, a halogen lamp, It is possible to improve the accuracy of the depth information calculated from the color images R, G, and B and the infrared image IR, which are input images 10 by the multi-color sensor. According to the present invention, the image is adaptively corrected using histogram stretching, thereby extracting a uniform degree of depth information even under a variable illumination environment, thereby improving the reliability of depth information.

본 발명의 방법은, 히스토그램 생성단계(30)와, 적응적 컬러선택단계(40)와, 윤곽선 검출단계(50)와, PSF 컨버젼단계(60)와, 상관관계 처리단계(70)와, 깊이맵 생성단계(80)가 포함됨을 특징으로 한다. 예컨대, 상기 히스토그램 생성단계는 (t-1) 시점에서 수행되고, 상기 적응적 컬러선택단계 이후는 (t) 시점에서 수행된다.The method includes a histogram generation step 30 , an adaptive color selection step 40 , an outline detection step 50 , a PSF Conversion step 60 , correlation processing step 70, and depth map generation step 80 are included. For example, the histogram generation step is performed at a time point (t-1), and the adaptive color selection step is performed at a time point (t).

상기 히스토그램 생성단계(30)는, 베이어(Bayer) 패턴의 R, G, B, IR 상기 입력영상(10)에 대해, 각각 R, G, B, IR 채널별 히스토그램(도 4 참조)을 생성하는 단계이다. 히스토그램은, 입력영상인 다중컬러영상(R, G, B, IR)의 명암 대비(Brightness contrast)를 나타낸다. 이 히스토그램 정보에는 밝기 내 1 ~ 254 값의 최소, 최대값, 평균값, 분산값 정보가 포함된다.The histogram generation step 30 generates a histogram for each of the R, G, B and IR channels (see FIG. 4) for the R, G, B and IR input images 10 in the Bayer pattern . The histogram shows the brightness contrast of the multi-color image (R, G, B, IR) as the input image. The histogram information includes the minimum, maximum value, average value, and variance value information of 1 to 254 values in brightness.

상기 적응적 컬러선택단계(40)는, 생성된 R, G, B, IR 채널별 히스토그램 정보를 이용하여, 히스토그램을 스트레칭(Stretching)하고, 스트레칭 전후의 각 채널의 변화량을 비교함으로써, 적응적으로 깊이정보 산출에 사용되는 블러된(Blurred) 컬러로서 사용될 채널의 컬러와 포커스된(Focused) 컬러로서 사용될 채널의 컬러를 선택하는 단계이다. 스트레칭에 따라, 입력영상의 명암 대비 히스토그램이 균등하게 재조정된다.The adaptive color selection step (40) stretches the histogram using the generated histogram information for each of the R, G, B, and IR channels, By comparing the amount of change of the channel, it is the step of selecting the color of the channel to be used as the blurred color and the color of the channel to be used as the focused color adaptively used for calculating the depth information. According to the stretching, the contrast histogram of the input image is readjusted uniformly.

종래에는 다중채널센서로부터 입력되는 입력영상에 대해, 블러된 컬러로서 사용될 채널의 컬러가, R, G, B 중의 어느 하나(주로 R 또는 G)로 정해져 있었고, 포커스된 컬러로서 사용될 채널의 컬러가, IR로 정해져 있었다. 그런데 이런 방식은, 조명이 달라지면 깊이정보 추출의 정확도도 달라진다는 문제가 있었다. Conventionally, for an input image input from a multi-channel sensor, the color of a channel to be used as a blurred color is determined to be any one of R, G, and B (mainly R or G) , And IR. However, this method has a problem that accuracy of extracting depth information is changed when illumination is changed.

본 발명에서는, 조명에 따라서 히스토그램이 달라진다는 점을 이용하여, 상기와 같이 히스토그램 스트레칭을 하여, 원래 히스토그램과의 변화량에 따라서 이들 블러된 컬러로서 사용될 채널의 컬러와 포커스된 컬러로서 사용될 채널의 컬러를 결정하므로, 조명에 따라 최적의 채널의 컬러가 정해지는 것이 되므로, 조명 변화에 강인한 효과가 있다.In the present invention, the histogram is stretched as described above by using the fact that the histogram is changed according to the illumination, and the color of the channel to be used as the focused color and the color of the channel to be used as the blurred color are changed according to the amount of change from the original histogram Therefore, the color of the optimal channel is determined according to the illumination, so that there is an effect that is robust against illumination change.

이 히스토그램 스트레칭에는, 도 3의 히스토그램 스트레칭 수식이 이용된다. 히스토그램 스트레칭 수식은 크게, 선형적 수식과 비선형적 수식으로 나뉜다. 선형적 수식은, 영상 내의 히스토그램 정보만을 이용하고, 비선형적 수식은, 실험적으로 생성된 2가지의 상수값에 영향을 받는다.The histogram stretching formula of FIG. 3 is used for this histogram stretching. The histogram stretching equations are largely divided into linear equations and nonlinear equations. The linear equation uses only the histogram information in the image, and the nonlinear equation is influenced by two experimentally generated constant values.

여기서, 비선형적 수식은, 조명 성질이 고정된 어떤 환경 하에서 최적화된 파라미터의 값이 상수값으로서 적용된 것으로서, 당연히 그 환경에 대해 효율적이다. 하지만 이는, 가변적 조명 환경 하에서는, 하나의 상수값으로는 최적화된 성능을 보여줄 수 없다는 것을 의미하고, 나아가, 가변적 조명 환경 내에서는, 성능이 저하됨을 의미한다. 선형적 수식은, 이러한 제약조건을 가지지 않는다.Here, the nonlinear equation is naturally effective for the environment, in which the value of the optimized parameter is applied as a constant value under an environment where the illumination property is fixed. However, this means that under a variable illumination environment, one constant value can not exhibit optimized performance, and furthermore, in a variable illumination environment, the performance deteriorates. Linear formulas do not have these constraints.

조명에 적응적으로 대응하기 위해서, 본 발명에서는 히스토그램 스트레칭이 선형적 히스토그램 스트레칭 수식을 따라 수행되도록 선택한다. 예컨대, 상기 선형적 히스토그램 스트레칭 수식은, In order to adaptively adapt to the illumination, in the present invention, the histogram stretching is selected to be performed according to the linear histogram stretching formula . For example, the linear histogram stretching formula may be expressed as:

Figure 112015128821912-pat00003
Figure 112015128821912-pat00003

으로 표시될 수 있다.. &Lt; / RTI &gt;

여기서, I는, 영상 내 화소를 정의하고, I(N)은, 변환된 화소를 의미한다. 그리고 Min과 Max는, R, G, B, IR 채널의 각 히스토그램의 밝기의 최소, 최대를 나타내고, newMin과 newMax는, 통합적인 (R+G+B+IR) 히스토그램의 밝기의 최소, 최대를 나타낸다.Here, I defines pixels in an image, and I (N) means a converted pixel. Min and Max denote the minimum and maximum brightness of each histogram of the R, G, B and IR channels, and newMin and newMax denote the minimum and maximum brightness of the integrated (R + G + B + IR) .

도 4는, 대표적으로 R, G, B, Y 컬러의 조명에 대해, R, G, B, IR 채널의 원래의 히스토그램(좌측)과, 히스토그램 스트레칭(Stretching)된 결과 보정된 히스토그램(우측)을 보여준다. 여기서, 빨간색 선이 Red 채널, 녹색 선이 Green 채널, 파란색 선이 Blue 채널, 자주색 선이 IR 채널을 의미한다. 스트레칭된 히스토그램을 살펴보면, 밝기가 저조한 영역에 군집되어 있던 Blue, IR 채널이 주로 균등하게 확산되었음을 알 수 있다.FIG. 4 is a graph showing the relationship between the original histogram (left side) of the R, G, B and IR channels and the histogram corrected by histogram stretching (right side) for the R, G, Show. Here, the red line indicates a red channel, the green line indicates a green channel, the blue line indicates a blue channel, and the purple line indicates an IR channel. Looking at the stretched histogram, it can be seen that the blue and IR channels, which were clustered in the low brightness region, are mainly spread evenly.

도 5는, 히스토그램 스트레칭의 적용 전과 적용 후의 영상을 비교한 것이다. 스트레칭 적용 전의 원래의 히스토그램(Before)을 보면, R, G, B, Y의 다양한 색의 조명에 따라, R, G, B, IR 각 채널의 히스토그램의 밝기가 상이하게 생성되어 있는 것이 확인된다. 이에 비해, 히스토그램 스트레칭을 적용한 결과 히스토그램(After)을 보면, 히스토그램이 보정되어, 다양한 가변적 조명 환경 내에서도, 적응적으로, 영상이 보정되어, R, G, B, IR 각 채널별 히스토그램의 차이가 거의 없게 됨을 알 수 있다.Fig. 5 shows images before and after application of the histogram stretching. It is confirmed that the histograms of the R, G, B, and IR channels are generated differently depending on the illumination of various colors of R, G, B, and Y in the original histogram (Before) before the stretching application. On the other hand, when the histogram after stretching is applied, the histogram is corrected so that the image is corrected adaptively in various variable illumination environments, and the difference of the histograms for each channel of R, G, B, and IR is almost It can be seen that it is not.

상기 윤곽선 검출단계(50)는, 윤곽선을 검출하는 단계이다. 윤곽선 검출단계는 크게, 잡음제거(Noise Reduction)와 윤곽선 추출처리를 포함한다. 잡음제거는, 영상처리 분야에서 대표적으로 사용되는 미디언 필터(Median Filter), 가중 미디언 필터(Weighted Median Filter), 바이래터럴 필터(Bilateral Filter) 등을 이용한다. 이는, 잡음을 제거하고 경계선을 강조하는 효과가 있어, 윤곽선 검출의 정확도를 향상시키는데 효과적이다. 윤곽선추출은 공지의 방법을 이용한다.The outline detection step (50) is a step of detecting an outline. The contour detection step largely includes noise reduction and contour extraction processing. The noise elimination uses a median filter, a weighted median filter, and a bilateral filter, which are typically used in image processing. This has the effect of eliminating noise and emphasizing boundaries, which is effective in improving the accuracy of contour detection. The contour extraction is performed by a known method.

상기 PSF 컨버젼단계(60)는, 미리 생성해 놓은 PSF(Point Spread Function)모델에 기반하여, 포커스된 컬러에 대하여, 단계별 블러된 레퍼런스 영상들을 생성하는 단계이다. 여기서 레퍼런스 영상들은, 깊이정보를 추출하기 위한 비교영상들이다.The PSF The conversion step 60 is a step of generating reference blurred reference images for the focused color based on a PSF (Point Spread Function) model generated in advance. Here, reference images are comparative images for extracting depth information.

상기 상관관계 처리단계(70)는, 블러된 컬러의 영상과 블러된 레퍼런스 영상들의 상관관계를 계산하는 단계이다. 상관관계의 원리는, 샘플(Target)과 레퍼런스 간의 차이값(Difference)을 추출하고, 이 차이값에 기반하여, 최소값과 최대값이 되는 값을 추출하고, 이를 근거로, 유사성을 판단하는 것이다.The correlation processing step 70 is a step of calculating a correlation between the blurred color image and the blurred reference images. The principle of the correlation is to extract the difference value between the sample and the reference, extract the minimum and maximum value based on the difference, and determine the similarity based on the extracted minimum and maximum values.

상기 깊이맵 생성단계(80)는, 깊이의 단계를 나타내는 깊이맵을 생성하는 단계이다. 깊이맵 생성단계는, 추출된 상관관계 관계를 고려하여, 최대 유사도를 획득한 레퍼런스 영상에 대응하는 단계를 깊이정보로 표현하고, 이에 컬러맵핑(Mapping) 처리를 한다. 맵핑된 컬러정보는 예컨대, 근거리일수록 빨간색, 원거리일수록 파란색으로 표현한다.The depth map generating step 80 is a step of generating a depth map indicating a depth step. In the depth map generation step, a step corresponding to the reference image obtained by obtaining the maximum similarity degree is represented by depth information in consideration of the extracted correlation relationship, and color mapping is performed thereon. For example, the mapped color information is expressed in red for a closer distance, and blue for a longer distance.

이상과 같이 하여 깊이정보가 구해지면, 예컨대 RGB+IR, 그리고 깊이정보를 출력하기 위한 디스플레이 처리단계(90)가 추가될 수 있다.When the depth information is obtained as described above, for example, RGB + IR and a display processing step 90 for outputting depth information may be added.

<효과><Effect>

도 6은, 히스토그램 스트레칭이 적용되기 전과 적용된 후의 깊이정보 산출결과를 보여준다. 여기서, 조명 R, G, B, Y는, 일반적인 조명 컬러를 대표한다. 그리고 스트레칭 되지 않은 원래의 R, G, B, IR 채널의 영상에 기반하여 산출된 깊이맵을 (a)에 나타내는데, 이 실험에 사용된 장비는, R, G, Y 컬러 조명에 대한 깊이맵의 결과가 서로 상이(근거리가 서로 부정확)하고, 특히 B 컬러 조명에 대해서는 근거리와 원거리 정보가 상실되어 매우 부정확한 결과를 내고 있다. 이에 비하여, 본 발명의 스트레칭된 보정된 R, G, B, IR 채널의 영상에 기반하여 산출된 깊이맵을 (b)에 나타내는데, 이 결과를 보면, R, G, B, Y 컬러 조명에 대해, 서로 큰 차이를 보이지 않고, 특별히 부정확한 결과를 나타내고 있지 않음을 알 수 있다.Fig. 6 shows the result of depth information calculation before and after applying the histogram stretching. Here, the lights R, G, B, and Y represent typical illumination colors. (A) shows the depth map calculated based on the images of the original unretained R, G, B and IR channels. The equipment used in this experiment is a depth map of R, G, The results are inaccurate (close to each other), especially for B-color lighting, resulting in very inaccurate results due to loss of near and far information. On the other hand, the depth map calculated based on the image of the stretched corrected R, G, B, and IR channels of the present invention is shown in (b) , There is not a large difference between them, and it can be seen that they do not show particularly inaccurate results.

따라서, 가변적인 조명의 밝기 세기, 다양한 색의 조명의 환경 하에서도, 히스토그램 스트레칭이 각 채널 영상을 균등하게 보정하므로, 이로부터 얻은 깊이정보는, 어떠한 조명 환경 하에서도 신뢰도가 향상된다.Therefore, even under environments of varying illumination brightness and illumination of various colors, the histogram stretching evenly corrects each channel image, so that the depth information obtained from this improves the reliability under any illumination environment.

<장치/시스템><Device / system>

상기 본 발명의 방법은, CPU나 마이크로프로세서 등의 데이터 처리유닛을 중심으로 메모리, 기능처리 반도체 등으로 이루어지는 데이터처리기기에 의해 시스템으로 구현될 수 있다. 상기 방법의 각 단계는, 시스템의 각 부로 대응되어 구현될 수 있고, 실제 구현에 있어서는, 어떤 부는 다른 부에 통합될 수도 있고, 또는 다른 복수의 부로 나뉠 수도 있다.The method of the present invention can be implemented as a system by a data processing device including a memory, a functional processing semiconductor, etc., with a data processing unit such as a CPU or a microprocessor as a center. Each step of the method may be implemented corresponding to each part of the system, and in actual implementation, some parts may be integrated into another part, or may be divided into other parts.

다중컬러센서에 기반하여, 영상 내에서, 고속으로, 깊이정보를 추출하는 장치의 개념도를, 도 1에 나타낸다. 본 발명의 시스템은, 도 1과 같이, 히스토그램 생성부(30)와, 적응적 컬러선택부(40)와, 윤곽선 검출부(50)와, PSF 컨버젼부 (60)와, 상관관계 처리부(70)와, 깊이맵 생성부(80)가 포함됨을 특징으로 한다. 각 부의 상세한 동작은, 상기 방법의 발명의 대응되는 각 단계의 동작을 참조함으로써, 그 상세한 설명은 생략한다.A conceptual diagram of an apparatus for extracting depth information in an image, at high speed, based on a multi-color sensor is shown in Fig. 1, the system of the present invention includes a histogram generator 30 , A color selection unit 40 , an outline detection unit 50 , a PSF Conversion unit 60 , a correlation processing unit 70 , a depth map And a generation unit (80) . The detailed operation of each part will be omitted by referring to the operation of each corresponding step of the method of the present invention.

이상, 구체적 실시예를 들어 본 발명을 설명하였지만, 본 발명은 이에 한하는 것이 아니고, 청구범위에 기재된 범위 내에서 이루어진 개량, 변형, 변경은 모두 본 발명의 범위에 속하는 것으로 해석되어야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the scope of the appended claims.

본 발명은, 가변조명 하의 깊이정보 정확도 향상방법 및 시스템 산업에 이용될 수 있다.INDUSTRIAL APPLICABILITY The present invention can be applied to a method and system industry for improving depth information accuracy under variable illumination.

10: 입력영상
20: 메모리 인터페이스
30: 히스토그램 생성부
40: 적응적 컬러선택부
50: 윤곽선 검출부
60: PSF 컨버젼부
70: 상관관계 처리부
80: 깊이맵 생성부
90: 디스플레이 처리부
10: input image
20: Memory interface
30: histogram generator
40: adaptive color selector
50: contour detector
60: PSF conversion section
70: Correlation processor
80: Depth map generation unit
90:

Claims (8)

가변조명 하의 입력영상으로부터 블러된 컬러와 포커스된 컬러에 의해 산출되는 깊이정보의 정확도를 향상시키는 방법으로서,
가변조명 하의 환경에서 이중조리개(Dual Aperture)에 기반한 다중컬러센서에 의한 입력영상인 컬러영상(R, G, B)과 적외선영상(IR)에 대해, R채널, G채널, B채널, 및 IR채널의 각 채널별 히스토그램을 각각 생성하는 히스토그램 생성단계와,
생성된 R채널, G채널, B채널, IR채널의 각 채널별 히스토그램을 각각 스트레칭하여, 입력영상의 명암 대비 히스토그램이 균등하게 재조정되도록 적응적으로 입력영상을 보정하고, 스트레칭 전후의 R채널, G채널, B채널, IR채널의 각 채널의 변화량을 비교함으로써, 가변조명 하의 이중조리개(Dual Aperture)에 기반한 다중컬러센서로부터의 입력영상의 R채널, G채널, B채널, IR채널의 컬러 중에서, 깊이정보 산출에 사용될 블러된 컬러로서 가장 적합하게 사용될 채널의 컬러와 포커스된 컬러로서 가장 적합하게 사용될 채널의 컬러를 적응적으로 선택하는 적응적 컬러선택단계와,
적응적으로 선택된 상기 블러된 컬러와 상기 포커스된 컬러의 영상으로부터 윤곽선을 검출하는 윤곽선 검출단계와,
미리 생성해 놓은 PSF모델에 기반하여, 상기 포커스된 컬러에 대하여, 블러된 레퍼런스 영상들을 생성하는 PSF 컨버젼단계와,
상기 블러된 컬러의 영상과 상기 블러된 레퍼런스 영상들의 상관관계를 계산하는 상관관계 처리단계와,
상관관계로부터 최대 유사도를 나타내는 블러된 레퍼런스 영상의 깊이값에 의해, 가변조명 하의 다중컬러센서에 의한 컬러영상의 전체의 깊이의 단계를 나타내는 깊이맵을 생성하는 깊이맵 생성단계
가 포함됨을 특징으로 하는 가변조명 하의 깊이정보 정확도 향상방법.
A method for improving the accuracy of depth information calculated by a blurred color and a focused color from an input image under variable illumination,
(R, G, B) and infrared (IR) images, which are input images by a multi-color sensor based on a dual aperture in an environment under variable illumination, A histogram generation step of generating a histogram for each channel of the channel,
The histogram of each channel of the generated R channel, G channel, B channel and IR channel is stretched to adaptively adjust the input image so that the contrast histogram of the input image is uniformly readjusted. Each channel, B channel, and IR channel By comparing the amount of change in the channel, among the colors of the R channel, G channel, B channel, and IR channel of the input image from the multi-color sensor based on the dual aperture under variable illumination, the blurred color An adaptive color selection step of adaptively selecting a color of a channel to be most suitably used and a color of a channel to be most suitably used as a focused color,
An outline detection step of detecting an outline from the blurred color adaptively selected and the image of the focused color,
A PSF conversion step of generating blurred reference images for the focused color based on a PSF model generated in advance;
A correlation processing step of calculating a correlation between the blurred color image and the blurred reference images,
A depth map generation step of generating a depth map indicating a step of the entire depth of the color image by the multi-color sensor under the variable illumination by the depth value of the blurred reference image showing the maximum degree of similarity from the correlation
Wherein the depth information of the variable illumination is obtained by the following method.
청구항 1에 있어서,
상기 히스토그램의 스트레칭은, 선형적 히스토그램 스트레칭 수식을 따라 수행됨
을 특징으로 하는 가변조명 하의 깊이정보 정확도 향상방법.
The method according to claim 1,
The stretching of the histogram is performed according to a linear histogram stretching formula .
Wherein the depth information under the variable illumination is enhanced.
청구항 2에 있어서,
상기 선형적 히스토그램 스트레칭 수식은,
Figure 112015128821912-pat00004

이고, 여기서,
I는 영상 내 화소를 정의하고,
I(N)은 변환된 화소를 의미하고,
Min과 Max는 R, G, B, IR 채널의 각 히스토그램의 밝기의 최소, 최대를 나타내고,
newMin과 newMax는 통합적인 (R+G+B+IR) 히스토그램의 밝기의 최소, 최대를 나타냄
을 특징으로 하는 가변조명 하의 깊이정보 정확도 향상방법.
The method of claim 2,
The linear histogram stretching formula may include:
Figure 112015128821912-pat00004

Lt; / RTI &gt;
I defines pixels in an image,
I (N) means the converted pixel,
Min and Max represent the minimum and maximum brightness of each histogram of the R, G, B and IR channels,
newMin and newMax represent the minimum and maximum brightness of the integrated (R + G + B + IR) histogram.
Wherein the depth information under the variable illumination is enhanced.
청구항 1 내지 청구항 3 중 어느 하나에 있어서,
상기 히스토그램 생성단계는 (t-1) 시점에서 수행되고,
상기 적응적 컬러선택단계 이후는 (t) 시점에서 수행됨
을 특징으로 하는 가변조명 하의 깊이정보 정확도 향상방법.
The method according to any one of claims 1 to 3,
The histogram generation step is performed at a time point (t-1)
After the adaptive color selection step is performed at time t
Wherein the depth information under the variable illumination is enhanced.
가변조명 하의 입력영상으로부터 블러된 컬러와 포커스된 컬러에 의해 산출되는 깊이정보의 정확도를 향상시키는 시스템으로서,
가변조명 하의 환경에서 이중조리개(Dual Aperture)에 기반한 다중컬러센서에 의한 입력영상인 컬러영상(R, G, B)과 적외선영상(IR)에 대해, R채널, G채널, B채널, 및 IR채널의 각 채널별 히스토그램을 각각 생성하는 히스토그램 생성부와,
생성된 R채널, G채널, B채널, IR채널의 각 채널별 히스토그램을 각각 스트레칭하여, 입력영상의 명암 대비 히스토그램이 균등하게 재조정되도록 적응적으로 입력영상을 보정하고, 스트레칭 전후의 R채널, G채널, B채널, IR채널의 각 채널의 변화량을 비교함으로써, 가변조명 하의 이중조리개(Dual Aperture)에 기반한 다중컬러센서로부터의 입력영상의 R채널, G채널, B채널, IR채널의 컬러 중에서, 깊이정보 산출에 사용될, 블러된 컬러로서 가장 적합하게 사용될 채널의 컬러와, 포커스된 컬러로서 가장 적합하게 사용될 채널의 컬러를, 적응적으로 선택하는 적응적 컬러선택부와,
적응적으로 선택된 상기 블러된 컬러와 상기 포커스된 컬러의 영상으로부터 윤곽선을 검출하는 윤곽선 검출부와,
미리 생성해 놓은 PSF모델에 기반하여, 상기 포커스된 컬러에 대하여, 복수의 블러된 레퍼런스 영상들을 생성하는 PSF 컨버젼부와,
상기 블러된 컬러의 영상과 상기 복수의 블러된 레퍼런스 영상들의 상관관계를 계산하는 상관관계 처리부와,
상관관계로부터 최대 유사도를 나타내는 블러된 레퍼런스 영상의 깊이값에 의해, 가변조명 하의 다중컬러센서에 의한 컬러영상의 전체의 깊이의 단계를 나타내는 깊이맵을 생성하는 깊이맵 생성부
가 포함됨을 특징으로 하는 가변조명 하의 깊이정보 정확도 향상시스템.
A system for improving the accuracy of depth information computed by a blurred color and a focused color from an input image under variable illumination,
(R, G, B) and infrared (IR) images, which are input images by a multi-color sensor based on a dual aperture in an environment under variable illumination, A histogram generator for generating a histogram for each channel of the channel,
The histogram of each channel of the generated R channel, G channel, B channel and IR channel is stretched to adaptively adjust the input image so that the contrast histogram of the input image is uniformly readjusted. Each channel, B channel, and IR channel By comparing the amount of change in the channel, it is possible to obtain a blurred color to be used for calculating the depth information, among the colors of the R channel, G channel, B channel, and IR channel of the input image from the multi-color sensor based on the dual aperture under variable illumination An adaptive color selector for adaptively selecting a color of a channel to be most suitably used as a focused color and a color of a channel to be most suitably used as a focused color,
An outline detecting unit for detecting an outline from the blurred color and the focused color image adaptively selected,
A PSF conversion unit for generating a plurality of blurred reference images with respect to the focused color based on a PSF model generated in advance;
A correlation processor for calculating a correlation between the blurred color image and the plurality of blurred reference images,
A depth map generating unit for generating a depth map indicating a step of the entire depth of the color image by the multi-color sensor under the variable illumination by the depth value of the blurred reference image showing the maximum similarity from the correlation,
Wherein the depth information accuracy enhancement system is a variable depth illumination system.
청구항 5에 있어서,
상기 히스토그램의 스트레칭은, 선형적 히스토그램 스트레칭 수식을 따라 수행됨
을 특징으로 하는 가변조명 하의 깊이정보 정확도 향상시스템.
The method of claim 5,
The stretching of the histogram is performed according to a linear histogram stretching formula .
A depth information accuracy enhancement system under variable illumination.
청구항 6에 있어서,
상기 선형적 히스토그램 스트레칭 수식은,
Figure 112015128821912-pat00005

이고, 여기서,
I는 영상 내 화소를 정의하고,
I(N)은 변환된 화소를 의미하고,
Min과 Max는 R, G, B, IR 채널의 각 히스토그램의 밝기의 최소, 최대를 나타내고,
newMin과 newMax는 통합적인 (R+G+B+IR) 히스토그램의 밝기의 최소, 최대를 나타냄
을 특징으로 하는 가변조명 하의 깊이정보 정확도 향상시스템.
The method of claim 6,
The linear histogram stretching formula may include:
Figure 112015128821912-pat00005

Lt; / RTI &gt;
I defines pixels in an image,
I (N) means the converted pixel,
Min and Max represent the minimum and maximum brightness of each histogram of the R, G, B and IR channels,
newMin and newMax represent the minimum and maximum brightness of the integrated (R + G + B + IR) histogram.
A depth information accuracy enhancement system under variable illumination.
청구항 5 내지 청구항 7 중 어느 하나에 있어서,
상기 히스토그램 생성부는 (t-1) 시점에서 수행되고,
상기 적응적 컬러선택부 이후는 (t) 시점에서 수행됨
을 특징으로 하는 가변조명 하의 깊이정보 정확도 향상시스템.
The method according to any one of claims 5 to 7,
The histogram generation unit is performed at a time point (t-1)
After the adaptive color selection unit is performed at time t
A depth information accuracy enhancement system under variable illumination.
KR1020150189691A 2015-12-30 2015-12-30 Enhancing method and system of accuracy of depth map under variable illumination KR101796523B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150189691A KR101796523B1 (en) 2015-12-30 2015-12-30 Enhancing method and system of accuracy of depth map under variable illumination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150189691A KR101796523B1 (en) 2015-12-30 2015-12-30 Enhancing method and system of accuracy of depth map under variable illumination

Publications (2)

Publication Number Publication Date
KR20170079288A KR20170079288A (en) 2017-07-10
KR101796523B1 true KR101796523B1 (en) 2017-11-15

Family

ID=59356547

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150189691A KR101796523B1 (en) 2015-12-30 2015-12-30 Enhancing method and system of accuracy of depth map under variable illumination

Country Status (1)

Country Link
KR (1) KR101796523B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159024A1 (en) * 2019-02-01 2020-08-06 엘지전자 주식회사 Non-same camera based image processing apparatus
US11568519B2 (en) 2020-08-31 2023-01-31 Samsung Electronics Co., Ltd. Image enhancement method, image enhancement apparatus, and method and apparatus for training image enhancement apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020051747A1 (en) * 2018-09-10 2020-03-19 深圳配天智能技术研究院有限公司 Method of acquiring contour of object, image processing method and computer storage medium
US11276166B2 (en) * 2019-12-30 2022-03-15 GE Precision Healthcare LLC Systems and methods for patient structure estimation during medical imaging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022308A (en) * 2010-06-14 2012-02-02 Nikon Corp Imaging device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022308A (en) * 2010-06-14 2012-02-02 Nikon Corp Imaging device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020159024A1 (en) * 2019-02-01 2020-08-06 엘지전자 주식회사 Non-same camera based image processing apparatus
US11589028B2 (en) 2019-02-01 2023-02-21 Lg Electronics Inc. Non-same camera based image processing apparatus
US11568519B2 (en) 2020-08-31 2023-01-31 Samsung Electronics Co., Ltd. Image enhancement method, image enhancement apparatus, and method and apparatus for training image enhancement apparatus

Also Published As

Publication number Publication date
KR20170079288A (en) 2017-07-10

Similar Documents

Publication Publication Date Title
US20200043225A1 (en) Image processing apparatus and control method thereof
JP6351903B1 (en) Image processing apparatus, image processing method, and photographing apparatus
KR101796523B1 (en) Enhancing method and system of accuracy of depth map under variable illumination
US10922801B2 (en) Channel-based binarization of color
ITVA20060079A1 (en) PIXEL CHROMATIC CLASSIFICATION METHOD AND ADAPTIVE IMPROVEMENT METHOD OF A COLOR IMAGE
US10354413B2 (en) Detection system and picture filtering method thereof
US8737762B2 (en) Method for enhancing image edge
JP2015520467A5 (en)
US9384561B2 (en) Method of selecting a region of interest
US9367767B2 (en) Data processor and computer-readable non-volatile recording medium for storing program for data processing
US10803625B2 (en) Detection system and picturing filtering method thereof
KR101796551B1 (en) Speedy calculation method and system of depth information strong against variable illumination
US10764471B1 (en) Customized grayscale conversion in color form processing for text recognition in OCR
JP5203159B2 (en) Image processing method, image processing system, and image processing program
JP4742068B2 (en) Image processing method, image processing system, and image processing program
Li et al. Contrast enhancement algorithm for outdoor infrared images based on local gradient-grayscale statistical feature
KR20170024287A (en) Apparatus and method for processing image to adaptively enhance low contrast, and apparatus for detecting object employing the same
JP6929923B2 (en) Methods, devices, and systems for highlighting changes in images captured by thermal cameras
US9704210B2 (en) Normalized mark data
KR101477736B1 (en) Apparatus and method for white point estimation based dark channel prior for auto white balance
KR20140106870A (en) Apparatus and method of color image quality enhancement using intensity image and depth image
Agarwal et al. Specular reflection removal in cervigrams
KR100963240B1 (en) Color marker recognition method and device
KR101490594B1 (en) Method and apparatus for processing image including for area
KR20140016527A (en) Apparatus for image processing based histogram and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151230

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20161123

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170807

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20171106

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171107

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20221101

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20231107

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20241107

Start annual number: 8

End annual number: 8