KR20130058972A - 자동 영상보정을 위한 영상 처리 장치 및 방법 - Google Patents

자동 영상보정을 위한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20130058972A
KR20130058972A KR1020110125013A KR20110125013A KR20130058972A KR 20130058972 A KR20130058972 A KR 20130058972A KR 1020110125013 A KR1020110125013 A KR 1020110125013A KR 20110125013 A KR20110125013 A KR 20110125013A KR 20130058972 A KR20130058972 A KR 20130058972A
Authority
KR
South Korea
Prior art keywords
brightness value
input image
region
image
histogram
Prior art date
Application number
KR1020110125013A
Other languages
English (en)
Other versions
KR101349968B1 (ko
Inventor
이조원
조성택
정영동
김연태
박낙규
장준기
Original Assignee
엔에이치엔(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔(주) filed Critical 엔에이치엔(주)
Priority to KR1020110125013A priority Critical patent/KR101349968B1/ko
Priority to JP2012259428A priority patent/JP2013114692A/ja
Publication of KR20130058972A publication Critical patent/KR20130058972A/ko
Application granted granted Critical
Publication of KR101349968B1 publication Critical patent/KR101349968B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

영상 자동 보정을 수행하는 영상 처리 장치가 제공된다. 영상 처리 장치는 입력 영상의 최대 명도 값 및 최소 명도 값을 결정한다. 그리고 상기 최대 명도 값 및 상기 최소 명도 값을 이용하여 상기 입력 영상을 영역별로 히스토그램 스트레칭 한다. 이 경우 각 영역의 명도 분포에 따라 각 영역 별 히스토그램 스트레칭 정도는 상이하게 적용된다.

Description

자동 영상보정을 위한 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR AUTOMATICALLY ADJUSTMENT OF IMAGE}
영상 처리 장치 및 방법에 연관되며, 보다 특정하게는 입력 영상의 히스토그램을 스트레칭 하여 명도나 대비의 동적 범위를 넓히고 칼라 값을 조정하여 영상 품질을 향상시키는 장치 및 방법에 연관된다.
온라인으로 사진을 업로드 하여 블로그에 포스팅하거나, 또는 사진인화 서비스를 이용하는 경우가 증가하고 있다. 이러한 경우, 영상을 자동 보정하는 기능이 어플리케이션 형태로 제공되기도 한다.
영상 보정에는 노출 보정, 노이즈 제거 등의 다양한 영상 처리(Image processing) 기법이 포함된다.
사진을 촬영하는 공간의 빛이 충분하지 않거나 혹은 너무 빛이 과도한 경우 과소 노출 또는 과대 노출된 영상이 생성되는데, 이러한 경우 영상을 히스토그램 분석 하면 히스토그램의 동적 범위(Dynamic range)가 좁게 분포된 것을 알 수 있다.
이러한 경우에 히스토그램의 동적 범위를 넓혀서 영상의 노출을 적절히 보정하는 내용이 알려져 있으며, 히스토그램 스트레칭(Histogram stretching)이라고도 한다.
그런데 종래의 기술에 의해 히스토그램 스트레칭을 수행하는 경우 사람의 시각적 정보 인지 특성을 고려하지 않아, 영상의 히스토그램에 대한 동적 범위는 넓어지지만 영상이 자연스럽지 못하고 색감이 왜곡되는 경우가 발생하였다.
따라서 사람의 시각적 정보 인지 특성을 고려하여 자연스럽게 영상의 대비(Contrast)를 향상시키는 영상 처리가 요구된다.
사용자가 고급 영상 보정 어플리케이션을 사용하지 않고도 영상을 자동으로 보정하는 영상 처리 장치 및 방법이 제공된다.
시각적 왜곡 없이 대비의 동적 범위를 향상시켜 영상의 노출을 자동 보정하는 영상 처리 장치 및 방법이 제공된다.
인간의 시각적 민감도에 최적화여 칼라 값을 보정하는 영상 처리 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 입력 영상의 색 공간을 변경하여 모노톤 영상을 생성하는 색 공간 변경부, 상기 모노톤 영상을 복수 개의 영역으로 분할하는 영역 분할부, 및 상기 복수 개의 영역 각각에 대해 영역 별 히스토그램 스트레칭을 수행하는 처리부를 포함하는 영상 처리 장치가 제공된다.
일부 실시예에서는, 상기 영상 처리 장치는 상기 모노톤 영상의 명도 값을 히스토그램 분석하여 상기 입력 영상의 최대 명도 값 및 상기 입력 영상의 최소 명도 값을 결정하는 히스토그램 분석부를 더 포함할 수 있다.
이 경우, 상기 처리부는 상기 입력 영상의 최대 명도 값 및 상기 입력 영상의 최소 명도 값을 이용하여 상기 영역 별 히스토그램 스트레칭을 수행할 정도를 결정할 수 있다.
한편, 본 발명의 일실시예에 따르면, 상기 색 공간 변경부는 상기 입력 영상의 색 공간이 RGB 색 공간인 경우에 HSB 색 공간으로 변경한다.
한편, 상기 영상 처리 장치는 상기 영역 별 히스토그램 스트레칭된 결과를 종합하여 출력 영상을 생성하는 영역 통합부를 더 포함할 수도 있다.
본 발명의 다른 일측에 따르면, 입력 영상의 최대 명도 값과 상기 입력 영상의 최소 명도 값을 결정하는 히스토그램 분석부, 및 상기 입력 영상의 일부분인 제1 영역에 대하여 상기 입력 영상의 최대 명도 값과 상기 입력 영상의 최소 명도 값을 이용하여 히스토그램 스트레칭을 수행하는 처리부를 포함하는 영상 처리 장치가 제공된다.
이 경우, 상기 처리부는, 상기 제1 영역 내의 각 픽셀의 명도 값이 상기 입력 영상의 최대 명도 값과 차이가 나는 정도에 비례하여 상기 제1 영역의 평균 밝기 값을 증가시켜서 상기 제1 영역의 최대 명도 값을 결정하고, 상기 제1 영역 내의 각 픽셀의 명도 값이 상기 입력 영상의 최소 명도 값과 차이가 나는 정도에 비례하여 상기 제1 영역의 평균 밝기 값을 감소시켜서 상기 제1 영역의 최소 명도 값을 결정하고, 상기 제1 영역의 최대 명도 값과 상기 제1 영역의 최소 명도 값 사이의 차이와 미리 지정된 동적 범위 값의 비율에 따라 상기 제1 영역 내의 각 픽셀의 명도 값을 조정하여 상기 히스토그램 스트레칭을 수행할 수 있다.
본 발명의 또 다른 일측에 따르면, 입력 영상의 색 공간을 변경하여 명도 분포를 추출하는 단계, 상기 입력 영상의 최대 명도 값 및 상기 입력 영상의 최소 명도 값을 결정하는 단계, 상기 입력 영상의 최대 명도 값 및 상기 입력 영상의 최소 명도 값을 이용하여 상기 입력 영상을 복수 개로 분할한 각 영역에 대한 영역별 히스토그램 스트레칭을 수행하는 단계를 포함하는 영상 처리 방법이 제공된다.
이 경우, 상기 영역별 히스토그램 스트레칭을 수행하는 단계에서는 상기 복수 개로 분할한 각 영역에 대해 영역 내부 명도 값 분포가 상기 입력 영상의 최대 명도 값과 차이가 클수록 영역별 히스토그램 스트레칭 정도를 크게 할 수 있다.
또한, 상기 영역별 히스토그램 스트레칭을 수행하는 단계에서는 상기 복수 개로 분할한 각 영역에 대해 영역 내부 명도 값 분포가 상기 입력 영상의 최소 명도 값과 차이가 클수록 영역별 히스토그램 스트레칭 정도를 크게 결정할 수 있다.
본 발명의 또 다른 일측에 따르면, 입력 영상의 최대 명도 값과 상기 입력 영상의 최소 명도 값을 결정하는 단계, 상기 입력 영상을 복수 개의 영역으로 분할하는 단계, 및 상기 복수 개의 영역 중 제1 영역에 대하여 상기 입력 영상의 최대 명도 값과 상기 입력 영상의 최소 명도 값을 이용하여 영역별 히스토그램 스트레칭을 수행하는 단계를 포함하는 영상 처리 방법이 제공된다.
이 경우, 상기 영역별 히스토그램 스트레칭을 수행하는 단계에서는, 상기 입력 영상의 최대 명도 값 및 상기 입력 영상의 최소 명도 값을 이용하여 상기 영역 별 히스토그램 스트레칭을 수행할 정도를 결정한다.
본 발명의 일실시예에 따르면, 상기 영역별 히스토그램 스트레칭을 수행하는 단계는, 상기 제1 영역 내의 픽셀들의 명도 값 분포가 상기 입력 영상의 최대 명도 값과 차이가 클수록 상기 제1 영역에 대한 영역별 히스토그램 스트레칭 정도를 크게 결정한다.
그리고, 상기 영역별 히스토그램 스트레칭을 수행하는 단계는, 상기 제1 영역 내의 픽셀들의 명도 값 분포가 상기 입력 영상의 최소 명도 값과 차이가 클수록 상기 제1 영역에 대한 영역별 히스토그램 스트레칭 정도를 크게 결정할 수 있다.
본 발명의 또 다른 일측에 따르면, 인간의 시각 민감도에 관한 특성 곡선을 이용하여 입력 칼라 영상의 칼라 값을 조정하는 전달 함수 곡선에 있어서, 상기 전달 함수 곡선의 입력 값이 제1 임계 값 미만인 구간에서는 상기 전달 함수 곡선을 제1 비율로 조정하고, 상기 전달 함수 곡선의 입력 값이 상기 제1 임계 값을 초과하는 구간에서는 상기 전달 함수 곡선을 제2 비율로 조정하는 영상 처리 방법이 제공된다.
이 경우, 상기 제1 임계 값은 0.2이고, 상기 제1 비율은 0.6이고, 상기 제2 비율은 0.2일 수 있다.
고급 영상 보정 어플리케이션을 사용하지 않고도 영상이 자동으로 보정되어, 온라인에서의 활용도가 높다.
영상의 동적 범위를 넓혀서 대비를 향상시키면서도 인위적인 조정으로 인한 시각적 부자연스러움이 방지된다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일실시예에 따라 영상 처리 장치에 입력되는 입력 영상을 설명하기 위한 개념도이다.
도 3은 도 2에서 설명한 예시적 입력 영상에 대해 색 공간 변경을 수행하여 모노 톤 영상을 생성한 결과를 설명하기 위한 개념도이다.
도 4는 본 발명의 일실시예에 따라 도 3의 모노 톤 영상의 명도 분포를 히스토그램 분석한 결과를 도시한다.
도 5는 본 발명의 일실시예에 따라 도 3의 모노 톤 영상을 복수 개의 영역들로 분할하여 영상 처리를 수행하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라 영역별 히스토그램 스트레칭을 수행하는 과정을 도시한다.
도 7은 본 발명의 일실시예에 따라 도 2를 참조하여 상술한 예시적 입력 영상을 자동 보정한 결과를 설명하기 위한 개념도이다.
도 8은 본 발명의 일실시예에 따라 인간의 홍채 특성을 칼라 값 보정에 이용하는 과정을 설명하기 위한 그래프이다.
도 9는 본 발명의 일실시예에 따른 영상 처리 방법을 도시하는 흐름도이다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치(100)를 도시한다.
본 발명의 일실시예에 따르면 영상 처리 장치(100)는 입력 영상의 색 공간을 변경하여 명도 값을 계산하는 색 공간 변경부(110)를 포함한다.
그리고 히스토그램 분석부(120)는 입력 영상의 명도 값 분포를 히스토그램 분석하여 입력 영상의 최대 명도 값 및 최소 명도 값을 추출한다.
본 발명의 일실시예에 따르면 영상 처리 장치(100)의 영역 분할부(130)는 입력 영상을 복수 개의 부분 영역들로 분할하고, 처리부(140)는 분할된 각각의 부분 영역들에 대해 개별적 히스토그램 스트레칭을 수행한다.
이러한 영역별 히스토그램 스트레칭의 실시예들은 도 5 내지 도 6을 참조하여 보다 상세히 후술한다.
그러면 영역 통합부(150)는 이러한 영역별 히스토그램 스트레칭 결과를 조합하여 전체 결과 영상을 생성한다. 이 과정에서 최초의 입력 영상 색 공간으로의 복원이 수행될 수 있다.
이하에서는 영상 처리 장치(100)의 동작을 도 2 이하를 참조하여 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따라 영상 처리 장치에 입력되는 입력 영상(200)을 설명하기 위한 개념도이다.
입력 영상(200)은 전체적으로 노출이 부족하여 어두운 영상을 예시적으로 도시한다. 이러한 노출 부족은 영상 촬영 당시 주변 광량이 부족하거나, 셔터 스피드가 너무 빠르거나, 및/또는 센서 감도가 낮아 전체적인 대비(Contrast)가 부족하고 명도가 어두운 픽셀이 많은 영상이다.
이하의 설명에서 이러한 입력 영상(200)은 RGB 색 공간(Red Green Blue Color Space)에서 정의되는 칼라 값을 갖는다고 가정한다. 그러나, 이러한 가정이 본 발명의 사상을 변경하지 않는 범위에서 sRGB (super RGB), CMYK (Cyan Magenta Yellow Black) 등 다른 색 공간에의 적용을 배제하는 것은 아니며, RGB 색 공간에 관한 설명은 본 발명의 이해를 돕기 위한 일실시예에 불과하다.
RGB 색 공간에서 입력 영상(200)이 정의되는 경우, 색 공간 변경부(110)는 이 RGB 색 공간을 다른 색 공간, 이를테면 HSB (Hue Saturation Brightness) 색 공간으로 변환하여 입력 영상(200)의 칼라 값을 다시 정의할 수 있다. 참고로 HSB는 HSV라고도 하며 HSV에서는 밝기(Brightness)를 Value로 표현한다.
다만, 이러한 색 공간 변경부(110)의 색 공간 변경 동작은 입력 영상(200)의 명도 값을 분석하기 위한 실시예에 불과하며, 입력 영상(200)의 최대 명도 값 및 최소 명도 값을 추출할 수 있는 다른 어떠한 방법도 가능하다.
이하에서는 색 공간 변경부(110)가 RGB 색 공간에서 정의된 입력 영상(200)을 HSB 색 공간에서 다시 정의하여 칼라 값을 변경함으로써 명도 분포를 분석하는 것으로 가정하여 설명하나, 본 발명이 이러한 일부 실시예에 국한되는 것은 아니다.
도 3은 도 2에서 설명한 예시적 입력 영상에 대해 색 공간 변경을 수행하여 모노 톤 영상을 생성한 결과를 설명하기 위한 개념도이다.
상술한 바와 같이 색 공간 변경부(110)가 RGB 색 공간에서 정의된 입력 영상(200)을 HSB 색 공간에서 다시 정의하는 경우, 모노톤 영상(300)이 생성될 수 있다. 이러한 모노톤 영상(300)은 HSB 색 공간에서 정의된 입력 영상(200)의 B (Brightness) 값만으로 구성된 영상으로 이해될 수 있다.
그러면 히스토그램 분석부(120)는 이 모노톤 영상(300)의 명도 값 분포를 히스토그램으로 표현한다. 히스토그램은 이산 값(discrete value)으로 정의되는 밝기 레벨 각각에 대한 픽셀 수의 분포를 나타내는 것이다.
도 4는 본 발명의 일실시예에 따라 도 3의 모노 톤 영상(300)의 명도 분포를 히스토그램 분석한 결과(400)를 도시한다.
히스토그램 분석부(120)는 모노톤 영상의 명도 분포(410)를 분석하여 최대 명도 값 MAX all 및 최소 명도 값 MIN all을 추출한다.
이 최대 명도 값 MAX all 및 최소 명도 값 MIN all은 각각 입력 영상(200)의 최대 및 최소 명도 값으로 이해될 수 있다.
이하에서 설명하는 본 발명의 실시예들에서는 영상 처리 장치(100)가 입력 영상(200) 또는 모노톤 영상(300)을 복수 개의 영역, 이를테면 블록(Block)으로 분할한 다음 각 영역에 대해 히스토그램 스트레칭을 별도로 수행한다.
그러나 각 영역에 대해 히스토그램 스트레칭의 정도를 달리하면서 전체적인 균형을 맞추기 위해 상기 입력 영상(200)의 최대 명도 값 MAX all 및 최소 명도 값 MIN all을 이용한다. 보다 상세한 내용은 도 5 이하를 참조하여 후술한다.
도 5는 본 발명의 일실시예에 따라 도 3의 모노 톤 영상(300)을 복수 개의 영역들로 분할하여 영상 처리를 수행하는 과정을 설명하기 위한 도면(500)이다.
예시적으로 모노톤 영상(300)이 가로 16개, 세로 12개, 총 192개의 영역으로 분할되었으며, 영역(510)은 그 중 하나이다. 여기서 설명하는 영상을 분할하는 영역 개수는 어디까지나 예시적인 것임은 당업자에게 자명한 사항이다.
본 발명의 일실시예에 따르면, 전체 입력 영상(200)에 일률적인 히스토그램 스트레칭을 수행하는 대신 사람의 시각 인식 특성을 반영하여 영역 별로 상이한 정도의 히스토그램 스트레칭을 수행한다.
사람은 카메라와는 달리, 풍경을 볼 때 전체의 일부를 보거나 사물을 각각 보며 볼 때마다 초점을 맞추어 인지하고, 이렇게 나누어 인지된 부분들을 뇌에서 조합하여 하나의 영상으로 재구성한다.
그런데 카메라는 하나의 렌즈를 사용하여 전체 영상을 한 번에 생성하는 것이므로, 카메라로 찍은 영상을 사람이 인지하는 것과 유사하게 하기 위해서는 보정도 전체 이미지를 대상으로 하지 않고, 작은 영역들로 나누거나 또는 사물(Object) 단위로 나누어 보정한 다음 이렇게 영역 별 또는 사물 단위로 보정된 결과를 조합하면 사람이 인지하는 것과 유사하게 영상이 보정될 수 있다.
본 발명의 일실시예에 따르면, 영상 처리 장치(100)의 영역 분할부(130)는 이러한 인식에 근거하여 입력 영상(200) 또는 입력 영상의 모노톤 영상(300)을 복수 개의 영역으로 분할한다.
그리고, 처리부(140)는 영역 별로 다른 정도의 히스토그램 스트레칭을 수행하며, 이 과정은 도 6을 참조하여 보다 상세히 후술한다.
그리고 영역 통합부(150)는 이렇게 영역별로 히스토그램 스트레칭이 수행된 결과를 조합하여 결과 영상을 만들어 낸다.
도 6은 본 발명의 일실시예에 따라 영역별 히스토그램 스트레칭을 수행하는 과정을 도시한다.
도 5의 예시적 부분 영역(510)이 가로 M 개, 세로 N 개의 픽셀로 구성되어 있다고 가정한다. 이 M과 N은 각각 자연수이다.
부분 영역(510)에 대해 히스토그램 스트레칭(Histogram stretching)을 수행함에 있어서 다른 부분 영역들과는 다른 부분 영역(510)에만 적용되는 히스토그램 스트레칭 정도를 결정한다.
영역별 히스토그램 스트레칭을 수행하기 전의 부분 영역(510)의 명도 분포가 그래프(610)이라고 가정한다. 이 분포에서 최대 명도 값은 max Rk이고, 최소 명도 값은 min Rk 이다.
이 max Rk에서 min Rk 로 구성되는 부분 영역(510)의 동적 범위(Dynamic Range)를 단순히 MAX all과 MIN all 의 범위로 확대하거나, 또는 최대 값 255와 최소 값 0의 범위로 확대한다면 부분 영역(510) 내의 동적 범위는 최대화 되나 다른 영역과의 연속성이 유지되지 않아 입력 영상(200)은 블록화 되어버린다.
따라서 본 발명의 일실시예에 따르면 영역 별 히스토그램 스트레칭을 수행하되, 입력 영상의 최대 명도 값인 MAX all과 입력 영상의 최소 명도 값인 MIN all 을 이용하면서도 영역 별 명도 값 분포에 따라 적응적으로(adaptively) 히스토그램 스트레칭 정도를 달리 적용한다.
상세한 내용은 아래 수학식들에 의해 표현된다.
Figure pat00001
I(x, y)는 부분 영역(510) 내의 개별 픽셀 들의 명도 값이고, αu는 스트레칭 정도를 조정하기 위한 비례 상수로서 0 내지 1의 값 중에서 선택된다. 그리고 m과 n은 각각 부분 영역(510) 주변의 일부 픽셀 값을 더 반영하여 계산하기 위한 고려에서 포함된다. 이러한 MAXI 값이 영역별 히스토그램 스트레칭에 있어서 부분 영역(510)이 스트레칭 되기 전의 최대 명도 값이다.
Figure pat00002
상기 수학식 2에서 αl도 스트레칭 정도를 조정하기 위한 비례 상수로서 0 내지 1의 값 중에서 선택되며, 이러한 MINI 값이 영역별 히스토그램 스트레칭에 있어서 부분 영역(510)이 스트레칭 되기 전의 최소 명도 값이다
아래 수학식 3을 참조하면 본 발명의 일실시예에 따른 영역별 히스토그램 스트레칭에 있어서 부분 영역(510)에 적용되는 히스토그램 스트레칭 정도는 동적 범위 (MAXI - MINI)를 새로운 동적 범위 (MAXO - MINO)로 늘리는 것이다.
Figure pat00003
여기서 MAXO와 MINO는 각각 히스토그램 스트레칭 된 후의 새로운 동적 범위의 상한과 하한으로써, 설정에 따라 고정되는 상수이다. 8비트 칼라 값의 범위에서는 도 6에 도시된 것처럼 MAXO이 255로, MINO이 0으로 설정될 수 있다.
그리고 O(x, y)는 상기 I(x, y)이 히스토그램 스트레칭 된 새로운 명도 값이다. 이러한 방식으로 부분 영역(510)에 대한 명도 분포가 그래프(610)에서 그래프(620)으로 변경되었다.
이러한 실시예에 따르면 영역 별로 히스토그램 스트레칭이 너무 다르게 수행되어 발생되는 블록화 현상이 방지되면서도 영역 별 동적 범위가 최대로 확보되어 자연스럽고 선명한 색으로 보정된다.
처리부(140)는 이러한 과정을 부분 영역(510)뿐만 아니라 다른 부분 영역들 전체에 대해 각각 수행한다. 그리고 영역 통합부(150)는 이러한 부분 처리 결과를 조합하여 전체 결과 영상을 생성한다.
도 7은 본 발명의 일실시예에 따라 도 2를 참조하여 상술한 예시적 입력 영상(200)을 자동 보정한 결과(700)를 설명하기 위한 개념도이다.
전체적으로 대비(Contrast)가 개선되어 동적 범위가 확대되었다. 또한, 영역 분할 없이 전체를 히스토그램 스트레칭 하거나 영역 별 히스토그램 스트레칭을 하는 경우에도 개별 영역에 대한 적절한 히스토그램 스트레칭을 적용하지 못했던 종래와 달리 자연스럽고 좋은 품질의 보정이 수행되었다.
도 8은 본 발명의 일실시예에 따라 인간의 홍채 특성을 칼라 값 보정에 이용하는 과정을 설명하기 위한 그래프이다.
인간의 시각은 암부와 명부에 대한 민감도가 다르다. 이러한 점은 감마 특성 개선(gamma correction)에 이용되기도 한다.
그래프(800)은 이러한 인간의 시각 특성을 반영하여 보다 가시성(Visibility)가 개선된 칼라 값을 생성하기 위한 전달 함수(transfer function) 그래프이다.
입력 값과 출력 값에 대해 입력 값이 0.2 미만인 구간에서는 출력을 낮추고 0.2를 초과하는 구간에서는 출력을 더 높인다. 그런데 점선과 같이 표시된 종래의 전달 함수(810)는 암부와 명부 각각에서 개선 효과가 좋지 못하였다.
따라서 본 발명의 일실시예에 따르면 종래의 전달 함수 그래프(810)에 대해 입력 값 0.2 미만의 구간에서는 종래의 전달 함수 그래프(810)의 60%만 적용하고, 입력 값 0.2 초과 구간에서는 종래의 전달 함수 그래프(810)의 20%만 적용한다.
본 발명의 실시예에 따른 새로운 전달함수가 그래프(820)에 도시된다. 영상에 대해 RGB 각각의 비율은 유지하되 이러한 전달함수를 이용하여 칼라 값을 조정하는 경우 영상의 품질이 크게 개선된다.
도 9는 본 발명의 일실시예에 따른 영상 처리 방법을 도시하는 흐름도이다.
단계(910)에서 영상 처리 장치(100)의 색 공간 변경부(110)는 입력 영상의 색 공간을 변경하여 명도 값을 계산한다. 이러한 과정에서 모노톤 영상이 생성될 수도 있으며, 상세한 내용은 도 2 내지 도 3을 참조하여 상술한 바와 같다.
단계(920)에서는 영상 처리 장치(100)의 히스토그램 분석부(120)가 입력 영상의 명도 값 분포를 히스토그램 분석하여 입력 영상의 최대 명도 값 및 최소 명도 값을 추출한다.
그리고, 단계(930)에서 영상 처리 장치(100)의 영역 분할부(130)는 입력 영상을 복수 개의 부분 영역들로 분할한다.
그러면 단계(940)에서 영상 처리 장치(100)의 처리부(140)가 분할된 각각의 부분 영역들에 대해 개별적 히스토그램 스트레칭을 수행한다.
이러한 과정에서 부분 영역에 대한 히스토그램 스트레칭은 개별 영역 내의 명도 분포에 따라 다르게 수행되며, 상세한 과정은 도 5 내지 도 6을 참조하여 상술한 바와 같다.
그러면 단계(950)에서 영상 처리 장치(100)의 영역 통합부(150)가 이러한 영역별 히스토그램 스트레칭 결과를 조합하여 전체 결과 영상을 생성한다. 이 과정에서 최초의 입력 영상 색 공간으로의 복원이 수행될 수 있다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: 색 공간 변경부
120: 히스토그램 분석부
130: 영역 분할부
140: 처리부
150: 영역 통합부

Claims (18)

  1. 입력 영상의 색 공간을 변경하여 모노톤 영상을 생성하는 색 공간 변경부;
    상기 모노톤 영상을 복수 개의 영역으로 분할하는 영역 분할부; 및
    상기 복수 개의 영역 각각에 대해 영역 별 히스토그램 스트레칭을 수행하는 처리부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 모노톤 영상의 명도 값을 히스토그램 분석하여 상기 입력 영상의 최대 명도 값 및 상기 입력 영상의 최소 명도 값을 결정하는 히스토그램 분석부
    를 더 포함하는 영상 처리 장치.
  3. 제2항에 있어서,
    상기 처리부는 상기 입력 영상의 최대 명도 값 및 상기 입력 영상의 최소 명도 값을 이용하여 상기 영역 별 히스토그램 스트레칭을 수행할 정도를 결정하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 색 공간 변경부는 상기 입력 영상의 색 공간이 RGB 색 공간인 경우에 HSB 색 공간으로 변경하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 영역 별 히스토그램 스트레칭된 결과를 종합하여 출력 영상을 생성하는 영역 통합부
    를 더 포함하는 영상 처리 장치.
  6. 입력 영상의 최대 명도 값과 상기 입력 영상의 최소 명도 값을 결정하는 히스토그램 분석부; 및
    상기 입력 영상의 일부분인 제1 영역에 대하여 상기 입력 영상의 최대 명도 값과 상기 입력 영상의 최소 명도 값을 이용하여 히스토그램 스트레칭을 수행하는 처리부
    를 포함하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 처리부는, 상기 제1 영역 내의 각 픽셀의 명도 값이 상기 입력 영상의 최대 명도 값과 차이가 나는 정도에 비례하여 상기 제1 영역의 평균 밝기 값을 증가시켜서 상기 제1 영역의 최대 명도 값을 결정하고, 상기 제1 영역 내의 각 픽셀의 명도 값이 상기 입력 영상의 최소 명도 값과 차이가 나는 정도에 비례하여 상기 제1 영역의 평균 밝기 값을 감소시켜서 상기 제1 영역의 최소 명도 값을 결정하고, 상기 제1 영역의 최대 명도 값과 상기 제1 영역의 최소 명도 값 사이의 차이와 미리 지정된 동적 범위 값의 비율에 따라 상기 제1 영역 내의 각 픽셀의 명도 값을 조정하여 상기 히스토그램 스트레칭을 수행하는 영상 처리 장치.
  8. 입력 영상의 명도 분포를 추출하는 단계;
    상기 입력 영상의 최대 명도 값 및 상기 입력 영상의 최소 명도 값을 결정하는 단계;
    상기 입력 영상의 최대 명도 값 및 상기 입력 영상의 최소 명도 값을 이용하여 상기 입력 영상을 복수 개로 분할한 각 영역에 대한 영역별 히스토그램 스트레칭을 수행하는 단계
    를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 영역별 히스토그램 스트레칭을 수행하는 단계는 상기 복수 개로 분할한 각 영역에 대해 영역 내부 명도 값 분포가 상기 입력 영상의 최대 명도 값과 차이가 클수록 영역별 히스토그램 스트레칭 정도를 크게 결정하는 영상 처리 방법.
  10. 제8항에 있어서,
    상기 영역별 히스토그램 스트레칭을 수행하는 단계는 상기 복수 개로 분할한 각 영역에 대해 영역 내부 명도 값 분포가 상기 입력 영상의 최소 명도 값과 차이가 클수록 영역별 히스토그램 스트레칭 정도를 크게 결정하는 영상 처리 방법.
  11. 제8항에 있어서,
    상기 명도 분포를 추출하는 단계는 상기 입력 영상의 색 공간이 RGB 색 공간인 경우에 HSB 색 공간으로 변경하여 명도 분포를 추출하는 영상 처리 방법.
  12. 입력 영상의 최대 명도 값과 상기 입력 영상의 최소 명도 값을 결정하는 단계;
    상기 입력 영상을 복수 개의 영역으로 분할하는 단계; 및
    상기 복수 개의 영역 중 제1 영역에 대하여 상기 입력 영상의 최대 명도 값과 상기 입력 영상의 최소 명도 값을 이용하여 영역별 히스토그램 스트레칭을 수행하는 단계
    를 포함하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 영역별 히스토그램 스트레칭을 수행하는 단계는, 상기 입력 영상의 최대 명도 값 및 상기 입력 영상의 최소 명도 값을 이용하여 상기 영역 별 히스토그램 스트레칭을 수행할 정도를 결정하는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 영역별 히스토그램 스트레칭을 수행하는 단계는, 상기 제1 영역 내의 픽셀들의 명도 값 분포가 상기 입력 영상의 최대 명도 값과 차이가 클수록 상기 제1 영역에 대한 영역별 히스토그램 스트레칭 정도를 크게 결정하는 영상 처리 방법.
  15. 제13항에 있어서,
    상기 영역별 히스토그램 스트레칭을 수행하는 단계는, 상기 제1 영역 내의 픽셀들의 명도 값 분포가 상기 입력 영상의 최소 명도 값과 차이가 클수록 상기 제1 영역에 대한 영역별 히스토그램 스트레칭 정도를 크게 결정하는 영상 처리 방법.
  16. 인간의 시각 민감도에 관한 특성 곡선을 이용하여 입력 칼라 영상의 칼라 값을 조정하는 전달 함수 곡선에 있어서, 상기 전달 함수 곡선의 입력 값이 제1 임계 값 미만인 구간에서는 상기 전달 함수 곡선을 제1 비율로 조정하고, 상기 전달 함수 곡선의 입력 값이 상기 제1 임계 값을 초과하는 구간에서는 상기 전달 함수 곡선을 제2 비율로 조정하는 영상 처리 방법.
  17. 제16항에 있어서,
    상기 제1 임계 값은 0.2이고, 상기 제1 비율은 0.6이고, 상기 제2 비율은 0.2인 영상 처리 방법.
  18. 제8항 내지 제17항 중 어느 한 항에 있어서, 상기 영상 처리 방법을 수행하기 위한 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020110125013A 2011-11-28 2011-11-28 자동 영상보정을 위한 영상 처리 장치 및 방법 KR101349968B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110125013A KR101349968B1 (ko) 2011-11-28 2011-11-28 자동 영상보정을 위한 영상 처리 장치 및 방법
JP2012259428A JP2013114692A (ja) 2011-11-28 2012-11-28 自動映像補正のための映像処理装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110125013A KR101349968B1 (ko) 2011-11-28 2011-11-28 자동 영상보정을 위한 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130058972A true KR20130058972A (ko) 2013-06-05
KR101349968B1 KR101349968B1 (ko) 2014-01-14

Family

ID=48710116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110125013A KR101349968B1 (ko) 2011-11-28 2011-11-28 자동 영상보정을 위한 영상 처리 장치 및 방법

Country Status (2)

Country Link
JP (1) JP2013114692A (ko)
KR (1) KR101349968B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160003016A (ko) * 2013-12-03 2016-01-08 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 이미지 임계치의 적응형 통합 히스토그램 계산
CN112508809A (zh) * 2020-11-27 2021-03-16 湖南傲英创视信息科技有限公司 低照度图像/视频增强方法及系统
WO2022065915A1 (ko) * 2020-09-25 2022-03-31 주식회사 메디트 3차원 모델링 방법 및 이를 이용한 장치
KR20220041763A (ko) * 2020-09-25 2022-04-01 주식회사 메디트 3차원 모델링 방법 및 이를 이용한 장치
WO2022211195A1 (ko) * 2021-04-01 2022-10-06 주식회사 뷰노 의료 영상 처리 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3189156B2 (ja) * 1992-05-15 2001-07-16 キヤノン株式会社 ビデオ・プリンタ及び画像処理方法
JP3482083B2 (ja) * 1996-10-24 2003-12-22 日本電信電話株式会社 カラー画像の明るさ変換装置
JP3543103B2 (ja) * 2000-11-02 2004-07-14 学校法人慶應義塾 カラー画像処理方法および処理装置
JP2006068038A (ja) * 2004-08-31 2006-03-16 Konica Minolta Medical & Graphic Inc 医用画像表示方法及び医用画像表示装置並びに医用画像表示プログラム
US7636496B2 (en) * 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping
KR100888429B1 (ko) * 2007-05-03 2009-03-11 엠텍비젼 주식회사 영상 밝기 조절 장치 및 그 방법
JP2009200743A (ja) * 2008-02-20 2009-09-03 Ricoh Co Ltd 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160003016A (ko) * 2013-12-03 2016-01-08 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 이미지 임계치의 적응형 통합 히스토그램 계산
WO2022065915A1 (ko) * 2020-09-25 2022-03-31 주식회사 메디트 3차원 모델링 방법 및 이를 이용한 장치
KR20220041763A (ko) * 2020-09-25 2022-04-01 주식회사 메디트 3차원 모델링 방법 및 이를 이용한 장치
CN112508809A (zh) * 2020-11-27 2021-03-16 湖南傲英创视信息科技有限公司 低照度图像/视频增强方法及系统
CN112508809B (zh) * 2020-11-27 2023-04-21 湖南傲英创视信息科技有限公司 低照度图像/视频增强方法及系统
WO2022211195A1 (ko) * 2021-04-01 2022-10-06 주식회사 뷰노 의료 영상 처리 방법
KR20220136631A (ko) * 2021-04-01 2022-10-11 주식회사 뷰노 의료 영상 처리 방법

Also Published As

Publication number Publication date
JP2013114692A (ja) 2013-06-10
KR101349968B1 (ko) 2014-01-14

Similar Documents

Publication Publication Date Title
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
EP2987135B1 (en) Reference image selection for motion ghost filtering
US9852499B2 (en) Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US8811733B2 (en) Method of chromatic classification of pixels and method of adaptive enhancement of a color image
US20130202204A1 (en) Image processing apparatus and method of controlling the same
US10070052B2 (en) Image capturing apparatus, image processing apparatus, and control methods thereof
US7679778B2 (en) Image processing method, image processing apparatus, and image processing program
KR20170107487A (ko) 메타데이터 기반 영상 처리 방법 및 장치
US10091422B2 (en) Image processing device and recording medium
US9177396B2 (en) Image processing apparatus and image processing method
US20100195906A1 (en) Automatic image enhancement
KR101349968B1 (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
JP2015156615A (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
KR20120016475A (ko) 영상 처리 방법 및 영상 처리 장치
JP2018117288A (ja) 画像処理装置及び画像処理方法
US20120328186A1 (en) Method for improving the visual perception of a digital image
CN113596422A (zh) 一种色彩校正矩阵ccm调整的方法及监控设备
JP5327766B2 (ja) デジタル画像における記憶色の修正
JP2008305122A (ja) 画像処理装置、画像処理方法、およびプログラム
US20150271382A1 (en) Apparatus, method, and medium
KR101462440B1 (ko) 색 보정 장치 및 색 보정 방법
JP2002368982A (ja) 画像処理装置および画像処理方法および記録媒体
JP3836237B2 (ja) 画像修正方法および装置
US11696044B2 (en) Image capturing apparatus, control method, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 6