KR101877808B1 - Image contrast enhancement method and apparatus using local histogram equalization based on multiple layters overlapped block - Google Patents
Image contrast enhancement method and apparatus using local histogram equalization based on multiple layters overlapped block Download PDFInfo
- Publication number
- KR101877808B1 KR101877808B1 KR1020120106350A KR20120106350A KR101877808B1 KR 101877808 B1 KR101877808 B1 KR 101877808B1 KR 1020120106350 A KR1020120106350 A KR 1020120106350A KR 20120106350 A KR20120106350 A KR 20120106350A KR 101877808 B1 KR101877808 B1 KR 101877808B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- layer
- noise
- contrast
- histogram
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000009499 grossing Methods 0.000 claims abstract description 63
- 230000002708 enhancing effect Effects 0.000 claims abstract description 16
- 230000002146 bilateral effect Effects 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 241001504519 Papio ursinus Species 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
본 발명은 다중 레이어 오버랩 블록 기반의 로컬 히스토그램 평활화를 이용한 영상 콘트라스트 향상 방법 및 장치를 개시한다. 본 발명의 영상 로컬 콘트라스트 향상 방법은 다중 레이어에 따라 입력 영상의 밝기 값을 변환하고, 밝기 값이 변환된 다중 레이어 영상들을 생성하는 단계; 다중 레이어 영상들의 노이즈를 저감시키는 단계; 및 상기 노이즈가 저감된 다중 레이어 영상들을 이용하여 로컬 콘트라스트가 향상된 영상을 생성하는 단계를 포함한다. 본 발명에 따르면, 종래의 알고리즘에 비하여 향상된 화질을 갖는 영상을 얻을 수 있다.The present invention discloses a method and apparatus for enhancing image contrast using local histogram smoothing based on a multi-layer overlap block. According to another aspect of the present invention, there is provided a method for enhancing an image local contrast, comprising: converting brightness values of an input image according to multiple layers and generating multi-layer images having brightness values; Reducing noise of multi-layer images; And generating an enhanced local contrast image using the noise-reduced multi-layer images. According to the present invention, an image having improved image quality can be obtained as compared with the conventional algorithm.
Description
본 발명은 영상 콘트라스트 향상 방법 및 장치에 관한 것으로서, 특히 로컬 히스토그램 평활화를 이용한 영상 콘트라스트 향상 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for enhancing image contrast, and more particularly, to a method and apparatus for enhancing image contrast using local histogram smoothing.
영상의 콘트라스트(contrast) 향상은 영상에서 잘 보이지 않는 디테일을 드러내고, 영상의 퀄리티를 향상시키기 위한 것이다. 로컬 히스토그램 평활화(Local histogram equalization) 기법은 영상의 로컬 정보를 강조하기 위한 것으로서, 영상의 콘트라스트 향상을 위하여 사용되는 사용된다.The contrast enhancement of the image is intended to reveal details that are not visible in the image and to improve the quality of the image. Local histogram equalization is used to emphasize the local information of the image and is used to improve the contrast of the image.
로컬 히스토그램 평활화와 관련된 기존의 연구들로는, Strickland Robin N, "Image Processing Techniques for Tumor Detection, Image Processing, Marcel Dekkler, Inc, 2002", Yu T-H, Histogram-Shape Preserving Algorithm for Image Enhancement, IEEE ISCAS, Vol.1, p.407-410, 1993", Nicholas Sia Pik Kong, "Multiple Layers Block Overlapped Histogram Equalization for Local Content Emphasis, Computers and Electrical Engineering Vol.37, p.631-643, 2010"등이 있다.Previous studies related to local histogram smoothing include Strickland Robin N, "Image Processing Techniques for Tumor Detection, Image Processing, Marcel Dekkler, Inc, 2002", Yu TH, Histogram-Shape Preserving Algorithm for Image Enhancement, IEEE ISCAS, Vol. 1, pp. 407-410, 1993, Nicholas Sia Pik Kong, "Multiple Layers Block Overlapped Histogram Equalization for Local Content Emphasis, Computers and Electrical Engineering Vol.37, p.631-643, 2010 ".
본 발명은 영상의 콘트라스트를 향상시키는데 있어, 기존의 로컬 히스토그램 평활화 기법을 확장하여 보다 효율적이고 빠르게 영상의 콘트라스트를 향상시켜 결과 영상의 퀄리티를 향상시키는 것을 그 목적으로 한다.An object of the present invention is to extend the existing local histogram smoothing technique to improve the contrast of an image, thereby improving the contrast of the image more efficiently and quickly and improving the quality of a resultant image.
상기 본 발명의 과제를 해결하기 위하여, 본 발명의 영상 콘트라스트 향상 방법은 다중 레이어에 따라 입력 영상의 밝기 값을 변환하고, 밝기 값이 변환된 다중 레이어 영상들을 생성하는 단계;상기 다중 레이어 영상들의 노이즈를 저감시키는 단계; 및 상기 노이즈가 저감된 다중 레이어 영상들을 이용하여 로컬 콘트라스트가 향상된 영상을 생성하는 단계를 포함한다. According to an aspect of the present invention, there is provided a method of enhancing image contrast, comprising: converting brightness values of an input image according to multi-layers and generating multi-layer images having brightness values converted; ; And generating an enhanced local contrast image using the noise-reduced multi-layer images.
본 발명에서 상기 다중 레이어 영상들의 노이즈를 저감시키는 것은, 상기 다중 레이어 영상 각각에 대하여 바이레터럴 필터(bilateral filter)를 적용하여 노이즈를 저감시키는 것이 바람직하다. In the present invention, it is preferable that the noise of the multi-layer images is reduced by applying a bilateral filter to each of the multi-layer images.
본 발명에서 상기 다중 레이어는 상기 입력 영상의 밝기값 재분배를 위한 제1 레이어, 상기 입력 영상에 포함된 작은 객체의 콘트라스트 향상을 위한 제2 레이어, 및 상기 입력 영상의 선명도 향상을 위한 제3 레이어를 포함할 수 있다.In the present invention, the multi-layer may include a first layer for redistributing brightness values of the input image, a second layer for improving the contrast of a small object included in the input image, and a third layer for improving the sharpness of the input image .
본 발명에서 상기 로컬 콘트라스트가 향상된 영상을 생성하는 단계는, 노이즈가 저감된 다중 레이어 영상들을 미리 결정된 가중치에 따라 합산시킨 다중레이어 통합 영상을 생성하는 단계; 및 상기 다중레이어 통합 영상과 상기 입력 영상을 이용하여 로컬 콘트라스트가 향상된 영상을 생성하는 단계를 더 포함할 수 있다.In the present invention, the step of generating an enhanced local contrast image may include generating a multi-layer integrated image in which noise-reduced multi-layer images are summed according to predetermined weights; And generating an enhanced local contrast image using the multi-layer integrated image and the input image.
본 발명에서 상기 다중 레이어에 따라 입력 영상의 밝기 값을 변환하는 것은, 다중 레이어를 정의하는 서로 다른 크기의 윈도우들을 상기 입력 영상에 적용한 히스토그램 평활화를 통해, 상기 입력 영상의 밝기 값을 변환시키는 단계이고, 상기 히스토그램 평활화는 로컬 히스토그램의 콘트라스트를 제한시키는 방법으로 수행되는 것이 바람직하다. 여기에서, 상기 콘트라스트를 제한시키는 것은, 상기 로컬 히스토그램에서 미리 결정된 기준값을 초과하는 히스토그램값을 모든 히스토그램영역에 배분시킴으로써 콘트라스트를 제한시키도록 구성될 수 있다. 상기 미리 결정된 가중치는, 상기 다중레이어 영상들의 엔트로피를 고려하여 결정될 수 있다. 특히, 상기 다중레이어 영상들의 평균 엔트로피와, 상기 다중레이어 영상 각각에 따른 엔트로피간의 상대적인 차이값의 비율에 따라 결정되는 것이 바람직하다.In the present invention, the brightness values of the input image are converted according to the multi-layers, and the brightness values of the input image are converted through the histogram smoothing that applies windows of different sizes defining the multiple layers to the input image , And the histogram smoothing is preferably performed by a method of limiting the contrast of the local histogram. Here, restricting the contrast may be configured to limit the contrast by distributing a histogram value exceeding a predetermined reference value in all the histogram regions in the local histogram. The predetermined weight may be determined in consideration of the entropy of the multi-layer images. In particular, it is preferable that the average entropy of the multi-layer images and the ratio of the relative difference between the entropy of each of the multi-layer images are determined.
또한, 상기 본 발명의 또 다른 과제를 해결하기 위하여, 본 발명은 상술한 영상 콘트라스트 향상 방법을 수행하기 위해 프로그램된 소스 코드가 기록된 컴퓨터에서 판독 가능한 기록 매체를 제공한다.According to another aspect of the present invention, there is provided a computer-readable recording medium having recorded therein source code programmed to perform the above-described method for enhancing an image contrast.
또한, 상기 본 발명의 또 다른 과제를 해결하기 위하여, 본 발명의 영상 로컬 콘트라스트 향상 장치는 다중 레이어에 따라 입력 영상의 밝기 값을 변환하고, 밝기 값이 변환된 다중 레이어 영상들을 생성하는 다중 레이어 영상 생성부; 상기 다중 레이어 영상들의 노이즈를 저감시키는 노이즈 저감부; 및 상기 노이즈가 저감된 다중 레이어 영상들을 이용하여 로컬 콘트라스트가 향상된 영상을 생성하는 통합 영상 생성부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for enhancing an image local contrast, comprising: a multi-layer image converting unit for converting a brightness value of an input image according to multi- Generating unit; A noise reduction unit for reducing noise of the multi-layer images; And an integrated image generating unit for generating an enhanced local contrast image using the noise-reduced multi-layer images.
본 발명에 따르면, 결과 영상에서 노이즈의 효율적인 제거가 용이하고, 영상의 중요한 성분인 객체(object)나 에지 성분을 보존시킴으로써, 더욱 정확하고 효율적으로 영상의 콘트라스트를 향상시킬 수 있는 효과가 있다.According to the present invention, it is possible to efficiently remove noise from a resultant image, and to save an object or an edge component, which is an important component of an image, thereby improving the contrast of the image more accurately and efficiently.
도 2는 오버랩 되는 블록을 이용한 히스토그램 평활화 기법(BOHE)의 개념을 설명하기 위한 참고도이다.
도 3은 본 발명의 일 실시예에 따른 영상 콘트라스트 향상 장치를 나타내는 블록도이다.
도 4는 도 3의 영상 콘트라스트 향상 장치의 각 구성요소별 출력 영상을 나타내는 참고도이다.
도 5은 도 3의 다중 레이어 영상 생성부의 출력 영상을 나타내고, 도 6은 도 3의 노이즈 저감부의 출력 영상을 나타내며, 도 7은 제1 통합 영상 생성부의 출력 영상을 나타내고, 도 8은 제2 통합 영상 생성부의 출력 영상을 나타내는 참고도이다.
도 9는 본 발명의 일 실시예에 따른 영상 콘트라스트 향상 방법을 나타내는 흐름도이다.
도 10, 11은 본 발명의 일 실시예에 따른 결과 영상과, 기존의 방법에 따른 결과 영상을 비교하기 위한 참고도이다.
FIG. 2 is a reference diagram for explaining the concept of a histogram smoothing technique (BOHE) using overlapping blocks.
3 is a block diagram showing an image contrast enhancement apparatus according to an embodiment of the present invention.
4 is a reference view showing an output image of each component of the image contrast enhancement apparatus of FIG.
FIG. 5 shows an output image of the multi-layer image generating unit of FIG. 3, FIG. 6 shows an output image of the noise reducing unit of FIG. 3, FIG. 7 shows an output image of the first integrated image generating unit, And an output image of the image generating unit.
9 is a flowchart illustrating an image contrast enhancement method according to an exemplary embodiment of the present invention.
10 and 11 are reference views for comparing a resultant image according to an embodiment of the present invention with a resultant image according to an existing method.
이하의 내용은 본 발명에 대한 동작 원리에 대한 설명과 구체적인 실시예에 관한 것이다. 본 기술 분야의 당업자는 비록 후술하는 설명 내지는 도면에 기술된 내용과, 공지의 기술을 더욱 고려하여 본 발명을 구현할 수 있을 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 발명의 개념이 이해되도록 하기 위한 것이므로, 본 발명의 권리 범위는 후술된 실시예 내지는 도면에 의하여 제한되지는 않는 것으로 이해되어야 한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. Those skilled in the art will be able to implement the present invention even further considering the contents described in the following description or drawings and the known technology. It is to be understood that the scope of the present invention is not limited to the following embodiments and drawings, since all the conditional terms and embodiments listed in the present specification are intended to be understood in principle as the concept of the present invention.
또한, 본 발명과 관련된 모든 설명은 구조적, 개념적, 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 요소들을 포함할 수 있는 것으로 이해되어야 한다. 또한, 본 명세서의 블럭도 내지는 흐름도는 발명의 원리를 구체화하는 예시적인 개념적 관점을 나타내는 것으로 이해되어야 한다. It is also to be understood that all statements relating to the present invention are intended to cover structural, conceptual, and functional equivalents. It is also to be understood that such equivalents may include all elements contemplated to perform the same function irrespective of the currently known equivalents as well as the equivalents to be developed in the future. It should also be understood that the block diagrams and flow charts herein represent exemplary conceptual aspects embodying the principles of the invention.
또한, 본 명세서에 포함된 시계열적인 개념은 당업자에 의하여 컴퓨터가 판독할 수 있는 소스 코드로 구현될 수 있으며, 그러한 소스 코드는 컴퓨터가 판독가능한 저장 매체에 저장된 형태로 존재할 수 있고, 컴퓨터 또는 프로세서에 의하여 수행되는 프로세스 내지는 쓰레드를 통해 실현될 수 있다. 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다. Also, the time-series concepts included herein may be implemented in computer-readable source code by those skilled in the art, and such source code may reside in a computer-readable storage medium, Lt; RTI ID = 0.0 > and / or < / RTI > The explicit use of terms such as processor, control, or similar concepts should not be interpreted exclusively as hardware capable of executing the software, but may include without limitation digital signal processor (DSP) hardware, ROM), random access memory (RAM), and non-volatile memory. Other hardware may also be included.
본 발명의 기능을 수행하기 위한 수단으로 표현된 구성요소들은, 예를 들어 본 명세서에 기술된 기능을 수행하는 회로 소자, 또는 그 조합, 그리고 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었고, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합되어 구현될 수 있다.The components represented as means for performing the functions of the present invention include, for example, all types of software including circuitry, or combinations thereof, and firmware / microcode, etc., performing the functions described herein , And may be implemented in combination with appropriate circuitry for executing the software to perform the functions described herein.
본 발명의 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 발명을 설명함에 있어서 발명과 관련된 공지 기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, in which: will be. In the following description, a detailed description of known technologies related to the present invention will be omitted when it is determined that the gist of the present invention may be unnecessarily blurred.
이하, 본 발명의 영상 콘트라스트 향상에 대한 개념을 설명하고, 첨부된 도면을 참조하여 발명에 따른 바람직한 일실시예를 상세히 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the concept of image contrast enhancement according to the present invention will be described, and a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.
본 발명은 영상의 품질을 향상시키기 위하여 영상의 콘트라스트를 향상시키는 방법에 관한 것으로, 보다 상세하게는 영상의 콘트라스트를 향상시키는데 있어 기존의 로컬 히스토그램 평활화 기법을 확장한 다중 레이어 블록 오버랩 히스토그램 평활화 기법에 근거하여 영상의 로컬 콘트라스트를 향상하고 결과 영상의 노이즈를 제거하여 영상의 품질을 향상시킬 수 있는 효율적인 방법에 관한 것이다. 영상의 품질을 향상시키기 위한 방법들 중 가장 대표적이고 자주 쓰이는 방법이 영상 콘트라스트 향상이다. 영상 콘트라스트 향상의 주요한 목적은 영상에서 잘 보이지 않는 디테일을 드러내고, 이미지의 퀄리티를 향상시키는 것이다. 따라서 콘트라스트 향상 기법은 텔레비전, 모바일, 카메라 등 자동 처리 시스템에서 후처리 기법으로 사용될 수 있다.The present invention relates to a method of enhancing the contrast of an image in order to improve the quality of an image, and more particularly, to a method of enhancing contrast of an image based on a multi-layer block overlap histogram smoothing technique which extends the existing local histogram smoothing technique Thereby improving the local contrast of the image and eliminating the noise of the resultant image, thereby improving the quality of the image. The most representative and frequently used method to improve the image quality is image enhancement. The main purpose of enhancing image contrast is to reveal details that are not visible in the image and improve the quality of the image. Therefore, the contrast enhancement technique can be used as a post-processing technique in an automatic processing system such as a television, a mobile, or a camera.
영상의 콘트라스트를 향상시키는 방법에는 크게 글로벌 히스토그램 평활화 기법과 로컬 히스토그램 평활화 기법이 있다.글로벌 히스토그램 평활화 기법의 경우 계산 복잡도가 낮고 간단하다는 장점을 가지지만, 결과 영상에서 너무 밝거나 어두운 픽셀들이 과도하게 향상되는 over-equalization 문제나 washed-out effect등의 문제점이 발생할 수 있다. The global histogram smoothing technique has the advantage of low computational complexity and simplicity, but it does not over-enhance the bright or dark pixels in the resulting image. Over-equalization problems or washed-out effects.
글로벌 히스토그램 평활화의 문제점을 해결하기 위하여 나온 방법이 로컬 히스토그램 평활화이다. 로컬 히스토그램 평활화 기법은 작은 윈도우를 사용하여 윈도우의 가운데 픽셀에 대한 Contexual Region(CR)을 정의하고, 이로부터 떨어진 픽셀들의 블록에 대하여 누적 밀도 함수(CDF)를 계산하여 윈도우가 움직임에 따라 누적 밀도 함수를 수정하여 콘트라스트를 향상시킨다. 로컬 히스토그램 평활화를 위한 각 CR에서의 변환 함수는 아래의 수학식1과 같다.Local histogram smoothing is a method to solve the problem of global histogram smoothing. The local histogram smoothing technique defines a Contexual Region (CR) for a middle pixel of a window using a small window and calculates a cumulative density function (CDF) for a block of pixels away therefrom to determine a cumulative density function To improve the contrast. The conversion function for each CR for local histogram smoothing is given by Equation 1 below.
[수학식1][Equation 1]
여기서, x는 그레이 레벨(gray level)이고, L은 영상의 인텐서티 레인지(intensity range) 이며, CCR은 현재 CR에서의 CDF이고, 아래의 수학식2와 같이 정의할 수 있다.Where x is the gray level, L is the intensity range of the image, C CR is the CDF at the current CR and can be defined as
[수학식2]&Quot; (2) "
여기서, 는 CR의 누적 히스토그램이며, NCR은 CR 내의 픽셀들의 전체 수 이다. here, Is the cumulative histogram of the CR , and N CR is the total number of pixels in the CR.
로컬 히스토그램 평활화 기법에는 블록이 오버랩 되지 않는 히스토그램 평활화(NOBHE), 블록 오버랩 히스토그램 평활화(BOHE), 부분적인 오버랩 서브블록 히스토그램 평활화 (POSHE), 콘트라스트를 제한하는 적응적인 히스토그램 평활화 (CLAHE) 등이 있다. 블록이 오버랩 되지 않는 히스토그램 평활화 (NOBHE) 기법의 경우, 영상의 히스토그램을 평활화 하기 위해서 오버랩 되지 않는 블록을 사용하며, 각 블록을 하나의 개별적인 영상으로 취급하여 상기 수학식 1과 2를 이용하여 히스토그램 평활화를 할 수 있다. Local histogram smoothing techniques include histogram smoothing (NOBHE), block overlap histogram smoothing (BOHE), partially overlapping subblock histogram smoothing (POSHE), and adaptive histogram smoothing (CLAHE), which do not overlap the blocks. In the case of the histogram smoothing (NOBHE) method in which blocks are not overlapped, a block which is not overlapped is used to smooth the histogram of the image. The blocks are treated as one individual image, and the histogram smoothing .
블록이 오버랩되지 않는 히스토그램 평활화(NOBHE) 기법은 도 1을 참고하여 이해될 수 있다. 즉, NOBHE 기반의 히스토크램 평활화 방법은 각 서브 블록이 겹치지 않게 하여 서브 블록을 옮겨 가며 히스토그램 평활화를 수행한다. 각 블록의 평활화 결과는 원본 영상에서의 원래 위치로 재배열함으로써 하나의 결과 영상으로 재결합된다. 이 방법의 경우 영상에서 각 픽셀은 하나의 CDF에 기여하므로 상대적으로 다른 로컬 히스토그램 평활화 기법에 비해 빠르지만 결과 영상에서 블록 경계에 원치 않는 블로킹 아티팩트(blocking artifact)의 문제가 발생한다.The histogram smoothing (NOBHE) technique in which blocks do not overlap can be understood with reference to Fig. That is, the histogram smoothing method based on NOBHE performs histogram smoothing by moving subblocks so that the subblocks do not overlap each other. The smoothing result of each block is reassembled into one result image by rearranging to the original position in the original image. This method results in blocking artifacts at the block boundary in the resulting image, although each pixel in the image contributes to one CDF, which is faster than the relatively different local histogram smoothing techniques.
블록 오버랩 히스토그램 평활화(BOHE) 기법은 도 2를 참고하여 이해될 수 있다. 본 기법은 위에서 언급한 NOBHE 기법의 문제점을 해결할 수 있는데, 오버랩 되지 않는 블록 대신 오버랩 되는 블록을 사용한다. 하나의 윈도우를 사용하여 이것을 한 번에 한 픽셀씩 이동시키고 CR내의 중심 픽셀만이 새로운 CDF값으로 갱신된다. 따라서 블록들이 서로 오버랩 되므로 블로킹 아티팩트(blocking artifact)를 줄일 수 있다. 그러나 계산 시간이 상당히 오래 걸리며 상대적으로 평탄한 영역에서 스팩클 노이즈(speckle noise)가 증폭되는 단점을 가진다.The Block Overlap Histogram Smoothing (BOHE) technique can be understood with reference to FIG. This technique can solve the problem of the NOBHE technique mentioned above, but uses overlapping blocks instead of non-overlapping blocks. One window is used to move it one pixel at a time, and only the center pixel in the CR is updated with the new CDF value. Thus, the blocking artifacts can be reduced because the blocks overlap each other. However, it has a disadvantage that the calculation time is considerably long and the speckle noise is amplified in a relatively flat region.
부분적인 오버랩 서브블록 히스토그램 평활화(POSHE) 기법은 위에서 언급한 BOHE 기법의 계산 복잡도를 줄이면서 블로킹 아티팩트를 줄이는데 효과적이다. 본 기법은 NOBHE와 BOHE의 혼합으로 생각할 수 있는데, 다른 LHE 기법들과 마찬가지로 결과 영상에서 부자연스러운 콘트라스트 향상 및 적절한 윈도우 크기를 결정하는 것이 쉽지 않다.The partial overlapped subblock histogram smoothing (POSHE) technique is effective in reducing the blocking artifact while reducing the computational complexity of the BOHE technique mentioned above. This technique can be thought of as a mixture of NOBHE and BOHE. As with other LHE techniques, it is not easy to improve the unnatural contrast and determine the appropriate window size in the resulting image.
콘트라스트를 적응적으로 제한하는 히스토그램 평활화(CLAHE) 기법은 BOHE 기법과 관련된 문제점인 노이즈 레벨의 증폭을 줄이는데 효과적이다. 이 기법의 경우 로컬 히스토그램에서의 콘트라스트를 제한함으로써 결과 영상에서의 잡음의 증폭을 줄일 수 있다. CLAHE 기법의 경우 히스토그램 평활화를 위한 누적 밀도 함수를 계산하기 전에 미리 설정한 값으로 히스토그램을 클리핑한다. 이 경우 제한한 클리핑 값을 초과된 히스토그램 값을 버리는 것이 아니라, 초과된 히스토그램 값을 모든 히스토그램 영역에 동등하게 재분배하는 방식이다. 그러나, 클리핑 값이 적절하게 선택되지 않는다면 오히려 영상의 품질을 상당히 열화 시킬 수 있음로 클리핑 값의 적절한 선택이 중요하다. The histogram smoothing (CLAHE) technique, which adaptively limits the contrast, is effective in reducing the amplification of the noise level, which is a problem associated with the BOHE technique. This technique can reduce the amplification of noise in the resulting image by limiting the contrast in the local histogram. In the case of the CLAHE technique, the histogram is clipped to a preset value before calculating the cumulative density function for histogram smoothing. In this case, instead of discarding the histogram value exceeding the limited clipping value, the excess histogram value is redistributed equally to all the histogram regions. However, if the clipping value is not appropriately selected, the quality of the image may deteriorate considerably. Therefore, proper selection of the clipping value is important.
상술한 로컬 히스토그램 평활화 (LHE) 기법들이 공통적으로 가지는 문제점들은 다음과 같다. 먼저, 대부분의 LHE 기법들은 부자연스러운 콘트라스트의 향상을 야기하며, 스패클 노이즈(speckle noise)를 강화하는 경향을 가진다. 또한, 입력 영상에 포함된 정보를 유지하기 위해서 입력 영상의 히스토그램의 모양을 유지해야한다. 또한, 출력 영상에서 인텐서티 포화 아티팩트(intensity saturation artifact)가 발생하는 문제를 피하기 위해서 입력 영상과 출력 영상의 평균 인텐서티 휘도(mean intensity brightness)가 유지되어야 한다.
The problems common to the above-described local histogram smoothing (LHE) techniques are as follows. First, most LHE techniques cause unnatural contrast enhancement and tend to enhance speckle noise. Also, the shape of the histogram of the input image must be maintained in order to maintain the information contained in the input image. In addition, the average intensity brightness of the input image and the output image must be maintained to avoid the problem of intensity saturation artifacts occurring in the output image.
본 발명은 상술한 영상 콘트라스트 향상 기법, 특히 LHE 기법들의 문제점을 완화하고, 결과물 영상의 품질을 높이기 위한 영상 콘트라스트 향상 장치 및 방법에 관한 것이며, 이하에서는 도면을 참고하여 본 발명의 일 실시예에 따른 영상 콘트라스트 향상 장치에 대하여 보다 상세히 설명한다.The present invention relates to an image contrast enhancement apparatus and method for mitigating the problems of the above-described image contrast enhancement technique, particularly LHE techniques, and for enhancing the quality of an output image. Hereinafter, The image contrast enhancing device will be described in more detail.
도 3의 영상 콘트라스트 향상 장치(100)는 입력부(110), 다중 레이어 영상 생성부(120), 노이즈 저감부(130) 및 통합 영상 생성부(140)를 포함한다. 기본적으로, 본 실시예에 따른 영상 콘트라스트 향상 장치(100)는 기본적으로 다중 레이어 블록 오버랩 히스토그램 평활화 기법에 근거한 평활화 동작을 수행하며, 밝기 값 변경과 관련하여 콘트라스트를 제한하는 적응적인 히스토그램 평활화 기법을 적용하였으며, 필터의 사용에 있어서 새로운 바이레터럴 필터를 적용한 것에 일 특징이 있다. 3 includes an
입력부(110)는 영상 콘트라스트를 향상시키고자 하는 대상이 되는, 입력 영상을 입력 받는다. 본 실시예에서는 입력부를 일 구성요소로서 표현하였지만, 입력부를 없이 바로 다중 레이어 영상 생성부(120)가 입력 영상을 입력 받도록 구성하는 것도 가능하다. The
다중 레이어 영상 생성부(120)는 미리 설정된 다중 레이어에 따라 입력 영상의 밝기 값을 변환하고, 밝기 값이 변환된 다중 레이어 영상들을 생성한다. 여기에서 다중 레이어는 영상의 밝기 값 변형을 서로 다르게 함으로써 얻어지는 복수개의 영상 레이어를 의미한다. The multi-layer
다중 레이어 영상 생성부(120)는 히스토그램 평활화 기법을 통해 입력 영상의 밝기 값을 변화시킬 수 있다. 히스토그램 평활화는 블록 오버랩 기반의 히스토그램 평활화 기법(BOHE), 다중 레이어 블록 오버랩 기반의 히스토그램 평활화 기법(MLBOHE), 적응적인 히스토그램 평활화 기법(CLAHE) 등을 사용하여 밝기 값을 변화시킬 수 있다.The multi-layer
특히, 본 실시예의 다중 레이어 영상 생성부(120)는 다중 레이어 블록 오버랩 기반의 히스토그램 평활화 기법에 근거하여, 입력 영상의 밝기 값을 수정한다. 다중 레이어 블록 오버랩 기반의 히스토그램 평활화 기법에, 노이즈의 과대 증폭을 줄이면서 콘트라스트를 제한하는 적응적인 히스토그램 평활화 기법을 더욱 고려하여 입력 영상의 밝기 값을 수정한다. In particular, the multi-layer
다중 레이어 영상 생성부(120)에서 생성되는 서로 다른 레이어의 영상들은 영상에 숨어있는 디테일을 드러내고 영상의 밝기를 고르게 재분배하기 위한 것이며, 이후의 노이즈 제거 과정을 거친 후 통합된다. 그러나, 블록 오버랩 히스토그램 평활화 (BOHE) 기법을 이용할 경우, 기존의 LHE 기법들에서 공통적으로 나타나는 문제점인 스패클 노이즈(speckle noise)를 완전히 제거할 수는 없는 문제가 있다. 따라서, 결과 영상에서 나타나는 노이즈의 과대 증폭(over-amplification)을 줄이면서 콘트라스트를 제한하기 위해서, 적응적인 히스토그램 평활화 (CLAHE) 기법에 근거하여 밝기 값을 변형하는 것이 바람직하다. The images of different layers generated by the multi-layer
이러한 적응적인 히스토그램 평활화 기법은 로컬 히스토그램에서의 콘트라스트를 제한함으로써 결과 영상에서의 노이즈 증폭을 줄이는데 효과적이다. 히스토그램 평활화를 위한 누적 밀도 함수를 계산하기 전에 미리 설정한 값으로 히스토그램을 클리핑(clipping) 함으로써 스패클 노이즈의 증폭을 제한할 수 있다. 즉, 본 실시예의 다중 레이어 영상 생성부(120)는 미리 설정된 클리핑(clipping) 값을 넘는 히스토그램의 값을 버리는 것이 아니라, 이를 모든 히스토그램 영역에 동등하게 재분배함으로써 밝기 값을 고르게 재분배함으로서, 노이즈의 과대 증폭을 줄일 수 있다. 또한, CLAHE 기법에 근거하여 밝기 값을 재 분배할 경우, 또한 기존의 로컬 히스토그램 평활화 기법들에 비해 연산이 빠르다는 장점을 가진다. 이러한 밝기 값 변형은 일반 표준 영상 및 의료 영상에서도 우수한 성능의 영상을 얻는데 사용될 수 있다.This adaptive histogram smoothing technique is effective to reduce the noise amplification in the resultant image by limiting the contrast in the local histogram. The amplification of the spark noise can be limited by clipping the histogram to a preset value before calculating the cumulative density function for histogram smoothing. That is, the multi-layer
도 3에 도시된 바와 같이, 본 실시예의 다중 레이어 영상 생성부(120)는 제1 영상 레이어 생성부(122), 제2 영상 레이어 생성부(124), 제3 영상 레이어 생성부(126)을 포함한다. 상기 생성된 3개의 영상은 원본 영상인 입력 영상으로부터, CLAHE에 기반하는 블록 오버랩 히스토그램 평활화를 통해 콘트라스트가 향상된 영상들로서, 서로 다른 레이어의 영상들이다. 3, the multi-layer
도 4는 도 3에 도시된 영상 콘트라스트 향상 장치의 각 구성별 출력 영상에 대한 일예를 나타내는 것이다. 본 실시예에서 원본 영상인 입력 영상의 크기를 MxN 라고 할 때, 블록 오버랩 히스토그램 평활화를 위해 사용되는 제1 영상 레이어 생성부(122), 제2 영상 레이어 생성부(124)와 제3 영상 레이어 생성부(126)에서 사용되는 윈도우의 크기는 각각 (M/2)x(N/2), (M/4)x(N/4), (M/8)x(N/8)로 할 수 있다.FIG. 4 shows an example of an output image for each configuration of the image contrast enhancement apparatus shown in FIG. In the present embodiment, when the size of an input image as an original image is MxN, a first image layer generating unit 122, a second image layer generating unit 124, and a third image layer generating unit 122, which are used for block overlap histogram smoothing, The size of the window used in the unit 126 may be (M / 2) x (N / 2), (M / 4) x have.
도 4에서 영상(222)은 제1 영상 레이어 생성부의 출력 영상이고, 영상(224)는 제2 영상 레이어 생성부의 출력 영상이고, 영상(226)은 제3 영상 레이어 생성부의 출력 영상이다. 본 실시예의 다중 레이어는 제1 영상 레이어, 제2 영상 레이어, 제3 영상 레이어를 포함하는데, (M/2)x(N/2) 크기의 윈도우에 따른 제1 영상 레이어는 영상의 밝기값을 재분배하는 것이고, (M/4)x(N/4) 크기의 윈도우에 따른 제2 영상 레이어는 영상의 작은 오브젝트(object)를 강화시키기 위한 것이며, (M/8)x(N/8) 크기의 윈도우에 따른 제3 영상 레이어는 영상을 선명하게 한다.
4, an
노이즈 저감부(130)는 다중 레이어 영상 생성부(120)에서 생성된 영상들(222, 224, 226)을 입력 받고, 입력된 영상들의 노이즈를 저감시킨다. 다중 레이어 영상 생성부에서 생성된 히스토그램 평활화된 영상들의 경우, 스패클 노이즈(speckle noise)의 노이즈 레벨(noise level)이 강화된 단점이 있는데, 노이즈 저감부(130)는 이러한 스패클 노이즈를 제거 내지는 완화시키는 기능을 한다.The
노이즈 저감부(130)는 밝기값이 변화된 영상들(222, 224, 226)에 대한 노이즈 제거 필터링을 통해, 노이즈가 제거 또는 저감된 영상들(232, 234, 236)을 생성한다. 여기서 노이즈 제거 필터링은 메디안 필터링, 바이레터럴 필터링이 바람직하고, 특히 바이레터럴 필터링(bilateral filtering)이 더욱 바람직하다.The
우선, 메디안 필터링 기법의 경우, 큰 윈도우 크기로 히스토그램 평활화를 하는 경우 보다 결과 영상에서 더 높은 노이즈 레벨(noise level)을 가지므로 h1, h2, h3 에 대해 각각 (3x3), (5x5), (7x7) 크기의 윈도우로 메디안 필터링하는 것이 가능하다. 그러나, 메디안 필터의 경우, 로컬 히스토그램 평활화 기법들에서 공통적으로 나타나는 문제점인 스패클 노이즈를 효율적으로 제거할 수 없다. 메디안 필터는 스패클 노이즈의 일부만을 제거하며, 주로 랜덤 노이즈(random noise)를 제거하는 특성이 있으므로, 간혹 영상의 오브젝트(object)나 에지(edge) 성분이 보존되지 않고, 영상 전체가 블러되어 오히려 영상의 열화 현상이 나타나는 한계가 있다.First, the median filtering method has a higher noise level in the resultant image than in the case of histogram smoothing with a large window size, so that h 1 , h 2 , h 3 It is possible to perform median filtering on windows of (3x3), (5x5), and (7x7) sizes, respectively. However, in the case of the median filter, spark noise, which is a common problem in local histogram smoothing techniques, can not be effectively removed. Since the median filter removes only a part of the speckle noise and mainly removes random noise, sometimes the object or the edge component of the image is not preserved and the entire image blurs, There is a limit in that image degradation phenomenon appears.
본 실시예의 노이즈 저감부(130)는 영상의 에지 성분을 보존하면서, 영상을 효율적으로 스무딩(smoothing)하여 노이즈를 줄이는 필터인 바이레터럴 필터를 이용하여 노이즈를 저감하도록 구성된다.The
바이레터럴 필터(Bilateral filter)는 두 개의 간단한 가우시안 필터(Gaussian filter)를 포함하며, 계산의 복잡성 또한 높지 않다는 장점을 가진다. 먼저, I(x) 와 I(y) 를 밝기값이 변환된 영상의 픽셀값이라고 할 때, 필터링된 결과를 아래의 수학식3 과 같이 나타낼 수 있다.The bilateral filter includes two simple Gaussian filters, and has the advantage that the computation complexity is not high. First, when I (x) and I (y) are pixel values of the brightness-converted image, the filtered result can be expressed by Equation (3) below.
[수학식3]&Quot; (3) "
여기서 c(), s()는 각각 픽셀 위치의 연관성 및 픽셀 간의 유사성을 나타내며, Ω은 현재 위치를 포함하는 이웃 픽셀 위치를 나타낸다. 그리고 정규화 항 k()는 아래의 수학식4와 같이 나타낼 수 있다.Where c (), s () represent the pixel location associativity and similarity between pixels, respectively, and? Represents the neighboring pixel locations that include the current location. The normalization term k () can be expressed by Equation (4) below.
[수학식4]&Quot; (4) "
또한, 공간적으로 가운데 픽셀에 인접한 픽셀에 더 높은 가중치를 주기 위해서, c()는 아래의 수학식5와 같이 나타낼 수 있다.Further, in order to give a higher weight to the pixels spatially adjacent to the middle pixel, c () can be expressed by the following equation (5).
[수학식5]&Quot; (5) "
여기서, 는 c() 의 L2-norm 과 표준편차를 나타낸다.here, Represents the L 2 -norm and standard deviation of c ().
x 와 y 픽셀 간의 유사성을 가리키는 s() 는 픽셀 간의 거리에 관계 없이 픽셀 값 I(x), I(y) 가 픽셀 위치 x, y 대신 가우시안 필터의 파라미터로 이용될 수 있도록 픽셀 값의 유사성에 가중치를 주도록 한다. 따라서 s() 는 아래의 수학식6과 같이 나타낼 수 있다.The s () indicating the similarity between x and y pixels is determined by the similarity of the pixel values so that the pixel values I (x) and I (y) can be used as parameters of the Gaussian filter instead of the pixel positions x and y, Weights are given. Therefore, s () can be expressed by Equation (6) below.
[수학식6]&Quot; (6) "
여기서, σs는 s() 의 표준편차를 나타낸다.Here, σ s represents the standard deviation of s ().
c() 와 s()의 적응적인 결합은 가우시안 필터가 에지 방향에 따라 처리되도록 하므로, 기존의 가우시안 필터와 비교할 때 바이레터럴 필터는 영상의 원문(textural) 정보와 구조적 정보를 효율적으로 분리할 수 있다. Since the adaptive combination of c () and s () allows the Gaussian filter to be processed along the edge direction, the bilateral filter effectively separates the textual information and structural information of the image compared to the conventional Gaussian filter .
콘트라스트를 제한하는 적응적인 히스토그램 평활화 기법을 적용하여 로컬 콘트라스트를 향상시킨 결과 영상인 h1, h2, h3에 대해 각각 (3x3), (5x5), (7x7) 의 윈도우 크기로 바이레터럴 필터링 결과 영상을 각각 h1s, h2s, h3s로 표기한다.Adaptive histogram by applying a smoothing techniques improve the local contrast in which the resultant image is h 1, h 2, for each of the h 3 (3x3), (5x5 ), by lateral filter with a window size of (7x7) to limit the contrast The resulting images are denoted h 1s , h 2s , and h 3s , respectively.
도 6은 바이레터럴 필터링 결과 영상을 나타낸 것이다. 바이레터럴 필터링에 의할 경우, 영상의 에지 성분은 잘 보존되면서 노이즈 성분은 효율적으로 제거되므로, 메디안 필터링에 비해 더욱 좋은 성능을 내는 것을 확인할 수 있다.
FIG. 6 shows an image resulting from bilateral filtering. In the case of the bilateral filtering, the edge component of the image is well preserved, and the noise component is efficiently removed. As a result, it can be confirmed that the filter performs better than the median filtering.
통합 영상 생성부(140)는 노이즈가 저감된 다중 레이어 영상들을 이용하여 로컬 콘트라스트가 향상된 통합 영상을 생성한다. 본 실시예의 통합 영상 생성부(140)는 제1 통합 영상 생성부(142), 제2 통합 영상 생성부(144)를 포함한다.The integrated
제1 통합 영상 생성부(142)는 제1 내지 제3 노이즈 저감부로 부터 노이즈가 필터링된 영상들(232,234,236)을 입력 받고, 상기 필터링된 영상들을 통합한다. 제2 통합 영상 생성부(144)는 제1 통합 영상 생성부(142)에서 통합된 영상과, 입력부(110)의 입력 영상을 재통합하여 최종적으로 콘트라스트가 향상된 영상을 얻는다.The first integrated image generation unit 142 receives the noise-filtered
통합 영상 생성부(140)는 LHE 기법들에서 나타나는 문제점 중 하나인 출력 영상에서의 인텐서티 포화(intensity saturation)를 해결하기 위해서 입력 영상과 출력 영상의 mean intensity brightness 가 많이 달라지지 않도록 한다. 즉, 이전 단계에서 구한 세 개의 결과 레이어 영상 h1s, h2s, h3s 을 하나의 영상으로 결합한 후, 이를 입력 영상과 결합하게 된다. 먼저, 세 개의 레이어 영상인 h1s, h2s, h3s 를 하나의 영상 P로 병합하는 과정은 아래의 수학식7과 같다.The
[수학식7]&Quot; (7) "
여기서, w1,w2,w3은 양의 가중치이며, 이 가중치들이 영상에 의존하도록 만들기 위해 이 값들의 비율을 아래 수학식8에 따라 엔트로피 값에 비례 관계를 갖도록 정하는 것이 바람직하다. 아래 수학식에 따라 제1 통합 영상 생성부는 영상들에 대한 엔트로피와 입력 영상과의 차의 비율로 가중치를 주어 하나의 결합된 영상 P를 생성한다.Here, w 1 , w 2 , and w 3 are positive weights. In order to make the weights dependent on the image, it is desirable to set the ratio of these values to be proportional to the entropy value according to Equation (8) below. According to the following equation, the first integrated image generator generates a combined image P by weighting the ratio between the entropy of the images and the input image.
[수학식8]&Quot; (8) "
여기서, Eh1s, Eh2s, Eh3s는 각각 노이즈가 저감된 영상 h1s,h2s,h3s 의 엔트로피 값을 나타내며, 엔트로피는 아래의 수학식9에 의해서 구할 수 있다.Here, E h1s , E h2s , and E h3s represent the entropy values of the noise-reduced images h 1s , h 2s , and h 3s , respectively, and the entropy can be obtained by the following equation (9).
[수학식9]&Quot; (9) "
즉, 본 실시예에 따르면 가장 높은 엔트로피 차이 값을 가지는 레이어가 가장 높은 가중치를 갖게 된다. That is, according to the present embodiment, the layer having the highest entropy difference value has the highest weight.
제2 통합 영상 생성부(144)는 제1 통합 영상 생성부(142)에서 생성된 통합된 영상 P와 입력 영상 X를 더하여 최종 출력 영상 Y를 아래의 수학식10에 따라 구할 수 있다. The second integrated image generation unit 144 may obtain the final output image Y according to Equation (10) by adding the integrated image P and the input image X generated by the first integrated image generation unit 142. [
[수학식10]&Quot; (10) "
여기서 α,β는 양의 가중치 계수이고 σ+β=1 이다.Where α and β are positive weighting coefficients and σ + β = 1.
상기 σ, β를 구함에 있어서 β의 가중치가 커질수록 노이즈 레벨이 증가하고, σ의 가중치가 커질수록 노이즈 레벨은 줄어들지만 콘트라스트가 제대로 향상되지 않는다. 최적의 결과 영상을 위하여 실험적으로 구한 수치는 σ가 0.6~0.8, β가 0.2~0.4사 바람직하며, 특히 σ=0.7, β=0.3가 바람직하다.As the weight of? Increases, the noise level increases. When the weight of? Increases, the noise level decreases but the contrast does not improve properly. For the optimum result image, the values obtained from the experiment are preferably in the range of 0.6 to 0.8 and in the range of 0.2 to 0.4, particularly preferably in the range of σ = 0.7 and β = 0.3.
도 7은 제1 통합 영상 생성부(142)에서 통합되는 영상 P(242)을 얻는 예를 나타낸 것이고, 도 8은 제2 통합 영상 생성부(144)에서 통합되는 영상 Y(244)를 얻는 예를 나타낸 것이다. 제2 통합에 의하여 얻어지는 결과 영상 Y는 포화 아티팩트가 제거되고 원본 영상의 평균 휘도를 유지하는 결과를 얻을 수 있다.FIG. 7 shows an example of obtaining an image P (242) integrated in the first integrated image generation unit 142 and FIG. 8 shows an example of obtaining an integrated image Y (244) integrated in the second integrated image generation unit 144. FIG. . The resultant image Y obtained by the second integration can obtain the result that the saturation artifact is removed and the average luminance of the original image is maintained.
상술한 실시예에 의하여 설명되는 본 발명의 영상 콘트라스트 향상 장치 및 방법은 영상에서 잘 보이지 않는 디테일을 드러내고, 이미지의 퀄리티를 향상시키는 것이다. 따라서 콘트라스트 향상 기법은 텔레비전, 모바일, 카메라 등 자동 처리 시스템에서 후처리 기법으로 사용되기에 적합하다.
The apparatus and method for enhancing image contrast of the present invention described in the above embodiments of the present invention reveal details that are not visible in the image and improve the quality of the image. Therefore, the contrast enhancement technique is suitable to be used as a post-processing technique in an automatic processing system such as television, mobile, and camera.
도 9는 본 발명의 일 실시예에 따른 영상 콘트라스트 향상 방법을 나타내는 흐름도이다. 도 9에 도시된 방법은, 도 3에 도시된 영상 콘트라스트 향상 장치(100)에서 시계열적으로 수행되며 다음의 단계들을 포함한다. 앞서 설명한 사항과 공통된 내용은 이하의 설명에서 제외한다.9 is a flowchart illustrating an image contrast enhancement method according to an exemplary embodiment of the present invention. The method shown in FIG. 9 is performed in a time-series manner in the image
1100단계에서 다중 레이어 영상 생성부(120)는 서로 다른 크기의 윈도우들을 이용한 히스토그램 평활화를 통해 입력 영상의 밝기값을 변환시킨다. 특히, 다중 레이어 영상 생성부는 서로 다른 크기의 윈도우를 이용한 블록 오버랩 기반의 로컬 히스토그램 평활화를 수행하되, CDF를 계산하기 전 미리 설정한 값으로 히스토그램을 클리핑하는 방법을 통해 히스토그램 평활화를 한다.In
1200단계에서, 노이즈 저감부(130)는 밝기 값이 변환된 다중 레이어에 따른 영상들에 대한 노이즈 필터링을 통해 노이즈를 저감시킨다. 특히, 노이즈 저감부(130)는 바이레터럴 필터링을 통해 노이즈를 저감시킬 경우, 에지 성분 또는 스패클 노이즈를 보다 효과적으로 저감시킬 수 있다.In
1300단계에서, 제1 통합 영상 생성부는 노이즈가 저감된 다중 레이어영상들을 가중치에 따라 합산시킨 다중 레이어 통합 영상(P)를 생성한다.In
1400단계에서, 제2 통합 영상 생성부는 다중 레이어 통합 영상(P)과, 입력 영상을 소정의 가중치에 따라 합산함으로써 최종적으로 콘트라스트가 향상된 영상(Y)을 얻는다.In
한편 본 발명의 영상 콘트라스트 향상 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the image contrast enhancement method of the present invention can be implemented by a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also a carrier wave (for example, transmission via the Internet) . The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.
[화질 평가][Picture Quality Evaluation]
알고리즘의 성능 평가는 일반 표준 영상 및 의료 영상에 대한 주관적 화질 평가, 엔트로피, AMBE 등의 measure를 이용한 평가를 수행하였다. 엔트로피와 관련하여, 이는 결과 이미지로부터 얻어진 향상의 정도를 측정할 수 있다. 즉, 이미지의 퀄리티가 향상될수록 입력 이미지와 비교하여 높은 엔트로피 값을 가진다. The performance evaluation of the algorithm was evaluated by subjective image quality evaluation, entropy, and AMBE for general standard and medical images. With respect to entropy, this can measure the degree of improvement obtained from the resulting image. That is, the higher the quality of the image, the higher the entropy value as compared with the input image.
[수학식11]&Quot; (11) "
또, 다른 평가는 AMBE(average mean brightness error)로써, 출력 영상에서 입력 영상의 평균 밝기 값을 얼마만큼 유지하는지를 나타내는 척도이므로, 이미지의 퀄리티가 향상될수록 더 낮은 AMBE값을 가진다. Another evaluation is AMBE (average mean brightness error), which is a measure of how much the average brightness value of the input image is maintained in the output image, and therefore, the higher the quality of the image, the lower the AMBE value.
[수학식12]&Quot; (12) "
여기에서, x,y는 각각 입력 영상과 출력 영상의 평균 밝기 값을 나타낸다. 본 성능 평가에서 CLAHE 알고리즘의 클리핑 값은 히스토그램 최대값의 10%로 설정하였고, 바이레터럴 필터의 두 파라미터는 σc=1.8, σs=30으로 설정하였다. Here, x and y represent the average brightness values of the input image and the output image, respectively. In this performance evaluation, the clipping value of the CLAHE algorithm is set to 10% of the histogram maximum value, and the two parameters of the bilateral filter are set to σ c = 1.8 and σ s = 30.
표 1에서 엔트로피와 AMBE 모두 메디안 필터보다는 바이레터럴 필터에서 더 좋은 성능이 나타남을 확인할 수 있다. 특히, baboon, chest2, teeth 이미지에 대해서는 메디안 필터를 사용한 경우 원본 이미지보다 엔트로피가 떨어지는 것을 확인할 수 있으며, 바이레터럴 필터를 사용한 경우에는 원본 이미지와 메디안 필터를 사용한 이미지 모두에 대하여 더 좋은 성능을 나타냄을 확인할 수 있다.Table 1 shows that both entropy and AMBE perform better in the bilateral filter than in the median filter. Especially, for the baboon, chest2, and teeth images, the entropy is lower than the original image when the median filter is used. In the case of using the bilateral filter, the image is better for both the original image and the median filter. can confirm.
표 2, 3에서 기존 알고리즘 및 잘 알려진 LHE기법인 BOHE, CLAHE 기법들과 제안 알고리즘의 엔트로피와 AMBE를 비교하였다. 기존 알고리즘뿐 아니라 기존의 LHE기법들에 대해서도 제안 알고리즘이 엔트로피와 AMBE cmrausa에서 더 나은 성능을 보이는 것을 확인할 수 있다.In Table 2 and 3, entropy and AMBE of the existing algorithms and the well known LHE techniques BOHE, CLAHE and proposed algorithm are compared. For the existing LHE techniques as well as the existing algorithms, the proposed algorithm shows better performance in entropy and AMBE cmrausa.
도 10, 11은 각각 일반 표준 영상인 sailboat와 의료 영상인 chest2 에 대하여 기존 알고리즘들과의 주관적 화질 평가를 나타낸다.10 and 11 show subjective image quality evaluation with respect to existing algorithms for the sailboat, which is a standard standard image, and chest2, which is a medical image, respectively.
도 10, 11 모두에서 LHE (b)의 경우 결과 영상이 부자연스럽게 향상된 것을 볼 수 있으며, 제안 알고리즘의 경우, 그림 8의 Sailboat 이미지에 대해 노이즈는 제거되면서 엣지는 보존되어 자연스럽게 콘트라스트가 향상된 것을 확인할 수 있으며, 도 11의 Chest2 이미지에 대해서도 갈비뼈와 척추 부근에서 콘트라스트가 크게 향상되어 의료 영상에서도 좋은 성능을 내는 것을 확인할 수 있다.In both of FIGS. 10 and 11, it can be seen that the resultant image improves unnaturally in the case of LHE (b). In the case of the proposed algorithm, the noise is removed from the sailboat image shown in FIG. 8, and the edge is preserved and the contrast is naturally improved And the contrast is greatly improved in the vicinity of the ribs and the spine of the
이와 함께 일반적인 블록 오버랩 히스토그램 평활화 기법이 아닌 콘트라스트를 제한하여 적응적으로 히스토그램을 평활화하는 기법을 사용함으로써 결과 이미지에서의 엔트로피 및 AMBE, 주관적 화질에서 기존 LHE기법 및 기존 알고리즘과 비교하여 더욱 뛰어난 성능을 보이는 것을 확인할 수 있다.In addition, by using the technique of smoothing the histogram adaptively by restricting the contrast rather than the normal block overlap histogram smoothing technique, the entropy and the AMBE in the result image, the subjective image quality, and the LHE technique, .
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims and the claims.
Claims (14)
레이어에 따라 입력 영상의 밝기 값을 변환하고, 밝기 값이 변환된 다중 레이어 영상들을 생성하는 단계;
상기 다중 레이어 영상들의 노이즈를 저감시키는 단계; 및
상기 노이즈가 저감된 다중 레이어 영상들을 이용하여 로컬 콘트라스트가 향상된 영상을 생성하는 단계를 포함하고,
상기 다중 레이어에 따라 입력 영상의 밝기 값을 변환하는 단계는, 다중 레이어를 정의하는 서로 다른 크기의 윈도우들을 상기 입력 영상에 적용한 적응적인 히스토그램 평활화를 통해, 상기 입력 영상의 밝기 값을 변환시키고, 상기 히스토그램 평활화를 위한 누적 밀도 함수를 계산하기 전에, 로컬 히스토그램에서 미리 설정된 클리핑 값을 초과하는 히스토그램 값을 모든 히스토그램 영역에 동등하게 재분배하여 밝기 값을 고르게 재분배하여 스패클 노이즈의 과대 증폭을 줄이는 것을 특징으로 하는 영상 콘트라스트 향상방법.The present invention relates to an image local contrast enhancement method,
Converting a brightness value of an input image according to a layer and generating multi-layer images having brightness values converted;
Reducing noise of the multi-layer images; And
And generating an image having enhanced local contrast using the noise-reduced multi-layer images,
Wherein the step of converting the brightness values of the input image according to the multi-layer comprises: converting brightness values of the input image through adaptive histogram smoothing that applies windows of different sizes defining the multiple layers to the input image; Characterized in that before the cumulative density function for histogram smoothing is calculated, a histogram value exceeding a predetermined clipping value in the local histogram is redistributed equally to all histogram regions to uniformly redistribute the brightness value to reduce excessive amplification of the spark noise. To improve image contrast.
상기 다중 레이어 영상들의 노이즈를 저감시키는 것은,
상기 다중 레이어 영상 각각에 대하여 서로 다른 크기의 윈도우를 갖는 바이레터럴 필터(bilateral filter)를 적용하여 스패클 노이즈를 저감시키는 것을 특징으로 하는 영상 콘트라스트 향상 방법.The method according to claim 1,
Reducing the noise of the multi-
And applying a bilateral filter having windows of different sizes to each of the multi-layer images to reduce speckle noise.
상기 입력 영상의 밝기값 재분배를 위한 제1 레이어,
상기 입력 영상에 포함된 작은 객체의 콘트라스트 향상을 위한 제2 레이어, 및
상기 입력 영상의 선명도 향상을 위한 제3 레이어를 포함하는 것을 특징으로 하는 영상 콘트라스트 향상 방법.The method of claim 1,
A first layer for redistributing brightness values of the input image,
A second layer for improving the contrast of a small object included in the input image, and
And a third layer for improving the sharpness of the input image.
상기 로컬 콘트라스트가 향상된 영상을 생성하는 단계는,
노이즈가 저감된 다중 레이어 영상들을 미리 결정된 가중치에 따라 합산시킨 다중레이어 통합 영상을 생성하는 단계; 및
상기 다중레이어 통합 영상과 상기 입력 영상을 이용하여 로컬 콘트라스트가 향상된 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 콘트라스트 향상 방법.The method according to claim 1,
Wherein the step of generating the enhanced local contrast image comprises:
Generating a multi-layer integrated image in which noise-reduced multi-layer images are summed according to predetermined weights; And
Further comprising the step of generating an enhanced local contrast image using the multi-layer integrated image and the input image.
상기 다중레이어 영상들의 엔트로피를 고려하여 결정되는 것을 특징으로 하는 영상 콘트라스트 향상 방법.5. The method of claim 4,
And determining entropy of the multi-layer images.
상기 다중레이어 영상들의 평균 엔트로피와, 상기 다중레이어 영상 각각에 따른 엔트로피간의 상대적인 차이값의 비율에 따라 결정되는 것을 특징으로 하는 영상 콘트라스트 향상 방법.5. The method of claim 4, wherein the predetermined weight is
Wherein a ratio of a difference between an average entropy of the multi-layer images and an entropy according to each of the multi-layer images is determined.
다중 레이어에 따라 입력 영상의 밝기 값을 변환하고, 밝기 값이 변환된 다중 레이어 영상들을 생성하는 다중 레이어 영상 생성부;
상기 다중 레이어 영상들의 노이즈를 저감시키는 노이즈 저감부; 및
상기 노이즈가 저감된 다중 레이어 영상들을 이용하여 로컬 콘트라스트가 향상된 영상을 생성하는 통합 영상 생성부;를 포함하고,
상기 다중 레이어 영상 생성부는, 다중 레이어를 정의하는 서로 다른 크기의 윈도우들을 상기 입력 영상에 적용한 적응적인 히스토그램 평활화를 통해, 상기 입력 영상의 밝기 값을 변환시키고, 상기 히스토그램 평활화를 위한 누적 밀도 함수를 계산하기 전에, 로컬 히스토그램에서 미리 설정된 클리핑 값을 초과하는 히스토그램 값을 모든 히스토그램 영역에 동등하게 재분배하여 밝기 값을 고르게 재분배하여 스패클 노이즈의 과대 증폭을 줄이는 것을 특징으로 하는 영상 콘트라스트 향상 장치.An apparatus for enhancing an image local contrast,
A multi-layer image generation unit for converting a brightness value of an input image according to multiple layers and generating multi-layer images in which brightness values are converted;
A noise reduction unit for reducing noise of the multi-layer images; And
And an integrated image generating unit for generating an enhanced local contrast image using the noise-reduced multi-layer images,
Wherein the multi-layer image generation unit transforms brightness values of the input image through adaptive histogram smoothing that applies windows of different sizes defining multiple layers to the input image, and calculates an accumulated density function for histogram smoothing Wherein the histogram value exceeding a predetermined clipping value in the local histogram is redistributed equally to all histogram regions to uniformly redistribute the brightness value to reduce excessive amplification of the spark noise.
상기 입력 영상의 밝기값 재분배를 위한 제1 레이어,
상기 영상에 포함된 작은 객체의 콘트라스트 향상을 위한 제2 레이어, 및
상기 입력 영상의 선명도 향상을 위한 제3 레이어를 포함하는 것을 특징으로 하는 영상 콘트라스트 향상 장치.11. The method of claim 10,
A first layer for redistributing brightness values of the input image,
A second layer for enhancing contrast of a small object contained in the image, and
And a third layer for improving the sharpness of the input image.
노이즈가 저감된 다중 레이어 영상들을 미리 결정된 가중치에 따라 합산시킨 다중레이어 통합 영상을 생성하는 다중 레이어 기반의 제1 통합 영상 생성부 및
상기 다중레이어 통합 영상과 상기 입력 영상을 이용하여 로컬 콘트라스트가 향상된 영상을 생성하는 제2 통합 영상 생성부를 더 포함하는 것을 특징으로 하는 영상 콘트라스트 향상 장치.The image processing apparatus according to claim 10,
Layer-based first integrated image generation unit for generating a multi-layer integrated image in which noise-reduced multi-layer images are summed according to predetermined weights,
Further comprising a second integrated image generator for generating an enhanced local contrast image using the multi-layer integrated image and the input image.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20120073470 | 2012-07-05 | ||
KR1020120073470 | 2012-07-05 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140008980A KR20140008980A (en) | 2014-01-22 |
KR101877808B1 true KR101877808B1 (en) | 2018-08-09 |
Family
ID=50142617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120106350A KR101877808B1 (en) | 2012-07-05 | 2012-09-25 | Image contrast enhancement method and apparatus using local histogram equalization based on multiple layters overlapped block |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101877808B1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101684139B1 (en) | 2015-06-30 | 2016-12-08 | 주식회사 버츄얼스톰 | Augmented reality implementation method using multiple block layer light enviroment |
CN107404600B (en) | 2016-05-19 | 2021-08-17 | 三星Sds株式会社 | Image processing apparatus and method |
KR101958194B1 (en) * | 2017-11-30 | 2019-03-15 | 인천대학교 산학협력단 | Apparatus and method for contrast enhancement in transform domain |
KR101890538B1 (en) * | 2017-12-29 | 2018-08-30 | (주)제이엘케이인스펙션 | Method and apparatus for transforming image |
KR102282643B1 (en) * | 2019-10-28 | 2021-07-29 | 최은호 | Apparatus and method for extracting vein |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008312177A (en) | 2007-03-27 | 2008-12-25 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus, method and program, for converting gradation of video image |
JP2010176239A (en) * | 2009-01-28 | 2010-08-12 | Hitachi Ltd | Image processor, image processing method, image encoding method, image decoding method |
-
2012
- 2012-09-25 KR KR1020120106350A patent/KR101877808B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008312177A (en) | 2007-03-27 | 2008-12-25 | Nippon Telegr & Teleph Corp <Ntt> | Apparatus, method and program, for converting gradation of video image |
JP2010176239A (en) * | 2009-01-28 | 2010-08-12 | Hitachi Ltd | Image processor, image processing method, image encoding method, image decoding method |
Non-Patent Citations (1)
Title |
---|
Nicholas Sia Pik Kong ET AL:"Multiple layers block overlapped histogram equalization for local content emphasis", Computers and Electrical Engineering Volume 37, Issue 5, pages 631-643, September 2011* |
Also Published As
Publication number | Publication date |
---|---|
KR20140008980A (en) | 2014-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yun et al. | Image enhancement using a fusion framework of histogram equalization and Laplacian pyramid | |
US10152781B2 (en) | Method for image processing using local statistics convolution | |
JP6507846B2 (en) | Image noise removing method and image noise removing apparatus | |
US8249380B2 (en) | Image processor and program | |
JP5908174B2 (en) | Image processing apparatus and image processing method | |
RU2298226C1 (en) | Method for improving digital images | |
JP4858610B2 (en) | Image processing method | |
US7783125B2 (en) | Multi-resolution processing of digital signals | |
KR101877808B1 (en) | Image contrast enhancement method and apparatus using local histogram equalization based on multiple layters overlapped block | |
JP2005227838A (en) | Image processing method, device, and program | |
Boschetti et al. | High dynamic range image tone mapping based on local histogram equalization | |
US20090202167A1 (en) | Method and apparatus for image enhancement | |
WO2014169579A1 (en) | Color enhancement method and device | |
EP2082566A1 (en) | Image processing system, method and computer program for contrast enhancement of images | |
US8594446B2 (en) | Method for enhancing a digitized document | |
EP2564373B1 (en) | Detection and/or enhancement of contrast differences in digital image data | |
JP2016517975A (en) | Guided filter-based detail enhancement | |
CN110942427A (en) | Image noise reduction method and device, equipment and storage medium | |
Son et al. | Art‐photographic detail enhancement | |
KR101651889B1 (en) | Video quality enhancement device and method for extremely low-light video | |
JP6548403B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
Srinivas et al. | Channel prior based Retinex model for underwater image enhancement | |
Li et al. | Modified clipped histogram equalization for contrast enhancement | |
Jeon | Denoising in contrast-enhanced X-ray images | |
CN107492078B (en) | Method for removing black noise in image and computing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |