KR20130126026A - 세부정보 추정에 의한 영상 개선 장치 및 방법 - Google Patents

세부정보 추정에 의한 영상 개선 장치 및 방법 Download PDF

Info

Publication number
KR20130126026A
KR20130126026A KR1020120049762A KR20120049762A KR20130126026A KR 20130126026 A KR20130126026 A KR 20130126026A KR 1020120049762 A KR1020120049762 A KR 1020120049762A KR 20120049762 A KR20120049762 A KR 20120049762A KR 20130126026 A KR20130126026 A KR 20130126026A
Authority
KR
South Korea
Prior art keywords
image
input ldr
input
images
value
Prior art date
Application number
KR1020120049762A
Other languages
English (en)
Other versions
KR101341616B1 (ko
Inventor
이상근
김진
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020120049762A priority Critical patent/KR101341616B1/ko
Publication of KR20130126026A publication Critical patent/KR20130126026A/ko
Application granted granted Critical
Publication of KR101341616B1 publication Critical patent/KR101341616B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

세부정보 추정에 의한 영상 개선 장치 및 방법이 개시된다. 정규화부는 서로 다른 노출 조건에 의해 촬영된 복수의 입력 LDR 영상의 휘도 성분을 사용하여 밝기를 정규화한다. 세부정보 추정부는 밝기가 정규화된 입력 LDR 영상들을 복수의 블록으로 분할하고, 각각의 블록에 포함된 휘도 성분의 표준편차를 기초로 세부정보를 추정한다. 알파매트 생성부는 추정된 세부정보의 값을 기초로 각각의 입력 LDR 영상에 대응하는 알파매트를 생성하고, 영상 합성부는 알파매트에 의해 각각의 입력 LDR 영상의 색상채널을 합성하여 HDR 영상을 생성한다. 본 발명에 따르면, 서로 다른 노출값으로 촬영된 LDR 영상들의 밝기를 정규화함으로써 세부정보를 정확하게 추정할 수 있으며, 입력 LDR 영상의 휘도성분만을 사용하여 세부정보를 추정함으로써 수행속도를 향상시킬 수 있다.

Description

세부정보 추정에 의한 영상 개선 장치 및 방법{Apparatus and method for improving image by detail estimation}
본 발명은 세부정보 추정에 의한 영상 개선 장치 및 방법에 관한 것으로, 보다 상세하게는, 복수의 LDR 영상을 융합하여 HDR 영상을 생성할 때 영상으로부터 추정된 세부정보를 사용하는 장치 및 방법에 관한 것이다.
일반적으로 인간이 눈으로 바라보는 장면에 대한 휘도의 동적 영역(dynamic range)에 비해 동일 장면을 촬영하는 기기의 동적 영역은 제한되어 있다. 따라서 촬영된 영상을 인간의 눈으로 바라보는 장면과 유사하게 표현하기 위해 다양한 노출 조건 하에서 촬영된 저 동적 영역(Low Dynamic Range : LDR) 영상들을 융합하여 고 동적 영역(High Dynamic Range : HDR) 영상을 생성한다. 그러나 디스플레이 기기에서 HDR 영상을 표현할 수 없다는 문제가 있다.
일반적인 디스플레이 기기에서 효과적으로 HDR 영상을 표현하기 위하여 톤 매핑(Tone Mapping) 기법이 사용되고 있다.
도 1은 톤 매핑 기법을 나타낸 도면으로, 좌측의 세 개의 LDR 영상은 각각 -2.0eV, 0eV, +2.0eV의 노출값으로 촬영된 것이다. 톤 매핑 기법은 이들 세 개의 LDR 영상을 합성하여 하나의 HDR 영상을 생성한다. 도 1을 참조하면, 서로 다른 노출 조건에서 나타나는 영상의 세부정보가 HDR 영상에 모두 나타남을 확인할 수 있다.
"Gradient-Based Synthesized Multiple Exposure Time Color HDR Image"(A. R. Varkonyl-Koczy, A. Rovid and T. Hashimoto, IEEE Transactions on Instrumentation and Measurement, Aug. 2008)에 개시된 톤 매핑 기법은 노출이 다른 여러 영상의 RGB 색상공간에서의 밝기의 기울기(gradient)를 이용하여 세부정보를 추정하는 방법으로, 복잡한 연산이 요구되며 영상 간의 밝기차를 고려하지 않기 때문에 세부정보가 올바르게 추정되지 않는다는 문제가 있다.
또한 한국공개특허 제2011-0084025호에는 다중노출 영상을 합성하는 영상합성방식이 개시되어 있으며, 서로 다른 노출의 두 입력영상의 움직임을 정합하고, 각 입력영상들의 휘도 영역을 구분하여 압축한 후 합성하는 방법에 의해 대비 저하 없이 HDR 영상을 생성하는 구성을 가진다. 개시된 방법에서는 각각의 휘도 영역에서 나타나는 세부정보를 보존하고자 하였으나, 각각의 입력영상 간의 밝기차를 고려하지 않아 세부정보가 정확하게 추정되지 않는다는 단점을 가진다.
본 발명이 이루고자 하는 기술적 과제는, 서로 다른 노출 조건에서 촬영된 영상 간의 밝기차를 고려하여 정확하게 세부정보를 추정함과 동시에 빠른 속도로 HDR 영상을 생성할 수 있는 세부정보 추정에 의한 영상 개선 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 서로 다른 노출 조건에서 촬영된 영상 간의 밝기차를 고려하여 정확하게 세부정보를 추정함과 동시에 빠른 속도로 HDR 영상을 생성할 수 있는 세부정보 추정에 의한 영상 개선 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 세부정보 추정에 의한 영상 개선 장치는, 서로 다른 노출 조건에 의해 촬영된 복수의 입력 저 동적 영역(LDR) 영상의 휘도 성분을 사용하여 상기 입력 LDR 영상들의 밝기를 정규화하는 정규화부; 밝기가 정규화된 상기 입력 LDR 영상들을 복수의 블록으로 분할하고, 상기 각각의 블록에 포함된 휘도 성분의 표준편차를 기초로 세부정보를 추정하는 세부정보 추정부; 상기 추정된 세부정보의 값을 기초로 상기 각각의 입력 LDR 영상에 대응하는 알파매트를 생성하는 알파매트 생성부; 및 상기 알파매트에 의해 상기 각각의 입력 LDR 영상의 색상채널을 합성하여 고 동적 영역(HDR) 영상을 생성하는 영상 합성부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 세부정보 추정에 의한 영상 개선 방법은, (a) 서로 다른 노출 조건에 의해 촬영된 복수의 입력 저 동적 영역(LDR) 영상의 휘도 성분을 사용하여 상기 입력 LDR 영상들의 밝기를 정규화하는 단계; (b) 밝기가 정규화된 상기 입력 LDR 영상들을 복수의 블록으로 분할하고, 상기 각각의 블록에 포함된 휘도 성분의 표준편차를 기초로 세부정보를 추정하는 단계; (c) 상기 추정된 세부정보의 값을 기초로 상기 각각의 입력 LDR 영상에 대응하는 알파매트를 생성하는 단계; 및 (d) 상기 알파매트에 의해 상기 각각의 입력 LDR 영상의 색상채널을 합성하여 고 동적 영역(HDR) 영상을 생성하는 단계;를 갖는다.
본 발명에 따른 세부정보 추정에 의한 영상 개선 장치 및 방법에 의하면, 서로 다른 노출값으로 촬영된 LDR 영상들의 밝기를 정규화함으로써 세부정보를 정확하게 추정할 수 있으며, 입력 LDR 영상의 휘도성분만을 사용하여 세부정보를 추정함으로써 수행속도를 향상시킬 수 있다.
도 1은 톤 매핑 기법을 나타낸 도면,
도 2는 본 발명에 따른 세부정보 추정에 의한 영상 개선 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 3은 입력 LDR 영상들의 밝기가 정규화된 일 실시예를 나타낸 도면,
도 4는 복수의 입력 LDR 영상을 각각 복수의 블록으로 분할한 일 실시예를 도시한 도면,
도 5는 복수의 입력 LDR 영상에 대응하는 세부정보가 추정된 일 실시예를 나타낸 도면,
도 6은 복수의 입력 LDR 영상에 대응하여 생성된 알파매트의 일 실시예를 나타낸 도면,
도 7은 알파매트에 가우시안 함수를 적용하여 블러링시키는 일 실시예를 나타낸 도면,
도 8은 각각의 입력 LDR 영상의 색상채널에 알파매트를 적용하여 HDR 영상을 생성하는 일 실시예를 나타낸 도면,
도 9는 본 발명에 따른 세부정보 추정에 의한 영상 개선 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 10은 각각의 노출 조건으로 사용된 LDR 영상들 및 본 발명과 Varkonyl-Koczy의 기법에 의해 얻어진 HDR 영상들을 나타낸 도면, 그리고,
도 11은 도 10의 (d) 및 (e)에서 동일한 지점을 확대한 영상이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 세부정보 추정에 의한 영상 개선 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 2는 본 발명에 따른 세부정보 추정에 의한 영상 개선 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명에 따른 영상 개선 장치는 정규화부(110), 세부정보 추정부(120), 알파매트 생성부(130) 및 영상 합성부(140)를 구비한다.
정규화부(110)는 서로 다른 노출 조건에 의해 촬영된 복수의 입력 LDR 영상의 휘도 성분을 사용하여 입력 LDR 영상들의 밝기를 정규화한다.
이때 복수의 입력 LDR 영상은 카메라에 의해 촬영된 하나의 영상으로부터 노출값을 조정함으로써 얻어질 수도 있고, 촬영시 노출값을 다양하게 설정함으로써 얻어질 수도 있다. 또한 이하에서는 입력 LDR 영상이 -2.0eV, 0eV 및 +2.0eV의 세 가지 노출값에 의해 촬영된 경우를 대표적인 실시예로 하여 설명하나, 입력 LDR 영상의 개수 및 복수의 노출 조건은 이에 제한되지 않으며 다양한 조건으로 설정될 수 있다.
앞에서 설명한 바와 같이 기존의 톤 매핑 기법들은 서로 다른 노출 조건으로 촬영된 영상들 간의 밝기차를 고려하지 않음으로써 HDR 영상 합성을 위한 세부정보가 정확하게 추정되지 않는 단점이 있었다. 따라서 본 발명에 따른 영상 개선 장치의 정규화부(110)는 영상의 밝기에 의한 영상을 감소시켜 정확하게 세부정보를 추정하기 위하여 밝기 정규화를 수행한다.
정규화부(110)는 밝기 정규화를 수행하기 위해 각각의 입력 LDR 영상의 휘도 성분을 사용하며, 휘도 성분은 다음의 수학식 1과 같이 입력 LDR 영상을 RGB 색상공간으로부터 YCbCr 색상공간으로 변환한 후 얻어진다.
Figure pat00001
정규화부(110)는 수학식 1에 의해 얻어진 각 입력 LDR 영상의 휘도(Y)성분에 대한 평균값을 산출하고, 이를 기준으로 밝기 정규화를 수행할 수 있다. 또는 밝기 정규화에 사용되는 기준영상은 복수의 입력 LDR 영상 중 노출값이 중간인 입력 LDR 영상, 즉 본 발명의 실시예에서는 0eV의 노출값으로 촬영된 입력 LDR 영상이 될 수도 있다.
복수의 입력 LDR 영상에 대한 밝기 정규화는 다음의 수학식 2에 의해 수행될 수 있다.
Figure pat00002
여기서,
Figure pat00003
은 밝기가 정규화된 입력 LDR 영상의 휘도 성분 값,
Figure pat00004
는 밝기가 정규화되기 전 입력 LDR 영상의 휘도 성분 값,
Figure pat00005
및
Figure pat00006
는 기준영상의 휘도 성분의 평균 및 표준편차, 그리고
Figure pat00007
및
Figure pat00008
는 밝기가 정규화되기 전 입력 LDR 영상의 휘도 성분의 평균 및 표준편차를 나타낸다.
도 3은 입력 LDR 영상들의 밝기가 정규화된 일 실시예를 나타낸 도면으로, 도 3의 (a)는 -2.0ev, 0eV 및 +2.0eV로 각각 촬영된 입력 LDR 영상들의 Y 채널을 나타낸 것이고, (b)는 각 Y 채널이 정규화된 결과를 나타낸 것이다. -2.0eV와 +2.0eV의 입력 LDR 영상의 밝기가 0eV의 입력 LDR 영상의 밝기와 유사하게 정규화된 것을 확인할 수 있다.
다음으로 세부정보 추정부(120)는 밝기가 정규화된 입력 LDR 영상들을 복수의 블록으로 분할하고, 각각의 블록에 포함된 휘도 성분의 표준편차를 기초로 세부정보를 추정한다. 정규화부(110)에 의한 밝기 정규화와 마찬가지로 세부정보를 추정하는 과정 역시 밝기가 정규화된 각 입력 LDR 영상의 Y 채널을 사용하여 수행된다. 따라서 RGB 색상공간에서 세부정보 추정 후 HDR 영상을 생성하는 기존의 톤 매핑 기법에 비해 속도를 향상시킬 수 있다.
영상의 세부정보를 추정하는 과정은 영상의 각 좌표의 국부 표준편차를 산출함으로써 수행될 수 있다. 이때 세부정보 추정부(120)는 밝기가 정규화된 각 입력 LDR 영상을 복수의 블록으로 분할한 후 각각의 블록에 포함된 좌표들의 휘도 성분의 표준편차를 산출하여 이를 해당 블록의 세부정보 값으로 결정한다.
도 4는 복수의 입력 LDR 영상을 각각 복수의 블록으로 분할한 일 실시예를 도시한 도면이다. 도 4를 참조하면, 밝기가 정규화된 i개의 입력 LDR 영상은 mw×mh 크기의 동일 크기의 블록으로 분할되며, 블록의 좌측 상단에 해당하는 좌표는 (xr,yr)과 같이 표현된다. 이와 같이 분할된 블록에 대응하는 세부정보 값은 다음의 수학식 3에 의해 산출될 수 있다.
Figure pat00009
여기서, Dn은 입력 LDR 영상의 n번째 블록으로부터 추정된 세부정보 값, S는 하나의 블록에 포함된 좌표의 개수, 그리고
Figure pat00010
은 블록 내의 휘도 성분의 평균값을 나타낸다.
Dn의 값이 클수록, 즉 블록 내의 휘도 성분의 표준편차가 클수록 해당 블록에 대응하는 입력 LDR 영상의 영역에 세부정보가 많이 포함되어 있다는 것을 의미한다. 또한 영상의 노출값에 따라 세부정보가 다르게 나타나므로, 서로 다른 입력 LDR 영상에서 동일한 지점의 블록의 세부정보 값이 다르게 산출된다.
도 5는 복수의 입력 LDR 영상에 대응하는 세부정보가 추정된 일 실시예를 나타낸 도면이다. 도 5의 (a)는 -2.0eV, 0eV 및 +2.0eV로 각각 촬영된 입력 LDR 영상들을 나타내며, (b)는 각각의 입력 LDR 영상의 Y 채널을 사용하여 세부정보가 추정된 결과를 나타낸다. 복수의 입력 LDR 영상은 동일한 장면을 촬영하여 얻어진 것이지만, 서로 다른 노출값으로 촬영됨에 따라 동일 지점의 세부정보가 상이하게 추정된 것을 확인할 수 있다. 또한 복수의 입력 LDR 영상 중 세부정보가 가장 잘 표현된 지점의 세부정보 값이 가장 크게 산출되었음을 확인할 수 있다.
알파매트 생성부(130)는 추정된 세부정보의 값을 기초로 각각의 입력 LDR 영상에 대응하는 알파매트를 생성한다. 알파매트는 복수의 영상을 합성할 때 각각의 영상으로부터 추출될 영역을 결정하기 위해 사용되며, 본 발명에서는 입력 LDR 영상들의 세부정보가 블록 단위로 추정되었으므로, 알파매트 역시 각각의 블록에 대응하는 지점의 좌표에 대응하는 값이 결정됨으로써 생성된다.
알파매트의 각 좌표의 값은 다음의 수학식 4에 의해 결정된다.
Figure pat00011
여기서, An(x,y)는 N개의 입력 LDR 영상 중 n번째 입력 LDR 영상에 대응하는 알파매트의 (x,y) 좌표의 값, Dn(R)은 n번째 입력 LDR 영상에서 (x,y) 좌표에 대응하는 블록 R의 세부정보 값이다.
즉, 알파매트 생성부(130)는 복수의 입력 LDR 영상의 동일한 지점에 대응하는 블록으로부터 추정된 세부정보의 값이 가장 큰 입력 LDR 영상에 대응하는 알파매트의 좌표의 값을 1로, 나머지 알파매트의 좌표의 값을 0으로 결정함으로써 이후 복수의 입력 LDR 영상을 융합할 때 세부정보가 가장 많이 포함된 지점들이 선택되도록 한다.
도 6은 복수의 입력 LDR 영상에 대응하여 생성된 알파매트의 일 실시예를 나타낸 도면이다. 도 6의 알파매트들은 도 5의 (a)에 나타낸 복수의 입력 LDR 영상에 각각 대응하여 생성된 것으로, 좌표의 값이 1인 부분은 흰색으로, 0인 부분은 검은색으로 표시되어 있다. 도 5의 (b)에 나타낸 세부정보 추정 결과로부터도 알 수 있는 바와 같이 세 개의 입력 LDR 영상 중 세부정보가 가장 많이 포함된 지점의 알파매트의 좌표의 값이 1로 결정된 것을 확인할 수 있다.
영상 합성부(140)는 생성된 알파매트에 의해 각각의 입력 LDR 영상의 색상채널을 합성하여 HDR 영상을 생성한다. 앞에서 설명한 바와 같이 색상채널들로부터 추출되는 영역은 알파매트의 값에 의해 결정된다.
또한 영상 합성부(140)는 자연스러운 영상 합성을 위해 알파매트에 블러링 필터를 적용하여 색상채널의 합성에 사용할 수 있다. 블러링 필터로는 다음의 수학식 5와 같이 표현되는 가우시안 필터(Gaussian filter)를 사용할 수 있다.
Figure pat00012
여기서 σ의 값은 실험적으로 설정될 수 있으며, 예를 들면 60으로 설정될 수 있다. 또한 가우시안 필터의 마스크 크기는 알파매트와 동일한 크기로 설정될 수 있다.
한편, 영상 합성부(140)는 알파매트와 가우시안 필터의 회선(convolution)에 소요되는 시간을 단축하기 위해 알파매트를 축소하여 가우시안 필터를 적용한 후 다시 확대한 결과를 입력 LDR 영상들의 합성에 사용할 수 있다.
도 7은 알파매트에 가우시안 함수를 적용하여 블러링시키는 일 실시예를 나타낸 도면이다. 도 7을 참조하면, 알파매트를 다운샘플링(축소)한 후 가우시안 함수와의 회선(convolution)을 수행하고 다시 업샘플링(확대)하여 빠른 속도로 알파매트를 생성함으로써 전체 수행시간을 단축시킬 수 있다.
영상 융합부(140)는 위에서 설명한 방법에 의해 알파매트를 블러링시킨 후 다음의 수학식 6 및 수학식 7에 의해 HDR 영상을 생성한다.
Figure pat00013
Figure pat00014
여기서, Hout은 최종적으로 생성되는 HDR 영상, Hn은 N개의 입력 LDR 영상 중 n번째 LDR 영상으로부터 생성된 HDR 영상, 그리고 InRGB는 n번째 입력 LDR 영상의 각 색상채널을 나타낸다.
도 8은 각각의 입력 LDR 영상의 색상채널에 알파매트를 적용하여 HDR 영상을 생성하는 일 실시예를 나타낸 도면이다.
도 8을 참조하면, 노출 0, 1 및 2의 입력 LDR 영상의 각 색상채널에 블러링된 알파매트를 적용하고 합성함으로써 HDR 영상의 색상채널들이 얻어지며, 이를 융합하여 결과 HDR 영상이 생성된다. 도 5의 (a)에 나타난 입력 LDR 영상들에서 세부정보가 가장 잘 표현된 영역들이 합성되었음을 확인할 수 있다.
도 9는 본 발명에 따른 세부정보 추정에 의한 영상 개선 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 9를 참조하면, 정규화부(110)는 복수의 입력 LDR 영상의 휘도 성분을 사용하여 각 입력 LDR 영상의 밝기를 정규화한다(S1010). 세부정보 추정부(120)는 각각의 입력 LDR 영상, 구체적으로 휘도(Y) 채널을 블록 단위로 분할하여 각 블록별로 입력 LDR 영상의 세부정보를 추정하고(S1020), 알파매트 생성부(130)는 추정된 세부정보를 사용하여 각각의 입력 LDR 영상에 대응하는 알파매트를 생성한다(S1030).
마지막으로 영상 합성부(140)는 각각의 입력 LDR 영상의 색상채널을 알파매트를 사용하여 합성함으로써 HDR 영상을 생성한다(S1040). 이상의 각 과정에 대한 다른 실시예들은 앞에서 상세하게 설명한 바 있으므로, 구체적인 설명은 생략한다.
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험은 본 발명과 앞에서 설명한 Varkonyl-Koczy의 기법을 비교하기 위해 수행되었으며, 2.66GHz Intel Core i5 CPU 및 3GB RAM이 장착된 컴퓨터에서 MATLAB 2009b가 실험에 사용되었다. 또한 800×600 크기의 영상이 -4eV, 0eV 및 +4eV의 노출 조건으로 촬영되었다.
도 10은 각각의 노출 조건으로 사용된 LDR 영상들 및 본 발명과 Varkonyl-Koczy의 기법에 의해 얻어진 HDR 영상들을 나타낸 도면이다. 도 10의 (a) 내지 (c)는 각각 -4eV, 0eV 및 +4eV의 노출 조건으로 촬영된 LDR 영상들이며, (d)는 Varkonyl-Koczy의 기법에 의해 얻어진 HDR 영상, 그리고 (e)는 본 발명에 의해 얻어진 HDR 영상을 나타낸다.
또한 도 11은 도 10의 (d) 및 (e)에서 동일한 지점을 확대한 영상으로, (a)는 도 10의 (d)를 확대한 영상이고, (b)는 도 10의 (e)를 확대한 영상이다.
도 10 및 도 11을 참조하면, 본 발명을 사용하여 톤 맵핑을 수행하였을 때 영상의 각 부분의 세부정보가 더 잘 보존됨을 육안으로 확인할 수 있다. 또한 도 10의 (d) 및 (e)와 같은 HDR 영상을 생성하기 위한 알고리즘 수행 시간은 Varkonyl-Koczy의 기법이 42.44초, 그리고 본 발명이 24.35초가 소요되어 본 발명이 약 40% 향상된 수행 속도를 보임을 확인할 수 있다. 이는 Varkonyl-Koczy의 기법은 세부정보 추정에 RGB 색상채널을 사용하는 반면, 본 발명은 Y 채널만을 사용하기 때문이다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 정규화부
120 - 세부정보 추정부
130 - 알파매트 생성부
140 - 영상 합성부

Claims (11)

  1. 서로 다른 노출 조건에 의해 촬영된 복수의 입력 저 동적 영역(LDR) 영상의 휘도 성분을 사용하여 상기 입력 LDR 영상들의 밝기를 정규화하는 정규화부;
    밝기가 정규화된 상기 입력 LDR 영상들을 복수의 블록으로 분할하고, 상기 각각의 블록에 포함된 휘도 성분의 표준편차를 기초로 세부정보를 추정하는 세부정보 추정부;
    상기 추정된 세부정보의 값을 기초로 상기 각각의 입력 LDR 영상에 대응하는 알파매트를 생성하는 알파매트 생성부; 및
    상기 알파매트에 의해 상기 각각의 입력 LDR 영상의 색상채널을 합성하여 고 동적 영역(HDR) 영상을 생성하는 영상 합성부;를 포함하는 것을 특징으로 하는 영상 개선 장치.
  2. 제 1항에 있어서,
    상기 정규화부는 상기 각각의 입력 LDR 영상으로부터 추출된 휘도 성분의 평균값을 산출하고, 상기 평균값을 기준으로 상기 입력 LDR 영상들의 밝기를 정규화하는 것을 특징으로 하는 영상 개선 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 알파매트 생성부는 상기 각각의 입력 LDR 영상에 대응하는 알파매트에서 상기 각 블록에 대응하는 좌표의 값을 결정하되, 상기 입력 LDR 영상들 중 동일 위치의 블록으로부터 추정된 세부정보의 값이 가장 큰 입력 LDR 영상에 대응하는 알파매트의 좌표의 값을 A로 결정하고, 상기 세부정보의 값이 가장 큰 입력 LDR 영상을 제외한 입력 LDR 영상에 대응하는 알파매트의 좌표의 값을 상기 A와 상이한 값인 B로 결정하는 것을 특징으로 하는 영상 개선 장치.
  4. 제 1항 또는 제 2항에 있어서,
    상기 영상 합성부는 상기 각각의 알파매트에 블러링 필터를 적용한 후 상기 입력 LDR 영상들의 각 색상채널에 적용하는 것을 특징으로 하는 영상 개선 장치.
  5. 제 4항에 있어서,
    상기 영상 합성부는 상기 각각의 알파매트를 축소하여 상기 블러링 필터를 적용한 후 확대한 결과를 상기 입력 LDR 영상들의 각 색상채널에 적용하는 것을 특징으로 하는 영상 개선 장치.
  6. (a) 서로 다른 노출 조건에 의해 촬영된 복수의 입력 저 동적 영역(LDR) 영상의 휘도 성분을 사용하여 상기 입력 LDR 영상들의 밝기를 정규화하는 단계;
    (b) 밝기가 정규화된 상기 입력 LDR 영상들을 복수의 블록으로 분할하고, 상기 각각의 블록에 포함된 휘도 성분의 표준편차를 기초로 세부정보를 추정하는 단계;
    (c) 상기 추정된 세부정보의 값을 기초로 상기 각각의 입력 LDR 영상에 대응하는 알파매트를 생성하는 단계; 및
    (d) 상기 알파매트에 의해 상기 각각의 입력 LDR 영상의 색상채널을 합성하여 고 동적 영역(HDR) 영상을 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 개선 방법.
  7. 제 6항에 있어서,
    상기 (a) 단계에서, 상기 각각의 입력 LDR 영상으로부터 추출된 휘도 성분의 평균값을 산출하고, 상기 평균값을 기준으로 상기 입력 LDR 영상들의 밝기를 정규화하는 것을 특징으로 하는 영상 개선 방법.
  8. 제 6항 또는 제 7항에 있어서,
    상기 (c) 단계에서, 상기 각각의 입력 LDR 영상에 대응하는 알파매트에서 상기 각 블록에 대응하는 좌표의 값을 결정하되, 상기 입력 LDR 영상들 중 동일 위치의 블록으로부터 추정된 세부정보의 값이 가장 큰 입력 LDR 영상에 대응하는 알파매트의 좌표의 값을 A로 결정하고, 상기 세부정보의 값이 가장 큰 입력 LDR 영상을 제외한 입력 LDR 영상에 대응하는 알파매트의 좌표의 값을 상기 A와 상이한 값인 B로 결정하는 것을 특징으로 하는 영상 개선 방법.
  9. 제 6항 또는 제 7항에 있어서,
    상기 (d) 단계에서, 상기 각각의 알파매트에 블러링 필터를 적용한 후 상기 입력 LDR 영상들의 각 색상채널에 적용하는 것을 특징으로 하는 영상 개선 방법.
  10. 제 9항에 있어서,
    상기 (d) 단계에서, 상기 각각의 알파매트를 축소하여 상기 블러링 필터를 적용한 후 확대한 결과를 상기 입력 LDR 영상들의 각 색상채널에 적용하는 것을 특징으로 하는 영상 개선 방법.
  11. 제 6항 또는 제 7항에 기재된 영상 개선 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120049762A 2012-05-10 2012-05-10 세부정보 추정에 의한 영상 개선 장치 및 방법 KR101341616B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120049762A KR101341616B1 (ko) 2012-05-10 2012-05-10 세부정보 추정에 의한 영상 개선 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120049762A KR101341616B1 (ko) 2012-05-10 2012-05-10 세부정보 추정에 의한 영상 개선 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130126026A true KR20130126026A (ko) 2013-11-20
KR101341616B1 KR101341616B1 (ko) 2013-12-13

Family

ID=49854206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120049762A KR101341616B1 (ko) 2012-05-10 2012-05-10 세부정보 추정에 의한 영상 개선 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101341616B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2566050A (en) * 2017-08-31 2019-03-06 Imagination Tech Ltd Luminance-normalised colour spaces
WO2019157966A1 (zh) * 2018-02-13 2019-08-22 腾讯科技（深圳）有限公司 图像增强方法、数据处理设备及存储介质
CN113222866A (zh) * 2021-07-08 2021-08-06 北方夜视科技(南京)研究院有限公司 灰度图像增强方法、计算机可读介质及计算机系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102586816B1 (ko) 2022-05-24 2023-10-11 동국대학교 산학협력단 다중 변환함수의 추정에 기반하여 개선 영상을 획득하는 영상 개선 장치 및 방법
KR102594410B1 (ko) 2022-06-03 2023-10-30 동국대학교 산학협력단 히스토그램 기반 변환함수 추정에 기반하여 개선 영상을 획득하는 영상 개선 장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633893B1 (ko) * 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2566050A (en) * 2017-08-31 2019-03-06 Imagination Tech Ltd Luminance-normalised colour spaces
GB2566050B (en) * 2017-08-31 2021-08-25 Imagination Tech Ltd Luminance-normalised colour spaces
US11574387B2 (en) 2017-08-31 2023-02-07 Imagination Technologies Limited Luminance-normalised colour spaces
WO2019157966A1 (zh) * 2018-02-13 2019-08-22 腾讯科技（深圳）有限公司 图像增强方法、数据处理设备及存储介质
CN113222866A (zh) * 2021-07-08 2021-08-06 北方夜视科技(南京)研究院有限公司 灰度图像增强方法、计算机可读介质及计算机系统

Also Published As

Publication number Publication date
KR101341616B1 (ko) 2013-12-13

Similar Documents

Publication Publication Date Title
WO2018176925A1 (zh) Hdr图像的生成方法及装置
US8340417B2 (en) Image processing method and apparatus for correcting skin color
CN107194869B (zh) 一种图像处理方法及终端、计算机存储介质、计算机设备
KR101341616B1 (ko) 세부정보 추정에 의한 영상 개선 장치 및 방법
US20130307966A1 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
KR20130079728A (ko) 색상 채널을 이용한 영상 개선 장치 및 방법
JP2008234342A (ja) 画像処理装置及び画像処理方法
WO2017154630A1 (ja) 画像処理装置、画像処理方法および記録媒体
JP2010055194A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP2010146264A (ja) 画像処理装置および方法、並びにプログラム
WO2012000800A1 (en) Eye beautification
CN105243371A (zh) 一种人脸美颜程度的检测方法、系统及拍摄终端
US20140294299A1 (en) Image processing apparatus and method
US20110206293A1 (en) Image processing apparatus, image processing method, and computer readable medium storing program thereof
WO2022088976A1 (zh) 图像处理方法及装置
KR20150007880A (ko) 영상 화질 개선 방법, 장치 및 기록 매체
Lee et al. Correction of the overexposed region in digital color image
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
KR101437898B1 (ko) 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
US10929959B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP5807555B2 (ja) 画像処理プログラム、装置及び方法
JP4345366B2 (ja) 画像処理プログラムおよび画像処理装置
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
CN115578273A (zh) 图像多帧融合的方法、装置、电子设备及存储介质
JP2009251634A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 6