KR100809347B1 - 쉐도우 영역 보상 방법 및 장치 - Google Patents

쉐도우 영역 보상 방법 및 장치 Download PDF

Info

Publication number
KR100809347B1
KR100809347B1 KR1020060072324A KR20060072324A KR100809347B1 KR 100809347 B1 KR100809347 B1 KR 100809347B1 KR 1020060072324 A KR1020060072324 A KR 1020060072324A KR 20060072324 A KR20060072324 A KR 20060072324A KR 100809347 B1 KR100809347 B1 KR 100809347B1
Authority
KR
South Korea
Prior art keywords
luminance
pixel
compensation
image
representative
Prior art date
Application number
KR1020060072324A
Other languages
English (en)
Other versions
KR20080011588A (ko
Inventor
한영란
이승신
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060072324A priority Critical patent/KR100809347B1/ko
Priority to US11/822,729 priority patent/US8155474B2/en
Priority to EP07112592.6A priority patent/EP1884892B1/en
Priority to JP2007193193A priority patent/JP5095290B2/ja
Priority to CN2007101397371A priority patent/CN101118721B/zh
Publication of KR20080011588A publication Critical patent/KR20080011588A/ko
Application granted granted Critical
Publication of KR100809347B1 publication Critical patent/KR100809347B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Abstract

본 발명은 쉐도우 영역 보상 방법 및 장치에 관한 것으로, 더욱 상세하게는 어두운 영역에 대하여는 주변 휘도를 고려하여 휘도를 많이 향상시키고, 밝은 영역에 대하여는 휘도를 덜 향상시키는 쉐도우 영역 보상 방법 및 장치에 관한 것이다.
본 발명에 일 실시예에 따른 쉐도우 영역 보상 방법은 영상 정보를 가진 픽셀과 픽셀의 주위에 위치하는 픽셀의 휘도를 반영하여 대표 루미넌스(Lav)를 산출하는 단계, 산출된 대표 루미넌스를 이용하여 보상 휘도비를 결정하는 단계 및 보상 휘도비에 의하여 출력 휘도를 상승시키는 단계를 포함한다.
휘도 향상, 쉐도우 보상, 히스토그램, 영상 파라미터, 공간 휘도, 대표 루미넌스(Representative Luminance), 어댑티브 루미넌스(Adaptive Luminance)

Description

쉐도우 영역 보상 방법 및 장치{Method and apparatus for compensating shadow area}
도 1은 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법의 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 공간 휘도를 분석하기 위해 영상을 분할한 도면이다.
도 3은 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 애브리지 휘도를 구하는데 이용되는 픽셀 배치를 나타낸 개략도이다.
도 4는 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 휘도 히스토그램 분석에 의해 분류된 타입을 보여주는 예시도이다.
도 5a는 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 도 4에 의해 분류된 타입에 따른 T 와 G 파라미터를 나타내는 테이블이다.
도 5b는 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 도 5a에 의해 선택되는 T 와 G 파라미터를 이용하여 익스포넨셜 커브(Exponential curve)를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 T 와 G 파라미터를 이용하지 않은 경우와 이용한 경우를 분리하여 쉐도우 보상된 결과를 나타내는 도면이다.
도 7a는 종래 기술에 따른 휘도 향상을 구현한 결과를 보여주는 도면이다.
도 7b는 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에 따른 휘도 향상을 구현한 결과를 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 따른 쉐도우 영역 보상 장치의 블록도이다.
*도면의 주요 부분에 대한 설명*
800: 영상 입력부 810: 공간 휘도 분석부
820: 대표 루미넌스 산출부 830: 휘도 히스토그램 분석부
840: 파라미터 선택부 850: 어댑티브 루미넌스 산출부
860: 쉐도우 보상부 870: 영상 출력부
본 발명은 쉐도우 영역 보상 방법 및 장치에 관한 것으로, 더욱 상세하게는 어두운 영역에 대하여는 주변 휘도를 고려하여 휘도를 많이 향상시키고, 밝은 영역에 대하여는 휘도를 덜 향상시키는 쉐도우 영역 보상 방법 및 장치에 관한 것이다.
일반적으로 영상입력 장치에 의해 입력되는 영상은 대상물의 여러 가지 정보를 가지고 있지만, 입력장치의 조건에 의해 영상신호에 해당하는 휘도신호의 성분이 편중되거나 왜곡되는 경우에는 영상에 포함되어 있는 대상을 명확하게 표현하기가 쉽지 않다. 특히 영상내에서 휘도의 분포가 편중되어 있는 경우에는 이러한 영상을 보는 이로 하여금 어두운 부분의 대상물을 식별할 수 없는 문제가 있을 수 있 다.
이러한 문제를 해결하기 위한 방안으로 종래에서는 휘도를 향상시키는 방법이 시도되어 왔다. 예를 들면, 미국 특허 US5132796과 US5255093에서는 입력 영상의 전체 휘도 특성에 따라 디스플레이 되는 출력 영상의 전체 휘도를 조정하여 쉐도우 영역의 시인성을 향상시키고자 하였다.
또한 미국 특허 US5394195에서는 입력 영상의 일부에 대한 정보를 이용하여 출력 영상 전체 휘도를 보상하여 쉐도우 영역의 시인성을 향상시키고자 하였다. 미국 특허 US6414659에서는 입력 신호와 무관하게 디스플레이 장치의 휘도 특성에 따라 출력 영상의 휘도를 보상하여 쉐도우 영역의 시인성을 향상시키는 방법을 적용하였다.
위와 같은 방법에 의해 휘도를 보상하여 출력되는 휘도 특성을 향상시키는 방법은 픽셀(Pixel)이 위치한 영역의 밝기에 상관없이 동일한 휘도(Intensity)를 가지는 픽셀에 대해서는 동일한 정도의 향상이 일어나거나, 어두운 영역뿐 아니라 향상이 필요 없는 밝은 영역에서도 휘도의 향상이 일어나는 문제가 있었다. 또한 디스플레이 되는 장치의 특성을 고려하는 휘도의 보상 방법은 입력 영상의 내부에서 휘도가 낮은 경우에는 휘도를 보상할 수 없는 문제가 있었다.
한국 공개 특허 2005-0042699에서는 영상 내부를 다수개의 매크로 블록과 마이크로 블록으로 나누어서, 대표적인 휘도값을 정하여 휘도 보상 구간을 설정하고 이러한 휘도 보상 구간에 대해 일률적인 휘도를 상승시키는 방법을 적용하였다. 이와 같은 방법에 있어서도, 부분적인 영역에 대해 휘도를 상승시켜 전체적인 휘도 향상은 없지만 동일한 휘도를 픽셀에 대하여는 동일한 휘도 보상을 하므로 해당 픽셀의 주위의 휘도를 적절하게 고려하지 못하는 문제가 있었다.
위에서 제시한 문제를 실시간으로 해결하기 위한 일부 기술에서는 실시간으로 활용하기 어려운 메모리 문제를 유발하였다.
본 발명은 상기와 같은 문제점을 고려하여 안출된 것으로서, 해당 픽셀뿐만 아니라 주변영역에서 얻어진 정보를 토대로 하여 적절한 휘도를 향상함으로써 선명한 영상을 구현하는 것을 목적으로 한다.
이와 함께, 동일한 휘도(Intensity)를 가진 픽셀에 대하여도 다른 위치와 주변에 다른 휘도를 가진 픽셀이 있는 경우에는 휘도 향상의 정도를 달리하여, 영상에서 일부 왜곡 되었다고 판단되는 어두운(Shadow) 영역 이외의 영역은 원본영상 그대로를 보존하여 원하지 않은 휘도향상을 억제하는 것을 목적으로 한다.
또한 히스토그램을 이용하여 영상 전체의 밝기 패턴을 파악하고, 이를 T 와 G 파라미터를 이용한 익스포넨셜 커브(Exponential curve)에 의해 어두운 영역에서의 휘도를 상대적으로 상승시키는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 목적을 달성하기 위하여 본 발명에 일 실시예에 따른 쉐도우 영역 보 상 방법은 (a) 영상 정보를 가진 픽셀과 상기 픽셀의 주위에 위치하는 픽셀의 휘도를 반영하여 대표 루미넌스(Lav)를 산출하는 단계; (b) 상기 산출된 대표 루미넌스를 이용하여 보상 휘도비를 결정하는 단계; 및 (c) 상기 보상 휘도비에 의하여 출력 휘도를 상승시키는 단계를 포함한다.
상술한 목적을 달성하기 위하여 본 발명에 일 실시예에 따른 쉐도우 영역 보상 장치는 영상 정보를 가진 픽셀과 상기 픽셀의 주위에 위치하는 픽셀의 휘도를 반영하여 대표 루미넌스(Lav)를 산출하는 대표 루미넌스 산출부; 상기 산출된 대표 루미넌스를 이용하여 보상 휘도비를 결정하는 보상 휘도비 결정부; 및 상기 보상 휘도비에 의하여 출력 휘도를 상승시키는 쉐도우 보상부를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 바람직한 실시예에 대해 첨부된 도면을 참조하여 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법의 흐름도이다.
본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법은 영상 정보를 입력 받는 단계(S100), 공간 휘도를 분석하는 단계(S115), 대표 루미넌스를 산출하는 단계(S140), 보상 휘도비를 결정하는 단계(S155), 쉐도우 보상하는 단계(S160) 및 영상 정보를 출력하는 단계(S170)를 포함할 수 있다.
도 1에서 도시하는 바와 같이, 먼저 영상 정보를 입력 받는다(S100). 입력된 영상 정보에서는 각 픽셀마다 색상 정보를 담는 데이터를 포함할 수 있다.
입력된 영상 정보를 이용하여 하나의 이미지 또는 해당 프레임의 공간 휘도를 분석할 수 있다(S115). 입력된 이미지 또는 해당 프레임을 다수의 영역으로 분할하여 평균 휘도를 구할 수 있다. 공간 휘도(Spatial luminance) 분석이란 분할된 각각의 영역에서 구해진 평균 휘도가 임계 휘도 보다 낮다면 해당 영상 또는 해당 영역은 어두운 부분이 존재하여 휘도를 향상시킬 필요가 있다고 판단한다.
도 2는 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 공간 휘도를 분석하기 위해 영상을 분할한 도면이다. 도 2에서 도시하는 바와 같이, 예를 들어 하나의 이미지를 4개의 영역 즉 A, B, C, D 영역으로 나누는 경우에는 각 영역에서의 공간 휘도 즉 평균 휘도를 계산할 수 있다. 산출된 4개의 평균 휘도 값 중에서 어느 하나의 값이라도 임계 휘도 이하에 해당하면 해당 이미지에서는 휘도를 향상시킬 필요가 있는 영역이 있다. 임계 휘도는 그 이하의 휘도에서는 시인성이 떨어질 수 있는 휘도로서, 정해진 값이거나 또는 사용자에 의해 정할 수 있다.
상기와 같이 하나의 이미지를 4개의 영역으로 나누는 것은 하나의 예에 해당 하며, 이미지 영역을 몇 개의 영역으로 분할 후에도 이와 중첩되지만 동일하지 아니한 몇 개의 영역으로 분할할 수 있다. 분할 후에는 평균 휘도를 계산하고 이를 임계값과 비교하여 임계값 이하의 영역이 하나라도 있다면, 후술한 쉐도우 보상을 수행할 수 있다. 반면에, 임계값을 기준으로 임계값보다 영역에서의 평균 휘도가 낮은 영역이 하나도 없는 경우에는 쉐도우 보상을 수행하지 않을 수 있다.
영역 향상을 필요로 하는 판단이 이루어진 후에는, 해당 영상을 픽셀마다 스캔하면서 대표 루미넌스(Representative luminance; Lav)를 구할 수 있다(S140). 대표 루미넌스는 해당 픽셀을 포함하는 영상의 국부적인(local) 부분에서의 루미넌스(Luminance) 정보로써 해당 픽셀의 휘도값을 대표하는 값이다. 이는 영상 정보에서 해당 픽셀의 정보를 그 픽셀의 정보만을 고려하는 것이 아니라, 주변의 픽셀 정보를 종합하여 해당 픽셀의 휘도에 대한 대표값으로 표현하고자 하는 것이다. 예를 들어, 대표 루미넌스를 산출하는 방법으로는 해당 픽셀을 중심으로 둘러싸고 있는 픽셀을 포함하여 이들의 평균값을 구할 수 있다.
도 3은 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 애브리지 휘도를 구하는데 이용되는 픽셀 배치를 나타낸 개략도이다. 도 3에서 도시하는 바와 같이, 예를 들어 3×3 또는 5×5 등의 해당 픽셀(300)을 중심으로 주위의 픽셀(310)의 휘도를 평균하여 대표 루미넌스를 계산할 수 있다. 또한 대표 루미넌스 산출방법으로는 해당 픽셀을 중심으로 일정한 영역, 예를 들어 3×3 또는 5×5 등의 영역에 대하여 각 픽셀에 대하여 해당 픽셀과의 거리를 고려하여 가중치를 부여 함으로써 구할 수도 있다.
또 다른 대표 루미넌스 산출 방법으로서, 식 1을 이용하여 해당 픽셀을 중심으로 어댑티브 루미넌스를 산출할 영역을 정한다. 그리하여 주변에 픽셀과 해당 픽셀과의 휘도 차이를 계산하고, 계산된 휘도차가 미리 정의된 임계치(α)보다 크면 b1 그룹으로 분류하고, 그렇지 않으면 b2 그룹으로 분류할 수 있다.
[식 1]
Figure 112006055203735-pat00001
여기서, Pi는 주변에 위치하는 하나의 픽셀의 휘도값이며, Pc는 대표 루미넌스를 계산하는 해당 픽셀의 휘도값을 의미한다.
b1과 b2 그룹으로 나눈 후, 최종적으로 픽셀의 개수가 많은 그룹에 대하여 해당 그룹의 평균 휘도를 계산하여 이를 해당 픽셀의 대표 루미넌스로 구할 수 있다.
이상과 같이 해당 픽셀(300)의 대표 루미넌스를 구하기 위하여 주변에 위치하는 픽셀(310)의 휘도를 참조 또는 반영할 수 있다. 그리하여, 주변의 픽셀의 휘도를 이용하여 해당 픽셀의 휘도에 대한 대표값을 계산하는 다양한 방법들은 본 발명의 일 실시예에 기한 대표 루미넌스를 구하는 방법에 포함될 수 있다.
대표 루미넌스를 구한 후에는, 입력된 픽셀이 휘도가 낮은 쉐도우 영역에 위치하는 경우에는 휘도를 향상시키는 보정을 할 수 있다(S160). 이러한 휘도를 보정하기 위하여는 먼저 식 2 및 3을 사용하여 보상 휘도비를 계산할 수 있다(S155).
[식 2]
Figure 112006055203735-pat00002
여기서,
Figure 112006055203735-pat00003
[식 3]
Figure 112006055203735-pat00004
여기서, IN(x,y)은 입력 영상의 (x, y) 위치하는 픽셀의 휘도를 표준화한 값(Normalized value)이며, I(x,y)는 입력 영상의 (x, y) 위치하는 픽셀의 휘도값이며, I'는 상기 식 2 및 3에 의해 출력되는 픽셀의 휘도이다. Y는 향상된 휘도비이며, IN(x,y)/Y 는 보상 휘도비를 나타낸다.
식 2는 해당 픽셀의 I(x,y)와 Lav 값을 이용하여 향상된 휘도비 Y를 구할 수 있다. 식 2에서는 해당 픽셀의 입력 휘도가 높은 경우에는 Y 값이 IN(x,y) 보다 커질 수 도 있는데 이때 Y값이 IN(x,y) 보다 큰 경우에는 Y를 IN(x,y) 로 지정하여 식 3에서의 의도하지 않은 연산을 막을 수 있다.
식 3에서 보는 바와 같이 IN(x,y)/Y의 보상 휘도비 값에 입력된 해당 픽셀의 휘도를 곱함에 의하여 쉐도우를 보정하는 출력 픽셀의 휘도를 구할 수 있다. 그리 하여 보상 휘도비(IN(x,y)/Y) 값이 1보다 작으면 출력 픽셀의 휘도를 낮추는 것이고, 보상 휘도비(IN(x,y)/Y) 값이 1 보다 커지면 출력 픽셀의 휘도를 높일 수 있다.
만일, 보상 휘도비(IN(x,y)/Y) 값이 1 보다 커지면 출력되는 픽셀의 휘도를 입력된 픽셀의 휘도보다 높일 수 있다. 다시 말해 표준화된 입력 픽셀의 휘도(IN(x,y))에 비해 식 2에서 구한 휘도비(Y) 값이 작은 경우에는 출력되는 픽셀의 휘도를 상승시킬 수 있다. 이는 입력되는 픽셀의 휘도가 낮고, 이에 대하여 대표 루미넌스(Lav)도 낮아지면서 Y 값도 낮아질 수 있다. 그리하여 식 3에서 Y의 역수를 취하면서 입력 픽셀의 휘도를 곱하면 출력되는 픽셀의 휘도(I')를 상승시킬 수 있다.
식 2 및 3을 살펴보면, 입력 픽셀의 휘도와 대표 루미넌스가 높은 경우에는 보상 휘도비(IN(x,y)/Y) 값이 거의 1에 해당하여 해당 픽셀의 출력 휘도의 상승이 없지만, 휘도가 낮은 영역에서는 보상 휘도비(IN(x,y)/Y) 값이 1보다 커지므로 상대적으로 출력되는 픽셀의 휘도(I')를 높일 수 있다. 다시 말하면, 대표 루미넌스가 증가함에 따라 보상 휘도비는 감소하고, 보상 휘도비의 최소값은 1이므로 대표 루미넌스가 높은 영역인 밝은 부분에서는 휘도의 상승이 작거나 거의 없을 수 있다.
위와 같이 대표 루미넌스를 산출하고(S140), 산출된 대표 루미넌스에 의하여 보상 휘도비를 결정하여(S155), 이를 입력 픽셀에 곱함으로 쉐도우 영역을 보상할 수 있다(S160). 이러한 쉐도우 영역 보상은 각 픽셀마다 처리함으로써 각 픽셀마다 휘도의 향상을 달리할 수 있다. 그리하여 전체적으로는 휘도가 높은 픽셀에 대하여 는 휘도의 상승이 낮거나 상승시키지 않을 수 있고, 휘도가 낮은 픽셀에 대하여는 휘도를 높게 상승시킬 수 있다. 따라서 각 픽셀에 대하여 쉐도우 보상 단계를 거친 해당 영상에 대하여는 출력 수단에 의해 영상을 출력할 수 있다(S170).
이와 함께, 대표 루미넌스를 도입함으로써 해당 픽셀의 주변 픽셀의 휘도를 고려하여 해당 픽셀의 휘도를 사용하여 출력되는 픽셀의 휘도를 결정할 수 있다. 따라서 입력시에 해당 픽셀의 휘도가 동일한 다수의 픽셀이 있다 하여도 각 픽셀의 대표 루미넌스는 다를 수 있고, 이에 따라 보정되어 나오는 출력 픽셀의 휘도는 다를 수 있다. 다시 말해서, 동일한 휘도의 픽셀이더라도 산출된 대표 루미넌스가 달라지면, 이로 인하여 대표 루미넌스가 상대적으로 낮은 픽셀에 대하여는 휘도를 많이 상승시키고, 대표 루미넌스가 높은 픽셀에 대해서는 출력되는 픽셀의 휘도를 상대적으로 적게 상승시킬 수 있다.
또한 동일한 휘도를 가지는 다수의 픽셀이 모여 있는 영역에서도, 각 픽셀마다 대표 루미넌스를 산출시에 영역의 경계부분에 있는 픽셀과 영영의 중심부에 있는 픽셀의 대표 루미넌스는 다를 수 있다. 그리하여 동일한 휘도를 가지는 픽셀이 있는 영역에서도 각 픽셀마다 휘도의 보상이 달라 질 수 있다.
이상과 같이 이미지 내부에 휘도가 낮은 다수의 픽셀이 있더라도, 이를 대표 루미넌스로 변환하여 쉐도우를 보상하는 단계를 수행하면 각 픽셀마다 휘도의 보상이 달라질 수 있고, 대표 루미넌스에 따라 휘도의 보상을 크게 또는 작게 하여 출력 영상의 선명도와 자연스러움을 구현할 수 있다.
본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법은 영상 정보를 입력 받 는 단계(S100), 공간 휘도를 분석하는 단계(S115), 대표 루미넌스를 산출하는 단계(S140), 보상 휘도비를 결정하는 단계(S155), 쉐도우 보상하는 단계(S160), 영상 정보를 출력하는 단계(S170), 휘도 히스토그램을 분석하는 단계(S125), T 와 G 파라미터를 선택하는 단계(S130) 및 어댑티브 루미넌스를 산출하는 단계(S160)를 포함할 수 있다.
휘도 히스토그램을 분석하는 단계(S125), T 와 G 파라미터를 선택하는 단계(S130) 및 어댑티브 루미넌스를 산출하는 단계(S160)를 제외하고는 이미 상세이 설명하였기에 생략하기로 한다.
입력된 영상 정보에 대하여 이미지 또는 해당 프레임 전체 픽셀을 스캔하면서 휘도 히스토그램을 작성할 수 있다(S125). 휘도 히스토그램이란 해당 영상내의 픽셀들에 대한 휘도 분포를 나타낸다. 즉 휘도 히스토그램은 한 영상에 존재하는 밝은 점과 어두운 점에 대한 분포의 범위와 값을 표현할 수 있다. 따라서 휘도 히스토그램은 영상 전체를 간편하게 파악할 수 있어 이를 이용하여 휘도 향상에 사용할 수 있다. 이러한 휘도 히스토그램은 해당 이미지 또는 프레임의 전체 픽셀을 스캔하면서 이루어지므로 전술한 공간 휘도 분석(S115)과 동시에 수행할 수 있다.
휘도 히스토그램 분석 단계(S125)는 입력된 영상 정보에서 각 픽셀마다 휘도 값을 받아들여, 디지털화된 휘도값에 대하여 영상내 존재하는 픽셀의 수를 계산한다. 예를 들어, 8비트의 휘도 분포를 가지는 경우에는 0부터 255까지의 휘도를 가질 수 있다. 따라서 해당 영상내에서 각 픽셀의 휘도를 산출하거나 읽어들이고, 이를 0부터 255까지 휘도에서 각 휘도가 나타나는 픽셀의 개수를 계산할 수 있다.
도 4는 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 휘도 히스토그램 분석에 의해 분류된 타입을 보여주는 예시도이다.
휘도 히스토그램을 분석한 후에는 분석된 휘도 히스토그램을 하나 이상의 타입으로 분류할 수 있다. 예를 들어, 도 4에서 도시하는 바와 같이 세 가지의 타입으로 분류할 수 있다. 도 4를 참조하면, H1 타입(400)의 히스토그램은 영상내에서 어두운 영역이 있으나 대다수의 영역이 매우 밝은 영상을 의미한다. 이와 함께 히스토그램이 H2 타입(410)에 해당하는 경우에는 영상내에서 어두운 영역이 있으나 중간밝기 이상의 영역이 전체적으로 고르게 분포하는 것을 알 수 있다.
다시 도 4를 참조하면, 히스토그램이 H3 타입(420)인 경우에는 H1과 H2 타입을 제외한 모든 경우를 의미할 수 있다. 이는 H1 타입은 밝은 픽셀이 다수를, H2 타입은 중간 밝기의 픽셀이 다수를 차지하고, 이러한 경우를 제외하는 H3 타입은 휘도가 낮은 즉 어두운 픽셀이 다수를 차지하는 경우를 의미할 수 있다.
다만, 이러한 히스토그램의 타입의 분류는 뒤에서 설명할 T와 G 파라미터를 선택하기 위해 사용될 수 있다. 따라서 T와 G 파라미터를 보다 세밀하게 선택하기 위해서는 히스토그램의 분류를 다양화하거나 더 세분화 할 수 있다. 이와 함께, 쉐도우 영역에 대하여 휘도 향상을 더 미세하기 제어하기 위하여 히스토그램의 분류를 더 세분화 할 수 있고, 특히 히스토그램에서 어두운 영역이 다수를 차지하는 것에 대하여 보다 자세히 분류할 수 있다.
T와 G 파라미터 선택 단계는 히스토그램에 의해 분류된 타입에 따라 T와 G 파라미터를 선택할 수 있다(S130). 예를 들어, 도 4에서와 같이, 전술한 세 가지의 히스토그램 분류에 따라 8비트의 영상 정보를 가지는 픽셀에 대하여 T와 G의 값이 주어질 수 있다. 이러한 T와 G의 파라미터 값은 일정한 값으로 고정되는 것이 아니라 본 발명의 속하는 기술분야에서 통상의 지식을 가진 자에 의해 변경 또는 사용될 수 있는 T와 G의 파라미터 값으로 될 수 있다.
주어진 T와 G 파라미터를 이용하여 다음의 식 4에 의해 어댑티브 루미넌스(Lad)를 산출할 수 있다(S150).
[식 4]
Figure 112006055203735-pat00005
여기서 T 와 G는 입력 영상의 정보를 히스토그램으로 나타내어 분류되는 타입에 의해 선택되는 파라미터이고, Lad 는 어댑티브 루미넌스이다.
식 4는 대표 루미넌스(Lav)가 파라미터인 값인 T 보다 작은 경우에는 식 4에 의해 계산되어 어댑티브 루미넌스를 산출할 수 있다. 산출되는 어댑티브 루미넌스는 G 파라미터의 값에 의해 대표 루미넌스보다 작아질 수도 있고 커질 수도 있다. 일반적으로 G 값이 1보다 크면 계산되는 어댑티브 루미넌스가 대표 루미넌스보다 작다.
식 4에서 T는 익스포넨셜 커브가 적용되는 범위를 나타내고, G는 익스포넨셜 커브가 적용되는 범위에서 커브가 휘어지는 정도를 표시한다.
도 5a는 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 도 4에 의해 분류된 타입에 따른 T 와 G 파라미터를 나타내는 테이블이다. 예를 들어 도 5a에서 도시하는 H1 타입에서 T가 128이면 0부터 127까지의 대표 루미넌스(Lav)에 대하여 식 4의 익스포넨셜 커브를 적용되고, G가 1.2이면 아래로 볼록한 커브를 이루게 된다. 따라서 0부터 127까지의 휘도 범위에서는 입력된 대표 루미넌스(Lav)에 대하여 산출되는 어댑티브 루미넌스의 값이 상대적으로 작게된다. 따라서 이러한 범위의 대표 루미넌스를 가지는 픽셀에 대하여 상대적으로 밝기를 향상시키는 쉐도우 보정을 할 수 있다.
도 5b는 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 도 5a에 의해 선택되는 T 와 G 파라미터를 이용하여 익스포넨셜 커브(Exponential curve)를 나타내는 도면이다. 도 5b에서 도시하는 바와 같이, T와 G 파라미터 선택되면 이에 해당하는 익스포넨셜 커브(Exponential curve)를 구할 수 있다. 이러한 익스포넨셜 커브는 입력 대비 출력을 나타내는 커브로서 식 4를 그래프로 나타낸 것이다. 이 그래프는 대표 루미넌스(Lav)를 입력으로 하고, 어댑티브 루미넌스(Lad)를 출력으로 한다.
입력과 출력이 같다면 기울기가 1인 y(출력)=x(입력) 기준선으로 될 수 있다. 이와 함께 입력에 비해 출력이 상대적으로 작게 하려면 익스포넨셜 커브가 y(출력)=x(입력)의 기준선보다 아래에 위치한다.
대표 루미넌스는 해당 픽셀의 휘도 정보를 주변 정보를 이용하여 평균화 또 는 주변 픽셀의 휘도 정보를 반영한 해당 픽셀의 적절한 휘도값이다. 이러한 기법에 의해 산출된 대표 루미넌스를 익스포넨셜 커브를 나타내는 식 4에 대입하여 어댑티브 루미넌스를 구함으로써 휘도가 낮은 영역에서 대표 루미넌스를 보다 낮은 어댑티브 루미넌스로 산출할 수 있다. 이는 후술한 쉐도우 보정에서 휘도가 낮은 영역에 대하여 상대적으로 높은 휘도의 상승을 유도할 수 있다.
예를 들어, 히스토그램에서 영상을 도 4의 H1, H2 및 H3 세가지 타입으로 분류하고, 이에 대한 T와 G 파라미터를 도 5a와 같이 선택하여 식 [4]에 의해 그려지는 익스포넨셜 커브는 도 5b와 같다.
도 5b에서 도시하는 바와 같이 T와 G 파리미터 값에 의해 구해진 익스포넨셜 커브 휘도를 이용하면 대표 루미넌스가 낮은 영역에서는 어댑티브 루미넌스가 더 낮게 나오며, 대표 루미넌스가 높은 영역에서는 어댑티브 루미넌스가 대표 루미넌스와 동일하게 된다.
따라서 도 4 및 5b에서 도시되는 H1, H2 및 H3 타입에 대한 T와 G 파라미터의 작용을 설명하면 다음과 같다.
H1 타입에서의 T와 G 파라미터의 작용은 넓은 저휘도 영역을 중간정도의 지수승(Exponential index mutiple) 하여 어댑티브 루미넌스를 계산한다. 이는 어두운 영역을 지나치게 강조하여 밝게하면 노이즈 휘도향상(boosting) 등의 과도한 상승 가능성이 있기 때문이다. H2 타입에서는 어두운 영역이 있으나 전체가 밝은 영상이므로 밝게할 저계조 영역을 좁게 두고(T를 작게하고) 지수승도 작게 한다(G를 작게한다). H3 타입에서는 쉐도우 보정을 상대적으로 많이 해야 하는 영상으로 어 두운 영역에 대하여 휘도를 향상시키기 위하여 T를 작게 하고, G를 크게 하여 어댑티브 루미넌스를 계산한다.
이러한 T와 G의 파라미터 값은 일정한 값으로 고정되는 것이 아니라 본 발명의 속하는 기술분야에서 통상의 지식을 가진 자에 의해 변경 또는 사용될 수 있는 T와 G의 파라미터 값으로 될 수 있다.
이와 함께, 휘도 히스토그램 분석단계를 거치지 않거나 휘도 히스토그램 분석단계를 거쳐도 명확한 타입이 정하지 지지 않는 경우에는 미리 정의된 T와 G의 파라미터 값을 사용할 수도 있다.
산출된 어댑티브 루미넌스를 이용하여 입력 픽셀에 대한 휘도를 보상하여 출력할 수 있다(S160, S170). 쉐도우 보정을 계산하는 식은 식 2 및 3에서 대표 루미넌스(Lav) 대신 어댑티브 루미넌스(Lad)를 입력한 식 5 및 3에 의해 계산할 수 있다.
[식 5]
Figure 112006055203735-pat00006
여기서,
Figure 112006055203735-pat00007
T와 G 파라미터 이용한 식 4 및 익스포넨셜 커브에 의해 어댑티브 루미넌스를 계산할 수 있다(S150). 산출된 어댑티브 루미넌스를 사용하여 식 5 및 3에 입력함으로써 보상 휘도비를 계산할 수 있다(S155). 그리하여 보상 휘도비를 입력 픽셀 의 휘도에 곱하여 해당 픽셀의 보정된 출력 휘도(I')을 얻을 수 있다(S160).
식 5 및 3을 살펴보면, 입력 픽셀의 휘도와 어댑티브 루미넌스가 높은 경우에는 보상 휘도비(IN(x,y)/Y) 값이 거의 1에 해당하여 해당 픽셀의 출력 휘도의 상승이 없을 수 있지만, 입력 픽셀의 휘도와 어댑티브 루미넌스가 낮은 영역에서는 보상 휘도비(IN(x,y)/Y) 값이 1보다 커지므로 상대적으로 출력되는 픽셀의 휘도(I')를 높일 수 있다. 다시 말하면, 어댑티브 루미넌스가 증가함에 따라 보상 휘도비는 감소하게 된다.
도 6은 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에서 T 와 G 파라미터를 이용하지 않은 경우와 이용한 경우를 분리하여 쉐도우 보상된 결과를 나타내는 도면이다.
히스토그램을 적용하지 아니한 경우에는 어댑티브 루미넌스를 산출하지 아니하고 대표 루미넌스를 사용하여 입력 휘도에 대한 출력 휘도를 관찰할 수 있다. T 와 G 파라미터에 의한 익스포넨셜 커브를 적용하지 않더라도, 식 2 및 3에 의해 대표 루미넌스가 낮은 영역에서는 휘도의 상승이 커며, 대표 루미넌스가 높은 영역에서는 휘도의 상승이 거의 없다. 따라서 휘도가 낮은 쉐도우 영역에 대하여 휘도의 향상이 이루어 질 수 있다.
이와 함께, T 와 G 파라미터에 의한 익스포넨셜 커브를 적용한 경우에는 어댑티브 루미넌스를 식 5 및 3에 대입하여 입력 휘도에 대한 출력 휘도를 관찰할 수 있다. G 값이 증가함에 따라 대표 루미넌스로부터 어댑티브 루미넌스를 낮춤으로써 이로 인한 휘도의 상승이 높게 이루어질 수 있다. 따라서 G 값을 높임에 따라 이로 인한 해당 픽셀의 출력 휘도값이 상승함을 알 수 있다. 히스토그램 기법을 적용하여도 휘도가 높은 영역에서는 휘도의 상승이 없거나 약하고, 픽셀의 입력 휘도가 낮은 영역에서는 높은 휘도의 상승이 이루어져 어두운 영역을 상대적으로 밝게 함을 알 수 있다.
도 7a는 종래 기술에 따른 휘도 향상을 구현한 결과를 보여주는 도면이며, 도 7b는 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에 따른 휘도 향상을 구현한 결과를 보여주는 도면이다.
종래 기술에 따른 이미지의 휘도 향상은 쉐도우 영역에 대한 휘도 보정시에 향상할 휘도의 정도를 결정한 후에 전체 이미지에서 휘도를 보정하였다. 도 7a에서 원본 영상과 휘도 향상된 영상을 비교하면, 원형이 그려진 쉐도우 영역에서 휘도가 선명하게 높아지지만, 원형의 바깥의 밝은 부분에서도 동일하게 휘도가 향상되어 밝은 부분의 영상의 선명도와 콘트라스트를 떨어뜨리는 문제가 있었다.
반면에 도 7b에서 도시하는 바와 같이 본 발명의 일 실시예에 따른 쉐도우 영역 보상 방법에 의해서는 주로 아래에 위치하는 원형 내에 있는 쉐도우 영역에 대하여는 휘도를 강하게 향상시키고, 위에 위치하는 타원 내의 밝은 영역에 대해서는 휘도를 변화시키지 아니하거나 휘도를 약하게 향상시킨다. 따라서 밝은 부분에서는 영상이 그대로 유지되고, 어두운 부분에서는 비교적 밝게 됨으로써 영상의 선명도와 로컬 콘트라스트를 보완할 수 있다.
이와 함께, 대표 루미넌스를 도입함으로써 동일한 입력 휘도를 가진 픽셀에 대해서도 다르게 휘도 향상을 줄 수 있고, 히스토그램 기법에 의한 T와 G 파라미터를 선택하여 어댑티브 루미넌스를 구함으로써 전체적인 영상의 밝기 및 분포를 고려하여 휘도를 향상시킬 수 있다.
도 8은 본 발명의 일 실시예에 따른 쉐도우 영역 보상 장치의 블록도이다.
본 발명의 일 실시예에 따른 쉐도우 영역 보상 장치는 영상 입력부(800), 공간 휘도 분석부(810), 대표 루미넌스 산출부(820), 휘도 히스토그램 분석부(830), 파라미터 분석부(840), 어댑티브 루미넌스 산출부(850), 보상 휘도비 결정부(855), 쉐도우 보상부(860) 및 영상 출력부(870)를 포함할 수 있다.
영상 입력부(800)는 해당 영상의 이미지 또는 프레임을 입력받는 역할을 한다. 영상 입력부에서는 후술하는 이미지 가공을 위하여 이미지 전체 또는 픽셀별로 입력 받을 수 있다.
공간 휘도 분석부(810)는 해당 이미지를 입력 받아 다수개의 영역으로 분할하여 분할된 영역에서 각각 평균 휘도를 계산하여, 계산된 각 평균 휘도가 임계 휘도보다 낮은가를 검사한다. 다수의 분할된 영역에서 산출된 공간 휘도 즉 평균 휘도의 값이 하나라도 임계 휘도 보다 낮은 경우에는 쉐도우 보정이 필요하고, 그렇지 않다면 쉐도우 보정을 하지 않을 수 있다.
대표 루미넌스(Representative luminance) 산출부(820)는 각 픽셀에 대하여 주변에 있는 픽셀 정보를 이용하여 대표값이 되는 휘도를 산출한다. 계산하려는 픽셀을 중심으로 3×3 또는 5×5 등의 픽셀의 휘도를 평균하여 대표 루미넌스(Lav)를 계산할 수 있다. 이와 함께, 식 1을 이용하여 주변 픽셀의 그룹을 지정하고 다수의 그룹에 있는 픽셀에 대하여 평균을 취함으로써 대표 루미넌스를 얻을 수 있다.
휘도 히스토그램 분석부(830)는 이미지 전체를 스캔하면서 각 픽셀에 대한 휘도 분포를 나타내는 히스토그램을 작성하여 해당 이미지를 분류한다. 휘도 히스토그램이 작성되면 해당 이미지의 대략적인 밝기 분포를 알 수 있다. 따라서 밝은 영역과 어두운 영역의 분포와 크기를 대략적으로 파악하여 미리 준비된 다수개의 타입중에서 하나로 이미지를 분류할 수 있다.
파라미터 선택부(840)는 휘도 히스토그램 분석부에 의해 분류된 타입에 의해 T 와 G 파라미터를 선택할 수 있다. T 파라미터는 대표 루미넌스의 보상을 해 주는 영역이 되고, G 파라미터는 대표 루미넌스에 지수승을 해 주기 위해 사용되는 지수(Index)이다. 따라서 T 파라미터가 커지면 넓은 휘도에 대하여 대표 루미넌스를 보상하고, G 파라미터가 1 보다 커지면 대표 루미넌스를 보다 낮은 어댑티브 루미넌스(Lad)를 얻을 수 있다.
어댑티브 루미넌스 산출부(850)는 T와 G 파라미터를 이용하여 어댑티브 루미넌스를 계산하는 역할을 한다. 식 4에 T, G 및 대표 루미넌스를 대입하여 어댑티브 루미넌스를 계산할 수 있다. 식 4에 대응하는 그래프를 그리면, 예를 들어 도 5b에서 도시하는 바와 같은 익스포넨셜 커브가 될 수 있다. 따라서 도 5b에서와 같이, 대표 루미넌스가 낮은 영역에서는 산출되는 어댑티브 루미넌스가 더 낮아지고, 대표 루미넌스가 높은 영역에서는 산출되는 어댑티브 루미넌스가 동일하거나 거의 일 치한다. 따라서 식 4에 의해서 대표 루미넌스를 이용하여 어댑티브 루미넌스로 산출할 수 있다.
보상 휘도비 결정부(855)는 각 픽셀에서 산출된 어댑티브 루미넌스 또는 대표 루미넌스를 이용하여 보상 휘도비를 결정한다. 대표 루미넌스 또는 어댑티브 루미넌스가 증가함에 따라 보상 휘도비는 감소하고, 결국 보상 휘도비는 거의 1이 되어 대표 루미넌스 또는 어댑티브 루미넌스가 높은 영역에서는 휘도의 상승이 작거나 없을 수 있다.
쉐도우 보상부(860)는 결정된 보상 휘도비를 해당 픽셀의 입력 휘도를 곱함으로 출력되는 휘도를 상승시킨다. 따라서 보상 휘도비에 따라 해당 픽셀의 휘도를 많이 상승시키거나 적게 상승시킬 수 있다.
영상 출력부(870)는 각 픽셀에 대하여 출력 휘도를 계산하여 이를 출력 수단에 의해 출력하는 역할을 한다. 따라서 휘도의 상승이 있는 픽셀에 대해서는 입력 영상보다 밝게 출력 되고, 휘도의 상승이 없는 픽셀에 대하여는 입력 영상 그대로 출력될 수 있다.
한편, 상기와 같은 본 발명의 실시예에서 사용되는 '~부'라는 용어, 즉 '~모듈' 또는 '~테이블' 등은 소프트웨어, FPGA(Field Programmable Gate Array) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 기능들을 수행한다. 그렇지만, 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 모듈들은 디바이스 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하므로 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
상기한 바와 같은 본 발명의 일 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상이 있다.
첫째, 해당 픽셀의 휘도뿐만 아니라 주변영역의 픽셀의 휘도를 반영하여 휘도를 향상시킴으로 선명한 영상을 얻을 수 있다.
둘째, 동일한 휘도를 가진 픽셀에 대하여도 주변영역의 픽셀의 밝기를 반영 함으로써 어두운 부분에 대하여 휘도를 상승시킬 수 있고, 쉐도우 영역 이외의 영역은 원본영상 그대로를 보존하여 원하지 않은 휘도향상을 억제할 수 있다.
셋째, 히스토그램을 이용하여 전체 영상의 휘도 및 휘도 분포를 파악하여 전체 영상에 알맞게 휘도를 보정하여 전체적으로 선명한 영상을 얻을 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

Claims (30)

  1. (a) 영상 정보를 가진 픽셀과 상기 픽셀의 주위에 위치하는 픽셀의 휘도를 반영하여 대표 루미넌스(Lav)를 산출하는 단계;
    (b) 상기 산출된 대표 루미넌스를 이용하여 보상 휘도비를 결정하는 단계; 및
    (c) 상기 보상 휘도비에 의하여 출력 휘도를 상승시키는 단계를 포함하고,
    상기 대표 루미넌스가 높아짐에 따라 상기 보상 휘도비는 감소되는, 쉐도우 영역 보상 방법.
  2. 제 1항에 있어서,
    입력 영상을 다수개의 영역으로 분할하여, 분할된 영역에서의 평균 휘도를 계산하여 임계 휘도보다 낮은 영역이 있는지를 판단하는 단계를 더 포함하는, 쉐도우 영역 보상 방법.
  3. 제 1항에 있어서, 상기 (a) 단계는
    해당 픽셀 및 상기 픽셀의 주위에 위치하는 픽셀의 휘도를 평균하거나 또는 해당 픽셀과의 거리를 반영하여 가중치를 둔 평균값을 취하여 대표 루미넌스(Lav)로 산출하는, 쉐도우 영역 보상 방법.
  4. 제 1항에 있어서, 상기 (a) 단계는
    해당 픽셀과 상기 픽셀의 주위에 위치하는 픽셀의 휘도차를 계산하여, 계산된 휘도차이가 임계치 이상이 되는 그룹과 임계치 이하가 되는 그룹으로 나누어 다수의 픽셀이 포함되는 그룹의 휘도를 평균하여 대표 루미넌스(Lav)로 산출하는, 쉐도우 영역 보상 방법.
  5. 제 1항에 있어서, 상기 (b) 단계는
    상기 대표 루미넌스(Lav)를 이용하는 식
    Figure 112006055203735-pat00008
    여기서,
    Figure 112006055203735-pat00009
    에 의하여 보상 휘도비인 IN(x,y)/Y를 결정하되, IN(x,y)은 입력 영상의 (x, y) 위치하는 픽셀의 휘도를 표준화된 값(Normalized value), I(x,y)는 입력 영상의 (x, y) 위치하는 픽셀의 휘도값, I'는 출력되는 픽셀의 휘도값, Y는 향상된 휘도비, IN(x,y)/Y는 보상 휘도비인, 쉐도우 영역 보상 방법.
  6. 제 5항에 있어서, 상기 (c) 단계는
    보상 휘도비를 이용하는 식
    Figure 112006055203735-pat00010
    에 의해 출력 휘도(I')를 결정하되, IN(x,y)은 입력 영상의 (x, y) 위치하는 픽셀의 휘도를 표준화된 값(Normalized value), I(x,y)는 입력 영상의 (x, y) 위치하는 픽셀의 휘도값인, 쉐도우 영역 보상 방법.
  7. 제 1항에 있어서,
    영상 정보를 입력받는 단계와 상기 (c) 단계에 의해 처리된 출력 영상을 출력 수단에 출력하는 단계를 더 포함하는, 쉐도우 영역 보상 방법.
  8. (a) 영상 정보를 가진 픽셀과 상기 픽셀의 주위에 위치하는 픽셀의 휘도를 반영하여 대표 루미넌스(Lav)를 산출하는 단계;
    (b) 상기 대표 루미넌스를 익스포넨셜 커브에 대입하여 어댑티브 루미넌스(Lad)를 산출하는 단계; 및
    (c) 상기 산출된 어댑티브 루미넌스를 이용하여 보상 휘도비를 결정하는 단계; 및
    (d) 상기 보상 휘도비에 의하여 출력 휘도를 상승시키는 단계를 포함하고,
    상기 대표 루미넌스가 높아짐에 따라 보상 휘도비는 감소되는, 쉐도우 영역 보상 방법.
  9. 제 8항에 있어서,
    입력 영상을 다수개의 영역으로 분할하여, 분할된 영역에서의 평균 휘도를 계산하여 임계 휘도보다 낮은 영역이 있는 지를 판단하는 단계를 더 포함하는, 쉐도우 영역 보상 방법.
  10. 제 8항에 있어서, (b) 단계는
    T 와 G 파라미터를 이용한 식
    Figure 112006055203735-pat00011
    에 의하여 상기 익스포넨셜 커브(Exponential curve)를 형성하고 어댑티브 루미넌스(Lad)를 산출하되, T는 쉐도우 보정을 하는 휘도의 최대값, G는 대표 루미넌스(Lav)에 지수승을 하는 지수인, 쉐도우 영역 보상 방법.
  11. 제 8항에 있어서, 상기 (b) 단계는
    입력 영상의 전체 히스토그램을 작성하여 입력 영상을 분류하는 단계를 더 포함하는, 쉐도우 영역 보상 방법.
  12. 제 11항에 있어서, 상기 (b) 단계는
    상기 분류된 입력 영상에 대응하는 T 와 G 파라미터를 선택하는 단계를 더 포함하는, 쉐도우 영역 보상 방법.
  13. 제 8항에 있어서, 상기 (c) 단계는
    상기 어댑티브 루미넌스(Lad)를 이용하는 식
    Figure 112006055203735-pat00012
    여기서,
    Figure 112006055203735-pat00013
    에 의하여 보상 휘도비인 IN(x,y)/Y를 결정하되, IN(x,y)은 입력 영상의 (x, y) 위치하는 픽셀의 휘도를 표준화된 값(Normalized value), I(x,y)는 입력 영상의 (x, y) 위치하는 픽셀의 휘도값, I'는 출력되는 픽셀의 휘도값, Y는 향상된 휘도비, IN(x,y)/Y는 보상 휘도비인, 쉐도우 영역 보상 방법.
  14. 제 13항에 있어서, 상기 (d) 단계는
    보상 휘도비를 이용하는 식
    Figure 112006055203735-pat00014
    에 의해 출력 휘도(I')를 결정하되, IN(x,y)은 입력 영상의 (x, y) 위치하는 픽셀의 휘도를 표준화된 값(Normalized value), I(x,y)는 입력 영상의 (x, y) 위치하는 픽셀의 휘도값인, 쉐도우 영역 보상 방법.
  15. 제 8항에 있어서,
    영상 정보를 입력받는 단계와 상기 (d) 단계에 의해 처리된 출력 영상을 출력 수단에 출력하는 단계를 더 포함하는, 쉐도우 영역 보상 방법.
  16. 영상 정보를 가진 픽셀과 상기 픽셀의 주위에 위치하는 픽셀의 휘도를 반영하여 대표 루미넌스(Lav)를 산출하는 대표 루미넌스 산출부;
    상기 산출된 대표 루미넌스를 이용하여 보상 휘도비를 결정하는 보상 휘도비 결정부; 및
    상기 보상 휘도비에 의하여 출력 휘도를 상승시키는 쉐도우 보상부를 포함하고,
    상기 대표 루미넌스가 높아짐에 따라 상기 보상 휘도비는 감소되는, 쉐도우 영역 보상 장치.
  17. 제 16항에 있어서,
    입력 영상을 다수개의 영역으로 분할하여, 분할된 영역에서의 평균 휘도를 계산하여 임계 휘도보다 낮은 영역이 있는지를 판단하는 공간 휘도 분석부를 더 포함하는, 쉐도우 영역 보상 장치.
  18. 제 16항에 있어서, 상기 대표 루미넌스 산출부는
    해당 픽셀 및 상기 픽셀의 주위에 위치하는 픽셀의 휘도를 평균하거나 또는 해당 픽셀과의 거리를 반영하여 가중치를 둔 평균값을 취하여 대표 루미넌스(Lav)로 산출하는, 쉐도우 영역 보상 장치.
  19. 제 16항에 있어서, 상기 대표 루미넌스 산출부는
    해당 픽셀과 상기 픽셀의 주위에 위치하는 픽셀의 휘도차를 계산하여, 계산된 휘도차이가 임계치 이상이 되는 그룹과 임계치 이하가 되는 그룹으로 나누어 다수의 픽셀이 포함되는 그룹의 휘도를 평균하여 대표 루미넌스(Lav)로 산출하는, 쉐도우 영역 보상 장치.
  20. 제 16항에 있어서, 상기 보상 휘도비 결정부는
    상기 대표 루미넌스(Lav)를 이용하는 식
    Figure 112006055203735-pat00015
    여기서,
    Figure 112006055203735-pat00016
    에 의하여 보상 휘도비인 IN(x,y)/Y를 결정하되, IN(x,y)은 입력 영상의 (x, y) 위치하는 픽셀의 휘도를 표준화된 값(Normalized value), I(x,y)는 입력 영상의 (x, y) 위치하는 픽셀의 휘도값, I'는 출력되는 픽셀 의 휘도값, Y는 향상된 휘도비, IN(x,y)/Y는 보상 휘도비인, 쉐도우 영역 보상 장치.
  21. 제 20항에 있어서, 상기 쉐도우 보상부는
    보상 휘도비를 이용하는 식
    Figure 112006055203735-pat00017
    에 의해 출력 휘도(I')를 결정하되, IN(x,y)은 입력 영상의 (x, y) 위치하는 픽셀의 휘도를 표준화된 값(Normalized value), I(x,y)는 입력 영상의 (x, y) 위치하는 픽셀의 휘도값인, 쉐도우 영역 보상 장치.
  22. 제 16항에 있어서,
    영상 정보를 입력받는 영상 입력부와 상기 쉐도우 보상부에 의해 처리된 출력 영상을 출력 수단에 출력하는 영상 출력부를 더 포함하는, 쉐도우 영역 보상 장치.
  23. 영상 정보를 가진 픽셀과 상기 픽셀의 주위에 위치하는 픽셀의 휘도를 반영하여 대표 루미넌스(Lav)를 산출하는 대표 루미넌스 산출부;
    상기 대표 루미넌스를 익스포넨셜 커브에 대입하여 어댑티브 루미넌스(Lad)를 산출하는 어댑티브 루미넌스 산출부; 및
    상기 산출된 어댑티브 루미넌스를 이용하여 보상 휘도비를 결정하는 보상 휘 도비 결정부; 및
    상기 보상 휘도비에 의하여 출력 휘도를 상승시키는 쉐도우 보상부를 포함하고,
    상기 대표 루미넌스가 높아짐에 따라 보상 휘도비는 감소되는, 쉐도우 영역 보상 장치.
  24. 제 23항에 있어서,
    입력 영상을 다수개의 영역으로 분할하여, 분할된 영역에서의 평균 휘도를 계산하여 임계 휘도보다 낮은 영역이 있는지를 판단하는 공간 휘도 분석부를 더 포함하는, 쉐도우 영역 보상 장치.
  25. 제 23항에 있어서, 어댑티브 루미넌스 산출부는
    T 와 G 파라미터를 이용한 식
    Figure 112006055203735-pat00018
    에 의하여 상기 익스포넨셜 커브를 형성하고 어댑티브 루미넌스(Lad)를 산출하되, T는 쉐도우 보정을 하는 휘도의 최대값, G는 대표 루미넌스(Lav)에 지수승을 하는 지수인, 쉐도우 영역 보상 장치.
  26. 제 23항에 있어서, 상기 어댑티브 루미넌스 산출부는
    입력 영상의 전체 히스토그램을 작성하여 입력 영상을 입력 영상을 분류하는 히스토그램 분석부를 더 포함하는, 쉐도우 영역 보상 장치.
  27. 제 26항에 있어서, 상기 상기 어댑티브 루미넌스 산출부는
    상기 분류된 입력 영상에 대응하는 T 와 G 파라미터를 선택하는 파라미터 선택부를 더 포함하는, 쉐도우 영역 보상 장치.
  28. 제 23항에 있어서, 상기 보상 휘도비 결정부는
    상기 어댑티브 루미넌스(Lad)를 이용하는 식
    Figure 112006055203735-pat00019
    여기서,
    Figure 112006055203735-pat00020
    에 의하여 보상 휘도비인 IN(x,y)/Y를 결정하되, IN(x,y)은 입력 영상의 (x, y) 위치하는 픽셀의 휘도를 표준화된 값(Normalized value), I(x,y)는 입력 영상의 (x, y) 위치하는 픽셀의 휘도값, I'는 출력되는 픽셀의 휘도값, Y는 향상된 휘도비, IN(x,y)/Y는 보상 휘도비인, 쉐도우 영역 보상 장치.
  29. 제 28항에 있어서, 상기 쉐도우 보상부는
    보상 휘도비를 이용하는 식
    Figure 112006055203735-pat00021
    에 의해 출력 휘도(I')를 결정하되, IN(x,y)은 입력 영상의 (x, y) 위치하는 픽셀의 휘도를 표준화된 값(Normalized value), I(x,y)는 입력 영상의 (x, y) 위치하는 픽셀의 휘도값인, 쉐도우 영역 보상 장치.
  30. 제 23항에 있어서,
    영상 정보를 입력받는 영상 입력부와 상기 쉐도우 보상부에 의해 처리된 출력 영상을 출력 수단에 출력하는 영상 출력부를 더 포함하는, 쉐도우 영역 보상 장치.
KR1020060072324A 2006-07-31 2006-07-31 쉐도우 영역 보상 방법 및 장치 KR100809347B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060072324A KR100809347B1 (ko) 2006-07-31 2006-07-31 쉐도우 영역 보상 방법 및 장치
US11/822,729 US8155474B2 (en) 2006-07-31 2007-07-09 Method, medium, and system compensating shadow areas
EP07112592.6A EP1884892B1 (en) 2006-07-31 2007-07-17 Method, medium, and system compensating shadow areas
JP2007193193A JP5095290B2 (ja) 2006-07-31 2007-07-25 シャドウ領域補償方法、媒体およびシステム
CN2007101397371A CN101118721B (zh) 2006-07-31 2007-07-30 补偿阴影区域的方法、介质和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060072324A KR100809347B1 (ko) 2006-07-31 2006-07-31 쉐도우 영역 보상 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080011588A KR20080011588A (ko) 2008-02-05
KR100809347B1 true KR100809347B1 (ko) 2008-03-05

Family

ID=38612765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060072324A KR100809347B1 (ko) 2006-07-31 2006-07-31 쉐도우 영역 보상 방법 및 장치

Country Status (5)

Country Link
US (1) US8155474B2 (ko)
EP (1) EP1884892B1 (ko)
JP (1) JP5095290B2 (ko)
KR (1) KR100809347B1 (ko)
CN (1) CN101118721B (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100900694B1 (ko) * 2007-06-27 2009-06-04 주식회사 코아로직 비선형 저조도 보정장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
TWI351872B (en) * 2008-01-11 2011-11-01 Quanta Comp Inc Image processing apparatus and method
JP5142833B2 (ja) * 2008-06-04 2013-02-13 三菱電機株式会社 画像処理装置及び画像処理方法
CN101505431B (zh) * 2009-03-18 2014-06-25 北京中星微电子有限公司 一种影像传感器的阴影补偿方法及装置
US8321422B1 (en) 2009-04-23 2012-11-27 Google Inc. Fast covariance matrix generation
US8611695B1 (en) 2009-04-27 2013-12-17 Google Inc. Large scale patch search
US8396325B1 (en) 2009-04-27 2013-03-12 Google Inc. Image enhancement through discrete patch optimization
US8391634B1 (en) * 2009-04-28 2013-03-05 Google Inc. Illumination estimation for images
US8385662B1 (en) 2009-04-30 2013-02-26 Google Inc. Principal component analysis based seed generation for clustering analysis
JP5428568B2 (ja) * 2009-06-23 2014-02-26 リコーイメージング株式会社 露出制御ユニットおよび撮影装置
US8798393B2 (en) 2010-12-01 2014-08-05 Google Inc. Removing illumination variation from images
US8570394B1 (en) * 2011-01-18 2013-10-29 Intellectual Ventures Fund 79 Llc Systems, methods, and mediums for adjusting an exposure of an image using a histogram
US8582915B2 (en) * 2011-06-27 2013-11-12 Wuxi Jinnang Technology Development Ltd. Image enhancement for challenging lighting conditions
KR101920816B1 (ko) * 2013-07-08 2018-11-21 한화테크윈 주식회사 쉐이딩 보정이 가능한 화이트 발란스 방법, 그리고 이에 적용되는 장치
KR102105102B1 (ko) * 2013-10-10 2020-04-27 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
KR102472970B1 (ko) * 2015-09-07 2022-12-01 엘지전자 주식회사 디스플레이 장치
JP2017098845A (ja) * 2015-11-26 2017-06-01 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9799106B2 (en) 2015-12-16 2017-10-24 Dropbox, Inc. Enhancing a digital image
CN108111777B (zh) * 2017-12-15 2021-02-02 武汉精立电子技术有限公司 一种暗角校正系统及方法
CN110149550B (zh) * 2018-06-19 2022-02-11 腾讯科技(深圳)有限公司 一种图像数据处理方法、装置和存储介质
CN109859718B (zh) * 2018-12-28 2021-03-23 维沃移动通信有限公司 屏幕亮度调整方法及终端设备
CN109686302B (zh) * 2019-03-04 2021-08-31 京东方科技集团股份有限公司 一种显示装置及其控制方法
CN110120021B (zh) * 2019-05-05 2021-04-09 腾讯科技(深圳)有限公司 图像亮度的调整方法、装置、存储介质及电子装置
CN110910333B (zh) * 2019-12-12 2023-03-14 腾讯科技(深圳)有限公司 图像处理方法和图像处理设备
CN113449730A (zh) * 2020-03-27 2021-09-28 苏州科瓴精密机械科技有限公司 图像处理方法、系统、自动行走设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198801A (ja) 1997-01-10 1998-07-31 Agency Of Ind Science & Technol 画質改善方法、エッジ強度計算方法及び装置
JP2002185771A (ja) 2000-12-14 2002-06-28 Noritsu Koki Co Ltd 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体
JP2004260835A (ja) * 1999-09-27 2004-09-16 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5132796A (en) 1990-09-04 1992-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for digitally processing gamma pedestal and gain
US5255093A (en) 1992-06-19 1993-10-19 Panasonic Technologies, Inc. Apparatus and a method for limiting gain in a digital gamma corrector
US5394195A (en) 1993-06-14 1995-02-28 Philips Electronics North America Corporation Method and apparatus for performing dynamic gamma contrast control
US5715377A (en) * 1994-07-21 1998-02-03 Matsushita Electric Industrial Co. Ltd. Gray level correction apparatus
US5724456A (en) * 1995-03-31 1998-03-03 Polaroid Corporation Brightness adjustment of images using digital scene analysis
US5581370A (en) * 1995-06-05 1996-12-03 Xerox Corporation Image-dependent automatic area of interest enhancement
KR100207660B1 (ko) * 1996-03-09 1999-07-15 윤종용 양자화된 평균 분리 히스토그램 등화를 이용한 화질 개선 방법 및 그 회로
US6049626A (en) * 1996-10-09 2000-04-11 Samsung Electronics Co., Ltd. Image enhancing method and circuit using mean separate/quantized mean separate histogram equalization and color compensation
JPH10150566A (ja) * 1996-11-18 1998-06-02 Nec Corp 明度補正装置
US5822453A (en) * 1996-12-10 1998-10-13 Eastman Kodak Company Method for estimating and adjusting digital image contrast
US6493468B1 (en) * 1998-05-06 2002-12-10 Canon Kabushiki Kaisha Image processing apparatus and method
KR100598123B1 (ko) 1999-06-15 2006-07-07 삼성전자주식회사 액정 디스플레이 장치의 이득 및 오프셋 설정방법
JP3515019B2 (ja) 1999-07-26 2004-04-05 日本電信電話株式会社 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置
JP2001257905A (ja) 2000-03-14 2001-09-21 Sony Corp 映像処理方法および映像処理装置
US6735330B1 (en) * 2000-10-17 2004-05-11 Eastman Kodak Company Automatic digital radiographic bright light
US6792142B1 (en) * 2001-01-16 2004-09-14 Micron Technology, Inc. Image sensing system with histogram modification
KR100450793B1 (ko) * 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
WO2002087258A2 (en) * 2001-04-20 2002-10-31 Koninklijke Philips Electronics N.V. Image processing apparatus for and method of improving an image and an image display apparatus comprising the image processing apparatus
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
EP1345172A1 (en) * 2002-02-26 2003-09-17 Sony International (Europe) GmbH Contrast enhancement for digital images
KR100439726B1 (ko) 2002-04-25 2004-07-12 삼성전자주식회사 디스플레이장치 및 디스플레이장치의 휘도조정방법
JP2005130486A (ja) * 2003-09-30 2005-05-19 Sanyo Electric Co Ltd 映像信号処理装置
KR100590529B1 (ko) 2003-11-04 2006-06-15 삼성전자주식회사 영상의 국부적 휘도 향상 방법 및 장치와 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체
EP1708490B1 (en) 2003-12-03 2013-02-13 Nikon Corporation Image processing device for controlling intensity of noise removal in a screen, image processing program, image processing method, and electronic camera
TWI283396B (en) * 2004-03-23 2007-07-01 Lite On Technology Corp Method for adjusting image contrast
JP3949684B2 (ja) 2004-04-30 2007-07-25 三菱電機株式会社 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ
KR20050122843A (ko) 2004-06-25 2005-12-29 주식회사 대우일렉트로닉스 명암비 개선을 위한 디지털 흑신장 장치
US7949201B2 (en) * 2004-09-01 2011-05-24 Nec Corporation Image correction processing system and image correction processing method
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198801A (ja) 1997-01-10 1998-07-31 Agency Of Ind Science & Technol 画質改善方法、エッジ強度計算方法及び装置
JP2004260835A (ja) * 1999-09-27 2004-09-16 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体
JP2002185771A (ja) 2000-12-14 2002-06-28 Noritsu Koki Co Ltd 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体

Also Published As

Publication number Publication date
EP1884892A3 (en) 2017-11-29
EP1884892A2 (en) 2008-02-06
JP2008035518A (ja) 2008-02-14
CN101118721A (zh) 2008-02-06
CN101118721B (zh) 2010-12-08
US20080025635A1 (en) 2008-01-31
KR20080011588A (ko) 2008-02-05
JP5095290B2 (ja) 2012-12-12
EP1884892B1 (en) 2019-03-27
US8155474B2 (en) 2012-04-10

Similar Documents

Publication Publication Date Title
KR100809347B1 (ko) 쉐도우 영역 보상 방법 및 장치
KR101012270B1 (ko) 낮은 동적 범위로부터 높은 동적 범위로 이미지를 변환하는방법 및 시스템
JP6052902B2 (ja) ディジタル画像中のハイライト領域および飽和領域を処理するための方法
KR100843090B1 (ko) 영상의 깜박임을 개선하는 디스플레이 장치 및 방법
KR101318556B1 (ko) 신호 처리 장치, 방법 및 기록 매체
JP5026619B2 (ja) 視野角によって誘発される色シフト低減するための方法およびシステム
US7340091B2 (en) Method for adjusting image contrast
US8369648B2 (en) Image correction apparatus and image correction method
KR100975221B1 (ko) 샤프니스 보정장치 및 그 방법
CN103854259A (zh) 图像处理设备以及处理图像的方法
TWI698124B (zh) 影像調整方法以及相關的影像處理電路
TWI404413B (zh) 調整視訊訊框之顯示特性的方法、裝置以及系統
Huang et al. Efficient contrast enhancement with truncated adaptive gamma correction
KR101408255B1 (ko) 콘트라스트 개선 장치 및 방법
KR101585187B1 (ko) Cielab 색 공간에서의 통합된 멀티 스케일 레티넥스를 수행하는 이미지 처리 방법 및 장치
JP5975819B2 (ja) 画像処理装置
JP4219577B2 (ja) 画像処理装置と画像出力装置と画像処理方法及び記憶媒体
US8351729B2 (en) Apparatus, method, and program for image correction
Shu et al. Image enhancement revisited: From first order to second order statistics
JP2008160607A (ja) 階調補正装置およびそれを備える映像表示装置
CN115689903A (zh) 图像处理方法及装置、设备、存储介质
JP2003085553A (ja) ノイズリダクション回路
JP2004318461A (ja) トーンジャンプを目立たなくする画像処理
JP6126054B2 (ja) 画像信号処理方法及び画像信号処理装置
CN113436106B (zh) 水下图像的增强方法、装置及计算机存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150116

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170119

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180119

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 13