KR100601967B1 - 영상의 다이나믹 레인지 압축 장치 및 방법 - Google Patents

영상의 다이나믹 레인지 압축 장치 및 방법 Download PDF

Info

Publication number
KR100601967B1
KR100601967B1 KR1020040080581A KR20040080581A KR100601967B1 KR 100601967 B1 KR100601967 B1 KR 100601967B1 KR 1020040080581 A KR1020040080581 A KR 1020040080581A KR 20040080581 A KR20040080581 A KR 20040080581A KR 100601967 B1 KR100601967 B1 KR 100601967B1
Authority
KR
South Korea
Prior art keywords
pixel
value
peripheral
image
result
Prior art date
Application number
KR1020040080581A
Other languages
English (en)
Other versions
KR20060031519A (ko
Inventor
황의현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040080581A priority Critical patent/KR100601967B1/ko
Priority to US11/088,911 priority patent/US7382941B2/en
Priority to EP05252391A priority patent/EP1646007A3/en
Priority to JP2005294474A priority patent/JP2006109490A/ja
Publication of KR20060031519A publication Critical patent/KR20060031519A/ko
Application granted granted Critical
Publication of KR100601967B1 publication Critical patent/KR100601967B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상의 다이나믹 레인지 압축 장치 및 방법이 개시된다. 이 장치는, 주변 정보들을 영상의 이전 프레임에 대한 아날로그 픽셀 스트림으로부터 생성한 합 영역 테이블을 이용하여 다면체들별로 계산하고, 계산된 주변 정보들과 소정의 가중치들을 승산하고, 승산된 결과들을 가산하며, 가산된 결과를 주변값으로서 출력하는 주변값 생성부 및 대상 화소의 화소값을 주변값을 이용하여 보정하고, 보정된 결과를 출력하는 화소값 보정부를 구비하고, 주변 화소는 대상 화소의 주변에 위치하며 이전 프레임에 속하고, 영상에 포함되는 화소들의 위치에 따른 가중치들의 분포로서 커널 함수에 의해 표현되는 커널 분포는 다면체들의 합으로서 근사되는 것을 특징으로 한다. 큰 면적에 대한 컨볼루션(convolution) 연산을 다면체들의 가중치가 승산된 합으로 대체함으로써, 연산량이 적어져서 종래보다 전력을 덜 소모하기 때문에 이동하는 영상 처리 장치에 보다 잘 적용될 수 있고, 영상의 다이나믹 레인지를 고속으로 압축할 수가 있고, 화질 개선을 도모할 수 있고, 영상을 센싱하는 센서의 물리적 한계를 극복할 수 있고, 대상 화소의 화소값을 다양하게 보정할 수 있고, 종래의 하드웨어를 재 사용할 수 있게 하는 효과들을 갖는다.

Description

영상의 다이나믹 레인지 압축 장치 및 방법{Apparatus and method for compressing dynamic range of image}
도 1은 본 발명에 의한 영상의 다이나믹 레인지 압축 장치의 일 실시예의 블럭도이다.
도 2는 본 발명에 의한 영상의 다이나믹 레인지 압축 방법을 설명하기 위한 플로우차트이다.
도 3은 수학식 1을 도식화하여 나타내는 도면이다.
도 4 (a) 및 (b)들은 아날로그 픽셀 스트림으로부터 생성되는 합 영역 테이블을 예시적으로 설명하기 위한 도면들이다.
도 5는 2차원에서 원형을 갖는 가우시안 분포의 예시적인 도면이다.
도 6은 합 영역 테이블을 이용하여 임의의 영역에 포함된 화소값들의 합을 구하는 방법을 예시적으로 설명하기 위한 도면이다.
도 7은 도 1에 도시된 주변값 생성부의 본 발명에 의한 바람직한 실시예의 블럭도이다.
도 8은 도 7에 도시된 주변값 연산부의 일 실시예의 블럭도이다.
도 9는 도 1에 도시된 화소값 보정부의 본 발명에 의한 실시예의 블럭도이다.
도 10은 도 9에 도시된 주변값 반영부의 일 실시예의 블럭도이다.
도 11은 도 9에 도시된 주변값 반영부의 다른 실시예의 블럭도이다.
본 발명은 카메라 휴대폰, 디지탈 카메라 또는 캠코더등과 같은 영상 처리 장치에서 수행되는 영상처리에 관한 것으로서, 특히 영상의 다이나믹 레인지(dynamic range)를 압축하는 장치 및 방법에 관한 것이다.
영상 처리 장치 예를 들면, 디지털 카메라나 캠코더 등을 이용하여 대비(contrast)가 심한 영상을 촬영할 경우, 어두운 쪽이나 밝은 쪽에 치우친 영상이 얻어진다. 즉, 영상의 다이나믹 레인지가 클 경우 사람 눈으로 보는 것과 다른 영상이 영상 처리 장치에 의해 얻어진다. 여기서, 영상의 다이나믹 레인지란, 영상에서 가장 어두운 부분과 가장 밝은 부분의 밝기의 범위를 의미한다. 예를 들어, 밝은 창가에 서있는 사람을 카메라로 찍을 경우, 사람 눈으로는 구별되었던 모습들이 밝은 창에 검게 서 있는 사람의 모습으로 찍힌다. 이런 문제점을 보상하기 위해 Edwin Land에 의해 제안된 레티넥스(Retinex) 알고리즘 등으로 사람 눈의 특성과 유사하게 후 처리를 할 수 있다. 그러나, 이미 디지털로 양자화된 영상에 대해 이러한 후 처리가 행하므로 영상에서 포화가 심해진 부분은 양자화 에러에 의해 화질 열화를 발생시키며 이를 피할 수 없다.
영상 처리 장치의 보급이 확대되면서 디지털 영상에 대한 관심이 증가하고 있다. 그러나, 전문적인 사진 작가가 아닌 일반인이 좋은 영상을 얻기 위해서 아직까지도 어려움이 많다. 실내에서 밝은 창가에 서 있는 사람이나 물체를 찍는다든가 역광 상황에서 사진을 찍을 경우 거의 알아볼 수 없는 사진을 얻게 된다. 이는 비단 디지털 영상만의 문제가 아니라, 사람 눈의 영상 취득 특성과 카메라의 영상 취득 특성의 차이에 의한 것이다. 그러나, 다행스럽게도 디지털 영상의 경우 컴퓨터 등에 의한 후 처리를 통해 이러한 특성 차이를 어느 정도 극복할 수 있다.
사람은 눈으로만 보는 것이 아니며 눈에 들어온 영상 정보를 대뇌피질에서 처리한 후 해석한다. 이에 대해서는 Edwin Land의 선구적인 연구를 통해 레티넥스(Retinex)라고 하는 이론으로 잘 알려져 있다. 여기서, 레티넥스(Retinex)는 망막을 의미하는 Retina와 대뇌피질을 의미하는 Cortex의 두 단어들의 합성어 이다. 레티넥스 이론의 핵심은 카메라에 맺히는 상의 경우 픽셀별로 물리적인 광량에 의해 값이 결정되는 반면, 눈으로 보는 영상의 경우 픽셀값과 그 주변의 밝기 분포의 비율의 상대적인 값으로 영상이 인식된다는 것이다. 이는, 물리적으로 같은 회색이라도 검정색 바탕에 놓인 경우 보다 흰색 바탕에 놓인 경우가 사람 눈에 더 어둡게 보인다는 현상에서 쉽게 이해할 수 있다. 레티넥스 이론을 바탕으로 나사(NASA)의 연구원이던 'Daniel J. Jobson', 'Zia-ur Rahman' 및 'Glenn A. Woodell' 등은 여러 가지 관련 실험들과 개선을 통해 "Multi Scale Retinex" 이론을 발표하였다. 이에 대해서는 'A. Moore', 'J. Allman' 및 'R. M. Goodman'에 의해 1991년 3월에 "A real-time neural system for color constancy"라는 제목으로 IEEE Trans. Neural Networks, vol. 2에 실린 논문의 페이지 237 - 247쪽들에 개시 되어 있다.
개시된 문헌의 레티넥스 필터링(Retinex filtering)에 의하면, 중심부 값으로부터 넓게 분포된 주변부의 가우시안 필터(gaussian filter)의 결과를 감산한다. 여기서, 값들의 비율을 구하는 대신에 값들을 감산하는 이유는 시각의 로그(log) 특성이 반영되기 때문이다. 즉, 두 값들이 A 및 B라고 할 때, log(A/B) = log(A)-log(B)의 관계를 이용한 것이다. 이러한 방법을 이용하면 국부적으로 상대적인 비율을 보는 이론의 특성상 영상 내에서 어두운 부분은 상대적으로 밝아지고 밝은 부분은 상대적으로 어두워지는 결과를 얻게 된다. 예를 들어, 가장 어두운 픽셀과 가장 밝은 픽셀의 범위를 0~255로서 갖는 영상을 레티넥스 처리하면, 픽셀의 범위가 40~200 정도로 압축된다. 이렇게 0~255의 넓은 다이나믹 레인지를 40~200 정도의 좁은 다이나믹 레인지로 변화되는 현상을 '다이나믹 레인지 압축'이라고 한다.
프린트나 디스플레이에서 보통 장면 리플렉턴스(scene reflectance)의 크기 변화는 최저 20:1로부터 최고 50:1정도에 불과한 반면, 카메라가 받을 수 있는 크기 변화 즉, 비율은 2000:1 이상에 달한다. 이런 차이로 인해, 카메라에서 찍힌 영상을 8비트로 샘플링하여 디스플레이를 할 경우 사람 눈이 실제로 보는 영상과 다른 영상이 디스플레이된다. 이를 개선하기 위해 레티넥스를 아날로그 회로로 구현하거나 8비트 대신 10-14비트의 고 해상도 A/D변환을 하여 열화를 막는 방법들을 생각해 볼 수 있다. 만일, 10-14비트의 고 해상도 A/D 변환을 사용할 경우, 고 성능의 DSP가 필요하다. 레티넥스 알고리즘은 기본적으로 대규모
콘볼루션(convolution)을 기반으로 하기 때문에 연산량이 많으며 픽셀 수에 비례하여 연산량을 증가시킨다. 하드웨어의 발달로 인해 DSP의 성능이 증가한 것은 사실이나 영상 해상도 역시 증가하고 있다. 따라서, 레티넥스 처리를 DSP에 의존할 경우 디지털 카메라와 같이 처리시간에 제한이 없는 정지 영상에서는 유용할 수도 있으나 디지털 캠코더나 근래 많이 쓰이는 디지털 카메라의 동영상 촬영과 같이 실시간 처리를 요구하고 이동성이 있는 환경에서는 많은 전력소모를 야기시킨다. 예로써, Glenn Hines 등이 구현한 바와 같이 150MHz 플로팅 포인트(Floating Point) DSP를 사용해서 256x256 그레이 영상을 초당 20프레임 처리하는 것을 일반 VGA급 컬러 영상으로 처리할 경우 계산량이 훨씬 늘어나는 것을 잘 알 수 있다. 또한, 계산량을 줄이기 위해 합 영역 테이블(SAT:Summed Area Table) 방법이나 다른 최적화 방법을 도입한다고 해도, 센서의 특성이 바뀌어 장면 리플렉턴스의 크기 변화를 더 넓게 수용할 수 있을 경우 그에 대응하기 어려운 문제점이 있다.
Andrew Moore 등이 제안한 Analog-VLSI 구조의 경우 A/D 변환 이전에 이득을 조절하여 화질의 열화를 막는다. 그러나, 이 방식을 사용할 경우 대상 화소의 주변값을 얻기 위한 레지스티브 그리드(registive grid)가 영상 해상도와 비슷한 비율로 만들어 져야 하므로 양산에 문제가 생길 수도 있다. 게다가, 주변값을 얻는 방법이 한 가지로 고정되어 멀티 스케일 레티넥스(Multi Scale Retinex) 등과 같이 보다 향상된 구조를 갖기 어려운 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 콘볼루션 동작 대신에 승산과 가산 동작들만으로 영상의 다이나믹 레인지를 압축할 수 있는 영상의 다이나믹 레인지 압축 장치를 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 콘볼루션 동작 대신에 승산과 가산 동작들만으로 영상의 다이나믹 레인지를 압축할 수 있는 영상의 다이나믹 레인지 압축 방법을 제공하는 데 있다.
상기 과제를 이루기 위한 본 발명에 의한 영상의 다이나믹 레인지 압축 장치는, 주변 화소들에 대한 주변 정보들을 영상의 이전 프레임에 대한 아날로그 픽셀 스트림으로부터 생성한 합 영역 테이블을 이용하여 다면체들별로 계산하고, 계산된 주변 정보들과 소정의 가중치들을 승산하고, 승산된 결과들을 가산하며, 가산된 결과를 주변값으로서 출력하는 주변값 생성부 및 현재 프레임에 대한 아날로그 픽셀 스트림에 포함되며 관심의 대상이 되는 대상 화소의 화소값을 상기 주변값을 이용하여 보정하고, 보정된 결과를 출력하는 화소값 보정부로 이루어지고, 상기 주변 화소는 대상 화소의 주변에 위치하며 상기 이전 프레임에 속하고, 상기 영상에 포함되는 화소들의 위치에 따른 가중치들의 분포로서 커널 함수에 의해 표현되는 커널 분포는 상기 다면체들의 합으로서 근사되는 것이 바람직하다.
상기 다른 과제를 이루기 위한 본 발명에 의한 영상의 다이나믹 레인지 압축 방법은, 주변 화소들에 대한 주변 정보들을 영상의 이전 프레임에 대한 아날로그 픽셀 스트림으로부터 생성한 합 영역 테이블을 이용하여 다면체들별로 계산하고, 계산된 주변 정보들과 소정의 가중치들을 승산하고, 승산된 결과들을 가산하며, 가 산된 결과를 주변값으로서 결정하는 단계 및 현재 프레임에 대한 아날로그 픽셀 스트림에 포함되며 관심의 대상이 되는 대상 화소의 화소값을 상기 주변값을 이용하여 보정하는 단계로 이루어지고, 상기 주변 화소는 대상 화소의 주변에 위치하며 상기 이전 프레임에 속하고, 상기 영상에 포함되는 화소들의 위치에 따른 가중치들의 분포로서 커널 함수에 의해 표현되는 커널 분포는 상기 다면체들의 합으로서 근사되는 것이 바람직하다.
이하, 본 발명에 의한 영상의 다이나믹 레인지 압축 장치의 실시예의 구성 및 동작과 그 장치에서 수행되는 영상의 다이나믹 레인지 압축 방법의 실시예를 첨부한 도면들을 참조하여 다음과 같이 설명한다.
도 1은 본 발명에 의한 영상의 다이나믹 레인지 압축 장치의 일 실시예의 블럭도로서, 이득 조절부(10), 주변값 생성부(12), 화소값 보정부(14) 및 제어부(16)로 구성된다.
도 2는 본 발명에 의한 영상의 다이나믹 레인지 압축 방법을 설명하기 위한 플로우차트로서, 영상의 이득을 조절하는 단계(제30 단계), 주변값을 구하는 단계(제32 단계) 및 대상 화소의 화소값을 보정하는 단계(제34 단계)로 이루어진다.
도 1에 도시된 이득 조절부(10)는 영상의 밝기에 따라 영상의 이득을 조절하고, 조절된 이득을 반영한 아날로그 픽셀 스트림을 출력한다(제30 단계). 즉, 이득 조절부(10)는 고체 촬상 소자(미도시) 같은 영상 센서(미도시)에서 영상을 센싱한 결과인 아날로그 형태의 픽셀 스트림을 입력단자 IN1을 통해 외부로부터 입력한다. 이 때, 이득 조절부(10)는 입력한 아날로그 형태의 픽셀 스트림으로부터 영상의 전 체 밝기를 분석하고, 분석한 결과에 상응하여 전체 영상의 이득을 조절하며, 이득이 조절된 결과를 아날로그 픽셀 스트림에 반영하며, 조절된 이득을 반영한 아날로그 픽셀 스트림을 출력한다. 예를 들어, 이득 조절부(10)는 전체 영상의 밝기가 매우 밝을 경우 전체 영상의 밝기가 약간 어두워지도록 영상의 이득을 조정하고, 전체 영상의 밝기가 매우 어두울 경우 전체 영상의 밝기가 약간 밝아지도록 영상의 이득을 조정할 수 있다.
또한, 도 1에 도시된 이득 조절부(10)는 영상에 대해 감마(Gamma) 보상을 수행할 수도 있다.
본 발명의 다른 실시예에 의하면, 도 1에 도시된 영상의 다이나믹 레인지 압축 장치는 이득 조절부(10)를 마련하지 않을 수도 있다. 이 경우, 도 2에 도시된 영상의 다이나믹 레인지 압축 방법은 제30 단계를 마련하지 않을 수도 있다. 이 경우, 주변값 생성부(12)는 입력단자 IN1을 통해 외부로부터 아날로그 픽셀 스트림을 직접 입력한다.
그러나, 도 1에 도시된 바와 같이, 영상의 다이나믹 레인지 압축 장치가 이득 조절부(10)를 마련할 경우, 이득 조절부(10), 주변값 생성부(12) 및 화소값 보정부(14)는 단일 칩으로 구현될 수 있다. 이 때, 단일 칩에는 제어부(16)도 내장될 수 있다.
이하, 본 발명의 이해를 돕기 위해, 편의상 도 1에 도시된 영상의 다이나믹 레인지 압축 장치가 이득 조절부(10)를 포함하는 것으로 설명하지만 본 발명은 이에 국한되지 않는다.
제30 단계후에, 합 영역 테이블(SAT:Summed Area Table)(또는, integral image)들을 이용하여 주변값 생성부(12)는 주변 화소들에 대한 주변 정보들을 다면체들별로 계산하고, 계산된 주변 정보들과 소정의 가중치들을 승산하고, 승산된 결과들을 가산하며, 가산된 결과를 주변값으로서 화소값 보정부(14) 및 제어부(16)로 각각 출력한다(제32 단계). 이 때, 주변값 생성부(12)는 이득 조절부(10)로부터 입력한 이전 프레임에 대한 아날로그 픽셀 스트림을 이용하여 합 영역 테이블을 생성한다. 주변값 생성부(12)에서 생성되는 합 영역 테이블은 다음 수학식 1과 같이 표현될 수 있다.
Figure 112004045849952-pat00001
Figure 112004045849952-pat00002
여기서, (x,y)는 이전 프레임에 대한 아날로그 픽셀 스트림에 포함된 화소의 위치를 나타내고, i(x,y)는 원본 영상의 화소값을 나타내고, s(x,y)는 세로 방향으로 화소값들을 합산한 결과이고, ii(x,y)는 세로 방향의 합산된 값들을 가로 방향으로 합산한 결과를 나타내고, y가 0인 경우 s(x,-1)은 0이 되고, x가 0인 경우 ii(-1,y)는 0이 된다. 화소값이란, 밝기 레벨 또는 그레이(gray) 레벨이 될 수 있다.
도 3은 수학식 1을 도식화하여 나타내는 도면이다.
도 3에 도시된 도면은 합 영역 테이블에 포함되는 값들을 각각 구하기 위해, 좌측 상단부터 우측 하단 방향으로 합산이 진행된다. 그러나, 이와 달리, 우측 하단부터 좌측 상단 방향으로 합산이 진행될 수도 있다.
도 4 (a) 및 (b)들은 아날로그 픽셀 스트림으로부터 생성되는 합 영역 테이블을 예시적으로 설명하기 위한 도면들로서, 도 4 (a)는 아날로그 픽셀 스트림을 나타내고, 도 4 (b)는 합 영역 테이블을 나타낸다.
도 4 (a)에 도시된 아날로그 픽셀 스트림은 9개의 화소들을 나타내며, 각 화소의 화소값은 0 ~ 2n-1(여기서, n은 화소값을 표현하는 비트수를 의미한다.)까지 변할 수 있지만, 편의상 '1'로 가정하였다. 예를 들어, 도 4 (a)에 도시된 아날로그 픽셀 스트림의 왼쪽 상단에서 4개의 화소값들(40)을 합하면 도 4 (b)에 도시된 바와 같이 '4'(44)가 된다. 이와 비슷하게, 도 4 (a)에 도시된 아날로그 픽셀 스트림의 왼쪽 상단에서 9개의 화소값들(42)을 합하면 도 4 (b)에 도시된 바와 같이 '9'(46)가 된다. 이러한 방식으로, 주변값 생성부(12)는 이득 조절부(10)로부터 입력한 도 4 (a)에 도시된 이전 프레임에 대한 아날로그 픽셀 스트림을 도 4 (b)에 도시된 합 영역 테이블로 변환한다.
일반적으로 이득 조절부(10)로부터 출력되는 아날로그 픽셀 스트림은 도 4 (a)에 도시된 좌측 상단으로부터 우측 하단으로까지 순차적으로 주변값 생성부(12)로 입력된다. 따라서, 주변값 생성부(12)는 이득 조절부(10)로부터 입력되는 아날로그 픽셀 스트림을 디지탈 형태로 변환하여 디지탈 비트 스트림으로 계속해서 누적하고, 누적된 결과를 바로 위 라인의 누적된 결과와 합하여 합 영역 테이블을 생 성할 수 있다.
전술한 합 영역 테이블은 영상의 다이나믹 레인지를 압축하기 위한 종래의 방법에서 콘볼루션된 결과를 얻기 위해 사용되며 그래픽 분야에서 텍스쳐 맵핑시 안티 알리어싱(anti-aliasing)을 위해 개발된 테이블이다.
이하, 대상 화소란 이득 조절부(10)로부터 출력되는 현재 프레임에 대한 아날로그 픽셀 스트림에 포함되며 관심의 대상이 되는 화소 즉, 현재 보정의 대상이 되는 화소값을 갖는 화소를 의미한다. 주변 화소란, 대상 화소의 주변에 위치하는 화소로서, 현재 프레임의 이전 프레임에 속한다. 본 발명에 의하면, 영상에 포함되는 화소들의 위치에 따른 가중치들의 분포로서 커널 함수(kernel function)에 의해 표현되는 커널 분포는 다면체들의 합으로서 근사된다. 커널 분포와 복수개의 다면체들의 합간의 오차는 크지 않고 서로 근사하도록 다면체들을 결정한다.
본 발명에 의하면, 다면체들 각각은 면적과 높이를 갖는 직육면체 또는 정육면체등이 될 수 있다. 커널 함수의 례들에 대해서는 'Daniel J', IEEE의 회원인 'Jobson, Zia-ur Rahman' 및 'Glenn A. Woodell'에 의해 저술되고, "Properties and Performance of a Center/Surround Retinex"라는 제목으로 IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 6, NO. 3, 1997에 실린 논문의 페이지 451-462쪽에 개시되어 있다.
이하, 본 발명의 이해를 돕기 위해, 커널 함수는 가우시안 함수이고, 커널 분포는 가우시안 분포이고, 다면체는 직육면체로 가정한다.
도 5는 2차원에서 원형을 갖는 가우시안 분포(50)의 예시적인 도면으로서, (x,y)는 화소의 위치를 나타내고, z는 가중치를 나타낸다.
예를 들어, 가우시안 분포가 도 5에 도시된 바와 같이 네 개의 직육면체들의 합으로 근사된다고 가정한다. 이 경우, 주변값 생성부(12)는 직육면체(60)에 대한 주변 정보를 소정의 가중치(a)와 승산하고, 직육면체(62)에 대한 주변 정보를 소정의 가중치(b)와 승산하고, 직육면체(64)에 대한 주변 정보를 소정의 가중치(c)와 승산하고, 직육면체(66)에 대한 주변 정보를 소정의 가중치(d)와 각각 승산한다. 여기서, 소정 가중치들(a, b, c 및 d)은 사전에 경험적으로 결정된다. 즉, 커널 분포와 다면체들의 합간의 오차가 최소화될 수 있도록 소정 가중치들(a, b, c 및 d)은 사전에 결정된다. 본 발명에 의하면, 소정 가중치들은 소수점 이하의 값을 가질 수 있다. 이 경우, 소정의 가중치와 주변 정보의 승산 연산은 쉬프트 연산에 의해 수행될 수 있다.
다음에, 주변값 생성부(12)는 승산된 결과들을 가산하며, 가산된 결과를 주변값으로서 출력한다. 여기서, 소정의 가중치는 직육면체의 높이임을 알 수 있다.
전술한 다면체들 각각에 포함된 주변 화소들에 대한 주변 정보란, 다면체의 면적에 속하는 주변 화소들의 화소값들의 합을 합 영역 테이블들을 이용하여 생성한 결과가 될 수 있다.
이하, 다면체에 대한 주변 정보에 대해 첨부된 도면들을 참조하여 다음과 같이 설명한다.
도 6은 합 영역 테이블을 이용하여 임의의 영역에 포함된 화소값들의 합을 구하는 방법을 예시적으로 설명하기 위한 도면으로서, 합 영역 테이블과 매칭되며, A, B, C 및 D 영역들로 구성된다.
도 6에 도시된 영역 D는 도 5에 도시된 직육면체들(60, 62, 64 및 66) 각각의 면적(xy)이 될 수 있다. 예를 들어, 도 5에 도시된 직육면체(66)의 면적은 참조부호 68과 같은 그늘진 부분에 해당한다. 다면체의 면적은 전술한 합 영역 테이블에 매칭될 수 있다. 즉, 도 6이 합 영역 테이블을 나타낼 경우, 도 6에 도시된 점(1)에서의 값[ii(1)]은 영역 A에 포함된 화소들의 화소값들의 합이 되고, 점(2)에서의 값[ii(2)]은 영역 A 와 B에 포함된 화소들의 화소값들의 합이 되고, 점(3)에서의 값[ii(3)]은 영역 A와 C에 포함된 화소들의 화소값들의 합이 되고, 점(4)에서의 값[ii(4)]은 영역 A, B, C 및 D에 포함된 화소들의 화소값들의 합이 된다.
예를 들어, 주변 화소들이 영역 D에 국한되어 위치할 경우, 영역 D에 속하는 화소들의 화소값들의 합(ΔD)이 도 6에 도시된 다면체에 대한 주변 정보가 된다. 도 6에 도시된 영역 D에 속하는 화소들의 화소값들의 합은 다음 수학식 2와 같이 구할 수 있다.
Figure 112004045849952-pat00003
여기서, ii(4), ii(3), ii(2) 및 ii(1)은 다음 수학식 3과 같다.
Figure 112004045849952-pat00004
Figure 112004045849952-pat00005
Figure 112004045849952-pat00006
Figure 112004045849952-pat00007
여기서, Δk(여기서, k는 A, B, C 또는 D)는 영역 k에 속하는 화소들의 화소값들의 합을 나타낸다.
도 7은 도 1에 도시된 주변값 생성부(12)의 본 발명에 의한 바람직한 실시예(12A)의 블럭도로서, 아날로그/디지탈 변환부(ADC:Analog to Digital Converter)(80), 테이블 생성부(82) 및 주변값 연산부(84)로 구성된다.
아날로그/디지탈 변환부(80)는 입력단자 IN2를 통해 이득 조절부(10)로부터 입력한 이전 프레임에 대한 아날로그 픽셀 스트림을 디지탈 형태로 변환하고, 변환된 결과를 디지탈 픽셀 스트림으로서 테이블 생성부(82)로 출력한다. 여기서, 아날로그/디지탈 변환부(80)는 고해상도가 아니라 저해상도의 분해능을 가져도 도 1에 도시된 영상의 다이나믹 레인지 압축 장치의 성능에는 영향을 미치지 않는다. 왜냐하면, 도 7에 도시된 주변값 생성부(12A)는 현재 프레임에 속하는 대상 화소의 화소값을 보정하기 위해 사용될 주변값을 구하기 위해, 이전 프레임에 대한 개략적인 정보만을 가지면 되기 때문이다. 예를 들어, 아날로그/디지탈 변환부(80)의 해상도는 4비트 정도면 충분할 수 있다.
이 때, 테이블 생성부(82)는 디지탈 픽셀 스트림을 합 영역 테이블로 변환하고, 변환된 합 영역 테이블을 주변값 연산부(84)로 출력한다.
주변값 연산부(84)는 테이블 생성부(82)에서 생성된 합 영역 테이블들을 이 용하여 주변 정보들을 다면체들별로 전술한 바와 같이 계산하고, 계산된 주변 정보들과 소정의 가중치들을 승산하고, 승산된 결과들을 가산하며, 가산된 결과를 주변값으로서 출력단자 OUT2를 통해 출력한다.
도 8은 도 7에 도시된 주변값 연산부(84A)의 일 실시예(84A)의 블럭도로서, 제1 및 제2 버퍼들(90 및 92), 테이블 선택부(94) 및 계산부(96)로 구성된다.
도 8에 도시된 제1 및 제2 버퍼들(90 및 92)은 테이블 생성부(82)에서 생성된 합 영역 테이블들을 더블 버퍼링(double buffering)한다. 여기서, 더블 버퍼링이란, 테이블 생성부(82)와 계산부(96)간에 데이타 버스 문제를 해결하기 위해 테이블 생성부(82)에서 생성된 합 영역 테이블을 제1 및 제2 버퍼들(90 및 92)에 교호적으로 저장하는 것을 의미한다. 즉, 테이블 생성부(82)에서 생성된 합 영역 테이블은 입력단자 IN5를 통해 제1 버퍼(90)로 입력되거나 입력단자 IN6을 통해 제2 버퍼(92)로 입력된다. 이를 위해, 도 7에 도시된 테이블 생성부(82)는 생성된 합 영역 테이블들을 입력단자 IN3을 통해 입력한 기입 제어 신호에 응답하여 제1 및 제2 버퍼들(90 및 92)중 하나에 기입시킨다. 도 1에 도시된 제어부(16)는 기입 제어 신호(20)를 발생하여 테이블 생성부(82)로 출력한다.
도 8에 도시된 제1 및 제2 버퍼들(90 및 92)의 크기는 영상의 해상도에 따라 달라진다.
테이블 선택부(94)는 제1 및 제2 버퍼들(90 및 92)에 저장된 합 영역 테이블들중 하나를 선택 제어 신호에 응답하여 선택적으로 독출시키고, 독출된 결과를 계산부(96)로 출력한다. 예를 들면, 테이블 선택부(94)는 제1 및 제2 버퍼들(90 및 92)에 저장된 합 영역 테이블들을 교대로 하나씩 선택할 수도 있다. 이를 위해, 도 8에 도시된 테이블 선택부(94)는 입력단자 IN7을 통해 제어부(16)로부터 선택 제어 신호를 입력한다. 즉, 도 7에 도시된 주변값 연산부(84)는 입력단자 IN4를 통해 제어부(16)로부터 선택 제어 신호를 입력한다. 도 1에 도시된 제어부(16)는 선택 제어 신호(20)를 발생하여 주변값 생성부(12)로 출력한다.
계산부(96)는 테이블 선택부(94)에서 선택된 합 영역 테이블을 이용하여 다면체별 주변 정보를 계산하고, 계산된 주변 정보들과 소정의 가중치들을 승산하고, 승산된 결과들을 가산하며, 가산된 결과를 주변값으로서 출력단자 OUT3을 통해 출력한다.
전술한 바와 같이, 더블 버퍼링을 제어하기 위해, 도 1에 도시된 영상의 다이나믹 레인지 압축 장치는 제어부(16)를 더 마련할 수 있다. 즉, 제어부(16)는 기입 및 선택 제어 신호들(20)을 이용하여 더블 버퍼링을 제어한다.
한편, 제32 단계후에, 화소값 보정부(14)는 이득 조절부(10)로부터 입력한 대상 화소의 화소값을 주변값 생성부(12)로부터 입력한 주변값을 이용하여 보정하고, 보정된 결과를 출력단자 OUT1을 통해 출력한다(제34 단계). 화소값 보정부(14)로부터 출력되는 대상 화소들의 보정된 화소값들로 이루어지는 스트림은 종래의 레티넥스 필터링된 영상 스트림에 해당한다. 이 때, 화소값 보정부(14)에서 보정된 결과는 디지탈 형태로 양자화된다. 화소값 보정부(14)에서 보정된 결과를 디지탈 형태로 양자화하는 해상도는 도 7에 도시된 ADC(80)의 해상도보다 클 수 있다.
전술한 바와 같이 더블 버퍼링을 제어하는 역할을 수행할 뿐만 아니라, 제어 부(16)는 보정 제어 신호, 오프셋 및 이득중 적어도 하나를 발생하여 화소값 보정부(14)로 출력하는 역할도 수행한다. 이 경우, 화소값 보정부(14)는 대상 화소의 화소값을 제어부(16)로부터 입력한 보정 제어 신호에 응답하여 보정하고, 제어부(16)로부터 입력한 오프셋 및 이득에 응답하여 대상 화소의 화소값의 오프셋 및 이득을 각각 조정한다.
본 발명에 의하면, 제어부(16)는 도 7에 도시된 주변값 생성부(12A)의 주변값 연산부(84)로부터 입력한 디지탈 형태의 주변값을 아날로그 형태로 변환하고, 변환된 결과(22)를 화소값 보정부(14)로 출력하는 디지탈/아날로그 변환기(DAC:Digital to Analog Converter)(18)를 마련할 수 있다. 디지탈/아날로그 변환기(18)는 로그(log) 특성을 갖도록 할 수 있으며, 이는 전술한 "Properties and Performance of a Center/Surround Retinex"라는 제목을 갖는 논문에 개시된
Figure 112004045849952-pat00008
부분의 log 특성을 대표한다. 여기서,
Figure 112004045849952-pat00009
는 디지탈 형태의 주변값[Ii(x,y)]에 대한 디지탈 형태의 대상 화소[F(x,y)]의 비율을 나타낸다. 화소값 보정부(14)는 주변값 생성부(12) 대신에 디지탈/아날로그 변환부(18)로부터 입력한 아날로그 형태의 주변값을 이용하여 대상 화소의 화소값을 보정한다.
이 때, 제어부(16)에 저장되거나 외부로부터 제공되는 이득이나 오프셋은 디지탈/아날로그 변환부(18)에서 아날로그 형태로 변환되어 화소값 보정부(14)로 제공될 수도 있다.
도 9는 도 1에 도시된 화소값 보정부(14)의 본 발명에 의한 실시예(14A)의 블럭도로서, 경로 선택부(110), 주변값 반영부(112), 오프셋 가산부(114) 및 이득 승산부(116)로 구성된다.
본 발명의 일 실시예에 의하면, 화소값 보정부(14)는 주변값 반영부(112)만으로 구현될 수 있다. 주변값 반영부(112)는 입력단자 IN8을 통해 이득 조절부(10)로부터 입력한 대상 화소의 화소값에 입력단자 IN9를 통해 입력한 주변값을 반영하고, 주변값을 반영한 결과를 출력한다. 결국, 대상 화소의 화소값을 보정한 결과는 주변값 반영부(112)에서 반영된 결과에 해당한다.
도 10은 도 9에 도시된 주변값 반영부(112)의 일 실시예(90A)의 블럭도로서, 로그(log) 증폭부(130) 및 차 계산부(132)로 구성된다.
로그 증폭부(130)는 입력단자 IN13을 통해 입력한 대상 화소의 화소값을 로그 증폭하고, 로그 증폭된 결과를 차 계산부(132)로 출력한다. 여기서, 로그 증폭이란, 증폭 비율이 선형적이지 않고 로그 형태로 증폭한다는 것을 의미한다. 이 때, 차 계산부(132)는 로그 증폭부(130)로부터 입력한 로그 증폭된 결과와 입력단자 IN14를 통해 입력한 주변값간의 차를 계산하고, 계산된 차를 출력단자 OUT6을 통해 출력한다. 결국, 대상 화소의 화소값을 보정한 결과는 차 계산부(132)에서 계산된 차에 해당한다.
도 11은 도 9에 도시된 주변값 반영부(112)의 다른 실시예(90B)의 블럭도로서, 제산부(140)로 구성된다.
도 11에 도시된 제산부(140)는 입력단자 IN15를 통해 입력한 대상 화소의 화소값을 입력단자 IN16을 통해 입력한 주변값으로 제산하고, 제산된 결과를 대상 화 소의 화소값을 보정한 결과로서 출력단자 OUT7을 통해 출력한다.
본 발명의 다른 실시예에 의하면, 화소값 보정부(14)는 경로 선택부(110)를 더 마련할 수 있다. 여기서, 경로 선택부(110)는 제어부(14)로부터 입력단자 IN10를 통해 입력한 보정 제어 신호에 응답하여 대상 화소의 화소값을 출력단자 OUT4를 통해 바이패스(bypass)시키거나 주변값 반영부(112)로 출력한다. 예컨대, 보정 제어 신호를 통해 대상 화소의 화소값의 보정을 사용자가 요구하는 것으로 인식되면, 경로 선택부(110)는 입력단자 IN8을 통해 입력한 대상 화소의 화소값을 주변값 반영부(112)로 출력한다. 그러나, 보정 제어 신호를 통해 대상 화소의 화소값의 보정을 사용자가 요구하지 않은 것으로 인식되면, 경로 선택부(110)는 입력단자 IN8을 통해 입력한 대상 화소의 화소값을 출력단자 OUT4를 통해 바이패스 시킨다. 이를 위해, 제어부(14)는 사용자가 대상 화소의 보정을 요구하는가에 상응하여 보정 제어 신호를 발생하고, 발생한 보정 제어 신호를 경로 선택부(110)로 출력한다. 이 경우, 주변값 반영부(112)는 대상 화소의 화소값을 입력단자 IN8을 통해 입력하는 대신에 경로 선택부(110)로부터 입력한다.
본 발명의 또 다른 실시예에 의하면, 화소값 보정부(14)는 오프셋 가산부(114) 및 이득 승산부(116)중 적어도 하나를 더 가질 수 있다.
도 9에 도시된 오프셋 가산부(114)는 대상 화소의 화소값에 주변값을 반영한 결과를 주변값 반영부(112)로부터 입력하여 입력단자 IN11을 통해 제어부(16)로부터 입력한 오프셋과 가산하고, 가산된 결과를 이득 승산부(116)로 출력한다. 이득 승산부(116)는 오프셋 가산부(114)에서 가산된 결과에 제어부(16)로부터 입력단자 IN12를 통해 입력한 이득을 승산하고, 이득을 승산한 결과를 출력단자 OUT5를 통해 출력한다. 이 경우, 대상 화소의 화소값을 보정한 결과는 이득 승산부(116)에서 승산된 결과에 해당한다. 이와 같이, 오프셋을 조정하여 대상 화소의 화소값의 직류 레벨을 조정하고, 이득을 조정하여 대상 화소의 화소값의 최대값 혹은 최소값을 조절할 수 있다. 결국, 오프셋과 이득을 이용하여 대상 화소의 화소값의 밝기와 콘트라스트를 조절할 수 있다.
예를 들어, 오프셋이 '0'이고, 이득이 '1'인 경우, 주변값 반영부(112)에서 주변값을 반영하여 보정된 대상 화소의 화소값이 출력단자 OUT5를 통해 그대로 출력된다. 즉, 오프셋 가산부(114)와 이득 승산부(116)를 마련하면서도, 대상 화소의 화소값의 오프셋과 이득을 조정하지 않을 수도 있다.
전술한 본 발명에 의한 다이나믹 레인지 압축 장치 및 방법은 현재 프레임에 속하는 대상 화소의 화소값을 이전 프레임에 속하는 주변 화소들에 대한 주변 정보를 이용하여 보정하였다. 영상을 이루는 프레임들간의 영상 차이가 적을 수록, 이러한 본 발명에 의한 영상의 다이나믹 레인지 압축 장치 및 방법은 대상 화소의 화소값을 더욱 잘 보정할 수 있다. 예를 들어, 프레임들간의 시간 간격은 1/30초이므로, 영상이 매우 빨리 움직이는 경우가 아니면 프레임들간의 영상 차이는 적다고 할 수 있다.
전술한 본 발명에 의한 다이나믹 레인지 압축 장치 및 방법은 스펙트럼 밴드별로 다수개가 사용될 수 있다. 예를 들어, 영상의 각 화소가 RGB로 표현될 경우, 도 1에 도시된 다이나믹 레인지 압축 장치는 R, G 및 B 각각을 처리하기 위해 세 개 정도 마련될 수 있다.
이상에서 설명한 바와 같이, 본 발명에 의한 영상의 다이나믹 레인지 압축 장치 및 방법은 영상의 다이나믹 레인지를 압축하기 위해 대규모의 연산을 동반하는 콘볼루션을 사용하므로 고 해상도의 아날로그/디지탈 변환부와 고성능의 디지탈 신호 처리부를 요구하는 종래의 방법과 달리, 콘볼루션 없이 주변값 생성부(12)에서 합 영역 테이블을 생성하기 위해 행해지는 가산동작, 주변 정보와 가중치들을 승산하는 승산 동작과 승산된 결과를 가산하는 가산 동작만으로 혹은 가중치가 플로팅 포인트 이하의 값을 가질 때 행해지는 쉬프트 연산 동작을 더 부가적으로 수행하면서 영상의 다이나믹 레인지를 압축할 수 있으므로 연산량이 적어져서 종래보다 전력을 덜 소모하기 때문에 이동하는 영상 처리 장치에 보다 잘 적용될 수 있고, 합 영역 테이블을 이용하여 주변 정보를 구하므로 영상의 다이나믹 레인지를 고속으로 압축할 수가 있고, 아날로그 비트 스트림을 디지탈 형태의 비트 스트림으로 양자화하기 이전에 대상 화소의 화소값을 보정하기 때문에 컬러간에 적은 양자화 차이가 증폭되는 종래의 문제점을 해결하여 화질 개선을 도모할 수 있고, 오프셋과 이득을 이용하여 대상 화소의 화소값을 조정하기 때문에 영상을 센싱하는 센서(미도시)의 물리적 한계까지 수용할 수 있고, 커널 함수를 변경하여 다른 커널 분포를 획득할 수 있기 때문에 다양한 주변값을 얻을 수 있어 대상 화소의 화소값을 다양하게 보정할 수 있고, 이득 조절부(10)를 포함하는 단일 칩으로 구현될 수 있기 때문에 이득 조절부(10)를 칩으로서 갖는 종래의 장치에서 그 칩만을 간단히 교체하므로서 영상의 화소값을 보정할 수 있도록 하기 때문에 종래의 하드웨어를 재 사용할 수 있게 하는 효과들을 갖는다.

Claims (16)

  1. 주변 화소들에 대한 주변 정보들을 영상의 이전 프레임에 대한 아날로그 픽셀 스트림으로부터 생성한 합 영역 테이블을 이용하여 다면체들별로 계산하고, 계산된 주변 정보들과 소정의 가중치들을 승산하고, 승산된 결과들을 가산하며, 가산된 결과를 주변값으로서 출력하는 주변값 생성부; 및
    현재 프레임에 대한 아날로그 픽셀 스트림에 포함되며 관심의 대상이 되는 대상 화소의 화소값을 상기 주변값을 이용하여 보정하고, 보정된 결과를 출력하는 화소값 보정부를 구비하고,
    상기 주변 화소는 대상 화소의 주변에 위치하며 상기 이전 프레임에 속하고, 상기 영상에 포함되는 화소들의 위치에 따른 가중치들의 분포로서 커널 함수에 의해 표현되는 커널 분포는 상기 다면체들의 합으로서 근사되는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  2. 제1 항에 있어서, 상기 영상의 다이나믹 레인지 압축 장치는
    상기 영상의 밝기에 따라 상기 영상의 이득을 조절하고, 상기 조절된 이득을 반영한 아날로그 픽셀 스트림을 출력하는 이득 조절부를 더 구비하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  3. 제2 항에 있어서, 상기 이득 조절부, 상기 주변값 생성부 및 상기 화소값 보정부는 단일 칩으로 구현되는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  4. 제1 항에 있어서, 상기 합 영역 테이블은 아래와 같이 표현되는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
    Figure 112004045849952-pat00010
    Figure 112004045849952-pat00011
    [여기서, (x,y)는 상기 이전 프레임에 대한 상기 아날로그 픽셀 스트림에 의해 생성된 일반 테이블에 포함된 화소의 위치를 나타내고, i(x,y)는 원본 영상의 화소값을 나타내고, s(x,y)는 세로 방향으로 화소값들을 합산한 결과이고, ii(x,y)는 세로 방향으로 합산된 값들을 가로 방향으로 합산한 결과를 나타내고, s(x,-1)과 ii(-1,y)는 0에 해당한다.]
  5. 제1 항에 있어서, 상기 주변값 생성부는
    상기 이전 프레임에 대한 상기 아날로그 픽셀 스트림을 디지탈 형태로 변환하고, 변환된 결과를 디지탈 픽셀 스트림으로서 출력하는 아날로그/디지탈 변환부;
    상기 디지탈 픽셀 스트림을 상기 합 영역 테이블로 변환하는 테이블 생성부; 및
    상기 생성된 합 영역 테이블들을 이용하여 상기 주변 정보들을 상기 다면체들별로 계산하고, 상기 계산된 주변 정보들과 상기 소정의 가중치들을 승산하고, 승산된 결과들을 가산하며, 가산된 결과를 상기 주변값으로서 출력하는 주변값 연산부를 구비하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  6. 제5 항에 있어서, 상기 영상의 다이나믹 레인지 압축 장치는,
    보정 제어 신호, 오프셋 및 이득중 적어도 하나를 발생하는 제어부를 더 구비하고,
    상기 화소값 보정부는 상기 대상 화소의 상기 화소값을 상기 보정 제어 신호에 응답하여 보정하고, 상기 오프셋 및 상기 이득에 응답하여 상기 대상 화소의 화소값의 오프셋 및 이득을 각각 조정하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  7. 제6 항에 있어서, 상기 제어부는
    상기 주변값 연산부로부터 입력한 상기 디지탈 형태의 주변값을 아날로그 형태로 변환하고, 변환된 결과를 상기 화소값 보정부로 출력하는 디지탈/아날로그 변환기를 구비하고,
    상기 화소값 보정부는 상기 디지탈/아날로그 변환부로부터 입력한 아날로그 형태의 주변값을 이용하여 상기 대상 화소의 상기 화소값을 보정하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  8. 제7 항에 있어서, 상기 화소값 보정부에서 보정된 결과는 디지탈 형태의 신호로 양자화되는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  9. 제6 항에 있어서, 상기 주변값 연산부는
    상기 생성된 합 영역 테이블들을 더블 버퍼링하는 제1 및 제2 버퍼들;
    상기 제1 및 제2 버퍼들에 저장된 합 영역 테이블들중 하나를 선택 제어 신호에 응답하여 선택적으로 독출시키는 테이블 선택부; 및
    상기 테이블 선택부에서 선택된 상기 합 영역 테이블을 이용하여 상기 다면체별 상기 주변 정보를 계산하고, 상기 계산된 주변 정보들과 상기 소정의 가중치들을 승산하고, 승산된 결과들을 가산하며, 가산된 결과를 상기 주변값으로서 출력하는 계산부를 구비하고,
    상기 테이블 생성부는 상기 생성된 합 영역 테이블들을 기입 제어 신호에 응답하여 상기 제1 및 제2 버퍼들중 하나에 기입시키고, 상기 제어부는 상기 기입 제어 신호 및 상기 선택 제어 신호를 발생하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  10. 제1 항 또는 제6 항에 있어서, 상기 화소값 보정부는
    상기 대상 화소의 화소값에 상기 주변값을 반영하는 주변값 반영부를 구비하고,
    상기 대상 화소의 화소값을 보정한 결과는 상기 주변값 반영부에서 반영된 결과에 해당하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  11. 제10 항에 있어서, 상기 주변값 반영부는
    상기 대상 화소의 화소값을 로그 증폭하는 로그 증폭부; 및
    상기 로그 증폭된 결과와 상기 주변값간에 차를 계산하는 차 계산부를 구비하고,
    상기 대상 화소의 화소값을 보정한 결과는 상기 차 계산부에서 계산된 상기 차에 해당하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  12. 제10 항에 있어서, 상기 주변값 반영부는
    상기 대상 화소의 화소값을 상기 주변값으로 제산하는 제산부를 구비하고,
    상기 대상 화소의 화소값을 보정한 결과는 상기 제산부에서 제산된 결과에 해당하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  13. 제10 항에 있어서, 상기 화소값 보정부는
    상기 보정 제어 신호에 응답하여 상기 대상 화소의 화소값을 바이패스시키거나 상기 주변값 반영부로 출력하는 경로 선택부를 더 구비하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  14. 제10 항에 있어서, 상기 화소값 보정부는
    상기 주변값 반영부에서 상기 대상 화소의 상기 화소값에 상기 주변값을 반영한 결과와 상기 오프셋을 가산하고, 가산된 결과를 출력하는 오프셋 가산부; 및
    상기 오프셋 가산부에서 가산된 결과에 상기 이득을 승산하는 이득 승산부를 더 구비하고,
    상기 대상 화소의 화소값을 보정한 결과는 상기 이득 승산부에서 승산된 결과에 해당하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  15. 제1 항에 있어서, 상기 다면체들 각각은 면적과 높이를 갖는 육면체에 해당하고, 상기 다면체들 각각에 포함된 상기 주변 화소들에 대한 주변 정보는 상기 면적에 속하는 주변 화소들의 화소값들의 합을 상기 합 영역 테이블들을 이용하여 생성한 결과이고, 상기 가중치란 상기 각 높이에 해당하는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 장치.
  16. 주변 화소들에 대한 주변 정보들을 영상의 이전 프레임에 대한 아날로그 픽셀 스트림으로부터 생성한 합 영역 테이블을 이용하여 다면체들별로 계산하고, 계산된 주변 정보들과 소정의 가중치들을 승산하고, 승산된 결과들을 가산하며, 가산된 결과를 주변값으로서 결정하는 단계; 및
    현재 프레임에 대한 아날로그 픽셀 스트림에 포함되며 관심의 대상이 되는 대상 화소의 화소값을 상기 주변값을 이용하여 보정하는 단계를 구비하고,
    상기 주변 화소는 대상 화소의 주변에 위치하며 상기 이전 프레임에 속하고, 상기 영상에 포함되는 화소들의 위치에 따른 가중치들의 분포로서 커널 함수에 의해 표현되는 커널 분포는 상기 다면체들의 합으로서 근사되는 것을 특징으로 하는 영상의 다이나믹 레인지 압축 방법.
KR1020040080581A 2004-10-08 2004-10-08 영상의 다이나믹 레인지 압축 장치 및 방법 KR100601967B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020040080581A KR100601967B1 (ko) 2004-10-08 2004-10-08 영상의 다이나믹 레인지 압축 장치 및 방법
US11/088,911 US7382941B2 (en) 2004-10-08 2005-03-25 Apparatus and method of compressing dynamic range of image
EP05252391A EP1646007A3 (en) 2004-10-08 2005-04-18 Apparatus and method of compressing dynamic range of image
JP2005294474A JP2006109490A (ja) 2004-10-08 2005-10-07 映像のダイナミックレンジの圧縮装置及び映像のダイナミックレンジの圧縮方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040080581A KR100601967B1 (ko) 2004-10-08 2004-10-08 영상의 다이나믹 레인지 압축 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20060031519A KR20060031519A (ko) 2006-04-12
KR100601967B1 true KR100601967B1 (ko) 2006-07-18

Family

ID=36145403

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040080581A KR100601967B1 (ko) 2004-10-08 2004-10-08 영상의 다이나믹 레인지 압축 장치 및 방법

Country Status (4)

Country Link
US (1) US7382941B2 (ko)
EP (1) EP1646007A3 (ko)
JP (1) JP2006109490A (ko)
KR (1) KR100601967B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100783122B1 (ko) * 2006-09-27 2007-12-07 주식회사 아이닉스 광역 다이내믹 레인지 보정장치 및 보정방법
US7738017B2 (en) * 2007-03-27 2010-06-15 Aptina Imaging Corporation Method and apparatus for automatic linear shift parallax correction for multi-array image systems
JP4337911B2 (ja) * 2007-05-24 2009-09-30 ソニー株式会社 撮像装置、撮像回路、および撮像方法
KR100897385B1 (ko) * 2007-06-27 2009-05-14 성균관대학교산학협력단 조명 정규화 방법 및 장치
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
EP2451083A1 (en) * 2010-11-09 2012-05-09 Océ-Technologies B.V. Method for compressing and decompressing digital data
US20140358005A1 (en) * 2013-05-31 2014-12-04 eagleyemed, Inc. Speckle and noise reduction in ultrasound images
KR101431715B1 (ko) * 2013-08-09 2014-08-22 성균관대학교산학협력단 선형 회귀 분석을 이용한 합산 영역 테이블의 정밀도 향상을 위한 방법 및 장치 및 이를 이용한 영상 이미지 복원을 위한 필터링 방법 및 장치
KR102051538B1 (ko) * 2013-09-13 2020-01-08 에스케이하이닉스 주식회사 신호 처리 장치 및 그의 동작 방법
JP6750203B2 (ja) * 2015-10-20 2020-09-02 富士通株式会社 畳み込みニューラルネットワークの演算方法及び演算プログラム、情報処理装置
CN106920217B (zh) * 2015-12-25 2020-06-02 展讯通信（上海）有限公司 图像矫正的方法及装置
CN108230272B (zh) * 2018-01-04 2022-04-15 京东方科技集团股份有限公司 一种图像增强方法和装置
JP2020071809A (ja) * 2018-11-02 2020-05-07 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および画像処理方法
CN112019762B (zh) * 2020-07-23 2022-06-21 深圳市芯睿视科技有限公司 视频处理方法及装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319149A (ja) * 1993-03-12 1994-11-15 Olympus Optical Co Ltd 画像処理装置
JP2000078437A (ja) 1998-09-01 2000-03-14 Sony Corp 映像信号処理装置
JP2003046807A (ja) 2001-08-02 2003-02-14 Matsushita Electric Ind Co Ltd 画像表示装置および画像表示方法
JP2003087650A (ja) 2001-09-14 2003-03-20 Yokogawa Electric Corp 適応型カメラ及び適応型カメラ・システム
JP2003230022A (ja) 2002-02-01 2003-08-15 Sony Corp 画像処理装置および方法、並びに記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0110748D0 (en) * 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor
US7218324B2 (en) * 2004-06-18 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Scene reflectance functions under natural illumination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319149A (ja) * 1993-03-12 1994-11-15 Olympus Optical Co Ltd 画像処理装置
JP2000078437A (ja) 1998-09-01 2000-03-14 Sony Corp 映像信号処理装置
JP2003046807A (ja) 2001-08-02 2003-02-14 Matsushita Electric Ind Co Ltd 画像表示装置および画像表示方法
JP2003087650A (ja) 2001-09-14 2003-03-20 Yokogawa Electric Corp 適応型カメラ及び適応型カメラ・システム
JP2003230022A (ja) 2002-02-01 2003-08-15 Sony Corp 画像処理装置および方法、並びに記録媒体

Also Published As

Publication number Publication date
US7382941B2 (en) 2008-06-03
US20060078222A1 (en) 2006-04-13
EP1646007A3 (en) 2008-11-05
KR20060031519A (ko) 2006-04-12
JP2006109490A (ja) 2006-04-20
EP1646007A2 (en) 2006-04-12

Similar Documents

Publication Publication Date Title
US11218630B2 (en) Global tone mapping
US7570390B2 (en) Image processing device and method
US7382941B2 (en) Apparatus and method of compressing dynamic range of image
US8411991B2 (en) Image processing apparatus, image processing method, and program
JP4577621B2 (ja) 画像補正処理システム及び画像補正処理方法
JP4556276B2 (ja) 画像処理回路及び画像処理方法
US7920183B2 (en) Image processing device and digital camera
JP4214457B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20120057803A1 (en) Image processing apparatus, method of the same, and program
US7672528B2 (en) Method of processing an image to form an image pyramid
KR20100106902A (ko) 화상처리장치 및 방법과 프로그램
JP2001229377A (ja) 適応帰納的フィルタでディジタル画像のコントラストを調整する方法
JP4021261B2 (ja) 画像処理装置
JP4639037B2 (ja) 画像処理方法および装置
WO2019104047A1 (en) Global tone mapping
US8355597B2 (en) Image processing device including gradation conversion processor, noise reduction processor, and combining-raio calculator, and method and storage device storing progam for same
JP2001051672A (ja) 画像処理装置
JP4161719B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2011100204A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器
US10387999B2 (en) Image processing apparatus, non-transitory computer-readable medium storing computer program, and image processing method
Adams Jr et al. Digital camera image processing chain design
JP4664938B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20210397899A1 (en) Image processing apparatus that performs machine learning of learning model, method of controlling image processing apparatus, and storage medium
JP2010277607A (ja) 画像処理装置及び画像処理方法
JP2002077619A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee