KR101535006B1 - 역광을 보정하기 위한 영상 처리 장치 및 방법 - Google Patents

역광을 보정하기 위한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101535006B1
KR101535006B1 KR1020140009683A KR20140009683A KR101535006B1 KR 101535006 B1 KR101535006 B1 KR 101535006B1 KR 1020140009683 A KR1020140009683 A KR 1020140009683A KR 20140009683 A KR20140009683 A KR 20140009683A KR 101535006 B1 KR101535006 B1 KR 101535006B1
Authority
KR
South Korea
Prior art keywords
image
dark
bright
brightness
generate
Prior art date
Application number
KR1020140009683A
Other languages
English (en)
Inventor
김정욱
Original Assignee
(주) 넥스트칩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 넥스트칩 filed Critical (주) 넥스트칩
Priority to KR1020140009683A priority Critical patent/KR101535006B1/ko
Application granted granted Critical
Publication of KR101535006B1 publication Critical patent/KR101535006B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

역광을 보정하는 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 밝은 이미지(Short image)와 어두운 이미지(long image)를 이용하여 적어도 하나의 중간 이미지(Mid-term image)를 생성하는 중간 이미지 생성부; 및 밝은 이미지와 어두운 이미지 및 적어도 하나의 중간 이미지를 이용하여 역광이 보정된 출력 이미지를 생성하는 출력 이미지 생성부를 포함할 수 있다.

Description

역광을 보정하기 위한 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD FOR BACK LIGHT COMPENSATION}
본 발명은 역광을 보정하기 위한 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 다이나믹 레인지가 좁은 CMOS 이미지 센서가 획득한 영상의 역광을 보정하는 영상 처리 장치 및 방법에 관한 것이다.
이미지 센서는 인간의 눈보다 어두운 부분과 밝은 부분을 구분할 수 있는 다이나믹 레인지가 좁다. 따라서, 밝은 부분과 어두운 부분이 동시에 있는 영상이 인간의 눈으로는 구분이 가능하더라도, 이미지 센서로 촬영할 경우 어두운 부분은 까맣게 촬영되고, 밝은 부분은 하얀색으로 포화될 수 있다.
WDR(Wide Dynamic Range)은 이미지 센서의 다이나믹 레인지(Dynamic Range)를 늘림으로써 이미지의 역광을 보정하는 기술이다. 구체적으로 WDR은 이미지 센서로 밝은 이미지와 어두운 이미지를 각각 촬영하고, 촬영한 영상들을 이용하여 다이나믹 레인지가 넓은 영상을 생성할 수 있다.
이미지 센서 중 CCD 이미지 센서는 CMOS 이미지 센서보다 노이즈가 적고 흔들리는 영상을 잘 찍을 수 있나, CMOS 이미지 센서에 비해 고화소의 센서 가격이 높으므로, 최근에는 CMOS 이미지 센서의 이용이 증가하고 있다.
그러나, CMOS 이미지 센서는 CCD 이미지 센서에 비해서 다이나믹 레인지가 좁으므로, 어두운 이미지와 밝은 이미지로는 표시되지 않은 영역이 존재할 가능성이 있다.
따라서, CMOS 이미지 센서가 촬영한 이미지의 다이나믹 레인지를 늘림으로써 CMOS 이미지 센서가 촬영한 이미지의 역광을 보정하는 방법이 요청되고 있다.
본 발명은 어두운 이미지와 밝은 이미지를 이용하여 어두운 이미지 및 밝은 이미지와 밝기의 일부 영역이 겹치고, 다른 영역이 상이한 중간 이미지를 생성함으로써, 어두운 이미지의 밝기 영역과 밝은 이미지의 밝기 영역이 서로 겹치지 않는 장면에서 역광을 보정 하는 장치 및 방법을 제공할 수 있다.
본 발명은 중간 이미지를 생성하고, 중간 이미지와 어두운 이미지 및 밝은 이미지를 이용하여 출력 이미지를 생성함으로써, CMOS 센서가 획득한 이미지에서 부자연스러운 계조가 발생하지 않도록 역광을 보정하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치는 밝은 이미지(Short image)와 어두운 이미지(long image)를 이용하여 적어도 하나의 중간 이미지(Mid-term image)를 생성하는 중간 이미지 생성부; 및 밝은 이미지와 어두운 이미지 및 적어도 하나의 중간 이미지를 이용하여 역광이 보정된 출력 이미지를 생성하는 출력 이미지 생성부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치의 중간 이미지 생성부는 상기 밝은 이미지와 어두운 이미지를 일정 비율로 융합하여 상기 중간 이미지를 생성할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치의 중간 이미지 생성부는 상기 밝은 이미지와 어두운 이미지 간의 밝기 차이에 기초하여 생성할 중간 이미지의 개수를 결정할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치의 중간 이미지 생성부는 상기 밝은 이미지의 최소 밝기가 어두운 이미지의 최대 밝기보다 어두운 경우, 중간 이미지를 생성하지 않을 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치의 중간 이미지 생성부는 상기 밝은 이미지와 어두운 이미지 간의 밝기 차이에 비례하도록 중간 이미지의 개수를 결정할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치의 중간 이미지 생성부는 이미지 센서의 다이나믹 레인지의 크기에 반비례하도록 중간 이미지의 개수를 결정할 수 있다.
본 발명의 일실시예에 따른 영상 처리 방법은 밝은 이미지와 어두운 이미지를 이용하여 적어도 하나의 중간 이미지를 생성하는 단계; 및 밝은 이미지와 어두운 이미지 및 적어도 하나의 중간 이미지를 이용하여 역광이 보정된 출력 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 어두운 이미지와 밝은 이미지를 이용하여 어두운 이미지 및 밝은 이미지와 밝기의 일부 영역이 겹치고, 다른 영역이 상이한 중간 이미지를 생성함으로써, 어두운 이미지의 밝기 영역과 밝은 이미지의 밝기 영역이 서로 겹치지 않는 장면에서 역광을 보정할 수 있다.
본 발명의 일실시예에 의하면, 중간 이미지를 생성하고, 중간 이미지와 어두운 이미지 및 밝은 이미지를 이용하여 출력 이미지를 생성함으로써, 다이나믹 레인지가 좁아서 어두운 이미지의 밝기 영역과 밝은 이미지의 밝기 영역이 서로 겹치지 않는 장면이 발생하기 쉬운 CMOS 센서가 획득한 이미지에서 부자연스러운 계조가 발생하지 않도록 역광을 보정할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 이미지 센서가 출력하는 어두운 이미지와 밝은 이미지의 일례이다.
도 3은 본 발명의 일실시예에 따른 어두운 이미지와 밝은 이미지 및 중간 이미지 간의 관계를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 중간 이미지 생성부가 어두운 이미지와 밝은 이미지 간의 밝기 차이에 따라 생성하는 중간 이미지의 일례이다.
도 5는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 영상 처리 방법은 영상 처리 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 나타내는 도면이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 영상 처리 장치(100)는 중간 이미지 생성부(110)와 출력 이미지 생성부(120)를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치(100)는 이미지 센서(101), 또는 ISP(Image Signal Processor)로부터 수신한 밝은 이미지(Short image)와 어두운 이미지(long image)를 이용하여 역광이 보정된 출력 이미지를 생성할 수 있다.
ISP는 일정 주기마다 이미지 센서(101)에서 어두운 이미지, 또는 밝은 이미지를 취득한 다음, 이미지 센서(101)가 취득하는 영상의 밝기(Brightness)를 일정 비율로 변경할 수 있다. 이때, 일정 주기는 영상의 프레임(Frame) 단위 또는 라인(Line) 단위이며, 이미지 센서(101)는 CMOS(Complementary Metal Oxide Semiconductor) 센서일 수 있다.
예를 들어, ISP는 이미지 센서(101)이 취득하는 영상의 밝기를 8로 설정하여 어두운 이미지를 취득할 수 있다. 그리고, ISP는 이미지 센서(101)이 취득하는 영상의 밝기를 8의 8배인 64로 설정하여 밝은 이미지를 취득할 수 있다.
그리고, 이미지 센서(101)의 밝기는 수학식 1에 따라 결정될 수 있다.
Figure 112014008402564-pat00001
이때, 조리개의 크기(Aperture)는 이미지 센서(101)의 렌즈가 빛을 받아들이는 구멍의 크기이며, 조리개의 크기가 클수록 더 밝은 이미지가 취득될 수 있다. 또한, 셔터 시간(Shutter Time)은 빛이 이미지 센서에 포함된 센서에 노출되는 시간이며, 센서 민감도(Sensor Sensitivity)는 빛이 센서에 들어왔을 경우, 센서가 어느 정도의 출력을 낼 것인지 결정하는 민감도일 수 있다. 그리고, 디지털 이득(Digital Gain)은 사용자가 디지털화한 빛의 양에 곱하기를 원하는 값일 수 있다.
센서 민감도와 디지털 이득은 영상의 밝기와 함께 노이즈도 증폭하는 특징이 있으므로, ISP는 셔터 시간을 제어하여 이미지 센서(101)가 획득하는 이미지의 밝기를 제어할 수 있다. 이때, 이미지 센서(101)가 짧은 셔터 시간(Short Shutter Time)을 사용하여 획득한 이미지는 어두운 이미지(Short Image)이고, 이미지 센서(101)가 긴 셔터 시간(Long Shutter Time)을 사용하여 획득한 이미지는 밝은 이미지(Long Image)일 수 있다.
중간 이미지 생성부(110)는 이미지 센서(101), 또는 ISP로부터 수신한 밝은 이미지와 어두운 이미지를 이용하여 적어도 하나의 중간 이미지(Mid-term image)를 생성할 수 있다. 이때, 중간 이미지는 최소 밝기가 어두운 이미지의 최대 밝기, 또는 다른 중간 이미지의 최대 밝기보다 보다 어두울 수 있다. 또한, 중간 이미지는 최대 밝기가 밝은 이미지의 최소 밝기, 또는 다른 중간 이미지의 최소 밝기보다 보다 밝을 수 있다.
중간 이미지 생성부(110)는 밝은 이미지와 어두운 이미지를 일정 비율로 융합하여 중간 이미지를 생성할 수 있다.
예를 들어, 중간 이미지 생성부(110)는 수학식 2을 이용하여 중간 이미지를 생성할 수 있다.
Figure 112014008402564-pat00002
이때, α와 β는 각각 중간 이미지에 융합되는 밝은 이미지와 어두운 이미지의 비율이며,
Figure 112014008402564-pat00003
는 기 설정된 상수 값일 수 있다. 그리고,
Figure 112014008402564-pat00004
는 α와 β를 이용한 보정이 충분하지 않은 경우, 영상을 전체적으로 밝게 하거나 어둡게 하는 값일 수 있다. 이때,
Figure 112014008402564-pat00005
는 α와 β와 달리 영상의 밝기차(contrast)에 영향을 주지 않을 수 있다.
중간 이미지 생성부(110)가 생성하는 중간 이미지의 개수는 밝은 이미지와 어두운 이미지 간의 밝기 차이에 기초하여 결정될 수 있다.
예를 들어, 밝은 이미지와 어두운 이미지 간의 밝기 차이가 큰 경우, 중간 이미지 생성부(110)는 복수의 중간 이미지를 생성할 수 있다. 또한, 밝은 이미지와 어두운 이미지 간의 밝기 차이가 작은 경우, 중간 이미지 생성부(110)는 하나의 중간 이미지를 생성하거나, 중간 이미지를 생성하지 않을 수 있다. 예를 들어, 밝은 이미지의 최소 밝기가 어두운 이미지의 최대 밝기보다 어두운 경우, 중간 이미지 생성부(110)는 중간 이미지를 생성하지 않을 수 있다.
출력 이미지 생성부(120)는 이미지 센서(101)로부터 수신한 밝은 이미지와 어두운 이미지 및 중간 이미지 생성부(110)가 생성한 적어도 하나의 중간 이미지를 이용하여 역광이 보정된 출력 이미지를 생성할 수 있다.
Figure 112014008402564-pat00006
이때, Ii은 출력 이미지 생성부(120)가 출력 이미지를 생성하기 위하여 이용하는 원본 이미지들이며, 밝은 이미지, 중간 이미지, 및 어두운 이미지를 모두 포함할 수 있다. 이때, i가 작을수록 어두운 이미지이고, i가 클수록 밝은 이미지일 수 있다.
또한, N은 출력 이미지 생성부(120)가 출력 이미지를 생성하기 위하여 이용하는 원본 이미지의 개수일 수 있다.
예를 들어 I1이 어두운 이미지인 경우, I0은 이미지 센서(101)로부터 수신한 어두운 이미지보다 더 어두운 중간 이미지일 수 있다. 중간 이미지 생성부(110)는 수학식 2에서 β를 높게 설정하고, 이미지의 밝기를 어둡게 하는
Figure 112014008402564-pat00007
을 설정하여 I0을 생성할 수 있다.
N이 5이고, I4가 밝은 이미지인 경우, I5는 이미지 센서(101)로부터 수신한 밝은 이미지보다 더 밝은 중간 이미지일 수 있다. 이때, 출력 이미지 생성부(120)는 밝은 이미지와 어두운 이미지 및 3개의 중간 이미지를 이용하여 출력 이미지를 생성하며, 중간 이미지 생성부(110)는 수학식 2에서 α를 높게 설정하고, 이미지의 밝기를 밝게 하는
Figure 112014008402564-pat00008
을 설정하여 I5을 생성할 수 있다.
그리고, W(Ii)는 Ii가 출력 이미지 영상에 영향을 미치는 비율을 조절하기 위한 가중치(Weight)일 수 있다.
도 2는 본 발명의 일실시예에 따른 이미지 센서가 출력하는 어두운 이미지와 밝은 이미지의 일례이다.
도 2에서 이미지 센서(101)가 출력하는 어두운 이미지(210)와 밝은 이미지(220)는 밝기 차이가 8배는 되어야 어두운 이미지(210)와 밝은 이미지(220)를 이용하여 이미지의 모든 부분을 표현할 수 있는 출력 이미지를 생성할 수 있다.
그러나, CMOS 센서를 이용하는 이미지 센서(101)는 다이나믹 레인지(Dynamic Range)가 좁으므로, 어두운 이미지(210)에서 어두워서 인식이 어렵지만, 밝은 이미지(220)에서는 밝기가 포화되어 인식이 어려운 영역이 존재할 수 있다.
또한, 밝은 이미지(220)에서는 밝아서 흐릿하지만, 어두운 이미지(210)에서는 검게 표시되는 영역도 존재할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치(100)가 생성하는 중간 이미지는 어두운 이미지(210)보다 밝지만, 밝은 이미지(220) 보다 어두운 중간 이미지를 생성함으로써, 어두운 이미지(210)에서 어두워서 인식이 어렵지만, 밝은 이미지(220)에서는 밝기가 포화되어 인식이 어려운 영역이 선명하게 표시될 수 있다.
그리고, 영상 처리 장치(100)는 어두운 이미지(210)와 밝은 이미지(220) 및 중간 이미지를 이용하여 출력 이미지를 생성함으로써, 다이나믹 레인지가 좁은 CMOS 센서가 획득한 이미지에서 모든 영역의 역광이 보정할 수 있다.
도 3은 본 발명의 일실시예에 따른 어두운 이미지와 밝은 이미지 및 중간 이미지 간의 관계를 나타내는 도면이다.
도 3에서 케이스 1(Case 1)은 이미지 센서(101)가 CCD(Charge-coupled device) 센서인 경우, 어두운 이미지(310)과 밝은 이미지(320)의 밝기를 나타내는 도면이고, 케이스 2(Case 2)는 이미지 센서(101)가 CMOS 센서인 경우, 어두운 이미지(310)과 밝은 이미지(320)의 밝기를 나타내는 도면일 수 있다.
이때, CCD 센서는 다이나믹 레인지가 넓으므로, 케이스 1에 도시된 바와 같이 이미지 센서(101)가 출력하는 어두운 이미지(310)과 밝은 이미지(320) 각각에 포함되는 밝기의 범위가 넓을 수 있다. 그리고, 어두운 이미지(310)의 가장 밝은 영역(311)과, 밝은 이미지(320)의 가장 어두운 영역(321)의 밝기가 겹치므로, 영상 처리 장치(100)는 어두운 이미지(310)과 밝은 이미지(320) 만으로도 계조가 끊기지 않는 출력 이미지를 출력할 수 있다. 이때, 어두운 이미지(310)의 가장 어두운 영역과, 밝은 이미지(320)의 가장 밝은 영역간의 밝기 차이(301)는 8배이고, 어두운 이미지(310)의 중간 영역과, 밝은 이미지(320)의 중간 영역 간의 밝기 차이(302)는 4배일 수 있다.
반면, CMOS 센서는 밝고 어두운 부분을 한번에 표시할 수 있는 능력인 다이나믹 레인지가 좁으므로, 케이스 2에 도시된 바와 같이 이미지 센서(101)가 출력하는 어두운 이미지(310)과 밝은 이미지(320) 각각에 포함되는 밝기의 범위가 좁을 수 있다.
케이스 2에서 어두운 이미지(310)의 중간 영역의 밝기는 케이스 1보다 감소하고, 밝은 이미지(320)의 중간 영역의 밝기는 케이스 1보다 증가하므로, 어두운 이미지(310)의 중간 영역과, 밝은 이미지(320)의 중간 영역 간의 밝기 차이(303)는 5배로 증가할 수 있다.
이때, 케이스 2에 도시된 바와 같이 어두운 이미지(310)의 가장 밝은 영역보다 밝으면서, 밝은 이미지(320)의 가장 어두운 영역(311)보다 어두워서, 어두운 이미지(310)와 밝은 이미지(320) 중 어느 쪽에도 표시되지 않는 영역(331)이 발생할 수 있다. 이 경우, 어두운 이미지(310)와 밝은 이미지(320)만으로 출력 이미지를 생성할 경우 영역(331)에 부자연스러운 계조가 발생할 수 있다.
따라서, 본 발명은 케이스 3(Case 3)과 같이 어두운 이미지(310)보다 밝으면서 밝은 이미지(320)보다 어두운 중간 이미지(330)를 생성함으로써, 영역(331)이 포함된 이미지를 출력 이미지 생성에 이용할 수 있다.
중간 이미지(330)는 케이스 3에 도시된 바와 같이 어두운 이미지(310)의 가장 밝은 영역과 겹치는 영역(332)과, 어두운 이미지(310)와 밝은 이미지(320) 중 어느 쪽에도 표시되지 않는 영역(331) 및 밝은 이미지(320)의 가장 어두운 영역(311)의 밝기가 겹치는 영역(333)을 포함할 수 있다.
본 발명의 영상 처리 장치(100)는 CMOS 센서가 서로 겹치는 영역이 없는 어두운 이미지(310)와 밝은 이미지(320)를 출력한 경우, 어두운 이미지(310)와 밝은 이미지(320)와 밝기가 겹치는 중간 이미지(330)를 생성하고, 어두운 이미지(310)와 밝은 이미지(320) 및 중간 이미지(330)를 이용하여 출력 이미지를 생성함으로써, 역광이 보정되면서도 계조가 끊기지 않는 이미지를 출력할 수 있다.
도 4는 본 발명의 일실시예에 따른 중간 이미지 생성부가 어두운 이미지와 밝은 이미지 간의 밝기 차이에 따라 생성하는 중간 이미지의 일례이다.
중간 이미지 생성부(110)가 생성하는 중간 이미지의 개수는 어두운 이미지와 밝은 이미지 간의 밝기 차이에 따라 결정될 수 있다.
도 4에서 케이스 1(Case 1)은 이미지 센서(101)가 촬영하는 장면의 밝기 차이가 크지 않은 경우, 이미지 센서(101)가 출력하는 어두운 이미지(310)과 밝은 이미지(320)의 밝기를 나타내는 도면일 수 있다.
케이스 1은 도 4에 도시된 바와 같이 어두운 이미지(410)의 가장 밝은 영역과, 밝은 이미지(420)의 가장 어두운 영역의 밝기가 겹치므로, 출력 이미지 생성부(120)는 어두운 이미지(410)와 밝은 이미지(420) 만으로도 계조가 끊기지 않으면서 역광이 보정된 출력 이미지를 출력할 수 있다.
따라서, 중간 이미지 생성부(110)는 중간 이미지(430)을 생성하지 않을 수 있다.
도 4에서 케이스 2(Case 2)은 이미지 센서(101)가 촬영하는 장면의 밝기 차이가 케이스 1보다 큰 경우, 중간 이미지 생성부가 생성하는 중간 이미지를 나타내는 도면일 수 있다.
이때, 케이스 2에 도시된 바와 같이 어두운 이미지(410)의 가장 밝은 영역보다 밝으면서, 밝은 이미지(420)의 가장 어두운 영역보다 어두워서, 어두운 이미지(410)와 밝은 이미지(420) 중 어느 쪽에도 표시되지 않는 영역이 발생할 수 있다. 이 경우, 어두운 이미지(410)와 밝은 이미지(420)만으로 출력 이미지를 생성할 경우 출력 이미지에 부자연스러운 계조가 발생할 수 있다.
따라서, 중간 이미지 생성부(110)는 케이스 2와 같이 어두운 이미지(410)보다 밝으면서 밝은 이미지(420)보다 어두운 중간 이미지(430)를 생성함으로써, 역광이 보정되면서도 계조가 끊기지 않는 이미지를 출력할 수 있다.
도 4에서 케이스 3(Case 3)은 이미지 센서(101)가 촬영하는 장면의 밝기 차이가 케이스 2보다 큰 경우, 중간 이미지 생성부가 생성하는 중간 이미지를 나타내는 도면일 수 있다.
이미지 센서(101)가 출력하는 이미지에서 밝기의 범위는 고정되어 있다. 따라서, 어두운 이미지(410)와 밝은 이미지(420)의 밝기의 차이가 큰 경우, 하나의 중간 이미지(430)으로는 어두운 이미지(410)와 밝은 이미지(420)와 밝기가 모두 겹치기 힘들 수 있다. 예를 들어, 케이스 3에 케이스 2와 같은 중간 이미지(430)을 생성하는 경우, 중간 이미지(430)에서 어두운 이미지(410)과 겹치는 부분은 케이스 2보다 감소하므로 계조가 끊길 가능성이 있다.
따라서, 중간 이미지 생성부(110)는 어두운 이미지(410)의 가장 밝은 영역과 겹치는 제1 중간 이미지(431)과 밝은 이미지(420)의 가장 어두운 영역과 겹치는 제2 중간 이미지(432)를 생성하고, 제1 중간 이미지(431)의 가장 밝은 영역이 제2 중간 이미지(432)의 가장 어두운 영역과 겹치도록 할 수 있다. 이 경우, 어두운 이미지(410), 밝은 이미지(420), 제1 중간 이미지(431), 및 제2 중간 이미지(432)는 상호간에 밝기가 겹치는 영역이 존재하므로, 장면의 모든 밝기 영역을 표시할 수 있다. 따라서, 출력 이미지 생성부(120)가 어두운 이미지(410), 밝은 이미지(420), 제1 중간 이미지(431), 및 제2 중간 이미지(432)를 이용하여 생성하는 출력 이미지는 역광이 보정되면서도 계조가 끊기지 않을 수 있다.
즉, 어두운 이미지(410)와 밝은 이미지(420)의 밝기 차이가 클수록 중간 이미지 생성부(110)가 생성하는 중간 이미지의 개수는 증가할 수 있다.
이미지 센서(101)의 다이나믹 레인지가 짧은 경우, 어두운 이미지(410)와 밝은 이미지(420)의 밝기 차이가 동일하더라도 어두운 이미지(410)와 밝은 이미지(420)에 포함되지 않은 영역이 증가할 수 있다. 따라서, 이미지 센서(101)의 다이나믹 레인지가 짧을수록 중간 이미지 생성부(110)가 생성하는 중간 이미지의 개수는 증가할 수 있다.
도 4에서 케이스 4(Case 4)는 이미지 센서(101)가 출력하는 어두운 이미지(410)와 밝은 이미지(420)의 간의 밝기 차이가 변경되는 경우, 중간 이미지 생성부가 생성하는 중간 이미지를 나타내는 도면일 수 있다.
이미지 센서(101)가 CMOS 센서인 경우, 이미지 센서(101)는 어두운 이미지(410)과 밝은 이미지(420) 간의 밝기 차이를 가변적으로 설정할 수 있다.
이미지 센서(101)는 영상 정보 취득 장치를 이용하여 이미지 센서(101)가 촬영하고자 하는 장면의 최대 밝기와 최소 밝기를 측정하고, 측정 결과에 따라 어두운 이미지(410)과 밝은 이미지(420) 간의 밝기 차이를 변경할 수 있다. 예를 들어, 영상 정보 취득 장치(OPD: Optical Detector)는 어두운 이미지(410)과 밝은 이미지(420)에서 히스토그램(Histogram) 또는 영상구역별 밝기 평균을 구하고, 이미지 센서(101)의 밝기 조절 장치와 피드백 루프(Feedback Loop)를 형성하여 상기 장면의 최대 밝기와 최소 밝기의 차이를 구할 수 있다.
이때, 이미지 센서(101)가 설정된 밝기 차이에 따라 출력하는 어두운 이미지(410)는 상기 장면에서 가장 어두운 영역을 표시하지 못하고, 밝은 이미지(420)는 각각 이미지 센서(101)가 상기 장면에서 가장 밝은 영역을 표시하지 못할 가능성이 있다.
따라서, 중간 이미지 생성부(110)는 어두운 이미지(410)보다는 밝고, 밝은 이미지(420)보다는 어두운 중간 이미지(433)와 함께 도 4에 도시된 바와 같이 어두운 이미지(410)보다 어두운 중간 이미지(434)를 생성하여, 어두운 이미지(410)가 표시하지 못한 영역을 표시할 수 있다. 또한, 중간 이미지 생성부(110)는 어두운 이미지(410)과 밝은 이미지(420)를 이용하여 밝은 이미지(420)보다 밝은 중간 이미지(435)를 생성하여, 밝은 이미지(420)가 표시하지 못한 영역을 표시할 수도 있다.
도 5는 본 발명의 일실시예에 따른 영상 처리 방법을 도시한 플로우차트이다.
단계(510)에서 중간 이미지 생성부(110)는 이미지 센서로부터 수신한 어두운 이미지와 밝은 이미지의 밝기 차이에 기초하여 중간 이미지를 생성할 것인지 여부를 판단할 수 있다. 예를 들어, 어두운 이미지와 밝은 이미지 간에 밝기가 겹치는 영역이 임계 값보다 큰 경우, 중간 이미지 생성부(110)는 중간 이미지를 생성하지 않을 수 있다.
중간 이미지 생성부(110)는 중간 이미지를 생성하지 않는 것으로 판단한 경우, 출력 이미지 생성부(120)를 구동하여 단계(520)를 수행할 수 있다. 또한, 중간 이미지 생성부(110)는 단계(510)에서 중간 이미지를 생성하는 것으로 판단한 경우, 단계(530)를 수행할 수 있다.
단계(520)에서 출력 이미지 생성부(120)는 이미지 센서로부터 수신한 어두운 이미지와 밝은 이미지를 이용하여 역광이 보정된 출력 이미지를 생성할 수 있다. 이때, 출력 이미지 생성부(120)는 WDR(Wide Dynamic Range) 알고리즘을 이용하여 출력 이미지를 생성할 수 있다.
단계(530)에서 중간 이미지 생성부(110)는 생성할 중간 이미지의 개수를 결정할 수 있다.
이때, 중간 이미지 생성부(110)는 어두운 이미지와 밝은 이미지의 밝기 차이에 비례하도록 중간 이미지의 개수를 결정할 수 있다. 또한, 중간 이미지 생성부(110)는 이미지 센서(101)의 다이나믹 레인지의 길이에 반비례하도록 중간 이미지의 개수를 결정할 수 있다.
단계(540)에서 중간 이미지 생성부(110)는 단계(510)에서 수신한 어두운 이미지와 밝은 이미지를 이용하여 단계(530)에서 결정한 개수의 중간 이미지를 생성할 수 있다. 예를 들어, 중간 이미지 생성부(110)는 수학식 2를 이용하여 중간 이미지를 생성할 수 있다.
단계(550)에서 출력 이미지 생성부(120)는 이미지 센서로부터 수신한 어두운 이미지와 밝은 이미지 및 단계(540)에서 생성한 중간 이미지를 이용하여 역광이 보정된 출력 이미지를 생성할 수 있다. 예를 들어, 출력 이미지 생성부(120)는 수학식 3을 이용하여 중간 이미지를 생성할 수 있다.
본 발명은 어두운 이미지와 밝은 이미지를 이용하여 어두운 이미지 및 밝은 이미지와 밝기의 일부 영역이 겹치고, 다른 영역이 상이한 중간 이미지를 생성함으로써, 어두운 이미지의 밝기 영역과 밝은 이미지의 밝기 영역이 서로 겹치지 않는 장면에서 역광을 보정할 수 있다.
따라서, 본 발명은 다이나믹 레인지가 좁아서 어두운 이미지의 밝기 영역과 밝은 이미지의 밝기 영역이 서로 겹치지 않는 장면이 발생하기 쉬운 CMOS 센서가 획득한 이미지에서 부자연스러운 계조가 발생하지 않도록 역광을 보정할 수 있다. 또한, 본 발명은 CCD 센서가 획득한 이미지에서도 다이나믹 레인지의 범위를 넓히거나 이미지의 품질을 더 향상시킬 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 중간 이미지 생성부
120: 출력 이미지 생성부

Claims (14)

  1. 밝은 이미지(Short image)와 어두운 이미지(long image)를 이용하여 중간 이미지(Mid-term image)를 생성하는 중간 이미지 생성부; 및
    밝은 이미지, 어두운 이미지 및 상기 중간 이미지 중 적어도 하나를 이용하여 역광이 보정된 출력 이미지를 생성하는 출력 이미지 생성부
    를 포함하고,
    상기 중간 이미지 생성부는,
    상기 밝은 이미지와 어두운 이미지 간의 밝기 차이에 기초하여 상기 중간 이미지의 생성 여부를 결정하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 중간 이미지 생성부는,
    상기 밝은 이미지와 어두운 이미지를 일정 비율로 융합하여 상기 중간 이미지를 생성하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 중간 이미지 생성부는,
    상기 밝은 이미지와 어두운 이미지 간의 밝기 차이에 기초하여 생성할 중간 이미지의 개수를 결정하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 중간 이미지 생성부는,
    상기 밝은 이미지의 최소 밝기가 어두운 이미지의 최대 밝기보다 어두운 경우, 중간 이미지를 생성하지 않는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 중간 이미지 생성부는,
    상기 밝은 이미지와 어두운 이미지 간의 밝기 차이에 비례하도록 중간 이미지의 개수를 결정하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 밝은 이미지와 어두운 이미지는,
    이미지 센서가 밝기(Brightness)를 일정 비율로 제어하여 생성한 이미지인 것을 특징으로 하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 중간 이미지 생성부는,
    상기 이미지 센서의 다이나믹 레인지의 크기에 반비례하도록 중간 이미지의 개수를 결정하는 영상 처리 장치.
  8. 밝은 이미지와 어두운 이미지 간의 밝기 차이에 기초하여 중간 이미지의 생성 여부를 결정하는 단계;
    중간 이미지를 생성하기로 결정한 경우, 상기 밝은 이미지와 상기 어두운 이미지를 이용하여 적어도 하나의 중간 이미지를 생성하는 단계; 및
    상기 밝은 이미지와 상기 어두운 이미지 및 상기 중간 이미지 중 적어도 하나를 이용하여 역광이 보정된 출력 이미지를 생성하는 단계
    를 포함하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 중간 이미지를 생성하는 단계는,
    상기 밝은 이미지와 어두운 이미지를 일정 비율로 융합하여 상기 중간 이미지를 생성하는 영상 처리 방법.
  10. 제8항에 있어서,
    상기 밝은 이미지와 어두운 이미지 간의 밝기 차이에 기초하여 생성할 중간 이미지의 개수를 결정하는 단계
    를 더 포함하는 영상 처리 방법.
  11. 제10항에 있어서,
    상기 중간 이미지의 개수를 결정하는 단계는,
    상기 밝은 이미지의 최소 밝기가 어두운 이미지의 최대 밝기보다 어두운 경우, 중간 이미지의 개수를 0으로 결정하는 영상 처리 방법.
  12. 제10항에 있어서,
    상기 중간 이미지의 개수를 결정하는 단계는
    상기 밝은 이미지와 어두운 이미지 간의 밝기 차이에 비례하도록 중간 이미지의 개수를 결정하는 영상 처리 방법.
  13. 제10항에 있어서,
    상기 중간 이미지의 개수를 결정하는 단계는,
    상기 이미지 센서의 다이나믹 레인지의 크기에 반비례하도록 중간 이미지의 개수를 결정하는 영상 처리 방법.
  14. 제8항에 있어서,
    상기 밝은 이미지와 어두운 이미지는,
    이미지 센서가 밝기(Brightness)를 일정 비율로 제어하여 생성한 이미지인 것을 특징으로 하는 영상 처리 방법.
KR1020140009683A 2014-01-27 2014-01-27 역광을 보정하기 위한 영상 처리 장치 및 방법 KR101535006B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140009683A KR101535006B1 (ko) 2014-01-27 2014-01-27 역광을 보정하기 위한 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140009683A KR101535006B1 (ko) 2014-01-27 2014-01-27 역광을 보정하기 위한 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101535006B1 true KR101535006B1 (ko) 2015-07-08

Family

ID=53791875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140009683A KR101535006B1 (ko) 2014-01-27 2014-01-27 역광을 보정하기 위한 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101535006B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050084580A (ko) * 2002-09-25 2005-08-26 소니 가부시끼 가이샤 촬상 장치, 촬상 장치의 화상 출력 방법, 및 컴퓨터프로그램
KR100843087B1 (ko) * 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
KR20110026754A (ko) * 2009-09-08 2011-03-16 삼성테크윈 주식회사 광역 역광 보정 장치
JP2011097207A (ja) * 2009-10-28 2011-05-12 Victor Co Of Japan Ltd 信号処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050084580A (ko) * 2002-09-25 2005-08-26 소니 가부시끼 가이샤 촬상 장치, 촬상 장치의 화상 출력 방법, 및 컴퓨터프로그램
KR100843087B1 (ko) * 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
KR20110026754A (ko) * 2009-09-08 2011-03-16 삼성테크윈 주식회사 광역 역광 보정 장치
JP2011097207A (ja) * 2009-10-28 2011-05-12 Victor Co Of Japan Ltd 信号処理装置

Similar Documents

Publication Publication Date Title
EP2180691B1 (en) Imaging apparatus, imaging method and program
US8724921B2 (en) Method of capturing high dynamic range images with objects in the scene
US9801537B2 (en) Image processing device and method, eye fundus image processing device, image photographing method, and eye fundus image photographing device and method
JP2012010048A (ja) 画像信号処理装置
JP6576028B2 (ja) 画像処理装置及び画像処理方法
EP3204812B1 (en) Microscope and method for obtaining a high dynamic range synthesized image of an object
US20190068866A1 (en) Apparatus for generating high-dynamic-range image, method, and storage medium
JP2014153959A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
US20160196640A1 (en) Image processing apparatus, imaging apparatus, and image processing method
US10108878B2 (en) Image processing apparatus, image processing method, and storage medium for tone control of each object region in an image
US20080158258A1 (en) Method and System For Obtaining a Digitally Enhanced Image
US20140267885A1 (en) Image capturing apparatus and method of controlling the same
CN110677558A (zh) 图像处理方法与电子装置
JP2016066892A (ja) 画像処理装置およびその制御方法ならびにプログラム
US10917590B2 (en) Imaging control device, imaging apparatus, and imaging control method
JP2010183460A (ja) 撮像装置およびその制御方法
KR101535006B1 (ko) 역광을 보정하기 위한 영상 처리 장치 및 방법
JP2013062689A (ja) 撮像装置、その制御方法、及びプログラム
JP2011182189A (ja) 画像処理装置および画像処理プログラム
JP6160416B2 (ja) 露出制御装置及び撮影装置
EP4373123A1 (en) Imaging device and imaging method
JP2015100091A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2014112780A (ja) 撮像装置、撮像方法及びプログラム
JP2023124452A (ja) 画像処理装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 5