KR102273656B1

KR102273656B1 - 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템

Info

Publication number: KR102273656B1
Application number: KR1020140164118A
Authority: KR
Inventors: 유종민; 김지혜
Original assignee: 삼성전자주식회사
Priority date: 2014-11-24
Filing date: 2014-11-24
Publication date: 2021-07-05
Also published as: US20160150146A1; KR20160061612A; DE102015221176A1; CN105635605A; JP2016100895A; US9973709B2; CN105635605B

Abstract

본 발명의 실시 예에 따른 광역 역광 보정(wide dynamic range(WDR)) 영상의 노이즈 레벨 제어 장치는, 제1가중치를 이용하여 상대적으로 긴 노출 시간을 갖는 긴 노출 영상 신호를 처리하고 처리의 결과에 따라 제1영상 신호를 생성하고, 제2가중치를 이용하여 상대적으로 짧은 노출 시간을 갖는 짧은 노출 영상 신호를 처리하고 처리의 결과에 따라 제2영상 신호를 생성하고, 상기 제1영상 신호와 상기 제2영상 신호를 합성하여 제1WDR 영상 신호를 생성하는 제1WDR 영상 생성 블록과, 상기 제2가중치와 기준 가중치와의 차이를 계산하고, 계산의 결과에 따라 제어 신호들을 생성하는 제어 신호 생성기와, 상기 제어 신호들을 이용하여 상기 제1WDR 영상 신호의 노이즈 레벨을 조절하고, 조절의 결과에 따라 제2WDR 영상 신호를 생성하는 제2WDR 영상 생성 블록을 포함한다.

Description

광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템{NOISE LEVEL CONTROL DEVICE OF WIDE DYNANAMIC RANGE IMAGE, AND IMAGE PROCESSING SYSTEM INCLUDING THE SAME}

본 발명의 개념에 따른 실시 예는 광역 역광 보정(wide dynamic range(WDR))영상의 노이즈 레벨 제어 장치에 관한 것으로, 특히 WDR 기술을 이용하여 서로 다른 노출 시간을 갖는 영상들을 합성할 때, 인접 영역 간의 노이즈 레벨를 조절함으로써, WDR 영상의 화질 열화를 감소시키는 WDR 영상의 노이즈 레벨 제어 장치와 이의 동작 방법 및 이를 포함하는 영상 처리 시스템에 관한 것이다.

영상 처리 장치는 광학 신호를 전기 신호로 변환하는 이미지 센서 및 상기 변환된 전기 신호를 프로세싱하여 디스플레이 장치에 출력하는 이미지 프로세서로 구성된다.

영상 처리 장치에서 영상의 어두운 부분과 밝은 부분을 동시에 잘 표현하기 위하여 광역 역광 보정(wide dynamic range(WDR)) 기술이 이용된다. 이때, 이미지 센서의 픽셀 어레이는 서로 다른 노출 시간을 갖는 두 종류의 픽셀로 구현된다.

WDR 기술은 어두운 부분을 단순히 밝게 함으로써 밝은 부분의 영상이 포화되는 종래의 역광 보정 기술의 문제를 해결한 것으로, WDR 기술은 밝은 곳은 최대한 유지하면서 어두운 곳은 밝게 보이도록 처리하여 더욱 선명한 영상을 구현할 수 있다. 즉, WDR 기술은 조도 차이가 커서 명부(보통 실외)와 암부(보통 실내)가 혼재된 영상을 촬영하는 경우, 한 장의 영상만을 촬영하여 노출 시간과 조리개를 최적으로 조절하더라도 명부와 암부가 전부 잘 보이는 영상을 획득하기 어렵기 때문에, 명부가 잘 보이도록 노출을 조절한 영상과 암부가 잘 보이도록 노출을 조절한 영상을 합성하여 명부와 암부가 모두 선명하게 잘 보이는 영상을 생성하는 것이다.

예컨대, 실내의 창가와 같은 역광이 존재하는 장소에서 촬영할 경우, 야경과 같이 명부와 암부가 혼재해 있는 경우에서 촬영할 경우, 또는 스포츠 경기 등 햇볕에 의한 명부와 그늘에 의한 암부가 혼합된 장면을 촬영하는 경우에 영상 처리 장치는 WDR 기능을 이용하여 보다 선명한 영상을 촬영할 수 있다.

다만, 종래의 WDR 기술은 명부가 잘 보이도록 노출을 조절한 영상과 암부가 잘 보이도록 노출을 조절한 영상을 합성할 때, 영상의 밝기를 기준으로 노이즈 레벨을 조절하므로 영상의 인접 영역 간의 노이즈 레벨 차로 인한 영상의 품질이 저하되는 문제점이 있다.

본 발명이 이루고자 하는 기술적인 과제는, 광역 역광 보정(wide dynamic range(WDR)) 기술을 이용하여 서로 다른 노출 시간을 갖는 영상들을 합성할 때, 인접 영역 간의 노이즈 레벨를 조절함으로써, WDR 영상의 화질 열화를 감소시키는 WDR 영상의 노이즈 레벨 제어 장치와 이의 동작 방법 및 이를 포함하는 영상 처리 시스템을 제공하는 것이다.

상기 제1WDR 영상 생성 블록은, 상기 짧은 노출 영상 신호와 상기 긴 노출 영상 신호 각각을 선형화하고, 선형화된 긴 노출 영상 신호에 상기 제1가중치를 적용하여 상기 제1영상 신호를 생성하고, 선형화된 짧은 노출 영상 신호에 상기 제2가중치를 적용하여 상기 제2영상 신호를 생성할 수 있다.

상기 제1WDR 영상 생성 블록은, 상기 선형화된 긴 노출 영상 신호를 보간(interpolation)하여 제1보간 신호를 생성하고, 상기 제1보간 신호에 상기 제1가중치를 적용하여 상기 제1영상 신호를 생성하고, 상기 선형화된 짧은 노출 영상 신호를 보간하여 제2보간 신호를 생성하고, 상기 제2보간 신호에 상기 제2가중치를 적용하여 상기 제2영상 신호를 생성할 수 있다.

상기 제1가중치와 상기 제2가중치의 합은 1일 수 있다.

상기 제1가중치는 상기 긴 노출 영상 신호의 밝기(brightness), 선명도(sharpness), 및 색상 대비(contrast) 중 적어도 하나에 기초하여 결정되고, 상기 제2가중치는 상기 짧은 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정될 수 있다.

실시 예에 따라, 상기 기준 가중치는 상기 짧은 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정될 수 있다. 다른 실시 예에 따라, 상기 기준 가중치는 상기 제어 신호 생성기에 저장된 룩업-테이블(LUT)로부터 추출될 수 있다.

상기 제어 신호들은, 노이즈 감쇄 세기(noise reduction strength) 제어 신호와 노이즈 이득 제어 신호를 포함할 수 있다.

상기 제어 신호 생성기는, 상기 제2가중치가 상기 기준 가중치보다 클 때, 상기 제2가중치와 상기 기준 가중치와의 상기 차이가 클수록, 더 큰 상기 노이즈 감쇄 세기 제어 신호와 더 작은 상기 노이즈 이득 제어 신호를 생성할 수 있다.

상기 제어 신호 생성기는, 상기 제2가중치가 상기 기준 가중치보다 클 때, 상기 제2가중치와 상기 기준 가중치와의 상기 차이가 작을수록, 더 작은 상기 노이즈 감쇄 세기 제어 신호와 더 큰 상기 노이즈 이득 제어 신호를 생성할 수 있다.

상기 제어 신호 생성기는, 상기 기준 가중치를 결정하는 기준 가중치 블록과, 상기 제2가중치와 상기 기준 가중치와의 차이를 계산하고, 상기 차이와 상기 제1WDR 영상 신호를 이용하여 상기 노이즈 감쇄 세기 제어 신호를 생성하는 노이즈 감쇄 세기 제어 신호 생성기와, 상기 노이즈 감쇄 세기 제어 신호, 상기 제2가중치, 및 상기 제1WDR 영상 신호를 이용하여 상기 노이즈 이득 제어 신호를 생성하는 노이즈 이득 제어 신호 생성기를 포함할 수 있다.

상기 제2WDR 영상 생성 블록은, 상기 노이즈 감쇄 세기 제어 신호에 응답하여, 상기 제1WDR 영상 신호로부터 노이즈-프리 영상 신호와 노이즈 영상 신호를 추출하는 노이즈 감쇄 회로와, 상기 노이즈 이득 제어 신호에 응답하여, 상기 제1WDR 영상 신호에 대한 노이즈 이득을 생성하는 노이즈 이득 생성기와, 상기 노이즈 영상 신호에 상기 노이즈 이득을 곱하여 최종 노이즈 영상 신호를 생성하고, 상기 최종 노이즈 영상 신호와 상기 노이즈-프리 영상을 더하여 상기 제2WDR 영상 신호를 생성하는 연산 블록을 포함할 수 있다.

본 발명의 실시 예에 따른 영상 처리 시스템은, 상대적으로 긴 노출 시간을 갖는 긴 노출 영상 신호와 상대적으로 짧은 노출 시간을 갖는 짧은 노출 영상 신호를 출력하는 CMOS 이미지 센서, 및 상기 긴 노출 영상 신호와 상기 짧은 노출 영상 신호를 처리하고, 제1WDR 영상 신호의 노이즈 레벨을 조절하여 제2WDR 영상 신호를 생성하는 WDR 영상의 노이즈 레벨 제어 장치를 포함하고, 상기 WDR 영상의 노이즈 레벨 제어 장치는, 제1가중치를 이용하여 상기 긴 노출 영상 신호를 처리하고 처리의 결과에 따라 제1영상 신호를 생성하고, 제2가중치를 이용하여 상기 짧은 노출 영상 신호를 처리하고 처리의 결과에 따라 제2영상 신호를 생성하고, 상기 제1영상 신호와 상기 제2영상 신호를 합성하여 상기 제1WDR 영상 신호를 생성하는 제1WDR 영상 생성 블록과, 상기 제2가중치와 기준 가중치와의 차이를 계산하고, 계산의 결과에 따라 제어 신호들을 생성하는 제어 신호 생성기와, 상기 제어 신호들을 이용하여 상기 제1WDR 영상 신호의 노이즈 레벨을 조절하고, 조절의 결과에 따라 상기 제2WDR 영상 신호를 생성하는 제2WDR 영상 생성 블록을 포함한다.

실시 예에 따라, 상기 WDR 영상의 노이즈 레벨 제어 장치는 독립적인 집적 회로(IC) 또는 칩으로 구현될 수 있다. 다른 실시 예에 따라, 상기 WDR 영상의 노이즈 레벨 제어 장치는 상기 CMOS 이미지 센서 내에 구현될 수 있다. 또 다른 실시 예에 따라, 상기 WDR 영상의 노이즈 레벨 제어 장치는 애플리케이션 프로세서(application processor(AP)) 내에 구현될 수 있다.

상기 제1가중치는 상기 긴 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정되고, 상기 제2가중치는 상기 짧은 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정될 수 있다.

실시 예에 따라, 상기 기준 가중치는 상기 짧은 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정될 수 있다. 상기 기준 가중치는 상기 제어 신호 생성기에 저장된 룩업-테이블(LUT)로부터 추출될 수 있다.

본 발명의 실시 예에 따른 광역 역광 보정(wide dynamic range(WDR)) 영상의 노이즈 레벨 제어 방법은, 제1가중치를 이용하여 상대적으로 긴 노출 시간을 갖는 긴 노출 영상 신호를 처리하고 처리의 결과에 따라 제1영상 신호를 생성하고, 제2가중치를 이용하여 상대적으로 짧은 노출 시간을 갖는 짧은 노출 영상 신호를 처리하고 처리의 결과에 따라 제2영상 신호를 생성하는 단계와, 상기 제1영상 신호와 상기 제2영상 신호를 합성하여 제1WDR 영상 신호를 생성하는 단계와, 상기 제2가중치와 기준 가중치와의 차이를 계산하고, 계산의 결과에 따라 제어 신호들을 생성하는 단계와, 상기 제어 신호들을 이용하여 상기 제1WDR 영상 신호의 노이즈 레벨을 조절하고, 조절의 결과에 따라 제2WDR 영상 신호를 생성하는 단계를 포함한다.

상기 WDR 영상의 노이즈 레벨 제어 방법은, 상기 긴 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 상기 제1가중치를 결정하는 단계와, 상기 짧은 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 상기 제2가중치를 결정하는 단계를 더 포함할 수 있다.

상기 WDR 영상의 노이즈 레벨 제어 방법은, 상기 짧은 노출 영상 신호의 밝기, 선명도, 및 색상 대비(contrast) 중 적어도 하나에 기초하여 상기 기준 가중치를 생성하는 단계를 더 포함할 수 있다.

상기 WDR 영상의 노이즈 레벨 제어 방법은, 상기 제2가중치와 상기 기준 가중치의 차이에 기초하여 생성된 노이즈 감쇄 세기(noise reduction strength) 제어 신호에 응답하여, 상기 제1WDR 영상 신호로부터 노이즈-프리 영상 신호와 노이즈 영상 신호를 추출하는 단계와, 상기 노이즈 감쇄 세기 제어 신호에 기초하여 생성된 노이즈 이득 제어 신호에 응답하여, 상기 제1WDR 영상 신호에 대한 노이즈 이득을 생성하는 단계와, 상기 노이즈 영상 신호에 상기 노이즈 이득을 곱하여 최종 노이즈 영상 신호를 생성하고, 상기 최종 노이즈 영상 신호와 상기 노이즈-프리 영상을 더하여 상기 제2WDR 영상 신호를 생성하는 단계를 더 포함하고, 상기 제어 신호들은 상기 노이즈 감쇄 세기 제어 신호와 상기 노이즈 이득 제어 신호를 포함할 수 있다.

본 발명의 실시 예에 따른 광역 역광 보정(wide dynamic range(WDR)) 영상의 노이즈 레벨 제어 장치는, 서로 다른 노출 시간을 갖는 영상들을 합성할 때 인접 영역 간의 노이즈 레벨를 조절함으로써, WDR 영상의 화질 열화를 감소시키는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 시스템의 블록도를 나타낸다.
도 2는 본 발명의 다른 실시 예에 따른 영상 처리 시스템의 블록도를 나타낸다.
도 3은 본 발명의 또 다른 실시 예에 따른 영상 처리 시스템의 블록도를 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 WDR 영상의 노이즈 레벨 제어 장치의 블록도를 나타낸다.
도 5는 본 발명의 다른 실시 예에 따른 WDR 영상의 노이즈 레벨 제어 장치의 블록도를 나타낸다.
도 6은 도 4부터 도 5에 도시된 합성 블록의 세부 블록도를 나타낸다.
도 7은 도 4부터 도 5에 도시된 합성 블록이 수행하는 합성 과정을 설명하기 위한 개념도이다.
도 8은 도 7에 도시된 합성 블록이 수행하는 합성 과정을 설명하기 위한 표이다.
도 9는 본 발명의 일 실시 예에 따른 도 4 내지 도 5에 도시된 제어 신호 생성기의 세부 블록도를 나타낸다.
도 10은 본 발명의 다른 실시 예에 따른 도 4부터 도 5에 도시된 제어 신호 생성기의 세부 블록도를 나타낸다.
도 11은 본 발명의 일 실시 예에 따른 기준 가중치 함수를 나타내는 그래프이다.
도 12는 본 발명의 일 실시 예에 따라 기준 가중치와 제2가중치와의 차이를 계산하는 과정을 설명하기 위한 그래프이다.
도 13은 본 발명의 실시 예에 따른 WDR 영상의 노이즈 레벨 제어 장치의 작동을 설명하기 위한 플로우 차트이다.
도 14는 도 4부터 도 5에 도시된 제2WDR 영상 생성 블록의 작동을 설명하기 위한 플로우 차트이다.
도 15는 본 발명의 또 다른 실시 예에 따른 영상 처리 시스템의 블록도를 나타낸다.
도 16은 본 발명의 또 다른 실시 예에 따른 영상 처리 시스템의 블록도를 나타낸다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 시스템의 블록도를 나타낸다.

도 1을 참조하면, 영상 처리 시스템(10)은 PC(personal computer) 또는 모바일 컴퓨팅 장치로 구현될 수 있다. 상기 모바일 컴퓨팅 장치는 랩탑 컴퓨터 (laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.

영상 처리 시스템(10)은 CMOS(complementary metal-oxide semiconductor) 이미지 센서(200), 브리지 회로(300), 애플리케이션 프로세서(application processor(AP); 400), 및 디스플레이(500)를 포함할 수 있다.

도 1에 도시된 실시 예에서, 브리지 회로(300)는 광역 역광 보정(wide dynamic range(WDR)) 영상에 포함된 노이즈를 조절할 수 있는 노이즈 레벨 제어 장치(100)를 포함할 수 있다. 브리지 회로(300)는 집적 회로(IC) 또는 칩으로 구현될 수 있다.

노이즈 레벨 제어 장치(100)는 서로 다른 노출 시간(exposure time)에 촬영된 영상들을 합성하여 최종 WDR 영상을 생성함으로써, 조도 차이가 큰 밝은 부분(예컨대, 실외)과 어두운 부분(예컨대, 실내)이 혼재된 영상을 선명하게 구현할 수 있다.

노이즈 레벨 제어 장치(100)는, 서로 다른 노출 시간에 촬영된 영상들을 합성할 때, 서로 다른 가중치(weighted value)를 상기 영상들 각각에 적용하는 픽셀 단위로 합성하는 방법을 사용할 수 있다.

실시 예에 따라, 노이즈 레벨 제어 장치(100)는 서로 다른 노출 시간으로 촬영된 영상들 각각의 픽셀마다 가중치를 다르게 적용하여 상기 영상들을 합성함으로써, 최종 WDR 영상을 생성할 수 있다. 여기서, 픽셀(pixel)은 픽셀 데이터를 의미할 수 있고, RGB 데이터 포맷, YUV 데이터 포맷, 또는 YCbCr 데이터 포맷을 가질 수 있으나 이에 한정되는 것은 아니다.

다른 실시 예에 따라, 노이즈 레벨 제어 장치(100)는, 서로 다른 노출 시간에 촬영된 영상들을 합성할 때, 블록 단위로 합성하는 방법을 사용할 수 있다. 또 다른 실시 예에 따라, WDR 영상의 노이즈 레벨 제어 장치(100)는, 서로 다른 노출 시간에 촬영된 영상들을 합성할 때, 그래디언트(gradient) 도메인을 이용하여 픽셀 단위로 합성하는 방법을 사용할 수 있다.

도 1에 도시된 바와 같이, 노이즈 레벨 제어 장치(100)는 브리지 회로(300)의 내부에 구현될 수 있다. 노이즈 레벨 제어 장치(100)는 CMOS 이미지 센서(200)로부터 출력된 이미지 데이터(IDATA)에 대한 최종 WDR 영상을 생성할 수 있다.

노이즈 레벨 제어 장치(100)의 구성과 작동은 도 4부터 도 14를 참조하여 상세히 설명될 것이다.

CMOS 이미지 센서(200)는 광학 렌즈(미도시)를 통하여 입력된(또는 캡쳐된) 피사체에 대한 이미지 데이터(IDATA)를 생성할 수 있다.

브리지 회로(300)는 CMOS 이미지 센서(200)로부터 출력된 이미지 데이터 (IDATA)를 수신하고, 이미지 데이터(IDATA)에 상응하는 베이어(Bayer) 패턴(BAYER)을 생성하고, 베이어 패턴(BAYER)을 AP(400)로 전송할 수 있다. 즉, 브리지 회로 (300)는 CMOS 이미지 센서(200)로부터 출력된 이미지 데이터(IDATA)를 AP(400)에서 사용될 수 있는 신호들로 변환함으로써, CMOS 이미지 센서(200)와 AP(400)를 중개하는 역할을 수행할 수 있다.

AP(400)는 센서 컨트롤러(410), 이미지 신호 프로세서(image signal processor(ISP); 420), CPU(central processing unit; 430), 및 디스플레이 컨트롤러(440)를 포함할 수 있다. AP(400)는 프로세서의 일 실시 예로서, 집적 회로, 시스템 온 칩(system on chip(SoC)), 또는 모바일 AP로 구현될 수 있다.

센서 컨트롤러(410)는, CPU(430)의 제어에 따라, CMOS 이미지 센서(200)의 작동들을 제어하기 위한 다양한 제어 신호들을 생성하고, 생성된 제어 신호들을 CMOS 이미지 센서(200)로 전송할 수 있다.

ISP(420)는, 브리지 회로(300)로부터 전송된 이미지 데이터(IDATA)에 상응하는 베이어 패턴(BAYER)을 처리하여 RGB 이미지 데이터를 생성할 수 있다. 예컨대, ISP(420)는 이미지 데이터(IDATA)가 디스플레이(500)에서 디스플레이될 수 있도록 베이어 패턴(BAYER)을 가공(또는 처리)하고, 가공(또는 처리)된 이미지 데이터를 디스플레이(500)로 전송할 수 있다.

실시 예에 따라, ISP(420)와 CMOS 이미지 센서(200) 각각은 칩으로 구현되고, 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package(MCP))로 패키징될 수 있다. 다른 실시 예에 따라, ISP(420)와 CMOS 이미지 센서(200)는 하나의 칩으로 구현될 수도 있다.

CPU(430)는 센서 컨트롤러(410), ISP(420), 및 디스플레이 컨트롤러(440)를 제어할 수 있다.

디스플레이 컨트롤러(440)는, CPU(430)의 제어에 따라, 디스플레이(500)를 제어하기 위한 다양한 제어 신호들을 생성하고, 생성된 제어 신호들을 디스플레이 (500)로 전송할 수 있다. 디스플레이 컨트롤러(440)는 MIPI® 디스플레이 시리얼 인터페이스(display derial interface(DSI)) 또는 eDP(embedded DisplayPort)를 통해 데이터를 디스플레이(500)로 전송할 수 있다.

디스플레이(500)는 디스플레이 컨트롤러(440)로부터 전송된 제어 신호들과 이미지 데이터를 수신하고, 상기 제어 신호들에 따라 이미지 데이터를 디스플레이할 수 있다.

예컨대, 디스플레이(500)는 TFT-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, 플렉시블 디스플레이, 또는 투명 디스플레이로 구현될 수 있다.

도 2는 본 발명의 다른 실시 예에 따른 영상 처리 시스템의 블록도를 나타낸다. 도 2를 참조하면, 영상 처리 시스템(10A)은 CMOS 이미지 센서(200-1), 브리지 회로(300-1), AP(400), 및 디스플레이(500)를 포함할 수 있다.

노이즈 레벨 제어 장치(100)가 브리지 회로(300-1)에 구현되지 않고 CMOS 이미지 센서(200-1)의 내부에 구현된 것을 제외하면, 도 2의 영상 처리 시스템(10A)의 구조와 작동은 도 1의 영상 처리 시스템(10)의 구조와 작동과 실질적으로 동일 또는 유사하다.

CMOS 이미지 센서(200-1)의 내부에 구현된 노이즈 레벨 제어 장치(100)는, CMOS 이미지 센서(200-1)에 의해 생성된 이미지 데이터에 대한 최종 WDR 영상을 생성할 수 있다. CMOS 이미지 센서(200-1)는 노이즈 레벨 제어 장치(100)에 의해 처리된 이미지 데이터(IDATA')를 브리지 회로(300-1)로 전송할 수 있다.

도 3은 본 발명의 또 다른 실시 예에 따른 영상 처리 시스템의 블록도를 나타낸다. 도 3을 참조하면, 영상 처리 시스템(10B)은 CMOS 이미지 센서(200), 브리지 회로(300-1), AP(400-1), 및 디스플레이(500)를 포함할 수 있다.

노이즈 레벨 제어 장치(100)가 브리지 회로(300-1)에 구현되지 않고 AP(400-1)의 내부에 구현된 것을 제외하면, 도 3의 영상 처리 시스템(10B)의 구조와 작동은 도 1의 영상 처리 시스템(10)의 구조와 작동과 실질적으로 동일 또는 유사하다.

ISP(421)의 내부에 구현된 노이즈 레벨 제어 장치(100)는, ISP(421)가 베이어 패턴(BAYER)으로부터 RGB 이미지 데이터를 처리(또는 생성)하는 동안, 상기 RGB 이미지 데이터에 상응하는 최종 WDR 영상을 생성할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 WDR 영상의 노이즈 레벨 제어 장치의 블록도를 나타낸다. 도 4를 참조하면, 노이즈 레벨 제어 장치(100)는 제1WDR 영상 생성 블록(110), 제어 신호 생성기(120), 및 제2WDR 영상 생성 블록(130)을 포함할 수 있다. 실시 예들에 따라, 노이즈 레벨 제어 장치(100)는 도 1의 브리지 회로 (300), 도 2의 CMOS 이미지 센서(200-1), 또는 도 3의 ISP(421) 내에 구현될 수 있다.

제1WDR 영상 생성 블록(110)은, 제1가중치(도 6의 WL)를 이용하여 상대적으로 긴 노출 시간을 갖는 긴 노출 영상 신호(long-exposure image signal; LEI)를 처리하고 처리의 결과에 따라 제1영상 신호를 생성하고, 제2가중치(WS)를 이용하여 상대적으로 짧은 노출 시간을 갖는 짧은 노출 영상 신호(short-exposure image signal; SEI)를 처리하고 처리의 결과에 따라 제2영상 신호를 생성할 수 있다.

제1WDR 영상 생성 블록(110)은 상기 제1영상 신호와 상기 제2영상 신호를 합성하여 제1광역 역광 보정(wide dynamic range(WDR)) 영상 신호(WDR1)를 생성할 수 있다.

제1WDR 영상 생성 블록(110)은, 제1선형화 블록(111), 제2선형화 블록(113), 및 합성 블록(115)을 포함할 수 있다.

제1선형화 블록(111)은 긴 노출 영상 신호(LEI)를 선형화하고 선형화된 긴 노출 영상 신호(LLEI)를 생성한다. 제2선형화 블록(113)은 짧은 노출 영상 신호 (SEI)를 선형화하고 선형화된 짧은 노출 영상 신호(LSEI)를 생성할 수 있다.

여기서 선형화라 함은, 긴 노출 영상에 포함된 픽셀의 제1픽셀 값과 짧은 노출 영상에 포함된 픽셀의 제2픽셀 값이 합성될 수 있는 형태가 되도록, 상기 제1픽셀 값 및/또는 상기 제2픽셀 값을 조정하는 것을 의미할 수 있다.

합성 블록(115)은, 제1선형화 블록(111)으로부터 선형화된 긴 노출 영상 신호(LLEI)를 수신하고, 제2선형화 블록(113)으로부터 선형화된 짧은 노출 영상 신호(LSEI)을 수신하고, 선형화된 긴 노출 영상 신호(LLEI)와 선형화된 짧은 노출 영상 신호(LSEI)를 합성하여 제1WDR 영상 신호(WDR1)를 생성할 수 있다.

합성 블록(115)은, 두 신호들(LLEI와 LSEI)을 합성할 때, 선형화된 긴 노출 영상 신호(LLEI)에 제1가중치(예컨대, 도 6의 WL)를 적용하고, 선형화된 짧은 노출 영상 신호(LSEI)에 제2가중치(예컨대, WS)를 적용할 수 있다. 이때, 제1가중치(예컨대, 도 6의 WL)와 제2가중치(예컨대, WS)의 합은 '1'일 수 있다.

합성 블록(115)은 제1WDR 영상(WDR1)을 제2WDR 영상 생성 블록(130)으로 전송할 수 있고, 제1WDR 영상 신호(WDR1)와 제2가중치(WS)를 제어 신호 생성기(120)로 전송할 수 있다.

합성 블록(115)의 구성과 작동은 도 6부터 도 8을 참조하여 상세히 설명될 것이다.

제어 신호 생성기(120)는, 제2가중치(WS)와 기준 가중치(예컨대, 도 9의 WS_R)와의 차이를 계산하고, 계산의 결과에 따라 제어 신호들(NR_strength 및 NGC)을 생성할 수 있다. 이때, 제어 신호들(NR_strength 및 NG)은 노이즈 감쇄 세기 (noise reduction strength) 제어 신호(NR_strength)와 노이즈 이득(noise gain) 제어 신호(NGC)를 포함할 수 있다.

노이즈 감쇄 세기 제어 신호(NR_strength)는 제2WDR 영상 생성 블록(130)으로 전송될 수 있고, 노이즈 감쇄 세기 제어 신호(NR_strength)는 노이즈 감쇄 회로 (131)가 제1WDR 영상 신호(WDR1)로부터 노이즈 영상 신호(NS)를 추출할 수 있는 정도를 제어할 수 있다.

노이즈 이득 제어 신호(NGC)는 제2WDR 영상 생성 블록(130)으로 전송될 수 있고, 노이즈 이득 제어 신호(NGC)는 노이즈 이득 생성기(133)가 노이즈 이득(NG)을 생성하는 과정에서 이용될 수 있다.

실시 예에 따라, 제어 신호 생성기(120)는, 제2가중치(WS)가 기준 가중치(예컨대, 도 9의 WS_R)보다 클 때, 제2가중치(WS)와 기준 가중치(예컨대, 도 9의 WS_R)와의 차이가 클수록, 더 큰 노이즈 감쇄 세기 제어 신호(NR_strength)와 더 작은 노이즈 이득 제어 신호(NGC)를 생성할 수 있다.

다른 실시 예에 따라, 제어 신호 생성기(120)는, 제2가중치(WS)가 기준 가중치(도 9의 WS_R)보다 클 때, 제2가중치(WS)와 기준 가중치(도 9의 WS_R)와의 차이가 작을수록, 더 작은 노이즈 감쇄 세기 제어 신호(NR_strength)와 더 큰 노이즈 이득 제어 신호(NGC)를 생성할 수 있다.

제어 신호 생성기(120)의 구성과 작동은 도 9부터 도 12를 참조하여 상세히 설명될 것이다.

제2WDR 영상 생성 블록(130)은, 제어 신호들(NR_strength 및 NGC)을 이용하여 제1WDR 영상 신호(WDR1)의 노이즈 레벨을 조절하고, 조절된 노이즈 레벨을 갖는 제2WDR 영상 신호(WDR2)를 생성할 수 있다.

제2WDR 영상 생성 블록(130)은 노이즈 감쇄 회로(131), 노이즈 이득 생성기 (133), 및 연산 블록을 포함할 수 있다.

노이즈 감쇄 회로(131)는, 노이즈 감쇄 세기 제어 신호(NR_strength)에 응답하여, 제1WDR 영상 신호(WDR1)로부터 노이즈-프리(noise-free) 영상 신호(NFS)와 노이즈 영상 신호(NS)를 추출할 수 있다. 예컨대, 노이즈 감쇄 세기 제어 신호(NR_strength)가 증가하면, 노이즈 감쇄 회로(131)는 제1WDR 영상 신호(WDR1)의 노이즈 감쇄 정도를 증가시킬 수 있다.

노이즈 이득 생성기(133)는, 노이즈 이득 제어 신호(NGC)에 응답하여, 제1WDR 영상 신호(WDR1)에 대한 노이즈 이득(NG)을 생성할 수 있다. 예컨대, 노이즈 이득 제어 신호(NGC)가 증가하면, 노이즈 이득 생성기(133)는 제1WDR 영상 신호 (WDR1)에 대한 노이즈 이득(NG)을 증가시킬 수 있다.

상기 연산 블록은 곱셈기(multiplier; 135)와 가산기(adder; 137)를 포함할 수 있다. 곱셈기(135)는 노이즈 영상 신호(NS)에 노이즈 이득(NG)을 곱하여 최종 노이즈 영상 신호를 생성할 수 있다. 가산기(137)는 상기 최종 노이즈 영상 신호와 노이즈-프리 영상(NFS)을 더하여 제2WDR 영상 신호(WDR2)를 생성할 수 있다.

도 5는 본 발명의 다른 실시 예에 따른 WDR 영상의 노이즈 레벨 제어 장치의 블록도를 나타낸다. 도 5를 참조하면, 노이즈 레벨 제어 장치(100A)는 제1WDR 영상 생성 블록(110-1), 제어 신호 생성기(120), 및 제2WDR 영상 생성 블록(130)을 포함할 수 있다. 실시 예에 따라, 노이즈 레벨 제어 장치(100A)는 도 1의 브리지 회로 (300), 도 2의 CMOS 이미지 센서(200-1), 또는 도 3의 ISP(421) 내에 구현될 수 있다.

제1WDR 영상 생성 블록(110-1)이 보간(interpolation) 블록들(112 및 114)을 더 포함하는 것을 제외하면, 도 5의 노이즈 레벨 제어 장치(100A)의 구조와 작동은 도 4의 노이즈 레벨 제어 장치(100)의 구조와 작동과 실질적으로 동일 또는 유사하다.

제1WDR 영상 생성 블록(110-1)은 제1선형화 블록(111), 제1보간 블록(112), 제2선형화 블록(113), 제2보간 블록(114), 및 합성 블록(115-1)을 포함할 수 있다.

제1선형화 블록(111)은 긴 노출 영상 신호(LEI)를 선형화하여 선형화된 긴 노출 영상 신호(LLEI)를 생성하고, 제1보간 블록(112)은 선형화된 긴 노출 영상 신호(LLEI)를 보간하여 제1보간 신호(ILEI)를 생성할 수 있다.

제2선형화 블록(113)은 짧은 노출 영상 신호(SEI)를 선형화하여 선형화된 짧은 노출 영상 신호(LSEI)를 생성하고, 제2보간 블록(114)은 선형화된 짧은 노출 영상 신호(LSEI)를 보간하여 제2보간 신호(ISEI)를 생성할 수 있다.

실시 예에 따라, 제1보간 신호(ILEI)와 제2보간 신호(ISEI)는 전해상도 (full-resolution)를 갖는 영상 신호일 수 있다.

합성 블록(115-1)은, 제1보간 블록(112)으로부터 제1보간 신호(ILEI)를 수신하고, 제2보간 블록(114)으로부터 제2보간 신호(ISEI)를 수신하고, 제1보간 신호 (ILEI)와 제2보간 신호(ISEI)를 합성하여 제1WDR 영상 신호(WDR1)를 생성할 수 있다.

합성 블록(115-1)은, 보간 신호들(ILEI와 ISEI)을 합성할 때, 제1보간 신호 (ILEI)에 제1가중치(도 6의 WL)를 적용하고, 제2보간 신호(ISEI)에 제2가중치(WS)를 적용할 수 있다. 이때, 제1가중치(도 6의 WL)와 제2가중치(WS)의 합은 '1'일 수 있다.

합성 블록(115-1)은 제1WDR 영상(WDR1)을 제2WDR 영상 생성 블록(130)으로 전송하고, 제1WDR 영상 신호(WDR1)와 제2가중치(WS)를 제어 신호 생성기(120)로 전송할 수 있다.

도 6은 도 4부터 도 5에 도시된 합성 블록의 세부 블록도를 나타내고, 도 7은 도 4부터 도 5에 도시된 합성 블록이 수행하는 합성 과정을 설명하기 위한 개념도이고, 도 8은 도 7에 도시된 합성 블록이 수행하는 합성 과정을 설명하기 위한 표이다.

도 6을 참조하면, 합성 블록(115 또는 115-1)은 제1합성 가중치 생성기(116-1), 제2합성 가중치 생성기(116-2), 제1가중치 적용 블록(117-1), 제2가중치 적용 블록(117-2), 및 WDR 영상 생성기(118)를 포함할 수 있다.

실시 예에 따라, 제1합성 가중치 생성기(116-1)는 제1선형화 블록(111)으로부터 선형화된 긴 노출 영상 신호(LLEI)를 수신하고, 선형화된 긴 노출 영상 신호 (LLEI)의 밝기(brightness), 선명도(sharpness), 및 색상 대비(contrast) 중 적어도 하나에 기초하여 제1가중치(WL)를 생성할 수 있다.

다른 실시 예에 따라, 제1합성 가중치 생성기(116-1)는 제1보간 블록(112)으로부터 제1보간 신호(ILEI)를 수신하고, 제1보간 신호(ILEI)의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 제1가중치(WL)를 생성할 수 있다. 즉, 제1가중치(WL)는 긴 노출 영상 신호(LEI)의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정될 수 있다.

제1가중치 적용 블록(117-1)은, 선형화된 긴 노출 영상 신호(LLEI) 또는 제1보간 신호(ILEI)에 제1합성 가중치 생성기(116-1)로부터 생성된 제1가중치(WL)를 적용하여, 제1영상 신호(WLEI)를 생성할 수 있다.

실시 예에 따라, 제2합성 가중치 생성기(116-2)는 제2선형화 블록(113)으로부터 선형화된 짧은 노출 영상 신호(LSEI)를 수신하고, 선형화된 짧은 노출 영상 신호(LSEI)의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 제2가중치 (WS)를 생성할 수 있다.

다른 실시 예에 따라, 제2합성 가중치 생성기(116-2)는 제2보간 블록(114)으로부터 제2보간 신호(ISEI)를 수신하고, 제2보간 신호(ISEI)의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 제2가중치(WS)를 생성할 수 있다. 즉, 제2가중치(WS)는 짧은 노출 영상 신호(SEI)의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정될 수 있다.

제2가중치 적용 블록(117-2)은, 선형화된 짧은 노출 영상 신호(LSEI) 또는 제2보간 신호(ISEI)에 제2합성 가중치 생성기(116-2)로부터 생성된 제2가중치(WS)를 적용하여, 제2영상 신호(WSEI)를 생성할 수 있다.

WDR 영상 생성기(118)는, 제1가중치 적용 블록(117-1)으로부터 제1영상 신호(WLEI)를 수신하고, 제2가중치 적용 블록(117-2)으로부터 제2영상 신호(WSEI)를 수신하고, 제1영상 신호(WLEI)와 제2영상 신호(WSEI)를 합성하여 제1WDR 영상 신호 (WDR1)를 생성할 수 있다.

도 4부터 도 7을 참조하면, 설명의 편의를 위해, 선형화된 긴 노출 영상 신호(LLEI)(경우에 따라 제1보간 신호(ILEI))와 선형화된 짧은 노출 영상 신호 (LSEI)(경우에 따라 제2보간 신호(ISEI)) 각각의 한 프레임이 16개의 픽셀들을 포함하는 것으로 가정한다.

선형화된 긴 노출 영상 신호(LLEI)(또는 제1보간 신호(ILEI))의 한 프레임에 포함된 16개의 픽셀들 각각은 밝기 값들(IL1~IL16) 각각을 갖고, 선형화된 긴 노출 영상 신호(LLEI)(또는 제1보간 신호(ILEI))에 제1가중치(WL)가 적용되면, 제1영상 신호(WLEI)의 한 프레임에 포함된 16개의 픽셀들 각각은 보정된 밝기 값들 (IL1'~IL16') 각각을 갖는다.

선형화된 짧은 노출 영상 신호(LSEI)(또는 제2보간 신호(ISEI))의 한 프레임에 포함된 16개의 픽셀들 각각은 밝기 값들(IS1~IS16) 각각을 갖고, 선형화된 짧은 노출 영상 신호(LSEI)(또는 제2보간 신호(ISEI))에 제2가중치(WS)가 적용되면, 제2영상 신호(WSEI)의 한 프레임에 포함된 16개의 픽셀들 각각은 보정된 밝기 값들 (IS1'~IS16') 각각을 갖는다.

제1WDR 영상 신호(WDR1)는 제1영상 신호(WLEI)와 제2영상 신호(WSEI)의 합성에 의해 생성되고, 제1WDR 영상 신호(WDR1)의 한 프레임에 포함된 16개의 픽셀들 각각은 합성된 밝기 값들(SY1~SY16) 각각을 갖는다.

도 7부터 도 8을 참조하면, 예컨대, 선형화된 짧은 노출 영상 신호(LSEI)(또는 제2보간 신호(ISEI))에 포함된 제1픽셀의 밝기 값이 'IS2'이고, 선형화된 긴 노출 영상 신호(LLEI)(또는 제1보간 신호(ILEI))에 포함되고 상기 제1픽셀과 합성되는 제2픽셀의 밝기 값이 'IL2'일 때, 제1WDR 영상 신호(WDR1)에 포함되고 상기 제1픽셀과 상기 제2픽셀이 합성되어 생성되는 제3픽셀의 밝기 값은 'SY2=WS2×IS2+WL2×IL2'이다.

도 9는 본 발명의 일 실시 예에 따른 도 4부터 도 5에 도시된 제어 신호 생성기의 세부 블록도를 나타내고, 도 10은 본 발명의 다른 실시 예에 따른 도 4부터 도 5에 도시된 제어 신호 생성기의 세부 블록도를 나타낸다.

도 4부터 도 9를 참조하면, 제어 신호 생성기(120)는 기준 가중치 생성기 (121), 노이즈 감쇄 세기 제어 신호 생성기(123), 및 노이즈 이득 제어 신호 생성기(125)를 포함할 수 있다.

기준 가중치 생성기(121)는 짧은 노출 영상 신호(SEI)의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 기준 가중치(WS_R)를 생성할 수 있다.

노이즈 감쇄 세기 제어 신호 생성기(123)는, 기준 가중치 생성기(121)로부터 기준 가중치(WS_R)를 수신하고, 합성 블록(115 또는 115-1)으로부터 제1WDR 영상 신호(WDR1)와 제2가중치(WS)를 수신할 수 있다.

노이즈 감쇄 세기 제어 신호 생성기(123)는, 제2가중치(WS)와 기준 가중치 (WS_R)와의 차이를 계산하고, 상기 차이와 제1WDR 영상 신호(WDR1)를 이용하여 노이즈 감쇄 세기 제어 신호(NR_strength)를 생성할 수 있다.

노이즈 감쇄 세기 제어 신호 생성기(123)는, 생성된 노이즈 감쇄 세기 제어 신호(NR_strength)를 노이즈 이득 제어 신호 생성기(125)와 제2WDR 영상 생성 블록(130) 각각으로 전송할 수 있다.

노이즈 이득 제어 신호 생성기(125)는, 노이즈 감쇄 세기 제어 신호 생성기(123)로부터 노이즈 감쇄 세기 제어 신호(NR_strength)를 수신하고, 합성 블록 (115 또는 115-1)으로부터 제1WDR 영상 신호(WDR1)와 제2가중치(WS)를 수신할 수 있다.

노이즈 이득 제어 신호 생성기(125)는, 노이즈 감쇄 세기 제어 신호 (NR_strength), 제2가중치(WS), 및 제1WDR 영상 신호(WDR1)를 이용하여, 노이즈 이득 제어 신호(NGC)를 생성할 수 있다. 노이즈 이득 제어 신호 생성기(125)는, 생성된 노이즈 이득 제어 신호(NGC)를 제2WDR 영상 생성 블록(130)으로 전송할 수 있다.

도 4부터 도 10을 참조하면, 제어 신호 생성기(120-1)는 기준 가중치 추출기(122), 노이즈 감쇄 세기 제어 신호 생성기(123), 및 노이즈 이득 제어 신호 생성기(125)를 포함할 수 있다.

도 10에 도시된 제어 신호 생성기(120-1)의 구조와 작동은, 기준 가중치 생성기(121)가 기준 가중치 추출기(122)로 대체된 것을 제외하면, 도 9에 도시된 제어 신호 생성기(120)의 구조와 작동과 실질적으로 동일 또는 유사하다.

기준 가중치 추출기(122)는, 기준 가중치 추출기(122)에 저장된 룩-업 테이블 (LUT; 122-1)을 이용하여, 짧은 노출 영상 신호(SEI)에 상응하는 기준 가중치 (WS_R)를 추출할 수 있다.

도 11은 본 발명의 일 실시 예에 따른 기준 가중치 함수를 나타내는 그래프이다. 도 11에 도시된 그래프(WS_R(I) 또는 WS_L(I))의 가로축은 영상 신호의 밝기 (I)를 의미하고, 그래프(WS_R(I) 또는 WS_L(I))의 세로축은 합성 가중치(synthesis weight)를 의미할 수 있다.

도 4부터 도 11을 참조하면, 기준 가중치 생성기(121)는, 짧은 노출 영상 신호(SEI)의 밝기에 기초하여, 기준 가중치 함수(WS_R(I))를 생성할 수 있다. 이때, 기준 가중치(WS_R)는 기준 가중치 함수(WS_R(I))의 값들 중 하나로써, 짧은 노출 영상 신호(SEI)의 밝기에 따라 결정될 수 있다. 실시 예에 따라, 기준 가중치 생성기(121)는 긴 노출 영상 신호(LEI)의 밝기에 기초하여 기준 가중치 함수(WL_R(I))를 생성할 수 있다.

실시 예에 따라, 기준 가중치 추출기(122)는, 짧은 노출 영상 신호(SEI)의 밝기에 기초하여, 룩-업 테이블(122-1)로부터 추출된 값들로부터 기준 가중치 함수 (WS_R(I))를 생성할 수 있다. 다른 실시 예에 따라, 기준 가중치 추출기(122)는, 룩업-테이블(122-1)로부터 추출된 값들 중에서 짧은 노출 영상 신호(SEI)의 밝기에 상응하는 기준 가중치(WS_R)를 직접 결정할 수 있다.

[수학식 1]

도 11과 수학식 1을 참조하면, 짧은 노출 영상 신호(SEI)의 밝기가 '0'일 때부터 제1밝기 값(I1)일 때까지, 기준 가중치 함수(WS_R(I))는 기준 가중치(WS_R)로 '0'의 값을 갖는다. 짧은 노출 영상 신호(SEI)의 밝기가 제1밝기 값(I1)일 때부터 제2밝기 값(I2)일 때까지, 기준 가중치 함수(WS_R(I))는 선형적으로 증가하는 기준 가중치(WS_R) 값을 갖는다. 짧은 노출 영상 신호(SEI)의 밝기가 제2밝기 값(I2) 이상일 때, 기준 가중치 함수(WS_R(I))는 기준 가중치(WS_R)로 '1'의 값을 갖는다.

예컨대, 어두운 영역(예컨대, 실내)에서 짧은 노출 영상 신호(SEI)의 기준 가중치(WS_R)는 '0'에 가까운 값을 갖고, 밝은 영역(예컨대, 실외)에서 짧은 노출 영상 신호(SEI)의 기준 가중치(WS_R)는 '1'에 가까운 값을 갖는다.

[수학식 2]

도 11, 수학식 1, 및 수학식 2를 참조하면, 짧은 노출 영상 신호(SEI)의 밝기에 기초하여 생성된 기준 가중치 함수(WS_R(I))와, 긴 노출 영상 신호(LEI)의 밝기에 기초하여 생성된 기준 가중치 함수(WS_L(I))의 합은 '1'일 수 있다.

따라서, 영상 신호가 일정한 밝기일 때, 짧은 노출 영상 신호(SEI)와 긴 노출 영상 신호(LEI) 각각에 가중치(WS 및 WL)를 적용하여 두 영상 신호들(SEI 및 LEI)을 합성함으로써, WDR 영상의 노이즈 레벨 제어 장치(100 또는 100A)는 밝은 영역과 어두운 영역이 모두 선명하게 보이는 영상을 생성할 수 있다.

도 12는 본 발명의 일 실시 예에 따라 기준 가중치와 제2가중치와의 차이를 계산하는 과정을 설명하기 위한 그래프이다. 도 12에 도시된 그래프(WS_R(I))의 가로축은 영상 신호의 밝기(I)를 의미하고, 그래프(WS_R(I))의 세로축은 합성 가중치(synthesis weight)를 의미할 수 있다.

도 4부터 도 12를 참조하면, 노이즈 감쇄 세기 제어 신호 생성기(123)는, 제2가중치(WS)와 기준 가중치(WS_R)와의 차이에 기초하여, 노이즈 감쇄 세기 제어 신호(NR_strength)를 생성한다. 노이즈 이득 제어 신호 생성기(125)는, 노이즈 감쇄 세기 제어 신호(NR_strength)를 이용하여, 노이즈 이득 제어 신호(NGC)를 생성할 수 있다.

[수학식 3]

수학식 3을 참조하면, 'D(I)'는 짧은 노출 영상 신호(SEI)의 밝기에 따른 제2가중치 함수(WS(I))와 짧은 노출 영상 신호(SEI)의 밝기에 따른 기준 가중치 함수(WS_R(I))의 차이를 나타내는 차이 함수(D(I))이다.

제2가중치 함수(WS(I))의 값이 기준 가중치 함수(WS_R(I))의 값보다 클 때, 차이 함수(D(I))는 'WS(I)-WS_R(I)'의 값을 갖는다.

제2가중치 함수(WS(I))의 값이 기준 가중치 함수(WS_R(I))의 값보다 작을 때, 차이 함수(D(I))는 '0'의 값을 갖고, 이 경우에는 노이즈 감쇄 세기 제어 신호(NR_strength) 생성시 가중치(WS)와 기준 가중치(WS_R)와의 차이를 고려하지 않는다.

예컨대, 도 12를 참조하면, 짧은 노출 영상 신호(SEI)의 밝기가 'I3'일 때, 차이 함수(D(I))는 'WS-WS_R'의 값을 갖는다.

[수학식 4]

수학식 4를 참조하면, 'S(I)'는 짧은 노출 영상 신호(SEI)의 밝기에 따른 노이즈 감쇄 세기 제어 신호(NR_strength)의 값을 나타낸다. 'SL(I)'는 영상 신호의 밝기만을 고려한 종래의 노이즈 감쇄 세기 제어 신호 값이고, 'wd'는 수학식 3에 도시된 D(I)를 고려한 가중치 팩터(weight factor)이고, 'wi'는 짧은 노출 영상 신호(SEI)의 밝기를 고려한 가중치 팩터이고, 'MaxCode'는 짧은 노출 영상 신호(SEI)의 최대 비트 값(예컨대, 짧은 노출 영상 신호(SEI)가 10bit일 때, 최대 비트 값은 '1023')일 수 있다.

[수학식 5]

수학식 5를 참조하면, 'G(I)'는 짧은 노출 영상 신호(SEI)의 밝기에 따른 노이즈 이득 제어 신호(NGC)의 값이다. 'S(I)'는 수학식 4에 설명된 노이즈 감쇄 세기 제어 신호(NR_strength)의 값이고, 'wg'는 수학식 4에 도시된 S(I)를 고려한 가중치 팩터(weight factor)이고, 'GL(I)'는 영상 신호의 밝기만을 고려한 종래의 노이즈 제어 신호의 값일 수 있다.

도 4부터 도 12, 및 수학식 3부터 수학식 5를 참조하면, 제어 신호 생성기 (120)는, 제2가중치(WS)가 기준 가중치(WS_R)보다 클 때, 제2가중치(WS)와 기준 가중치(WS_R)와의 차이가 클수록, 더 큰 노이즈 감쇄 세기 제어 신호(NR_strength)와 더 작은 노이즈 이득 제어 신호(NGC)를 생성할 수 있다.

제어 신호 생성기(120)는, 제2가중치(WS)가 기준 가중치(WS_R)보다 클 때, 제2가중치(WS)와 기준 가중치(WS_R)와의 상기 차이가 작을수록, 더 작은 노이즈 감쇄 세기 제어 신호(NR_strength)와 더 큰 노이즈 이득 제어 신호(NGC)를 생성할 수 있다.

도 13은 본 발명의 실시 예에 따른 WDR 영상의 노이즈 레벨 제어 장치의 작동을 설명하기 위한 플로우 차트이다.

도 4부터 도 13을 참조하면, 노이즈 레벨 제어 장치(100 또는 100A)는, 긴 노출 영상 신호(LEI)의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 제1가중치(WL)를 결정하고, 짧은 노출 영상 신호(SEI)의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 제2가중치(WS)를 결정할 수 있다(S100).

노이즈 레벨 제어 장치(100 또는 100A)는, 제1가중치(WL)와 긴 노출 영상 신호(LEI)를 이용하여 제1영상 신호(WLEI)를 생성하고, 제2가중치(WS)와 짧은 노출 영상 신호(SEI)를 이용하여 제2영상 신호(WSEI)를 생성할 수 있다(S110).

노이즈 레벨 제어 장치(100 또는 100A)는, 제1영상 신호(WLEI)와 제2영상 신호(WSEI)를 합성하여 제1WDR 영상 신호(WDR1)를 생성할 수 있다(S120).

노이즈 레벨 제어 장치(100 또는 100A)는, 제2가중치(WS)와 기준 가중치 (WS_R)와의 차이를 계산하고, 계산의 결과에 따라 제어 신호들(NR_strength 및 NGC)을 생성할 수 있다(S130).

노이즈 레벨 제어 장치(100 또는 100A)는, 제어 신호들(NR_strength 및 NGC)을 이용하여 제1WDR 영상 신호(WDR1)의 노이즈 레벨을 조절하고, 조절의 결과에 따라 제2WDR 영상 신호(WDR2)를 생성할 수 있다(S140).

도 14는 도 4부터 도 5에 도시된 제2WDR 영상 생성 블록의 작동을 설명하기 위한 플로우 차트이다.

도 4부터 도 14를 참조하면, 제2WDR 영상 생성 블록(130)은, 제2가중치(WS)와 기준 가중치(WS_R)와의 차이 값에 기초하여 생성된 노이즈 감쇄 세기 제어 신호(NR_strength)에 응답하여, 제1WDR 영상 신호(WDR1)로부터 노이즈-프리 영상 신호(NFS)와 노이즈 영상 신호(NS)를 추출할 수 있다(S200).

제2WDR 영상 생성 블록(130)은, 노이즈 감쇄 세기 제어 신호(NR_strength)에 기초하여 생성된 노이즈 이득 제어 신호(NGC)에 응답하여, 제1WDR 영상 신호(WDR1)에 대한 노이즈 이득(NG)을 생성할 수 있다(S210).

제2WDR 영상 생성 블록(130)은, 노이즈 영상 신호(NS)에 노이즈 이득(NG)을 곱하여 최종 노이즈 영상 신호를 생성하고, 상기 최종 노이즈 영상 신호와 노이즈 이득(NG)를 더하여 제2WDR 영상 신호(WDR2)를 생성할 수 있다(S220).

도 15는 본 발명의 또 다른 실시 예에 따른 영상 처리 시스템의 블록도를 나타낸다. 도 1부터 도 15를 참조하면, 이미지 처리 시스템(20)은 MIPI^®(mobile industry processor interface)를 사용(또는 지원)할 수 있는 이미지 처리 시스템으로 구현될 수 있다.

이미지 처리 시스템(20)은 모바일 컴퓨팅 장치로 구현될 수 있다.

이미지 처리 시스템(20)은 CMOS 이미지 센서(200), AP(400), 및 디스플레이 (500)를 포함할 수 있다.

도 1부터 도 14를 참조하여 설명한 WDR 영상의 노이즈 레벨 제어 장치(100, 또는 100A)는 CMOS 이미지 센서(200)의 내부 또는 AP(400)의 내부에 구현될 수 있다.

AP(400)에 구현된 카메라 시리얼 인터페이스(camera serial interface(CSI)) 호스트(412)는 CSI를 통하여 CMOS 이미지 센서(200)의 CSI 장치(210)와 시리얼 통신할 수 있다. 실시 예에 따라, CSI 호스트(412)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(210)는 시리얼라이저(SER)를 포함할 수 있다.

AP(400)에 구현된 디스플레이 시리얼 인터페이스(display serial interface(DSI)) 호스트(411)는 DSI를 통하여 디스플레이(500)의 DSI 장치(510)와 시리얼 통신할 수 있다. 실시 예에 따라, DSI 호스트(411)는 시리얼라이저(SER)를 포함하고, DSI 장치(510)는 디시리얼라이저(DES)를 포함할 수 있다.

예컨대, CMOS 이미지 센서(200)로부터 출력된 이미지 데이터(예컨대, 도 1의 IDATA)는 CSI를 통해 AP(400)로 전송될 수 있다. AP(4000)는 이미지 데이터(예컨대, 도 1의 IDATA)를 처리하고, 처리된 이미지 데이터를 DSI를 통해 디스플레이 (500)로 전송할 수 있다.

이미지 처리 시스템(20)은 AP(400)와 통신할 수 있는 RF 칩(440)을 더 포함할 수 있다. 이미지 처리 시스템(20)의 물리 계층(physical layer(PHY); 413)과 RF 칩(440)의 물리 계층(physical layer(PHY); 441)은 MIPI DigRF에 따라 데이터를 주고받을 수 있다.

CPU(414)는 DSI 호스트(411), CSI 호스트(412), 및 PHY(413) 각각의 작동을 제어할 수 있고, 하나 또는 그 이상의 코어들을 포함할 수 있다.

AP(400)는 집적 회로, 시스템 온 칩(system on chip(SoC))으로 구현될 수 있고, CMOS 이미지 센서(200)의 작동을 제어할 수 있는 프로세서 또는 호스트를 의미할 수 있다.

이미지 처리 시스템(20)은 GPS 수신기(450), DRAM(dynamic random access memory)과 같은 휘발성 메모리(452), 플래시-기반 메모리와 같은 불휘발성 메모리로 구현된 데이터 저장 장치(454), 마이크로폰(456), 및/또는 스피커(458)를 포함할 수 있다. 데이터 저장 장치(454)는 AP(400)에 착탈 가능한 외장 메모리로 구현될 수 있다. 또한, 데이터 저장 장치(454)는 UFS(universal flash storage), MMC (multimedia card), 임베디드 MMC(embedded MMC(eMMC)), USB 플래시 드라이브, 메모리 카드로 구현될 수 있다.

또한, 이미지 처리 시스템(20)은 적어도 하나의 통신 프로토콜(또는 통신 표준), 예컨대, UWB(ultra-wideband; 460), WLAN(Wireless LAN; 462), WiMAX (worldwide interoperability for microwave access; 464), 또는 LTE^TM(long term evolution; 미도시) 등을 이용하여 외부 장치와 통신할 수 있다.

실시 예에 따라, 이미지 처리 시스템(20)은 NFC 모듈, Wi-Fi 모듈, 또는 블루투스 모듈 중에서 적어도 하나를 더 포함할 수 있다.

도 16은 본 발명의 또 다른 실시 예에 따른 영상 처리 시스템의 블록도를 나타낸다. 도 1부터 도 10을 참조하면, 이미지 처리 시스템(30)은 CMOS 이미지 센서(200), 프로세서(610), 메모리(620), 디스플레이(500), 및 인터페이스(640)를 포함할 수 있다.

도 1부터 도 14를 참조하여 설명한 WDR 영상의 노이즈 레벨 제어 장치(100, 또는 100A)는 프로세서(610) 또는 CMOS 이미지 센서(200)의 내부에 구현될 수 있다.

프로세서(610)는 CMOS 이미지 센서(200)의 동작을 제어할 수 있다. 예컨대, 프로세서(610)는 CMOS 이미지 센서(200)로부터 출력되는 픽셀 신호를 처리하여 이미지 데이터를 생성할 수 있다.

메모리(620)는 CMOS 이미지 센서(200)의 동작을 제어하기 위한 프로그램과 프로세서(610)에 의해 생성된 이미지 데이터를 저장할 수 있다. 프로세서(610)는 메모리(620)에 저장된 프로그램을 실행할 수 있다. 예컨대, 메모리(620)는 휘발성 메모리 또는 불휘발성 메모리로 구현될 수 있다.

디스플레이(500)는 프로세서(610) 또는 메모리(620)로부터 출력되는 상기 이미지 데이터를 디스플레이할 수 있다.

인터페이스(640)는 이미지 데이터를 입출력하기 위한 인터페이스로 구현될 수 있다. 실시 예에 따라, 인터페이스(640)는 유선 인터페이스 또는 무선 인터페이스로 구현될 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10, 10A, 10B, 20, 30: 영상 처리 시스템
100, 100A: WDR 영상의 노이즈 레벨 제어 장치
110, 110-1: 제1WDR 영상 생성 블록
115, 115-1: 합성 블록
120, 120-1: 제어 신호 생성기
130: 제2WDR 영상 생성 블록
200: CMOS 이미지 센서
300: 브리지 회로
400: AP
500: 디스플레이

Claims

제1가중치를 이용하여 상대적으로 긴 노출 시간을 갖는 긴 노출 영상 신호를 처리하고 처리의 결과에 따라 제1영상 신호를 생성하고, 제2가중치를 이용하여 상대적으로 짧은 노출 시간을 갖는 짧은 노출 영상 신호를 처리하고 처리의 결과에 따라 제2영상 신호를 생성하고, 상기 제1영상 신호와 상기 제2영상 신호를 합성하여 제1광역 역광 보정(wide dynamic range(WDR)) 영상 신호를 생성하는 제1WDR 영상 생성 블록;
상기 제2가중치와 기준 가중치와의 차이를 계산하고, 계산의 결과에 따라 제어 신호들을 생성하는 제어 신호 생성기; 및
상기 제어 신호들을 이용하여 상기 제1WDR 영상 신호의 노이즈 레벨을 조절하고, 조절의 결과에 따라 제2WDR 영상 신호를 생성하는 제2WDR 영상 생성 블록을 포함하고,
상기 제어 신호들은, 노이즈 감쇄 세기 제어 신호와 노이즈 이득 제어 신호를 포함하며,
상기 제2WDR 영상 생성 블록은,
상기 노이즈 감쇄 세기 제어 신호에 응답하여, 상기 제1WDR 영상 신호로부터 노이즈-프리 영상 신호와 노이즈 영상 신호를 추출하는 노이즈 감쇄 회로;
상기 노이즈 이득 제어 신호에 응답하여, 상기 제1WDR 영상 신호에 대한 노이즈 이득을 생성하는 노이즈 이득 생성기; 및
상기 노이즈 영상 신호에 상기 노이즈 이득을 곱하여 최종 노이즈 영상 신호를 생성하고, 상기 최종 노이즈 영상 신호와 상기 노이즈-프리 영상을 더하여 상기 제2WDR 영상 신호를 생성하는 연산 블록을 포함하는 WDR 영상의 노이즈 레벨 제어 장치.
제1항에 있어서,
상기 제1WDR 영상 생성 블록은,
상기 짧은 노출 영상 신호와 상기 긴 노출 영상 신호 각각을 선형화하고, 선형화된 긴 노출 영상 신호에 상기 제1가중치를 적용하여 상기 제1영상 신호를 생성하고,
선형화된 짧은 노출 영상 신호에 상기 제2가중치를 적용하여 상기 제2영상 신호를 생성하는 WDR 영상의 노이즈 레벨 제어 장치.
제2항에 있어서,
상기 제1WDR 영상 생성 블록은,
상기 선형화된 긴 노출 영상 신호를 보간(interpolation)하여 제1보간 신호를 생성하고, 상기 제1보간 신호에 상기 제1가중치를 적용하여 상기 제1영상 신호를 생성하고,
상기 선형화된 짧은 노출 영상 신호를 보간하여 제2보간 신호를 생성하고, 상기 제2보간 신호에 상기 제2가중치를 적용하여 상기 제2영상 신호를 생성하는 WDR 영상의 노이즈 레벨 제어 장치.
제1항에 있어서,
상기 제1가중치와 상기 제2가중치의 합은 1인 WDR 영상의 노이즈 레벨 제어 장치.
제1항에 있어서,
상기 제1가중치는 상기 긴 노출 영상 신호의 밝기(brightness), 선명도(sharpness), 및 색상 대비(contrast) 중 적어도 하나에 기초하여 결정되고,
상기 제2가중치는 상기 짧은 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정되는 WDR 영상의 노이즈 레벨 제어 장치.
제1항에 있어서,
상기 기준 가중치는 상기 짧은 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정되는 WDR 영상의 노이즈 레벨 제어 장치.
제1항에 있어서,
상기 기준 가중치는 상기 제어 신호 생성기에 저장된 룩업-테이블(LUT)로부터 추출되는 WDR 영상의 노이즈 레벨 제어 장치.
삭제
제1항에 있어서,
상기 제어 신호 생성기는, 상기 제2가중치가 상기 기준 가중치보다 클 때,
상기 제2가중치와 상기 기준 가중치와의 상기 차이가 클수록, 더 큰 상기 노이즈 감쇄 세기 제어 신호와 더 작은 상기 노이즈 이득 제어 신호를 생성하는 WDR 영상의 노이즈 레벨 제어 장치.
제1항에 있어서,
상기 제어 신호 생성기는, 상기 제2가중치가 상기 기준 가중치보다 클 때,
상기 제2가중치와 상기 기준 가중치와의 상기 차이가 작을수록, 더 작은 상기 노이즈 감쇄 세기 제어 신호와 더 큰 상기 노이즈 이득 제어 신호를 생성하는 WDR 영상의 노이즈 레벨 제어 장치.
제1항에 있어서,
상기 제어 신호 생성기는,
상기 기준 가중치를 결정하는 기준 가중치 블록;
상기 제2가중치와 상기 기준 가중치와의 차이를 계산하고, 상기 차이와 상기 제1WDR 영상 신호를 이용하여 상기 노이즈 감쇄 세기 제어 신호를 생성하는 노이즈 감쇄 세기 제어 신호 생성기; 및
상기 노이즈 감쇄 세기 제어 신호, 상기 제2가중치, 및 상기 제1WDR 영상 신호를 이용하여 상기 노이즈 이득 제어 신호를 생성하는 노이즈 이득 제어 신호 생성기를 포함하는 WDR 영상의 노이즈 레벨 제어 장치.
삭제
상대적으로 긴 노출 시간을 갖는 긴 노출 영상 신호와 상대적으로 짧은 노출 시간을 갖는 짧은 노출 영상 신호를 출력하는 CMOS 이미지 센서; 및
상기 긴 노출 영상 신호와 상기 짧은 노출 영상 신호를 처리하고, 제1WDR 영상 신호의 노이즈 레벨을 조절하여 제2WDR 영상 신호를 생성하는 WDR 영상의 노이즈 레벨 제어 장치를 포함하는 영상 처리 시스템에 있어서,
상기 WDR 영상의 노이즈 레벨 제어 장치는,
제1가중치를 이용하여 상기 긴 노출 영상 신호를 처리하고 처리의 결과에 따라 제1영상 신호를 생성하고, 제2가중치를 이용하여 상기 짧은 노출 영상 신호를 처리하고 처리의 결과에 따라 제2영상 신호를 생성하고, 상기 제1영상 신호와 상기 제2영상 신호를 합성하여 상기 제1WDR 영상 신호를 생성하는 제1WDR 영상 생성 블록;
상기 제2가중치와 기준 가중치와의 차이를 계산하고, 계산의 결과에 따라 제어 신호들을 생성하는 제어 신호 생성기; 및
상기 제어 신호들을 이용하여 상기 제1WDR 영상 신호의 노이즈 레벨을 조절하고, 조절의 결과에 따라 상기 제2WDR 영상 신호를 생성하는 제2WDR 영상 생성 블록을 포함하고,
상기 제어 신호들은, 노이즈 감쇄 세기 제어 신호와 노이즈 이득 제어 신호를 포함하며,
상기 제2WDR 영상 생성 블록은,
상기 노이즈 감쇄 세기 제어 신호에 응답하여, 상기 제1WDR 영상 신호로부터 노이즈-프리 영상 신호와 노이즈 영상 신호를 추출하는 노이즈 감쇄 회로;
상기 노이즈 이득 제어 신호에 응답하여, 상기 제1WDR 영상 신호에 대한 노이즈 이득을 생성하는 노이즈 이득 생성기; 및
상기 노이즈 영상 신호에 상기 노이즈 이득을 곱하여 최종 노이즈 영상 신호를 생성하고, 상기 최종 노이즈 영상 신호와 상기 노이즈-프리 영상을 더하여 상기 제2WDR 영상 신호를 생성하는 연산 블록을 포함하는 영상 처리 시스템.
제13항에 있어서,
상기 WDR 영상의 노이즈 레벨 제어 장치는 독립적인 집적 회로(IC) 또는 칩으로 구현되는 영상 처리 시스템.
제13항에 있어서,
상기 WDR 영상의 노이즈 레벨 제어 장치는 상기 CMOS 이미지 센서 내에 구현되는 영상 처리 시스템.
제13항에 있어서,
상기 WDR 영상의 노이즈 레벨 제어 장치는 애플리케이션 프로세서(application processor) 내에 구현되는 영상 처리 시스템.
제13항에 있어서,
상기 제1가중치는 상기 긴 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정되고,
상기 제2가중치는 상기 짧은 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정되는 영상 처리 시스템.
제13항에 있어서,
상기 기준 가중치는 상기 짧은 노출 영상 신호의 밝기, 선명도, 및 색상 대비 중 적어도 하나에 기초하여 결정되는 영상 처리 시스템.
제13항에 있어서,
상기 기준 가중치는 상기 제어 신호 생성기에 저장된 룩업-테이블(LUT)로부터 추출되는 영상 처리 시스템.
삭제