KR102251440B1 - 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치 - Google Patents

로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치 Download PDF

Info

Publication number
KR102251440B1
KR102251440B1 KR1020140152944A KR20140152944A KR102251440B1 KR 102251440 B1 KR102251440 B1 KR 102251440B1 KR 1020140152944 A KR1020140152944 A KR 1020140152944A KR 20140152944 A KR20140152944 A KR 20140152944A KR 102251440 B1 KR102251440 B1 KR 102251440B1
Authority
KR
South Korea
Prior art keywords
noise
signal
tone mapping
gain
free
Prior art date
Application number
KR1020140152944A
Other languages
English (en)
Other versions
KR20160053632A (ko
Inventor
조원호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140152944A priority Critical patent/KR102251440B1/ko
Priority to US14/846,091 priority patent/US9774781B2/en
Publication of KR20160053632A publication Critical patent/KR20160053632A/ko
Application granted granted Critical
Publication of KR102251440B1 publication Critical patent/KR102251440B1/ko

Links

Images

Classifications

    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

본 발명의 실시 예에 따른 로컬 톤 맵핑 회로는 영상 신호를 제1노이즈 신호와 노이즈-프리 신호로 분리하는 노이즈 추출기, 상기 노이즈-프리 신호에 상응하는 톤 맵핑 이득을 계산하고, 상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 중간 톤 맵핑 신호를 생성하는 중간 톤 맵핑 신호 생성기, 및 상기 중간 톤 맵핑 신호에 상기 제1노이즈 신호와 연관되는 제2노이즈 신호를 더해서 최종 톤 맵핑 신호를 생성하는 가산기를 포함한다.

Description

로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치{LOCAL TONE MAPPING CIRCUIT, AND MOBILE COMPUTING DEVICE INCLUDING THE SAME}
본 발명의 개념에 따른 실시 예는 로컬 톤 맵핑 회로에 관한 것으로, 특히 영상의 저조도 영역에서 로컬 톤 맵핑 방법을 수행할 때, 저조도 영역의 노이즈가 부스팅되는 것을 방지하여 로컬 톤 맵핑된 신호의 노이즈를 감소시키는 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치에 관한 것이다.
HDR(high dynamic range) 이미지는 이미지에 다양한 계조(grayscale)의 변화 (가장 어두운 영역부터 가장 밝은 영역까지의 변화)를 포함하고 있는 이미지이다. HDR 이미지는 높은 정보량을 포함하고 있기 때문에 전용 뷰어를 통해서만 볼 수 있으므로, 상기 HDR 이미지를 기존의 8bit 데이터를 처리하는 LDR(low dynamic range) 디스플레이로 보기 위해서는 톤 매핑 과정이 필요하다.
글로벌 톤 맵핑(global tone mapping) 방법은 하나의 톤 맵핑 커브를 영상 프레임 전체에 적용하는 방법으로서, 알고리즘이 단순하며 실시간으로 구현하기에 용이하다. 그러나, 글로벌 톤 맵핑 방법은 영상의 지역적 특성을 적응적으로 잘 반영하지 못한다는 한계가 있다.
반면, 로컬 톤 맵핑(local tone mapping) 방법은 비선형 함수에 각 픽셀 별로 서로 다른 파라미터를 적용하는 방법으로서, 영상의 지역적 특성이 잘 반영되므로 글로벌 톤 맵핑 방법을 수행한 경우보다 상대적으로 좋은 렌더링(rendering) 결과 영상을 얻을 수 있다. 즉, 로컬 톤 맵핑 방법은 영상의 지역적 특성을 이용하여 기존보다 컨트라스트(contrast)가 향상된 보정된 밝기 값을 갖는 영상을 출력하게 된다.
다만, 영상의 저조도 영역의 밝기를 높이기 위해, 큰 톤 맵핑 이득 값을 사용하여 로컬 톤 맵핑 방법을 수행하는 경우, 로컬 톤 맵핑 방법은 저조도 영역이 밝아짐과 동시에, 저조도 영역의 노이즈도 같이 부스팅(boosting)되는 문제점을 갖는다.
본 발명이 이루고자 하는 기술적인 과제는, 영상의 저조도 영역에서 로컬 톤 맵핑 방법을 수행할 때, 저조도 영역의 노이즈가 부스팅되는 것을 방지하여 로컬 톤 맵핑된 신호의 노이즈를 감소시키는 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치를 제공하는 것이다.
본 발명의 실시 예에 따른 로컬 톤 맵핑 회로는 영상 신호를 제1노이즈 신호와 노이즈-프리 신호로 분리하는 노이즈 추출기, 상기 노이즈-프리 신호에 상응하는 톤 맵핑 이득을 계산하고, 상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 중간 톤 맵핑 신호를 생성하는 중간 톤 맵핑 신호 생성기, 및 상기 중간 톤 맵핑 신호에 상기 제1노이즈 신호와 연관되는 제2노이즈 신호를 더해서 최종 톤 맵핑 신호를 생성하는 가산기를 포함한다.
상기 제1노이즈 신호와 상기 제2노이즈 신호는 서로 동일할 수 있다.
상기 노이즈 추출기는, 상기 영상 신호에 대한 노이즈를 제거하여 상기 영상 신호로부터 상기 노이즈-프리 신호를 생성하는 노이즈 제거 회로, 및 상기 영상 신호로부터 상기 노이즈-프리 신호를 빼서 상기 제1노이즈 신호를 생성하는 제1감산기를 포함할 수 있다.
상기 제1노이즈 신호와 상기 제2노이즈 신호는 서로 다르고, 상기 노이즈-프리 신호에 기초하여 노이즈 이득이 생성될 때, 상기 제2노이즈 신호는 상기 제1노이즈 신호와 상기 노이즈 이득을 이용하여 생성될 수 있다.
상기 제1노이즈 신호와 상기 제2노이즈 신호는 서로 다르고, 상기 톤 맵핑 이득에 기초하여 노이즈 이득이 생성될 때, 상기 제2노이즈 신호는 상기 제1노이즈 신호와 상기 노이즈 이득을 이용하여 생성될 수 있다.
상기 중간 톤 맵핑 생성기는, 상기 노이즈-프리 신호를 이용하여 상기 노이즈-프리 신호의 로컬 영역의 컨트라스트 개선을 위한 톤 맵핑 커브를 생성하는 톤 맵핑 커브 생성기, 상기 톤 맵핑 커브를 이용하여 상기 노이즈-프리 신호에 대한 상기 톤 맵핑 이득을 계산하는 톤 맵핑 이득 계산기, 및 상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 상기 중간 톤 맵핑 신호를 생성하는 멀티플라이어를 포함할 수 있다.
상기 노이즈 추출기는, 상기 제1노이즈 신호를 공간 주파수에 따라 필터링하여 필터링된 제1노이즈 신호를 출력하는 노이즈 필터, 및 상기 제1노이즈 신호로부터 상기 필터링된 제1노이즈 신호를 빼서 제1노이즈 밴드 신호를 생성하는 제2감산기를 더 포함할 수 있다.
상기 톤 맵핑 커브 생성기는, 상기 노이즈-프리 신호의 휘도 히스토그램 분포에 기초하여 룩업-테이블(LUT)를 생성하고, 상기 룩업-테이블을 이용하여 상기 톤 맵핑 커브를 생성할 수 있다.
상기 로컬 톤 맵핑 회로는, 상기 노이즈-프리 신호를 이용하여 노이즈 이득을 생성하고, 상기 제1노이즈 밴드 신호에 상기 노이즈 이득을 곱하여 상기 제2노이즈 신호를 생성하는 노이즈 이득 조절기를 더 포함할 수 있다.
상기 로컬 톤 맵핑 회로는, 상기 톤 맵핑 이득을 이용하여 노이즈 이득을 생성하고, 상기 제1노이즈 밴드 신호에 상기 노이즈 이득을 곱하여 상기 제2노이즈 신호를 생성하는 노이즈 이득 조절기를 더 포함할 수 있다.
본 발명의 다른 실시 예에 따른 로컬 톤 맵핑 회로는, 영상 신호를 제1노이즈 신호와 노이즈-프리 신호로 분리하는 노이즈 추출기, 상기 노이즈-프리 신호에 상응하는 톤 맵핑 이득을 계산하고, 상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 중간 톤 맵핑 신호를 생성하는 중간 톤 맵핑 신호 생성기, 상기 노이즈-프리 신호 또는 상기 톤 맵핑 이득에 기초하여, 제1노이즈 이득과 제2노이즈 이득을 계산하고, 상기 제1노이즈 신호와 상기 제1노이즈 이득을 이용하여 제2노이즈 신호를 생성하고, 상기 제1노이즈 신호와 상기 제2노이즈 이득을 이용하여 제3노이즈 신호를 생성하는 노이즈 이득 조절기, 및 상기 중간 톤 맵핑 신호에 상기 제2노이즈 신호와 상기 제3노이즈 신호를 더해서 최종 톤 맵핑 신호를 생성하는 가산기를 포함한다.
상기 노이즈 추출기는, 상기 영상 신호에 대한 노이즈를 제거하여 상기 영상 신호로부터 상기 노이즈-프리 신호를 생성하는 노이즈 제거 회로, 상기 영상 신호로부터 상기 노이즈-프리 신호를 빼서 상기 제1노이즈 신호를 생성하는 제1감산기,상기 제1노이즈 신호를 공간 주파수에 따라 필터링하여 제1필터링 신호를 출력하는 제1노이즈 필터, 상기 제1노이즈 신호를 공간 주파수에 따라 필터링하여 제2필터링 신호를 출력하는 제2노이즈 필터, 상기 제1노이즈 신호로부터 상기 제1필터링 신호를 빼서 제1노이즈 밴드 신호를 생성하는 제2감산기, 및 상기 제1노이즈 신호로부터 상기 제2필터링 신호를 빼서 제2노이즈 밴드 신호를 생성하는 제3감산기를 더 포함할 수 있다.
상기 노이즈 이득 조절기는, 상기 제1노이즈 밴드 신호에 상기 제1노이즈 이득을 곱하여 상기 제2노이즈 신호를 생성하고, 상기 제2노이즈 밴드 신호에 상기 제2노이즈 이득을 곱하여 상기 제3노이즈 신호를 생성할 수 있다.
상기 중간 톤 맵핑 신호 생성기는, 상기 노이즈-프리 신호를 이용하여 상기 노이즈-프리 신호의 로컬 영역의 컨트라스트 개선을 위한 톤 맵핑 커브를 생성하는 톤 맵핑 커브 생성기, 상기 톤 맵핑 커브를 이용하여 상기 노이즈-프리 신호에 대한 상기 톤 맵핑 이득을 계산하는 톤 맵핑 이득 계산기, 및 상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 상기 중간 톤 맵핑 신호를 생성하는 멀티플라이어를 포함할 수 있다.
상기 톤 맵핑 커브 생성기는, 상기 노이즈-프리 신호의 휘도 히스토그램 분포에 기초하여 룩업-테이블를 생성하고, 상기 룩업-테이블을 이용하여 상기 톤 맵핑 커브를 생성할 수 있다.
상기 영상 신호는 CMOS 이미지 센서의 출력 신호를 처리하여 생성될 수 있다.
본 발명의 실시 예에 따른 모바일 컴퓨팅 장치는, CMOS 이미지 센서, 상기 CMOS 이미지 센서의 출력 신호를 처리하는 브리지 회로, 및 상기 브리지 회로로부터 처리된 출력 신호를 수신하는 애플리케이션 프로세서를 포함하고, 상기 CMOS 이미지 센서, 상기 브리지 회로, 및 상기 애플리케이션 프로세서 중에서 어느 하나의 내부에 로컬 톤 맵핑 회로가 구현되고, 상기 로컬 톤 맵핑 회로는, 상기 CMOS 이미지 센서의 출력 신호에 상응하는 영상 신호를 제1노이즈 신호와 노이즈-프리 신호로 분리하는 노이즈 추출기와, 상기 노이즈-프리 신호에 상응하는 톤 맵핑 이득을 계산하고, 상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 중간 톤 맵핑 신호를 생성하는 중간 톤 맵핑 신호 생성기와, 상기 중간 톤 맵핑 신호에 상기 제1노이즈 신호와 연관되는 제2노이즈 신호를 더해서 최종 톤 맵핑 신호를 생성하는 가산기를 포함한다.
상기 모바일 컴퓨팅 장치는, 상기 최종 톤 맵핑 신호에 상응하는 영상을 디스플레이하는 디스플레이 장치를 더 포함하고, 상기 애플리케이션 프로세서는 상기 디스플레이를 제어하는 디스플레이 컨트롤러를 포함할 수 있다.
상기 제1노이즈 신호와 상기 제2노이즈 신호는 서로 동일할 수 있다.
상기 제1노이즈 신호와 상기 제2노이즈 신호는 서로 다르고, 상기 노이즈-프리 신호 또는 상기 톤 맵핑 이득에 기초하여 노이즈 이득이 생성될 때, 상기 제2노이즈 신호는 상기 제1노이즈 신호와 상기 노이즈 이득을 이용하여 생성될 수 있다.
본 발명의 실시 예에 따른 로컬 톤 맵핑 회로는, 영상의 저조도 영역에서 로컬 톤 맵핑 방법을 수행할 때, 저조도 영역의 노이즈가 부스팅되는 것을 방지하여 로컬 톤 맵핑된 신호의 노이즈를 감소시키는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
도 2는 본 발명의 다른 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
도 3은 본 발명의 또 다른 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
도 4는 본 발명의 일 실시 예에 따른 로컬 톤 맵핑 회로의 블록도를 나타낸다.
도 5는 본 발명의 다른 실시 예에 따른 로컬 톤 맵핑 회로의 블록도를 나타낸다.
도 6은 본 발명의 또 다른 실시 예에 따른 로컬 톤 맵핑 회로의 블록도를 나타낸다.
도 7은 본 발명의 일 실시 예에 따라 도 4에 도시된 로컬 톤 맵핑 회로의 작동을 설명하기 위한 플로우 차트이다.
도 8은 본 발명의 다른 실시 예에 따라 도 5 또는 도 6에 도시된 로컬 톤 맵핑 회로의 작동을 설명하기 위한 플로우 차트이다.
도 9는 본 발명의 다른 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
도 10은 본 발명의 또 다른 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
도 1을 참조하면, 이미지 처리 시스템(10)은 PC(personal computer) 또는 모바일 컴퓨팅 장치로 구현될 수 있다. 상기 모바일 컴퓨팅 장치는 랩탑 컴퓨터 (laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.
이미지 처리 시스템(10)은 CMOS(complementary metal-oxide semiconductor) 이미지 센서(200), 브리지 회로(300), 애플리케이션 프로세서(application processor(AP); 400), 및 디스플레이(500)를 포함할 수 있다. 도 1에 도시된 실시 예에서, 브리지 회로(300)는 로컬 톤 맵핑 회로(local tone mapping circuit; 100)를 포함할 수 있다. 브리지 회로(300)는 집적 회로(IC) 또는 칩으로 구현될 수 있다.
로컬 톤 맵핑 회로(100)는 이미지(또는 이미지 데이터)에 포함된 픽셀들 각각을, 해당 픽셀의 픽셀 값과 주변 픽셀들의 픽셀 값들에 따라 톤 맵핑함으로써, 상기 이미지의 고조도 영역과 저조도 영역을 적절하게 보상하여 로컬 컨트라스트 (local contrast)가 보존된 이미지를 생성할 수 있다. 여기서, 픽셀(pixel)은 픽셀 데이터를 의미할 수 있고, RGB 데이터 포맷, YUV 데이터 포맷, 또는 YCbCr 데이터 포맷을 가질 수 있으나 이에 한정되는 것은 아니다.
도 1에 도시된 로컬 톤 맵핑 회로(100)는 브리지 회로(300)의 내부에 구현될 수 있다. 로컬 톤 맵핑 회로(100)는 CMOS 이미지 센서(200)로부터 출력된 이미지 데이터(IDATA)에 대한 로컬 톤 맵핑을 수행하고, 로컬 톤 맵핑된 신호를 생성할 수 있다.
로컬 톤 맵핑 회로(100)의 구성과 작동은 도 4부터 도 6을 참조하여 상세히 설명될 것이다.
CMOS 이미지 센서(200)는 광학 렌즈(미도시)를 통하여 입력된(또는 캡쳐된) 피사체에 대한 이미지 데이터(IDATA)를 생성할 수 있다.
브리지 회로(300)는 CMOS 이미지 센서(200)로부터 출력된 이미지 데이터 (IDATA)를 수신하고, 이미지 데이터(IDATA)에 상응하는 베이어(Bayer) 패턴(BAYER)을 생성하고, 베이어 패턴(BAYER)을 AP(400)로 전송할 수 있다. 즉, 브리지 회로 (300)는 CMOS 이미지 센서(200)로부터 출력된 이미지 데이터(IDATA)를 AP(400)에서 사용될 수 있는 신호들로 변환함으로써, CMOS 이미지 센서(200)와 AP(400)를 중개하는 역할을 수행할 수 있다.
AP(400)는 센서 컨트롤러(410), 이미지 신호 프로세서(image signal processor(ISP); 420), 인터페이스(430), 및 디스플레이 컨트롤러(440)를 포함할 수 있다. AP(400)는 프로세서의 일 실시 예로서 집적 회로, 시스템 온 칩(system on chip(SoC)), 또는 모바일 AP로 구현될 수 있다.
센서 컨트롤러(410)는, ISP(420)의 제어에 따라, CMOS 이미지 센서(200)의 작동들을 제어하기 위한 다양한 제어 신호들을 생성하고 상기 제어 신호들을 CMOS 이미지 센서(200)로 전송할 수 있다.
ISP(420)는, 브리지 회로(300)로부터 전송된 이미지 데이터(IDATA)에 상응하는 베이어 패턴(BAYER)을 처리하여 RGB 이미지 데이터를 생성할 수 있다. 예컨대, ISP(420)는 이미지 데이터(IDATA)가 디스플레이(500)에서 디스플레이될 수 있도록 베이어 패턴(BAYER)을 가공(또는 처리)하고, 가공(또는 처리)된 이미지 데이터를 인터페이스(430)로 전송할 수 있다.
실시 예에 따라, ISP(100)와 CMOS 이미지 센서(200) 각각은 칩으로 구현되고, 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package(MCP))로 구현될 수 있다. 다른 실시 예에 따라, ISP(100)와 CMOS 이미지 센서(200)는 하나의 칩으로 구현될 수도 있다.
ISP(420)는 센서 컨트롤러(410), 인터페이스(430), 및 디스플레이 컨트롤러 (440)를 제어할 수 있다.
인터페이스(430)는 ISP(420)에서 처리된 이미지 데이터를 디스플레이(300)로 전송할 수 있다. 인터페이스(430)는 MIPI®(mobile industry processor interface) 프로토콜을 지원하는 인터페이스, eDP(embedded DisplayPort) 프로토콜을 지원하는 인터페이스, 또는 HDMI(high definition multimedia interface) 프로토콜을 지원하는 인터페이스로 구현될 수 있으나 이에 한정되는 것은 아니다.
디스플레이 컨트롤러(440)는, ISP(420)의 제어에 따라, 디스플레이(500)를 제어하기 위한 다양한 제어 신호들을 생성할 수 있다.
디스플레이(500)는, 디스플레이 컨트롤러(440)로부터 출력된 제어 신호들에 응답하여, 인터페이스(430)로부터 출력된 이미지 데이터를 디스플레이할 수 있다. 실시 예에 따라, 상기 제어 신호들은 인터페이스(430)를 통해 디스플레이(500)로 전송될 수 있다.
예컨대, 디스플레이(300)는 TFT-LCD(thin film transistor-liquid crystal display), LED(light emitting diode) 디스플레이, OLED(organic LED) 디스플레이, AMOLED(active-matrix OLED) 디스플레이, 플렉시블 디스플레이, 또는 투명 디스플레이로 구현될 수 있다.
도 2는 본 발명의 다른 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다. 도 2를 참조하면, 이미지 처리 시스템(10A)은 로컬 톤 맵핑 회로(100), CMOS 이미지 센서(200-1), 브리지 회로(300-1), AP(400), 및 디스플레이(500)를 포함할 수 있다.
로컬 톤 맵핑 회로(100)가 브리지 회로(300-1)에 구현되지 않고 CMOS 이미지 센서(200-1)의 내부에 구현된 것을 제외하면, 도 2의 이미지 처리 시스템(10A)의 구조와 작동은 도 1의 이미지 처리 시스템(10)의 구조와 작동과 실질적으로 동일 또는 유사하다.
CMOS 이미지 센서(200-1)의 로컬 톤 맵핑 회로(100)는 CMOS 이미지 센서 (200-1)에 의해 생성된 이미지 데이터에 대한 로컬 톤 맵핑을 수행하고, 로컬 톤 맵핑된 신호(IDATA')를 생성할 수 있다. 로컬 톤 맵핑 회로(100)는 로컬 톤 맵핑된 신호(IDATA')를 브리지 회로(300-1)로 전송할 수 있다.
도 3은 본 발명의 또 다른 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
도 3을 참조하면, 이미지 처리 시스템(10B)은 로컬 톤 맵핑 회로(100), CMOS 이미지 센서(200), 브리지 회로(300-1), AP(400-1), 및 디스플레이(500)를 포함할 수 있다.
로컬 톤 맵핑 회로(100)가 브리지 회로(300-1)에 구현되지 않고 AP(400-1)의 내부에 구현된 것을 제외하면, 도 3의 이미지 처리 시스템(10B)의 구조와 작동은 도 1의 이미지 처리 시스템(10)의 구조와 작동과 실질적으로 동일 또는 유사하다.
ISP(421)의 내부에 구현된 로컬 톤 맵핑 회로(100)는, ISP(421)가 베이어 패턴(BAYER)으로부터 RGB 이미지 데이터를 처리(또는 생성)하는 동안, 로컬 톤 맵핑을 수행할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 로컬 톤 맵핑 회로의 블록도를 나타낸다. 도 1의 브리지 회로(300), 도 2의 CMOS 이미지 센서(200-1), 또는 도 3의 ISP (421)에 구현될 수 있는 로컬 톤 맵핑 회로(100)는 노이즈 추출기(110), 중간 톤 맵핑 신호 생성기(120), 및 가산기(150)를 포함할 수 있다.
노이즈 추출기(110)는 영상 신호(IS)를 제1노이즈 신호(NS)와 노이즈-프리 신호(NFS)로 분리할 수 있다. 이때, 영상 신호(IS)는 도 1의 CMOS 이미지 센서 (200) 또는 도 2의 CMOS 이미지 센서(200-1)에 의해 생성된 이미지 데이터(IDATA)에 상응하는(또는 관련된) 신호 또는 도 3의 ISP(421)에 의해 가공(또는 처리)된 신호일 수 있다.
노이즈 추출기(110)는 노이즈 제거 회로(111)와 제1감산기(subtractor; 113)를 포함할 수 있다.
노이즈 제거 회로(111)는 영상 신호(IS)에 포함된 노이즈(noise)를 제거하고 노이즈-프리 신호(NFS)를 생성할 수 있다. 제1감산기(113)는 영상 신호(IS)로부터 노이즈-프리 신호(NFS)를 빼서, 제1노이즈 신호(NS)를 생성할 수 있다.
중간 톤 맵핑 신호 생성기(120)는 노이즈-프리 신호(NFS)에 상응하는 톤 맵핑 이득(TMG)을 계산하고, 노이즈-프리 신호(NFS)와 톤 맵핑 이득(TMG)을 곱하여 중간 톤 맵핑 신호(ITMS)를 생성할 수 있다.
중간 톤 맵핑 신호 생성기(120)는 톤 맵핑 커브 생성기(125), 톤 맵핑 이득 계산기(130), 및 멀티플라이어(multiplier; 140)를 포함할 수 있다.
톤 맵핑 커브 생성기(125)는, 노이즈-프리 신호(NFS)를 이용하여 노이즈-프리 신호(NFS)의 로컬 영역의 컨트라스트 개선을 위한 톤 맵핑 커브(TMC)를 생성할 수 있다.
예컨대, 톤 맵핑 커브 생성기(125)는, 노이즈-프리 신호(NFS)의 휘도 히스토그램 분포에 기초하여 룩업-테이블(LUT)을 생성하고, 룩업-테이블(LUT)을 이용하여 노이즈-프리 신호(NFS)의 로컬 영역의 컨트라스트 개선을 위한 톤 맵핑 커브(TMC)를 생성할 수 있다. 이때, 상기 휘도 히스토그램은 노이즈-프리 신호(NFS)에 포함된 픽셀들 각각을 휘도 값에 따라 분류한 히스토그램일 수 있다.
톤 맵핑 이득 계산기(130)는, 톤 맵핑 커브 생성기(125)에 의해 생성된 톤 맵핑 커브(TMC)를 이용하여, 노이즈-프리 신호(NFS)에 대한 톤 맵핑 이득(TMG)을 계산할 수 있다.
멀티플라이어(140)는 노이즈-프리 신호(NFS)와 톤 맵핑 이득(TMG)을 곱하여 중간 톤 맵핑 신호(ITMS)를 생성할 수 있다. 이때, 중간 톤 맵핑 신호(ITMS)는 노이즈-프리 신호(NFS)에 대한 로컬 톤 맵핑된 신호로서, 영상 신호(IS)로부터 노이즈가 제거된 신호에 로컬 톤 맵핑을 적용한 신호를 의미할 수 있다.
가산기(150)는 중간 톤 맵핑 신호(ITMS)에 제1노이즈 신호(NS)에 연관된 제2노이즈 신호를 더해서 최종 톤 맵핑 신호(FTMS)를 생성할 수 있다.
실시 예에 따라, 제1노이즈 신호(NS)와 상기 제2노이즈 신호는 서로 동일할 수 있다. 다른 실시 예에 따라, 제1노이즈 신호(NS)와 상기 제2노이즈 신호는 서로 다르고, 상기 제2노이즈 신호는 제1노이즈 신호(NS)와 노이즈 이득을 이용하여 생성될 수 있다.
도 5는 본 발명의 다른 실시 예에 따른 로컬 톤 맵핑 회로의 블록도를 나타낸다.
도 1의 브리지 회로(300), 도 2의 CMOS 이미지 센서(200-1), 또는 도 3의 ISP(421)에 구현될 수 있는 로컬 톤 맵핑 회로(100A)는 노이즈 추출기(110-1), 중간 톤 맵핑 신호 생성기(120), 가산기(150-1), 및 노이즈 이득 조절기(160)를 포함할 수 있다. 로컬 톤 맵핑 회로(100A)는 도 1의 로컬 톤 맵핑 회로(100)의 일 실시 예이다.
노이즈 추출기(110-1)는 영상 신호(IS)를 제1노이즈 신호(NS)와 노이즈-프리 신호(NFS)로 분리할 수 있다. 상술한 바와 같이, 영상 신호(IS)는 도 1의 CMOS 이미지 센서(200) 또는 도 2의 CMOS 이미지 센서(200-1)에 의해 생성된 이미지 데이터(IDATA)에 상응하는(또는 관련된) 신호 또는 도 3의 ISP(421)에 의해 가공(또는 처리)된 신호일 수 있다.
노이즈 추출기(110-1)는 노이즈 제거 회로(111-1), 제1감산기(113-1), 복수의 노이즈 필터들(115-1, 115-2, 및 115-3), 및 복수의 감산기들(117-1, 117-2, 및 117-3)를 포함할 수 있다.
노이즈 제거 회로(111-1)는 영상 신호(IS)에 포함된 노이즈를 제거하고 노이즈-프리 신호(NFS)를 생성할 수 있다.
제1감산기(113-1)는 노이즈 제거 회로(111-1)로부터 노이즈-프리 신호(NFS)를 수신하고, 영상 신호(IS)로부터 노이즈-프리 신호(NFS)를 빼서 제1노이즈 신호 (NS)를 생성할 수 있다.
복수의 노이즈 필터들(115-1, 115-2, 및 115-3) 각각은 제1감산기(113-1)로부터 제1노이즈 신호(NS)를 수신하고, 제1노이즈 신호(NS)를 서로 다른 공간 주파수에 따라 필터링하고, 필터된 각 제1노이즈 신호를 복수의 감산기들(117-1, 117-2, 및 117-3)로 출력할 수 있다. 복수의 노이즈 필터들(115-1, 115-2, 및 115-3)은 제1노이즈 필터(115-1), 제2노이즈 필터(115-2), 및 제3노이즈 필터(115-3)를 포함할 수 있다.
예컨대, 제1노이즈 필터(115-1)는 제1노이즈 신호(NS)를 제1공간 주파수에 따라 필터링하고, 제2노이즈 필터(115-2)는 제1노이즈 신호(NS)를 제2공간 주파수에 따라 필터링하고, 제3노이즈 필터(115-3)는 제1노이즈 신호(NS)를 제3공간 주파수에 따라 필터링할 수 있다. 실시 예들에 따라, 제1공간 주파수, 제2공간 주파수, 및 제3공간 주파수는 서로 동일할 수도 있고 서로 다를 수도 있다.
예컨대, 복수의 노이즈 필터들(115-1, 115-2, 및 115-3) 각각은 특정한 마스크(또는 커널)을 이용한 공간 영역(spatial domain)에서의 필터 처리를 통해 제1노이즈 신호(NS)의 각 픽셀 값을 결정함으로써, 필터된 제1노이즈 신호를 생성할 수 있다.
실시 예에 따라, 복수의 노이즈 필터들(115-1, 115-2, 및 115-3) 각각은 커널 사이즈가 N×N(N은 자연수)인 저역 통과 필터(low pass filter)일 수 있으나 이에 한정되는 것은 아니다.
도 5에서는 설명의 편의를 위해, 로컬 톤 맵핑 회로(100A)가 3개의 노이즈 필터들(115-1~115-3)과 3개의 감산기들(117-1~117-3)을 포함하는 실시 예가 도시되어 있으나, 본 발명의 기술적 사상은 로컬 톤 맵핑 회로(100A)에 포함되는 노이즈 필터들의 개수와 감산기들의 개수에 한정되는 것은 아니다.
각 감산기(117-1, 117-2, 및 117-3)는 각 노이즈 필터(115-1, 115-2, 및 115-3)로부터 출력된 필터된 제1노이즈 신호를 수신하고, 제1노이즈 신호(NS)로부터 각 필터된 제1노이즈 신호를 빼서 각 노이즈 밴드 신호(NB1, NB2, 및 NB3)를 생성할 수 있다. 복수의 감산기들(117-1, 117-2, 및 117-3)은 제2감산기(117-1), 제3감산기(117-2), 및 제4감산기(117-3)를 포함할 수 있다.
예컨대, 제2감산기(117-1)는, 제1노이즈 필터(115-1)로부터 제1주파수에 따라 필터된 제1노이즈 신호를 수신하고, 제1노이즈 신호(NS)로부터 상기 제1주파수에 따라 필터된 제1노이즈 신호를 빼서 제1노이즈 밴드 신호(NB1)를 생성할 수 있다. 제3감산기(117-2)는, 제2노이즈 필터(115-2)로부터 제2주파수에 따라 필터된 제1노이즈 신호를 수신하고, 제1노이즈 신호(NS)로부터 상기 제2주파수에 따라 필터된 제1노이즈 신호를 빼서 제2노이즈 밴드 신호(NB2)를 생성할 수 있다. 제4감산기(117-3)는, 제3노이즈 필터(115-3)로부터 제3주파수에 따라 필터된 제1노이즈 신호를 수신하고, 제1노이즈 신호(NS)로부터 상기 제3주파수에 따라 필터된 제1노이즈 신호를 빼서 제3노이즈 밴드 신호(NB3)를 생성할 수 있다.
실시 예에 따라, 각 노이즈 필터(115-1, 115-2, 및 115-3)가 N×N 커널 사이즈를 갖는 저역-통과 필터라면, 상기 커널 사이즈가 클수록, 각 감산기(117-1, 117-2, 및 117-3)가 출력하는 노이즈 밴드 신호(NB1, NB2, 및 NB3)의 주파수 영역이 좀 더 넓어질 수 있다.
예컨대, 제1노이즈 필터(115-1)가 5×5 커널 사이즈를 갖는 저역-통과 필터이고 제2노이즈 필터(115-2)가 3×3 커널 사이즈를 갖는 저역-통과 필터일 때, 제1노이즈 밴드 신호(NB1)의 주파수 영역은 제2노이즈 밴드 신호(NB2)의 주파수 영역보다 좀 더 넓을 수 있다.
중간 톤 맵핑 신호 생성기(120)는 노이즈-프리 신호(NFS)에 상응하는 톤 맵핑 이득(TMG)을 계산하고, 노이즈-프리 신호(NFS)와 톤 맵핑 이득(TMG)을 곱하여 중간 톤 맵핑 신호(ITMS)를 생성할 수 있다.
중간 톤 맵핑 신호 생성기(120)는 톤 맵핑 커브 생성기(125), 톤 맵핑 이득 계산기(130), 및 멀티플라이어(140)를 포함할 수 있다.
톤 맵핑 커브 생성기(125)는 노이즈-프리 신호(NFS)를 이용하여 노이즈-프리 신호(NFS)의 로컬 영역의 컨트라스트 개선을 위한 톤 맵핑 커브(TMC)를 생성할 수 있다.
예컨대, 톤 맵핑 커브 생성기(125)는, 노이즈-프리 신호(NFS)의 휘도 히스토그램 분포에 기초하여 룩업-테이블(LUT)을 생성하고, 룩업-테이블(LUT)을 이용하여 노이즈-프리 신호(NFS)의 로컬 영역의 컨트라스트 개선을 위한 톤 맵핑 커브(TMC)를 생성할 수 있다. 이때, 상기 휘도 히스토그램은 노이즈-프리 신호(NFS)에 포함된 픽셀들 각각을 휘도 값에 따라 분류한 히스토그램일 수 있다.
톤 맵핑 이득 계산기(130)는, 톤 맵핑 커브 생성기(120)로부터 출력된 톤 맵핑 커브(TMC)를 이용하여, 노이즈-프리 신호(NFS)에 대한 톤 맵핑 이득(TMG)을 계산할 수 있다.
멀티플라이어(140)는 노이즈-프리 신호(NFS)와 톤 맵핑 이득(TMG)을 곱하여 중간 톤 맵핑 신호(ITMS)를 생성할 수 있다. 이때, 중간 톤 맵핑 신호(ITMS)는 노이즈-프리 신호(NFS)에 대한 로컬 톤 맵핑된 신호로서, 영상 신호(IS)로부터 노이즈를 제거하고 노이즈 제거된 영상 신호에 로컬 톤 맵핑을 적용한 신호를 의미할 수 있다.
노이즈 이득 조절기(160)는, 노이즈 추출기(110-1)로부터 출력된 노이즈-프리 신호(NFS)를 수신하고, 각 감산기(117-1, 117-2, 및 117-3)로부터 출력된 각 노이즈 밴드 신호(NB1, NB2, 및 NB3)를 수신할 수 있다.
노이즈 이득 조절기(160)는 노이즈-프리 신호(NFS)에 기초하여 각 노이즈 밴드 신호(NB1, NB2, 및 NB3)에 적합한 노이즈 이득을 계산하고, 각 노이즈 밴드 신호(NB1, NB2, 및 NB3)에 서로 다른 노이즈 이득을 곱하고, 곱셈의 결과로서 각 최종 노이즈 신호(GNB1, GNB2, 및 GNB3)를 생성할 수 있다. 이때, 각 최종 노이즈 신호(GNB1, GNB2, 및 GNB3)는, 제1노이즈 신호(NS)에 대한 공간 필터링이 수행된 후, 노이즈-프리 신호(NFS)의 휘도 값에 따라 크기가 조절된 신호를 의미할 수 있다.
예컨대, 최종 노이즈 신호들(GNB1, GNB2, 및 GNB3)은 제1최종 노이즈 신호 (GNB1), 제2최종 노이즈 신호(GNB2), 및 제3최종 노이즈 신호(GNB3)를 포함할 수 있다. 이때, 제1최종 노이즈 신호(GNB1)는 제1노이즈 밴드 신호(NB1)에 제1노이즈 이득을 곱하여 생성되고, 제2최종 노이즈 신호(GNB2)는 제2노이즈 밴드 신호(NB2)에 제2노이즈 이득을 곱하여 생성되고, 제3최종 노이즈 신호(GNB3)는 제3노이즈 밴드 신호(NB3)에 제3노이즈 이득을 곱하여 생성될 수 있다.
가산기(150-1)는 중간 톤 맵핑 신호(ITMS)에 제1최종 노이즈 신호(GNB1), 제2최종 노이즈 신호(GNB2), 및 제3최종 노이즈 신호(GNB3)를 더해서 최종 톤 맵핑 신호(FTMS)를 생성할 수 있다.
도 6은 본 발명의 또 다른 실시 예에 따른 로컬 톤 맵핑 회로의 블록도를 나타낸다.
도 1의 브리지 회로(300), 도 2의 CMOS 이미지 센서(200-1), 또는 도 3의 ISP(421)에 구현될 수 있는 로컬 톤 맵핑 회로(100B)는 노이즈 추출기(110-1), 중간 톤 맵핑 신호 생성기(120), 가산기(150-1), 및 노이즈 이득 조절기(160-1)를 포함할 수 있다. 로컬 톤 맵핑 회로(100B)는 도 1의 로컬 톤 맵핑 회로(100)의 다른 실시 예이다.
노이즈 이득 조절기(160-1)의 작동을 제외하면, 도 6의 로컬 톤 맵핑 회로 (100B)의 구조와 작동은 도 5의 로컬 톤 맵핑 회로(100A)의 구조와 작동과 실질적으로 동일 또는 유사하다.
노이즈 이득 조절기(160-1)는 톤 맵핑 이득 계산기(130)로부터 출력된 톤 맵핑 이득(TMG)을 수신하고, 각 감산기(117-1, 117-2, 및 117-3)로부터 출력된 각 노이즈 밴드 신호(NB1, NB2, 및 NB3)를 수신할 수 있다.
노이즈 이득 조절기(160-1)는 톤 맵핑 이득(TMG)에 기초하여 각 노이즈 밴드 신호(NB1, NB2, 및 NB3)에 적합한 노이즈 이득을 계산하고, 각 노이즈 밴드 신호 (NB1, NB2, 및 NB3)에 서로 다른 노이즈 이득을 곱하여, 최종 노이즈 신호들(GNB1, GNB2, 및 GNB3)을 생성할 수 있다. 이때, 최종 노이즈 신호들(GNB1, GNB2, 및 GNB3)은, 제1노이즈 신호(NS)가 공간 필터링된 후, 톤 맵핑 이득(TMG)의 값에 따라 크기가 조절된 신호들을 의미할 수 있다.
예컨대, 최종 노이즈 신호들(GNB1, GNB2, 및 GNB3)은 제1최종 노이즈 신호 (GNB1), 제2최종 노이즈 신호(GNB2), 및 제3최종 노이즈 신호(GNB3)를 포함할 수 있다. 이때, 제1최종 노이즈 신호(GNB1)는 제1노이즈 밴드 신호(NB1)에 제1노이즈 이득을 곱하여 생성되고, 제2최종 노이즈 신호(GNB2)는 제2노이즈 밴드 신호(NB2)에 제2노이즈 이득을 곱하여 생성되고, 제3최종 노이즈 신호(GNB3)는 제3노이즈 밴드 신호(NB3)에 제3노이즈 이득을 곱하여 생성될 수 있다.
도 7은 본 발명의 일 실시 예에 따라 도 4에 도시된 로컬 톤 맵핑 회로의 작동을 설명하기 위한 플로우 차트이다.
도 4과 도 7을 참조하면, 로컬 톤 맵핑 회로(100)는 영상 신호(IS)를 제1노이즈 신호(NS)와 노이즈-프리 신호(NFS)로 분리할 수 있다(S100).
로컬 톤 맵핑 회로(100)는 노이즈-프리 신호(NFS)에 상응하는 톤 맵핑 이득 (TMG)을 계산하고, 노이즈-프리 신호(NFS)와 톤 맵핑 이득(TMG)을 곱하여 중간 톤 맵핑 신호(ITMS)를 생성할 수 있다(S110).
로컬 톤 맵핑 회로(100)는 중간 톤 맵핑 신호(ITMS)에 제1노이즈 신호(NS)와 연관된 제2노이즈 신호를 더해서 최종 톤 맵핑 신호(FTMS)를 생성할 수 있다 (S120). 실시 예에 따라, 제1노이즈 신호(NS)와 제2노이즈 신호는 서로 동일할 수 있다. 다른 실시 예에 따라, 제1노이즈 신호(NS)와 제2노이즈 신호는 서로 다르고, 제2노이즈 신호는 제1노이즈 신호(NS)를 처리하여 생성된 신호일 수 있다.
도 8은 본 발명의 다른 실시 예에 따라 도 5 또는 도 6에 도시된 로컬 톤 맵핑 회로의 작동을 설명하기 위한 플로우 차트이다.
도 5, 도 6, 및 도 8을 참조하면, 로컬 톤 맵핑 회로(100A 또는 100B)는 영상 신호(IS)를 제1노이즈 신호(NS)와 노이즈-프리 신호(NFS)로 분리할 수 있다 (S200).
로컬 톤 맵핑 회로(100A 또는 100B)는 노이즈-프리 신호(NFS)에 상응하는 톤 맵핑 이득(TMG)을 계산하고, 노이즈-프리 신호(NFS)와 톤 맵핑 이득(TMG)을 곱하여 중간 톤 맵핑 신호(ITMS)를 생성할 수 있다(S210).
로컬 톤 맵핑 회로(100A 또는 100B)는 노이즈-프리 신호(NFS) 또는 톤 맵핑 이득(TMG)에 기초하여, 제1노이즈 이득과 제2노이즈 이득을 계산할 수 있다(S220).
로컬 톤 맵핑 회로(100A 또는 100B)는 제1노이즈 신호(NS)와 제1노이즈 이득을 이용하여 제2노이즈 신호를 생성하고, 제1노이즈 신호(NS)와 상기 제2노이즈 이득을 이용하여 제3노이즈 신호를 생성할 수 있다(S230).
로컬 톤 맵핑 회로(100A 또는 100B)는 중간 톤 맵핑 신호(ITMS)에 상기 제2노이즈 신호와 상기 제3노이즈 신호를 더해서 최종 톤 맵핑 신호(FTMS)를 생성할 수 있다(S240).
도 9는 본 발명의 다른 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다. 도 1부터 도 9를 참조하면, 이미지 처리 시스템(20)은 MIPI®(mobile industry processor interface)를 사용(또는 지원)할 수 있는 이미지 처리 시스템으로 구현될 수 있다.
이미지 처리 시스템(20)은 모바일 컴퓨팅 장치로 구현될 수 있다.
이미지 처리 시스템(20)은 CMOS 이미지 센서(200), AP(400), 및 디스플레이 (500)를 포함할 수 있다.
도 1부터 도 8을 참조하여 설명한 각 톤 맵핑 회로(100, 100A, 또는 100B)는 CMOS 이미지 센서(200)의 내부 또는 AP(400)의 내부에 구현될 수 있다. 실시 예에 따라, 도 1부터 도 8을 참조하여 설명한 각 브리지 회로(300 또는 300-1)는 CMOS 이미지 센서(200)의 내부 또는 AP(400)의 내부에 구현될 수 있다.
AP(400)에 구현된 카메라 시리얼 인터페이스(camera serial interface(CSI)) 호스트(412)는 CSI를 통하여 CMOS 이미지 센서(200)의 CSI 장치(210)와 시리얼 통신할 수 있다. 실시 예에 따라, CSI 호스트(412)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(210)는 시리얼라이저(SER)를 포함할 수 있다.
CMOS 이미지 센서(200)는 도 1부터 도 8을 참조하여 설명한 CMOS 이미지 센서(200)를 의미할 수 있다.
AP(400)에 구현된 디스플레이 시리얼 인터페이스(display serial interface(DSI)) 호스트(411)는 DSI를 통하여 디스플레이(500)의 DSI 장치(510)와 시리얼 통신할 수 있다. 실시 예에 따라, DSI 호스트(411)는 시리얼라이저(SER)를 포함하고, DSI 장치(510)는 디시리얼라이저(DES)를 포함할 수 있다.
예컨대, CMOS 이미지 센서(200)로부터 출력된 이미지 데이터(예컨대, 도 1의 IDATA)는 CSI를 통해 AP(400)로 전송될 수 있다. AP(4000)는 이미지 데이터(예컨대, 도 1의 IDATA)를 처리하고, 처리된 이미지 데이터를 DSI를 통해 디스플레이 (500)로 전송할 수 있다.
이미지 처리 시스템(20)은 AP(400)와 통신할 수 있는 RF 칩(440)을 더 포함할 수 있다. 이미지 처리 시스템(20)의 물리 계층(physical layer(PHY); 413)과 RF 칩(440)의 물리 계층(physical layer(PHY); 441)은 MIPI DigRF에 따라 데이터를 주고받을 수 있다.
CPU(414)는 DSI 호스트(411), CSI 호스트(412), 및 PHY(413) 각각의 작동을 제어할 수 있고, 하나 또는 그 이상의 코어들을 포함할 수 있다.
AP(400)는 집적 회로, 시스템 온 칩(system on chip(SoC))으로 구현될 수 있고, CMOS 이미지 센서(200)의 작동을 제어할 수 있는 프로세서 또는 호스트를 의미할 수 있다.
이미지 처리 시스템(20)은 GPS 수신기(450), DRAM(dynamic random access memory)과 같은 휘발성 메모리(452), 플래시-기반 메모리와 같은 불휘발성 메모리로 구현된 데이터 저장 장치(454), 마이크로폰(456), 및/또는 스피커(458)를 포함할 수 있다. 데이터 저장 장치(454)는 AP(400)에 착탈 가능한 외장 메모리로 구현될 수 있다. 또한, 데이터 저장 장치(454)는 UFS(universal flash storage), MMC (multimedia card), 임베디드 MMC(embedded MMC(eMMC)), USB 플래시 드라이브, 메모리 카드로 구현될 수 있다.
또한, 이미지 처리 시스템(20)은 적어도 하나의 통신 프로토콜(또는 통신 표준), 예컨대, UWB(ultra-wideband; 460), WLAN(Wireless LAN; 462), WiMAX (worldwide interoperability for microwave access; 464), 또는 LTETM(long term evolution; 미도시) 등을 이용하여 외부 장치와 통신할 수 있다.
실시 예에 따라, 이미지 처리 시스템(20)은 NFC 모듈, Wi-Fi 모듈, 또는 블루투스 모듈 중에서 적어도 하나를 더 포함할 수 있다.
도 10은 본 발명의 또 다른 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다. 도 1부터 도 10을 참조하면, 이미지 처리 시스템(30)은 CMOS 이미지 센서(200), 프로세서(610), 메모리(620), 디스플레이(500), 및 인터페이스(640)를 포함할 수 있다.
도 1부터 도 8을 참조하여 설명한 톤 맵핑 회로(100, 100A, 또는 100B)는 프로세서(610) 또는 CMOS 이미지 센서(200)의 내부에 구현될 수 있다. 실시 예에 따라, 도 1부터 도 8을 참조하여 설명한 브리지 회로(300 또는 300-1)는 프로세서 (610) 또는 CMOS 이미지 센서(200)의 내부에 구현될 수 있다.
프로세서(610)는 CMOS 이미지 센서(200)의 동작을 제어할 수 있다. 예컨대, 프로세서(610)는 CMOS 이미지 센서(200)로부터 출력되는 픽셀 신호를 처리하여 이미지 데이터를 생성할 수 있다.
메모리(620)는 CMOS 이미지 센서(200)의 동작을 제어하기 위한 프로그램과 프로세서(610)에 의해 생성된 이미지 데이터를 저장할 수 있다. 프로세서(610)는 메모리(620)에 저장된 프로그램을 실행할 수 있다. 예컨대, 메모리(620)는 휘발성 메모리 또는 불휘발성 메모리로 구현될 수 있다.
디스플레이(500)는 프로세서(610) 또는 메모리(620)로부터 출력되는 상기 이미지 데이터를 디스플레이할 수 있다.
인터페이스(640)는 이미지 데이터를 입출력하기 위한 인터페이스로 구현될 수 있다. 실시 예에 따라, 인터페이스(640)는 유선 인터페이스 또는 무선 인터페이스로 구현될 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10, 10A, 10B, 20, 30: 이미지 처리 시스템 200: CMOS 이미지 센서
100: 로컬 톤 맵핑 회로 300: 브리지 회로
110, 110-1: 노이즈 추출기 400: AP
120: 중간 톤 맵핑 신호 생성기 410: 센서 컨트롤러
125: 톤 맵핑 커브 생성기 420: ISP
130: 톤 맵핑 이득 계산기 430: I/F
140: 멀티플라이어 440: 메모리 컨트롤러
150, 150-1: 가산기 500: 디스플레이
160, 160-1: 노이즈 이득 조절기

Claims (10)

  1. 영상 신호를 제1노이즈 신호와 노이즈-프리 신호로 분리하는 노이즈 추출기;
    상기 노이즈-프리 신호에 상응하는 톤 맵핑 이득을 계산하고, 상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 중간 톤 맵핑 신호를 생성하는 중간 톤 맵핑 신호 생성기; 및
    상기 중간 톤 맵핑 신호에 상기 제1노이즈 신호와 연관된 제2노이즈 신호를 더해서 최종 톤 맵핑 신호를 생성하는 가산기를 포함하고,
    상기 제1노이즈 신호와 상기 제2노이즈 신호는 서로 다르고,
    상기 노이즈-프리 신호에 기초하여 노이즈 이득이 생성될 때, 상기 제2노이즈 신호는 상기 제1노이즈 신호와 상기 노이즈 이득을 이용하여 생성되는 로컬 톤 맵핑 회로.
  2. 삭제
  3. 제1항에 있어서, 상기 노이즈 추출기는,
    상기 영상 신호에 대한 노이즈를 제거하여 상기 영상 신호로부터 상기 노이즈-프리 신호를 생성하는 노이즈 제거 회로; 및
    상기 영상 신호로부터 상기 노이즈-프리 신호를 빼서 상기 제1노이즈 신호를 생성하는 제1감산기를 포함하는 로컬 톤 맵핑 회로.
  4. 삭제
  5. 제1항에 있어서,
    상기 톤 맵핑 이득에 기초하여 노이즈 이득이 생성될 때, 상기 제2노이즈 신호는 상기 제1노이즈 신호와 상기 노이즈 이득을 이용하여 생성되는 로컬 톤 맵핑 회로.
  6. 제1항에 있어서, 상기 중간 톤 맵핑 신호 생성기는,
    상기 노이즈-프리 신호를 이용하여 상기 노이즈-프리 신호의 로컬 영역의 컨트라스트 개선을 위한 톤 맵핑 커브를 생성하는 톤 맵핑 커브 생성기;
    상기 톤 맵핑 커브를 이용하여 상기 노이즈-프리 신호에 대한 상기 톤 맵핑 이득을 계산하는 톤 맵핑 이득 계산기; 및
    상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 상기 중간 톤 맵핑 신호를 생성하는 멀티플라이어를 포함하는 로컬 톤 맵핑 회로.
  7. 영상 신호를 제1노이즈 신호와 노이즈-프리 신호로 분리하는 노이즈 추출기;
    상기 노이즈-프리 신호에 상응하는 톤 맵핑 이득을 계산하고, 상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 중간 톤 맵핑 신호를 생성하는 중간 톤 맵핑 신호 생성기;
    상기 노이즈-프리 신호 또는 상기 톤 맵핑 이득에 기초하여, 제1노이즈 이득과 제2노이즈 이득을 계산하고, 상기 제1노이즈 신호와 상기 제1노이즈 이득을 이용하여 제2노이즈 신호를 생성하고, 상기 제1노이즈 신호와 상기 제2노이즈 이득을 이용하여 제3노이즈 신호를 생성하는 노이즈 이득 조절기; 및
    상기 중간 톤 맵핑 신호에 상기 제2노이즈 신호와 상기 제3노이즈 신호를 더해서 최종 톤 맵핑 신호를 생성하는 가산기를 포함하고,
    상기 제1노이즈 신호와 상기 제2노이즈 신호는 서로 다르고,
    상기 제1노이즈 신호와 상기 제3노이즈 신호는 서로 다른 로컬 톤 맵핑 회로.
  8. 제7항에 있어서, 상기 노이즈 추출기는,
    상기 영상 신호에 대한 노이즈를 제거하여 상기 영상 신호로부터 상기 노이즈-프리 신호를 생성하는 노이즈 제거 회로;
    상기 영상 신호로부터 상기 노이즈-프리 신호를 빼서 상기 제1노이즈 신호를 생성하는 제1감산기;
    상기 제1노이즈 신호를 공간 주파수에 따라 필터링하여 제1필터링 신호를 출력하는 제1노이즈 필터;
    상기 제1노이즈 신호를 공간 주파수에 따라 필터링하여 제2필터링 신호를 출력하는 제2노이즈 필터;
    상기 제1노이즈 신호로부터 상기 제1필터링 신호를 빼서 제1노이즈 밴드 신호를 생성하는 제2감산기; 및
    상기 제1노이즈 신호로부터 상기 제2필터링 신호를 빼서 제2노이즈 밴드 신호를 생성하는 제3감산기를 더 포함하는 로컬 톤 맵핑 회로.
  9. 제7항에 있어서, 상기 중간 톤 맵핑 신호 생성기는,
    상기 노이즈-프리 신호를 이용하여 상기 노이즈-프리 신호의 로컬 영역의 컨트라스트 개선을 위한 톤 맵핑 커브를 생성하는 톤 맵핑 커브 생성기;
    상기 톤 맵핑 커브를 이용하여 상기 노이즈-프리 신호에 대한 상기 톤 맵핑 이득을 계산하는 톤 맵핑 이득 계산기; 및
    상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 상기 중간 톤 맵핑 신호를 생성하는 멀티플라이어를 포함하는 로컬 톤 맵핑 회로.
  10. CMOS 이미지 센서, 상기 CMOS 이미지 센서의 출력 신호를 처리하는 브리지 회로, 및 상기 브리지 회로로부터 처리된 출력 신호를 수신하는 애플리케이션 프로세서를 포함하는 모바일 컴퓨팅 장치에 있어서,
    상기 CMOS 이미지 센서, 상기 브리지 회로, 및 상기 애플리케이션 프로세서 중에서 어느 하나의 내부에 로컬 톤 맵핑 회로가 구현되고,
    상기 로컬 톤 맵핑 회로는,
    상기 CMOS 이미지 센서의 출력 신호에 상응하는 영상 신호를 제1노이즈 신호와 노이즈-프리 신호로 분리하는 노이즈 추출기;
    상기 노이즈-프리 신호에 상응하는 톤 맵핑 이득을 계산하고, 상기 노이즈-프리 신호와 상기 톤 맵핑 이득을 곱하여 중간 톤 맵핑 신호를 생성하는 중간 톤 맵핑 신호 생성기; 및
    상기 중간 톤 맵핑 신호에 상기 제1노이즈 신호와 연관되는 제2노이즈 신호를 더해서 최종 톤 맵핑 신호를 생성하는 가산기를 포함하되,
    상기 제1노이즈 신호와 상기 제2노이즈 신호는 서로 다르고,
    상기 노이즈-프리 신호에 기초하여 노이즈 이득이 생성될 때, 상기 제2노이즈 신호는 상기 제1노이즈 신호와 상기 노이즈 이득을 이용하여 생성되는 모바일 컴퓨팅 장치.
KR1020140152944A 2014-11-05 2014-11-05 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치 KR102251440B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140152944A KR102251440B1 (ko) 2014-11-05 2014-11-05 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치
US14/846,091 US9774781B2 (en) 2014-11-05 2015-09-04 Local tone mapping circuits and mobile computing devices including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140152944A KR102251440B1 (ko) 2014-11-05 2014-11-05 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치

Publications (2)

Publication Number Publication Date
KR20160053632A KR20160053632A (ko) 2016-05-13
KR102251440B1 true KR102251440B1 (ko) 2021-05-14

Family

ID=55854156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140152944A KR102251440B1 (ko) 2014-11-05 2014-11-05 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치

Country Status (2)

Country Link
US (1) US9774781B2 (ko)
KR (1) KR102251440B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043251B2 (en) * 2015-10-09 2018-08-07 Stmicroelectronics Asia Pacific Pte Ltd Enhanced tone mapper for high dynamic range images and video
KR102582643B1 (ko) 2016-09-19 2023-10-05 삼성전자주식회사 디스플레이 장치 및 이의 영상 처리 방법
US20190313005A1 (en) * 2018-04-05 2019-10-10 Qualcomm Incorporated Tone mapping for high-dynamic-range images
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215153A1 (en) * 2002-05-15 2003-11-20 Eastman Kodak Company Method of enhancing the tone scale of a digital image to extend the linear response range without amplifying noise
US20100097503A1 (en) * 2007-06-28 2010-04-22 Olympus Corporation Image acquisition apparatus and program recording medium
JP2014121067A (ja) * 2012-12-19 2014-06-30 Mitsubishi Electric Corp 画像処理装置及び画像処理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3184309B2 (ja) * 1992-07-10 2001-07-09 松下電器産業株式会社 階調補正回路及び撮像装置
KR100200628B1 (ko) 1996-09-30 1999-06-15 윤종용 화질 개선 회로 및 그 방법
US7116838B2 (en) * 2002-10-25 2006-10-03 Eastman Kodak Company Enhancing the tonal and spatial characteristics of digital images using selective spatial filters
US7590299B2 (en) * 2004-06-10 2009-09-15 Samsung Electronics Co., Ltd. Increasing gamma accuracy in quantized systems
US20060013503A1 (en) 2004-07-16 2006-01-19 Samsung Electronics Co., Ltd. Methods of preventing noise boost in image contrast enhancement
JP4427001B2 (ja) * 2005-05-13 2010-03-03 オリンパス株式会社 画像処理装置、画像処理プログラム
US20060256215A1 (en) * 2005-05-16 2006-11-16 Xuemei Zhang System and method for subtracting dark noise from an image using an estimated dark noise scale factor
JP4605654B2 (ja) 2005-07-28 2011-01-05 株式会社日立製作所 映像信号処理装置及び同装置を備えた表示装置
JP4240023B2 (ja) * 2005-08-31 2009-03-18 ソニー株式会社 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
KR100726351B1 (ko) 2005-11-30 2007-06-13 중앙대학교 산학협력단 이미지/노이즈 판별을 위한 통계적 영상처리 시스템 및방법
EP2003877B1 (en) * 2006-03-31 2015-05-06 Nikon Corporation Image processing method
JP4637812B2 (ja) * 2006-11-09 2011-02-23 オリンパス株式会社 画像信号処理装置、画像信号処理プログラム、画像信号処理方法
JP5171434B2 (ja) * 2007-09-13 2013-03-27 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
KR101544032B1 (ko) * 2008-12-16 2015-08-12 삼성전자주식회사 영상 노이즈 제거 방법 및 장치
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
JP4656238B2 (ja) * 2009-01-19 2011-03-23 株式会社ニコン 画像処理装置およびデジタルカメラ
US8766999B2 (en) 2010-05-20 2014-07-01 Aptina Imaging Corporation Systems and methods for local tone mapping of high dynamic range images
US8639050B2 (en) 2010-10-19 2014-01-28 Texas Instruments Incorporated Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images
KR101164535B1 (ko) 2010-12-14 2012-07-10 엠텍비젼 주식회사 적응적 영상 보상 장치 및 그 방법
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
TWI519151B (zh) 2012-08-30 2016-01-21 義晶科技股份有限公司 影像處理方法以及影像處理裝置
US10255888B2 (en) 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030215153A1 (en) * 2002-05-15 2003-11-20 Eastman Kodak Company Method of enhancing the tone scale of a digital image to extend the linear response range without amplifying noise
US20100097503A1 (en) * 2007-06-28 2010-04-22 Olympus Corporation Image acquisition apparatus and program recording medium
JP2014121067A (ja) * 2012-12-19 2014-06-30 Mitsubishi Electric Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
KR20160053632A (ko) 2016-05-13
US9774781B2 (en) 2017-09-26
US20160127665A1 (en) 2016-05-05

Similar Documents

Publication Publication Date Title
TWI752084B (zh) 顯示裝置
CN105635605B (zh) 一种控制设备以及包括该设备的图像处理系统
KR102474715B1 (ko) 매크로포토그래피를 위한 컬러 및 모노 이미지들의 시차 마스크 융합
KR102107640B1 (ko) 번-인 통계 및 번-인 보상
KR102234092B1 (ko) 이미지의 역 톤 매핑을 위한 방법
US20170118450A1 (en) Low-light image quality enhancement method for image processing device and method of operating image processing system performing the method
US10645317B2 (en) Devices and methods for lens shading correction of an image
KR102251440B1 (ko) 로컬 톤 맵핑 회로와 이를 포함하는 모바일 컴퓨팅 장치
JP6249638B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20180315172A1 (en) Noise Reduction Using Sequential Use of Multiple Noise Models
WO2017185957A1 (zh) 图像处理方法、图像处理装置及显示装置
US20210133986A1 (en) Image devices including image sensors and image signal processors, and operation methods of image sensors
EP3028249A1 (en) Method and apparatus for image enhancement
US11170690B2 (en) Pixel leakage and internal resistance compensation systems and methods
JP2015062270A (ja) 画像処理装置
US20160248990A1 (en) Image sensor and image processing system including same
KR102412020B1 (ko) 이미지 센서의 파라미터 제어 방법
JP2015139082A (ja) 画像処理装置、画像処理方法、プログラム、および電子機器
US10237492B2 (en) Image sensor circuit removing flicker and camera device including the same
KR20220010264A (ko) 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법
US20240098375A1 (en) Method of operating image sensor and image device performing the same
US20160292825A1 (en) System and method to refine image data
TWI533708B (zh) 影像增強處理方法及影像處理裝置
WO2015129667A1 (ja) 画像表示装置および画像表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right