KR20240080907A

KR20240080907A - 이미지 신호 프로세서 및 이미지 프로세싱 방법

Info

Publication number: KR20240080907A
Application number: KR1020220164680A
Authority: KR
Inventors: 김민오; 김필수; 이대호; 최종성; 최창훈
Original assignee: 삼성전자주식회사
Priority date: 2022-11-30
Filing date: 2022-11-30
Publication date: 2024-06-07
Also published as: US20240179423A1; CN118118805A

Abstract

이미지 신호 프로세서는, 노이즈 저감 회로, 하이 다이내믹 레인지(HDR) 회로, 및 후처리 회로를 포함한다. 상기 노이즈 저감 회로는 제1 동작 모드에서 복수의 밝기들에 각각 상응하는 복수의 노이즈 노출 이미지들의 노이즈를 저감하여 상기 복수의 밝기들에 각각 상응하는 복수의 클린 노출 이미지들을 생성하고 제2 동작 모드에서 하나의 밝기에 상응하는 단일 노이즈 이미지의 노이즈를 저감하여 단일 클린 이미지를 생성한다. 상기 HDR 회로는 상기 제1 동작 모드에서 상기 복수의 클린 노출 이미지들을 병합하여 하이 다이내믹 레인지(HDR) 이미지를 생성한다. 상기 후처리 회로는 상기 제1 동작 모드에서 상기 HDR 이미지를 프로세싱하고 상기 제2 동작 모드에서 상기 단일 클린 이미지를 프로세싱하여 출력 이미지를 생성한다. 이미지의 병합 전에 복수의 노이즈 노출 이미지들의 노이즈를 저감함으로써 HDR 이미지의 신호-잡음비(SNR, Signal-to-Noise Ratio) 단차(dip)를 감소하고 HDR 이미지의 화질을 향상할 수 있다.

Description

이미지 신호 프로세서 및 이미지 프로세싱 방법{Image signal processor and method of processing images}

본 발명은 반도체 집적 회로에 관한 것으로서, 더욱 상세하게는 하이 다이내믹 레인지(HDR) 이미지의 화질을 향상하기 위한 이미지 신호 프로세서 및 이미지 프로세싱 방법에 관한 것이다.

이미지 처리 시스템은 광학 렌즈를 통하여 입사된 피사체의 광학적 신호를 전기적 신호로 이미지로 변환하는 이미지 센서 및 생성된 이미지에 대하여 이미지 처리를 수행하는 프로세서를 포함할 수 있다. 이미지 센서가 수용할 수 있는 밝기의 범위는 사람의 눈이 수용할 수 있는 밝기의 범위보다 좁다. 따라서, 역광이 비추는 상황에서 촬상된 이미지는 배경은 밝고 피사체가 지나치게 어둡게 나타나는 등 사람의 눈이 보는 실제 이미지와 상이할 수 있다. 이에, 동일한 피사체를 노출 시간을 달리하여 촬상하거나 전기적 신호를 증폭하는 방법 등에 의해, 밝기가 상이한 복수의 이미지를 생성하고, 복수의 이미지들을 프로세싱하여 이미지의 다이나믹 레인지(Dynamic Range)를 넓히는 HDR(High Dynamic Range) 기법이 이용된다.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 하이 다이내믹 레인지(HDR, High Dynamic range) 이미지의 화질을 향상할 수 있는 이미지 신호 프로세서를 제공하는 것이다.

또한 본 발명의 일 목적은, HDR 이미지의 화질을 향상할 수 있는 이미지 프로세싱 방법을 제공하는 것이다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 신호 프로세서는, 노이즈 저감 회로, 하이 다이내믹 레인지(HDR) 회로, 및 후처리 회로를 포함한다.

상기 노이즈 저감 회로는 제1 동작 모드에서 복수의 들에 각각 상응하는 복수의 노이즈 노출 이미지들의 노이즈를 저감하여 상기 복수의 밝기들에 각각 상응하는 복수의 클린 노출 이미지들을 생성하고 제2 동작 모드에서 하나의 밝기에 상응하는 단일 노이즈 이미지의 노이즈를 저감하여 단일 클린 이미지를 생성한다.

상기 HDR 회로는 상기 제1 동작 모드에서 상기 복수의 클린 노출 이미지들을 병합하여 하이 다이내믹 레인지(HDR) 이미지를 생성한다.

상기 후처리 회로는 상기 제1 동작 모드에서 상기 HDR 이미지를 프로세싱하고 상기 제2 동작 모드에서 상기 단일 클린 이미지를 프로세싱하여 출력 이미지를 생성한다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 신호 프로세서는, 제1 동작 모드에서 복수의 밝기들에 각각 상응하는 복수의 노이즈 노출 이미지들을 라인 단위로 버퍼링하여 출력하고 제2 동작 모드에서 하나의 밝기에 상응하는 단일 노이즈 이미지를 라인 단위로 버퍼링하여 출력하는 라인 버퍼 컨트롤 회로, 상기 제1 동작 모드에서 상기 라인 버퍼 컨트롤 회로로부터 전송되는 상기 복수의 노이즈 노출 이미지들을 각각 수신하고 상기 복수의 클린 노출 이미지들을 각각 생성하고, 상기 제2 동작 모드에서 상기 라인 버퍼 컨트롤 회로로부터 전송되는 상기 단일 노이즈 이미지를 수신하고 상기 단일 클린 이미지를 생성하는 복수의 디노이징 회로들, 상기 제1 동작 모드에서 상기 복수의 노이즈 노출 이미지들의 픽셀 데이터의 사이즈를 증가하여 복수의 노이즈 정규 이미지들을 생성하고 상기 복수의 클린 노출 이미지들의 픽셀 데이터의 사이즈를 증가하여 복수의 클린 정규 이미지들을 생성하는 정규화부, 상기 제1 동작 모드에서 상기 복수의 노이즈 정규 이미지들에 기초하여 가중치들을 생성하는 가중치 생성부, 상기 제1 동작 모드에서 상기 가중치들에 기초하여 상기 복수의 클린 정규 이미지들을 병합하여 상기 HDR 이미지를 생성하는 병합부, 및 상기 제1 동작 모드에서 상기 HDR 이미지를 프로세싱하고 상기 제2 동작 모드에서 상기 단일 클린 이미지를 프로세싱하여 출력 이미지를 생성하는 후처리 회로를 포함한다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 프로세싱 방법은, 제1 동작 모드에서 복수의 밝기들에 각각 상응하는 복수의 노이즈 노출 이미지들의 노이즈를 저감하여 상기 복수의 밝기들에 각각 상응하는 복수의 클린 노출 이미지들을 생성하는 단계, 제2 동작 모드에서 하나의 밝기에 상응하는 단일 노이즈 이미지의 노이즈를 저감하여 단일 클린 이미지를 생성하는 단계, 상기 제1 동작 모드에서 상기 복수의 클린 노출 이미지들을 병합하여 하이 다이내믹 레인지(HDR) 이미지를 생성하는 단계, 상기 제1 동작 모드에서 상기 HDR 이미지를 프로세싱하여 출력 이미지를 생성하는 단계 및 상기 제2 동작 모드에서 상기 단일 클린 이미지를 프로세싱하여 상기 출력 이미지를 생성하는 단계를 포함한다.

본 발명의 실시예들에 따른 이미지 신호 프로세서 및 이미지 프로세싱 방법은, 이미지의 병합 전에 복수의 노이즈 노출 이미지들의 노이즈를 저감함으로써 HDR 이미지의 신호-잡음비(SNR, Signal-to-Noise Ratio) 단차(dip)를 감소하고 HDR 이미지의 화질을 향상할 수 있다.

또한, 본 발명의 실시예들에 따른 이미지 신호 프로세서 및 이미지 프로세싱 방법은, 이미지 병합시 사용하는 라인 버퍼들의 효율적인 제어를 통하여 하드웨어 비용의 증가를 최소화하면서 HDR 이미지의 화질을 향상할 수 있고, 단일 노이즈 이미지의 경우에 버퍼링되는 데이터 라인들의 개수를 증가하여 노이즈 저감 성능을 더욱 향상할 수 있다.

도 1은 본 발명의 실시예들에 따른 이미지 신호 프로세서를 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 이미지 프로세싱 방법을 나타내는 순서도이다.
도 3a 및 3b는 각 동작 모드에 따른 데이터 처리 과정을 나타내는 도면들이다.
도 4는 본 발명의 실시예들에 따른 이미지 프로세싱 방법을 수행하는 시스템의 일 실시예를 나타내는 블록도이다.
도 5는 본 발명의 실시예들에 따른 이미지 센서를 나타내는 블록도이다.
도 6은 도 5의 이미지 센서에 포함되는 단위 픽셀의 일 실시예를 나타내는 회로도이다.
도 7a 및 7b는 본 발명의 실시예들에 따른 이미지 프로세싱 방법의 이미지들을 나타내는 도면들이다.
도 8a 및 8b는 본 발명의 실시예들에 따른 이미지 신호 프로세서에 포함되는 노이즈 저감 회로의 일 실시예 및 각 동작 모드에 따른 데이터 처리 과정을 나타내는 도면들이다.
도 9는 본 발명의 실시예들에 따른 이미지 신호 프로세서에 포함되는 HDR 회로의 일 실시예를 나타내는 도면이다.
도 10은 도 9의 HDR 회로의 동작 타이밍을 나타내는 도면이다.
도 11은 본 발명의 실시예들에 따른 이미지 프로세싱 방법의 노이즈 저감의 일 실시예를 나타내는 순서도이다.
도 12a는 도 5의 이미지 센서에 포함되는 픽셀 어레이의 레이아웃을 나타내는 평면도이다.
도 12b는 도 12a의 픽셀 어레이의 단위 패턴의 실시예들을 나타내는 도면이다.
도 13은 본 발명의 실시예들에 따른 이미지 신호 프로세서에 포함되는 디노이징 회로의 일 실시예를 나타내는 블록도이다.
도 14는 본 발명의 실시예들에 따른 노이즈 저감 방법을 위한 로컬 윈도우를 설명하기 위한 도면이다.
도 15는 베이어 패턴에 대하여 적색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.
도 16은 도 15의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다.
도 17은 베이어 패턴에 대하여 녹색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.
도 18은 도 17의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다.
도 19는 베이어 패턴에 대하여 청색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.
도 20은 도 19의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다.
도 21은 본 발명의 실시예들에 따른 이미지 프로세싱 방법의 노이즈 저감의 일 실시예를 나타내는 순서도이다.
도 22는 본 발명의 실시예들에 따른 이미지 신호 프로세서에 포함되는 디노이징 회로의 일 실시예를 나타내는 블록도이다.
도 23은 베이어 패턴에 대하여 적색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.
도 24는 본 발명의 실시예들에 따른 이미지 프로세싱 방법에 의한 SNR 단차의 감소를 나타내는 도면이다.
도 25a 및 25b는 본 발명의 실시예들에 따른 이미지 프로세싱 방법에 의한 이미지 화질 향상을 나타내는 도면들이다.
도 26은 본 발명의 실시예들에 따른 시스템을 나타내는 블록도이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예들에 따른 이미지 신호 프로세서를 나타내는 블록도이고, 도 2는 본 발명의 실시예들에 따른 이미지 프로세싱 방법을 나타내는 순서도이다.

도 1을 참조하면, 이미지 신호 프로세서(10)는 노이즈 저감 회로(NRC)(30), 하이 다이내믹 레인지(HDR, High Dynamic Range) 회로(HDRC)(50) 및 후처리 회로(PPC)(70)을 포함하여 구현될 수 있다.

이미지 신호 프로세서(10)는 모드 신호(MD)에 기초하여 제1 동작 모드 및 제2 동작 모드 중 하나에서 선택적으로 동작할 수 있다. 동작 모드를 나타내는 모드 신호(MD)는 이미지 신호 프로세서(10)를 포함하는 시스템의 중앙 처리 장치(CPU)와 같은 메인 컨트롤러로부터 제공될 수 있다.

노이즈 저감 회로(30)는 상기 제1 동작 모드에서 복수의 밝기(brightness)들에 각각 상응하는 복수의 노이즈 노출 이미지들(IES, IEM, IEL)을 수신할 수 있다. 복수의 노이즈 노출 이미지들(IES, IEM, IEL)은 동일한 피사체를 노출 시간을 달리하여 촬상하거나 전기적 신호를 증폭하는 방법 등에 의해 서로 다른 밝기들을 가질 수 있다. 이하, 노출 시간을 다르게 하여 서로 다른 밝기를 구현하는 것을 중심으로 본 발명의 실시예들을 설명하지만 이에 한정되는 것은 아니다. 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 서로 다른 밝기들은 다양한 방법으로 구현될 수 있다.

예를 들어, 제1 노이즈 노출 이미지(IES)는 단 노출(short exposure) 이미지에 해당하고, 제2 노이즈 노출 이미지(IEM)는 중 노출(medium exposure) 이미지에 해당하고, 제3 노이즈 노출 이미지(IEL)는 장 노출(long exposure) 이미지에 해당할 수 있다.

한편, 노이즈 저감 회로(30)는 상기 제2 동작 모드에서 하나의 밝기에 상응하는 단일 노이즈 이미지를 수신할 수 있다. 이하, 도시 및 설명의 편의상 제1 노이즈 노출 이미지(IES)가 상기 단일 노이즈 이미지에 해당하는 것으로 간주하고 본 발명의 실시예들을 설명한다. 상기 제1 동작 모드에서 복수의 노이즈 노출 이미지들(IES, IEM, IEL) 중 하나로서 수신되는 제1 노이즈 노출 이미지(IES)와 상기 제2 동작 모드에서 수신되는 단일 노이즈 이미지(IES)의 픽셀 데이터의 비트 수, 노출 시간 등은 동일할 수 있고 상이할 수도 있다.

도 1 및 2를 참조하면, 노이즈 저감 회로(30)는 제1 동작 모드에서 복수의 밝기들에 각각 상응하는 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 노이즈를 저감하여 상기 복수의 밝기들에 각각 상응하는 복수의 클린 노출 이미지들(IESC, IEMC, IELC)을 생성할 수 있다(S100).

또한, 노이즈 저감 회로(30)는 제2 동작 모드에서 하나의 밝기에 상응하는 단일 노이즈 이미지(IES)의 노이즈를 저감하여 단일 클린 이미지(IESC)를 생성할 수 있다(S200).

HDR 회로(50)는 상기 제1 동작 모드에서 복수의 클린 노출 이미지들(IESC, IEMC, IELC)을 병합하여 HDR 이미지(IHDR)를 생성할 수 있다(S300).

후처리 회로(70)는 상기 제1 동작 모드에서 HDR 이미지(IHDR)를 프로세싱하여 출력 이미지(IOUT)를 생성할 수 있다(S400). 또한, 후처리 회로(70)는 상기 제2 동작 모드에서 단일 클린 이미지(IES)를 프로세싱하여 출력 이미지(IOUT)를 생성할 수 있다(S500).

도 2에는 제1 동작 모드 및 제2 동작 모드와 관련된 동작들이 함께 도시되어 있다. 전술한 바와 같이, 이미지 신호 프로세서(10)는 모드 신호(MD)에 기초하여 제1 동작 모드 및 제2 동작 모드 중 하나에서 선택적으로 동작할 수 있으며, 도 2의 단계들(S100, S200, S300, S400, S500)이 모두 순차적으로 수행되는 것은 아니다.

일 실시예에서, 노이즈 저감 회로(30)는 상기 제1 동작 모드에서 이미지 센서의 컬러 필터 어레이에 상응하는 복수의 노이즈 노출 이미지들(IES, IEM, IEL)을 각각 수신하고 복수의 클린 노출 이미지들(IESC, IEMC, IELC)을 각각 생성하는 복수의 디노이징 회로들(DNC1, DNC2, DNC3)을 포함할 수 있다. 제1 디노이징 회로(DNC1)는 제1 노이즈 노출 이미지(IES)의 노이즈를 저감하여 제1 클린 노출 이미지(IESC)를 생성할 수 있다. 제2 디노이징 회로(DNC2)는 제2 노이즈 노출 이미지(IEM)의 노이즈를 저감하여 제2 클린 노출 이미지(IEMC)를 생성할 수 있다. 제3 디노이징 회로(DNC3)는 제3 노이즈 노출 이미지(IEL)의 노이즈를 저감하여 제3 클린 노출 이미지(IELC)를 생성할 수 있다. 디노이징 회로의 구성 및 동작에 관한 실시예들은 도 11 내지 23을 참조하여 후술한다.

일 실시예에서, HDR 회로(50)는 정규화부(NML), 가중치 생성부(WTG) 및 병합부(MRC)를 포함할 수 있다. HDR 회로(50)의 실시예들은 도 9 및 10을 참조하여 후술한다.

후처리 회로(70)는 동작 모드에 따라서 선택적으로 수신되는 HDR 이미지(IHDR) 및 단일 클린 이미지(IESC)에 대한 후처리(post-processing)을 수행하기 위한 적어도 하나의 파이프라인 회로(PLC)를 포함할 수 있다. 파이프라인 회로(PLC)는 입력되는 이미지들의 데이터 라인에 대한 순차적인 프로세싱을 위해 직렬로 연결된 복수의 프로세싱 모듈들(M1, M2, M3)을 포함하는 파이프라인 회로(PLC)를 하나 이상 포함할 수 있다. 상기 후처리는 밝기 조정(brightness), 선명도(sharpness) 조정, 이미지 사이즈 변경, 데이터 포맷 변경 등을 포함할 수 있다.

파이프라인 회로(PLC)는 하나의 데이터 라인에 대한 프로세스를 여러 개의 서브 프로세스들(subprocesses)로 나누어 서로 다른 기능을 가진 복수의 프로세싱 모듈들(M1, M2, M3)이 각각 담당하는 것이다. 각 프로세싱 모듈에서 수행된 프로세싱 결과는 다음의 프로세싱 모듈로 연속적으로 전달될 수 있고, 마지막 프로세싱 모듈에서 최종적인 파이프라인 프로세싱의 결과가 출력될 수 있다. 복수의 프로세싱 모듈들(M1, M2, M3)은 순차적으로 입력되는 복수의 데이터 라인들에 대한 서브 프로세스들의 각각을 중첩적으로 수행할 수 있고, 따라서 파이프라인 회로(PLC)를 이용하여 복수의 데이터 라인들에 대한 전체 프로세싱 시간을 단축할 수 있다.

한편, 도면에 도시하지는 않았으나, 이미지 신호 프로세서(10)는 노이즈 저감 회로(30)의 전단에 배치되는 전처리 회로를 더 포함할 수 있다. 상기 전처리 회로는 이미지 센서 또는 메모리로부터 제공되는 이미지들에 대한 전처리(pre-processing)를 수행하여 복수의 노이즈 노출 이미지들(IES, IEM, IEL) 또는 단일 노이즈 이미지(IES)를 노이즈 저감 회로(30)에 제공할 수 있다. 상기 전처리는 블랙 레벨 보상, 렌즈 쉐이딩 보상, 크로스토크 보상, 배드 픽셀 수정, 압축 해제(decompressing) 등을 포함할 수 있다.

상기 후처리 및/또는 이미지의 노이즈를 저감하는 기능을 포함할 수 있다. 후처리 회로(70) 및 전처리 회로에 의해 수행되는 노이즈 저감 기능은 도 11 내지 23을 참조하여 후술하는 바와 같은 컬러 필터 어레이와 관련된 노이즈의 저감 기능과는 상이할 수 있다.

종래에는 복수의 노이즈 노출 이미지들(IES, IEM, IEL)을 병합하여 HDR 이미지(IHDR)를 생성한 후에 HDR 이미지(IHDR)에 대하여 노이즈 저감 프로세싱을 수행하였다. 이 경우, 각각의 노출 이미지로부터 전달되는 신호-잡음비(SNR, Signal-to-Noise Ratio) 단차(dip)에 기인한 이질감으로 이미지의 화질이 훼손될 수 있다.

본 발명의 실시예들에 따른 이미지 신호 프로세서(10) 및 이미지 프로세싱 방법은, 이미지의 병합 전에 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 노이즈를 저감함으로써 HDR 이미지(IHDR)의 SNR 단차를 감소하고 HDR 이미지의 화질을 향상할 수 있다.

도 3a 및 3b는 각 동작 모드에 따른 데이터 처리 과정을 나타내는 도면들이다. 도 3a 및 3b에서, 빗금친(hatched) 구성요소들은 인에이블됨(ENABLED)을 나타내고 그 외의 구성요소들은 디스에이블됨(DISABLED)을 나타낸다.

도 3a 및 3b를 참조하면, 노이즈 저감 회로(30)는 복수의 디노이징 회로들(DNC1, DNC2, DNC3)을 포함할 수 있다. 도 3a는 제1 동작 모드에서의 데이터 처리 과정을 나타내고, 도 3b는 제2 동작 모드에서의 데이터 처리 과정을 나타낸다.

도 3a를 참조하면, 제1 동작 모드에서, 복수의 디노이징 회로들(DNC1, DNC2, DNC3), HDR 회로(50) 및 후처리 회로(70)가 모두 인에이블될 수 있다.

제1 동작 모드에서, 복수의 디노이징 회로들(DNC1, DNC2, DNC3)은 복수의 노이즈 노출 이미지들(IES, IEM, IEL)을 각각 수신하고 복수의 클린 노출 이미지들(IESC, IEMC, IELC)을 각각 생성할 수 있다. 제1 디노이징 회로(DNC1)는 제1 노이즈 노출 이미지(IES)의 노이즈를 저감하여 제1 클린 노출 이미지(IESC)를 생성할 수 있다. 제2 디노이징 회로(DNC2)는 제2 노이즈 노출 이미지(IEM)의 노이즈를 저감하여 제2 클린 노출 이미지(IEMC)를 생성할 수 있다. 제3 디노이징 회로(DNC3)는 제3 노이즈 노출 이미지(IEL)의 노이즈를 저감하여 제3 클린 노출 이미지(IELC)를 생성할 수 있다.

제1 동작 모드에서, HDR 회로(50)는 복수의 클린 노출 이미지들(IESC, IEMC, IELC)을 병합하여 HDR 이미지(IHDR)를 생성하고, 후처리 회로(70)는 HDR 이미지(IHDR)를 프로세싱하여 출력 이미지(IOUT)를 생성할 수 있다.

도 3b를 참조하면, 제2 동작 모드에서, 복수의 디노이징 회로들(DNC1, DNC2, DNC3) 중 하나의 디노이징 회로, 예를 들어, 제1 디노이징 회로(DNC1)만이 인에이블되고 나머지 디노이징 회로들(DNC2, DNC3)은 디스에이블될 수 있다. 한편, HDR 회로(50)는 디스에이블되고 후처리 회로(70)는 인에이블될 수 있다.

제2 동작 모드에서, 인에이블되는 제1 디노이징 회로(DNC1)는, 단일 노이즈 이미지(IES)를 수신하고 단일 노이즈 이미지(IES)의 노이즈를 저감하여 단일 클린 이미지(IESC)를 생성할 수 있다. 단일 클린 이미지(IESC)는 디스에이블된 HDR 회로(50)를 바이패스하여 후처리 회로(70)로 전송될 수 있다. 후처리 회로(70)는 단일 클린 이미지(IESC)를 프로세싱하여 출력 이미지(IOUT)를 생성할 수 있다.

도 4는 본 발명의 실시예들에 따른 이미지 프로세싱 방법을 수행하는 시스템의 일 실시예를 나타내는 블록도이다.

도 4를 참조하면, 시스템(1000)은 카메라부(CAM)(1114), 트랜시버(TRX)(1140), 제어 유닛(1160) 및 사용자 인터페이스(1150)를 포함할 수 있다.

카메라부(1114)는 이미지를 캡쳐하여 제공하는 적어 하나의 이미지 센서 또는 적어도 하나의 카메라를 포함할 수 있다. 일 실시예에서, 카메라부(1114)는 복수의 카메라들을 포함할 수 있고, 상기 복수의 카메라들에 의해 각각 캡쳐된 이미지들을 병합 대상이 되는 복수의 입력 이미지들로서 제공할 수 있다. 다른 실시예에서, 카메라부(1114)는 1개의 카메라에 의해 순차적으로 캡쳐된 이미지들을 병합 대상이 되는 복수의 입력 이미지들로서 제공할 수 있다.

일 실시예에서, 카메라부(1114)는 서로 다른 복수의 밝기들(예를 들어, 노출 시간들)에 각각 상응하는 복수의 노이즈 노출 이미지들(IES, IEM, IEL) 생성하는 HDR 이미지 센서를 포함할 수 있다. 일 실시예에서, 상기 HDR 이미지 센서는 복수의 노이즈 노출 이미지들(IES, IEM, IEL)을 순차적으로 캡쳐(sequentially capture)하는 시간 멀티플렉싱(temporal multiplexing)을 수행하도록 구현될 수 있다. 다른 실시예에서, 상기 HDR 이미지 센서는 복수의 노이즈 노출 이미지들(IES, IEM, IEL)을 서로 다른 밝기들에 상응하는 픽셀 그룹들이 공간적으로 인터리빙되는 공간 멀티플렉싱(spatial multiplexing) 방식으로 구현되어 복수의 노이즈 노출 이미지들(IES, IEM, IEL)을 제공할 수 있다.

트랜시버(140)는 유선 또는 무선 통신 링크를 통해 또 다른 네트워크(예를 들어, 광역 네트워크, 이를테면, 인터넷 또는 셀룰러 네트워크)로의 연결성(connectivity)을 제공할 수 있다.

사용자 인터페이스(1150)는 키보드, 키패드와 같은 입력 수단(DSP)(1152) 및 이미지를 표시하는 디스플레이(DIS)(1112)를 포함할 수 있다. 터치 스크린/센서를 갖는 디스플레이(1112)로 가상 키패드를 통합시키는 경우 키보드 또는 키패드(1152)는 생략될 수 있다.

제어 유닛(1116)은 범용 프로세서(PRC)(1161), 하드웨어(HW)(1162), 펌웨어(FW)(1163), 저장부(MEM)(1164), 디지털 신호 프로세서(DSP)(1166), 그래픽 엔진(GENG)(1167) 및 버스(1177)을 포함할 수 있다.

제어 유닛(1160)은 본 발명의 실시예들에 따른 이미지 프로세싱 방법을 구현하도록 구성될 수 있다. 예를 들어, 제어 유닛(1160)은 전술한 바와 같은 이미지 신호 프로세서(10)의 기능들을 구현하도록 구성될 수 있다.

본 발명의 실시예들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다.

일 실시예에서, 본 발명의 실시예들에 따른 이미지 프로세싱 방법은 디지털 신호 프로세서(1166)에 의해 수행될 수 있다. 즉 전술한 도 1의 이미지 신호 프로세서(10)는 도 4의 디지털 신호 프로세서(1166)에 해당할 수 있다. 본 발명의 실시예들에 따른 이미지 프로세싱 방법은 그래픽 처리 장치(GPU), 신경망 처리 장치(NPU), 이미지 신호 프로세서(ISP), 디지털 신호 프로세서(DSP), CPU 등에 포함되는 계산 회로에 의해 수행되거나, 전용 장치에 의해 수행될 수 있다.

일 실시예에서, 본 발명의 실시예들에 따른 이미지 프로세싱 방법의 적어도 일부는 데이터 처리 장치로 하여금 이미지 프로세싱하게 하는 실행가능한 프로그램 명령들의 형태로 구현될 수 있다. 상기 프로그램 명령들은 소프트웨어(SW)(1165)의 형태로 저장부(1164)에 저장되고 프로세서(1161) 및/또는 디지털 신호 프로세서(1166)에 의해 상기 프로그램 명령들이 실행될 수 있다.

프로세서(1161)는, 컴퓨터 프로그램을 구성하는 명령들과 같은, 명령들을 실행하기 위한 하드웨어를 포함한다. 명령들을 실행하기 위해, 프로세서(1161)는 내부 레지스터, 내부 캐시(cache), 저장부(1164)로부터 상기 명령들을 검색(retrieve)(또는 페치(fetch))하고; 상기 명령들을 디코딩 및 실행하고; 그 다음에, 하나 이상의 결과들을 내부 레지스터, 내부 캐시 및/또는 저장부(1164)에 기입할 수 있다.

시스템(1000)은 어떤 적절한 물리적 형태를 취하는 컴퓨터 시스템일 수 있다. 시스템(1000)은 내장형(embedded) 컴퓨터 시스템, 시스템-온-칩(system-on-chip: SOC), 단일-보드 컴퓨터 시스템(single-board computer system: SBC)(예를 들면, 컴퓨터-온-모듈(computer-on-module: COM) 또는 시스템-온-모듈(system-on-module: SOM)과 같은 것), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 대화형 키오스크(interactive kiosk), 메인프레임, 컴퓨터 시스템들의 메시(mesh), 모바일 전화, 개인 정보 단말기(personal digital assistant: PDA), 서버, 태블릿 컴퓨터 시스템, 또는 이들 중 둘 이상의 조합일 수 있다.

본 명세서에서, 컴퓨터-판독가능한 저장 매체 또는 매체들은, 적절한 경우, 하나 이상의 반도체-기반 또는 기타 집적 회로들(integrated circuits: ICs)(예를 들면, 필드 프로그램가능 게이트 어레이들(field-programmable gate arrays: FPGAs) 또는 애플리케이션 특정적 IC들(application-specific ICs: ASICs)), 하드디스크 드라이브들(HDDs), 하이브리드 하드 드라이브들(hybrid hard drives: HHDs), 광디스크들, 광디스크 드라이브들(optical disc drives: ODDs), 광자기 디스크들, 광자기 드라이브들, 플로피 디스켓들, 플로피 디스크 드라이브들(floppy disk drives: FDDs), 자기 테이프들, 고체 상태 드라이브들(SSDs), RAM 드라이브들, 시큐어 디지털(SECURE DIGITAL) 카드들 또는 드라이브들, 다른 어떤 적절한 컴퓨터-판독가능한 저장 매체들, 또는 이들 중 둘 이상의 어떤 적절한 조합을 포함할 수 있다. 적절한 경우, 컴퓨터-판독가능한 저장 매체는 휘발성, 비휘발성, 또는 휘발성 및 비휘발성의 조합일 수 있다.

도 5는 본 발명의 실시예들에 따른 이미지 센서를 나타내는 블록도이다.

도 5를 참조하면, 이미지 센서(600)는 픽셀 어레이(pixel array)(620), 행 구동부(row driver)(630), 아날로그-디지털 변환(Analog-to-Digital Conversion; ADC)부(640), 칼럼 구동부(column driver)(650), 제어부(controller)(660) 및 기준 전압 발생기(REF)(670)를 포함할 수 있다.

픽셀 어레이(620)는 칼럼 라인(COL)들에 각각 결합되고, 입사광을 감지하여 칼럼 라인(COL)들을 통하여 아날로그 신호들을 발생하는 복수의 픽셀(700)들을 포함한다. 복수의 픽셀들은 복수의 행들과 복수의 열들로 이루어진 매트릭스 형태로 배열될 수 있다. 픽셀 어레이(620)는 도 12a 및 12b를 참조하여 후술하는 바와 같이 다양한 단위 패턴들이 행 방향(X) 및 열 방향(Y)으로 반복적으로 배열되는 구조를 가질 수 있다.

행 구동부(630)는 픽셀 어레이(620)의 각 행에 연결되고, 상기 각 행을 구동하는 구동 신호를 생성할 수 있다. 예를 들어, 행 구동부(630)는 픽셀 어레이(620)에 포함되는 상기 복수의 픽셀들을 행 단위로 구동할 수 있다.

아날로그-디지털 변환부(640)는 픽셀 어레이(620)의 각 칼럼(column, 열)에 연결되고, 픽셀 어레이(620)로부터 출력되는 아날로그 신호를 디지털 신호로 변환한다. 아날로그-디지털 변환부(640)는 복수의 아날로그-디지털 컨버터(641)들을 포함하며, 각 칼럼 라인(COL)마다 출력되는 아날로그 신호들을 병렬로(즉, 동시에) 디지털 신호들로 변환하는 칼럼 ADC를 수행할 수 있다.

실시예에 따라서, 아날로그-디지털 변환부(640)는 유효 신호 성분을 추출하기 위한 하나의 상관 이중 샘플링(correlated double sampling; CDS)부를 포함할 수 있다. 일 실시예에서, 상기 상관 이중 샘플링부는 리셋 성분을 나타내는 아날로그 리셋 신호와 이미지 성분을 나타내는 아날로그 이미지 신호의 차이에 기초하여 상기 유효 이미지 성분을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다. 다른 실시예에서, 상기 상관 이중 샘플링부는 상기 아날로그 리셋 신호와 상기 아날로그 이미지 신호를 디지털 신호들로 각각 변환한 후 상기 유효 이미지 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다. 또 다른 실시예에서, 상기 상관 이중 샘플링부는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.

칼럼 구동부(650)는 아날로그-디지털 변환부(640)로부터의 디지털 신호들을 출력 데이터(Dout)로서 순차적으로 출력할 수 있다.

제어부(660)는 행 구동부(630), 아날로그-디지털 변환부(640), 칼럼 구동부(650) 및 기준 신호 생성부(670)를 제어할 수 있다. 제어부(660)는 행 구동부(630), 아날로그-디지털 변환부(640), 칼럼 구동부(650) 및 기준 신호 생성부(670)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 제공할 수 있다. 일 실시예에서, 제어부(660)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.

기준 신호 생성부(670)는 점진적으로 증가하거나 감소하는 전압 레벨을 갖는 기준 신호 또는 램프 신호를 발생하여 아날로그-디지털 변환부(640)에 제공할 수 있다.

도 6은 도 5의 이미지 센서에 포함되는 단위 픽셀의 일 실시예를 나타내는 회로도이다.

도 6을 참조하면, 단위 픽셀(700a)은, 광변 전환 소자로서 포토다이오드(PD)를 포함하고, 데이터 독출을 위한 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다.

예를 들어, 포토다이오드(PD)는 p형 반도체 기판에 형성되는 n형 영역을 포함할 수 있으며, 상기 n형 영역과 상기 p형 기판이 p-n 접합 포토다이오드일 수 있다. 포토다이오드(PD)는 외부로부터 광(예를 들어, 가시광선 또는 적외선)을 수신하고, 수신된 광에 기초하여 광 전하(Photo Charge)를 생성한다.

실시예에 따라, 단위 픽셀(700a)은 포토다이오드(PD)와 함께, 또는 포토다이오드(PD)를 대신하여 포토 트랜지스터, 포토 게이트, 핀드 포토 다이오드 등을 포함할 수 있다.

포토다이오드(PD)에서 생성된 광 전하는 전송 트랜지스터(TX)를 통하여 플로팅 디퓨전 영역(FD)으로 전송된다. 예를 들어, 전송 제어 신호(TG)가 제1 레벨(예컨대, 하이 레벨)을 가질 때에 전송 트랜지스터(TX)가 턴온되고, 포토다이오드(PD)에서 생성된 광 전하는 턴온된 전송 트랜지스터(TX)를 통하여 플로팅 디퓨전 영역(FD)으로 전송될 수 있다.

드라이브 트랜지스터(DX)는 소스 팔로워 버퍼 증폭기(Source Follower buffer Amplifier) 역할을 하여 플로팅 디퓨전 영역(FD)에 충전된 전하에 대응하는 신호를 증폭할 수 있다. 선택 트랜지스터(SX)는 선택 신호(SEL)에 응답하여 상기 증폭된 신호, 즉 픽셀 신호(Vpix)를 컬럼 라인(COL)에 전송할 수 있다.

플로팅 디퓨전 영역(FD)은 리셋 트랜지스터(RX)에 의해 리셋될 수 있다. 예를 들어, 리셋 트랜지스터(RX)는 리셋 신호(RS)에 응답하여 플로팅 디퓨전 영역(FD)에 저장되어 있는 광 전하를 상관 이중 샘플링(CDS: Correlated Double Sampling) 동작을 위한 일정한 주기로서 방전시킬 수 있다.

도 6에서는 하나의 포토다이오드(PD)와 4개의 트랜지스터들(TX, RX, DX, SX)을 구비하는 단위 픽셀을 예시하고 있지만 본 발명에 따른 실시예들이 이에 한정되는 것은 아니다.

도 7a 및 7b는 본 발명의 실시예들에 따른 이미지 프로세싱 방법의 이미지들을 나타내는 도면들이다. 도 7a 및 7b에는 하나의 프레임에 해당하는 이미지들이 도시되어 있다.

도 7a를 참조하면, 전술한 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 각각은 복수의 데이터 라인들을 포함할 수 있다. 제1 노이즈 노출 이미지(IES)는 복수의 데이터 라인들(SIL1~SILk)을 포함할 수 있고, 제2 노이즈 노출 이미지(IEM)는 복수의 데이터 라인들(MIL1~MILk)을 포함할 수 있고, 제3 노이즈 노출 이미지(IEL)는 복수의 데이터 라인들(LIL1~LILk)을 포함할 수 있다. 복수의 노이즈 노출 이미지들(IES, IEM, IEL)은 모두 동일한 장면(scene)을 캡쳐한 이미지들일 수 있다. 다시 말해, 제1 노이즈 노출 이미지(IES)의 n번째 데이터 라인(SILn)(여기서, n은 1이상 k이하의 자연수), 제2 노이즈 노출 이미지(IEM)의 n번째 데이터 라인(MILn) 및 제3 노이즈 노출 이미지(IEL)의 n번째 데이터 라인(LILn)은 상기 장면의 동일한 부분을 나타낼 수 있다. 이와 같은 데이터 라인들은 도 8a 및 8b를 참조하여 후술하는 바와 같이 라인 단위로 라인 버퍼 컨트롤 회로(LBC)로 제공될 수 있다.

도 7b를 참조하면, 전술한 복수의 클린 노출 이미지들(IESC, IEMC, IELC)의 각각은 복수의 데이터 라인들을 포함할 수 있다. 제1 클린 노출 이미지(IESC)는 복수의 데이터 라인들(SILC1~SILCk)을 포함할 수 있고, 제2 클린 노출 이미지(IEMC)는 복수의 데이터 라인들(MILC1~MILCk)을 포함할 수 있고, 제3 클린 노출 이미지(IELC)는 복수의 데이터 라인들(LILC1~LILCk)을 포함할 수 있다. HDR 회로(50)는 라인 단위로 이미지를 병합하여 HDR 이미지(IHDR)의 데이터 라인들을 라인 단위로 생성할 수 있다. 다시 말해, HDR 회로(50)는 제1 클린 노출 이미지(IESC)의 n번째 데이터 라인(SILCn)(여기서, n은 1이상 k이하의 자연수), 제2 클린 노출 이미지(IEMC)의 n번째 데이터 라인(MILCn) 및 제3 클린 노출 이미지(IELC)의 n번째 데이터 라인(LILCn)을 병합하여 HDR 이미지(IHDR)의 n번째 데이터 라인(HILn)을 생성할 수 있다.

도 8a 및 8b는 본 발명의 실시예들에 따른 이미지 신호 프로세서에 포함되는 노이즈 저감 회로의 일 실시예 및 각 동작 모드에 따른 데이터 처리 과정을 나타내는 도면들이다. 도 8a 및 8b에서, 빗금친(hatched) 구성요소들은 인에이블됨(ENABLED)을 나타내고 그 외의 구성요소들은 디스에이블됨(DISABLED)을 나타낸다.

도 8a 및 8b를 참조하면, 노이즈 저감 회로(30)는 라인 버퍼 컨트롤 회로(LBC) 및 복수의 디노이징 회로들(DNC1, DNC2, DNC3)을 포함할 수 있다. 라인 버퍼 컨트롤 회로(LBC)는 복수의 버퍼 그룹들(BG1, BG2, BG3)을 포함할 수 있다. 도 8a는 제1 동작 모드에서의 데이터 처리 과정을 나타내고, 도 8b는 제2 동작 모드에서의 데이터 처리 과정을 나타낸다.

도 8a를 참조하면, 제1 동작 모드에서 복수의 버퍼 그룹들(BG1, BG2, BG3) 및 복수의 디노이징 회로들(DNC1, DNC2, DNC3)이 모두 인에이블될 수 있다.

제1 동작 모드에서, 라인 버퍼 컨트롤 회로(LBC)는 복수의 노이즈 노출 이미지들(IES, IEM, IEL)을 라인 단위로 버퍼링하여 출력할 수 있다. 제1 동작 모드에서, 복수의 버퍼 그룹들(BG1, BG2, BG3)은 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 데이터 라인들을 각각 저장할 수 있다. 예를 들어, 복수의 버퍼 그룹들(BG1, BG2, BG3)의 각각은 이전에 수신된 2개의 데이터 라인들을 저장하는 2개의 라인 버퍼들을 포함할 수 있다. 제1 버퍼 그룹(BG1)은 이전에 수신된 제1 노이즈 노출 이미지(IES)의 2개의 데이터 라인들을 저장하는 2개의 라인 버퍼들(LNM11, LNM12)을 포함할 수 있다. 제2 버퍼 그룹(BG2)은 이전에 수신된 제2 노이즈 노출 이미지(IEM)의 2개의 데이터 라인들을 저장하는 2개의 라인 버퍼들(LNM21, LNM22)을 포함할 수 있다. 제3 버퍼 그룹(BG3)은 이전에 수신된 제3 노이즈 노출 이미지(IEL)의 2개의 데이터 라인들을 저장하는 2개의 라인 버퍼들(LNM31, LNM32)을 포함할 수 있다. 각각의 버퍼 그룹에 포함되는 라인 버퍼들의 개수는 2개로 한정되는 것은 아니며 노이즈 저감 성능에 따라서 다양하게 결정될 수 있다.

라인 버퍼 컨트롤 회로(LBC)는 현재 수신되는 제3 노이즈 노출 이미지(IEL)는 n번째 데이터 라인(LILn)에 동기하여, 제3 버퍼 그룹(BG3)의 라인 버퍼들(LNM31, LNM32)에 저장된 (n-2)번째 데이터 라인(LILi-2)과 (n-1)번째 데이터 라인 (LILn-1) 및 수신된 n번째 데이터 라인(LILn)을 동시에 출력한다.

제3 디노이징 회로(DNC3)는 동시에 수신되는 (n-2)번째 데이터 라인 (LILn-2), (n-1)번째 데이터 라인 (LILn-1) 및 n번째 데이터 라인(LILn)에 기초하여 도 11 내지 23을 참조하여 후술하는 바와 같은 노이즈 저감 동작을 픽셀 단위로 수행하여 제3 클린 노출 이미지(IELC)의 (n-1)번째 데이터 라인(LILCn-1)을 출력할 수 있다.

도 8a는 도시의 편의상 제3 노이즈 노출 이미지(IEL)에 대한 라인 단위의 동작만이 도시되어 있다. 제1 노이즈 노출 이미지(IES)에 대한 라인 단위의 동작 및 제2 노이즈 노출 이미지(IEM)에 대한 라인 단위의 동작도 동일한 방식으로 수행될 수 있음을 이해할 수 있을 것이다.

이와 같이, 복수의 디노이징 회로들(DNC1, DNC2, DNC3)은 복수의 노이즈 노출 이미지들(IES, IEM, IEL)을 각각 데이터 라인 단위로 프로세싱하여 복수의 클린 노출 이미지들(IESC, IEMC, IELC)을 생성할 수 있다.

도 8b를 참조하면, 제2 동작 모드에서 복수의 버퍼 그룹들(BG1, BG2, BG3) 및 제1 디노이징 회로(DNC1)는 인에이블되고, 제2 디노이징 회로(DNC2) 및 제3 디노이징 회로(DNC3)는 디스에이블될 수 있다. 도 8b에는 3개의 버퍼 그룹들이 모두 인에이블되는 실시예를 도시하고 있으나, 2개의 버퍼 그룹들이 인에이블되고 1개의 버퍼 그룹은 디스에이블될 수도 있다.

제2 동작 모드에서, 라인 버퍼 컨트롤 회로(LBC)는 단일 노이즈 이미지(IES)를 라인 단위로 버퍼링하여 출력할 수 있다. 제2 동작 모드에서 복수의 버퍼 그룹들(BG1, BG2, BG3)이 인에이블되고, 라인 버퍼 컨트롤 회로(LBC)는 단일 노이즈 이미지(IES)의 데이터 라인들을 인에이블된 버퍼 그룹들(BG1, BG2, BG3)에 저장할 수 있다.

라인 버퍼 컨트롤 회로(LBC)는 현재 수신되는 단일 노이즈 이미지(IES)의 n번째 데이터 라인(SILn)에 동기하여, 인에이블된 버퍼 그룹들(BG1, BG2, BG3)의 라인 버퍼들(LNM11, LNM12, LNM21, LNM22, LNM31, LNM32)에 저장된 6개의 데이터 라인들(SILn-1~SILn-6) 및 수신된 n번째 데이터 라인(SILn)을 동시에 출력한다.

제1 디노이징 회로(DNC1)는 동시에 수신되는 7개의 데이터 라인들(SILn~SILn-6)에 기초하여 도 11 내지 23을 참조하여 후술하는 바와 같은 노이즈 저감 동작을 픽셀 단위로 수행하여 단일 클린 이미지(IESC)의 (n-3)번째 데이터 라인(SILCn-3)을 출력할 수 있다.

이와 같이, 제1 디노이징 회로(DNC1)는 단일 노이즈 이미지(IES)를 데이터 라인 단위로 프로세싱하여 단일 클린 이미지(IESC)를 생성할 수 있다.

도 8a 및 8b를 참조하여 설명한 바와 같이, 노이즈 저감 회로(30)는 제1 동작 모드에서 3개의 데이터 라인들에 기초하여 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 각각의 노이즈를 저감하고, 제2 동작 모드에서 7개의 데이터 라인들에 기초하여 단일 노이즈 이미지(IES)의 노이즈를 저감한다. 디노이징 회로에 동시에 제공되는 데이터 라인들의 개수가 증가할수록 도 11 내지 23을 참조하여 후술하는 바와 같은 노이즈 저감을 위한 로컬 윈도우의 사이즈를 증가할 수 있고 노이즈 저감 성능이 향상될 수 있다. 다시 말해, 노이즈 저감 회로(30)는 제1 동작 모드에서 제1 노이즈 저감 성능으로 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 노이즈를 저감하고, 제2 동작 모드에서 상기 제1 노이즈 저감 성능보다 높은 제2 노이즈 저감 성능으로 단일 노이즈 이미지(IES)의 노이즈를 저감할 수 있다.

이와 같이, 이미지 병합시 사용하는 라인 버퍼들의 효율적인 제어를 통하여, 단일 노이즈 이미지(IES)의 경우에 버퍼링되는 데이터 라인들의 개수를 증가하여 노이즈 저감 성능을 향상할 수 있다.

도 9는 본 발명의 실시예들에 따른 이미지 신호 프로세서에 포함되는 HDR 회로의 일 실시예를 나타내는 도면이다. 도 9에는 편의상 노이즈 저감 회로(30)에 포함되는 복수의 디노이징 회로들(DNC1, DNC2, DNC3)이 함께 도시되어 있다.

도 9를 참조하면, HDR 회로(50)는 정규화부(NML), 가중치 생성부(WTG) 및 병합부(MRC)를 포함할 수 있다.

제1 동작 모드에서, 정규화부(NML)는 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 픽셀 데이터의 사이즈를 증가하여 복수의 노이즈 정규 이미지들(IESN, IEMN, IELN)을 생성할 수 있다. 또한 정규화부(NML)는 복수의 클린 노출 이미지들(IESC, IEMC, IELC)의 픽셀 데이터의 사이즈를 증가하여 복수의 클린 정규 이미지들(IESCN, IEMCN, IELCN)을 생성할 수 있다.

가중치 생성부(WTG)는 복수의 노이즈 정규 이미지들(IESN, IEMN, IELN)에 기초하여 가중치들(WT)을 생성할 수 있다.

병합부(MRC)는 가중치들(WT)에 기초하여 복수의 클린 정규 이미지들을 병합하여 HDR 이미지(IHDR)를 생성할 수 있다.

정규화부(NML), 가중치 생성부(WTG) 및 병합부(MRC)의 구성은 특정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 당업자들에 알려진 구성으로 다양하게 구현될 수 있다.

도 10은 도 9의 HDR 회로의 동작 타이밍을 나타내는 도면이다. 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 n번째 데이터 라인들(SILn, MILn, LILn), 복수의 노이즈 정규 이미지들(IESN, IEMN, IELN)의 n번째 데이터 라인들(SILNn, MILNn, LILNn), 가중치 맵(WTM)의 n번째 라인(WTn), 복수의 클린 노출 이미지들(IESC, IEMC, IELC)의 n번째 데이터 라인들(SILCn, MILCn, LILCn), 복수의 클린 정규 이미지들(IESCN, IEMCN, IELCN)의 n번째 데이터 라인들(SILCNn, MILCNn, LILCNn) 및 HDR 이미지(IHDR)의 n번째 데이터 라인(HILn)이 도시되어 있다.

도 9 및 10을 참조하면, 제1 시점(T1)에서 복수의 디노이징 회로들(DNC1, DNC2, DNC3) 및 HDR 회로(50)의 정규화부(NML)는 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 n번째 데이터 라인들(SILn, MILn, LILn)을 수신할 수 있다.

정규화부(NML)는 제1 프로세싱 시간(tP1)동안 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 n번째 데이터 라인들(SILn, MILn, LILn)을 프로세싱하여 제2 시점(T2)에서 복수의 노이즈 정규 이미지들(IESN, IEMN, IELN)의 n번째 데이터 라인들(SILNn, MILNn, LILNn)을 출력할 수 있다.

한편, 복수의 디노이징 회로들(DNC1, DNC2, DNC3)은 제3 프로세싱 시간(tP3)동안 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 n번째 데이터 라인들(SILn, MILn, LILn)을 프로세싱하여 제3 시점(T3)에서 복수의 클린 노출 이미지들(IESC, IEMC, IELC)의 n번째 데이터 라인들(SILCn, MILCn, LILCn)을 출력할 수 있다.

정규화부(NML)는 제1 프로세싱 시간(tP1)동안 복수의 클린 노출 이미지들(IESC, IEMC, IELC)의 n번째 데이터 라인들(SILCn, MILCn, LILCn)을 프로세싱하여 제4 시점(T4)에서 복수의 클린 정규 이미지들(IESCN, IEMCN, IELCN)의 n번째 데이터 라인들(SILCNn, MILCNn, LILCNn)을 출력할 수 있다.

결과적으로, 정규화부(NML)는 복수의 노이즈 노출 이미지들(IES, IEM, IEL)의 n번째 데이터 라인들(SILn, MILn, LILn)을 복수의 클린 노출 이미지들(IESC, IEMC, IELC)의 n번째 데이터 라인들(SILCn, MILCn, LILCn)보다 먼저 수신하고, 복수의 노이즈 정규 이미지들(IESN, IEMN, IELN)의 n번째 데이터 라인들(SILNn, MILNn, LILNn)을 복수의 클린 정규 이미지들(IESCN, IEMCN, IELCN)의 n번째 데이터 라인들(SILCNn, MILCNn, LILCNn)보다 먼저 출력할 수 있다.

가중치 생성부(WTG)는 제2 프로세싱 시간(tP2) 동안 복수의 노이즈 정규 이미지들(IESN, IEMN, IELN)의 n번째 데이터 라인들(SILNn, MILNn, LILNn)을 프로세싱 하여 가중치 맵(WTM)의 n번째 라인(WTn)을 생성할 수 있다. 이때, 가중치 생성부(WTG)는 제4 시점(T4)에서 가중치 맵(WTM)의 n번째 라인(WTn)을 출력할 수 있도록 내부 경로 상에 지연 시간(tD)을 갖는 지연 회로를 포함할 수 있다.

결과적으로, 병합부(MRC)는 제4 시점(T4)에서 정규화부(NML)로부터 복수의 클린 정규 이미지들(IESCN, IEMCN, IELCN)의 n번째 데이터 라인들(SILCNn, MILCNn, LILCNn)을 수신하는 동시에 가중치 생성부(WTG)로부터 복수의 노이즈 정규 이미지들(IESN, IEMN, IELN)의 n번째 데이터 라인들(SILNn, MILNn, LILNn)에 상응하는 가중치들, 즉 가중치 맵(WTM)의 n번째 라인(WTn)을 수신할 수 있다.

병합부(MRC)는 제4 프로세싱 시간(tP4) 동안 동시에 수신되는 복수의 클린 정규 이미지들(IESCN, IEMCN, IELCN)의 n번째 데이터 라인들(SILCNn, MILCNn, LILCNn) 및 가중치 맵(WTM)의 n번째 라인(WTn)을 프로세싱하여 제5 시점(T5)에서 HDR 이미지(IHDR)의 n번째 데이터 라인(HILn)을 출력할 수 있다.

이와 같이, 제1 동작 모드에서, HDR 회로(50)는 프로세싱에 필요한 데이터 라인 및 가중치들을 동시에 수신하기 때문에 데이터 라인들을 버퍼링하지 않고 프로세싱을 수행할 수 있다. 다시 말해, 제1 동작 모드에서, HDR 회로(50)는 복수의 클린 노출 이미지들(IESC, IEMC, IELC)의 n번째 데이터 라인들(SILCn, MILCn, LILCn)을 버퍼링하지 않고 복수의 클린 노출 이미지들(IESC, IEMC, IELC)의 n번째 데이터 라인들(SILCn, MILCn, LILCn)을 병합하여 HDR 이미지(IHDR)의 n번째 데이터 라인(HILn)을 실시간으로 생성할 수 있다.

도 8a 내지 10을 참조하여 설명한 바와 같이, 본 발명의 실시예들에 따른 이미지 신호 프로세서(10) 및 이미지 프로세싱 방법은, 이미지 병합시 사용하는 라인 버퍼들의 효율적인 제어를 통하여 하드웨어 비용의 증가를 최소화하면서 HDR 이미지(IHDR)의 화질을 향상할 수 있고, 단일 노이즈 이미지의 경우에 버퍼링되는 데이터 라인들의 개수를 증가하여 노이즈 저감 성능을 더욱 향상할 수 있다.

도 11은 본 발명의 실시예들에 따른 이미지 프로세싱 방법의 노이즈 저감의 일 실시예를 나타내는 순서도이다.

도 11을 참조하면, 입력 이미지에 포함되는 컬러 픽셀들 중에서 타겟 픽셀 및 상기 타겟 픽셀에 인접하는 주변 픽셀들을 포함하는 로컬 윈도우를 설정한다(S10). 상기 입력 이미지는 상기 입력 이미지를 생성하는 이미지 센서의 컬러 필터 어레이에 상응한다. 상기 로컬 윈도우는 상기 입력 이미지의 종류 또는 특성, 요구되는 노이즈 저감 성능 등에 따라서 적절한 사이즈로 설정될 수 있다. 예를 들어, 상기 로컬 윈도우는 m*n 사이즈를 가질 수 있다. 즉 상기 로컬 윈도우는 m개의 픽셀 행들과 n개의 픽셀 열들의 매트릭스 형태로 배치되는 m*n개의 컬러 픽셀들, 즉 컬러 픽셀 값들을 포함할 수 있다. 상기 로컬 윈도우의 중심에 위치한 픽셀이 상기 타겟 픽셀에 해당하고, 상기 로컬 윈도우에 포함되는 다른 픽셀들은 주변 픽셀들에 해당할 수 있다.

이하에서는, 하나의 로컬 윈도우에 해당하는 하나의 타겟 픽셀에 대한 보상(전술한 노이즈 저감에 해당함)을 설명하지만, 로컬 윈도우를 행 방향 및 열 방향으로 순차적으로 이동함으로써 상기 입력 이미지의 컬러 픽셀들을 순차적으로 상기 타겟 픽셀로 선택함으로써 모든 컬러 픽셀들에 대한 보상을 순차적으로 수행할 수 있음을 이해할 수 있을 것이다.

상기 로컬 윈도우에 포함되는 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성한다(S20). 입력 이미지는 이미지 센서의 컬러 필터 어레이에 상응하는 컬러들로 표현되며, 로컬 컬러 평균 값들은 상기 컬러 필터 어레이의 컬러들의 각각에 대하여 생성될 수 있다. 예를 들어, 상기 컬러 필터 어레이, 즉 상기 입력 이미지가 적색 픽셀 값들, 녹색 픽셀 값들 및 청색 픽셀 값들을 포함하는 베이어 패턴을 갖는 경우, 상기 로컬 컬러 평균 값들은 로컬 적색 평균 값, 로컬 녹색 평균 값 및 로컬 청색 평균 값을 포함할 수 있다.

상기 로컬 컬러 평균 값들에 기초하여 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성한다(S30). 일 실시예에서, 상기 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값에서 상기 로컬 컬러 평균 값들의 각각을 감산하여 컬러 오프셋 값들을 생성하고, 상기 타겟 픽셀 및 상기 주변 픽셀들의 각각의 컬러 픽셀 값 및 상기 각각의 컬러 픽셀 값에 해당하는 각각의 컬러 오프셋 값을 합산하여 상기 오프셋 컬러 픽셀 값들의 각각을 생성할 수 있다. 이 경우, 상기 오프셋 컬러 픽셀 값들을 컬러 별로 평균한 값들은 상기 로컬 컬러 평균 값들 중에서 상기 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값과 동일할 수 있다.

상기 오프셋 컬러 픽셀 값들에 기초하여 상기 타겟 픽셀의 컬러 픽셀 값을 보상하여 상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성한다(S40). 일 실시예에서, 상기 로컬 윈도우에 포함되는 모든 컬러 픽셀들에 대하여, 상기 오프셋 컬러 픽셀 값들에 가중치들을 적용한 가중 평균 값을 생성하고, 상기 가중 평균 값을 상기 타겟 픽셀의 보상 컬러 픽셀 값으로 제공할 수 있다.

이와 같이, 본 발명의 실시예들에 따른 노이즈 저감 방법은 타겟 픽셀의 컬러에 관계 없이 모든 컬러에 해당하는 컬러 픽셀 값들을 모두 참조하여 타겟 픽셀의 컬러 픽셀 값을 보상함으로써 노이즈 저감 성능을 향상시킬 수 있다. 또한, 본 발명의 실시예들에 따른 노이즈 저감 방법은 로컬 컬러 평균 값들에 기초하여 오프셋 컬러 픽셀 값들을 생성하고, 상기 오프셋 컬러 픽셀 값들에 기초하여 타겟 픽셀의 컬러 픽셀 값을 보상함으로써 평균화에 따른 색 왜곡(color distortion)을 방지하면서 노이즈 저감 성능을 향상시킬 수 있다.

도 12a는 도 5의 이미지 센서에 포함되는 픽셀 어레이의 레이아웃을 나타내는 평면도이다.

도 12a를 참조하면, 도 5의 이미지 센서(600)에 포함되는 픽셀 어레이(620)는 행 방향(X) 및 행 방향(X)과 수직한 열 방향(Y)으로 반복하여 배열되는 단위 패턴들(UPTT)로 분할될 수 있다. 일 실시예에서, 단위 패턴들(UPTT)은 모두 동일할 수 있다. 이 경우 각각의 단위 패턴(UPTT)은 더 작은 단위로 분할될 수 없는 최소 단위의 패턴에 해당한다. 다른 실시예에서, 단위 패턴들(UPTT)은 서로 다른 2개 이상의 패턴들을 포함할 수 있고, 서로 다른 패턴들이 행 방향(X) 및/또는 열 방향(Y)으로 규칙적으로 배치될 수 있다.

이하 도 12b를 참조하여 다양한 컬러 필터 어레이의 실시예들을 설명한다. 실시예들에 따라서, 후술하는 패턴들을 행 방향(X) 및/또는 열 방향(Y)으로 반전하거나 수직 방향을 중심으로 90도 또는 180도만큼 회전할 수도 있다.

도 12b는 도 12a의 픽셀 어레이의 단위 패턴의 실시예들을 나타내는 도면이다.

도 12b에는 예시적으로 베이어(Bayer) 패턴(PTT1), 테트라(Tetra) 패턴(PTT2), 노나(Nona) 패턴(PTT3) 및 RGBW 패턴(PTT4)의 단위 구조들이 도시되어 있다. 여기서, 단위 패턴이라 함은 이미지에서 더 이상 쪼갤 수 없는 픽셀들의 최소 단위의 배열을 나타내며, 이미지는 이러한 단위 구조들이 반복적으로 배열되는 많은 수의 픽셀들을 포함할 수 있다. 당업자는 본 발명의 실시예들이 도 12b에 도시된 패턴들뿐만 아니라 다른 임의의 컬러 패턴들에 모두 적용될 수 있음을 이해할 수 있을 것이다.

도 12b를 참조하면, 베이어 패턴(PTT1)은 1개의 적색 픽셀(R), 2개의 녹색 픽셀(G) 및 1개의 청색 픽셀(B)이 단위 구조를 구성할 수 있다.

테트라 패턴(PTT2)은 인접하는 동일 컬러의 4개의 픽셀들이 각 컬러 픽셀 그룹을 이루고, 1개의 적색 픽셀 그룹, 2개의 녹색 픽셀 그룹들 및 1개의 청색 픽셀 그룹이 단위 구조를 구성할 수 있다.

노나 패턴(PTT3)은 인접하는 동일 컬러의 9개의 픽셀들이 각 컬러 픽셀 그룹을 이루고, 1개의 적색 픽셀 그룹, 2개의 녹색 픽셀 그룹들 및 1개의 청색 픽셀 그룹이 단위 구조를 구성할 수 있다.

RGBW 패턴(PTT4)은 8개의 백색 픽셀들(W), 2개의 적색 픽셀들(R), 4개의 녹색 픽셀들(G) 및 2개의 청색 픽셀들(B)이 단위 구조를 구성할 수 있다.

이하, 이미지가 베이어 패턴(PTT1)을 갖는 경우를 중심으로 본 발명의 실시예들을 설명하지만, 이에 한정되는 것은 아니다. 본 발명의 실시예들은, 이미지가 베이어 패턴(PTT1)뿐만 아니라, 테트라 패턴(PTT2), 노나 패턴(PTT3), RGBW 패턴(PTT4) 등의 다양한 패턴을 갖는 경우에 대해 동일한 방식으로 적용될 수 있다.

도 13은 본 발명의 실시예들에 따른 이미지 신호 프로세서에 포함되는 디노이징 회로의 일 실시예를 나타내는 블록도이다. 전술한 복수의 디노이징 회로들(DNC1, DNC2, DNC3)은 도 13의 디노이징 회로(100)와 동일한 구성을 가질 수 있다.

도 13을 참조하면, 디노이징 회로(100)는 로컬 윈도우 생성부(LWG)(200), 평균 값 생성부(300), 변환부(400) 및 보상부(WAG)(500)를 포함할 수 있다.

로컬 윈도우 생성부(200)는 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지(IMG)에 포함되는 컬러 픽셀들 중에서 타겟 픽셀(P(i)) 및 타겟 픽셀(P(i))에 인접하는 주변 픽셀들(P(k))을 포함하는 로컬 윈도우(WIN)를 설정하고, 로컬 윈도우(WIN)에 포함되는 타겟 픽셀(P(i))에 인접하는 주변 픽셀들(P(k))의 컬러 픽셀 값들을 제공할 수 있다. 이하에서는, P(i)는 타겟 픽셀을 나타낼 수도 있고, 타겟 픽셀의 컬러 픽셀 값을 나타낼 수도 있다. 또한, P(k)는 주변 픽셀들을 나타낼 수도 있고 주변 픽셀들의 컬러 픽셀 값들을 나타낼 수도 있다. 또한, 후술하는 수학식들에서, k=i인 경우 P(k)는 타겟 픽셀을 나타낼 수 있다. 로컬 윈도우의 설정에 대해서는 도 15를 참조하여 후술한다.

평균 값 생성부(300)는 로컬 윈도우(WIN)에 포함되는 타겟 픽셀(P(i)) 및 주변 픽셀들(P(k))의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성할 수 있다. 평균 값 생성부(300)는 로컬 컬러 평균 값들을 각각 생성하는 복수의 컬러 평균 값 생성부들(310, 320, 330)을 포함할 수 있다.

일 실시예에서, 입력 이미지가 적색 픽셀 값들, 녹색 픽셀 값들 및 청색 픽셀 값들을 포함하는 베이어 패턴을 갖는 경우, 평균 값 생성부(300)는 도 8에 도시된 바와 같이 적색 평균 값 생성부(310), 녹색 평균 값 생성부(320) 및 청색 평균 값 생성부(330)를 포함할 수 있다. 적색 평균 값 생성부(310)는 로컬 윈도우(WIN)에 포함되는 적색 픽셀 값들을 평균하여 로컬 적색 평균 값(Rm)을 생성하고, 녹색 평균 값 생성부(320)는 로컬 윈도우(WIN)에 포함되는 녹색 픽셀 값들을 평균하여 로컬 녹색 평균 값(Gm)을 생성하고, 청색 평균 값 생성부(330)는 로컬 윈도우(WIN)에 포함되는 청색 픽셀 값들을 평균하여 로컬 청색 평균 값(Bm)을 생성할 수 있다. 베이어 패턴의 경우에 해당하는 로컬 컬러 평균 값들은 수학식 1과 같이 나타낼 수 있다.

[수학식 1]

수학식 1에서, 은 로컬 윈도우(WIN)에 포함되는 컬러 픽셀들에 대한 합을 나타내고, Rm은 로컬 적색 평균 값을 나타내고, Gm은 로컬 녹색 평균 값을 나타내고, Bm은 로컬 청색 평균 값을 나타내고, Nr은 로컬 윈도우(WIN)에 포함되는 적색 픽셀들(R(i))의 개수를 나타내고, Ng은 로컬 윈도우(WIN)에 포함되는 녹색 픽셀 값들(G(i))의 개수를 나타내고, Nb은 로컬 윈도우(WIN)에 포함되는 청색 픽셀 값들(B(i))의 개수를 나타낸다.

변환부(400)는 로컬 컬러 평균 값들(Rm, Gm, Bm)에 기초하여 타겟 픽셀(P(i)) 및 주변 픽셀들(P(k))의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성할 수 있다. 일 실시예에서, 변환부(400)는 오프셋 생성부(OFSG)(410) 및 픽셀 값 변환부(CONV)(420)를 포함할 수 있다.

오프셋 생성부(410)는 타겟 픽셀(P(i))과 동일한 컬러에 해당하는 타겟 컬러 평균 값에서 로컬 컬러 평균 값들의 각각을 감산하여 컬러 오프셋 값들(OFS)을 생성할 수 있다. 픽셀 값 변환부(420)는 타겟 픽셀(P(i)) 및 주변 픽셀들(P(k))의 각각의 컬러 픽셀 값 및 상기 각각의 컬러 픽셀 값에 해당하는 각각의 컬러 오프셋 값을 합산하여 오프셋 컬러 픽셀 값들(P'(i), P'(k))의 각각을 생성할 수 있다. 컬러 오프셋 값은 수학식 2와 같이 나타낼 수 있다.

[수학식 2]

OFSc1c2=C1m-C2m

수학식 2에서, OFSc1c2는 타겟 픽셀(P(i))이 제1 컬러(C1)에 해당하는 경우 제2 컬러(C2)에 상응하는 컬러 오프셋 값을 나타내고, C1m은 제1 컬러(C1)에 상응하는 로컬 컬러 평균 값을 나타내고, C2m은 제2 컬러(C2)에 상응하는 로컬 컬러 평균 값을 나타낸다.

보상부(500)는 로컬 윈도우(WIN')에 포함되는 오프셋 컬러 픽셀 값들(P'(i), P'(k))에 기초하여 타겟 픽셀의 컬러 픽셀 값(P(i))을 보상하여 타겟 픽셀의 보상 컬러 픽셀 값(CP(i)을 생성할 수 있다.

일 실시예에서, 보상부(500)는 로컬 윈도우(WIN')에 포함되는 모든 컬러 픽셀들에 대하여, 오프셋 컬러 픽셀 값들에 가중치들을 적용한 가중 평균 값을 생성하고, 상기 가중 평균 값을 타겟 픽셀(P(i))의 보상 컬러 픽셀 값(CP(i))으로 제공할 수 있다. 이 경우, 타겟 픽셀(P(i))의 보상 컬러 픽셀 값(CP(i))은 수학식 3과 같이 표현될 수 있다.

[수학식 3]

수학식 3에서, 는 로컬 윈도우 내(WIN')의 모든 컬러 픽셀들에 대한 합을 나타내고, P'(k)는 각각의 오프셋 컬러 픽셀 값을 나타내고,

i(k)는 상기 각각의 오프셋 컬러 픽셀 값에 상응하는 가중치를 나타낸다.

일 실시예에서, 각각의 가중치(

_i(k))는 수학식 4와 같이 나타낼 수 있다.

[수학식 4]

수학식 4에서, P(i)는 타겟 픽셀의 컬러 픽셀 값을 나타내고, P'(k)는 각각의 오프셋 컬러 픽셀 값을 나타내고, h는 노이즈 저감 강도를 나타내다.

_i(k)는 상기 각각의 오프셋 컬러 픽셀 값(P'(k))에 상응하는 가중치를 나타낸다. 노이즈 저감 강도(h)는 입력 이미지의 종류 또는 특성, 요구되는 노이즈 저감 성능 등에 따라서 적절한 값으로 설정될 수 있다.

도 14는 본 발명의 실시예들에 따른 노이즈 저감 방법을 위한 로컬 윈도우를 설명하기 위한 도면이다.

도 14에는 일 예로서 베이어 패턴의 컬러 필터 어레이를 포함하는 이미지 센서를 사용하여 단색(예를 들어, 보라색)의 테스트 보드를 촬상한 입력 이미지(IMG) 및 5*5 사이즐 갖는 로컬 윈도우(WIN)가 도시되어 있다.

적색 픽셀 값들(R), 녹색 픽셀 값들(G) 및 청색 픽셀 값들(B)은 피사체에서 반사된 빛의 색상에 의해 결정되며, 로컬 윈도우(WIN)의 중심에 있는 픽셀이 노이즈 저감 또는 디노이징(denoising)을 적용하고자 하는 타겟 픽셀이며 도 9에는 타겟 픽셀이 적색 픽셀인 경우를 예시하고 있다.

입력 이미지(IMG)의 컬러 픽셀 값들은 도 15 내지 20을 참조하여 후술하는 바와 같이, 컬러 별 평균과 분산을 갖는 분포(distribution)를 갖는다고 가정할 수 있다. 이때, 분산은 각 컬러 픽셀들의 노이즈(noise)에 의해 결정되는 것이라 볼 수 있다.

이종 컬러의 픽셀들을 디노이징에 활용할 경우, 디노이징 후 픽셀 컬 값들의 컬러 별 평균 값이 변경되면 최종 출력 영상의 색 변형 또는 색 왜곡(color distortion)이 유발될 수 있다. 따라서, 본 발명의 실시예들에 따라서, 이종 컬러의 픽셀 값들을 디노이징에 활용하더라도 출력 분포의 평균값이 달라지지 않도록, 로컬 채널 보상(local channel compensation)을 수행한다. 이러한 로컬 채널 보상에 대하여 도 15 내지 20을 참조하여 설명한다.

도 15는 베이어 패턴에 대하여 적색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이고, 도 16은 도 15의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다.

도 15를 참조하면, 베이어 패턴을 갖는 입력 이미지에 대해 적색 픽셀(R)이 타겟 픽셀에 해당하는 5*5 사이즈의 로컬 윈도우(WIN_R)는 9개의 적색 픽셀 값들(R), 12개의 녹색 픽셀 값들(G) 및 4개의 청색 픽셀 값들(B)을 포함한다.

예를 들어, 디모자이킹(demosaicing) 성능 향상을 위한 목적으로, 컬러 필터 어레이(CFA, Color filter array) 도메인(domain)에서 디노이징을 수행할 수 있다. 이때, 그레이 스케일(gray scale)이나 RGB 도메인을 위한 일반적인 디노이징 기법을 CFA 도메인에 적용하기 위하여, 로컬 윈도우 내의 중심 픽셀(center pixel), 즉 타겟 픽셀과 동일한 컬러의 픽셀 값들을 이용하여 디노이징을 수행하는 방식이 이용되고 있다.

확률 이론(probability theory)에 의하여, 일반적으로 사용되는 평균화(averaging) 기반의 디노이징 기법들은 노이즈의 표준 편차(standard deviation) 를 평균화에 이용되는 픽셀 수(N)에 의해 으로 감소시킨다. 결과적으로, 디노이징에 사용되는 픽셀 수(N)는 직접적으로 디노이징 성능에 영향을 미친다.

도 15의 로컬 윈도우(WIN_R)의 경우 타겟 픽셀과 동일한 컬러의 적색 픽셀들(R)은 9개뿐이며 노이즈의 표준 편차는 1/3로 감소될 뿐이며 노이즈 성능이 상당히 제한적인 것을 알 수 있다.

반면에 본 발명의 실시예들에 따라서, 로컬 윈도우(WIN_R) 내의 모든 컬러들에 대한 픽셀들을 디노이징에 사용하는 경우 N=25가 되어 노이즈의 표준 편차는 1/5로 감소되어 디노이징 성능을 향상시킬 수 있다. 그러나, 이 경우, 컬러 픽셀 값들의 평균이 상이한 경우 색 왜곡이 발생할 수 있으므로 색 왜곡을 억제하는 것이 요구된다.

도 16의 상부에는 로컬 윈도우(WIN_R)에 포함되는 컬러 픽셀 값들의 분포가 도시되어 있고, 도 16의 하부에는 본 발명의 실시예들에 따른 변환 후의 오프셋 컬러 픽셀 값들의 분포가 도시되어 있다.

도 16에 도시된 바와 같이, 오프셋 컬러 픽셀 값들을 컬러 별로 평균한 값들(Rm', Gm', Bm')은 로컬 컬러 평균 값들(Rm, Gm, Bm) 중에서 적색 픽셀인 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값(Rm)과 동일할 수 있다.

이와 같은 컬러 픽셀 값들의 변환은 수학식 5와 같이 나타낼 수 있고, 결과적으로 도 16의 하부에 도시된 바와 같이, 오프셋 컬러 픽셀 값들의 분포는 각 컬러 별 평균은 같고 분산(variation)만 차이를 갖게 된다.

[수학식 5]

R'=R

G'=G+OFSrg

B'=B+OFSrb

OFSrg=Rm-Rg

OFSrb=Rm-Rb

수학식 5에서, R, G 및 B는 각각 적색 픽셀 값, 녹색 픽셀 값 및 청색 픽셀 값을 나타내고, R', G' 및 B'는 각각 오프셋 적색 픽셀 값, 오프셋 녹색 픽셀 값 및 오프셋 청색 픽셀 값을 나타내고, Rm, Gm 및 Bm은 각각 로컬 적색 평균 값, 로컬 녹색 평균 값 및 로컬 청색 평균 값을 나타내고, OFSrg 및 OFSrb는 각각 타겟 픽셀이 적색 픽셀인 경우의 녹색 픽셀 값에 해당하는 컬러 오프셋 값 및 청색 픽셀 값에 해당하는 컬러 오프셋 값을 나타낸다.

이와 같이 변환된 오프셋 컬러 픽셀 값들을 사용하여 디노이징을 수행하는 경우, 컬러 차이에 의한 오프셋이 보상되어 이상적으로는 노이즈 분포의 분산(variation)에 의한 차이만이 존재하게 된다. 일반적으로 카메라 영상에서 노이즈 모델은 가우션/포아송(Gaussian/Poisson) 분포를 따르게 되는데, 두 분포를 따르는 확률변수의 합 또한 각각 가우션/포아송 분포를 따르게 된다. 따라서, 로컬 윈도우 내의 모든 오프셋 컬러 픽셀 값들을 이용한 디노이징은 유효하게 되며, 이때의 평균 값은 타겟 픽셀과 동일한 컬러의 로컬 컬러 평균 값을 유지할 수 있으므로 디노이징 과정에서 과정에서 색 변형 또는 색 왜곡이 방지 또는 감소될 수 있다.

도 17은 베이어 패턴에 대하여 녹색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이고, 도 18은 도 17의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다.

도 17을 참조하면, 베이어 패턴을 갖는 입력 이미지에 대해 녹색 픽셀(G)이 타겟 픽셀에 해당하는 5*5 사이즈의 로컬 윈도우(WIN_G)는 13개의 녹색 픽셀 값들(G), 6개의 적색 픽셀 값들(R) 및 6개의 청색 픽셀 값들(B)을 포함한다.

도 18의 상부에는 로컬 윈도우(WIN_G)에 포함되는 컬러 픽셀 값들의 분포가 도시되어 있고, 도 18의 하부에는 본 발명의 실시예들에 따른 변환 후의 오프셋 컬러 픽셀 값들의 분포가 도시되어 있다.

도 18에 도시된 바와 같이, 오프셋 컬러 픽셀 값들을 컬러 별로 평균한 값들(Rm', Gm', Bm')은 로컬 컬러 평균 값들(Rm, Gm, Bm) 중에서 녹색 픽셀인 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값(Rg)과 동일할 수 있다.

이와 같은 컬러 픽셀 값들의 변환은 수학식 6과 같이 나타낼 수 있고, 결과적으로 도 18의 하부에 도시된 바와 같이, 오프셋 컬러 픽셀 값들의 분포는 각 컬러 별 평균은 같고 분산(variation)만 차이를 갖게 된다.

[수학식 6]

R'=R+OFSgr

G'=G

B'=B+OFSgb

OFSgr=Rg-Rr

OFSgb=Rg-Rb

수학식 6에서, R, G 및 B는 각각 적색 픽셀 값, 녹색 픽셀 값 및 청색 픽셀 값을 나타내고, R', G' 및 B'는 각각 오프셋 적색 픽셀 값, 오프셋 녹색 픽셀 값 및 오프셋 청색 픽셀 값을 나타내고, Rm, Gm 및 Bm은 각각 로컬 적색 평균 값, 로컬 녹색 평균 값 및 로컬 청색 평균 값을 나타내고, OFSgr 및 OFSgb는 각각 타겟 픽셀이 녹색 픽셀인 경우의 적색 픽셀 값에 해당하는 컬러 오프셋 값 및 청색 픽셀 값에 해당하는 컬러 오프셋 값을 나타낸다.

도 19는 베이어 패턴에 대하여 청색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.

도 20은 도 19의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다. 이하 도 15 및 16과 중복되는 설명을 생략한다.

도 19를 참조하면, 베이어 패턴을 갖는 입력 이미지에 대해 청색 픽셀(B)이 타겟 픽셀에 해당하는 5*5 사이즈의 로컬 윈도우(WIN_B)는 9개의 청색 픽셀 값들(B), 4개의 적색 픽셀 값들(R) 및 12개의 녹색 픽셀 값들(G)을 포함한다.

도 20의 상부에는 로컬 윈도우(WIN_B)에 포함되는 컬러 픽셀 값들의 분포가 도시되어 있고, 도 20의 하부에는 본 발명의 실시예들에 따른 변환 후의 오프셋 컬러 픽셀 값들의 분포가 도시되어 있다.

도 20에 도시된 바와 같이, 오프셋 컬러 픽셀 값들을 컬러 별로 평균한 값들(Rm', Gm', Bm')은 로컬 컬러 평균 값들(Rm, Gm, Bm) 중에서 청색 픽셀인 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값(Rb)과 동일할 수 있다.

이와 같은 컬러 픽셀 값들의 변환은 수학식 7과 같이 나타낼 수 있고, 결과적으로 도 20의 하부에 도시된 바와 같이, 오프셋 컬러 픽셀 값들의 분포는 각 컬러 별 평균은 같고 분산(variation)만 차이를 갖게 된다.

[수학식 7]

R'=R+OFSbr

G'=G+OFSbg

B'=B

OFSbr=Rb-Rr

OFSbg=Rb-Rg

수학식 7에서, R, G 및 B는 각각 적색 픽셀 값, 녹색 픽셀 값 및 청색 픽셀 값을 나타내고, R', G' 및 B'는 각각 오프셋 적색 픽셀 값, 오프셋 녹색 픽셀 값 및 오프셋 청색 픽셀 값을 나타내고, Rm, Gm 및 Bm은 각각 로컬 적색 평균 값, 로컬 녹색 평균 값 및 로컬 청색 평균 값을 나타내고, OFSbr 및 OFSbg는 각각 타겟 픽셀이 청색 픽셀인 경우의 적색 픽셀 값에 해당하는 컬러 오프셋 값 및 녹색 픽셀 값에 해당하는 컬러 오프셋 값을 나타낸다.

도 21은 본 발명의 실시예들에 따른 이미지 프로세싱 방법의 노이즈 저감의 일 실시예를 나타내는 순서도이고, 도 22는 본 발명의 실시예들에 따른 이미지 신호 프로세서에 포함되는 디노이징 회로의 일 실시예를 나타내는 블록도이다. 도 16의 방법은 디노이징을 위해 에지 정보를 추가하는 것을 제외하고는 도 11의 방법과 유사하고, 도 22의 디노이징 회로(101)는 에지 검출부(90)를 더 포함하는 것을 제외하고는 도 13의 디노이징 회로(100)와 유사하므로, 도 11 내지 도 20과 중복되는 설명을 생략한다.

도 22를 참조하면, 디노이징 회로(101)는 에지 검출부(EDET)(90), 로컬 윈도우 생성부(LWG)(200), 평균 값 생성부(300), 변환부(400) 및 보상부(WAG)(500)를 포함할 수 있다.

도 21 및 22를 참조하면, 로컬 윈도우 생성부(200)는 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지(IMG)에 포함되는 컬러 픽셀들 중에서 타겟 픽셀(P(i)) 및 타겟 픽셀(P(i))에 인접하는 주변 픽셀들(P(k))을 포함하는 로컬 윈도우(WIN)를 설정하고(S10), 로컬 윈도우(WIN)에 포함되는 타겟 픽셀(P(i))에 인접하는 주변 픽셀들(P(k))의 컬러 픽셀 값들을 제공할 수 있다.

에지 검출부(90)는 입력 이미지(IMG)에 포함되는 에지들을 검출하여 에지 정보(EMAP)를 생성할 수 있다(S15).

평균 값 생성부(300)는 로컬 윈도우(WIN)에 포함되는 타겟 픽셀(P(i)) 및 주변 픽셀들(P(k))의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성할 수 있다(S21).

변환부(400)는 로컬 컬러 평균 값들(Rm, Gm, Bm)에 기초하여 타겟 픽셀(P(i)) 및 주변 픽셀들(P(k))의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성할 수 있다(S31).

보상부(500)는 에지 정보(EMAP) 및 로컬 윈도우(WIN')에 포함되는 오프셋 컬러 픽셀 값들(P'(i), P'(k))에 기초하여 타겟 픽셀의 컬러 픽셀 값(P(i))을 보상하여 타겟 픽셀의 보상 컬러 픽셀 값(CP(i)을 생성할 수 있다(S41).

에지 검출부(10)는 입력 이미지(IMG)에 기초하여 에지 정보(EMAP)를 발생할 수 있고, 일 실시예에서 에지 정보(EMAP)는 에지 맵의 형태로서 제공될 수 있다. 예를 들어, 에지 맵은 에지들에 해당하는 픽셀들은 1의 값을 갖고, 에지들에 해당하지 않는 픽셀들은 0의 값을 갖는 데이터의 형태로 제공될 수 있다.

에지 검출부(90)는 입력 이미지(IMG)에서 에지 정보를 검출하는 하이 패스 필터(HPF, high-pass filter)와 같은 에지 검출기로 구현될 수 있다. 상기 에지 검출기는 관련 기술 분야에서 일반적으로 이용되는 수학적 알고리즘(예를 들어, Canny edge detection 등)을 이용하여 휘도 데이터(YDT)에 포함된 이미지의 에지를 나타내는 에지 정보(EMAP)를 발생할 수 있다.

일 실시예에서, 도 22의 로컬 윈도우 생성부(200)는 에지 정보(EMAP)에 기초하여 에지 등급 값(EG)을 생성하여 보상부(500)에 제공할 수 있다. 보상부(500)는 에지 정보(EMAP)에 해당하는 에지 등급 값(EG) 및 로컬 윈도우(WIN')에 포함되는 오프셋 컬러 픽셀 값들(P'(i), P'(k))에 기초하여 타겟 픽셀의 컬러 픽셀 값(P(i))을 보상하여 타겟 픽셀의 보상 컬러 픽셀 값(CP(i)을 생성할 수 있다. 일 실시예에서, 보상부(500)는 수학식 8과 같이 타겟 픽셀의 보상 컬러 픽셀 값(CP(i)을 생성할 수 있다.

[수학식 8]

수학식 8에서, 는 상기 로컬 윈도우 내의 모든 컬러 픽셀들에 대한 합을 나타내고, P'(k)는 각각의 오프셋 컬러 픽셀 값을 나타내고,

_i(k)는 상기 각각의 오프셋 컬러 픽셀 값에 상응하는 가중치를 나타내고, EG는 에지 검출 과정에서 결정되는 에지 등급 값을 나타낸다. 에지 등급 값(EG)은 컬러 픽셀 단위로 결정될 수도 있고, 로컬 윈도우 단위로 결정될 수도 있다.

도 23은 베이어 패턴에 대하여 적색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.

도 23을 참조하면, 베이어 패턴을 갖는 입력 이미지에 대해 적색 픽셀(R)이 타겟 픽셀에 해당하는 5*5 사이즈의 로컬 윈도우(WIN_R)는 9개의 적색 픽셀 값들(R), 12개의 녹색 픽셀 값들(G) 및 4개의 청색 픽셀 값들(B)을 포함한다.

예를 들어, 도 23에 도시된 바와 같이 로컬 윈도우(WIN_R)는 로컬 윈도우(WIN_R)는 에지를 경계로 서브 윈도우들(SW1, SW2, SW3)로 분할될 수 있다.

이 경우, 평균 값 생성부(300)는 서브 윈도우들(SW1, SW2, SW3)중에서 타겟 픽셀이 속하는 타겟 서브 윈도우(SW1)에 포함되는 타겟 픽셀 및 주변 픽셀들의 컬러 픽셀 값들을 컬러 별로 평균하여 전술한 바와 같은 로컬 컬러 평균 값들을 생성할 수 있다. 보상부(500)는 타겟 서브 윈도우(SW1)에 포함되는 오프셋 컬러 픽셀 값들에 기초하여 타겟 픽셀의 컬러 픽셀 값을 보상하여 타겟 픽셀의 보상 컬러 픽셀 값을 생성할 수 있다.

일반적으로 에지를 경계로 픽셀 값의 변화가 크게 되므로, 타겟 픽셀이 속하지 않은 서브 윈도우(SW3) 및 에지에 해당하는 서브 윈도우(SW2)에 포함되는 컬러 픽셀들을 디노이징에서 배제할 수 있다.

도 24는 본 발명의 실시예들에 따른 이미지 프로세싱 방법에 의한 SNR 단차의 감소를 나타내는 도면이다.

도 24에는 각 이미지의 픽셀 값에 따른 SNR(Signal-to-Noise Ratio)들이 도시되어 있다. G1은 단 노출 이미지에 해당하고, G2는 중 노출 이미지에 해당하고, G3는 장 노출 이미지에 해당하고, G4는 이상적인(ideal) HDR 이미지에 해당하고, G5는 본 발명의 실시예들에 따라서 HDR 프로세싱 전에 디노이징을 수행한 경우의 HDR 이미지에 해당하고, G6은 HDR 프로세싱 전에 디노이징을 수행하지 않은 경우의 HDR 이미지에 해당한다.

서로 다른 노출 시간들에 상응하는 노이즈 노출 이미지들(IES, IEM, IEL)을 합성하게 되면 도 24의 G6과 같이 상대적으로 큰 SNR 단차가 발생하게 된다. 반면에 본 발명의 실시예들에 따라서 HDR 프로세싱 전에 디노이징을 수행한 경우 G5와 같이 SNR 단차를 감소할 수 있다. 이와 같은 SNR 단차의 감소를 통하여 SNR 단차로 인해 나타나는 이질감을 감소하고 HDR 이미지의 화질을 향상시킬 수 있다.

도 25a 및 25b는 본 발명의 실시예들에 따른 이미지 프로세싱 방법에 의한 이미지 화질 향상을 나타내는 도면들이다.

도 25a는 본 발명의 실시예들에 따른 이미지 프로세싱 과정을 나타낸다. 도 25a에서, IES, IEM, IES는 서로 다른 밝기들(예를 들어, 노출 시간들)에 상응하는 노이즈 노출 이미지들이고, WTM은 노이즈 노출 이미지들(IES, IEM, IEL)에 상응하는 가중치 맵이고, IHDR은 노이즈 노출 이미지들(IES, IEM, IEL)을 병합한 HDR 이미지이다. 도 25b에서 제1 이미지(IMG1)은 HDR 프로세싱 전에 디노이징을 수행하지 않은 경우의 HDR 이미지이고, 제2 이미지(IMG2)은 본 발명의 실시예들에 따라서 HDR 프로세싱 전에 디노이징을 수행한 경우의 HDR 이미지이다. 도 25b에서 보여진 바와 같이 본 발명의 이미지 프로세싱 방법에 의해 관심 영역(ROI)의 화질이 개선됨을 알 수 있다.

도 26은 본 발명의 실시예들에 따른 시스템을 나타내는 블록도이다.

도 26을 참조하면, 본 개시의 예시적 실시예에 따른 시스템(2000)은 어플리케이션 프로세서(2100), 이미지 센서(2200), 디스플레이 장치(2400), 워킹 메모리(2500), 스토리지(2600), 유저 인터페이스(2700) 및 무선 송수신부(2800)를 포함할 수 있으며, 어플리케이션 프로세서(2100)는 이미지 신호 프로세서(2300)를 포함할 수 있다. 도 1의 이미지 신호 프로세서(10)는 도 26의 이미지 신호 프로세서(2300)에 해당할 수 있다. 실시예에 있어서, 이미지 신호 프로세서(2300)는 어플리케이션 프로세서(2100)와는 별개의 집적 회로로 구현될 수 있다.

어플리케이션 프로세서(2100)는 시스템(2000)의 전반적인 동작을 제어하며 응용 프로그램, 운영 체제 등을 구동하는 시스템 온 칩(SoC)으로 제공될 수 있다.

어플리케이션 프로세서(2100)는 이미지 신호 프로세서(2300)의 동작을 제어할 수 있으며, 이미지 신호 프로세서(2300)에서 생성되는 변환된 이미지 데이터를 디스플레이 장치(2400)에 제공하거나 또는 스토리지(2600)네 저장할 수 있다.

이미지 센서는 수신되는 광 신호를 기초로 이미지 데이터, 예컨대 원시 이미지 데이터를 생성하고 이지 데이터를 이미지 신호 프로세서(2300)에 제공할 수 있다.

이미지 신호 프로세서(2300)는 AP(2100)에 구비되는 프로세서로부터 복수의 코맨드들을 수신하고, 이를 기초로 복수의 이미지 유닛들에 대한 이미지 처리 및 인터럽트 제어를 수행할 수 있다.

워킹 메모리(2500)는 DRAM, SRMA 등의 휘발성 메모리 또는 FeRAM, RRAM PRAM 등의 비휘발성의 저항성 메모리로 구현될 수 있다. 워킹 메모리(2500)는 어플리케이션 프로세서(2100)가 처리 또는 실행하는 프로그램들 및/또는 데이터를 저장할 수 있다.

스토리지(2600)는 NADN 플래시, 저항성 메모리 등의 비휘발성 메모리 장치로 구현될 수 있으며, 예컨대 스토리지(2600)는 메모리 카드(MMC, eMMC, SD, micro SD) 등으로 제공될 수 있다. 스토리지(2600)는 이미지 신호 프로세서(2300)의 이미지 처리 동작을 제어하는 실행 알고리즘에 대한 데이터 및/또는 프로그램을 저장할 수 있으며, 이미지 처리 동작이 수행될 때 데이터 및/또는 프로그램이 워킹 메모리(2500)로 로딩될 수 있다. 실시예에 있어서, 스토리지(2600)는 이미지 신호 프로세서(2300)에서 생성되는 이미지 데이터, 예컨대 변환된 이미지 데이터 또는 후처리된 이미지 데이터를 저장할 수 있다.

유저 인터페이스(2700)는 키보드, 커튼 키 패널, 터치 패널, 지문 센서, 마이크 등 사용자 입력을 수신할 수 있는 다양한 장치들로 구현될 수 있다. 유저 인터페이스(2700)는 사용자 입력을 수신하고, 수신된 사용자 입력에 대응하는 신호를 어플리케이션 프로세서(2100)에 제공할 수 있다.

무선 송수신부(2800)는 트랜시버(2810), 모뎀(2820) 및 안테나(2830)를 포함할 수 있다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따른 이미지 신호 프로세서 및 이미지 프로세싱 방법은, 이미지의 병합 전에 복수의 노이즈 노출 이미지들의 노이즈를 저감함으로써 HDR 이미지의 신호-잡음비(SNR, Signal-to-Noise Ratio) 단차(dip)를 감소하고 HDR 이미지의 화질을 향상할 수 있다. 또한, 본 발명의 실시예들에 따른 이미지 신호 프로세서 및 이미지 프로세싱 방법은, 이미지 병합시 사용하는 라인 버퍼의 효율적인 제어를 통하여 하드웨어 비용의 증가를 최소화하면서 HDR 이미지의 화질을 향상할 수 있고, 단일 노이즈 이미지의 경우에 버퍼링되는 데이터 라인들의 개수를 증가하여 노이즈 저감 성능을 더욱 향상할 수 있다.

해당 기술 분야의 숙련된 당업자는 본 발명의 실시예들이 시스템, 방법, 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터로 판독 가능한 프로그램 코드를 포함하는 제품 등의 형태로 구현될 수 있음을 이해할 것이다. 상기 컴퓨터로 판독 가능한 프로그램 코드는 다양한 컴퓨터 또는 다른 데이터 처리 장치의 프로세서로 제공될 수 있다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 신호 매체 또는 컴퓨터로 판독 가능한 기록 매체일 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 명령어 실행 시스템, 장비 또는 장치 내에 또는 이들과 접속되어 프로그램을 저장하거나 포함할 수 있는 임의의 유형적인 매체일 수 있다.

본 발명의 실시예들은 이미지 프로세싱이 요구되는 장치 및 시스템에 유용하게 이용될 수 있다. 예를 들어, 본 발명의 실시예들은 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular phone), 스마트폰(smart phone), 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(internet of things;) 기기, IoE(internet of everything:) 기기, e-북(e-book), VR(virtual reality) 기기, AR(augmented reality) 기기, 차량용 네비게이션, 비디오 폰, 감시 시스템, 자동 포커스 시스템, 추적 시스템, 동작 감지 시스템 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.

상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims

제1 동작 모드에서 복수의 밝기들에 각각 상응하는 복수의 노이즈 노출 이미지들의 노이즈를 저감하여 상기 복수의 밝기들에 각각 상응하는 복수의 클린 노출 이미지들을 생성하고 제2 동작 모드에서 하나의 밝기에 상응하는 단일 노이즈 이미지의 노이즈를 저감하여 단일 클린 이미지를 생성하는 노이즈 저감 회로;
상기 제1 동작 모드에서 상기 복수의 클린 노출 이미지들을 병합하여 하이 다이내믹 레인지(HDR) 이미지를 생성하는 HDR 회로; 및
상기 제1 동작 모드에서 상기 HDR 이미지를 프로세싱하고 상기 제2 동작 모드에서 상기 단일 클린 이미지를 프로세싱하여 출력 이미지를 생성하는 후처리 회로를 포함하는 이미지 신호 프로세서.
제1 항에 있어서,
상기 HDR 회로는,
상기 제1 동작 모드에서 인에이블되고 상기 제2 동작 모드에서 디스에이블되는 것을 특징으로 하는 이미지 신호 프로세서.
제1 항에 있어서,
상기 노이즈 저감 회로는,
상기 제1 동작 모드에서 상기 복수의 노이즈 노출 이미지들을 라인 단위로 버퍼링하여 출력하는 라인 버퍼 컨트롤 회로; 및
상기 제1 동작 모드에서 상기 라인 버퍼 컨트롤 회로로부터 전송되는 상기 복수의 노이즈 노출 이미지들을 각각 수신하고 상기 복수의 클린 노출 이미지들을 각각 생성하는 복수의 디노이징 회로들을 포함하는 것을 특징으로 하는 이미지 신호 프로세서.
제3 항에 있어서,
상기 라인 버퍼 컨트롤 회로는, 상기 제2 동작 모드에서 상기 단일 노이즈 이미지를 라인 단위로 버퍼링하여 출력하고,
상기 제2 동작 모드에서 상기 복수의 디노이징 회로들 중 하나의 디노이징 회로만이 인에이블되고 나머지 디노이징 회로들은 디스에이블되고,
인에이블되는 상기 하나의 디노이징 회로는, 상기 제2 동작 모드에서 상기 라인 버퍼 컨트롤 회로로부터 전송되는 상기 단일 노이즈 노출 이미지를 수신하고 상기 단일 클린 이미지를 생성하는 것을 특징으로 하는 이미지 신호 프로세서.
제3 항에 있어서,
상기 라인 버퍼 컨트롤 회로는,
상기 제1 동작 모드에서 상기 복수의 노이즈 노출 이미지들의 데이터 라인들을 각각 저장하는 복수의 버퍼 그룹들을 포함하는 것을 특징으로 하는 이미지 신호 프로세서.
제5 항에 있어서,
상기 라인 버퍼 컨트롤 회로는,
상기 제2 동작 모드에서 상기 단일 노이즈 이미지의 데이터 라인들을 상기 복수의 버퍼 그룹들 중 2개 이상의 버퍼 그룹들에 저장하는 것을 특징으로 하는 이미지 신호 프로세서.
제1 항에 있어서,
상기 노이즈 저감 회로는,
상기 제1 동작 모드에서 제1 노이즈 저감 성능으로 상기 복수의 노이즈 노출 이미지들의 노이즈를 저감하고,
상기 제2 동작 모드에서 상기 제1 노이즈 저감 성능보다 높은 제2 노이즈 저감 성능으로 상기 단일 노이즈 이미지의 노이즈를 저감하는 것을 특징으로 하는 이미지 신호 프로세서.
제1 항에 있어서.
상기 HDR 회로는,
상기 제1 동작 모드에서 상기 복수의 노이즈 노출 이미지들의 픽셀 데이터의 사이즈를 증가하여 복수의 노이즈 정규 이미지들을 생성하고 상기 복수의 클린 노출 이미지들의 픽셀 데이터의 사이즈를 증가하여 복수의 클린 정규 이미지들을 생성하는 정규화부;
상기 복수의 노이즈 정규 이미지들에 기초하여 가중치들을 생성하는 가중치 생성부; 및
상기 가중치들에 기초하여 상기 복수의 클린 정규 이미지들을 병합하여 상기 HDR 이미지를 생성하는 병합부를 포함하는 것을 특징으로 하는 이미지 신호 프로세서.
제8 항에 있어서,
상기 정규화부는,
상기 복수의 노이즈 노출 이미지들의 n번째(n은 자연수) 데이터 라인들을 상기 복수의 클린 노출 이미지들의 n번째 데이터 라인들보다 먼저 수신하고,
상기 복수의 노이즈 정규 이미지들의 n번째 데이터 라인들을 상기 복수의 클린 정규 이미지들의 n번째 데이터 라인들보다 먼저 출력하고,
상기 병합부는,
상기 정규화부로부터 상기 복수의 클린 정규 이미지들의 n번째(n은 자연수) 데이터 라인들을 수신하는 동시에 상기 가중치 생성부로부터 상기 복수의 노이즈 정규 이미지들의 n번째 데이터 라인들에 상응하는 가중치들을 수신하는 것을 특징으로 하는 이미지 신호 프로세서.
제1 동작 모드에서 복수의 밝기들에 각각 상응하는 복수의 노이즈 노출 이미지들의 노이즈를 저감하여 상기 복수의 밝기들에 각각 상응하는 복수의 클린 노출 이미지들을 생성하는 단계;
제2 동작 모드에서 하나의 밝기에 상응하는 단일 노이즈 이미지의 노이즈를 저감하여 단일 클린 이미지를 생성하는 단계;
상기 제1 동작 모드에서 상기 복수의 클린 노출 이미지들을 병합하여 하이 다이내믹 레인지(HDR) 이미지를 생성하는 단계;
상기 제1 동작 모드에서 상기 HDR 이미지를 프로세싱하여 출력 이미지를 생성하는 단계; 및
상기 제2 동작 모드에서 상기 단일 클린 이미지를 프로세싱하여 상기 출력 이미지를 생성하는 단계를 포함하는 이미지 프로세싱 방법.