KR20220148423A

KR20220148423A - 이미지의 노이즈를 감소하는 노이즈 저감 방법 및 노이즈 저감 장치

Info

Publication number: KR20220148423A
Application number: KR1020210055425A
Authority: KR
Inventors: 김필수; 최승원; 최종성
Original assignee: 삼성전자주식회사
Priority date: 2021-04-29
Filing date: 2021-04-29
Publication date: 2022-11-07
Also published as: US11889242B2; US20220368874A1

Abstract

이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지의 노이즈를 저감하는 노이즈 저감 방법은, 입력 이미지에 포함되는 컬러 픽셀들 중에서 타겟 픽셀 및 상기 타겟 픽셀에 인접하는 주변 픽셀들을 포함하는 로컬 윈도우를 설정하는 단계, 상기 로컬 윈도우에 포함되는 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성하는 단계, 상기 로컬 컬러 평균 값들에 기초하여 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성하는 단계 및 상기 오프셋 컬러 픽셀 값들에 기초하여 상기 타겟 픽셀의 컬러 픽셀 값을 보상하여 상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성하는 단계를 포함한다. 로컬 컬러 평균 값들에 기초하여 오프셋 컬러 픽셀 값들을 생성하고, 상기 오프셋 컬러 픽셀 값들에 기초하여 타겟 픽셀의 컬러 픽셀 값을 보상함으로써 평균화에 따른 색 왜곡(color distortion)을 방지하면서 노이즈 저감 성능을 향상시킬 수 있다.

Description

이미지의 노이즈를 감소하는 노이즈 저감 방법 및 노이즈 저감 장치{Denoising method and denosing device of reducing noise of image}

본 발명은 이미지 프로세싱에 관한 것으로서, 더욱 상세하게는 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지의 노이즈를 저감하는 노이즈 저감 방법 및 노이즈 저감 장치에 관한 것이다.

CMOS 이미지 센서는 상보형 금속산화반도체(Complementary Metal-Oxide Semiconductor, CMOS)를 이용한 고체 촬상 소자이다. CMOS 이미지 센서는 고전압 아날로그 회로를 가지는 CCD 이미지 센서와 비교해 제조 단가가 낮고 소자의 크기가 작아서 소비 전력이 적다는 장점이 있어서, 스마트폰, 디지털 카메라 등의 휴대용 기기를 비롯한 가전 제품에 주로 CMOS 이미지 센서가 탑재되고 있다.

CMOS 이미지 센서를 구성하는 픽셀 어레이(pixel array)는 각 픽셀마다 포토다이오드와 같은 광전 변환 소자를 포함한다. 상기 광전 변환 소자는 입사되는 빛의 양에 따라 가변되는 전기 신호를 생성하고 CMOS 이미지 센서는 상기 전기 신호를 처리하여 영상을 합성해낼 수 있다. 최근 고해상도 이미지에 대한 요구에 따라 CMOS 이미지 센서를 구성하는 픽셀은 보다 소형화될 것이 요구되고 있다. 이러한 소형화에 대한 요구가 커질수록, 입사되는 빛이 제대로 센싱되지 못하거나, 집적도가 커진 소자들 간의 간섭으로 인해 노이즈(noise)가 발생할 수 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지의 노이즈를 효율적으로 저감할 수 있는 노이즈 저감 방법을 제공하는 것이다.

또한 본 발명의 일 목적은, 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지의 노이즈를 효율적으로 저감할 수 있는 노이즈 저감 장치를 제공하는 것이다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지의 노이즈를 저감하는 노이즈 저감 방법은, 입력 이미지에 포함되는 컬러 픽셀들 중에서 타겟 픽셀 및 상기 타겟 픽셀에 인접하는 주변 픽셀들을 포함하는 로컬 윈도우를 설정하는 단계, 상기 로컬 윈도우에 포함되는 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성하는 단계, 상기 로컬 컬러 평균 값들에 기초하여 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성하는 단계 및 상기 오프셋 컬러 픽셀 값들에 기초하여 상기 타겟 픽셀의 컬러 픽셀 값을 보상하여 상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성하는 단계를 포함한다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지의 노이즈를 저감하는 노이즈 저감 장치는, 입력 이미지에 포함되는 컬러 픽셀들 중에서 타겟 픽셀 및 상기 타겟 픽셀에 인접하는 주변 픽셀들을 포함하는 로컬 윈도우를 설정하는 로컬 윈도우 생성부, 상기 로컬 윈도우에 포함되는 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성하는 평균 값 생성부, 상기 로컬 컬러 평균 값들에 기초하여 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성하는 변환부, 및 상기 오프셋 컬러 픽셀 값들에 기초하여 상기 타겟 픽셀의 컬러 픽셀 값을 보상하여 상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성하는 보상부를 포함한다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지의 노이즈를 저감하는 노이즈 저감 방법은, 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지에 포함되는 컬러 픽셀들 중에서 타겟 픽셀 및 상기 타겟 픽셀에 인접하는 주변 픽셀들을 포함하는 로컬 윈도우를 설정하는 단계, 상기 입력 이미지에 포함되는 에지들을 검출하여 에지 정보를 생성하는 단계, 상기 로컬 윈도우에 포함되는 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성하는 단계, 상기 로컬 컬러 평균 값들에 기초하여 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성하는 단계, 및 상기 에지 정보 및 상기 오프셋 컬러 픽셀 값들에 기초하여 상기 타겟 픽셀의 컬러 픽셀 값을 보상하여 상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성하는 단계를 포함한다.

본 발명의 실시예들에 따른 노이즈 저감 방법 및 노이즈 저감 장치는 타겟 픽셀의 컬러에 관계 없이 모든 컬러에 해당하는 컬러 픽셀 값들을 모두 참조하여 타겟 픽셀의 컬러 픽셀 값을 보상함으로써 노이즈 저감 성능을 향상시킬 수 있다.

또한, 본 발명의 실시예들에 따른 노이즈 저감 방법 및 노이즈 저감 장치는 로컬 컬러 평균 값들에 기초하여 오프셋 컬러 픽셀 값들을 생성하고, 상기 오프셋 컬러 픽셀 값들에 기초하여 타겟 픽셀의 컬러 픽셀 값을 보상함으로써 평균화에 따른 색 왜곡(color distortion)을 방지하면서 노이즈 저감 성능을 향상시킬 수 있다.

도 1은 본 발명의 실시예들에 따른 이미지의 노이즈 저감 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 시스템을 나타내는 블록도이다.
도 3은 본 발명의 실시예들에 따른 이미지 센서를 나타내는 블록도이다.
도 4는 도 3의 이미지 센서에 포함되는 단위 픽셀의 일 실시예를 나타내는 회로도이다.
도 5는 도 3의 이미지 센서의 센싱 동작의 일 실시예를 나타내는 타이밍도이다.
도 6은 도 3의 이미지 센서에 포함되는 픽셀 어레이의 레이아웃을 나타내는 평면도이다.
도 7은 도 6의 픽셀 어레이의 단위 패턴의 실시예들을 나타내는 도면이다.
도 8은 본 발명의 실시예들에 따른 노이즈 저감 장치를 나타내는 블록도이다.
도 9는 본 발명의 실시예들에 따른 노이즈 저감 방법을 위한 로컬 윈도우를 설명하기 위한 도면이다.
도 10은 베이터 패턴에 대하여 적색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.
도 11은 도 10의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다.
도 12는 베이터 패턴에 대하여 녹색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.
도 13은 도 12의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다.
도 14는 베이터 패턴에 대하여 청색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.
도 15는 도 14의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 실시예들에 따른 이미지의 노이즈 저감 방법을 나타내는 순서도이다.
도 17은 본 발명의 실시예들에 따른 노이즈 저감 장치를 나타내는 블록도이다.
도 18은 입력 이미지의 일 예를 나타내는 도면이다.
도 19는 도 18의 입력 이미지에 상응하는 에지 맵을 나타내는 도면이다.
도 20은 베이터 패턴에 대하여 녹색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.
도 21은 본 발명의 실시예들에 따른 전자 장치의 블록도이다.
도 22는 도 21의 전자 장치에 포함되는 카메라 모듈을 나타내는 블록도이다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예들에 따른 이미지의 노이즈 저감 방법을 나타내는 순서도이다.

도 1을 참조하면, 입력 이미지에 포함되는 컬러 픽셀들 중에서 타겟 픽셀 및 상기 타겟 픽셀에 인접하는 주변 픽셀들을 포함하는 로컬 윈도우를 설정한다(S100). 상기 입력 이미지는 상기 입력 이미지를 생성하는 이미지 센서의 컬러 필터 어레이에 상응한다. 상기 로컬 윈도우는 상기 입력 이미지의 종류 또는 특성, 요구되는 노이즈 저감 성능 등에 따라서 적절한 사이즈로 설정될 수 있다. 예를 들어, 상기 로컬 윈도우는 m*n 사이즈를 가질 수 있다. 즉 상기 로컬 윈도우는 m개의 픽셀 행들과 n개의 픽셀 열들의 매트릭스 형태로 배치되는 m*n개의 컬러 픽셀들, 즉 컬러 픽셀 값들을 포함할 수 있다. 상기 로컬 윈도우의 중심에 위치한 픽셀이 상기 타겟 픽셀에 해당하고, 상기 로컬 윈도우에 포함되는 다른 픽셀들은 주변 픽셀들에 해당할 수 있다.

이하에서는, 하나의 로컬 윈도우에 해당하는 하나의 타겟 픽셀에 대한 보상을 설명하지만, 로컬 윈도우를 행 방향 및 열 방향으로 순차적으로 이동함으로써 상기 입력 이미지의 컬러 픽셀들을 순차적으로 상기 타겟 픽셀로 선택함으로써 모든 컬러 픽셀들에 대한 보상을 순차적으로 수행할 수 있음을 이해할 수 있을 것이다.

상기 로컬 윈도우에 포함되는 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성한다(S200). 입력 이미지는 이미지 센서의 컬러 필터 어레이에 상응하는 컬러들로 표현되며, 로컬 컬러 평균 값들은 상기 컬러 필터 어레이의 컬러들의 각각에 대하여 생성될 수 있다. 예를 들어, 상기 컬러 필터 어레이, 즉 상기 입력 이미지가 적색 픽셀 값들, 녹색 픽셀 값들 및 청색 픽셀 값들을 포함하는 베이어 패턴을 갖는 경우, 상기 로컬 컬러 평균 값들은 로컬 적색 평균 값, 로컬 녹색 평균 값 및 로컬 청색 평균 값을 포함할 수 있다.

상기 로컬 컬러 평균 값들에 기초하여 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성한다(S300). 일 실시예에서, 상기 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값에서 상기 로컬 컬러 평균 값들의 각각을 감산하여 컬러 오프셋 값들을 생성하고, 상기 타겟 픽셀 및 상기 주변 픽셀들의 각각의 컬러 픽셀 값 및 상기 각각의 컬러 픽셀 값에 해당하는 각각의 컬러 오프셋 값을 합산하여 상기 오프셋 컬러 픽셀 값들의 각각을 생성할 수 있다. 이 경우, 상기 오프셋 컬러 픽셀 값들을 컬러 별로 평균한 값들은 상기 로컬 컬러 평균 값들 중에서 상기 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값과 동일할 수 있다.

상기 오프셋 컬러 픽셀 값들에 기초하여 상기 타겟 픽셀의 컬러 픽셀 값을 보상하여 상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성한다(S400). 일 실시예에서, 상기 로컬 윈도우에 포함되는 모든 컬러 픽셀들에 대하여, 상기 오프셋 컬러 픽셀 값들에 가중치들을 적용한 가중 평균 값을 생성하고, 상기 가중 평균 값을 상기 타겟 픽셀의 보상 컬러 픽셀 값으로 제공할 수 있다.

이와 같이, 본 발명의 실시예들에 따른 노이즈 저감 방법은 타겟 픽셀의 컬러에 관계 없이 모든 컬러에 해당하는 컬러 픽셀 값들을 모두 참조하여 타겟 픽셀의 컬러 픽셀 값을 보상함으로써 노이즈 저감 성능을 향상시킬 수 있다. 또한, 본 발명의 실시예들에 따른 노이즈 저감 방법은 로컬 컬러 평균 값들에 기초하여 오프셋 컬러 픽셀 값들을 생성하고, 상기 오프셋 컬러 픽셀 값들에 기초하여 타겟 픽셀의 컬러 픽셀 값을 보상함으로써 평균화에 따른 색 왜곡(color distortion)을 방지하면서 노이즈 저감 성능을 향상시킬 수 있다.

도 2는 본 발명의 실시예들에 따른 시스템을 나타내는 블록도이다.

도 2를 참조하면, 시스템(1000)은 카메라부(CAM)(1114), 트랜시버(TRX)(1140), 제어 유닛(1160) 및 사용자 인터페이스(1150)를 포함할 수 있다.

카메라부(1114)는 이미지를 캡쳐하여 제공하는 적어도 하나의 이미지 센서 또는 적어도 하나의 카메라를 포함할 수 있다. 일 실시예에서, 카메라부(1114)는 복수의 카메라들을 포함할 수 있고, 상기 복수의 카메라들에 의해 각각 캡쳐된 이미지들을 병합 대상이 되는 복수의 입력 이미지들로서 제공할 수 있다. 다른 실시예에서, 카메라부(1114)는 1개의 카메라에 의해 순차적으로 캡쳐된 이미지들을 병합 대상이 되는 복수의 입력 이미지들로서 제공할 수 있다.

트랜시버(140)는 유선 또는 무선 통신 링크를 통해 또 다른 네트워크(예를 들어, 광역 네트워크, 이를테면, 인터넷 또는 셀룰러 네트워크)로의 연결성(connectivity)을 제공할 수 있다.

사용자 인터페이스(1150)는 키보드, 키패드와 같은 입력 수단(DSP)(1152) 및 이미지를 표시하는 디스플레이(DIS)(1112)를 포함할 수 있다. 터치 스크린/센서를 갖는 디스플레이(1112)로 가상 키패드를 통합시키는 경우 키보드 또는 키패드(1152)는 생략될 수 있다.

제어 유닛(1116)은 범용 프로세서(PRC)(1161), 하드웨어(HW)(1162), 펌웨어(FW)(1163), 저장부(MEM)(1164), 디지털 신호 프로세서(DSP)(1166), 그래픽 엔진(GENG)(1167) 및 버스(1177)을 포함할 수 있다.

제어 유닛(1160)은 본 발명의 실시예들에 따른 심층 학습 기반의 디모자이킹 방법을 구현하도록 구성될 수 있다. 예를 들어, 제어 유닛(1160)은 전술한 바와 같은 디모자이킹 장치의 기능들을 구현하도록 구성될 수 있다.

본 발명의 실시예들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합으로 구현될 수 있다.

일 실시예에서, 본 발명의 실시예들에 따른 노이즈 저감 방법은 디지털 신호 프로세서(1166)에 의해 수행될 수 있다. 즉 도 8을 참조하여 후술하는 노이즈 저감 장치는 이미지 신호 프로세서(1166)에 포함될 수 있다. 본 발명의 실시예들에 따른 노이즈 저감 방법은 그래픽 처리 장치(GPU), 신경망 처리 장치(NPU), 이미지 신호 프로세서(ISP), 디지털 신호 프로세서(DSP), CPU 등에 포함되는 계산 회로에 의해 수행되거나, 전용 장치에 의해 수행될 수 있다.

일 실시예에서, 본 발명의 실시예들에 따른 노이즈 저감 방법의 적어도 일부는 데이터 처리 장치로 하여금 이미지 프로세싱하게 하는 실행가능한 프로그램 명령들의 형태로 구현될 수 있다. 상기 프로그램 명령들은 소프트웨어(SW)(1165)의 형태로 저장부(1164)에 저장되고 프로세서(1161) 및/또는 디지털 신호 프로세서(1166)에 의해 상기 프로그램 명령들이 실행될 수 있다.

프로세서(1161)는, 컴퓨터 프로그램을 구성하는 명령들과 같은, 명령들을 실행하기 위한 하드웨어를 포함한다. 명령들을 실행하기 위해, 프로세서(1161)는 내부 레지스터, 내부 캐시(cache), 저장부(1164)로부터 상기 명령들을 검색(retrieve)(또는 페치(fetch))하고; 상기 명령들을 디코딩 및 실행하고; 그 다음에, 하나 이상의 결과들을 내부 레지스터, 내부 캐시 및/또는 저장부(1164)에 기입할 수 있다.

시스템(1000)은 어떤 적절한 물리적 형태를 취하는 컴퓨터 시스템일 수 있다. 시스템(1000)은 내장형(embedded) 컴퓨터 시스템, 시스템-온-칩(system-on-chip: SOC), 단일-보드 컴퓨터 시스템(single-board computer system: SBC)(예를 들면, 컴퓨터-온-모듈(computer-on-module: COM) 또는 시스템-온-모듈(system-on-module: SOM)과 같은 것), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 대화형 키오스크(interactive kiosk), 메인프레임, 컴퓨터 시스템들의 메시(mesh), 모바일 전화, 개인 정보 단말기(personal digital assistant: PDA), 서버, 태블릿 컴퓨터 시스템, 또는 이들 중 둘 이상의 조합일 수 있다.

본 명세서에서, 컴퓨터-판독가능한 저장 매체 또는 매체들은, 적절한 경우, 하나 이상의 반도체-기반 또는 기타 집적 회로들(integrated circuits: ICs)(예를 들면, 필드 프로그램가능 게이트 어레이들(field-programmable gate arrays: FPGAs) 또는 애플리케이션 특정적 IC들(application-specific ICs: ASICs)), 하드디스크 드라이브들(HDDs), 하이브리드 하드 드라이브들(hybrid hard drives: HHDs), 광디스크들, 광디스크 드라이브들(optical disc drives: ODDs), 광자기 디스크들, 광자기 드라이브들, 플로피 디스켓들, 플로피 디스크 드라이브들(floppy disk drives: FDDs), 자기 테이프들, 고체 상태 드라이브들(SSDs), RAM 드라이브들, 시큐어 디지털(SECURE DIGITAL) 카드들 또는 드라이브들, 다른 어떤 적절한 컴퓨터-판독가능한 저장 매체들, 또는 이들 중 둘 이상의 어떤 적절한 조합을 포함할 수 있다. 적절한 경우, 컴퓨터-판독가능한 저장 매체는 휘발성, 비휘발성, 또는 휘발성 및 비휘발성의 조합일 수 있다.

도 3은 본 발명의 실시예들에 따른 이미지 센서를 나타내는 블록도이다.

도 3을 참조하면, 이미지 센서(600)는 픽셀 어레이(pixel array)(620), 행 구동부(row driver)(630), 아날로그-디지털 변환(Analog-to-Digital Conversion; ADC)부(640), 칼럼 구동부(column driver)(650), 제어부(controller)(660) 및 기준 전압 발생기(REF)(670)를 포함할 수 있다.

픽셀 어레이(620)는 칼럼 라인(COL)들에 각각 결합되고, 입사광을 감지하여 칼럼 라인(COL)들을 통하여 아날로그 신호들을 발생하는 복수의 픽셀(700)들을 포함한다. 복수의 픽셀들은 복수의 행들과 복수의 열들로 이루어진 매트릭스 형태로 배열될 수 있다. 픽셀 어레이(620)는 도 6 및 7을 참조하여 후술하는 바와 같이 다양한 단위 패턴들이 행 방향(X) 및 열 방향(Y)으로 반복적으로 배열되는 구조를 가질 수 있다.

행 구동부(630)는 픽셀 어레이(620)의 각 행에 연결되고, 상기 각 행을 구동하는 구동 신호를 생성할 수 있다. 예를 들어, 행 구동부(630)는 픽셀 어레이(620)에 포함되는 상기 복수의 픽셀들을 행 단위로 구동할 수 있다.

아날로그-디지털 변환부(640)는 픽셀 어레이(620)의 각 칼럼(column, 열)에 연결되고, 픽셀 어레이(620)로부터 출력되는 아날로그 신호를 디지털 신호로 변환한다. 아날로그-디지털 변환부(640)는 복수의 아날로그-디지털 컨버터(641)들을 포함하며, 각 칼럼 라인(COL)마다 출력되는 아날로그 신호들을 병렬로(즉, 동시에) 디지털 신호들로 변환하는 칼럼 ADC를 수행할 수 있다.

실시예에 따라서, 아날로그-디지털 변환부(640)는 유효 신호 성분을 추출하기 위한 하나의 상관 이중 샘플링(correlated double sampling; CDS)부를 포함할 수 있다. 일 실시예에서, 상기 상관 이중 샘플링부는 리셋 성분을 나타내는 아날로그 리셋 신호와 이미지 성분을 나타내는 아날로그 이미지 신호의 차이에 기초하여 상기 유효 이미지 성분을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다. 다른 실시예에서, 상기 상관 이중 샘플링부는 상기 아날로그 리셋 신호와 상기 아날로그 이미지 신호를 디지털 신호들로 각각 변환한 후 상기 유효 이미지 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다. 또 다른 실시예에서, 상기 상관 이중 샘플링부는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.

칼럼 구동부(650)는 아날로그-디지털 변환부(640)로부터의 디지털 신호들을 출력 데이터(Dout)로서 순차적으로 출력할 수 있다.

제어부(660)는 행 구동부(630), 아날로그-디지털 변환부(640), 칼럼 구동부(650) 및 기준 신호 생성부(670)를 제어할 수 있다. 제어부(660)는 행 구동부(630), 아날로그-디지털 변환부(640), 칼럼 구동부(650) 및 기준 신호 생성부(670)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 제공할 수 있다. 일 실시예에서, 제어부(660)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.

기준 신호 생성부(670)는 점진적으로 증가하거나 감소하는 전압 레벨을 갖는 기준 신호 또는 램프 신호를 발생하여 아날로그-디지털 변환부(640)에 제공할 수 있다.

도 4는 도 3의 이미지 센서에 포함되는 단위 픽셀의 일 실시예를 나타내는 회로도이다.

도 4를 참조하면, 단위 픽셀(700a)은, 광변 전환 소자로서 포토다이오드(PD)를 포함하고, 데이터 독출을 위한 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다.

예를 들어, 포토다이오드(PD)는 p형 반도체 기판에 형성되는 n형 영역을 포함할 수 있으며, 상기 n형 영역과 상기 p형 기판이 p-n 접합 포토다이오드일 수 있다. 포토다이오드(PD)는 외부로부터 광(예를 들어, 가시광선 또는 적외선)을 수신하고, 수신된 광에 기초하여 광 전하(Photo Charge)를 생성한다.

실시예에 따라, 단위 픽셀(700a)은 포토다이오드(PD)와 함께, 또는 포토다이오드(PD)를 대신하여 포토 트랜지스터, 포토 게이트, 핀드 포토 다이오드 등을 포함할 수 있다.

포토다이오드(PD)에서 생성된 광 전하는 전송 트랜지스터(TX)를 통하여 플로팅 디퓨전 영역(FD)으로 전송된다. 예를 들어, 전송 제어 신호(TG)가 제1 레벨(예컨대, 하이 레벨)을 가질 때에 전송 트랜지스터(TX)가 턴온되고, 포토다이오드(PD)에서 생성된 광 전하는 턴온된 전송 트랜지스터(TX)를 통하여 플로팅 디퓨전 영역(FD)으로 전송될 수 있다.

드라이브 트랜지스터(DX)는 소스 팔로워 버퍼 증폭기(Source Follower buffer Amplifier) 역할을 하여 플로팅 디퓨전 영역(FD)에 충전된 전하에 대응하는 신호를 증폭할 수 있다. 선택 트랜지스터(SX)는 선택 신호(SEL)에 응답하여 상기 증폭된 신호, 즉 픽셀 신호(Vpix)를 컬럼 라인(COL)에 전송할 수 있다.

플로팅 디퓨전 영역(FD)은 리셋 트랜지스터(RX)에 의해 리셋될 수 있다. 예를 들어, 리셋 트랜지스터(RX)는 리셋 신호(RS)에 응답하여 플로팅 디퓨전 영역(FD)에 저장되어 있는 광 전하를 상관 이중 샘플링(CDS: Correlated Double Sampling) 동작을 위한 일정한 주기로서 방전시킬 수 있다.

도 4에서는 하나의 포토다이오드(PD)와 4개의 트랜지스터들(TX, RX, DX, SX)을 구비하는 단위 픽셀을 예시하고 있지만 본 발명에 따른 실시예들이 이에 한정되는 것은 아니다.

도 5는 도 3의 이미지 센서의 센싱 동작의 일 실시예를 나타내는 타이밍도이다.

도 5에는 1개의 픽셀에 대한 센싱 동작에 상응하는 수행되는 센싱 구간(tRPR)이 도시되어 있다. 이러한 센싱 동작은 동일한 전송 제어 신호(TG)에 상응하는 복수의 픽셀들에 대하여 병렬적으로 동시에 수행될 수 있다.

도 3 내지 5를 참조하면, 시간 t1에서, 행 구동부(630)는 논리 하이 레벨로 활성화된 행 선택 신호(SEL)를 픽셀 어레이(620)에 제공하여 픽셀 어레이(620)에 포함되는 복수의 픽셀 행들 중에서 하나의 픽셀 행을 선택한다.

시간 t2에서, 행 구동부(630)는 상기 선택된 픽셀 행에 리셋 제어 신호(RS)를 제공하고, 제어부(660)는 논리 하이 레벨을 갖는 업-다운 제어 신호(UD)를 아날로그-디지털 컨버터(641)에 포함되는 복수의 카운터들에 제공한다. 이 때 픽셀 어레이(620)가 출력하는 픽셀 신호(Vpix)는 리셋 성분을 나타내는 제1 아날로그 신호가 된다.

시간 t3에서, 제어부(660)는 논리 하이 레벨을 갖는 카운트 인에이블 신호(CNT_EN)를 기준 신호 생성부(670)에 제공하고, 기준 신호 생성부(670)는 기준 신호(Vref)의 전압 레벨을 일정한 크기의 기울기(a)로 감소시키기 시작한다. 또한 제어부(660)는 복수의 카운터들에 카운트 클럭 신호(CLKC)를 제공하고, 복수의 카운터들 각각은 카운트 클럭 신호(CLKC)에 동기되어 다운 카운팅 동작을 개시한다.

시간 t4에서, 기준 신호(Vref)와 픽셀 신호(Vpix)의 전압 레벨이 동일하게 되고, 아날로그-디지털 컨버터(641)에 포함되는 비교기에서 출력되는 비교 신호(CMP)는 논리 로우 레벨로 천이하여 다운 카운팅 동작이 종료된다. 이 때 카운터에는 리셋 성분(Vrst)에 해당하는 카운팅값(-2)이 저장된다.

시간 t5에서, 카운트 인에이블 신호(CNT_EN)가 논리 로우 레벨로 비활성화되면, 기준 신호 생성부(70)는 디스에이블된다. 시간 t3에서 시간 t5의 구간은 리셋 성분(Vrst)을 카운팅하기 위한 최대 구간을 나타내며 이미지 센서의 특성에 따라 적절한 클럭 사이클의 개수에 해당하도록 설정될 수 있다.

시간 t6에서, 행 구동부(630)는 상기 선택된 픽셀 행에 전송 제어 신호(TG)를 제공하고, 제어부(660)는 논리 로우 레벨을 갖는 업-다운 제어 신호(UD)를 카운터들에 제공한다. 이 때 픽셀 어레이(620)가 출력하는 픽셀 신호(Vpix)는 상기 입사광에 따른 이미지 성분을 나타내는 제2 아날로그 신호가 된다.

시간 t7에서, 제어부(660)는 다시 논리 하이 레벨을 갖는 카운트 인에이블 신호(CNT_EN)를 기준 신호 생성부(670)에 제공하고, 기준 신호 생성부(670)는 기준 전압(Vref)의 전압 레벨을 시간 t3에서와 동일한 크기의 기울기(a)로 감소시키기 시작한다. 또한 제어부(660)는 카운터들에 카운트 클럭 신호(CLKC)를 제공하고, 카운터들 각각은 카운트 클럭 신호(CLKC)에 동기되어 업 카운팅 동작을 개시한다.

시간 t8에서, 기준 신호(Vref)와 픽셀 신호(Vpix)의 전압 레벨이 동일하게 되고, 비교기에서 출력되는 비교 신호(CMP)는 논리 로우 레벨로 천이하여 업 카운팅 동작이 종료된다. 최종적으로 카운터에는 리셋 성분(Vrst=2)을 나타내는 제1 아날로그 신호와 입사광에 따른 이미지 성분(Vrst+Vsig=17)을 나타내는 제2 아날로그 신호의 차이에 상응하는 디지털 값(Vsig=15)이 저장되고 디지털 값(Vsig=15)은 상기 입사광의 유효 성분을 나타내는 디지털 신호(DS)로서 출력된다.

시간 t9에서, 카운트 인에이블 신호(CNT_EN)가 논리 로우 레벨로 비활성화되면, 기준 신호 생성부(670)는 디스에이블된다. 시간 t7에서 시간 t9의 구간은 이미지 성분(Vrst+Vsig)을 카운팅하기 위한 최대 구간을 나타내며 이미지 센서의 특성에 따라 적절한 클럭 사이클의 개수에 해당하도록 설정될 수 있다.

시간 t10에서, 행 구동부(630)는 논리 로우 레벨로 비활성화된 행 선택 신호(SEL)를 픽셀 어레이(620)에 제공하여 상기 선택된 픽셀 행의 선택을 해제한다. 또한, 카운터들 각각은 저장된 카운팅값을 리셋한다.

이후, 이미지 센서(600)는 다른 행들에 대해 상기 설명한 동작을 반복하면서 행 단위로 디지털 신호를 출력한다.

이상 본 발명의 이해를 돕기 위하여 도 3 내지 5를 참조하여 예시적인 이미지 센서의 구성 및 센싱 동작을 설명하였으나 본 발명의 실시예들이 이에 한정되는 것은 아니다.

도 6은 도 3의 이미지 센서에 포함되는 픽셀 어레이의 레이아웃을 나타내는 평면도이다.

도 6을 참조하면, 도 3의 이미지 센서(600)에 포함되는 픽셀 어레이(620)는 행 방향(X) 및 행 방향(X)과 수직한 열 방향(Y)으로 반복하여 배열되는 단위 패턴들(UPTT)로 분할될 수 있다. 일 실시예에서, 단위 패턴들(UPTT)은 모두 동일할 수 있다. 이 경우 각각의 단위 패턴(UPTT)은 더 작은 단위로 분할될 수 없는 최소 단위의 패턴에 해당한다. 다른 실시예에서, 단위 패턴들(UPTT)은 서로 다른 2개 이상의 패턴들을 포함할 수 있고, 서로 다른 패턴들이 행 방향(X) 및/또는 열 방향(Y)으로 규칙적으로 배치될 수 있다.

이하 도 7을 참조하여 다양한 컬러 필터 어레이의 실시예들을 설명한다. 실시예들에 따라서, 후술하는 패턴들을 행 방향(X) 및/또는 열 방향(Y)으로 반전하거나 수직 방향을 중심으로 90도 또는 180도만큼 회전할 수도 있다.

도 7은 도 6의 픽셀 어레이의 단위 패턴의 실시예들을 나타내는 도면이다.

도 7에는 예시적으로 베이어(Bayer) 패턴(PTT1), 테트라(Tetra) 패턴(PTT2), 노나(Nona) 패턴(PTT3) 및 RGBW 패턴(PTT4)의 단위 구조들이 도시되어 있다. 여기서, 단위 패턴이라 함은 이미지에서 더 이상 쪼갤 수 없는 픽셀들의 최소 단위의 배열을 나타내며, 이미지는 이러한 단위 구조들이 반복적으로 배열되는 많은 수의 픽셀들을 포함할 수 있다. 당업자는 본 발명의 실시예들이 도 7에 도시된 패턴들뿐만 아니라 다른 임의의 컬러 패턴들에 모두 적용될 수 있음을 이해할 수 있을 것이다.

도 7을 참조하면, 베이어 패턴(PTT1)은 1개의 적색 픽셀(R), 2개의 녹색 픽셀(G) 및 1개의 청색 픽셀(B)이 단위 구조를 구성할 수 있다.

테트라 패턴(PTT2)은 인접하는 동일 컬러의 4개의 픽셀들이 각 컬러 픽셀 그룹을 이루고, 1개의 적색 픽셀 그룹, 2개의 녹색 픽셀 그룹들 및 1개의 청색 픽셀 그룹이 단위 구조를 구성할 수 있다.

노나 패턴(PTT3)은 인접하는 동일 컬러의 9개의 픽셀들이 각 컬러 픽셀 그룹을 이루고, 1개의 적색 픽셀 그룹, 2개의 녹색 픽셀 그룹들 및 1개의 청색 픽셀 그룹이 단위 구조를 구성할 수 있다.

RGBW 패턴(PTT4)은 8개의 백색 픽셀들(W), 2개의 적색 픽셀들(R), 4개의 녹색 픽셀들(G) 및 2개의 청색 픽셀들(B)이 단위 구조를 구성할 수 있다.

이하, 입력 이미지가 베이어 패턴(PTT1)을 갖는 경우를 중심으로 본 발명의 실시예들을 설명하지만, 이에 한정되는 것은 아니다. 본 발명의 실시예들은, 입력 이미지가 베이어 패턴(PTT1)뿐만 아니라, 테트라 패턴(PTT2), 노나 패턴(PTT3), RGBW 패턴(PTT4) 등의 다양한 패턴을 갖는 경우에 대해 동일한 방식으로 적용될 수 있다.

도 8은 본 발명의 실시예들에 따른 노이즈 저감 장치를 나타내는 블록도이다.

도 8을 참조하면, 노이즈 저감 장치(100)는 로컬 윈도우 생성부(LWG)(200), 평균 값 생성부(300), 변환부(400) 및 보상부(WAG)(500)를 포함할 수 있다.

로컬 윈도우 생성부(200)는 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지(IMG)에 포함되는 컬러 픽셀들 중에서 타겟 픽셀(P(i)) 및 타겟 픽셀(P(i))에 인접하는 주변 픽셀들(P(k))을 포함하는 로컬 윈도우(WIN)를 설정하고, 로컬 윈도우(WIN)에 포함되는 타겟 픽셀(P(i))에 인접하는 주변 픽셀들(P(k))의 컬러 픽셀 값들을 제공할 수 있다. 이하에서는, P(i)는 타겟 픽셀을 나타낼 수도 있고, 타겟 픽셀의 컬러 픽셀 값을 나타낼 수도 있다. 또한, P(k)는 주변 픽셀들을 나타낼 수도 있고 주변 픽셀들의 컬러 픽셀 값들을 나타낼 수도 있다. 또한, 후술하는 수학식들에서, k=i인 경우 P(k)는 타겟 픽셀을 나타낼 수 있다. 로컬 윈도우의 설정에 대해서는 도 9를 참조하여 후술한다.

평균 값 생성부(300)는 로컬 윈도우(WIN)에 포함되는 타겟 픽셀(P(i)) 및 주변 픽셀들(P(k))의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성할 수 있다. 평균 값 생성부(300)는 로컬 컬러 평균 값들을 각각 생성하는 복수의 컬러 평균 값 생성부들(310, 320, 330)을 포함할 수 있다.

일 실시예에서, 입력 이미지가 적색 픽셀 값들, 녹색 픽셀 값들 및 청색 픽셀 값들을 포함하는 베이어 패턴을 갖는 경우, 평균 값 생성부(300)는 도 8에 도시된 바와 같이 적색 평균 값 생성부(310), 녹색 평균 값 생성부(320) 및 청색 평균 값 생성부(330)를 포함할 수 있다. 적색 평균 값 생성부(310)는 로컬 윈도우(WIN)에 포함되는 적색 픽셀 값들을 평균하여 로컬 적색 평균 값(Rm)을 생성하고, 녹색 평균 값 생성부(320)는 로컬 윈도우(WIN)에 포함되는 녹색 픽셀 값들을 평균하여 로컬 녹색 평균 값(Gm)을 생성하고, 청색 평균 값 생성부(330)는 로컬 윈도우(WIN)에 포함되는 청색 픽셀 값들을 평균하여 로컬 청색 평균 값(Bm)을 생성할 수 있다. 베이터 패턴의 경우에 해당하는 로컬 컬러 평균 값들은 수학식 1과 같이 나타낼 수 있다.

[수학식 1]

수학식 1에서,

은 로컬 윈도우(WIN)에 포함되는 컬러 픽셀들에 대한 합을 나타내고, Rm은 로컬 적색 평균 값을 나타내고, Gm은 로컬 녹색 평균 값을 나타내고, Bm은 로컬 청색 평균 값을 나타내고, Nr은 로컬 윈도우(WIN)에 포함되는 적색 픽셀들(R(i))의 개수를 나타내고, Nr은 로컬 윈도우(WIN)에 포함되는 적색 픽셀 값들(R(i))의 개수를 나타내고, Ng은 로컬 윈도우(WIN)에 포함되는 녹색 픽셀 값들(G(i))의 개수를 나타내고, Nb은 로컬 윈도우(WIN)에 포함되는 청색 픽셀 값들(B(i))의 개수를 나타낸다.

변환부(400)는 로컬 컬러 평균 값들(Rm, Gm, Bm)에 기초하여 타겟 픽셀(P(i)) 및 주변 픽셀들(P(k))의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성할 수 있다. 일 실시예에서, 변환부(400)는 오프셋 생성부(OFSG)(410) 및 픽셀 값 변환부(CONV)(420)를 포함할 수 있다.

오프셋 생성부(410)는 타겟 픽셀(P(i))과 동일한 컬러에 해당하는 타겟 컬러 평균 값에서 로컬 컬러 평균 값들의 각각을 감산하여 컬러 오프셋 값들(OFS)을 생성할 수 있다. 픽셀 값 변환부(420)는 타겟 픽셀(P(i)) 및 주변 픽셀들(P(k))의 각각의 컬러 픽셀 값 및 상기 각각의 컬러 픽셀 값에 해당하는 각각의 컬러 오프셋 값을 합산하여 오프셋 컬러 픽셀 값들(P'(i), P'(k))의 각각을 생성할 수 있다. 컬러 오프셋 값은 수학식 2와 같이 나타낼 수 있다.

[수학식 2]

OFSc1c2=C1m-C2m

수학식 2에서, OFSc1c2는 타겟 픽셀(P(i))이 제1 컬러(C1)에 해당하는 경우 제2 컬러(C2)에 상응하는 컬러 오프셋 값을 나타내고, C1m은 제1 컬러(C1)에 상응하는 로컬 컬러 평균 값을 나타내고, C2m은 제2 컬러(C2)에 상응하는 로컬 컬러 평균 값을 나타낸다.

보상부(500)는 로컬 윈도우(WIN')에 포함되는 오프셋 컬러 픽셀 값들(P'(i), P'(k))에 기초하여 타겟 픽셀의 컬러 픽셀 값(P(i))을 보상하여 타겟 픽셀의 보상 컬러 픽셀 값(CP(i)을 생성할 수 있다.

일 실시예에서, 보상부(500)는 로컬 윈도우(WIN')에 포함되는 모든 컬러 픽셀들에 대하여, 오프셋 컬러 픽셀 값들에 가중치들을 적용한 가중 평균 값을 생성하고, 상기 가중 평균 값을 타겟 픽셀(P(i))의 보상 컬러 픽셀 값(CP(i))으로 제공할 수 있다. 이 경우, 타겟 픽셀(P(i))의 보상 컬러 픽셀 값(CP(i))은 수학식 3과 같이 표현될 수 있다.

[수학식 3]

수학식 3에서,

는 로컬 윈도우 내(WIN')의 모든 컬러 픽셀들에 대한 합을 나타내고, P'(k)는 각각의 오프셋 컬러 픽셀 값을 나타내고,

i(k)는 상기 각각의 오프셋 컬러 픽셀 값에 상응하는 가중치를 나타낸다.

일 실시예에서, 각각의 가중치(

_i(k))는 수학식 4와 같이 나타낼 수 있다.

[수학식 4]

수학식 4에서, P(i)는 타겟 픽셀의 컬러 픽셀 값을 나타내고, P'(k)는 각각의 오프셋 컬러 픽셀 값을 나타내고, h는 노이즈 저감 강도를 나타내다.

_i(k)는 상기 각각의 오프셋 컬러 픽셀 값(P'(k))에 상응하는 가중치를 나타낸다. 노이즈 저감 강도(h)는 입력 이미지의 종류 또는 특성, 요구되는 노이즈 저감 성능 등에 따라서 적절한 값으로 설정될 수 있다.

도 9는 본 발명의 실시예들에 따른 노이즈 저감 방법을 위한 로컬 윈도우를 설명하기 위한 도면이다.

도 9에는 일 예로서 베이터 패턴의 컬러 필터 어레이를 포함하는 이미지 센서를 사용하여 단색(예를 들어, 보라색)의 테스트 보드를 촬상한 입력 이미지(IMG) 및 5*5 사이즐 갖는 로컬 윈도우(WIN)가 도시되어 있다.

적색 픽셀 값들(R), 녹색 픽셀 값들(G) 및 청색 픽셀 값들(B)은 피사체에서 반사된 빛의 색상에 의해 결정되며, 로컬 윈도우(WIN)의 중심에 있는 픽셀이 노이즈 저감 또는 디노이징(denoising)을 적용하고자 하는 타겟 픽셀이며 도 9에는 타겟 픽셀이 적색 픽셀인 경우를 예시하고 있다.

입력 이미지(IMG)의 컬러 픽셀 값들은 도 10 내지 15를 참조하여 후술하는 바와 같이, 컬러 별 평균과 분산을 갖는 분포(distribution)를 갖는다고 가정할 수 있다. 이때, 분산은 각 컬러 픽셀들의 노이즈(noise)에 의해 결정되는 것이라 볼 수 있다.

이종 컬러의 픽셀들을 디노이징에 활용할 경우, 디노이징 후 픽셀 컬 값들의 컬러 별 평균 값이 변경되면 최종 출력 영상의 색 변형 또는 색 왜곡(color distortion)이 유발될 수 있다. 따라서, 본 발명의 실시예들에 따라서, 이종 컬러의 픽셀 값들을 디노이징에 활용하더라도 출력 분포의 평균값이 달라지지 않도록, 로컬 채널 보상(local channel compensation)을 수행한다. 이러한 로컬 채널 보상에 대하여 도 10 내지 15를 참조하여 설명한다.

도 10은 베이터 패턴에 대하여 적색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이고, 도 11은 도 10의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다.

도 10을 참조하면, 베이터 패턴을 갖는 입력 이미지에 대해 적색 픽셀(R)이 타겟 픽셀에 해당하는 5*5 사이즈의 로컬 윈도우(WIN_R)는 9개의 적색 픽셀 값들(R), 12개의 녹색 픽셀 값들(G) 및 4개의 청색 픽셀 값들(B)을 포함한다.

예를 들어, 디모자이킹(demosaicing) 성능 향상을 위한 목적으로, 컬러 필터 어레이(CFA, Color filter array) 도메인(domain)에서 디노이징을 수행할 수 있다. 이때, 그레이 스케일(gray scale)이나 RGB 도메인을 위한 일반적인 디노이징 기법을 CFA 도메인에 적용하기 위하여, 로컬 윈도우 내의 중심 픽셀(center pixel), 즉 타겟 픽셀과 동일한 컬러의 픽셀 값들을 이용하여 디노이징을 수행하는 방식이 이용되고 있다.

확률 이론(probability theory)에 의하여, 일반적으로 사용되는 평균화(averaging) 기반의 디노이징 기법들은 노이즈의 표준 편차(standard deviation)

를 평균화에 이용되는 픽셀 수(N)에 의해

으로 감소시킨다. 결과적으로, 디노이징에 사용되는 픽셀 수(N)는 직접적으로 디노이징 성능에 영향을 미친다.

도 10의 로컬 윈도우(WIN_R)의 경우 타겟 픽셀과 동일한 컬러의 적색 픽셀들(R)은 4개뿐이며 노이즈의 표준 편차는 1/2로 감소될 뿐이며 노이즈 성능이 상당히 제한적인 것을 알 수 있다.

반면에 본 발명의 실시예들에 따라서, 로컬 윈도우(WIN_R) 내의 모든 컬러들에 대한 픽셀들을 디노이징에 사용하는 경우 N=25가 되어 노이즈의 표준 편차는 1/5로 감소되어 디노이징 성능을 향상시킬 수 있다. 그러나, 이 경우, 컬러 픽셀 값들의 평균이 상이한 경우 색 왜곡이 발생할 수 있으므로 색 왜곡을 억제하는 것이 요구된다.

도 11의 상부에는 로컬 윈도우(WIN_R)에 포함되는 컬러 픽셀 값들의 분포가 도시되어 있고, 도 10의 하부에는 본 발명의 실시예들에 따른 변환 후의 오프셋 컬러 픽셀 값들의 분포가 도시되어 있다.

도 11에 도시된 바와 같이, 오프셋 컬러 픽셀 값들을 컬러 별로 평균한 값들(Rm', Gm', Bm')은 로컬 컬러 평균 값들(Rm, Gm, Bm) 중에서 적색 픽셀인 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값(Rm)과 동일할 수 있다.

이와 같은 컬러 픽셀 값들의 변환은 수학식 5와 같이 나타낼 수 있고, 결과적으로 도 11의 하부에 도시된 바와 같이, 오프셋 컬러 픽셀 값들의 분포는 각 컬러 별 평균은 같고 분산(variation)만 차이를 갖게 된다.

[수학식 5]

R'=R

G'=G+OFSrg

B'=B+OFSrb

OFSrg=Rm-Rg

OFSrb=Rm-Rb

수학식 5에서, R, G 및 B는 각각 적색 픽셀 값, 녹색 픽셀 값 및 청색 픽셀 값을 나타내고, R', G' 및 B'는 각각 오프셋 적색 픽셀 값, 오프셋 녹색 픽셀 값 및 오프셋 청색 픽셀 값을 나타내고, Rm, Gm 및 Bm은 각각 로컬 적색 평균 값, 로컬 녹색 평균 값 및 로컬 청색 평균 값을 나타내고, OFSrg 및 OFSrb는 각각 타겟 픽셀이 적색 픽셀인 경우의 녹색 픽셀 값에 해당하는 컬러 오프셋 값 및 청색 픽셀 값에 해당하는 컬러 오프셋 값을 나타낸다.

이와 같이 변환된 오프셋 컬러 픽셀 값들을 사용하여 디노이징을 수행하는 경우, 컬러 차이에 의한 오프셋이 보상되어 이상적으로는 노이즈 분포의 분산(variation)에 의한 차이만이 존재하게 된다. 일반적으로 카메라 영상에서 노이즈 모델은 가우션/포아송(Gaussian/Poisson) 분포를 따르게 되는데, 두 분포를 따르는 확률변수의 합 또한 각각 가우션/포아송 분포를 따르게 된다. 따라서, 로컬 윈도우 내의 모든 오프셋 컬러 픽셀 값들을 이용한 디노이징은 유효하게 되며, 이때의 평균 값은 타겟 픽셀과 동일한 컬러의 로컬 컬러 평균 값을 유지할 수 있으므로 디노이징 과정에서 과정에서 색 변형 또는 색 왜곡이 방지 또는 감소될 수 있다.

도 12는 베이터 패턴에 대하여 녹색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이고, 도 13은 도 12의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다. 이하 도 10 및 11과 중복되는 설명을 생략한다.

도 12를 참조하면, 베이터 패턴을 갖는 입력 이미지에 대해 녹색 픽셀(G)이 타겟 픽셀에 해당하는 5*5 사이즈의 로컬 윈도우(WIN_G)는 13개의 녹색 픽셀 값들(G), 6개의 적색 픽셀 값들(R) 및 6개의 청색 픽셀 값들(B)을 포함한다.

도 13의 상부에는 로컬 윈도우(WIN_G)에 포함되는 컬러 픽셀 값들의 분포가 도시되어 있고, 도 13의 하부에는 본 발명의 실시예들에 따른 변환 후의 오프셋 컬러 픽셀 값들의 분포가 도시되어 있다.

도 13에 도시된 바와 같이, 오프셋 컬러 픽셀 값들을 컬러 별로 평균한 값들(Rm', Gm', Bm')은 로컬 컬러 평균 값들(Rm, Gm, Bm) 중에서 녹색 픽셀인 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값(Rg)과 동일할 수 있다.

이와 같은 컬러 픽셀 값들의 변환은 수학식 6과 같이 나타낼 수 있고, 결과적으로 도 13의 하부에 도시된 바와 같이, 오프셋 컬러 픽셀 값들의 분포는 각 컬러 별 평균은 같고 분산(variation)만 차이를 갖게 된다.

[수학식 6]

R'=R+OFSgr

G'=G

B'=B+OFSgb

OFSgr=Rg-Rr

OFSgb=Rg-Rb

수학식 6에서, R, G 및 B는 각각 적색 픽셀 값, 녹색 픽셀 값 및 청색 픽셀 값을 나타내고, R', G' 및 B'는 각각 오프셋 적색 픽셀 값, 오프셋 녹색 픽셀 값 및 오프셋 청색 픽셀 값을 나타내고, Rm, Gm 및 Bm은 각각 로컬 적색 평균 값, 로컬 녹색 평균 값 및 로컬 청색 평균 값을 나타내고, OFSgr 및 OFSgb는 각각 타겟 픽셀이 녹색 픽셀인 경우의 적색 픽셀 값에 해당하는 컬러 오프셋 값 및 청색 픽셀 값에 해당하는 컬러 오프셋 값을 나타낸다.

도 14는 베이터 패턴에 대하여 청색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이고, 도 15는 도 14의 로컬 윈도우에 대하여 오프셋 컬러 픽셀 값들을 생성하는 방법을 설명하기 위한 도면이다. 이하 도 10 및 11과 중복되는 설명을 생략한다.

도 14를 참조하면, 베이터 패턴을 갖는 입력 이미지에 대해 청색 픽셀(B)이 타겟 픽셀에 해당하는 5*5 사이즈의 로컬 윈도우(WIN_B)는 9개의 청색 픽셀 값들(B), 4개의 적색 픽셀 값들(R) 및 12개의 녹색 픽셀 값들(G)을 포함한다.

도 15의 상부에는 로컬 윈도우(WIN_B)에 포함되는 컬러 픽셀 값들의 분포가 도시되어 있고, 도 15의 하부에는 본 발명의 실시예들에 따른 변환 후의 오프셋 컬러 픽셀 값들의 분포가 도시되어 있다.

도 15에 도시된 바와 같이, 오프셋 컬러 픽셀 값들을 컬러 별로 평균한 값들(Rm', Gm', Bm')은 로컬 컬러 평균 값들(Rm, Gm, Bm) 중에서 청색 픽셀인 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값(Rb)과 동일할 수 있다.

이와 같은 컬러 픽셀 값들의 변환은 수학식 7과 같이 나타낼 수 있고, 결과적으로 도 15의 하부에 도시된 바와 같이, 오프셋 컬러 픽셀 값들의 분포는 각 컬러 별 평균은 같고 분산(variation)만 차이를 갖게 된다.

[수학식 7]

R'=R+OFSbr

G'=G+OFSbg

B'=B

OFSbr=Rb-Rr

OFSbg=Rb-Rg

수학식 7에서, R, G 및 B는 각각 적색 픽셀 값, 녹색 픽셀 값 및 청색 픽셀 값을 나타내고, R', G' 및 B'는 각각 오프셋 적색 픽셀 값, 오프셋 녹색 픽셀 값 및 오프셋 청색 픽셀 값을 나타내고, Rm, Gm 및 Bm은 각각 로컬 적색 평균 값, 로컬 녹색 평균 값 및 로컬 청색 평균 값을 나타내고, OFSbr 및 OFSbg는 각각 타겟 픽셀이 청색 픽셀인 경우의 적색 픽셀 값에 해당하는 컬러 오프셋 값 및 녹색 픽셀 값에 해당하는 컬러 오프셋 값을 나타낸다.

도 16은 본 발명의 실시예들에 따른 이미지의 노이즈 저감 방법을 나타내는 순서도이고, 도 17은 본 발명의 실시예들에 따른 노이즈 저감 장치를 나타내는 블록도이다. 도 16의 방법은 디노이징을 위해 에지 정보를 추가하는 것을 제외하고는 도 1의 방법과 유사하고, 도 17의 노이즈 저감 장치(101)는 에지 검출부(10)를 더 포함하는 것을 제외하고는 도 8의 노이즈 저감 장치(100)와 유사하므로, 도 1 내지 도 15와 중복되는 설명을 생략한다.

도 17을 참조하면, 노이즈 저감 장치(101)는 에지 검출부(EDET)(10), 로컬 윈도우 생성부(LWG)(200), 평균 값 생성부(300), 변환부(400) 및 보상부(WAG)(500)를 포함할 수 있다.

도 16 및 17을 참조하면, 로컬 윈도우 생성부(200)는 이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지(IMG)에 포함되는 컬러 픽셀들 중에서 타겟 픽셀(P(i)) 및 타겟 픽셀(P(i))에 인접하는 주변 픽셀들(P(k))을 포함하는 로컬 윈도우(WIN)를 설정하고(S100), 로컬 윈도우(WIN)에 포함되는 타겟 픽셀(P(i))에 인접하는 주변 픽셀들(P(k))의 컬러 픽셀 값들을 제공할 수 있다.

에지 검출부(10)는 입력 이미지(IMG)에 포함되는 에지들을 검출하여 에지 정보(EMAP)를 생성할 수 있다(S150). 예를 들어, 에지 정보(EMAP)는 도 18 및 19를 참조하여 설명하는 에지 맵일 수 있다.

평균 값 생성부(300)는 로컬 윈도우(WIN)에 포함되는 타겟 픽셀(P(i)) 및 주변 픽셀들(P(k))의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성할 수 있다(S210).

변환부(400)는 로컬 컬러 평균 값들(Rm, Gm, Bm)에 기초하여 타겟 픽셀(P(i)) 및 주변 픽셀들(P(k))의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성할 수 있다(S310).

보상부(500)는 에지 정보(EMAP) 및 로컬 윈도우(WIN')에 포함되는 오프셋 컬러 픽셀 값들(P'(i), P'(k))에 기초하여 타겟 픽셀의 컬러 픽셀 값(P(i))을 보상하여 타겟 픽셀의 보상 컬러 픽셀 값(CP(i)을 생성할 수 있다(S410).

도 18은 입력 이미지의 일 예를 나타내는 도면이고, 도 19는 도 18의 입력 이미지에 상응하는 에지 맵을 나타내는 도면이다. 도 19에는 도 18의 입력 이미지의 일 부분(RT)에 대한 에지 데이터에 상응하는 에지 맵이 도시되어 있다.

도 17의 에지 검출부(10)는 입력 이미지(IMG)에 에지 정보(EMAP)를 발생할 수 있고, 일 실싱에서 에지 정보(EMAP)는 도 19에 도시된 바와 같은 에지 맵의 형태로서 제공될 수 있다. 예를 들어, 에지 맵은 에지들에 해당하는 픽셀들은 1의 값을 갖고, 에지들에 해당하지 않는 픽셀들은 0의 값을 갖는 데이터의 형태로 제공될 수 있다.

에지 검출부(10)는 입력 이미지(IMG)에서 에지 정보를 검출하는 하이 패스 필터(HPF, high-pass filter)와 같은 에지 검출기로 구현될 수 있다. 상기 에지 검출기는 관련 기술 분야에서 일반적으로 이용되는 수학적 알고리즘(예를 들어, Canny edge detection 등)을 이용하여 휘도 데이터(YDT)에 포함된 이미지의 에지를 나타내는 에지 데이터(EGDT)를 발생할 수 있다.

일 실시예에서, 도 17의 로컬 윈도우 생성부(200)는 에지 정보(EMAP)에 기초하여 에지 등급 값(EG)을 생성하여 보상부(500)에 제공할 수 있다. 보상부(500)는 에지 정보(EMAP)에 해당하는 에지 등급 값(EG) 및 로컬 윈도우(WIN')에 포함되는 오프셋 컬러 픽셀 값들(P'(i), P'(k))에 기초하여 타겟 픽셀의 컬러 픽셀 값(P(i))을 보상하여 타겟 픽셀의 보상 컬러 픽셀 값(CP(i)을 생성할 수 있다. 일 실시예에서, 보상부(500)는 수학식 8과 같이 타겟 픽셀의 보상 컬러 픽셀 값(CP(i)을 생성할 수 있다.

[수학식 8]

수학식 8에서,

는 상기 로컬 윈도우 내의 모든 컬러 픽셀들에 대한 합을 나타내고, P'(k)는 각각의 오프셋 컬러 픽셀 값을 나타내고,

_i(k)는 상기 각각의 오프셋 컬러 픽셀 값에 상응하는 가중치를 나타내고, EG는 에지 검출 과정에서 결정되는 에지 등급 값을 나타낸다. 에지 등급 값(EG)은 컬러 픽셀 단위로 결정될 수도 있고, 로컬 윈도우 단위로 결정될 수도 있다.

도 20은 베이터 패턴에 대하여 녹색 픽셀이 타겟 픽셀인 경우의 로컬 윈도우의 일 실시예를 나타내는 도면이다.

도 20을 참조하면, 베이터 패턴을 갖는 입력 이미지에 대해 적색 픽셀(R)이 타겟 픽셀에 해당하는 5*5 사이즈의 로컬 윈도우(WIN_R)는 9개의 적색 픽셀 값들(R), 12개의 녹색 픽셀 값들(G) 및 4개의 청색 픽셀 값들(B)을 포함한다.

예를 들어, 도 20에 도시된 바와 같이 로컬 윈도우(WIN_R)는 로컬 윈도우(WIN_R)는 에지를 경계로 서브 윈도우들(SW1, SW2, SW3)로 분할될 수 있다.

이 경우, 평균 값 생성부(300)는 서브 윈도우들(SW1, SW2, SW3)중에서 타겟 픽셀이 속하는 타겟 서브 윈도우(SW1)에 포함되는 타겟 픽셀 및 주변 픽셀들의 컬러 픽셀 값들을 컬러 별로 평균하여 전술한 바와 같은 로컬 컬러 평균 값들을 생성할 수 있다. 보상부(500)는 타겟 서브 윈도우(SW1)에 포함되는 오프셋 컬러 픽셀 값들에 기초하여 타겟 픽셀의 컬러 픽셀 값을 보상하여 타겟 픽셀의 보상 컬러 픽셀 값을 생성할 수 있다.

일반적으로 에지를 경계로 픽셀 값의 변화가 크게 되므로, 타겟 픽셀이 속하지 않은 서브 윈도우(SW3) 및 에지에 해당하는 서브 윈도우(SW2)에 포함되는 컬러 픽셀들을 디노이징에서 배제할 수 있다.

도 21은 본 발명의 실시예들에 따른 전자 장치의 블록도이고, 도 22는 도 21의 전자 장치에 포함되는 카메라 모듈을 나타내는 블록도이다.

도 21을 참조하면, 전자 장치(1000)는 카메라 모듈 그룹(1100), 애플리케이션 프로세서(1200), PMIC(1300) 및 외부 메모리(1400)를 포함할 수 있다.

카메라 모듈 그룹(1100)은 복수의 카메라 모듈(1100a, 1100b, 1100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(1100a, 1100b, 1100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(1100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.

이하, 도 22를 참조하여, 카메라 모듈(1100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(1100a, 1100b)에 대해서도 동일하게 적용될 수 있다.

도 22를 참조하면, 카메라 모듈(1100b)은 프리즘(1105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(1110), 액츄에이터(1130), 이미지 센싱 장치(1140) 및 저장부(1150)를 포함할 수 있다.

프리즘(1105)은 광 반사 물질의 반사면(1107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.

몇몇 실시예에서, 프리즘(1105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(1105)은 광 반사 물질의 반사면(1107)을 중심축(1106)을 중심으로 A방향으로 회전시키거나, 중심축(1106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(1110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.

몇몇 실시예에서, 도시된 것과 같이, 프리즘(1105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

몇몇 실시예에서, 프리즘(1105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.

몇몇 실시예에서, 프리즘(1105)은 광 반사 물질의 반사면(1106)을 중심축(1106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.

OPFE(1110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(1100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(1100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(1110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(1100b)의 광학 줌 배율은 3Z 또는 5Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.

액츄에이터(1130)는 OPFE(1110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(1130)는 정확한 센싱을 위해 이미지 센서(1142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.

이미지 센싱 장치(1140)는 이미지 센서(1142), 제어 로직(1144) 및 메모리(1146)를 포함할 수 있다. 이미지 센서(1142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 제어 로직(1144)은 카메라 모듈(1100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(1144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(1100b)의 동작을 제어할 수 있다.

메모리(1146)는 캘리브레이션 데이터(1147)와 같은 카메라 모듈(1100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(1147)는 카메라 모듈(1100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(1147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(1100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(1147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.

저장부(1150)는 이미지 센서(1142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(1150)는 이미지 센싱 장치(1140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(1140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(1150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다.

도 21 및 22를 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 액추에이터(1130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 그 내부에 포함된 액추에이터(1130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(1147)를 포함할 수 있다.

몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100b)은 앞서 설명한 프리즘(1105)과 OPFE(1110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100b)은 프리즘(1105)과 OPFE(1110)가 포함되지 않은 버티컬(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 하나의 카메라 모듈(예를 들어, 1100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 애플리케이션 프로세서(1200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 1100a 또는 1100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.

몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(1100a, 1100b, 1100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 1100a, 1100b)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

또한, 몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

몇몇 실시예에서, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(1142)의 센싱 영역을 복수의 카메라 모듈(1100a, 1100b, 1100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각의 내부에 독립적인 이미지 센서(1142)가 배치될 수 있다.

다시 도 21을 참조하면, 애플리케이션 프로세서(1200)는 이미지 처리 장치(1210), 메모리 컨트롤러(1220), 내부 메모리(1230)를 포함할 수 있다. 애플리케이션 프로세서(1200)는 복수의 카메라 모듈(1100a, 1100b, 1100c)과 분리되어 구현될 수 있다. 예를 들어, 애플리케이션 프로세서(1200)와 복수의 카메라 모듈(1100a, 1100b, 1100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.

이미지 처리 장치(1210)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c), 이미지 생성기(1214) 및 카메라 모듈 컨트롤러(1216)를 포함할 수 있다.

이미지 처리 장치(1210)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c)를 포함할 수 있다.

각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)을 통해 대응되는 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(1100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(1212a)에 제공되고, 카메라 모듈(1100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(1212b)에 제공되고, 카메라 모듈(1100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(1212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(1212a)와 서브 이미지 프로세서(1212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(1100a)과 카메라 모듈(1100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.

각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)에 제공된 이미지 데이터는 이미지 생성기(1214)에 제공될 수 있다. 이미지 생성기(1214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(1212a, 1212b, 1212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.

구체적으로, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(1214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(1100a, 1100b, 1100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.

몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.

이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(1100a, 1100b, 1100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(1214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(1100a)로부터 출력된 이미지 데이터와 카메라 모듈(1100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(1100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(1214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(1100a, 1100b, 1100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.

몇몇 실시예에서, 이미지 생성기(1214)는 복수의 서브 이미지 프로세서(1212a, 1212b, 1212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로써, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.

카메라 모듈 컨트롤러(1216)는 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(1216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 1100b)로 지정되고, 나머지 카메라 모듈들(예를 들어, 1100a, 1100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb, CSLc)를 통해 대응되는 카메라 모듈(1100a, 1100b, 1100c)에 제공될 수 있다.

줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(1100a)의 시야각이 카메라 모듈(1100b)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(1100b)이 마스터로서 동작하고, 카메라 모듈(1100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(1100a)이 마스터로서 동작하고, 카메라 모듈(1100b)이 슬레이브로서 동작할 수 있다.

몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 각각의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(1100b)이 마스터 카메라이고, 카메라 모듈들(1100a, 1100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(1216)는 카메라 모듈(1100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(1100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(1100a, 1100c)에 제공할 수 있다. 카메라 모듈(1100b)과 카메라 모듈들(1100a, 1100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 애플리케이션 프로세서(1200)에 전송할 수 있다.

몇몇 실시예에서, 카메라 모듈 컨트롤러(1216)로부터 복수의 카메라 모듈(1100a, 1100b, 1100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(1100a, 1100b, 1100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.

애플리케이션 프로세서(1200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(1230) 또는 애플리케이션 프로세서(1200) 외부의 스토리지(1400)에 저장하고, 이후, 메모리(1230) 또는 스토리지(1400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(1210)의 복수의 서브 프로세서들(1212a, 1212b, 1212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다.

복수의 카메라 모듈(1100a, 1100b, 1100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 애플리케이션 프로세서(1200)에 전송할 수 있다. 애플리케이션 프로세서(1200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 애플리케이션 프로세서(1200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(1230) 또는 스토리지(1400)에 저장할 수 있다.

PMIC(1300)는 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(1300)는 애플리케이션 프로세서(1200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(1100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(1100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(1100c)에 제3 전력을 공급할 수 있다.

PMIC(1300)는 애플리케이션 프로세서(1200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(1100a, 1100b, 1100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(1100a, 1100b, 1100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따른 노이즈 저감 방법 및 노이즈 저감 장치는 타겟 픽셀의 컬러에 관계 없이 모든 컬러에 해당하는 컬러 픽셀 값들을 모두 참조하여 타겟 픽셀의 컬러 픽셀 값을 보상함으로써 노이즈 저감 성능을 향상시킬 수 있다. 또한, 본 발명의 실시예들에 따른 노이즈 저감 방법 및 노이즈 저감 장치는 로컬 컬러 평균 값들에 기초하여 오프셋 컬러 픽셀 값들을 생성하고, 상기 오프셋 컬러 픽셀 값들에 기초하여 타겟 픽셀의 컬러 픽셀 값을 보상함으로써 평균화에 따른 색 왜곡(color distortion)을 방지하면서 노이즈 저감 성능을 향상시킬 수 있다.

본 발명의 실시예들은 이미지 처리를 수행하는 장치 및 시스템에 유용하게 이용될 수 있다. 특히 본 발명의 실시예들은 컴퓨터(computer), 노트북(laptop), 핸드폰(cellular phone), 스마트폰(smart phone), MP3 플레이어, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 디지털 TV, 디지털 카메라, 포터블 게임 콘솔(portable game console), 네비게이션(navigation) 기기, 웨어러블(wearable) 기기, IoT(internet of things;) 기기, IoE(internet of everything:) 기기, e-북(e-book), VR(virtual reality) 기기, AR(augmented reality) 기기, 자율 주행 장치 등과 같은 전자 기기에 더욱 유용하게 적용될 수 있다.

상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims

이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지의 노이즈를 저감하는 노이즈 저감 방법으로서,
입력 이미지에 포함되는 컬러 픽셀들 중에서 타겟 픽셀 및 상기 타겟 픽셀에 인접하는 주변 픽셀들을 포함하는 로컬 윈도우를 설정하는 단계;
상기 로컬 윈도우에 포함되는 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성하는 단계;
상기 로컬 컬러 평균 값들에 기초하여 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성하는 단계; 및
상기 오프셋 컬러 픽셀 값들에 기초하여 상기 타겟 픽셀의 컬러 픽셀 값을 보상하여 상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성하는 단계를 포함하는 노이즈 저감 방법.
제1 항에 있어서,
상기 타겟 픽셀과 동일한 컬러에 해당하는 컬러 픽셀 값들 및 상기 타겟 픽셀과 다른 컬러들에 해당하는 컬러 픽셀 값들을 모두 참조하여 상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성하는 것을 특징으로 하는 노이즈 저감 방법.
제1 항에 있어서,
상기 오프셋 컬러 픽셀 값들을 컬러 별로 평균한 값들은 상기 로컬 컬러 평균 값들 중에서 상기 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값과 동일한 것을 특징으로 하는 노이즈 저감 방법.
제1 항에 있어서,
상기 오프셋 컬러 픽셀 값들을 생성하는 단계는,
상기 타겟 픽셀과 동일한 컬러에 해당하는 타겟 컬러 평균 값에서 상기 로컬 컬러 평균 값들의 각각을 감산하여 컬러 오프셋 값들을 생성하는 단계; 및
상기 타겟 픽셀 및 상기 주변 픽셀들의 각각의 컬러 픽셀 값 및 상기 각각의 컬러 픽셀 값에 해당하는 각각의 컬러 오프셋 값을 합산하여 상기 오프셋 컬러 픽셀 값들의 각각을 생성하는 단계를 포함하는 것을 특징으로 하는 노이즈 저감 방법.
제1 항에 있어서,
상기 타겟 픽셀과 동일한 컬러에 해당하는 오프셋 컬러 픽셀 값들은 변환 전의 컬러 픽셀 값들과 동일한 것을 특징으로 하는 노이즈 저감 방법.
제1 항에 있어서,
상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성하는 단계는,
상기 오프셋 컬러 픽셀 값들에 각각 상응하는 가중치들을 생성하는 단계;
상기 로컬 윈도우에 포함되는 모든 컬러 픽셀들에 대하여, 상기 오프셋 컬러 픽셀 값들에 상기 가중치들을 적용한 가중 평균 값을 생성하는 단계; 및
상기 가중 평균 값을 상기 타겟 픽셀의 보상 컬러 픽셀 값으로 제공하는 단계를 포함하는 것을 특징으로 하는 노이즈 저감 방법.
제6 항에 있어서,
상기 가중치들의 각각은 하기의 수학식에 의해 생성되는 것을 특징으로 하는 노이즈 저감 방법.

(상기의 수학식에서, P(i)는 상기 타겟 픽셀의 컬러 픽셀 값을 나타내고, P'(k)는 각각의 오프셋 컬러 픽셀 값을 나타내고, h는 노이즈 저감 강도를 나타내고,
_i(k)는 상기 각각의 오프셋 컬러 픽셀 값에 상응하는 가중치를 나타냄).
제1 항에 있어서,
상기 입력 이미지의 포함되는 에지들을 검출하여 에지 정보를 생성하는 단계를 더 포함하고,
상기 에지 정보 및 상기 오프셋 컬러 픽셀 값들에 기초하여 상기 타겟 픽셀의 컬러 픽셀 값을 보상하여 상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성하는 것을 특징으로 하는 노이즈 저감 방법.
제8 항에 있어서,
상기 타겟 픽셀의 보상 컬러 픽셀 값은 하기의 수학식에 의해 생성되는 것을 특징으로 하는 노이즈 저감 방법.

(상기의 수학식에서,
는 상기 로컬 윈도우 내의 모든 컬러 픽셀들에 대한 합을 나타내고, P'(k)는 각각의 오프셋 컬러 픽셀 값을 나타내고,
_i(k)는 상기 각각의 오프셋 컬러 픽셀 값에 상응하는 가중치를 나타내고, EG는 에지 검출 과정에서 결정되는 에지 등급 값을 나타냄)
이미지 센서의 컬러 필터 어레이에 상응하는 입력 이미지의 노이즈를 저감하는 노이즈 저감 장치로서,
입력 이미지에 포함되는 컬러 픽셀들 중에서 타겟 픽셀 및 상기 타겟 픽셀에 인접하는 주변 픽셀들을 포함하는 로컬 윈도우를 설정하는 로컬 윈도우 생성부;
상기 로컬 윈도우에 포함되는 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 컬러 별로 평균하여 로컬 컬러 평균 값들을 생성하는 평균 값 생성부;
상기 로컬 컬러 평균 값들에 기초하여 상기 타겟 픽셀 및 상기 주변 픽셀들의 컬러 픽셀 값들을 변환하여 오프셋 컬러 픽셀 값들을 생성하는 변환부; 및
상기 오프셋 컬러 픽셀 값들에 기초하여 상기 타겟 픽셀의 컬러 픽셀 값을 보상하여 상기 타겟 픽셀의 보상 컬러 픽셀 값을 생성하는 보상부를 포함하는 노이즈 저감 장치.