KR20220161110A

KR20220161110A - 이미지 센서 및 이미지 신호 처리 방법

Info

Publication number: KR20220161110A
Application number: KR1020210100562A
Authority: KR
Inventors: 전승완; 김건동; 송동영
Original assignee: 삼성전자주식회사
Priority date: 2021-05-28
Filing date: 2021-07-30
Publication date: 2022-12-06

Abstract

오차 발생이 감소되고 이미지 처리 효율이 향상된 이미지 센서가 제공된다. 이미지 센서는 제1 컬러를 갖는 복수의 제1 컬러 픽셀들을 포함하고 제1 컬러에 대한 제1 픽셀 신호를 출력하는 제1 픽셀 그룹, 제1 컬러와 다른 제2 컬러를 갖는 복수의 제2 컬러 픽셀들을 포함하고 제2 컬러에 대한 제2 픽셀 신호를 출력하는 제2 픽셀 그룹 및 제1 및 제2 컬러와 다른 제3 컬러를 갖는 복수의 제3 컬러 픽셀들을 포함하고 제3 컬러에 대한 제3 픽셀 신호를 출력하는 제3 픽셀 그룹을 포함하는 픽셀 어레이 및 이미지 센서로부터 제1 픽셀 신호, 제2 픽셀 신호 및 제3 픽셀 신호를 수신하는 이미지 신호 프로세서를 포함하고, 이미지 신호 프로세서는, 제1 픽셀 신호가 불량 픽셀 신호인 경우, 제2 픽셀 신호 및 제3 픽셀 신호에 기초하여 제1 픽셀 신호에 대한 불량 픽셀 보정을 수행함으로써 제1 내지 제3 컬러에 대한 보정 픽셀 신호를 생성하고, 제2 픽셀 신호에 기초하여 제3 픽셀 신호에 대하여 리모자이크를 수행하고, 제3 픽셀 신호에 기초하여 제2 픽셀 신호에 대하여 리모자이크를 수행함으로써 제1 내지 제3 컬러에 대한 리모자이크 픽셀 신호를 생성하고, 픽셀 어레이는 제1 컬러 픽셀, 제2 컬러 픽셀 및 제3 컬러 픽셀이 제1 패턴으로 배치된 픽셀 어레이고, 보정 픽셀 신호 및 리모자이크 픽셀 신호는 제1 컬러 픽셀, 제2 컬러 픽셀 및 제3 컬러 픽셀이 제1 패턴보다 고주파 패턴인 제2 패턴으로 재정렬된 정보를 나타낸다.

Description

이미지 센서 및 이미지 신호 처리 방법{IMAGE SENSOR AND METHOD OF IMAGE SIGNAL PROCESSING}

본 발명은 이미지 센서 및 이미지 신호 처리 방법에 대한 것이다.

이미지 센싱 장치(image sensing device)는 광학 정보를 전기 신호로 변환시키는 반도체 소자 중 하나이다. 이러한 이미지 센싱 장치는 전하 결합형(CCD; Charge Coupled Device) 이미지 센싱 장치와 씨모스형(CMOS; Complementary Metal-Oxide Semiconductor) 이미지 센싱 장치를 포함할 수 있다.

CMOS 형 이미지 센서는 CIS(CMOS image sensor)라고 약칭될 수 있다. CIS는 2차원적으로 배열된 복수개의 픽셀들을 구비할 수 있다. 픽셀들 각각은 예를 들어, 포토 다이오드(photodiode, PD)를 포함할 수 있다. 포토다이오드는 입사되는 광을 전기 신호로 변환해주는 역할을 할 수 있다.

최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 디지털 카메라, 캠코더, 스마트폰, 게임 기기, 경비용 카메라, 의료용 마이크로 카메라, 로봇 등 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대되고 있다.

본 발명이 해결하고자 하는 기술적 과제는, 오차 발생이 감소되고 이미지 처리 효율이 향상된 이미지 센서를 제공하는 것이다.

본 발명이 해결하고자 하는 기술적 과제는, 오차 발생이 감소되고 이미지 처리 효율이 향상된 이미지 신호 처리 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 센서는 제1 컬러를 갖는 복수의 제1 컬러 픽셀들을 포함하고 제1 컬러에 대한 제1 픽셀 신호를 출력하는 제1 픽셀 그룹, 제1 컬러와 다른 제2 컬러를 갖는 복수의 제2 컬러 픽셀들을 포함하고 제2 컬러에 대한 제2 픽셀 신호를 출력하는 제2 픽셀 그룹 및 제1 및 제2 컬러와 다른 제3 컬러를 갖는 복수의 제3 컬러 픽셀들을 포함하고 제3 컬러에 대한 제3 픽셀 신호를 출력하는 제3 픽셀 그룹을 포함하는 픽셀 어레이 및 이미지 센서로부터 제1 픽셀 신호, 제2 픽셀 신호 및 제3 픽셀 신호를 수신하는 이미지 신호 프로세서를 포함하고, 이미지 신호 프로세서는, 제1 픽셀 신호가 불량 픽셀 신호인 경우, 제2 픽셀 신호 및 제3 픽셀 신호에 기초하여 제1 픽셀 신호에 대한 불량 픽셀 보정을 수행함으로써 제1 내지 제3 컬러에 대한 보정 픽셀 신호를 생성하고, 제2 픽셀 신호에 기초하여 제3 픽셀 신호에 대하여 리모자이크를 수행하고, 제3 픽셀 신호에 기초하여 제2 픽셀 신호에 대하여 리모자이크를 수행함으로써 제1 내지 제3 컬러에 대한 리모자이크 픽셀 신호를 생성하고, 픽셀 어레이는 제1 컬러 픽셀, 제2 컬러 픽셀 및 제3 컬러 픽셀이 제1 패턴으로 배치된 픽셀 어레이고, 보정 픽셀 신호 및 리모자이크 픽셀 신호는 제1 컬러 픽셀, 제2 컬러 픽셀 및 제3 컬러 픽셀이 제1 패턴보다 고주파 패턴인 제2 패턴으로 재정렬된 정보를 나타낼 수 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 센서는 제1 컬러를 갖는 복수의 제1 컬러 픽셀들을 포함하고 제1 컬러에 대한 제1 픽셀 신호를 출력하는 제1 픽셀 그룹, 제1 컬러와 다른 제2 컬러를 갖는 복수의 제2 컬러 픽셀들을 포함하고 제2 컬러에 대한 제2 픽셀 신호를 출력하는 제2 픽셀 그룹 및 제1 및 제2 컬러와 다른 제3 컬러를 갖는 복수의 제3 컬러 픽셀들을 포함하고 제3 컬러에 대한 제3 픽셀 신호를 출력하는 제3 픽셀 그룹을 포함하는 픽셀 어레이, 제1 픽셀 신호가 불량 픽셀 신호인 경우, 제2 픽셀 신호 및 제3 픽셀 신호에 기초하여 제1 픽셀 신호에 대한 불량 픽셀 보정을 수행함으로써 제1 내지 제3 컬러에 대한 제1 보정 픽셀 신호를 생성하는 불량 픽셀 보정기, 및 제2 픽셀 신호에 기초하여 제3 픽셀 신호에 대하여 리모자이크를 수행하고, 제3 픽셀 신호에 기초하여 제2 픽셀 신호에 대하여 리모자이크를 수행함으로써 제1 내지 제3 컬러에 대한 제1 리모자이크 픽셀 신호를 생성하는 리모자이크 모듈을 포함할 수 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 몇몇 실시예에 따른 이미지 신호 처리 방법은 제1 컬러에 대한 복수의 제1 픽셀 값들을 포함하는 제1 픽셀 신호, 제1 컬러와 다른 제2 컬러에 대한 복수의 제2 픽셀 값들을 포함하는 제2 픽셀 신호, 제1 및 제2 컬러와 다른 제3 컬러에 대한 복수의 제3 픽셀 값들을 포함하는 제3 픽셀 신호, 및 제1 컬러에 대한 복수의 제4 픽셀 값들을 포함하는 제4 픽셀 신호를 수신하고, 제1 픽셀 값을 불량 픽셀 값으로 결정하고, 제1 내지 제4 픽셀 신호로부터 각도를 검출하고, 제2 픽셀 값, 제4 픽셀 값 및 각도에 기초하여 제2 픽셀 값과 제4 픽셀 값 사이의 제1 변환식을 계산하고, 제3 픽셀 값, 제4 픽셀 값 및 각도에 기초하여 제3 픽셀 값과 제4 픽셀 값 사이의 제2 변환식을 계산하고, 제1 및 제2 변환식을 이용하여, 제1 픽셀 값을 제2 내지 제4 픽셀 값 중 적어도 하나에 기초하여 보정함으로써 제1 내지 제3 컬러에 대한 보정 픽셀 값을 생성하는 것을 포함할 수 있다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

도 1은 몇몇 실시예에 따른 이미지 센싱 장치의 블록도이다.
도 2는 몇몇 실시예에 따른 이미지 센서의 개념적인 레이아웃을 도시한 도면이다.
도 3은 몇몇 실시예에 따른 이미지 센서의 상면도이다.
도 4는 도 3의 픽셀 어레이를 설명하기 위한 도면이다.
도 5는 몇몇 실시예에 따른 픽셀 어레이의 회로도이다.
도 6은 몇몇 실시예에 따른 픽셀 어레이의 회로도이다.
도 7은 몇몇 실시예에 따른 이미지 센서의 동작을 설명하기 위한 타이밍도이다.
도 8은 몇몇 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다.
도 9는 몇몇 실시예에 따른 이미지 신호 프로세서에 대한 블록도이다.
도 10은 몇몇 실시예에 따른 이미지 센싱 장치의 동작 방법에 대한 순서도이다.
도 11은 몇몇 실시예에 따른 보정 픽셀 신호의 생성을 설명하는 도면이다.
도 12는 몇몇 실시예에 따른 이미지 신호 처리 방법에 대한 순서도이다.
도 13 및 도 14는 도 12에 따른 이미지 신호 처리 방법을 설명하기 위한 도면들이다.
도 15는 몇몇 실시예에 따른 이미지 신호의 생성을 설명하는 도면이다.
도 16 및 도 17은 몇몇 실시예에 따른 이미지 신호 처리 방법을 설명하기 위한 도면들이다.
도 18은 몇몇 실시예에 따른 픽셀 신호의 처리 방법을 설명하기 위한 도면이다.
도 19는 몇몇 실시예에 따른 픽셀 신호의 처리 방법을 설명하기 위한 도면이다.
도 20은 몇몇 실시예에 따른 픽셀 신호의 처리 방법을 설명하기 위한 도면이다.
도 21은 몇몇 실시예에 따른 이미지 신호 프로세서에 대한 블록도이다.
도 22 및 도 23은 도 21에 따른 이미지 신호 처리 방법을 설명하기 위한 도면들이다.
도 24는 몇몇 실시예에 따른 픽셀 신호의 처리 방법을 설명하기 위한 도면이다.
도 25는 몇몇 실시예에 따른 이미지 센서의 상면도이다.
도 26은 몇몇 실시예에 따른 이미지 센서의 개념적인 레이아웃을 도시한 도면이다.
도 27은 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치를 설명하기 위한 블록도이다.
도 28은 도 27의 카메라 모듈의 상세 블록도이다.

이하 첨부된 도면을 참조하여, 본 발명의 기술적 사상에 따른 실시예들에 대해 설명한다.

도 1은 몇몇 실시예에 따른 이미지 센싱 장치의 블록도이다.

도 1을 참조하면, 이미지 센싱 장치(1)는 이미지 센서(100)와 이미지 신호 프로세서(900)를 포함할 수 있다.

이미지 센서(100)는 빛을 이용하여 센싱 대상의 이미지를 센싱하여, 픽셀 신호(SIG_PX)를 생성할 수 있다. 몇몇 실시예에서, 생성된 픽셀 신호(SIG_PX)는 예를 들어, 디지털 신호일 수 있으나, 본 발명의 기술적 사상에 따른 실시예가 이에 제한되는 것은 아니다.

픽셀 신호(SIG_PX)는 이미지 신호 프로세서(900)에 제공되어 처리될 수 있다. 이미지 신호 프로세서(900)는 이미지 센서(100)의 버퍼부(1170)로부터 출력된 픽셀 신호(SIG_PX)를 수신하고 수신된 픽셀 신호(SIG_PX)를 디스플레이에 용이하도록 가공하거나 처리할 수 있다.

몇몇 실시예에서, 이미지 신호 프로세서(900)는 이미지 센서(100)에서 출력된 픽셀 신호(SIG_PX)에 대해 디지털 비닝을 수행할 수 있다. 이 때, 이미지 센서(100)로부터 출력된 픽셀 신호(SIG_PX)는 아날로그 비닝 없이 픽셀 어레이(PA)로부터의 로우(raw) 이미지 신호일 수도 있고, 아날로그 비닝이 이미 수행된 픽셀 신호(SIG_PX)일 수도 있다.

몇몇 실시예에서, 이미지 센서(100)와 이미지 신호 프로세서(900)는 도시된 것과 같이 서로 분리되어 배치될 수 있다. 예를 들어, 이미지 센서(100)가 제1 칩에 탑재되고, 이미지 신호 프로세서(900)가 제2 칩에 탑재되어 소정의 인터페이스를 통해 서로 통신할 수 있다. 하지만, 실시예들이 이에 제한되는 것은 아니며, 이미지 센서(100)와 이미지 신호 프로세서(900)는 하나의 패키지, 예컨대 MCP(multi-chip package)로 구현될 수 있다.

이미지 센서(100)는, 컨트롤 레지스터 블록(1110), 타이밍 제네레이터(1120), 로우(row) 드라이버(1130), 픽셀 어레이(PA), 리드 아웃 회로(1150), 램프신호 생성기(1160), 버퍼부(1170)를 포함할 수 있다.

컨트롤 레지스터 블록(1110)은 이미지 센서(100)의 동작을 전체적으로 제어할 수 있다. 특히, 컨트롤 레지스터 블록(1110)은 타이밍 제네레이터(1120), 램프신호 생성기(1160) 및 버퍼부(1170)에 직접적으로 동작 신호를 전송할 수 있다.

타이밍 제네레이터(1120)는 이미지 센서(100)의 여러 구성 요소들의 동작 타이밍의 기준이 되는 신호를 발생할 수 있다. 타이밍 제네레이터(1120)에서 발생된 동작 타이밍 기준 신호는 로우 드라이버(1130), 리드 아웃 회로(1150), 램프신호 생성기(1160) 등에 전달될 수 있다.

램프신호 생성기(1160)는 리드 아웃 회로(1150)에 사용되는 램프 신호를 생성하고 전송할 수 있다. 예를 들어, 리드 아웃 회로(1150)는 상관 이중 샘플러(CDS), 비교기 등을 포함할 수 있는데, 램프신호 생성기(1160)는 상관 이중 샘플러(CDS), 비교기 등에 사용되는 램프 신호를 생성하고 전송할 수 있다.

버퍼부(1170)는 예를 들어, 래치부를 포함할 수 있다. 버퍼부(1170)는 외부로 제공할 픽셀 신호(SIG_PX)를 임시적으로 저장할 수 있으며, 픽셀 신호(SIG_PX)를 외부 메모리 또는 외부 장치로 전송할 수 있다. 버퍼부(1170)는 DRAM 또는 SRAM과 같은 메모리를 포함할 수 있다.

픽셀 어레이(PA)는 외부 이미지를 센싱할 수 있다. 픽셀 어레이(PA)는 복수의 픽셀(또는 단위 픽셀)을 포함할 수 있다. 로우 드라이버(1130)는 픽셀 어레이(PA)의 로우(row)를 선택적으로 활성화시킬 수 있다.

리드 아웃 회로(1150)는 픽셀 어레이(PA)로부터 제공받은 픽셀 신호를 샘플링하고, 이를 램프 신호와 비교한 후, 비교 결과를 바탕으로 아날로그 이미지 신호(데이터)를 디지털 이미지 신호(데이터)로 변환할 수 있다.

도 2는 몇몇 실시예에 따른 이미지 센서의 개념적인 레이아웃을 도시한 도면이다.

도 2를 참조하면, 본 실시예의 이미지 센서(100)는 적층된 상부 칩(200)과 하부 칩(300)을 포함할 수 있다. 상부 칩(200)에는 복수의 픽셀들이 2차원 어레이 구조로 배치될 수 있다. 즉 상부 칩(200)은 픽셀 어레이(PA)를 포함할 수 있다. 하부 칩(300)은 로직 영역(LC)과 메모리 영역 등을 포함할 수 있다. 하부 칩(300)은 상부 칩(200)의 하부에 배치되고, 상부 칩(200)에 전기적으로 연결될 수 있다. 하부 칩(300)은 상부 칩(200)으로부터 전달된 픽셀 신호가 하부 칩(300)의 로직 영역(LC)으로 전달되도록 할 수 있다.

하부 칩(300)의 로직 영역(LC)에는 로직 소자들이 배치될 수 있다. 로직 소자들은 픽셀들로부터의 픽셀 신호를 처리하기 위한 회로들을 포함할 수 있다. 예를 들어 로직 소자들은 도 1의 컨트롤 레지스터 블록(1110), 타이밍 제네레이터(1120), 로우(row) 드라이버(1130), 리드 아웃 회로(1150), 램프신호 생성기(1160) 등을 포함할 수 있다.

도 3은 몇몇 실시예에 따른 이미지 센서의 상면도이다. 도 4는 도 3의 픽셀 어레이를 설명하기 위한 도면이다.

도 3을 참조하면, 이미지 센서(100)의 상면에는 픽셀 어레이(PA)가 배치될 수 있다. 상세히 이미지 센서(100)의 상부 칩(200)의 상면에 픽셀 어레이(PA)가 배치될 수 있다. 픽셀 어레이(PA)는 복수의 마이크로 렌즈(ML), 복수의 플로팅 디퓨전(FD), 복수의 광전 변환층(221), 및 복수의 컬럼 라인(COL) 등을 포함할 수 있다. 여기서, 마이크로 렌즈(ML)와 광전 변환층(221)은 픽셀 어레이(PA)의 픽셀마다 형성될 수 있다.

도 4를 참조하면, 픽셀 어레이(PA)는 제1 내지 제5 노나 그린 픽셀 그룹(NGG1 내지 NGG5), 제1 및 제2 노나 레드 픽셀 그룹(NRG1, NRG2)과 제1 및 제2 노나 블루 픽셀 그룹(NBG1, NBG2)을 포함할 수 있다. 도 4는 예시적으로 일부의 픽셀 어레이(PA)만을 나타낸 것이며, 픽셀 어레이(PA)는 더 많은 픽셀들을 포함할 수 있다. 여기서 제1 노나 그린 픽셀 그룹(NGG1)은 제1 내지 제9 그린 픽셀(G1 내지 G9)을 포함할 수 있고, 제2 노나 그린 픽셀 그룹(NGG2)은 제10 내지 제18 그린 픽셀(G10 내지 G18)을 포함할 수 있고, 제3 노나 그린 픽셀 그룹(NGG3)은 제19 내지 제27 그린 픽셀(G19 내지 G27)을 포함할 수 있고, 제4 노나 그린 픽셀 그룹(NGG4)은 제28 내지 제36 그린 픽셀(G28 내지 G36)을 포함할 수 있고, 제5 노나 그린 픽셀 그룹(NGG5)은 제37 내지 제45 그린 픽셀(G37 내지 G45)을 포함할 수 있다. 또한, 제1 노나 레드 픽셀 그룹(NRG1)은 제1 내지 제9 레드 픽셀(R1 내지 R9)을 포함할 수 있고, 제2 노나 레드 픽셀 그룹(NRG2)은 제10 내지 제18 레드 픽셀(R10 내지 R18)을 포함할 수 있다. 또한, 제1 노나 블루 픽셀 그룹(NBG1)은 제1 내지 제9 블루 픽셀(B1 내지 B9)을 포함할 수 있고, 제2 노나 블루 픽셀 그룹(NBG2)은 제10 내지 제18 블루 픽셀(B10 내지 B18)을 포함할 수 있다.

제1 및 제2 노나 레드 픽셀 그룹(NRG1, NRG2)과 제1 및 제2 노나 블루 픽셀 그룹(NBG1, NBG2)은 제1 내지 제5 노나 그린 픽셀 그룹(NGG1 내지 NGG5)의 사이에 배치될 수 있다. 예를 들어, 제1 노나 레드 픽셀 그룹(NRG1)은 제1 노나 그린 픽셀 그룹(NGG1) 및 제3 노나 그린 픽셀 그룹(NGG3) 사이에 배치될 수 있다.

또한, 제1 및 제2 노나 레드 픽셀 그룹(NRG1, NRG2)과 제1 및 제2 노나 블루 픽셀 그룹(NBG1, NBG2)은 제1 내지 제5 노나 그린 픽셀 그룹(NGG1 내지 NGG5)과 접촉할 수 있다. 예를 들어, 제1 노나 레드 픽셀 그룹(NRG1)은 제1 노나 그린 픽셀 그룹(NGG1), 제2 노나 그린 픽셀 그룹(NGG2) 및 제3 노나 그린 픽셀 그룹(NGG3)과 접촉할 수 있다. 즉, 픽셀 어레이(PA)는 RGB 노나 패턴(RGB nona pattern)으로 배열될 수 있다. 픽셀 어레이(PA)는 제1 패턴으로 배치된 제1 내지 제5 노나 그린 픽셀 그룹(NGG1 내지 NGG5), 제1 및 제2 노나 레드 픽셀 그룹(NRG1, NRG2)과 제1 및 제2 노나 블루 픽셀 그룹(NBG1, NBG2)을 포함할 수 있다. 여기서 제1 패턴은 RGB 노나 패턴에 해당할 수 있다. 예를 들어, RGB 노나 패턴은 후술될 RGB 베이어 패턴보다 저주파 패턴에 해당할 수 있다.

각각의 픽셀 그룹들을 각 컬러를 갖는 컬러 필터를 포함할 수 있다. 예를 들어, 제1 내지 제5 노나 그린 픽셀 그룹(NGG1 내지 NGG5)은 그린 컬러를 갖는 컬러 필터를 포함할 수 있고, 제1 및 제2 노나 레드 픽셀 그룹(NRG1, NRG2)은 레드 컬러를 갖는 컬러 필터를 포함할 수 있고, 제1 및 제2 노나 블루 픽셀 그룹(NBG1, NBG2)은 블루 컬러를 갖는 컬러 필터를 포함할 수 있다. 해당 컬러 필터는 각 픽셀 그룹의 상부에 배치될 수 있고, 컬러 필터를 통과하는 빛은 픽셀 그룹을 통해 픽셀 신호(SIG_PX)로 변환될 수 있다.

제1 노나 그린 픽셀 그룹(NGG1)은 제1 공유 그린 픽셀 그룹(SGG1), 제2 공유 그린 픽셀 그룹(SGG2) 및 제3 공유 그린 픽셀 그룹(SGG3)을 포함할 수 있다. 제1 공유 그린 픽셀 그룹(SGG1)은 제1 방향(X)을 따라서 배열된 제1 그린 픽셀(G1), 제2 그린 픽셀(G2) 및 제3 그린 픽셀(G3)을 포함할 수 있다. 제2 공유 그린 픽셀 그룹(SGG2)은 제1 방향(X)을 따라서 배열된 제4 그린 픽셀(G4), 제5 그린 픽셀(G5) 및 제6 그린 픽셀(G6)을 포함할 수 있다. 제3 공유 그린 픽셀 그룹(SGG3)은 제1 방향(X)을 따라서 배열된 제7 그린 픽셀(G7), 제8 그린 픽셀(G8) 및 제9 그린 픽셀(G9)을 포함할 수 있다. 제1 공유 그린 픽셀 그룹(SGG1), 제2 공유 그린 픽셀 그룹(SGG2) 및 제3 공유 그린 픽셀 그룹(SGG3)은 제2 방향(Y)을 따라서 배열될 수 있다. 여기서 제2 방향(Y)은 제1 방향(X)과 교차하는 방향일 수 있다.

여기서 제1 공유 그린 픽셀 그룹(SGG1), 제2 공유 그린 픽셀 그룹(SGG2) 및 제3 공유 그린 픽셀 그룹(SGG3)은 각각 하나의 플로팅 디퓨전(FD)을 공유할 수 있다. 하지만 본 발명의 실시예는 이에 제한되지 않고, 제1 공유 그린 픽셀 그룹(SGG1), 제2 공유 그린 픽셀 그룹(SGG2) 및 제3 공유 그린 픽셀 그룹(SGG3)이 공유하는 플로팅 디퓨전(FD)은 하나일 수 있다. 즉, 제1 노나 그린 픽셀 그룹(NGG1)은 하나의 플로팅 디퓨전(FD)을 공유할 수 있다. 또한, 다른 제2 내지 제5 노나 그린 픽셀 그룹(NGG2 내지 NGG5), 제1 및 제2 노나 레드 픽셀 그룹(NRG1, NRG2)과 제1 및 제2 노나 블루 픽셀 그룹(NBG1, NBG2) 각각은 하나의 플로팅 디퓨전(FD)을 공유할 수 있다. 각각의 픽셀 그룹으로부터 생성된 픽셀 신호(SIG_PX)는 공유되는 플로팅 디퓨전(FD)을 따라서 전송될 수 있다.

다만, 본 발명의 실시예는 노나 셀에 한정되지 않으며, 본 발명의 실시예는 동일한 컬러 필터를 갖는 복수의 픽셀들을 포함하는 픽셀 그룹이 배열된 픽셀 어레이에 적용될 수 있다. 예를 들어, 본 발명의 실시예는 단위 픽셀 그룹이 동일한 컬러 필터를 갖는 4개의 픽셀로 구성되는 테트라 셀에 적용될 수도 있다. 여기서 단위 픽셀 그룹은 인접한 픽셀들 중 동일한 컬러 필터를 포함하는 픽셀들의 집합을 의미할 수 있다.

또한, 본 발명의 실시예는 도 3에 도시된 그림에 한정되지 않고, 하나의 마이크로 렌즈(ML)가 단위 픽셀 그룹 상에 배치될 수 있다.

도 5는 몇몇 실시예에 따른 픽셀 어레이의 회로도이다. 도 6은 몇몇 실시예에 따른 픽셀 어레이의 회로도이다. 도 7은 몇몇 실시예에 따른 이미지 센서의 동작을 설명하기 위한 타이밍도이다.

도 5를 참조하면, 픽셀 어레이(PA)는 복수의 컬럼 라인(COL1 내지 COL6), 복수의 로우 라인(ROW1a 내지 ROW1c, ROW2a 내지 ROW2c, ROW3a 내지 ROW3c), 제1 노나 그린 픽셀 그룹(NGG1) 및 제1 노나 레드 픽셀 그룹(NRG1)을 포함할 수 있다. 즉, 도 5은 도 3 및 도 4의 픽셀 그룹들 중에서 두 개의 노나 픽셀 그룹들을 도시한 것에 해당한다.

복수의 컬럼 라인(COL1 내지 COL6) 및 복수의 로우 라인(ROW1a 내지 ROW1c, ROW2a 내지 ROW2c, ROW3a 내지 ROW3c)은 제1 노나 그린 픽셀 그룹(NGG1) 및 제1 노나 레드 픽셀 그룹(NRG1)에 걸쳐서 형성될 수 있다. 복수의 컬럼 라인(COL1 내지 COL6)은 제2 방향(Y)으로 연장될 수 있고, 복수의 로우 라인(ROW1a 내지 ROW1c, ROW2a 내지 ROW2c, ROW3a 내지 ROW3c)은 제1 방향(X)으로 연장될 수 있다.

각 픽셀의 전송 트랜지스터는 복수의 로우 라인(ROW1a 내지 ROW1c, ROW2a 내지 ROW2c, ROW3a 내지 ROW3c)과 복수의 컬럼 라인(COL1 내지 COL6) 사이에 형성될 수 있다. 즉, 각 픽셀의 전송 트랜지스터는 복수의 로우 라인(ROW1a 내지 ROW1c, ROW2a 내지 ROW2c, ROW3a 내지 ROW3c)과 복수의 컬럼 라인(COL1 내지 COL6)을 연결할 수 있다.

예를 들어, 각각의 그린 픽셀 전송 트랜지스터(TTG1 내지 TTG9)의 게이트는 각각의 로우 라인(ROW1a 내지 ROW1c, ROW2a 내지 ROW2c, ROW3a 내지 ROW3c)에 연결될 수 있다. 각각의 그린 픽셀 전송 트랜지스터(TTG1 내지 TTG9)의 소오스 드레인은 각각의 그린 픽셀 포토 다이오드(PDG1 내지 PDG9)에 연결될 수 있다.

그린 픽셀 전송 트랜지스터(TTG1 내지 TTG3)의 소오스 드레인은 제1 플로팅 디퓨전(FD1)에 연결될 수 있고, 제1 플로팅 디퓨전(FD1)은 제1 컬럼 라인(COL1)에 연결될 수 있다. 그린 픽셀 전송 트랜지스터(TTG4 내지 TTG6)의 소오스 드레인은 제2 플로팅 디퓨전(FD2)에 연결될 수 있고, 제2 플로팅 디퓨전(FD2)은 제2 컬럼 라인(COL2)에 연결될 수 있다. 그린 픽셀 전송 트랜지스터(TTG7 내지 TTG9)의 소오스 드레인은 제3 플로팅 디퓨전(FD3)에 연결될 수 있고, 제3 플로팅 디퓨전(FD3)은 제3 컬럼 라인(COL3)에 연결될 수 있다. 하지만 본 발명의 실시예는 이에 제한되지 않고, 그린 픽셀 전송 트랜지스터(TTG1 내지 TTG9)의 소오스 드레인은 하나의 플로팅 디퓨전(FD)에 모두 연결될 수도 있다.

예를 들어, 각각의 레드 픽셀 전송 트랜지스터(TTR1 내지 TTR9)의 게이트는 각각의 로우 라인(ROW1a 내지 ROW1c, ROW2a 내지 ROW2c, ROW3a 내지 ROW3c)에 연결될 수 있다. 각각의 레드 픽셀 전송 트랜지스터(TTR1 내지 TTR9)의 소오스 드레인은 각각의 레드 픽셀 포토 다이오드(PDR1 내지 PDR9)에 연결될 수 있다.

레드 픽셀 전송 트랜지스터(TTR1 내지 TTR3)의 소오스 드레인은 제4 플로팅 디퓨전(FD4)에 연결될 수 있고, 제4 플로팅 디퓨전(FD4)은 제4 컬럼 라인(COL4)에 연결될 수 있다. 레드 픽셀 전송 트랜지스터(TTR4 내지 TTR6)의 소오스 드레인은 제5 플로팅 디퓨전(FD5)에 연결될 수 있고, 제5 플로팅 디퓨전(FD5)은 제5 컬럼 라인(COL5)에 연결될 수 있다. 레드 픽셀 전송 트랜지스터(TTR7 내지 TTR9)의 소오스 드레인은 제6 플로팅 디퓨전(FD6)에 연결될 수 있고, 제6 플로팅 디퓨전(FD6)은 제6 컬럼 라인(COL6)에 연결될 수 있다. 하지만 본 발명의 실시예는 이에 제한되지 않고, 레드 픽셀 전송 트랜지스터(TTR1 내지 TTR9)의 소오스 드레인은 하나의 플로팅 디퓨전(FD)에 모두 연결될 수도 있다.

도 6을 참조하면, 제1 공유 그린 픽셀 그룹(SGG1)은 제1 컬럼 라인(COL1)에 연결될 수 있다. 여기서 제1 컬럼 라인(COL1)은 제1 리셋 트랜지스터(RT1), 제1 소스 팔로워 트랜지스터(SF1), 제1 선택 트랜지스터(ST1)와 메탈 라인(MLN)을 포함할 수 있다. 제1 로우 라인(ROW1a 내지 ROW1c), 제1 리셋 트랜지스터(RT1)의 제1 리셋 게이트(RG1), 제1 선택 트랜지스터(ST1)의 제1 선택 게이트(SG1)는 로우 드라이버(1130)에 연결될 수 있다. 로우 드라이버(1130)는 제1 로우 라인(ROW1a 내지 ROW1c)에 제1 내지 제3 전송 제어 신호(TS1 내지 TS3)를 전송할 수 있고, 제1 리셋 게이트(RG1)에 리셋 제어 신호(RS1)를 전송할 수 있고, 제1 선택 게이트(SG1)에 선택 제어 신호(SS1)를 전송할 수 있다. 로우 드라이버(1130)는 신호를 전송하여 제1 공유 그린 픽셀 그룹(SGG1)이 픽셀 신호(SIG_PX)를 출력하도록 할 수 있다.

제1 플로팅 디퓨전(FD1)은 제1 리셋 트랜지스터(RT1)의 소오스 드레인에 연결될 수 있고, 리셋 트랜지스터(RT1)의 다른 소오스 드레인은 전원 전압(VDD)에 연결될 수 있다. 또한, 제1 플로팅 디퓨전(FD1)은 제1 소스 팔로워 트랜지스터(SF1)의 소스 팔로워 게이트(FG1)에도 연결될 수 있다. 제1 소스 팔로워 트랜지스터(SF1)의 소오스 드레인은 전원 전압(VDD)에 연결될 수 있다. 제1 소스 팔로워 트랜지스터(SF1)의 다른 소오스 드레인은 제1 선택 트랜지스터(ST1)의 소오스 드레인에 연결될 수 있고, 제1 선택 트랜지스터(ST1)의 다른 소오스 드레인은 메탈 라인(MLN)에 연결될 수 있다.

도 7을 참조하면, 제1 공유 그린 픽셀 그룹(SGG1)의 제1 내지 제3 그린 픽셀(G1 내지 G3)은 각각의 노광 시간(T1 내지 T3) 동안 충전한 광전하에 기초하여 픽셀 신호(SIG_PX)를 서로 다른 시점(T4 내지 T6)에 출력할 수 있다. 시간(Ta)에서 로우 드라이버(1130)는 제1 플로팅 디퓨전(FD1)을 리셋시키도록 로직 하이의 리셋 제어 신호(RS1)를 제1 리셋 트랜지스터(RT1)로 전송할 수 있다. 이 경우, 제1 리셋 트랜지스터(RT1)은 턴 온되어, 제1 플로팅 디퓨전(FD1)에 전원 전압(VDD)이 인가될 수 있다.

시간(Tb)에서 로우 드라이버(1130)는 제1 그린 픽셀 전송 트랜지스터(TTG1)의 게이트 전극(TGG_1)에 로직 하이의 제1 전송 제어 신호(TS1)를 인가할 수 있다. 이에 따라서 제1 그린 픽셀 포토 다이오드(PDG1)는 충전된 광전하를 모두 제1 플로팅 디퓨전(FD1)으로 방전시킬 수 있고, 그 결과 제1 그린 픽셀 포토 다이오드(PDG1)는 리셋 상태가 될 수 있다.

노광 시간(T1)에서 제1 그린 픽셀 포토 다이오드(PDG1)는 광 전하를 충전할 수 있다. 즉, 제1 그린 픽셀(G1)은 노광 시간(T1)만큼 노광될 수 있다. 또한, 노광 시간(T2) 동안에 제2 그린 픽셀 포토 다이오드(PDG2)는 광 전하를 충전할 수 있으며, 노광 시간(T3) 동안에 제3 그린 픽셀 포토 다이오드(PDG3)는 광 전하를 충전할 수 있다.

제1 내지 제3 그린 픽셀 포토 다이오드(PDG1 내지 PDG3)로부터 출력된 광전하는 서로 다른 시점(T4 내지 T6)에 제1 플로팅 디퓨전(FD1)에 전달될 수 있다. 즉, 각 픽셀로부터 출력되는 픽셀 신호(SIG_PX)는 서로 다른 시점에 출력될 수 있다. 즉, 서로 다른 시점(T4 내지 T6)에서의 리셋 제어 신호(RS1) 및 선택 제어 신호(SS1)에 의하여 제1 컬럼 라인(COL1)을 통해 서로 다른 시점에서의 픽셀 신호(SIG_PX)가 리드아웃 회로(1150)에 전달될 수 있다. 여기서 픽셀 신호(SIG_PX)는 제1 내지 제3 그린 픽셀 포토 다이오드(PDG1 내지 PDG3) 중 적어도 하나에 축적된 전하에 기초하는 픽셀 신호일 수 있다. 또한, 픽셀 신호(SIG_PX)는 제1 소스 팔로워 트랜지스터(SF1)로부터 출력될 수 있다. 메탈 라인(MLN)은 제1 소스 팔로워 트랜지스터(SF1)로부터 제1 픽셀 신호(SIG_PX)를 수신하여, 리드아웃 회로(1150)에 이를 전달할 수 있다.

이하, 도 8 내지 도 11을 참조하여 이미지 센싱 장치(1)의 불량 픽셀 보정 방법에 대하여 설명한다.

도 8은 몇몇 실시예에 따른 픽셀 어레이를 설명하기 위한 도면이다. 도 9는 몇몇 실시예에 따른 이미지 신호 프로세서에 대한 블록도이다.

도 8을 참조하면, 픽셀 어레이(PA')는 제1 노나 그린 픽셀 그룹(NGG1'), 제2 노나 그린 픽셀 그룹(NGG2'), 제1 노나 레드 픽셀 그룹(NRG1') 및 제1 노나 블루 픽셀 그룹(NBG1')을 포함할 수 있다. 여기서 각각의 픽셀 그룹은 하나의 플로팅 디퓨전(FD)을 공유할 수 있다. 예를 들어, 제1 노나 그린 픽셀 그룹(NGG1')은 하나의 플로팅 디퓨전(FD)을 공유할 수 있고, 제2 노나 그린 픽셀 그룹(NGG2')은 하나의 플로팅 디퓨전(FD)을 공유할 수 있고, 제1 노나 레드 픽셀 그룹(NRG1')은 하나의 플로팅 디퓨전(FD)을 공유할 수 있고, 제2 노나 블루 픽셀 그룹(NBG1')은 하나의 플로팅 디퓨전(FD)을 공유할 수 있다. 여기서 픽셀 어레이(PA')는 노나 패턴에 해당한다.

도 9를 참조하면, 픽셀 어레이(PA')로부터 생성된 픽셀 신호(SIG_PX)는 리드아웃 회로(1150) 및 버퍼부(1170)를 통해 이미지 신호 프로세서(900)에 전달될 수 있다. 리드아웃 회로(1150)는 비닝 결정부(1151), 상관 이중 샘플러(1152), 및 아날로그-디지털 컨버터(1153)를 포함할 수 있다. 비닝 결정부(1151)는 픽셀 어레이(PA')로부터 출력된 픽셀 신호(SIG_PX)를 수신할 수 있다. 예를 들어, 비닝 결정부(1151)는 제1 노나 그린 픽셀 그룹(NGG1')으로부터 복수의 픽셀 값들을 포함하는 픽셀 신호(SIG_PX)를 수신할 수 있다. 비닝 결정부(1151)는 픽셀 신호(SIG_PX)에 대하여 비닝 동작을 수행할 것인지 여부를 결정할 수 있다. 비닝 결정부(1151)가 비닝 동작을 수행하기로 결정하는 경우에, 비닝 결정부(1151)는 픽셀 신호(SIG_PX)에 대하여 아날로그 비닝 동작을 수행할 수 있다. 비닝 결정부(1151)가 비닝 동작을 수행하지 않기로 결정하는 경우에, 비닝 결정부(1151)는 픽셀 신호(SIG_PX)을 상관 이중 샘플러(1152)에 전달할 수 있다. 본 발명의 실시예에서, 비닝 결정부(1151)는 동작하지 않으며 비닝되지 않는 픽셀 신호(SIG_PX)가 출력되는 것으로 가정하여 설명한다.

상관 이중 샘플러(1152) 및 아날로그-디지털 컨버터(1153)를 통해 변환된 픽셀 신호(SIG_PX)는 버퍼부(1170)에 제공될 수 있다. 버퍼부(1170)는 픽셀 신호(SIG_PX)를 버퍼링하여 이미지 신호 프로세서(900)에 전달할 수 있다.

이미지 신호 프로세서(900)는 불량 픽셀 보정기(910) 및 리모자이크 모듈(920)을 포함할 수 있다. 여기서 이미지 신호 프로세서(900)는 이미지 센서(100)에 연결되는 호스트에 해당할 수 있다. 이미지 신호 프로세서(900)는 버퍼부(1170)로부터 픽셀 신호(SIG_PX)를 수신할 수 있다.

불량 픽셀 보정기(910)는 픽셀 신호(SIG_PX)에 기초하여 보정 픽셀 신호(SIG_PX_C)를 생성할 수 있다. 즉, 불량 픽셀 보정기(910)는 픽셀 신호(SIG_PX)에서 불량 픽셀을 결정하고, 결정된 불량 픽셀에 해당하는 불량 픽셀 신호를 정상 픽셀 신호로 보정할 수 있다. 즉, 불량 픽셀 보정기(910)는 불량 픽셀 신호를 무시하고, 다른 픽셀 신호들을 참조하여 정상 픽셀 신호를 갖는 보정 픽셀 신호(SIG_PX_C)를 생성할 수 있다. 여기서 불량 픽셀 보정기(910)는 불량 픽셀로 결정된 픽셀 신호(SIG_PX)만을 보정하고, 다른 픽셀 신호(SIG_PX)에 대해서는 보정을 수행하지 않을 수 있다. 불량 픽셀 신호에 대한 정보는 이미지 신호 프로세서(900)의 비휘발성 메모리에 저장되어 있을 수 있다.

리모자이크 모듈(920)은 불량 픽셀 보정기(910)로부터 보정 픽셀 신호(SIG_PX_C)를 수신할 수 있다. 리모자이크 모듈(920)은 보정 픽셀 신호(SIG_PX_C)에 대하여 리모자이크를 수행할 수 있다. 여기서, 리모자이크는 픽셀 신호(SIG_PX) 또는 보정 픽셀 신호(SIG_PX_C)를 이용하여 고화질의 이미지 신호(IMS)를 출력하는 작업일 수 있다. 즉, 리모자이크 모듈(920)은 노나 패턴을 갖는 픽셀 신호(SIG_PX)를 베이어 패턴을 갖는 이미지 신호(IMS)로 보정할 수 있다. 여기서 이미지 신호(IMS)가 갖는 베이어 패턴은 제2 패턴에 해당할 수 있다. 제2 패턴은 노나 패턴에 해당하는 제1 패턴보다 고주파 패턴에 해당할 수 있다. 리모자이크 모듈(920)에 이어서, 이미지 신호(IMS)에 디모자이크가 수행될 수 있다. 디모자이크가 수행됨에 따라서, 이미지 신호(IMS)는 각 픽셀(PX)에 대한 모든 컬러의 픽셀 값을 가질 수 있다. 따라서, 고화질의 이미지 신호(IMS)가 출력될 수 있다.

도 10은 몇몇 실시예에 따른 이미지 센싱 장치의 동작 방법에 대한 순서도이다. 도 11은 몇몇 실시예에 따른 보정 픽셀 신호의 생성을 설명하는 도면이다.

도 10 및 도 11을 참조하면, 이미지 센서(100) 및 이미지 신호 프로세서(900)는 비닝 모드인지 여부를 판단할 수 있다(S400). 예를 들어, 이미지 센서(100)의 리드 아웃 회로(1150)의 비닝 결정부(1151)은 아날로그 비닝 여부를 판단할 수 있으며, 이미지 신호 프로세서(900)는 디지털 비닝 여부를 판단할 수 있다.

비닝 모드인 것으로 판단되는 경우(S400-Y), 이미지 센서(100) 및 이미지 신호 프로세서(900)는 픽셀 신호(SIG_PX)에 기초하여 비닝을 수행할 수 있다(S404). 즉, 비닝 결정부(1151)는 픽셀 신호(SIG_PX)에 포함되는 픽셀 값들에 대하여 비닝을 수행하여 비닝 픽셀 신호를 출력할 수 있고, 이미지 신호 프로세서(900)는 비닝 픽셀 신호에 대하여 디지털 비닝을 수행하여 이미지 신호(IMS)를 출력할 수 있다. 이 때, 출력된 이미지 신호(IMS)의 화질은 본래의 화질보다 낮을 수 있다. 또한, 이미지 센싱 장치(1)는 저조도의 환경에서 사용되는 경우에, 비닝 모드로 동작할 수 있다.

비닝 모드이지 않은 것으로 판단되는 경우(S400-N), 이미지 신호 프로세서(900)는 픽셀 신호(SIG_PX)를 수신할 수 있다(S401). 예를 들어, 불량 픽셀 보정기(910)는 이미지 센서(100)로부터 픽셀 신호(SIG_PX)를 수신할 수 있다. 이 때, 픽셀 신호(SIG_PX)는 아날로그 비닝이 수행되지 않은 신호일 수 있다.

예를 들어, 픽셀 신호(SIG_PX)는 도 11에 도시된 복수의 픽셀 값들을 포함할 수 있다. 여기서, 복수의 픽셀 값들은 이미지 센서(100)의 픽셀 어레이(PA) 또는 픽셀 어레이(PA')에 대응될 수 있다. 픽셀 신호(SIG_PX)는 복수의 그린 픽셀 값(G1S 내지 G45S), 복수의 레드 픽셀 값(R1S 내지 R18S) 및 복수의 블루 픽셀 값(B1S 내지 B18S)을 포함할 수 있다. 각각의 픽셀 값들은 픽셀 어레이(PA)의 그린 픽셀(G1 내지 G45), 레드 픽셀(R1 내지 R18) 및 블루 픽셀(B1 내지 B18)에 대응될 수 있다. 또한, 픽셀 신호(SIG_PX)의 픽셀 값들은 노나 그린 픽셀 그룹(NGG1 내지 NGG5), 노나 블루 픽셀 그룹(NBG1, NBG2) 및 노나 레드 픽셀 그룹(NRG1, NRG2)에 대응될 수 있다.

여기서, 제2 노나 그린 픽셀 그룹(NGG2)이 불량 픽셀로 결정될 수 있고, 제2 노나 그린 픽셀 그룹(NGG2)으로부터 출력되는 제10 내지 제18 그린 픽셀 값(G10S 내지 G18S)이 불량 픽셀 그룹 신호(BPXG)로 결정될 수 있다. 이미지 센서(100)의 픽셀 어레이(PA)의 결점에 의하여 제2 노나 그린 픽셀 그룹(NGG2)에 문제가 있을 수 있고, 이로부터 출력된 출력되는 제10 내지 제18 그린 픽셀 값(G10S 내지 G18S)은 에러를 가질 수 있다. 따라서, 불량 픽셀 그룹 신호(BPXG)에 해당되는 제10 내지 제18 그린 픽셀 값(G10S 내지 G18S)의 에러를 보정할 필요가 있다.

다시 도 9 및 도 10을 참조하면, 불량 픽셀 보정기(910)는 픽셀 신호(SIG_PX)에 기초하여 보정 픽셀 신호(SIG_PX_C)를 생성할 수 있고, 불량 픽셀 그룹 신호(BPXG)를 보정할 있다(S402). 도 11을 참조하면, 불량 픽셀 보정기(910)는 픽셀 신호(SIG_PX)의 불량 픽셀 그룹 신호(BPXG)를 보정하여 보정 픽셀 그룹 신호(CPXG)를 생성할 수 있다. 여기서 보정 픽셀 그룹 신호(CPXG)는 보정 픽셀 신호(SIG_PX_C)에 포함될 수 있다. 보정 픽셀 신호(SIG_PX_C)는 불량 픽셀 보정이 수행되지 않은 픽셀 값들(G1S 내지 G9S, G19S 내지 G45S, R1S 내지 R18S, B1S 내지 B18S)과 불량 픽셀 보정이 수행된 보정 픽셀 그룹 신호(CPXG)를 포함할 수 있다.

불량 픽셀 보정기(910)는 불량 픽셀 그룹 신호(BPXG)가 아닌 다른 픽셀 신호의 픽셀 값들에 기초하여 불량 픽셀 그룹 신호(BPXG)를 보정 픽셀 그룹 신호(CPXG)로 대체할 수 있다. 즉, 보정 픽셀 그룹 신호(CPXG)는 픽셀 값들(G1S 내지 G9S, G19S 내지 G45S, R1S 내지 R18S, B1S 내지 B18S)에 기초하여 생성될 수 있다. 이에 대한 보다 상세한 설명은 후술하도록 한다.

보정 픽셀 그룹 신호(CPXG)는 그린 컬러에 대한 제1 내지 제5 보정 그린 픽셀 값(CG1S 내지 CG5S), 레드 컬러에 대한 제1 및 제2 보정 레드 픽셀 값(CR1S, CR2S)과 블루 컬러에 대한 제1 및 제2 보정 블루 픽셀 값(CB1S, CB2S)을 포함할 수 있다. 불량 픽셀 그룹 신호(BPXG)가 그린 컬러에 대한 제10 내지 제18 그린 픽셀 값(G10S 내지 G18S)을 포함하는 반면에, 보정 픽셀 그룹 신호(CPXG)는 그린 컬러, 레드 컬러 및 블루 컬러 모두에 대한 픽셀 값들을 포함할 수 있다. 즉, 불량 픽셀 보정기(910)는 하나의 컬러에 대한 불량 픽셀 그룹 신호(BPXG)에 대하여 불량 픽셀 보정을 수행함으로써, 보정 픽셀 그룹 신호(CPXG)를 생성할 수 있다. 여기서, 보정 픽셀 그룹 신호(CPXG)는 베이어 패턴에 해당할 수 있다. 즉, 불량 픽셀 보정기(910)는 노나 패턴에 해당하는 불량 픽셀 그룹 신호(BPXG)를 베이어 패턴에 해당하는 보정 픽셀 그룹 신호(CPXG)로 변화시킬 수 있다. 여기서 보정 픽셀 그룹 신호(CPXG)가 갖는 베이어 패턴은 제2 패턴에 해당할 수 있다. 제2 패턴은 노나 패턴에 해당하는 제1 패턴보다 고주파 패턴에 해당할 수 있다.

불량 픽셀 그룹 신호(BPXG)에 대하여 하나의 컬러에 대한 보정 픽셀 값으로 불량 픽셀 보정을 수행한 후에 리모자이크를 수행하는 것이 아니라, 베이어 패턴에 해당하는 보정 픽셀 그룹 신호(CPXG)를 한번에 생성함으로써 이미지 처리 효율이 향상될 수 있다. 또한, 보간된 하나의 컬러에 대한 보정 픽셀 값이 아닌, 주위의 다른 픽셀 값들에 기초하여 불량 픽셀 보정을 수행함으로써, 생성된 보정 픽셀 그룹 신호(CPXG)의 오차발생이 감소될 수 있다.

도 12는 몇몇 실시예에 따른 이미지 신호 처리 방법에 대한 순서도이다. 도 13 및 도 14는 도 12에 따른 이미지 신호 처리 방법을 설명하기 위한 도면들이다.

도 12 내지 도 14를 참조하면, 이미지 센싱 장치(1)는 각도(

)를 검출할 수 있다(S410). 예를 들어, 이미지 신호 프로세서(900)는 픽셀 신호(SIG_PX)로부터 해당 이미지의 각도(

)를 검출할 수 있다. 여기서 이미지의 각도(

)는 이미지의 고유한 특성에 해당할 수 있다. 예를 들어, 각도(

)는 0도 내지 90도 사이의 각도 값으로 정의될 수 있다. 여기서 각도(

)는 예각인 것으로 가정하여 설명하도록 하나, 본 발명의 실시예는 이에 제한되지 않는다.

픽셀 신호(SIG_PX)는 불량 픽셀 그룹 신호(BPXG)와 그 주위의 다른 픽셀 값들을 포함할 수 있다. 예를 들어, 픽셀 신호(SIG_PX)는 불량 픽셀 그룹 신호(BPXG)의 좌측에 해당되는 레프트 블루 픽셀 값(

) 및 레프트 그린 픽셀 값(

)을 포함할 수 있다. 예를 들어, 픽셀 신호(SIG_PX)는 불량 픽셀 그룹 신호(BPXG)의 우측에 해당되는 라이트 블루 픽셀 값(

) 및 라이트 그린 픽셀 값(

)을 포함할 수 있다. 예를 들어, 픽셀 신호(SIG_PX)는 불량 픽셀 그룹 신호(BPXG)의 상부에 해당되는 탑 레드 픽셀 값(

) 및 탑 라이트 그린 픽셀 값(

)을 포함할 수 있다. 예를 들어, 픽셀 신호(SIG_PX)는 불량 픽셀 그룹 신호(BPXG)의 하부에 해당되는 바텀 레드 픽셀 값(

) 및 바텀 그린 픽셀 값(

)을 포함할 수 있다.

여기서, 레프트 블루 픽셀 값(

), 레프트 그린 픽셀 값(

), 라이트 블루 픽셀 값(

), 라이트 그린 픽셀 값(

), 탑 레드 픽셀 값(

), 탑 라이트 그린 픽셀 값(

), 바텀 레드 픽셀 값(

) 및 바텀 그린 픽셀 값(

)에 해당되는 픽셀(PX)은 불량 픽셀 그룹 신호(BPXG)에 해당되는 픽셀(PX)에 인접할 수 있다. 즉, 이미지 신호 프로세서(900)는 모든 컬러에 해당하는 픽셀 값들을 도출할 수 있다.

이미지 신호 프로세서(900)는 상기 컬러 픽셀 값들 간의 관계식을 계산할 수 있다(S411).

도 13을 참조하면, 이미지 신호 프로세서(900)는 레프트 블루 픽셀 값(

), 레프트 그린 픽셀 값(

), 라이트 블루 픽셀 값(

), 라이트 그린 픽셀 값(

), 탑 레드 픽셀 값(

), 탑 라이트 그린 픽셀 값(

), 바텀 레드 픽셀 값(

) 및 바텀 그린 픽셀 값(

) 사이의 관계식을 계산할 수 있다.

예를 들어, 그린 픽셀 값과 블루 픽셀 값은 다음의 수학식 1과 같이 선형적으로 표현될 수 있다.

즉, 레프트 그린 픽셀 값(

)은 레프트 블루 픽셀 값(

)에 대한 관계식으로 나타날 수 있고, 라이트 그린 픽셀 값(

)은 라이트 블루 픽셀 값(

)에 대한 관계식으로 나타날 수 있다.

또한, 그린 픽셀 값과 레드 픽셀 값은 다음의 수학식 2와 같이 선형적으로 표현될 수 있다.

즉, 바텀 그린 픽셀 값(

)은 탑 레드 픽셀 값(

)에 대한 관계식으로 나타날 수 있고, 탑 라이트 그린 픽셀 값(

)은 바텀 레드 픽셀 값(

)에 대한 관계식으로 나타날 수 있다.

이를 통해 도출된 블루 컬러에 대한 픽셀 값에 대한 그린 컬러에 대한 픽셀 값의 관계식은 다음의 수학식 3과 같다.

여기서,

는 블루 픽셀 값을 그린 픽셀 값으로 변환하기 위한 함수에 해당한다.

또한, 레드 컬러에 대한 픽셀 값에 대한 그린 컬러에 대한 픽셀 값의 관계식은 다음의 수학식 4와 같다.

여기서,

는 레드 픽셀 값을 그린 픽셀 값으로 변환하기 위한 함수에 해당한다.

즉, 이미지 신호 프로세서는 픽셀 신호(SIG_PX)의 픽셀 값들을 이용하여 관계식인

및

를 계산할 수 있다. 또한, 이 관계식들을 이용하여 각 채널 간의 픽셀 값의 변환이 수행될 수 있다.

도 12 및 도 14를 참조하면, 이미지 신호 프로세서(900)는 픽셀 값들과 관계식들에 기초하여 불량 픽셀 그룹 신호(BPXG)의 보정된 픽셀 값을 생성할 수 있다(S412).

도 14를 참조하면, 이미지 신호 프로세서(900)는 주위의 픽셀 값들(R7S 내지 R9S, R10S 내지 R12S, G9S, G25S, G30S, G37S, B3S, B6S, B9S, B10S, B13S, B16S 등)을 이용하여 보정 픽셀 그룹 신호(CPXG)를 생성할 수 있다. 즉, 이미지 신호 프로세서(900)는 주위의 픽셀 값들과 계산된 관계식들을 이용하여 보정 픽셀 그룹 신호(CPXG)의 픽셀 값들(CG1S 내지 CG5S, CB1S, CB2S, CR1S 및 CR2S)를 생성할 수 있다.

보정 픽셀 그룹 신호(CPXG)의 제2 보정 그린 픽셀 값(CG2S)은 다음의 수학식 5를 이용하여 생성될 수 있다.

즉, 제2 보정 그린 픽셀 값(CG2S)은 제25 그린 픽셀 값(G25S), 제10 블루 픽셀 값(B10S), 제13 블루 픽셀 값(B13S)과 블루 컬러-그린 컬러 관계식을 이용하여 도출될 수 있다. 여기서 제2 보정 그린 픽셀 값(CG2S)의 우측에 위치한 픽셀 값을 참조하는 경우의

와, 좌측에 위치한 픽셀 값을 참조하는 경우의

는 다음의 수학식 6과 같다.

보정 픽셀 그룹 신호(CPXG)의 제2 보정 레드 픽셀 값(CR2S)은 다음의 수학식 7을 이용하여 생성될 수 있다.

즉, 제2 보정 레드 픽셀 값(CR2S)은 제10 블루 픽셀 값(B10S), 제13 블루 픽셀 값(B13S), 제16 블루 픽셀 값(B16S)과 블루 컬러-그린 컬러 관계식 및 레드 컬러-그린 컬러 관계식을 이용하여 도출될 수 있다.

이와 같은 과정을 통하여, 주변부에 위치한 제1 보정 그린 픽셀 값(CG1S), 제2 보정 그린 픽셀 값(CG2S), 제4 보정 그린 픽셀 값(CG4S), 제5 보정 그린 픽셀 값(CG5S), 제1 보정 레드 픽셀 값(CR1S) 및 제2 보정 레드 픽셀 값(CR2S)이 계산될 수 있다.

이어서, 계산된 보정 픽셀 값들과 관계식들을 이용하여 중앙부에 위치한 보정 픽셀 값들이 계산될 수 있다.

보정 픽셀 그룹 신호(CPXG)의 제1 보정 블루 픽셀 값(CB1S)은 다음의 수학식 8을 이용하여 생성될 수 있다.

즉, 제1 보정 블루 픽셀 값(CB1S)은 제7 레드 픽셀 값(R7S), 제9 레드 픽셀 값(R9S), 제1 보정 그린 픽셀 값(CG1S), 제2 보정 그린 픽셀 값(CG2S), 제1 보정 레드 픽셀 값(CR1S) 및 제2 보정 레드 픽셀 값(CR2S)과 블루 컬러-그린 컬러 관계식 및 레드 컬러-그린 컬러 관계식을 이용하여 도출될 수 있다.

이와 같은 과정을 통하여, 중앙부에 위치한 제1 보정 블루 픽셀 값(CB1S). 제2 보정 블루 픽셀 값(CB2S) 및 제3 보정 그린 픽셀 값(CG3S)이 계산될 수 있다.

상기 방법을 통하여 보정 픽셀 그룹 신호(CPXG)에 포함되는 픽셀 값들이 계산될 수 있다. 이를 통해 모든 컬러에 대한 픽셀 값들이 생성됨으로써, 해당 픽셀 값에 대하여는 리모자이크를 할 필요가 없다. 따라서, 이미지 처리에 대한 효율성이 향상될 수 있다. 또한, 하나의 컬러에 대한 픽셀 값으로 보정되지 않음에 따라서, 불량 픽셀 보정의 오차가 감소될 수 있다.

다시 도 11을 참조하면, 리모자이크 모듈(920)은 보정 픽셀 신호(SIG_PX_C)에 기초하여 리모자이크를 수행할 수 있다(S403). 여기서 보정 픽셀 신호(SIG_PX_C)는 불량 픽셀 보정기(910)에 의해 보정된 보정 픽셀 그룹 신호(CPXG)와, 불량 픽셀 보정기(910)에 의해 보정이 수행되지 않은 픽셀 값들(G1S 내지 G9S, G19S 내지 G45S, R1S 내지 R18S, B1S 내지 B18S)을 포함할 수 있다.

도 15는 몇몇 실시예에 따른 이미지 신호의 생성을 설명하는 도면이다.

도 15를 참조하면, 리모자이크 모듈(920)은 보정 픽셀 그룹 신호(CPXG)를 제외한 보정 픽셀 신호(SIG_PX_C)의 픽셀 값에 대하여 리모자이크를 수행할 수 있다. 리모자이크 모듈(920)에 의해 생성된 이미지 신호(IMS)는 RGB 베이어 패턴에 해당하는 제1 내지 제36 그린 픽셀 값(G1S' 내지 G36S'), 제1 내지 제18 블루 픽셀 값(B1S' 내지 B18S') 및 제1 내지 제18 레드 픽셀 값(R1S' 내지 R18S')을 포함할 수 있다. 또한, 이미지 신호(IMS)는 보정 픽셀 신호(SIG_PX_C)에 포함되는 보정 픽셀 그룹 신호(CPXG)를 포함할 수 있다. 여기서, 리모자이크가 수행된 제1 내지 제36 그린 픽셀 값(G1S' 내지 G36S'), 제1 내지 제18 블루 픽셀 값(B1S' 내지 B18S') 및 제1 내지 제18 레드 픽셀 값(R1S' 내지 R18S')과 보정 픽셀 그룹 신호(CPXG)는 베이어 패턴에 해당할 수 있다. 즉, 제1 내지 제36 그린 픽셀 값(G1S' 내지 G36S'), 제1 내지 제18 블루 픽셀 값(B1S' 내지 B18S') 및 제1 내지 제18 레드 픽셀 값(R1S' 내지 R18S')는 세개의 컬러에 대한 픽셀 값들을 포함할 수 있다.

예를 들어, 리모자이크 픽셀 그룹 신호(RPXG)는 제1 그린 픽셀 값(G1S'), 제2 그린 픽셀 값(G2S'), 제3 그린 픽셀 값(G3S'), 제10 그린 픽셀 값(G10S'), 제12 그린 픽셀 값(G12S'), 제1 블루 픽셀 값(B1S'), 제2 블루 픽셀 값(B2S'), 제1 레드 픽셀 값(R1S') 및 제5 레드 픽셀 값(R5S')을 포함할 수 있다. 각각의 픽셀 값은 RGB 베이어 패턴에 해당할 수 있다. 이후에, 이미지 신호 프로세서(900)는 이미지 신호(IMS)에 대하여 디모자이크를 수행할 수 있고, 디모자이크가 수행된 이미지 신호(IMS)는 디스플레이를 통해 출력될 수 있다. 이를 통해 불량 픽셀이 보정되고 화질이 개선된 이미지가 출력될 수 있다.

이하, 도 16 및 도 17을 참조하여 다른 몇몇 실시예에 따른 이미지 신호 처리 방법에 대하여 설명한다.

도 16 및 도 17은 몇몇 실시예에 따른 이미지 신호 처리 방법을 설명하기 위한 도면들이다. 설명의 편의를 위해, 도 1 내지 도 15를 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.

도 16 및 도 17을 참조하면, 이미지 신호 프로세서(900)는 픽셀 신호(SIG_PX)에 기초하여 보정 픽셀 신호(SIG_PX_C)를 생성할 수 있다. 해당 과정은 도 1 내지 도 15를 참조하여 설명한 것과 동일하다. 이미지 신호 프로세서(900)는 불량 픽셀 그룹 신호(BPXG)를 하나의 컬러에 대한 픽셀 값들로 보정함으로써, 픽셀 신호(SIG_PX_2)를 생성할 수 있다. 여기서, 픽셀 신호(SIG_PX_2)는 제10 내지 제18 보정 그린 픽셀 값(G10S'' 내지 G18S'')을 포함할 수 있다. 즉, 픽셀 신호(SIG_PX_2)는 복수의 컬러에 대한 픽셀 값들을 생성하지 않고, 하나의 컬러에 대한 픽셀 값들을 생성할 수 있다. 여기서 제10 내지 제18 보정 그린 픽셀 값(G10S'' 내지 G18S'')은 주위의 제1 내지 제9 그린 픽셀 값(G1S 내지 G9S), 제19 내지 제45 그린 픽셀 값(G19S 내지 G45S)를 참조하여 생성될 수 있다.

이미지 신호 프로세서(900)는 픽셀 신호(SIG_PX_2)에 대하여 리모자이크를 수행하여 이미지 신호(IMS')를 생성할 수 있다. 여기서 이미지 신호(IMS')는 제10 내지 제18 보정 그린 픽셀 값(G10S'' 내지 G18S'')을 참조하여 생성될 수 있다.

이미지 신호 프로세서(900)는 보정 픽셀 신호(SIG_PX_C)를 이용하여 이미지 신호(IMS')를 보정하여 이미지 신호(IMS'')를 생성할 수 있다. 예를 들어, 이미지 신호(IMS')의 제37 내지 제41 그린 픽셀 값(G37S' 내지 G41S')은 보정 픽셀 신호(SIG_PX_C)의 제1 내지 제5 보정 그린 픽셀 값(CG1S 내지 CG5S)로 대체될 수 있다. 즉, 기존의 방법을 이용하여 생성된 이미지 신호(IMS')를 보정 픽셀 신호(SIG_PX_C)를 이용하여 보정할 수 있다.

이하, 도 18을 참조하여 다른 몇몇 실시예에 따른 픽셀 신호의 처리 방법에 대하여 설명한다.

도 18은 몇몇 실시예에 따른 픽셀 신호의 처리 방법을 설명하기 위한 도면이다. 설명의 편의를 위해, 도 1 내지 도 17을 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.

도 18을 참조하면, 이미지 신호 프로세서(900)는 픽셀 신호(SIG_PX_2)에 대하여 불량 픽셀 보정을 수행하여 보정 픽셀 신호(SIG_PX_C_2)를 생성할 수 있다. 여기서 픽셀 신호(SIG_PX_2)는 테트라 패턴에 해당할 수 있다. 즉, 픽셀 신호(SIG_PX_2)를 출력하는 이미지 센서(100)의 픽셀 어레이(PA)는 테트라 패턴으로 배열될 수 있다. 이에 따라서, 픽셀 신호(SIG_PX_2)는 제1 내지 제20 그린 픽셀 값(G1S 내지 G20S), 제1 내지 제8 레드 픽셀 값(R1S 내지 R8S) 및 제1 내지 제8 블루 픽셀 값(B1S 내지 B8S)을 포함할 수 있다. 여기서 제9 내지 제12 그린 픽셀 값(G9S 내지 G12S)이 불량 픽셀 그룹 신호(BPXG)에 해당할 수 있다.

이미지 신호 프로세서(900)는 불량 픽셀 그룹 신호(BPXG)를 보정 픽셀 그룹 신호(CPXG)로 대체시킬 수 있다. 여기서 보정 픽셀 그룹 신호(CPXG)는 불량 픽셀 그룹 신호(BPXG)가 아닌 픽셀 값들을 이용하여 생성될 수 있다. 보정 픽셀 그룹 신호(CPXG)는 제1 보정 그린 픽셀 값(CG1S), 제2 보정 그린 픽셀 값(CG2S), 제1 보정 레드 픽셀 값(CR1S) 및 제1 보정 블루 픽셀 값(CB1S)을 포함할 수 있다. 제1 보정 그린 픽셀 값(CG1S), 제2 보정 그린 픽셀 값(CG2S), 제1 보정 레드 픽셀 값(CR1S) 및 제1 보정 블루 픽셀 값(CB1S)에 대응되는 픽셀 어레이(PA)의 픽셀들은 RGB 베이어 패턴으로 배열될 수 있다. 하지만 본 발명의 실시예는 이에 제한되지 않는다.

정리하면, 이미지 신호 프로세서(900)는 테트라 패턴에 해당하는 픽셀 신호(SIG_PX_2)에 대하여 불량 픽셀 보정을 수행하여 RGB 베이어 패턴에 해당하는 보정 픽셀 그룹 신호(CPXG)를 생성할 수 있다. 불량 픽셀 그룹 신호(BPXG)가 하나의 컬러에 대한 것인 반면에, 보정 픽셀 그룹 신호(CPXG)는 복수의 컬러에 대한 것이다.

이하, 도 19 및 도 20을 참조하여 다른 몇몇 실시예에 따른 픽셀 신호의 처리 방법에 대하여 설명한다.

도 19는 몇몇 실시예에 따른 픽셀 신호의 처리 방법을 설명하기 위한 도면이다. 도 20은 몇몇 실시예에 따른 픽셀 신호의 처리 방법을 설명하기 위한 도면이다. 설명의 편의를 위해, 도 1 내지 도 17을 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.

도 19를 참조하면, 이미지 신호 프로세서(900)는 픽셀 신호(SIG_PX_3)에 대하여 불량 픽셀 보정을 수행하여 보정 픽셀 신호(SIG_PX_C_3)를 생성할 수 있다. 여기서 픽셀 신호(SIG_PX_3)는 4X4 패턴에 해당할 수 있다. 즉, 픽셀 신호(SIG_PX_3)를 출력하는 이미지 센서(100)의 픽셀 어레이(PA)는 4X4 패턴으로 배열될 수 있다. 이에 따라서, 픽셀 신호(SIG_PX_3)는 제1 내지 제32 그린 픽셀 값(G1S 내지 G32S), 제1 내지 제16 레드 픽셀 값(R1S 내지 R16S) 및 제1 내지 제16 블루 픽셀 값(B1S 내지 B16S)을 포함할 수 있다. 여기서 제17 내지 제32 그린 픽셀 값(G17S 내지 G32S)이 불량 픽셀 그룹 신호(BPXG)에 해당할 수 있다.

이미지 신호 프로세서(900)는 불량 픽셀 그룹 신호(BPXG)를 보정 픽셀 그룹 신호(CPXG)로 대체시킬 수 있다. 여기서 보정 픽셀 그룹 신호(CPXG)는 불량 픽셀 그룹 신호(BPXG)가 아닌 픽셀 값들을 이용하여 생성될 수 있다. 보정 픽셀 그룹 신호(CPXG)는 제1 내지 제8 보정 그린 픽셀 값(CG1S 내지 CG8S), 제1 내지 제4 보정 블루 픽셀 값(CB1S 내지 CB4S), 및 제1 내지 제4 보정 레드 픽셀 값(CR1S 내지 CR4S)을 포함할 수 있다. 즉, 보정 픽셀 그룹 신호(CPXG)는 레드 컬러, 그린 컬러 및 블루 컬러에 대한 픽셀 값들을 모두 포함할 수 있다.

정리하면, 이미지 신호 프로세서(900)는 4X4 패턴에 해당하는 픽셀 신호(SIG_PX_3)에 대하여 불량 픽셀 보정을 수행하여 RGB 베이어 패턴에 해당하는 보정 픽셀 그룹 신호(CPXG)를 생성할 수 있다.

도 20을 참조하면, 이미지 신호 프로세서(900)는 픽셀 신호(SIG_PX_3)에 대하여 불량 픽셀 보정을 수행하여 보정 픽셀 신호(SIG_PX_C_3')를 생성할 수 있다. 보정 픽셀 신호(SIG_PX_C_3')는 보정 픽셀 그룹 신호(CPXG)를 포함할 수 있다. 보정 픽셀 그룹 신호(CPXG)는 2X2 패턴에 해당되는 픽셀 값들을 포함할 수 있다. 예를 들어, 보정 픽셀 그룹 신호(CPXG)는 제1 내지 제4 보정 그린 픽셀 값(CG1S 내지 CG4S), 제1 내지 제4 보정 레드 픽셀 값(CR1S 내지 CR4S), 제1 내지 제4 보정 블루 픽셀 값(CB1S 내지 CB4S) 및 제5 내지 제8 보정 그린 픽셀 값(CG5S 내지 CG8S)을 포함할 수 있다. 즉, 이미지 신호 프로세서(900)는 4X4 패턴에 해당되는 픽셀 값들에 대하여 불량 픽셀 보정을 수행하여 2X2 패턴에 해당되는 보정 픽셀 값들을 생성할 수 있다. 하지만 본 발명의 실시예는 이에 제한되지 않는다.

이하, 도 21 내지 도 23을 참조하여 다른 몇몇 실시예에 따른 이미지 신호 처리 방법에 대하여 설명한다.

도 21은 몇몇 실시예에 따른 이미지 신호 프로세서에 대한 블록도이다. 도 22 및 도 23은 도 21에 따른 이미지 신호 처리 방법을 설명하기 위한 도면들이다. 설명의 편의를 위해, 도 1 내지 도 17을 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.

도 21을 참조하면, 리드 아웃 회로(1150)는 픽셀 어레이(PA)로부터 픽셀 신호(SIG_PX_3)를 수신할 수 있다. 여기서 픽셀 신호(SIG_PX_3)는 도 19 및 도 20을 참조하여 설명한 픽셀 신호(SIG_PX_3)에 해당할 수 있다. 즉, 픽셀 어레이(PA)는 4X4 패턴으로 배열된 픽셀들을 포함할 수 있다.

도 21 및 도 22를 참조하면, 비닝 결정부(1151)는 픽셀 신호(SIG_PX_3)에 대하여 비닝을 수행하여 비닝 픽셀 신호(SIG_BIN)를 생성할 수 있다. 즉, 픽셀 신호(SIG_PX_3)에 포함되는 픽셀 값들 중 네개의 픽셀 값들이 비닝되어 하나의 픽셀 값이 생성될 수 있다. 예를 들어, 제1 그린 픽셀 값(G1S), 제2 그린 픽셀 값(G2S), 제5 그린 픽셀 값(G5S) 및 제6 그린 픽셀 값(G6S)이 비닝되어 제1 비닝 그린 픽셀 값(BG1S)이 생성될 수 있다. 제1 비닝 그린 픽셀 값(BG1S)은 제1 그린 픽셀 값(G1S), 제2 그린 픽셀 값(G2S), 제5 그린 픽셀 값(G5S) 및 제6 그린 픽셀 값(G6S)의 총합일 수 있다.

즉, 비닝 결정부(1151)는 제1 내지 제32 그린 픽셀 값(G1S 내지 G32S), 제1 내지 제16 블루 픽셀 값(B1S 내지 B16S) 및 제1 내지 제16 레드 픽셀 값(R1S 내지 R16S)에 기초하여 제1 내지 제8 비닝 그린 픽셀 값(BG1S 내지 BG8S), 제1 내지 제4 비닝 레드 픽셀 값(BR1S 내지 BR4S) 및 제1 내지 제4 비닝 블루 픽셀 값(BB1S 내지 BB4S)을 생성할 수 있다. 비닝 픽셀 신호(SIG_BIN)의 픽셀 값들은 테트라 배이어 패턴에 해당할 수 있으나, 본 발명의 실시예는 이에 제한되지 않는다.

도 21 및 도 23을 참조하면, 이미지 신호 프로세서(900)는 비닝 픽셀 신호(SIG_BIN)를 수신할 수 있다. 불량 픽셀 보정기(910)는 비닝 픽셀 신호(SIG_BIN)에 대해 불량 픽셀 보정을 수행하여 보정 픽셀 신호(SIG_BIN_C)를 생성할 수 있다. 여기서 보정 픽셀 신호(SIG_BIN_C)는 보정 픽셀 그룹 신호(CPXG)를 포함할 수 있다. 보정 픽셀 그룹 신호(CPXG)는 레드 컬러, 블루 컬러, 및 그린 컬러에 대한 픽셀 값들(CBG1S, CBG2S, CBR1S 및 CBB1S)을 포함할 수 있다. 이후에, 나머지 픽셀 값들에 대하여 리모자이크가 수행될 수 있다.

이하, 도 24를 참조하여 다른 몇몇 실시예에 따른 픽셀 신호의 처리 방법에 대하여 설명한다.

도 24는 몇몇 실시예에 따른 픽셀 신호의 처리 방법을 설명하기 위한 도면이다. 설명의 편의를 위해, 도 1 내지 도 17을 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.

도 24를 참조하면, 이미지 신호 프로세서(900)는 픽셀 신호(SIG_PX_4)에 대하여 불량 픽셀 보정을 수행하여 보정 픽셀 신호(SIG_PX_C_4)를 생성할 수 있다. 여기서 픽셀 신호(SIG_PX_4)는 5X5 패턴에 해당할 수 있다. 즉, 픽셀 신호(SIG_PX_4)를 출력하는 이미지 센서(100)의 픽셀 어레이(PA)는 5X5 패턴으로 배열될 수 있다. 이에 따라서, 픽셀 신호(SIG_PX_4)는 제1 내지 제50 그린 픽셀 값(G1S 내지 G50S), 제1 내지 제25 레드 픽셀 값(R1S 내지 R25S) 및 제1 내지 제25 블루 픽셀 값(B1S 내지 B25S)을 포함할 수 있다. 여기서 제26 내지 제50 그린 픽셀 값(G26S 내지 G50S)이 불량 픽셀 그룹 신호(BPXG)에 해당할 수 있다.

이미지 신호 프로세서(900)는 불량 픽셀 그룹 신호(BPXG)를 보정 픽셀 그룹 신호(CPXG)로 대체시킬 수 있다. 여기서 보정 픽셀 그룹 신호(CPXG)는 불량 픽셀 그룹 신호(BPXG)가 아닌 픽셀 값들을 이용하여 생성될 수 있다. 보정 픽셀 그룹 신호(CPXG)는 제1 내지 제13 보정 그린 픽셀 값(CG1S 내지 CG13S), 제1 내지 제6 보정 블루 픽셀 값(CB1S 내지 CB6S), 및 제1 내지 제6 보정 레드 픽셀 값(CR1S 내지 CR6S)을 포함할 수 있다. 즉, 보정 픽셀 그룹 신호(CPXG)는 레드 컬러, 그린 컬러 및 블루 컬러에 대한 픽셀 값들을 모두 포함할 수 있다.

정리하면, 이미지 신호 프로세서(900)는 5X5 패턴에 해당하는 픽셀 신호(SIG_PX_4)에 대하여 불량 픽셀 보정을 수행하여 RGB 베이어 패턴에 해당하는 보정 픽셀 그룹 신호(CPXG)를 생성할 수 있다.

도 25는 몇몇 실시예에 따른 이미지 센서의 상면도이다.

도 25를 참조하면, 이미지 센서(100')는 마이크로 렌즈(ML')를 포함할 수 있다. 여기서 마이크로 렌즈(ML')는 복수의 픽셀들을 오버랩할 수 있다. 즉, 도 1 내지 도 24를 참조하여 설명한 이미지 센서(100)의 마이크로 렌즈(ML)가 하나의 픽셀만을 오버랩하는 것과 달리, 이미지 센서(100')의 마이크로 렌즈(ML')는 제1 노나 그린 픽셀 그룹(NGG1)을 모두 오버랩할 수 있다. 마이크로 렌즈(ML')를 투과한 빛은 제1 노나 그린 픽셀 그룹(NGG1)에 모두 입사될 수 있다. 하지만 본 발명의 실시예는 이에 제한되지 않는다.

도 26은 몇몇 실시예에 따른 이미지 센서의 개념적인 레이아웃을 도시한 도면이다.

도 26을 참조하면, 이미지 센서(100''')는 상부 칩(200), 하부 칩(300) 및 메모리 칩(300')을 포함할 수 있다. 여기서 상부 칩(200), 하부 칩(300) 및 메모리 칩(300')은 제3 방향(Z)을 따라서 순차적으로 적층될 수 있다. 메모리 칩(300')은 하부 칩(300)의 하부에 배치될 수 있다. 메모리 칩(300')은 메모리 장치를 포함할 수 있다. 예를 들어, 메모리 칩(300')은 DRAM, SRAM 등의 휘발성 메모리 장치를 포함할 수 있다. 메모리 칩(300')은 상부 칩(200) 및 하부 칩(300)으로부터 신호를 전달받아, 메모리 장치를 통하여 신호를 처리할 수 있다. 즉, 메모리 칩(300')을 포함하는 이미지 센서(100''')는 3 스택 이미지 센서에 해당될 수 있다.

이하, 도 27 및 도 28을 참조하여 다른 몇몇 실시예에 따른 전자 장치(2000)를 설명한다.

도 27은 몇몇 실시예에 따른 멀티 카메라 모듈을 포함하는 전자 장치를 설명하기 위한 블록도이다. 도 28은 도 27의 카메라 모듈의 상세 블록도이다. 설명의 편의를 위해, 도 1 내지 도 26을 이용하여 설명한 것과 중복되는 부분은 간략히 설명하거나 생략한다.

도 27을 참조하면, 전자 장치(2000)는 카메라 모듈 그룹(2100), 어플리케이션 프로세서(2200), PMIC(2300), 외부 메모리(2400) 및 디스플레이(2500)를 포함할 수 있다.

카메라 모듈 그룹(2100)은 복수의 카메라 모듈(2100a, 2100b, 2100c)을 포함할 수 있다. 비록 도면에는 3개의 카메라 모듈(2100a, 2100b, 2100c)이 배치된 실시예가 도시되어 있으나, 실시예들이 이에 제한되는 것은 아니다. 몇몇 실시예에서, 카메라 모듈 그룹(2100)은 2개의 카메라 모듈만을 포함하도록 변형되어 실시될 수 있다. 또한, 몇몇 실시예에서, 카메라 모듈 그룹(2100)은 n개(n은 4 이상의 자연수)의 카메라 모듈을 포함하도록 변형되어 실시될 수도 있다.

여기서 3개의 카메라 모듈(2100a, 2100b, 2100c) 중 하나는 도 1 내지 도 26을 이용하여 설명한 이미지 센서(100)를 포함하는 카메라 모듈일 수 있다.

이하, 도 28을 참조하여, 카메라 모듈(2100b)의 상세 구성에 대해 보다 구체적으로 설명할 것이나, 이하의 설명은 실시예에 따라 다른 카메라 모듈들(2100a, 2100c)에 대해서도 동일하게 적용될 수 있다.

도 28을 참조하면, 카메라 모듈(2100b)은 프리즘(2105), 광학 경로 폴딩 요소(Optical Path Folding Element, 이하, ˝OPFE˝)(2110), 액츄에이터(2130), 이미지 센싱 장치(2140) 및 저장부(2150)를 포함할 수 있다.

프리즘(2105)은 광 반사 물질의 반사면(2107)을 포함하여 외부로부터 입사되는 광(L)의 경로를 변형시킬 수 있다.

몇몇 실시예에서, 프리즘(2105)은 제1 방향(X)으로 입사되는 광(L)의 경로를 제1 방향(X)에 수직인 제2 방향(Y)으로 변경시킬 수 있다. 또한, 프리즘(2105)은 광 반사 물질의 반사면(2107)을 중심축(2106)을 중심으로 A방향으로 회전시키거나, 중심축(2106)을 B방향으로 회전시켜 제1 방향(X)으로 입사되는 광(L)의 경로를 수직인 제2 방향(Y)으로 변경시킬 수 있다. 이때, OPFE(2110)도 제1 방향(X)및 제2 방향(Y)과 수직인 제3 방향(Z)로 이동할 수 있다.

몇몇 실시예에서, 도시된 것과 같이, 프리즘(2105)의 A방향 최대 회전 각도는 플러스(+) A방향으로는 15도(degree)이하이고, 마이너스(-) A방향으로는 15도보다 클 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

몇몇 실시예에서, 프리즘(2105)은 플러스(+) 또는 마이너스(-) B방향으로 20도 내외, 또는 10도에서 20도, 또는 15도에서 20도 사이로 움직일 수 있고, 여기서, 움직이는 각도는 플러스(+) 또는 마이너스(-) B방향으로 동일한 각도로 움직이거나, 1도 내외의 범위로 거의 유사한 각도까지 움직일 수 있다.

몇몇 실시예에서, 프리즘(2105)은 광 반사 물질의 반사면(2107)을 중심축(2106)의 연장 방향과 평행한 제3 방향(예를 들어, Z방향)으로 이동할 수 있다.

OPFE(2110)는 예를 들어 m(여기서, m은 자연수)개의 그룹으로 이루어진 광학 렌즈를 포함할 수 있다. m개의 렌즈는 제2 방향(Y)으로 이동하여 카메라 모듈(2100b)의 광학 줌 배율(optical zoom ratio)을 변경할 수 있다. 예를 들어, 카메라 모듈(2100b)의 기본 광학 줌 배율을 Z라고할 때, OPFE(2110)에 포함된 m개의 광학 렌즈를 이동시킬 경우, 카메라 모듈(2100b)의 광학 줌 배율은 3Z 또는 5Z 이상의 광학 줌 배율로 변경될 수 있다.

액츄에이터(2130)는 OPFE(2110) 또는 광학 렌즈(이하, 광학 렌즈로 지칭)를 특정 위치로 이동시킬 수 있다. 예를 들어 액츄에이터(2130)는 정확한 센싱을 위해 이미지 센서(2142)가 광학 렌즈의 초점 거리(focal length)에 위치하도록 광학 렌즈의 위치를 조정할 수 있다.

이미지 센싱 장치(2140)는 이미지 센서(2142), 제어 로직(2144) 및 메모리(2146)를 포함할 수 있다. 이미지 센서(2142)는 광학 렌즈를 통해 제공되는 광(L)을 이용하여 센싱 대상의 이미지를 센싱할 수 있다. 몇몇 실시예에서, 이미지 센서(2142)는 앞서 설명한 이미지 센서(100)를 포함할 수 있다.

제어 로직(2144)은 카메라 모듈(2100b)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어 로직(2144)은 제어 신호 라인(CSLb)을 통해 제공된 제어 신호에 따라 카메라 모듈(2100b)의 동작을 제어할 수 있다.

메모리(2146)는 캘리브레이션 데이터(2147)와 같은 카메라 모듈(2100b)의 동작에 필요한 정보를 저장할 수 있다. 캘리브레이션 데이터(2147)는 카메라 모듈(2100b)이 외부로부터 제공된 광(L)을 이용하여 이미지 데이터를 생성하는데 필요한 정보를 포함할 수 있다. 캘리브레이션 데이터(2147)는 예를 들어, 앞서 설명한 회전도(degree of rotation)에 관한 정보, 초점 거리(focal length)에 관한 정보, 광학 축(optical axis)에 관한 정보 등을 포함할 수 있다. 카메라 모듈(2100b)이 광학 렌즈의 위치에 따라 초점 거리가 변하는 멀티 스테이트(multi state) 카메라 형태로 구현될 경우, 캘리브레이션 데이터(2147)는 광학 렌즈의 각 위치별(또는 스테이트별) 초점 거리 값과 오토 포커싱(auto focusing)과 관련된 정보를 포함할 수 있다.

저장부(2150)는 이미지 센서(2142)를 통해 센싱된 이미지 데이터를 저장할 수 있다. 저장부(2150)는 이미지 센싱 장치(2140)의 외부에 배치될 수 있으며, 이미지 센싱 장치(2140)를 구성하는 센서 칩과 스택된(stacked) 형태로 구현될 수 있다. 몇몇 실시예에서, 저장부(2150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있으나 실시예들이 이에 제한되는 것은 아니다. 저장부(2150)는 하부 칩(300)에 의해 구현될 수 있다.

도 18과 도 19를 함께 참조하면, 몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각은 액추에이터(2130)를 포함할 수 있다. 이에 따라, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각은 그 내부에 포함된 액추에이터(2130)의 동작에 따른 서로 동일하거나 서로 다른 캘리브레이션 데이터(2147)를 포함할 수 있다.

몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 중 하나의 카메라 모듈(예를 들어, 2100b)은 앞서 설명한 프리즘(2105)과 OPFE(2110)를 포함하는 폴디드 렌즈(folded lens) 형태의 카메라 모듈이고, 나머지 카메라 모듈들(예를 들어, 2100a, 2100c)은 프리즘(2105)과 OPFE(2110)가 포함되지 않은 버티칼(vertical) 형태의 카메라 모듈일 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 중 하나의 카메라 모듈(예를 들어, 2100c)은 예를 들어, IR(Infrared Ray)을 이용하여 깊이(depth) 정보를 추출하는 버티컬 형태의 깊이 카메라(depth camera)일 수 있다. 이 경우, 어플리케이션 프로세서(2200)는 이러한 깊이 카메라로부터 제공받은 이미지 데이터와 다른 카메라 모듈(예를 들어, 2100a 또는 2100b)로부터 제공받은 이미지 데이터를 병합(merge)하여 3차원 깊이 이미지(3D depth image)를 생성할 수 있다.

몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 2100a, 2100c)은 서로 다른 관측 시야(Field of View, 시야각)를 가질 수 있다. 이 경우, 예를 들어, 복수의 카메라 모듈(2100a, 2100b, 2100c) 중 적어도 두 개의 카메라 모듈(예를 들어, 2100a, 2100c)의 광학 렌즈가 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

또한, 몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각의 시야각은 서로 다를 수 있다. 이 경우, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각에 포함된 광학 렌즈 역시 서로 다를 수 있으나, 이에 제한되는 것은 아니다.

몇몇 실시예에서, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각은 서로 물리적으로 분리되어 배치될 수 있다. 즉, 하나의 이미지 센서(2142)의 센싱 영역을 복수의 카메라 모듈(2100a, 2100b, 2100c)이 분할하여 사용하는 것이 아니라, 복수의 카메라 모듈(2100a, 2100b, 2100c) 각각의 내부에 독립적인 이미지 센서(2142)가 배치될 수 있다.

다시 도 27을 참조하면, 어플리케이션 프로세서(2200)는 이미지 처리 장치(2210), 메모리 컨트롤러(2220), 내부 메모리(2230)를 포함할 수 있다. 어플리케이션 프로세서(2200)는 복수의 카메라 모듈(2100a, 2100b, 2100c)과 분리되어 구현될 수 있다. 예를 들어, 어플리케이션 프로세서(2200)와 복수의 카메라 모듈(2100a, 2100b, 2100c)은 별도의 반도체 칩으로 서로 분리되어 구현될 수 있다.

이미지 처리 장치(2210)는 복수의 서브 이미지 프로세서(2212a, 2212b, 2212c), 이미지 생성기(2214) 및 카메라 모듈 컨트롤러(2216)를 포함할 수 있다.

이미지 처리 장치(2210)는 복수의 카메라 모듈(2100a, 2100b, 2100c)의 개수에 대응하는 개수의 복수의 서브 이미지 프로세서(2212a, 2212b, 2212c)를 포함할 수 있다.

각각의 카메라 모듈(2100a, 2100b, 2100c)로부터 생성된 이미지 데이터는 서로 분리된 이미지 신호 라인(ISLa, ISLb, ISLc)를 통해 대응되는 서브 이미지 프로세서(2212a, 2212b, 2212c)에 제공될 수 있다. 예를 들어, 카메라 모듈(2100a)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLa)을 통해 서브 이미지 프로세서(2212a)에 제공되고, 카메라 모듈(2100b)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLb)을 통해 서브 이미지 프로세서(2212b)에 제공되고, 카메라 모듈(2100c)로부터 생성된 이미지 데이터는 이미지 신호 라인(ISLc)을 통해 서브 이미지 프로세서(2212c)에 제공될 수 있다. 이러한 이미지 데이터 전송은 예를 들어, MIPI(Mobile Industry Processor Interface)에 기반한 카메라 직렬 인터페이스(CSI; Camera Serial Interface)를 이용하여 수행될 수 있으나, 실시예들이 이에 제한되는 것은 아니다.

한편, 몇몇 실시예에서, 하나의 서브 이미지 프로세서가 복수의 카메라 모듈에 대응되도록 배치될 수도 있다. 예를 들어, 서브 이미지 프로세서(2212a)와 서브 이미지 프로세서(2212c)가 도시된 것처럼 서로 분리되어 구현되는 것이 아니라 하나의 서브 이미지 프로세서로 통합되어 구현되고, 카메라 모듈(2100a)과 카메라 모듈(2100c)로부터 제공된 이미지 데이터는 선택 소자(예를 들어, 멀티플렉서) 등을 통해 선택된 후, 통합된 서브 이미지 프로세서에 제공될 수 있다.

각각의 서브 이미지 프로세서(2212a, 2212b 및 2212c)에 제공된 이미지 데이터는 이미지 생성기(2214)에 제공될 수 있다. 이미지 생성기(2214)는 이미지 생성 정보(Generating Information) 또는 모드 신호(Mode Signal)에 따라 각각의 서브 이미지 프로세서(2212a, 2212b 및 2212c)로부터 제공된 이미지 데이터를 이용하여 출력 이미지를 생성할 수 있다.

구체적으로, 이미지 생성기(2214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(2100a, 2100b 및 2100c)로부터 생성된 이미지 데이터 중 적어도 일부를 병합(merge)하여 출력 이미지를 생성할 수 있다. 또한, 이미지 생성기(2214)는 이미지 생성 정보 또는 모드 신호에 따라, 서로 다른 시야각을 갖는 카메라 모듈들(2100a, 2100b 및 2100c)로부터 생성된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다.

몇몇 실시예에서, 이미지 생성 정보는 줌 신호(zoom signal or zoom factor)를 포함할 수 있다. 또한, 몇몇 실시예에서, 모드 신호는 예를 들어, 유저(user)로부터 선택된 모드에 기초한 신호일 수 있다.

이미지 생성 정보가 줌 신호(줌 팩터)이고, 각각의 카메라 모듈(2100a, 2100b 및 2100c)이 서로 다른 관측 시야(시야각)를 갖는 경우, 이미지 생성기(2214)는 줌 신호의 종류에 따라 서로 다른 동작을 수행할 수 있다. 예를 들어, 줌 신호가 제1 신호일 경우, 카메라 모듈(2100a)로부터 출력된 이미지 데이터와 카메라 모듈(2100c)로부터 출력된 이미지 데이터를 병합한 후, 병합된 이미지 신호와 병합에 사용하지 않은 카메라 모듈(2100b)로부터 출력된 이미지 데이터를 이용하여, 출력 이미지를 생성할 수 있다. 만약, 줌 신호가 제1 신호와 다른 제2 신호일 경우, 이미지 생성기(2214)는 이러한 이미지 데이터 병합을 수행하지 않고, 각각의 카메라 모듈(2100a, 2100b 및 2100c)로부터 출력된 이미지 데이터 중 어느 하나를 선택하여 출력 이미지를 생성할 수 있다. 하지만 실시예들이 이에 제한되는 것은 아니며, 필요에 따라 이미지 데이터를 처리하는 방법은 얼마든지 변형되어 실시될 수 있다.

몇몇 실시예에서, 이미지 생성기(2214)는 복수의 서브 이미지 프로세서(2212a, 2212b 및 2212c) 중 적어도 하나로부터 노출 시간이 상이한 복수의 이미지 데이터를 수신하고, 복수의 이미지 데이터에 대하여 HDR(high dynamic range) 처리를 수행함으로서, 다이나믹 레인지가 증가된 병합된 이미지 데이터를 생성할 수 있다.

카메라 모듈 컨트롤러(2216)는 각각의 카메라 모듈(2100a, 2100b 및 2100c)에 제어 신호를 제공할 수 있다. 카메라 모듈 컨트롤러(2216)로부터 생성된 제어 신호는 서로 분리된 제어 신호 라인(CSLa, CSLb 및 CSLc)를 통해 대응되는 카메라 모듈(2100a, 2100b 및 2100c)에 제공될 수 있다.

복수의 카메라 모듈(2100a, 2100b 및 2100c) 중 어느 하나는 줌 신호를 포함하는 이미지 생성 정보 또는 모드 신호에 따라 마스터(master) 카메라(예를 들어, 2100a)로 지정되고, 나머지 카메라 모듈들(예를 들어, 2100b 및 2100c)은 슬레이브(slave) 카메라로 지정될 수 있다. 이러한 정보는 제어 신호에 포함되어, 서로 분리된 제어 신호 라인(CSLa, CSLb 및 CSLc)를 통해 대응되는 카메라 모듈(2100a, 2100b 및 2100c)에 제공될 수 있다.

줌 팩터 또는 동작 모드 신호에 따라 마스터 및 슬레이브로서 동작하는 카메라 모듈이 변경될 수 있다. 예를 들어, 카메라 모듈(2100a)의 시야각이 카메라 모듈(2100c)의 시야각보다 넓고, 줌 팩터가 낮은 줌 배율을 나타낼 경우, 카메라 모듈(2100c)이 마스터로서 동작하고, 카메라 모듈(2100a)이 슬레이브로서 동작할 수 있다. 반대로, 줌 팩터가 높은 줌 배율을 나타낼 경우, 카메라 모듈(2100a)이 마스터로서 동작하고, 카메라 모듈(2100c)이 슬레이브로서 동작할 수 있다.

몇몇 실시예에서, 카메라 모듈 컨트롤러(2216)로부터 각각의 카메라 모듈(2100a, 2100b 및 2100c)에 제공되는 제어 신호는 싱크 인에이블 신호(sync enable) 신호를 포함할 수 있다. 예를 들어, 카메라 모듈(2100b)이 마스터 카메라이고, 카메라 모듈들(2100a, 2100c)이 슬레이브 카메라인 경우, 카메라 모듈 컨트롤러(2216)는 카메라 모듈(2100b)에 싱크 인에이블 신호를 전송할 수 있다. 이러한 싱크 인에이블 신호를 제공받은 카메라 모듈(2100b)은 제공받은 싱크 인에이블 신호를 기초로 싱크 신호(sync signal)를 생성하고, 생성된 싱크 신호를 싱크 신호 라인(SSL)을 통해 카메라 모듈들(2100a 및 2100c)에 제공할 수 있다. 카메라 모듈(2100b)과 카메라 모듈들(2100a 및 2100c)은 이러한 싱크 신호에 동기화되어 이미지 데이터를 어플리케이션 프로세서(2200)에 전송할 수 있다.

몇몇 실시예에서, 카메라 모듈 컨트롤러(2216)로부터 복수의 카메라 모듈(2100a, 2100b 및 2100c)에 제공되는 제어 신호는 모드 신호에 따른 모드 정보를 포함할 수 있다. 이러한 모드 정보에 기초하여 복수의 카메라 모듈(2100a, 2100b 및 2100c)은 센싱 속도와 관련하여 제1 동작 모드 및 제2 동작 모드로 동작할 수 있다.

복수의 카메라 모듈(2100a, 2100b 및 2100c)은 제1 동작 모드에서, 제1 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트의 이미지 신호를 생성)하여 이를 제1 속도보다 높은 제2 속도로 인코딩(예를 들어, 제1 프레임 레이트보다 높은 제2 프레임 레이트의 이미지 신호를 인코딩)하고, 인코딩된 이미지 신호를 어플리케이션 프로세서(2200)에 전송할 수 있다. 이때, 제2 속도는 제1 속도의 30배 이하일 수 있다.

어플리케이션 프로세서(2200)는 수신된 이미지 신호, 다시 말해서 인코딩된 이미지 신호를 내부에 구비되는 메모리(2230) 또는 어플리케이션 프로세서(2200) 외부의 스토리지(2400)에 저장하고, 이후, 메모리(2230) 또는 스토리지(2400)로부터 인코딩된 이미지 신호를 독출하여 디코딩하고, 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터를 디스플레이할 수 있다. 예컨대 이미지 처리 장치(2210)의 복수의 서브 프로세서(2212a, 2212b, 2212c) 중 대응하는 서브 프로세서가 디코딩을 수행할 수 있으며, 또한 디코딩된 이미지 신호에 대하여 이미지 처리를 수행할 수 있다. 예를 들어 디스플레이(2500)에 디코딩된 이미지 신호에 기초하여 생성되는 이미지 데이터가 디스플레이될 수 있다.

복수의 카메라 모듈(2100a, 2100b 및 2100c)은 제2 동작 모드에서, 제1 속도보다 낮은 제3 속도로 이미지 신호를 생성(예를 들어, 제1 프레임 레이트보다 낮은 제3 프레임 레이트의 이미지 신호를 생성)하고, 이미지 신호를 어플리케이션 프로세서(2200)에 전송할 수 있다. 어플리케이션 프로세서(2200)에 제공되는 이미지 신호는 인코딩되지 않은 신호일 수 있다. 어플리케이션 프로세서(2200)는 수신되는 이미지 신호에 대하여 이미지 처리를 수행하거나 또는 이미지 신호를 메모리(2230) 또는 스토리지(2400)에 저장할 수 있다.

PMIC(2300)는 복수의 카메라 모듈(2100a, 2100b 및 2100c) 각각에 전력, 예컨대 전원 전압을 공급할 수 있다. 예를 들어, PMIC(2300)는 어플리케이션 프로세서(2200)의 제어 하에, 파워 신호 라인(PSLa)을 통해 카메라 모듈(2100a)에 제1 전력을 공급하고, 파워 신호 라인(PSLb)을 통해 카메라 모듈(2100b)에 제2 전력을 공급하고, 파워 신호 라인(PSLc)을 통해 카메라 모듈(2100c)에 제3 전력을 공급할 수 있다.

PMIC(2300)는 어플리케이션 프로세서(2200)로부터의 전력 제어 신호(PCON)에 응답하여, 복수의 카메라 모듈(2100a, 2100b 및 2100c) 각각에 대응하는 전력을 생성하고, 또한 전력의 레벨을 조정할 수 있다. 전력 제어 신호(PCON)는 복수의 카메라 모듈(2100a, 2100b 및 2100c)의 동작 모드 별 전력 조정 신호를 포함할 수 있다. 예를 들어, 동작 모드는 저전력 모드(low power mode)를 포함할 수 있으며, 이때, 전력 제어 신호(PCON)는 저전력 모드로 동작하는 카메라 모듈 및 설정되는 전력 레벨에 대한 정보를 포함할 수 있다. 복수의 카메라 모듈(2100a, 2100b 및 2100c) 각각에 제공되는 전력들의 레벨은 서로 동일하거나 또는 서로 상이할 수 있다. 또한, 전력의 레벨은 동적으로 변경될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

1: 이미지 센싱 장치 100: 이미지 센서
200: 상부 칩 300: 하부 칩
900: 이미지 신호 프로세서 910: 불량 픽셀 보정기
920: 리모자이크 모듈

Claims

제1 컬러를 갖는 복수의 제1 컬러 픽셀들을 포함하고 상기 제1 컬러에 대한 제1 픽셀 신호를 출력하는 제1 픽셀 그룹, 제1 컬러와 다른 제2 컬러를 갖는 복수의 제2 컬러 픽셀들을 포함하고 상기 제2 컬러에 대한 제2 픽셀 신호를 출력하는 제2 픽셀 그룹 및 제1 및 제2 컬러와 다른 제3 컬러를 갖는 복수의 제3 컬러 픽셀들을 포함하고 상기 제3 컬러에 대한 제3 픽셀 신호를 출력하는 제3 픽셀 그룹을 포함하는 픽셀 어레이; 및
상기 픽셀 어레이로부터 상기 제1 픽셀 신호, 상기 제2 픽셀 신호 및 제3 픽셀 신호를 수신하는 이미지 신호 프로세서를 포함하고,
상기 이미지 신호 프로세서는,
상기 제1 픽셀 신호가 불량 픽셀 신호인 경우, 상기 제2 픽셀 신호 및 상기 제3 픽셀 신호에 기초하여 상기 제1 픽셀 신호에 대한 불량 픽셀 보정을 수행함으로써 상기 제1 내지 제3 컬러에 대한 보정 픽셀 신호를 생성하고,
상기 제2 픽셀 신호에 기초하여 상기 제3 픽셀 신호에 대하여 리모자이크를 수행하고, 상기 제3 픽셀 신호에 기초하여 상기 제2 픽셀 신호에 대하여 리모자이크를 수행함으로써 상기 제1 내지 제3 컬러에 대한 리모자이크 픽셀 신호를 생성하고,
상기 픽셀 어레이는 상기 제1 컬러 픽셀, 상기 제2 컬러 픽셀 및 상기 제3 컬러 픽셀이 제1 패턴으로 배치된 픽셀 어레이고,
상기 보정 픽셀 신호 및 상기 리모자이크 픽셀 신호는 상기 제1 내지 제3 컬러 픽셀이 상기 제1 패턴보다 고주파 패턴인 제2 패턴으로 재정렬된 정보를 나타내는 이미지 센서.
제 1항에 있어서,
상기 제1 픽셀 그룹은 상기 제1 컬러 픽셀들이 공유하는 제1 플로팅 디퓨전을 포함하고, 상기 제2 픽셀 그룹은 상기 제2 컬러 픽셀들이 공유하는 제2 플로팅 디퓨전을 포함하고, 상기 제3 픽셀 그룹은 상기 제3 컬러 픽셀들이 공유하는 제3 플로팅 디퓨전을 포함하고,
상기 제1 플로팅 디퓨전은 불량인 이미지 센서.
제 1항에 있어서,
상기 제1 픽셀 신호에 대한 불량 픽셀 보정을 수행하는 경우에 사용하는 상기 제2 픽셀 신호 및 상기 제3 픽셀 신호가 출력되는 상기 제2 컬러 픽셀 및 상기 제3 컬러 픽셀은 상기 제1 픽셀 그룹에 인접하여 배치되는 이미지 센서.
제 3항에 있어서,
상기 제1 픽셀 그룹은 엣지 부분에 위치하는 제1 서브 픽셀 및 중앙 부분에 위치하는 제2 서브 픽셀을 포함하고,
상기 이미지 신호 프로세서는 상기 제2 픽셀 신호 및 상기 제3 픽셀 신호에 기초하여 상기 제1 서브 픽셀로부터 출력되는 제1 서브 픽셀 신호에 대한 불량 픽셀 보정을 수행하여 제1 보정 서브 픽셀 신호를 생성하는 이미지 센서.
제 4항에 있어서,
상기 이미지 신호 프로세서는 상기 제1 보정 서브 픽셀 신호에 기초하여 상기 제2 서브 픽셀로부터 출력되는 제2 서브 픽셀 신호에 대한 불량 픽셀 보정을 수행하여 제2 보정 서브 픽셀 신호를 생성하는 이미지 센서.
제 1항에 있어서,
상기 이미지 신호 프로세서는 상기 제1 픽셀 신호를 불량 픽셀 신호로 결정하는 이미지 센서.
제 1항에 있어서,
상기 제1 픽셀 그룹은 상기 제2 픽셀 그룹 및 상기 제3 픽셀 그룹과 인접하게 배치되는 이미지 센서.
제 1항에 있어서,
상기 제1 패턴은 테트라 패턴(tetra pattern)이고, 상기 제2 패턴은 베이어 패턴(bayer pattern)인 이미지 센서.
제 1항에 있어서,
상기 이미지 신호 프로세서는 상기 보정 픽셀 신호 및 상기 리모자이크 픽셀 신호를 포함하는 이미지 신호를 출력하고, 상기 이미지 신호에 대하여 디모자이크를 수행하는 이미지 센서.
제 1항에 있어서,
상기 이미지 신호 프로세서는 상기 제1 픽셀 신호가 불량 픽셀 신호인 경우, 상기 제1 픽셀 신호를 상기 제1 패턴으로 배열된 상기 제1 컬러 픽셀들에 대한 신호로 보정하는 과정 없이 상기 보정 픽셀 신호를 생성하는 이미지 센서.
제 1항에 있어서,
상기 이미지 신호 프로세서는 상기 제2 및 제3 픽셀 신호에 기초하여 상기 제1 픽셀 신호에 대하여 리모자이크를 더 수행함으로써 상기 리모자이크 픽셀 신호를 생성하고, 상기 보정 픽셀 신호에 기초하여 상기 리모자이크 픽셀 신호를 보정하는 이미지 센서.
제 1항에 있어서,
상기 제1 패턴은 노나 패턴(nona pattern)이고, 상기 제2 패턴은 베이어 패턴(bayer pattern)인 이미지 센서.
제 1항에 있어서,
상기 제1 픽셀 그룹은 적어도 4개의 제1 컬러 픽셀들을 포함하고, 상기 제2 픽셀 그룹은 적어도 4개의 제2 컬러 픽셀들을 포함하고, 상기 제3 픽셀 그룹은 적어도 4개의 제3 컬러 픽셀들을 포함하는 이미지 센서.
제1 컬러를 갖는 복수의 제1 컬러 픽셀들을 포함하고 상기 제1 컬러에 대한 제1 픽셀 신호를 출력하는 제1 픽셀 그룹, 제1 컬러와 다른 제2 컬러를 갖는 복수의 제2 컬러 픽셀들을 포함하고 상기 제2 컬러에 대한 제2 픽셀 신호를 출력하는 제2 픽셀 그룹 및 제1 및 제2 컬러와 다른 제3 컬러를 갖는 복수의 제3 컬러 픽셀들을 포함하고 상기 제3 컬러에 대한 제3 픽셀 신호를 출력하는 제3 픽셀 그룹을 포함하는 픽셀 어레이;
상기 제1 픽셀 신호가 불량 픽셀 신호인 경우, 상기 제2 픽셀 신호 및 상기 제3 픽셀 신호에 기초하여 상기 제1 픽셀 신호에 대한 불량 픽셀 보정을 수행함으로써 상기 제1 내지 제3 컬러에 대한 제1 보정 픽셀 신호를 생성하는 불량 픽셀 보정기; 및
상기 제2 픽셀 신호에 기초하여 상기 제3 픽셀 신호에 대하여 리모자이크를 수행하고, 상기 제3 픽셀 신호에 기초하여 상기 제2 픽셀 신호에 대하여 리모자이크를 수행함으로써 상기 제1 내지 제3 컬러에 대한 제1 리모자이크 픽셀 신호를 생성하는 리모자이크 모듈을 포함하는 이미지 센서.
제 14항에 있어서,
상기 제1 보정 픽셀 신호 및 상기 제1 리모자이크 픽셀 신호에 대하여 디모자이크를 수행하는 디모자이크 모듈을 더 포함하는 이미지 센서.
제 14항에 있어서,
상기 제1 픽셀 신호는 복수의 제1 픽셀 값들을 포함하고, 상기 제2 픽셀 신호는 복수의 제2 픽셀 값들을 포함하고, 상기 제3 픽셀 신호는 복수의 제3 픽셀 값들을 포함하는 이미지 센서.
제 16항에 있어서,
상기 제1 픽셀 값들에 대하여 비닝을 수행하여 제1 비닝 픽셀 신호를 생성하고, 상기 제2 픽셀 값들에 대하여 비닝을 수행하여 제2 비닝 픽셀 신호를 생성하고, 상기 제3 픽셀 값들에 대하여 비닝을 수행하여 제3 비닝 픽셀 신호를 생성하는 비닝부를 더 포함하는 이미지 센서.
제 17항에 있어서,
상기 불량 픽셀 보정기는 상기 비닝부로부터 상기 제1 내지 제3 비닝 픽셀 신호를 수신하고, 상기 제1 비닝 픽셀 신호를 불량 픽셀 신호로 결정하고, 상기 제2 및 제3 비닝 픽셀 신호에 기초하여 상기 제1 비닝 픽셀 신호에 대한 불량 픽셀 보정을 수행함으로써 상기 제1 내지 제3 컬러에 대한 비닝 보정 픽셀 신호를 생성하는 이미지 센서.
제 14항에 있어서,
상기 불량 픽셀 보정기는 상기 제1 픽셀 신호에 대하여 불량 픽셀 보정을 수행함으로써 상기 제1 컬러에 대한 제2 보정 픽셀 신호를 생성하고,
상기 리모자이크 모듈은 상기 제2 보정 픽셀 신호, 상기 제2 픽셀 신호 및 상기 제3 픽셀 신호에 기초하여 리모자이크를 수행함으로써 상기 제1 내지 제3 컬러에 대한 제2 리모자이크 픽셀 신호를 생성하고,
상기 제1 보정 픽셀 신호, 상기 제2 보정 픽셀 신호, 상기 제1 리모자이크 픽셀 신호 및 상기 제2 리모자이크 픽셀 신호에 기초하여 이미지 신호를 생성하는 이미지 센서.
제1 컬러에 대한 복수의 제1 픽셀 값들을 포함하는 제1 픽셀 신호, 제1 컬러와 다른 제2 컬러에 대한 복수의 제2 픽셀 값들을 포함하는 제2 픽셀 신호, 상기 제1 및 제2 컬러와 다른 제3 컬러에 대한 복수의 제3 픽셀 값들을 포함하는 제3 픽셀 신호, 및 상기 제1 컬러에 대한 복수의 제4 픽셀 값들을 포함하는 제4 픽셀 신호를 수신하고,
상기 제1 픽셀 값을 불량 픽셀 값으로 결정하고,
상기 제1 내지 제4 픽셀 신호로부터 각도를 검출하고,
상기 제2 픽셀 값, 상기 제4 픽셀 값 및 상기 각도에 기초하여 상기 제2 픽셀 값과 상기 제4 픽셀 값 사이의 제1 변환식을 계산하고,
상기 제3 픽셀 값, 상기 제4 픽셀 값 및 상기 각도에 기초하여 상기 제3 픽셀 값과 상기 제4 픽셀 값 사이의 제2 변환식을 계산하고,
상기 제1 및 제2 변환식을 이용하여, 상기 제1 픽셀 값을 상기 제2 내지 제4 픽셀 값 중 적어도 하나에 기초하여 보정함으로써 상기 제1 내지 제3 컬러에 대한 보정 픽셀 값을 생성하는 것을 포함하는 이미지 신호 처리 방법.