KR102195407B1

KR102195407B1 - 이미지 신호 프로세서와 이를 포함하는 장치들

Info

Publication number: KR102195407B1
Application number: KR1020150035859A
Authority: KR
Inventors: 김대관; 고하영; 김채성; 민동기
Original assignee: 삼성전자주식회사
Priority date: 2015-03-16
Filing date: 2015-03-16
Publication date: 2020-12-29
Also published as: CN105991946B; CN105991946A; KR20160111121A; US9948849B2; US20160277658A1

Abstract

이미지 신호 프로세서는 PSF들(point spread functions)을 저장하는 테이블과, 선택 정보를 이용하여, 상기 테이블에 저장된 상기 PSF들 중에서 적어도 하나의 PSF를 출력하는 PSF 선택 회로와, 이미지 센서에 포함된 복수의 픽셀들 중에서 적어도 하나의 픽셀로부터 출력된 픽셀 신호들에 해당하는 이미지 데이터로부터 디스패리티를 추출하는 디스패리티 추출기와, 상기 적어도 하나의 픽셀에 대한 픽셀 위치 정보를 생성하는 처리 회로를 포함한다. 상기 픽셀들 각각은 복수의 광전 변환 소자들을 포함하고, 상기 선택 정보는 상기 디스패리티와 상기 픽셀 위치 정보를 포함한다.

Description

이미지 신호 프로세서와 이를 포함하는 장치들{IMAGE SIGNAL PROCESSOR AND DEVICES HAVING THE SAME}

본 발명의 개념에 따른 실시 예는 이미지 신호 프로세서에 관한 것으로, 특히 테이블에 포함된 PSF들(point spread functions) 중에서 적어도 하나를 선택 정보를 이용하여 선택하고, 선택된 PSF와 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치들에 관한 것이다.

PAF는 위상 검출 자동 초점(phase detection auto focus) 또는 위상 차이 자동 초점(phase difference auto focus)을 의미할 수 있다.

사진술(photography)에서, 동적 범위(dynamic range)는 최대 측정 가능한 빛의 세기와 최소 측정 가능한 빛의 세기 사이의 범위를 의미한다. 빛의 세기가 변하는 정도는, 이미징 센서(imaging sensor)의 동적 범위의 전반적인 성능을 결정하는 캡처 장치로서 사용되는 장치에 의존적이다.

넓은 동적 범위(wide dynamic range(WDR)) 기술은 픽셀의 성능을 물리적으로 증가시키거나 상기 픽셀에 멀티플 노출 시간을 디지털적으로 적용하여 이미징 센서의 동적 범위를 증가시키는 기술이다. 이상적인 WDR 센서는 높은 풀-웰 커패시티 (full-well capacity(FWC))를 갖는다. FWC는 리드아웃(readout) 동안 포화 없이 수용될 수 있는 입사 신호에 대응되는 전자들의 최대 개수로 정의된다. FWC이 증가함에 따라, 이미지 센서의 동적 범위는 증가한다.

DSLR(digital single lens reflex) 카메라에서, 위상 차이 자동 초점(phase difference auto-focus) 모듈이 차지하는 공간을 줄이기 위해, 상기 DSLR 카메라의 카메라 센서는 위상 차이를 직접 검출할 수 있는 픽셀들을 포함한다. 따라서, DSLR 카메라는 자동 초점을 할 수 있다. 이러한 기술은 거울없는(mirrorless) DSLR에도 적용되고 있다.

종래의 위상 차이를 검출하는 픽셀은 포토다이오드의 일부를 금속 등으로 가리고(shield), 상기 포토다이오드의 가려지는 않은 부분으로 입사되는 빛만을 검출한다. 가려진 픽셀과 가려지지 않은 픽셀, 즉 두 개의 픽셀들을 이용하여 위상 차이를 검출하는 종래의 방법은 불규칙하게 작동하는 두 개의 픽셀들에 의해 컬러 이미지의 화질이 나빠지는 문제가 발생할 수 있다.

본 발명이 이루고자 하는 기술적인 과제는 테이블에 포함된 PSF들(point spread functions) 중에서 적어도 하나를 선택 정보를 이용하여 선택하고, 선택된 PSF와 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성할 수 있는 이미지 신호 프로세서와 이를 포함하는 장치들을 제공하는 것이다.

본 발명의 실시 예에 따른 이미지 신호 프로세서는 PSF들(point spread functions)을 저장하는 테이블과, 선택 정보를 이용하여, 상기 테이블에 저장된 상기 PSF들 중에서 적어도 하나의 PSF를 출력하는 PSF 선택 회로와, 이미지 센서에 포함된 복수의 픽셀들 중에서 적어도 하나의 픽셀로부터 출력된 픽셀 신호들에 해당하는 이미지 데이터로부터 디스패리티를 추출하는 디스패리티 추출기와, 상기 적어도 하나의 픽셀에 대한 픽셀 위치 정보를 생성하는 처리 회로를 포함하고, 상기 픽셀들 각각은 복수의 광전 변환 소자들을 포함하고, 상기 선택 정보는 상기 디스패리티와 상기 픽셀 위치 정보를 포함한다.

상기 이미지 데이터는 상기 복수의 광전 변환 소자들 중에서 적어도 하나의 제1광전 변환 소자로부터 출력된 픽셀 신호에 해당하는 긴-노출 이미지 데이터와, 상기 복수의 광전 변환 소자들 중에서 적어도 하나의 제2광전 변환 소자로부터 출력된 픽셀 신호에 해당하는 짧은-노출 이미지 데이터를 포함한다.

실시 예에 따라, 상기 이미지 신호 프로세서는 상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 회로를 더 포함한다.

상기 이미지 신호 프로세서와 상기 이미지 센서는 이미징 장치에 포함된다.

실시 예에 따라, 상기 이미지 신호 프로세서는 상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 회로를 더 포함하고, 상기 처리 회로는 상기 이미지 데이터로부터 컬러 정보를 추출하고, 상기 선택 정보는 상기 디스패리티, 상기 픽셀 위치 정보, 및 상기 컬러 정보를 포함한다.

상기 컬러 정보는 레드 신호, 그린 신호, 블루 신호, 옐로우 신호, 시안 신호, 마젠타 신호, 화이트 신호, 및 적외선 신호 중에서 어느 하나에 대한 정보일 수 있다.

실시 예에 따라, 상기 이미지 신호 프로세서는 상기 이미지 센서를 포함하는 이미징 장치에 포함된 렌즈의 위치를 계산하고, 렌즈 위치 정보를 생성하는 렌즈 위치 정보 계산기와, 상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 회로를 더 포함하고, 상기 선택 정보는 상기 디스패리티, 상기 픽셀 위치 정보, 및 상기 렌즈 위치 정보를 포함한다.

본 발명의 실시 예에 따른 애플리케이션 프로세서는 이미지 신호 프로세서와, 상기 이미지 신호 프로세서에 접속된 멀티미디어 처리 회로를 포함한다. 상기 이미지 신호 프로세서는 PSF들(point spread functions)을 저장하는 테이블과, 선택 정보를 이용하여, 상기 테이블에 저장된 상기 PSF들 중에서 적어도 하나의 PSF를 출력하는 PSF 선택 회로와, 이미지 센서에 포함된 복수의 픽셀들 중에서 적어도 하나의 픽셀로부터 출력된 픽셀 신호들에 해당하는 이미지 데이터로부터 디스패리티를 추출하는 디스패리티 추출기와, 상기 적어도 하나의 픽셀에 대한 픽셀 위치 정보를 생성하는 처리 회로를 포함하고, 상기 픽셀들 각각은 복수의 광전 변환 소자들을 포함하고, 상기 선택 정보는 상기 디스패리티와 상기 픽셀 위치 정보를 포함한다.

상기 이미지 신호 프로세서는 상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 회로를 더 포함한다.

본 발명의 실시 예에 따른 데이터 처리 시스템은 이미지 데이터를 생성하는 이미지 센서와, 상기 이미지 센서에 접속된 이미지 신호 프로세서와, 상기 이미지 신호 프로세서에 접속된 애플리케이션 프로세서를 포함한다. 상기 이미지 신호 프로세서는 PSF들(point spread functions)을 저장하는 테이블과, 선택 정보를 이용하여, 상기 테이블에 저장된 상기 PSF들 중에서 적어도 하나의 PSF를 출력하는 PSF 선택 회로와, 상기 이미지 센서에 포함된 복수의 픽셀들 중에서 적어도 하나의 픽셀로부터 출력된 픽셀 신호들에 해당하는 상기 이미지 데이터로부터 디스패리티를 추출하는 디스패리티 추출기와, 상기 적어도 하나의 픽셀에 대한 픽셀 위치 정보를 생성하는 처리 회로를 포함하고, 상기 픽셀들 각각은 복수의 광전 변환 소자들을 포함하고, 상기 선택 정보는 상기 디스패리티와 상기 픽셀 위치 정보를 포함한다.

실시 예에 따라, 상기 이미지 센서가 제1반도체 칩으로 구현되고, 상기 이미지 신호 프로세서가 제2반도체 칩으로 구현될 때, 상기 제1반도체 칩과 상기 제2반도체 칩은 이미징 장치에 포함된다. 실시 예에 따라, 상기 이미지 신호 프로세서는 상기 애플리케이션 프로세서의 내부에 형성된다.

상기 이미지 센서는 마이크로렌즈들을 더 포함하고, 상기 마이크로렌즈들 각각은 상기 복수의 픽셀들 각각의 위에 구현되고, 상기 픽셀들 사이에는 제1분리 물질들(isolation materials)이 형성되고, 상기 복수의 광전 변환 소자들 사이에는 제2분리 물질들이 형성된다.

상기 데이터 처리 시스템은 DSLR(digital single lens reflex) 카메라, 스마트폰, 태블릿 PC, 사물 인터넷 장치, 및 만물 인터넷 장치 중에서 어느 하나일 수 있다.

본 발명의 실시 예에 따른 이미지 신호 프로세서는 테이블에 포함된 PSF들 (point spread functions) 중에서 적어도 하나를 선택 정보를 이용하여 선택하고, 선택된 PSF와 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 각각이 광전 변환 소자들을 포함하는 픽셀들을 포함하는 픽셀 어레이를 나타낸다.
도 2a와 도 2b는 도 1에서 Ⅱ-Ⅱ방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도의 일 실시 예를 나타낸다.
도 3a와 도 3b는 도 1에서 Ⅱ-Ⅱ방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도의 다른 실시 예를 나타낸다.
도 4a와 도 4b는 도 1에서 Ⅱ-Ⅱ방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도의 또 다른 실시 예를 나타낸다.
도 5는 광전 변환 소자들을 포함하는 하나의 픽셀로부터 출력된 픽셀 신호들에 상응하는 이미지 데이터를 이용하여 디스패리티를 계산하는 방법을 설명하는 개념도이다.
도 6은 본 발명의 일 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다.
도 7은 디스패리티와 픽셀 위치에 따른 PSF들을 나타낸다.
도 8은 도 6에 도시된 PSF 테이블에 저장된 PSF들의 일 실시 예를 나타낸다.
도 9는 도 6에 도시된 PSF 선택 회로의 입력 신호들의 일 실시 예를 나타낸다.
도 10은 도 9에 도시된 PSF 테이블에 저장된 PSF들의 다른 실시 예를 나타낸다.
도 11은 도 6에 도시된 PSF 선택 회로의 입력 신호들의 다른 실시 예를 나타낸다.
도 12는 도 11에 도시된 PSF 테이블에 저장된 PSF들의 또 다른 실시 예를 나타낸다.
도 13은 본 발명의 다른 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다.
도 14는 본 발명의 또 다른 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다.
도 15는 도 6, 도 13, 또는 도 14에 도시된 데이터 처리 시스템의 작동을 설명하기 위한 플로우차트이다.
도 16은 본 발명의 또 다른 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.

어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.

본 명세서에서 설명될 점 분포 함수(point spread function(PSF))는 점 광원 (point source) 또는 점 객체(point object)에 대한 이미지 시스템의 응답을 설명한다. PSF에 대한 좀 더 일반적인 용어는 시스템의 임펄스 응답(impulse response) 또는 포커스된 광학 시스템(focused optical system)의 임펄스 응답을 의미한다.

도 1은 각각이 광전 변환 소자들을 포함하는 픽셀들을 포함하는 픽셀 어레이를 나타낸다. 도 1의 (a)와 (b)을 참조하면, 픽셀 어레이(110)는 복수의 픽셀들 (110-1~110-4)을 포함할 수 있다. 예컨대, 복수의 픽셀들(110-1~110-4)은 베이어 패턴(Bayer pattern)으로 배열될 수 있으나 이에 한정되는 것은 아니다. 또한, 복수의 픽셀들(110-1~110-4)은 베이어 패턴 컬러 필터 어레이를 포함할 수 있다.

복수의 픽셀들(110-1~110-4) 각각은 레드 픽셀(red pixel), 그린(green) 픽셀, 블루(blue) 픽셀, 적외선(infrared) 픽셀, 옐로우(yellow) 픽셀, 시안(cyan) 픽셀, 마젠타(magenta) 픽셀, 또는 화이트(white) 픽셀로 구현될 수 있으나 이에 한정되는 것은 아니다.

도 1의 (a)와 (b)를 참조하면, 레드 신호들을 출력할 수 있는 제1픽셀(110-1)은 복수의 광전 변환 소자들(PD1~PD4)을 포함할 수 있다. 그린 신호들을 출력할 수 있는 제2픽셀(110-2)은 복수의 광전 변환 소자들(PD1~PD4)을 포함할 수 있다. 그린 신호들을 출력할 수 있는 제3픽셀(110-3)은 복수의 광전 변환 소자들 (PD1~PD4)을 포함할 수 있다. 블루 신호들을 포함할 수 있는 제4픽셀(110-4)은 복수의 광전 변환 소자들(PD1~PD4)을 포함할 수 있다. 예컨대, 제1픽셀(110-1)은 레드 픽셀로 구현되고, 제2픽셀(110-2)은 그린 픽셀로 구현되고, 제3픽셀(110-3)은 그린 픽셀로 구현되고, 제4픽셀(110-4)은 블루 픽셀로 구현될 수 있다.

즉, 각 픽셀(R, G, 및 B)은 4개의 광전 변환 소자들(PD1~PD4)을 포함할 수 있다. 비록, 도 1에서는 각 픽셀(R, G, 및 B)이 4개의 광전 변환 소자들(PD1~PD4)을 포함하는 것으로 도시되어 있으나, 각 픽셀(R, G, 및 B)은 2개 이상의 광전 변환 소자들을 포함할 수 있다.

4개의 광전 변환 소자들(PD1~PD4) 중에서 적어도 하나의 제1광전 변환 소자는 긴-노출(long-exposure) 픽셀 신호들을 출력할 수 있고, 4개의 광전 변환 소자들(PD1~PD4) 중에서 적어도 하나의 제2광전 변환 소자는 짧은-노출(short-exposure) 픽셀 신호들을 출력할 수 있다.

실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 4개의 광전 변환 소자들 (PD1~PD4) 중에서 2개는 긴-노출 픽셀 신호들을 출력할 수 있고, 4개의 광전 변환 소자들(PD1~PD4) 중에서 나머지 2개는 짧은-노출 픽셀 신호들을 출력할 수 있다.

노출 시간(exposure time)이 어떻게 조절되는지에 따라, 긴-노출 픽셀 신호들을 출력하는 광전 변환 소자들은 짧은-노출 픽셀 신호들을 출력하는 광전 변환 소자들로서 사용될 수 있고, 짧은-노출 픽셀 신호들을 출력하는 광전 변환 소자들은 긴-노출 픽셀 신호들을 출력하는 광전 변환 소자들로서 사용될 수 있다.

실시 예에 따라, 각 픽셀(R, G, 및 B)에 포함된 4개의 광전 변환 소자들 (PD1~PD4) 중에서 3개는 긴-노출 픽셀 신호들을 출력할 수 있고, 4개의 광전 변환 소자들(PD1~PD4) 중에서 나머지 1개는 짧은-노출 픽셀 신호들을 출력할 수 있다.

즉, 하나의 픽셀에 포함된 긴-노출 픽셀 신호들을 출력하는 광전 변환 소자의 개수와 상기 하나의 픽셀에 포함된 짧은-노출 픽셀 신호들을 출력하는 광전 변환 소자의 개수는 동일하게 또는 서로 다르게 구현될 수 있다.

도 6의 처리 회로(112)에 포함되는 로우 드라이버(row driver)는 각 픽셀(R, G, 및 B)에 포함된 4개의 광전 변환 소자들(PD1~PD4) 각각의 노출 시간을 독립적으로 제어할 수 있다. 여기서, 노출 시간은 광전하들(photocharges)을 수집(collect)하거나 생성하는 집적 시간(integration time)을 의미할 수 있다. 상기 노출 시간은 광전 변환 소자에 접속된 전송 트랜지스터(transfer transistor)의 게이트 (gate) 또는 게이트 전극으로 공급되는 제어 신호에 따라 결정될 수 있다.

실시 예들에 따라, 광전 변환 소자들(PD1~PD4) 각각은 입사광에 응답하여 광전하들(photocharges)을 생성하는 소자를 의미하고, 포토다이오드, 포토트랜지스터, 포토게이트(photogate), 또는 핀드 포토다이오드(pinned photodiode)로 구현될 수 있다. 예컨대, 포토다이오드는 유기 포토다이오드로 구현될 수 있다.

도 2a와 도 2b는 도 1에서 Ⅱ-Ⅱ방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도의 일 실시 예를 나타낸다.

도 1과 도 2a를 참조하면, 제1픽셀(110-1A)는 4개의 포토다이오드들 (PD1~PD4), 4개의 포토다이오드들(PD1~PD4)의 위(on)에 배치(또는 형성)된 컬러 필터(111-1A), 및 컬러 필터(111-1A)의 위(on)에 배치(또는 형성)된 마이크로렌즈 (111-3A)를 포함할 수 있다. 예컨대, 제1픽셀(110-1A)이 제1픽셀(110-1)일 때, 컬러 필터(111-1A)는 레드 컬러 필터일 수 있다.

제2픽셀(110-2A)는 4개의 포토다이오드들(PD1~PD4), 4개의 포토다이오드들 (PD1~PD4)의 위(on)에 배치(또는 형성)된 컬러 필터(111-1B), 및 컬러 필터(111-1B)의 위(on)에 배치(또는 형성)된 마이크로렌즈(111-3B)를 포함할 수 있다. 예컨대, 제2픽셀(110-2A)이 제2픽셀(110-2)일 때, 컬러 필터(111-1B)는 그린 컬러 필터일 수 있다. 각 컬러 필터(111-1A와 111-1B)는 하나의 레이어로 구현될 수 있다.

여기서, 제2물질이 제1물질의 위(on)에 배치된다 함은, 상기 제2물질이 상기 제1물질의 바로 위에 배치되거나 상기 제2물질과 상기 제1물질 사이에 적어도 하나의 제3물질이 배치되는 경우를 포함한다.

제1분리 물질(isolation material; ISM1)은 제1픽셀(110-1A)과 제2픽셀(110-2A)의 사이에 구현될 수 있다. 또한, 제2분리 물질들(ISM2)은 각 픽셀(110-1A 또는 110-2A)에 구현된 4개의 포토다이오드들(PD1~PD4) 사이에 구현될 수 있다. 즉, 도 1의 (a)에 도시된 픽셀들(110-1~110-4) 사이에는 제1분리 물질(ISM1)이 구현될 수 있다. 예컨대, 제1분리 물질(ISM1)과 제2분리 물질(ISM2)은 서로 동일한 물질일 수도 있고 서로 다른 물질일 수 있다.

예컨대, 제1분리 물질(ISM1)과 제2분리 물질(ISM2)은 후방 조사(backside-illuminated(BSI)) CMOS 이미지 센서를 제조하는 공정(process) 또는 전방 조사 (frontside-illuminated(FSI)) CMOS 이미지 센서를 제조하는 공정에서 형성될 수 있다. 예컨대, 제1분리 물질(ISM1)과 제2분리 물질(ISM2) 각각은 DTI(deep trench isolation)로 형성될 수 있으나 이에 한정되는 것은 아니다.

도 1과 도 2b를 참조하면, 제1픽셀(110-1B)는 4개의 포토다이오드들 (PD1~PD4), 4개의 포토다이오드들(PD1~PD4)의 위에 배치(또는 형성)된 컬러 필터 (111-1A'), 및 컬러 필터(111-1A')의 위에 배치(또는 형성)된 마이크로렌즈(111-3A)를 포함할 수 있다. 컬러 필터(111-1A')는 복수의 컬러 필터 레이어들(또는 필름들)을 포함할 수 있다. 상기 복수의 컬러 필터 레이어들 각각은 서로 다른 필터링 특성을 가질 수 있다. 즉, 상기 복수의 컬러 필터 레이어들 각각에 의해 통과되는 파장들은 서로 다를 수 있다.

비록, 도 1의 (b)에서는 제1픽셀(110-1)이 레드 픽셀(R)로 도시되어 있으나, 도 2b에 도시된 제1픽셀(110-1B)은 옐로우 픽셀, 시안 픽셀, 마젠타 픽셀, 또는 화이트 픽셀로 구현될 수 있으나 이에 한정되는 것은 아니다.

또한, 제2픽셀(110-2B)는 4개의 포토다이오드들(PD1~PD4), 4개의 포토다이오드들(PD1~PD4)의 위에 배치(또는 형성)된 컬러 필터(111-1B'), 및 컬러 필터(111-1B')의 위에 배치(또는 형성)된 마이크로렌즈(111-3B)를 포함할 수 있다. 예컨대, 컬러 필터(111-1B')는 복수의 컬러 필터 레이어들(또는 필름들)을 포함할 수 있다. 상기 복수의 컬러 필터 레이어들 각각은 서로 다른 필터링 특성을 가질 수 있다. 즉, 상기 복수의 컬러 필터 레이어들 각각에 의해 통과되는 파장들은 서로 다를 수 있다.

비록, 도 1의 (b)에서는 제2픽셀(110-2)이 그린 픽셀(G)로 도시되어 있으나, 도 2b에 도시된 제2픽셀(110-2B)은 옐로우 픽셀, 시안 픽셀, 마젠타 픽셀 또는 화이트 픽셀로 구현될 수 있으나 이에 한정되는 것은 아니다.

비록, 도 2b에는 각 컬러 필터(111-1A'과 111-1B')가 2개의 컬러 필터 레이어들을 포함하는 것으로 도시되어 있으나 각 컬러 필터(111-1A'과 111-1B')는 3개 이상의 컬러 필터 레이어들을 포함할 수 있다.

제1분리 물질(ISM1)은 제1픽셀(110-1B)과 제2픽셀(110-2B)의 사이에 구현될 수 있다. 또한, 제2분리 물질들(ISM2)은 각 픽셀(110-1B 또는 110-2B)에 구현된 4개의 포토다이오드들(PD1~PD4) 사이에 구현될 수 있다. 즉, 도 1의 (a)에 도시된 픽셀들(110-1~110-4) 사이에는 제1분리 물질(ISM1)이 구현될 수 있다. 예컨대, 제1분리 물질(ISM1)과 제2분리 물질(ISM2)은 서로 동일한 물질일 수도 있고 서로 다른 물질일 수 있다.

예컨대, 제1분리 물질(ISM1)과 제2분리 물질(ISM2)은 BSI CMOS 이미지 센서를 제조하는 공정 또는 FSI CMOS 이미지 센서를 제조하는 공정에서 형성될 수 있다. 예컨대, 제1분리 물질(ISM1)과 제2분리 물질(ISM2) 각각은 DTI로 형성될 수 있으나 이에 한정되는 것은 아니다.

도 3a와 도 3b는 도 1에서 Ⅱ-Ⅱ방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도의 다른 실시 예를 나타낸다.

도 1과 도 3a를 참조하면, 제1픽셀(110-1C)는 4개의 포토다이오드들 (PD1~PD4), 각 포토다이오드(PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터(CF1~CF4)의 위에 배치된 각 마이크로렌즈(ML1~ML4), 및 각 마이크로렌즈 (ML1~ML4)의 위에 배치된 하나의 마이크로렌즈(111-3A)를 포함할 수 있다. 예컨대, 제1픽셀(110-1C)이 제1픽셀(110-1)일 때, 각 컬러 필터(CF1~CF4)는 레드 컬러 필터일 수 있다. 실시 예에 따라, 각 컬러 필터(CF1~CF4)는 서로 다른 컬러 필터로 구현될 수 있다.

제2픽셀(110-2C)는 4개의 포토다이오드들(PD1~PD4), 각 포토다이오드 (PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터(CF1~CF4)의 위에 배치된 각 마이크로렌즈(ML1~ML4), 및 각 마이크로렌즈 (ML1~ML4)의 위에 배치된 하나의 마이크로렌즈(111-3B)를 포함할 수 있다. 예컨대, 제2픽셀(110-2C)이 제2픽셀(110-2)일 때, 각 컬러 필터(CF1~CF4)는 그린 컬러 필터일 수 있다. 실시 예에 따라, 각 컬러 필터(CF1~CF4)는 서로 다른 컬러 필터로 구현될 수 있다.

제1분리 물질(ISM1)은 제1픽셀(110-1C)과 제2픽셀(110-2C)의 사이에 구현될 수 있다. 또한, 제2분리 물질들(ISM2)은 각 픽셀(110-1C 또는 110-2C)에 구현된 4개의 포토다이오드들(PD1~PD4) 사이에 구현될 수 있다. 즉, 도 1의 (a)에 도시된 픽셀들(110-1~110-4) 사이에는 제1분리 물질(ISM1)이 구현될 수 있다. 예컨대, 제1분리 물질(ISM1)과 제2분리 물질(ISM2)은 서로 동일한 물질일 수도 있고 서로 다른 물질일 수 있다.

도 1과 도 3b를 참조하면, 제1픽셀(110-1D)는 4개의 포토다이오드들 (PD1~PD4), 각 포토다이오드(PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터(CF1~CF4)의 위에 배치된 각 마이크로렌즈(ML1~ML4), 및 각 마이크로렌즈 (ML1~ML4)의 위에 배치된 하나의 마이크로렌즈(111-3A)를 포함할 수 있다. 각 컬러 필터(CF1~CF4)는 복수의 컬러 필터 레이어들을 포함할 수 있다. 상기 복수의 컬러 필터 레이어들 각각은 서로 다른 필터링 특성을 가질 수 있다. 예컨대, 상기 복수의 컬러 필터 레이어들 각각에 의해 통과되는 파장들은 서로 다를 수 있다.

비록, 도 1의 (b)에서는 제1픽셀(110-1)이 레드 픽셀(R)로 도시되어 있으나, 도 3b에 도시된 제1픽셀(110-1C)은 옐로우 픽셀, 시안 픽셀, 마젠타 픽셀, 또는 화이트 픽셀로 구현될 수 있으나 이에 한정되는 것은 아니다. 예컨대, 제1픽셀(110-1C)이 제1픽셀(110-1)일 때, 각 컬러 필터(CF1~CF4)는 레드 컬러 필터일 수 있다. 실시 예에 따라, 각 컬러 필터(CF1~CF4)는 서로 다른 컬러 필터로 구현될 수 있다.

제2픽셀(110-2D)는 4개의 포토다이오드들(PD1~PD4), 각 포토다이오드 (PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터(CF1~CF4)의 위에 배치된 각 마이크로렌즈(ML1~ML4), 및 각 마이크로렌즈(ML1~ML4)의 위에 배치된 하나의 마이크로렌즈(111-3B)를 포함할 수 있다. 각 컬러 필터(CF1~CF4)는 복수의 컬러 필터 레이어들을 포함할 수 있다. 상기 복수의 컬러 필터 레이어들 각각은 서로 다른 필터링 특성을 가질 수 있다. 예컨대, 상기 복수의 컬러 필터 레이어들 각각에 의해 통과되는 파장들은 서로 다를 수 있다.

비록, 도 1의 (b)에서는 제2픽셀(110-2)이 그린 픽셀(G)로 도시되어 있으나, 도 3b에 도시된 제2픽셀(110-2D)은 옐로우 픽셀, 시안 픽셀, 마젠타 픽셀, 또는 화이트 픽셀로 구현될 수 있으나 이에 한정되는 것은 아니다. 예컨대, 제2픽셀(110-2D)이 제2픽셀(110-2)일 때, 각 컬러 필터(CF1~CF4)는 그린 컬러 필터일 수 있다. 실시 예에 따라, 각 컬러 필터(CF1~CF4)는 서로 다른 컬러 필터로 구현될 수 있다.

도 4a와 도 4b는 도 1에서 Ⅱ-Ⅱ방향으로 절단된 광전 변환 소자들을 포함하는 픽셀들의 단면도의 또 다른 실시 예를 나타낸다.

도 4a를 참조하면, 제1픽셀(110-1E)는 4개의 포토다이오드들(PD1~PD4), 각 포토다이오드(PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터 (CF1~CF4)의 위에 배치된 하나의 마이크로렌즈(111-3A)를 포함할 수 있다. 도 3a와 도 4a를 참조하면, 마이크로렌즈들(ML1~ML4)을 제외하면, 도 3a의 제1픽셀(110-1C)의 구조와 도 4a의 제1픽셀(110-1E)의 구조는 동일 또는 유사하다.

제2픽셀(110-2E)는 4개의 포토다이오드들(PD1~PD4), 각 포토다이오드 (PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터(CF1~CF4)의 위에 배치된 하나의 마이크로렌즈(111-3B)를 포함할 수 있다. 도 3a와 도 4a를 참조하면, 마이크로렌즈들(ML1~ML4)을 제외하면, 도 3a의 제2픽셀(110-2C)의 구조와 도 4a의 제2픽셀(110-2E)의 구조는 동일 또는 유사하다.

도 4b를 참조하면, 제1픽셀(110-1F)는 4개의 포토다이오드들(PD1~PD4), 각 포토다이오드(PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터 (CF1~CF4)의 위에 배치된 하나의 마이크로렌즈(111-3A)를 포함할 수 있다. 각 컬러 필터(CF1~CF4)는 복수의 컬러 필터 레이어들을 포함할 수 있다. 도 3b와 도 4b를 참조하면, 마이크로렌즈들(ML1~ML4)을 제외하면, 도 3b의 제1픽셀(110-1D)의 구조와 도 4b의 제1픽셀(110-1F)의 구조는 동일 또는 유사하다.

제2픽셀(110-2F)는 4개의 포토다이오드들(PD1~PD4), 각 포토다이오드 (PD1~PD4)의 위에 배치된 각 컬러 필터(CF1~CF4), 각 컬러 필터(CF1~CF4)의 위에 배치된 하나의 마이크로렌즈(111-3B)를 포함할 수 있다. 각 컬러 필터(CF1~CF4)는 복수의 컬러 필터 레이어들을 포함할 수 있다. 도 3b와 도 4b를 참조하면, 마이크로렌즈들(ML1~ML4)을 제외하면, 도 3b의 제2픽셀(110-2D)의 구조와 도 4b의 제2픽셀(110-2F)의 구조는 동일 또는 유사하다.

도 5는 광전 변환 소자들을 포함하는 하나의 픽셀로부터 출력된 픽셀 신호들에 상응하는 이미지 데이터를 이용하여 디스패리티를 계산하는 방법을 설명하는 개념도이다.

도 5의 (a)는 4개의 포토다이오드들(PD1~PD4)을 포함하는 제1픽셀(110-1)을 나타내고, 도 5의 (b)는 각 포토다이오드(PD1~PD4)로부터 출력된 픽셀 신호들에 상응하는 각 이미지 데이터(DPD1~DPD4)를 나타낸다. 예컨대, 도 6의 제1이미지 데이터(DATA1)는 각 이미지 데이터(DPD1~DPD4)를 포함할 수 있다. 예컨대, 각 이미지 데이터(DPD1~DPD4)는 k-비트로 표현될 수 있다. 여기서, k는 2와 같거나 큰 자연수일 수 있다.

제1픽셀(110-1)에 대한 디스패리티(disparity)는 다양한 방법들로 계산될 수 있다. 예컨대, 도 6에 도시된 디스패리티 추출기(220)는 각 이미지 데이터 (DPD1~DPD4)를 이용하여 제1픽셀(110-1)에 대한 디스패리티를 계산할 수 있다. 도 5에 도시된 방법들은 예시적인 것들로서 제1픽셀(110-1)에 대한 디스패리티가 도 5에 도시된 방법들에 한정되는 것은 아니다.

예컨대, 디스패리티 추출기(220)는 다음과 같은 방법들을 이용하여 디스패리티를 계산할 수 있다.

(1) (DPD1-DPD2) 또는 (DPD3-DPD4)

(2) (DPD1-DPD3) 또는 (DPD2-DPD4)

(3) {((DPD1+DPD3)/2) - ((DPD2+DPD4)/2)}

(4) {((DPD1+DPD2)/2) - ((DPD3+DPD4)/2)}

(5) (DPD1-DPD4) 또는 (DPD2-DPD3)

(6) (1)부터 (5) 중에서 적어도 하나의 조합

예컨대, 이미지 데이터(DPD1)의 값이 이미지 데이터(DPD2)의 값보다 클 때 디스패리티는 양의 부호를 갖고, 이미지 데이터(DPD1)의 값이 이미지 데이터(DPD2)의 값과 같을 때 디스패리티는 영(zero)이고, 이미지 데이터(DPD1)의 값이 이미지 데이터(DPD2)의 값보다 작을 때 디스패리티는 음의 부호를 갖는다. 그러나, 디스패리티가 (DPD2-DPD1)로 계산될 때, 상기 디스패리티의 부호는 위에서 설명한 부호와 반대로 된다.

예컨대, 디스패리티 추출기(220)는 가로 방향 또는 세로 방향으로 인접하는 각 광전 변환 소자에 대응되는 각 이미지 데이터의 차이를 이용하여 디스패리티를 계산할 수 있다. 또한, 디스패리티 추출기(220)는 대각선 방향으로 인접하는 각 광전 변환 소자에 대응되는 각 이미지 데이터의 차이를 이용하여 디스패리티를 계산할 수 있다.

도 6의 디스패리티 추출기(220)는 복수의 광전 변환 소자들을 포함하는 픽셀별로 디스패리티를 계산할 수도 있고, m*n 픽셀들 단위로 디스패리티를 계산할 수도 있다. 여기서, m과 n 각각은 2와 같거나 큰 자연수이고, m=n 또는 m≠n일 수 있다.

도 6은 본 발명의 일 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다. 도 1부터 도 6을 참조하면, 데이터 처리 시스템(100)은 이미징 장치(imaging device; 105), 이미지 신호 프로세서(200), 및 애플리케이션 프로세서(300)를 포함할 수 있다.

데이터 처리 시스템(100)은 이미지 데이터 처리 시스템 또는 모바일 컴퓨팅 장치로 구현될 수 있다. 이미징 장치(105)를 포함하는 모바일 컴퓨팅 장치는 랩탑 컴퓨터, 이동 전화기, 스마트 폰, 태블릿(tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), 모바일 인터넷 장치 (mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 만물 인터넷(internet of everything(IoE)) 장치, 또는 드론 (drone)으로 구현될 수 있으나 이에 한정되는 것은 아니다.

이미징 장치(105)는 제1이미지 데이터(DATA1)를 생성할 수 있는 장치를 의미할 수 있다. 이미징 장치(105)는 픽셀 어레이(110)를 포함하는 이미지 센서(107), 렌즈(115), 및 액추에이터(120)를 포함할 수 있다. 비록, 도 6에서는 2*2 픽셀들을 포함하는 픽셀 어레이(110)가 예시적으로 도시되어 있으나, 픽셀 어레이(110)는 2*2 픽셀들이 반복적으로 배치된 픽셀들을 포함할 수 있다.

픽셀 어레이(110)에 포함된 모든 픽셀들 각각은 복수의 광전 변환 소자들을 포함할 수 있다. 예건대, 복수의 광전 변환 소자들을 포함하는 픽셀의 구조는 도 2a부터 도 4b를 참조하여 설명된 구조로 구현될 수 있다. 따라서, 픽셀 어레이(110)는 전면 PAF(full phase detection auto focus or full phase difference auto focus) 픽셀 어레이라고 불릴 수 있다.

이미지 센서(107)는 이미지 센서 칩 또는 CMOS 이미지 센서 칩을 의미할 수 있다. 이미지 센서(107)는 픽셀 어레이(110)에 포함된 픽셀들(R, G, 및 B)로부터 출력된 픽셀 신호들을 처리하고, 상기 픽셀 신호들에 해당하는 제1이미지 데이터 (DATA1)를 생성할 수 있는 처리 회로(112)를 더 포함할 수 있다.

렌즈(115)는 입사광을 픽셀 어레이(110)로 집광시키는 기능을 수행할 수 있다. 예컨대, 렌즈(115)는 광학 렌즈를 의미할 수 있다. 렌즈(115)는 액추에이터 (120)로부터 출력된 제어 신호(CTRL)에 응답하여 이동할 수 있다. 액추에이터 (120)는, 자동 초점 엔진(230)으로부터 출력된 렌즈 위치 정보(LEP)에 응답하여, 렌즈(115)의 위치를 변경할 수 있는 제어 신호(CTRL)를 생성할 수 있다.

비록, 도 6에서는 자동 초점 엔진(230)이 이미지 신호 프로세서(200)에 포함된 실시 예가 도시되어 있으나, 자동 초점 엔진(230)은 이미징 장치(105)의 내부 또는 이미지 신호 프로세서(200)의 외부에 구현될 수 있다. 자동 초점 엔진(230)은 렌즈 위치 정보(LEP)를 생성할 수 있으므로 렌즈 위치 정보 계산기의 기능을 수행할 수 있다.

이미지 신호 프로세서(200)는 처리 회로(210), 디스패리티 추출기(220), 자동 초점 엔진(230), PSF(point spread function) 선택 회로(240), PSF 테이블(250)을 저장하는 메모리(251), 및 디컨벌루션 회로(260)를 포함할 수 있다.

처리 회로(210)는 이미징 장치(105)로부터 출력된 제1이미지 데이터(DATA1)로부터 픽셀 어레이(110)에 포함된 픽셀들 각각의 픽셀 위치 정보(PCI)의 생성 및/또는 이미징 장치(105)로부터 출력된 제1이미지 데이터(DATA1)로부터 컬러 정보 (CI)의 추출을 수행할 수 있다. 예컨대, 컬러 정보(CI)는 레드 신호, 그린 신호, 블루 신호, 옐로우 신호, 시안 신호, 마젠타 신호, 화이트 신호, 및 적외선 신호 중에서 어느 하나에 대한 정보를 의미할 수 있다.

예컨대, 제1이미지 데이터(DATA1)는 긴-노출 픽셀 신호들에 해당하는 긴-노출 이미지 데이터와, 짧은-노출 픽셀 신호들에 해당하는 짧은-노출 이미지 데이터를 포함할 수 있다. 예컨대, 제1이미지 데이터(DATA1)는 픽셀 어레이(110)에 포함된 픽셀들(R, G, 및 B) 중에서 적어도 하나의 픽셀로부터 출력된 픽셀 신호들에 해당하는 이미지 데이터일 수 있다.

처리 회로(210)는 제1이미지 데이터(DATA1)를 처리하고 처리 결과에 해당하는 제2이미지 데이터 (DATA2)를 생성할 수 있다. 예컨대, 상기 처리는 자동 다크 레벨 보상(auto dark level compensation), 배드 픽셀 대체(bad pixel replacement), 노이즈 감소(noise reduction), 렌즈 쉐이딩 보상(lens shading compensation), 컬러 보정(color correction), RGB 감마 보정(RGB gamma correction), 에지 향상(edge enhancement), 색조 제어(hue control), 및 컬러 억제(color suppress) 중에서 적어도 하나를 의미할 수 있다.

디스패리티 추출기(220)는 제1이미지 데이터(DATA1)로부터 디스패리티(DISP)를 추출할 수 있다. 예컨대, 디스패리티(DISP)는 깊이(depth) 정보를 의미할 수 있다. 예컨대, 디스패리티 추출기(220)는 도 5를 참조하여 설명된 방법 또는 방법들에 따라 디스패리티(DISP)를 계산할 수 있다.

자동 초점 엔진(230)은 이미징 장치(105)에 포함된 렌즈(115)의 현재 위치를 계산하고, 계산의 결과에 해당하는 렌즈 위치 정보(LEP)를 출력할 수 있다. 예컨대, 자동 초점 엔진(230)은, 액추에이터(120)로 출력되는 렌즈 위치 정보(LEP)를 이용하여, 렌즈(115)의 현재 위치를 계산하고, 계산의 결과에 해당하는 렌즈 위치 정보(LEP)를 출력할 수 있으나 렌즈 위치 정보(LEP)를 생성하는 방법이 이에 한정되는 것은 아니다.

PSF 선택 회로(240)는, 선택 정보에 응답하여, PSF 테이블(250)에 저장된 PSF들 중에서 적어도 하나의 PSF을 검색(또는 리드)하고, 검색(또는 리드)된 적어도 하나(SPSF)를 디컨벌루션 회로(260)로 전송할 수 있다. 예컨대, PSF들은 잘 알려진 패턴들에 대한 PSF들일 수 있다. 선택 정보는 픽셀 위치 정보(PCI), 컬러 정보(CI), 디스패리티(DISP), 및 렌즈 위치 정보(ELP) 중에서 적어도 2개를 포함할 수 있다.

PSF 테이블(250)에 저장된 PSF들에 대한 실시 예들은 도 8, 도 10, 및 도 12를 참조하여 상세히 설명될 것이다.

메모리(251)는 PSF 테이블(250)을 저장할 수 있다. 예컨대, 메모리(251)는 휘발성 메모리 또는 불휘발성 메모리로 구현될 수 있다. 휘발성 메모리는 RAM (random access memory), DRAM(dynamic RAM), 또는 SRAM(static RAM)으로 구현될 수 있으나 이에 한정되는 것은 아니다. 불휘발성 메모리는 플래시 메모리로 구현될 수 있으나 이에 한정되는 것은 아니다. 상기 플래시 메모리는 NAND-타입 플래시 메모리로 구현될 수 있으나 이에 한정되는 것을 아니다.

디컨벌루션 회로(260)는 PSF 선택 회로(240)로부터 출력된 PSF(SPSF)와 처리 회로(210)로부터 출력된 제2데이터(DATA2)를 이용하여 원본 이미지 데이터를 추정하고, 추정의 결과로서 수퍼 해상도를 갖는 출력 이미지 데이터(SRO)를 애플리케이션 프로세서(300)로 출력할 수 있다. 여기서, 수퍼 해상도를 갖는 출력 이미지 데이터(SRO)는 제1이미지 데이터(DATA1) 또는 제2이미지 데이터(DATA2)의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터(SRO)를 의미할 수 있다.

예컨대, 디컨벌루션 회로(260)는 다음의 수학식1을 이용하여 제1이미지 데이터(DATA1) 또는 제2이미지 데이터(DATA2)의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터(SRO)를 생성할 수 있다.

[수학식1]

k는 1, 2, ..., p이다.

여기서, x는 높은 해상도 이미지 데이터(high resolution image data)이고, Bk는 광학 블러 매트릭스(optical blur matrtix)이고, D는 다운샘플링 (downsampling) 매트릭스이고, nk는 이미징 장치(105)의 노이즈(noise)이고, yk는 낮은 해상도 이미지 데이터를 의미한다. 예컨대, x는 이미지 센서(107)에 의해 캡쳐된 원래 이미지일 수 있고, yk는 제1이미지 데이터(DATA1) 또는 제2이미지 데이터(DATA2)일 수 있다. 여기서, 수퍼 해상도를 갖는 출력 이미지 데이터(SRO)는 원래 장면(original scene)에 해당하는 높은 해상도 이미지 데이터일 수 있다.

예컨대, 수학식1에서 미지수는 x이므로, 디컨벌루션 회로(260)는 수학식1을 반전(inversion)하여 미지수(x)를 계산할 수 있다. 이때, 계산된 미지수(x)가 출력 이미지 데이터(SRO)에 해당할 수 있다.

애플리케이션 프로세서(300)는 이미지 신호 프로세서(200)에 의해 생성된 출력 이미지 데이터를 처리할 수 있다.

도 7은 디스패리티와 픽셀 위치에 따른 PSF들을 나타낸다.

도 7의 (a)는 디스패리티 추출기(220)에 의해 계산된 픽셀의 디스패리티 (DISP)가 "-1"일 때 각 픽셀의 위치에 대한 PSF를 예시적으로 나타낸다. 제1위치 ((1,1))에 해당하는 픽셀의 PSF는 PSF1이고, 제2위치((1,2))에 해당하는 픽셀의 PSF는 PSF2이고, 제3위치((2,1))에 해당하는 픽셀의 PSF는 PSF3이고, 중앙(Center)에 위치하는 픽셀의 PSF는 PSF4라고 가정한다.

여기서, 픽셀의 위치는 (1) 픽셀 어레이(110)에 포함된 픽셀의 물리적인 위치를 의미를 의미하거나, (2) 픽셀로부터 출력된 픽셀 신호들에 상응하는 이미지 데이터의 위치를 의미하거나, (3) 상기 이미지 데이터가 디스플레이되는 위치를 의미할 수 있다.

도 7의 (b)는 디스패리티 추출기(220)에 의해 계산된 픽셀의 디스패리티 (DISP)가 "0"일 때 각 픽셀의 위치에 대한 PSF를 예시적으로 나타낸다. 제1위치 ((1,1))에 해당하는 픽셀의 PSF는 PSF5이고, 제2위치((1,2))에 해당하는 픽셀의 PSF는 PSF6이고, 제3위치((2,1))에 해당하는 픽셀의 PSF는 PSF7이고, 중앙(Center)에 위치하는 픽셀의 PSF는 PSF8이라고 가정한다.

도 8은 도 6에 도시된 PSF 테이블에 저장된 PSF들의 일 실시 예를 나타낸다.

도 8을 참조하면, PSF 테이블(PSF TABLE)은 픽셀 위치와 디스패리티에 따라 미리 계산된 서로 다른 PSF들을 포함한다. 예컨대, PSF들을 포함하는 PSF 테이블 (PSF TABLE)은 이미지 신호 프로세서(200)가 작동하기 전에 메모리(251)에 미리 저장될 수 있다.

예컨대, 처리 회로(210)가 제1위치((1,1))에 해당하는 픽셀 위치 정보(PCI)를 생성하고 디스패리티 추출기(220)가 "-1"에 해당하는 디스패리티(DISP)를 생성할 때, PSF 선택 회로(240)는 PSF 테이블(250)에 저장된 PSF들 중에서 PSF1을 선택하고 선택된 PSF(SPSF=PSF1)을 디컨벌류션 회로(260)로 출력할 수 있다. 디컨벌류션 회로(260)는 선택된 PSF(SPSF=PSF1)와 제2이미지 데이터(DATA2)를 이용하여 제2이미지 데이터(DATA2)의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터(SRO)를 생성할 수 있다.

예컨대, 처리 회로(210)가 중앙(Center)에 해당하는 픽셀 위치 정보(PCI)를 생성하고 디스패리티 추출기(220)가 "0"에 해당하는 디스패리티(DISP)를 생성할 때, PSF 선택 회로(240)는 PSF 테이블(250)에 저장된 PSF들 중에서 PSF8을 선택하고 선택된 PSF(SPSF=PSF8)을 디컨벌류션 회로(260)로 출력할 수 있다. 디컨벌류션 회로(260)는 선택된 PSF(SPSF=PSF8)와 제2이미지 데이터(DATA2)를 이용하여 제2이미지 데이터(DATA2)의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터(SRO)를 생성할 수 있다.

도 9는 도 6에 도시된 PSF 선택 회로의 입력 신호들의 일 실시 예를 나타낸다. 도 9에 도시된 PSF 선택 회로(240A)는, 픽셀 위치 정보(PCI), 디스패리티 (DISP), 및 렌즈 위치 정보(LEP)를 이용하여, PSF 테이블(250)에 저장된 PSF들 중에서 적어도 하나의 PSF를 선택하고, 선택된 PSF(=SPSF)를 디컨벌류션 회로(260)로 출력할 수 있다.

도 10은 도 9에 도시된 PSF 테이블에 저장된 PSF들의 다른 실시 예를 나타낸다. 도 6, 도 9, 및 도 10을 참조하면, 처리 회로(210)가 제1위치((1,1))에 해당하는 픽셀 위치 정보(PCI)를 생성하고, 디스패리티 추출기(220)가 "-1"에 해당하는 디스패리티(DISP)를 생성하고, 자동 초점 엔진(230)이 제1렌즈 위치(LEP1)에 해당하는 렌즈 위치 정보(LEP)를 생성할 때, PSF 선택 회로(240A)는 PSF 테이블(250)에 저장된 PSF들 중에서 적어도 하나의 PSF(L1PSF1)을 선택하고 선택된 PSF (SPSF=L1PSF1)을 디컨벌류션 회로(260)로 출력할 수 있다. 디컨벌류션 회로(260)는 선택된 PSF(SPSF=L1PSF1)와 제2이미지 데이터(DATA2)를 이용하여 해상도가 높은 출력 이미지 데이터(SRO)를 생성할 수 있다. 예컨대, 출력 이미지 데이터(SRO)의 해상도는 제2이미지 데이터(DATA2)의 해상도보다 높을 수 있다.

또한, 처리 회로(210)가 중앙(Center)에 해당하는 픽셀 위치 정보(PCI)를 생성하고, 디스패리티 추출기(220)가 "+1"에 해당하는 디스패리티(DISP)를 생성하고, 자동 초점 엔진(230)이 제2렌즈 위치(LEP2)에 해당하는 렌즈 위치 정보(LEP)를 생성할 때, PSF 선택 회로(240A)는 PSF 테이블(250)에 저장된 PSF들 중에서 적어도 하나의 PSF(L2PSF12)를 선택하고 선택된 PSF(SPSF=L2PSF12)을 디컨벌류션 회로 (260)로 출력할 수 있다. 디컨벌류션 회로(260)는 선택된 PSF(SPSF=L2PSF12)와 제2이미지 데이터(DATA2)를 이용하여 해상도가 높은 출력 이미지 데이터(SRO)를 생성할 수 있다. 예컨대, 출력 이미지 데이터(SRO)의 해상도는 제2이미지 데이터 (DATA2)의 해상도보다 높을 수 있다.

도 11은 도 6에 도시된 PSF 선택 회로의 입력 신호들의 다른 실시 예를 나타낸다. 도 11에 도시된 PSF 선택 회로(240B)는, 픽셀 위치 정보(PCI), 디스패리티 (DISP), 및 컬러 정보(CI)를 이용하여, PSF 테이블(250)에 저장된 PSF들 중에서 적어도 하나의 PSF를 선택하고, 선택된 PSF(=SPSF)를 디컨벌류션 회로(260)로 출력할 수 있다.

도 12는 도 11에 도시된 PSF 테이블에 저장된 PSF들의 또 다른 실시 예를 나타낸다. 도 6, 도 11, 및 도 12를 참조하면, 처리 회로(210)가 제2위치((1,2))에 해당하는 픽셀 위치 정보(PCI)와 제1컬러 정보(CI)를 생성하고, 디스패리티 추출기 (220)가 "0"에 해당하는 디스패리티(DISP)를 생성할 때, PSF 선택 회로(240B)는 PSF 테이블(250)에 저장된 PSF들 중에서 적어도 하나의 PSF(C1PSF6)을 선택하고 선택된 PSF(SPSF=C1PSF6)을 디컨벌류션 회로(260)로 출력할 수 있다.

디컨벌류션 회로(260)는 선택된 PSF(SPSF=C1PSF6)와 이미지 데이터(DATA2)를 이용하여 해상도가 높은 출력 이미지 데이터(SRO)를 생성할 수 있다.

또한, 처리 회로(210)가 제3위치((2,1))에 해당하는 픽셀 위치 정보(PCI)와 제2컬러 정보(CI)를 생성하고, 디스패리티 추출기(220)가 "-1"에 해당하는 디스패리티(DISP)를 생성할 때, PSF 선택 회로(240B)는 PSF 테이블(250)에 저장된 PSF들 중에서 적어도 하나의 PSF(C2PSF3)을 선택하고 선택된 PSF(SPSF=C2PSF3)을 디컨벌류션 회로(260)로 출력할 수 있다. 디컨벌류션 회로(260)는 선택된 PSF (SPSF=C2PSF3)와 이미지 데이터(DATA2)를 이용하여 해상도가 높은 출력 이미지 데이터(SRO)를 생성할 수 있다.

제1컬러 정보(CI)는 픽셀로부터 출력된 레드 신호, 그린 신호, 블루 신호, 옐로우 신호, 시안 신호, 마젠타 신호, 화이트 신호, 및 적외선 신호 중에서 어느 하나에 대한 정보일 수 있다. 제2컬러 정보(CI)는 픽셀로부터 출력된 레드 신호, 그린 신호, 블루 신호, 옐로우 신호, 시안 신호, 마젠타 신호, 화이트 신호, 및 적외선 신호 중에서 다른 하나에 대한 정보일 수 있다. 여기서, 신호는 데이터를 의미할 수 있으므로, 예컨대, 상기 레드 신호는 레드 데이터를 의미할 수 있다. 예컨대, 각 컬러 정보(CI)는 색수차(chromatic aberration 또는 chromatism)에 관련된 정보일 수 있다.

도 13은 본 발명의 다른 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다. 도 13을 참조하면, 데이터 처리 시스템(100A)은 제1장치(105A)와 애플리케이션 프로세서(300)를 포함할 수 있다. 제1장치(105A)는 이미징 장치(105)와 이미지 신호 프로세서(200)를 포함할 수 있다.

실시 예에 따라, 이미지 센서(107)가 제1반도체 칩으로 구현되고, 이미지 신호 프로세서(200)가 제2반도체 칩으로 구현될 때, 이미지 센서(107)와 이미지 신호 프로세서(200)는 하나의 패키지로 패키징될 수 있다. 예컨대, 상기 패키지는 멀티-칩 패키지(multi-chip package(MCP))로 구현될 수 있으나 상기 패키지의 종류가 상기 MCP에 한정되는 것은 아니다. 실시 예에 따라, 이미지 센서(107)와 이미지 신호 프로세서(200)는 하나의 반도체 기판을 공유할 수 있다.

도 14는 본 발명의 또 다른 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다. 도 14를 참조하면, 데이터 처리 시스템(100C)은 이미징 장치(105)와 애플리케이션 프로세서(300A)를 포함할 수 있다. 애플리케이션 프로세서(300A)는 이미지 신호 프로세서(200)와 멀티미디어 처리 회로(320)를 포함할 수 있다. 멀티미디어 처리 회로(320)는 코덱(codec)으로 구현될 수 있으나 이에 한정되는 것은 아니다. 멀티미디어 처리 회로(320)는 이미지 신호 프로세서(200)로부터 출력된 출력 이미지 데이터(SRO)를 처리할 수 있다.

도 15는 도 6, 도 13, 또는 도 14에 도시된 데이터 처리 시스템의 작동을 설명하기 위한 플로우차트이다. 도 1부터 도 15를 참조하면, 잘 알려진 패턴들을 이용하여 PSF들이 획득되면, PSF들은 도 8, 도 10, 및 도 12에 예시적으로 도시된 PSF 테이블(250)에 저장되고, PSF들을 포함하는 PSF 테이블(250)은 메모리(251)에 저장될 수 있다(S110).

이미지 신호 프로세서(200)는, 선택 정보를 이용하여, PSF 테이블(250)에 포함된 PSF들 중에서 적어도 하나의 PSF를 선택할 수 있다(S120).

상기 선택 정보는 픽셀 위치 정보(PCI), 컬러 정보(CI), 디스패리티(DISP), 및 렌즈 위치 정보(LEP) 중에서 적어도 하나를 포함할 수 있다.

처리 회로(210)는, 이미징 장치(105)로부터 출력된 제1이미지 데이터(DATA1)를 이용하여, 픽셀 위치 정보(PCI)와 컬러 정보(CI)를 생성할 수 있다. 디스패리티 추출기(220)는 이미징 장치(105)로부터 출력된 제1이미지 데이터(DATA1)로부터 디스패리티(DISP)를 추출할 수 있다. 자동 초점 엔진(230)은 액추에이터(120)로 출력되는 렌즈 위치 정보(LEP)를 계산할 수 있다.

디컨벌루션 회로(260)는 PSF 선택 회로(240)로부터 출력된 선택된 PSF(SPSF)와 처리 회로(210)로부터 출력된 제2이미지 데이터(DATA2)를 이용하여 원래 장면에 해당하는 입력 이미지 데이터를 추정할 수 있다(S130). 디컨벌루션 회로(260)는 추정된 입력 이미지 데이터를 이용하여 수퍼 해상도를 갖는 출력 이미지 데이터 (SRO)를 생성할 수 있다(S140).

도 16은 본 발명의 또 다른 실시 예에 따른 데이터 처리 시스템의 블록도를 나타낸다. 도 1부터 도 12, 및 도 16을 참조하면, 데이터 처리 시스템(400)은 MIPI^®(mobile industry processor interface)를 사용 또는 지원할 수 있는 상술한 모바일 컴퓨팅 장치로 구현될 수 있다. 도 6, 도 13, 도 14, 및 도 16을 참조하면, 이미지 신호 프로세서(200)의 배치 위치 또는 구현 위치는 다양하게 변경될 수 있다.

즉, 이미지 신호 프로세서(200)는 이미지 센서(107)와 동일한 패키지에 패키징될 수 있고, 애플리케이션 프로세서(application processor(AP)); 410)와 동일한 패키지에 패키징될 수 있고, 이미징 장치(105)와 애플리케이션 프로세서(AP); 410)를 접속하는 별개의 반도체 패키지로 구현될 수 있다.

데이터 처리 시스템(400)은 애플리케이션 프로세서(AP); 410), 이미지 센서 (107), 및 디스플레이(450)를 포함할 수 있다.

AP(410)에 구현된 카메라 시리얼 인터페이스(camera serial interface(CSI)) 호스트(412)는 CSI를 통하여 이미지 센서(107)의 CSI 장치(441)와 시리얼 통신할 수 있다. 실시 예에 따라, CSI 호스트(412)에는 디시리얼라이저(DES; 412-1)가 구현될 수 있고, CSI 장치(441)에는 시리얼라이저(SER)가 구현될 수 있다. 비록, 도 16에서는 이미지 센서(107)가 도시되어 있으나, 실시 예들에 따라 이미지 센서 (107)는 도 6에 도시된 이미징 장치(105)로 대체될 수도 있고, 도 13에 도시된 제1장치(105A)로 대체될 수 있다. 도 16에 도시된 AP(410)는 도 14에 도시된 바와 같이 이미지 신호 프로세서(200)와 멀티미디어 처리 회로(320)를 더 포함할 수 있다.

AP(410)에 구현된 디스플레이 시리얼 인터페이스(display serial interface(DSI)) 호스트(411)는 DSI를 통하여 디스플레이(450)의 DSI 장치(451)와 시리얼 통신할 수 있다. 실시 예에 따라, DSI 호스트(411)에는 시리얼라이저(SER; 411-1)가 구현될 수 있고, DSI 장치(451)에는 디시리얼라이저(DES)가 구현될 수 있다. 디시리얼라이저(DES)와 시리얼라이저(SER) 각각은 전기적인 신호 또는 광학적인 신호를 처리할 수 있다.

데이터 처리 시스템(400)은 AP(410)와 통신할 수 있는 RF(radio frequency) 칩(460)을 더 포함할 수 있다. AP(410)의 물리 계층(physical layer(PHY); 413)과 RF 칩(460)의 PHY(461)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.

데이터 처리 시스템(400)은 GPS 수신기(420), DRAM(dynamic random access memory)과 같은 메모리(485), NAND 플래시 메모리와 같은 불휘발성 메모리를 포함하는 데이터 저장 장치(470), 마이크(480), 및 스피커(490)를 더 포함할 수 있다.

메모리(485) 또는 데이터 저장 장치(470)는 AP(410)와 하나의 패키지, 예컨대 패키지 온 패키지(package on package(PoP)) 또는 시스템 인 패키지(system in package(SiP))로 구현될 수 있다. 이 경우, 메모리(485) 또는 데이터 저장 장치 (470)는 AP(410)의 위에 적층될 수 있다.

데이터 처리 시스템(400)은 적어도 하나의 통신 프로토콜(또는 통신 표준), 예컨대, WiMAX(worldwide interoperability for microwave access; 430), WLAN (Wireless LAN; 432), UWB(ultra-wideband; 434), 또는 LTE^TM(long term evolution) 등을 이용하여 외부 장치와 통신할 수 있다. 데이터 처리 시스템(400)은 블루투스 또는 Wi-Fi를 이용하여 외부 무선 통신 장치와 통신할 수 있다.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100, 100A, 100C: 데이터 처리 시스템
105: 이미징 장치
107: 이미지 센서
110: 픽셀 어레이
112: 처리 장치
115: 렌즈
200: 이미지 신호 프로세서
210: 처리 회로
220: 디스패리티 추출기
230: 자동 초점 엔진
240; PSF 선택 회로
250: PSF 테이블
251: 메모리
260: 디컨벌루션 회로
300: 애플리케이션 프로세서

Claims

선택 정보에 따라 미리 계산된 PSF들(point spread functions)을 포함하는 테이블이 저장된 메모리;
상기 선택 정보를 이용하여, 상기 테이블에 저장된 상기 PSF들 중에서 적어도 하나의 PSF를 선택하고 출력하는 PSF 선택 회로;
이미지 센서에 포함된 복수의 픽셀들 중에서 적어도 하나의 픽셀로부터 출력된 픽셀 신호들에 해당하는 이미지 데이터로부터 디스패리티(disparity)를 추출하는 디스패리티 추출기; 및
상기 적어도 하나의 픽셀에 대한 픽셀 위치 정보를 생성하는 처리 회로를 포함하고,
상기 픽셀들 각각은 상기 픽셀 신호들을 출력하는 복수의 광전 변환 소자들을 포함하고,
상기 선택 정보는 상기 디스패리티와 상기 픽셀 위치 정보를 포함하는 이미지 신호 프로세서.
제1항에 있어서,
상기 이미지 데이터는 상기 복수의 광전 변환 소자들 중에서 적어도 하나의 제1광전 변환 소자로부터 출력된 픽셀 신호에 해당하는 긴-노출 이미지 데이터와, 상기 복수의 광전 변환 소자들 중에서 적어도 하나의 제2광전 변환 소자로부터 출력된 픽셀 신호에 해당하는 짧은-노출 이미지 데이터를 포함하는 이미지 신호 프로세서.
제1항에 있어서, 상기 이미지 신호 프로세서는,
상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 (deconvolution) 회로를 더 포함하는 이미지 신호 프로세서.
제1항에 있어서,
상기 이미지 신호 프로세서와 상기 이미지 센서는 이미징 장치에 포함되는 이미지 신호 프로세서.
제1항에 있어서, 상기 이미지 신호 프로세서는,
상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 회로를 더 포함하고,
상기 처리 회로는 상기 이미지 데이터로부터 컬러 정보를 추출하고,
상기 선택 정보는 상기 디스패리티, 상기 픽셀 위치 정보, 및 상기 컬러 정보를 포함하는 이미지 신호 프로세서.
제5항에 있어서,
상기 컬러 정보는 레드 신호, 그린 신호, 블루 신호, 옐로우 신호, 시안 신호, 마젠타 신호, 화이트 신호, 및 적외선 신호 중에서 어느 하나에 대한 정보인 이미지 신호 프로세서.
제1항에 있어서, 상기 이미지 신호 프로세서는,
상기 이미지 센서를 포함하는 이미징 장치에 포함된 렌즈의 위치를 계산하고, 렌즈 위치 정보를 생성하는 렌즈 위치 정보 계산기; 및
상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 회로를 더 포함하고,
상기 선택 정보는 상기 디스패리티, 상기 픽셀 위치 정보, 및 상기 렌즈 위치 정보를 포함하는 이미지 신호 프로세서.
이미지 신호 프로세서; 및
상기 이미지 신호 프로세서에 접속된 멀티미디어 처리 회로를 포함하며,
상기 이미지 신호 프로세서는,
선택 정보에 따라 미리 계산된 PSF들(point spread functions)을 포함하는 테이블이 저장된 메모리;
상기 선택 정보를 이용하여, 상기 테이블에 저장된 상기 PSF들 중에서 적어도 하나의 PSF를 선택하고 출력하는 PSF 선택 회로;
이미지 센서에 포함된 복수의 픽셀들 중에서 적어도 하나의 픽셀로부터 출력된 픽셀 신호들에 해당하는 이미지 데이터로부터 디스패리티(disparity)를 추출하는 디스패리티 추출기; 및
상기 적어도 하나의 픽셀에 대한 픽셀 위치 정보를 생성하는 처리 회로를 포함하고,
상기 픽셀들 각각은 상기 픽셀 신호들을 출력하는 복수의 광전 변환 소자들을 포함하고,
상기 선택 정보는 상기 디스패리티와 상기 픽셀 위치 정보를 포함하는 애플리케이션 프로세서.
제8항에 있어서,
상기 이미지 데이터는 상기 복수의 광전 변환 소자들 중에서 적어도 하나의 제1광전 변환 소자로부터 출력된 픽셀 신호에 해당하는 긴-노출 이미지 데이터와, 상기 복수의 광전 변환 소자들 중에서 적어도 하나의 제2광전 변환 소자로부터 출력된 픽셀 신호에 해당하는 짧은-노출 이미지 데이터를 포함하는 애플리케이션 프로세서.
제8항에 있어서, 상기 이미지 신호 프로세서는,
상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 회로를 더 포함하는 애플리케이션 프로세서.
제8항에 있어서,
상기 이미지 신호 프로세서와 상기 이미지 센서는 이미징 장치에 포함되는 애플리케이션 프로세서.
제8항에 있어서, 상기 이미지 신호 프로세서는,
상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 회로를 더 포함하고,
상기 처리 회로는 상기 이미지 데이터로부터 컬러 정보를 추출하고,
상기 선택 정보는 상기 디스패리티, 상기 픽셀 위치 정보, 및 상기 컬러 정보를 포함하는 애플리케이션 프로세서.
제12항에 있어서,
상기 컬러 정보는 레드 신호, 그린 신호, 블루 신호, 옐로우 신호, 시안 신호, 마젠타 신호, 화이트 신호, 및 적외선 신호 중에서 어느 하나에 대한 정보인 애플리케이션 프로세서.
제8항에 있어서, 상기 이미지 신호 프로세서는,
상기 이미지 센서를 포함하는 이미징 장치에 포함된 렌즈의 위치를 계산하고, 렌즈 위치 정보를 생성하는 렌즈 위치 정보 계산기; 및
상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 회로를 더 포함하고,
상기 선택 정보는 상기 디스패리티, 상기 픽셀 위치 정보, 및 상기 렌즈 위치 정보를 포함하는 애플리케이션 프로세서.
이미지 데이터를 생성하는 이미지 센서;
상기 이미지 센서에 접속된 이미지 신호 프로세서; 및
상기 이미지 신호 프로세서에 접속된 애플리케이션 프로세서를 포함하며,
상기 이미지 신호 프로세서는,
선택 정보에 따라 미리 계산된 PSF들(point spread functions)을 포함하는 테이블이 저장된 메모리;
상기 선택 정보를 이용하여, 상기 테이블에 저장된 상기 PSF들 중에서 적어도 하나의 PSF를 선택하고 출력하는 PSF 선택 회로;
상기 이미지 센서에 포함된 복수의 픽셀들 중에서 적어도 하나의 픽셀로부터 출력된 픽셀 신호들에 해당하는 상기 이미지 데이터로부터 디스패리티를 추출하는 디스패리티 추출기; 및
상기 적어도 하나의 픽셀에 대한 픽셀 위치 정보를 생성하는 처리 회로를 포함하고,
상기 픽셀들 각각은 상기 픽셀 신호들을 출력하는 복수의 광전 변환 소자들을 포함하고,
상기 선택 정보는 상기 디스패리티와 상기 픽셀 위치 정보를 포함하는 데이터 처리 시스템.
제15항에 있어서,
상기 이미지 센서가 제1반도체 칩으로 구현되고,
상기 이미지 신호 프로세서가 제2반도체 칩으로 구현될 때,
상기 제1반도체 칩과 상기 제2반도체 칩은 이미징 장치에 포함되는 데이터 처리 시스템.
제15항에 있어서,
상기 이미지 신호 프로세서는 상기 애플리케이션 프로세서의 내부에 형성되는 데이터 처리 시스템.
제15항에 있어서, 상기 이미지 센서는,
마이크로렌즈들을 더 포함하고,
상기 마이크로렌즈들 각각은 상기 복수의 픽셀들 각각의 위에 구현되고,
상기 픽셀들 사이에는 제1분리 물질들이 형성되고,
상기 복수의 광전 변환 소자들 사이에는 제2분리 물질들이 형성되는 데이터 처리 시스템.
제15항에 있어서, 상기 이미지 신호 프로세서는,
상기 적어도 하나의 PSF와 상기 이미지 데이터를 이용하여 상기 이미지 데이터의 해상도보다 높은 해상도를 갖는 출력 이미지 데이터를 생성하는 디컨벌루션 회로를 더 포함하는 데이터 처리 시스템.
제15항에 있어서,
상기 데이터 처리 시스템은 DSLR(digital single lens reflex) 카메라, 스마트폰, 태블릿 PC, 사물 인터넷 장치, 및 만물 인터넷 장치 중에서 어느 하나인 데이터 처리 시스템.