KR102550175B1

KR102550175B1 - 카메라 모듈 및 이를 포함하는 전자 기기

Info

Publication number: KR102550175B1
Application number: KR1020160137730A
Authority: KR
Inventors: 김현
Original assignee: 삼성전기주식회사
Priority date: 2016-10-21
Filing date: 2016-10-21
Publication date: 2023-07-03
Also published as: CN107979716A; KR20180044085A; CN107979716B; US10594932B2; US20180115704A1

Abstract

본 발명의 일 실시예에 따른 카메라 모듈은 적어도 하나의 망원 렌즈를 포함하는 렌즈 모듈, 상기 렌즈 모듈의 하부에 배치되어, 상기 망원 렌즈를 통해 결상되는 광으로부터 피사체의 이미지를 생성하는 이미지 센서, 및 상기 이미지 센서에 의해 생성된 이미지와 상기 피사체의 원본 이미지를 비교하여 추정되는 수차 정보를 이용하여 상기 이미지 센서에 의해 생성된 이미지의 해상력 보정 연산을 수행하는 로직부를 포함할 수 있다.

Description

카메라 모듈 및 이를 포함하는 전자 기기{CAMERA MODULE AND ELECTRONIC DEVICE INCLUDING THE SAME}

본 발명은 카메라 모듈 및 이를 포함하는 전자 기기에 관한 것이다.

최근 들어, 휴대폰, 태블릿 등 모바일 기기에 적용되는 디스플레이의 화소수 및 사이즈의 증가 급속히 이루어지고 있으며, 디스플레이의 화소수가 증가함에 따라 모바일 기기에 채용되는 카메라 모듈의 화소수도 함께 증가하고 있다.

모바일 기기의 카메라 모듈의 발전 추세에도 불구하고 모바일 기기의 소형화 및 슬림화에 따라 이미지 센서의 픽셀 사이즈가 줄어들고 있고, 감소된 픽셀 사이즈에 의해 저조도에서의 밝기 부족 및 노이즈 과다, 역광 상황에서의 계조 표현력 부족과 같은 현상이 발생하고, 상기 현상은 광학 줌 기능에서 더 크게 부각되는 문제가 있다.

모바일 기기의 슬림화에 따라 망원 렌즈의 높이가 제약되어 모바일 기기의 카메라 모듈의 광학 줌의 배율은 2배 정도로 제한되는 것이 일반적이다. 프리즘 미러를 이용하여 망원 렌즈에 입사하는 광 경로를 굴곡시켜서 망원 렌즈의 높이 제약을 해결하려는 시도가 계속되고 있다. 다만, 굴곡 형태의 망원 렌즈는 카메라 모듈의 높이를 6mm 이하로 낮출 수 있으나, 광 경로가 20mm 이상으로 매우 길어지므로 카메라 모듈의 길이가 25mm 수준으로 증가하여 결과적으로 카메라 모듈의 부피가 크게 증가하는 문제가 존재한다.

또한, 광각 렌즈를 구비하는 광각 카메라의 이미지와 망원 렌즈를 구비하는 망원 카메라의 이미지를 합성하여 고화질의 광학 줌 기능을 구현하고자 하는 시도가 계속되고 있다. 광학 카메라의 이미지와 망원 카메라의 이미지를 합성하는 경우, 두 개의 카메라 모듈의 이미지들 간에 존재하는 상대적인 이미지 정렬 값 및 왜곡량 정보가 카메라 모듈 내에 기록될 것이 요구되나, 제조 공정에서 기록된 이미지 정렬 값 및 왜곡량 정보는 실제 카메라 모듈의 사용 환경에서 발생하는 틸트의 변화 및 초점 거리의 변화를 반영하지 못하는 문제가 있다.

한국 공개특허공보 2010-0138453

본 발명의 과제는 망원 렌즈를 통해 결상되는 광으로부터 생성되는 이미지를 수차 정보에 따라 보정하여 고화질의 해상력을 가지면서도 슬림한 카메라 모듈 및 이를 포함하는 전자 기기를 제공하는 것이다.

또한, 본 발명의 과제는 이미지 센서로부터 전달되는 복수의 이미지 각각의 줌 영역을 크롭하고, 크롭된 복수의 이미지를 고 해상도 합성하여 높은 배율의 광학 줌을 수행할 수 있는 카메라 모듈 및 이를 포함하는 전자 기기를 제공하는 것이다.

본 발명의 일 실시예에 따른 카메라 모듈은 적어도 하나의 망원 렌즈를 포함하는 렌즈 모듈, 상기 망원 렌즈를 통해 결상되는 광으로부터 피사체의 이미지를 생성하는 이미지 센서, 및 상기 이미지 센서에 의해 생성된 이미지와 상기 피사체의 원본 이미지를 비교하여 추정되는 수차 정보를 이용하여 상기 이미지 센서에 의해 생성된 이미지의 해상력 보정 연산을 수행하는 로직부를 포함할 수 있다.

본 발명의 일 실시예에 따른 전자 기기는 적어도 하나의 망원 렌즈를 포함하는 렌즈 모듈, 상기 망원 렌즈를 통해 결상되는 광으로부터 피사체의 이미지를 생성하는 이미지 센서, 및 상기 이미지 센서에 의해 생성된 이미지를 설정된 광학 줌 배율에 따라 확대하여 줌 이미지를 생성하는 호스트를 포함하고, 상기 호스트는 상기 이미지 센서로부터 복수의 이미지를 전달받고, 상기 복수의 이미지 각각에서 줌 영역을 크롭한 후, 크롭된 복수의 이미지를 합성하여 줌 이미지를 생성할 수 있다.

본 발명의 일 실시예에 따르면, 망원 렌즈를 통해 결상되는 광으로부터 생성되는 이미지의 해상력을 수차 정보에 따라 보정하여 고화질의 해상력을 가지면서도 슬림한 카메라 모듈을 제공할 수 있다. 또한, 이미지 센서로부터 전달되는 복수의 이미지 각각의 줌 영역을 크롭하고, 크롭된 복수의 이미지를 고 해상도 합성하여 높은 배율의 광학 줌을 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 카메라 모듈의 개략적인 구성을 나타내는 분해 사시도이다.
도 2 및 도 3는 본 발명의 다른 실시예에 따른 이미지 센서의 상면 및 하면의 사시도이다.
도 4는 본 발명의 일 실시예에 따른 PSF의 추정 및 저장 방법을 나타내는 흐름도이다.
도 5는 랜덤 노이즈 패턴의 일 예를 나타낸 도이다.
도 6은 본 발명의 일 실시예에 따른 수차 정보의 생성 과정을 나타내는 흐름도이다.
도 7 내지 도 9는 본 발명의 다양한 실시예에 따른 전자 기기의 주요부의 블록도이다.
도 10은 본 발명의 일 실시예에 따른 전자 기기의 주요부의 블록도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 카메라 모듈의 개략적인 구성을 나타내는 분해 사시도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 카메라 모듈은 이미지 센서(10), 인쇄 회로 기판(20), 액츄에이터 홀더(30), 렌즈 모듈(40), 및 케이스(50)를 포함할 수 있다.

이미지 센서(10)는 인쇄 회로 기판(20)에 실장되고, 인쇄 회로 기판(20)의 일측에는 호스트(미도시)와 전기적으로 연결되기 위한 커넥터부(CON)가 마련될 수 있다. 액츄에이터 홀더(30)는 렌즈 모듈(40)을 수용할 수 있고, 렌즈 모듈(40)의 일 측에 부착되는 마그넷과 대향 배치되는 코일에 구동 신호를 인가하여, 렌즈 모듈(40)을 광축 방향으로 구동할 수 있다. 렌즈 모듈(40)은 복수의 렌즈를 구비할 수 있고, 일 예로, 복수의 렌즈는 망원 렌즈일 수 있고, 다른 예로, 복수의 렌즈는 굴곡형 망원 렌즈일 수 있다.

이미지 센서(10)의 픽셀 어레이부(200) 상에는 렌즈 모듈(40)과 결합된 액츄에이터 홀더(30)가 실장될 수 있다. 액츄에이터 홀더(30)는 열 접착제를 이용하여 인쇄 회로 기판(20)과 결합될 수 있다. 케이스(50)는 액츄에이터 홀더(30)를 내부에서 지지 및 고정할 수 있고, 일 예로, 열 변형이 적은 금속 재질로 제작될 수 있다. 도 1에 구체적으로 도시되어 있지 않으나, 회로 기판(20)에는 이미지 센서(10) 외에도, 이미지 센서(10)로부터 출력되는 이미지를 프로세싱하는 보조 IC(70)가 마련될 수 있다.

도 2 및 도 3는 본 발명의 다른 실시예에 따른 이미지 센서의 상면 및 하면의 사시도이다.

도 2을 참조하면, 본 발명의 일 실시예에 따른 이미지 센서(10)는 기판(100), 픽셀 어레이부(200), 픽셀 어레이 구동부(311), 샘플링부(312), 클럭 신호 생성부(313), 기준 전압 생성부(314), 및 디지털 변환부(315), 메모리부(316), 및 디지털 신호 처리부(317)를 포함할 수 있다.

기판(100)은 실리콘 기판일 수 있으며, 기판(100)은 제1 기판(110) 및 제2 기판(120)을 포함할 수 있다. 제1 기판(110) 및 제2 기판(120)은 열융착 공정을 이용하여 결합될 수 있다. 제1, 2 기판(110, 120)에는 복수의 비아(112)가 형성될 수 있고, 복수의 비아(112)는 제1, 2 기판(110, 120)을 관통하여 제1, 2 기판(110, 120)를 전기적으로 연결할 수 있다. 일 예로, 복수의 비아(112)는 TSV(Through Silicon Via)일 수 있다.

제1 기판(110)에는 복수의 패드(111), 픽셀 어레이부(200), 및 픽셀 어레이 구동부(311)의 행 구동부(311a) 및 열 구동부(311b) 중 하나가 형성될 수 있다. 도 2b에는 제1 기판(110)에 픽셀 어레이 구동부(311)의 열 구동부(311b)가 형성되는 것으로 도시되어 있으나, 이와 달리 픽셀 어레이 구동부(311)의 행 구동부(311a)가 형성될 수 있다. 제2 기판(120)에는 픽셀 어레이 구동부(311), 샘플링부(312), 클럭 신호 생성부(313), 기준 전압 생성부(314), 디지털 변환부(315), 메모리부(316), 디지털 신호 처리부(317)가 형성될 수 있고, 또한, 호스트와 전기적으로 연결되어 데이터 및 신호를 송/수신하는 시리얼 인터페이스(318, Serial Interface)가 추가적으로 형성될 수 있다.

제1 기판(110) 및 제2 기판(120)의 가장자리 영역에는 복수의 패드(111)가 마련될 수 있고, 복수의 패드(111)는 이미지 센서(10)에 외부로부터 인가되는 전원을 공급할 수 있다. 본 발명의 일 실시예에 따른 이미지 센서(10)는 두 개의 제1 기판(110) 및 제2 기판(120)에 구성 요소를 분리하여 배치함으로써, 공간 효율성을 증대할 수 있다.

픽셀 어레이부(200)는 행렬 형태로 배치되는 X(2이상의 자연수)행/Y(2이상의 자연수)열의 복수의 픽셀을 포함할 수 있고, 복수의 픽셀 각각에는 포토 다이오드가 구비될 수 있다.

본 발명의 일 실시예에 따른 픽셀 어레이부(200) 는 컬러 픽셀 어레이일 수 있다. 컬러 픽셀 어레이는 빨강색(red), 녹색(green), 파랑색(blue) 형태의 RGB 포맷의 컬러 픽셀 어레이일 수 있다. 또한, 컬러 픽셀 어레이는 빨강색(red), 녹색(green), 파랑색(blue), 하얀색(white) 형태의 RGBW 포맷의 컬러 픽셀 어레이 및 빨강색(red), 하얀색(white), 파랑색(blue) 형태의 RWB 포맷의 컬러 픽셀 어레이 중 하나일 수 있다. 컬러 픽셀 어레이에 하얀색(white) 픽셀을 추가하여, 감도를 개선하여 저조도에서 밝기를 보상할 수 있다.

컬러 픽셀 어레이부(200)는 적어도 2개 이상의 픽셀 어레이층이 수직 방향으로 적층된 적층형 컬러 픽셀 어레이일 수 있다. 3차원으로 배치되는 적층형 컬러 픽셀 어레이는 통상의 2차원으로 배치되는 컬러 픽셀 어레이 대비 촬상 영역을 작게 가져갈 수 있으므로 카메라 모듈의 사이즈 및 높이를 줄일 수 있다.

픽셀 어레이 구동부(311)는 행 구동부(311a) 및 열 구동부(311b)를 포함할 수 있다. 행 구동부(311a)는 픽셀 어레이부(200) 의 행렬 형태로 배치되는 복수의 픽셀 중 행 방향으로 배치되는 픽셀을 선택하여, 선택된 행 방향의 픽셀을 구동할 수 있고, 열 구동부(311b)는 픽셀 어레이부(200)의 행렬 형태로 배치되는 복수의 픽셀 중 열 방향으로 배치되는 픽셀을 선택하여, 선택된 열 방향의 픽셀을 구동할 수 있다. 행 구동부(311a) 및 열 구동부(311b)에 의해 선택된 픽셀 어레이부(200)의 픽셀의 포토 다이오드는 전압 신호와 같은 아날로그 신호를 출력할 수 있다.

샘플링부(312)는 픽셀 어레이부(200)의 아날로그 신호를 샘플링할 수 있다. 샘플링부(312)는 픽셀 어레이부(200)의 포토 다이오드로부터 출력되는 아날로그 신호를 샘플링하는 CDS(Correlated Double Sampling) 회로를 구비할 수 있고, CDS 회로는 아날로그 신호를 샘플링하여, 샘플링 신호를 생성할 수 있다. 샘플링부(312)는 CDS 회로로부터 샘플링된 포토 다이오드의 아날로그 신호를 증폭하기 위한 증폭기 회로를 추가적으로 포함할 수 있다.

클럭 신호 생성부(313)는 픽셀 어레이 구동부(311) 및 샘플링부(312) 등에 클럭 신호를 제공할 수 있다. 클럭 신호 생성부(313)는 외부로부터 입력되는 클럭 신호로부터 내부 클럭 신호를 생성하는 PLL(Phase Locked Loop) 회로 및 픽셀 어레이부(200)의 복수의 픽셀 각각의 포토 다이오드의 노출 시간 타이밍, 리셋(reset) 타이밍, 판독 타이밍 및 프레임 출력 타이밍을 제어하기 위한 타이밍 발생기(Timing Generator, T/G) 회로를 포함할 수 있다. 픽셀 어레이 구동부(311) 및 샘플링부(312)는 클럭 신호 생성부(313)로부터 제공되는 클럭 신호를 이용하여, 픽셀 어레이부(200)의 구동 및 샘플링 동작을 각각 수행할 수 있다.

기준 전압 생성부(314)는 픽셀 어레이 구동부(311) 및 샘플링부(312) 등으로 공급되는 기준 전압을 생성할 수 있다. 일 예로, 기준 전압 생성부(314)는 패드(111)를 통해 외부로부터 인가되는 전원을 통해 기준 전압을 생성할 수 있다.

디지털 변환부(315)는 ADC(Analog-to-Digital Converter)를 포함할 수 있고, 샘플링부(312)로부터 출력되는 샘플링 신호를 디지털 신호로 변환하여 이미지를 생성할 수 있다. 디지털 변환부(315)에서 생성되는 기준 이미지와 상대 이미지는 디지털 신호 처리부(317)로 제공될 수 있다.

메모리부(316)는 펌웨어(firmware)를 구비하는 ROM(Read Only Memory), 이미지 처리 연산에 필요한 RAM(Random Access Memory), 교정(Calibration) 정보를 기록하기 위한 OTP(One-Time Programmable) 메모리, 및 레지스터를 포함할 수 있다.

디지털 신호 처리부(317)는 디지털 변환부(315)로부터 제공되는 디지털 신호로 구성되는 이미지를 이미지 처리(Image Processing) 할 수 있다.

일반적으로, 카메라 모듈은 적어도 하나의 렌즈로 이루어진 광학계를 구비한다. 카메라 모듈에 의해 얻어진 이미지는 실제 이미지와는 차이가 있게 되는데, 이는 카메라 모듈의 해상력이 수차(Aberration, 收差)에 의한 영향을 받기 때문이다. 수차(Aberration, 收差)란 빛이 광학계를 통과한 다음, 한 점에 모이지 않아 이미지가 흐려 보이거나 빛깔이 있어 보이거나 일그러지는 현상이 나타나는 것을 말한다. 수차에는 일정한 파장의 단색광을 사용했을 때 나타나는 단색 수차와 광학계의 굴절률이 빛의 파장에 따라 다르기 때문에 나타나는 색수차가 있다.

여기서, 단색 수차는 구면 수차, 코마 수차, 비점 수차, 만곡 수차 및 왜곡 수차뿐만 아니라, 틸트(Tilt) 수차, 초점 흐림(Defocus) 수차를 더 포함하는 의미로 이해될 수 있다. 본 명세서에서 수차는 단색 수차 및 색 수차 중 적어도 하나를 포함하는 의미로 이해될 수 있다. 한편, 일반적으로 휴대용 전자기기에 사용되는 카메라 모듈의 경우 슬림화의 요구로 인하여 수차가 증가하는 경향이 있으며, 이러한 수차의 증가로 인하여 블러(Blur) 현상이 발생함에 따라 카메라 모듈의 해상력이 감소되는 문제점이 발생할 수 있다.

블러(Blur)는 수차로 인하여 원 이미지의 한 픽셀의 밝기가 주변 픽셀의 밝기를 왜곡시키는 현상으로, 블러(Blur)는 블러의 정도를 나타내는 PSF(Point Spread Function, 점확산 함수)로 표현될 수 있다. PSF가 상대적으로 좁은 분포를 가지면 해상력이 높게 표현되고, 반대로 PSF가 상대적으로 넓은 분포를 가지면 해상력은 낮게 표현될 수 있다.

카메라 모듈로 피사체를 촬영시, 획득되는 블러 이미지(Blur_Image)는 원본 이미지(Clear_Image)와 PSF(Point Spread Function)의 컨벌루션에 의해 하기의 수학식 1과 같이 모델링 될 수 있다.

[수학식 1]

Blur_Image = PSF * Clear_Image (*: Convolution)

이 때, PSF가 산출되는 경우, 디컨벌루션(Deconvolution)을 통해 블러 이미지으로부터 원본 이미지를 복원할 수 있으나, 블러 이미지에서 PSF를 정확하게 산출하는 것은 극히 어려운 문제점이 있다. 따라서, 원본 이미지의 복원을 위하여, 고도로 정밀한 PSF를 추정하고, 추정된 PSF를 각 카메라 모듈에 저장하는 것이 요구된다.

도 4는 본 발명의 일 실시예에 따른 PSF의 추정 및 저장 방법을 나타내는 흐름도이고, 도 5는 랜덤 노이즈 패턴의 일 예를 나타낸 도이다. 도 4 및 도 5를 참조하여, 카메라 모듈의 제조 과정에서 PSF를 카메라 모듈 각각에 저장하는 과정을 상세히 설명하도록 한다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 따른 PSF의 추정 및 저장 방법은 도 5의 랜덤 노이즈 패턴을 촬영하는 것으로 시작한다(S410). 카메라 모듈은 일정 거리 이격된 랜덤 노이즈 패턴을 촬영할 수 있다. 촬영된 이미지는 호스트로 전달되고(S420), 호스트는 랜덤 노이즈 패턴의 원본 이미지와 촬영된 이미지를 비교하여 PSF를 추정할 수 있다(S430). 추정된 PSF는 카메라 모듈 내에 저장될 수 있다(S440). 이 때, 카메라 모듈의 PSF는 제조되는 카메라 모듈 마다 차이가 발생하므로, 모듈 제조 공정의 캘리브레이션(Calibration) 과정에서 개별 모듈마다 PSF가 추정되고, 해당 카메라 모듈 내에 추정된 PSF가 저장될 수 있다. 저장된 PSF는 블러된 이미지로부터 원본 이미지를 복원하는데 이용될 수 있다.

상기 과정을 통해, 본 발명의 일 실시예에 따른 카메라 모듈은 추정된 PSF에 대한 정보를 저장할 수 있고, 저장된 PSF를 이용하여 촬영된 이미지의 해상력을 보정하여, 고화질의 해상력을 구현할 수 있다.

한편, PSF는 이미지 센서의 픽셀 배열의 중앙 영역에서는 가우시안(Gaussian) 형태에 가까운 모양을 지니며, 주변 영역으로 갈수록 가우시안 형태에서 멀어지는 모양을 갖는다. 따라서, 이와 같이 영역별로 다른 형태를 가지는 PSF를 효율적으로 추정하기 위하여, 이미지 센서의 픽셀 배열을 가로 방향으로 M등분, 세로 방향으로 N등분하여 전체 MXN개의 복수의 영역별로 PSF를 추정할 필요가 있다.

본 발명의 일 실시예에 따르면, 촬영된 이미지를 복수의 영역으로 구획하고, 복수의 영역 각각에서 추정된 PSF가 광학계의 설계 값과 비교하여, 임계치 이상의 크게 차이가 나는 영역에 대해서만 추정된 PSF를 카메라 모듈 내의 메모리에 저장하게 된다. 임계치 미만의 차이가 크지 않은 영역은 해상력이 양호한 것으로 판단하여, 해당 영역에 대해서는 추정된 PSF를 그대로 저장하는 것이 아니라, 가우시안 함수로 근사화하여 추정한 블러(Blur)의 폭 및 피크(Peak) 좌표 위치를 나타내는 블러 파라미터를 카메라 모듈 내의 메모리에 저장한다.

도 6은 본 발명의 일 실시예에 따른 수차 정보의 생성 과정을 나타내는 흐름도이다. 도 6을 참조하여, 이미지의 영역별로 블러(Blur) 특성에 대한 수차 정보를 추정하는 방법을 구체적으로 설명하도록 한다.

먼저, 랜덤 노이즈 패턴의 원본 이미지 및 촬영된 이미지를 복수의 영역으로 분할한다(S610). 이 후, 랜덤 노이즈 패턴의 원본 이미지의 복수의 영역 각각에 PSF를 적용하여 랜덤 노이즈 패턴의 원본 이미지를 블러시키고(S620), 블러된 이미지와 촬영된 이미지를 비교하여 이미지 차이가 최소화되도록 PSF를 변화시키면서, PSF를 업데이트한다(S630). 업데이트 결과, 복수의 영역 각각에 대하여 PSF가 추정될 수 있고(S640), 복수의 영역 각각의 추정된 PSF는 서로 다를 수 있다.

복수의 영역의 PSF가 추정되면, 복수의 영역 각각의 추정된 PSF와 기준 PSF를 비교한다(S650). 기준 PSF는 광학계 설계 단계에서의 이상적인 시뮬레이션 데이터를 나타내는 값으로써, 추정된 PSF가 기준 PSF와 임계치 이상 차이 나는 경우, 해당 영역은 카메라 모듈의 해상력 관점에서 오류 영역(NG 영역)으로 판정하고, 추정된 PSF가 기준 PSF 와 임계치 미만 차이 나는 경우, 해당 영역은 카메라 모듈의 해상력 관점에서 정상 영역(OK 영역)으로 판정한다(S660).

이 후, 오류 영역에 대하여는 추정된 PSF를 카메라 모듈 내에 저장하고, 정상 영역에 대하여는 추정된 PSF를 근사화하여 카메라 모듈 내에 저장할 수 있다(S670). 정상 영역에 대하여는 추정된 PSF를 그대로 저장하는 것이 아니라 가우시안 함수로 근사화하여 블러(Blur)의 폭 및 피크(Peak)의 좌표 위치를 포함하는 블러 파라미터를 저장할 수 있다.

하기의 [수학식 2]은, 정상 영역에 대해서 수행하는 PSF 근사화 과정에서 사용되는 가우시안 근사화 함수를 나타낸다. 앞선 단계에서 추정된 PSF는 최대 값이 255(8비트 gray scale 분해능에서 최대 값)가 되도록 정규화 과정을 거친 후, 아래의 [수학식 2]과 같은 가우시안 근사화 함수를 이용하여 근사화가 수행될 수 있다.

[수학식 2]

[수학식 2]에서, a, b는 각각 상기 분할된 윈도우 영역의 수평, 수직 방향으로 피크의 좌표 위치를 나타내고, σx, σy는 각각 상기 분할된 윈도우 영역의 수평, 수직 방향의 블러의 폭을 나타낸다.

본 발명의 일 실시예에 따르면, 오류 영역에 대해서는 추정된 PSF를 그대로 카메라 모듈 내에 저장하나, 정상 영역에 대해서는 추정된 PSF를 가우시안 함수를 통해 근사화하여, 블러(Blur)의 폭 및 피크(Peak)의 좌표 위치를 포함하는 블러 파라미터를 저장함으로써, 저장되는 데이터의 크기를 대폭 감소시킬 수 있다.

예를 들어, 16?12개의 영역으로 이미지를 분할하여 PSF를 추정한 후 추정된 PSF를 전부 저장한다고 가정하는 경우, 요구되는 메모리의 사이즈는 하기 [Case 1] 및 [Case 2]와 같다.

이때, 전체 이미지를 16?12개의 영역으로 분할하는 경우 0.3Field 이내에 존재하는 영역의 개수는 6?6 = 36개에 해당하고, 0.5Field 이내에 존재하는 영역의 개수는 10?10 = 100개에 해당한다.

여기서, 이미지 센서 픽셀 배열의 대각 방향의 끝 지점을 1.0Field라 할 때, 4:3 Aspect ratio의 이미지 센서 픽셀 배열의 경우 가로 방향으로 0.8Field, 세로 방향으로 0.6Field로 표현될 수 있다.

[Case 1] 요구 채널개수를 R, Gr, Gb, B 4개 채널로 가정

요구 채널개수×영역 개수×영역별 PSF 데이터 크기×PSF 데이터의 분해능

① 0.0~0.3Field: PSF 데이터 크기를 5×5 픽셀로 가정

= 4×(6×6)×(5×5)×1 byte = 3,600 bytes

② 0.3~0.5Field: PSF 데이터 크기를 7×7 픽셀로 가정

= 4×(10×10-6×6)×(7×7)×1 byte = 12,544 bytes

③ 0.5~1.0Field: PSF 데이터 크기를 9×9 픽셀로 가정

= 4×(16×12-10×10)×(9×9)×1 byte = 29,808 bytes

즉, 전체 메모리 요구 사이즈: 3,600 + 12,544 + 29,808 = 45,952 bytes = 44.88 Kbytes

[Case 2] 요구 채널개수를 R,G,B 3개 채널로 가정

(Gr,Gb 채널에 동일 PSF 적용)

① 0.0~0.3Field : PSF 데이터 크기를 5×5 픽셀로 가정

= 3×(6×6)×(5×5)×1 byte = 2,700 bytes

② 0.3~0.5Field : PSF 데이터 크기를 7*7 픽셀로 가정

= 3×(10×10 - 6×6)×(7×7) × 1 byte = 9,408 bytes

③ 0.5~1.0Field : PSF 데이터 크기를 9*9 픽셀로 가정

= 3×(16×12 - 10×10)×(9×9)×1 byte = 22,356 bytes

즉, 전체 메모리 요구 사이즈: 2,700 + 9,408 + 22,356 = 34,464 bytes = 33.66 Kbytes

이에 반해, 오류 영역, 일 예로, 기준 PSF와 추정된 PSF와 가장 차이가 크게 발생한 상위 5개 영역에 대해서만 추정된 PSF를 그대로 저장하고, 나머지 정상 영역에 대해서는 가우시안 근사화 함수의 곡선 일치(curve fitting) 기법을 이용하여 블러 파라미터를 저장한다고 가정하는 경우, 요구되는 메모리 사이즈는 하기 [Case 3] 및 [Case 4]와 같다.

이때, 오류 영역은 0.5Field 이상 영역에서 발생하는 것으로 가정하고 0.5Field 이내의 영역에 대해서는 보정 연산을 수행하는 하드웨어 블록 내부 보정 알고리즘에서 영역별로 디폴트 설정된 4개의 블러 파라미터를 이용한다고 가정한다. 각각의 블러 파라미터는 1 byte로 표현된다고 가정한다.

[Case 3] 요구 채널 개수를 R, Gr, Gb, B 4개 채널로 가정

① 요구 채널 개수×오류 영역(NG 영역) 개수×영역별 PSF 데이터 크기×PSF 데이터의 분해능

= 4×(5)×(9×9)×1 byte = 1,620 bytes

② 요구 채널 개수×정상 영역(OK 영역) 개수×영역별 블러 파라미터

= 4×(16×12-10×10)×4 bytes = 1,472 bytes

즉, 전체 메모리 요구 사이즈 : 1,620 + 1,472 = 3,092 bytes = 3.02 Kbytes

[Case 4] 요구 채널 개수를 R,G,B 3개 채널로 가정

(Gr,Gb 채널에 동일 PSF 적용)

= 3×(5)×(9×9)×1 byte = 1,215 bytes

= 3×(16×12-10×10)×4 bytes = 1,104 bytes

즉, 전체 메모리 요구 사이즈 :1,215 + 1,104 = 2,319 bytes = 2.26 Kbytes

한편, 본 발명의 일 실시예에 따르면, 복수의 영역 중 정상 영역과 오류 영역의 판정에 따라 블러 파라미터 및 PSF가 각각 저장되므로, 블러 파라미터 및 PSF를 저장하기 위한 메모리의 사이즈를 줄일 수 있고, 따라서, 블러 파라미터 및 PSF는 카메라 모듈(1)의 OTP 메모리, ROM, EEPROM, FROM와 같은 비휘발성 메모리 영역에 저장될 수 있다.

블러 파라미터 및 PSF에 대응하는 영역의 좌표가 메모리에 함께 저장될 수 있다. 일 예로, 전체 16X12 영역에서 영역 (16, 1)이 오류 영역으로 판정된 경우, PSF와 함께 (16, 1)의 좌표가 메모리에 저장될 수 있다.

또한, 메모리는 오류 영역에 대한 PSF 및 정상 영역에 대한 블러 파라미터 뿐만 아니라 복수의 영역으로 분할된 영역의 개수 및 크기에 관한 정보를 포함하는 디블러(Deblur) 파라미터를 저장할 수 있다. 일 예로, 디블러 파라미터는 이미지를 MXN 개의 영역으로 분할하는 경우, 수평 방향으로 분할된 영역의 개수 및 크기, 수직 방향으로 분할된 영역의 개수 및 크기를 포함한다.

이와 같이, 메모리에 저장되는 PSF, 블러 파라미터, 및 디블러 파라미터가 카메라 모듈의 수차 정보에 해당할 수 있다. 상기 수차 정보는 룩업 테이블(look-up table) 형태로 저장될 수 있다.

한편, 카메라 모듈의 해상력은 피사체를 촬영할 때의 조도 환경 및 결정된 초점 조정 위치에 따라서도 영향을 받을 수 있다. 따라서, 본 발명의 일 실시예에 따른 카메라 모듈은 촬영시의 조도 환경 및 결정된 초점 조정 위치에 따라 해상력을 보정하는 디블러링(Deblurring) 강도를 조절하거나 노이즈 저감(Denoising) 강도를 조절할 수 있다. 디블러링(Deblurring) 강도를 조절하거나 노이즈 저감(Denoising) 강도를 조절함으로써, 촬영된 이미지의 해상력의 개선 정도를 결정할 수 있다.

구체적으로, 호스트는 카메라 모듈의 자동 노출(AE: Auto Exposure) 제어, 자동 화이트 밸런스(AWB: Auto White Balance) 제어, 및 자동 초점(AF: Auto Focus) 제어를 수행할 수 있다. 호스트는 자동 노출(AE) 제어, 자동 화이트 밸런스(AWB) 제어, 및 자동 초점(AF) 제어를 수행하기 위한 각각의 엔진을 구비할 수 있다.

자동 노출(AE) 제어시, 촬영시의 조도 세기가 판정될 수 있고, 자동 화이트 밸런스(AWB) 제어시, 광원의 색 온도가 판정될 수 있으며, 자동 초점(AF) 제어시, 광학계의 포커스 위치가 판정될 수 있다. 판정된 조도 세기, 광원의 색 온도, 및 포커스 위치는 카메라 모듈 내에 저장될 수 있다.

본 발명의 일 실시예에 따른 카메라 모듈은 저장된 조도 세기, 광원의 색 온도, 및 포커스 위치에 따라 적합한 디블러링 강도와 디노이징 강도를 결정하여 이미지의 해상력 보정 연산을 추가적으로 수행할 수 있다. 일 예로, 저조도 환경에서는 노이즈를 작게 발생시키도록 디블러링 강도는 약하게 설정하고 디노이징 강도는 강하게 설정하는 것이 바람직할 수 있다. 또한, 광학계의 포커스 위치가 접사 위치에 가까운 경우에는 디블러링 강도를 약하게 설정할 수 있다. 또한, 광원이 할로겐 조명(3000K)인 경우에는 Red 파장 빛의 영향이 크므로 Red 채널의 디블러링 강도를 Green 채널, Blue 채널 대비 강하게 설정할 수 있다.

디블러링 강도 및 디노이징 강도는 카메라 모듈의 제조 과정에서 조도 환경 및 피사체와의 거리를 변화시키는 실험을 통하여 결정된 룩업 테이블(Look-up Table) 형태로 마련될 수 있다. 일 예로, 디블러링 강도는 1~10단계까지 10단계로 구분하여 적용할 수 있다. 1단계는 가장 약한 디블러링 강도에 해당하고, 10 단계가 가장 강한 디블러링 강도에 해당할 수 있다. 디노이징 강도도 유사하게 1~10단계까지 10단계로 구분하여 적용할 수 있다. 구분되는 단계의 개수는 실험에 따라 적절히 결정되므로, 10단계보다 적은 단계를 포함할 수도 있고, 10단계보다 많은 단계를 포함할 수도 있다.

도 7 내지 도 9는 본 발명의 다양한 실시예에 따른 전자 기기의 주요부의 블록도이다. 도 7 내지 도 9의 실시예는 해상력 보정 연산이 수행되는 로직부의 구성 및 해상력 보정 연산에 이용되는 다수의 파라미터가 저장되는 메모리의 구성이 일부 차이가 있을 뿐, 구성의 구체적 동작은 유사하므로, 중복되거나 반복되는 설명은 생략하고 도 7의 실시예에 따른 카메라 모듈을 중심으로 설명하도록 한다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 디지털 신호 처리부(317)는 버퍼부(317a), 신호 처리부(317b), 및 출력 인터페이스(317c)를 포함할 수 있고, 추가적으로, 보조 메모리부(317d)를 포함할 수 있다.

버퍼부(317a)는 픽셀 어레이부(200)로부터 제공되는 이미지를 전달받을 수 있다. 전술한 바와 같이, 이미지는 픽셀 어레이부(200)에서 출력되는 아날로그 신호가 디지털 변환부(315)에 의해 변환된 디지털 신호로 구성될 수 있다. 버퍼부(317a)는 라인 버퍼 메모리(line buffer memory)를 구비하여, 전달받은 이미지를 순차적으로 저장할 수 있다.

신호 처리부(317b)는 버퍼부(317a)의 라인 버퍼 메모리에 기준 개수의 이미지가 저장되는 경우, 신호 처리부(317b)에 구비되는 디블러 엔진을 구동하여, 이미지의 해상력 보정 연산을 수행할 수 있다.

보조 메모리부(317d)에는 PSF, 블러 파라미터, 및 디블러 파라미터를 포함하는 수차 정보가 저장될 수 있다. 일 예로, 수차 정보는 메모리부(317d)의 OTP 메모리와 같은 비휘발성 메모리에 저장될 수 있다. 신호 처리부(317b)는 보조 메모리부(317d)에 저장된 수차 정보를 이용하여 이미지의 해상력 보정 연산을 수행할 수 있다. 신호 프로세서(317b)에 구비된 디블러 엔진은 메모리부(317d)에 저장된 PSF를 요구되는 샘플링 비율만큼 샘플링하여 비디오 모드에서 해상력 보정 연산을 수행할 수도 있다.

해상력이 보정된 이미지는 출력 인터페이스(317c)를 통해 카메라 모듈이 장착되는 전자기기의 호스트(60)로 전송될 수 있다. 호스트(60)는 카메라 모듈을 제어하는 제어부(61), 해상력 보정된 이미지를 처리하기 위한 칼라 프로세서(62), YUV 프로세서(63), 비디오 엔코더(64) 및 JPEG 엔코더(65)를 포함할 수 있다.

호스트(60)의 제어부(61)는 카메라 모듈의 자동 노출(AE: Auto Exposure) 제어, 자동 화이트 밸런스(AWB: Auto White Balance) 제어, 및 자동 초점(AF: Auto Focus) 제어를 수행할 수 있다. 제어부(61)는 자동 노출(AE) 제어, 자동 화이트 밸런스(AWB) 제어, 및 자동 초점(AF) 제어를 수해하기 위한 각각의 엔진을 구비할 수 있다. 자동 노출(AE) 제어, 자동 화이트 밸런스(AWB) 제어, 및 자동 초점(AF) 제어시 판정되는 조도 세기, 광원의 색 온도, 및 포커스 위치는 보조 메모리부(317d) 내의 레지스터(Register)에 저장될 수 있다. 신호 처리부(317b)는 보조 메모리부(317d)의 레지스터에 저장된 조도 세기, 광원의 색 온도, 및 포커스 위치에 따라 적합한 디블러링 강도와 디노이징 강도를 결정하여 이미지의 해상력 보정 연산을 추가적으로 수행할 수 있다. 신호 처리부(317b)는 레지스터에 조도 세기, 광원의 색 온도, 및 포커스 위치가 저장되면, 디블러링 강도와 디노이징 강도를 룩업 테이블을 참조하여 선택함에 따라 이미지의 해상력 보정 연산을 수행할 수 있다.

도 8은 본 발명을 참조하면, 본 발명의 일 실시예에 따른 카메라 모듈은 이미지 센서(10), 호스트(60), 및 보조 IC(70)을 포함할 수 있다.

이미지 센서(10)의 디지털 신호 처리부(317)는 신호 처리부(317b), 및 출력 인터페이스(317c)를 포함할 수 있다. 신호 처리부(317b)는 픽셀 어레이부(200)로부터 제공되는 이미지를 전달받고, 보조 IC(70)로 전송할 수 있는 포맷으로 변경하여, 출력 인터페이스(317c)를 통하여 보조 IC(70)로 이미지를 전달할 수 있다. 이미지는 픽셀 어레이부(200)에서 출력되는 아날로그 신호가 디지털 변환부(315)에 의해 변환된 디지털 신호로 구성될 수 있다.

보조 IC(70)는 입력 인터페이스(71), 버퍼부(72), 신호 처리부(73), 및 출력 인터페이스(74)를 포함할 수 있고, 추가적으로, 보조 메모리부(75)를 포함할 수 있다.

버퍼부(72)는 입력 인터페이스(71)를 통해 디지털 신호 처리부(317)의 출력 인터페이스(317c)로부터 전달되는 이미지를 전달 받을 수 있다. 버퍼부(72)는 라인 버퍼 메모리(line buffer memory)를 구비하여, 전달받은 이미지를 순차적으로 저장할 수 있다.

신호 처리부(73)는 버퍼부(72)의 라인 버퍼 메모리에 기준 개수의 이미지가 저장되는 경우, 신호 처리부(73)에 구비되는 디블러 엔진을 구동하여, 이미지의 해상력 보정 연산을 수행할 수 있다.

보조 메모리부(75)에는 PSF, 블러 파라미터, 및 디블러 파라미터를 포함하는 수차 정보가 저장될 수 있다. 일 예로, 수차 정보는 보조 메모리부(75)의 ROM 메모리와 같은 비휘발성 메모리에 저장될 수 있다. 신호 처리부(73)는 보조 메모리부(75)에 저장된 수차 정보를 이용하여 이미지의 해상력 보정 연산을 수행할 수 있다. 신호 처리부(73)에 구비된 디블러 엔진은 메모리부(317d)에 저장된 PSF를 요구되는 샘플링 비율만큼 샘플링하여 비디오 모드에서 해상력 보정 연산을 수행할 수도 있다.

해상력이 보정된 이미지는 출력 인터페이스(54)를 통해 카메라 모듈이 장착되는 전자기기의 호스트(60)로 전송될 수 있다. 호스트(60)는 카메라 모듈을 제어하는 제어부(61), 해상력 보정된 이미지를 처리하기 위한 칼라 프로세서(62), YUV 프로세서(63), 비디오 엔코더(64) 및 JPEG 엔코더(65)를 포함할 수 있다.

호스트(60)의 제어부(61)는 카메라 모듈의 자동 노출(AE: Auto Exposure) 제어, 자동 화이트 밸런스(AWB: Auto White Balance) 제어, 및 자동 초점(AF: Auto Focus) 제어를 수행할 수 있다. 제어부(61)는 자동 노출(AE) 제어, 자동 화이트 밸런스(AWB) 제어, 및 자동 초점(AF) 제어를 수해하기 위한 각각의 엔진을 구비할 수 있다. 자동 노출(AE) 제어, 자동 화이트 밸런스(AWB) 제어, 및 자동 초점(AF) 제어시 판정되는 조도 세기, 광원의 색 온도, 및 포커스 위치는 보조 메모리부(75) 내의 레지스터(Register)에 저장될 수 있다. 신호 처리부(73)는 보조 메모리부(317d)의 레지스터에 저장된 조도 세기, 광원의 색 온도, 및 포커스 위치에 따라 적합한 디블러링 강도와 디노이징 강도를 결정하여 이미지의 해상력 보정 연산을 추가적으로 수행할 수 있다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 카메라 모듈은 이미지 센서(10), 및 호스트(60)를 포함할 수 있다.

이미지 센서(10)의 디지털 신호 처리부(317)는 신호 처리부(317b), 및 출력 인터페이스(317c)를 포함할 수 있다. 신호 처리부(317b)는 픽셀 어레이부(200)로부터 제공되는 이미지를 전달받고, 호스트(60)로 전송할 수 있는 포맷으로 변경하여, 출력 인터페이스(317c)를 통하여 호스트(60)로 이미지를 전달할 수 있다. 이미지는 픽셀 어레이부(200)에서 출력되는 아날로그 신호가 디지털 변환부(315)에 의해 변환된 디지털 신호로 구성될 수 있다.

호스트(60)는 제어부(61), 칼라 프로세서(62), YUV 프로세서(63), 비디오 엔코더(64) 및 JPEG 엔코더(65), 버퍼부(66), 신호 처리부(67), 보조 메모리부(68)를 포함할 수 있다.

버퍼부(66)는 디지털 신호 처리부(317)의 출력 인터페이스(317c)로부터 전달되는 이미지를 전달 받을 수 있다. 버퍼부(66)는 라인 버퍼 메모리(line buffer memory)를 구비하여, 전달받은 이미지를 순차적으로 저장할 수 있다.

신호 처리부(67)는 버퍼부(66)의 라인 버퍼 메모리에 기준 개수의 이미지가 저장되는 경우, 신호 처리부(67)에 구비되는 디블러 엔진을 구동하여, 이미지의 해상력 보정 연산을 수행할 수 있다.

메모리부(316)에는 PSF, 블러 파라미터, 및 디블러 파라미터를 포함하는 수차 정보가 저장될 수 있다. 일 예로, 수차 정보는 메모리부(316)의 ROM 메모리와 같은 비휘발성 메모리에 저장될 수 있다. 신호 처리부(67)는 보조 메모리부(75)에 저장된 수차 정보를 이용하여 이미지의 해상력 보정 연산을 수행할 수 있다. 신호 처리부(67)에 구비된 디블러 엔진은 메모리부(317d)에 저장된 PSF를 요구되는 샘플링 비율만큼 샘플링하여 비디오 모드에서 해상력 보정 연산을 수행할 수도 있다.

호스트(60)의 제어부(61)는 카메라 모듈의 자동 노출(AE: Auto Exposure) 제어, 자동 화이트 밸런스(AWB: Auto White Balance) 제어, 및 자동 초점(AF: Auto Focus) 제어를 수행할 수 있다. 제어부(61)는 자동 노출(AE) 제어, 자동 화이트 밸런스(AWB) 제어, 및 자동 초점(AF) 제어를 수해하기 위한 각각의 엔진을 구비할 수 있다.

자동 노출(AE) 제어, 자동 화이트 밸런스(AWB) 제어, 및 자동 초점(AF) 제어시 판정되는 조도 세기, 광원의 색 온도, 및 포커스 위치는 호스트(60)의 보조 메모리부(68) 내의 레지스터(Register)에 저장될 수 있다. 신호 처리부(67)는 보조 메모리부(317d)의 레지스터에 저장된 조도 세기, 광원의 색 온도, 및 포커스 위치에 따라 적합한 디블러링 강도와 디노이징 강도를 결정하여 이미지의 해상력 보정 연산을 추가적으로 수행할 수 있다. 해상력 보정된 이미지는 칼라 프로세서(62), YUV 프로세서(63), 비디오 엔코더(64) 및 JPEG 엔코더(65)에 의해 이미지 처리될 수 있다.

상술한 도 7 내지 도 9의 실시예에서, 보조 메모리부(317d, 도 7), 보조 메모리부(75, 도 8), 및 메모리부(316, 도 9)에 수차 정보가 저장되는 것으로 기술되었으나, 렌즈 모듈(40)에 채용되는 적어도 하나의 망원 렌즈는 광각 렌즈 대비 왜곡량이 상대적으로 크게 존재하므로, 모듈 제조 공정의 캘리브레이션(Calibration) 과정에서 적어도 하나의 망원 렌즈의 왜곡량을 보상하기 위한 왜곡 계수가 산출되어, 보조 메모리부(317d, 도 7), 보조 메모리부(75, 도 8), 및 메모리부(316, 도 9)와 같은 메모리에 저장될 수 있다. 이 때, 신호 처리부(317b, 도 7), 신호 처리부(73, 도 8), 및 신호 처리부(67, 도 9)와 같은 로직부는 메모리에 저장된 왜곡 계수를 이용하여, 이미지의 왜곡을 보정할 수 있다.

도 10은 본 발명의 일 실시예에 따른 전자 기기의 주요부의 블록도이다.

호스트(60)는 제어부(61), 칼라 프로세서(62), YUV 프로세서(63), 비디오 엔코더(64) 및 JPEG 엔코더(65), 버퍼부(66), 및 신호 처리부(67)를 포함할 수 있다.

제어부(61)는 카메라 모듈의 자동 노출(AE: Auto Exposure) 제어, 자동 화이트 밸런스(AWB: Auto White Balance) 제어, 및 자동 초점(AF: Auto Focus) 제어를 수행할 수 있다. 제어부(61)는 자동 노출(AE) 제어, 자동 화이트 밸런스(AWB) 제어, 및 자동 초점(AF) 제어를 수해하기 위한 각각의 엔진을 구비할 수 있다.

출력 인터페이스(317c)를 통해 전달되는 이미지는 컬러 프로세서(62), 및 YUV 프로세서(63)에 의해 이미지 처리되어, 버퍼부(66)로 전달될 수 있다. 버퍼부(66)는 라인 버퍼 메모리(line buffer memory)를 구비하여, 전달받은 이미지를 순차적으로 저장할 수 있다.

신호 처리부(67)는 버퍼부(66)의 라인 버퍼 메모리에 기준 개수의 이미지가 저장되는 경우, 이미지의 해상력 보정 연산을 수행할 수 있다. 신호 처리부(67)는 사용자에 의해 선택된 광학 줌 배율에 따라 줌 영역을 결정하고, 버퍼부(66)에 저장된 복수의 이미지 각각에서 줌 영역을 크롭(Crop)한다. 신호 처리부(67)는 크롭된 복수의 이미지를 고 해상도(SUPER RESOLUTION) 합성 연산하여, 높은 배율의 광학 줌을 수행할 수 있다.

예를 들어, 이미지 센서(10)의 해상도가 12M(4000*3000 화소수)이고, 광학 줌 배율이 2X인 망원 렌즈에서, 사용자에 의해 선택된 줌 배율이 4배인 것으로 가정하면, 이미지 센서(10)는 호스트로 광학적으로 2배 확대된 이미지를 호스트(60)로 출력한다. 신호 처리부(67)는 버퍼부(66)에 저장되는 복수의 이미지에서 4배 줌 배율에 해당하는 영역을 크롭한 후, 크롭된 복수의 이미지를 고 해상도(SUPER RESOLUTION) 합성 연산하여, 고해상도의 4배 줌 이미지를 생성할 수 있다. 신호 처리부(67)에 의해 생성된 이미지는 비디오 엔코더(64) 및 JPEG 엔코더(65) 각각에 의해 비디오 및 JPEG 포맷으로 이미지 처리될 수 있다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

1: 카메라 모듈
10: 이미지 센서
20: 인쇄 회로 기판
30: 액츄에이터 홀더
40: 렌즈 모듈
50: 케이스
60: 호스트
61: 제어부
62: 칼라 프로세서
63: YUV 프로세서
64: 비디오 엔코더
65: JPEG 엔코더
66: 버퍼부
67: 신호 처리부
68: 보조 메모리부
70: 보조 IC
71: 입력 인터페이스
72: 버퍼부
73: 신호 처리부
74: 출력 인터페이스
75: 보조 메모리부
100: 기판
110: 제1 기판
120: 제2 기판
200: 픽셀 어레이부
311: 픽셀 어레이 구동부
311a: 행 구동부
311b: 열 구동부
312: 샘플링부
313: 클럭 신호 생성부
314: 전압 생성부
315: 디지털 변환부
316: 메모리부
317: 디지털 신호 처리부
318: 시리얼 인터페이스
317a: 버퍼부
317b: 신호 처리부
317c: 출력 인터페이스
317d: 보조 메모리부

Claims

적어도 하나의 망원 렌즈를 포함하는 렌즈 모듈;
상기 렌즈 모듈의 하부에 배치되어, 상기 망원 렌즈를 통해 결상되는 광으로부터 피사체의 이미지를 생성하는 이미지 센서; 및
상기 이미지 센서에 의해 생성된 이미지와 상기 피사체의 원본 이미지를 비교하여 추정되는 수차 정보를 이용하여 상기 이미지 센서에 의해 생성된 이미지의 해상력 보정 연산을 수행하는 로직부; 를 포함하고,
상기 수차 정보는 하기의 수학식
[수학식]
Blur_Image = PSF * Clear_Image
(Blur_Image: 상기 이미지 센서에 의해 생성된 이미지, PSF: 점 확산 함수(Point Spread Function), Clear_Image: 상기 피사체의 원본 이미지, *: 컨볼루션(Convolution):
으로 모델링되는 점확산 함수를 포함하고,
상기 수차 정보는 상기 점확산 함수에서 추출되는 피크의 좌표 위치 및 블러의 폭을 포함하는 블러 파라미터를 포함하며,
상기 수차 정보는 상기 이미지의 복수의 영역 각각의 복수의 점확산 함수와 기준 점확산 함수를 비교하여, 복수의 영역 중 상기 복수의 점확산 함수가 상기 기준 점확산 함수와 임계치 이상의 차이가 있는 오류 영역에 대한 점확산 함수 및 복수의 점확산 함수가 기준 점확산 함수와 임계치 미만 차이가 있는 정상 영역에 대한 블러 파라미터를 포함하는
카메라 모듈.
삭제
삭제
삭제
제1항에 있어서,
상기 기준 점확산 함수는 상기 카메라 모듈의 설계 데이터를 반영하는 카메라 모듈.
제1항에 있어서,
상기 오류 영역에 대한 점확산 함수 및 상기 정상 영역에 대한 블러 파라미터 저장하는 메모리; 를 더 포함하는 카메라 모듈.
제6항에 있어서,
상기 오류 영역에 대한 점확산 함수 및 상기 정상 영역에 대한 블러 파라미터 각각의 데이터 사이즈는 서로 다른 카메라 모듈.
제6항에 있어서,
상기 메모리는 비휘발성 메모리를 포함하는 카메라 모듈.
제1항에 있어서,
상기 로직부는 상기 피사체 촬영시의 조도 환경 및 초점 위치 중 적어도 하나에 따라 상기 이미지 센서에 의해 생성된 이미지의 해상력 보정 연산을 수행하는 카메라 모듈.
제1항에 있어서,
상기 수차 정보는 상기 복수의 영역의 개수 및 크기에 관한 정보를 포함하는 디블러 파라미터를 포함하는 카메라 모듈.
제1항에 있어서,
상기 망원 렌즈는 굴곡형 망원 렌즈인 카메라 모듈.
적어도 하나의 망원 렌즈를 포함하는 렌즈 모듈;
상기 렌즈 모듈의 하부에 배치되어, 상기 망원 렌즈를 통해 결상되는 광으로부터 피사체의 이미지를 생성하는 이미지 센서; 및
상기 이미지 센서에 의해 생성된 이미지를 설정된 광학 줌 배율에 따라 확대하여 줌 이미지를 생성하는 호스트; 를 포함하고,
상기 호스트는 상기 이미지 센서로부터 복수의 이미지를 전달받고, 상기 복수의 이미지 각각에서 줌 영역을 크롭한 후, 크롭된 복수의 이미지를 합성하여 줌 이미지를 생성하고,
상기 호스트는, 상기 이미지 센서에 의해 생성된 이미지와 상기 피사체의 원본 이미지를 비교하여 추정되는 수차 정보에 기초해 상기 이미지 센서로부터의 이미지에 대한 해상력 보정 연산을 수행하고,
상기 수차 정보는 하기의 수학식
[수학식]
Blur_Image = PSF * Clear_Image
(Blur_Image: 상기 이미지 센서에 의해 생성된 이미지, PSF: 점 확산 함수(Point Spread Function), Clear_Image: 상기 피사체의 원본 이미지, *: 컨볼루션(Convolution):
으로 모델링되는 점확산 함수를 포함하고,
상기 수차 정보는 상기 점확산 함수에서 추출되는 피크의 좌표 위치 및 블러의 폭을 포함하는 블러 파라미터를 포함하며,
상기 수차 정보는 상기 이미지의 복수의 영역 각각의 복수의 점확산 함수와 기준 점확산 함수를 비교하여, 복수의 영역 중 상기 복수의 점확산 함수가 상기 기준 점확산 함수와 임계치 이상의 차이가 있는 오류 영역에 대한 점확산 함수 및 복수의 점확산 함수가 기준 점확산 함수와 임계치 미만 차이가 있는 정상 영역에 대한 블러 파라미터를 포함하는
전자 기기.
제12항에 있어서,
상기 호스트는 상기 크롭된 복수의 이미지를 고 해상도(SUPER RESOLUTION) 합성하는 전자 기기.
제12항에 있어서, 상기 호스트는,
상기 이미지 센서로부터 전달되는 복수의 이미지를 순차적으로 저장하는 버퍼부; 및
상기 버퍼부에 저장된 상기 복수의 이미지 각각에서 줌 영역을 크롭한 후, 크롭된 복수의 이미지를 합성하는 신호 처리부; 를 포함하는 전자 기기.
제12항에 있어서,
상기 망원 렌즈는 굴곡형 망원 렌즈인 전자 기기.