KR102505432B1 - 이미지 센서 모듈 및 듀얼 카메라 모듈 - Google Patents

이미지 센서 모듈 및 듀얼 카메라 모듈 Download PDF

Info

Publication number
KR102505432B1
KR102505432B1 KR1020160063449A KR20160063449A KR102505432B1 KR 102505432 B1 KR102505432 B1 KR 102505432B1 KR 1020160063449 A KR1020160063449 A KR 1020160063449A KR 20160063449 A KR20160063449 A KR 20160063449A KR 102505432 B1 KR102505432 B1 KR 102505432B1
Authority
KR
South Korea
Prior art keywords
image sensor
sensor chip
image
chip
digital circuit
Prior art date
Application number
KR1020160063449A
Other languages
English (en)
Other versions
KR20170132495A (ko
Inventor
김현
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020160063449A priority Critical patent/KR102505432B1/ko
Publication of KR20170132495A publication Critical patent/KR20170132495A/ko
Application granted granted Critical
Publication of KR102505432B1 publication Critical patent/KR102505432B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14683Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Abstract

본 발명의 일 실시 예에 따른 이미지 센서 모듈 및 듀얼 카메라 모듈은, 제1 면과 상기 제1 면의 반대면인 제2 면을 갖는 다층 기판; 상기 다층 기판의 제1 면에 실장된 제1 이미지 센서칩 및 제2 이미지 센서칩을 갖는 이미지 센서칩; 및 상기 다층 기판의 내부에 배치되어, 상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각과 전기적으로 연결된 디지털 회로 칩; 을 포함한다.

Description

이미지 센서 모듈 및 듀얼 카메라 모듈{IMAGE SENSOR MODULE AND DUAL CAMERA MODULE}
본 발명은 이미지 센서 모듈 및 듀얼 카메라 모듈에 관한 것이다.
점차적으로 듀얼(dual) 카메라의 화소수가 향상되고 있다. 일 예로, 4백만 화소 및 2백만 화소의 조합의 듀얼(dual) 카메라 출시 이후, 1천 3백만 화소 및 2백만 화소의 조합의 듀얼 카메라가 개발되었다.
그 후 8백만 화소 및 8백만 화소의 조합의 듀얼 카메라가 개발되었다. 이 제품의 경우, 1.4um의 동일 픽셀 사이즈를 갖는 두 개 센서의 조합으로 거리정보를 산출하여 아웃 포커스 기능과 고속 자동 초점 기능을 구현했다. 뿐만 아니라 두 개 이미지의 합성을 통한 저조도 밝기 보정, 넓은 계조 표현, 고해상도 달성과 같은 화질 개선 기능을 구현하려고 시도했다. 그러나 완성도는 미흡한 수준으로 평가받고 있다.
향후, 듀얼 카메라 모듈이 채용된 전자 디바이스의 출시가 점차적으로 늘어날 것이며, 이에 따라 그 시장이 확대될 것으로 전망된다.
종래, 시장에 출시된 제품의 경우, 단순히 싱글 카메라 모듈 두 개를 금속 브라켓에 실장하여 듀얼 카메라 모듈 시스템을 구성하는 것이 일반적이다.
상기와 같은 종래 듀얼 카메라 모듈 구성의 경우, 싱글 카메라 모듈 대비 소비 전류가 2배 정도가 되는 문제점과, 카메라 모듈의 실장 면적도 2배 정도가 되는 문제점이 있다.
하기 선행기술문헌들은, 전술한 종래의 기술적인 해결과제에 대한 해결책을 개시하고 있지 않다.
한국 공개특허 제2008-0073073호 공보
본 발명의 일 실시 예는, 기존의 듀얼 카메라 모듈에 비해, 소비 전력을 줄일 수 있고, 사이즈도 줄일 수 있는 이미지 센서 모듈 및 듀얼 카메라 모듈을 제공한다.
본 발명의 일 실시 예에 의해, 제1 면과 상기 제1 면의 반대면인 제2 면을 갖는 다층 기판; 상기 다층 기판의 제1 면에 실장된 제1 이미지 센서칩 및 제2 이미지 센서칩을 갖는 이미지 센서칩; 및 상기 다층 기판의 내부에 배치되어, 상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각과 전기적으로 연결된 디지털 회로 칩; 을 포함하는 이미지 센서 모듈이 제안된다.
본 과제의 해결 수단에서는, 하기 상세한 설명에서 설명되는 여러 개념들 중 하나가 제공된다. 본 과제 해결 수단은, 청구된 사항의 핵심 기술 또는 필수적인 기술을 확인하기 위해 의도된 것이 아니며, 단지 청구된 사항들 중 하나가 기재된 것이며, 청구된 사항들 각각은 하기 상세한 설명에서 구체적으로 설명된다.
본 발명의 일 실시 예에 의하면, 기존의 듀얼 카메라 모듈에 비해, 디지털 회로 칩을 하나로 싱글화시켜 다층 기판에 임베디드시킴으로써, 소비 전력을 줄일 수 있고, 사이즈도 줄일 수 있는 효과가 있다.
또한, 싱글의 디지털 회로 칩에서 2개의 이미지 센서칩에 대한 동기화를 수행할 수 있어서, 호스트에서 프레임 동기를 맞추기 위한 지연 시간이 불필요하여 실시간 이미지 합성 처리에 유리하며, 이미지 합성 과정에서 발생할 수 있는 모션 블러(motion blur)와 같은 결함을 방지할 수 있다.
뿐만 아니라, 디지털 회로 칩이 전-처리(pre-processing)된 완료된 출력을 제공할 수 있어서, 호스트의 계산 부하를 줄일 수 있고, 소비 전류도 줄일 수 있으며, 실시간 이미지 정렬을 수행하여 이미지 합성 품질도 개선할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈이 적용된 전자 디바이스의 외관 사시도이다.
도 2는 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈에 대한 일 예시를 보이는 분해 사시도이다.
도 3은 본 발명의 일 실시 예에 따른 이미지 센서 모듈의 단면 구조도이다.
도 4는 본 발명의 일 실시 예에 따른 이미지 센서칩의 배치도이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서 모듈의 접속 구조를 보이는 도면이다.
도 6은 본 발명의 일 실시 예에 따른 디지털 회로 칩의 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 디지털 회로 칩의 동작 순서에 대한 일 예시를 보이는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 디지털 회로 칩의 동작 순서에 참조되는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈의 조립 예시도이다.
이하에서는, 본 발명은 설명되는 실시 예에 한정되지 않으며, 본 발명의 정신 및 범위를 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다.
또한, 본 발명의 각 실시 예에 있어서, 하나의 예로써 설명되는 구조, 형상 및 수치는 본 발명의 기술적 사항의 이해를 돕기 위한 예에 불과하므로, 이에 한정되는 것이 아니라 본 발명의 정신 및 범위를 벗어나지 않으면서 다양하게 변경될 수 있음이 이해되어야 한다. 본 발명의 실시 예들은 서로 조합되어 여러 가지 새로운 실시 예가 이루어질 수 있다.
그리고, 본 발명에 참조된 도면에서 본 발명의 전반적인 내용에 비추어 실질적으로 동일한 구성과 기능을 가진 구성요소들은 동일한 부호를 사용할 것이다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위해서, 본 발명의 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈이 적용된 전자 디바이스의 외관 사시도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈이 적용된 전자 디바이스는 듀얼 카메라 모듈(110)을 포함할 수 있다. 여기서, 도 1에 도시된 듀얼 카메라 모듈(110)은 일 예시로서, 그 배치 위치나 형태는 특별히 한정되지는 않는다.
도 2는 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈에 대한 일 예시를 보이는 분해 사시도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈은 케이스(200), 홀더부(300), 렌즈 모듈(400) 및 이미지 센서 모듈(500)를 포함할 수 있다.
상기 이미지 센서 모듈(500)는 다층 기판(501), 제1 이미지 센서칩(510) 및 제2 이미지 센서칩(520)을 갖는 이미지 센서칩(502), 디지털 회로 칩(530)을 포함할 수 있다. 여기서, 상기 제1 이미지 센서칩(510)은 메인 카메라(main camera)용 이미지 센서칩일 경우, 상기 제2 이미지 센서칩(520)은 서브 카메라(sub camera)용 이미지 센서칩이 될 수 있고, 그 반대로도 될 수 있다.
상기 제1 이미지 센서칩(510) 및 제2 이미지 센서칩(520)은 다층 기판(501)에 서로 일정 간격 이격되어 실장될 수 있다. 또한, 상기 이미지 센서 모듈(500)의 일측에는 호스트(Host)와 전기적으로 연결하기 위한 커넥터부(CON)가 마련될 수 있다. 이때, 상기 커넥터부(CON)를 통해서 상기 이미지 센서 모듈은 호스트로부터 동작에 필요한 전운, 클럭 및 제어신호를 제공받을 수 있고, 상기 이미지 센서 모듈은 상기 호스트로 카메라 신호 및 거리정보를 제공할 수 있다.
일 예로, 상기 커넥터부(CON)는 상기 이미지 센서 모듈(500)에 연성 프린트 회로(FPC: Flexible Printed Circuit)를 통해 연결될 수 있다.
상기 다층 기판(501)은 도 3에 도시된 바와 같이, 일 예로, 복수의 층으로 이루어지는 인쇄 회로 기판(PCB)이 될 수 있으며, 그 내부에 디지털 회로 칩(530)이 내장되어, 상기 제1 이미지 센서칩(510) 및 제2 이미지 센서칩(520)과 전기적으로 연결될 수 있으며, 이에 대해서는 하기에 더 자세히 설명된다.
상기 홀더부(300)는 제1 및 제2 액추에이터 홀더(310, 320)를 포함할 수 있다. 상기 제1 및 제2 액추에이터 홀더(310, 320)는 도 2에 도시된 바와 같이, 일체형으로 형성될 수 있으며, 도 2의 도시와는 달리 분리형으로 형성될 수 있다.
상기 렌즈 모듈(400)은 제1 및 제2 렌즈 조립체(410, 420)를 포함할 수 있다. 상기 제1 및 제2 렌즈 조립체(410, 420) 각각은 제1 및 제2 액추에이터 홀더(310, 320)에 수용될 수 있다.
상기 이미지 센서 모듈(500)의 제1 이미지 센서칩(510) 상에는 제1 렌즈 조립체(410)와 결합된 제1 액추에이터 홀더(actuator holder, 310)가 실장될 수 있고, 이미지 센서 모듈(500)의 제2 이미지 센서칩(520) 상에는 제2 렌즈 조립체(420)와 결합된 제2 액추에이터 홀더(320)가 실장될 수 있다.
여기서, 상기 제1 및 제2 액추에이터 홀더(310, 320)는 접착제에 의해 다층 기판(501)과 결합될 수 있다.
상기 케이스(200)는 제1 및 제2 액추에이터 홀더(310, 320)를 내부에서 지지 및 고정할 수 있고, 일 예로, 열 변형이 적은 금속 재질로 제작될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 이미지 센서 모듈의 단면 구조도이다.
도 1 내지 도 3을 참조하면, 상기 다층 기판(501)은 제1 면(예, 상면)과 상기 제1 면의 반대면인 제2 면(예, 하면)을 포함하고, 상기 제1 면과 제2 면 사이에 적층된 복수의 층을 포함할 수 있다.
상기 이미지 센서칩(502)은 상기 다층 기판(501)의 제1 면에 실장된 제1 이미지 센서칩(510) 및 제2 이미지 센서칩(520)을 포함할 수 있다.
상기 디지털 회로 칩(530)(예, 디지털 프로세서 IC)은 상기 다층 기판(501)의 내부에 배치되어, 상기 제1 이미지 센서칩(510) 및 상기 제2 이미지 센서칩(520) 각각과 전기적으로 연결될 수 있다.
도 3에 도시된 바와 같이, 이미지 센서칩(502)의 제1 및 제2 이미지 센서칩(510,520)은 다층 기판(501) 상부에 와이어 본딩(wire bonding) 공법으로 실장될 수 있고, 공통의 싱글의 디지털 회로 칩(530)은 다층 기판(501)의 내부에 배치되어 질 수 있다. 공통의 싱글의 디지털 회로 칩(530)을 다층 기판(501)의 내부에 배치함으로써 두 개의 제1 및 제2 이미지 센서칩(510,520) 사이의 간격을 더욱 줄이는 것이 가능해진다. 공통의 디지털 회로 칩(530)은 하기에 설명되는 복수의 비아를 통해서 다층 기판에 실장된 제1 및 제2 이미지 센서칩(510,530)과 전기적으로 연결이 가능해진다.
일 예로, 제1 및 제2 이미지 센서칩(510,520)과 공통의 디지털 회로 칩(530)은 MIPI(Mobile Industry Processor Interface) 혹은 Sub-LVDS(Low Voltage Differential Signaling)와 같은 고속의 시리얼 통신으로 이미지 데이터를 전송할 수 있다.
또한, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈은 촬상부를 나타내는 픽셀 배열과 픽셀을 구동하는 아날로그 회로 소자를 65nm 이상 일반 반도체 공정을 이용하여 소형 이미지 센서칩으로 구현하는 것이 가능하며, 공통의 디지털 회로 칩을 IC로 구현하는 경우 28nm 이하의 미세 반도체 공정을 이용하여 소비전류가 낮은 IC를 구현하는 것이 용이해진다.
상기 이미지 센서 모듈(500)은, 제1 배선(EL1), 제1 비아(VIA1) 및 제1 도체라인(CL1)을 더 포함할 수 있고, 상기 이미지 센서 모듈(500)는, 제2 배선(EL2), 제2 비아(VIA2) 및 제2 도체라인(CL2)을 더 포함할 수 있다.
상기 제1 배선(EL1)은 상기 다층 기판(501)의 내부에 배치되어, 상기 디지털 회로 칩(530)과 제1 비아(VIA1)를 연결한다. 상기 제1 비아(VIA1)는 상기 다층 기판(501)의 내부에 배치된 제1 배선(EL1)에 연결되어, 상기 다층 기판(501)의 내부에서 상기 다층 기판(501)의 제1 면까지 연장되어 형성된다. 상기 제1 도체라인(CL1)은, 상기 제1 비아(VIA1) 및 상기 제1 이미지 센서칩(510)을 연결한다.
상기 제2 배선(EL1)은 상기 다층 기판(501)의 내부에 배치되어, 상기 디지털 회로 칩(530)과 제2 비아(VIA2)를 연결한다. 상기 제2 비아(VIA2)는 상기 다층 기판(501)의 내부에 배치된 제2 배선(EL2)에 연결되어, 상기 다층 기판(501)의 내부에서 상기 다층 기판(501)의 제1 면까지 연장되어 형성된다. 상기 제2 도체라인(CL2)은, 상기 제2 비아(VIA2) 및 상기 제2 이미지 센서칩(520)을 연결한다.
또한, 상기 이미지 센서 모듈(500)는, 제3 비아(VIA3), 제4 비아(VIA4), 제3 도체라인(CL3) 및 제4 도체라인(CL4)을 포함할 수 있다.
상기 제3 비아(VIA3)는 그 일단이 상기 제1 이미지 센서칩(510)에 연결된 제3 도체라인(CL3)에 연결되고, 그 타단은 상기 다층 기판(501)의 내부에 형성된 도체 영역(CA)에 연결되어 있다.
상기 제4 비아(VIA4)는 그 일단이 상기 제2 이미지 센서칩(520)에 연결된 제4 도체라인(CL4)에 연결되고, 그 타단은 상기 다층 기판(501)의 내부에 형성된 도체 영역(CA)에 연결되어 있다.
일 예로, 상기 다층 기판(501)의 적층구조에 대해 설명한다.
도 3을 참조하면, 상기 다층 기판(501)은 제1 면에서 제2 면 방향으로 적층된 제1 층(LY1)과, 제2 층(LY2)과, 제3 층(LY3)과, 제4 층(LY4)과, 제5 층(LY5)을 포함할 수 있다.
상기 제1 층(LY1)에는 내부의 제1 내지 제4 비아와 전기적인 연결을 위한 상부 패드가 형성되며, 그 외 영역에는 절연층(DLY1)이 형성될 수 있다.
상기 제2 층(LY2)에는 코어층으로 복수의 제1 내지 제4 비아가 형성되고, 상기 디지털 회로 칩(530)이 내장될 수 있다.
상기 제3 층(LY3)에는 상기 제1 및 제4 비아와 상기 디지털 회로 칩(530)을 연결하는 내부 패드가 형성될 수 있다.
상기 제4 층(LY4)에는 상기 제3 및 제4 비아에 연결되는 도체 영역(CA)이 형성될 수 있다.
상기 제5 층(LY5)에는 절연층(DLY2)이 형성될 수 있다.
여기서, 상기 도체 영역(CA) 및 상기 디지털 회로 칩(530)의 중간영역에 연결된 도체 영역은, 전원, 외부 클럭 및 제어신호를 제공받거나, 이미지 데이타 및 거리정보를 제공하기 위해 상기 커넥터부(CON)를 통해 호스트와 연결될 수 있다.
상기 다층 기판(501)은 전술한 적층구조의 예시에 한정되지 않으며, 상기 디지털 회로 칩(530)을 내부에 포함할 수 있는 구조이면 특정한 구조로 한정될 필요는 없다.
도 4는 본 발명의 일 실시 예에 따른 이미지 센서칩의 배치도이다.
도 4를 참조하면, 상기 이미지 센서칩(502)은, 전술한 바와 같이, 상기 다층 기판(501)의 제1 면에 실장된 제1 이미지 센서칩(510) 및 제2 이미지 센서칩(520)을 포함한다.
상기 제1 이미지 센서칩(510) 및 제2 이미지 센서칩(520) 각각에는 픽셀 배열 영역과 픽셀들을 구동하기 위한 아날로그 회로 소자들만이 배치될 수 있다.
그리고, 다층 기판(501)의 내부에 포함되는 디지털 회로 칩(530)에 메모리, 신호 처리부, 출력 인터페이스 등과 같은 로직부 회로들이 배치될 수 있다.
이와 같이, 본 발명의 일 실시 예에 따르면, 두 개의 제1 및 제2 이미지 센서칩(510,520)의 출력 신호를 처리하는 디지털 회로 칩(530)을 공통 블록으로 다층 기판의 내부에 임베디드(embeded)시킴으로써, 기존의 듀얼 카메라 모듈과 달리 이미지 센서 모듈의 면적을 줄일 수 있게 된다. 또한, 본 발명의 일 실시 예에 따르면 이미지 센서 모듈의 면적을 줄일 수 있을 뿐만 아니라, 두 제1 및 제2 이미지 센서칩(510,520) 사이의 간격을 줄일 수 있어서 듀얼 카메라 모듈을 더욱 더 소형으로 제작이 가능해진다.
이하, 제1 이미지 센서칩(510)의 일 예시에 대해 설명한다.
상기 제1 이미지 센서칩(510)은 제1 픽셀 어레이(511), 열 구동부(512), 행 구동부(513), 제어부(Cont1), A/D 변환부(514), 클럭 생성부(515), 전압 생성부(516), 출력 인터페이스(517) 및 패드(PAD)(518)를 포함할 수 있다.
상기 제1 픽셀 어레이(511)는 행렬 형태로 배치되는 M(2이상의 자연수)행 N(2이상의 자연수)열의 복수의 픽셀을 포함할 수 있고, 복수의 픽셀 각각에는 포토 다이오드가 구비될 수 있다.
또한, 상기 제1 픽셀 어레이(511)는 다층 기판(501) 상에서 절연층(DYL1)에 의해 다층 기판(501)과 일정 거리 이격되어 배치될 수 있다. 그리고, 상기 제1 픽셀 어레이(511)는 빨강색(red), 녹색(green), 파랑색(blue) 형태의 RGB 포맷의 컬러 픽셀 어레이일 수 있다.
상기 제어부(Cont1)는 상기 열 구동부(512) 및 행 구동부(513)를 통해서, 이미지 센서칩의 픽셀 배열에서 노출 및 판독을 수행할 행과 열을 제어할 수 있다.
상기 열 구동부(512)는 상기 제어부(Cont1)의 제어에 따라, 상기 제1 픽셀 어레이(511)의 행렬 형태로 배치되는 복수의 픽셀 중 열 방향으로 배치되는 픽셀을 선택하고, 이 선택된 열 방향의 픽셀을 구동할 수 있다. 상기 행 구동부(513)는, 상기 제어부(Cont1)의 제어에 따라, 제1 픽셀 어레이(511)의 행렬 형태로 배치되는 복수의 픽셀 중 행 방향으로 배치되는 픽셀을 선택하고, 이 선택된 행 방향의 픽셀을 구동할 수 있다.
상기 A/D 변환부(514)는 상기 제1 픽셀 어레이(511)로부터 샘플링된 아날로그 신호를 디지털 신호로 변환하여 기준 이미지(reference image)를 생성하는 ADC(Analog-to-Digital Converter)를 포함할 수 있다.
일 예로, 상기 A/D 변환부(514)는 비교기 및 카운터를 포함할 수 있으며, 상기 비교기는 상기 기준전압과 상기 아날로그 신호를 비교하여 그 비교결과 신호를 출력할 수 있고, 상기 카운터는 상기 비교결과 신호를 카운트하여, 그 카운트값에 해당되는 디지털 신호를 생성할 수 있다.
여기서, 상기 A/D 변환부(514)는 상기 제1 픽셀 어레이(511)의 포토 다이오드로부터 출력되는 전압을 샘플링하기 위한 CDS(Correlated Double Sampling) 회로로부터 상기 샘플링된 아날로그 신호를 제공받을 수 있다.
상기 클럭 생성부(515)는 일 예로 PLL(Phase Locked Loop) 회로 및 타이밍 발생기(Timing Generator, T/G) 회로를 포함하고 있다.
상기 PLL(Phase Locked Loop) 회로는 외부로부터 입력되는 외부 클럭 신호로부터 내부 클럭 신호를 생성할 수 있다. 상기 타이밍 발생기(Timing Generator, T/G) 회로는 제2 픽셀 어레이(521)의 복수의 픽셀 각각의 포토 다이오드의 노출 시간 타이밍, 리셋(reset) 타이밍, 판독 타이밍 및 프레임 출력 타이밍 등과 같은 타밍을 제어할 수 있다.
상기 전압 생성부(516)는 외부로부터 인가되는 전원을 통해 기준 전압 및 동작전압을 생성할 수 있고, 열 구동부(512), 행 구동부(513) 및 A/D 변환부(514)에 제공할 수 있다.
상기 출력 인터페이스(517)는 제1 픽셀 어레이(511)로부터의 신호를 상기 디지털 회로 칩(530)으로 출력할 수 있다. 상기 출력 인터페이스(517)는 제1 이미지 센서칩(510)의 출력부에 해당하는 회로로서 주로 MIPI 통신이 사용되고 있다.
그리고, 상기 패드(PAD)(518)는 제1 픽셀 어레이(511)에 외부로부터 인가되는 전원을 공급하고, 제1 픽셀 어레이(511)를 디지털 회로 칩(530)과 전기적으로 연결하여 데이터 및 신호를 전달할 수 있다.
이하, 제2 이미지 센서칩(520)의 일 예시에 대해 설명한다.
상기 제2 이미지 센서칩(520)은 제2 픽셀 어레이(521), 열 구동부(522), 행 구동부(523), 제어부(Cont2), A/D 변환부(524), 클럭 생성부(525), 전압 생성부(526), 출력 인터페이스(527) 및 패드(PAD)(528)를 포함할 수 있다.
상기 제2 픽셀 어레이(521)는 행렬 형태로 배치되는 M(2이상의 자연수)행 N(2이상의 자연수)열의 복수의 픽셀을 포함할 수 있고, 복수의 픽셀 각각에는 포토 다이오드가 구비될 수 있다.
또한, 상기 제2 픽셀 어레이(521)는 다층 기판(501) 상에서 절연층(DYL1)에 의해 다층 기판(501)과 일정 거리 이격되어 배치될 수 있다. 그리고, 상기 제2 픽셀 어레이(521)는 빨강색(red), 녹색(green), 파랑색(blue) 형태의 RGB 포맷의 컬러 픽셀 어레이일 수 있다.
상기 제어부(Cont2)는 상기 열 구동부(522) 및 행 구동부(523)를 통해서, 이미지 센서칩의 픽셀 배열에서 노출 및 판독을 수행할 행과 열을 제어할 수 있다.
상기 열 구동부(522)는 상기 제어부(Cont2)의 제어에 따라, 상기 제2 픽셀 어레이(521)의 행렬 형태로 배치되는 복수의 픽셀 중 열 방향으로 배치되는 픽셀을 선택하고, 이 선택된 열 방향의 픽셀을 구동할 수 있다. 상기 행 구동부(523)는 상기 제어부(Cont2)의 제어에 따라 제2 픽셀 어레이(521)의 행렬 형태로 배치되는 복수의 픽셀 중 행 방향으로 배치되는 픽셀을 선택하고, 이 선택된 행 방향의 픽셀을 구동할 수 있다.
상기 A/D 변환부(524)는 상기 제2 픽셀 어레이(521)로부터 샘플링된 아날로그 신호를 디지털 신호로 변환하여 기준 이미지(reference image)를 생성하는 ADC(Analog-to-Digital Converter)를 포함할 수 있다.
일 예로, 상기 A/D 변환부(524)는 비교기 및 카운터를 포함할 수 있으며, 상기 비교기는 상기 기준전압과 상기 아날로그 신호를 비교하여 그 비교결과 신호를 출력할 수 있고, 상기 카운터는 상기 비교결과 신호를 카운트하여, 그 카운트값에 해당되는 디지털 신호를 생성할 수 있다.
여기서, 상기 A/D 변환부(524)는 상기 제2 픽셀 어레이(521)의 포토 다이오드로부터 출력되는 전압을 샘플링하기 위한 CDS(Correlated Double Sampling) 회로로부터 상기 샘플링된 아날로그 신호를 제공받을 수 있다.
상기 클럭 생성부(525)는, 일 예로 PLL(Phase Locked Loop) 회로 및 타이밍 발생기(Timing Generator, T/G) 회로를 포함하고 있다.
상기 PLL(Phase Locked Loop) 회로는 외부로부터 입력되는 외부 클럭 신호로부터 내부 클럭 신호를 생성할 수 있다. 상기 타이밍 발생기(Timing Generator, T/G) 회로는 제2 픽셀 어레이(521)의 복수의 픽셀 각각의 포토 다이오드의 노출 시간 타이밍, 리셋(reset) 타이밍, 판독 타이밍 및 프레임 출력 타이밍 등과 같은 타밍을 제어할 수 있다.
상기 전압 생성부(526)는 외부로부터 인가되는 전원을 통해 기준 전압 및 동작전압을 생성할 수 있고, 열 구동부(522), 행 구동부(523) 및 A/D 변환부(524)에 제공할 수 있다.
상기 출력 인터페이스(527)는 제2 픽셀 어레이(521)로부터의 신호를 상기 디지털 회로 칩(530)으로 출력할 수 있다. 상기 출력 인터페이스(527)는 제2 이미지 센서칩(520)의 출력부에 해당하는 회로로서 주로 MIPI 통신이 사용되고 있다.
그리고, 상기 패드(PAD)(528)는 제2 픽셀 어레이(521)에 외부로부터 인가되는 전원을 공급하고, 제2 픽셀 어레이(521)를 디지털 회로 칩(530)과 전기적으로 연결하여 데이터 및 신호를 전달할 수 있다.
전술한 바와 같이 상기 출력 인터페이스(517,527)는 디지털 회로 칩(530)과 전기적으로 연결될 수 있다.
도 4를 참조하면, 상기 제2 이미지 센서칩은, 상기 제1 이미지 센서칩(510)의 핀 배치와 상기 제2 이미지 센서칩(520)의 핀 배치가 점대칭이도록 상기 제1 이미지 센서칩(510)에 대해 회전되어 상기 다층 기판의 제1면에 실장될 수 있다.
이와 같은 핀 배치는 도 5를 참조하여 설명되는 바와 같이, 상기 제1 이미지 센서칩(510) 및 제2 이미지 센서칩(520) 각각과 디지털 회로 칩(530)과의 전기적인 접속을 용이하게 할 수 있도록 한다.
도 1 내지 도 4를 참조하면, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈의 이미지 픽셀 배열은 저조도 화질 개선 혹은 거리정보를 이용한 응용 목적으로는 RGB + Mono 센서 조합이 대표적이지만, RGB + RGB 센서 조합일 수도 있다. 또한 고화질의 줌 성능을 달성하기 위한 응용 목적으로는 RGB + RGB 센서 조합일 수도 있다.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서 모듈의 접속 구조를 보이는 도면이다.
도 5를 참조하면, 상기 제1 이미지 센서칩(510)은 1,2,26 및 27 핀을 통해 상기 디지털 회로 칩(530)의 L1,L2,..., L26 및 L27 핀에 연결되고, 상기 제2 이미지 센서칩(520)은 1,2,26 및 27 핀을 통해 상기 디지털 회로 칩(530)의 R1,R2,..., R26 및 R27 핀에 연결될 수 있다.
또한, 상기 디지털 회로 칩(530)에는 복수의 일측 핀(PA1) 및 복수의 타측 핀(PB1)이 배치되어 있으며, 상기 복수의 일측 핀(PA1)은 입력 패드로써, 상기 커넥터부(CON)에 접속되어 호스트로부터 전원, 클럭, 제어 신호를 입력받을 수 있다. 상기 복수의 타측 핀(PB1)은 출력 패드로써, 상기 커넥터부(CON)에 접속되어 호스트에 MIPI(Mobile Industry Processor Interface) 통신을 이용하여 이미지 데이타 및 거리 정보를 출력할 수 있다.
여기서, 제1 이미지 센서칩(510) 및 제2 이미지 센서칩(520) 각각의 1,2,...,26 및 27 핀은 동일한 기능을 수행하는 핀을 의미하고, 양측에 배치된 상기 디지털 회로 칩(530)의 L1,L2,...,L26 및 L27, 그리고 R1,R2,...,R26 및 R27 핀도 서로 동일한 기능을 수행하는 핀을 의미한다.
전술한 바와 같이, 하나의 상기 디지털 회로 칩(530)과 2개의 제1 이미지 센서칩(510) 및 제2 이미지 센서칩(520)을 전기적으로 연결하기 위해서는, 상기 제1 이미지 센서칩(510)의 핀 배치는 상기 제2 이미지 센서칩(520)의 핀 배치와 점대칭으로 이루어지는 것이 유리할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 디지털 회로 칩의 블록도이다.
도 6을 참조하면, 상기 디지털 회로 칩(530)은 동기화부(531), 신호 처리부(532), 메모리(533), 버퍼(534), 거리정보 생성부(535) 및 출력 인터페이스(536)를 포함할 수 있다.
상기 동기화부(531)는 상기 제1 이미지 센서칩(510) 및 상기 제2 이미지 센서칩(520) 각각의 동작을 동기화 할 수 있다. 또한, 상기 동기화부(531)는 상기 제1 이미지 센서칩(510) 및 상기 제2 이미지 센서칩(520) 각각으로부터의 신호에 대해, 노출 조절, 라인 동기(Line Sync) 및 프레임 동기(frame Sync)를 수행할 수 있다.
일 예로, 동기화부(531)는, 디지털 회로 칩(530)에 포함되는 신호 처리부에서 두 개의 이미지 센서칩의 픽셀들의 노출 시간(예, 시작 및 종료)을 동일하게 제어하는 것이 가능하고, 라인 판독타이밍도 동일하게 제어하는 것이 가능하다.
즉, 제1 및 제2 픽셀 어레이(511,521)의 동일 라인은 동일한 시간에 노출이 시작되고 종료되며, 동일한 시간에 동일 라인이 판독되어 동기화부(531)를 통해 신호 처리부(532)로 전송된다. 제1 및 제2 픽셀 어레이(511,521) 각각의 프레임 동기를 맞추기 위해서 동기화부(531)에서 프레임 동기화를 위한 제어 기능도 수행하게 된다. 예를 들어, 이미지 센서칩의 픽셀 라인을 판독한 후 두 개의 제1 및 제2 픽셀 어레이(511,521)의 라인 사이에 동기가 맞지 않은 부분에 대해서는 라인 블래킹(line blanking) 구간을 이용하여 두 개의 제1 및 제2 픽셀 어레이(511,521) 사이의 라인 동기를 맞추게 된다. 예를 들어, 이미지 센서칩의 픽셀 라인을 전부 판독한 후 두 개의 제1 및 제2 픽셀 어레이(511,521) 사이에 프레임 동기가 맞지 않은 부분에 대해서는 블래킹(blanking) 라인을 추가하거나 삭제하여 두 개의 제1 및 제2 픽셀 어레이(511,521) 사이의 프레임 동기를 맞추게 된다.
이에 따라, 종래 두 개의 별도 이미지 센서칩을 이용하여 구성된 두 개의 카메라 모듈들에서 요구되는 프레임 신호 동기화 문제를 해결할 수 있다. 즉, 종래 듀얼 카메라 모듈 구조에서는 기준 (reference) 카메라 모듈의 출력 프레임과 상대 (target) 카메라 모듈의 출력 프레임이 동일한 시점에서 노출 시간이 제어되어야 하고 동일한 시점에서 동일한 피사체 장면을 호스트로 전송할 수 있어야 이미지 합성이 정상으로 이루어지고, 거리정보 검출도 정확하게 수행될 수 있었다. 따라서, 종래 듀얼 카메라 모듈에서는 이러한 프레임 동기화를 위한 별도의 핀이 이미지 센서칩에 존재해서 하드웨어적으로 요구되는 형태로 핀 연결을 해야 할 뿐만 아니라 호스트에서 별도의 동기화 과정이라는 소프트웨어 처리를 거쳐야 하는 문제점이 있었다. 이와 같이, 호스트에서 수행되는 이러한 동기화 과정은 수 프레임의 동기화를 위한 지연 시간을 요구하는 경우도 있어서 실시간 이미지 합성이나 실시간 거리정보 산출이 요구되는 응용 분야에서는 적합하지 않게 된다.
본 발명의 일 실시 예에 따른 dual 카메라 모듈은, 전술한 바와 같은 종래의 문제점을 해결할 수 있으며, 공통의 디지털 회로 칩에서 동기화된 자동 노출뿐만 아니라 동기화된 자동 화이트 밸런스, 동기화된 자동 초점 기능을 지원하는 것이 용이해진다.
상기 신호 처리부(532)는, 상기 동기화부(531)를 통해 서로 동기화된 상기 제1 이미지 센서칩(510) 및 상기 제2 이미지 센서칩(520) 각각으로부터의 신호에 대해, 사전에 준비된 교정 정보(Calibration Information)를 이용하여 이미지 정렬(Image Rectification), 자동 노출(AE) 조절, 자동 초점(AF) 조절, 및 음영 왜곡 보상(LSC: Lens Shading Correction)을 처리할 수 있다.
이와 같은 동작을 위해서, 상기 신호 처리부(532)는, AE (Auto Exposure), AWB (Auto White Balance), AF (Auto Focus), LSC 엔진을 추가적으로 포함할 수 있다.
일 예로, 모노 센서의 경우, AWB 엔진은 필요 없으나 AE 엔진은 필수적으로 필요한 기능이다. 상기 신호 처리부(532)에서 AE를 수행하여 적정 밝기 출력을 갖는 이미지 센서 모듈의 출력이 호스트로 전송되는 경우, 호스트에서는 이미지 합성 처리를 위한 전-처리(pre-processing) 부담이 사라져서 계산 부하가 크게 감소할 수 있다. 특별히, 모노 센서의 경우에는 AE 엔진, AF 엔진을 거친 이미지가 호스트로 나가게 되면 호스트에서는 칼라 센서 출력 신호에 대해서만 전-처리(pre-processing) 및 칼라 이미지 처리를 수행하면 되므로 계산 부하가 크게 감소하는 것이 기대된다.
상기 메모리(533)는 사전에 준비된 상기 교정 정보를 저장할 수 있다. 일 예로, 상기 메모리(533)는 OTP (One-Time Programmable) 메모리가 될 수 있고, 상기 OTP 메모리에는 이미지 정렬 과정에서 요구되는 기준 이미지 대비 상대 이미지의 피치(pitch), 요(yaw), 롤(roll) 회전량과 X축, Y축, Z축 이미지 시프트(shift)량을 교정(calibration) 제조 과정에서 교정(calibration) 값으로 기록할 수 있다.
이러한 OTP 메모리에 저장된 고정 교정(static calibration) 값들은 신호 처리부의 이미지 정렬 (image rectification) 연산 과정에서 사용될 수 있다. 듀얼(Dual) 카메라 모듈이 세트에 조립, 실장되는 경우 세트 내부 기구적 스트레스 혹은 세트 내부의 발열 영향으로 듀얼 카메라의 제조 당시 정렬(alignment) 값들이 변화할 수 있게 된다.
한편, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈의 이미지 센서 모듈(500)의 OTP 메모리에 렌즈 쉐이딩 보정(lens shading correction)을 위한 교정(calibration) 데이터, AF 수행을 위한 교정(calibration) 데이터, AWB 수행을 위한 칼라(color) 센서의 R/G/B 픽셀 감도비를 측정한 교정(calibration) 데이터를 포함할 수 있다.
상기 렌즈 쉐이딩 보정(Lens shading correction)을 위한 교정(calibration) 데이터는 두 개 이미지 센서칩의 픽셀 영역 모두에 대해서 필요하며, AF 교정(calibration) 데이터도 두 개 이미지 센서칩의 픽셀 영역 모두에 대해서 필요하다. 반면에 모노 센서 영역을 포함하는 경우, AWB 수행을 위한 교정(calibration) 데이터는 모노 센서 영역에 대해서는 필요가 없게 된다.
다른 한편, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈은 싱글의 디지털 회로 칩의 내부에 존재하는 신호 처리부의 이미지 정렬 처리부에서 제조 과정에서 기록해 놓은 고정 교정(static calibration) 값들 이외에 이미지 센서 모듈의 출력 영상으로부터 동적 교정(dynamic calibration) 값들을 계산해서 보다 정교한 이미지 정렬을 수행할 수 있게 된다. 그 결과 보다 정확한 거리 맵을 산출할 수 있게 된다. 즉, 세트 내부에 조립된 상태에서 듀얼 카메라 모듈이 기동한 후 사용자가 포커스를 맞춘 후 캡쳐를 수행하는 순간에 입력된 두 개의 영상들을 비교, 분석하여 두 개의 영상들 사이에 상대적인 시프트(shift), 회전량을 측정하게 된다. 이러한 교정(calibration) 값들은 제조 과정에서 기록된 고정 교정(static calibration) 값과 다르고, 카메라 모듈의 조립 상태, 렌즈 포커스 위치, 자세 차에 따라 달라 질 수 있으므로 동적 교정(dynamic calibration) 값이라고 할 수 있다.
또한, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈은 동적 교정(dynamic calibration)을 실시간으로 수행하는 이미지 정렬 처리부를 내부에 구비하고 있으며, 이는 고정 교정(static calibration) 값과 동적 교정(dynamic calibration) 값을 비교하여 둘 가운데 신뢰도가 높은 값을 선택해서 이미지 정렬을 수행할 수도 있다. 그 결과 종래 고정 교정(static calibration) 정보만을 이용한 이미지 정렬 대비 보다 정확한 거리 맵 산출이 가능해진다.
상기 버퍼(534)는 상기 신호 처리부(532)로부터의 제1 이미지 및 제2 이미지를 임시 저장할 수 있다.
상기 거리정보 생성부(535)는 상기 버퍼(534)로부터 정렬된 이미지(제1 및 제2 이미지중 하나) 및 상대 이미지(제1 및 제2 이미지중 다른 하나)를 이용해서, 카메라 모듈(110)과 피사체의 거리정보를 생성할 수 있다.
상기 출력 인터페이스(536)는 상기 신호 처리부(532)로부터의 신호 및 상기 거리정보 생성부(450)로부터의 거리정보를 커넥터(CON)를 통해 호스트로 출력할 수 있다.
이때, 상기 출력 인터페이스(536)를 통해서 출력되는 신호는 메인 카메라 이미지, 서브 카메라 이미지의 두 개 이미지와 함께 거리정보 맵을 포함할 수도 있다. 예를 들어, 메인 카메라 이미지는 첫 번째 MIPI (Mobile Industry Processor Interface)포트를 이용하여 출력되고, 서브 카메라 이미지 는 두 번째 MIPI 포트를 이용하여 출력되고, 거리정보 맵은 두 개의 포트 가운데 어느 하나의 MIPI 가상 채널 (Virtual Channel)에 실려서 출력될 수 있다.
다른 실시 예로는 하나의 고속 MIPI 포트를 이용하여 메인 카메라 이미지, 서브 카메라 이미지, 거리 정보 맵 전부를 호스트로 출력할 수도 있다.
도 7은 본 발명의 일 실시 예에 따른 디지털 회로 칩의 동작 순서에 대한 일 예시를 보이는 도면이고, 도 8은 본 발명의 일 실시 예에 따른 디지털 회로 칩의 동작 순서에 참조되는 도면이다.
도 7 및 도 8을 참조하면, 상기 디지털 회로 칩(530)은 상기 제1 이미지 센서칩(510) 및 상기 제2 이미지 센서칩(520)으로부터 미가공된 제1 및 제2 이미지(Raw image)를 획득한다(S100).
상기 디지털 회로 칩(530)은 상기 미가공된 제1 및 제2 이미지(Raw image) 각각에 대해 왜곡 보정(Undistortion)을 수행한다(S200).
상기 디지털 회로 칩(530)은 상기 왜곡 보정된 제1 및 제2 이미지에 대해 정렬(Rectification)을 수행한다(S300).
상기 디지털 회로 칩(530)은 필요한 경우에는 상기 정렬된 제1 및 제2 이미지를 크롭(crop)하여 획득할 수 있다(S400).
그리고, 상기 디지털 회로 칩(530)은 상기 일련의 동작을 동기화 활 수 있다.
도 9는 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈의 조립 예시도이다. 도 9를 참조하면, 본 발명의 일 실시 예에 따른 듀얼 카메라의 이미지 센서칩(510,520)이 PCB (Printed Circuit Board, 인쇄 회로 기판) 등의 다층 기판(501) 위에 실장되고, 다층 기판(501)의 내부에 공통의 디지털 회로 칩(530)이 배치되어 있다.
이와 같이, 상기 다층 기판에 디지털 회로 칩(530)이 내장됨에 따라, 기존에 내장되지 않은 경우에 비해, 듀얼 카메라 모듈이 소형으로 제작될 수 있다는 장점이 있다.
본 발명의 일 실시 예에 따른 듀얼 카메라 모듈의 싱글 이미지 센서칩(502)을 적용하는 경우, 두 개의 제1 및 제2 이미지 센서칩(510,520)의 각 픽셀 배열 사이의 간격 (baseline)이 종래 방식의 독립된 두 개의 이미지 센서칩을 적용하는 경우 대비 줄어들어서 소형의 듀얼 카메라 모듈의 제작이 용이해진다. 추가적으로 하나의 하우징에 두 개의 독립적으로 구동하는 액추에이터(actuator)를 구비한 싱글 하우징 액추에이터 구조를 적용하는 경우 더욱 소형의 듀얼 카메라 모듈을 제작하는 것이 보다 용이해진다.
또한, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈의 이미지 센서 모듈은 이미지 픽셀 배열들과 픽셀을 구동하기 위한 아날로그 회로 소자들만으로 구성되며, 이러한 이미지 센서 모듈은 65nm 이상의 표준 반도체 공정을 이용하여 값싸게 제작을 할 수 있다. 반면에 공통의 디지털 회로 칩은 하나의 IC로 제작될 수 있고, 이 경우, 28nm 이하의 미세 반도체 공정을 이용하여 저전력을 달성 할 수 있게 된다.
전술한 바에 따르면, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈의 디지털 회로 칩(예, 디지털 프로세서 IC)는 내부에 AE, AWB, AF 엔진 및 LSC 엔진을 포함하는 경우, 전-처리(pre-processing)가 완료된 칼라 센서 및 모노 센서 출력을 디지털 회로 칩이 호스트로 제공할 수 있게 된다. 이렇게 전-처리(pre-processing)된 이미지 센서 모듈의 신호를 호스트 AP (Application Processor)에서 이용하는 경우, 호스트의 전-처리(pre-processing) 계산 부하가 크게 감소하여 결과적으로 듀얼 카메라 모듈의 이미지 합성을 위한 계산 부하를 크게 감소시킬 수 있게 된다.
또한, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈의 디지털 회로 칩은 노출 시간, 포커스 위치, 화이트 밸런스가 동기화된 기준 이미지와 상대 이미지를 이용해서 이미지 정렬을 수행한 후 정렬된 이미지들을 이용해서 내부에서 거리 검출을 수행하므로 호스트 AP에서 이미지 정렬 혹은 거리 검출에 소요되는 부가적인 연산 시간을 줄일 수 있게 된다. 그 결과 호스트 AP의 계산 부하를 줄여서 소비 전류도 줄일 수 있게 된다.
게다가, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈의 디지털 회로 칩은 촬영 순간에 입력된 두 개의 영상을 기반으로 동적 교정(dynamic calibration) 값을 산출하여 실시간 이미지 정렬을 수행할 수 있는 이미지 정렬 처리부를 포함하는 경우, 상기 동적 교정(dynamic calibration) 을 이용하여 이미지 정렬을 수행하는 경우 보다 정확한 거리정보 산출이 가능할 뿐만 아니라 이미지 합성 품질도 보다 우수해 질 수 있다.
그리고, 본 발명의 일 실시 예에 따른 듀얼 카메라 모듈의 디지털 회로 칩은 내부에 동기화부를 포함하고 있어서, 두개의 서로 다른 이미지 센서칩의 픽셀 배열들의 노출 시간 시작과 종료를 동일하게 가져갈 수 있고, 라인 동기, 프레임 동기를 손쉽게 달성할 수 있을 것으로 기대된다. 상기 동기화부를 포함하므로 호스트에서 프레임 동기를 맞추기 위한 지연 시간이 불필요하여 실시간 이미지 합성 처리에 유리하고 특별히 피사체가 움직이는 장면의 촬영 시에도 이미지 합성 과정에서 발생할 수 있는 모션 블러(motion blur)와 같은 결함이 발생하지 않게 된다.
410: 제1 렌즈 조립체
420: 제2 렌즈 조립체
400: 렌즈 모듈
500: 이미지 센서 모듈
501: 다층 기판
510: 제1 이미지 센서칩
520: 제2 이미지 센서칩
502: 이미지 센서칩
530: 디지털 회로 칩

Claims (16)

  1. 제1 면과 상기 제1 면의 반대면인 제2 면을 갖는 다층 기판;
    상기 다층 기판의 제1 면에 실장된 제1 이미지 센서칩 및 제2 이미지 센서칩을 갖는 이미지 센서칩; 및
    상기 다층 기판의 내부에 배치되어, 상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각과 전기적으로 연결된 디지털 회로 칩; 을 포함하고
    상기 제2 이미지 센서칩은
    상기 제1 이미지 센서칩의 핀 배치와 상기 제2 이미지 센서칩의 핀 배치가 점대칭이도록 상기 제1 이미지 센서칩에 대해 회전되어 상기 다층 기판의 제1면에 실장되는
    이미지 센서 모듈.
  2. 삭제
  3. 제1항에 있어서, 상기 이미지 센서는,
    상기 다층 기판의 내부에 배치되어, 상기 디지털 회로 칩에 연결된 제1 배선;
    상기 제1 배선에 접속되어, 다층 기판의 내부에서 상기 다층 기판의 제1 면까지 연장된 제1 비아;
    상기 제1 비아 및 상기 제1 이미지 센서칩을 연결하는 제1 도체라인;
    상기 다층 기판의 내부에 배치되어, 상기 디지털 회로 칩에 연결된 제2 배선;
    상기 제2 배선에 접속되어, 다층 기판의 내부에서 상기 다층 기판의 제1 면까지 연장된 제2 비아; 및
    상기 제2 비아 및 상기 제2 이미지 센서칩을 연결하는 제2 도체라인;
    를 포함하는 이미지 센서 모듈.
  4. 제1항에 있어서, 상기 디지털 회로 칩은
    상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각의 동작을 동기화 하는 동기화부를 포함하는 이미지 센서 모듈.
  5. 제1항에 있어서, 상기 디지털 회로 칩은
    상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각으로부터의 신호에 대해, 노출 조절, 라인 동기 및 프레임 동기를 수행하는 동기화부를 포함하는 이미지 센서 모듈.
  6. 제1항에 있어서, 상기 디지털 회로 칩은
    상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각으로부터 생성되는 두 이미지에 대해, 이미지 정렬, 자동 노출 조절, 자동 화이트 밸런스 조절, 자동 초점 조절, 및 음영 왜곡 보상을 처리하는 신호 처리부; 를 포함하는 이미지 센서 모듈.
  7. 제1항에 있어서, 상기 디지털 회로 칩은
    상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각으로부터의 신호에 대해, 노출 조절, 라인 동기 및 프레임 동기를 수행하는 동기화부;
    상기 동기화부를 통해 상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각으로부터의 신호에 대해, 사전에 준비된 교정 정보를 이용하여 이미지 정렬, 자동 노출 조절, 자동 화이트 밸런스 조절, 자동 초점 조절, 및 음영 왜곡 보상을 처리하는 신호 처리부;
    사전에 준비된 상기 교정 정보를 저장하는 메모리; 및
    상기 신호 처리부로부터의 제1 이미지 및 제2 이미지를 임시 저장하는 버퍼;
    상기 버퍼로부터 정렬된 기준 이미지 및 상대 이미지를 이용해서, 카메라 모듈과 피사체의 거리정보를 생성하는 거리정보 생성부; 및
    상기 신호 처리부로부터의 신호 및 상기 거리정보 생성부로부터의 거리정보를 호스트로 출력하는 출력 인터페이스;
    를 포함하는 이미지 센서 모듈.
  8. 제1항에 있어서, 상기 디지털 회로 칩은
    상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩으로부터 미가공된 제1 및 제2 이미지를 획득하고;
    상기 미가공된 제1 및 제2 이미지 각각에 대해 왜곡 보정을 수행하고;
    상기 왜곡 보정된 제1 및 제2 이미지에 대해 정렬을 수행하고;
    상기 정렬된 제1 및 제2 이미지를 크롭하여 획득하며,
    상기 일련의 동작을 동기화 하는 이미지 센서 모듈.
  9. 제1 렌즈 조립체 및 제2 렌즈 조립체를 갖는 렌즈 모듈;
    상기 제1 렌즈 조립체를 통한 이미지 및 상기 제2 렌즈 조립체를 통한 이미지 각각을 처리하는 이미지 센서 모듈; 를 포함하고,
    상기 이미지 센서 모듈은,
    제1 면과 상기 제1 면의 반대면인 제2 면을 갖는 다층 기판;
    상기 다층 기판의 제1 면에 실장되어, 상기 제1 렌즈 조립체로부터의 이미지를 처리하는 제1 이미지 센서칩 및 상기 제2 렌즈 조립체로부터의 이미지를 처리하는 제2 이미지 센서칩을 갖는 이미지 센서칩; 및
    상기 다층 기판의 내부에 배치되어, 상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각과 전기적으로 연결된 디지털 회로 칩; 을 포함하고,
    상기 제2 이미지 센서칩은
    상기 제1 이미지 센서칩의 핀 배치와 상기 제2 이미지 센서칩의 핀 배치가 점대칭이도록 상기 제1 이미지 센서칩에 대해 회전되어 상기 다층 기판의 제1면에 실장되는
    듀얼 카메라 모듈.
  10. 삭제
  11. 제9항에 있어서, 상기 이미지 센서 모듈은,
    상기 다층 기판의 내부에 배치되어, 상기 디지털 회로 칩에 연결된 제1 배선;
    상기 제1 배선에 접속되어, 다층 기판의 내부에서 상기 다층 기판의 제1 면까지 연장된 제1 비아;
    상기 제1 비아 및 상기 제1 이미지 센서칩을 연결하는 제1 도체라인;
    상기 다층 기판의 내부에 배치되어, 상기 디지털 회로 칩에 연결된 제2 배선;
    상기 제2 배선에 접속되어, 다층 기판의 내부에서 상기 다층 기판의 제1 면까지 연장된 제2 비아; 및
    상기 제2 비아 및 상기 제2 이미지 센서칩을 연결하는 제2 도체라인;
    를 포함하는 듀얼 카메라 모듈.
  12. 제9항에 있어서, 상기 디지털 회로 칩은
    상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각의 동작을 동기화 하는 동기화부를 포함하는 듀얼 카메라 모듈.
  13. 제9항에 있어서, 상기 디지털 회로 칩은
    상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각으로부터의 신호에 대해, 노출 조절, 라인 동기 및 프레임 동기를 수행하는 동기화부를 포함하는 듀얼 카메라 모듈.
  14. 제9항에 있어서, 상기 디지털 회로 칩은
    상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각으로부터 생성되는 두 이미지에 대해, 이미지 정렬, 자동 노출 조절, 자동 화이트 밸런스 조절, 자동 초점 조절, 및 음영 왜곡 보상을 처리하는 신호 처리부; 를 포함하는 듀얼 카메라 모듈.
  15. 제9항에 있어서, 상기 디지털 회로 칩은
    상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각으로부터의 신호에 대해, 노출 조절, 라인 동기 및 프레임 동기를 수행하는 동기화부;
    상기 동기화부를 통해 상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩 각각으로부터의 신호에 대해, 사전에 준비된 교정 정보를 이용하여 이미지 정렬, 자동 노출 조절, 자동 화이트 밸런스 조절, 자동 초점 조절, 및 음영 왜곡 보상을 처리하는 신호 처리부;
    사전에 준비된 상기 교정 정보를 저장하는 메모리; 및
    상기 신호 처리부로부터의 제1 이미지 및 제2 이미지를 임시 저장하는 버퍼;
    상기 버퍼로부터 정렬된 기준 이미지 및 상대 이미지를 이용해서, 카메라 모듈과 피사체의 거리정보를 생성하는 거리정보 생성부; 및
    상기 신호 처리부로부터의 신호 및 상기 거리정보 생성부로부터의 거리정보를 호스트로 출력하는 출력 인터페이스;
    를 포함하는 듀얼 카메라 모듈.
  16. 제9항에 있어서, 상기 디지털 회로 칩은
    상기 제1 이미지 센서칩 및 상기 제2 이미지 센서칩으로부터 미가공된 제1 및 제2 이미지를 획득하고;
    상기 미가공된 제1 및 제2 이미지 각각에 대해 왜곡 보정을 수행하고;
    상기 왜곡 보정된 제1 및 제2 이미지에 대해 정렬을 수행하고;
    상기 정렬된 제1 및 제2 이미지를 크롭하여 획득하며,
    상기 일련의 동작을 동기화 하는 듀얼 카메라 모듈.



KR1020160063449A 2016-05-24 2016-05-24 이미지 센서 모듈 및 듀얼 카메라 모듈 KR102505432B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160063449A KR102505432B1 (ko) 2016-05-24 2016-05-24 이미지 센서 모듈 및 듀얼 카메라 모듈

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160063449A KR102505432B1 (ko) 2016-05-24 2016-05-24 이미지 센서 모듈 및 듀얼 카메라 모듈

Publications (2)

Publication Number Publication Date
KR20170132495A KR20170132495A (ko) 2017-12-04
KR102505432B1 true KR102505432B1 (ko) 2023-03-03

Family

ID=60921252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160063449A KR102505432B1 (ko) 2016-05-24 2016-05-24 이미지 센서 모듈 및 듀얼 카메라 모듈

Country Status (1)

Country Link
KR (1) KR102505432B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769500A (zh) * 2018-08-23 2018-11-06 Oppo广东移动通信有限公司 一种感光芯片、摄像头模组及电子设备
KR20210007697A (ko) 2019-07-12 2021-01-20 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101132209B1 (ko) * 2011-10-28 2012-03-30 (주)에이직뱅크 입체 카메라 모듈 및 그 제조방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19613394C1 (de) * 1996-04-03 1997-10-02 Siemens Ag Bildaufnahmesystem und Verfahren zur Bildaufnahme
KR101316179B1 (ko) 2007-02-05 2013-10-08 엘지이노텍 주식회사 듀얼 카메라
KR101665560B1 (ko) * 2009-12-16 2016-10-13 삼성전자주식회사 이미지 센서 모듈과 이를 포함하는 장치들
KR20150039948A (ko) * 2013-10-04 2015-04-14 (주) 픽셀플러스 입체 영상 촬영 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101132209B1 (ko) * 2011-10-28 2012-03-30 (주)에이직뱅크 입체 카메라 모듈 및 그 제조방법

Also Published As

Publication number Publication date
KR20170132495A (ko) 2017-12-04

Similar Documents

Publication Publication Date Title
US9743051B2 (en) Thin form factor computational array cameras and modular array cameras
US10708492B2 (en) Array camera configurations incorporating constituent array cameras and constituent cameras
CN106921820B (zh) 图像传感器和相机模块
US9118850B2 (en) Camera system with multiple pixel arrays on a chip
US8174595B2 (en) Drive unit for image sensor, and drive method for imaging device
US20170223293A1 (en) Solid-state imaging device and electronic camera
CN107257446B (zh) 拍摄装置
JP6463944B2 (ja) 撮像素子、撮像装置及び携帯電話機
CN107786791B (zh) 图像传感器及包括该图像传感器的相机模块
KR102505432B1 (ko) 이미지 센서 모듈 및 듀얼 카메라 모듈
CN107360348B (zh) 图像传感器
JP2014179779A (ja) 撮像装置
US20150288916A1 (en) Integrated circuit device and image processing apparatus
JP2014225737A (ja) 撮像装置および信号補正方法
WO2022080467A1 (ja) 撮像素子、及び、撮像装置
WO2021066063A1 (ja) 撮像素子および撮像装置
JP6733714B2 (ja) 撮像装置
JP2020099082A (ja) 撮像装置
JP2018019441A (ja) 撮像装置および信号補正方法
JPH0993479A (ja) 撮像装置
JPH09200590A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right