KR102197083B1 - 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 - Google Patents

카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR102197083B1
KR102197083B1 KR1020140183339A KR20140183339A KR102197083B1 KR 102197083 B1 KR102197083 B1 KR 102197083B1 KR 1020140183339 A KR1020140183339 A KR 1020140183339A KR 20140183339 A KR20140183339 A KR 20140183339A KR 102197083 B1 KR102197083 B1 KR 102197083B1
Authority
KR
South Korea
Prior art keywords
image
signal
phase difference
unit
optical signal
Prior art date
Application number
KR1020140183339A
Other languages
English (en)
Other versions
KR20160074250A (ko
Inventor
문영섭
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020140183339A priority Critical patent/KR102197083B1/ko
Priority to US15/537,784 priority patent/US20180278828A1/en
Priority to PCT/KR2015/013751 priority patent/WO2016099128A1/ko
Publication of KR20160074250A publication Critical patent/KR20160074250A/ko
Application granted granted Critical
Publication of KR102197083B1 publication Critical patent/KR102197083B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

실시 예에 의한 카메라 모듈은 이미지 검출 화소로부터 획득된 제1 영상 신호 및 적어도 한 쌍의 위상차 검출 화소로부터 획득된 제2 영상 신호를 전기적 영상 신호로서 전송하는 이미지 센서 및 전기적 영상 신호로부터 제1 및 제2 영상 신호를 구분하여 추출하고, 추출한 제1 영상 신호로부터 복합 영상 신호를 재생하고, 추출한 제2 영상 신호로부터 초점값을 추출하는 영상 재생부를 포함하고, 이미지 센서는 수직 동기 신호의 매 단위 주기에서 상기 수평 동기 신호의 발생이 종료된 구간에서 제2 영상 신호를 전송한다.

Description

카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체{Camera module and image sensing method performed by this module, and recording medium for recording program performing the method}
실시 예는 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 관한 것이다.
일반적으로 카메라 모듈은 피사체에 대한 영상을 캡쳐하고, 캡쳐된 영상이 디스플레이될 수 있도록 가공하는 역할을 한다. 이를 위해 카메라 모듈은 영상을 캡쳐하는 이미지 센서와, 이미지 센서에서 캡쳐된 영상을 가공하는 영상 재생부로 구성될 수 있다.
또한, 카메라 모듈은 피사체를 촬영한 렌즈의 초점을 자동으로 조절하는 기능도 수행할 수 있다. 렌즈의 초점을 맞추기 위해, 이미지 센서는 위상차 검출 화소와 이미지 검출 화소를 포함할 수 있다. 위상차 검출 화소는 카메라 모듈의 초점을 맞추기 위해 이용되는 화소이고, 이미지 검출 화소는 캡쳐된 피사체의 영상에 대한 정보를 담은 화소이다.
이때, 위상차 검출 화소로부터 획득된 광 신호로부터 추출된 위상차에서 초점값을 맞추기 위해 사용되는 초점값을 구하는 다양한 논리부가 이미지 센서에 내장되어 배치된다. 이와 같이, 이미지 센서의 내부에 다양한 논리부들이 존재할 경우, 해당하는 논리부로부터 발생되는 열에 의해 이미지 센서에 잡음이 야기되거나 성능이 저하될 수 있다. 이는 고해상도의 카메라 모듈일수록 이러한 현상은 더욱 심각하게 대두될 수 있다.
실시 예는 개선된 성능을 갖는 카메라 모듈 및 이 모듈의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체를 제공한다.
실시 예에 의한 카메라 모듈은, 이미지 검출 화소로부터 획득된 제1 영상 신호 및 적어도 한 쌍의 위상차 검출 화소로부터 획득된 제2 영상 신호를 전기적 영상 신호로서 전송하는 이미지 센서; 및 상기 전기적 영상 신호로부터 상기 제1 및 제2 영상 신호를 구분하여 추출하고, 상기 추출한 제1 영상 신호로부터 복합 영상 신호를 재생하고, 상기 추출한 제2 영상 신호로부터 초점값을 추출하는 영상 재생부를 포함하고, 상기 이미지 센서는 상기 수직 동기 신호의 매 단위 주기에서 상기 수평 동기 신호의 발생이 종료된 구간에서 상기 제2 영상 신호를 전송할 수 있다.
상기 이미지 센서는 피사체에 대한 광 신호를 수신하는 광 수신부; 상기 광 신호가 상기 이미지 검출 화소와 상기 위상차 검출 화소 중 어느 화소로부터 획득되었는가를 구분하고, 상기 위상차 검출 화소로부터 획득된 상기 광 신호로부터 위상차를 추출하여 정리하는 위상차 정리부; 상기 이미지 검출 화소로부터 획득된 상기 광 신호를 복합 영상 신호에 맞도록 구성하는 타이밍 발생부; 및 상기 제1 및 제2 영상 신호 각각에 해당하는 상기 구성된 복합 영상 신호 및 상기 정리된 위상차를 상기 전기적 영상 신호로서 출력하는 출력부를 포함하고, 상기 출력부는 상기 수직 동기 신호의 매 단위 주기에서 상기 수평 동기 신호의 발생이 종료된 구간에서 상기 제2 영상 신호를 전송할 수 있다.
상기 이미지 센서는 상기 광 신호에 포함된 잡음을 제거하는 영상 처리부를 더 포함할 수 있다. 상기 영상 처리부는 상기 잡읍이 제거된 상기 광 신호에 소정의 이득을 승산하여 출력할 수 있다.
상기 광 수신부는 상기 광 신호를 디지털 형태로 변환할 수 있다.
상기 영상 재생부는 상기 이미지 센서로부터 수신한 상기 전기적 영상 신호로부터 상기 제1 및 제2 영상 신호를 구분하여 추출하고, 상기 추출한 제1 영상 신호로부터 상기 복합 영상 신호를 재생하여 화면을 구성하는 타이밍 처리부; 상기 타이밍 처리부에서 추출한 상기 제2 영상 신호로부터 상기 초점값을 추출하는 위상차 처리부; 및 상기 구성된 화면을 영상 처리하고, 상기 추출된 초점값을 이용하여 상기 광 신호의 초점을 제어하는 주 제어부를 포함할 수 있다.
상기 수평 동기 신호 및 상기 수직 동기 신호는 상기 복합 영상 신호를 매 프레임 단위로 재생할 때 사용될 수 있다.
또한, 상기 이미지 센서는 상기 이미지 검출 화소와 상기 위상차 검출 화소를 매트릭스 형태로 포함하고, 상기 수평 동기 신호 및 상기 수직 동기 신호는 상기 매트릭스 형태의 화소 중 원하는 화소를 선택할 때 사용될 수 있다.
상기 카메라 모듈은 상기 광 신호를 생성하는 광학부; 및 상기 초점값을 이용하여 상기 광학부를 제어하는 구동부를 더 포함할 수 있다.
다른 실시 예에 의하면, 이미지 센서와 영상 재생부를 포함하는 카메라 모듈의 상기 이미지 센서에서 수행되는 이미지 센싱 방법은, 피사체에 대한 광 신호를 수신하는 단계; 상기 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사하는 단계; 상기 수신된 광 신호가 상기 이미지 검출 화소로부터 획득된 경우, 상기 획득된 광 신호를 복합 영상 신호에 맞도록 구성하는 단계; 상기 수신된 광 신호가 상기 위상차 검출 화소로부터 획득된 경우, 상기 획득된 광 신호로부터 위상차를 추출하여 정리하는 단계; 및 상기 수직 동기 신호의 단위 주기 마다 상기 수평 동기 신호가 발생되는 동안 상기 복합 영상 신호를 상기 영상 재생부로 전송하고, 상기 수직 동기 신호의 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간에서 상기 정리된 위상차를 상기 영상 재생부로 전송하는 단계를 포함할 수 있다.
또 다른 실시 예에 의하면, 이미지 센서와 영상 재생부를 포함하는 카메라 모듈의 상기 이미지 센서에서 수행되는 이미지 센싱 방법을 실행하기 위한 프로그램을 기록한 기록 매체는, 피사체에 대한 광 신호를 수신하도록 하는 기능; 상기 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사하도록 하는 기능; 상기 수신된 광 신호가 상기 이미지 검출 화소로부터 획득된 경우, 상기 획득된 광 신호를 복합 영상 신호에 맞도록 구성하도록 하는 기능; 상기 수신된 광 신호가 상기 위상차 검출 화소로부터 획득된 경우, 상기 획득된 광 신호로부터 위상차를 추출하여 정리하도록 하는 기능; 및 상기 수직 동기 신호의 단위 주기 마다 상기 수평 동기 신호가 발생되는 동안 상기 복합 영상 신호를 상기 영상 재생부로 전송하고, 상기 수직 동기 신호의 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간에서 상기 정리된 위상차를 상기 영상 재생부로 전송하도록 하는 기능을 구현할 수 있다.
실시 예에 따른 카메라 모듈 및 이 모듈의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체는 이미지 센서에 잡음이 야기되지 않고 이미지 센서의 성능이 개선될 수 있어 고 해상도 및 고화질의 영상을 제공할 있도록 한다.
도 1은 실시 예에 의한 카메라 모듈의 블럭도를 나타낸다.
도 2는 도 1에 도시된 광학부의 일 실시 예에 의한 단면도를 나타낸다.
도 3은 이미지 센서에 포함되는 화소의 일 례를 나타낸 도면이다.
도 4a 및 도 4b는 위상차 검출 화소를 설명하기 위한 도면이다.
도 5는 위상차 검출 화소 중 제1 그룹 화소의 작동 방식을 간략히 나타낸 도면이다.
도 6은 도 1에 도시된 이미지 센서의 일 실시 예에 의한 블럭도를 나타낸다.
도 7은 도 1에 도시된 이미지 센서의 다른 실시 예에 의한 블럭도를 나타낸다.
도 8은 도 1에 도시된 영상 재생부의 일 실시 예에 의한 블럭도를 나타낸다.
도 9 내지 11은 이미지 센서로부터 출력된 제2 영상 신호로부터 추출된 초점값을 이용하여 피사체와 렌즈의 초점이 맞았는가의 여부를 확인하는 과정을 설명하기 위한 도면이다.
도 12는 실시 예에 의한 카메라 모듈의 이미지 센싱 방법을 설명하기 위한 플로우차트이다.
도 13은 실시 예에 의한 이미지 센서에서 수행되는 이미지 센싱 방법을 설명하기 위한 각종 신호의 파형도를 나타낸다.
도 14는 비교 례에 의한 이미지 센서에서 수행되는 이미지 센싱 방법을 설명하기 위한 각종 신호의 파형도를 나타낸다.
이하, 본 발명을 구체적으로 설명하기 위해 실시 예를 들어 설명하고, 발명에 대한 이해를 돕기 위해 첨부도면을 참조하여 상세하게 설명하기로 한다. 그러나, 본 발명에 따른 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상술하는 실시 예들에 한정되는 것으로 해석되지 않아야 한다. 본 발명의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.
또한, 이하에서 이용되는 "제1" 및 "제2," "상/상부/위" 및 "하/하부/아래" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서만 이용될 수도 있다.
도 1은 실시 예에 의한 카메라 모듈(100)의 블럭도를 나타낸다.
도 1을 참조하면, 실시 예에 의한 카메라 모듈(100)은 광학부(110), 이미지 센서(120), 영상 재생부(130) 및 구동부(140)를 포함할 수 있다.
광학부(110)는 복수의 렌즈를 포함할 수 있으며, 피사체에 대한 영상을 획득하기 위하여 외부로부터 입사되는 빛을 흡수하여 광 신호로서 이미지 센서(120)로 출력할 수 있다.
도 2는 도 1에 도시된 광학부(110)의 일 실시 예에 의한 단면도를 나타낸다.
도 2를 참조하면, 광학부(110)는 복수 개의 렌즈(111, 112, 114, 116), 렌즈 경통(또는, 렌즈 배럴)(118)을 포함할 수 있다. 렌즈 경통(118)에 4개의 렌즈(111, 112, 114, 116)만이 배치된 것으로 도시되어 있으나, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면, 4개보다 많거나 작은 렌즈가 렌즈 경통(118)에 배치될 수 있다.
복수의 렌즈(116, 114, 112, 111)는 이미지 센서(120)로부터 순차적으로 적층되어 배치될 수 있다. 또한, 복수의 렌즈(111, 112, 114, 116) 중 적어도 하나는 이미지 센서(120)로 광을 집광시키는 역할을 수행할 수 있다. 복수의 렌즈(111, 112, 114, 116)는 피사체의 한 지점에서부터 많은 양의 빛을 끌어들이고, 끌어드린 빛을 한 지점으로 모을 수 있도록 입사된 빛을 굴절시킬 수 있다. 복수의 렌즈(111, 112, 114, 116)에 의해 한 지점으로 모아진 빛은 하나의 상을 맺히게 할 수 있으며, 이미지 센서(120)에서 한 점으로 모아져서 하나의 이미지가 형성될 경우 피사체는 렌즈의 초점 거리에 위치한다고 할 수 있다.
비록 도시되지는 않았지만, 복수의 렌즈들(111, 112, 114, 116) 사이에 스페이서가 더 배치될 수도 있다. 스페이서는 복수의 렌즈들(111, 112, 114, 116) 사이를 이격시켜, 렌즈들(111, 112, 114, 116) 사이의 간격을 유지시키는 역할을 한다.
렌즈 경통(118)은 원통형 또는 사각형의 형상을 가질 수 있으나, 이에 한정하지 않는다. 렌즈 경통(118)은 광학부(110) 내의 특정 위치에 고정되어 배치되며 포커싱(focusing)을 위해 렌즈 경통(118)은 이동되지 않고 고정될 수 있다.
한편, 이미지 센서(120)는 이미지 검출 화소로부터 획득된 제1 영상 신호 및 적어도 한 쌍의 위상차 검출 화소로부터 획득된 제2 영상 신호를 전기적 영상 신호로서 영상 재생부(130)로 전송할 수 있다.
실시 예에 의하면, 이미지 센서(120)가 제2 영상 신호를 전송하는 구간은 수직 동기 신호의 매 단위 주기에서 수평 동기 신호의 발생이 종료된 구간을 포함할 수 있다. 즉, 수직 동기 신호의 단위 주기마다 수평 동기 신호의 발생이 종료된 매 프레임의 끝 구간인 수직 동기 신호의 블랭크(blank) 구간에서 제2 영상 신호가 이미지 센서(120)로부터 영상 재생부(130)로 전송될 수 있다.
여기서, 수평 동기 신호 및 수직 동기 신호는 복합 영상 신호를 매 프레임 단위로 재생할 때 사용되는 신호들일 수 있다. 또는, 이미지 센서(120)가 이미지 검출 화소와 위상차 검출 화소를 매트릭스 형태로 포함할 경우, 수평 동기 신호 및 수직 동기 신호란 매트릭스 형태의 화소 중 원하는 화소를 선택할 때 사용되는 신호들일 수도 있다. 여기서, 복합 영상 신호란, 방송용 신호 예를 들어 텔레비젼 방송을 위한 TV 신호를 의미할 수 있으며 영상 정보와 음성 정보를 함께 갖는 신호를 의미할 수 있다.
이미지 센서(120)는 광학부(110)의 렌즈를 통하여 입사된 피사체의 영상에 대한 광 신호를 수신하여 전기적인 영상 신호로 변환하기 위해 촬상 소자(Image sensor)를 포함할 수 있다. 예를 들어, 이미지 센서(120)의 촬상 소자는 CCD(Charge-Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 센서일 수 있다.
이하, 이미지 센서(120)의 이미지 검출 화소와 위상차 검출 화소에 대해 첨부된 도면을 참조하여 다음과 같이 살펴본다.
도 3은 이미지 센서(120)에 포함되는 화소의 일 례를 나타낸 도면이다.
도 3은 이미지 센서(120)에 포함되는 화소를 설명하기 위한 일 례에 불과하며, 실시 예는 이미지 센서(120)에 포함되는 화소의 개수나 화소의 배치 형태에 국한되지 않는다.
이미지 센서(120)는 쌍을 이루는 복수의 위상차 검출 화소(10A, 10B) 및 복수의 이미지 검출 화소(50)를 포함할 수 있다.
이미지 검출 화소(50)는 촬상된 피사체에 대한 광학적 영상 신호를 전기적영상 신호로 생성하기 위한 화소일 수 있다. 이미지 검출 화소(50)는 다수 개의 컬러 화소가 격자 단위(A)를 이루고 이러한 격자 단위(A)가 반복되어 격자 패턴 형태로 배치될 수 있다. 컬러 이미지 검출 화소(50)의 경우 빨강(R:Red), 초록(G:Green), 파랑(B:Blue)을 포함할 수 있으나 이에 한정되지 않는다.
도 3의 경우, 격자 단위(A)는 4개의 화소가 2행 2열로 배치된 베이어 배열(Bayer Arrangement)일 수 있으나, 격자 패턴을 이루는 격자 단위(A)는 3행 3열 또는 4행 4열의 격자 단위일 수 있으며, 이에 한정하지 않는다.
만일, 이미지 검출 화소(50)가 2행 2열의 격자 단위(A)가 반복되어 격자 패턴을 이루는 경우, 격자 단위(A)를 구성하는 4개의 화소에서 대각선으로 마주보는 2 개의 화소에는 G 화소가 배치되고, 나머지 2개의 화소에는 각각 R과 B 화소가 배치될 수 있다.
위상차 검출 화소(10)는 이미지 검출 화소(50)의 격자 단위(A)에서 G 화소 위치에 배치될 수 있다. 예를 들어, 위상차 검출 화소(10A, 10B) 중에서 제1 그룹화소(10A)는 행 방향으로 일정 간격 이격되어 제1 배열 라인(L1)으로 배치되고, 제2 그룹 화소(10B)는 행 방향으로 일정 간격 이격되어 제2 배열 라인(L2)으로 배치될 수 있다. 제1 배열 라인(L1)과 제2 배열 라인(L2)은 열 방향으로 교차되어 배치될 수 있다. 그러나, 도 3에 도시된 위상차 검출 화소(10A, 10B)의 배치는 일 례에 불과하며, 실시 예는 이미지 센서(120)에서의 위상차 검출 화소(10A, 10B)의 특정한 배치 형태에 국한되지 않는다. 즉, 제1 및 제2 그룹 화소(10A, 10B) 각각에 포함된 화소들 사이의 이격된 간격 또는 제1 그룹 화소(10A)와 제2 그룹 화소(10B)의 상대적인 배치 형태는 다양할 수 있다.
도 4a는 위상차 검출 화소(10A, 10B)의 일 실시예에 대한 평면도를 나타낸 것이다.
위상차 검출 화소(10A, 10B)는 화소의 개구 영역을 수직 방향으로 분할하여 구분된 영역 중 일부 영역이 차폐되어 제한된 수광 영역을 가질 수 있다. 이때, 위상차 검출 화소(10A, 10B)의 차폐된 부분(10A-1, 10B-1)은 서로 다른 방향으로 편향되어 배치된 것일 수 있다.
예를 들어, 위상차 검출 화소(10A, 10B)는 차폐된 영역이 좌측으로 편향된 제1 그룹 화소(10A)와 차폐된 영역이 우측으로 편향된 제2 그룹 화소(10B)를 포함할 수 있다.
도 4b는 위상차 검출 화소(10A, 10B)의 구성을 개략적으로 나타낸 도면이다.
위상차 검출 화소(10A, 10B)는 마스크층(11), 마이크로 렌즈(13) 및 포토 다이오드(15)를 포함할 수 있다.
마스크층(11)은 위상차 검출 화소(10A, 10B)에서의 차폐 영역을 형성할 수 있다. 이를 위해 마스크층(11)은 메탈 마스크로 구현될 수 있으며, 마스크층(11)에 의하여 위상차 검출 화소(10A, 10B)는 빛을 입사시킬 수 있는 개구 영역과 빛이 차단되는 차폐 영역을 구분될 수 있다. 예를 들어, 마스크층(11)에 의하여 차폐된 면적에 따라 이미지 센서(120)의 포토다이오드(15)로 입사되는 빛의 양이 조절될 수 있다.
마이크로 렌즈(13)는 입사되는 광 신호를 위상차 검출 화소(10A, 10B)의 중심부로 집중시켜 포토 다이오드(15)로 전달되게 할 수 있다. 마이크로 렌즈(13)는 입사되는 광 신호를 위상차 검출 화소(10A, 10B)로 집중시키기 위하여 포토 다이오드(15)에 대한 상대적인 위치가 변경될 수 있다. 포토 다이오드(15)는 입사되는 광 신호를 전기 신호로 변환할 수 있다.
도 4b를 참조하면, 제1 그룹 화소(10A)와 제2 그룹 화소(10B)로 각각 입사되는 빛은 마이크로 렌즈(13)를 통하여 집중되고, 렌즈(130)에 의해 집중된 빛은 마스크층(11)이 배치되지 않은 수광 영역을 통해 광 신호로서 각각의 포토 다이오드(15)로 전달된다. 이로부터, 위상차 검출을 위한 한 쌍의 상(image)이 획득될 수 있다.
도 4a 내지 4b는 위상차 검출 화소(10A, 10B)의 일 실시예를 도시하였으나, 위상차 검출 화소(10A, 10B)의 실시예는 이에 한정하지 않는다. 즉, 다른 실시 예에 의하면, 화소의 개구부를 수평 방향으로 구분하여 분할한 일부 영역이 차폐된 다른 형태의 위상차 검출 화소의 경우에도 본 실시 예는 적용될 수 있다.
도 5는 위상차 검출 화소 중 제1 그룹 화소(10A)의 작동 방식을 간략히 나타낸 도면이다.
도 5를 참조하면, 위상차 검출 화소(10A)에서 좌측으로 편향된 영역이 차폐된 경우, 위상차 검출 화소(10A)의 좌측으로부터 입사되는 빛(R)을 마이크로 렌즈(13)는 이미지 센서(120)의 중심으로 모으기 위하여 이동할 수 있다. 이때 마이크로 렌즈(13)에 의하여 집중된 빛은 위상차 검출 화소(10A)에 포함된 포토 다이오드(15)의 우측으로 치우쳐서 모아지게 된다. 이때, 차폐 영역은 빛이 입사되는 방향으로 치우쳐 있으므로, 입사되는 빛은 가려지지 않고 대부분 포토 다이오드(15)에 도달할 수 있다.
이와 달리, 동일한 위상차 검출 화소(10A)에서 빛(R)이 위상차 검출 화소(10A)의 우측으로부터 입사될 경우, 마이크로 렌즈(13)에 의하여 입사된 빛은 포토다이오드(15)의 좌측으로 치우쳐서 모아지게 된다. 이러한 경우 차폐 영역이 빛이 모아지는 방향으로 치우쳐 있으므로 입사되는 빛의 대부분이 차폐되게 된다.
이미지 센서(120)로부터 출력된 전기적 영상 신호 중 제2 영상 신호는 제1 그룹 화소에 속하는 위상차 검출 화소(10A)에서 획득된 광 신호를 처리한 영상 정보와 제2 그룹 화소에 속하는 위상차 검출 화소(10B)에서 획득된 광 신호를 처리한 영상 정보를 포함할 수 있다. 또한, 제2 영상 신호는 두 개의 위상차 검출 화소(10A, 10B)의 영상 정보로부터 추출한 위상차를 포함할 수도 있다.
도 6은 도 1에 도시된 이미지 센서(120)의 일 실시 예(120A)에 의한 블럭도를 나타낸다.
도 6에 도시된 이미지 센서(120A)는 광 수신부(121), 영상 처리부(123), 위상차 정리부(125A), 타이밍 발생부(127A) 및 출력부(129)를 포함할 수 있다.
광 수신부(121)는 피사체에 대한 광 신호를 입력단자 IN1을 통해 광학부(110)로부터 받는다. 광 수신부(121)는 광 신호를 디지털 형태로 변환하고, 변환된 결과인 이미지 데이터를 출력할 수 있다. 이하, 편의상 이미지 데이터 역시 '광 신호'라 칭한다.
영상 처리부(123)는 광 수신부(121)로부터 받은 가공되지 않은(raw) 광 신호에 포함된 잡음을 제거하고, 잡음이 제거된 결과를 위상차 정리부(125A)로 출력할 수 있다. 이를 위해, 영상 처리부(123)는 CDS(Correlated Double Sampling) 회로를 포함할 수 있다.
또한, 영상 처리부(123)는 잡읍이 제거된 광 신호에 소정의 이득을 승산하고, 이득이 승산되어 레벨이 조정된 광 신호를 위상차 정리부(125A)로 출력할 수도 있다. 이를 위해, 영상 처리부(123)는 AGC(Auto Gain Control) 회로를 포함할 수 있다.
그 밖에, 영상 처리부(123)는 감마 프로세싱(gamma processing)이나 클램프 프로세싱(clamp processing)을 더 수행할 수도 있다.
이와 같이, 영상 처리부(123)는 광 수신부(121)로부터 출력되는 광 신호를 처리하고, 처리된 광 신호를 위상차 정리부(125A)로 출력할 수 있다.
경우에 따라, 이미지 센서(120)는 영상 처리부(123)를 생략할 수도 있다. 이 경우, 광 수신부(121)로부터 출력되는 광 신호는 위상차 정리부(125A)로 제공될 수 있다.
위상차 정리부(125A)는 영상 처리부(123)에서 처리된 광 신호가 이미지 검출 화소(예를 들어 도 3의 50)와 위상차 검출 화소(예를 들어, 도 3의 10A, 10B) 중 어느 화소로부터 획득되었는가를 구분한다. 만일, 광 신호가 위상차 검출 화소로부터 획득되었다고 판단되면, 위상차 정리부(125A)는 광 신호로부터 위상차를 추출하여 정리하고, 정리된 결과를 제2 영상 신호로서 출력부(129)로 출력한다. 그러나, 광 신호가 이미지 검출 화소로부터 획득되었다고 판단되면, 위상차 정리부(125A)는 광 신호를 타이밍 발생부(127A)로 출력한다.
타이밍 발생부(127A)는 광 수신부(121)에서 수신되고 영상 처리부(123)에서 처리된 후 위상차 정리부(125A)에 의해 바이패스(bypass)된 광 신호를 복합 영상 신호에 맞도록 구성하고, 구성된 결과를 제1 영상 신호로서 출력부(129)로 출력한다.
출력부(129)는 제1 영상 신호에 해당하는 구성된 복합 영상 신호 및 제2 영상 신호에 해당하는 정리된 위상차를 함께 전기적 영상 신호로서 출력단자 OUT2를 통해 영상 재생부(130)로 출력한다. 이때, 출력부(129)는 수직 동기 신호(Vs)의 매 단위 주기에서 수평 동기 신호(Hs)의 발생이 종료된 구간 즉, 매 프레임의 끝 부분에서 제2 영상 신호를 전송할 수 있다. 즉, 실시 예에 의하면, 매 프레임의 끝 부분에서 수평 동기 신호(Hs)의 발생이 종료된 구간에 제2 영상 신호가 삽입된다.
도 7은 도 1에 도시된 이미지 센서(120)의 다른 실시 예(120B)에 의한 블럭도를 나타낸다.
도 7에 도시된 이미지 센서(120B)는 광 수신부(121), 영상 처리부(123), 위상차 정리부(125B), 타이밍 발생부(127B) 및 출력부(129)를 포함할 수 있다. 여기서, 광 수신부(121), 영상 처리부(123) 및 출력부(129)는 도 6에 도시된 광 수신부(121), 영상 처리부(123) 및 출력부(129)와 각각 동일하므로 동일한 참조부호를 사용하였으며 중복되는 설명을 생략한다.
영상 처리부(123)에서 처리된 광 신호를 받는 도 6에 도시된 위상차 정리부(125A)와 달리, 도 7에 도시된 위상차 정리부(125B)는 광 수신부(121)로부터 받은 광 신호가 이미지 검출 화소(예를 들어 도 3의 50)와 위상차 검출 화소(예를 들어, 도 3의 10A, 10B) 중 어느 화소로부터 획득되었는가를 구분한다.
만일, 광 신호가 위상차 검출 화소로부터 획득되었다고 판단되면, 위상차 정리부(125B)는 광 신호로부터 위상차를 추출하여 정리하고, 정리된 결과를 제2 영상 신호로서 출력부(129)로 출력한다. 그러나, 광 신호가 이미지 검출 화소로부터 획득되었다고 판단되면, 위상차 정리부(125B)는 영상 처리부(123)에서 처리된 광 신호를 타이밍 발생부(127B)가 받아들이도록 타이밍 발생부(127B)를 제어할 수 있다. 또는, 도시된 바와 달리, 광 신호가 이미지 검출 화소로부터 획득되었다고 판단되면, 위상차 정리부(125B)는 영상 처리부(123)에서 처리된 광 신호가 타이밍 발생부(127B)로 출력되도록 영상 처리부(123)를 제어할 수도 있다.
타이밍 발생부(127B)는 광 수신부(121)에서 수신되고 영상 처리부(123)에서 처리된 광 신호를 복합 영상 신호에 맞도록 구성하고, 구성된 결과를 제1 영상 신호로서 출력부(129)로 출력한다.
도 6 및 도 7에 도시된 출력부(129)에서 제1 및 제2 영상 신호를 전송하기 위해 필요한 수직 동기 신호(Vs) 및 수평 동기 신호(Hs)는 도 6 및 도 7에 도시된 이미지 센서(120A, 120B)의 외부로부터 주어진 후 타이밍 발생부(127A, 127B)를 통해 출력부(129)로 공급될 수도 있고, 타이밍 발생부(127A, 127B)에서 자체적으로 생성될 수도 있다. 실시 예는 수평 동기 신호(Hs)와 수직 동기 신호(Vs)의 특정 발생 위치와 특정 공급처에 국한되지 않는다.
한편, 도 1을 다시 참조하면, 영상 재생부(130)는 이미지 센서(120)로부터 받은 전기적 영상 신호로부터 제1 및 제2 영상 신호를 구분하여 추출하고, 추출한 제1 영상 신호로부터 복합 영상 신호를 재생하고, 추출한 제2 영상 신호로부터 초점값을 추출할 수 있다.
도 8은 도 1에 도시된 영상 재생부(130)의 일 실시 예에 의한 블럭도를 나타낸다.
도 8에 도시된 영상 재생부(130)는 타이밍 처리부(132), 위상차 처리부(134) 및 주 제어부(136)를 포함할 수 있다.
타이밍 처리부(132)는 이미지 센서(120)로부터 출력된 전기적 영상 신호를 입력단자 IN2를 통해 수신한다. 또한, 타이밍 처리부(132)는 수신한 전기적 영상 신호로부터 제1 및 제2 영상 신호를 구분하여 추출한다. 이때, 타이밍 처리부(132)는 추출한 제1 영상 신호로부터 복합 영상 신호를 재생하여 화면을 구성하고, 화면 구성된 결과를 주 제어부(136)로 출력한다.
또한, 타이밍 처리부(132)는 추출한 제2 영상 신호를 위상차 처리부(134)로 출력한다. 위상차 처리부(134)는 타이밍 처리부(132)에서 추출한 제2 영상 신호로부터 초점값을 추출하고, 추출한 초점값을 주 제어부(136)로 출력한다.
주 제어부(136)는 타이밍 처리부(132)에서 구성된 화면을 전체 영상 처리하여 출력단자 OUT3을 통해 디스플레이부(미도시)로 출력한다. 여기서, 디스플레이부는 주 제어부(136)로부터 받은 전체 영상 처리된 화면을 사용자에게 보여주는 부분으로서, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 등이 포함될 수 있으나, 이에 한정하지 않는다.
또한, 주 제어부(136)는 추출된 초점값을 이용하여 자동 초점 기능을 수행한다. 즉, 주 제어부(136)는 초점값을 이용하여 광 신호의 초점을 제어할 수 있다. 이를 위해, 구동부(140)는 주 제어부(136)로부터 출력단자 OUT3을 통해 출력된 초점값을 이용하여 초점이 맞도록 광학부(110)를 제어할 수 있다. 광학부(110)는 구동부(140)의 제어하에, 광축 방향으로 렌즈(111, 112, 114, 116)를 이동시켜 초점을 맞출 수 있다.
이하, 주 제어부(136)에서 추출되어 출력단자 OUT3을 통해 출력되는 초점값에 의해 초점 제어가 이루어지는 예시적인 과정에 대해 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 9 내지 11은 이미지 센서(120)로부터 출력된 제2 영상 신호로부터 추출된 초점값을 이용하여 피사체와 렌즈의 초점이 맞았는가의 여부를 확인하는 과정을 설명하기 위한 도면이다.
도 9 (a) 및 (b)는 초점 위치(F)에 피사체(O)가 위치하는 경우를 나타낸 것이다. 도 9 (a)를 참조하면, 피사체(O)로부터 광학부(110)를 통과한 빛은 이미지 센서(120)에 모아지게 된다. 도 9 (a)의 경우, 피사체(O)의 위치가 초점 위치(F)와 일치되므로, 광학부(110)에서 획득된 빛은 이미지 센서(120) 상의 한 점으로 모아지게 된다.
도 9 (b)는 이미지 센서(120)의 위상차 검출 화소(10A, 10B)에서 획득된 광학 정보에 대한 휘도 분포를 나타낸 것이다. 도 9 (a)와 같이 초점 위치(F)에 피사체(O)가 배치되는 경우 두 개의 위상차 검출 화소 그룹(10A, 10B)에 의해 획득된 광학 정보의 휘도값 분포는 동일하게 나타나는 것을 알 수 있다.
즉, 이미지 센서(120)의 중심으로 빛이 모아져서 입사되므로, 위상차 검출 화소(10A, 10B)의 마이크로 렌즈(13)의 배치가 변경되지 않으므로 위상차 검출 화소(10A, 10B)의 차폐 영역의 방향에 관계없이 동일한 광학 정보를 얻을 수 있다. 이 경우, 위상차는 없으므로 영상 재생부(130)의 위상차 처리부(134)에서 추출된 초점값은 '0'으로 표기될 수 있다. 따라서, 서로 다른 차폐영역을 갖는 위상차 검출 화소(10A, 10B)로부터 얻어지는 두 개의 이미지가 일치되는 경우(즉, 초점값이 '0'인 경우), 피사체(O)가 카메라 모듈(100)로부터 렌즈의 초점 거리만큼 떨어진 위치(F)에 이격된 것으로 결정한다.
도 10 (a) 및 (b)의 경우 초점 위치(F)보다 피사체(O)가 카메라 모듈(100)로부터 먼 거리에 있는 경우로서 피사체(O)에 대한 이미지는 이미지 센서(120)의 위치보다 앞쪽에서 한 점으로 모아져 초점이 맞게 되고 이미지 센서(120) 상에서는 초점이 맞지 않는 이미지가 맺히게 된다.
도 10 (a)를 참조하면, 광학부(110)로부터 출력된 빛 중에서 광학부(110)의 좌측(도면에서 아래쪽)으로 치우친 빛은 이미지 센서(120)의 우측으로 치우쳐서 공급되며, 광학부(110)의 우측(도면에서 위쪽)으로 치우쳐서 출력된 빛은 이미지 센서(120)의 좌측으로 치우쳐서 공급되게 된다.
예를 들어 도 10 (b)를 참조하면, 도 5에서 설명한 위상차 검출 화소(10A, 10B)의 작동 원리로 인하여 위상차 검출 화소(10A, 10B)에 포함되는 마이크로 렌즈(13)의 이동이 일어난다. 이때, 위상차 검출 화소(10A, 10B)의 마이크로 렌즈(13)로 인하여 포토 다이오드(15)의 중심 영역으로 빛을 모아지게 되므로, 제1 그룹 화소(10A)로부터 획득된 광 신호의 휘도값은 이미지 센서(120)의 우측에 배치된 화소들에서 높게 나타내며, 반대로 제2 그룹 화소(10B)로부터 획득된 광 신호의 휘도값은 이미지 센서(120)의 좌측에 배치된 화소들에서 높게 나타난다.
즉, 도 10 (b)에 도시된 바와 같이 이미지 센서(120)의 중심 화소(C)를 기준으로 각 위상차 검출 화소(10A, 10B)에서 획득된 광 신호의 휘도 분포는 반대 방향으로 치우치게 된다.
따라서, 도 10 (b)의 경우 이미지 센서(120) 상에서는 한 점으로 빛이 모아지지 않으므로 초점이 맞지 않는 두 개의 이미지가 생성되며, 이러한 두 개의 이미지에서 위상차를 구할 수 있고, 두 이미지의 위상차로부터 광학부(110)로부터 피사체(O)가 이격된 거리 정보인 초점값을 구할 수 있다. 이 경우, 초점값이 '0'이 될때까지 주 제어부(136)는 구동부(140)를 통해 광학부(110)를 제어할 수 있다.
도 11 (a) 및 (b)는 초점 위치(F)보다 피사체(O)가 카메라 모듈(100)과 가까운 위치에 배치되는 경우이다. 이때 피사체(O)에 대해서는 이미지 센서(120)의 위치보다 뒤쪽에서 초점이 맞는 이미지가 맺히게 되며, 이미지 센서(120)의 위치에서는 초점이 맞지 않는 이미지가 형성되게 된다.
도 11 (a)를 참조하면, 광학부(110)로부터 출력된 빛 중 광학부(110)의 좌측(도면의 아래쪽)으로 치우친 빛은 이미지 센서(120)의 좌측으로 치우쳐서 공급되며, 광학부(110)의 우측(도면의 위쪽)으로 치우쳐서 출력된 빛은 이미지 센서(120)의 우측으로 치우쳐서 공급되게 된다.
이 경우에도 도 11 (b)에 도시된 바와 같이, 위상차 검출 화소(10A, 10B)에 포함되는 마이크로 렌즈(13)의 이동이 일어나게 되며, 도 10 (b)의 경우와는 반대로 제1 그룹 화소(10A)로부터 획득된 광 신호의 휘도 값은 이미지 센서(120)의 좌측에 배치된 화소들에서 높게 나타나며, 제2 그룹 화소(10B)로부터 획득된 광 신호의 휘도 값은 이미지 센서(120)의 우측에 배치된 화소들에서 높게 나타난다.
즉, 도시된 도 11 (b)를 참조하면, 이미지 센서(120)의 중심 화소(C)를 기준으로 각 위상차 검출 화소(10A, 10B)로부터 획득된 광 신호는 반대 방향으로 치우친 휘도 분포를 가지며, 이는 도 10 (b)와 다른 경향을 나타내게 된다.
또한 도 10 (b)의 경우와 마찬가지로 도 11 (b)의 경우에서도 이미지 센서(120)에서는 한 점으로 빛이 모아지지 않으므로 초점이 맞지 않는 두 개의 이미지가 생성되며, 이러한 두 개의 이미지에서 위상차를 구할 수 있고, 두 이미지의 위상차로부터 광학부(110)로부터 피사체(O)가 이격된 거리 정보 즉, 초점값을 구할 수 있다. 이 경우, 초점값이 '0'이 될때까지 주 제어부(136)는 구동부(140)를 통해 광학부(110)를 제어할 수 있다.
결국, 주 제어부(136)로부터 출력단자 OUT3를 통해 출력되는 초점값을 이용하여 구동부(140)를 통해 광학부(110)를 제어함으로써, 초점값이 '0'으로 수렴하도록 할 수 있다.
이하, 전술한 카메라 모듈(100)의 이미지 센서(120)에서 수행되는 일 실시 예에 의한 이미지 센싱 방법(200)을 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 12는 실시 예에 의한 카메라 모듈의 이미지 센싱 방법(200)을 설명하기 위한 플로우차트이다.
도 1, 도 6, 도 7 및 도 12을 참조하여 실시 예에 의한 이미지 센싱 방법(200)을 살펴보면 다음과 같다.
먼저, 피사체에 대한 광 신호를 수신한다(제210 단계). 제210 단계는 도 6 및 도 7에 도시된 광 수신부(121)에서 수행될 수 있다.
제210 단계 후에, 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사한다(제220 단계). 제220 단계는 도 6 및 도 7에 도시된 위상차 정리부(125A, 125B)에서 수행될 수 있다.
만일, 수신된 광 신호가 이미지 검출 화소로부터 획득된 경우, 획득된 광 신호를 복합 영상 신호에 맞도록 구성한다(제230 단계). 제230 단계는 타이밍 발생부(127A, 127B)에서 수행될 수 있다.
그러나, 수신된 광 신호가 위상차 검출 화소로부터 획득된 경우, 획득된 광 신호로부터 위상차를 추출하여 정리한다(제240 단계). 제240 단계는 위상차 정리부(125A, 125B)에서 수행될 수 있다.
제230 단계 또는 제240 단계 후에, 복합 영상 신호와 정리된 위상차를 전기적인 영상 신호로서 영상 재생부(130)로 전송한다(제250 단계). 제250 단계는 도 6 및 도 7에 도시된 출력부(129)에서 수행될 수 있다.
도 13은 도 6 또는 도 7에 도시된 이미지 센서(120)에서 수행되는 도 12에 도시된 이미지 센싱 방법(200)을 설명하기 위한 클럭 신호(CLK), 수직 동기 신호(Vs), 수평 동기 신호(Hs), 제1 및 제2 영상 신호(D1, D2)의 파형도를 나타낸다.
도 13에서, 클럭 신호(CLK)는 시스템 클럭 신호로서, 수직 동기 신호(Vs), 수평 동기 신호(Hs), 제1 및 제2 영상 신호(D1, D2)를 발생하기 위해 이용되는 클럭 신호이다. 도 13의 경우, 클럭 신호(CLK)의 상승 엣지에서 수직 동기 신호(Vs)가 발생하는 것으로 도시되어 있고, 수평 동기 신호(Hs)는 클럭 신호(CLK)의 "저" 논리 레벨에서 발생하는 것으로 예시되어 있지만, 이는 일 례에 불과하다. 따라서, 실시 예는 수직 동기 신호(Vs)와 수평 동기 신호(Hs)가 발생되는 클럭 신호(CLK)의 특정한 트리거 시점이나 클럭 신호(CLK)의 특정한 논리 레벨에 국한되지 않는다.
또한, 클럭 신호(CLK), 수직 동기 신호(Vs) 및 수평 동기 신호(Hs)는 도 6 및 도 7에 도시된 타이밍 발생부(127A, 127B)로부터 발생되거나 도 8에 도시된 타이밍 처리부(132)로부터 발생되거나 카메라 모듈(100)의 외부에서 발생될 수 있으며, 실시 예는 이들 신호(CLK, Vs, Hs)의 발생 장소에 국한되지 않는다.
도 7, 도 8, 도 12 및 도 13을 참조하면, 출력부(129)는 수직 동기 신호(Vs)의 단위 주기(T1) 마다 수평 동기 신호(Hs)에 응답하여 복합 영상 신호를 전송한다. 즉, 수직 동기 신호(Vs)의 단위 주기(T1) 내에서, 수평 동기 신호(Hs)가 발생되는 동안(즉, 수평 동기 신호(Hs)가 "고" 논리 레벨을 유지하는 동안)(T2), 출력부(129)는 복합 영상 신호로 구성된 제1 영상 신호(D1)를 영상 재생부(130)로 전송할 수 있다. 그러나, 수직 동기 신호(Vs)의 단위 주기(T1) 내에서 수평 동기 신호(Hs)가 발생되지 않은 동안(즉, 수평 동기 신호(Hs)가 "저" 논리 레벨을 유지하는 동안)(T3), 출력부(129)로부터 제1 영상 신호(D1)가 출력되지 않는다. 도 13의 경우, 수평 동기 신호(Hs)가 "고" 논리 레벨로부터 "저" 논리 레벨로 변한 후, 클럭 신호(CLK)의 소정 주기 후에 제1 영상 신호(D1)가 출력되지 않은 것으로 도시되어 있지만, 실시 예는 이에 국한되지 않는다. 다른 실시 예에 의하면, 도 13에 도시된 바와 달리, 수평 동기 신호(Hs)의 논리 레벨이 "고" 논리 레벨로부터 "저" 논리 레벨로 천이된 후 즉시 출력부(129)는 제1 영상 신호(D1)의 전송을 멈출 수도 있다.
또한, 수직 동기 신호(Vs)의 단위 주기(T1)마다 수평 동기 신호(Hs)의 발생이 종료된 구간(즉, 수평 동기 신호(Hs)가 "저" 논리 레벨을 유지하는 구간)에서, 출력부(129)는 정리된 위상차를 제2 영상 신호(D2)로서 영상 재생부(130)로 전송할 수 있다.
수직 동기 신호(Vs)와 수평 동기 신호(Hs)에 의해 재생되는 단위 프레임의 가로와 세로의 화소의 개수가 각각 4208개 및 3120개이고, 수직 동기 신호(Vs)의 단위 주기(T1) 내에서 수평 동기 신호(Hs)가 발생되는 구간(즉, 수평 동기 신호(Hs)가 "고" 논리 레벨을 유지하는 구간)(T2)에 포함된 클럭 신호(CLK)의 단위 주기(BT)의 개수는 4240개일 수 있다. 여기서, 수직 동기 신호의 단위 주기(T1) 내에서 수평 동기 신호(Hs)가 발생되지 않은 구간 즉, 수평 동기 신호(Hs)가 "저" 논리 레벨을 유지하는 구간(T3)의 길이는 제2 영상 신호(D2)를 영상 재생부(130)로 전송하기에 충분한 기간일 수 있다.
도 14는 비교 례에 의한 이미지 센서에서 수행되는 이미지 센싱 방법에 의할 경우, 클럭 신호(CLK), 수직 동기 신호(Vs), 수평 동기 신호(Hs), 제1 및 제2 영상 신호(D1, D2)의 파형도를 나타낸다.
비교 례에 의한 이미지 센서에서 수행되는 이미지 센싱 방법은 도 12에 도시된 제220 및 제240 단계를 수행하지 않고 제210, 제230 및 제250 단계만을 수행할 수 있다. 이 경우, 도 14를 참조하면, 수직 동기 신호(Vs)의 단위 주기(T1)에서 수평 동기 신호(Hs)가 발생하지 않은 동안(즉, 수평 동기 신호(Hs)의 레벨이 "저" 논리 레벨을 유지하는 동안)(T3), 제2 영상 신호(D2)는 영상 재생부(130)로 전송되지 않는다. 즉, 구간(T3)에 제2 영상 신호(D2)가 삽입되지 않는다.
또한, 비교 례에 의한 카메라 모듈의 경우, 도 8에 도시된 위상차 처리부(134)가 영상 재생부(130)가 아닌 이미지 센서(120) 내에 배치된다. 이 경우, 위상차 처리부(134)로부터 발생되는 열에 의해 이미지 센서(120)에 잡음이 야기되거나 성능이 저하될 수 있다. 그러나, 전술한 실시 예에 의한 카메라 모듈(100)의 경우, 특정한 기간(T3)에서 제2 영상 신호(D2)를 영상 재생부(130)로 전송함으로써, 위상차 처리부(134)가 이미지 센서(120)에 배치되지 않고 영상 재생부(130)에 배치될 수 있다. 따라서, 위상차 처리부(134)가 이미지 센서(120) 내에 배치되어 야기될 수 있는 전술한 문제점 즉, 잡음이 야기되는 문제와 성능이 저하되는 문제가 해소될 수 있다.
또한, 이미지 센서(120)가 제2 영상 신호(D2)를 수직 동기 신호(Vs)의 블랭크(blank) 기간에만 전송하기 때문에, 이미지 센서(120)의 고속 프레임 율에는 영향을 주지 않을 수 있다.
또한, 비교 례에 의한 카메라 모듈의 경우, 위상차 처리부(134)가 이미지 센서(120) 내에 배치되므로 인해, I2C(Inter-Integrated Circuit)나 SPI(Serial Peripheral Interface) 통신을 통해 위상차에 관련된 데이터를 영상 재생부(130)로 전송해야 한다. 따라서, 다른 데이터 통신을 위해 사용되는 I2C나 SPI 통신에 부담을 줄 수 있다. 그러나, 실시 예에 의한 카메라 모듈의 경우, I2C나 SPI 통신의 도움없이 제2 영상 신호(D2)를 영상 재생부(130)로 전송하므로, I2C나 SPI 통신의 부담을 덜어줄 수 있다.
한편, 이미지 센서에서 수행되는 이미지 센싱 방법(200)을 실행하기 위한 프로그램을 기록한 기록 매체는, 광 수신부(121)로 하여금 피사체에 대한 광 신호를 수신하도록 하는 기능과, 위상차 정리부(125A, 125B)로 하여금 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사하도록 하는 기능과, 타이밍 발생부(127A, 127B)로 하여금 수신된 광 신호가 이미지 검출 화소로부터 획득된 경우, 획득된 광 신호를 복합 영상 신호에 맞도록 구성하도록 하는 기능과, 위상차 정리부(125A, 125B)로 하여금 수신된 광 신호가 위상차 검출 화소로부터 획득된 경우, 획득된 광 신호로부터 위상차를 추출하여 정리하도록 하는 기능과, 출력부(129)로 하여금 수직 동기 신호의 단위 주기 마다 수평 동기 신호가 발생되는 동안 복합 영상 신호를 영상 재생부(130)로 전송하고, 수직 동기 신호의 단위 주기마다 수평 동기 신호의 발생이 종료된 구간에서 정리된 위상차를 영상 재생부(130)로 전송하도록 하는 기능을 구현하는 프로그램을 기록하며, 컴퓨터는 기록 매체를 읽을 수 있다.
컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.　또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 이미지 센싱 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
10A, 10B: 위상차 검출 화소 11: 마스크층
13: 마이크로 렌즈 15: 포토 다이오드
50: 이미지 검출 화소 100: 카메라 모듈
110: 광학부 111, 112, 114, 116: 렌즈
118: 렌즈 경통 120, 120A, 120B: 이미지 센서
121: 광 수신부 123: 영상 처리부
125A, 125B: 위상차 정리부 127A, 127B: 타이밍 발생부
129: 출력부 130: 영상 재생부
132: 타이밍 처리부 134: 위상차 처리부
136: 주 제어부 140: 구동부

Claims (11)

  1. 이미지 검출 화소로부터 획득된 제1 영상 신호 및 적어도 한 쌍의 위상차 검출 화소로부터 획득된 제2 영상 신호를 전기적 영상 신호로서 전송하는 이미지 센서; 및
    상기 전기적 영상 신호로부터 상기 제1 및 제2 영상 신호를 구분하여 추출하고, 상기 추출한 제1 영상 신호로부터 복합 영상 신호를 재생하고, 상기 추출한 제2 영상 신호로부터 초점값을 추출하는 영상 재생부를 포함하고,
    상기 이미지 센서는 수직 동기 신호의 매 단위 주기마다 수평 동기 신호의 발생이 종료된 구간에서 상기 제2 영상 신호를 전송하는 카메라 모듈.
  2. 제1 항에 있어서, 상기 이미지 센서는
    피사체에 대한 광 신호를 수신하는 광 수신부;
    상기 광 신호가 상기 이미지 검출 화소와 상기 위상차 검출 화소 중 어느 화소로부터 획득되었는가를 구분하고, 상기 위상차 검출 화소로부터 획득된 상기 광 신호로부터 위상차를 추출하여 정리하는 위상차 정리부;
    상기 이미지 검출 화소로부터 획득된 상기 광 신호를 복합 영상 신호에 맞도록 구성하는 타이밍 발생부; 및
    상기 제1 및 제2 영상 신호 각각에 해당하는 상기 구성된 복합 영상 신호 및 상기 정리된 위상차를 상기 전기적 영상 신호로서 출력하는 출력부를 포함하고,
    상기 출력부는 상기 수직 동기 신호의 매 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간동안 상기 제2 영상 신호를 전송하는 카메라 모듈.
  3. 제2 항에 있어서, 상기 이미지 센서는
    상기 광 신호에 포함된 잡음을 제거하는 영상 처리부를 더 포함하는 카메라 모듈.
  4. 제3 항에 있어서, 상기 영상 처리부는 상기 잡음이 제거된 상기 광 신호에 소정의 이득을 승산하여 출력하는 카메라 모듈.
  5. 제2 항에 있어서, 상기 광 수신부는 상기 광 신호를 디지털 형태로 변환하는 카메라 모듈.
  6. 제2 항에 있어서, 상기 영상 재생부는
    상기 이미지 센서로부터 수신한 상기 전기적 영상 신호로부터 상기 제1 및 제2 영상 신호를 구분하여 추출하고, 상기 추출한 제1 영상 신호로부터 상기 복합 영상 신호를 재생하여 화면을 구성하는 타이밍 처리부;
    상기 타이밍 처리부에서 추출한 상기 제2 영상 신호로부터 상기 초점값을 추출하는 위상차 처리부; 및
    상기 구성된 화면을 영상 처리하고, 상기 추출된 초점값을 이용하여 상기 광 신호의 초점을 제어하는 주 제어부를 포함하는 카메라 모듈.
  7. 제1 항에 있어서, 상기 수평 동기 신호 및 상기 수직 동기 신호는 상기 복합 영상 신호를 매 프레임 단위로 재생할 때 사용되는 카메라 모듈.
  8. 제1 항에 있어서, 상기 이미지 센서는 상기 이미지 검출 화소와 상기 위상차 검출 화소를 매트릭스 형태로 포함하고,
    상기 수평 동기 신호 및 상기 수직 동기 신호는 상기 매트릭스 형태의 화소 중 원하는 화소를 선택할 때 사용되는 카메라 모듈.
  9. 제2 항에 있어서, 상기 카메라 모듈은
    상기 광 신호를 생성하는 광학부; 및
    상기 초점값을 이용하여 상기 광학부를 제어하는 구동부를 더 포함하는 카메라 모듈.
  10. 이미지 센서와 영상 재생부를 포함하는 카메라 모듈의 상기 이미지 센서에서 수행되는 이미지 센싱 방법에 있어서,
    피사체에 대한 광 신호를 수신하는 단계;
    상기 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사하는 단계;
    상기 수신된 광 신호가 상기 이미지 검출 화소로부터 획득된 경우, 상기 획득된 광 신호를 복합 영상 신호에 맞도록 구성하는 단계;
    상기 수신된 광 신호가 상기 위상차 검출 화소로부터 획득된 경우, 상기 획득된 광 신호로부터 위상차를 추출하여 정리하는 단계; 및
    수직 동기 신호의 단위 주기 마다 수평 동기 신호가 발생되는 구간 동안 상기 복합 영상 신호를 상기 영상 재생부로 전송하고, 상기 수직 동기 신호의 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간에서 상기 정리된 위상차를 상기 영상 재생부로 전송하는 단계를 포함하는 카메라 모듈의 이미지 센싱 방법.
  11. 이미지 센서와 영상 재생부를 포함하는 카메라 모듈의 상기 이미지 센서에서 수행되는 이미지 센싱 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 있어서,
    피사체에 대한 광 신호를 수신하도록 하는 기능;
    상기 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사하도록 하는 기능;
    상기 수신된 광 신호가 상기 이미지 검출 화소로부터 획득된 경우, 상기 획득된 광 신호를 복합 영상 신호에 맞도록 구성하도록 하는 기능;
    상기 수신된 광 신호가 상기 위상차 검출 화소로부터 획득된 경우, 상기 획득된 광 신호로부터 위상차를 추출하여 정리하도록 하는 기능; 및
    수직 동기 신호의 단위 주기 마다 수평 동기 신호가 발생되는 구간 동안 상기 복합 영상 신호를 상기 영상 재생부로 전송하고, 상기 수직 동기 신호의 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간에서 상기 정리된 위상차를 상기 영상 재생부로 전송하도록 하는 기능을 구현하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020140183339A 2014-12-18 2014-12-18 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 KR102197083B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140183339A KR102197083B1 (ko) 2014-12-18 2014-12-18 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
US15/537,784 US20180278828A1 (en) 2014-12-18 2015-12-15 Camera Module and Image Sensing Method Thereof, and Recording Medium Having Recorded Therein Program for Implementing Method
PCT/KR2015/013751 WO2016099128A1 (ko) 2014-12-18 2015-12-15 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140183339A KR102197083B1 (ko) 2014-12-18 2014-12-18 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Publications (2)

Publication Number Publication Date
KR20160074250A KR20160074250A (ko) 2016-06-28
KR102197083B1 true KR102197083B1 (ko) 2020-12-31

Family

ID=56126930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140183339A KR102197083B1 (ko) 2014-12-18 2014-12-18 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Country Status (3)

Country Link
US (1) US20180278828A1 (ko)
KR (1) KR102197083B1 (ko)
WO (1) WO2016099128A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101556B (zh) 2016-07-29 2017-10-20 广东欧珀移动通信有限公司 移动终端的图像合成方法、装置及移动终端
US10705347B2 (en) 2018-05-30 2020-07-07 Apple Inc. Wafer-level high aspect ratio beam shaping
US11303355B2 (en) 2018-05-30 2022-04-12 Apple Inc. Optical structures in directional free-space optical communication systems for portable electronic devices
US10700780B2 (en) * 2018-05-30 2020-06-30 Apple Inc. Systems and methods for adjusting movable lenses in directional free-space optical communication systems for portable electronic devices
US11549799B2 (en) 2019-07-01 2023-01-10 Apple Inc. Self-mixing interference device for sensing applications
US11539875B1 (en) * 2021-08-27 2022-12-27 Omnivision Technologies Inc. Image-focusing method and associated image sensor
CN117396734A (zh) * 2021-09-26 2024-01-12 Oppo广东移动通信有限公司 用于提高由具有图像平面相位差像素的图像传感器采集的图像的质量的方法、电子设备、计算机可读存储介质和终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101306244B1 (ko) * 2007-06-29 2013-09-09 엠텍비젼 주식회사 이미지 센싱 신호의 발생 방법 및 장치
KR101544033B1 (ko) * 2008-12-31 2015-08-12 삼성전자주식회사 디지털 카메라 및 그 제어방법
KR101665560B1 (ko) * 2009-12-16 2016-10-13 삼성전자주식회사 이미지 센서 모듈과 이를 포함하는 장치들
JP5499831B2 (ja) * 2010-03-30 2014-05-21 セイコーエプソン株式会社 デジタルカメラ
JP5764884B2 (ja) * 2010-08-16 2015-08-19 ソニー株式会社 撮像素子および撮像装置
JP5703806B2 (ja) * 2011-02-08 2015-04-22 株式会社リコー 撮像装置および撮像方法
GB2529575B (en) * 2012-12-28 2016-09-07 Canon Kk Image pickup element, image pickup apparatus, and method and program for controlling the same
JP6315776B2 (ja) * 2014-02-20 2018-04-25 オリンパス株式会社 撮像素子、撮像装置

Also Published As

Publication number Publication date
US20180278828A1 (en) 2018-09-27
WO2016099128A1 (ko) 2016-06-23
KR20160074250A (ko) 2016-06-28

Similar Documents

Publication Publication Date Title
KR102197083B1 (ko) 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
JP6848941B2 (ja) 撮像素子および撮像装置
US10015426B2 (en) Solid-state imaging element and driving method therefor, and electronic apparatus
US9894295B2 (en) Imaging device and imaging system
JP6366251B2 (ja) 撮像装置および撮像装置の制御方法
WO2014118868A1 (ja) 撮像装置及び固体撮像装置
US20180239108A1 (en) Image sensor and image capturing apparatus
JP6026102B2 (ja) 固体撮像素子および電子機器
US8723991B2 (en) Color imaging element, imaging device, and storage medium storing an imaging program
US10148936B2 (en) Multi-band image sensor for providing three-dimensional color images
JP2009017152A (ja) 固体撮像素子及びこれを用いた撮像装置
US11387267B2 (en) Image sensor, focus adjustment device, and imaging device
US8830384B2 (en) Imaging device and imaging method
US10003734B2 (en) Image capturing apparatus and control method of image sensor
US20160353043A1 (en) Image sensor and image apparatus
JP6478600B2 (ja) 撮像装置およびその制御方法
JPWO2012153533A1 (ja) カラーフィルタアレイ及び撮像素子
CN106506997B (zh) 包括相位差检测像素的图像传感器
JP5634614B2 (ja) 撮像素子及び撮像装置
JP5899653B2 (ja) 撮像装置
US9407822B2 (en) Image capturing apparatus capable of reducing time taken to display image on display and method of controlling the same
JP6368125B2 (ja) 撮像装置
JP2013157531A (ja) 固体撮像素子および電子情報機器
WO2015008635A1 (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP2015201778A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right