KR20200125215A - 카메라 모듈 - Google Patents

카메라 모듈 Download PDF

Info

Publication number
KR20200125215A
KR20200125215A KR1020190049184A KR20190049184A KR20200125215A KR 20200125215 A KR20200125215 A KR 20200125215A KR 1020190049184 A KR1020190049184 A KR 1020190049184A KR 20190049184 A KR20190049184 A KR 20190049184A KR 20200125215 A KR20200125215 A KR 20200125215A
Authority
KR
South Korea
Prior art keywords
light
unit
control signal
signal
light emitting
Prior art date
Application number
KR1020190049184A
Other languages
English (en)
Inventor
김민규
이기석
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020190049184A priority Critical patent/KR20200125215A/ko
Priority to EP20795354.8A priority patent/EP3962065A4/en
Priority to US17/594,697 priority patent/US11917303B2/en
Priority to CN202080031635.1A priority patent/CN113767617B/zh
Priority to PCT/KR2020/005482 priority patent/WO2020218898A1/ko
Publication of KR20200125215A publication Critical patent/KR20200125215A/ko

Links

Images

Classifications

    • H04N5/2354—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/2254—
    • H04N5/2256—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명의 실시예에 따른 카메라 모듈은 복수의 발광 영역을 포함하고, 제1 제어 신호에 따라 상기 복수의 발광 영역 중 적어도 하나를 구동하여 광신호를 출력하는 발광부; 상기 광신호를 집광하는 수광부; 상기 복수의 발광 영역에 각각 대응하는 복수의 수광 영역을 포함하고, 제2 제어 신호에 따라 상기 복수의 수광 영역 중 적어도 하나를 구동하여 상기 집광된 광신호에 기초한 영상 신호를 생성하는 센서부; 그리고 상기 영상 신호에 기초하여 상기 제1 제어 신호 및 상기 제2 제어 신호 중 적어도 하나를 생성하고, 상기 제1 제어 신호 및 상기 제2 제어 신호 중 적어도 하나에 기초하여 상기 발광부 및 센서부 중 적어도 하나를 제어하는 제어부를 포함한다.

Description

카메라 모듈{CAMERA MODULE}
실시 예는 카메라 모듈에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다. TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
이에 따라, TOF 방식을 생체 인증에 이용하고자 하는 시도가 있다. 예를 들어, 손가락 등에 퍼진 정맥의 모양은 태아 때부터 일생 동안 변하지 않고, 사람마다 다르다고 알려져 있다. 이에 따라, TOF 기능이 탑재된 카메라 장치를 이용하여 정맥 패턴을 식별할 수 있다. 이를 위하여, 손가락을 촬영한 후, 손가락의 색과 형상을 기반으로 배경을 제거하여 각 손가락을 검출할 수 있으며, 검출된 각 손가락의 색 정보로부터 각 손가락의 정맥 패턴을 추출할 수 있다. 즉, 손가락의 평균 색깔, 손가락에 분포된 정맥의 색깔, 및 손가락에 있는 주름의 색깔은 서로 상이할 수 있다. 예를 들어, 손가락에 분포된 정맥의 색깔은 손가락의 평균 색깔에 비하여 적색이 약할 수 있으며, 손가락에 있는 주름의 색깔은 손가락의 평균 색깔에 비하여 어두울 수 있다. 이러한 특징을 이용하여 픽셀 별로 정맥에 근사한 값을 계산할 수 있으며, 계산한 결과를 이용하여 정맥 패턴을 추출할 수 있다. 그리고 추출된 각 손가락의 정맥 패턴과 미리 등록된 데이터를 대비하여 개인을 식별할 수 있다.
ToF 카메라 모듈은 안면 인식이나 정맥 인식과 같은 근접 객체를 촬영할 경우 반사되는 빛의 강도가 강해 이미지 센서의 픽셀이 포화되는 경우가 발생할 수 있다. 이와 같이 포화가 발생하는 픽셀의 경우, 영상 처리시 데드 픽셀로 간주되어 널(null) 값이 설정된다. 포화가 발생한 픽셀에 빈 공간이 발생하게 되는데, 이는 영상의 품질을 저하시키는 원인이 된다. 또한, 거리와 무관하게 일정한 빛의 세기로 광신호를 출력하는 ToF 카메라 모듈은 소비 전력이 크게 증가하는 문제가 발생하기도 한다.
실시 예는 객체에 대한 근거리 촬영이 가능한 카메라 모듈을 제공한다.
실시 예는 전력 소비 효율이 높은 카메라 모듈을 제공한다.
실시 예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.
본 발명의 실시예에 따른 카메라 모듈은 복수의 발광 영역을 포함하고, 제1 제어 신호에 따라 상기 복수의 발광 영역 중 적어도 하나를 구동하여 광신호를 출력하는 발광부; 상기 광신호를 집광하는 수광부; 상기 복수의 발광 영역에 각각 대응하는 복수의 수광 영역을 포함하고, 제2 제어 신호에 따라 상기 복수의 수광 영역 중 적어도 하나를 구동하여 상기 집광된 광신호에 기초한 영상 신호를 생성하는 센서부; 그리고 상기 영상 신호에 기초하여 상기 제1 제어 신호 및 상기 제2 제어 신호 중 적어도 하나를 생성하고, 상기 제1 제어 신호 및 상기 제2 제어 신호 중 적어도 하나에 기초하여 상기 발광부 및 센서부 중 적어도 하나를 제어하는 제어부를 포함한다.
상기 제어부는, 상기 발광부가 상기 복수의 발광 영역을 순차 구동하도록 제어하는 상기 제1 제어 신호를 생성할 수 있다.
상기 제어부는, 상기 발광부가 상기 복수의 발광 영역 중 복수의 영역을 동시에 구동하도록 제어하는 상기 제1 제어 신호를 생성할 수 있다.
상기 제어부는, 상기 제1 제어 신호와 상기 제2 제어 신호를 동기화하여 생성하며, 상기 센서부가 상기 제1 제어 신호에 따라 구동되는 발광 영역에 대응하는 상기 수광 영역을 구동하도록 제어하는 상기 제2 제어 신호를 생성할 수 있다.
상기 영상 신호에 기초하여 영상을 생성하는 영상 처리부를 더 포함할 수 있다.
상기 제어부는, 제1 시퀀스에서 생성된 상기 영상이 기 설정된 임계치 이상의 값을 가진 픽셀을 포함하면, 상기 제1 시퀀스에서 광신호의 세기보다 제2 시퀀스에서 상기 발광부가 출력하는 광신호의 세기를 작게 제어하는 상기 제1 제어 신호를 생성할 수 있다.
상기 제어부는, 제1 시퀀스에서 생성된 상기 영상 중 객체가 검출된 객체 검출 영역에 기초하여 상기 제1 제어 신호를 생성하는 출력할 수 있다.
상기 제어부는, 제2 시퀀스에서 상기 센서부가 상기 객체 검출 영역에 대응하는 복수의 발광 영역 중 적어도 하나를 구동하도록 제어하는 상기 제1 제어 신호를 생성할 수 있다.
상기 발광부는, 복수로 구성되고, 상기 복수의 발광 영역에 적어도 하나가 배치되어 상기 광신호를 생성하는 발광 소자, 그리고 상기 발광 소자로부터 이격되어 배치되고, 상기 광신호를 산란시켜 출력하는 광학 소자를 포함할 수 있다.
상기 광학 소자는, 적어도 일면이 일정한 곡률의 구면으로 형성될 수 있다.
실시 예에 따르면, 근거리 촬영시 높은 품질의 영상을 제공할 수 있다.
실시 예에 따르면, 카메라 모듈의 전력 소비 효율이 높일 수 있으며, 소형화에 유리한 장점이 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 구성도이다.
도 2는 본 발명의 실시예에 따른 카메라 모듈의 측면도이다.
도 3은 본 발명의 실시예에 따른 발광부의 구성도이다.
도 4는 본 발명의 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 서브 프레임 영상을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 깊이 영상을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 ToF IR 영상을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 발광부의 발광 영역 구동 방법을 설명하기 위한 도면이다.
도 10는 본 발명의 실시예에 따른 제1 실시예를 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 제2 실시예를 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 제3 실시예를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 구성도이다.
본 발명의 실시예에 따른 카메라 모듈(100)은 카메라 장치, ToF(Time of Flight) 카메라 모듈, ToF 카메라 장치 등으로 명명될 수 있다.
본 발명의 실시예에 따른 카메라 모듈(100)은 광학기기에 포함될 수 있다. 광학기기는 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 내비게이션(navigation) 중 어느 하나를 포함할 수 있다. 다만, 광학기기의 종류가 이에 제한되는 것은 아니며 영상 또는 사진을 촬영하기 위한 어떠한 장치도 광학기기에 포함될 수 있다.
도 1을 참조하면, 본 발명의 실시예에 따른 카메라 모듈(100)은 발광부(110), 수광부(120), 센서부(130) 및 제어부(140)를 포함하며, 영상 처리부(150)를 더 포함할 수 있다.
발광부(110)는 복수의 발광 영역을 포함하고, 제1 제어 신호에 따라 복수의 발광 영역 중 적어도 하나를 구동하여 광신호를 출력할 수 있다.
발광부(110)는 발광모듈, 발광유닛, 발광어셈블리 또는 발광장치일 수 있다. 발광부(110)는 광신호를 생성한 후 객체에 출력, 즉 조사할 수 있다. 이때, 발광부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 광신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 본 명세서에서, 발광부(110)가 출력하는 광신호는 객체에 입사되는 광신호를 의미할 수 있다. 발광부(110)가 출력하는 광신호는 카메라 모듈(100)을 기준으로 출력광, 출력광 신호 등으로 불릴 수 있다. 발광부(110)가 출력하는 광은 객체를 기준으로 입사광, 입사광 신호 등으로 불릴 수 있다.
발광부(110)는 광을 소정의 노출주기(integration time) 동안 객체에 출력, 즉 조사할 수 있다. 여기서, 노출주기란 1개의 프레임 주기, 즉 1개의 영상 프레임 주기를 의미할 수 있다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
발광부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 출력할 수 있다. 발광부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 순차적으로 반복하여 출력할 수 있다. 또는, 발광부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 동시에 출력할 수도 있다.
수광부(120)는 수광모듈, 수광유닛, 수광어셈블리 또는 수광장치일 수 있다. 수광부(120)는 발광부(110)로부터 출력되어 객체로부터 반사된 광신호를 집광할 수 있다. 수광부(120)는 발광부(110)와 나란히 배치될 수 있다. 수광부(120)는 발광부(110) 옆에 배치될 수 있다. 수광부(120)는 발광부(110)와 같은 방향으로 배치될 수 있다. 수광부(120)는 객체에 반사된 광신호를 통과시키기 위한 필터를 포함할 수 있다.
본 명세서에서, 수광부(120)가 집광하는 광신호는 발광부(110)로부터 출력된 광신호가 객체에 도달한 후 반사된 광신호를 의미할 수 있다. 수광부(120)가 집광하는 광신호는 카메라 모듈(100)을 기준으로 입력광, 입력광 신호 등으로 불릴 수 있다. 수광부(120)가 출력하는 광은 객체를 기준으로 반사광, 반사광 신호 등으로 불릴 수 있다.
센서부(130)는 복수의 발광 영역에 각각 대응하는 복수의 수광 영역을 포함할 수 있다. 센서부(130)는 제2 제어 신호에 따라 복수의 수광 영역 중 적어도 하나를 구동하여 집광된 광신호에 기초한 영상 신호를 생성할 수 있다. 즉, 센서부(130)는 수광부(120)가 집광한 광신호를 센싱할 수 있다. 센서부(130)는 광신호를 센싱하는 이미지 센서일 수 있다. 센서부(130)는 센서, 이미지 센서, 이미지 센서부, ToF 센서, ToF 이미지 센서, ToF 이미지 센서부 등과 혼용될 수 있다.
센서부(130)는 광을 감지하여 전기적 신호를 생성할 수 있다. 즉, 센서부(130)는 수광부(120)가 집광한 광신호를 통해 전기 신호를 생성할 수 있다. 생성된 전기 신호는 아날로그 형태일 수 있다. 센서부(130)는 생성된 전기 신호에 기초하여 영상 신호를 생성하고, 생성된 영상 신호를 영상 처리부(150)로 전송할 수 있다. 이때, 영상 신호는 아날로그 형태의 전기 신호이거나 아날로그 형태의 전기 신호를 디지털 변환한 신호일 수 있다. 아날로그 형태의 전기 신호를 영상 신호로 전송하는 경우, 영상 처리부(150)는 아날로그 디지털 컨버터(analog-digital converter, ADC)와 같은 장치를 통해 전기 신호를 디지털 변환할 수 있다.
센서부(130)는 발광부(110)에서 출력하는 광의 파장에 대응하는 파장의 광을 감지할 수 있다. 예를 들어, 센서부(130)는 적외선을 감지할 수 있다. 또는, 센서부(130)는 가시광선을 감지할 수 있다.
센서부(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 센서부(130)는 피사체에 반사되는 적외선 광신호를 입력받은 후 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
제어부(140)는 영상 신호에 기초하여 제1 제어 신호 및 제2 제어 신호 중 적어도 하나를 생성할 수 있다. 그리고, 제어부(140)는 제1 제어 신호 및 제2 제어 신호 중 적어도 하나에 기초하여 발광부(110) 및 센서부(130) 중 적어도 하나를 제어할 수 있다.
제어부(140)는 발광부가 복수의 발광 영역을 순차 구동하도록 제어하는 제1 제어 신호를 생성할 수 있다. 제어부(140)는 발광부가 복수의 발광 영역 중 복수의 영역을 동시에 구동하도록 제어하는 제1 제어 신호를 생성할 수 있다. 제어부(140)는 제1 제어 신호와 제2 제어 신호를 동기화하여 생성할 수 있다. 제어부(140)는 센서부(130)가 제1 제어 신호에 따라 구동되는 발광 영역에 대응하는 수광 영역을 구동하도록 제어하는 제2 제어 신호를 생성할 수 있다.
제어부(140)는 영상 처리부에 의해 생성된 영상에 기초하여 제1 제어 신호 및 제2 제어 신호를 생성할 수 있다. 제어부(140)는 제1 시퀀스에서 생성된 영상이 기 설정된 임계치 이상의 값을 가진 픽셀을 포함하면, 제1 시퀀스에서 발광부(110)가 출력하는 광신호의 세기보다 제2 시퀀스에서 발광부(110)가 출력하는 광신호의 세기를 작게 제어하는 제1 제어 신호를 생성할 수 있다. 또한, 제어부(140)는 제1 시퀀스에서 생성된 영상 중 객체가 검출된 객체 검출 영역에 기초하여 제1 제어 신호를 생성할 수 있다. 제어부(140)는 제2 시퀀스에서 객체 검출 영역에 대응하는 복수의 발광 영역 중 적어도 하나를 구동하는 제1 제어 신호를 생성할 수 있다.
여기서, 제1 시퀀스 및 제2 시퀀스는 카메라 모듈(100)의 구동 시퀀스를 의미할 수 있다. 제2 시퀀스는 제1 시퀀스보다 앞서 구동되는 시퀀스를 의미할 수 있다. 제1 시퀀스는 광포화 영역 검출 및 객체 검출 중 적어도 하나를 수행하기 위한 시퀀스를 의미할 수 있고, 제2 시퀀스는 제1 시퀀스의 결과에 따라 객체를 촬상하는 시퀀스를 의미할 수 있다.
영상 처리부(150)는 센서부(130)로부터 영상 신호를 입력받고, 영상 신호를 처리(예컨대, 디지털 변환, 보간, 프레임 합성 등)하여 영상을 생성할 수 있다.
영상 처리부(150)는 영상 신호에 기초하여 영상을 생성할 수 있다. 이때, 영상은 복수의 픽셀로 구성되며, 복수의 픽셀은 기 설정된 임계치 미만의 값을 가지는 제1 픽셀과 기 설정된 임계치 이상의 값을 가지는 제2 픽셀을 포함할 수 있다. 제1 픽셀은 유효값을 가지는 픽셀을 의미할 수 있고, 제2 픽셀은 무효값, 즉, 널(null) 값을 가지는 픽셀을 의미할 수 있다.
영상 처리부(150)는 영상 신호를 처리하여 영상을 생성하는 프로세서를 포함할 수 있다. 프로세서는 영상 처리부(150)의 기능에 따라 복수로 구현될 수 있으며, 복수의 프로세서 중 일부가 센서부(130)와 결합되어 구현될 수 있다. 예를 들어, 아날로그 방식의 전기 신호를 디지털 방식의 영상 신호로 변환하는 프로세서는 센서와 결합되어 구현될 수 있다. 다른 예로, 영상 처리부(150)가 포함하는 복수의 프로세서는 센서부(130)와 분리되어 구현될 수도 있다.
도 2는 본 발명의 실시예에 따른 카메라 모듈의 측면도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 카메라 모듈(100)은 발광부(110)를 포함하는 광신호를 출력하는 송신측(TX)과 수광부(120) 및 센서부(130)를 포함하는 광신호를 입력받는 수신측(RX)을 포함할 수 있다. 그리고, 도 2에는 도시되지 않았으나, 본 발명의 실시예에 따른 카메라 모듈(100)은 발광부(110), 수광부(120) 및 센서부(130) 중 적어도 하나를 제어하는 제어부(140)를 더 포함할 수 있다.
도 2를 참조하면, 센서부(130)는 인쇄회로기판(200) 상에 배치될 수 있으며, 제어부(140)는 인쇄회로기판(200) 내에서 구현될 수 있다. 송신측(Tx), 즉 발광부(110)는 인쇄회로기판(200) 상에서 수신측(Rx)의 측면에 배치될 수 있다. 영상 처리부(150)는 인쇄회로기판(200) 내에서 구현되거나, 인쇄회로기판(200) 외부에서 구현될 수 있다.
도 3은 본 발명의 실시예에 따른 발광부의 구성도이다.
앞서 살펴본 것처럼, 발광부(110)는 광신호를 생성한 후 객체에 출력하는 구성 요소를 의미할 수 있다. 이러한 기능을 구현하기 위하여, 발광부(110)는 발광 소자(111)와 광학 소자(112)를 포함할 수 있으며, 광변조부(113)를 더 포함할 수 있다.
우선, 발광 소자(111)는 전기를 공급받아 빛(광)을 생성하는 소자를 의미할 수 있다. 발광 소자(111)가 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있다. 또는 발광 소자(111)가 생성하는 빛은 파장이 380 내지 770 nm인 가시광선 일 수 있다.
발광 소자(111)는 발광 다이오드(Light Emitting Diode, LED)를 포함할 수 있다. 뿐만 아니라, 발광 소자(111)는 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수 있다.
발광 소자(111)는 일정한 패턴에 따라 배열된 형태로 구현될 수 있다. 따라서, 발광 소자(111)는 복수로 구성될 수 있다. 복수의 발광 소자(111)는 기판 상에 행과 열에 따라 배열될 수 있다. 일정한 패턴에 따라 배열된 복수의 발광 소자(111)는 적어도 하나의 발광 소자(111)를 포함하는 복수의 발광 영역으로 구분될 수 있다. 예를 들어, 하나의 발광 소자(111)를 포함하는 발광 영역이 복수로 구현될 수 있다. 다른 예로, 두 개 이상의 발광 소자(111)를 포함하는 발광 영역이 복수로 구현될 수 있다. 각각의 발광 영역은 생성하는 광의 세기나 듀티비 등이 독립적으로 제어될 수 있다.
복수의 발광 소자(111)는 기판 위에 실장될 수 있다. 기판은 회로 패턴이 형성된 인쇄 회로 기판(Printed Circuit Board, PCB)일 수 있다. 기판은 일정 유연성을 확보하기 위하여 연성 인쇄 회로 기판(FPCB)으로 구현될 수 있다. 이 외에도 기판은 수지 계열의 인쇄회로기판, 메탈 코아(MetalCore) PCB, 세라믹 PCB, FR-4 기판 중 어느 하나로 구현될 수도 있다. 이외에도 복수의 발광 소자(111)는 칩(chip)의 형태로 구현될 수도 있다.
광학 소자(112)는 일정한 산란 패턴에 따라 입력된 광신호를 산란시켜 출력할 수 있다. 광학 소자(112)는 빛을 산란시킴으로써 발광 소자(111)으로부터 생성된 광신호의 휘도 균일도를 향상시킴과 동시에 발광 소자(111)가 위치한 곳에 빛이 집중되는 핫 스팟(Hot Spot)을 제거할 수 있다. 즉, 광학 소자(112)는 입력된 광신호를 산란시켜 출력되는 광신호를 전면에 걸쳐 균일하게 확산시킬 수 있다.
광학 소자(112)는 발광 소자(111)의 전면에 배치된다. 이때, 발광 소자(111)의 전면이라 함은 발광 소자(111)에서 광신호가 출력되는 방향에 위치한 일면을 의미한다. 광학 소자(112)는 발광 소자(111)와 일정한 거리만큼 이격되어 배치될 수 있다. 광학 소자(112)와 발광 소자(111) 사이의 거리는 카메라 모듈의 용도, 발광 소자(111)의 형태 및 종류 등을 고려하여 당업자에 의해 설계 변경이 가능하다.
광학 소자(112)는 광학 디퓨저(optical diffuser)로 구현될 수 있다. 광학 소자(112)는 빛을 산란시키는 확산제가 빛을 투과시킬 수 있는 투명 재질의 소재와 혼합된 구성일 수 있다. 즉, 광학 소자(112)에 포함된 확산제가 입사되는 빛을 산란시켜 핫스팟(hot spot)을 제거할 수 있다. 이때, 투명 재질의 소재는 폴리카보네이트(polycarbonate)일 수 있다.
광학 소자(112)는 적어도 어느 일면이 소정의 곡률을 가지는 구면으로 구현될 수 있다.
광변조부(113)는 발광 소자(111)의 점멸을 제어하여 발광 소자(111)가 지속파나 펄스파 형태의 광신호를 생성하도록 제어할 수 있다. 광변조부(113)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 발광 소자(111)가 지속파나 펄스파 형태의 광을 생성하도록 제어할 수 있다. 예를 들어, 광변조부(113)는 일정 시간 간격으로 발광 소자(111)의 점멸(on/off)을 반복시켜 펄스파 형태나 지속파 형태의 광을 생성하도록 제어할 수 있다. 일정 시간 간격은 광신호의 주파수일 수 있다.
도 4는 본 발명의 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 4를 참조하면, 수광부(120)는 렌즈 어셈블리(121) 및 필터(125)를 포함한다. 렌즈 어셈블리(121)는 렌즈(122), 렌즈 배럴(123) 및 렌즈 홀더(124)를 포함할 수 있다.
렌즈(122)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(122)는 위에서 설명한 가변 렌즈를 포함할 수 있다. 렌즈(122)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴(123)은 렌즈 홀더(124)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(123)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(124)는 렌즈 배럴(123)과 결합되어 렌즈 배럴(123)을 지지하고, 센서(130)가 탑재된 인쇄회로기판(126)에 결합될 수 있다. 여기서, 센서는 도 1의 센서부(130)에 대응할 수 있다. 렌즈 홀더(124)에 의하여 렌즈 배럴(123) 하부에 필터(125)가 부착될 수 있는 공간이 형성될 수 있다. 렌즈 홀더(124)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(123)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(124)와 렌즈 배럴(123)은 접착제를 통해 결합되거나, 렌즈 홀더(124)와 렌즈 배럴(123)이 일체형으로 형성될 수도 있다.
렌즈 홀더(124)는 렌즈 배럴(123)과 결합되는 상부 홀더(124-1) 및 센서(130)가 탑재된 인쇄 회로 기판(126)과 결합되는 하부 홀더(124-2)로 구분될 수 있으며, 상부 홀더(124-1) 및 하부 홀더(124-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(124-1)의 직경은 하부 홀더(124-2)의 직경보다 작게 형성될 수 있다.
필터(125)는 렌즈 홀더(124)에 결합될 수 있다. 필터(125)는 렌즈 어셈블리(121)와 센서 사이에 배치될 수 있다. 필터(125)는 객체와 센서 사이의 광경로 상에 배치될 수 있다. 필터(125)는 소정 파장 범위를 갖는 광을 필터링할 수 있다. 필터(125)는 특정 파장의 광을 통과시킬 수 있다. 즉, 필터(125)는 특정 파장 외의 광을 반사 또는 흡수하여 차단할 수 있다. 필터(125)는 적외선을 통과시키고 적외선 이외의 파장의 광을 차단시킬 수 있다. 또는, 필터(125)는 가시광선을 통과시키고 가시광선 이외의 파장의 광을 차단시킬 수 있다. 필터(125)는 이동할 수 있다. 필터(125)는 렌즈 홀더(124)와 일체로 이동할 수 있다. 필터(125)는 틸트(tilt)될 수 있다. 필터(125)는 이동되어 광경로를 조절할 수 있다. 필터(125)는 이동을 통해 센서부(130)로 입사되는 광의 경로를 변경시킬 수 있다. 필터(125)는 입사되는 광의 FOV(Field of View) 각도 또는 FOV의 방향 등을 변경시킬 수 있다.
도 4에 도시되지 않았으나, 영상 처리부(150) 등은 인쇄 회로 기판 내에서 구현될 수 있다. 그리고, 도 1의 발광부(110)는 인쇄 회로 기판(126) 상에서 센서(130)의 측면에 배치되거나, 카메라 모듈(100)의 외부, 예를 들어 카메라 모듈(100)의 측면에 배치될 수도 있다.
상기의 예시는 일 실시예에 불과하며, 수광부(120)는 카메라 모듈(100)로 입사되는 광을 집광하여 센서에 전달할 수 있는 다른 구조로 구성될 수도 있다.
도 5은 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 5에 나타난 바와 같이, 본 발명의 실시예에 따른 참조 신호, 즉 복조 신호는 4개(C1 내지 C4)일 수 있다. 각 복조 신호(C1 내지 C4)는 출력광(발광부(110)가 출력하는 광), 즉 객체의 입장에서 입사광과 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 복조 신호 중 하나(C1)는 출력광과 동일한 위상을 가질 수 있다. 입력광(수광부(120)가 입력받는 광), 즉 객체의 입장에서 반사광은 출력광이 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 센서부(130)는 입력광과 각 복조 신호를 각각 믹싱(mixing)한다. 그러면, 센서부(130)는 도 5의 음영 부분에 대응하는 전기 신호를 각 복조 신호별로 생성할 수 있다. 복조 신호별로 생성된 전기 신호는 영상 신호로서 영상 처리부(150)에 전송되거나, 디지털 변환된 전기 신호가 영상 신호로서 영상 처리부(150)에 전송될 수 있다.
다른 실시예로, 노출 시간 동안 복수의 주파수로 출력광이 생성된 경우, 센서는 복수의 주파수에 따른 입력광을 흡수한다. 예를 들어, 주파수 f1과 f2로 출력광이 생성되고, 복수의 복조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 입력광과 이에 대응하는 4개의 복조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 입력광과 이에 대응하는 4개의 복조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다.
도 6은 본 발명의 실시예에 따른 서브 프레임 영상을 설명하기 위한 도면이다.
앞서 살펴본 바와 같이, 전기 신호는 4개의 복조 신호 별 위상에 대응하여 생성될 수 있다. 따라서, 도 6에 도시된 것처럼, 영상 처리부(150)는 4개의 위상에 대응하는 서브 프레임 영상을 얻을 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 서브 프레임 영상은 위상 영상, 위상 IR 영상 등과 혼용될 수 있다.
그리고, 영상 처리부(150)는 복수의 서브 프레임 영상에 기초하여 깊이 영상을 생성할 수 있다.
도 7은 본 발명의 실시예에 따른 깊이 영상을 설명하기 위한 도면이다.
도 7의 깊이 영상은 도 4의 서브 프레임 영상에 기초하여 생성된 영상을 나타낸다. 영상 처리부(150)는 복수의 서브 프레임 영상을 이용하여 깊이 영상을 생성할 수 있으며, 이는 아래의 수학식 1 및 수학식 2를 통해 구현될 수 있다.
Figure pat00001
여기서, Raw(x0)은 0도 위상에 대응하는 서브 프레임 영상을 의미한다. Raw(x90)은 90도 위상에 대응하는 서브 프레임 영상을 의미한다. Raw(x180)은 180도 위상에 대응하는 서브 프레임 영상을 의미한다. Raw(x270)은 270도 위상에 대응하는 서브 프레임 영상을 의미한다.
즉, 영상 처리부(150)는 수학식 1을 통해 각 픽셀별로 발광부(110)가 출력하는 광신호와 수광부(120)가 입력받는 광신호 사이의 위상차를 산출할 수 있다.
Figure pat00002
여기서, f는 광신호의 주파수를 의미한다. c는 빛의 속도를 의미한다.
즉, 영상 처리부(150)는 수학식 2를 통해 각 픽셀별로 카메라 모듈(100)과 객체 사이의 거리를 산출할 수 있다.
한편, 영상 처리부(150)는 복수의 서브 프레임 영상에 기초하여 ToF IR 영상을 생성할 수도 있다.
도 8는 본 발명의 실시예에 따른 ToF IR 영상을 설명하기 위한 도면이다.
도 8는 도 4의 4개 서브 프레임 영상을 통해 생성된 ToF IR 영상의 일종인 앰플리튜드 영상(amplitude image)을 나타낸다.
도 8에서와 같은 앰플리튜드 영상을 생성하기 위하여, 영상 처리부(150)는 아래의 수학식 3을 이용할 수 있다.
Figure pat00003
다른 예로, 영상 처리부(150)는 아래의 수학식 4를 이용하여 ToF IR 영상의 일종인 인텐시티 영상(intensity image)을 생성할 수 있다. 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다.
Figure pat00004
앰플리튜드 영상이나 인텐시티 영상과 같은 ToF IR 영상은 그레이 영상일 수 있다.
도 9는 본 발명의 실시예에 따른 발광부의 발광 영역 구동 방법을 설명하기 위한 도면이다.
도 9에 도시된 것처럼, 발광부(110)에 포함된 복수의 발광 소자가 4개의 발광 영역으로 구분되어 있다고 가정한다.
도 9의 (a)를 참조하면, 발광부(110)는 발광 영역 전체를 동시에 구동할 수 있다. 이에 대응하여 센서부(130) 역시 수광 영역 전체를 동시에 구동할 수 있다.
도 9의 (b)를 참조하면, 발광부(110)는 발광 영역을 순차적으로 구동할 수 있다. 발광부(110)는 4개의 발광 영역을 순차적으로, 즉, 발광 영역 1 내지 4를 순차적으로 구동할 수 있다. 이때, 센서부(130) 역시 구동되는 발광 영역에 대응하는 수광 영역을 순차적으로 구동할 수 있다.
도 9의 (c)를 참조하면, 발광부(110)는 복수의 발광 영역 중 복수의 영역을 동시에 구동할 수 있다. 예를 들어, 발광부(110)는 발광 영역 1 및 2를 동시에 구동하고 발광 영역 3 및 4를 동시에 구동할 수 있다. 발광부(110)는 발광 영역 1 및 2를 동시에 구동한 후, 발광 영역 3 및 4를 동시에 구동할 수 있다. 이때, 센서부(130)는 구동되는 발광 영역에 대응하는 복수의 수광 영역을 동시에 구동할 수 있다. 도 9에는 도시되지 않았으나, 발광 영역은 균등한 크기로 동시 구동될 필요는 없으며, 발광 영역 1 내지 3를 동시에 구동한 후 발광 영역 4를 구동할 수도 있다.
도 10는 본 발명의 실시예에 따른 제1 실시예를 설명하기 위한 도면이다.
도 10의 (a)는 제1 시퀀스에서의 동작을 설명하기 위한 도면이고, 도 10의 (b)는 제2 시퀀스에서의 동작을 설명하기 위한 도면이다. 도 10의 (a) 및 도 10의 (b)의 좌측은 발광부(110)를 나타내며, 우측은 센서부(130)를 나타낸다.
도 10에 도시된 것처럼, 발광부(110)에 포함된 복수의 발광 소자가 4개의 발광 영역으로 구분되어 있으며, 발광 영역에 대응하여 센서부(130)에 포함된 수광 영역 역시 4개로 구분되어 있다고 가정한다. 즉, 발광 영역 1은 수광 영역 A에 대응하고, 발광 영역 2는 수광 영역 B에 대응하고, 발광 영역 3은 수광 영역 C에 대응하고, 발광 영역 4는 수광 영역 D에 대응한다.
우선, 도 10의 (a)를 참조하면, 제어부(140)는 제1 시퀀스에 따른 제1 제어 신호를 통해 발광부(110)가 4개의 발광 영역 전체에서 광신호를 출력하도록 제어할 수 있다. 이와 함께, 제어부(140)는 제1 시퀀스에 따른 제1 제어 신호에 동기화 된 제2 제어 신호를 통해 센서부(130)가 4개의 수광 영역 전체에서 광신호를 입력받도록 제어할 수 있다.
그러면, 센서부(130)는 입력받은 광신호를 통해 영상 신호를 생성하고, 영상 처리부(150)는 영상 신호를 통해 영상을 생성한다. 이때, 영상은 깊이 영상일 수 있으며, IR 영상일 수도 있다.
그리고, 제어부(140)는 제1 시퀀스에서 생성된 영상이나 영상 신호에 기초하여 광포화가 발생한 영역을 탐색할 수 있다. 예를 들어, 영상에 기초하는 경우, 제어부(140)는 픽셀값으로 널(null)값이 발생하는 영상의 픽셀 영역을 광포화가 발생하는 영역으로 판단할 수 있다. 다른 예로, 영상 신호에 기초하는 경우, 제어부(140)는 영상 신호가 기 설정된 임계치 이상의 값으로 출력되는 센서부(130)의 픽셀 영역을 광포화가 발생하는 영역으로 판단할 수 있다. 도 10의 (a)를 참조하면, 수광 영역 B의 일부 픽셀(해칭 부분)에 광포화가 발생하였다고 가정한다.
다음으로, 도 10의 (b)를 참조하면, 제어부(140)는 제2 시퀀스에 따른 제1 제어 신호를 통해 발광부(110)가 4개의 발광 영역에서 광신호를 출력하도록 제어할 수 있다. 이와 함께, 제어부(140)는 제2 시퀀스에 따른 제1 제어 신호에 동기화 된 제2 제어 신호를 통해 센서부(130)가 4개의 수광 영역 전체에서 광신호를 입력받도록 제어할 수 있다.
이때, 제1 제어 신호는 제1 시퀀스에서 발광부(110)가 출력하는 광신호의 세기보다 작은 크기로 제2 시퀀스에서 발광부(110)가 광신호를 출력하도록 제어한다. 예를 들어, 제1 시퀀스에서 광신호의 세기가 10이었다면, 제2 시퀀스에서는 5의 크기로 광신호가 출력되도록 제어할 수 있다.
그러면, 센서부(130)는 입력받은 광신호를 통해 영상 신호를 생성하고, 영상 처리부(150)는 영상 신호를 통해 영상을 생성한다. 제2 시퀀스에서는 광신호의 세기를 줄임으로 인해 도 10의 (b)처럼 광포화가 발생하지 않을 수 있으며, 영상의 정밀도를 향상시킬 수 있다.
도 11은 본 발명의 실시예에 따른 제2 실시예를 설명하기 위한 도면이다.
도 11을 참조하면, 발광부(110)는 제1 시퀀스에서 발광 영역 1 내지 4를 순차적으로 구동하고, 이에 대응하여 센서부(130)도 제1 시퀀스에서 수광 영역 A 내지 D를 순차적으로 구동할 수 있다.
우선, 도 11의 (a)처럼, 제1 시퀀스에서, 발광부(110)가 발광 영역 1을 구동하고, 센서부(130)가 수광 영역 A을 구동하여 영상 신호를 생성할 수 있다. 그리고, 제어부(140)는 영상 신호에 기초하여 수광 영역 A에서 광포화가 발생하였는지 여부를 판단할 수 있다.
수광 영역 A에서 광포화가 발생하지 않았다고 판단되면, 도 11의 (b)처럼, 발광부(110)가 발광 영역 2를 구동하고, 센서부(130)가 수광 영역 B를 구동하여 영상 신호를 생성할 수 있다. 그리고 제어부(140)는 영상 신호에 기초하여 수광 영역 B에서 광포화가 발생하였는지 여부를 판단할 수 있다.
도 11의 (b)에 나타난 것처럼, 수광 영역 B의 일부 픽셀에서 광포화가 발생(해칭 부분)하였으므로, 카메라 모듈(100)은 제1 시퀀스를 중단하고(발광 영역 3 및 4에 따른 구동을 하지 않음) 제2 시퀀스를 진행할 수 있다.
제어부(140)는 제2 시퀀스에 따른 제1 제어 신호를 통해 발광부(110)가 4개의 발광 영역에서 광신호를 출력하도록 제어할 수 있다. 이와 함께, 제어부(140)는 제2 시퀀스에 따른 제1 제어 신호에 동기화 된 제2 제어 신호를 통해 센서부(130)가 4개의 수광 영역 전체에서 광신호를 입력받도록 제어할 수 있다. 이때, 제1 제어 신호는 제1 시퀀스에서 발광부(110)가 출력하는 광신호의 세기보다 작은 크기로 제2 시퀀스에서 발광부(110)가 광신호를 출력하도록 제어한다.
이 경우, 발광 영역 3 및 4, 그리고 수광 영역 C 및 D의 구동을 진행하지 않으므로, 전력을 절감할 수 있는 장점이 있다.
도 12는 본 발명의 실시예에 따른 제3 실시예를 설명하기 위한 도면이다.
우선, 도 10의 (a)를 참조하면, 제어부(140)는 제1 시퀀스에 따른 제1 제어 신호를 통해 발광부(110)가 4개의 발광 영역 전체에서 광신호를 출력하도록 제어할 수 있다. 이와 함께, 제어부(140)는 제1 시퀀스에 따른 제1 제어 신호에 동기화 된 제2 제어 신호를 통해 센서부(130)가 4개의 수광 영역 전체에서 광신호를 입력받도록 제어할 수 있다. 이때, 앞서 살펴본 것처럼, 발광 영역의 일부 구동이나 순차 구동도 가능하다.
그러면, 센서부(130)는 입력받은 광신호를 통해 영상 신호를 생성하고, 영상 처리부(150)는 영상 신호를 통해 영상을 생성한다. 이때, 영상은 깊이 영상일 수 있으며, IR 영상일 수도 있다.
그리고, 제어부(140)는 제1 시퀀스에서 생성된 영상이나 영상 신호를 통해 객체가 존재하는 영역을 탐색할 수 있다. 예를 들어, 영상에 기초하는 경우, 제어부(140)는 픽셀값으로 널(null)값이 발생하는 영상의 픽셀 영역(광포화가 발생하는 픽셀 영역)을 객체 검출 영역으로 판단할 수 있다. 다른 예로, 영상에 기초하는 경우, 제어부(140)는 특정값 이상의 값을 픽셀값으로 가지는 영상의 픽셀 영역을 객체 검출 영역으로 판단할 수 있다. 다른 예로, 영상 신호에 기초하는 경우, 제어부(140)는 영상 신호가 기 설정된 임계치 이상의 값으로 출력되는 센서부(130)의 픽셀 영역을 객체 검출 영역으로 판단할 수 있다. 도 12의 (a)를 참조하면, 수광 영역 A 및 B의 일부 픽셀(해칭 부분)에서 객체가 검출되었음을 알 수 있다.
그러면, 제어부(140)는 제2 시퀀스에 따른 제1 제어 신호를 통해 발광부(110)가 객체 검출 영역에 대응하는 발광 영역에서 광신호를 출력하도록 제어할 수 있다. 이와 함께, 제어부(140)는 제2 시퀀스에 따른 제1 제어 신호에 동기화 된 제2 제어 신호를 통해 센서부(130)가 객체 검출 영역에 대응하는 수광 영역에서 광신호를 입력받도록 제어할 수 있다. 만약, 광포화가 발생한 경우라면, 제어부(140)는 제2 시퀀스에서 광신호의 세기를 제1 시퀀스에서 광신호의 세기보다 작게 제어하여 출력하도록 제1 제어 신호를 생성할 수 있다.
이 경우 적은 전력을 이용하여 근접 센서로서의 기능을 수행할 수 있는 장점이 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 카메라 모듈
110 : 발광부
120 : 수광부
130 : 센서부
140 : 제어부
150 : 영상 처리부

Claims (10)

  1. 복수의 발광 영역을 포함하고, 제1 제어 신호에 따라 상기 복수의 발광 영역 중 적어도 하나를 구동하여 광신호를 출력하는 발광부;
    상기 광신호를 집광하는 수광부;
    상기 복수의 발광 영역에 각각 대응하는 복수의 수광 영역을 포함하고, 제2 제어 신호에 따라 상기 복수의 수광 영역 중 적어도 하나를 구동하여 상기 집광된 광신호에 기초한 영상 신호를 생성하는 센서부; 그리고
    상기 영상 신호에 기초하여 상기 제1 제어 신호 및 상기 제2 제어 신호 중 적어도 하나를 생성하고, 상기 제1 제어 신호 및 상기 제2 제어 신호 중 적어도 하나에 기초하여 상기 발광부 및 센서부 중 적어도 하나를 제어하는 제어부를 포함하는 카메라 모듈.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 발광부가 상기 복수의 발광 영역을 순차 구동하도록 제어하는 상기 제1 제어 신호를 생성하는 카메라 모듈.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 발광부가 상기 복수의 발광 영역 중 복수의 영역을 동시에 구동하도록 제어하는 상기 제1 제어 신호를 생성하는 카메라 모듈.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 제1 제어 신호와 상기 제2 제어 신호를 동기화하여 생성하며,
    상기 센서부가 상기 제1 제어 신호에 따라 구동되는 발광 영역에 대응하는 상기 수광 영역을 구동하도록 제어하는 상기 제2 제어 신호를 생성하는 카메라 모듈.
  5. 제1항에 있어서,
    상기 영상 신호에 기초하여 영상을 생성하는 영상 처리부를 더 포함하는 카메라 모듈.
  6. 제5항에 있어서,
    상기 제어부는,
    제1 시퀀스에서 생성된 상기 영상이 기 설정된 임계치 이상의 값을 가진 픽셀을 포함하면, 상기 제1 시퀀스에서 광신호의 세기보다 제2 시퀀스에서 상기 발광부가 출력하는 광신호의 세기를 작게 제어하는 상기 제1 제어 신호를 생성하는 카메라 모듈.
  7. 제5항에 있어서,
    상기 제어부는,
    제1 시퀀스에서 생성된 상기 영상 중 객체가 검출된 객체 검출 영역에 기초하여 상기 제1 제어 신호를 생성하는 출력하는 카메라 모듈.
  8. 제7항에 있어서,
    상기 제어부는,
    제2 시퀀스에서 상기 센서부가 상기 객체 검출 영역에 대응하는 복수의 발광 영역 중 적어도 하나를 구동하도록 제어하는 상기 제1 제어 신호를 생성하는 카메라 모듈.
  9. 제1항에 있어서,
    상기 발광부는,
    복수로 구성되고, 상기 복수의 발광 영역에 적어도 하나가 배치되어 상기 광신호를 생성하는 발광 소자, 그리고
    상기 발광 소자로부터 이격되어 배치되고, 상기 광신호를 산란시켜 출력하는 광학 소자를 포함하는 카메라 모듈.
  10. 제9항에 있어서,
    상기 광학 소자는,
    적어도 일면이 일정한 곡률의 구면으로 형성되는 카메라 모듈.
KR1020190049184A 2019-04-26 2019-04-26 카메라 모듈 KR20200125215A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190049184A KR20200125215A (ko) 2019-04-26 2019-04-26 카메라 모듈
EP20795354.8A EP3962065A4 (en) 2019-04-26 2020-04-24 CAMERA MODULE
US17/594,697 US11917303B2 (en) 2019-04-26 2020-04-24 Camera module
CN202080031635.1A CN113767617B (zh) 2019-04-26 2020-04-24 相机模块
PCT/KR2020/005482 WO2020218898A1 (ko) 2019-04-26 2020-04-24 카메라 모듈

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190049184A KR20200125215A (ko) 2019-04-26 2019-04-26 카메라 모듈

Publications (1)

Publication Number Publication Date
KR20200125215A true KR20200125215A (ko) 2020-11-04

Family

ID=72940775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190049184A KR20200125215A (ko) 2019-04-26 2019-04-26 카메라 모듈

Country Status (5)

Country Link
US (1) US11917303B2 (ko)
EP (1) EP3962065A4 (ko)
KR (1) KR20200125215A (ko)
CN (1) CN113767617B (ko)
WO (1) WO2020218898A1 (ko)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004165215A (ja) * 2002-11-08 2004-06-10 Hosiden Corp 光電センサ
WO2016032048A1 (ko) 2014-08-28 2016-03-03 엘지전자 주식회사 근접 센서 및 이의 제어 방법
KR102240817B1 (ko) * 2015-01-21 2021-04-16 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
KR102311688B1 (ko) * 2015-06-17 2021-10-12 엘지전자 주식회사 이동단말기 및 그 제어방법
JP2017121041A (ja) * 2015-12-11 2017-07-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 撮像装置
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
KR102406327B1 (ko) * 2016-02-02 2022-06-10 삼성전자주식회사 출력 장치를 제어하는 방법 및 장치
JP6834211B2 (ja) * 2016-07-15 2021-02-24 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置及び測距方法
US10827163B2 (en) * 2016-08-09 2020-11-03 Facebook Technologies, Llc Multiple emitter illumination source for depth information determination
KR101882282B1 (ko) * 2017-09-22 2018-08-24 엘지전자 주식회사 디지털 디바이스 및 그의 생체 인증 방법

Also Published As

Publication number Publication date
US11917303B2 (en) 2024-02-27
US20220210312A1 (en) 2022-06-30
CN113767617B (zh) 2024-01-09
EP3962065A1 (en) 2022-03-02
WO2020218898A1 (ko) 2020-10-29
EP3962065A4 (en) 2022-06-08
CN113767617A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
KR100864272B1 (ko) 도광체, 조명 장치 및 이것을 이용한 촬상 장치
US10652513B2 (en) Display device, display system and three-dimension display method
JP6302414B2 (ja) 複数の光源を有するモーションセンサ装置
EP2873986A1 (en) Camera integrated with light source
KR20200036614A (ko) 카메라 장치 및 그의 깊이 정보 추출 방법
US11659155B2 (en) Camera
KR20210034301A (ko) 카메라 모듈
CN113366383A (zh) 摄像头装置及其自动聚焦方法
US11997383B2 (en) Camera module extracting distance information based on a time-of-flight method
TWI829828B (zh) 攝影裝置
KR102561533B1 (ko) 카메라 장치
KR20200125215A (ko) 카메라 모듈
US11994378B2 (en) Camera module
KR20210034300A (ko) 카메라 모듈
KR20120111092A (ko) 촬상 장치
KR20190143278A (ko) 이미지 센서 및 이를 이용하는 카메라 모듈
US20220224850A1 (en) Camera module
CN116746144A (zh) 相机模块
KR20200113437A (ko) 카메라 모듈
KR20200108735A (ko) 카메라 장치
KR20200126129A (ko) 카메라 모듈
CN218547534U (zh) 一种刷脸与刷掌集成设备
KR20200073673A (ko) 카메라 장치
CN113196284B (zh) 摄像装置
KR20200131029A (ko) 카메라 모듈