KR20210034300A - 카메라 모듈 - Google Patents

카메라 모듈 Download PDF

Info

Publication number
KR20210034300A
KR20210034300A KR1020190116061A KR20190116061A KR20210034300A KR 20210034300 A KR20210034300 A KR 20210034300A KR 1020190116061 A KR1020190116061 A KR 1020190116061A KR 20190116061 A KR20190116061 A KR 20190116061A KR 20210034300 A KR20210034300 A KR 20210034300A
Authority
KR
South Korea
Prior art keywords
image
light
unit
camera module
tilt
Prior art date
Application number
KR1020190116061A
Other languages
English (en)
Other versions
KR102710469B1 (ko
Inventor
김형진
이창혁
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020190116061A priority Critical patent/KR102710469B1/ko
Publication of KR20210034300A publication Critical patent/KR20210034300A/ko
Application granted granted Critical
Publication of KR102710469B1 publication Critical patent/KR102710469B1/ko

Links

Images

Classifications

    • H04N5/23232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/2253—
    • H04N5/2254—
    • H04N5/2256—
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예에 따른 카메라 모듈은 객체에 광신호를 출력하는 발광부; 상기 발광부로부터 출력되어 상기 객체에 반사된 광신호를 집광하는 수광부; 집광된 광신호를 수신하여 영상 신호를 생성하는 센서부; 상기 센서부에 수신되는 광신호를 소정의 규칙에 따라 반복하여 이동시키는 틸트부; 그리고 상기 영상 신호에 기초하여 복수의 제1 영상을 생성하되, 상기 복수의 제1 영상에 대한 광경로가 기 설정된 기준값으로부터 이동한 이동값 및 상기 소정의 규칙을 이용하여 상기 제1 영상보다 높은 해상도의 제2 영상을 생성하는 영상 처리부를 포함한다.

Description

카메라 모듈{CAMERA MODULE}
실시 예는 카메라 모듈에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법 중 하나는, IR(Infrared) 구조광을 객체에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 추출하는 방식이다. IR 구조광 방식에 따르면, 움직이는 객체에 대하여 원하는 수준의 깊이 분해능(Depth resolution)을 얻기 어려운 문제가 있다.
한편, IR 구조광 방식을 대체하는 기술로 TOF(Time of Flight) 방식이 주목받고 있다.
TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정 없이도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 객체를 측정하거나 움직이는 객체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
하지만, 현재 ToF 방식의 경우 한 프레임당 얻을 수 있는 정보, 즉 해상도가 매우 낮다는 문제점이 있다.
해상도를 높이기 위한 방법으로 이미지 센서의 화소 수를 높이는 방법이 있다. 그러나 이 경우 카메라 모듈의 부피 및 제조 비용이 크게 증가하게 된다는 문제가 발생한다.
이에 따라, 카메라 모듈의 부피 및 제조 비용을 증가시키지 않으면서도 해상도를 높일 수 있는 깊이 정보 획득 방법이 필요하다.
실시 예는 TOF 방식을 이용하여 깊이 정보를 추출하는 카메라 모듈을 제공한다.
또한, 센서 해상도보다 높은 해상도의 영상을 생성하는 카메라 모듈을 제공한다.
실시 예에서 해결하고자 하는 과제는 이에 한정되는 것은 아니며, 아래에서 설명하는 과제의 해결수단이나 실시 형태로부터 파악될 수 있는 목적이나 효과도 포함된다고 할 것이다.
본 발명의 실시예에 따른 카메라 모듈은 객체에 광신호를 출력하는 발광부; 상기 발광부로부터 출력되어 상기 객체에 반사된 광신호를 집광하는 수광부; 집광된 광신호를 수신하여 영상 신호를 생성하는 센서부; 상기 센서부에 수신되는 광신호를 소정의 규칙에 따라 반복하여 이동시키는 틸트부; 그리고 상기 영상 신호에 기초하여 복수의 제1 영상을 생성하되, 상기 복수의 제1 영상에 대한 광경로가 기 설정된 기준값으로부터 이동한 이동값 및 상기 소정의 규칙을 이용하여 상기 제1 영상보다 높은 해상도의 제2 영상을 생성하는 영상 처리부를 포함한다.
상기 복수의 제1 영상에 대한 광경로의 이동값을 검출하는 검출부를 더 포함할 수 있다.
상기 검출부는, 상기 복수의 제1 영상의 공간 주파수에 기초하여 상기 복수의 제1 영상에 대한 광경로의 이동값을 검출할 수 있다.
상기 검출부는, 복수의 제1 영상에 대응하는 카메라 모듈에 대한 자세 정보에 기초하여 상기 복수의 제1 영상에 대한 광경로의 이동값을 검출할 수 있다.
상기 수광부는, 상기 광신호를 통과시키는 필터; 그리고 상기 객체에 반사된 광신호를 집광하는 렌즈를 포함할 수 있다.
상기 틸트부는, 상기 필터, 상기 렌즈 및 상기 센서부 중 적어도 하나를 제어하여 상기 센서부에 수신되는 광신호를 상기 소정의 규칙에 따라 반복하여 이동시킬 수 있다.
상기 소정의 규칙은, 상기 센서부에 수신되는 상기 광신호의 광경로가 서로 상이하게 제어되는 복수의 틸트 시퀀스를 포함할 수 있다.
상기 틸트부는, 상기 복수의 틸트 시퀀스에 따라 상기 광신호의 광경로가 상기 기준값으로부터 1픽셀보다 작은 범위 내에서 이동하도록 제어할 수 있다.
상기 영상 처리부는, 상기 복수의 제1 영상에 대한 광경로의 이동값과 상기 복수의 틸트 시퀀스에 대해 설정된 복수의 설정값을 이용하여 상기 제2 영상을 생성할 수 있다.
상기 영상 처리부는, 상기 이동값이 1픽셀보다 작은 제1 영상의 경우, 틸트 시퀀스에 대해 설정된 설정값에 따라 제1 영상의 픽셀값을 배치하여 상기 제2 영상을 생성할 수 있다.
상기 영상 처리부는, 상기 이동값이 1픽셀보다 큰 제1 영상의 경우, 틸트 시퀀스에 대해 설정된 설정값을 상기 이동값에 따라 보정하고, 보정된 설정값에 따라 제1 영상의 픽셀값을 배치하여 상기 제2 영상을 생성할 수 있다.
실시 예에 따르면, 손떨림이나 진동 같은 외부 요인에 강인한 카메라 모듈을 제공할 수 있다.
센서의 해상도보다 높은 해상도의 영상을 생성할 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 구성도이다.
도 2는 본 발명의 실시예에 따른 발광부의 구성도이다.
도 3는 본 발명의 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 센서부를 설명하기 위한 도면이다.
도 5은 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 서브 프레임 영상을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 깊이 영상을 설명하기 위한 도면이다.
도 8는 본 발명의 실시예에 따른 ToF IR 영상을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 틸트 시퀀스를 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따른 검출부를 설명하기 위한 도면이다.
도 11 및 도 12은 본 발명의 실시예에 따른 제2 영상의 생성을 설명하기 위한 도면이다.
도 13 및 도 14는 제2 영상의 보정 과정을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 구성도이다.
본 발명의 실시예에 따른 카메라 모듈(100)은 카메라 장치, ToF(Time of Flight) 카메라 모듈, ToF 카메라 장치 등으로 명명될 수 있다.
본 발명의 실시예에 따른 카메라 모듈(100)은 광학기기에 포함될 수 있다. 광학기기는 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 내비게이션(navigation) 중 어느 하나를 포함할 수 있다. 다만, 광학기기의 종류가 이에 제한되는 것은 아니며 영상 또는 사진을 촬영하기 위한 어떠한 장치도 광학기기에 포함될 수 있다.
도 1을 참조하면, 본 발명의 실시예에 따른 카메라 모듈(100)은 발광부(110), 수광부(120), 센서부(130), 제어부(140), 영상 처리부(150) 및 틸트부(160)를 포함할 수 있으며, 검출부(170)를 더 포함할 수 있다.
발광부(110)는 발광모듈, 발광유닛, 발광어셈블리 또는 발광장치일 수 있다. 발광부(110)는 광신호를 생성한 후 객체에 출력, 즉 조사할 수 있다. 이때, 발광부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 광신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 본 명세서에서, 발광부(110)가 출력하는 광신호는 객체에 입사되는 광신호를 의미할 수 있다. 발광부(110)가 출력하는 광신호는 카메라 모듈(100)을 기준으로 출력광, 출력광 신호 등으로 불릴 수 있다. 발광부(110)가 출력하는 광은 객체를 기준으로 입사광, 입사광 신호 등으로 불릴 수 있다.
발광부(110)는 광을 소정의 노출주기(integration time) 동안 객체에 출력, 즉 조사할 수 있다. 여기서, 노출주기란 1개의 프레임 주기, 즉 1개의 영상 프레임 주기를 의미할 수 있다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
발광부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 출력할 수 있다. 발광부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 순차적으로 반복하여 출력할 수 있다. 또는, 발광부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 동시에 출력할 수도 있다.
수광부(120)는 수광모듈, 수광유닛, 수광어셈블리 또는 수광장치일 수 있다. 수광부(120)는 발광부(110)로부터 출력되어 객체로부터 반사된 광신호를 집광할 수 있다. 수광부(120)는 발광부(110)와 나란히 배치될 수 있다. 수광부(120)는 발광부(110) 옆에 배치될 수 있다. 수광부(120)는 발광부(110)와 같은 방향으로 배치될 수 있다. 수광부(120)는 객체에 반사된 광신호를 통과시키기 위한 필터 및 객체에 반사된 광신호를 집광하는 렌즈를 포함할 수 있다.
본 명세서에서, 수광부(120)가 집광하는 광신호는 발광부(110)로부터 출력된 광신호가 객체에 도달한 후 반사된 광신호를 의미할 수 있다. 수광부(120)가 집광하는 광신호는 카메라 모듈(100)을 기준으로 입력광, 입력광 신호 등으로 불릴 수 있다. 수광부(120)가 출력하는 광은 객체를 기준으로 반사광, 반사광 신호 등으로 불릴 수 있다.
센서부(130)는 수광부(120)가 집광한 광신호를 센싱할 수 있다. 센서부(130)는 광신호를 센싱하는 이미지 센서일 수 있다. 센서부(130)는 센서, 이미지 센서, 이미지 센서부, ToF 센서, ToF 이미지 센서, ToF 이미지 센서부 등과 혼용될 수 있다.
센서부(130)는 광을 감지하여 전기적 신호를 생성할 수 있다. 즉, 센서부(130)는 수광부(120)가 집광한 광신호를 통해 전기 신호를 생성할 수 있다. 생성된 전기 신호는 아날로그 형태일 수 있다. 센서부(130)는 생성된 전기 신호에 기초하여 영상 신호를 생성하고, 생성된 영상 신호를 영상 처리부(150)로 전송할 수 있다. 이때, 영상 신호는 아날로그 형태의 전기 신호이거나 아날로그 형태의 전기 신호를 디지털 변환한 신호일 수 있다. 아날로그 형태의 전기 신호를 영상 신호로 전송하는 경우, 영상 처리부(150)는 아날로그 디지털 컨버터(analog-digital converter, ADC)와 같은 장치를 통해 전기 신호를 디지털 변환할 수 있다.
센서부(130)는 발광부(110)에서 출력하는 광의 파장에 대응하는 파장의 광을 감지할 수 있다. 예를 들어, 센서부(130)는 적외선을 감지할 수 있다. 또는, 센서부(130)는 가시광선을 감지할 수 있다.
센서부(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 센서부(130)는 피사체에 반사되는 적외선 광신호를 입력받은 후 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
제어부(140)는 카메라 모듈(100)에 포함된 각 구성을 제어할 수 있다.
본 발명의 실시예에 따르면, 제어부(140)는 발광부(110) 및 센서부(130) 중 적어도 하나를 제어할 수 있다. 또한, 제어부(140)는 센서부(130)의 수광부(120)가 집광한 광신호의 센싱 주기를 발광부(110)의 노출주기에 연동하여 제어할 수 있다.
또한, 제어부(140)는 틸트부(160)를 제어할 수 있다. 예를 들어, 제어부(140)는 소정의 규칙에 따라 틸트부(160)의 틸트 구동을 제어할 수 있다.
영상 처리부(150)는 센서부(130)로부터 영상 신호를 입력받고, 영상 신호를 처리(예컨대, 디지털 변환, 보간, 프레임 합성 등)하여 영상을 생성할 수 있다.
영상 처리부(150)는 영상 신호에 기초하여 복수의 제1 영상을 생성하되, 복수의 제1 영상에 대한 이동값 및 소정의 규칙을 이용하여 제1 영상보다 높은 해상도의 제2 영상을 생성할 수 있다. 여기서 이동값은 제1 영상에 대한 광경로가 기 설정된 기준값으로부터 이동한 값을 의미할 수 있다. 즉, 영상 처리부(150)는 복수의 프레임(저해상도)을 이용하여 하나의 프레임(고해상도)을 합성할 수 있다. 영상 처리부(150)는 센서부(130)로부터 받은 영상 신호에 대응하는 복수의 영상 프레임을 합성하고, 합성된 결과를 합성 영상으로서 생성할 수 있다. 영상 처리부(150)는 슈퍼레졸루션(Super Resolution, SR) 기법을 통해 고해상도의 영상을 생성할 수 있다.
영상 처리부는 복수의 제1 영상에 대한 광경로의 이동값과 복수의 틸트 시퀀스에 대해 설정된 복수의 설정값을 이용하여 제2 영상을 생성할 수 있다.
영상 처리부는 이동값이 1픽셀보다 작은 제1 영상의 경우, 틸트 시퀀스에 대해 설정된 설정값에 따라 제1 영상의 픽셀값을 배치하여 제2 영상을 생성할 수 있다.
영상 처리부는 이동값이 1픽셀보다 큰 제1 영상의 경우, 틸트 시퀀스에 대해 설정된 설정값을 이동값에 따라 보정하고, 보정된 설정값에 따라 제1 영상의 픽셀값을 배치하여 제2 영상을 생성할 수 있다.
영상 처리부(150)는 영상 신호를 처리하여 영상을 생성하는 프로세서를 포함할 수 있다. 프로세서는 영상 처리부(150)의 기능에 따라 복수로 구현될 수 있으며, 복수의 프로세서 중 일부가 센서부(130)와 결합되어 구현될 수 있다. 예를 들어, 아날로그 방식의 전기 신호를 디지털 방식의 영상 신호로 변환하는 프로세서는 센서와 결합되어 구현될 수 있다. 다른 예로, 영상 처리부(150)가 포함하는 복수의 프로세서는 센서부(130)와 분리되어 구현될 수도 있다.
틸트부(160)는 센서부(130)에 수신되는 광신호의 광경로가 소정의 규칙에 따라 반복하여 이동하도록 필터, 렌즈, 및 센서부(130) 중 적어도 하나를 틸트시킬 수 있다. 이를 위해, 틸트부(160)는 틸트 드라이버 및 틸트 액츄에이터(Tilting Actuator)를 포함할 수 있다. 소정의 규칙은 센서부(130)에 수신되는 상기 광신호의 광경로가 서로 상이하게 제어되는 복수의 틸트 시퀀스를 포함할 수 있다.
렌즈는 광 경로를 변경시킬 수 있는 가변 렌즈일 수도 있다. 가변 렌즈는 초점 가변 렌즈일 수 있다. 또한 가변 렌즈는 초점이 조절되는 렌즈일 수 있다. 가변 렌즈는 액체 렌즈, 폴리머 렌즈, 액정 렌즈, VCM 타입, SMA 타입 중 적어도 하나일 수 있다. 액체 렌즈는 하나의 액체를 포함하는 액체 렌즈와 두 개의 액체를 포함하는 액체 렌즈를 포함할 수 있다. 하나의 액체를 포함하는 액체 렌즈는 액체와 대응되는 위치에 배치되는 멤브레인을 조절하여 초점을 가변시킬 수 있으며, 예를들어 마그넷과 코일의 전자기력에 의해 멤브레인을 가압하여 초점을 가변시킬 수 있다. 두개의 액체를 포함하는 액체 렌즈는 전도성 액체와 비전도성 액체를 포함하여 액체 렌즈에 인가되는 전압을 이용하여 전도성 액체와 비전도성 액체가 형성하는 계면을 조절할 수 있다. 폴리머 렌즈는 고분자 물질을 피에조 등의 구동부를 통해 초점을 가변시킬 수 있다. 액정 렌즈는 전자기력에 의해 액정을 제어하여 초점을 가변시킬 수 있다. VCM 타입은 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 마그넷과 코일간의 전자기력을 통해 조절하여 초점을 가변시킬 수 있다. SMA 타입은 형상기억합금을 이용하여 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 제어하여 초점을 가변시킬 수 있다.
틸트부(160)는 틸트 후 센서부(130)에 수신되는 광신호의 광경로가 틸트 전 센서부(130)에 수신되는 광신호의 광경로를 기준으로 센서부(130)의 0보다 크고 1픽셀보다 작은 단위만큼 이동되도록 필터, 렌즈 및 센서부(130) 중 적어도 하나를 틸트시킬 수 있다. 틸트부(160)는 복수의 틸트 시퀀스에 따라 센서부(130)에 수신되는 광신호의 광경로가 기 설정된 기준 경로, 즉 기준값으로부터 센서부(130)의 1픽셀보다 작은 범위 내에서 이동하도록 제어할 수 있다.
검출부(170)는 복수의 제1 영상에 대한 광경로의 이동값을 검출할 수 있다. 즉, 검출부(170)는 제1 영상에 대응하는 광신호가 센서부(130)에 수신되었을 때 기준값으로부터 얼마나 이동하였는지를 검출할 수 있다.
검출부(170)는 복수의 제1 영상의 공간 주파수에 기초하여 복수의 제1 영상에 대한 광경로의 이동값을 검출할 수 있다. 또한, 검출부(170)는 복수의 제1 영상에 대응하는 카메라 모듈(100)에 대한 자세 정보에 기초하여 복수의 제1 영상에 대한 광경로의 이동값을 검출할 수 있다. 여기서 카메라 모듈(100)에 대한 자세 정보는 카메라 모듈(100)의 움직임 정보를 의미할 수 있다. 카메라 모듈(100)에 대한 자세 정보는 카메라 모듈(100)이나 카메라 모듈(100)이 배치되는 단말에 포함된 자이로 센서 또는 가속도 센서 등을 통해 측정될 수 있다.
검출부(170)는 이동값을 검출하는 프로세서를 포함할 수 있으며, 이때 프로세서는 영상 처리부(150)가 포함하는 프로세서와 동일할 수 있다.
이하에서는 도면을 참조하여, 도 1에 도시된 본 발명의 실시예에 따른 카메라 모듈(100)의 각 구성을 상세하게 살펴보도록 한다.
도 2는 본 발명의 실시예에 따른 발광부의 구성도이다.
앞서 도 1을 통해 살펴본 것처럼, 발광부(110)는 광신호를 생성한 후 객체에 출력하는 구성 요소를 의미할 수 있다. 이러한 기능을 구현하기 위하여, 발광부(110)는 발광 소자(111)와 광변조부(112)를 포함할 수 있으며, 광학 소자(113)를 더 포함할 수 있다.
우선, 발광 소자(111)는 전기를 공급받아 빛(광)을 생성하는 소자를 의미할 수 있다. 발광 소자(111)가 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있다. 또는 발광 소자(111)가 생성하는 빛은 파장이 380 내지 770 nm인 가시광선 일 수 있다.
발광 소자(111)는 발광 다이오드(Light Emitting Diode, LED)를 포함할 수 있다. 뿐만 아니라, 발광 소자(111)는 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수 있다.
발광 소자(111)는 일정한 패턴에 따라 배열된 형태로 구현될 수 있다. 따라서, 발광 소자(111)는 복수로 구성될 수 있다. 복수의 발광 소자(111)는 기판 상에 행과 열에 따라 배열될 수 있다. 복수의 발광 소자(111)는 기판 위에 실장될 수 있다. 기판은 회로 패턴이 형성된 인쇄 회로 기판(Printed Circuit Board, PCB)일 수 있다. 기판은 일정 유연성을 확보하기 위하여 연성 인쇄 회로 기판(FPCB)으로 구현될 수 있다. 이 외에도 기판은 수지 계열의 인쇄회로기판, 메탈 코아(MetalCore) PCB, 세라믹 PCB, FR-4 기판 중 어느 하나로 구현될 수도 있다. 이외에도 복수의 발광 소자(111)는 칩(chip)의 형태로 구현될 수도 있다.
광변조부(112)는 발광 소자(111)의 점멸을 제어하여 발광 소자(111)가 지속파나 펄스파 형태의 광신호를 생성하도록 제어할 수 있다. 광변조부(112)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 발광 소자(111)가 지속파나 펄스파 형태의 광을 생성하도록 제어할 수 있다. 예를 들어, 광변조부(112)는 일정 시간 간격으로 발광 소자(111)의 점멸(on/off)을 반복시켜 펄스파 형태나 지속파 형태의 광을 생성하도록 제어할 수 있다. 일정 시간 간격은 광신호의 주파수일 수 있다.
광학 소자(113)는 일정한 산란 패턴에 따라 입력된 광신호를 산란시켜 출력할 수 있다. 광학 소자(113)는 빛을 산란시킴으로써 발광 소자(111)으로부터 생성된 광신호의 휘도 균일도를 향상시킴과 동시에 발광 소자(111)가 위치한 곳에 빛이 집중되는 핫 스팟(Hot Spot)을 제거할 수 있다. 즉, 광학 소자(113)는 입력된 광신호를 산란시켜 출력되는 광신호를 전면에 걸쳐 균일하게 확산시킬 수 있다.
광학 소자(113)는 발광 소자(111)의 전면에 배치된다. 이때, 발광 소자(111)의 전면이라 함은 발광 소자(111)에서 광신호가 출력되는 방향에 위치한 일면을 의미한다. 광학 소자(113)는 발광 소자(111)와 일정한 거리만큼 이격되어 배치될 수 있다. 광학 소자(113)와 발광 소자(111) 사이의 거리는 카메라 모듈의 용도, 발광 소자(111)의 형태 및 종류 등을 고려하여 당업자에 의해 설계 변경이 가능하다.
광학 소자(113)는 광학 디퓨저(optical diffuser)로 구현될 수 있다. 광학 소자(113)는 빛을 산란시키는 확산제가 빛을 투과시킬 수 있는 투명 재질의 소재와 혼합된 구성일 수 있다. 즉, 광학 소자(113)에 포함된 확산제가 입사되는 빛을 산란시켜 핫스팟(hot spot)을 제거할 수 있다. 이때, 투명 재질의 소재는 폴리카보네이트(polycarbonate)일 수 있다.
도 3는 본 발명의 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 3를 참조하면, 수광부(120)는 렌즈 어셈블리(121) 및 필터(125)를 포함한다. 렌즈 어셈블리(121)는 렌즈(122), 렌즈 배럴(123) 및 렌즈 홀더(124)를 포함할 수 있다.
렌즈(122)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(122)는 위에서 설명한 가변 렌즈를 포함할 수 있다. 렌즈(122)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴(123)은 렌즈 홀더(124)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(123)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(124)는 렌즈 배럴(123)과 결합되어 렌즈 배럴(123)을 지지하고, 센서(130)가 탑재된 인쇄회로기판(126)에 결합될 수 있다. 여기서, 센서는 도 1의 센서부(130)에 대응할 수 있다. 렌즈 홀더(124)에 의하여 렌즈 배럴(123) 하부에 필터(125)가 부착될 수 있는 공간이 형성될 수 있다. 렌즈 홀더(124)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(123)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(124)와 렌즈 배럴(123)은 접착제를 통해 결합되거나, 렌즈 홀더(124)와 렌즈 배럴(123)이 일체형으로 형성될 수도 있다.
렌즈 홀더(124)는 렌즈 배럴(123)과 결합되는 상부 홀더(124-1) 및 센서(130)가 탑재된 인쇄 회로 기판(126)과 결합되는 하부 홀더(124-2)로 구분될 수 있으며, 상부 홀더(124-1) 및 하부 홀더(124-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(124-1)의 직경은 하부 홀더(124-2)의 직경보다 작게 형성될 수 있다.
필터(125)는 렌즈 홀더(124)에 결합될 수 있다. 필터(125)는 렌즈 어셈블리(121)와 센서 사이에 배치될 수 있다. 필터(125)는 객체와 센서 사이의 광경로 상에 배치될 수 있다. 필터(125)는 소정 파장 범위를 갖는 광을 필터링할 수 있다. 필터(125)는 특정 파장의 광을 통과시킬 수 있다. 즉, 필터(125)는 특정 파장 외의 광을 반사 또는 흡수하여 차단할 수 있다. 필터(125)는 적외선을 통과시키고 적외선 이외의 파장의 광을 차단시킬 수 있다. 또는, 필터(125)는 가시광선을 통과시키고 가시광선 이외의 파장의 광을 차단시킬 수 있다. 필터(125)는 이동할 수 있다. 필터(125)는 렌즈 홀더(124)와 일체로 이동할 수 있다. 필터(125)는 틸트(tilt)될 수 있다. 필터(125)는 이동되어 광경로를 조절할 수 있다. 필터(125)는 이동을 통해 센서부(130)로 입사되는 광의 경로를 변경시킬 수 있다. 필터(125)는 입사되는 광의 FOV(Field of View) 각도 또는 FOV의 방향 등을 변경시킬 수 있다.
도 3에 도시되지 않았으나, 영상 처리부(150) 등은 인쇄 회로 기판 내에서 구현될 수 있다. 그리고, 도 1의 발광부(110)는 인쇄 회로 기판(126) 상에서 센서(130)의 측면에 배치되거나, 카메라 모듈(100)의 외부, 예를 들어 카메라 모듈(100)의 측면에 배치될 수도 있다.
상기의 예시는 일 실시예에 불과하며, 수광부(120)는 카메라 모듈(100)로 입사되는 광을 집광하여 센서에 전달할 수 있는 다른 구조로 구성될 수도 있다.
도 4는 본 발명의 실시예에 따른 센서부를 설명하기 위한 도면이다.
도 4에 도시된 것처럼, 본 발명의 실시예에 따른 센서부(130)는 복수의 셀 영역(P1, P2,?)이 그리드 형태로 배열될 수 있다. 예를 들어, 도 4에서와 같이 320x240 해상도의 센서부(130)는 76,800개의 셀 영역이 그리드 형태로 배열될 수 있다.
그리고, 각 셀 영역 사이에는 일정한 간격(L)이 형성될 수 있으며, 해당 간격(L)에는 복수의 셀을 전기적으로 연결하기 위한 와이어 등이 배치될 수 있다. 이러한 간격(L)의 폭(dL)은 셀 영역의 폭에 비해 매우 작을 수 있다.
셀 영역(P1, P2,?)은 입력광 신호를 전기 에너지로 변환하는 영역을 의미할 수 있다. 즉, 셀 영역(P1, P2,?)은 빛을 전기 에너지로 변환하는 포토 다이오드가 구비된 셀 영역을 의미하거나, 구비된 포토 다이오드가 동작하는 셀 영역을 의미할 수도 있다.
일 실시예에 따르면, 복수의 셀 영역(P1, P2,?)에는 2개의 포토 다이오드가 구비될 수 있다. 각 셀 영역(P1, P2,?)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광 유닛(132-1)과 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광 유닛(132-2)을 포함할 수 있다.
제1 수광 유닛(132-1)과 제2 수광 유닛(132-2)은 서로 180도의 위상차를 가지고 광신호를 수광할 수 있다. 즉, 제1 포토 다이오드가 턴온(turn-on)되어 광신호를 흡수한 후 턴오프(turn-off)되면, 제2 포토 다이오드가 턴온되어 광신호를 흡수한 후 턴오프 될 수 있다. 제1 수광 유닛(132-1)은 In Phase 수신 유닛이라 할 수 있고, 제2 수광 유닛(132-2)은 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광 유닛(132-1) 및 제2 수광 유닛(132-2)이 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 발광부(110)로부터 광신호가 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광 유닛(132-1)만이 빛을 수신하게 되고, 제2 수광 유닛(132-2)은 빛을 수신하지 못하게 된다. 다른 예로, 객체가 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 발광부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광 유닛(132-1)과 제2 수광 유닛(132-2)이 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광 유닛(132-1)과 제2 수광 유닛(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다.
도 5은 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 5에 나타난 바와 같이, 본 발명의 실시예에 따른 참조 신호, 즉 복조 신호는 4개(C1 내지 C4)일 수 있다. 각 복조 신호(C1 내지 C4)는 출력광(발광부(110)가 출력하는 광), 즉 객체의 입장에서 입사광과 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 복조 신호 중 하나(C1)는 출력광와 동일한 위상을 가질 수 있다. 입력광(수광부(120)가 입력받는 광), 즉 객체의 입장에서 반사광은 출력광이 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 센서부(130)는 입력광과 각 복조 신호를 각각 믹싱(mixing)한다. 그러면, 센서부(130)는 도 3의 음영 부분에 대응하는 전기 신호를 각 복조 신호별로 생성할 수 있다. 복조 신호별로 생성된 전기 신호는 영상 신호로서 영상 처리부(150)에 전송되거나, 디지털 변환된 전기 신호가 영상 신호로서 영상 처리부(150)에 전송될 수 있다.
다른 실시예로, 노출 시간 동안 복수의 주파수로 출력광이 생성된 경우, 센서는 복수의 주파수에 따른 입력광을 흡수한다. 예를 들어, 주파수 f1과 f2로 출력광이 생성되고, 복수의 복조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 입력광과 이에 대응하는 4개의 복조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 입력광과 이에 대응하는 4개의 복조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다.
도 6은 본 발명의 실시예에 따른 서브 프레임 영상을 설명하기 위한 도면이다.
앞서 살펴본 바와 같이, 전기 신호는 4개의 복조 신호 별 위상에 대응하여 생성될 수 있다. 따라서, 도 6에 도시된 것처럼, 영상 처리부(150)는 4개의 위상에 대응하는 서브 프레임 영상을 얻을 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 서브 프레임 영상은 위상 영상, 위상 IR 영상 등과 혼용될 수 있다.
그리고, 영상 처리부(150)는 복수의 서브 프레임 영상에 기초하여 깊이 영상을 생성할 수 있다.
도 7은 본 발명의 실시예에 따른 깊이 영상을 설명하기 위한 도면이다.
도 7의 깊이 영상은 도 4의 서브 프레임 영상에 기초하여 생성된 영상을 나타낸다. 영상 처리부(150)는 복수의 서브 프레임 영상을 이용하여 깊이 영상을 생성할 수 있으며, 이는 아래의 수학식 1 및 수학식 2를 통해 구현될 수 있다.
Figure pat00001
여기서, Raq(x0)은 0도 위상에 대응하는 서브 프레임 영상을 의미한다. Raq(x90)은 90도 위상에 대응하는 서브 프레임 영상을 의미한다. Raq(x180)은 180도 위상에 대응하는 서브 프레임 영상을 의미한다. Raq(x270)은 270도 위상에 대응하는 서브 프레임 영상을 의미한다.
즉, 영상 처리부(150)는 수학식 1을 통해 각 픽셀별로 발광부(110)가 출력하는 광신호와 수광부(120)가 입력받는 광신호 사이의 위상차를 산출할 수 있다.
Figure pat00002
여기서, f는 광신호의 주파수를 의미한다. c는 빛의 속도를 의미한다.
즉, 영상 처리부(150)는 수학식 2를 통해 각 픽셀별로 카메라 모듈(100)과 객체 사이의 거리를 산출할 수 있다.
한편, 영상 처리부(150)는 복수의 서브 프레임 영상에 기초하여 ToF IR 영상을 생성할 수도 있다.
도 8는 본 발명의 실시예에 따른 ToF IR 영상을 설명하기 위한 도면이다.
도 8는 도 4의 4개 서브 프레임 영상을 통해 생성된 ToF IR 영상의 일종인 앰플리튜드 영상(amplitude image)을 나타낸다.
도 8에서와 같은 앰플리튜드 영상을 생성하기 위하여, 영상 처리부(150)는 아래의 수학식 3을 이용할 수 있다.
Figure pat00003
다른 예로, 영상 처리부(150)는 아래의 수학식 4를 이용하여 ToF IR 영상의 일종인 인텐시티 영상(intensity image)을 생성할 수 있다. 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다.
Figure pat00004
앰플리튜드 영상이나 인텐시티 영상과 같은 ToF IR 영상은 그레이 영상일 수 있다.
도 9는 본 발명의 실시예에 따른 틸트 시퀀스를 설명하기 위한 도면이다.
도 9는 복수의 틸트 시퀀스가 4개로 구성된 경우를 예시로 도시하고 있으나 이에 제한되는 것은 아니다. 도 9의 제1 영상에서 점선은 각 틸트 시퀀스에 대응하는 광신호의 광경로에 따른 제1 영상을 의미할 수 있다. 도 9의 제1 영상에서 실선은 기준값(기준 경로)의 광경로에 따른 영상을 의미할 수 있다.
실시예에 따르면, 도 9의 (a)에 도시된 것처럼, 제1 틸트 시퀀스는 기준 경로, 즉, 기준값에 따라 촬영된 영상일 수 있다. 즉, 카메라 모듈(100)은 제1 틸트 시퀀스에 따라 촬영된 제1 영상에 대한 광신호의 광경로를 기준값으로 설정할 수 있다. 그리고, 카메라 모듈(100)은 제2 틸트 시퀀스에 따라 기준값으로부터 우측으로 0.5 픽셀만큼 광신호의 광경로를 이동하여 제1 영상을 생성할 수 있다. 그리고, 카메라 모듈(100)은 제3 틸트 시퀀스에 따라 기준값으로부터 우측으로 0.5 픽셀 및 하측으로 0.5 픽셀만큼(제2 틸트 시퀀스 대비 하측으로 0.5 픽셀만큼) 광신호의 광경로를 이동하여 제1 영상을 생성할 수 있다. 그리고, 카메라 모듈(100)은 제4 틸트 시퀀스에 따라 기준값으로부터 하측으로 0.5 픽셀만큼(제3 틸트 시퀀스 대비 좌측으로 0.5 픽셀만큼) 광신호의 광경로를 이동하여 제1 영상을 생성할 수 있다.
다른 실시예에 따르면, 도 9의 (b)에 도시된 것처럼, 카메라 모듈(100)은 제1 틸트 시퀀스에 따라 기준값으로부터 좌측으로 0.25 픽셀, 상측으로 0.25 픽셀만큼 광신호의 광경로를 이동하여 제1 영상을 생성할 수 있다. 그리고, 카메라 모듈(100)은 제2 틸트 시퀀스에 따라 기준값으로부터 우측으로 0.25 픽셀, 상측으로 0.25 픽셀만큼(제1 시퀀스 대비 우측으로 0.5 픽셀만큼) 광신호의 광경로를 이동하여 제1 영상을 생성할 수 있다. 그리고, 카메라 모듈(100)은 제3 틸트 시퀀스에 따라 기준값으로부터 우측으로 0.25 픽셀, 하측으로 0.25 픽셀만큼(제2 시퀀스 대비 하측으로 0.5 픽셀만큼) 광신호의 광경로를 이동하여 제1 영상을 생성할 수 있다. 그리고, 카메라 모듈(100)은 제4 틸트 시퀀스에 따라 기준값으로부터 좌측으로 0.25 픽셀, 하측으로 0.25 픽셀만큼(제3 시퀀스 대비 좌측으로 0.5 픽셀만큼) 광신호의 광경로를 이동하여 제1 영상을 생성할 수 있다. 이때, 카메라 모듈(100)은 틸트부(160)가 틸트 구동을 하지 않은 상태에서의 광경로를 기준값으로 설정할 수 있다.
도 10은 본 발명의 실시예에 따른 검출부를 설명하기 위한 도면이다.
도 10의 (a)는 기준값에 따른 공간 주파수를 나타낸 것이고, 도 10의 (b)는 틸트 시퀀스에 대응하는 제1 영상의 공간 주파수를 나타낸 것이라고 가정한다.
검출부(170)는 기준값에 따른 공간 주파수를 산출하고, 각 틸트 시퀀스에 대응하는 제1 영상의 공간 주파수를 산출할 수 있다. 기준값과 제1 틸트 시퀀스의 광경로가 동일한 경우(즉, 제1 틸트 시퀀스의 광경로가 기준 경로, 기준값인 경우)제1 틸트 시퀀스에 대응하는 제1 영상의 공간 주파수를 기준값에 따른 공간 주파수로 산출할 수 있다. 다른 예로, 기준값에 따른 광경로가 복수의 틸트 시퀀스에 따른 광경로와 상이한 경우, 기준값에 따른 공간 주파수를 기준값에 따른 영상으로부터 산출할 수 있다.
검출부(170)는 기준값에 따른 공간 주파수의 피크값과 틸트 시퀀스에 대응하는 공간 주파수의 피크값을 비교한다. 도 10에 도시된 것처럼, 틸트 시퀀스에 따라 광경로가 이동한 경우, 기준값 대비 공간 주파수의 피크값이 이동한 것을 알 수 있다. 이와 같이, 검출부(170)는 공간 주파수의 비교를 통해 이동값을 산출할 수 있다. 이동값은 이동량과 이동방향에 대한 정보를 포함할 수 있다.
여기서는 기준값에 따른 공간 주파수와 틸트 시퀀스에 따른 공간 주파수의 비교를 예시로 설명하였으나, 복수의 틸트 시퀀스 사이의 공간 주파수 비교를 통해 이동값을 산출할 수도 있다. 그리고, 본 예시에서는 2차원으로 공간 주파수를 나타내었으나, 3차원으로 공간 주파수를 나타낼 수도 있다.
도 11 및 도 12은 본 발명의 실시예에 따른 제2 영상의 생성을 설명하기 위한 도면이다.
도 11은 이동값이 1픽셀보다 작은 제1 영상의 경우를 나타낸다.
도 11의 (a)는 제1 내지 제4 틸트 시퀀스에 대응하는 제1 영상을 도시하고 있다. 도 11의 (a)를 참조하면, 복수의 틸트 시퀀스에 대응하는 제1 영상에 대한 광경로의 이동값이 모두 기준값으로부터 1픽셀 이내로 이동하였음을 알 수 있다.
도 11의 (b)는 제1 영상을 통한 제2 영상의 생성 과정을 나타낸다. 도 11의 (a)에 나타난 바와 같이, 모든 틸트 시퀀스에 대응하는 제1 영상에 대한 광경로의 이동값이 기준값으로부터 1 픽셀 이내로 이동하였으므로, 영상 처리부(150)는 틸트 시퀀스에 대해 설정된 설정값에 따라 제1 영상의 픽셀값을 배치할 수 있다. 틸트 시퀀스에 대해 설정된 설정값은 틸트 시퀀스에 따른 광경로에 대응한 배치값을 의미할 수 있다.
예를 들어, 도 11의 (b)를 참조하면, 제1 틸트 시퀀스에 대응하는 제1 영상 대비 제2 틸트 시퀀스에 대응하는 제1 영상은 우측으로 0.5 픽셀만큼 광경로가 이동하였으므로, 영상 처리부(150)는 설정값에 따라 제1 틸트 시퀀스의 제1 영상의 픽셀값 우측에 제2 틸트 시퀀스에 대응하는 제1 영상의 픽셀값을 배치할 수 있다. 제2 틸트 시퀀스에 대응하는 제1 영상 대비 제3 틸트 시퀀스에 대응하는 제1 영상은 하측으로 0.5 픽셀만큼 광경로가 이동하였으므로, 영상 처리부(150)는 설정값에 따라 제2 틸트 시퀀스의 제1 영상의 픽셀값 하측에 제3 틸트 시퀀스에 대응하는 제1 영상의 픽셀값을 배치할 수 있다. 제3 틸트 시퀀스에 대응하는 제1 영상 대비 제4 틸트 시퀀스에 대응하는 제1 영상은 좌측으로 0.5 픽셀만큼 광경로가 이동하였으므로, 영상 처리부(150)는 설정값에 따라 제3 틸트 시퀀스의 제1 영상의 픽셀값 좌측에 제4 틸트 시퀀스에 대응하는 제1 영상의 픽셀값을 배치할 수 있다.
도 12는 이동값이 1 픽셀보다 큰 제1 영상의 경우를 나타낸다.
도 12의 (a)는 제1 내지 제4 틸트 시퀀스에 대응하는 제1 영상을 도시하고 있다. 도 12의 (a)를 참조하면, 제1 틸트 시퀀스에 대응하는 제1 영상에 대한 광경로의 이동값은 기준값으로부터 1 픽셀 이내이지만, 제2 내지 제4 틸트 시퀀스에 대응하는 제1 영상에 대한 광경로의 이동값은 기준값으로부터 1 픽셀을 초과하였음을 알 수 있다.
도 12의 (b)는 제1 영상을 통한 제2 영상의 생성 과정을 나타낸다. 도 12의 (a)에 나타난 바와 같이, 제1 틸트 시퀀스에 대응하는 제1 영상에 대한 광경로의 이동값은 기준값으로부터 1 픽셀 이내로 이동하였으므로, 영상 처리부(150)는 제1 틸트 시퀀스에 대해 설정된 설정값에 따라 제1 영상의 픽셀값을 배치할 수 있다. 하지만, 제2 내지 제4 틸트 시퀀스에 대응하는 제1 영상에 대한 광경로의 이동값은 기준값으로부터 1 픽셀을 초과였으므로, 이동값에 따라 각 틸트 시퀀스의 설정값을 보정하고 보정된 설정값에 따라 제1 영상의 픽셀값을 배치할 수 있다.
예를 들어, 도 12의 (b)를 참조하면, 제2 틸트 시퀀스에 따라 이동해야 하는 광경로는 기준값으로부터 상측 0.25 픽셀 및 우측 0.25 픽셀이나, 실제 이동한 광경로는 상측 0.25 및 우측 1.25 픽셀로 검출될 수 있다. 이 경우 우측으로 1 픽셀을 더 이동하였으므로, 영상 처리부(150)는 우측으로 1 픽셀을 더 이동한 만큼 제2 틸트 시퀀스에 대해 설정된 설정값을 보정하고, 보정된 설정값에 따라 제2 틸트 시퀀스에 대응하는 제1 영상의 픽셀값을 배치할 수 있다. 제3 틸트 시퀀스에 따라 이동해야 하는 광경로는 기준값으로부터 하측 0.25 픽셀 및 우측 0.25 픽셀이나, 실제 이동한 광경로는 하측 0.25 및 우측 1.25 픽셀로 검출될 수 있다. 이 경우 우측으로 1 픽셀을 더 이동하였으므로, 영상 처리부(150)는 우측으로 1 픽셀을 더 이동한 만큼 제3 틸트 시퀀스에 대해 설정된 설정값을 보정하고, 보정된 설정값에 따라 제3 틸트 시퀀스에 대응하는 제1 영상의 픽셀값을 배치할 수 있다. 제4 틸트 시퀀스에 따라 이동해야 하는 광경로는 기준값으로부터 하측 0.25 픽셀 및 좌측 0.25 픽셀이나, 실제 이동한 광경로는 하측 1.25 및 좌측 0.25 픽셀로 검출된다. 이 경우 하측으로 1 픽셀을 더 이동하였으므로, 영상 처리부(150)는 우측으로 1 픽셀을 더 이동한 만큼 제4 틸트 시퀀스에 대해 설정된 설정값을 보정하고, 보정된 설정값에 따라 제4 틸트 시퀀스에 대응하는 제1 영상의 픽셀값을 배치할 수 있다.
이와 같이, 복수의 틸트 시퀀스에 대응하는 제1 영상의 픽셀값을 배치하면, 제2 영상은 픽셀값이 배치되지 않는 픽셀(음영 부분)을 더 포함할 수 있다. 이 경우, 도 13이나 도 14에서 설명하는 과정을 통해 제2 영상을 보정할 수 있다.
도 13 및 도 14는 제2 영상의 보정 과정을 설명하기 위한 도면이다.
도 12에서와 같이, 제1 영상에 기초하여 제2 영상을 생성하면, 제2 영상은 픽셀값이 배치되지 않는 픽셀을 더 포함할 수 있다. 픽셀값이 배치되지 않는 영역은 디지털 신호로 널(null) 값이 발생할 수 있으므로, 제2 영상의 영상 품질을 악화시킬 수 있다.
일 실시예에 따르면, 영상 처리부(150)는 도 13에서와 같이, 픽셀값이 배치되지 않은 픽셀을 포함하는 행 및 열의 픽셀 영역(음영 부분)을 제거함으로써 제2 영상을 보정할 수 있다. 도 13에서는 4*4 해상도의 제1 영상을 예시로 하였으나, 예를 들어, 320*200(VGA) 해상도의 제1 영상의 경우, 제2 영상에서 픽셀값이 배치되지 않은 픽셀을 포함하는 행 및 열의 픽셀 영역을 제거하더라도 제2 영상의 해상도는 제1 영상의 해상도에 비해 크게 높게 나타날 수 있다.
다른 실시예에 따르면, 영상 처리부(150)는 도 14에서와 같이, 제2 영상에서 픽셀값이 배치되지 않는 픽셀에 대해 픽셀값을 배치함으로써 제2 영상을 보정할 수 있다. 영상 처리부(150)는 픽셀값이 배치되지 않는 픽셀 주변의 픽셀값에 기초하여 픽셀값이 배치되지 않는 픽셀에 대한 픽셀값을 배치할 수 있다. 이때, 영상 처리부(150)는 인터폴레이션 기법(interpolation method)와 같은 영상 처리 기법을 이용할 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 카메라 모듈 110 : 발광부
120 : 수광부 130 : 센서부
140 : 제어부 150 : 영상 처리부
160 : 틸트부 170 : 검출부

Claims (11)

  1. 객체에 광신호를 출력하는 발광부;
    상기 발광부로부터 출력되어 상기 객체에 반사된 광신호를 집광하는 수광부;
    집광된 광신호를 수신하여 영상 신호를 생성하는 센서부;
    상기 센서부에 수신되는 광신호를 소정의 규칙에 따라 반복하여 이동시키는 틸트부; 그리고
    상기 영상 신호에 기초하여 복수의 제1 영상을 생성하되, 상기 복수의 제1 영상에 대한 광경로가 기 설정된 기준값으로부터 이동한 이동값 및 상기 소정의 규칙을 이용하여 상기 제1 영상보다 높은 해상도의 제2 영상을 생성하는 영상 처리부를 포함하는 카메라 모듈.
  2. 제1항에 있어서,
    상기 복수의 제1 영상에 대한 광경로의 이동값을 검출하는 검출부를 더 포함하는 카메라 모듈.
  3. 제2항에 있어서,
    상기 검출부는,
    상기 복수의 제1 영상의 공간 주파수에 기초하여 상기 복수의 제1 영상에 대한 광경로의 이동값을 검출하는 카메라 모듈.
  4. 제3항에 있어서,
    상기 검출부는,
    복수의 제1 영상에 대응하는 카메라 모듈에 대한 자세 정보에 기초하여 상기 복수의 제1 영상에 대한 광경로의 이동값을 검출하는 카메라 모듈.
  5. 제1항에 있어서,
    상기 수광부는,
    상기 광신호를 통과시키는 필터; 그리고
    상기 객체에 반사된 광신호를 집광하는 렌즈를 포함하는 카메라 모듈.
  6. 제5항에 있어서,
    상기 틸트부는,
    상기 필터, 상기 렌즈 및 상기 센서부 중 적어도 하나를 제어하여 상기 센서부에 수신되는 광신호를 상기 소정의 규칙에 따라 반복하여 이동시키는 카메라 모듈.
  7. 제1항에 있어서,
    상기 소정의 규칙은,
    상기 센서부에 수신되는 상기 광신호의 광경로가 서로 상이하게 제어되는 복수의 틸트 시퀀스를 포함하는 카메라 모듈.
  8. 제7항에 있어서,
    상기 틸트부는,
    상기 복수의 틸트 시퀀스에 따라 상기 광신호의 광경로가 상기 기준값으로부터 1픽셀보다 작은 범위 내에서 이동하도록 제어하는 카메라 모듈.
  9. 제1항에 있어서,
    상기 영상 처리부는,
    상기 복수의 제1 영상에 대한 광경로의 이동값과 상기 복수의 틸트 시퀀스에 대해 설정된 복수의 설정값을 이용하여 상기 제2 영상을 생성하는 카메라 모듈.
  10. 제9항에 있어서,
    상기 영상 처리부는,
    상기 이동값이 1픽셀보다 작은 제1 영상의 경우, 틸트 시퀀스에 대해 설정된 설정값에 따라 제1 영상의 픽셀값을 배치하여 상기 제2 영상을 생성하는 카메라 모듈.
  11. 제9항에 있어서,
    상기 영상 처리부는,
    상기 이동값이 1픽셀보다 큰 제1 영상의 경우, 틸트 시퀀스에 대해 설정된 설정값을 상기 이동값에 따라 보정하고, 보정된 설정값에 따라 제1 영상의 픽셀값을 배치하여 상기 제2 영상을 생성하는 카메라 모듈.
KR1020190116061A 2019-09-20 2019-09-20 카메라 모듈 KR102710469B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190116061A KR102710469B1 (ko) 2019-09-20 2019-09-20 카메라 모듈

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190116061A KR102710469B1 (ko) 2019-09-20 2019-09-20 카메라 모듈

Publications (2)

Publication Number Publication Date
KR20210034300A true KR20210034300A (ko) 2021-03-30
KR102710469B1 KR102710469B1 (ko) 2024-09-26

Family

ID=75264991

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190116061A KR102710469B1 (ko) 2019-09-20 2019-09-20 카메라 모듈

Country Status (1)

Country Link
KR (1) KR102710469B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022228053A1 (zh) * 2021-04-29 2022-11-03 华为技术有限公司 图像处理方法及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101629610B1 (ko) * 2015-07-27 2016-06-13 주식회사 앤비젼 고해상도 영상 추출을 위한 광경로 변환 유닛, 광경로 변환 모듈, 광경로 변환 방법 및 이 방법을 수행하기 위한 프로그램을 기록한 기록매체, 반도체 기판 패턴 검사 장치
KR101961666B1 (ko) * 2017-12-21 2019-03-26 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101629610B1 (ko) * 2015-07-27 2016-06-13 주식회사 앤비젼 고해상도 영상 추출을 위한 광경로 변환 유닛, 광경로 변환 모듈, 광경로 변환 방법 및 이 방법을 수행하기 위한 프로그램을 기록한 기록매체, 반도체 기판 패턴 검사 장치
KR101961666B1 (ko) * 2017-12-21 2019-03-26 엘지전자 주식회사 이동 단말기 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022228053A1 (zh) * 2021-04-29 2022-11-03 华为技术有限公司 图像处理方法及相关设备

Also Published As

Publication number Publication date
KR102710469B1 (ko) 2024-09-26

Similar Documents

Publication Publication Date Title
US10382701B2 (en) Active imaging systems and method
KR20190139009A (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
US11770626B2 (en) Camera module and super resolution image processing method thereof
KR20200036614A (ko) 카메라 장치 및 그의 깊이 정보 추출 방법
KR20190119904A (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
TWI829828B (zh) 攝影裝置
KR20210034301A (ko) 카메라 모듈
KR102710469B1 (ko) 카메라 모듈
US20220321789A1 (en) Camera module
CN112585961A (zh) 相机
KR20200049152A (ko) 카메라 장치
KR102561533B1 (ko) 카메라 장치
KR20200113438A (ko) 카메라 모듈
CN117280681A (zh) 相机装置
KR20200126129A (ko) 카메라 모듈
US20220224850A1 (en) Camera module
KR20200113437A (ko) 카메라 모듈
KR20200108736A (ko) 카메라 모듈
US20220244390A1 (en) Camera module
KR20200125215A (ko) 카메라 모듈
KR20200034370A (ko) 카메라 모듈
KR102561532B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
US20220264021A1 (en) Camera module
KR20200108735A (ko) 카메라 장치
KR20210090005A (ko) 카메라 모듈

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
GRNT Written decision to grant