KR20190139573A - 카메라 모듈 및 그의 깊이 정보 추출 방법 - Google Patents

카메라 모듈 및 그의 깊이 정보 추출 방법 Download PDF

Info

Publication number
KR20190139573A
KR20190139573A KR1020180066202A KR20180066202A KR20190139573A KR 20190139573 A KR20190139573 A KR 20190139573A KR 1020180066202 A KR1020180066202 A KR 1020180066202A KR 20180066202 A KR20180066202 A KR 20180066202A KR 20190139573 A KR20190139573 A KR 20190139573A
Authority
KR
South Korea
Prior art keywords
light signal
subframes
image
unit
depth information
Prior art date
Application number
KR1020180066202A
Other languages
English (en)
Other versions
KR102513680B1 (ko
Inventor
김윤성
정지혁
이창혁
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020180066202A priority Critical patent/KR102513680B1/ko
Priority to PCT/KR2019/006899 priority patent/WO2019235889A1/ko
Priority to CN201980039044.6A priority patent/CN112262572B/zh
Priority to US16/973,263 priority patent/US11800081B2/en
Publication of KR20190139573A publication Critical patent/KR20190139573A/ko
Application granted granted Critical
Publication of KR102513680B1 publication Critical patent/KR102513680B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H04N5/2254—
    • H04N5/2259—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

카메라 모듈은 객체에 조사되는 입사광 신호를 출력하는 조명부, 객체로부터 반사된 반사광 신호를 집광하는 렌즈부, 상기 렌즈부에 의하여 집광된 반사광 신호로부터 전기 신호를 생성하는 이미지 센서부, 하나의 영상 프레임마다 상기 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 상기 이미지 센서의 서브픽셀 단위로 쉬프트시키는 틸팅부, 그리고 상기 입사광 신호 및 상기 반사광 신호 간 위상 차를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 제어부를 포함하며, 상기 영상 제어부는, 상기 전기 신호로부터 생성된 복수의 서브프레임의 픽셀값을 재배치하여 상기 서브프레임보다 높은 해상도를 가지는 상기 깊이 정보를 추출한다.

Description

카메라 모듈 및 그의 깊이 정보 추출 방법{CAMERA MODULE AND DEPTH MAP EXTRACTION METHOD OF THE SAME}
본 발명은 카메라 모듈 및 그의 깊이 정보 추출 방법에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법 중 하나는, IR(Infrared) 구조광을 객체에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 추출하는 방식이다. IR 구조광 방식에 따르면, 움직이는 객체에 대하여 원하는 수준의 깊이 분해능(Depth resolution)을 얻기 어려운 문제가 있다.
한편, IR 구조광 방식을 대체하는 기술로 TOF(Time of Flight) 방식이 주목받고 있다.
TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정 없이도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 객체를 측정하거나 움직이는 객체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
하지만, 현재 ToF 방식의 경우 한 프레임당 얻을 수 있는 정보, 즉 해상도가 매우 낮다는 문제점이 있다.
해상도를 높이기 위한 방법으로 이미지 센서의 화소 수를 높이는 방법이 있다. 그러나 이 경우 카메라 모듈의 부피 및 제조 비용이 크게 증가하게 된다는 문제가 발생한다.
이에 따라, 카메라 모듈의 부피 및 제조 비용을 증가시키지 않으면서도 해상도를 높일 수 있는 깊이 정보 획득 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 TOF 방식을 이용하여 깊이 정보를 추출하는 카메라 모듈 및 그의 깊이 정보 추출 방법을 제공하는데 있다.
본 발명의 실시예에 따른 카메라 모듈은 객체에 조사되는 입사광 신호를 출력하는 조명부, 객체로부터 반사된 반사광 신호를 집광하는 렌즈부, 상기 렌즈부에 의하여 집광된 반사광 신호로부터 전기 신호를 생성하는 이미지 센서부, 하나의 영상 프레임마다 상기 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 상기 이미지 센서의 서브픽셀 단위로 쉬프트시키는 틸팅부, 그리고 상기 입사광 신호 및 상기 반사광 신호 간 위상 차를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 제어부를 포함하며, 상기 영상 제어부는, 상기 전기 신호로부터 생성된 복수의 서브프레임의 픽셀값을 재배치하여 상기 서브프레임보다 높은 해상도를 가지는 상기 깊이 정보를 추출한다.
상기 영상 제어부는, 상기 전기 신호를 생성하는데 이용된 참조 신호가 동일하되, 상기 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로가 상이한 복수의 서브프레임의 픽셀값을 재배치하여 고해상 서브프레임을 생성할 수 있다.
상기 영상 제어부는, 상기 참조 신호에 대응하는 복수의 고해상 서브프레임을 생성하고, 상기 복수의 고해상 서브프레임을 이용하여 상기 깊이 정보를 추출할 수 있다.
상기 영상 제어부는, 상기 복수의 서브프레임 중 광경로가 기 설정된 기준 경로와 일치하는 서브프레임을 기준으로 광경로가 쉬프트된 방향에 따라 상기 복수의 서브프레임의 픽셀값을 고해상 픽셀 그리드에 재배치할 수 있다.
상기 영상 제어부는, 상기 복수의 서브프레임의 픽셀값에 가중치를 적용하여 상기 고해상 픽셀 그리드에 재배치할 수 있다.
상기 가중치는, 상기 서브픽셀의 크기나 상기 광경로가 시프트된 방향에 따라 다르게 설정될 수 있다.
본 발명의 한 실시예에 따른 카메라 모듈을 이용하면, 이미지 센서의 화소 수를 크게 증가시키지 않고도 높은 해상도로 깊이 정보를 획득할 수 있다.
데이터 리포밍(data reforming) 정도의 연산량 만으로 깊이 지도의 해상도를 높일 수 있다.
도 1은 본 발명의 한 실시예에 따른 카메라 모듈의 블록도이다.
도 2는 입사광 신호의 주파수를 설명하기 위한 도면이다.
도 3은 카메라 모듈의 단면도의 한 예이다.
도 4는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 5는 틸팅부에 의한 반사광 신호의 광경로 변경을 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 실시예에 따른 SR 기법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 저해상 영상 프레임의 픽셀값 배치 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 시뮬레이션 결과를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 한 실시예에 따른 카메라 모듈의 블록도이다.
도 1을 참조하면, 카메라 모듈(100)은 조명(110), 렌즈부(120), 이미지 센서부(130), 틸팅부(140) 및 영상 제어부(150)를 포함한다.
조명부(110)는 입사광 신호를 생성한 후 객체에 조사한다. 이때, 조명부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 입사광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 입사광 신호를 펄스파나 지속파 형태로 생성함으로써, 카메라 모듈(100)은 조명부(110)로부터 출력된 입사광 신호와 객체로부터 반사된 반사광 신호 사이의 위상차를 검출할 수 있다. 본 명세서에서, 입사광은 조명부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 반사광은 조명부(110)로부터 출력되어 객체에 입사된 후 객체로부터 반사되는 광을 의미할 수 있다. 카메라 모듈(100)의 입장에서 입사광은 출력광이 될 수 있고, 반사광은 입력광이 될 수 있다.
조명부(110)는 생성된 입사광 신호를 설정된 노출주기(integration time) 동안 객체에 조사한다. 여기서, 노출주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
조명부(110)는 서로 다른 주파수를 가지는 복수의 입사광 신호를 생성할 수 있다. 조명부(110)는 서로 다른 주파수를 가지는 복수의 입사광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 조명부(110)는 서로 다른 주파수를 가지는 복수의 입사광 신호를 동시에 생성할 수도 있다.
도 2는 입사광 신호의 주파수를 설명하기 위한 도면이다. 본 발명의 실시예에 따르면, 조명부(110)는 도 2에서와 같이 노출주기의 첫 절반은 주파수 f1인 입사광 신호가 생성되도록 제어하고, 나머지 절반의 노출주기는 주파수 f2인 입사광 신호가 생성하도록 제어할 수 있다.
다른 실시예에 따르면, 조명부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1인 입사광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f2인 입사광 신호가 생성되도록 제어할 수 있다.
이를 위하여, 조명부(110)는 빛을 생성하는 광원(112)과 빛을 변조하는 광변조부(114)를 포함할 수 있다.
우선, 광원(112)은 빛을 생성한다. 광원(112)이 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다.
광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 입사광 신호를 생성한다. 일정 시간 간격은 입사광 신호의 주파수일 수 있다. 광원의 점멸은 광변조부(114)에 의해 제어될 수 있다.
광변조부(114)는 광원(112)의 점멸을 제어하여 광원(112)이 지속파나 펄스파 형태의 입사광 신호를 생성하도록 제어한다. 광변조부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 입사광 신호를 생성하도록 제어할 수 있다.
한편, 렌즈부(120)는 객체로부터 반사된 반사광 신호를 집광하여 이미지 센서부(130)에 전달한다.
도 3은 카메라 모듈의 단면도의 한 예이다.
도 3을 참조하면, 카메라 모듈(300)은 렌즈 어셈블리(310), 이미지 센서(320) 및 인쇄회로기판(330)을 포함한다. 여기서, 렌즈 어셈블리(310)는 도 1의 렌즈부(120)에 대응하고, 이미지 센서(320)는 도 1의 이미지 센서부(130)에 대응할 수 있다. 그리고, 도 1의 영상 제어부(150) 등은 인쇄회로기판(330) 내에서 구현될 수 있다. 도시되지 않았으나, 도 1의 조명부(110)는 인쇄회로기판(330) 상에서 이미지 센서(320)의 측면에 배치될 수 있다.
렌즈 어셈블리(310)는 렌즈(312), 렌즈 배럴(314), 렌즈 홀더(316) 및 IR 필터(318)를 포함할 수 있다.
렌즈(312)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(312)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴(314)은 렌즈 홀더(316)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간을 구비할 수 있다. 렌즈 배럴(314)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되어 렌즈 배럴(314)을 지지하고, 이미지 센서(320)가 탑재된 인쇄회로기판(330)에 결합될 수 있다. 렌즈 홀더(316)는 렌즈 배럴(314) 하부에 IR 필터(318)가 부착될 수 있는 공간을 구비할 수 있다. 렌즈 홀더(316)외 내주면에는 나선형 패턴이 형성되고, 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(314)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(316)와 렌즈 배럴(314)은 접착제를 통해 결합되거나, 렌즈 홀더(316)와 렌즈 배럴(314)이 일체형으로 형성될 수도 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되는 상부 홀더(316-1) 및 이미지 센서(320)가 탑재된 인쇄회로기판(330)과 결합되는 하부 홀더(316-2)로 구분될 수 있으며, 상부 홀더(316-1) 및 하부 홀더(316-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합될 수도 있다. 이때, 상부 홀더(316-1)의 직경은 하부 홀더(316-2)의 직경보다 작게 형성될 수 있다. 본 명세서에서, 렌즈 홀더(316)는 하우징과 혼용될 수 있다.
상기의 예시는 일 실시예에 불과하며, 렌즈부(120)는 ToF 카메라 모듈(100)로 입사되는 반사광 신호를 집광하여 이미지 센서부(130)에 전달할 수 있는 다른 구조로 구성될 수도 있다.
다시 도 1을 참조하면, 이미지 센서부(130)는 렌즈부(120)를 통해 집광된 반사광 신호를 이용하여 전기 신호를 생성한다.
이미지 센서부(130)는 조명부(110)의 점멸 주기와 동기화되어 반사광 신호를 흡수할 수 있다. 구체적으로 이미지 센서부(130)는 조명부(110)로부터 출력된 입사광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 흡수할 수 있다. 즉, 이미지 센서부(130)는 광원이 켜져 있는 시간에 반사광 신호를 흡수하는 단계와 광원이 꺼져 있는 시간에 반사광 신호를 흡수하는 단계를 반복 수행할 수 있다.
다음으로, 이미지 센서(130)부는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 조명부(110)로부터 출력된 입사광 신호의 주파수와 동일하게 설정될 수 있다. 따라서, 조명부(110)가 복수의 주파수로 입사광 신호를 생성하는 경우, 이미지 센서부(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성한다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 4에 나타난 바와 같이, 본 발명의 실시예에 따른 참조 신호는 4개(C1 내지 C4)일 수 있다. 각 참조 신호(C1 내지 C4)는 입사광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 입사광 신호와 동일한 위상을 가질 수 있다. 반사광 신호는 입사광 신호가 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 이미지 센서부(130)는 반사광 신호와 각 참조 신호를 각각 믹싱(mixing)한다. 그러면, 이미지 센서부(130)는 도 4의 음영 부분에 대응하는 전기 신호를 각 참조 신호별로 생성할 수 있다.
다른 실시예로, 노출 시간 동안 복수의 주파수로 입사광 신호가 생성된 경우, 이미지 센서부(130)는 복수의 주파수에 따른 반사광 신호를 흡수한다. 예를 들어, 주파수 f1과 f2로 입사광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 반사광 신호 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 반사광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 반사광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다.
이미지 센서부(130)는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성될 수 있다. 이미지 센서부(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다.
도 5는 본 발명의 실시예에 따른 이미지 센서(130)를 설명하기 위한 도면이다. 예를 들어, 도 5에서와 같이 320x240 해상도의 이미지 센서(130)의 경우 76,800개의 픽셀이 그리드 형태로 배열된다. 이때, 복수의 픽셀 사이에는 도 5의 음영 부분과 같이 일정한 간격이 형성될 수 있다. 본 발명의 실시예에서는 픽셀에 인접한 일정 간격을 포함하여 1 픽셀로 설명하도록 한다.
본 발명의 실시예에 따르면, 각 픽셀(132)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.
제1 수광부(132-1)는 입사광의 파형과 동일 위상에서 반사광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 반사광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 반사광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 반사광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다.
제2 수광부(132-2)는 입사광의 파형과 반대 위상에서 반사광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 반사광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 반사광 흡수를 중단한다. 제2 포토 다이오드는 흡수한 반사광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다.
이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다. 다시 도 1을 참조하면, 영상 제어부(150)는 이미지 센서부(130)로부터 수신한 전기신호를 이용하여 입사광과 반사광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산한다.
구체적으로, 영상 제어부(150)는 전기신호의 전하량 정보를 이용하여 입사광과 반사광 사이의 위상차를 계산할 수 있다.
상기에서 살펴본 바와 같이, 입사광 신호의 주파수마다 전기신호는 4개가 생성될 수 있다. 따라서, 영상 제어부(150)는 아래의 수학식 1을 이용하여 입사광 신호와 반사광 신호 사이의 위상차(td)를 계산할 수 있다.
Figure pat00001
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 입사광 신호와 동일한 위상의 기준신호에 대응하는 전기신호의 전하량이다. Q2는 입사광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q3는 입사광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q4는 입사광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기신호의 전하량이다.
그러면, 영상 제어부(150)는 입사광 신호와 반사광 신호의 위상차를 이용하여 객체와 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 이때, 영상 제어부(150)는 아래의 수학식 2를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리(d)를 계산할 수 있다.
Figure pat00002
여기서, c는 빛의 속도이고, f는 입사광의 주파수이다.
한편, 깊이 정보의 해상도를 높이기 위하여, 슈퍼 레졸루션(Super Resolution, SR) 기법을 이용할 수 있다. SR 기법은 복수의 저해상 영상으로부터 고해상 영상을 얻는 기법으로, SR 기법의 수학적 모델은 수학식 3과 같이 나타낼 수 있다.
Figure pat00003
여기서, 1≤k≤p이고, p는 저해상 영상의 개수이며, yk는 저해상 영상(=[yk,1, yk,2, ?, yk,M]T, 여기서, M=N1*N2) Dk는 다운 샘플링(down sampling) 매트릭스, Bk는 광학 흐림(blur) 매트릭스, Mk는 영상 왜곡(warping) 매트릭스, x는 고해상 영상(=[x1, x2, ?, xN]T, 여기서, N=L1N1*L2N2), nk는 노이즈를 나타낸다. 즉, SR 기법에 따르면, yk에 추정된 해상도 열화 요소들의 역함수를 적용하여 x를 추정하는 기술을 의미한다. SR 기법은 크게 통계적 방식과 멀티프레임 방식으로 나뉠 수 있으며, 멀티프레임 방식은 크게 공간 분할 방식과 시간 분할 방식으로 나뉠 수 있다. 깊이 정보 획득을 위하여 SR 기법을 이용하는 경우, 수학식 1의 Mk의 역함수가 존재하지 않기 때문에, 통계적 방식이 시도될 수 있다. 다만, 통계적 방식의 경우, 반복 연산 과정이 필요하므로, 효율이 낮은 문제가 있다.
본 발명의 실시예에서는 역함수를 구하여 고해상 영상을 생성하는 종래 SR 기법과 달리, 복수의 저해상 영상의 픽셀값을 재배열하여 고해상 영상을 생성하는, 본 발명의 실시예에 따른 SR 기법을 이용하고자 한다.
깊이 정보 추출에 본 발명의 실시예에 따른 SR 기법을 적용하기 위하여, 영상 제어부(150)는 이미지 센서부(130)로부터 수신한 전기신호를 이용하여 복수의 저해상 서브프레임을 생성한 후, 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출한다. 그리고 복수의 저해상 깊이 정보의 픽셀값을 재배열하여 고해상 깊이 정보를 추출할 수 있다.
여기서, 서브프레임이란 어느 하나의 노출 주기 및 참조 신호에 대응한 전기 신호로부터 생성되는 영상 프레임을 의미한다. 예를 들어, 제1 노출 주기, 즉 하나의 영상 프레임에서 8개의 참조 신호를 통해 전기 신호가 생성되는 경우, 8개의 서브프레임이 생성될 수 있으며, 시작 프레임(start of frame)이 1개 더 생성될 수 있다.
또는, 깊이 정보 추출에 본 발명의 실시예에 따른 SR 기법을 적용하기 위하여, 영상 제어부(150)는 이미지 센서부(130)로부터 수신한 전기신호를 이용하여 복수의 저해상 서브프레임을 생성한 후, 복수의 저해상 서브프레임의 픽셀값을 재배열하여 복수의 고해상 서브프레임을 생성한다. 그리고, 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다.
이를 위하여, 픽셀 쉬프트(pixel shift) 기술을 이용할 수 있다. 즉, 픽셀 쉬프트 기술을 이용하여 서브프레임 별로 서브픽셀만큼 쉬프트된 여러 장의 이미지 획득한 후, 서브프레임 별로 본 발명의 실시예에 따른 SR 기법을 적용하여 복수의 고해상 서브프레임 이미지 데이터를 획득한 후, 이들을 이용하여 고해상의 깊이 정보를 추출할 수 있다. 픽셀 쉬프트를 위하여, 본 발명의 한 실시예에 따른 카메라 모듈(100)은 틸팅부(140)를 포함한다.
다시 도 1을 참조하면, 틸팅부(140)는 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 이미지 센서부(130)의 서브픽셀 단위로 변경한다.
틸팅부(140)는 프레임 별로 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 변경한다. 상기에서 설명한 바와 같이, 하나의 노출주기마다 1개의 프레임이 생성될 수 있다. 따라서, 틸팅부(140)는 하나의 노출주기가 종료되면 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 변경한다.
틸팅부(140)는 이미지 센서부(130)를 기준으로 서브픽셀 단위만큼 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 변경한다. 이때, 틸팅부(140)는 현재 광경로를 기준으로 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 상, 하, 좌, 우 중 어느 하나의 방향으로 변경한다.
도 5는 틸팅부에 의한 반사광 신호의 광경로 변경을 설명하기 위한 도면이다.
도 5의 (a)에서 실선으로 표시된 부분은 반사광 신호의 현재 광경로를 나타내고, 점선으로 표시된 부분은 변경된 광경로를 나타낸다. 현재 광경로에 대응하는 노출주기가 종료되면, 틸팅부는 반사광 신호의 광경로를 점선과 같이 변경할 수 있다. 그러면, 반사광 신호의 경로는 현재 광경로에서 서브픽셀만큼 이동된다. 예를 들어, 도 5의 (a)에서와 같이, 틸팅부(140)가 현재 광경로를 0.173도 우측으로 이동시키면, 이미지 센서부(130)에 입사되는 반사광 신호는 우측으로 0.5 픽셀(서브픽셀)만큼 이동할 수 있다.
본 발명의 실시예에 따르면, 틸팅부(140)는 기준 위치에서 시계방향으로 반사광 신호의 광경로를 변경할 수 있다. 예를 들어, 도 5의 (b)에 나타난 바와 같이, 틸팅부(140)는 제1 노출주기가 종료된 후, 제2 노출주기에 반사광 신호의 광경로를 이미지 센서부(130) 기준 0.5 픽셀만큼 우측으로 이동시킨다. 그리고 틸팅부(140)는 제3 노출주기에 반사광 신호의 광경로를 이미지 센서부(130) 기준 0.5 픽셀만큼 아래측으로 이동시킨다. 그리고 틸팅부(140)는 제4 노출주기에 반사광 신호의 광경로를 이미지 센서부(130) 기준 0.5 픽셀만큼 좌측으로 이동시킨다. 그리고 틸팅부(140)는 제5 노출주기에 반사광 신호의 광경로를 이미지 센서부(130) 기준 0.5 픽셀만큼 윗측으로 이동시킨다. 즉, 4개 노출주기로 틸팅부(140)는 반사광 신호의 광경로를 기준 위치로 이동시킬 수 있다. 이는 입사광 신호의 광경로를 이동시킬 때도 동일하게 적용될 수 있는바, 상세한 설명은 생략하도록 한다. 또한 광경로의 변경 패턴이 시계방향인 것은 일례에 불과하며, 반시계 방향일 수도 있다.
한편, 서브픽셀은 0픽셀보다 크고 1픽셀보다 작을 수 있다. 예를 들어, 서브픽셀은 0.5 픽셀의 크기를 가질 수 있으며, 1/3 픽셀의 크기를 가질 수 도 있다. 서브픽셀의 크기는 당업자에 의해 설계변경이 가능하다.
영상 제어부(150)는 전기 신호로부터 생성된 복수의 서브프레임의 픽셀값을 재배치하여 서브프레임보다 높은 해상도를 가지는 상기 깊이 정보를 추출한다.
상기에서 살펴본 바와 같이, 전기 신호는 입사광 신호와 반사광 신호 간 위상 차를 포함하고 있으며, 하나의 전기 신호로부터 하나의 서브프레임이 생성될 수 있다.
도 6 및 도 7은 본 발명의 실시예에 따른 SR 기법을 설명하기 위한 도면이다. 아래에서 고해상이라 함은 저해상보다 높은 해상도를 나타내는 상대적인 의미이다.
구체적으로, 영상 제어부(150)는 동일한 노출 주기, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 그리고, 영상 제어부(150)는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 여기서 복수의 저해상 깊이 정보에 대응하는 입사광 신호 또는 반사광 신호의 광경로는 서로 상이하다.
예를 들어, 도 6에서, 영상 제어부(150)는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성한다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 3-1 내지 3-8은 제3 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 4-1 내지 4-8은 제4 노출 주기에서 생성된 저해상 서브프레임이다. 그러면, 영상 제어부(150)는 각 노출 주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-4를 추출한다. 저해상 깊이 정보 LRD-1은 서브프레임 1-1 내지 1-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-2는 서브프레임 2-1 내지 2-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-3은 서브프레임 3-1 내지 3-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-4은 서브프레임 4-1 내지 4-8을 이용하여 추출된 저해상 깊이 정보이다. 그리고, 영상 제어부(150)는 저해상 깊이 정보 LRD-1 내지 LRD-4의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출한다.
또는, 전술한 바와 같이, 영상 제어부(150)는 동일한 참조 신호에 대응하는 복수의 서브프레임의 픽셀값을 재배치하여 고해상 서브프레임을 생성할 수 있다. 이때, 복수의 서브프레임은 대응하는 입사광 신호 또는 반사광 신호의 광경로가 상이하다. 그리고, 영상 제어부(150)는 복수의 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다.
예를 들어, 도 7에서, 영상 제어부(150)는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성한다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 3-1 내지 3-8은 제3 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 4-1 내지 4-8은 제4 노출 주기에서 생성된 저해상 서브프레임이다. 여기서, 저해상 서브프레임 1-1, 2-1, 3-1, 4-1는 동일한 참조 신호 C1에 대응하되, 서로 다른 광경로에 대응한다. 그러면, 영상 제어부(150)는 저해상 서브프레임 1-1, 2-1, 3-1, 4-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 픽셀값 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 영상 제어부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.
아래에서는 도 8을 통해 본 발명의 실시예에 따른 SR 기법에 대해 살펴보도록 한다. 도 8은 본 발명의 실시예에 따른 저해상 영상 프레임의 픽셀값 배치 과정을 설명하기 위한 도면이다. 앞서 살펴본 바와 같이, 본 발명의 실시예에 따른 SR 기법은 종래 역함수를 이용하는 기법과 달리, 복수의 저해상 프레임의 픽셀값을 재배치하여 고해상 프레임을 생성하는 기법이다.
본 발명의 실시예에 따르면, 영상 제어부(150)는 서로 다른 광경로에 대응하는 복수의 저해상 서브프레임 또는 복수의 저해상 깊이 정보의 각 픽셀값을 고해상 픽셀 그리드(grid)에 재배치하여 고해상 영상 프레임을 생성한다. 이때, 영상 제어부(150)는 각 저해상 영상 프레임에 대응하는 광경로의 이동 방향에 따라 픽셀값을 배치할 수 있다.
도 8은 4개의 4x4 크기의 저해상 영상을 이용하여 1개의 8x8 크기의 고해상 영상을 생성하는 것을 가정한다. 이때, 고해상 픽셀 그리드는 8x8의 픽셀을 가지며, 이는 고해상 영상의 픽셀과 동일하다. 여기서 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다.
도 8에서 제1 내지 4 저해상 영상은 0.5 픽셀 크기의 서브픽셀만큼 광경로가 이동되어 촬영된 저해상 영상이다. 영상 제어부(150)는 광경로가 이동하지 않은 제1 저해상 영상을 기준으로 광경로가 이동한 방향에 따라 제2 내지 4 저해상 영상의 픽셀값을 고해상 영상에 대응하는 고해상 픽셀 그리드에 배치한다.
구체적으로, 제2 저해상 영상은 제1 저해상 영상으로부터 서브픽셀만큼 우측으로 이동한 영상이다. 그러므로, 제1 저해상 영상의 각 픽셀(A) 우측에는 제2 저해상 영상 프레임의 픽셀(B)이 배치된다.
제3 저해상 영상은 제2 저해상 영상으로부터 서브픽셀만큼 아래측으로 이동한 영상이다. 그러므로, 제2 저해상 영상의 각 픽셀(B) 아래에 위치한 픽셀에는 제3 저해상 영상의 픽셀(C)이 배치된다.
제4 저해상 영상은 제3 저해상 영상으로부터 서브픽셀만큼 좌측으로 이동한 영상이다. 그러므로, 제3 저해상 영상의 픽셀(C) 좌측에 위치한 픽셀에는 제4 저해상 영상의 픽셀(D)이 배치된다.
고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값이 모두 재배치되면, 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임이 생성된다.
한편, 영상 제어부(150)는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 서브픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다.
도 9는 본 발명의 실시예에 따른 시뮬레이션 결과를 나타낸 도면이다.
도 9의 (a) 내지 (c)는 IR 영상 측정 결과를 나타낸다. 도 9의 (a)는 41x41 해상도의 저해상 IR 영상을 나타낸다. 도 9의 (b)는 도 9의 (a)의 저해상 IR 영상에 보간법(interpolation)을 적용하여 생성된 81x81 해상도의 고해상 IR 영상을 나타낸다. 도 9의 (c)는 41x41 해상도의 저해상 IR 영상 4개에 본 발명의 실시예에 따른 SR 기법(픽셀 재배치)을 적용하여 생성된 고해상 IR 영상을 나타낸다. 도 9의 (b)의 경우 해상도가 높아지면서 도 9의 (a)에 비해 영상이 부드러워졌으나 영상의 선명도는 크게 개선되지 않은 것을 알 수 있다. 하지만 도 9의 (c)의 고해상 IR 영상의 경우 도 9의 (a)나 (b)에 비해 영상의 선명도가 크게 개선되었음을 확인할 수 있다.
도 9의 (d) 내지 (f)는 깊이 정보 추출 결과를 나타낸다. 도 9의 (d)는 41X41 해상도의 저해상 깊이 정보를 나타낸다. 도 9의 (e)는 도 9의 (d)의 저해상 깊이 정보에 보간법(interpolation)을 적용하여 추출된 81x81 해상도의 고해상 깊이 정보를 나타낸다. 도 9의 (f)는 41x41 해상도의 저해상 깊이 정보 4개에 본 발명의 실시예에 따른 SR 기법(픽셀 재배치)을 적용하여 추출된 고해상 깊이 정보를 나타낸다. 도 9의 (e)의 경우 해상도가 높아지면서 도 9의 (d)에 비해 깊이 정보가 부드러워졌으나 영상의 선명도는 크게 개선되지 않은 것을 알 수 있다. 하지만 도 9의 (f)의 고해상 깊이 정보의 경우 도 9의 (d)나 (e)에 비해 깊이 정보의 선명도가 크게 개선되었음을 확인할 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 카메라 모듈 110 : 조명부
112 : 광원 114 : 광변조부
120 : 렌즈부 130 : 이미지 센서부
140 : 틸팅부 150 : 영상 제어부

Claims (6)

  1. 객체에 조사되는 입사광 신호를 출력하는 조명부,
    객체로부터 반사된 반사광 신호를 집광하는 렌즈부,
    상기 렌즈부에 의하여 집광된 반사광 신호로부터 전기 신호를 생성하는 이미지 센서부,
    하나의 영상 프레임마다 상기 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로를 상기 이미지 센서의 서브픽셀 단위로 쉬프트시키는 틸팅부, 그리고
    상기 입사광 신호 및 상기 반사광 신호 간 위상 차를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 제어부를 포함하며,
    상기 영상 제어부는,
    상기 전기 신호로부터 생성된 복수의 서브프레임의 픽셀값을 재배치하여 상기 서브프레임보다 높은 해상도를 가지는 상기 깊이 정보를 추출하는 영상 제어부를 포함하는 카메라 모듈.
  2. 제1항에 있어서,
    상기 영상 제어부는,
    상기 전기 신호를 생성하는데 이용된 참조 신호가 동일하되, 상기 입사광 신호 또는 반사광 신호 중 적어도 하나의 광경로가 상이한 복수의 서브프레임의 픽셀값을 재배치하여 고해상 서브프레임을 생성하는 카메라 모듈.
  3. 제2항에 있어서,
    상기 영상 제어부는,
    상기 참조 신호에 대응하는 복수의 고해상 서브프레임을 생성하고, 상기 복수의 고해상 서브프레임을 이용하여 상기 깊이 정보를 추출하는 카메라 모듈.
  4. 제2항에 있어서,
    상기 영상 제어부는,
    상기 복수의 서브프레임 중 광경로가 기 설정된 기준 경로와 일치하는 서브프레임을 기준으로 광경로가 쉬프트된 방향에 따라 상기 복수의 서브프레임의 픽셀값을 고해상 픽셀 그리드에 재배치하는 카메라 모듈.
  5. 제4항에 있어서,
    상기 영상 제어부는,
    상기 복수의 서브프레임의 픽셀값에 가중치를 적용하여 상기 고해상 픽셀 그리드에 재배치하는 카메라 모듈.
  6. 제5항에 있어서,
    상기 가중치는,
    상기 서브픽셀의 크기나 상기 광경로가 시프트된 방향에 따라 다르게 설정되는 카메라 모듈.
KR1020180066202A 2018-06-08 2018-06-08 카메라 모듈 및 그의 깊이 정보 추출 방법 KR102513680B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180066202A KR102513680B1 (ko) 2018-06-08 2018-06-08 카메라 모듈 및 그의 깊이 정보 추출 방법
PCT/KR2019/006899 WO2019235889A1 (ko) 2018-06-08 2019-06-07 카메라 모듈 및 그의 깊이 정보 추출 방법
CN201980039044.6A CN112262572B (zh) 2018-06-08 2019-06-07 相机模块及由此的深度信息获取方法
US16/973,263 US11800081B2 (en) 2018-06-08 2019-06-07 Camera module and depth information obtaining method therefore

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180066202A KR102513680B1 (ko) 2018-06-08 2018-06-08 카메라 모듈 및 그의 깊이 정보 추출 방법

Publications (2)

Publication Number Publication Date
KR20190139573A true KR20190139573A (ko) 2019-12-18
KR102513680B1 KR102513680B1 (ko) 2023-03-24

Family

ID=68770831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180066202A KR102513680B1 (ko) 2018-06-08 2018-06-08 카메라 모듈 및 그의 깊이 정보 추출 방법

Country Status (4)

Country Link
US (1) US11800081B2 (ko)
KR (1) KR102513680B1 (ko)
CN (1) CN112262572B (ko)
WO (1) WO2019235889A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111226434B (zh) * 2017-10-20 2022-05-31 国立大学法人静冈大学 距离图像测定装置以及距离图像测定方法
EP3798680A1 (en) * 2019-09-26 2021-03-31 Artilux Inc. Calibrated photo-detecting apparatus and calibration method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
KR101629610B1 (ko) * 2015-07-27 2016-06-13 주식회사 앤비젼 고해상도 영상 추출을 위한 광경로 변환 유닛, 광경로 변환 모듈, 광경로 변환 방법 및 이 방법을 수행하기 위한 프로그램을 기록한 기록매체, 반도체 기판 패턴 검사 장치
KR20160090464A (ko) * 2015-01-21 2016-08-01 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
WO2017149092A2 (en) * 2016-03-02 2017-09-08 Optotune Ag Optical device, particularly camera, particularly comprising autofocus, image stabilization and super resolution

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563105B2 (en) * 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
CN101288105B (zh) * 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
TW201200959A (en) * 2010-06-29 2012-01-01 Fujifilm Corp One-eyed stereo photographic device
WO2013031349A1 (ja) * 2011-08-30 2013-03-07 富士フイルム株式会社 撮影装置及び撮影方法
WO2013099910A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 固体撮像装置
US9124875B2 (en) * 2012-05-23 2015-09-01 Fujifilm Corporation Stereoscopic imaging apparatus
US9264591B2 (en) * 2014-06-02 2016-02-16 Apple Inc. Comb drive and leaf spring camera actuator
US9426362B2 (en) * 2015-01-16 2016-08-23 Mems Drive, Inc. Three-axis OIS for super-resolution imaging
US10341640B2 (en) * 2015-04-10 2019-07-02 The Board Of Trustees Of The Leland Stanford Junior University Multi-wavelength phase mask
DE102016204148A1 (de) * 2016-03-14 2017-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Erfassen eines Objektbereichs
KR102543392B1 (ko) * 2017-12-05 2023-06-13 애어리3디 인크. 깊이 획득을 위한 명시야 이미지 처리 방법
KR102473650B1 (ko) * 2018-04-13 2022-12-02 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
KR102514487B1 (ko) * 2018-06-07 2023-03-27 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
KR20160090464A (ko) * 2015-01-21 2016-08-01 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
KR101629610B1 (ko) * 2015-07-27 2016-06-13 주식회사 앤비젼 고해상도 영상 추출을 위한 광경로 변환 유닛, 광경로 변환 모듈, 광경로 변환 방법 및 이 방법을 수행하기 위한 프로그램을 기록한 기록매체, 반도체 기판 패턴 검사 장치
WO2017149092A2 (en) * 2016-03-02 2017-09-08 Optotune Ag Optical device, particularly camera, particularly comprising autofocus, image stabilization and super resolution

Also Published As

Publication number Publication date
US11800081B2 (en) 2023-10-24
CN112262572A (zh) 2021-01-22
US20210250535A1 (en) 2021-08-12
CN112262572B (zh) 2024-01-09
WO2019235889A1 (ko) 2019-12-12
KR102513680B1 (ko) 2023-03-24

Similar Documents

Publication Publication Date Title
KR102473650B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
KR102514487B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
CN106657969B (zh) 用于获得图像的装置和方法
US10652513B2 (en) Display device, display system and three-dimension display method
KR102560397B1 (ko) 카메라 장치 및 그의 깊이 정보 추출 방법
KR102571864B1 (ko) 카메라 장치
KR102513680B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
US11659155B2 (en) Camera
KR102523762B1 (ko) 이미지 센서 및 이를 이용하는 카메라 모듈
KR102561533B1 (ko) 카메라 장치
KR102553555B1 (ko) 카메라 모듈
KR102561532B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
CN116746144A (zh) 相机模块
KR20200139532A (ko) 카메라 모듈
KR20200113437A (ko) 카메라 모듈
KR20230027863A (ko) 카메라 모듈

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant