KR102571864B1 - 카메라 장치 - Google Patents

카메라 장치 Download PDF

Info

Publication number
KR102571864B1
KR102571864B1 KR1020180132076A KR20180132076A KR102571864B1 KR 102571864 B1 KR102571864 B1 KR 102571864B1 KR 1020180132076 A KR1020180132076 A KR 1020180132076A KR 20180132076 A KR20180132076 A KR 20180132076A KR 102571864 B1 KR102571864 B1 KR 102571864B1
Authority
KR
South Korea
Prior art keywords
phase
image
sub
pixels
signal
Prior art date
Application number
KR1020180132076A
Other languages
English (en)
Other versions
KR20200049152A (ko
Inventor
김석현
이창혁
김형진
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020180132076A priority Critical patent/KR102571864B1/ko
Publication of KR20200049152A publication Critical patent/KR20200049152A/ko
Application granted granted Critical
Publication of KR102571864B1 publication Critical patent/KR102571864B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 실시예에 따른 카메라 장치는 객체에 조사되는 출력광 신호를 출력하는 광출력부; IR(InfraRed) 필터; 상기 IR 필터 상에 배치되며 상기 객체로부터 반사된 입력광 신호를 집광하는 적어도 1 매의 렌즈; 상기 렌즈에 의하여 집광된 상기 입력광 신호로부터 전기 신호를 생성하는 이미지 센서; 및 상기 출력광 신호 및 상기 이미지 센서에 수신된 상기 입력광 신호 간 위상 차를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 처리부;를 포함하고, 상기 이미지 센서는 어레이 형태로 배열된 복수의 픽셀을 포함하고, 각 픽셀은 복수의 서브 픽셀을 포함하고, 이웃한 상기 서브 픽셀은 한 주기 동안 서로 상이한 노출주기를 가지고, 각 노출주기 동안 이웃한 상기 서브 픽셀은 서로 상이한 상기 위상 신호를 수신한다.

Description

카메라 장치{CAMERA DEVICE}
본 발명은 깊이 정보를 추출하는 카메라 장치에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다. TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
하지만, 현재 ToF 방식의 경우 4개의 위상에 대한 신호를 순차적으로 수신한 후 1 개의 깊이 영상을 추출한다. 이때, 수신되는 신호의 세기가 미약하므로, 4개의 위상에 대한 신호를 순차적으로 수신하는 동작을 수회 반복하여 4개의 서로 다른 위상에 대한 신호를 축적한 후 1 개의 깊이 영상이 추출될 수 있다. 이에 따라, ToF 방식을 이용하면 깊이 영상을 추출하는데 많은 시간이 소요되는 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 ToF 방식을 이용하여 깊이 정보를 추출하는 카메라 장치 및 그의 깊이 정보 추출 방법을 제공하는데 있다.
본 발명의 실시예에 따른 카메라 장치는 객체로 광을 출력하는 광출력부; 상기 객체로부터 반사된 광을 수신하는 렌즈; 상기 렌즈에 의하여 수신된 광으로부터 전기 신호를 생성하는 이미지 센서; 및 상기 광출력부에 의하여 출력된 광 및 상기 수신된 광의 위상 차를 포함하는 데이터를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 처리부;를 포함하고, 상기 이미지 센서는 어레이 형태로 배열된 복수의 픽셀을 포함하고, 상기 각 픽셀은 서로 상이한 상기 위상차를 갖는 적어도 두 개의 서브 픽셀을 포함한다.
각 픽셀은 4개의 서브픽셀을 포함하고, 상기 4개의 서브픽셀은 서로 다른 위상차를 가질 수 있다.
상기 픽셀은 상기 서브 픽셀 단위로 이동하며, 이동된 상기 픽셀에 수신된 데이터를 보간하여 깊이영상을 생성할 수 있다.
상기 상기 수신된 광의 데이터는 소정의 규칙에 따라 상기 픽셀이 상기 서브 픽셀 단위로 상, 하, 좌, 우 방향으로 쉬프트되어 각 위치에서 얻어지는 데이터일 수 있다.
상기 이미지 센서의 상기 서브 픽셀을 행 및 열 별로 동작시켜 상기 서브 픽셀의 노출주기를 조절할 수 있다.
상기 이미지 센서의 상기 서브 픽셀을 각각 동작시켜 상기 서브 픽셀의 노출주기를 조절할 수 있다.
상기 각 픽셀은 제1 위상을 수신하는 제1 서브픽셀, 제2 위상을 수신하는 제2 서브픽셀, 제3 위상을 수신하는 제3 서브픽셀, 및 제4 위상을 수신하는 제4 서브픽셀을 포함하고, 제1 서브픽셀과 제2 서브픽셀은 서로 동일할 수 있다.
IR 필터를 포함하고, 상기 IR 필터를 틸팅하여 상기 수신된 광의 경로를 시프트할 수 있다.
본 발명의 실시예에 따른 카메라 장치는 객체에 조사되는 출력광 신호를 출력하는 광출력부; IR(InfraRed) 필터; 상기 IR 필터 상에 배치되며 상기 객체로부터 반사된 입력광 신호를 집광하는 적어도 1 매의 렌즈; 상기 렌즈에 의하여 집광된 상기 입력광 신호로부터 전기 신호를 생성하는 이미지 센서; 및 상기 출력광 신호 및 상기 이미지 센서에 수신된 상기 입력광 신호 간 위상 차를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 처리부;를 포함하고, 상기 이미지 센서는 어레이 형태로 배열된 복수의 픽셀을 포함하고, 각 픽셀은 복수의 서브 픽셀을 포함하고, 상기 입력광 신호의 광경로는 복수의 노출주기 동안 소정의 규칙에 따라 반복하여 쉬프트되고, 상기 영상 처리부는 상기 복수의 노출주기 동안 추출한 데이터를 이용하여 상기 객체의 깊이 정보를 추출하고, 각 노출주기 동안 하나의 픽셀에 포함된 서브 픽셀 별로 상이한 위상 신호가 인가된다.
상기 입력광 신호의 광경로는 상기 소정의 규칙에 따라 제1 노출주기 동안 제1 방향으로 상기 이미지 센서의 0 픽셀보다 크고 1 픽셀보다 작은 단위로 쉬프트되고, 제2 노출주기 동안 상기 제1 방향에 대하여 수직인 제2 방향으로 상기 이미지 센서의 0 픽셀보다 크고 1 픽셀보다 작은 단위로 쉬프트되고, 제3 노출주기 동안 상기 제2 방향에 대하여 수직인 제3 방향으로 상기 이미지 센서의 0 픽셀보다 크고 1 픽셀보다 작은 단위로 쉬프트되고, 제4 노출주기 동안 상기 제3 방향에 대하여 수직인 제4 방향으로 상기 이미지 센서의 0 픽셀보다 크고 1 픽셀보다 작은 단위로 쉬프트되고, 상기 영상 처리부는 상기 제1 노출주기 동안 추출한 데이터, 상기 제2 노출주기 동안 추출한 데이터, 상기 제3 노출주기 동안 추출한 데이터 및 상기 제4 노출주기 동안 추출한 데이터를 이용하여 상기 객체의 깊이 정보를 추출할 수 있다.
각 노출주기 동안 이웃하는 서브 픽셀에는 서로 다른 위상 신호가 인가될 수 있다.
상기 복수의 서브 픽셀에 대하여 서브 픽셀 별로 중첩 또는 축적된 위상 신호 별 데이터는 함께 리드아웃(readout)될 수 있다.
상기 각 픽셀은 제1 서브 픽셀, 제2 서브 픽셀, 제3 서브 픽셀 및 제4 서브 픽셀을 포함하고, 상기 각 노출주기 동안 상기 제1 서브 픽셀에 제1 위상 신호가 인가되는 구간, 상기 제2 서브 픽셀에 제2 위상 신호가 인가되는 구간, 상기 제3 서브 픽셀에 제3 위상 신호가 인가되는 구간 및 상기 제4 서브 픽셀에 제4 위상 신호가 인가되는 구간 중 적어도 2개의 적어도 일부는 서로 겹쳐질 수 있다.
상기 각 노출주기 동안 상기 제1 서브 픽셀에 제1 위상 신호가 인가되기 시작하는 시간, 상기 제2 서브 픽셀에 제2 위상 신호가 인가되기 시작하는 시간, 상기 제3 서브 픽셀에 제3 위상 신호가 인가되기 시작하는 시간 및 상기 제4 서브 픽셀에 제4 위상 신호가 인가되기 시작하는 시간은 각각 서브 픽셀 별로 인가되는 디지털 신호에 의하여 제어될 수 있다.
상기 각 노출주기 동안 상기 디지털 신호는 홀수 번째 행의 서브 픽셀 및 짝수 번째 행의 서브 픽셀 중 하나와 홀수 번째 열의 서브 픽셀 및 짝수 번째 열의 서브 픽셀 중 하나로부터 얻어지는 4가지 조합에 대하여 순차적으로 인가될 수 있다.
상기 입력광 신호의 광경로는 상기 IR 필터의 기울기 틸팅에 의하여 쉬프트될 수 있다.
본 발명의 한 실시예에 따른 카메라 장치를 이용하면, 빠른 시간 내에 높은 해상도로 깊이 정보를 획득할 수 있다. 특히, 본 발명의 한 실시예에 따른 카메라 장치를 이용하면, 하드웨어적으로 변경시키지 않고, 연산 복잡도를 증가시키지 않으면서도, 빠른 시간 내에 높은 해상도로 깊이 정보를 획득하는 것이 가능하다.
도 1은 본 발명의 한 실시예에 따른 카메라 장치의 블록도이다.
도 2는 출력광 신호의 주파수를 설명하기 위한 도면이다.
도 3은 카메라 장치의 단면도의 한 예이다.
도 4는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 이미지 센서를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 카메라 장치로부터 얻은 4개의 위상에 대한 로우(raw) 영상의 예이다.
도 7은 도 6의 로우 영상으로부터 얻은 ToF IR 영상의 예이다.
도 8은 도 6의 로우 영상으로부터 얻은 깊이 영상의 예이다.
도 9는 4개의 위상 영상을 이용하여 ToF IR 영상 또는 깊이 영상을 얻는 방법의 일 예를 간략하게 도시한다.
도 10은 도 9의 방법을 상세하게 도시한다.
도 11은 도 9의 방법의 타이밍도이다.
도 12는 본 발명의 한 실시예에 따라 4개의 위상 영상을 이용하여 ToF IR 영상 또는 깊이 영상을 얻는 방법을 도시한다.
도 13은 도 12의 방법의 타이밍도이다.
도 14는 본 발명의 실시예에 따라 서브 픽셀 별로 인가되는 디지털 신호의 예시이다.
도 15 (a)는 틸팅부에 의한 입력광 신호의 광경로 변경을 설명하기 위한 도면이다.
도 15 (b)는 이미지센서 내에서 서브 픽셀 단위로 픽셀을 이동시켜 입력광 데이터 보간을 설명하기 위한 도면이다.
도 16 및 도 17은 본 발명의 실시예에 따른 SR 기법을 설명하기 위한 도면이다.
도 18은 본 발명의 실시예에 따른 픽셀값 배치 과정을 설명하기 위한 도면이다.
도 19 내지 도 20은 IR 필터의 기울기 제어에 따라 이미지 센서 상에 입력되는 영상 프레임이 쉬프트되는 효과를 설명하기 위한 도면이다.
도 21은 본 발명의 다른 실시예에 따라 4개의 위상 영상을 이용하여 ToF IR 영상 또는 깊이 영상을 얻는 방법을 도시한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
도 1은 본 발명의 한 실시예에 따른 카메라 장치의 블록도이다.
도 1을 참조하면, 카메라 장치(100)는 광출력부(110), 렌즈부(120), 이미지 센서(130), 틸팅부(140) 및 영상 처리부(150)를 포함한다. 본 발명의 실시예에 따른 카메라 장치(100)는 ToF 기능을 이용하여 깊이 정보를 추출하므로, 본 명세서에서 ToF 카메라 장치 또는 ToF 카메라 모듈과 혼용될 수 있다.
광출력부(110)는 출력광 신호를 생성한 후 객체에 조사한다. 이때, 광출력부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 출력광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 출력광 신호를 펄스파나 지속파 형태로 생성함으로써, 카메라 장치(100)는 광출력부(110)로부터 출력된 출력광 신호와 객체로부터 반사된 후 카메라 장치(100)로 입력된 입력광 신호 사이의 위상 차를 검출할 수 있다. 본 명세서에서, 출력광은 광출력부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광은 광출력부(110)로부터 출력되어 객체에 도달하여 객체로부터 반사된 후 카메라 장치(100)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광은 입사광이 될 수 있고, 입력광은 반사광이 될 수 있다.
광출력부(110)는 생성된 출력광 신호를 소정의 노출주기 동안 객체에 조사한다. 여기서, 노출주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, 카메라 장치(100)가 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
광출력부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 생성할 수 있다. 광출력부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 광출력부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 동시에 생성할 수도 있다.
도 2는 출력광 신호의 주파수를 설명하기 위한 도면이다. 본 발명의 실시예에 따르면, 광출력부(110)는 도 2에서와 같이 노출주기의 첫 절반은 주파수 f1인 출력광 신호가 생성되도록 제어하고, 나머지 절반의 노출주기는 주파수 f2인 출력광 신호가 생성되도록 제어할 수 있다.
다른 실시예에 따르면, 광출력부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1인 출력광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f2인 출력광 신호가 생성되도록 제어할 수도 있다.
이를 위하여, 광출력부(110)는 빛을 생성하는 광원(112)과 빛을 변조하는 광변조부(114)를 포함할 수 있다.
우선, 광원(112)은 빛을 생성한다. 광원(112)이 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(112)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.
광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 출력광 신호를 생성한다. 일정 시간 간격은 출력광 신호의 주파수일 수 있다. 광원의 점멸은 광변조부(114)에 의해 제어될 수 있다.
광변조부(114)는 광원(112)의 점멸을 제어하여 광원(112)이 지속파나 펄스파 형태의 출력광 신호를 생성하도록 제어한다. 광변조부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 출력광 신호를 생성하도록 제어할 수 있다.
한편, 렌즈부(120)는 객체로부터 반사된 입력광 신호를 집광하여 이미지 센서(130)에 전달한다.
도 3은 카메라 장치의 단면도의 한 예이다.
도 3을 참조하면, 카메라 장치(300)는 렌즈 어셈블리(310), 이미지 센서(320) 및 인쇄회로기판(330)을 포함한다. 여기서, 렌즈 어셈블리(310)는 도 1의 렌즈부(120)에 대응하고, 이미지 센서(320)는 도 1의 이미지 센서(130)에 대응할 수 있다. 그리고, 도 1의 영상 처리부(150) 등은 인쇄회로기판(330) 내에서 구현될 수 있다. 도시되지 않았으나, 도 1의 광출력부(110)는 인쇄회로기판(330) 상에서 이미지 센서(320)의 측면에 배치되거나, 카메라 장치(300)의 외부, 예를 들어 카메라 장치(300)의 측면에 배치될 수도 있다.
렌즈 어셈블리(310)는 렌즈(312), 렌즈 배럴(314), 렌즈 홀더(316) 및 IR 필터(318)를 포함할 수 있다.
렌즈(312)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(312)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴(314)은 렌즈 홀더(316)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(314)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되어 렌즈 배럴(314)을 지지하고, 이미지 센서(320)가 탑재된 인쇄회로기판(330)에 결합될 수 있다. 렌즈 홀더(316)에 의하여 렌즈 배럴(314) 하부에 IR 필터(318)가 부착될 수 있는 공간이 형성될 수 있다. 렌즈 홀더(316)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(314)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(316)와 렌즈 배럴(314)은 접착제를 통해 결합되거나, 렌즈 홀더(316)와 렌즈 배럴(314)이 일체형으로 형성될 수도 있다.
렌즈 홀더(316)는 렌즈 배럴(314)과 결합되는 상부 홀더(316-1) 및 이미지 센서(320)가 탑재된 인쇄회로기판(330)과 결합되는 하부 홀더(316-2)로 구분될 수 있으며, 상부 홀더(316-1) 및 하부 홀더(316-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(316-1)의 직경은 하부 홀더(316-2)의 직경보다 작게 형성될 수 있다.
상기의 예시는 일 실시예에 불과하며, 렌즈부(120)는 카메라 장치(100)로 입사되는 입력광 신호를 집광하여 이미지 센서(130)에 전달할 수 있는 다른 구조로 구성될 수도 있다.
다시 도 1을 참조하면, 이미지 센서(130)는 렌즈부(120)를 통해 집광된 입력광 신호를 이용하여 전기 신호를 생성한다.
이미지 센서(130)는 광출력부(110)의 점멸 주기와 동기화되어 입력광 신호를 검출할 수 있다. 구체적으로 이미지 센서(130)는 광출력부(110)로부터 출력된 출력광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 검출할 수 있다. 즉, 이미지 센서(130)는 광원이 켜져 있는 시간에 입사광 신호를 흡수하는 단계와 광원이 꺼져 있는 시간에 입사광 신호를 흡수하는 단계를 반복 수행할 수 있다.
다음으로, 이미지 센서(130)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 광출력부(110)로부터 출력된 출력광 신호의 주파수와 동일하게 설정될 수 있다. 따라서, 광출력부(110)가 복수의 주파수로 출력광 신호를 생성하는 경우, 이미지 센서(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성한다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 4에 나타난 바와 같이, 본 발명의 실시예에 따른 참조 신호는 4개(C1 내지 C4)일 수 있다. 각 참조 신호(C1 내지 C4)는 출력광 신호, 즉 객체의 입장에서 입사광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 출력광 신호와 동일한 위상을 가질 수 있다. 입력광 신호, 즉 객체의 입장에서 반사광 신호는 출력광 신호가 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 이미지 센서(130)는 입력광 신호와 각 참조 신호를 각각 믹싱(mixing)한다. 그러면, 이미지 센서(130)는 도 4의 음영 부분에 대응하는 전기 신호를 각 참조 신호별로 생성할 수 있다.
다른 실시예로, 노출 시간 동안 복수의 주파수로 출력광 신호가 생성된 경우, 이미지 센서(130)는 복수의 주파수에 따른 입력광 신호를 흡수한다. 예를 들어, 주파수 f1과 f2로 출력광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 신호 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다.
이미지 센서(130)는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성될 수 있다. 이미지 센서(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 이미지 센서(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 이미지 센서를 설명하기 위한 도면이다. 예를 들어, 도 5에서와 같이 320x240 해상도의 이미지 센서(130)의 경우 76,800개의 픽셀이 그리드 형태로 배열된다. 이때, 복수의 픽셀 사이에는 도 5의 음영 부분과 같이 일정한 간격이 형성될 수 있다. 본 발명의 실시예에서는 픽셀에 인접한 일정 간격을 포함하여 1 픽셀로 설명하도록 한다.
본 발명의 실시예에 따르면, 각 픽셀(132)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.
제1 수광부(132-1)는 출력광의 파형과 동일 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 입력광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 입력광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다.
제2 수광부(132-2)는 출력광의 파형과 반대 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 입력광 신호의 흡수를 중단한다. 그리고, 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 입력광 신호를 흡수한다. 제2 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다.
이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 카메라 장치(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 광출력부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 카메라 장치(100)와 소정 거리 떨어져 위치하는 경우, 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다. 다시 도 1을 참조하면, 영상 처리부(150)는 이미지 센서(130)로부터 수신한 전기신호를 이용하여 출력광과 입력광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 카메라 장치(100) 사이의 거리를 계산한다.
구체적으로, 영상 처리부(150)는 전기신호의 전하량 정보를 이용하여 출력광과 입력광 사이의 위상차를 계산할 수 있다.
상기에서 살펴본 바와 같이, 출력광 신호의 주파수마다 전기신호는 4개가 생성될 수 있다. 따라서, 영상 처리부(150)는 아래의 수학식 1을 이용하여 출력광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 출력광 신호와 동일한 위상의 기준신호에 대응하는 전기신호의 전하량이다. Q2는 출력광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q3는 출력광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q4는 출력광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기신호의 전하량이다.
그러면, 영상 처리부(150)는 출력광 신호와 입력광 신호의 위상차를 이용하여 객체와 카메라 장치(100) 사이의 거리를 계산할 수 있다. 이때, 영상 처리부(150)는 아래의 수학식 2를 이용하여 객체와 카메라 장치(100) 사이의 거리(d)를 계산할 수 있다.
여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.
본 발명의 실시예에 따르면, 카메라 장치(100)로부터 ToF IR 영상 및 깊이(depth) 영상을 얻을 수 있다.
이와 관련하여 더욱 구체적으로 설명하면, 도 6에 예시된 바와 같이 본 발명의 실시예에 따른 카메라 장치(100)로부터 4개의 위상에 대한 로우(raw) 영상을 얻을 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 각 위상에 대한 로우 영상은 위상 별로 디지털화된 픽셀 값으로 이루어진 영상일 수 있고, 위상 영상, 위상 IR 영상 등과 혼용될 수 있다.
도 6의 4 개의 위상 영상을 이용하여 수학식 3과 같이 연산하면, 도 7의 ToF IR 영상인 앰플리튜드 영상(amplitude image)을 얻을 수 있다.
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
또는, 도 6의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다.
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
이와 같이, ToF IR 영상은 4 개의 위상 영상 중 2개씩 서로 빼주는 과정을 통하여 생성되는 영상으로, 이러한 과정에서 외부 광(background light)이 제거될 수 있다. 이에 따라, ToF IR 영상에는 광원이 출력한 파장대의 신호만 남게 되어, 객체에 대한 IR 감도가 높아지고, 노이즈가 현저하게 줄어들 수 있다.
본 명세서에서, ToF IR 영상은 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상을 의미할 수 있으며, 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다. 도 7에 도시된 바와 같이, ToF IR 영상은 그레이 영상일 수 있다.
한편, 도 6의 4 개의 위상 영상을 이용하여 수학식 5 및 수학식 6과 같이 연산하면, 도 8의 깊이 영상도 얻을 수 있다.
도 9는 4개의 위상 영상을 이용하여 ToF IR 영상 또는 깊이 영상을 얻는 방법의 일 예를 간략하게 도시하고, 도 10은 도 9의 방법을 상세하게 도시하며, 도 11은 도 9의 방법의 타이밍도이다.
도 9를 참조하면, phase 0°에 대한 위상 영상(1), phase 90°에 대한 위상 영상(2), phase 180°에 대한 위상 영상(3) 및 phase 270°에 대한 위상 영상(4)을 순차적으로 추출하여 깊이 영상(depth image) 1을 획득하고, phase 0°에 대한 위상 영상(5), phase 90°에 대한 위상 영상(6), phase 180°에 대한 위상 영상(7) 및 phase 270°에 대한 위상 영상(8)을 다시 순차적으로 추출하여 깊이 영상(depth image) 2를 획득할 수 있다.
더욱 구체적으로, 도 10 내지 11을 참조하면, phase 0°에 대한 위상 영상을 추출하기 위하여, 이미지 센서(130)의 모든 픽셀은 동시에 개방되어 phase 0°에 대한 참조 신호(이하, phase 0°의 위상 신호와 혼용될 수 있다)를 수신한 후 동시에 닫힐 수 있다. 이때, 픽셀이 1회 개방된 후 닫힐 때까지 수신한 신호의 세기가 미약하므로, 동일한 과정이 수회 반복될 필요가 있다. 즉, 이미지 센서(130)의 모든 픽셀은 동시에 개방되어 phase 0°에 대한 참조 신호를 수신한 후 동시에 닫히는 과정을 수회, 예를 들어 100회 이상 반복하여 신호를 중첩(integration) 또는 축적(accumulation)하며, 이에 따라 모든 픽셀로부터 동시에 리드아웃(read out)되는 신호는 phase 0°에 대한 정보일 수 있다. 이후, 이미지 센서(130)의 모든 픽셀은 동시에 개방되어 phase 90°에 대한 참조 신호(이하, phase 90°의 위상 신호와 혼용될 수 있다)를 수신한 후 동시에 닫히는 과정을 수회, 예를 들어 100회 이상 반복하여 신호를 중첩(integration) 또는 축적(accumulation)하며, 이에 따라 모든 픽셀로부터 동시에 리드아웃(read out)되는 신호는 phase 90°에 대한 정보일 수 있다. 이와 같은 과정은 phase 180°의 위상 신호 및 phase 270°의 위상 신호에 대해서도 각각 순차적으로 행해지며, 깊이 영상(depth image) 1은 phase 0°, phase 90°, phase 180° 및 phase 270°에 대한 각 과정이 모두 행해진 후 획득될 수 있다.
이와 같이, 하나의 주기(T) 내에 하나의 위상 신호만을 수신하게 되면, 이미지 센서의 동작 속도에 제한이 가해지며, 1개의 깊이 영상을 획득하기 위하여 긴 시간이 소요될 수 있다.
본 발명의 실시예에 따르면, 이미지 센서의 동작 속도에 제한을 가하지 않고, 깊이 영상을 획득하기 위한 시간을 단축시키고자 한다.
도 12는 본 발명의 한 실시예에 따라 4개의 위상 영상을 이용하여 ToF IR 영상 또는 깊이 영상을 얻는 방법을 도시하고, 도 13은 도 12의 방법의 타이밍도이다.
전술한 바와 같이, 본 발명의 실시예에 따른 카메라 장치(100)는 phase 0°에 대한 위상 영상, phase 90°에 대한 위상 영상, phase 180°에 대한 위상 영상 및 phase 270°에 대한 위상 영상을 이용하여 깊이 영상(depth image) 1을 획득하고, 다시 phase 0°에 대한 위상 영상, phase 90°에 대한 위상 영상, phase 180°에 대한 위상 영상 및 phase 270°에 대한 위상 영상을 이용하여 깊이 영상(depth image) 2를 획득할 수 있다.
이하, 설명의 편의를 위하여 이미지 센서(130)가 어레이 형태로 배열된 복수의 픽셀(P)을 포함하며, 각 픽셀은 복수의 서브 픽셀을 포함하는 것을 전제로 설명한다. 여기서, 픽셀 및 서브 픽셀은 본 발명의 실시예에 따른 방법을 설명하기 위하여 임의로 정의한 것으로, 이하의 서브 픽셀은 도 1 내지 11에서 설명한 픽셀을 의미하는 것일 수도 있다.
도 12 내지 13을 참조하면, 각 주기(T) 동안 하나의 픽셀(P)에 포함된 서브 픽셀 별로 상이한 위상 신호가 인가된다. 예를 들어, 각 픽셀(P)에 포함되는 복수의 서브 픽셀은 서브 픽셀 1, 서브 픽셀 2, 서브 픽셀 3 및 서브 픽셀 4를 포함할 수 있고, 각 주기(T) 동안 서브 픽셀 1(Q1)에는 phase 0°의 위상 신호가 인가되고, 서브 픽셀 2(Q2)에는 phase 90°의 위상 신호가 인가되며, 서브 픽셀 3(Q3)에는 phase 180°의 위상 신호가 인가되고, 서브 픽셀 4(Q4)에는 phase 270°의 위상 신호가 인가될 수 있다.
한 주기(T) 동안 각 서브 픽셀이 수신한 신호의 세기가 미약하므로, 동일한 과정이 수회 반복될 필요가 있다. 즉, 서브 픽셀 별로 상이한 위상 신호가 인가되는 주기(T)를 수회, 예를 들어 100회 이상 반복하여 신호를 중첩(integration) 또는 축적(accumulation)할 수 있다. 이후 서브 픽셀 1로부터 phase 0°에 대한 정보를 리드아웃(read out)하고, 서브 픽셀 2로부터 phase 90°에 대한 정보를 리드아웃하며, 서브 픽셀 3으로부터 phase 180°에 대한 정보를 리드아웃하고, 서브 픽셀 4로부터 phase 270°에 대한 정보를 리드아웃할 수 있다. 그리고, 깊이 영상(depth image) 1은 서브 픽셀 1로부터 얻은 phase 0°에 대한 정보, 서브 픽셀 2로부터 얻은 phase 90°에 대한 정보, 서브 픽셀 3으로부터 얻은 phase 180°에 대한 정보 및 서브 픽셀 4로부터 얻은 phase 270°에 대한 정보를 이용하여 획득될 수 있다.
이와 같이, 각 주기(T) 동안 하나의 픽셀(P)에 포함된 서브 픽셀 별로 상이한 위상 신호가 인가되며, 각 서브 픽셀로부터 얻은 각 위상에 대한 정보를 이용하여 깊이 영상을 추출하는 경우, 깊이 영상을 획득하기까지 소요되는 시간을 현저히 줄일 수 있다.
더욱 구체적으로, 각 주기(T) 동안 이웃하는 서브 픽셀에는 서로 다른 위상 신호가 인가될 수 있으며, 각 주기(T) 동안 서브 픽셀 1에 phase 0°의 위상 신호가 인가되는 구간, 서브 픽셀 2에 phase 90°의 위상 신호가 인가되는 구간, 서브 픽셀 3에 phase 180°의 위상 신호가 인가되는 구간, 및 서브 픽셀 4에 phase 270°의 위상 신호가 인가되는 구간 중 적어도 2개의 적어도 일부는 서로 겹쳐질 수 있다. 이에 따라, phase 0°의 위상 신호가 인가되는 구간, phase 90°의 위상 신호가 인가되는 구간, phase 180°의 위상 신호가 인가되는 구간 및 phase 270°의 위상 신호가 인가되는 구간이 전혀 겹쳐지지 않았던 도 9 내지 11의 예에 비하여, 하나의 깊이 영상을 획득하기 위하여 소요되는 시간이 줄어들 수 있다.
즉, 도 9 내지 11의 예에서 한 주기 동안 하나의 위상 신호만을 수신하게 된다. 4개의 위상 신호에 대한 정보를 이용하여 1개의 깊이 영상을 추출하기 위해서는 총 4주기 동안 정보를 수신해야 한다. 이에 반해, 도 14 및 15(b)의 예에서 본 발명의 실시예에 따르면, 한 주기 동안 4개의 위상 신호를 모두 수신하게 되므로, 4개의 위상 신호에 대한 정보를 이용하여 1개의 깊이 영상을 추출하기 위해서는 총 1주기 동안 정보를 수신하면 된다. 이와 같이, 본 발명의 실시예에 따르면, 1개의 깊이 영상을 추출하기 위하여 소요되는 시간을 1/4 수준으로 줄이는 것이 가능하다. 도 15(b)와 같이 한 주기 동안 수신된 4개의 위상 신호에 대한 정보를 이미지센서 내에서 픽셀을 서브 픽셀 단위로 시프트하여 취득 후 보간하여 깊이 영상을 생성하므로 해상도 또한 도 9 내지 11의 예와 같도록 유지 또는 향상 할 수 있다.
이를 위하여, 각 주기(T) 동안 서브 픽셀 1에 phase 0°의 위상 신호가 인가되기 시작하는 시간, 서브 픽셀 2에 phase 90°의 위상 신호가 인가되기 시작하는 시간, 서브 픽셀 3에 phase 180°의 위상 신호가 인가되기 시작하는 시간, 및 서브 픽셀 4에 phase 270°의 위상 신호가 인가되기 시작하는 시간은 각각 서브 픽셀 별로 인가되는 디지털 신호에 의하여 제어될 수 있다.
도 14는 본 발명의 실시예에 따라 서브 픽셀 별로 인가되는 디지털 신호의 예시이다. 여기서, 전술한 바와 같이, 서브 픽셀 1에 phase 0°의 위상 신호가 인가되는 구간, 서브 픽셀 2에 phase 90°의 위상 신호가 인가되는 구간, 서브 픽셀 3에 phase 180°의 위상 신호가 인가되는 구간, 및 서브 픽셀 4에 phase 270°의 위상 신호가 인가되는 구간 중 적어도 2개의 적어도 일부는 서로 겹쳐지는 것을 전제로 한다.
도 14를 참조하면, phase 0°에 대한 위상 영상을 추출하기 위하여, 이미지 센서(130)의 모든 서브 픽셀 1은 동시에 개방되어 phase 0°에 대한 위상 신호를 수신한 후 동시에 닫힐 수 있다. 이때, 서브 픽셀 1이 1회 개방된 후 닫힐 때까지 수신한 신호의 세기가 미약하므로, 동일한 과정이 수회 반복될 필요가 있다. 즉, 이미지 센서(130)의 모든 서브 픽셀 1은 동시에 개방되어 phase 0°에 대한 위상 신호를 수신한 후 동시에 닫히는 과정을 수회, 예를 들어 100회 이상 반복하여 신호를 중첩(integration) 또는 축적(accumulation)하며, 이에 따라 모든 서브 픽셀 1로부터 동시에 리드아웃(read out)되는 신호는 phase 0°에 대한 정보일 수 있다.
그리고, phase 90°에 대한 위상 영상을 추출하기 위하여, 이미지 센서(130)의 모든 서브 픽셀 2는 동시에 개방되어 phase 90°에 대한 위상 신호를 수신한 후 동시에 닫힐 수 있고, phase 180°에 대한 위상 영상을 추출하기 위하여, 이미지 센서(130)의 모든 서브 픽셀 3은 동시에 개방되어 phase 180°에 대한 위상 신호를 수신한 후 동시에 닫힐 수 있으며, phase 270°에 대한 위상 영상을 추출하기 위하여, 이미지 센서(130)의 모든 서브 픽셀 4는 동시에 개방되어 phase 270°에 대한 위상 신호를 수신한 후 동시에 닫힐 수 있다.
여기서, 이미지 센서(130)의 모든 서브 픽셀 1이 동시에 개방되어 phase 0°에 대한 위상 신호를 수신한 후 동시에 닫히는 과정, 이미지 센서(130)의 모든 서브 픽셀 2가 동시에 개방되어 phase 90°에 대한 위상 신호를 수신한 후 동시에 닫히는 과정, 이미지 센서(130)의 모든 서브 픽셀 3이 동시에 개방되어 phase 180°에 대한 위상 신호를 수신한 후 동시에 닫히는 과정 및 이미지 센서(130)의 모든 서브 픽셀 4가 동시에 개방되어 phase 270°에 대한 위상 신호를 수신한 후 동시에 닫히는 과정이 한 주기 내에서 일어날 수 있다.
이를 위하여, 본 발명의 실시예에 따르면, 홀수 번째 행의 서브 픽셀, 짝수 번째 행의 서브 픽셀, 홀수 번째 열의 서브 픽셀 및 짝수 번째 열의 서브 픽셀에 인가되는 디지털 신호는 각각 별도로 제어되며, 홀수 번째 행의 서브 픽셀 및 짝수 번째 행의 서브 픽셀 중 하나와 홀수 번째 열의 서브 픽셀 및 짝수 번째 열의 서브 픽셀 중 하나로부터 얻어지는 4가지 조합에 대하여, 각 주기 동안 각 서브 픽셀을 개방하기 위한 디지털 신호가 순차적으로 인가될 수 있다.
예를 들어, 이미지 센서(130)의 모든 서브 픽셀 1을 동시에 개방하기 위하여 홀수 번째 행과 홀수 번째 열에 대한 High(1)의 디지털 신호가 인가되고, 이미지 센서(130)의 모든 서브 픽셀 2을 동시에 개방하기 위하여 홀수 번째 행과 짝수 번째 열에 대한 High(1)의 디지털 신호가 인가되고, 이미지 센서(130)의 모든 서브 픽셀 3을 동시에 개방하기 위하여 짝수 번째 행과 홀수 번째 열에 대한 High(1)의 디지털 신호가 인가되고, 이미지 센서(130)의 모든 서브 픽셀 4를 동시에 개방하기 위하여 짝수 번째 행과 짝수 번째 열에 대한 High(1)의 디지털 신호가 인가될 수 있다. 서브 픽셀 1은 Phase 0°의 정보를 받아들이고, 서브 픽셀 2는 Phase 90°의 정보를 받아들이고, 서브 픽셀 3은 Phase 180°의 정보를 받아들이고, 서브 픽셀 4은 Phase 270°의 정보를 받아들이는 픽셀일 수 있다.
이때, 전술한 바와 같이 서브 픽셀 1에 phase 0°의 위상 신호가 인가되는 구간, 서브 픽셀 2에 phase 90°의 위상 신호가 인가되는 구간, 서브 픽셀 3에 phase 180°의 위상 신호가 인가되는 구간, 및 서브 픽셀 4에 phase 270°의 위상 신호가 인가되는 구간 중 적어도 2개의 적어도 일부는 서로 겹쳐지기 위하여, 홀수 번째 행의 서브 픽셀 및 짝수 번째 행의 서브 픽셀 중 하나와 홀수 번째 열의 서브 픽셀 및 짝수 번째 열의 서브 픽셀 중 하나로부터 얻어지는 4가지 조합 중 적어도 2가지 조합에 대하여 High(1)의 디지털 신호가 유지되는 구간의 일부가 겹쳐질 수 있다.
여기서, 서브픽셀의 동작을 행 또는 열 별로 조작하는 것을 예로 들어 설명하고 있으나, 이로 제한되는 것은 아니다. 본 발명의 다른 실시예에 따르면, 복수의 서브픽셀은 개별적으로 동작하도록 제어될 수도 있다. 이에 따르면, 하나의 픽셀 내에 포함되는 4개의 서브픽셀은 동시에 동작할 수 있으므로, 4개의 위상 신호를 동시에 수신할 수도 있다.
한편, 본 발명의 실시예에서는 깊이 영상의 해상도를 높이기 위하여, 슈퍼 레졸루션(Super Resolution, SR) 기법을 이용하고자 한다. SR 기법은 복수의 저해상 영상으로부터 고해상 영상을 얻는 기법으로, SR 기법의 수학적 모델은 수학식 7과 같이 나타낼 수 있다.
여기서, 1≤k≤p이고, p는 저해상 영상의 개수이며, yk는 저해상 영상(=[yk,1, yk,2, ..., yk,M]T, 여기서, M=N1*N2) Dk는 다운 샘플링(down sampling) 매트릭스, Bk는 광학 흐림(blur) 매트릭스, Mk는 영상 왜곡(warping) 매트릭스, x는 고해상 영상(=[x1, x2, ??, xN]T, 여기서, N=L1N1*L2N2), nk는 노이즈를 나타낸다. 즉, SR 기법에 따르면, yk에 추정된 해상도 열화 요소들의 역함수를 적용하여 x를 추정하는 기술을 의미한다. SR 기법은 크게 통계적 방식과 멀티프레임 방식으로 나뉠 수 있으며, 멀티프레임 방식은 크게 공간 분할 방식과 시간 분할 방식으로 나뉠 수 있다. 깊이 이미지 획득을 위하여 SR 기법을 이용하는 경우, 수학식 1의 Mk의 역함수가 존재하지 않기 때문에, 통계적 방식이 시도될 수 있다. 다만, 통계적 방식의 경우, 반복 연산 과정이 필요하므로, 효율이 낮은 문제가 있다.
깊이 정보 추출에 SR 기법을 적용하기 위하여, 영상 처리부(140)는 이미지 센서(130)로부터 수신한 전기신호를 이용하여 복수의 저해상 서브프레임을 생성한 후, 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 그리고 복수의 저해상 깊이 정보의 픽셀값을 재배열하여 고해상 깊이 정보를 추출할 수 있다.
여기서, 고해상이라 함은 저해상보다 높은 해상도를 나타내는 상대적인 의미이다.
여기서, 서브프레임이란 어느 하나의 노출 주기 및 참조 신호에 대응한 전기 신호로부터 생성되는 이미지 데이터를 의미할 수 있다. 예를 들어, 제1 노출 주기, 즉 하나의 영상 프레임에서 8개의 참조 신호를 통해 전기 신호가 생성되는 경우, 8개의 서브프레임이 생성될 수 있으며, 시작 프레임(start of frame)이 1개 더 생성될 수 있다. 본 명세서에서, 서브프레임은 이미지 데이터, 서브프레임 이미지 데이터 등과 혼용될 수 있다.
또는, 깊이 정보 추출에 본 발명의 실시예에 따른 SR 기법을 적용하기 위하여, 영상 처리부(150)는 이미지 센서(130)로부터 수신한 전기신호를 이용하여 복수의 저해상 서브프레임을 생성한 후, 복수의 저해상 서브프레임의 픽셀값을 재배열하여 복수의 고해상 서브프레임을 생성할 수 있다. 그리고, 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다.
이를 위하여, 픽셀 쉬프트(pixel shift) 기술을 이용할 수 있다. 즉, 픽셀 쉬프트 기술을 이용하여 서브프레임 별로 서브픽셀만큼 쉬프트된 여러 장의 이미지 데이터를 획득한 후, 서브프레임 별로 SR 기법을 적용하여 복수의 고해상 서브프레임 이미지 데이터를 획득하며, 이들을 이용하여 고해상의 깊이 이미지를 추출할 수 있다. 픽셀 쉬프트를 위하여, 본 발명의 한 실시예에 따른 카메라 장치(100)는 틸팅부(140)를 더 포함한다.
다시 도 1을 참조하면, 틸팅부(140)는 출력광 신호 또는 입력광 신호 중 적어도 하나의 광경로를 이미지 센서(130)의 서브 픽셀 단위로 변경한다. 여기서, 서브 픽셀은 0 픽셀보다 크고 1 픽셀보다 작은 단위일 수 있다.
틸팅부(140)는 영상 프레임 별로 출력광 신호 또는 입력광 신호 중 적어도 하나의 광경로를 변경한다. 상기에서 설명한 바와 같이, 하나의 노출주기마다 1개의 영상 프레임이 생성될 수 있다. 따라서, 틸팅부(140)는 하나의 노출주기가 종료되면 출력광 신호 또는 입력광 신호 중 적어도 하나의 광경로를 변경한다.
틸팅부(140)는 이미지 센서(130)를 기준으로 서브 픽셀 단위만큼 출력광 신호 또는 입력광 신호 중 적어도 하나의 광경로를 변경한다. 이때, 틸팅부(140)는 현재 광경로를 기준으로 출력광 신호 또는 입력광 신호 중 적어도 하나의 광경로를 상, 하, 좌, 우 중 어느 하나의 방향으로 변경한다.
도 15(a)는 틸팅부에 의한 입력광 신호의 광경로 변경을 설명하기 위한 도면이고, 도 15(b)는 이미지 센서 내에서 서브픽셀 단위로 픽셀을 이동시켜 입력광 데이터 보간을 설명하기 위한 도면이다.
도 15의 (a)에서 실선으로 표시된 부분은 입력광 신호의 현재 광경로를 나타내고, 점선으로 표시된 부분은 변경된 광경로를 나타낸다. 현재 광경로에 대응하는 노출주기가 종료되면, 틸팅부(140)는 입력광 신호의 광경로를 점선과 같이 변경할 수 있다. 그러면, 입력광 신호의 경로는 현재 광경로에서 서브픽셀만큼 이동된다. 예를 들어, 도 15의 (a)에서와 같이, 틸팅부(140)가 현재 광경로를 0.173도 우측으로 이동시키면, 이미지 센서(130)에 입사되는 입력광 신호는 우측으로 서브 픽셀만큼 이동할 수 있다.
본 발명의 실시예에 따르면, 틸팅부(140)는 기준 위치에서 시계방향으로 입력광 신호의 광경로를 변경할 수 있다. 예를 들어, 도 15의 (b)에 나타난 바와 같이, 틸팅부(140)는 제1 노출주기가 종료된 후, 제2 노출주기에 입력광 신호의 광경로를 이미지 센서(130) 기준 서브 픽셀만큼 우측으로 이동시킨다. 그리고 틸팅부(140)는 제3 노출주기에 입력광 신호의 광경로를 이미지 센서부(130) 기준 서브 픽셀만큼 우측으로 이동시킨다. 그리고 틸팅부(140)는 제4 노출주기에 입력광 신호의 광경로를 이미지 센서부(130) 기준 서브 픽셀만큼 우측으로 이동시킨다. 그리고 틸팅부(140)는 제5 노출주기에 입력광 신호의 광경로를 이미지 센서부(130) 기준 서브 픽셀만큼 아래측으로 이동시킨다. 이러한 방법으로, 틸팅부(140)는 복수의 노출주기로 입력광 신호의 광경로를 서브픽셀 단위로 이동시킬 수 있다. 이는 출력광 신호의 광경로를 이동시킬 때도 동일하게 적용될 수 있는바, 상세한 설명은 생략하도록 한다. 또한 광경로의 변경 패턴이 시계방향인 것은 일례에 불과하며, 반시계 방향일 수도 있다. 여기서, 각 노출주기는 도 12 내지 13에서 설명한 방법으로 하나의 깊이 영상을 획득하는 단위를 의미할 수 있다. 이와 같이, 틸팅부(140)가 서브픽셀 단위로 입력광 신호의 광경로를 이동시킬 경우, 서브픽셀 단위로 정보가 보간될 수 있으므로, 하나의 주기 내에 4개의 위상 신호를 동시에 수신하는 경우에도 높은 해상도를 유지하는 것이 가능하다.
여기서, 도 15(a)와 같이 렌즈부, 예를 들어 IR 필터의 기울기를 이용하여 입력광 신호의 광경로를 이동시키는 내용을 중심으로 설명하고 있으나, 이로 제한되는 것은 아니다. 도 15(b)에서 설명하는 이미지 센서 내에서 서브픽셀 단위로 픽셀을 이동시켜 입력광 데이터 보간하는 방법은 소프트웨어적으로 구현될 수도 있다.
한편, 서브픽셀은 0픽셀보다 크고 1픽셀보다 작을 수 있다. 예를 들어, 서브픽셀은 0.5 픽셀의 크기를 가질 수 있으며, 1/3 픽셀의 크기를 가질 수도 있다. 서브픽셀의 크기는 당업자에 의해 설계변경이 가능하다.
도 16 및 도 17은 본 발명의 실시예에 따른 SR 기법을 설명하기 위한 도면이다.
도 16을 참조하면, 영상 처리부(150)는 동일한 기간, 즉 동일한 프레임에서 생성된 복수의 저해상 서브프레임을 이용하여 복수의 저해상 깊이 정보를 추출할 수 있다. 그리고, 영상 처리부(150)는 복수의 저해상 깊이 정보의 픽셀값을 재배치하여 고해상 깊이 정보를 추출할 수 있다. 여기서 복수의 저해상 깊이 정보에 대응하는 출력광 신호 또는 입력광 신호의 광경로는 서로 상이할 수 있다.
예를 들어, 영상 처리부(150)는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성할 수 있다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 3-1 내지 3-8은 제3 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 4-1 내지 4-8은 제4 노출 주기에서 생성된 저해상 서브프레임이다. 그러면, 영상 처리부(150)는 각 노출주기에서 생성된 복수의 저해상 서브프레임에 깊이 정보 추출 기법을 적용하여 저해상 깊이 정보 LRD-1 내지 LRD-4를 추출한다. 저해상 깊이 정보 LRD-1은 서브프레임 1-1 내지 1-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-2는 서브프레임 2-1 내지 2-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-3은 서브프레임 3-1 내지 3-8을 이용하여 추출된 저해상 깊이 정보이다. 저해상 깊이 정보 LRD-4은 서브프레임 4-1 내지 4-8을 이용하여 추출된 저해상 깊이 정보이다. 그리고, 영상 처리부(150)는 저해상 깊이 정보 LRD-1 내지 LRD-4의 픽셀값을 재배치하여 고해상 깊이 정보 HRD을 추출한다.
또는, 전술한 바와 같이, 영상 처리부(150)는 동일한 참조 신호에 대응하는 복수의 서브프레임의 픽셀값을 재배치하여 고해상 서브프레임을 생성할 수 있다. 이때, 복수의 서브프레임은 대응하는 출력광 신호 또는 입력광 신호의 광경로가 상이하다. 그리고, 영상 처리부(150)는 복수의 고해상 서브프레임을 이용하여 고해상 깊이 정보를 추출할 수 있다.
예를 들어, 도 17에서, 영상 처리부(150)는 복수의 전기신호를 이용하여 1-1 내지 4-8의 저해상 서브프레임을 생성한다. 저해상 서브프레임 1-1 내지 1-8은 제1 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 2-1 내지 2-8은 제2 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 3-1 내지 3-8은 제3 노출 주기에서 생성된 저해상 서브프레임이다. 저해상 서브프레임 4-1 내지 4-8은 제4 노출 주기에서 생성된 저해상 서브프레임이다. 여기서, 저해상 서브프레임 1-1, 2-1, 3-1, 4-1는 동일한 참조 신호 C1에 대응하되, 서로 다른 광경로에 대응한다. 그러면, 영상 처리부(150)는 저해상 서브프레임 1-1, 2-1, 3-1, 4-1의 픽셀값을 재배치하여 고해상 서브프레임 H-1을 생성할 수 있다. 픽셀값 재배치를 통해, 고해상 서브프레임 H-1 내지 H-8이 생성되면, 영상 처리부는 고해상 서브프레임 H-1 내지 H-8에 깊이 정보 추출 기법을 적용하여 고해상 깊이 정보 HRD를 추출할 수 있다.
도 18은 본 발명의 실시예에 따른 픽셀값 배치 과정을 설명하기 위한 도면이다.
여기서, 4개의 4x4 크기의 저해상 영상을 이용하여 1개의 8x8 크기의 고해상 영상을 생성하는 것을 가정한다. 이때, 고해상 픽셀 그리드는 8x8의 픽셀을 가지며, 이는 고해상 영상의 픽셀과 동일하다. 여기서 저해상 영상은 저해상 서브프레임 및 저해상 깊이 정보를 포함하는 의미일 수 있고, 고해상 영상은 고해상 서브프레임 및 고해상 깊이 정보를 포함하는 의미일 수 있다.
도 18에서 제1 내지 4 저해상 영상은 0.5 픽셀 크기의 서브 픽셀 단위로 광경로가 이동되어 촬영된 영상이다. 영상 처리부(150)는 광경로가 이동하지 않은 제1 저해상 영상을 기준으로 광경로가 이동한 방향에 따라 제2 내지 4 저해상 영상의 픽셀값을 고해상 영상에 맞게 배치한다.
구체적으로 제2 저해상 영상은 제1 저해상 영상으로부터 서브픽셀만큼 우측으로 이동한 영상이다. 그러므로, 제1 저해상 영상의 각 픽셀(A) 우측에 위치한 픽셀에는 제2 저해상 영상의 픽셀(B)이 배치된다.
제3 저해상 영상은 제2 저해상 영상으로부터 서브픽셀만큼 아래측으로 이동한 영상이다. 그러므로, 제2 저해상 영상의 각 픽셀(B) 아래에 위치한 픽셀에는 제3 저해상 영상의 픽셀(C)이 배치된다.
제4 저해상 영상은 제3 저해상 영으로부터 서브픽셀만큼 좌측으로 이동한 영상이다. 그러므로, 제3 저해상 영상의 픽셀(C) 좌측에 위치한 픽셀에는 제4 저해상 영상의 픽셀(D)이 배치된다.
고해상 픽셀 그리드에 제1 내지 제4 저해상 영상의 픽셀값이 모두 재배치되면, 저해상 영상보다 해상도가 4배 증가한 고해상 영상 프레임이 생성된다.
한편, 영상 처리부(150)는 배치되는 픽셀값에 가중치를 적용할 수 있다. 이때, 가중치는 서브픽셀의 크기나 광경로의 이동 방향에 따라 다르게 설정될 수 있으며, 각 저해상 영상 별로 다르게 설정될 수 있다.
한 실시예에 따르면, 틸팅부(140)는 렌즈 어셈블리, 예를 들어 렌즈 어셈블리에 포함된 IR 필터(도 3의 318)의 기울기를 제어하는 방법으로 입력광 신호를 쉬프트시키며, 이에 따라 서브픽셀만큼 쉬프트된 데이터를 얻을 수 있다.
도 19 내지 도 20은 IR 필터의 기울기 제어에 따라 이미지 센서 상에 입력되는 영상 프레임이 쉬프트되는 효과를 설명하기 위한 도면이다. 도 19는 IR 필터의 두께가 0.21mm이고, IR의 굴절율이 1.5인 조건에서 틸팅 각도에 대한 쉬프트 거리를 시뮬레이션한 결과이다.
도 20 및 하기 수학식 8을 참조하면, IR 필터(318)의 기울기(θ1)와 쉬프트 거리는 다음의 관계를 가질 수 있다.
여기서, θ2는 수학식 9와 같이 나타낼 수 있다.
그리고, θ1는 IR 필터(318)의 기울기, 즉 틸팅 각도이고, ng는 IR 필터(318)의 굴절율이며, d는 IR 필터(318)의 두께이다. 예를 들어, 수학식 8 내지 9를 참조하면, 이미지 센서 상에 입력되는 영상 프레임을 7㎛만큼 쉬프트시키기 위하여 IR 필터(318)는 약 5 내지 6°만큼 틸팅될 수 있다. 이때, IR 필터(318)의 수직 변위는 약 175 내지 210㎛가 될 수 있다.
이와 같이, IR 필터(318)의 기울기를 제어하면, 이미지 센서(320) 자체를 틸팅하지 않고도 쉬프트된 이미지 데이터를 얻는 것이 가능하다.
본 발명의 실시예에 따르면, IR 필터의 기울기를 제어하기 위한 틸팅부는 IR 필터와 직접 또는 간접으로 연결되는 액추에이터(actuator)를 포함할 수 있으며, 액추에이터는 MEMS(Micro Electro Mechanical Systems), VCM(Voice Coil Motor) 및 압전 소자 중 적어도 하나를 포함할 수 있다.
다만, 전술한 바와 같이, 본 발명의 실시예는 IR 필터, 이미지 센서 등을 하드웨어적으로 틸팅하여 쉬프트된 이미지 데이터를 얻는 경우뿐만 아니라, 이미지 센서 내에서 소프트웨어적으로 서브픽셀 단위로 픽셀을 이동시켜 쉬프트된 이미지 데이터를 얻는 경우에도 적용될 수 있다.
이상, 하나의 픽셀이 4개의 서브 픽셀을 포함하며, 하나의 주기 내에서 각 서브 픽셀에 phase 0°의 위상 신호, phase 90°의 위상 신호, phase 180°의 위상 신호 및 phase 270°의 위상 신호가 독립적으로 인가되는 것을 예로 들어 설명하였으나, 이로 제한되는 것은 아니다.
도 21은 본 발명의 다른 실시예에 따라 4개의 위상 영상을 이용하여 ToF IR 영상 또는 깊이 영상을 얻는 방법을 도시한다.
전술한 바와 같이, 본 발명의 실시예에 따른 카메라 장치(100)는 phase 0°에 대한 위상 영상, phase 90°에 대한 위상 영상, phase 180°에 대한 위상 영상 및 phase 270°에 대한 위상 영상을 이용하여 깊이 영상(depth image) 1을 획득하고, 다시 phase 0°에 대한 위상 영상, phase 90°에 대한 위상 영상, phase 180°에 대한 위상 영상 및 phase 270°에 대한 위상 영상을 이용하여 깊이 영상(depth image) 2를 획득할 수 있다.
도 21을 참조하면, 하나의 픽셀(P)은 2 개의 서브 픽셀을 포함하고, 각 주기(T) 동안 서브 픽셀 별로 상이한 위상 신호가 인가된다. 예를 들어, 각 픽셀(P)은 서브 픽셀 1과 서브 픽셀 2를 포함할 수 있고, 각 주기(T) 동안 서브 픽셀 1에는 phase 0°의 위상 신호가 인가되고, 서브 픽셀 2에는 phase 90°의 위상 신호가 인가될 수 있다. 이를 위하여, 서브 픽셀 1은 신호선 1(L1)과 연결되며, 신호선 1(L1)로부터 phase 0°의 위상 신호를 전달 받을 수 있다. 그리고, 서브 픽셀 2는 신호선 2(L2)과 연결되며, 신호선 2(L2)로부터 phase 90°의 위상 신호를 전달 받을 수 있다.
한 주기(T) 동안 각 서브 픽셀이 수신한 신호의 세기가 미약하므로, 동일한 과정이 수회 반복될 필요가 있다. 즉, 서브 픽셀 별로 상이한 위상 신호가 인가되는 주기(T)를 수회, 예를 들어 100회 이상 반복하여 신호를 중첩(integration) 또는 축적(accumulation)할 수 있다. 이후 서브 픽셀 1로부터 phase 0°에 대한 정보를 리드아웃(read out)하고, 서브 픽셀 2로부터 phase 90°에 대한 정보를 리드아웃할 수 있다.
이와 같이, phase 0°에 대한 정보 및 phase 90°에 대한 정보가 동일한 주기 내에서 리드아웃된 후, phase 180°에 대한 정보 및 phase 270°에 대한 정보가 리드아웃될 수 있다. 이를 위하여, 각 주기(T) 동안 서브 픽셀 1에는 phase 180°의 위상 신호가 인가되고, 서브 픽셀 2에는 phase 270°의 위상 신호가 인가될 수 있다. 이를 위하여, 서브 픽셀 1은 신호선 1(L1)과 연결되며, 신호선 1(L1)로부터 phase 180°의 위상 신호를 전달 받을 수 있다. 그리고, 서브 픽셀 2는 신호선 2(L2)과 연결되며, 신호선 2(L2)로부터 phase 270°의 위상 신호를 전달 받을 수 있다.
여기서, phase 0°에 대한 위상 신호 및 phase 90°에 대한 위상 신호를 하나의 픽셀 내 서브 픽셀로 구분하여 함께 인가한 후, phase 180°에 대한 위상 신호 및 phase 270°에 대한 위상 신호를 하나의 픽셀 내 서브 픽셀로 구분하여 함께 인가하는 것을 예로 들고 있으나, 이로 제한되는 것은 아니다. 예를 들어, phase 0°에 대한 위상 신호 및 phase 270°에 대한 위상 신호를 하나의 픽셀 내 서브 픽셀로 구분하여 함께 인가한 후, phase 90°에 대한 위상 신호 및 phase 180°에 대한 위상 신호를 하나의 픽셀 내 서브 픽셀로 구분하여 함께 인가할 수도 있다. phase 0°에 대한 위상 신호 및 phase 180°에 대한 위상 신호를 하나의 픽셀 내 서브 픽셀로 구분하여 함께 인가한 후, phase 90°에 대한 위상 신호 및 phase 270°에 대한 위상 신호를 하나의 픽셀 내 서브 픽셀로 구분하여 함께 인가할 수도 있다. 이에 따라, 깊이 영상을 획득하기 위하여 소요되는 시간을 현저히 줄일 수 있다. 또한, 여기에서도 이상에서 설명한 SR 기법이 동일하게 적용될 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 카메라 장치
110: 광출력부
120: 렌즈부
130: 이미지 센서
140: 틸팅부
150: 영상처리부

Claims (8)

  1. 객체로 광을 출력하는 광출력부;
    상기 객체로부터 반사된 광을 수신하는 렌즈;
    상기 렌즈에 의하여 수신된 광으로부터 전기 신호를 생성하는 이미지 센서; 및
    상기 광출력부에 의하여 출력된 광 및 상기 수신된 광 간의 위상 차를 포함하는 데이터를 이용하여 상기 객체의 깊이 정보를 추출하는 영상 처리부;를 포함하고,
    상기 이미지 센서는 어레이 형태로 배열된 복수의 픽셀을 포함하고,
    각 픽셀은 적어도 두 개의 서브 픽셀을 포함하며,
    상기 적어도 두 개의 서브 픽셀에 동시에 인가되는 위상 신호는 서로 상이하고,
    상기 적어도 두 개의 서브 픽셀 별 상기 위상 차는 서로 상이한
    ToF 카메라 장치.
  2. 제1 항에 있어서,
    각 픽셀은 4개의 서브픽셀을 포함하고, 상기 4개의 서브픽셀 별 상기 위상 차는 서로 상이한 ToF 카메라 장치.
  3. 제 1항에 있어서,
    상기 픽셀은 상기 서브 픽셀 단위로 이동하며, 이동된 상기 픽셀에 수신된 데이터를 보간하여 깊이영상을 생성하는 ToF 카메라 장치.
  4. 제3항에 있어서,
    상기 수신된 광의 데이터는 소정의 규칙에 따라 상기 픽셀이 상기 서브 픽셀 단위로 상, 하, 좌, 우 방향으로 쉬프트되어 각 위치에서 얻어지는 데이터인 ToF 카메라 장치.
  5. 제1항에 있어서,
    상기 이미지 센서의 상기 서브 픽셀을 행 및 열 별로 동작시켜 상기 서브 픽셀의 노출주기를 조절하는 ToF 카메라 장치.
  6. 제1 항에 있어서,
    상기 이미지 센서의 상기 서브 픽셀을 각각 동작시켜 상기 서브 픽셀의 노출주기를 조절하는 ToF 카메라 장치.
  7. 제1항에 있어서,
    상기 각 픽셀은 제1 위상 신호를 수신하는 제1 서브픽셀, 제2 위상 신호를 수신하는 제2 서브픽셀, 제3 위상 신호를 수신하는 제3 서브픽셀, 및 제4 위상 신호를 수신하는 제4 서브픽셀을 포함하는 ToF 카메라 장치.
  8. 제1항에 있어서,
    IR 필터를 포함하고, 상기 IR 필터를 틸팅하여 상기 수신된 광의 경로를 시프트하는 ToF 카메라 장치.
KR1020180132076A 2018-10-31 2018-10-31 카메라 장치 KR102571864B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180132076A KR102571864B1 (ko) 2018-10-31 2018-10-31 카메라 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180132076A KR102571864B1 (ko) 2018-10-31 2018-10-31 카메라 장치

Publications (2)

Publication Number Publication Date
KR20200049152A KR20200049152A (ko) 2020-05-08
KR102571864B1 true KR102571864B1 (ko) 2023-08-29

Family

ID=70677847

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180132076A KR102571864B1 (ko) 2018-10-31 2018-10-31 카메라 장치

Country Status (1)

Country Link
KR (1) KR102571864B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147899A (ko) * 2021-04-28 2022-11-04 엘지이노텍 주식회사 카메라 장치
EP4412194A1 (en) * 2021-09-30 2024-08-07 Lg Innotek Co., Ltd. Camera device
KR102605938B1 (ko) * 2022-11-01 2023-11-24 한화시스템 주식회사 병합 프레임의 생성 방법 및 촬영장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120033045A1 (en) 2010-07-23 2012-02-09 Mesa Imaging Ag Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor
US20160212332A1 (en) 2015-01-16 2016-07-21 Mems Drive, Inc. Three-axis ois for super-resolution imaging

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
US9325973B1 (en) * 2014-07-08 2016-04-26 Aquifi, Inc. Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data
KR102390836B1 (ko) * 2015-10-05 2022-04-26 삼성전자주식회사 이미지 데이터를 생성하는 전자 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120033045A1 (en) 2010-07-23 2012-02-09 Mesa Imaging Ag Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor
US20160212332A1 (en) 2015-01-16 2016-07-21 Mems Drive, Inc. Three-axis ois for super-resolution imaging

Also Published As

Publication number Publication date
KR20200049152A (ko) 2020-05-08

Similar Documents

Publication Publication Date Title
KR102473650B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
KR102514487B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
KR102571864B1 (ko) 카메라 장치
JP7411664B2 (ja) 光学系およびこれを含むカメラモジュール
KR102561533B1 (ko) 카메라 장치
KR102513680B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
US11997383B2 (en) Camera module extracting distance information based on a time-of-flight method
KR102523762B1 (ko) 이미지 센서 및 이를 이용하는 카메라 모듈
KR102553555B1 (ko) 카메라 모듈
US20220210393A1 (en) Camera module
KR102561532B1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
US20220244390A1 (en) Camera module
KR20200108736A (ko) 카메라 모듈
KR20230027863A (ko) 카메라 모듈
KR20200139532A (ko) 카메라 모듈
KR20200113437A (ko) 카메라 모듈

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant