KR100986439B1

KR100986439B1 - 촬영 장치 및 이의 영상 제어방법

Info

Publication number: KR100986439B1
Application number: KR1020090000512A
Authority: KR
Inventors: 이규태
Original assignee: 엘지이노텍 주식회사
Priority date: 2009-01-05
Filing date: 2009-01-05
Publication date: 2010-10-08
Also published as: KR20100081196A

Abstract

실시 예는 촬영 장치 및 이의 영상 제어방법에 관한 것이다.

실시 예에 따른 촬영장치는, 변조된 광을 송신하는 광원; 물체로부터 반사광을 수집하는 렌즈; 교차되는 제1픽셀 그룹과 제2픽셀 그룹의 픽셀을 순차적인 구동에 의해 상기 렌즈를 통해 수신된 반사광을 수신하고, 상기 광원의 송신 주기에 상기 구동되는 각 픽셀당 복수개의 픽셀 데이터를 출력하는 이미지 센서; 상기 광원 및 이미지 센서에 대한 광의 송/수신 타이밍을 제어하고, 상기 이미지 센서로부터 픽셀 데이터를 입력받는 제어부; 상기 제어부를 통해 입력된 픽셀 데이터 중 제1픽셀 그룹과 제2픽셀 그룹의 단위 픽셀별 픽셀 데이터로부터 송/수신 신호의 지연 위상 및 물체와의 거리를 구하는 이미지 프로세서; 상기 이미지 프로세서에 의해 3차원 이미지로 표시하는 표시부를 포함한다.

카메라, 이미지 센서, 3차원 이미지

Description

촬영 장치 및 이의 영상 제어방법{IMAGE PICKUP APPARATUS AND IMAGE CONTROL METHOD THEREOF}

실시 예는 촬영 장치 및 이의 영상 제어방법에 관한 것이다.

3차원 영상 촬영 장치는 대상에 대한 3차원 영상 데이터를 제공하기 때문에, 일반 카메라, 가정용 서비스 로봇, 의학용 영상 기기, 보안 감시 시스템 등과 같은 다양한 분야에 사용되고 있다.

실시 예는 2차원 이미지 센서를 이용하여 물체로부터 반사된 신호를 감지하고 3차원 이미지로 디스플레이할 수 있도록 한 촬영 장치 및 이를 이용한 영상 제어방법을 제공한다.

실시 예는 이미지 센서의 제1픽셀그룹과 제2픽셀 그룹을 순차적으로 온/오프 구동하여, 제1픽셀 그룹과 제2픽셀 그룹의 픽셀들로부터 픽셀 데이터로 획득한 후, 송/수신 신호의 지연 위상과 물체와의 거리를 구할 수 있도록 한 촬영 장치 및 이를 이용한 영상 제어방법을 제공한다.

실시 예에 따른 촬영장치의 영상 제어방법은, 변조된 광을 송신하는 단계; 이미지 센서에서 교차되는 제1픽셀 그룹과 제2픽셀 그룹의 픽셀들을 순차적으로 구동하여 상기 물체로부터 반사된 광을 수신하며, 상기 구동된 제1픽셀 그룹과 제2픽셀 그룹의 픽셀 데이터를 출력하는 단계; 상기 이미지 센서의 제1픽셀 그룹과 이에 인접한 제2픽셀 그룹의 단위 픽셀별 픽셀 데이터를 이용하여 송/수신 신호의 지연 위상 및 거리 차를 구하는 단계; 상기 이미지 센서의 픽셀 데이터와 거리 차를 이용하여 3차원 이미지를 표시하는 단계를 포함한다.

실시 예는 2차원 이미지 센서를 이용하여 3차원 이미지를 표현할 수 있는 효과가 있다.

실시 예는 3차원 카메라를 이용하지 않고 3차원 이미지를 표현할 수 있는 효과가 있다.

이하, 실시 예에 대하여 첨부된 도면을 참조하여 설명하면 다음과 같다.

도 1은 실시 예에 따른 촬영 장치를 나타낸 도면이다.

도 1을 참조하면, 촬영 장치(100)는 광원(110), 셔터(120), 렌즈(122), 이미지 센서(124), 제1아날로그 디지털 변환부(126), 제2아날로그 디지털 변환부(128), 제어부(130), 이미지 프로세서(132), 메모리(134), 표시부(136)를 포함한다.

상기 광원(110)은 레이저 또는 LED(Light emitting device) 어레이를 포함하며, 상기 제어부(130)의 제어를 받아 구동된다. 상기 광원(110)에서 조사된 광은 물체(115)에 반사되어 상기 셔터(120)를 통해 렌즈(120)로 입사된다. 상기 광 원(110)은 단일개로 이미지 센서(124)의 어느 한 위치에 배치되거나 복수개가 양측에 배치될 수 있다.

상기 광원(110)은 소정 주파수로 변조된 광 신호를 발생하게 되는 데, 예컨대 20MHz의 변조 주파수를 출력할 수 있으며, 이러한 변조 주파수는 거리에 따라 달라질 수 있으며, 상기 주파수로 한정하지는 않는다.

상기 셔터(120)는 상기 제어부(130)의 제어를 받아, 상기 셔터(120)의 여닫는 시간을 길게 또는 짧게 조절할 수 있으며, 상기 렌즈(122)를 통해 입사되는 광의 양을 조절하는 기능을 한다. 또한 상기 셔터(120)는 상기 렌즈(122)의 전단 또는/및 후단에 배치될 수 있으며, 이에 대해 한정하지는 않는다. 상기 렌즈(122)는 상기 물체로부터 반사된 광을 상기 이미지 센서(124)에 제공하게 된다.

도 1 및 도 2를 참조하면, 상기 이미지 센서(124)는 2차원 이미지 센서로서, CMOS(complementary metal-oxide semiconductor)로 구현될 수 있으며, 다수개의 픽셀이 어레이되어 매트릭스 형태로 배열된 구조이다. 각 픽셀(P)은 광 검출소자(예: 포토 다이오드) 및 스위치 소자를 포함하며, 상기 광 검출 소자는 이미지 센서(124)에 구비된 제1드라이버(D1) 및 제2드라이버(D2)의 구동 신호에 의해 온/오프되는 상기 스위치 소자에 의해 온/오프되며, 온 되면 광을 전기적인 신호로 변환하게 된다. 즉, 상기 이미지 센서(124)는 행 및 열에 배치된 드라이버(D1, D2)에 의해 각 픽셀(P)의 스위치 소자가 온되어 광 검출 소자(예: Photo Diode)를 구동시켜 준다.

상기 이미지 센서(124)는 CCD(Charge-coupled device)로 구현될 수 있으며, N*N 픽셀의 해상도(N ≥ 2)로 구현될 수 있으며, 이에 대해 한정하지는 않는다.

상기 이미지 센서(124)의 픽셀 어레이에는 제1픽셀(P1)과 제2픽셀(P2)의 순서로 어레이되는 홀수 필드와, 상기 제2픽셀(P2)와 제1픽셀(P1)의 순서로 어레이되는 짝수 필드로 구성되며, 상기 홀수 필드의 제1픽셀과 짝수 필드의 제1픽셀은 서로 교차되게 배치되므로, 상기 제1픽셀(P1)의 좌/우/상/하 위치에는 제2픽셀(P2)이 배치된 구조이다.

상기 제1픽셀(P1)의 그룹은 제1픽셀 그룹(124A)으로, 상기 제2픽셀(P2)의 그룹은 제2픽셀 그룹(124B)으로 정의할 수 있으며, 이들은 그룹별로 구동될 수 있다.

상기 이미지 센서(124)는 상기 제어부(130)의 제어신호(S1,S2)에 의해 상기 광 검출 소자가 온/오프되며, 상기 광 검출 소자는 상기 렌즈(122)를 통해 입사된 광을 전기신호로 변환하여 출력하게 된다.

상기 이미지 센서(124)는 제1픽셀 그룹(124A)과 제2픽셀 그룹(124B)를 순차적으로 온/오프되는 데, 예컨대 송신 신호의 제1주기 동안 제1픽셀 그룹(124A)의 픽셀들이 온 되면, 상기 제2픽셀 그룹(124B)의 픽셀들은 오프된다. 그리고 상기 송신 신호의 제2주기 동안 제2픽셀 그룹(124B)의 픽셀들은 온 되고, 상기 제1픽셀 그룹(124A)의 픽셀들은 오픈된다.

상기 이미지 센서(124)는 상기 제1픽셀 그룹(124A) 및 제2픽셀 그룹(124B)의 픽셀들이 온 되면, 1주기 동안 각 그룹의 픽셀에서 2개의 픽셀 데이터를 출력하게 된다.

또한 상기 이미지 센서(124)의 각 픽셀(P)은 제1픽셀 그룹(124A)의 제1픽 셀(P1)과 제2픽셀 그룹(124B)의 제2픽셀(P2)을 단위 픽셀(P3)로 정의할 수 있다. 즉, 위상 지연을 계산하기 위한 단위 픽셀(P3)로 정의할 수 있다.

상기 제1아날로그 디지털 변환부(126)는 상기 이미지 센서(124)에서 제1픽셀 그룹(124A)의 신호를 디지털 데이터로 변환하여 출력하게 된다. 상기 제2아날로그 디지털 변환부(128)는 상기 이미지 센서(124)에서 제2픽셀 그룹(124B)의 신호를 디지털 데이터로 변환하여 출력하게 된다.

즉, 상기 이미지 센서(124)의 픽셀 신호는 제1픽셀 그룹(124A)의 데이터 및 제2픽셀 그룹(124B)의 데이터로서, 디지털 데이터로 변환된 후 상기 제어부(130)에 전달된다. 상기 상기 제어부(130)에는 시리얼 방식으로 상기 디지털 데이터가 입력된다. 이때 상기 각 픽셀 데이터에는 페리트 체크 비트(parity check bit)를 추가하여, 각 픽셀 데이터의 그룹 및 픽셀을 구분할 수 있다.

상기 제1아날로그 디지털 변환부(126) 및 상기 제2아날로그 디지털 변환부(128)는 상기 이미지 센서(124)에 구현될 수 있으며, 이에 대해 한정하지는 않는다.

상기 제어부(130)는 광원(110), 셔터(120), 이미지 센서(124), 이미지 프로세서(132), 메모리(134) 등의 동작을 제어하며, 상기 광원(110)과 상기 이미지 센서(124)의 동작 타이밍을 제어하여 송/수신 신호간의 동기를 맞추어 주게 된다.

또한 상기 제어부(130)는 상기 이미지 프로세서(132)의 제어를 받아, 상기 이미지 센서(124)로부터 데이터를 읽어오는 스캐닝 타이밍을 제어받게 된다. 상기 제어부(130)는 부분적인 2탭 픽셀 아키텍쳐 방식으로 이미지 센서(124)의 각 픽 셀(P)을 스캐닝하는 데, 이는 매 클럭당 즉, 변조 주기마다 구동되는 픽셀로부터 2개의 픽셀 데이터를 출력하는 방식이다.

상기 제어부(130)는 상기 제1아날로그 디지털 변환부(126) 및 상기 제2아날로그 디지털 변환부(128)의 디지털 데이터를 상기 이미지 프로세서(132)로 전달한다.

상기 제어부(130)는 상기 이미지 프로세서(132)의 제어를 받아 상기 이미지 센서(124)의 스캐닝을 제어하게 된다. 즉, 제1픽셀 그룹(124A)의 데이터와 제2픽셀 그룹(124B)의 데이터를 입력받게 된다. 예컨대, 상기 송신 신호(또는 변조 신호)의 1주기마다 제1픽셀(P1) 그룹(124A)의 데이터와 제2픽셀(P2) 그룹(124B)의 데이터를 순차적으로 스캐닝하고, 그 스캐닝된 각 픽셀 그룹별 데이터를 전달받게 된다. 이에 따라 변조 1주기 동안 구동되는 각 픽셀로부터 2개의 데이터를 입력받게 된다.

상기 이미지 프로세서(132)는 상기 수신된 제1픽셀(P1) 그룹(124A)의 데이터와 제2픽셀(P2) 그룹(124B)의 데이터를 메모리(134)에 저장하고, 부분적인 2탭 아키텍쳐 방식으로 픽셀 그룹별 단위 픽셀당 2개의 데이터씩 4개의 샘플링 데이터의 상관 함수를 계산하게 된다.

즉, 상기 이미지 프로세서(132)은 상기 변조된 송신 신호의 주파수 및 송신 시점과, 상기 송신 신호의 일정 주기마다 상기 물체를 통해 반사된 수신 신호의 샘플링 데이터를 상기 이미지 센서(124)로부터 구하여, 상기 송신 신호와 수신 신호 사이의 컨볼루션(convolution) 합을 통해 상기 송/수신 신호 간의 지연 위상을 계산할 수 있게 된다. 상기 지연 위상은 송신 신호와 수신 신호 사이의 위상 차로서, 상기 단위 픽셀의 지연 위상을 통해 물체(115)와의 거리를 구할 수 있으며, 전체 픽셀 영역에 적용하여 3차원 영상 데이터로 표시부(136)에 표시할 수 있게 된다.

상기 이미지 프로세서(132)는 상기 영상 데이터를 처리하여 상기 표시부(136)에 3차원 이미지로 표시해 주게 된다. 상기 이미지 프로세서(132)는 인터페이스 수단(예: 케이블, USB 케이블 등)을 이용하여 정보 처리 단말기 예컨대, 컴퓨터, PDA 등에 연결될 수 있다.

상기 촬영 장치(100)는 광원(110)의 반사 시간을 이용한 타임-오브-플라이트(time of flight, TOF라 함) 방식이 사용된다. 상기 TOF 방식은 광원(110)을 물체(115)에 순차적으로 주사하고, 상기 물체(110)에 반사된 광의 도달 속도를 기록하여 물체의 굴곡정보를 저장할 수 있는 방법이다. 즉, 물체(115)에서 오목한 부분은 볼록한 부분보다 도달 및 반사 거리가 상대적으로 길기 때문에, 도달 및 반사 시간이 상대적으로 길어지게 되므로, 각 지점에 대한 도달되는 위상을 이미지 센서의 각 픽셀을 통해 검출하고, 픽셀 간의 지연 위상 및 거리 데이터를 구하여, 3차원 이미지로 표시할 수 있다.

보다 구체적으로, 수신된 신호로부터 지연 위상 및 거리 차를 측정하기 위한 각 픽셀의 샘플링 데이터는 다음과 같이 구할 수 있다.

도 2에 도시된 바와 같이, 이미지 센서의 다수개의 픽셀 구조에서 제1픽셀 그룹(124A)과 제2픽셀 그룹(124B)의 픽셀 데이터를 읽는 데, 예컨대 제1픽셀 그룹(124A)의 한 픽셀(P1)과 제2픽셀 그룹(124B)의 한 픽셀(P2)로 이루어진 단위 픽셀(P3)을 송신 신호의 2주기 동안 2회(즉, 1주기씩)에 걸쳐 읽어오게 된다.

도 2 및 도 3을 참조하면, 송신 신호(Se)는 일정 레벨(Po)을 갖는 변조 주파수로 출력되며, 상기 수신 신호(Sd)는 상기 송신 신호(Se)가 물체로부터 반사되어 수신된 신호로서 소정 지연된 신호로 이미지 센서의 각 픽셀(P)에 검출될 수 있다. 상기 수신 신호의 기준 레벨(D1)은 밝기 정보를 포함한다.

송신 신호(Se)와 수신 신호(Sd)는 물체와의 거리에 대응되는 소정의 지연 위상(φ)를 가지게 된다. 이러한 지연 위상(φ)은 송신 신호의 정보, 상기 단위 픽셀(P3)로부터 검출된 픽셀 데이터 즉, 샘플링 데이터의 상관 함수를 통해 구하게 된다.

상기 송신 신호(Se)의 1주기(1T) 동안 상기 이미지 센서의 제1픽셀 그룹(124A)의 각 픽셀을 2회에 걸쳐 스캐닝하여 2개의 픽셀 데이터를 획득하고, 그 다음 1주기 동안 제2픽셀 그룹(124B)의 픽셀들을 2회에 걸쳐 스캐닝하여 2개의 픽셀 데이터를 획득하게 된다. 상기 획득된 상기 제1픽셀 그룹(124A)과 제2픽셀 그룹(124B)의 픽셀 데이터인 4개의 샘플링 데이터 A0, A1, A2, A3를 검출하게 된다.

도 3의 (나)와 같이, 제1주기 동안은 제1픽셀(P1)로부터 A0와 A2를 구하고, 제2주기 동안은 제2픽셀(P2)로부터 A1과 A3를 구하게 된다.

도 3의 (다)와 같이, 상기 샘플링 데이터 A0,A2와 A1,A3는 송신 신호의 1주기씩 스캐닝하여 인접한 단위 픽셀(P3: P1,P2)로부터 A0,A2와 A1,A3의 데이터 순서로 검출될 수 있으며, 이들의 위상 차이는 180도 간격으로 이루어질 수 있다.

도 4를 참조하면, 단위 픽셀(P3)의 제1픽셀(P1)에는 제1주기 동안 구동되고, 일정 간격으로 2회에 걸쳐 스캐닝되어 샘플링 데이터 A0와 A2를 검출할 수 있다. 상기 단위 픽셀(P3)의 제2픽셀(P2)에는 제2주기 동안 구동되고, 일정 간격으로 2회에 걸쳐 스캐닝되어 샘플링 데이터 A1과 A3를 검출할 수 있다. 여기서, 상기 샘플링 데이터 A0와 A2, A1와 A3는 스캐닝 시간(readout)에 따라 소정의 위상 차이가 존재하게 된다.

이하, 지연 위상 및 거리 측정 방법에 대해 설명하면 다음과 같다.

상기에서 4개의 샘플링 데이터가 구해지면, 상기 송/수신 신호의 컨볼루션 합을 구하여 각 샘플링 데이터의 위상에 따른 상관 함수를 구하여 송신 신호와 수신 신호 사이의 지연 위상을 구하게 된다.

상기 신호 위상은 이미지 센서의 각 픽셀 내에 수신된 광을 동시에 복조함으로써 검출될 수 있으며, 상기 복조는 변조 신호의 주기 내에서 상관 또는 상호 상관 값에 의해 구해질 수 있다.

상기 상호 상관 값(

)은 복조 신호 또는 상관 신호(g(t))와 수신 신호(s(t))의 컨볼루션 합으로 구해진다. 이는 수학식 1과 같이 구해질 수 있다.

상기 상관 신호(g(t))와 상기 수신신호(s(t))는 수학식 2와 같이 주어질 수 있다.

여기서, 상기 s(t)는 수신된 광 신호이며, g(t)는 복조 신호(상관 신호)이며, a는 변조도(modulation amplitude)이며,

은 지연 위상을 나타낸다.

상관 함수(correlation function)(C(τ))는 상기 상호 상관 값(

)이 되며, 상기 수학식 2의 상기 수신된 광 신호와 상기 복조 신호를 대입하여 구하게 되며, 이는 수학식 3과 같이 구해진다.

상기 상관 함수(C(τ))는 4개의 샘플링 데이터의 위상(

)을 갖는 함수로 계산될 수 있으며, 상기 4개의 샘플링 데이터의 위상은

= 0°,

=90°,

=180°,

=270° 이 적용될 수 있으며, 수신된 신호의 위상과 증폭도를 재 계산할 수 있다. 또한 상기 상관 함수(C(τ))에는 실제 측정된 값을 획득하기 위해 오프셋(K) 값을 더해진다.

각 샘플링 데이터의 상관 함수는 수학식 4와 같이 구해질 수 있다. 각 샘프링 데이터의 위상별 상관 함수는 실제 4개의 샘플링 데이터의 값이다.

상기 C(τ₀)는 A0의 상관 함수이며, C(τ₁)는 A0의 상관 함수이며, C(τ₂)는 A0의 상관 함수이며, C(τ₃)는 A0의 상관 함수가 된다.

상기 오프셋 값(K)는 수학식 5와 같이 구해질 수 있다.

상기 4개의 샘플링 데이터의 상관 함수가 구해지면, 상기 수신된 신호(s(t)) 의 지연 위상(

)과 증폭도(a)는 수학식 6과 같이 구해질 수 있다.

상기 지연 위상(

)은 그 단위 픽셀에서의 물체와의 위상 차를 나타내는 값이며, 상기 증폭도 a는 물체의 깊이 해상도의 직접 측정치 또는 이미지 센서의 자동 이득 제어 값을 선정하기 위한 기준 값으로 이용될 수 있다.

상기 지연 위상(

)과 증폭도(a)가 구해지면, 물체와의 거리(D)를 구할 수 있게 된다. 이러한 물체와의 거리(D)는 물체와의 깊이 데이터로 표현될 수 있으며, 상기 깊이 데이터는 깊이 차이에 따라 서로 다른 색으로 처리함으로써, 3차원 이미지 데이터로 구현할 수 있게 된다.

물체와의 거리(D)는 수학식 7과 같이 구해질 수 있다.

상기 D는 물체와의 거리이며, 상기 L은 불명료한 거리 범위(non-ambiguity distance range)이며, c는 광속이며, fm은 RF 변조 주파수이다.

이러한 방식으로 단위 픽셀들에 대한 지연 위상과 거리 차를 계산할 수 있다. 실시 예는 이미지 센서의 픽셀 그룹별 각 픽셀을 2탭 아키텍쳐 방식으로 스캐닝하고, 4개의 샘플링 데이터를 구한 후, TOF 방식으로 물체로부터 반사된 신호의 지연 위상 및 거리 차를 계산할 수 있으며, 이러한 거리 차를 전체 픽셀 영역에 적용하여 물체의 굴곡 정보를 정확하게 표현할 수 있는 3차원 이미지 데이터로 구현할 수 있다. 즉, 2차원 이미지 센서를 이용하여 3차원 이미지로 표현할 수 있다.

도 5는 실시 예에 따른 촬영 장치를 이용한 영상 제어방법을 나타낸 흐름도이다.

도 5를 참조하면, 광원에서 변조된 광이 송신된 후 물체로부터 반사되어 렌즈를 통해 이미지 센서에 수신된다(S101).

상기 이미지 센서의 픽셀 어레이에는 제1픽셀 그룹과 제2픽셀 그룹의 픽셀 순서로 1주기씩 구동된다. 이에 따라 상기 제1픽셀 그룹의 픽셀과 상기 제2픽셀 그룹의 픽셀을 순차적으로 구동시켜서 각 주기 동안 2회에 걸쳐서 스캐닝하게 된다(S103). 즉, 제1픽셀 그룹은 제1픽셀이 1주기 동안 구동되어 제1픽셀로부터 2개의 픽셀 데이터를 출력하게 되며, 제2픽셀 그룹은 제2픽셀이 다음 1주기 동안 구동되어 제2픽셀로부터 2개의 픽셀 데이터를 출력하게 된다.

여기서, 상기 이미지 센서는 서로 다른 그룹에 속하며 인접한 2개의 픽셀 즉, 제1픽셀과 제2픽셀을 단위 픽셀로 하여 각 픽셀에서의 2개의 픽셀 데이터로 순차적으로 스캔하게 되며, 상기 제1픽셀 및 제2픽셀에 의해 스캔된 픽셀 데이터는 제어부를 통해 이미지 프로세서로 출력된다.

상기 이미지 프로세서는 단위 픽셀의 제1픽셀과 제2픽셀로부터 입력된 픽셀 데이터를 구하게 되며(S105), 상기 구해진 4개의 픽셀 데이터(즉, 샘플링 데이터)의 상관함수를 구하고, 송/수신 신호의 지연 위상 및 거리 차를 구하게 된다(S107). 이때 4개의 샘플링 데이터의 상관 함수는 상기의 수학식 1 내지 수학식 4를 통해 구할 수 있으며, 이에 대한 설명은 생략하기로 한다. 그리고, 수학식 5를 통해 4개의 샘플링 데이터의 상관 함수를 이용하여 송/수신 신호의 지연 위상 및 그 지연 위상을 이용한 물체와의 거리 차를 구하게 된다. 이러한 2개의 픽셀을 이용한 각 단위 픽셀의 지연 위상과 거리 차를 전체 픽셀에 반영함으로써, 3차원 이미지를 구현할 수 있게 된다(S109).

이상에서 본 발명에 대하여 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다.

예를 들어, 본 발명의 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

도 1은 실시 예에 따른 촬영장치를 나타낸 구성도이다.

도 2는 실시 예에 따른 이미지 센서를 나타낸 도면이다.

도 3의 (가)는 송/수신 신호의 파형도이며, (나)는 각 픽셀로부터 획득된 데이터를 나타낸 도면이며, (다)는 단위 픽셀의 픽셀 데이터의 배열한 도면이다.

도 4는 실시 예에 따른 단위 픽셀 및 이로부터 출력된 픽셀 데이터의 예를 나타낸 도면이다.

도 5는 실시 예에 따른 촬영장치의 영상 제어방법을 나타낸 흐름도이다.

Claims

광을 송신하는 광원;

물체로부터 반사된 상기의 광을 수집하는 렌즈;

복수의 픽셀을 포함하며, 상기 복수의 픽셀 중 교차되게 배열된 제1픽셀 그룹의 픽셀과 제2픽셀 그룹의 픽셀을 순차적으로 구동시키고, 상기 제1픽셀 그룹과 상기 제2픽셀 그룹의 픽셀들의 순차적인 구동에 의해 상기 렌즈를 통해 수신된 반사광을 수신하고, 상기 광원의 송신 주기에 상기 수신된 각 픽셀별 복수개의 픽셀 데이터를 출력하는 이미지 센서;

상기 광원 및 이미지 센서에 대한 광의 송/수신 타이밍을 제어하고, 상기 이미지 센서로부터 픽셀 데이터를 입력받는 제어부;

상기 제어부를 통해 입력된 픽셀 데이터 중 제1픽셀 그룹과 제2픽셀 그룹의 단위 픽셀별 픽셀 데이터로부터 송/수신 신호의 지연 위상 및 물체와의 거리를 구하는 이미지 프로세서; 및

상기 이미지 프로세서에 의해 3차원 이미지로 표시하는 표시부를 포함하는 촬영장치.
제1항에 있어서,

상기 이미지 센서는 단일개의 2차원 이미지 센서인 촬영장치.
제1항에 있어서,

상기 이미지 센서의 픽셀 그룹별 디지털 데이터를 상기 제어부로 출력하는 복수의 디지털 변환부를 포함하며,

상기 복수의 디지털 변환부는 상기 이미지 센서의 제1픽셀 그룹의 픽셀에 수신된 신호를 디지털 데이터로 변환하여 상기 제어부로 출력하는 제1아날로그 디지털 변환부; 및 상기 이미지 센서의 제2픽셀 그룹의 픽셀에 수신된 신호를 디지털 데이터로 변환하여 상기 제어부로 출력하는 제2아날로그 디지털 변환부를 포함하는 촬영장치.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 이미지 센서는 상기 픽셀들의 행에 배치된 제1드라이버, 상기 픽셀들의 열에 배치된 제2드라이버를 포함하며,

상기 이미지 프로세서는 상기 제어부를 통해 상기 제1드라이버 및 상기 제2드라이버를 제어하여 상기 이미지 센서의 제1픽셀 그룹과 제2픽셀 그룹의 픽셀들을 송신 신호의 변조 주기마다 순차적으로 구동시키고, 상기 송신신호의 변조주기에 상기 구동되는 각 픽셀당 2개의 데이터를 획득하는 촬영장치.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 단위 픽셀은 제1픽셀 그룹의 1픽셀과 이에 인접한 제2픽셀 그룹의 1픽셀을 포함하는 촬영장치.
제5항에 있어서,

상기 이미지 프로세서는 상기 광원으로부터 송신되는 광의 송신 주기의 2주기마다 각 픽셀 그룹의 단위 픽셀별 스캐닝된 4개의 픽셀 데이터를 이용하여 송/수신 신호의 지연 위상 및 거리 차를 계산하는 촬영장치.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 광원은 레이저 또는 LED를 포함하는 촬영장치.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 픽셀 데이터를 저장하는 메모리를 포함하는 촬영장치.
제8항에 있어서,

상기 이미지 프로세서는 송신 신호와 수신된 신호의 콘볼루션 합을 구하고, 상기 콘볼루션 합을 이용하여 단위 픽셀로부터 획득된 4개의 픽셀 데이터에 대한 상관 함수를 구하며, 상기 단위 픽셀의 픽셀별 상관 함수의 차를 통해 송/수신 신호의 지연 위상을 계산하는 촬영장치.
물체에 광을 송신하는 단계;

이미지 센서에 구비된 복수의 픽셀 중 교차되는 제1픽셀 그룹의 픽셀과 제2픽셀 그룹의 픽셀을 순차적으로 구동하여 상기 물체로부터 반사된 광을 수신하며, 상기 제1픽셀 그룹의 픽셀 데이터와 제2픽셀 그룹의 픽셀 데이터를 출력하는 단계;

상기 이미지 센서의 제1픽셀 그룹과 이에 인접한 제2픽셀 그룹의 단위 픽셀별 픽셀 데이터를 이용하여 송/수신 신호의 지연 위상 및 거리 차를 구하는 단계; 및

상기 이미지 센서의 픽셀 데이터와 거리 차를 이용하여 3차원 이미지를 표시하는 단계를 포함하는 촬영장치의 영상 제어방법.
제10항에 있어서,

상기 이미지 센서는 제어부의 제어를 받아 이미지 센서에 구동되는 각 픽셀그룹의 픽셀을 송신신호의 1주기마다 2회에 걸쳐 스캐닝하여, 상기 구동되는 각 픽셀당 2개의 픽셀 데이터를 출력하는 촬영장치의 영상 제어방법.
제10항에 있어서,

상기 이미지 센서는 단일개의 2차원 이미지 센서인 촬영장치의 영상 제어방법.
제10항에 있어서,

상기 지연 위상은 송/수신 신호의 콘볼루션 합을 통해 단위 픽셀별 4개의 픽셀 데이터의 상관 함수를 구하고, 상기 4개의 픽셀 데이터의 상관함수의 차를 계산하여 단위 픽셀별 송/수신 신호의 지연 위상을 계산하는 촬영장치의 영상 제어방법.
제10항에 있어서,

상기 이미지 센서는 2탭 픽셀 아키텍쳐로 픽셀 데이터를 출력하는 촬영장치의 영상 제어방법.