KR101344490B1

KR101344490B1 - 영상 생성 방법 및 장치

Info

Publication number: KR101344490B1
Application number: KR1020070112748A
Authority: KR
Inventors: 강병민; 김도균; 이기창; 채선혁
Original assignee: 삼성전자주식회사
Priority date: 2007-11-06
Filing date: 2007-11-06
Publication date: 2013-12-24
Also published as: EP2060931A1; CN101430796A; CN101430796B; EP2060931B1; US20090114802A1; KR20090046535A; US7718946B2

Abstract

본 발명은 영상 생성 방법 및 장치에 관한 것으로, 그 영상 생성 방법은 일정 간격으로 대상 물체에 소정 파장의 광을 조사하고, 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고, 통과된 광에 따른 컬러 값들을 검출하고, 소정 파장의 광이 조사된 구간 동안 검출된 컬러 값들을 이용하여 대상 물체의 깊이 영상을 생성하고, 이 구간이 아닌 다른 구간 동안 검출된 컬러 값들을 이용하여 대상 물체의 컬러 영상을 생성함으로써 컬러 영상의 해상도를 유지하면서 높은 해상도를 가진 깊이 영상을 생성할 수 있다.

Description

영상 생성 방법 및 장치{Image generating method and apparatus}

본 발명은 영상 생성 방법 및 장치에 관한 것으로서, 특히 컬러 영상과 깊이 영상을 동시에 생성하는 영상 생성 방법 및 장치에 관한 것이다.

영상을 구성하는 화소들 각각의 R값, G값 및 B값으로 구성된 컬러(color) 정보와 영상을 구성하는 화소들 각각의 깊이 값을 나타내는 깊이(depth) 정보를 실시간으로 획득하여 사용자에게 제공하는 3D 이미지 센싱(3D image sensing) 기술은, 사용자에게 시각적인 사실감을 느끼게 하며 가상환경을 체험하게 하는데 중요한 역할을 한다.

이러한 3D 이미지 센싱 기술은, 얼굴 추적 및 얼굴 인식 분야, 사용자의 동작을 인식하는 게임 분야, 디지털 카메라 분야, 승객의 위치나 신체 크기에 따라 에어백 시스템을 조절하는 것이나, 네비게이션 분야 등에서 광범위하게 활용되고 있다.

본 발명이 이루고자 하는 기술적 과제는 컬러 영상의 해상도를 유지하면서 깊이 영상을 생성할 수 있는 영상 생성 방법 및 장치를 제공하는 것이다.

상기 기술적 과제를 이루기 위한 본 발명에 따른 영상 생성 방법은 일정 간격으로 대상 물체에 소정 파장의 광을 조사하는 단계; 상기 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고, 상기 통과된 광에 따른 컬러 값들을 검출하는 단계; 상기 소정 파장의 광이 조사된 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 단계; 및 상기 구간이 아닌 다른 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 컬러 영상을 생성하는 단계를 포함한다.

상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 영상 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

상기 다른 기술적 과제를 이루기 위한 본 발명에 따른 영상 생성 장치는 일정 간격으로 대상 물체에 소정 파장의 광을 조사하는 광 조사부; 상기 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고, 상기 통과된 광에 따른 컬러 값들을 검출하는 컬러 값 검출부; 상기 소정 파장의 광이 조사된 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 깊이 영상 생성부; 및 상기 구간이 아닌 다른 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 컬러 영상을 생성하는 컬러 영상 생성부를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 일 실시예를 상세히 설명한 다.

도 1은 본 발명의 일 실시예에 따른 영상 생성 장치의 구성을 블록도로 도시한 것이다. 도 1을 참조하면, 영상 생성 장치(10)는 트리거 펄스 신호 생성부(110), 펄스 제어부(115), 광 조사부(120), 컬러 값 검출부(130), 전하량 계산부(145), 깊이 영상 생성부(150) 및 컬러 영상 생성부(155)로 구성되며, 컬러 값 검출부(130)는 렌즈(132), 필터부(134), 컬러 센서 어레이(138), 전하량 계산부(145), 깊이 영상 생성부(150) 및 컬러 영상 생성부(155)로 구성되며, 필터부(134)는 차단 필터(135) 및 컬러 필터 어레이(136)로 구성된다.

영상 생성 장치(10)는 대상 물체(125)로부터 광을 수광한다. 이때의 광은 태양광이나 조명 등이 대상 물체(125)에 의해 반사되어 영상 생성 장치(10)에 도달된 광을 말한다. 그리고, 이렇게 수광된 광으로부터 대상 물체(125)의 컬러 영상을 생성할 수 있다.

그리고, 영상 생성 장치(10)는 일정한 파장을 가진 광을 대상 물체(125)에 조사하고, 이 조사된 광이 대상 물체(125)에 의해 반사되어 되돌아 온 광을 수광함을 통해, 대상 물체(125)의 깊이 영상을 생성할 수 있다.

그런데, 영상 생성 장치(10)에 수광된 광이 태양이나 조명 등에서 나온 빛이 대상 물체(125)에 의해 반사되어 수광된 광인지, 아니면 영상 생성 장치(10)가 조사했던 광이 대상 물체(125)에 의해 반사되어 수광된 광인지 구분하기 어려운 문제가 생긴다. 본 실시예에서는 이 문제를 해결하기 위해, 일정 구간에서만 광을 대상 물체(125)에 조사함을 통해, 영상 생성 장치(10)에 수광된 광 중 영상 생성 장 치(10)가 조사했던 광이 대상 물체(125)에 반사되어 수광된 광을 구별하는 방법을 사용한다.

트리거 펄스 신호 생성부(110)는 일정한 간격으로 반복되는 펄스 신호를 생성한다. 일 예로서, 생성되는 펄스 신호의 고 레벨(high level)이 지속되는 길이를 의미하는 펄스 폭은 영상에 있어서 하나의 장면인 프레임의 간격과 일치하게 할 수 있다. 그리고, 이러한 트리거 펄스 신호 생성부(110)는 짝수번째 프레임과 홀수번째 프레임에서 서로 다른 레벨을 가진 트리거 펄스 신호를 생성함으로써 펄스 제어부(115)에게 현재 프레임이 짝수번째 프레임인지, 아니면 홀수번째 프레임인지를 알려준다.

펄스 제어부(115)는 광 조사부(120)에 조사광 펄스 제어 신호를 인가하고, 컬러 센서 어레이(138)에 PG1 펄스 제어 신호와 PG2 펄스 제어 신호를 인가한다.

특히, 펄스 제어부(115)는 도 4에 도시된 바와 같이, 트리거 펄스 신호 생성부(110)로부터 현재 프레임이 홀수 프레임임을 나타내는 신호를 받으면 광 조사부(120)에 T0의 펄스 폭을 가지는 조사광 펄스 제어 신호를 인가하지 않고, 트리거 펄스 신호 생성부(110)로부터 현재 프레임이 짝수 프레임임을 표시하는 신호를 받으면 광 조사부(120)에 조사광 펄스 제어 신호를 인가한다.

그리고, 펄스 제어부(115)는 컬러 센서 어레이(138)를 구성하는 컬러 센서들에도 펄스 제어 신호들을 인가하는데, 도 4에 도시된 바와 같이 T0의 펄스 폭을 가지는 PG1 펄스 제어 신호를 포토게이트1(PG1: Photo-Gate1)들에 인가하고, 2T0의 펄스 폭을 가지는 PG2 펄스 제어 신호를 포토게이트2(PG2:Photo-Gate2)들에 인가한 다.

광 조사부(120)는 LED(Light Emitting Diode) 어레이 혹은 레이저 기기 등으로서, 펄스 제어부(115)로부터 인가된 조사광 펄스 제어 신호에 따라 대상 물체(125)에 소정 광을 조사한다. 특히, 광 조사부(120)는 도 4에 도시된 바와 같이 인가된 조사광 펄스 제어 신호에 따라 T0의 시간 동안, 차단 필터(135)와 컬러 필터 어레이(136)를 통과할 수 있는 파장 대의 광인 근적외선(near infrared ray) 및 근자외선(near ultraviolet ray) 중 어느 하나 이상의 광을 조사한다. 근적외선은 가시광선에 가까운 파장을 가진 적외선을 말하며, 특히 적외선과 자외선을 차단하는 필터인 차단 필터(135)와 R 컬러 성분을 통과시키는 R 필터를 모두 통과할 수 있는 파장을 가진 적외선으로서, 700nm 내지 750nm 파장을 가질 수 있다. 또한, 근자외선은 가시광선에 가까운 파장을 가진 자외선을 말하며, 특히 적외선과 자외선을 차단하는 필터인 차단 필터(135)와 B(Blue) 컬러 성분을 통과시키는 B 필터를 모두 통과할 수 있는 파장을 가진 적외선으로서, 350nm 내지 400nm 의 파장을 가질 수 있다. 그러면 광 조사부(120)가 근적외선을 조사하는 경우를 중심으로 설명하기로 한다.

컬러 값 검출부(130)는 대상 물체(125)에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광만을 수광하여, 이 수광된 광에 따른 전하량을 축적하고, 이 축적된 전하량에 따른 컬러 값들을 검출한다. 이러한 컬러 값 검출부(130)는 다음의 렌즈(132), 필터부(134), 컬러 센서 어레이(138)로 구성된다.

렌즈(132)는 많은 양의 광을 끌어들여 한 지점으로 모일 수 있도록 입사된 광을 굴절시켜서 필터부(134)에 전달한다. 특히, 렌즈(132)는 대상 물체(125)로부터 반사된 근적외선 및 대상 물체(125)로부터의 가시광선을 모아 필터부(134)에 전달한다. 이때, 반사된 근적외선은 광 조사부(120)에 의해 조사된 근적외선과 동일한 파장을 가지며, 그 세기는 조사된 근적외선의 세기에 대상 물체(125)의 반사율을 곱한 값만큼의 세기를 가진다.

필터부(134)는 렌즈(132)를 통해 모아진 광에 대해, 컬러 영상의 생성에 필요한 파장 대의 광만을 통과시키며, 특히 필터부(134)는 도 2에 도시된 바와 같이 차단 필터(135)와 컬러 필터 어레이(136)로 구성된다.

차단 필터(135)는 렌즈(132)를 통해 전달된 광 중 적외선과 자외선을 차단한다. 이러한 차단 필터(135)는 적외선을 차단하는 필터인 적외선 차단 필터(infrared cut off filter)와 자외선을 차단하는 필터인 자외선 차단 필터(ultra violet cut off filter)로 구성될 수 있으며, 하나의 적외선 및 자외선 차단 필터로 구성될 수도 있다. 여기서, 적외선 및 자외선 차단 필터를 설치하는 이유는, 만일 적외선이나 자외선을 차단하지 않으면, 컬러 센서 어레이(138)에서 적외선은 가시광선의 R(Red) 컬러 성분으로, 자외선은 가시광선의 B(Blue) 컬러 성분으로 인식되어, 실제 대상 물체(125)의 색상과는 다른 색상의 컬러 영상이 생성될 수 있기 때문이다.

이러한 차단 필터(135)의 파장에 대한 특성은 도 3a에 도시되어 있으며, 대략 400nm 와 700nm 사이의 파장을 가진 광 즉, 가시 광선 대의 파장을 가진 광을 통과시킨다. 특히, 본 실시예에서 차단 필터(135)는 도 3a에 도시된 차단 필 터(135)의 특성에 따라 700nm 보다 조금 긴 파장의 근적외선인 반사광도 통과시킨다.

컬러 필터 어레이(136)는 입력되는 광에 대해, R(Red), G(Green), B(Blue) 컬러 성분들 중 어느 하나의 컬러 성분만을 통과시킨다. 특히, 컬러 필터 어레이(136)로는 베이어 패턴(bayer pattern)을 가진 컬러 필터 어레이를 사용한다. 이러한 베이어 패턴의 컬러 필터 어레이는 G 컬러 성분을 통과시키는 필터의 비율이 50%, R 컬러 성분과 B 컬러 성분을 통과시키는 필터의 비율이 각각 25% 가 되도록 필터를 배치하여 격자망을 형성할 수 있도록 한 것이다. 이러한 컬러 필터 어레이(136)의 파장에 대한 특성은 도 3b에 도시되어 있으며, 각각 B 컬러 성분을 통과시키는 B 필터, G 컬러 성분을 통과시키는 G 필터 및 R 컬러 성분을 통과시키는 R 필터의 경우이다. 특히, 본 실시예에 따른 컬러 필터 어레이(136)의 R 필터는 도 3b에 도시된 바와 같이, 가시 광선의 R 컬러 성분과 함께 근적외선의 반사광도 통과시킨다. 마찬가지로, 컬러 필터 어레이(136)의 B 필터는 도 3b에 도시된 바와 같이, 가시 광선의 B 컬러 성분과 함께 근자외선도 통과시킨다.

컬러 센서 어레이(138)는 각 픽셀들에 대응되며, 컬러 필터 어레이(136)를 통과한 광을 수광하여, 수광된 광에 따른 전하량들을 발생시키고, 발생된 전하량들을 축적한다. 그리고, 컬러 센서 어레이(138)는 축적된 전하량에 따른 컬러 값들을 컬러 영상 생성부(155)에 제공한다. 이러한 컬러 센서 어레이(138)는 각각 수광된 광의 G 컬러 성분에 따른 전하량을 축적하는 G 컬러 센서, 수광된 광의 R 컬러 성분에 따른 전하량을 축적하는 R 컬러 센서 및 수광된 광의 B 컬러 성분에 따른 전 하량을 축적하는 B 컬러 센서의 조합들로 구현된다. 특히, 본 실시예에서 컬러 센서 어레이(138)의 R 컬러 센서는 가시광선의 R 컬러 성분에 따른 전하량과 근적외선인 반사광에 따른 전하량을 축적하며, B 컬러 센서는 B 컬러 성분에 따른 전하량과 근자외선인 반사광에 따른 전하량을 축적한다.

그런데, 이러한 컬러 센서 어레이(138)를 구성하는 하나의 R 컬러 센서는 수광된 광의 R 컬러 성분에 따라 전하를 발생시키는 포토게이트들인 포토게이트1(PG1 : Photo-Gate1) 및 포토게이트2(PG2 : Photo-Gate2)로 구성된다.

먼저, 도 4에 도시된 바와 같이, 펄스 제어부(115)로부터 인가된 PG1 펄스 제어 신호가 상승하는 시점에 PG1이 온(on)됨으로써 PG1에 전하량 축적이 시작된다. 그리고, 펄스 제어부(115)로부터 인가된 PG1 펄스 제어 신호가 하강하는 시점에 PG1가 오프(off)됨으로써 전하량 축적이 중단되어, PG1에는 T0의 시간 동안 전하량이 축적된다. 그런데, 홀수번째 프레임에서는 가시광선의 R 컬러 성분만이 수광되므로, PG1에는 T0 동안 가시광선의 R 컬러 성분에 의해 발생된 전하량을 축적된다. 반면에, 짝수번째 프레임에서는 가시광선의 R 컬러 성분과 근적외선인 반사광이 수광되므로, PG1에는 T0 동안 가시광선의 R 컬러 성분에 의해 발생된 전하량과 반사광에 의해 발생된 전하량을 가산한 만큼의 전하량이 축적된다. 이때, PG1에 홀수번째 프레임에서 축적된 전하량을 Q0이라 하고, PG1에 짝수번째 프레임에서 축적된 전하량을 Q1이라 하자.

그리고, 도 4에 도시된 바와 같이 펄스 제어부(115)로부터 인가된 PG2 펄스 제어 신호가 상승하는 시점에 PG2가 온(on)됨으로써 PG2에 전하량 축적이 시작된 다. 그리고, 펄스 제어부(115)로부터 인가된 PG2 펄스 제어 신호가 하강하는 시점에 PG2가 오프(off)됨으로써 전하량 축적이 중단되어, PG2에는 2T0의 시간 동안 전하량이 축적된다. 그런데, 홀수번째 프레임에서는 가시광선의 R 컬러 성분만이 수광되므로, PG2에는 2T0 동안 가시광선의 R 컬러 성분에 의해 발생된 전하량을 축적된다. 반면에, 짝수번째 프레임에서는 가시광선의 R 컬러 성분과 근적외선인 반사광이 수광되므로, PG2에는 2T0 동안 가시광선의 R 컬러 성분에 의해 발생된 전하량과 반사광에 의해 발생된 전하량을 가산한 만큼의 전하량이 축적된다. 이때, PG2에 홀수번째 프레임에서 축적된 전하량을 Q3라 하고, PG2에 짝수번째 프레임에서 축적된 전하량을 Q4 이라 하자.

전하량 계산부(145)는 컬러 센서 어레이(138)에 축적된 전하량들 중 반사광에 의해 축적된 전하량들을 계산한다. 특히, 컬러 센서 어레이(138)는 홀수번째 프레임에서 가시광선에 의한 전하량을 축적하고, 짝수번째 프레임에서는 가시광선과 반사광에 의한 전하량을 축적하므로, 전하량 계산부(145)는 짝수번째 프레임에서 축적된 전하량에 홀수번째 프레임에서 축적된 전하량을 감산함으로써 반사광에 의해 축적된 전하량을 계산한다.

상세하게는, 전하량 계산부(145)는 PG1에 짝수번째 프레임에서 축적된 전하량 Q1에서 PG1에 홀수번째 프레임에서 축적된 전하량 Q0를 감산함으로써, 반사광에 의해 PG1에 축적된 전하량을 계산한다. 이때, 반사광에 의해 PG1에 축적된 전하량을 Q2라 하면, 전하량 계산부(145)는 Q2 = Q1 - Q0 의 연산을 실행한다. 마찬가지로, 전하량 계산부(145)는 PG2에 짝수번째 프레임에서 축적된 전하량 Q4에서 PG2에 홀수번째 프레임에서 축적된 전하량 Q3을 감산함으로써, 반사광에 의해 PG2에 축적된 전하량을 계산한다. 이때, 반사광에 의해 PG2에 축적된 전하량을 Q5라 하면, 전하량 계산부(145)는 Q5 = Q4 - Q3 의 연산을 실행한다.

깊이 영상 생성부(150)는 전하량 계산부(145)에 의해 계산된 전하량인 Q2 및 Q5를 이용하여 대상 물체(125)와의 거리를 계산하고, 계산된 거리에 따른 깊이 영상을 생성한다. 먼저, 도 5를 참조하여, 대상 물체(125)와의 거리를 계산하는 방법을 설명하기로 한다.

먼저, PG1에 반사광에 의해 축적된 전하량인 Q2를 사용하여 대상 물체(125)와의 거리를 계산하는 방법을 생각할 수 있다. 이 경우, 대상 물체(125)와의 거리가 가까울수록 Td가 감소하므로 전하량 Q2는 증가함을 알 수 있다. 즉, 축적된 전하량 Q2는 대상 물체(125)와의 거리에 반비례한다. 그리고, 반사광의 세기는 대상 물체(125)의 반사율에 비례하므로, 전하량 Q2는 대상 물체(125)의 반사율에는 비례함은 당연하다. 따라서, 대상 물체(125)의 반사율을 알 수 있다면, 쉽게 전하량 Q2를 이용하여 대상 물체(125)와의 거리를 계산해 낼 수 있을 것이다. 그러나, 일반적으로는 대상 물체(125)의 반사율을 알 수 없으므로, 본 실시예에서 깊이 영상 생성부(150)는 PG1에 반사광에 의해 축적된 전하량인 Q2와 PG2에 반사광에 의해 축적된 전하량인 Q5를 사용하여 대상 물체(125)와의 거리를 계산한다.

도 5에 도시된 바와 같이, 광 조사부(120)에 의해 조사된 근적외선의 세기를 A0 라고 하고, 대상 물체(125)의 반사율을 r 이라고 하자. 그러면, 반사광에 의해 PG1에 축적된 전하량 Q2는, T0에서 지연 시간 td를 감산한 값에, 반사광의 세기인 r*A0를 곱한 값에 비례한다. 이를 수학식으로 표현하면, 다음의 수학식 1과 같다.

그리고, 반사광에 의해 PG2에 축적된 전하량 Q5는 근적외선이 조사된 시간 T0에, 제 2 픽셀에 도달한 반사 광의 세기인 r*A0를 곱한 값에 비례한다. 이를 수학식으로 표현하면 다음의 수학식 2와 같다.

그리고, 수학식 1과 수학식 2로부터 다음의 수학식 3 및 수학식 4를 도출할 수 있다.

따라서, 수학식 4와 같이 반사광에 의해 PG2에 축적된 전하량 Q5에서 반사광에 의해 PG1에 축적된 전하량 Q2을 감산하고, 이 감산된 값을 전하량 Q5로 나누고, 근적외선이 조사된 시간인 T0를 곱함으로써, 지연 시간 즉, 근적외선의 조사시점부터 반사광이 컬러 센서 어레이(138)에 도달할 시점까지의 시간인 Td를 계산할 수 있다. 그리고, 깊이 영상 생성부(150)는 이 Td를 2로 나누고 빛의 속도 c를 곱함으로써, 즉 ½ × c × Td 의 연산을 수행함으로써 대상 물체(125)와의 거리를 계산하고, 이 계산된 거리에 따른 깊이 영상을 생성한다.

컬러 영상 생성부(155)는 홀수번째 프레임에서 컬러 센서 어레이(138)에 의해 검출된 컬러 값들인 Q0와 Q3를 이용하여 컬러 영상을 생성한다. 이 경우, 컬러 영상은 Q0와 Q3의 합으로 생성할 수 있다.

이와 같이, 본 실시예에서 컬러 센서 어레이(138)는 가시광선과 근적외선을 함께 수광하므로 하나의 컬러 센서 어레이만 있으면 된다. 이에 반해, 빔 스플리터(bean splitter)를 사용하는 방법에 의하면, 가시광선은 빔 스플리터를 투과하여 컬러 센서 어레이에 도달하게 하여 컬러 영상을 생성할 수 있게 하고, 근적외선은 빔 스플리터가 굴절시켜 거리 센서 어레이에 도달하게 하여 깊이 영상을 생성할 수 있게 한다. 이때, 빔 스플리터는 광선의 일부는 반사하고 다른 일부는 투과하는 반사경 또는 기타 광학 장치를 말한다. 그런데, 이 방법은 두 개 이상의 센서 어레이 필요하고, 빔 스플리터를 사용하기 때문에 영상 생성 장치의 부피가 커지게 되고, 분리된 가시광선과 근적외선의 광축을 일치시키기 위해 빔 스플리터와 두 센서 어레이 간의 각도를 정확히 설정해야 한다. 따라서, 본 실시예에서는 보다 작은 부피를 가진 영상 센서 장치를 쉽게 구현할 수 있다.

그리고, 본 실시예에서 컬러 센서 어레이(138)를 구성하는 픽셀들은 모두 컬러 영상을 생성한다. 이에 반해, 베이어 패턴의 컬러 센서에서 G(Green) 화소들의 절반을 깊이(depth)를 측정하는 화소들로 치환한 센서를 사용하는 방법에 의하면, G 화소들의 절반이 상실되므로 원래의 베이터 패턴의 컬러 센서에서보다 컬러 영상의 해상도가 떨어지게 되고 컬러가 왜곡되는 현상이 발생할 수 있으며, 깊이를 측정하는 화소도 총 화소의 1/4 에 불과하여 깊이 영상의 해상도도 떨어진다. 그런데, 본 실시예에서 컬러 센서 어레이(138)를 구성하는 픽셀들은 모두 컬러 영상을 생성하는데 사용되므로 컬러 영상의 해상도가 떨어지지 않는다. 또한, B 화소와 R 화소를 이용하여 깊이 영상을 생성하므로 깊이 영상의 해상도도 총 해상도의 1/2까지 향상시킬 수 있다.

도 6은 본 발명의 일 실시예에 따른 영상 생성 방법을 흐름도로 도시한 것이다. 도 6을 참조하면, 본 실시예에 따른 영상 생성 방법은 도 1에 도시된 영상 생성 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 영상 생성 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 영상 생성 방법에도 적용된다.

61 단계에서 영상 생성 장치(10)는 현재 프레임이 짝수번째 프레임인지 여부를 검사한다.

62 단계에서 영상 생성 장치(10)는 61 단계에서의 검사 결과 현재 프레임이 짝수번째 프레임이면, 대상 물체에 T0의 시간 동안 소정 광을 조사한다. 이때, 조사되는 소정 광으로는 적외선 및 자외선 차단 필터와 컬러 필터 어레이를 모두 통과할 수 있는 근적외선(near infrared ray) 및 근자외선(near ultraviolet ray) 중 어느 하나 이상이 될 수 있다. 특히, 조사되는 소정 광으로 근적외선을 사용하는 경우를 중심으로 설명한다.

63 단계에서 영상 생성 장치(10)는 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시킨다. 이때, 영상 생성 장치(10)는 62 단계에서 조사된 근적외선이 대상 물체에 의해 반사되어 되돌아 온 광인 반사광 및 대상 물체로부터의 가시광선을 통과시킨다. 그리고, 이때의 반사광은 62 단계에서 조사된 근적외선과 동일한 파장을 가지며, 그 세기는 조사된 근적외선의 세기에 대상 물체의 반사율을 곱한 값만큼의 세기를 가진다.

64 단계에서 영상 생성 장치(10)는 63 단계에서 수광된 반사광 및 가시광선에 따른 광 정보를 검출한다. 상세하게는 도 4를 참조하여 설명하면, 영상 생성 장치(10)는 근적외선이 조사된 시점부터 T0의 시간 동안 PG1을 온(on)함으로써 PG1에 전하량을 축적한다. 그리고, T0의 시간 후에는 PG1을 오프(off)함으로써 전하량 축적을 중단하여, PG1에는 T0의 시간 동안 전하량이 축적되게 한다. 이때, PG1에 짝수번째 프레임에서 축적된 전하량을 Q1이라 하자. 그리고, 영상 생성 장치(10)는 PG1이 오프(off)된 후, 광 조사부(120)에 의해 근적외선이 다시 조사된 시점부터 2T0의 시간 동안에는 PG2를 온(on)함으로써 PG2에 전하량을 축적한다. 그리고, 2T0의 시간 후에는 PG2를 오프(off)함으로써 전하량 축적을 중단하여, PG2에는 2T0의 시간 동안 전하량이 축적되게 한다. 이때, PG2에 짝수번째 프레임에서 축적된 전하량을 Q4 이라 하자.

65 단계에서 영상 생성 장치(10)는 61 단계에서의 검사 결과 현재 프레임이 짝수번째 프레임이 아니면, 즉 홀수번째 프레임이면 대상 물체에 근적외선을 조사하지 않는다. 이러한 61 단계, 62 단계 및 65 단계를 통해 일정 간격으로 대상 물 체에 근적외선을 조사할 수 있다.

66 단계에서 영상 생성 장치(10)는 대상 물체에 의해 반사된 광 중 컬러 영상의 생성에 필요한 파장 대의 광인 대상 물체로부터의 가시광선을 통과시키고, 이 통과된 가시광선에 따른 광 정보를 검출한다. 상세하게는 도 4를 참조하여 설명하면, 영상 생성 장치(10)는 T0의 시간 동안 PG1을 온(on)함으로써 PG1에 전하량을 축적한다. 그리고, T0의 시간 후에는 PG1을 오프(off)함으로써 전하량 축적을 중단하여, PG1에는 T0의 시간 동안 전하량이 축적되게 한다. 이때, PG1에 홀수번째 프레임에서 축적된 전하량을 Q0이라 하자. 그리고, 영상 생성 장치(10)는 다시 2T0의 시간 동안 PG2를 온(on)함으로써 PG2에 전하량을 축적한다. 그리고, 2T0의 시간 후에는 PG2를 오프(off)함으로써 전하량 축적을 중단하여, PG2에는 2T0의 시간 동안 전하량이 축적되게 한다. 이때, PG2에 홀수번째 프레임에서 축적된 전하량을 Q3 이라 하자.

67 단계에서 영상 생성 장치(10)는 반사광에 의해 축적된 전하량을 계산한다. 이때, 영상 생성 장치(10)는 66 단계에서 축적된 전하량에서, 64 단계에서 축적된 전하량을 감산함으로써 반사광에 의해 축적된 전하량을 계산한다. 상세하게는, PG1에 짝수번째 프레임에서 축적된 전하량 Q1에서 PG1에 홀수번째 프레임에서 축적된 전하량 Q0를 감산함으로써, 반사광에 의해 PG1에 축적된 전하량을 계산하고, PG2에 짝수번째 프레임에서 축적된 전하량 Q4에서 PG2에 홀수번째 프레임에서 축적된 전하량 Q3을 감산함으로써, 반사광에 의해 PG2에 축적된 전하량을 계산한다. 이때, 반사광에 의해 PG1에 축적된 전하량을 Q2라 하고, 반사광에 의해 PG2에 축적된 전하량을 Q5라 한다.

68 단계에서 영상 생성 장치(10)는 67 단계를 통해 계산된 전하량들인 Q2 및 Q5를 이용하여 영상 생성 장치(10)와 대상 물체간의 거리를 계산한다. 이때의 대상 물체와의 거리는 ½ × c × Td 이고, Td 는 수학식 1 내지 수학식 4로부터 Td = (Q5-Q2)÷Q5×T0 이므로, 대상물체와의 거리는 ½ × c × {(Q5-Q2)÷Q5×T0} 이다.

69 단계에서 영상 생성 장치(10)는 66 단계에서 검출된 광 정보 즉, 전하량 Q0 및 Q3을 이용하여 컬러 영상을 생성하고, 68 단계에서 계산된 거리를 이용하여 깊이 영상을 생성한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 영상 생성 장치의 구성을 블록도로 도시한 것이다.

도 2는 도 1에 도시된 필터부(134)의 구성도이다..

도 3a 및 도 3b는 각각 도 1에 도시된 차단 필터(135) 및 컬러 필터 어레이(136)의 파장에 대한 투과율을 도시한 것이다.

도 4는 도 1에 도시된 컬러 센서 어레이(138)의 PG1 및 PG2에 각각 인가되는 펄스 제어 신호들과 그에 따라 축적되는 전하량들을 도시한 것이다.

도 5는 도 1에 도시된 전하량 계산부(145)에 의해 사용되는 반사광에 의해 PG1 및 PG2에 축적된 전하량을 도시한 것이다.

도 6은 본 발명의 일 실시예에 따른 영상 생성 방법을 흐름도로 도시한 것이다.

Claims

일정 간격으로 대상 물체에 소정 파장의 광을 조사하는 단계;

상기 대상 물체로부터 영상 생성 장치에 수광된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고, 상기 통과된 광에 따른 컬러 값들을 검출하는 단계;

상기 소정 파장의 광이 조사된 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 단계; 및

상기 구간이 아닌 다른 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 컬러 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 생성 방법.
제 1 항에 있어서, 상기 깊이 영상을 생성하는 단계는

상기 소정 파장의 광이 주사된 구간 동안 검출된 R(Red) 컬러 값들 또는 B(Blue) 컬러 값들 중 적어도 어느 하나의 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 것을 특징으로 하는 영상 생성 방법.
제 1 항에 있어서, 상기 컬러 값들을 검출하는 단계는

상기 대상 물체로부터 영상 생성 장치에 수광된 광 중 적외선 및 자외선을 차단함으로써 상기 컬러 영상의 생성에 필요한 파장 대의 광만을 통과시키고, 상기 통과된 광에 따른 컬러 값들을 검출하며,

상기 소정 파장의 광은 상기 적외선 및 자외선이 아닌, 상기 컬러 영상의 생성에 필요한 파장 대에 속하는 광인 것을 특징으로 하는 영상 생성 방법.
제 3 항에 있어서, 상기 컬러 값들을 검출하는 단계는

상기 대상 물체로부터 영상 생성 장치에 수광된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고,

상기 통과된 광에 따른 전하량들을 축적하고, 상기 축적된 전하량들로부터 각각의 컬러 값들을 검출하는 것을 특징으로 하는 영상 생성 방법.
제 1 항에 있어서, 상기 대상 물체의 깊이 영상을 생성하는 단계는

상기 소정 파장의 광이 조사된 구간 동안 검출된 광의 컬러 값들과 상기 다른 구간 동안 검출된 광의 컬러 값들의 차이를 이용하여, 상기 조사된 광에 의한 컬러 값들을 계산하는 단계;

상기 계산된 컬러 값들을 이용하여 상기 대상 물체의 깊이를 계산하여, 상기 계산된 깊이에 따른 깊이 영상을 생성하는 것을 특징으로 하는 영상 생성 방법.
제 1 항 내지 제 5 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
일정 간격으로 대상 물체에 소정 파장의 광을 조사하는 광 조사부;

상기 대상 물체로부터 영상 생성 장치에 수광된 광 중 컬러 영상의 생성에 필요한 파장 대의 광을 통과시키고, 상기 통과된 광에 따른 컬러 값들을 검출하는 컬러 값 검출부;

상기 소정 파장의 광이 조사된 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 깊이 영상 생성부; 및

상기 구간이 아닌 다른 구간 동안 검출된 컬러 값들을 이용하여 상기 대상 물체의 컬러 영상을 생성하는 컬러 영상 생성부를 포함하는 것을 특징으로 하는 영상 생성 장치.
제 7 항에 있어서, 상기 깊이 영상 생성부는

상기 소정 파장의 광이 주사된 구간 동안 검출된 R(Red) 컬러 값들 또는 B(Blue) 컬러 값들 중 적어도 어느 하나의 컬러 값들을 이용하여 상기 대상 물체의 깊이 영상을 생성하는 것을 특징으로 하는 영상 생성 장치.
제 7 항에 있어서,

컬러 값 검출부는 상기 대상 물체로부터 영상 생성 장치에 수광된 광 중 적외선 및 자외선을 차단함으로써 상기 컬러 영상의 생성에 필요한 파장 대의 광만을 통과시키는 컬러 필터 어레이; 및 상기 통과된 광에 따른 컬러 값들을 검출하는 컬러 센서 어레이를 포함하고,

상기 소정 파장의 광은 상기 적외선 및 자외선이 아닌, 상기 컬러 영상의 생성에 필요한 파장 대에 속하는 광인 것을 특징으로 하는 영상 생성 장치.
제 9 항에 있어서, 상기 컬러 센서 어레이는

상기 통과된 광에 따른 전하량들을 축적하고, 상기 축적된 전하량들로부터 각각의 컬러 값들을 검출하는 것을 특징으로 하는 영상 생성 장치.
제 7 항에 있어서, 상기 깊이 영상 생성부는

상기 소정 파장의 광이 조사된 구간 동안 검출된 광의 컬러 값들과 상기 다른 구간 동안 검출된 광의 컬러 값들의 차이를 이용하여, 상기 조사된 광에 의한 컬러 값들을 계산하고, 상기 계산된 컬러 값들을 이용하여 상기 대상 물체의 깊이를 계산하여, 상기 계산된 깊이에 따른 깊이 영상을 생성하는 것을 특징으로 하는 영상 생성 장치.
제1 프레임 및 제2 프레임 각각에서 검출된 전하량을 이용하여 영상을 생성하는 방법에 있어서,

상기 제2 프레임 동안 대상 물체에 소정 파장의 광 펄스를 조사하는 단계;

상기 제1 프레임 동안 상기 대상 물체로부터 수광된 광 중 필터부를 통과한 광에 따라 축적된 전하량 및 상기 제2 프레임 동안 상기 대상 물체로부터 수광된 광 중 상기 필터부를 통과한 광에 따라 축적된 전하량을 검출하는 단계;

상기 제1 프레임 동안 축적된 상기 전하량을 이용하여 컬러 영상을 생성하는 단계; 및

상기 제1 프레임 동안 축적된 상기 전하량 및 상기 제2 프레임 동안 축적된 상기 전하량을 이용하여 깊이 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 생성 방법.
제1 프레임 및 제2 프레임 각각에서 검출된 전하량을 이용하여 영상을 생성하는 장치에 있어서,

상기 제2 프레임 동안 대상 물체에 소정 파장의 광 펄스를 조사하는 광 조사부;

상기 제1 프레임 동안 상기 대상 물체로부터 수광된 광 중 필터부를 통과한 광에 따라 축적된 전하량 및 상기 제2 프레임 동안 상기 대상 물체로부터 수광된 광 중 상기 필터부를 통과한 광에 따라 축적된 전하량을 검출하는 컬러 센서 어레이;

상기 제1 프레임 동안 축적된 상기 전하량을 이용하여 컬러 영상을 생성하는 컬러 영상 생성부; 및

상기 제1 프레임 동안 축적된 상기 전하량 및 상기 제2 프레임 동안 축적된 상기 전하량을 이용하여 깊이 영상을 생성하는 깊이 영상 생성부를 포함하는 것을 특징으로 하는 영상 생성 장치.