KR20150037370A

KR20150037370A - 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치

Info

Publication number: KR20150037370A
Application number: KR20130116897A
Authority: KR
Inventors: 강병민; 김정우; 이홍석; 김도균; 이기창
Original assignee: 삼성전자주식회사
Priority date: 2013-09-30
Filing date: 2013-09-30
Publication date: 2015-04-08
Also published as: US20150092018A1; EP2853919A1; US9743065B2; JP2015070619A; JP6448280B2; CN104519338A; EP2853919B1; CN104519338B; KR102112298B1

Abstract

다중 파장 대역의 광을 통과시키는 제 1 필터와 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터를 이용하여, 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치에 관한 것으로서, 기존 방식에 비해 광 통과율과 영상 생성 속도가 향상된 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치를 개시한다.

Description

컬러 영상 및 깊이 영상을 생성하는 방법 및 장치{Method and apparatus for generating color image and depth image}

컬러 영상 및 깊이 영상을 생성하는 방법 및 장치에 관한 것이다.

피사체의 깊이(depth) 영상을 취득하는 방법으로서, 적외선(infrared Ray: IR)을 피사체에 조사한 후 조사된 적외선이 반사되어 돌아오는 시간을 이용하는 ToF(Time of Flight) 방식이 있다. ToF(Time of Flight) 방식의 깊이 영상은 피사체로 조사된 적외선 신호와 조사된 적외선 신호가 피사체로부터 반사되어 돌아오는 반사 신호 간의 위상차를 이용하여 획득할 수 있다. 이러한 방법을 채용한 ToF 깊이 카메라는 피사체의 깊이 영상을 획득하는 종전의 다른 카메라(예를 들어, 스테레오(stereo) 카메라, 구조 광(structured light) 카메라)들에 비하여 실시간으로 모든 화소에서 피사체의 깊이를 취득할 수 있다는 장점이 있다.

일반적으로 대상체의 3차원(3-dimensional) 영상을 생성하기 위해서는, 대상체의 깊이 영상뿐만 아니라 대상체의 컬러(color) 영상이 필요하다. 이를 위해서 ToF 깊이 카메라 주변에 컬러 카메라를 장착하여 컬러 영상과 깊이 영상을 획득한다. ToF 깊이 카메라와 컬러 카메라 두 대를 사용함으로써 영상 생성 시스템이 커지게 되고, 두 개의 카메라의 시점(view-point)이 달라서 각각에서 생성된 두 영상을 별도로 정합하는 과정이 요구된다.

최근에는 하나의 센서를 이용하여 컬러 영상과 깊이 영상을 생성하는 방법이 연구되고 있다. 일반적으로, 컬러 영상을 생성하기 위해서는 센서 외부에 가시광 통과 필터(visible pass filter)가 필요하며, 깊이 영상을 생성하기 위해서는 적외선 통과 필터(infrared pass filter)가 필요하다. 따라서, 하나의 센서를 이용하여 컬러 영상과 깊이 영상을 생성하기 위해서는 가시광 통과 필터와 적외선 통과 필터 모두를 센서 외부에 갖추어야 한다.

다중 파장 대역의 광을 통과시키는 제 1 필터와 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터를 이용하여, 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치를 제공하는 것이다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.

본 발명의 일 측면에 따른 피사체로부터 반사된 광을 이용하여 영상을 생성하는 장치는, 상기 피사체로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터, 제어 신호에 따라, 상기 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터, 상기 다중 파장 대역의 광을 광전 변환한 제 1 영상 신호와 상기 특정 파장 대역의 광을 광전 변환한 제 2 영상 신호를 검출하는 검출부, 및 상기 제 1 영상 신호에서 상기 제 2 영상 신호를 제거한 차분 영상 신호와 상기 제 2 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성하는 영상 처리 장치를 포함한다.

본 발명의 또 다른 측면에 따른 피사체로부터 반사된 광을 이용하여 영상을 생성하는 방법은, 상기 피사체로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터링을 수행하는 단계, 상기 다중 파장 대역의 광을 광전 변환하여 제 1 영상 신호를 검출하는 단계, 상기 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터링을 수행하는 단계, 상기 특정 파장 대역의 광을 광전 변환하여 제 2 영상 신호를 검출하는 단계, 및 상기 제 1 영상 신호에서 상기 제 2 영상 신호를 제거한 차분 영상 신호와 상기 제 2 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성하는 단계를 포함한다.

본 발명의 또 다른 측면에 따라 상기된 영상 생성 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

다중 파장 대역의 광을 통과시키는 제 1 필터와 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터를 이용함으로써, 하나의 이미지 센서로 기존 방식에 비해 광 통과율과 영상 생성 속도가 향상된 컬러 영상 및 깊이 영상을 생성할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 생성 장치를 도시한 블록도이다.
도 2는 제 1 필터의 광 통과 특성을 설명하기 위한 도면이다.
도 3a 및 도 3b는 제 2 필터의 광 통과 특성을 설명하기 위한 도면이다.
도 4는 본 발명의 제 1 실시예에 따라 컬러 영상 및 깊이 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 제 1 실시예에 따라 제 1 영상 신호와 제 2 영상 신호를 검출한 경우, 제 1 영상 신호를 이용하여 생성한 영상과 제 2 영상 신호를 이용하여 생성한 영상을 나타낸 도면이다.
도 6은 본 발명의 제 1 실시예에 따라 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호를 이용하여 생성할 수 있는 영상을 나타낸 도면이다.
도 7은 본 발명의 제 1 실시예에 따라 제 2 영상 신호를 이용하여 생성할 수 있는 깊이 영상을 나타낸 도면이다.
도 8은 본 발명의 제 2 실시예에 따라 컬러 영상 및 깊이 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 제 3 실시예에 따라 컬러 영상 및 깊이 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 컬러 영상 및 깊이 영상을 생성하는 방법을 나타낸 흐름도이다.
도 11은 차분 영상 신호와 제 2 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성하는 단계를 구체적으로 나타낸 상세 흐름도이다.
도 12는 본 발명의 다른 실시예에 따라 컬러 영상 및 깊이 영상을 생성하는 방법을 나타낸 흐름도이다.
도 13은 차분 영상 신호와 제 3 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성하는 단계를 구체적으로 나타낸 상세 흐름도이다.

이하 첨부된 도면을 참조하면서 본 발명을 한정하지 아니하고 오로지 예시를 위한 실시예에 의해 본 발명을 상세히 설명하기로 한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.

본 실시예들은 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.

도 1은 본 발명의 일 실시예에 따른 영상 생성 장치를 도시한 블록도이다.

도 1을 참조하면, 영상 생성 장치(100)는 영상 촬상 장치(200)와 영상 처리 장치(300)을 포함한다. 영상 촬상 장치(200)는 제어부(210), 조사부(220), 제 1 필터(230), 렌즈(240), 제 2 필터(250), 검출부(260)를 포함할 수 있다. 영상 처리 장치(300)는 차분 영상 신호 획득부(310), 깊이 값 계산부(320), 컬러 영상 생성부(330), 깊이 영상 생성부(340)을 포함할 수 있다. 도 1에 도시된 영상 생성 장치(100), 영상 촬상 장치(200)와 영상 처리 장치(300)에는 본 발명의 일 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 발명과 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 이하, 도 1을 참조하여 영상 생성 장치(100), 영상 촬상 장치(200)와 영상 처리 장치(300)에 포함된 각 구성들의 기능을 구체적으로 설명한다.

영상 생성 장치(100)는 피사체(400)에 관한 영상을 촬상하는 영상 촬상 장치(200)와 촬상된 영상 신호에 대하여 영상 처리를 수행하는 영상 처리 장치(300)을 포함할 수 있다. 영상 생성 장치(100)는 피사체(400)로부터 반사된 광을 수광하고, 이를 이용하여 피사체(400)에 관한 컬러 영상 또는 깊이 영상을 생성할 수 있다. 이때, 피사체(400)로부터 반사된 광은 태양광과 같은 자연광이 피사체(400)로부터 반사된 광일 수 있다. 또한, 피사체(400)에 소정의 주파수로 변조된 광 또는 특정 패턴의 광을 조사하고, 피사체(400)로부터 반사된 광일 수도 있다. 예를 들어, 피사체(400)의 깊이 영상을 취득하는 방법으로서, 적외선(infrared Ray, IR) 광을 피사체(400)에 조사한 후 조사된 적외선이 반사되어 돌아오는 시간을 이용하는 ToF(Time of Flight) 방식을 이용할 수 있는데, 이때, 피사체(400)로부터 반사된 적외선 광을 이용할 수 있다.

도 1에 도시된 바와 같이, 영상 촬상 장치(200)는 조사부(220), 제 1 필터(230), 렌즈(240), 제 2 필터(250), 검출부(260) 및 이들을 제어하는 제어부(210)를 포함할 수 있다.

조사부(220)는 영상 생성 장치(100)가 피사체(400)에 관한 영상을 생성하는 경우에 소정의 파장 대역을 가지는 광을 피사체(400)를 향하여 조사할 수 있다. 구체적으로, 조사부(220)는 제어부(210)의 제어 신호에 기초하여 소정의 주파수로 변조된 조사광(410)을 피사체(400)를 향하여 조사한다. 예를 들어, 조사부(220)는 적외선 광을 조사광(410)으로 하여 피사체(400)를 향해 조사할 수 있다. 조사부(220)는 LED 어레이 또는 레이저 장치로 구성될 수 있다.

피사체(400)와 영상 촬상 장치(200) 간의 거리를 나타내는 깊이 영상은 적외선 광(특히, 근적외선 광)을 이용하여 획득할 수 있다. 따라서, 영상 생성 장치(100)가 깊이 영상을 생성하는 경우에는, 조사부(220)는 피사체(400)를 향하여 적외선 광에 해당하는 소정의 주파수로 변조된 조사광(410)을 조사할 수 있다.

제 1 필터(230)는 피사체(400)로부터 반사되어 영상 촬상 장치(200)로 입사된 광에서 다중 파장 대역의 광을 통과시킨다. 즉, 제 1 필터(230)는 피사체(400)로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시킬 수 있다. 이때, 다중 파장 대역의 광은 조사부(220)에서 적외선 광을 조사하여 피사체(400)로부터 반사된 적외선 광과 피사체(400)로부터 반사된 가시광을 포함할 수 있다.

제 1 필터(230)는 적어도 두 개의 파장 대역의 광을 통과시킬 수 있는, 다중의 대역 통과 필터(band-pass filter)로 구성될 수 있다. 제 1 필터(230)가 통과시킬 수 있는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광은 가시광 또는 적외선 광이 될 수 있다. 제 1 필터(230)는 통과시킬 수 있는 파장 대역의 광이 미리 정해져 있는 고정 필터이다. 제 1 필터(230)는 렌즈(240)와 피사체(400) 사이 또는 렌즈(240)와 제 2 필터(250)의 사이에 배치될 수 있고, 렌즈(240)에 코팅된 형태일 수도 있다. 피사체(400)로부터 반사된 광은 제 1 필터(230) 및 제 2 필터(250)를 순차적으로 통과한다.

영상 생성 장치(100)는 가시광을 이용하여 컬러 영상을 생성하고, 적외선 광을 이용하여 깊이 영상을 생성할 수 있다. 영상 촬상 장치(200)로 입사되는 광은 피사체(400)에서 반사된 다양한 종류의 광으로써, 가시광 및 적외선 광뿐만 아니라, 다른 파장 대역의 광도 포함되어 있을 수 있다. 따라서, 제 1 필터(230)는 피사체(400)로부터 반사된 다양한 종류의 광에서 컬러 영상 및 깊이 영상의 생성을 위해 필요한 파장 대역인 가시광 및 적외선 광을 통과시킬 있다. 그 외 다른 파장 대역의 광은 차단할 수 있다.

도 2는 제 1 필터의 광 통과 특성을 설명하기 위한 도면이다. 도 2를 참조하면, 제 1 필터(230)가 통과시킬 수 있는 파장 대역은 400nm 내지 650nm의 가시광 파장 대역과 850nm 부근의 적외선 광 파장 대역이 될 수 있다. 다만, 이에 한정되지 않는다. 제 1 필터(230)가 통과시킬 수 있는 광의 파장 대역은 제 1 필터(230)가 가지는 자체 특성에 따라 차이가 있을 수 있다.

렌즈(240)는 영상 촬상 장치(200)로 입사되는 광을 집광한다. 구체적으로, 렌즈(240)는 피사체(400)로부터 반사된 다양한 종류의 광을 집광한다. 렌즈(240)는 조사광(410)이 피사체(400)로부터 반사된 반사광(420)과 피사체(400)에 반사된 자연광을 포함하는 광을 집광할 수 있다.

제 2 필터(250)는 제어 신호에 따라, 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시킬 수 있다. 제 2 필터(250)는 제어 신호에 따라 통과시킬 수 있는 파장 대역의 광이 변하는 가변 필터이다. 예를 들어, 제 2 필터(250)는 제어 신호가 소정 임계치 이하의 전압이면 전 파장 대역의 광을 통과시키고, 제어 신호가 소정 임계치를 초과하는 전압이면 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시킬 수 있다. 즉, 제 2 필터(250)의 동작에 따라, 제 1 필터(230)를 통과한 다중 파장 대역의 광이 그대로 통과하거나 제 1 필터(230)를 통과한 다중 파장 대역의 광 중 특정 파장 대역의 광만 통과할 수도 있다. 다시 말해, 제어부(210)가 제 2 필터(250)에 출력하는 제어 신호에 따라, 제 1 필터(230) 및 제 2 필터(250)를 통과하는 광이 결정될 수 있다.

도 3a 및 도 3b는 제 2 필터의 광 통과 특성을 설명하기 위한 도면이다. 구체적으로, 도 3a는 제 1 제어 신호에 따라 제 2 필터(250)가 통과시키는 파장 대역의 광을 설명하기 위한 도면이다. 도 3b는 제 2 제어 신호에 따라 제 2 필터(250)가 통과시키는 파장 대역의 광을 설명하기 위한 도면이다. 제 1 제어 신호는 제 2 제어 신호보다 낮은 값을 가지는 전압이 될 수 있다.

도 3a 및 도 3b를 참조하면, 제 2 필터(250)는 소정의 임계치 이하의 전압 값을 갖는 제 1 제어 신호일 때 전 파장 대역의 광을 통과시킬 수 있고, 소정 임계치를 초과하는 전압 값을 갖는 제 2 제어 신호일 때 특정 파장 대역의 광을 통과시킬 수 있다. 따라서, 본 발명의 일 실시예에 따를 경우, 제 2 필터(250)에 입사되는 광은 제 1 필터(230)를 통과한 다중 파장 대역의 광이므로, 결과적으로 제 2 필터(250)를 통과하는 광은 제 1 필터(230)를 통과한 다중 파장 대역의 광 그대로이거나(제 1 제어 신호일 때) 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광(제 2 제어 신호일 때)일 수 있다. 도 3b에서는 제 2 제어 신호에 따라 적외선 광이 통과되고 가시광은 차단되는 제 2 필터(250)를 나타내고 있으나, 도시된 바와 달리, 제 2 필터(250)는 제 2 제어 신호에 따라 가시광은 통과시키고, 적외선 광은 차단할 수도 있다. 제 2 필터(250)가 어떤 특정 파장 대역의 광을 통과시킬 것인지는 제 2 필터(250) 자체의 특성에 따른다.

검출부(260)는 소정의 주파수 대역을 가지는 반사광(420)을 광전 변환하여 영상 신호를 검출한다. 검출부(260)는 특정 주파수 대역을 갖는 단일 광 또는 서로 다른 주파수 대역을 가지는 복수의 광을 광전 변환하여 영상 신호를 검출할 수 있다. 검출부(260)는 광전 변환에 의해 변환된 전하량들에 대응되는 값을 영상 신호로 검출할 수 있다. 예를 들어, 광전 변환에 의해 변환된 전하량들에 대응되는 센서 어레이의 컬러 값들을 영상 신호로 검출할 수 있다. 본 발명의 일 실시예에 따라, 제 1 필터(230) 및 제 2 필터(250)를 통과하여 검출부(260)에 입사되는 광은 다중 파장 대역의 광 또는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광이므로, 이들을 각각 광전 변환하여 제 1 영상 신호와 제 2 영상 신호를 검출할 수 있다. 즉, 검출부(260)는 다중 파장 대역의 광을 광전 변환한 제 1 영상 신호와 특정 파장 대역의 광을 광전 변환한 제 2 영상 신호를 검출할 수 있다. 검출부(260)는 검출한 영상 신호를 영상 처리 장치(300)로 전송할 수 있다.

검출부(260)는 포토 다이오드(photo-diode) 어레이 또는 포토 게이트(photo-gate) 어레이로 구성된 CMOS 이미지 센서나 CCD 이미지 센서를 포함할 수 있다. 여기에서, 포토 다이오드는 핀트-포토 다이오드(pint-photo diode)일 수 있으나, 이에 한정되지 않는다.

검출부(260)는 포토 다이오드 회로들이 소정의 위상 차이를 두고 동작함에 따라 검출된 전하량들을 영상 처리 장치(300)로 전송할 수도 있다. 이때, 소정의 위상 차이는 180°를 의미할 수 있다. 구체적으로, 검출부(260)는 포토 다이오드 회로들 중 어느 하나가 동작하는 주기를 기준(0°)으로 하여, 다른 포토 다이오드 회로를 상술한 기준에서 180°의 위상 차이를 갖도록 동작시킴으로써 전하량들을 검출할 수 있다. 그리고, 검출부(260)는 포토 다이오드 회로들 중 어느 하나를 상술한 기준에서 90°의 위상 차이를 갖도록 동작시키고, 다른 포토 다이오드 회로를 상술한 기준에서 270°의 위상 차이를 갖도록 동작시킴으로써 전하량들을 검출할 수 있다. 검출부(260)는 이와 같이 소정의 위상 차이를 두고 검출된 전하량들에 대응되는 값을 영상 처리 장치(300)로 전송하여, 깊이 영상을 생성하기 위한 깊이 값 계산에 사용하도록 할 수 있다.

도 1에 도시된 영상 처리 장치(300)는 차분 영상 신호 획득부(310), 깊이 값 계산부(320), 컬러 영상 생성부(330), 깊이 영상 생성부(340)를 포함하며, 하나 또는 복수 개의 프로세서로 구성될 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

차분 영상 신호 획득부(310)는 다중 파장 대역의 광을 광전 변환한 제 1 영상 신호와 특정 파장 대역의 광을 광전 변환한 제 2 영상 신호를 이용하여 차분 영상 신호를 획득할 수 있다. 즉, 제 1 영상 신호에서 제 2 영상 신호를 제거함으로써 차분 영상 신호를 획득할 수 있다. 예를 들어, 다중 파장 대역의 광이 가시광과 적외선 광을 포함하고 특정 파장 대역의 광이 적외선 광인 경우, 차분 영상 신호는 가시광이 된다. 반면, 특정 파장 대역의 광이 가시광인 경우, 차분 영상 신호는 적외선 광이 된다.

차분 영상 신호 획득부(310)는 차분 영상 신호가 가시광인 경우, 컬러 영상 생성부(330)에 차분 영상 신호를 전달하고, 차분 영상 신호가 적외선 광인 경우, 깊이 값 계산부(320)에 차분 영상 신호를 전달한다.

깊이 값 계산부(320)는 피사체(400)와 영상 생성 장치(100) 간의 거리 즉, 깊이 값을 획득할 수 있다. 깊이 값 계산부(320)는 적외선 광을 이용하여 깊이 값을 계산할 수 있다. 대표적인 방법으로 Time-of-flight(ToF) 방식을 사용할 수 있다. ToF 방식은 피사체(400)에 조사한 적외선 광이 되돌아오는 시간을 적외선 광 영상으로부터 계산할 수 있다. 그리고 빛의 속도를 곱하여 피사체(400)와 영상 생성 장치(100) 간의 거리 즉, 깊이 값을 획득할 수 있다.

컬러 영상 생성부(330)는 가시광에 해당하는 영상 신호를 이용하여 컬러 영상을 생성할 수 있다. 차분 영상 신호 획득부(310)에서 획득한 차분 영상 신호가 가시광에 해당하는 영상 신호인 경우에는 차분 영상 신호를 이용하여 컬러 영상을 생성할 수 있다. 또는 제 2 영상 신호가 가시광에 해당하는 영상 신호인 경우에는 제 2 영상 신호를 이용하여 컬러 영상을 생성할 수 있다. 검출부(260)에서 검출된 전하량에 대응되는 센서 어레이의 컬러 값에 해당하는 영상 신호는 센서 어레이의 각 픽셀 별로 하나의 색상 성분 정보를 가지고 있으므로, 주변 픽셀들의 색상 성분 정보를 이용하여 각 픽셀의 색상 정보를 결정할 수 있다. 이와 같은 영상 처리 방식을 디모자이킹(demosicing)이라 한다. 컬러 영상 생성부(330)는 Auto White Balance(AWB), Gamma 조절을 더 할 수 있다.

깊이 영상 생성부(340)는 깊이 값 계산부(320)에서 계산된 깊이 값을 이용하여 깊이 영상을 생성할 수 있다. 예를 들어, 거리 값과 명암과의 관계가 정해진 룩업 테이블을 이용하여, 각 픽셀마다 명암을 확인하게 만들고, 이로부터 깊이 영상을 생성할 수 있다.

한편, 하나의 센서를 이용하여 컬러 영상과 깊이 영상을 생성하기 위해서는 가시광 통과 필터와 적외선 통과 필터 모두를 센서 외부에 갖추어야 한다. 이를 위하여, 필터에 의하여 필터링되는 빛의 파장을 조절하기 위하여 기계 필터 장치(mechanical filter device)를 이용하는 방법과 전기적으로 필터의 특성을 변화시켜 특정 파장대의 빛을 투과시키는 방법이 이용될 수 있다. 그러나, 기계 필터 장치(mechanical filter device)를 이용하는 방법은 필터의 구동을 위한 별도의 시간이 필요하기 때문에, 컬러 영상과 깊이 영상의 생성 속도가 떨어진다. 전기적으로 필터의 특성을 변화시켜 특정 파장대의 빛을 투과시키는 방법은 여러 개의 가변 필터들을 겹쳐서 사용하기 때문에 광 통과율이 저하되어 영상 화질이 저하된다.

하지만, 본 발명의 일 실시예에 따른 컬러 영상 및 깊이 영상을 생성하는 영상 생성 장치(100)는 고정 필터인 제 1 필터(230)와 가변 필터인 제 2 필터(250)를 이용함으로써 컬러 영상과 깊이 영상의 생성 속도와 광 통과율이 향상되었다.

도 4는 본 발명의 제 1 실시예에 따라 컬러 영상 및 깊이 영상을 생성하는 과정을 설명하기 위한 도면이다.

도 4를 참조하면, 조사부(220)는 소정의 주파수로 변조된 적외선 광을 피사체(400)에 조사하고, 영상 생성 장치(100)는 피사체(400)로부터 반사된 광을 제 1 필터(230) 및 제 2 필터(250)를 이용하여 두 번의 영상 신호 검출 과정을 수행함을 알 수 있다.

먼저, 첫 번째 영상 신호를 검출하기 위하여, 영상 생성 장치(100)의 조사부(220)는 피사체(400)를 향해 소정의 주파수로 변조된 적외선 광을 조사한다. 피사체(400)는 조사부(220)에서 조사한 적외선 광을 반사시킬 뿐만 아니라, 태양광과 같은 자연광도 함께 반사시킨다. 따라서, 영상 생성 장치(100)로 입사되는 광은 피사체(400)에서 반사된 다양한 종류의 광으로써, 가시광 및 적외선 광뿐만 아니라, 다른 파장 대역의 광도 포함되어 있을 수 있다.

제 1 필터(230)는 영상 생성 장치(100)로 입사되는 광에서 컬러 영상 및 깊이 영상을 생성하기 위해 필요한 가시광과 적외선 광을 포함하는 다중 파장 대역의 광을 통과시킨다. 이는 도 2에서 살펴본 바와 같다. 제 2 필터(250)는 제어 신호에 따라 전 파장 대역의 광을 통과시킨다. 이는 도 3a에서 살펴본 바와 같다.

제 2 필터(250)에서 전 파장 대역의 광을 통과시키므로, 검출부(260)에 입사되는 광은 제 1 필터(230)를 통과한 다중 파장 대역의 광과 같다. 검출부(260)는 다중 파장 대역의 광을 광전 변환한 제 1 영상 신호를 검출한다. 이때, 다중 파장 대역의 광은 적외선 광을 조사하여 피사체(400)로부터 반사된 적외선 광과 피사체(400)로부터 반사된 가시광을 포함한다.

다음으로, 두 번째 영상 신호를 검출하기 위하여, 영상 생성 장치(100)의 조사부(220)는 피사체(400)를 향해 소정의 주파수로 변조된 적외선 광을 조사한다. 첫 번째 영상 신호를 검출할 때와 마찬가지로, 영상 생성 장치(100)로 입사되는 광은 피사체(400)에서 반사된 다양한 종류의 광으로써, 가시광 및 적외선 광뿐만 아니라, 다른 파장 대역의 광도 포함되어 있을 수 있다.

제 1 필터(230)는 영상 생성 장치(100)로 입사되는 광에서 컬러 영상 및 깊이 영상을 생성하기 위해 필요한 가시광과 적외선 광에 해당하는 다중 파장 대역의 광을 통과시킨다. 제 2 필터(250)는 제어 신호에 따라 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시킨다. 이는 도 3b에서 살펴본 바와 같다.

제 2 필터(250)에서 특정 파장 대역의 광을 통과시키므로, 검출부(260)에 입사되는 광은 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광이다. 검출부(260)는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 광전 변환한 제 2 영상 신호를 검출한다. 본 발명의 제 1 실시예에 따라, 제 1 필터(230) 및 제 2 필터(250)를 통과하는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광은 적외선 광을 조사하여 피사체(400)로부터 반사된 적외선 광이 된다.

영상 처리 장치(300)는 검출부(260)에서 검출한 제 1 영상 신호와 제 2 영상 신호를 전달받고, 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호와 제 2 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성할 수 있다. 구체적으로, 본 발명의 제 1 실시예에 따른 차분 영상 신호는 가시광에 해당하므로 이로부터 컬러 영상을 생성하고, 제 2 영상 신호는 적외선 광에 해당하므로 이로부터 깊이 영상을 생성할 수 있다.

도 5a 및 도 5b는 본 발명의 제 1 실시예에 따라 제 1 영상 신호와 제 2 영상 신호를 검출한 경우, 제 1 영상 신호를 이용하여 생성한 영상과 제 2 영상 신호를 이용하여 생성한 영상을 나타낸 도면이다. 구체적으로, 도 5a는 가시광과 적외선 광이 포함된 다중 파장 대역의 광을 광전 변환하여 검출한 제 1 영상 신호를 이용하여 생성한 영상이고, 도 5b는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 광전 변환하여 검출한 제 2 영상 신호를 이용하여 생성한 영상이다.

도 5a를 보면 컬러 영상을 생성하기 위해 필요한 가시광뿐만 아니라 적외선 광이 포함되어 있어, 영상 자체가 전반적으로 밝게 나타난다. 반면, 도 5b를 보면 적외선 광만 포함되어 있어, 영상이 전반적으로 어둡게 나타난다.

도 6은 본 발명의 제 1 실시예에 따라 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호를 이용하여 생성할 수 있는 영상을 나타낸 도면이다.

제 1 영상 신호는 가시광과 적외선 광을 포함하는 다중 파장 대역의 광을 광전 변환한 것이고, 제 2 영상 신호는 적외선 광을 포함하는 특정 파장 대역의 광을 광전 변환한 것이다. 따라서, 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호는 가시광에 해당하는 특정 파장 대역의 광을 광전 변환한 결과와 같다고 볼 수 있다. 도 5a 영상과 비교해 볼 때, 도 6의 영상은 화질이 개선된 것을 알 수 있다.

도 7은 본 발명의 제 1 실시예에 따라 제 2 영상 신호를 이용하여 생성할 수 있는 깊이 영상을 나타낸 도면이다.

도 7을 참조하면, 피사체(400)의 원근에 따라, 깊이 영상에서 피사체(400)의 명암이 서로 다르게 나타나는 것을 확인할 수 있다. 구체적으로, 영상 생성 장치(100)와 가까울수록 피사체(400)는 깊이 영상에서 상대적으로 밝게 나타나고, 영상 생성 장치(100)와 멀수록 피사체(400)는 깊이 영상에서 상대적으로 어둡게 나타난다.

도 8은 본 발명의 제 2 실시예에 따라 컬러 영상 및 깊이 영상을 생성하는 과정을 설명하기 위한 도면이다.

도 8을 참조하면, 조사부(220)는 소정의 주파수로 변조된 적외선 광을 피사체(400)에 조사하고, 영상 생성 장치(100)는 피사체(400)로부터 반사된 광을 제 1 필터(230) 및 제 2 필터(250)를 이용하여 두 번의 영상 신호 검출 과정을 수행함을 알 수 있다.

제 1 필터(230)는 영상 생성 장치(100)로 입사되는 광에서 컬러 영상 및 깊이 영상을 생성하기 위해 필요한 가시광과 적외선 광을 포함하는 다중 파장 대역의 광을 통과시킨다. 제 2 필터(250)는 제어 신호에 따라 전 파장 대역의 광을 통과시킨다.

제 1 필터(230)는 영상 생성 장치(100)로 입사되는 광에서 컬러 영상 및 깊이 영상을 생성하기 위해 필요한 가시광과 적외선 광에 해당하는 다중 파장 대역의 광을 통과시킨다. 제 2 필터(250)는 제어 신호에 따라 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시킨다. 도 4에서 설명한 제 1 실시예와 다른 점은 제 2 필터(250)의 특성이다. 제 2 실시예에 이용되는 제 2 필터(250)는 제어 신호에 따라 전 파장 대역의 광을 통과시키거나 가시광을 통과시킬 수 있다. 반면, 제 1 실시예에 이용되는 제 2 필터(250)는 제어 신호에 따라 전 파장 대역의 광을 통과시키거나 적외선 광을 통과시킬수 있다.

제 2 필터(250)에서 특정 파장 대역의 광을 통과시키므로, 검출부(260)에 입사되는 광은 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광이며, 검출부(260)는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 광전 변환한 제 2 영상 신호를 검출한다. 본 발명의 제 2 실시에에 따라, 제 1 필터(230) 및 제 2 필터(250)를 통과하는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광은 가시광이 된다.

영상 처리 장치(300)는 검출부(260)에서 검출한 제 1 영상 신호와 제 2 영상 신호를 전달받고, 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호와 제 2 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성할 수 있다. 구체적으로, 본 발명의 제 2 실시예에서 차분 영상 신호는 적외선 광에 해당하므로 이로부터 깊이 영상을 생성하고, 제 2 영상 신호는 가시광에 해당하므로 이로부터 컬러 영상을 생성할 수 있다.

도 9는 본 발명의 제 3 실시예에 따라 컬러 영상 및 깊이 영상을 생성하는 과정을 설명하기 위한 도면이다.

도 9를 참조하면, 영상 생성 장치(100)는 피사체(400)로부터 반사된 광을 제 1 필터(230) 및 제 2 필터(250)를 이용하여 세 번의 영상 신호 검출 과정을 수행함을 알 수 있다. 조사부(220)는 소정의 주파수로 변조된 적외선 광을 피사체(400)에 조사하거나 조사하지 않을 수 있다. 첫 번째 영상 신호와 두 번째 영상 신호를 검출하는 과정에서 조사부(220)는 광을 조사하지 않고, 세 번째 영상 신호를 검출하는 과정에서만 조사부(220)가 피사체(400)를 향해 소정의 주파수로 변조된 적외선 광을 조사함을 알 수 있다.

먼저, 첫 번째 영상 신호 검출은 피사체(400)로부터 반사된 자연광을 이용한다. 즉, 영상 생성 장치(100)로 입사되는 광은 피사체(400)에서 반사된 태양광과 같은 자연광으로써, 자연광에 존재하는 가시광 및 적외선 광, 기타 다른 파장 대역의 광도 포함되어 있을 수 있다.

제 1 필터(230)는 영상 생성 장치(100)로 입사되는 광에서 자연광에 존재하는 가시광과 적외선 광을 포함하는 다중 파장 대역의 광을 통과시킨다. 제 2 필터(250)는 제어 신호에 따라 전 파장 대역의 광을 통과시킨다.

제 2 필터(250)에서 전 파장 대역의 광을 통과시키므로, 검출부(260)에 입사되는 광은 제 1 필터(230)를 통과한 다중 파장 대역의 광과 같다. 검출부(260)는 다중 파장 대역의 광을 광전 변환한 제 1 영상 신호를 검출한다. 이때, 다중 파장 대역의 광은 피사체(400)에서 반사된 자연광에 존재하는 가시광 및 적외선 광을 포함한다.

다음으로, 두 번째 영상 신호 검출 과정을 살펴본다. 첫 번째 영상 신호 검출 때와 마찬가지로, 두 번째 영상 신호 검출에도 피사체(400)로부터 반사된 자연광을 이용한다. 즉, 영상 생성 장치(100)로 입사되는 광은 피사체(400)에서 반사된 태양광과 같은 자연광으로써, 자연광에 존재하는 가시광 및 적외선 광, 기타 다른 파장 대역의 광도 포함되어 있을 수 있다.

제 1 필터(230)는 영상 생성 장치(100)로 입사되는 광에서 자연광에 존재하는 가시광과 적외선 광을 포함하는 다중 파장 대역의 광을 통과시킨다. 제 2 필터(250)는 제어 신호에 따라 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시킨다.

제 2 필터(250)에서 특정 파장 대역의 광을 통과시키므로, 검출부(260)에 입사되는 광은 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광이다. 검출부(260)는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 광전 변환한 제 2 영상 신호를 검출한다. 본 발명의 제 3 실시예에 따라 두 번째 영상 신호 검출에 이용되는, 제 1 필터(230) 및 제 2 필터(250)를 통과하는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광은 자연광에 존재하는 적외선 광이 된다.

다음으로, 세 번째 영상 신호 검출 과정을 살펴본다. 세 번째 영상 신호를 검출하기 위하여, 영상 생성 장치(100)의 조사부(220)는 피사체(400)를 향해 소정의 주파수로 변조된 적외선 광을 조사한다. 피사체(400)는 조사부(220)에서 조사한 적외선 광을 반사시킬 뿐만 아니라, 태양광과 같은 자연광도 함께 반사시킨다. 따라서, 영상 생성 장치(100)로 입사되는 광은 피사체(400)에서 반사된 다양한 종류의 광으로써, 가시광 및 적외선 광뿐만 아니라, 다른 파장 대역의 광도 포함되어 있을 수 있다.

제 1 필터(230)는 영상 생성 장치(100)로 입사되는 광에서 가시광과 적외선 광에 해당하는 다중 파장 대역의 광을 통과시킨다. 제 2 필터(250)는 제어 신호에 따라 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시킨다.

제 2 필터(250)에서 특정 파장 대역의 광을 통과시키므로, 검출부(260)에 입사되는 광은 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광이다. 검출부(260)는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 광전 변환한 제 3 영상 신호를 검출한다. 본 발명의 제 3 실시예에 따라, 세 번째 영상 신호 검출에 이용되는, 제 1 필터(230) 및 제 2 필터(250)를 통과하는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광은 적외선 광을 조사하여 피사체(400)로부터 반사된 적외선 광이 된다.

영상 처리 장치(300)는 검출부(260)에서 검출한 제 1 영상 신호, 제 2 영상 신호 및 제 3 영상 신호를 전달받고, 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호와 제 3 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성할 수 있다. 구체적으로, 본 발명의 제 3 실시예에 따른 차분 영상 신호는 가시광에 해당하므로 이로부터 컬러 영상을 생성하고, 제 3 영상 신호는 적외선 광에 해당하므로 이로부터 깊이 영상을 생성할 수 있다.

제 3 실시예에 따른 컬러 영상과 깊이 영상을 생성하는 과정은 해상도가 서로 다른 컬러 영상과 깊이 영상을 생성하고자 할 때 적용될 수 있다. 즉, 해상도가 서로 다른 컬러 영상과 깊이 영상을 생성하기 위해서는 같은 해상도를 가지는 두 개의 영상 신호와 다른 해상도를 가지는 한 개의 영상 신호가 필요하다.

일반적으로, 검출부(260)에서 검출되는 적외선 광의 감도가 약하기 때문에, 깊이 영상을 생성하기 위해 여러 픽셀을 하나의 픽셀로 사용하는 픽셀 binning 기법이 이용될 수 있다. 이와 같은 binning 기법을 적용할 경우, binning 기법을 적용하지 않은 영상 신호와 해상도가 달라지기 때문에 차분 영상 신호를 획득할 수가 없게 된다. 따라서, 도 4의 제 1 실시예와 도 8의 제 2 실시예와 달리, 도 9의 제 3 실시예는 세 번의 영상 신호 검출 과정에 따른 제 1 영상 신호, 제 2 영상 신호, 및 제 3 영상 신호를 검출한다. 같은 해상도를 가지는 제 1 영상 신호와 제 2 영상 신호를 이용하여 차분 영상 신호를 획득하고, 이로부터 컬러 영상을 생성할 수 있다. 그리고, binning 기법 적용에 따라 다른 해상도를 가지는 제 3 영상 신호로부터 깊이 영상을 생성할 수 있다.

도 10은 본 발명의 일 실시예에 따라 컬러 영상 및 깊이 영상을 생성하는 방법을 나타낸 흐름도이다. 이하, 생략된 내용이라 하더라도 영상 생성 장치(100)에 관하여 이상에서 기술된 내용은 본 발명의 일 실시예에 따른 컬러 영상 및 깊이 영상을 생성하는 방법에도 적용될 수 있다.

영상 생성 장치(100)는 피사체(400)로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터링을 수행한다.(S 1010)

피사체(400)로부터 반사된 광은 소정의 주파수로 변조된 적외선 광을 피사체(400)에 조사하여 파사체로부터 반사된 적외선 광과 피사체(400)로부터 반사된 자연광을 포함할 수 있다. 제 1 필터링이 수행된 다중 파장 대역의 광은 적외선 광을 피사체(400)에 조사하여 피사체(400)로부터 반사된 적외선 광과 피사체(400)로부터 반사된 자연광 중 가시광을 포함할 수 있다.

제 1 필터링은 피사체(400)로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터(230)와 제어 신호에 따라, 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터(250)를 이용하여 수행될 수 있다. 제 2 필터(250)는 제어 신호에 따라 통과시킬 수 있는 파장 대역의 광이 변하는 가변 필터가 될 수 있다. 예를 들어, 제 2 필터(250)는 제어 신호가 소정 임계치 이하의 전압이면 전 파장 대역의 광을 통과시키고, 제어 신호가 소정 임계치를 초과하는 전압이면 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시킬 수 있다. 즉, 제 2 필터(250)의 동작에 따라, 제 1 필터(230)를 통과한 다중 파장 대역의 광이 그대로 통과하거나 제 1 필터(230)를 통과한 다중 파장 대역의 광 중 특정 파장 대역의 광만 통과할 수도 있다. 따라서, 제 1 필터링은 제 1 필터(230)와 제 2 필터(250)를 이용하되, 제 2 필터(250)에 소정 임계치 이하의 전압을 제어 신호로 출력하여 제 1 필터(230)를 통과한 다중 파장 대역의 광이 제 2 필터(250)를 그대로 통과하도록 제어함으로써 수행될 수 있다.

영상 생성 장치(100)는 제 1 필터링이 수행된 다중 파장 대역의 광을 광전 변환하여 제 1 영상 신호를 검출한다.(S 1020) 영상 생성 장치(100)는 광전 변환에 의해 변환된 전하들에 대응되는 값들을 영상 신호로 검출한다. 제 1 필터링이 수행된 다중 파장 대역의 광을 광전 변환한 제 1 영상 신호는 영상 처리 과정에 이용된다.

영상 생성 장치(100)는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터링을 수행한다.(S 1030)

제 1 필터링이 수행된 다중 파장 대역의 광은 적외선 광을 피사체(400)에 조사하여 피사체(400)로부터 반사된 적외선 광과 피사체(400)로부터 반사된 자연광 중 가시광을 포함할 수 있는데, 제 2 필터링은 이 중 특정 파장 대역의 광만 통과시키는 것이다. 즉, 제 2 필터링에 의해 피사체(400)로부터 반사된 적외선 광만 통과시키거나, 반대로 피사체(400)로부터 반사된 자연광 중 가시광만 통과시킬 수 있다.

즉, 제 2 필터링은 피사체(400)로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터(230)와 제어 신호에 따라, 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터(250)를 이용하여 수행될 수 있다. 제 2 필터링은 제 1 필터(230)와 제 2 필터(250)를 이용하되, 제 2 필터(250)에 소정 임계치를 초과하는 전압을 제어 신호로 출력하여 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광이 제 2 필터(250)를 통과하도록 제어함으로써 수행될 수 있다. 제 2 필터(250)가 어떤 특정 파장 대역의 광을 통과시킬 것인지는 제 2 필터(250) 자체의 특성에 따른다.

영상 생성 장치(100)는 제 2 필터링이 수행된 특정 파장 대역의 광을 광전 변환하여 제 2 영상 신호를 검출한다.(S 1040) 제 2 필터링이 수행된 특정 파장 대역의 광을 광전 변환한 제 2 영상 신호는 영상 처리 과정에 이용된다.

제 1 필터링과 제 2 필터링은 순서에 무관하므로, 제 1 필터링 후 제 2 필터링을 수행하거나, 제 2 필터링 후 제 1 필터링을 수행하여도 된다.

영상 생성 장치(100)는 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호와 제 2 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성한다.(S 1050) 이하, 도 11을 이용하여, 상세히 설명한다.

도 11은 차분 영상 신호와 제 2 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성하는 단계를 구체적으로 나타낸 상세 흐름도이다.

영상 생성 장치(100)는 제 1 영상 신호와 제 2 영상 신호를 획득한다.(S 1110) 구체적으로, 제 1 필터링이 수행된 다중 파장 대역의 광을 광전 변환하여 제 1 영상 신호를 검출하고, 제 2 필터링이 수행된 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 광전 변환하여 제 2 영상 신호를 검출함으로써, 제 1 영상 신호와 제 2 영상 신호를 획득할 수 있다.

영상 생성 장치(100)는 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호를 획득한다.(S 1120) 제 1 영상 신호는 제 1 필터링이 수행된 다중 파장 대역의 광을 광전 변환한 것으로, 제 1 필터링이 수행된 다중 파장 대역의 광은 적외선 광을 피사체(400)에 조사하여 피사체(400)로부터 반사된 적외선 광과 피사체(400)로부터 반사된 자연광 중 가시광을 포함할 수 있다. 한편, 제 2 필터링이 수행된 특정 파장 대역의 광이 무엇인지에 따라 제 2 영상 신호가 달라지고, 차분 영상 신호의 종류도 달라진다. 따라서, 이하, 특정 파장 대역의 광이 적외선인 경우와 가시광인 경우를 나누어 컬러 영상과 깊이 영상을 생성하는 과정을 살펴본다.

먼저, 제 2 필터링이 수행된 특정 파장 대역의 광이 적외선 광인 경우, 영상 생성 장치(100)는 제 2 영상 신호를 이용하여 깊이 영상을 생성한다.(S 1130) 제 2 필터링이 수행된 적외선 광을 광전 변환한 제 2 영상 신호는 깊이 영상의 생성에 이용될 수 있다.

영상 생성 장치(100)는 차분 영상 신호를 이용하여 컬러 영상을 생성한다.(S 1140) 제 2 영상 신호가 제 2 필터링이 수행된 적외선 광을 광전 변환한 것이므로, 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호는 피사체(400)로부터 반사된 자연광 중 가시광을 광전 변환한 신호에 해당한다. 따라서, 가시광을 광전 변환한 차분 영상 신호는 컬러 영상의 생성에 이용될 수 있다.

반대로, 제 2 필터링이 수행된 특정 파장 대역의 광이 가시광인 경우, 영상 생성 장치(100)는 제 2 영상 신호를 이용하여 컬러 영상을 생성한다.(S 1150) 제 2 필터링이 수행된 가시광을 광전 변환한 제 2 영상 신호는 컬러 영상의 생성에 이용될 수 있다.

영상 생성 장치(100)는 차분 영상 신호를 이용하여 깊이 영상을 생성한다.(S 1160) 제 2 영상 신호가 제 2 필터링이 수행된 가시광을 광전 변환한 것이므로, 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호는 적외선 광을 피사체(400)에 조사하여 피사체(400)로부터 반사된 적외선 광을 광전 변환한 신호에 해당한다. 따라서, 적외선 광을 광전 변환한 차분 영상 신호는 깊이 영상의 생성에 이용될 수 있다.

도 12는 본 발명의 다른 실시예에 따라 컬러 영상 및 깊이 영상을 생성하는 방법을 나타낸 흐름도이다. 이하, 생략된 내용이라 하더라도 영상 생성 장치(100)에 관한여 이상에서 기술된 내용은 본 발명의 일 실시예에 따른 컬러 영상 및 깊이 영상을 생성하는 방법에도 적용될 수 있다.

도 12를 참조하면, 영상 생성 장치(100)는 세 번의 영상 신호 검출 과정을 수행함을 알 수 있다. 특히, 첫 번째 영상 신호와 두 번째 영상 신호를 검출하는 과정에서 조사부(220)는 광을 조사하지 않고, 세 번째 영상 신호를 검출하는 과정에서만 조사부(220)가 피사체(400)를 향해 소정의 주파수로 변조된 적외선 광을 조사함을 알 수 있다. 이하, 제 1 필터링, 제 2 필터링, 및 제 3 필터링에 의해 각각 영상 신호를 검출하는 과정과 이로부터 컬러 영상 및 깊이 영상을 생성하는 과정을 설명한다.

영상 생성 장치(100)는 피사체(400)로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터링을 수행한다.(S 1210)

첫 번째 영상 신호 검출 과정에서는 피사체(400)를 향해 소정의 주파수로 변조된 적외선 광을 조사하지 않기 때문에, 피사체(400)로부터 반사된 광은 태양광과 같은 자연광으로써, 자연광에 존재하는 가시광 및 적외선 광, 기타 다른 파장 대역의 광도 포함되어 있을 수 있다.

제 1 필터링은 피사체(400)로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터(230)와 제어 신호에 따라, 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터(250)를 이용하여 수행될 수 있다. 제 2 필터(250)는 제어 신호에 따라 통과시킬 수 있는 파장 대역의 광이 변하는 가변 필터가 될 수 있다. 제 1 필터링은 제 1 필터(230)와 제 2 필터(250)를 이용하되, 제 2 필터(250)에 소정 임계치 이하의 전압을 제어 신호로 출력하여 제 1 필터(230)를 통과한 다중 파장 대역의 광이 제 2 필터(250)를 그대로 통과하도록 제어함으로써 수행될 수 있다.

영상 생성 장치(100)는 제 1 필터링이 수행된 다중 파장 대역의 광을 광전 변환하여 제 1 영상 신호를 검출한다.(S 1220) 영상 생성 장치(100)는 광전 변환에 의해 변환된 전하들에 대응되는 값들을 영상 신호로 검출한다. 제 1 필터링이 수행된 다중 파장 대역의 광은 피사체(400)로부터 반사된 자연광 중 가시광과 적외선 광이고, 이를 광전 변환한 제 1 영상 신호는 영상 처리 과정에 이용된다.

영상 생성 장치(100)는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터링을 수행한다.(S 1230)

두 번째 영상 신호 검출 과정에서도 피사체(400)를 향해 소정의 주파수로 변조된 적외선 광을 조사하지 않기 때문에, 피사체(400)로부터 반사된 광은 태양광과 같은 자연광으로써, 자연광에 존재하는 가시광 및 적외선 광, 기타 다른 파장 대역의 광도 포함되어 있을 수 있다.

제 2 필터링은 피사체(400)로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터(230)와 제어 신호에 따라, 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터(250)를 이용하여 수행될 수 있다. 제 2 필터링은 제 1 필터(230)와 제 2 필터(250)를 이용하되, 제 2 필터(250)에 소정 임계치를 초과하는 전압을 제어 신호로 출력하여 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광이 제 2 필터(250)를 통과하도록 제어함으로써 수행될 수 있다. 본 발명의 실시예에 따라 제 2 필터링이 수행된 특정 파장 대역의 광은 피사체(400)로부터 반사된 자연광 중 적외선 광이다.

영상 생성 장치(100)는 제 2 필터링이 수행된 특정 파장 대역의 광을 광전 변환하여 제 2 영상 신호를 검출한다.(S 1240) 제 2 필터링이 수행된 특정 파장 대역의 광은 피사체(400)로부터 반사된 자연광 중 적외선 광이고, 이를 광전 변환한 제 2 영상 신호는 영상 처리 과정에 이용된다.

영상 생성 장치(100)는 소정의 주파수로 변조된 적외선 광을 피사체(400)에 조사한다.(S 1250) 피사체(400)는 영상 생성 장치(100)에서 조사한 적외선 광을 반사시킬 뿐만 아니라, 태양광과 같은 자연광도 함께 반사시킨다. 따라서, 영상 생성 장치(100)로 입사되는 광은 피사체(400)에서 반사된 다양한 종류의 광으로써, 가시광 및 적외선 광뿐만 아니라, 다른 파장 대역의 광도 포함되어 있을 수 있다.

영상 생성 장치(100)는 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 3 필터링을 수행한다.(S 1260)

제 3 필터링은 피사체(400)로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터(230)와 제어 신호에 따라, 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터(250)를 이용하여 수행될 수 있다. 제 3 필터링은 제 1 필터(230)와 제 2 필터(250)를 이용하되, 제 2 필터(250)에 소정 임계치를 초과하는 전압을 제어 신호로 출력하여 제 1 필터(230)를 통과한 다중 파장 대역의 광에 포함된 특정 파장 대역의 광이 제 2 필터(250)를 통과하도록 제어함으로써 수행될 수 있다. 본 발명의 실시예에 따라 제 3 필터링이 수행된 특정 파장 대역의 광은 적외선 광을 조사하여 피사체(400)로부터 반사된 적외선 광이다.

영상 생성 장치(100)는 제 3 필터링이 수행된 특정 파장 대역의 광을 광전 변환하여 제 3 영상 신호를 검출한다.(S 1270) 제 3 필터링이 수행된 특정 파장 대역의 광은 적외선 광을 조사하여 피사체(400)로부터 반사된 적외선 광이고, 이를 광전 변환한 제 3 영상 신호는 영상 처리 과정에 이용된다.

영상 생성 장치(100)는 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호와 제 3 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성한다.(S 1280) 이하, 도 13을 이용하여, 상세히 설명한다.

도 13은 차분 영상 신호와 제 3 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성하는 단계를 구체적으로 나타낸 상세 흐름도이다.

영상 생성 장치(100)는 제 1 영상 신호, 제 2 영상 신호 및 제 3 영상 신호를 획득한다.(S 1310) 구체적으로, 제 1 필터링이 수행된 다중 파장 대역의 광을 광전 변환하여 제 1 영상 신호를 검출하고, 제 2 필터링이 수행된 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 광전 변환하여 제 2 영상 신호를 검출하며, 제 3 필터링이 수행된 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 광전 변환하여 제 3 영상 신호를 검출함으로써, 제 1 영상 신호, 제 2 영상 신호 및 제 3 영상 신호를 획득할 수 있다. 제 1 필터링이 수행된 다중 파장 대역의 광은 피사체(400)로부터 반사된 자연광 중 가시광과 적외선 광이고, 제 2 필터링이 수행된 특정 파장 대역의 광은 피사체(400)로부터 반사된 자연광 중 적외선 광이며, 제 3 필터링이 수행된 특정 파장 대역의 광은 적외선 광을 조사하여 피사체(400)로부터 반사된 적외선 광이다.

영상 생성 장치(100)는 제 1 영상 신호에서 제 2 영상 신호를 제거한 차분 영상 신호를 획득한다.(S 1320) 제 1 영상 신호는 제 1 필터링이 수행된 다중 파장 대역의 광을 광전 변환한 것으로, 제 1 필터링이 수행된 다중 파장 대역의 광은 피사체(400)로부터 반사된 자연광 중 가시광과 적외선 광을 포함할 수 있다. 제 2 영상 신호는 제 2 필터링이 수행된 특정 파장 대역의 광을 광전 변환한 것으로, 제 2 필터링이 수행된 특정 파장 대역의 광은 피사체(400)로부터 반사된 자연광 중 적외선 광이다. 따라서, 차분 영상 신호는 파사체로부터 반사된 자연광 중 가시광을 광전 변환한 것에 해당하는 신호가 된다.

영상 생성 장치(100)는 차분 영상 신호를 이용하여 컬러 영상을 생성한다.(S 1330) 가시광을 광전 변환한 것에 해당하는 차분 영상 신호는 컬러 영상의 생성에 이용될 수 있다.

영상 생성 장치(100)는 제 3 영상 신호를 이용하여 깊이 영상을 생성한다.(S 1340) 제 3 필터링이 수행된, 적외선 광을 조사하여 피사체(400)로부터 반사된 적외선 광을 광전 변환한 제 3 영상 신호는 깊이 영상의 생성에 이용될 수 있다.

한편, 상술한 본 발명의 실시예에 따른 컬러 영상 및 깊이 영상을 생성하는 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 이와 같은 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 이와 같은 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100 ... 영상 생성 장치
200 ... 영상 촬상 장치
210 ... 제어부
220 ... 조사부
230 ... 제 1 필터
240 ... 렌즈
250 ... 제 2 필터
260 ... 검출부
300 ... 영상 처리 장치
310 ... 차분 영상 신호 획득부
320 ... 깊이 값 계산부
330 ... 컬러 영상 생성부
340 ... 깊이 영상 생성부
400 ... 피사체
410 ... 조사광
420 ... 반사광

Claims

피사체로부터 반사된 광을 이용하여 영상을 생성하는 장치에 있어서,
상기 피사체로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터;
제어 신호에 따라, 상기 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터;
상기 다중 파장 대역의 광을 광전 변환한 제 1 영상 신호와 상기 특정 파장 대역의 광을 광전 변환한 제 2 영상 신호를 검출하는 검출부; 및
상기 제 1 영상 신호에서 상기 제 2 영상 신호를 제거한 차분 영상 신호와 상기 제 2 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성하는 영상 처리 장치;
를 포함하는 영상 생성 장치.
제 1 항에 있어서,
소정의 주파수로 변조된 적외선 광을 상기 피사체에 조사하는 조사부를 더 포함하고,
상기 다중 파장 대역의 광은 상기 적외선 광을 조사하여 상기 피사체로부터 반사된 적외선 광과 상기 피사체로부터 반사된 가시광을 포함하는 영상 생성 장치.
제 2 항에 있어서,
상기 영상 처리 장치는 상기 특정 파장 대역의 광이 상기 반사된 적외선 광인 경우, 상기 제 2 영상 신호를 이용하여 상기 깊이 영상을 생성하고, 상기 차분 영상 신호를 이용하여 상기 컬러 영상을 생성하는 영상 생성 장치.
제 2 항에 있어서,
상기 영상 처리 장치는 상기 특정 파장 대역의 광이 상기 가시광인 경우,상기 제 2 영상 신호를 이용하여 상기 컬러 영상을 생성하고, 상기 차분 영상 신호를 이용하여 상기 깊이 영상을 생성하는 영상 생성 장치.
제 1 항에 있어서,
소정의 주파수로 변조된 적외선 광을 상기 피사체에 조사하는 조사부를 더 포함하고,
상기 검출부는 상기 적외선 광의 조사 없이 상기 제 1 영상 신호와 제 2 영상 신호를 검출하고, 상기 적외선 광을 조사하여 상기 피사체로부터 반사된 적외선 광을 포함한 상기 피사체로부터 반사된 광을 상기 제 1 필터 및 상기 제 2 필터를 통과시켜 광전 변환한 제 3 영상 신호를 검출하며,
상기 영상 처리 장치는 상기 제 1 영상 신호에서 상기 제 2 영상 신호를 제거한 차분 영상 신호와 상기 제 3 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성하는 영상 생성 장치.
제 5 항에 있어서,
상기 검출부는 상기 피사체로부터 반사된 자연광을 상기 제 1 필터 및 제 2 필터를 통과시켜 광전 변환하여 상기 제 1 영상 신호와 상기 제 2 영상 신호를 검출하는 영상 생성 장치.
제 5 항에 있어서,
상기 영상 처리 장치는 상기 차분 영상 신호를 이용하여 상기 컬러 영상을 생성하고, 상기 제 3 영상 신호를 이용하여 깊이 영상을 생성하는 영상 생성 장치.
제 5 항에 있어서,
상기 컬러 영상과 상기 깊이 영상은 해상도가 다른 영상 생성 장치.
제 1 항에 있어서,
상기 피사체로부터 반사된 광은 상기 제 1 필터 및 상기 제 2 필터를 순차적으로 통과하는 입력되는 영상 생성 장치.
제 1 항에 있어서,
제 2 필터는 상기 제어 신호가 소정 임계치 이하의 전압이면 전 파장 대역의 광을 통과시키고, 상기 제어 신호가 소정 임계치를 초과하는 전압이면 상기 특정 파장 대역의 광을 통과시키는 영상 생성 장치.
제 1 항에 있어서,
상기 제 2 필터를 제어하여 상기 제 1 필터 및 상기 제 2 필터를 통과하는 광을 결정하는 제어부를 더 포함하는 영상 생성 장치.
피사체로부터 반사된 광을 이용하여 영상을 생성하는 방법에 있어서,
상기 피사체로부터 반사된 광에 포함된 다중 파장 대역의 광을 통과시키는 제 1 필터링을 수행하는 단계;
상기 다중 파장 대역의 광을 광전 변환하여 제 1 영상 신호를 검출하는 단계;
상기 다중 파장 대역의 광에 포함된 특정 파장 대역의 광을 통과시키는 제 2 필터링을 수행하는 단계;
상기 특정 파장 대역의 광을 광전 변환하여 제 2 영상 신호를 검출하는 단계; 및
상기 제 1 영상 신호에서 상기 제 2 영상 신호를 제거한 차분 영상 신호와 상기 제 2 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성하는 단계;
를 포함하는 영상 생성 방법.
제 12 항에 있어서,
소정의 주파수로 변조된 적외선 광을 상기 피사체에 조사하는 단계를 더 포함하고,
상기 다중 파장 대역의 광은 상기 적외선 광을 조사하여 상기 피사체로부터 반사된 적외선 광과 상기 피사체로부터 반사된 가시광을 포함하는 영상 생성 방법.
제 13 항에 있어서,
상기 컬러 영상과 상기 깊이 영상을 생성하는 단계는 상기 특정 파장 대역의 광이 상기 반사된 적외선 광인 경우, 상기 제 2 영상 신호를 이용하여 상기 깊이 영상을 생성하고, 상기 차분 영상 신호를 이용하여 상기 컬러 영상을 생성하는 영상 생성 방법.
제 13 항에 있어서,
상기 컬러 영상과 상기 깊이 영상을 생성하는 단계는 상기 특정 파장 대역의 광이 상기 가시광인 경우, 상기 제 2 영상 신호를 이용하여 상기 컬러 영상을 생성하고, 상기 차분 영상 신호를 이용하여 상기 깊이 영상을 생성하는 영상 생성 방법.
제 12 항에 있어서,
소정의 주파수로 변조된 적외선 광을 상기 피사체에 조사하는 단계;
상기 적외선 광을 조사하여 상기 피사체로부터 반사된 적외선 광을 포함하는 상기 피사체로부터 반사된 광에 포함된 상기 특정 파장 대역의 광을 통과시키는 제 3 필터링을 수행하는 단계; 및
상기 제 3 필터링이 수행된 특정 파장 대역의 광을 광전 변환하여 제 3 영상 신호를 검출하는 단계;
를 더 포함하고,
상기 컬러 영상과 깊이 영상을 생성하는 단계는 상기 제 1 영상 신호에서 상기 제 2 영상 신호를 제거한 차분 영상 신호와 상기 제 3 영상 신호를 이용하여 컬러 영상과 깊이 영상을 생성하는 영상 생성 방법.
제 16 항에 있어서,
상기 제 1 필터링을 수행하는 단계는 상기 피사체로부터 반사된 자연광에 포함된 상기 다중 파장 대역의 광을 통과시키고,
상기 제 2 필터링을 수행하는 단계는 상기 피사체로부터 반사된 자연광에 포함된 상기 특정 파장 대역의 광을 통과시키는 영상 생성 방법.
제 16 항에 있어서,
상기 컬러 영상과 깊이 영상을 생성하는 단계는 상기 차분 영상 신호를 이용하여 상기 컬러 영상을 생성하고, 상기 제 3 영상 신호를 이용하여 깊이 영상을 생성하는 영상 생성 방법.
제 16 항에 있어서,
상기 컬러 영상과 상기 깊이 영상은 해상도가 다른 영상 생성 방법.
제 12 항 내지 제 19 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.