KR20140050530A

KR20140050530A - 영상 획득 장치 및 영상 획득 방법

Info

Publication number: KR20140050530A
Application number: KR1020130106780A
Authority: KR
Inventors: 이동우; 정현태; 손용기; 조일연
Original assignee: 한국전자통신연구원
Priority date: 2012-10-19
Filing date: 2013-09-05
Publication date: 2014-04-29

Abstract

본 발명의 실시예에 따르면 영상 획득 장치가 제공된다. 상기 영상 획득 장치는, 복수의 광원이 발광하는 광을 이용하여 복수의 투사광 패턴을 생성하고, 생성된 복수의 투사광 패턴을 대상 객체에 투사하는 패턴 생성부; 상기 복수의 투사광 패턴에 의해 상기 대상 객체에 형성된 패턴 이미지를 획득하는 패턴 획득부; 및 상기 패턴 이미지를 이용해 상기 대상 객체의 3차원 영상을 생성하는 연산부를 포함한다.

Description

영상 획득 장치 및 영상 획득 방법{DEVICE AND METHOD OF OBTAINING IMAGE}

본 발명은 대상 객체의 3차원 영상을 획득하는 영상 획득 장치 및 상기 영상획득 장치의 영상 획득 방법에 관한 것이다.

대상 객체의 3차원 깊이 영상을 획득하는 방법에는 여러 가지가 있다. 구체적으로, 스테레오 카메라를 이용하는 방법, TOF(Time of Flight) 카메라를 이용하는 방법, 대상 객체에 투사된 특정 패턴을 이용하는 방법 등이 있다.

대상 객체에 패턴을 투사하는 방법은 다양하다. 그 예로써, Joaquim Salvi의 “A state of the art in structured light patterns for surface profilometry”논문과, J. Batlle의 “RECENT PROGRESS IN CODED STRUCTURED LIGHT AS A TECHNIQUE TO SOLVE THE CORRESPONDENCE PROBLEM: A SURVEY” 논문에 기술된 방법들이 있다.

최근 MS사가 키넥트(Kinect) 센서를 선보이면서, 3차원 깊이 영상을 이용한 응용 분야가 획기적으로 늘어나고 있는 추세이다.

미국 공개 특허 US 2010/0118123는 코드로 이루어진 패턴을 이용한 3차원 깊이 영상 획득 방법을 개시하고 있다. 상기 미국 공개 특허에 개시된 영상 획득 장치는 하나의 패턴 투사장치, 하나의 카메라, 및 연산을 위한 프로세서를 포함한다. 패턴 투사 장치가 패턴을 객체에 투사하고, 이미지 획득부가 상기 패턴이 투사된 객체의 이미지를 획득하고, 프로세서가 연산을 통해 객체의 3차원 깊이 영상을 생성한다.

한편, 종래 영상 획득 장치는, 객체에 투사된 패턴으로부터 3차원 깊이를 계산하기 위해서 복잡한 연산 과정을 수행한다. 따라서, 종래 기술은 복잡한 연산 과정을 수행하기 위해서 고성능의 프로세서가 필요하다.

한편, 종래 기술은 투사된 패턴을 이루는 스팟(spot)의 물리적인 크기 때문에 해상도에 한계가 있다. 구체적으로, 종래 기술은 하나의 광원, 그리고 하나의 고정된(fixed) 패턴을 투사하는 패턴 투사장치를 사용한다. 이 경우에, 투사된 패턴으로부터 얻을 수 있는 3차원 영상 정보의 x, y축 해상도는 카메라의 해상도, 투사된 패턴을 이루는 스팟의 크기, 그리고 패턴의 스팟들로 이루어진 코드의 크기에 의해서 결정된다. 결국, 투사된 패턴으로부터 얻을 수 있는 3차원 영상 정보의 x, y축 해상도는 카메라의 해상도보다 크게 낮아진다.

카메라의 해상도가 정해지면, 카메라로 읽을 수 있는 스팟의 크기 및 코드의 크기가 정해진다. 카메라를 통해 이미지가 획득된 경우에 패턴을 이루는 스팟이 주변의 이웃 스팟과 분리되어 있어야, 안정적인 영상 처리가 수행될 수 있고, 영상 처리를 위한 연산량을 줄일 수 있다. 만약 패턴을 이루는 스팟이 이웃한 스팟과 인접하거나 겹치게 되면, 영상 처리 과정에서 스팟 검출(detection)의 오류가 증가하게 되고 상기 오류를 처리하기 위해 더욱 복잡한 연산이 수행된다.

본 발명이 해결하고자 하는 과제는, 영상 처리를 위한 연산량을 최소화하고, 고해상도의 3차원 깊이 영상을 얻을 수 있는 영상 획득 장치 및 영상 획득 방법을 제공하는 것이다.

본 발명의 실시예에 따르면 영상 획득 장치가 제공된다. 상기 영상 획득 장치는, 복수의 광원을 이용하여 복수의 투사광 패턴을 생성하고, 상기 생성된 복수의 투사광 패턴을 대상 객체에 투사하는 패턴 생성부; 상기 복수의 투사광 패턴에 의해 상기 대상 객체에 형성된 패턴 이미지를 획득하는 패턴 획득부; 및 상기 패턴 이미지를 이용해 상기 대상 객체의 3차원 영상을 생성하는 연산부를 포함한다.

상기 복수의 광원은 서로 다른 주파수 대역을 가지고, 상기 복수의 투사광 패턴 각각은 상기 복수의 광원 각각에 대응하고 서로 다른 패턴일 수 있다.

상기 복수의 광원은 제1 주파수 대역을 가지는 제1 광원 및 제2 주파수 대역을 가지는 제2 광원을 포함한다. 상기 패턴 생성부는 상기 제1 광원으로부터 광을 모으는 제1 렌즈; 상기 제1 렌즈에 의해 모아진 광을 회절시켜 상기 복수의 투사광 패턴 중 제1 투사광 패턴을 생성하는 제1 광회절부; 및 상기 제1 주파수 대역을 가지는 상기 제1 투사광 패턴만을 반사하는 제1 거울을 포함한다.

상기 패턴 생성부는 상기 제2 광원으로부터 광을 모으는 제2 렌즈; 및 상기 제2 렌즈에 의해 모아진 광을 회절시켜 상기 복수의 투사광 패턴 중 제2 투사광 패턴을 생성하는 제2 광회절부를 더 포함할 수 있다. 여기서 상기 제2 투사광 패턴은 상기 제1 거울을 투과한다.

상기 패턴 생성부는 상기 제1 거울에 의해 반사된 상기 제1 투사광 패턴과 상기 제1 거울을 투과한 상기 제2 투사광 패턴을 입력받아 상기 대상 객체에 투사하는 제3 렌즈를 더 포함할 수 있다.

상기 제1 광원은 발광 다이오드(LED: Light Emitting Diode) 광원 및 레이저광원 중 어느 하나이고, 상기 제2 광원은 상기 LED 광원 및 상기 레이저 광원 중 어느 하나이다.

상기 패턴 획득부는 상기 제1 주파수 대역의 광만을 반사하는 제1 거울; 및 상기 제1 거울에 의해 반사된 광을 통해, 상기 패턴 이미지 중 상기 제1 광원에 대응하는 제1 패턴 이미지를 획득하는 제1 이미지 센서를 포함한다.

상기 패턴 획득부는 상기 제1 거울을 투과한 상기 제2 주파수 대역의 광을 통해, 상기 패턴 이미지 중 상기 제2 광원에 대응하는 제2 패턴 이미지를 획득하는 제2 이미지 센서를 더 포함할 수 있다.

상기 복수의 투사광 패턴 각각은 상기 3차원 영상을 생성하는데 필요한 서로 다른 정보 각각에 대응한다.

또한, 본 발명의 다른 실시예에 따르면, 대상 객체의 3차원 영상을 획득하는 영상 획득 장치의 영상 획득 방법이 제공된다. 상기 영상 획득 방법은, 제1 광원이 발광하는 제1 주파수 대역의 제1 광을 이용하여 제1 투사광 패턴을 생성하는 단계; 제2 광원이 발광하는 제2 주파수 대역의 제2 광을 이용하여 상기 제1투사광 패턴과 다른 제2 투사광 패턴을 생성하는 단계; 상기 제1 투사광 패턴 및 상기 제2 투사광 패턴을 대상 객체에 투사하는 단계; 상기 제1 투사광 패턴 및 상기 제2 투사광 패턴에 의해 상기 대상 객체에 형성된 패턴 이미지를 획득하는 단계; 및 상기 패턴 이미지를 이용해 상기 대상 객체의 3차원 영상을 생성하는 단계를 포함한다.

또한, 본 발명의 또 다른 실시예에 따르면, 대상 객체의 3차원 영상을 획득하는 영상 획득 장치를 구성하고, 상기 대상 객체에 투사되는 투사광 패턴을 생성하는 패턴 생성부가 제공된다. 상기 패턴 생성부는, 제1 광원으로부터 제1 주파수 대역의 제1 광을 모으는 제1 렌즈; 제2 광원으로부터 제2 주파수 대역의 제2 광을 모으는 제2 렌즈; 제3 광원으로부터 제3 주파수 대역의 제3 광을 모으는 제3 렌즈; 상기 제1 렌즈에 의해 모아진 제1 광을 회절시켜 제1 투사광 패턴을 생성하고, 상기 제2 렌즈에 의해 모아진 제2 광을 회절시켜 제2 투사광 패턴을 생성하고, 상기 제3 렌즈에 의해 모아진 제3 광을 회절시켜 제3 투사광 패턴을 생성하는 광회절부; 상기 제1 투사광 패턴만을 반사하는 제1 다이크로익 거울; 및 상기 제2 투사광 패턴만을 반사하는 제2 다이크로익 거울을 포함한다. 여기서 상기 제2 투사광 패턴은 상기 제1 다이크로익 거울을 투과하고, 상기 제3 투사광 패턴은 상기 제1 및 제2 다이크로익 거울을 투과한다. 그리고 상기 제1 내지 제3 투사광 패턴은 서로 다른 패턴이다.

본 발명의 실시예에 따르면, 복수의 광원을 이용해 서로 다른 복수의 투사광패턴을 생성한다. 이를 통해, 하나의 광원을 이용해 하나의 투사광 패턴을 생성하는 경우보다, 투사광의 패턴을 이루는 스팟의 밀도를 더 높일 수 있다. 따라서 하나의 광원을 이용하는 경우보다 더 높은 고해상도의 3차원 깊이 영상 정보를 획득할 수 있다. 즉, 카메라의 해상도와 스팟의 크기가 종래 기술과 동일한 경우에, 본 발명의 실시예에 따르면 종래 기술보다 더 높은 고해상도의 3차원 깊이 영상을 획득할 수 있다.

또한, 본 발명의 실시예에 따르면, 3차원 영상 처리를 위해 필요한 정보 각각에 대응하는 패턴 각각을 각 광원 별로 다르게 생성한다. 이를 통해, 종래 기술과 같이 3차원 영상 처리를 위해 필요한 정보 모두를 하나의 패턴에 담는 경우보다, 영상 처리 시간을 줄일 수 있다.

또한, 본 발명의 실시예에 따르면, 영상 처리 시에 거리에 따른 광원의 밝기 변화 값을 함께 고려함으로써, 영상 처리 오류를 줄여 영상 처리의 안정성을 높일 수 있고, 더욱 정교한 영상을 획득할 수 있다.

도 1은 본 발명의 실시예에 따른 영상 획득 장치를 나타낸 도면.
도 2는 도 1의 패턴 생성부의 일실시예를 나타낸 도면.
도 3은 도 1의 패턴 생성부의 다른 실시예를 나타낸 도면.
도 4는 도 1의 패턴 획득부의 일실시예를 나타낸 도면.
도 5는 도 1의 패턴 획득부의 다른 실시예를 나타낸 도면.
도 6은 복수의 광원을 이용한 패턴 생성의 일실시예를 나타낸 도면.
도 7은 본 발명의 실시예에 따른 영상 획득 과정을 나타낸 순서도.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 실시예에 따른 영상 획득 장치를 나타낸 도면이다.

본 발명의 실시예에 따른 영상 획득 장치는, 대상 객체(400)에 투사된 특정 패턴(예, 랜덤 반점 패턴(random speckle pattern) 등)을 이용해 대상 객체(400)의 3차원 깊이 영상을 얻는다.

본 발명의 실시예에 따른 영상 획득 장치는, 서로 다른 주파수 특성을 가지는 복수의 광원과 서로 다른 복수의 패턴을 이용한다.

대상 객체(400)의 3차원 깊이 영상을 획득하기 위해서, 이미 알고 있는 광원들의 거리(광원과 대상 객체(400) 간의 거리)에 따른 밝기(intensity) 변화 값을 이용하거나, 투사된 투사광 패턴의 코드를 이용할 수 있다. 거리에 따른 밝기의 변화를 이용하는 방식은 주변 환경의 영향을 많이 받기 때문에, 본 발명과 같이 코드화된 투사광 패턴을 이용하는 방식이 영상 처리의 에러율을 줄이고 영상 처리를 더욱 안정적으로 수행할 수 있다.

본 발명의 실시예에 따른 영상 획득 장치는, 패턴 생성부(100), 패턴 획득부(200), 및 연산부(300)를 포함한다.

패턴 생성부(100)는 복수의 광원을 포함한다. 패턴 생성부(100)는 각 광원에 대응하는 코드화된 투사광 패턴을 생성한다. 여기서 투사광 패턴 각각은 각 광원에 대응하고, 서로 다른 패턴이다. 그리고 투사광 패턴 각각은 3차원 영상 처리를 위해 필요한 정보 각각에 대응한다. 패턴 생성부(100)는 생성된 투사광 패턴을 대상 객체(400)에 투사한다.

패턴 획득부(200)는 투사광 패턴이 투사된 대상 객체(400)의 이미지(이하 패턴 이미지라 함)를 획득한다. 구체적으로, 패턴 획득부(200)는 패턴 이미지를 각 광원 별로 분리하여 획득한다. 즉, 패턴 획득부(200)는 각 광원에 대응하는 패턴 이미지를 획득한다.

연산부(300)는 패턴 획득부(200)에 의해 획득된 각 광원의 2차원 패턴 이미지를 기초로 대상 객체(400)의 3차원 깊이 영상을 생성한다.

도 2는 도 1의 패턴 생성부(100)의 일실시예를 나타낸 도면이다. 도 2에서는 패턴 생성부(100)가 2개의 광원(111, 112)을 포함하는 경우를 예시하였다.

패턴 생성부(100)는 2개의 광원(111, 112), 2개의 렌즈(121,122), 광회절부(131, 132), 다이크로익 거울(Dichroic Mirror, 141), 및 렌즈(150)를 포함한다.

광원(111, 112) 각각은 서로 다른 주파수 대역의 광을 발광한다. 구체적으로, 광원(111)은 제1 주파수 대역의 광을 발광하고, 광원(112)은 제2 주파수 대역의 광을 발광한다. 한편, 광원(111, 112)은 발광 다이오드(LED: Light Emitting Diode) 광원 및 레이저 광원 중 어느 하나일 수 있다.

렌즈(121, 122) 각각은 각 광원(111, 112)이 발광하는 광을 모은다. 한편, 렌즈(121, 122) 각각은 각 광원(111, 112)의 광을 평행광으로 변환하는 콜리메이터(collimator) 렌즈일 수 있다.

광회절부(131, 132) 각각은 각 렌즈(121, 122)에 의해 모아진 광을 회절시켜 투사광 패턴을 생성한다. 구체적으로, 광회절부(131, 132) 각각은 투명 광학 소자(미도시)를 포함한다. 투명 광학 소자는 다수의 마이크로 렌즈(micro-lenses)를 포함한다. 예를 들어, 광회절부(131)는 제1 패턴으로 배열된 다수의 마이크로 렌즈(micro-lenses)를 포함하는 제1 투명 광학 소자를 통해 제1 투사광 패턴을 생성하고, 광회절부(132)는 제1 패턴과 다른 제2 패턴으로 배열된 다수의 마이크로 렌즈를 포함하는 제2 투명 광학 소자를 통해 제1 투사광 패턴과 다른 제2 투사광 패턴을 생성할 수 있다. 한편, 광회절부(131, 132) 각각은 각 렌즈(121, 122)에 의해 모아진 광을 확산시켜 상기 투명 광학 소자로 출력하는 산광기(diffuser)를 더 포함할 수 있다. 한편, 광회절부(131, 132) 각각은 회절성 광학 소자(DOE: Diffractive Optical Element)로 구성될 수도 있다.

다이크로익 거울(141)은 특정 주파수 대역의 광만을 반사시킨다. 구체적으로, 다이크로익 거울(141)은 광회절부(131)로부터 출력되는 제1 투사광 패턴을 반사하고, 광회절부(132)로부터 출력되는 제2 투사광 패턴을 투과시킨다.

렌즈(150)는 다이크로익 거울(141)에 의해 반사된 제1 투사광 패턴과 다이크로익 거울(141)을 투과한 제2 투사광 패턴을 모으고, 모아진 투사광 패턴을 기설정된 투사각으로 대상 객체(400)에 투사한다. 이 경우에, 제1 투사광 패턴과 제2 투사광 패턴은 하나로 합쳐져 대상 객체(400)에 투사된다.

도 3은 도 1의 패턴 생성부(100)의 다른 실시예를 나타낸 도면이다. 도 3에서는 패턴 생성부(100)가 3개의 광원(111, 112, 113)을 포함하는 경우를 예시하였다.

도 2의 패턴 생성부(100)와 비교하면, 도 3의 패턴 생성부(100)는 광원(113), 렌즈(123), 광회절부(133), 및 다이크로익 거울(142)을 더 포함한다. 이하에서는 도 3의 구성 중에서 도 2와 차이가 있는 구성에 대해서 설명한다.

광원(113)은 광원(111, 112)과 다른 주파수 대역의 광을 발광한다. 구체적으로, 광원(113)은 제3 주파수 대역의 광을 발광한다. 한편, 광원(113)은 발광 다이오드 광원 및 레이저 광원 중 어느 하나일 수 있다.

렌즈(123)는 광원(113)이 발광하는 광을 모은다.

광회절부(133)는 렌즈(123)에 의해 모아진 광을 회절시켜 제3 투사광 패턴을 생성한다. 여기서 제3 투사광 패턴은 제1 및 제2 투사광 패턴과 다른 패턴이다.

다이크로익 거울(142)은 광회절부(133)로부터 출력되는 제3 투사광 패턴을 반사하고, 광회절부(132)로부터 출력되는 제2 투사광 패턴을 투과시킨다. 한편, 다이크로익 거울(141)은 다이크로익 거울(142)에 의해 반사된 제3 투사광 패턴을 투과시킨다.

렌즈(150)는 다이크로익 거울(141)에 의해 반사된 제1 투사광 패턴, 다이크로익 거울(142)에 의해 반사되고 다이크로익 거울(141)을 투과한 제3 투사광 패턴, 그리고 다이크로익 거울(141,142)을 투과한 제2 투사광 패턴을 모으고, 모아진 투사광 패턴을 기설정된 투사각으로 대상 객체(400)에 투사한다. 이 경우에, 제1 투사광 패턴 내지 제3 투사광 패턴은 하나로 합쳐져 대상 객체(400)에 투사된다.

한편, 도 2와 도 3에서는 광원의 개수가 2~3개인 경우를 예시하였으나, 광원의 개수는 필요에 따라 증감될 수 있다.

한편, 도 2와 도 3에서의 패턴 생성부(100)는 최종적으로 렌즈(150)를 통해 하나로 합쳐진 투사광 패턴을 대상 객체(400)에 투사한다. 이러한 구조는 복수의 광원(111~113)이 마치 하나의 광원처럼 동작하도록 설계된 구조이다. 한편, 패턴 생성부(100)는 도 2와 도 3에서의 구조와 달리, 복수의 광원 각각이 서로 다른 특정 위치에 배치되어 각 투사광 패턴이 서로 다른 특정 위치에서 대상 객체(400)에 투사되는 구조(즉, 복수의 광원 각각이 독립적으로 동작하는 구조)로 설계될 수도 있다.

도 4는 도 1의 패턴 획득부(200)의 일실시예를 나타낸 도면이다.

패턴 획득부(200)는 패턴 생성부(100)에서의 광원(111~113)의 개수와 동일한 개수의 이미지 센서(231~233)를 포함한다. 도 4에서는 3개의 광원(111~113)을 사용하는 패턴 생성부(110)에 대응하여, 3개의 이미지 센서(231~233)를 포함하는 패턴 획득부(200)를 예시하였다. 패턴 생성부(100)에서의 광원(111~113)의 개수에 따라, 패턴 획득부(200)의 이미지 센서(231~233) 등의 모듈의 개수는 증감할 수 있다.

패턴 획득부(200)는 두 개의 다이크로익 거울(211, 212), 3개의 렌즈(221~223), 및 3개의 이미지 센서(231~233)를 포함한다.

패턴 획득부(200)는 대상 객체(400)에 투사된 패턴 영상으로부터 각 광원에 대응하는 패턴 이미지를 분리한다. 구체적으로, 패턴 획득부(200)는 다이크로익 거울(211, 212)을 이용하여 특정 주파수 대역의 광만이 이미지 센서(image sensor, 231~233)에 전달되도록 한다. 이를 통해, 이미지 센서(231~233) 각각은 대상 객체(400)에 투사된 패턴 영상으로부터 각 광원(111~113)에 대응하는 패턴 이미지를 분리하여 수신할 수 있다.

구체적으로, 다이크로익 거울(211)은 광원(111)이 발광하는 제1 주파수 대역의 광만을 반사한다. 즉, 광원(112)이 발광하는 제2 주파수 대역의 광과 광원(113)이 발광하는 제3 주파수 대역의 광을 투과한다.

렌즈(221)는 다이크로익 거울(211)에 의해 반사된 제1 주파수 대역의 광을 모은다.

이미지 센서(231)는 렌즈(221)에 의해 모아진 광을 수신한다. 이미지 센서(231)는 수신된 광을 통해, 광원(111)에 대응하는 제1 패턴 이미지를 획득한다. 여기서, 제1 패턴 이미지는 제1 투사광 패턴이 대상 객체(400)에 투사된 경우에 대상 객체(400)에 형성되는 패턴 이미지에 해당한다.

다이크로익 거울(212)은 광원(113)이 발광하는 제3 주파수 대역의 광만을 반사한다. 즉, 광원(111)이 발광하는 제1 주파수 대역의 광과 광원(112)이 발광하는 제2 주파수 대역의 광을 투과한다.

렌즈(222)는 다이크로익 거울(211, 212)를 투과한 제2 주파수 대역의 광을 모은다.

이미지 센서(232)는 렌즈(222)에 의해 모아진 광을 수신한다. 이미지 센서(232)는 수신된 광을 통해, 광원(112)에 대응하는 제2 패턴 이미지를 획득한다. 여기서, 제2 패턴 이미지는 제2 투사광 패턴이 대상 객체(400)에 투사된 경우에 대상 객체(400)에 형성되는 패턴 이미지에 해당한다.

렌즈(223)는 다이크로익 거울(212)에 의해 반사된 제3 주파수 대역의 광을 모은다.

이미지 센서(233)는 렌즈(223)에 의해 모아진 광을 수신한다. 이미지 센서(233)는 수신된 광을 통해, 광원(113)에 대응하는 제3 패턴 이미지를 획득한다. 여기서, 제3 패턴 이미지는 제3 투사광 패턴이 대상 객체(400)에 투사된 경우에 대상 객체(400)에 형성되는 패턴 이미지에 해당한다.

도 5는 도 1의 패턴 획득부(200)의 다른 실시예를 나타낸 도면이다.

패턴 획득부(200)는 패턴 생성부(100)에서의 광원(111~113)의 개수와 동일한 개수의 영역을 가지는 회전 필터(250)를 포함한다. 도 5에서는 3개의 광원(111~113)을 사용하는 패턴 생성부(110)에 대응하여, 3개의 영역(251~253)을 가지는 회전 필터(250)를 포함하는 패턴 획득부(200)를 예시하였다.

패턴 획득부(200)는 회전형 필터(250), 렌즈(260), 및 이미지 센서(270)를 포함한다.

회전형 필터(250)는 3개의 광원(111~113)에 대응하여 3개의 영역(251~253)을 포함한다. 구체적으로, 회전형 필터(250)의 영역(251)은 광원(111)이 발광하는 제1 주파수 대역의 광만을 투과시키고, 회전형 필터(250)의 영역(252)은 광원(112)이 발광하는 제2 주파수 대역의 광만을 투과시키고, 회전형 필터(250)의 영역(253)은 광원(113)이 발광하는 제3 주파수 대역의 광만을 투과시킨다. 한편, 회전형 필터(250)는 이미지 센서(270)와 동기화된다. 구체적으로, 회전형 필터(250)는 기 설정된 시간에 따라 회전하는데, 회전형 필터(250)의 각 영역(251~253)은 시간 별로 이미지 센서(270)와 마주하게 된다. 즉, 제1 시간에 회전형 필터(250)의 영역(251)은 이미지 센서(270)와 마주하게 되어, 영역(251)을 투과한 광(제1 주파수 대역의 광)이 렌즈(260)를 거쳐 이미지 센서(270)에 도달한다. 그리고, 제2 시간에 회전형 필터(250)의 영역(252)은 이미지 센서(270)와 마주하게 되어, 영역(252)을 투과한 광(제2 주파수 대역의 광)이 렌즈(260)를 거쳐 이미지 센서(270)에 도달한다. 그리고, 제3 시간에 회전형 필터(250)의 영역(253)은 이미지 센서(270)와 마주하게 되어, 영역(253)을 투과한 광(제3 주파수 대역의 광)이 렌즈(260)를 거쳐 이미지 센서(270)에 도달한다.

렌즈(260)는 회전형 필터(250)를 통해 투과된 광을 모은다.

이미지 센서(270)는 렌즈(260)에 의해 모아진 광을 수신한다. 이미지 센서(270)는 수신된 광을 통해, 각 광원(111~113)에 대응하는 패턴 이미지를 획득한다.

결국, 도 5의 패턴 획득부(200)는 회전형 필터(250)와 이미지 센서(270)를 동기화함으로써, 하나의 이미지 센서(270)를 이용하여, 패턴 이미지를 각 광원(111~113) 별로 분리하여 획득할 수 있다.

도 6은 복수의 광원을 이용한 패턴 생성의 일실시예를 나타낸 도면이다. 도 6은 복수의 광원(111~113)을 이용하여 투사광 패턴을 생성하면, 대상 객체(400)에 투사되는 투사광 패턴의 밀도를 높일 수 있음을 보여준다. 도 6에서는 설명의 편의를 위해, 2개의 광원(111, 112)을 이용하여 투사광 패턴(P1, P2)을 생성하는 경우의 투사광 패턴(P3)의 밀도를 예시하였다.

광원(111)에 대응하는 제1 투사광 패턴(P1)은 스팟이 규칙적으로 배열되어 있는 정형(uniform) 패턴일 수 있다. 광원(112)에 대응하는 제2 투사광 패턴(P2)은 스팟이 불규칙적으로 배열되어 있는 비정형(non-uniform) 패턴일 수 있다.

투사광 패턴(P3)과 같이, 제1 투사광 패턴(P1)과 제2 투사광 패턴(P2)이 대상 객체(400)에 동시에 투사되면 대상 객체(400)에 투사되는 투사광 패턴(P3)의 밀도를 높일 수 있다.

한편, 광 패턴을 구성하는 모양은 원형의 스팟 형태뿐만 아니라 스트라이프(-) 형태, 또는 서로 다른 모양의 조합을 포함하는 다양한 형태일 수 있다.

도 7은 본 발명의 실시예에 따른 영상 획득 과정을 나타낸 순서도이다. 이하에서는 설명의 편의를 위해, 패턴 생성부(100)가 3개의 광원(111~113)을 사용하는 경우를 예로 들어 설명한다.

먼저, 패턴 생성부(100)는 각 광원(111~113)에 대응하는 투사광 패턴을 생성한다(S100). 즉, 패턴 생성부(100)는 광원(111)에 대응하는 제1 투사광 패턴, 광원(112) 대응하는 제2 투사광 패턴, 그리고 광원(113)에 대응하는 제3 투사광 패턴을 생성한다.

패턴 생성부(100)는 제1 내지 제3 투사광 패턴을 대상 객체(400)에 투사한다(S200).

패턴 획득부(200)는 제1 내지 제3 투사광 패턴에 의해 대상 객체(400)에 형성된 패턴 영상으로부터 각 광원(111~113)에 대응하는 패턴 이미지를 분리하여 획득한다(S300). 구체적으로, 패턴 획득부(200)는 광원(111)에 대응하는 제1 패턴 이미지, 광원(112)에 대응하는 제2 패턴 이미지, 그리고 광원(113)에 대응하는 제3 패턴 이미지를 획득한다.

연산부(300)는 획득된 2차원 이미지인 제1 내지 제3 패턴 이미지를 이용하여 대상 객체(400)의 3차원 깊이 영상을 생성한다(S400).

본 발명과 같이, 복수의 광원(111~113)을 이용하여 투사광 패턴을 생성하면 하나의 광원을 이용해 투사광 패턴을 생성하는 경우보다 투사광 패턴의 밀도를 높일 수 있다. 따라서 하나의 광원을 사용하는 경우보다 더 높은 고해상도의 3차원 깊이 영상 정보를 얻을 수 있다.

만약, 하나의 광원을 이용해 스팟의 밀도가 높은 투사광 패턴을 생성하면, 스팟들이 하나로 붙어버리거나 뭉개질 수 있고, 그로 인해 영상 처리의 에러율이 높아져 영상 처리가 불가능해질 수 있다. 그러나, 본 발명은 서로 다른 주파수 대역의 복수의 광원(111~113)을 이용해 복수의 투사광 패턴을 생성하므로, 패턴 이미지를 각 주파수 대역 별로 분리하여 획득하는 것이 용이하다. 따라서, 영상 처리의 에러율이 낮아지고, 영상 처리가 안정적으로 수행될 수 있다.

또한, 본 발명은, 3차원 영상 처리를 위해 필요한 정보 각각에 대응하는 패턴 각각을 각 광원 별로 다르게 생성한다. 따라서, 본 발명의 실시예에 따르면, 하나의 투사광 패턴에 모든 정보를 담는 경우보다 영상 처리를 더 효율적으로 수행할 수 있다. 구체적으로, 연산부(300)는 광원(111)에 대응하는 제1 패턴 이미지를 통해서 대략적인 3차원 정보를 먼저 처리하고, 다른 광원(112, 113)에 대응하는 제2 내지 제3 패턴 이미지를 통해서 상세한 3차원 정보를 처리할 수 있다. 또한, 빠른 영상처리를 위해서, 패턴 생성부(100)는 정형 패턴의 투사광 패턴과 비정형 패턴의 투사광 패턴을 분리하여 대상 객체(400)에 투사하도록 설계될 수 있다. 또한, 패턴 생성부(100)는 영상 처리 과정에서 함께 섞여있으면 추출하기 쉽지 않은 정보들에 대한 투사광 패턴을 서로 다른 패턴으로 생성하도록 설계될 수 있다.

또한, 본 발명은, 연산부(300)의 영상 처리 시에 거리(광원과 대상 객체(400)간의 거리)에 따른 광원의 밝기 변화 값을 함께 고려할 수 있다. 이를 통해, 영상 처리 오류를 줄여 영상 처리의 안정성을 더욱 높일 수 있고, 더욱 정교한 영상을 획득할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

복수의 광원을 이용하여 복수의 투사광 패턴을 생성하고, 상기 생성된 복수의 투사광 패턴을 대상 객체에 투사하는 패턴 생성부;
상기 복수의 투사광 패턴에 의해 상기 대상 객체에 형성된 패턴 이미지를 획득하는 패턴 획득부; 및
상기 패턴 이미지를 이용해 상기 대상 객체의 3차원 영상을 생성하는 연산부
를 포함하는 영상 획득 장치.
제1항에 있어서,
상기 복수의 광원은 서로 다른 주파수 대역을 가지고,
상기 복수의 투사광 패턴 각각은 상기 복수의 광원 각각에 대응하고 서로 다른 패턴인
영상 획득 장치.
제2항에 있어서,
상기 복수의 광원은 제1 주파수 대역을 가지는 제1 광원 및 제2 주파수 대역을 가지는 제2 광원을 포함하고,
상기 패턴 생성부는
상기 제1 광원으로부터 광을 모으는 제1 렌즈;
상기 제1 렌즈에 의해 모아진 광을 회절시켜 상기 복수의 투사광 패턴 중 제1 투사광 패턴을 생성하는 제1 광회절부; 및
상기 제1 주파수 대역을 가지는 상기 제1 투사광 패턴만을 반사하는 제1 거울을 포함하는
영상 획득 장치.
제3항에 있어서,
상기 패턴 생성부는
상기 제2 광원으로부터 광을 모으는 제2 렌즈; 및
상기 제2 렌즈에 의해 모아진 광을 회절시켜 상기 복수의 투사광 패턴 중 제2 투사광 패턴을 생성하는 제2 광회절부를 더 포함하고,
상기 제2 투사광 패턴은 상기 제1 거울을 투과하는
영상 획득 장치.
제4항에 있어서,
상기 패턴 생성부는
상기 제1 거울에 의해 반사된 상기 제1 투사광 패턴과 상기 제1 거울을 투과한 상기 제2 투사광 패턴을 입력받아 상기 대상 객체에 투사하는 제3 렌즈를 더 포함하는
영상 획득 장치.
제5항에 있어서,
상기 제1 렌즈 및 상기 제2 렌즈는 콜리메이터(collimator) 렌즈인
영상 획득 장치.
제4항에 있어서,
상기 제1 광회절부는 상기 제1 투사광 패턴에 대응하는 제1 패턴으로 배열된 다수의 제1 마이크로 렌즈를 포함하고,
상기 제2 광회절부는 상기 제2 투사광 패턴에 대응하는 제2 패턴으로 배열된 다수의 제2 마이크로 렌즈를 포함하는
영상 획득 장치.
제7항에 있어서,
상기 제1 광회절부는 상기 제1 렌즈에 의해 모아진 광을 확산시켜 상기 다수의 제1 마이크로 렌즈로 출력하는 산광기(diffuser)를 더 포함하는
영상 획득 장치.
제4항에 있어서,
상기 제1 광회절부는 회절성 광학 소자(DOE: Diffractive Optical Element)를 포함하는
영상 획득 장치.
제3항에 있어서,
상기 제1 광원은 발광 다이오드(LED: Light Emitting Diode) 광원 및 레이저광원 중 어느 하나이고,
상기 제2 광원은 상기 LED 광원 및 상기 레이저 광원 중 어느 하나인
영상 획득 장치.
제2항에 있어서,
상기 패턴 획득부는
상기 패턴 이미지를 상기 복수의 광원 각각에 대응하는 패턴 이미지로 분리하는
영상 획득 장치.
제11항에 있어서,
상기 복수의 광원은 제1 주파수 대역을 가지는 제1 광원 및 제2 주파수 대역을 가지는 제2 광원을 포함하고,
상기 패턴 획득부는
상기 제1 주파수 대역의 광만을 반사하는 제1 거울; 및
상기 제1 거울에 의해 반사된 광을 통해, 상기 패턴 이미지 중 상기 제1 광원에 대응하는 제1 패턴 이미지를 획득하는 제1 이미지 센서를 포함하는
영상 획득 장치.
제12항에 있어서,
상기 패턴 획득부는
상기 제1 거울을 투과한 상기 제2 주파수 대역의 광을 통해, 상기 패턴 이미지 중 상기 제2 광원에 대응하는 제2 패턴 이미지를 획득하는 제2 이미지 센서를 더 포함하는
영상 획득 장치.
제4항에 있어서,
상기 제1 투사광 패턴은 비정형(non-uniform) 패턴 및 정형(uniform) 패턴 중 어느 하나이고,
상기 제2 투사광 패턴은 비정형 패턴 및 정형 패턴 중 어느 하나인
영상 획득 장치.
제1항에 있어서,
상기 복수의 투사광 패턴 각각은 상기 3차원 영상을 생성하는데 필요한 서로 다른 정보 각각에 대응하는
영상 획득 장치.
대상 객체의 3차원 영상을 획득하는 영상 획득 장치의 영상 획득 방법에 있어서,
제1 광원이 발광하는 제1 주파수 대역의 제1 광을 이용하여 제1 투사광 패턴을 생성하는 단계;
제2 광원이 발광하는 제2 주파수 대역의 제2 광을 이용하여 상기 제1투사광 패턴과 다른 제2 투사광 패턴을 생성하는 단계;
상기 제1 투사광 패턴 및 상기 제2 투사광 패턴을 대상 객체에 투사하는 단계;
상기 제1 투사광 패턴 및 상기 제2 투사광 패턴에 의해 상기 대상 객체에 형성된 패턴 이미지를 획득하는 단계; 및
상기 패턴 이미지를 이용해 상기 대상 객체의 3차원 영상을 생성하는 단계
를 포함하는 영상 획득 방법.
제16항에 있어서,
상기 제1 투사광 패턴을 생성하는 단계는
제1 렌즈를 통해 상기 제1 광원으로부터 상기 제1 광을 모으는 단계;
상기 모아진 제1 광을 제1 광회절 소자를 통해 회절시켜 상기 제1 투사광 패턴을 생성하는 단계; 및
제1 다이크로익 거울(dichroic mirror)을 통해 상기 제1 주파수 대역의 상기 제1 투사광 패턴을 반사시키는 단계를 포함하는
영상 획득 방법.
제17항에 있어서,
상기 제2 투사광 패턴을 생성하는 단계는
제2 렌즈를 통해 상기 제2 광원으로부터 상기 제2 광을 모으는 단계;
상기 모아진 제2 광을 제2 광회절 소자를 통해 회절시켜 상기 제2 투사광 패턴을 생성하는 단계; 및
상기 제1 다이크로익 거울을 통해 상기 제2 주파수 대역의 상기 제2 투사광 패턴을 투과시키는 단계를 포함하는
영상 획득 방법.
제16항에 있어서,
상기 패턴 이미지를 획득하는 단계는
제1 다이크로익 거울을 통해 상기 제1 광을 반사시켜, 상기 패턴 이미지로부터 상기 제1 광원에 대응하는 제1 패턴 이미지를 획득하는 단계; 및
상기 제1 다이크로익 거울을 통해 상기 제2 광을 투과시켜, 상기 패턴 이미지로부터 상기 제2 광원에 대응하는 제2 패턴 이미지를 획득하는 단계를 포함하는
영상 획득 방법.
대상 객체의 3차원 상을 획득하는 영상 획득 장치를 구성하고, 상기 대상 객체에 투사되는 투사광 패턴을 생성하는 패턴 생성부에 있어서,
제1 광원으로부터 제1 주파수 대역의 제1 광을 모으는 제1 렌즈;
제2 광원으로부터 제2 주파수 대역의 제2 광을 모으는 제2 렌즈;
제3 광원으로부터 제3 주파수 대역의 제3 광을 모으는 제3 렌즈;
상기 제1 렌즈에 의해 모아진 제1 광을 회절시켜 제1 투사광 패턴을 생성하고, 상기 제2 렌즈에 의해 모아진 제2 광을 회절시켜 제2 투사광 패턴을 생성하고, 상기 제3 렌즈에 의해 모아진 제3 광을 회절시켜 제3 투사광 패턴을 생성하는 광회절부;
상기 제1 투사광 패턴만을 반사하는 제1 다이크로익 거울; 및
상기 제2 투사광 패턴만을 반사하는 제2 다이크로익 거울을 포함하고,
상기 제2 투사광 패턴은 상기 제1 다이크로익 거울을 투과하고, 상기 제3 투사광 패턴은 상기 제1 및 제2 다이크로익 거울을 투과하고,
상기 제1 내지 제3 투사광 패턴은 서로 다른 패턴인
패턴 생성부.