KR20130075700A - 입체 영상들을 획득하기 위한 디바이스 - Google Patents

Abstract

디바이스는 휘트스톤(Wheatstone) 원리를 기반으로 한 것이다. 거울들(M1, M2, M3, M4)이 각지게 조정되어, 장면의 오른쪽 및 왼쪽 입체 영상들이, 이러한 두 개의 영상들 사이에 구역(IR)을 프리하게 남겨두는 방식으로, 센서 상에 형성된다. 내부 거울들 사이에 슬롯이 형성되어, 한편으로는, 구조형 또는 펄스 광을 통과시키고, 다른 한편으로는, 그것이 장면의 객체들에 반사될 때 이 구조형 또는 펄스 광을 통과시킨다. 디바이스는 슬롯(Sl) 및 렌즈 시스템(LS)과 연관된 옵틱(AL)을 더 포함하여, 상기 반사된 구조형 또는 펄스 광으로부터 상기 구역(IR)에 영상을 형성한다.

Description

입체 영상들을 획득하기 위한 디바이스{DEVICE FOR ACQUIRING STEREOSCOPIC IMAGES}

본 발명은 입체 영상들을 획득하기 위한 디바이스에 관한 것이다.

본 발명은 입체 영상 획득의 분야에 위치해 있는 것으로, 보다 구체적으로, 단일 영상 센서로부터 한 장면(a scene)의 오늘쪽 및 왼쪽 영상들의 동시 획득의 분야에 위치해 있는 것이다.

이러한 유형의 획득 디바이스의 장점들 중 하나는, 단일 센서를 사용하기 때문에 두 개의 영상들의 색체계(colorimetry)가 동일하다는 것이다. 게다가, 이러한 디바이스들의 구현은 현재의 3D 카메라들과 같은 여러 개의 센서들을 사용하는 획득 디바이스들에 비해 훨씬 덜 복잡하다.

도 1a, 1b 및 1c에 도시된 휘트스톤 스테레오스코피(Wheatstone stereoscopy)의 원리를 기반으로 하는 (단일 영상 센서를 포함하는) 영상 획득 디바이스들이 알려져 있다.

도 1a는, 영상 센서(S), 및 센서(S) 상에 한 장면의 오른쪽(Ir) 및 왼쪽(Il) 입체 영상들을 형성하기 위해 각지게(angularly) 조정되고 렌즈 시스템(LS)과 연관되는 외부(M1 및 M2) 및 내부(M3 및 M4) 거울들을 포함하는 획득 디바이스를 도식적으로 보여준다. 따라서, 한 장면의 한 점(P)으로부터 방출된 광선들은, 거울들(M1 및 M2)로 그 다음 거울들(M3 및 M4)로 프로젝트되고, 그들이 센서(S) 상에 두 개의 영상들(Ir 및 Il)을 형성하기 위해 포커스되는 렌즈 시스템(LS)을 가로지른다. 거울들(M1 내지 M4)은 45°의 상이한 각도들에 따라 각지게 조정되어, 오른쪽(Ir) 및 왼쪽(Il) 영상들이 센서(S)의 두 개의 별도의 연결된 구역들(joined areas)에 형성되도록 한다(도 1b).

도 1c는 도 1a의 디바이스의 변형을 보여준다. 이 변형 또한 센서(S)의 두 개의 별도의 연결된 구역들에 영상들(Ir 및 Il)을 형성하게 하지만, 이러한 두 개의 구역들 사이의 분리(separation)는 도 1a의 디바이스보다 덜 뚜렷하여: 이러한 영상들의 커버리지 에어리어가 더 크다.

이러한 입체 획득 디바이스들에서 거울들의 사용은 영상들(Ir 및 Il)의 기하학적 왜곡(키스토닝(keystoning))을 야기한다. 이러한 왜곡은 보통 오른쪽 및 왼쪽 영상들의 사용 전에 정정된다.

이러한 사용들 중 하나는, 이와 같이 기하학적으로 정정된 영상들(Ir 및 Il)로부터, 깊이 맵(depth map)으로도 불리는, 디스패리티 맵(disparity map)을 산출하는 것이다.

그러나, 발명가는, 이 깊이 맵 산출은 약간 텍스처된 영상 구역들(slightly textured image areas)에서는 신뢰할 수 없다는 것을 관찰했다.

이러한 구역들에서 신뢰할 수 있는 산출을 실시하기 위한 솔루션들 중 하나는, 입체 영상들의 획득 디바이스들 내에 깊이 맵 산출 디바이스를 포함하는 것이다.

구조형 광(structured light)의 방출 및 수신을 기반으로 한, 알려진 깊이 맵 산출 디바이스의 제1 예는, 캡처할 장면에 구조형 광을 프로젝트하기에 적합한 프로젝터, 장면으로의 이러한 프로젝션의 반사된 영상을 캡처하기에 적합한 영상 센서, 및 이와 같이 캡처된 영상으로부터 깊이 맵을 산출하기 위한 수단을 포함한다.

알려진 깊이 맵 산출 디바이스의 제2 예는 비행 시간(time of flight)을 기반으로 하는 것이다. 원리는, 매우 짧은 지속기간의 광 펄스들로 장면을 조명하는 것과, 이러한 펄스들이 장면의 객체에 의해 반사될 때 그들의 방출로부터 그들의 획득까지 광 펄스들이 이동한 시간을 측정하는 것이다. 그 다음, 광선들의 리턴 이동 시간(return travel time)에 따라 각각의 픽셀의 깊이가 산출된다. 이 디바이스는, 광 펄스들에 의해 장면을 조명하기에 적합한 프로젝터와, 장면의 조명의 영상을 캡처하기에 적합하고, 이 영상의 각각의 픽셀에 대해, 프로젝터의 조명 펄스의 출발과 이 펄스로부터의 광선들의 센서로의 리턴 사이의 타임 시프트를 측정하기에 적합한 영상 센서와, 이러한 타임 시프트들의 측정들로부터 깊이 맵을 산출하기 위한 수단을 포함한다.

깊이 맵들을 산출하기 위한 이러한 디바이스들의 구조형 또는 펄스 광의 프로젝터 및 영상 센서는 보간에 의해 서로 거리가 멀다. 이 보간은, 센서의 영상면(image plane)의 수평 축 X에 표현되는 단일 수평 컴포넌트, 또는 X 축을 따른 수평 컴포넌트와 영상면의 Y 축에 표현되는 수직 컴포넌트 중 어느 하나를 갖는다.

구조형 광의 방출과 수신을 기반으로 한 깊이 맴 산출 디바이스의 경우에, 픽셀들의 깊이는 구조형 적외선의 객체에 대한 프로젝션에 의해 형성된 단일 영상으로부터 추정된다(WO2007105205). 사실, X 축을 따른 수평 시프트를 야기하기 위해, 영상면에 수직인 Z 축에 따라, 장면의 한 점(a point)에서 멀어짐에 따라, X 축을 따른 이 시프트에 대한 영상에 있어서의 측정은 미리 결정된 깊이에 위치한 패턴과 획득된 적외선 영상을 비교하여 영상의 각각의 픽셀의 깊이를 결정할 수 있다.

종래 기술에 따라, 입체 영상 획득 디바이스들에 깊이 맵 산출 디바이스를 도입하는 것은, 입체 영상 획득 디바이스들에, 여러 가지 중에서, 프로젝터와 새로운 영상 센서를 추가하는 것으로 이어지고, 이는 이러한 디바이스들의 크기를 증가시킨다.

따라서, 본 발명에 의해 해결될 문제는 그것의 크기를 훨씬 크게 증가시키지 않으면서 더 신뢰할 수 있는 단일-센서 입체 영상 획득 디바이스의 깊이 맵의 산출을 실시하는 것이다.

이런 목적을 위해, 본 발명은, 도 1a-1c와 관련하여 설명된 바와 같이, 센서, 및 센서 상에 장면의 오른쪽 및 왼쪽 입체 영상들을 형성하기 위해 렌즈 시스템과 연관된 외부 및 내부 거울들을 포함하는 입체 영상 획득 디바이스에 관한 것이다.

디바이스는:

- 거울들은 각지게 조정되어, 오른쪽 및 왼쪽 입체 영상들이, 이들 두 영상들 사이의 구역을 프리로 남겨두기 위하여, 센서 상에 형성되고,

- 내부 거울들 사이에 슬롯이 형성되어, 한편으로는, 구조형 또는 펄스 광을 통과시키고, 다른 한편으로는, 그것이 장면의 객체들에 반사될 때, 이 구조형 또는 펄스 광을 통과시키고,

- 디바이스는 슬롯과 연관된 옵틱(optic) 및 렌즈 시스템을 더 포함하여, 상기 반사된 구조형 또는 펄스 광으로부터 상기 구역에 영상을 형성한다

는 것을 특징으로 한다.

본 발명은 또한 입체 영상들을 획득하기 위한 디바이스에 관한 것으로, 이 디바이스는:

센서,

렌즈 시스템을 통해 센서의 민감한 표면의 제1 구역 및 제2 구역에 각각 장면의 왼쪽 및 오른쪽 입체 영상들을 형성하기 위해 각지게 조정된 외부 및 내부 거울들,

상기 장면에 공간적 구조형 광을 프로젝트하기에 적합하거나, 상기 장면에 광 펄스들을 프로젝트하기에 적합한 프로젝터,

상기 제1 구역과 상기 제2 구역 사이에 삽입된, 상기 센서의 민감한 표면의 제3 구역에 상기 프로젝트된 광에서 기인하는(coming from) 장면의 영상을 형성하기 위한 렌즈 시스템과 연관된 옵틱(optic),

광 펄스들을 프로젝트하기에 적합한 프로젝터의 경우에, 상기 프로젝트된 광에서 기인하는 이 캡처된 영상의 각각의 픽셀에 대한, 프로젝터로부터의 광 펄스의 출발과 상기 센서로의 이 펄스의 리턴 사이의 타임 시프트의 측정 수단, 및

광 펄스들이 프로젝트된 경우에 캡처된 영상의 각각의 픽셀에 대한 타임 시프트의 상기 측정들을 통해, 상기 프로젝트된 광에서 기인하는 캡처된 영상으로부터 깊이 맵을 산출하기 위한 수단

을 포함하며,

내부 거울들 사이에 슬롯이 형성되어, 한편으로는, 프로젝터에 의해 장면에 프로젝트된 상기 광을 통과시키고, 다른 한편으로는, 상기 프로젝트된 광에서 기인하는 장면의 영상을 상기 제3 구역에 형성하는데 필요한 광을 통과시킨다.

바람직하게는, 상기 제1, 제2 및 제3 구역은 중첩되지 않는다. 예를 들어, 프로젝트된 광이 IR 광일 때, 센서들의 IR에 민감한 픽셀들 중 어느 것도 문서 US2011/175983(도 3d 참조)에 개시된 것과 같이 가시광선에 민감한 픽셀들(R, G, B)과 동일한 구역들에 위치하지 않는다는 것을 의미한다. 중첩하지 않는 경우에도, 이러한 존들(zones)은 센서의 민감한 표면에 인접할 수 있다.

바람직하게는, 렌즈 시스템과 연관된 상기 옵틱은 또한 슬롯과 연관된다.

휘트스톤 원리를 기반으로 한 종래의 디바이스의 이러한 수정은, 또 다른 광 센서를 추가하지 않고도 공간적 구조형 또는 펄스 광의 방출에 기초하여 깊이 맵들을 산출하기 위한 방법을 구현할 수 있다. 이러한 디바이스의 크기의 증가는 따라서 크게 감소되는 것이 발견된다.

게다가, 이 디바이스는 깊이 맵의 산출을 더 신뢰할 수 있게 만드는 한편 구현을 간단하게 유지한다는 점에서 특히 바람직하다.

사실, 종래 기술의 깊이 맵 산출 디바이스들은, 국제 출원 WO2007105205의 디바이스의 경우에, 도 2 및 3에 도시된 바와 같이 프로젝션으로 인해 장면의 객체들의 가장자리에서 광 신호들의 검출에 있어서의 불안정성 또는 심지어 그림자로 인한 것인 정의되지 않는 구역들을 깊이 맵들에게 제공한다는 단점을 갖는다.

도 2 및 3에서, 장면은 배경(B) 및 이 배경의 앞에 위치한 객체(OB)로 보여진다. 깊이 맵 산출 디바이스는 적외선 센서(IRS)와 프로젝터(IRP)로 형성된다.

센서(IRS)와 프로젝터(IRP)는 센서(IRS)의 영상면에 평행한 축에 위치하고 X 축을 따라 서로 오프셋된다. 그 다음 센서(IRS)에 의해 정의되지 않은 구역(non-defined area; ND)이 보여진다. 이 정의되지 않은 구역(ND)은, 이 구역이 적외선 프로젝터에 의해 조명되지 않지만 센서(IRS)에 의해 보여짐에 따라, 공간적 구조형 또는 펄스 광에 기초한 방법에 의해 픽셀들의 깊이가 결정될 수 없는 구역에 해당한다.

도 3은, 여러 가지 중에서, 영상 센서(S)를 포함하는 입체 영상 획득 디바이스에 깊이 맵 산출 디바이스가 포함되는 경우를 도시한다. 이 센서(S)는 센서(IRS)와 프로젝터(IRP) 사이에 센서(IRS)의 영상면에 위치한다. 도 3에 보여지는 바와 같이, 정의되지 않은 구역(ND)은 따라서 센서(S)에 의해 보여진다. 이 정의되지 않은 구역(ND)은, 이 구역이 적외선 프로젝터에 의해 조명되지 않지만 센서(S)에 의해 보여짐에 따라, 픽셀들의 깊이가 공간적 구조형 또는 펄스 광에 기초한 방법에 의해 결정될 수 없는 구역에 해당한다. 또 다른 정의되지 않은 구역(ND1)은 따라서 센서(S)에 의해 보여진다. 이 정의되지 않은 구역(ND1)은, 이 구역이 적외선 프로젝터에 의해 조명되지 않고 센서(IRS)에 의해 보여지지 않음에 따라, 픽셀들의 깊이가 구조형 광에 기초한 방법에 의해 결정될 수 없는 구역에 해당한다.

축 X를 따라 서로 일정 거리에 있는 센서(S)와 프로젝터(IRP)의 배치는 따라서 필드의 깊이가 정의될 수 없는 센서(S)에 의해 보여진 영상의 구역들을 최소화하기 위한 적합한 솔루션이 아니다.

바람직하게는, 렌즈 시스템과 연관된 옵틱 및 렌즈 시스템은 슬롯 상 및 센서의 민감한 표면의 제3 구역 상에 센터링된 공통 광축을 갖는다. 따라서, 제3 구역은 디바이스의 광축에 센터링되는데, 즉, 프로젝트된 광에 의한 장면의 조명에서 기인하는 반사된 구조형 광은, 슬롯을 통과하여 디바이스의 렌즈 시스템 및 렌즈 시스템과 연관된 옵틱에 공통인 광축을 따라 획득되고, 이 광축에 대해 (X 축을 따라) 수평으로 오프셋된 또 다른 센서를 통해 획득되지 않는다. 유리하게, 슬롯 상 및 제3 구역 상에 대한 바람직한 센터링은, 한편으로는, 필드의 깊이가 정의될 수 없는 영상의 구역들을 제한할 수 있고, 다른 한편으로는, 장면의 객체들의 가장자리들에서 광 신호들의 검출에 대한 불안정성을 제한할 수 있다. 깊이 맵의 신뢰성은 따라서 이에 따라 향상된다.

바람직한 실시예에 따르면, 디바이스는 따라서 센서와 관련하여 위치한 구조형 또는 펄스 광의 프로젝터를 포함하여, 그들을 분리하는 보간이 수평 컴포넌트를 갖지 않는다. 더 정확하게는, 프로젝터는, 센서의 민감한 표면의 제3 구역의 중심과, 민감한 표면의 면과 프로젝터의 프로젝션 축의 교차점을 연결하는 직선이 수평 컴포넌트를 갖지 않는 방식으로 배열된다. 다시 말해, 프로젝터는 센서의 중심 위 또는 아래 우선적으로 배치된다.

이 실시예는, 센서와 관련있는 프로젝터의 특정한 위치가, 필드의 깊이가 정의될 수 없는 영상의 구역들을 훨씬 더 제한함에 따라 유리하다.

구조형 또는 펄스 광이 적외선 유형인 경우에 관한 변형에 따르면, 디바이스는 반사되는 구조형 또는 펄스 광을 필터링하기 위해 가시광의 차단 필터를 더 포함한다. 다시 말해, 가시광의 차단 필터는 센서의 민감한 표면의 제3 구역에 프로젝트된 광에서 기인하는 장면의 영상을 형성하는데 필요한 광의 경로에 위치한다.

변형에 따르면, 디바이스는 또한 오른쪽과 왼쪽 영상들을 형성하도록 의도된 광을 필터링하기 위해 적외선 차단 필터를 포함한다. 다시 말해, 이 적외선 차단 필터는 센서의 민감한 표면의 제1 및 제2 구역에 각각 오른쪽과 왼쪽 입체 영상을 형성하는데 필요한 광의 경로에 위치한다.

이러한 변형들은, 그들이 오른쪽, 왼쪽 및 적외선 영상들이 특히 그들의 가장자리에서 서로 간섭하지 않게 하여, 이 영상들의 사용을 용이하게 하고, 특히, 센서에 형성된 적외선 영상으로부터 깊이 맵을 산출하기 위한 방법의 구현을 용이하게 함에 따라 유리하다.

위에서 언급한 발명뿐만 아니라 다른 것들의 특성은 일 실시예에 대한 다음의 설명을 읽음으로써 더 분명하게 드러날 것이고, 상기 설명은 첨부된 도면들을 참조하여 실시된다.
도 1a-1c는 종래 기술에 따른 입체 영상 획득 디바이스의 일례를 보여준다.
도 2 및 3은 필드의 깊이가 정의될 수 없는 영상 영역들에 대한 도시들을 보여준다.
도 4는 본 발명에 따른 입체 영상 획득 디바이스의 일 실시예를 보여준다.

본 발명에 따른 입체 영상 획득 디바이스는 도 1a, 1b 및 1c에 도시된 휘트스톤 스테레오스코피(Wheatstone stereoscopy) 원리를 사용하는 디바이스의 수정된 버전이다.

사실, 본 발명에 따른 디바이스는, 영상 센서(S), 및 센서(S) 상에 장면의 오른쪽(Ir) 및 왼쪽(Il) 입체 영상들을 형성하기 위해, 각지게 조정되고, 렌즈 시스템(LS)과 연관되는 외부(M1 및 M2) 및 내부(M3 및 M4) 영상들을 포함한다.

이 디바이스는 특히 거울들(M1, M2, M3, M4)이 각지게 조정되어, 오른쪽(Ir) 및 왼쪽(Il) 입체 영상들은, 보통의 경우와 같이 옆으로(도 1b)가 아니라, 두 개의 영상들 사이의 구역(IR)을 프리로 남겨두는 방식(도 4b)으로 센서 상에 형성된다.

게다가, 디바이스의 또 다른 특성에 따르면, 한편으로는, 프로젝터(IRP)에 의해 방출된 구조형 광을 통과시키고, 다른 한편으로는, 그것이 장면의 객체들에 반사될 때 구조형 광을 통과시키기 위해, 내부 거울들(M3 및 M4) 사이에 슬롯(S)이 형성된다.

또 다른 특성에 따르면, 디바이스는 따라서 상기 반사된 구조형 광으로부터 상기 구역(IR)에 영상을 형성하기 위해 슬롯(Sl) 및 렌즈 시스템(LS)과 연관되는 옵틱(AL)을 포함한다.

따라서, 입체 영상이 디바이스에 의해 획득되어야 할 때, 프로젝터(IRP)는 예를 들어 적외선 유형의 구조형 광을 방출한다. 오른쪽(Ir) 및 왼쪽(Il) 영상들은 일반적으로 외부 및 내부 거울들을 통해 센서(S) 상에 형성된다. 장면의 객체들에 반사되는 구조형 광은 슬롯(Sl)을 가로지르고 적외선 영상은 구역(IR)에 형성된다.

일 실시예에 따르면, 프로젝터(IRP)가 센서(S)과 관련하여 위치하여, 그들을 분리하는 보간은 수평 컴포넌트를 갖지 않는다. 따라서, 프로젝터(IRP)와 센서(S)의 광학적 중심(optical centres)은 수평 컴포넌트를 갖지 않는 직선 세그먼트에 포함된다(영상면의 마커의 X 축을 따라).

구조형 광이 적외선 유형인 경우에 관한 변형에 따르면, 디바이스는 반사된 구조형 광을 필터링하기 위해 가시광의 차단 필터를 더 포함한다.

변형에 따르면, 디바이스는 또한 오른쪽 및 왼쪽 영상들을 형성하기 위해 의도되는 광을 필터링하기 위해 적외선 차단 필터를 포함한다.

최종 변형의 일 실시예에 따르면, 이 필터들은 이색성 유형(dichroic type)이다.

Claims (7)

1. 입체 영상들을 획득하기 위한 디바이스로서,
   센서(S),
   렌즈 시스템(LS)을 통해 상기 센서(S)의 민감한 표면의 제1 구역 및 제2 구역에 각각 장면의 오른쪽(Ir) 및 왼쪽(Il) 입체 영상들을 형성하기 위해 각지게(angularly) 조정된 외부(M1, M2) 및 내부(M3, M4) 거울들,
   상기 장면에 공간적 구조형 광을 프로젝트하기에 적합하거나, 상기 장면에 광 펄스들을 프로젝트하기에 적합한 프로젝터(IRP),
   상기 프로젝트된 광에서 기인하는 상기 장면의 영상을, 상기 센서(S)의 상기 민감한 표면의 제3 구역(IR)에, 형성하기 위한 상기 렌즈 시스템(LS)과 연관된 옵틱(AL) - 상기 제3 구역(IR)은 상기 제1 구역과 상기 제2 구역 사이에 삽입됨 - ,
   광 펄스들을 프로젝트하기에 적합한 프로젝터의 경우에, 상기 프로젝트된 광에서 기인하는 캡처된 영상의 각각의 픽셀에 대해, 상기 프로젝터로부터의 광 펄스의 출발과 상기 센서로의 이 펄스의 리턴 사이의 타임 시프트를 측정하기 위한 측정 수단, 및
   광 펄스들이 프로젝트된 경우에 캡처된 영상의 각각의 픽셀에 대한 타임 시프트들의 상기 측정을 통해, 캡처된 영상으로부터 깊이 맵을 산출하기 위한 수단
   을 포함하고,
   한편으로는, 상기 장면에 상기 프로젝터(IRP)에 의해 프로젝트된 상기 광을 통과시키고, 다른 한편으로는, 프로젝트된 상기 광에서 기인하는 상기 장면의 상기 영상을 상기 제3 구역(IR)에 형성하는데 필요한 상기 광을 통과시키기 위해, 상기 내부 거울들(M3, M4) 사이에 슬롯(Sl)이 형성되는 입체 영상 획득 디바이스.
2. 제1항에 있어서, 상기 제1, 제2 및 제3 구역은 중첩되지 않는 입체 영상 획득 디바이스.
3. 제1항 또는 제2항에 있어서, 상기 렌즈 시스템(LS)과 연관된 상기 옵틱(AL) 및 상기 렌즈 시스템(LS)은 상기 슬롯(Sl) 상 및 상기 제3 구역(IR) 상에 센터링된 공통 광축을 갖는 입체 영상 획득 디바이스.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 프로젝터(IRP)는, 상기 제3 구역(IR)의 중심과, 상기 센서(S)의 상기 민감한 표면의 면과 상기 프로젝터(IRP)의 프로젝션 축의 교차점을 연결하는 직선이 수평 컴포넌트를 갖지 않는 방식으로 상기 센서(C)와 관련하여 위치하는 입체 영상 획득 디바이스.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 프로젝트된 광은 적외선 유형으로, 프로젝트된 상기 광에서 기인하는 상기 장면의 상기 영상을 상기 제3 구역(IR)에 형성하는데 필요한 광의 경로에 위치하는 가시광의 차단 필터를 또한 포함하는 입체 영상 획득 디바이스.
6. 제5항에 있어서, 상기 제1 및 제2 구역들 위에 각각 상기 오른쪽 및 왼쪽 입체 영상들을 형성하는데 필요한 광의 경로에 위치하는 적외선 차단 필터를 더 포함하는 입체 영상 획득 디바이스.
7. 제6항에 있어서, 상기 필터들은 이색성 유형인 입체 영상 획득 디바이스.

Images