KR20180018736A

KR20180018736A - 촬영 디바이스 및 깊이 정보를 취득하는 방법

Info

Publication number: KR20180018736A
Application number: KR1020187001258A
Authority: KR
Inventors: 유 슈; 모우정 푸
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2015-06-23
Filing date: 2015-06-23
Publication date: 2018-02-21
Also published as: EP3301913A4; CN106576159A; JP2018522235A; US10560686B2; WO2016206004A1; US20180184071A1; EP3301913A1; CN106576159B

Abstract

본 발명은 촬영 디바이스 및 깊이 정보를 취득하는 방법을 제공한다. 본 발명은 양안 방법 및 구조화된 광 방법을 조합하고, 따라서 실외 태양광 또는 자연 광원들의 간섭 하에 장거리로부터 타겟 대상의 깊이 정보를 취득하는 구조화된 광 방법의 불능, 및 단거리로부터 블라인드 영역 내의 타겟 대상의 깊이 정보를 취득하는 양안 방법의 불능의 결함들을 회피하며, 그것에 의해 타겟 대상의 전체 깊이 정보의 취득을 가능하게 한다. 방법은 타겟 대상과 촬영 디바이스 사이의 거리가 구조화된 광 방법의 유효 거리보다 더 크면, 양안 방법을 사용하여 타겟 대상의 깊이 정보를 취득하는 단계; 타겟 대상과 촬영 디바이스 사이의 거리가 양안 방법의 유효 거리 미만이면, 구조화된 광 방법을 사용하여 타겟 대상의 깊이 정보를 취득하는 단계를 포함한다.

Description

촬영 디바이스 및 깊이 정보를 취득하는 방법

본 발명은 이미지 처리의 분야에 관한 것으로, 특히 촬영 디바이스 및 깊이 정보를 획득하는 방법에 관한 것이다.

깊이 맵(영어: Depth map)은 그레이 스케일 도해(gray-scale diagram)를 사용함으로써 초점 평면에서 이미지 상의 각각의 지점까지의 거리를 제공하는 이미지 표현 형태(image representation form)이다. 예를 들어, 도 1a는 캐릭터의 3차원 뷰이고, 도 1b는 도 1a에 기초하여 획득되는 캐릭터의 깊이 맵이다. 객체들이 동일한 컬러 레벨에 있을 때, 그것은 객체들이 동일한 초점 평면 상에 있는 것을 표시하고, 더 밝은 회색은 객체가 초점 평면에 더 가까운 것을 표시하고, 더 어두운 회색은 객체가 초점 평면에서 더 멀리 떨어진 것을 표시한다. 깊이 맵의 드로잉 동안, 촬영 순간에 초점 평면에서 객체의 각각의 지점까지의 거리, 즉 깊이 정보는 통상 측정되거나 산출될 필요가 있다.

일반적으로, 깊이 정보를 획득하는 3개의 방식이 있다: 듀얼 카메라/양안 방식, 구조화된 광 방식, 및 비행 시간(영어: Time of Flight)(요약하여 ToF) 방식.

양안 방식에서, 적어도 2개의 카메라가 이미지를 취득하기 위해 사용되고, 이미지 상의 각각의 지점에서 초점 평면까지의 거리는 삼각형 위치 알고리즘(triangle location algorithm)을 사용함으로써 산출되어, 깊이 정보를 획득한다.

그러나, 카메라들의 삼각형 위치 알고리즘 및 구조 레이아웃으로 인해, 타겟 객체와 초점 평면 사이의 거리가 주어진 값 미만일 때, 타겟 객체의 깊이 정보는 양안 방식을 사용함으로써 획득될 수 없으며, 주어진 값은 블라인드 거리로 언급된다.

구조화된 광 방식에서, 적외선 광원은 일반적으로 타겟 객체를 조명하기 위해 사용되고, 특정 패턴은 타겟 객체에 투영되고, 각각의 픽셀 지점의 깊이 정보는 패턴의 오프셋을 사용함으로써 산출된다.

그러나, 구조화된 광 방식은 적외선 카메라 및 적외선 광원을 필요로 하고, 구조화된 광 방식은 투영된 패턴에 비교적 높은 요건을 갖고, 실외 광원에 용이하게 영향을 받는다. 측정된 거리가 조명원에 영향을 받으므로, 구조화된 광 방식은 실내 및 단거리 시나리오에, 예를 들어 3 미터의 거리(단위: m) 내에 사용되는 것에 제한된다. 타겟 객체와 초점 평면 사이의 거리가 주어진 거리를 초과하면, 깊이 정보가 획득될 수 없다.

ToF 방식에서, 적외선 광원의 위상이 변조되고, 수신된 이미지의 위상 오프셋이 측정되어, 깊이 정보가 측정된다.

구조화된 광 방식과 동일하게, ToF 방식은 또한 적외선 카메라 및 적외선 광원을 필요로 하고, ToF 방식은 실내 및 단거리 시나리오에 사용되는 것에 제한된다.

따라서, 양안 방식, 구조화된 광 방식, 및 ToF 방식의 각각의 제한들로 인해, 어느 방식이 사용되는 것에 관계없이, 타겟 객체의 깊이 정보가 획득될 수 없는 것이 가능하다.

본 발명의 실시예들은 타겟 객체의 깊이 정보가 획득될 수 없는 종래 기술에서 발생하는 것이 가능한 문제를 해결하기 위해, 촬영 디바이스 및 깊이 정보를 획득하는 방법을 제공한다.

제1 양태에 따르면, 본 발명은,

제1 이미지 센서, 제2 이미지 센서, 적외선 광원, 및 프로세서를 포함하는 촬영 디바이스를 제공하며,

제1 이미지 센서는 적외선 광 이미지 및 가시 광 이미지를 취득하도록 구성되고; 제1 이미지 센서는 M개의 적외선 광 감지 픽셀 및 N개의 가시 광 감지 픽셀을 포함하며;

제2 이미지 센서는 가시 광 이미지를 취득하도록 구성되고;

적외선 광원은 특정 패턴을 타겟 객체에 투영하도록 구성되고;

프로세서는 이하의 동작들: 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 동작; 및 타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 동작을 수행하도록 구성된다.

제1 양태를 참조하여, 제1 양태의 제1 가능한 구현 방식에서, 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계; 및 타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계는,

양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계; 및

타겟 객체의 깊이 정보가 양안 방식을 사용함으로써 획득될 수 없으면, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계를 포함한다.

제1 양태를 참조하여, 제1 양태의 제2 가능한 구현 방식에서, 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계; 및 타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계는,

구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계; 및

타겟 객체의 깊이 정보가 구조화된 광 방식을 사용함으로써 획득될 수 없으면, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계를 포함한다.

제1 양태 또는 제1 양태의 제1 또는 제2 가능한 구현 방식을 참조하여, 제1 양태의 제3 가능한 구현 방식에서, 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계; 및 타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계는,

타겟 객체와 촬영 디바이스 사이의 거리를 측정하는 단계;

타겟 객체와 촬영 디바이스 사이의 거리가 제1 사전설정 값보다 더 크면, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계; 및

타겟 객체와 촬영 디바이스 사이의 거리가 제2 사전설정 값 미만이면, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계를 포함한다.

제1 양태 또는 제1 양태의 제1 내지 제3 가능한 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제4 가능한 구현 방식에서, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계는,

제1 이미지 센서를 사용함으로써 타겟 객체의 가시 광 이미지 및 적외선 광 이미지를 획득하는 단계 - 가시 광 이미지의 픽셀 값은 X와 같고, 적외선 광 이미지의 픽셀 값은 Y와 같음 -;

가시 광 이미지 및 적외선 광 이미지에 따라 X+Y와 같은 픽셀 값을 갖는 제1 참조 이미지를 획득하는 단계;

제2 이미지 센서를 사용함으로써 타겟 객체의 제2 참조 이미지를 획득하는 단계 - 제2 참조 이미지는 X+Y와 같은 픽셀 값을 갖는 가시 광 이미지임 -; 및

삼각형 위치 알고리즘을 사용함으로써 제1 참조 이미지 및 제2 참조 이미지에 따라 타겟 객체의 깊이 정보를 산출하는 단계를 포함한다.

제1 양태 또는 제1 양태의 제1 내지 제4 가능한 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제5 가능한 구현 방식에서, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계는,

적외선 광원을 사용함으로써 특정 패턴을 타겟 객체에 투영하는 단계;

특정 패턴이 타겟 객체에 투영된 후에 타겟 객체의 깊이 변조에 의해 형성되는 참조 패턴을, 제1 이미지 센서를 사용함으로써 획득하는 단계; 및

참조 패턴에 따라 타겟 객체의 깊이 정보를 산출하는 단계를 포함한다.

제1 양태 또는 제1 양태의 제1 내지 제5 가능한 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제6 가능한 구현 방식에서, M은 N의 1/3과 같다.

제1 양태 또는 제1 양태의 제1 내지 제6 가능한 구현 방식들 중 어느 하나를 참조하여, 제1 양태의 제7 가능한 구현 방식에서, 양안 방식의 유효 거리는 1 미터이다.

제2 양태에 따르면, 본 발명은 깊이 정보를 획득하는 방법을 제공하며, 방법은,

타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계; 및

타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계를 포함한다.

제2 양태를 참조하여, 제2 양태의 제1 가능한 구현 방식에서, 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계; 및 타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계는,

제2 양태를 참조하여, 제2 양태의 제2 가능한 구현 방식에서, 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계; 및 타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계는,

제2 양태 또는 제2 양태의 제1 또는 제2 가능한 구현 방식을 참조하여, 제2 양태의 제3 가능한 구현 방식에서, 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계; 및 타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계는,

타겟 객체와 촬영 디바이스 사이의 거리를 측정하는 단계;

제2 양태 또는 제2 양태의 제1 내지 제3 가능한 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제4 가능한 구현 방식에서, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계는,

제2 양태의 제4 가능한 구현 방식을 참조하여, 제2 양태의 제5 가능한 구현 방식에서, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 단계는,

제2 양태의 제4 또는 제5 가능한 구현 방식을 참조하여, 제2 양태의 제6 가능한 구현 방식에서, 제1 이미지 센서는 M개의 적외선 광 감지 픽셀 및 N개의 가시 광 감지 픽셀을 포함하며, M은 N의 1/3과 같다.

제2 양태 또는 제2 양태의 제1 내지 제6 가능한 구현 방식들 중 어느 하나를 참조하여, 제2 양태의 제7 가능한 구현 방식에서, 양안 방식의 유효 거리는 1 미터이다.

제3 양태에 따르면, 촬영 디바이스는,

타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 깊이 정보의 타겟 객체를 획득하도록 구성되는 제1 획득 유닛; 및

타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하도록 구성되는 제2 획득 유닛을 포함한다.

제3 양태를 참조하여, 제3 양태의 제1 가능한 구현 방식에서,

제1 획득 유닛은 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하고;

제1 획득 유닛이 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 수 없으면, 제2 획득 유닛은 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득한다.

제3 양태를 참조하여, 제3 양태의 제2 가능한 구현 방식에서,

제2 획득 유닛은 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하고;

제2 획득 유닛이 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 수 없으면, 제1 획득 유닛은 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득한다.

제3 양태 또는 제3 양태의 제1 또는 제2 가능한 구현 방식을 참조하여, 제3 양태의 제3 가능한 구현 방식에서, 촬영 디바이스는,

타겟 객체와 촬영 디바이스 사이의 거리를 측정하도록 구성되는 측정 유닛을 더 포함하며,

측정 유닛은 타겟 객체와 촬영 디바이스 사이의 거리가 제1 사전설정 값보다 더 큰 것을 결정하면, 제1 획득 유닛은 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하고;

측정 유닛은 타겟 객체와 촬영 디바이스 사이의 거리가 제2 사전설정 값 미만인 것을 결정하면, 제2 획득 유닛은 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득한다.

제3 양태 또는 제3 양태의 제1 내지 제3 가능한 구현 방식들 중 어느 하나를 참조하여, 제3 양태의 제4 가능한 구현 방식에서, 제1 획득 유닛은,

제1 이미지 센서를 사용함으로써 타겟 객체의 가시 광 이미지 및 적외선 광 이미지를 획득하고 - 가시 광 이미지의 픽셀 값은 X와 같고, 적외선 광 이미지의 픽셀 값은 Y와 같음 -;

가시 광 이미지 및 적외선 광 이미지에 따라 X+Y와 같은 픽셀 값을 갖는 제1 참조 이미지를 획득하고;

제2 이미지 센서를 사용함으로써 타겟 객체의 제2 참조 이미지를 획득하고 - 제2 참조 이미지는 X+Y와 같은 픽셀 값을 갖는 가시 광 이미지임 -;

삼각형 위치 알고리즘을 사용함으로써 제1 참조 이미지 및 제2 참조 이미지에 따라 타겟 객체의 깊이 정보를 산출하도록 구체적으로 구성된다.

제3 양태의 제4 가능한 구현 방식을 참조하여, 제3 양태의 제5 가능한 구현 방식에서, 제2 획득 유닛은,

적외선 광원을 사용함으로써 특정 패턴을 타겟 객체에 투영하고;

특정 패턴이 타겟 객체에 투영된 후에 타겟 객체의 깊이 변조에 의해 형성되는 참조 패턴을, 제1 이미지 센서를 사용함으로써 획득하고;

참조 패턴에 따라 타겟 객체의 깊이 정보를 산출하도록 구체적으로 구성된다.

제3 양태의 제4 또는 제5 가능한 구현 방식을 참조하여, 제3 양태의 제6 가능한 구현 방식에서, 제1 이미지 센서는 M개의 적외선 광 감지 픽셀 및 N개의 가시 광 감지 픽셀을 포함하며, M은 N의 1/3과 같다.

제3 양태 또는 제3 양태의 제1 내지 제6 가능한 구현 방식들 중 어느 하나를 참조하여, 제3 양태의 제7 가능한 구현 방식에서, 양안 방식의 유효 거리는 1 미터이다.

본 발명에 제공되는 해결법들에 따르면, 양안 방식 및 구조화된 광 방식이 조합되어, 장거리 타겟 객체의 깊이 정보가 실외 태양광 또는 자연광원으로부터의 간섭으로 인해 획득될 수 없다는 구조화된 광 알고리즘의 단점이 회피되고, 데드 존 내의 단거리 타겟 객체의 깊이 정보가 획득될 수 없다는 양안 방식의 단점이 회피되고, 타겟 객체의 전체 깊이 정보가 획득될 수 있다.

도 1a는 종래 기술에서의 3차원 뷰의 개략도이다.
도 1b는 종래 기술에서의 깊이 뷰의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 촬영 디바이스의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 새로운 센서의 개략도이다.
도 4는 본 발명의 일 실시예에 따른 RGB 컬러 모드에서의 센서의 개략도이다.
도 5는 본 발명의 일 실시예에 따른 깊이 정보를 획득하는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 촬영 디바이스의 개략 구조도이다.

본 발명의 목적들, 기술적 해결법들, 및 장점들을 더 분명히 하기 위해, 이하는 첨부 도면들을 참조하여 본 발명을 상세히 더 설명한다. 명백히, 설명된 실시예들은 본 발명의 실시예들의 전부보다는 오히려 일부일 뿐이다. 창조적 노력들 없이 본 발명의 실시예들에 기초하여 본 기술분야의 통상의 기술자에 의해 획득되는 모든 다른 실시예들은 본 발명의 보호 범위 내에 있을 것이다.

본 발명의 실시예들은 촬영 디바이스 및 깊이 정보를 획득하는 방법을 제공한다. 양안 방식 및 구조화된 광 방식이 조합되어, 장거리 타겟 객체의 깊이 정보가 실외 태양광 또는 자연광원으로부터의 간섭으로 인해 획득될 수 없다는 구조화된 광 알고리즘의 단점이 회피되고, 데드 존 내의 단거리 타겟 객체의 깊이 정보가 획득될 수 없다는 양안 방식의 단점이 회피되고, 타겟 객체의 전체 깊이 정보가 획득될 수 있다.

이하는 이러한 명세서의 실시예들 및 첨부 도면들을 참조하여 본 발명의 기술적 해결법들을 설명한다.

도 2를 참조하면, 본 발명의 일 실시예는 촬영 디바이스를 제공한다. 촬영 디바이스는 제1 이미지 센서(21), 제2 이미지 센서(22), 적외선 광원(23), 및 프로세서(24)를 포함한다. 이러한 구성요소들은 하나 이상의 통신 버스들 또는 신호 케이블들(25)을 사용함으로써 통신을 수행한다.

이하는 이러한 실시예에 제공되는 핑거프린트 중단 웨이크업(fingerprint interruption wakeup)을 위해 단말 디바이스를 상세히 설명한다.

제1 이미지 센서(21)는 본 발명의 이러한 실시예에 제공되는 새로운 센서이고, 적외선 광 이미지 및 가시 광 이미지를 취득하도록 구성된다. 제1 이미지 센서는 M개의 적외선 광 감지 픽셀 및 N개의 가시 광 감지 픽셀을 포함한다.

본 발명의 이러한 실시예에서, 적외선 광 감지 픽셀들 및 가시 광 감지 픽셀들은 균일하게 분포될 필요가 있다. 예를 들어, N:M=3:1일 때, 모든 4개의 픽셀이 하나의 적외선 광 감지 픽셀 및 3개의 가시 광 감지 픽셀들을 포함하는 것이 보장될 필요가 있다. 4개의 픽셀 내의 적외선 광 감지 픽셀의 위치는 본 발명의 이러한 실시예에 제한되지 않는다. 하나의 픽셀 분포 경우는 도 3에 도시될 수 있으며, 4개의 픽셀을 포함하는 각각의 영역에서, 하부 좌측 위치에서의 어두운 컬러 블록은 적외선 광 감지 픽셀을 표현하고, 다른 위치들에서의 백색 블록들은 가시 광 감지 픽셀들을 표현한다.

본 발명의 이러한 실시예에 제공되는 제1 이미지 센서(21) 내의 적외선 광 감지 픽셀들(M) 및 가시 광 감지 픽셀들(N)은 임의의 비율일 수 있다. 바람직하게는, 본 발명의 이러한 실시예에서, 적외선 광 감지 픽셀들의 픽셀 값(M)이 가시 광 이미지 감지 픽셀들의 픽셀 값(N)의 1/3과 같을 때, 양안 방식 및 구조화된 광 방식을 사용함으로써 획득되는 깊이 정보가 바람직한 정밀도를 둘 다 가질 수 있는 것은 다수의 시뮬레이션 테스트들에 의해 발견된다.

제2 이미지 센서(22)는 가시 광 이미지를 취득하도록 구성된다.

도 4에 도시된 바와 같이, 도 4는 제2 이미지 센서(22)의 RGB 컬러 이미지 감지 픽셀들의 일 예를 도시한다.

임의로, 촬영 디바이스에 의해 지원되는 전체 유효 거리와 전력 소비의 균형을 맞추기 위해, 본 발명의 이러한 실시예에서, 2개의 센서의 레이아웃 거리가 양안 방식의 유효 거리를 1 미터로 설정하기 위해 조정될 수 있는 것은 다수의 시뮬레이션 테스트들에 의해 발견된다.

적외선 광원(23)은 특정 패턴을 타겟 객체에 투영하도록 구성된다.

프로세서(24)는 이하의 동작들:

타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 동작; 및 타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 동작을 수행하도록 구성된다.

구조화된 광 방식의 유효 거리는 구조화된 광 방식의 유효 범위의 최대 값을 언급하고; 양안 방식의 유효 거리는 양안 방식의 유효 범위의 최소 값을 언급한다.

임의로, 프로세서는 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 우선 획득하고; 타겟 객체의 깊이 정보가 양안 방식을 사용함으로써 획득될 수 없으면, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 수 있다.

임의로, 프로세서는 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 우선 획득하고; 타겟 객체의 깊이 정보가 구조화된 광 방식을 사용함으로써 획득될 수 없으면, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 수 있다.

임의로, 프로세서는 타겟 객체와 촬영 디바이스 사이의 거리를 측정하고; 타겟 객체와 촬영 디바이스 사이의 거리가 제1 사전설정 값보다 더 크면, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하고; 타겟 객체와 촬영 디바이스 사이의 거리가 제2 사전설정 값 미만이면, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 수 있다.

임의로, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 때, 프로세서(24)는 제1 이미지 센서(21)를 사용함으로써 타겟 객체의 가시 광 이미지 및 적외선 광 이미지를 획득하고 - 가시 광 이미지의 픽셀 값은 X와 같고, 적외선 광 이미지의 픽셀 값은 Y와 같음 -; 가시 광 이미지 및 적외선 광 이미지에 따라 X+Y와 같은 픽셀 값을 갖는 제1 참조 이미지를 획득하고; 제2 이미지 센서(22)를 사용함으로써 타겟 객체의 제2 참조 이미지를 획득하고 - 제2 참조 이미지는 X+Y와 같은 픽셀 값을 갖는 가시 광 이미지임 -; 마지막으로, 삼각형 위치 알고리즘을 사용함으로써 제1 참조 이미지 및 제2 참조 이미지에 따라 타겟 객체의 깊이 정보를 산출할 수 있다.

제1 이미지 센서(21)가 적외선 광 감지 픽셀들을 포함하기 때문에, 제1 이미지 센서(21) 및 적외선 광원(23)은 구조화된 광 방식에 의해 지원되는 단거리 범위 내에서 타겟 객체의 깊이 정보를 취득하는 구조화된 광 모드에 공동으로 적용될 수 있다. 게다가, 제1 이미지 센서(21)가 또한 가시 광 감지 픽셀들을 포함하기 때문에, 제1 이미지 센서(21) 및 제2 이미지 센서(22)는 양안 방식에 의해 지원되는 장거리 범위 내에서 타겟 객체의 깊이 정보를 취득하는 양안 방식에 공동으로 적용될 수 있다.

본 발명의 이러한 실시예에서, 몇 밀리미터만큼 짧은 것에서 수십 미터만큼 긴 것까지의 범위 내의 타겟 객체의 깊이 정보는 적외선 광원 및 2개의 센서를 사용함으로써 획득될 수 있다.

도 5를 참조하면, 본 발명의 일 실시예는 촬영 디바이스에 의해 깊이 정보를 획득하는 구현 프로세스를 제공한다:

단계(501): 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득한다.

촬영 디바이스에 의해, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 구체적 방식은 이하와 같다:

첫번째로, 촬영 디바이스는 제1 이미지 센서를 사용함으로써 타겟 객체의 가시 광 이미지 및 적외선 광 이미지를 획득하며, 가시 광 이미지의 픽셀 값은 X와 같고, 적외선 광 이미지의 픽셀 값은 Y와 같다.

두번째로, 촬영 디바이스는 가시 광 이미지 및 적외선 광 이미지에 따라 X+Y와 같은 픽셀 값을 갖는 제1 참조 이미지를 획득한다.

예를 들어, 촬영 디바이스는 보간 보상 방법을 사용함으로써 제1 참조 이미지를 획득할 수 있다. 제1 이미지는 양안 방식에 의미없는 적외선 광 이미지를 포함한다. 따라서, 적외선 광 이미지는 추출될 필요가 있고, 원래 적외선 광 이미지가 위치되는 픽셀의 휘도는 보간 보상 방법 및 X와 같은 픽셀 값을 갖는 가시 광 이미지에 따라 추정되어, X+Y와 같은 픽셀 값을 갖는 가시 광 이미지가 획득된다.

세번째로, 촬영 디바이스는 제2 이미지 센서를 사용함으로써 타겟 객체의 제2 참조 이미지를 획득하며, 제2 참조 이미지는 X+Y와 같은 픽셀 값을 갖는 가시 광 이미지이다.

마지막으로, 촬영 디바이스는 삼각형 위치 알고리즘을 사용함으로써 제1 참조 이미지 및 제2 참조 이미지에 따라 타겟 객체의 깊이 정보를 산출한다.

단계(502): 타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득한다.

촬영 디바이스에 의해, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하는 구체적 방식은 이하와 같다:

첫번째로, 촬영 디바이스는 적외선 광원을 사용함으로써 특정 패턴을 타겟 객체에 투영한다.

다음에, 촬영 디바이스는 특정 패턴이 타겟 객체에 투영된 후에 타겟 객체의 깊이 변조에 의해 형성되는 참조 패턴을, 제1 이미지 센서를 사용함으로써 획득한다.

마지막으로, 촬영 디바이스는 참조 패턴 및 초기 특정 패턴에 따라 타겟 객체의 깊이 정보를 산출한다.

종래 기술에서, 양안 방식은 이미지를 취득하기 위해 적어도 2개의 센서를 필요로 하고, 구조화된 광 방식은 하나의 추가 적외선 센서를 필요로 한다. 따라서, 본 발명의 이러한 실시예에서, 적어도 3개의 센서는 양안 방식 및 구조화된 광 방식이 조합됨에 따라 이론적으로 요구된다. 그러나, 본 발명의 이러한 실시예에서, 적외선 광 감지 픽셀들 및 가시 광 감지 픽셀들은 새로운 센서로 통합되어, 새로운 센서는 종래의 센서 및 적외선 센서 둘 다의 기능들을 가질 수 있다. 따라서, 타겟 객체의 전체 깊이 정보는 2개의 센서만을 사용하여 양안 방식 및 구조화된 광 방식을 사용함으로써 획득될 수 있다.

단계(501) 및 단계(502)의 순서는 본 발명의 이러한 실시예에서 제한되지 않는다. 예를 들어, 촬영 디바이스는 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 우선 획득하고; 타겟 객체의 깊이 정보가 양안 방식을 사용함으로써 획득될 수 없으면, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 수 있다.

대안적으로, 촬영 디바이스는 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 우선 획득하고; 타겟 객체의 깊이 정보가 구조화된 광 방식을 사용함으로써 획득될 수 없으면, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 수 있다.

임의로, 촬영 디바이스는 타겟 객체와 촬영 디바이스 사이의 거리를 측정하고; 타겟 객체와 촬영 디바이스 사이의 거리가 제1 사전설정 값보다 더 크면, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하고; 타겟 객체와 촬영 디바이스 사이의 거리가 제2 사전설정 값 미만이면, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 수 있다. 촬영 디바이스는 레이저 거리측정, 레이더 거리측정, 또는 다른 거리 측정 방법을 사용함으로써 타겟 객체와 촬영 디바이스 사이의 거리를 측정할 수 있다. 제1 사전설정 값 및 제2 사전설정 값은 같거나 같지 않을 수 있다.

본 발명의 이러한 실시예에 제공되는 새로운 센서 내의 적외선 광 감지 픽셀들(M) 및 가시 광 감지 픽셀들(N)은 임의의 비율일 수 있다. 바람직하게는, 본 발명의 이러한 실시예에서, 적외선 광 감지 픽셀들의 픽셀 값(M)이 가시 광 감지 픽셀들의 픽셀 값(N)의 1/3과 같을 때, 양안 방식 및 구조화된 광 방식을 사용함으로써 획득되는 깊이 정보가 바람직한 정밀도를 둘 다 가질 수 있는 것은 다수의 시뮬레이션 테스트들에 의해 발견된다.

예를 들어, 새로운 센서에서 적외선 광 감지 픽셀들:가시 광 감지 픽셀들=1:3이고, 새로운 센서의 전체 픽셀 값이 3백만인 것을 가정하면, 3백만의 픽셀 값은 75만 적외선 광 감지 픽셀들 및 2.25백만 가시 광 감지 픽셀들을 포함한다.

임의로, 촬영 디바이스의 전력 소비를 감소시키기 위해, 구조화된 광 방식의 유효 범위의 최대 값은 양안 방식의 유효 범위의 최소 값으로 설정될 수 있다.

예를 들어, 촬영 디바이스가 구조화된 광 방식을 사용할 때 A에서 B(A<B)까지의 범위에서 타겟 객체의 깊이 정보를 획득하도록 구성될 수 있고, 양안 방식을 사용할 때 C에서 D(C<D)까지의 범위에서 타겟 객체의 깊이 정보를 획득하도록 구성될 수 있는 것을 가정하면, 촬영 디바이스의 적외선 투영기의 전력이 조정될 수 있어, B는 C와 같다. 이러한 경우에, 촬영 디바이스는 구조화된 광 알고리즘 및 양안 알고리즘을 조합함으로써 A 내지 B/C 내지 D의 범위 내에서 객체의 깊이 정보를 획득할 수 있다. A 내지 B/C는 양안 방식의 데드 존이고, B/C 내지 D는 구조화된 광 방식을 사용함으로써 검출될 수 없는 깊이 영역이다.

촬영 디바이스 상의 2개의 센서의 레이아웃 거리가 더 멀 때, 양안 방식의 유효 거리는 더 크지만, 양안 방식의 데드 존은 대응적으로 증가할 수 있다. 따라서, 구조화된 광 방식의 전력은 구조화된 광 방식의 유효 거리를 확대하기 위해, 증가될 필요가 있다. 촬영 디바이스에 의해 지원되는 전체 유효 거리와 전력 소비의 균형을 맞추기 위해, 본 발명의 이러한 실시예에서, 2개의 센서의 레이아웃 거리가 양안 방식의 유효 거리를 1 미터로 설정하기 위해 조정될 수 있는 것은 다수의 시뮬레이션 테스트들에 의해 발견된다.

도 6을 참조하면, 본 발명의 일 실시예는 본 발명의 도 5에 도시된 깊이 정보를 획득하는 방법을 구현하도록 구성되는 촬영 디바이스를 제공하고, 촬영 디바이스는,

타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하도록 구성되는 제1 획득 유닛(601); 및

타겟 객체와 촬영 디바이스 사이의 거리가 양안 방식의 유효 거리 미만일 때, 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하도록 구성되는 제2 획득 유닛(602)을 포함한다.

임의로, 제1 획득 유닛(601)은 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 우선 획득할 수 있고; 제1 획득 유닛(601)이 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 수 없으면, 제2 획득 유닛(602)은 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득한다.

임의로, 제2 획득 유닛(602)은 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 우선 획득할 수 있고; 제2 획득 유닛(602)이 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득할 수 없으면, 제1 획득 유닛(601)은 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득한다.

임의로, 촬영 디바이스는,

타겟 객체와 촬영 디바이스 사이의 거리를 측정하도록 구성되는 측정 유닛을 더 포함할 수 있으며,

측정 유닛은 타겟 객체와 촬영 디바이스 사이의 거리가 제1 사전설정 값보다 더 큰 것을 결정하면, 제1 획득 유닛(601)은 양안 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득하고;

측정 유닛은 타겟 객체와 촬영 디바이스 사이의 거리가 제2 사전설정 값 미만인 것을 결정하면, 제2 획득 유닛(602)은 구조화된 광 방식을 사용함으로써 타겟 객체의 깊이 정보를 획득한다.

임의로, 제1 획득 유닛(601)은 제1 이미지 센서를 사용함으로써 타겟 객체의 가시 광 이미지 및 적외선 광 이미지를 획득하고 - 가시 광 이미지의 픽셀 값은 X와 같고, 적외선 광 이미지의 픽셀 값은 Y와 같음 -; 가시 광 이미지 및 적외선 광 이미지에 따라 X+Y와 같은 픽셀 값을 갖는 제1 참조 이미지를 획득하고; 제2 이미지 센서를 사용함으로써 타겟 객체의 제2 참조 이미지를 획득하고 - 제2 참조 이미지는 X+Y와 같은 픽셀 값을 갖는 가시 광 이미지임 -; 삼각형 위치 알고리즘을 사용함으로써 제1 참조 이미지 및 제2 참조 이미지에 따라 타겟 객체의 깊이 정보를 산출하도록 구체적으로 구성된다.

임의로, 제2 획득 유닛(602)은 적외선 광원을 사용함으로써 특정 패턴을 타겟 객체에 투영하고; 특정 패턴이 타겟 객체에 투영된 후에 타겟 객체의 깊이 변조에 의해 형성되는 참조 패턴을, 제1 이미지 센서를 사용함으로써 획득하고; 참조 패턴에 따라 타겟 객체의 깊이 정보를 산출하도록 구체적으로 구성된다.

임의로, 제1 이미지 센서는 M개의 적외선 광 감지 픽셀 및 N개의 가시 광 감지 픽셀을 포함하며, M은 N의 1/3과 같다.

임의로, 양안 방식의 유효 거리는 1 미터이다.

결론적으로, 본 발명의 실시예들에 제공되는 기술적 해결법들에 따르면, 적외선 광 감지 픽셀들 및 가시 광 감지 픽셀들을 포함하는 새로운 센서가 제공되고, 양안 방식 및 구조화된 광 방식은 적외선 광원 및 다른 센서를 더 사용함으로써 조합될 수 있어, 장거리 타겟 객체의 깊이 정보가 실외 태양광 또는 자연광원으로부터의 간섭으로 인해 획득될 수 없다는 구조화된 광 알고리즘의 단점이 회피되고, 데드 존 내의 단거리 타겟 객체의 깊이 정보가 획득될 수 없다는 양안 방식의 단점이 회피되고, 몇 밀리미터만큼 짧은 것에서 수십 미터만큼 긴 것까지의 범위 내의 객체의 깊이 정보가 획득될 수 있다.

본 기술분야의 통상의 기술자는 본 발명의 실시예들이 방법, 시스템, 또는 컴퓨터 프로그램 제품으로 제공될 수 있는 것을 이해해야 한다. 따라서, 본 발명은 하드웨어 전용 실시예들, 소프트웨어 전용 실시예들, 또는 소프트웨어 및 하드웨어의 조합을 갖는 실시예들의 형태를 사용할 수 있다. 더욱이, 본 발명은 컴퓨터 사용가능 프로그램 코드를 포함하는 하나 이상의 컴퓨터 사용가능 저장 매체들(디스크 메모리, CD-ROM, 광 메모리 등을 포함하지만 이들에 제한되지 않음) 상에 구현되는 컴퓨터 프로그램 제품의 형태를 사용할 수 있다.

본 발명은 본 발명의 실시예들에 따라 방법, 디바이스(시스템), 및 컴퓨터 프로그램 제품의 흐름도들 및/또는 블록도들을 참조하여 설명된다. 컴퓨터 프로그램 명령어들이 흐름도들 및/또는 블록도들 내의 각각의 프로세스 및/또는 각각의 블록 및 흐름도들 및/또는 블록도들 내의 프로세스 및/또는 블록의 조합을 구현하기 위해 사용될 수 있다는 점이 이해되어야 한다. 이러한 컴퓨터 프로그램 명령어들은 머신을 발생시키기 위해 일반 목적 컴퓨터, 전용 컴퓨터, 내장 프로세서, 또는 임의의 다른 프로그램가능 데이터 처리 디바이스의 프로세서를 위해 제공될 수 있어, 컴퓨터 또는 임의의 다른 프로그램가능 데이터 처리 디바이스의 프로세서에 의해 실행되는 명령어들은 흐름도들 내의 하나 이상의 프로세스들 및/또는 블록도들 내의 하나 이상의 블록들에서 을 구현하는 장치를 발생시킨다.

이러한 컴퓨터 프로그램 명령어들은 컴퓨터 또는 임의의 다른 프로그램가능 데이터 처리 디바이스에 구체적 방식으로 동작하라고 명령할 수 있는 컴퓨터 판독가능 메모리에 저장될 수 있어, 컴퓨터 판독가능 메모리에 저장되는 명령어들은 명령 장치를 포함하는 가공물을 발생시킨다. 명령 장치는 흐름도들 내의 하나 이상의 프로세스들 및/또는 블록도들 내의 하나 이상의 블록들에서 구체적 기능을 구현한다.

이러한 컴퓨터 프로그램 명령어들은 컴퓨터 또는 다른 프로그램가능 데이터 처리 디바이스 위로 로딩될 수 있어, 일련의 동작들 및 단계들은 컴퓨터 또는 다른 프로그램가능 디바이스 상에 수행되며, 그것에 의해 컴퓨터 구현 처리를 발생시킨다. 따라서, 컴퓨터 또는 다른 프로그램가능 디바이스 상에 실행되는 명령어들은 흐름도들 내의 하나 이상의 프로세스들 및/또는 블록도들 내의 하나 이상의 블록들에서 구체적 기능을 구현하는 단계들을 제공한다.

본 발명의 일부 바람직한 실시예들이 설명되었지만, 본 기술분야의 통상의 기술자들은 기본적 발명 개념을 습득하면 이러한 실시예들에 대한 변경들 및 수정들을 할 수 있다. 따라서, 이하의 청구항들은 본 발명의 범위 내에 있는 바람직한 실시예들 및 모든 변경들 및 수정들을 망라하는 것으로 해석되도록 의도된다.

분명히, 본 기술분야의 통상의 기술자들은 본 발명의 실시예들의 사상 및 범위로부터 벗어나는 것 없이 본 발명의 실시예들에 다양한 수정들 및 변형들을 할 수 있다. 본 발명은 이하의 청구항들 및 그들의 균등 기술들에 의해 정의되는 보호의 범위 내에 있으면 이러한 수정들 및 변형들을 망라하도록 의도된다.

Claims

촬영 디바이스(photographing device)로서,
제1 이미지 센서, 제2 이미지 센서, 적외선 광원, 및 프로세서를 포함하고,
상기 제1 이미지 센서는 적외선 광 이미지 및 가시 광 이미지를 취득하도록 구성되고; 상기 제1 이미지 센서는 M개의 적외선 광 감지 픽셀 및 N개의 가시 광 감지 픽셀을 포함하며;
상기 제2 이미지 센서는 가시 광 이미지를 취득하도록 구성되고;
상기 적외선 광원은 특정 패턴을 타겟 객체에 투영하도록 구성되고;
상기 프로세서는 이하의 동작들: 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 구조화된 광 방식(structured light manner)의 유효 거리보다 더 클 때, 양안 방식(binocular manner)을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작; 및 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 상기 양안 방식의 유효 거리 미만일 때, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작을 수행하도록 구성되는, 촬영 디바이스.
제1항에 있어서, 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작; 및 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 상기 양안 방식의 유효 거리 미만일 때, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작은,
상기 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작; 및
상기 타겟 객체의 깊이 정보가 상기 양안 방식을 사용함으로써 획득될 수 없으면, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작을 포함하는 촬영 디바이스.
제1항에 있어서, 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작; 및 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 상기 양안 방식의 유효 거리 미만일 때, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작은,
상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작; 및
상기 타겟 객체의 깊이 정보가 상기 구조화된 광 방식을 사용함으로써 획득될 수 없으면, 상기 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작을 포함하는 촬영 디바이스.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작; 및 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 상기 양안 방식의 유효 거리 미만일 때, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작은,
상기 타겟 객체와 상기 촬영 디바이스 사이의 거리를 측정하는 동작;
상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 제1 사전설정 값보다 더 크면, 상기 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작; 및
상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 제2 사전설정 값 미만이면, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작을 포함하는 촬영 디바이스.
제1항 내지 제4항 중 어느 한 항에 있어서, 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작은,
상기 제1 이미지 센서를 사용함으로써 상기 타겟 객체의 가시 광 이미지 및 적외선 광 이미지를 획득하는 동작 - 상기 가시 광 이미지의 픽셀 값은 X와 같고, 상기 적외선 광 이미지의 픽셀 값은 Y와 같음 -;
상기 가시 광 이미지 및 상기 적외선 광 이미지에 따라 X+Y와 같은 픽셀 값을 갖는 제1 참조 이미지를 획득하는 동작;
상기 제2 이미지 센서를 사용함으로써 상기 타겟 객체의 제2 참조 이미지를 획득하는 동작 - 상기 제2 참조 이미지는 X+Y와 같은 픽셀 값을 갖는 가시 광 이미지임 -; 및
삼각형 위치 알고리즘(triangle location algorithm)을 사용함으로써 상기 제1 참조 이미지 및 상기 제2 참조 이미지에 따라 상기 타겟 객체의 깊이 정보를 산출하는 동작을 포함하는 촬영 디바이스.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 동작은,
상기 적외선 광원을 사용함으로써 상기 특정 패턴을 상기 타겟 객체에 투영하는 동작;
상기 특정 패턴이 상기 타겟 객체에 투영된 후에 상기 타겟 객체의 깊이 변조(depth modulation)에 의해 형성되는 참조 패턴을, 상기 제1 이미지 센서를 사용함으로써 획득하는 동작; 및
상기 참조 패턴에 따라 상기 타겟 객체의 깊이 정보를 산출하는 동작을 포함하는 촬영 디바이스.
제1항 내지 제6항 중 어느 한 항에 있어서, M은 N의 1/3과 같은 촬영 디바이스.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 양안 방식의 유효 거리는 1 미터인 촬영 디바이스.
깊이 정보를 획득하는 방법으로서,
타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계; 및
상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 상기 양안 방식의 유효 거리 미만일 때, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계
를 포함하는 방법.
제9항에 있어서, 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계; 및 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 상기 양안 방식의 유효 거리 미만일 때, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계는,
상기 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계; 및
상기 타겟 객체의 깊이 정보가 상기 양안 방식을 사용함으로써 획득될 수 없으면, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계를 포함하는 방법.
제9항에 있어서, 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계; 및 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 상기 양안 방식의 유효 거리 미만일 때, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계는,
상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계; 및
상기 타겟 객체의 깊이 정보가 상기 구조화된 광 방식을 사용함으로써 획득될 수 없으면, 상기 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계를 포함하는 방법.
제9항 내지 제11항 중 어느 한 항에 있어서, 타겟 객체와 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계; 및 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 상기 양안 방식의 유효 거리 미만일 때, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계는,
상기 타겟 객체와 상기 촬영 디바이스 사이의 거리를 측정하는 단계;
상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 제1 사전설정 값보다 더 크면, 상기 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계; 및
상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 제2 사전설정 값 미만이면, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계를 포함하는 방법.
제9항 내지 제12항 중 어느 한 항에 있어서, 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계는,
제1 이미지 센서를 사용함으로써 상기 타겟 객체의 가시 광 이미지 및 적외선 광 이미지를 획득하는 단계 - 상기 가시 광 이미지의 픽셀 값은 X와 같고, 상기 적외선 광 이미지의 픽셀 값은 Y와 같음 -;
상기 가시 광 이미지 및 상기 적외선 광 이미지에 따라 X+Y와 같은 픽셀 값을 갖는 제1 참조 이미지를 획득하는 단계;
제2 이미지 센서를 사용함으로써 상기 타겟 객체의 제2 참조 이미지를 획득하는 단계 - 상기 제2 참조 이미지는 X+Y와 같은 픽셀 값을 갖는 가시 광 이미지임 -; 및
삼각형 위치 알고리즘을 사용함으로써 상기 제1 참조 이미지 및 상기 제2 참조 이미지에 따라 상기 타겟 객체의 깊이 정보를 산출하는 단계를 포함하는 방법.
제13항에 있어서, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 단계는,
적외선 광원을 사용함으로써 특정 패턴을 상기 타겟 객체에 투영하는 단계;
상기 특정 패턴이 상기 타겟 객체에 투영된 후에 상기 타겟 객체의 깊이 변조에 의해 형성되는 참조 패턴을, 상기 제1 이미지 센서를 사용함으로써 획득하는 단계; 및
상기 참조 패턴에 따라 상기 타겟 객체의 깊이 정보를 산출하는 단계를 포함하는 방법.
제13항 또는 제14항에 있어서, 상기 제1 이미지 센서는 M개의 적외선 광 감지 픽셀 및 N개의 가시 광 감지 픽셀을 포함하며, M은 N의 1/3과 같은 방법.
제9항 내지 제15항 중 어느 한 항에 있어서, 상기 양안 방식의 유효 거리는 1 미터인 방법.
촬영 디바이스로서,
타겟 객체와 상기 촬영 디바이스 사이의 거리가 구조화된 광 방식의 유효 거리보다 더 클 때, 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하도록 구성되는 제1 획득 유닛; 및
상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 상기 양안 방식의 유효 거리 미만일 때, 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하도록 구성되는 제2 획득 유닛
을 포함하는 촬영 디바이스.
제17항에 있어서,
상기 제1 획득 유닛은 상기 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하고;
상기 제1 획득 유닛이 상기 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득할 수 없으면, 상기 제2 획득 유닛은 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 촬영 디바이스.
제17항에 있어서,
상기 제2 획득 유닛은 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하고;
상기 제2 획득 유닛이 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득할 수 없으면, 상기 제1 획득 유닛은 상기 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 촬영 디바이스.
제17항 내지 제19항 중 어느 한 항에 있어서, 상기 촬영 디바이스는,
상기 타겟 객체와 상기 촬영 디바이스 사이의 거리를 측정하도록 구성되는 측정 유닛을 더 포함하며,
상기 측정 유닛이 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 제1 사전설정 값보다 더 큰 것을 결정하면, 상기 제1 획득 유닛은 상기 양안 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하고;
상기 측정 유닛이 상기 타겟 객체와 상기 촬영 디바이스 사이의 거리가 제2 사전설정 값 미만인 것을 결정하면, 상기 제2 획득 유닛은 상기 구조화된 광 방식을 사용함으로써 상기 타겟 객체의 깊이 정보를 획득하는 촬영 디바이스.
제17항 내지 제20항 중 어느 한 항에 있어서, 상기 제1 획득 유닛은,
제1 이미지 센서를 사용함으로써 상기 타겟 객체의 가시 광 이미지 및 적외선 광 이미지를 획득하고 - 상기 가시 광 이미지의 픽셀 값은 X와 같고, 상기 적외선 광 이미지의 픽셀 값은 Y와 같음 -;
상기 가시 광 이미지 및 상기 적외선 광 이미지에 따라 X+Y와 같은 픽셀 값을 갖는 제1 참조 이미지를 획득하고;
제2 이미지 센서를 사용함으로써 상기 타겟 객체의 제2 참조 이미지를 획득하고 - 상기 제2 참조 이미지는 X+Y와 같은 픽셀 값을 갖는 가시 광 이미지임 -;
삼각형 위치 알고리즘을 사용함으로써 상기 제1 참조 이미지 및 상기 제2 참조 이미지에 따라 상기 타겟 객체의 깊이 정보를 산출하도록 구체적으로 구성되는 촬영 디바이스.
제21항에 있어서, 상기 제2 획득 유닛은,
적외선 광원을 사용함으로써 특정 패턴을 상기 타겟 객체에 투영하고;
상기 특정 패턴이 상기 타겟 객체에 투영된 후에 상기 타겟 객체의 깊이 변조에 의해 형성되는 참조 패턴을, 상기 제1 이미지 센서를 사용함으로써 획득하고;
상기 참조 패턴에 따라 상기 타겟 객체의 깊이 정보를 산출하도록 구체적으로 구성되는 촬영 디바이스.
제21항 또는 제22항에 있어서, 상기 제1 이미지 센서는 M개의 적외선 광 감지 픽셀 및 N개의 가시 광 감지 픽셀을 포함하며, M은 N의 1/3과 같은 촬영 디바이스.
제17항 내지 제23항 중 어느 한 항에 있어서, 상기 양안 방식의 유효 거리는 1 미터인 촬영 디바이스.