KR102481147B1

KR102481147B1 - 깊이 매핑

Info

Publication number: KR102481147B1
Application number: KR1020197014679A
Authority: KR
Inventors: 데이비드 찰스 윌리암 리차드
Original assignee: 캠브리지 메카트로닉스 리미티드
Priority date: 2016-11-24
Filing date: 2017-11-24
Publication date: 2022-12-26
Also published as: US10891749B2; WO2018096347A1; EP3545336A1; GB201619921D0; US20190325596A1; KR20190086464A; CN109891266A

Abstract

객체의 깊이 매핑을 위한 장치는 레이저 및 광학 콤포넌트를 포함하는 에미터, 액추에이터 및 제어 프로세서 유닛을 포함한다. 액추에이터는 레이저에 대한 광학 구성요소의 상대 방향 및/또는 상대 위치를 변경하도록 구성된다. 제어 프로세서 유닛은 장치의 사용 동안 장치의 방향 및 로케이션에서의 변화와 관련한 정보를 수신하고, 장치의 사용 동안 장치의 방향 및/또는 로케이션에서의 변화를 보상하도록 레이저에 대한 광학 콤포넌트의 상대 위치 및/또는 상대 방향을 변경하도록 액추에이터를 지시하도록 구성된다.

Description

깊이 매핑

본 발명은 객체를 깊이 매핑(depth mapping)하기 위한 장치에 관한 것이다. 더 구체적으로, 본 발명은 사용자의 손의 흔들림에 의한 깊이 맵(depth map)의 정확성에 대한 영향을 줄이기 위한 향상된 장치를 제공한다.

깊이 맵을 작성하거나 주변 객체의 거리 정보를 확립하기 위해 개발되고 사용되는 많은 방법들이 있다. 이러한 방법들 중 많은 것(예: 전파 시간 방법들 또는 투사된 빛 패턴의 왜곡을 보는 것)은 반사 객체의 거리를 추측하기 위하여 빛 패턴을 방출(일반적으로 적외선(IR) 파장을)한 다음 그것을 감지하고, 광점(light spot)들의 위치 또는 전송과 수신 사이의 시간 중 하나를 처리하는 것을 포함한다. 본 발명은 주로 구조화된 빛 투사기들(projectors)(패턴화된 빛(일반적으로 도트들의 배열)을 투사하는 시스템)와 관련되지만, 다른 유형의 빛 투사기들에도 동일하게 적용될 수 있다.

이러한 시스템에는 여러 가지 단점이 있을 수 있다. 한 가지 문제는 주변 조명에 비해 IR 조명의 강도가 상당히 약할 수 있다는 것이다(특히 직사광선에서의 경우). 즉, 측정의 정확도를 향상시키기 위해 복수의 측정 방법을 수행해야 할 수도 있다. 또한, 구조화된 빛(도트 패턴) 투사기들은 방출된 빛 패턴의 왜곡을 명확히 해석하기 위해 빛 패턴 내에 포함된 분해능(resolution)(세부 양)을 제한할 필요가 있다. 구조화된 조명에 있어서, 깊이 정보의 질과 장치의 에미터(emitter)와 수신기(receiver) 간의 거리는 서로 절충적이다. 넓은 공간은 더 나은 깊이 맵을 제공할 수 있지만, 넓은 간격의 경우, (특히 모바일 장치에서) 패키징이 더 어려울 수 있다.

예를 들어, 많은 애플리케이션에서, 특히 핸드헬드(handheld) 또는 착용 가능한 전자 장치에서, 깊이 맵 측정하는 장치는 추정되는 주변 환경에 대해 시간에 따라 방향을 변경할 수 있다. 이는 캡처 중에 깊이 정보가 왜곡될 수 있으며 캡처 간에 두드러지는 변화가 발생할 수 있음을 의미한다. 이는 추정된 깊이 맵의 질에 심각한 영향을 미칠 수 있다. 그러나 사용자의 손 흔들림으로 인한 탐지기(detector)의 흔들림은 분해능을 향상시키는 것으로 알려져 있다(흔들림이 우연한 정도로 적절한 크기로 디더(dither)에 적용하기 때문에). 따라서 일부 움직임은 유리한 것으로 간주되었다.

한편, 추정된 깊이 맵(deduced depth map)의 품질을 향상시키기 위해, 빛 에미터를 탐지기에 정렬하는 것이 매우 중요하다고 여겨지고 있다. 따라서, 에미터와 탐지기 사이의 기준선 거리(baseline distance)를 방해하는 모든 것은 깊이 맵 품질 향상을 방해하는 것으로 여겨질 수 있다.

깊이 매핑의 품질을 향상시키는 것이 바람직하다.

본 발명의 한 측면에 따르면, 객체의 깊이 매핑을 위한 장치를 제공한다. 상기 장치는 레이저; 광학 콤포넌트(optical component); 상기 레이저에 대한 상기 광학 콤포넌트의 상대 방향(relative orientation) 및/또는 상대 위치(relative position)를 변경(change)하도록 구성(arrange)된 액추에이터(actuator) 및 제어 프로세서 유닛(control processor unit)을 포함하고, 상기 제어 프로세서 유닛은, 상기 장치의 사용 동안 상기 장치의 방향 및/또는 로케이션(location)에서의 변화에 관련된 정보를 수신하고, 상기 장치의 사용 동안 상기 장치의 방향 및/또는 로케이션에서의 변화를 보상하도록, 상기 레이저에 대한 상기 광학 콤포넌트의 상대 위치 및/또는 상대 방향을 변경하도록 상기 액추에이터를 지시하도록 구성(configure)된다.

본 발명에서, 상기 장치의 사용 동안 상기 장치의 방향 및/또는 로케이션에서의 변화를 보상하도록, 상기 레이저에 대한 상기 광학 콤포넌트의 상대 위치 및/또는 상대 방향을 변경하도록 상기 액추에이터를 지시하도록 구성된다. 이로써 상기 장치를 사용하여 생성된 깊이 맵의 정확도가 향상된다.

액추에이터가 에미터와 탐지기 사이의 기준선 거리를 방해할 수 있다는 사실에도 불구하고 개선사항이 제공되기 때문에 이러한 향상은 뜻밖이다. 또한, 상기 장치의 흔들림이 수신측을 향상시킬 것으로 예상되므로 이러한 향상은 뜻밖이므로 상기 장치의 흔들림이 수신측을 향상시킬 것으로 예상되므로, 에미터 측을 안정화하는 것이 유용하다는 것은 놀라운 일이다.

본 발명의 제1 측면에서, 레이저, 광학 콤포넌트 및 상기 레이저 및 광학 콤포넌트의 상대 위치 및 방향을 변경하도록 구성(arrange)된 액추에이터를 포함한 장치가 제공된다.

제2 측면에서, 상기 광학 콤포넌트는 렌즈(lens)이다.

제3 측면에서, 상기 광학 콤포넌트는 거울(mirror)이다.

제4 측면에서, 상기 장치는 상기 장치의 방향에서의 변화를 측정하도록 구성된 자이로스코프(gyroscope)도 포함한다.

제5 측면에서, 상기 액추에이터는 SMA 액추에이터다.

본 발명에 대한 더 나은 이해와 본 발명의 실시예가 동반된 도면을 참조한 비한정적 예를 통해 설명될 것이다.
도 1은 본 발명의 실시예에 따라 장치를 개략적으로 도시한다
도 2는 이전에 알려진 장치를 개략적으로 도시한다.
도 3은 본 발명의 실시예에 따라 장치의 에미터를 개략적으로 도시한다.
도 4 내지 도 6은 본 발명의 실시예에 따라 제어 프로세서 유닛의 기능들을 개략적으로 도시한다.
도 7은 본 발명의 실시예의 맥락에서 사용되는 빛의 대표적인 패턴을 도시한다.
도 8은 본 발명의 실시예에 따라 움직임 스케줄의 구현에 따른 분해능이 향상된 빛의 패턴을 도시한다.

이제 다른 구성으로 장치를 설명할 것이다. 장치는 아래에 명시된 차이점을 제외하고 각 구성에서 동일하다. 따라서 공통적인 요소는 공통의 참조 번호를 부여한다. 명시적으로 명시된 차이를 제외하고 공통 요소의 도면은 장치의 각 구성에 동일하게 적용되지만, 간결성을 위하여 반복되지 않는다.

도 1은 본 발명의 실시예에 따라 장치(10)를 개략적으로 도시한다. 도 1은 본 발명의 일 실시예에 따른 능동적인 깊이 감지 장치(10)의 전반적인 구조(scheme)를 묘사한다. 장치(10)는 객체들의 거리를 측정하기 위한 것이다. 장치(10)는 깊이 측정 장치이다. 장치(10)는 객체(20)의 깊이 맵을 생성하기 위한 것이다.

도 1과 같이, 장치(10)은 에미터(emitter)(11)와 탐지기(12)를 포함한다. 에미터(11)는 객체(20)에 복사(radiation)를 방출하도록 구성된다. 탐지기(12)는 객체로부터 반사된 복사를 탐지하도록 구성되어 있다. 선택적으로, 에미터(11)는 구조화된 복사(즉, 빛 패턴)를 객체(20)로 방출하도록 구성된다. 도 7은 본 발명의 맥락에서 사용될 수 있는 복수의 도트들(즉, 빛의 지점들)로 형성된 빛 패턴(70)의 예를 도시한다. 또 달리, 에미터(11)는 하나의 빛의 지점을 방출하도록 구성될 수 있다. 선택적으로, 복사는 적외선이다. 빛 패턴은 객체에 전송되어 객체의 영역을 가로질러 확장되고, 영역은 다양한 깊이를 가질 수 있다. 예를 들어, 객체가 사람의 얼굴일 때, 깊이 매핑 장치는 얼굴 인식을 위해 사용된다.

탐지기(12)는 객체(20)로부터 수신한 복사를 탐지하도록 구성된다. 빛 패턴이 사용될 때, 탐지기(12)의 측정은 객체(20)의 깊이 맵을 생성할 수 있을 정도로 크게 투사된 빛 패턴의 왜곡을 결정하는 데 사용된다. 그래서 객체(20)의 깊이 맵이 생성될 수 있다. 또 달리, 반사된 복사의 전파 시간(time of flight)은 객체(20)의 다른 부분에 대해 계산될 수 있다. 그래서 깊이 맵이 생성될 수 있다.

장치(10)는 탐지기(12)의 출력과 함께 제공되는 깊이 매핑 프로세서 유닛(processor unit)(25)를 포함하고, 장치(10)는, 객체의 깊이 맵을 생성하기 위하여 출력을 처리한다. 깊이 매핑 프로세서 유닛(25)은 알려진 기술들을 사용하여 이 처리를 수행할 수 있다. 깊이 매핑 프로세서 유닛(25)은 적절한 소프트웨어를 실행하는 프로세서에서 구현될 수 있다.

도 2는 본 발명에 따르지 않는 이전에 알려진 에미터(11)를 개략적으로 도시한다. 도 2에 도시된 것과 같이, 이전에 알려진 에미터(11)는 광학 콤포넌트(13)와 레이저(laser)(16)를 연결하는 브래킷(bracket)(14)을 포함한다. 브래킷(14)은 레이저(16)에 상대적으로 광학 콤포넌트(13)를 단단하게 장착한다. 광학 콤포넌트(13)는 레이저 16에 상대적으로 움직일 수 없다. 사용 동안 사용자의 손이 흔들리는 영향은 보상될 수 없다.

도 3은 본 발명의 실시예에 따라 장치(10)의 에미터(11)를 개략적으로 도시하고, 도 2에 표시된 에미터(11)와 비교하여 수정되었다. 도 3에 도시된 것과 같이, 에미터(11)는 레이저(16)를 포함한다. 레이저(16)는 에미터(11)의 복사의 소스(source)이다. 레이저(16)는 단일 레이저 또는 레이저 어레이(array)일 수 있다. 선택적으로 빔 스플리터(beam splitter)는 빔을 단일 레이저에서 복수의 빔들로 분할하기 위해 제공된다.

도 3과 같이, 에미터(11)는 광학 콤포넌트(13)를 포함한다. 광학 콤포넌트(13)는 상이한 것이다. 도 3의 실시예에서, 광학 콤포넌트(13)는 렌즈를 통해서 보여진다. 선택적으로, 광학 콤포넌트(13)는 복수의 렌즈들을 포함하는 렌즈 스택(stack)이다. 다른 실시예에서, 광학 콤포넌트(13)는 거울을 포함한다. 광학 콤포넌트(13)는 레이저(16)로부터의 복사를 수신하고, 보사를 객체(20)에 전송하도록 구성된다. 일반적으로, 광학 콤포넌트는 빔 스프레더(beam spreader)로 작용하여 전송된 빛 패턴의 영역을 증가시킨다.

도 3에 도시된 것과 같이, 에미터(11)는 액추에이터(15)를 더 포함할 수 있다. 액추에이터(15)는 레이저(16)에 대한 광학 콤포넌트(13)의 상대 방향 및/또는 상대 위치를 변경하도록 구성(arrange)된다. 따라서, 액추에이터(15)는 객체(20)에 방출된 복사의 위치에 영향을 줄 수 있다. 액추에이터(15)는 객체(20)에서 복사의 위치를 제어하기 위하여 제어될 수 있다.

일 실시예에서, 장치(10)는 추가로 제어 프로세서 유닛(30)을 포함한다. 제어 프로세서 유닛(30)은 적절한 소프트웨어를 실행하는 프로세서에서 구현될 수 있고, 제어 프로세서 유닛(30)은 깊이 매핑 프로세서 유닛(25)을 구현하는 다른 프로세서와 같은 프로세서일 수 있다.

제어 프로세서 유닛(30)은 장치(10)의 사용 동안, 장치(10)의 방향 및/또는 로케이션(location)의 변화와 관련한 정보를 수신하도록 구성된다. 구체적으로, 깊이 측정 작동 중, 객체(20)에 대한 장치(10)의 방향 및/또는 로케이션은 변경될 수 있다. 예를 들어, 일 실시예에서, 장치(10)는 휴대 전화와 같은 핸드헬드 장치에 포함될 수 있다. 장치(10)를 이용하여 객체(20)의 깊이 맵을 생성할 때, 사용자의 손이 흔들릴 경우, 장치(10)의 방향 및/또는 로케이션이 변경될 수 있다.

핸드헬드 장치는, 장치(10) 사용 동안 제어 프로세서 유닛(30)에 깊이 매핑 장치(10)의 방향 및/또는 로케이션의 변화와 관련한 정보를 보내고, 측정하도록 구성된 적어도 하나의 센서(sensor)를 포함할 수 있다. 예를 들어, 핸드헬드 장치는 하나 또는 그 이상의 가속도계(accelerometer) 및 하나 또는 그 이상의 자이로스코프(gyroscope)를 포함하는 관성 측정 장비(inertial measurement unit)를 포함할 수 있다. 적어도 하나의 센서는 장치(10) 자체에 포함되지 않을 수 있지만, 적어도 하나의 센서는 깊이 매핑 장치(10)를 포함한 동일한 핸드헬드 장치에 포함될 수 있다. 또 달리, 적어도 하나의 센서는 장치(10) 자체 내에 포함될 수 있다.

제어 프로세서 유닛(30)은 장치(10)의 사용 동안, 장치의 방향 및/또는 로케이션에서의 변화를 보상하도록, 레이저(16)에 대한 광학 콤포넌트(13)의 상대 위치 및/또는 상대 방향을 변경하도록 액추에이터를(15) 지시하도록 구성된다. 구체적으로, 제어 프로세서 유닛(30)은, 장치(10)의 방향 및/또는 위치의 변화가 객체(20)의 복사에 영향을 미치는 정도를 줄이도록 액추에이터(15)를 지시하도록 구성된다. 본 발명의 실시예는 객체(20)에 대한 깊이 맵의 정확성을 향상시킬 것으로 기대된다.

일 실시예에서, 제어 프로세서 유닛(30)은 레이저(16)에 대한 광학 콤포넌트(13)의 상대 위치 및/또는 상대 방향을 변경하여, 객체상으로의 구조화된 복사의 패턴의 위치(70)를 안정화하도록, 액추에이터(15)를 지시하도록 구성된다. 선택적으로, 제어 프로세서 유닛(30)은 객체(20)상으로의 복사의 패턴의 의도적인 타겟(target) 움직임을 제어하도록 구성된다(예를 들어, 분해능 개선을 위해). 제어 프로세서 유닛(30)은 객체(20)상에서의 복사의 패턴의 타겟 움직임을 매칭시키기 위하여, 레이저(16)에 대한 광학 콤포넌트(13)의 상대 방향 및/또는 상대 위치를 변경하여, 객체(20) 상에서 구조화된 복사의 패턴(70)의 위치를 제어하도록 액추에이터(15)를 지시하도록 구성될 수 있다.

도 2에서의 장치와는 대조적으로, 도 3은 광학 콤포넌트(13)가 움직일 수 있도록 액추에이터(15)와 결합된 브래킷(14)을 보여준다. 구체적으로, 광학 콤포넌트(13)는 광학 콤포넌트(13)의 광학 축에 수직인 X-Y 평면에서 주로 움직인다. 액추에이터는 광학 콤포넌트(13)가 고정된 이동 가능한 플랫폼과 레이저(16)가 부착된 지지 프레임(supporting frame)(17) 사이에 확장된 하나 또는 이상의 SMA 와이어들(wires)을 포함한다.

본 발명의 장치(10)는 이전에 알려진 깊이 매핑 장치의 약점을 다룬다. 레이저(16)와 광학 콤포넌트(13) 사이의 상대적 움직임은 투사된 패턴의 방향을 조정할 수 있다.

깊이 맵을 측정하는 장치(10)는 시간에 따라 방향(또는 위치)을 변경되어, 시간에 따라 깊이 맵이 변경되어 수집된 데이터의 정확성이 감소되는 것을 야기한다.

선행기술에서, 통상 고정된 시스템에서도, 출하 후 재보정 기법(post-shipment recalibration techniques)에 대한 연구가 있을 정도로, 탐지기(12)에 대한 빛 에미터(11)의 정렬은 매우 중요한 것으로 간주된다 (예: Darwish, W.; Tang, S.; Li, W. Chen, W. 상업용 RGB-D 센서에 대한 새로운 보정 방법. 센서 2017, 17, 1204). 에미터와 수신기의 상대적 중심에서의 오류는, 측정 거리에 대한 불일치가 발생할 수 있다. 에미터와 수신기 사이의 기준 거리(baseline distance)(t)가 있는지는 삼각법(trigonometry)을 통해 쉽게 알 수 있다(예: 도 1과 같이). 예를 들어, 실제 기준(actual)에 대해 추정된 기준(assumed baseline)에서 dt의 에러는 dt / t 에러로서 추정된 깊이에 직접적으로 나타나며, dt 가 크고(수백 미크론(micron)), t 가 작다면(수 밀리미터(millimetres)) 에러는 유의미(significant)할 수 있다. 광학 경로(optical path)에 X-Y 단계(X-Y stage)를 도입하는 것은 잠재적인 기준 오류의 소스를 도입(introduce)한다.

투사된 도트(dot) 패턴의 움직임(motion)을 줄이는 것의 이점은 매우 명확하다. 근거리 깊이 매핑 솔루션(solution)의 일반적인 타겟 복셀(target voxel) 사이즈(size)는 1mm³보다 작다(예: 시중에서 구할 수 있는 프리멘스 카르민 1.09(Primesense Carmine 1.09)). 휴대용 장치에서 핸드헬드 에미터의 일반적인 흔들림은 회전 시 ±1°, 변환 시 ±1mm가 될 수 있다. 보상 없이, 도트 패턴은 60cm 범위에서 타겟 객체의 표면에서 최대 ±10mm까지 변환될 수 있음을 알 수 있다. 이것은 1mm³ 복셀의 깊이 정보를 추론하기에 받아들이기 어려울 정도로 큰 움직임임을 알 수 있다.

문제는 기본 광학 분해능이 타겟 복셀 크기보다 종종 더 크다는 사실에 의해 복잡해진다. 예를 들어 카르민 제품은 VGA 분해능 깊이 센서를 사용하여 관측 시야(field of view)가 54×45°이다. 1차 에 대해(To first order), 이것은 픽셀이 약 0.1°의 호에 대응하는(subtend) 것을 의미한다. 이는 X-Y 공간(에미터/이미저(imager) 평면에 평행한 평면)에서 청구된(claimed) 1mm 분해능과 일치한다. 이미저와 에미터의 간격이 약 83mm인 점을 감안하면 도트를 1픽셀씩 이동시키는 데 필요한 Z 움직임(타겟으로부터 이미저 및 에미터를 포함한 평면까지의 거리)을 계산할 수 있다. 간단한 삼각법으로 Z에서 분해 능력(ability to resolve)이 1.3mm 이상임을 알 수 있다. 원하는 분해능에 도달하려면 타겟을 오버샘플링할(oversample) 필요가 있다(즉, 방출된 패턴을 두 번 이상 기록한다). 정확한 측정을 위해서는 타겟이 두 번 이상 측정되는 동안 방출된 패턴을 움직이지 않는 상태로 유지하는 것이 중요하다. 이 예에서 원하는 분해능에 달성하는 데 필요한 노출 시간은 약 1/3초다. 손 흔들림(handshake)의 일반적인 주파수는 약 7Hz로, 노출 시간 내에 2-3회의 전이들(excursions)이 있을 수 있음을 나타낸다. 오차는 최대 2cm로, 예를 들어 콧등과 같은 얼굴의 특징과 비교할 수 있는 거리이다. 이것은 깊이 측정에 분명히 영향을 미칠 것이다.

타겟에 투사된 도트 패턴의 움직임을 줄이기 위해 필요한 프로세싱은 광학 이미지 안정화(Optical Image Stabilisation)에 필요한 것과 매우 유사하지만, 반대이다. 광학 이미지 안정화 기술은 잘 알려져 있고, 수많은 장소들(places)에서 묘사된다(예를 들어 광학 이미지 안정화(Optical Image Stabilization)(OIS) - ST마이크로 일렉트로닉스에 의한 백서 - http://www.st.com/content/ccc/resource/technical/document/white_paper/c9/a6/fd/e4/e6/4e/48/60/ois_white_paper.pdf/files/ois_white_paper.pdf/jc Such actuators can be precisely controlled and have the advantage of compactness, efficiency and accuracy.r:content/translations/en.ois_white_paper.pdf).

타겟에 투사된 빛의 움직임이 최소화되는 것을 확실하게 하기 위하여, 투사 장치(10)의 움직임이 측정되고 광학 소자에 보상이 적용되어야 한다.

움직임은 일반적으로 자이로스코프들(회전이 도트 패턴 이동의 가장 큰 원인이기 때문에)을 사용하여 측정되지만, 가속도계나 다른 자세 측정 기술들과 같은 다른 센서로 증가될 수 있다. 에미터의 자세가 결정되면 광학 소자에 적용할 보상을 결정을 할 수 있다. 최선의 보상을 위해 알고리즘은 깊이 입력을 받아야 할 수 있다(추정된 깊이 맵 또는 시스템의 자동 초점 액추에이터와 같은 다른 요소로부터).

액추에이터(15)는 형상기억합금(SMA: shape memory alloy) 액추에이터일 수 있다. 그러한 액추에이터는 정밀하게 제어될 수 있으며, 소형성(compactness), 효율성 및 정확성의 이점을 가질 수 있다. 액추에이터의 X-Y 위치를 정밀하게 제어하는 능력은 기준 거리에 대한 잠재적으로 높은 민감도를 고려하여 유리하다. 액추에이터(15)는 PCT 애플리케이션 공개 번호 WO 2013/175197에 공개된 것과 같을 수 있으며, 4-와이어 SMA 액추에이터를 사용하여 광학 이미지 안정화(OIS: optical image stabilization)용 액추에이터를 개시한다. 그러한 액추에이터들의 고정밀 제어를 위한 메커니즘은 WO 2008/099156 이래로 여러 선행 개시들에서 다뤄졌다.

도 4 내지 도 6은 발명의 실시예에 따라 장치(10)의 제어 프로세서 유닛(30)의 기능을 개략적으로 도시한다. 제어 프로세서 유닛(30)의 기능들은 41내지 46의 번호가 매겨진 박스들로 표시된다.

도 4는 자이로스코프 전용 보상에 대한 프로세싱 체인(processing chain)을 나타낸다. 도 4에서 도시된 것과 같이, 자이로스코프(31)는 제어 프로세서 유닛(30)으로 각속도(angular velocity) 정보를 보낸다. 제어 프로세서 유닛(30)는 깊이 측정 프로세스 동안 장치(10)의 방향(3개의 자유도(degrees of freedom) 중 어느 것에서)이 변경된 양의 측정에 대한 각속도를 변환하도록 구성된 인터그레이터(integrator)(41)를 포함한다. 인터그레이터(41)는 광기계 모델(optomechanical model)(45)에 결과를 출력한다. 광기계 모델(45)은 인터그레이터(41)로부터의 결과를 요구된 보상 움직임으로 변환하도록 구성된다. 광기계 모델(45)은 그것의 결과를 액추에이터 서보(servo)(15, 46)의 컨트롤러(controller)(46)로 출력하도록 구성된다. 컨트롤러(46)는 광기계 모델(45)에 의해 결정되는 요구된 보상 움직임을 수행하기 위해 액추에이터(15)를 제어하도록 구성된다. 액추에이터 서보(15, 46)는 사용자의 손 흔들림을 보상하는 광학적 움직임(50)을 초래한다.

액추에이터 서보(15, 46)는 내부 피드백(internal feedback)이 있는 것으로 보여진다. 이는 저비용(low-cost) 액추에이터로 고정밀화를 달성하는 데 유리하지만, 이것은 위치 센서들 또는 SMA 액추에이터 시스템으로부터의 직접 저항 피드백의 형태로 나타날 수 있다. 도 5는 변환 보상(translation compensation)(4축 보상)을 포함한 프로세싱 체인의 일례를 나타낸다. 그림 5에 나타낸 것과 같이, 자이로스코프(31)로부터의 정보뿐만 아니라, 가속도계(32)로부터의 추가 정보가 사용될 수 있다. 가속도계(32)는 3개의 자유도 중 어느 것에서 장치(10)의 로케이션(location)의 변화를 결정하기 위해 가속도를 감지한다. 따라서 가속계와 자이로스코프의 조합은 장치(10)의 로케이션(location)와 방향을 6개의 자유도로 결정되도록 한다. 가속도계(32)는 이중(double) 인터그레이터(42)로 가속도 결과들을 출력한다. 이중 인터그레이터(42)는 감지된 가속도(acceleration)를 장치(10)의 로케이션(location) 변화로 변환하도록 구성된다. 이중 인터그레이터는 이것의 결과를 광기계 모델(45)로 출력한다. 도 5에 도시된 것과 같이, 선택적으로 깊이 추정기(43)가 깊이 추정치(depth estimate)를 광기계 모델(45)로 출력한다. 깊이 추정치는 (깊이 센서인) 장치(10)를 통해 또는 다른 소스로부터 결정될 수 있다. 광기계 모델(45)은 장치(10)의 로케이션(location) 및 방향의 변화로부터, 요구된 보상 움직임을 결정하도록 구성된다.

도 6은 분해능 향상 스케줄(schedule)의 투입(injection)을 나타낸다. 본 발명에 대한 추가적인 측면으로서, 에미터에 대해 투사 패턴(70)을 움직이게 하는 기능을 제공하기 위해 액추에이터(15)가 더해진 것을 감안하면, 이것은 타겟 객체(20)의 표면 위로 도트 패턴(70)을 의도적으로 이동시키는 데에도 사용될 수 있다. 이것은 어느 정도 배경 논의에서 확인된 분해능 제한에 대응한다(counteract). 타겟(20)이 진정으로(genuinely) 원하는 패턴으로 스캔되는 것을 확실하게 하기 위하여, OIS 신호(signal)에 움직임 패턴이 중첩되어야 한다(overlaid).

특히 도 6에 도시된 것과 같이, 일 실시예에서 제어 프로세서 유닛(30)은 분해능 향상 움직임 스케줄러(scheduler)(44)를 포함한다. 분해능 향상 움직임 스케줄러(44)는 객체(20) 상에서 복사 패턴에 대한 시간에 관한 일련의 X-Y 위치들을 결정하도록 구성된다. 예를 들어, 분해능 향상 움직임 스케줄러(44)는 빛의 패턴에서의 도트들이 객체(20) 상에서 다른 지점들에 입사(incident)하도록 빛의 패턴이 주기적으로 이동해야 하는지 결정할 수 있다. 이것은 빛의 패턴의 분해능을 효과적으로 증가시키는데 도움을 줄 수 있다. 도 7은 전형적인 도트 패턴의 예를 나타내며, 도 8은 그러한 움직임 스케줄에 따르는 빛의 분해능 향상 패턴(resolution enhanced pattern)을 개략적으로 도시한다.

본 설명은 에미터 장치를 중심으로 한다. 광학 이미지 안정화가 언급된 것을 고려하면, 수신측에서 그것의 효용성을 고려하는 것이 옳은 것으로 보인다. 예상하지 못한 결과에서, OIS는 시스템의 수신측만큼 중요하지 않다. 그 이유는 일반적으로 수신기 분해능이 일반적으로 타겟 복셀 크기보다 크기 때문이다. 신호의 양자화(quantisation)가 측정될 양의 최소 관련 단계와 비슷하거나 더 클 때, 소량의 디더(임의 잡음)는 분해능을 감소시키기 보다는 실질적으로 향상시킬 수 있다는 것은 잘 알려져 있다. 운 좋게도, 현재 제품들의 경우, 손 흔들림은 탐지기에서 ±1 픽셀 크기의 무작위 움직임을 도입하는 경향이 있다. 이것은 디더가 존재할 수 있는 좋은 정도(level)이다. 실제로, 삼각 확률 분포(triangle probability distribution)가 있는 진폭 ±1 LSB (여기서 LSB는 'Last Significant Bit'를 의미함 - 즉 샘플링된 시스템에서 나타낼 수 있는 가장 작은 단위)의 랜덤 디더는 측정의 양자화 왜곡을 분해하기 위한 알려진 최적의 결과다. 따라서 수신측에서만 악수를 허용하는 것이 잠재적으로 유리하다. 여기서 주장의 비대칭성에 주의하는 것이 중요하다 -방출되는 빛을 안정화하면 여전히 이점을 제공한다 -샘플링되는 객체 상의 지점들이 이동할 수 있기 때문에 깊이 맵을 저하시킨다. 깊이 정보의 질을 향상시키기 위한 압박(pressure)이 증가함에 따라, 손 흔들림은 수신 공간의 1픽셀 진폭보다 훨씬 더 커지게 될 것으로 예상되므로, 종래(conventional)의 이미지 안정화 기법이 수신기 측에서 중요해질 것이다.

도트 패턴의 움직임으로부터 정보를 추출하기 위해, 깊이 맵 제어 프로세서 유닛(30)은 각 샘플링된 시간 단계(timestep)에서 달성된 움직임을 인지해야 한다.

사용되는 도트 패턴의 일반적인 의사 난수(pseudo-random) 특성 때문에 일반적으로 투사되는 패턴을 이동하는 데 있어 특별히 좋은 방향이나 나쁜 방향이 없다는 점에 유의해야 한다 - 평균 도트 간 거리의 약 절반까지 움직임이 증가하면 표본 동작의 향상은 꽤 균일하게 양호하다.

위의 설명은 단일 에미터와 단일 수신기가 있는 시스템과 관련되어 있다. 본 발명은 하나의 에미터 및 복수의 수신기들을 가진 시스템 (예를 들어 Realsense 카메라에서 구현된 것과 같이) 또는 복수의 에미터들 및 수신기들을 가진 시스템에도 동일하게 적용된다.

Claims

객체의 깊이 매핑을 위한 장치에 있어서,
레이저 및 광학 콤포넌트를 포함하는 에미터;
상기 레이저에 대한 상기 광학 콤포넌트의 상대 방향 및/또는 상대 위치를 변경하도록 구성된 SMA 액추에이터; 및
제어 프로세서 유닛
을 포함하고,
상기 제어 프로세서 유닛은,
상기 장치의 사용 동안 상기 장치의 방향 및/또는 로케이션에서의 변화에 관련된 정보를 수신하고,
상기 장치의 사용 동안 상기 장치의 방향 및/또는 로케이션에서의 변화를 보상하도록, 상기 레이저에 대한 상기 광학 콤포넌트의 상대 위치 및/또는 상대 방향을 변경하도록 상기 SMA 액추에이터를 지시하도록 구성된
장치.
제1항에 있어서,
상기 장치의 사용 동안 상기 장치의 방향 및/또는 로케이션에서의 변화에 관련된 정보를 측정하고 상기 제어 프로세서 유닛으로 송신하도록 구성된 적어도 하나의 센서
를 포함하는 장치.
제2항에 있어서,
상기 적어도 하나의 센서는,
상기 장치의 방향에서의 변화를 측정하도록 구성된 자이로스코프; 및/또는
상기 장치의 위치에서의 변화를 측정하도록 구성된 적어도 하나의 가속도계
를 포함하는 장치.
삭제
제1항에 있어서,
SMA 액추에이터는 SMA 와이어를 포함하는 장치.
제1항에 있어서,
상기 정보는
적어도 3개의 자유도에서 상기 장치의 방향 및/또는 로케이션에서의 변화에 관련되는
장치.
제1항에 있어서,
상기 정보는,
적어도 6개의 자유도에서 상기 장치의 방향 및/또는 로케이션에서의 변화에 관련되는
장치.
제1항에 있어서,
상기 광학 콤포넌트는 렌즈인 장치.
제1항에 있어서,
상기 광학 콤포넌트는 거울인 장치.
제1항에 있어서,
지지 프레임
을 더 포함하고,
상기 레이저는,
상기 지지 프레임에 고정되고,
상기 액추에이터는,
상기 지지 프레임 및 상기 레이저에 대해 상기 광학 콤포넌트의 상대 위치 및/또는 상대 방향을 변경하도록 구성된
장치.
제10항에 있어서,
객체로부터 반사되는 복사를 탐지하도록 구성된 탐지기
를 더 포함하고,
상기 탐지기는,
상기 지지 프레임에 고정된
장치.
제1항에 있어서,
객체로부터 반사되는 복사를 탐지하도록 구성된 탐지기
를 더 포함하는 장치.
제12항에 있어서,
깊이 맵을 생성하기 위해 상기 탐지기의 출력을 처리하도록 구성된 깊이 매핑 프로세서 유닛
을 더 포함하는 장치.
제1항에 있어서,
상기 에미터는,
구조화된 복사의 패턴을 객체 상으로 방출하도록 구성된
장치.
제14항에 있어서,
상기 제어 프로세서 유닛은,
상기 레이저에 대한 상기 광학 콤포넌트의 상대 위치 및/또는 상대 방향을 변경하여, 객체상으로의 구조화된 복사의 패턴의 위치를 안정화하도록, 액추에이터를 지시하도록 구성된
장치.
제1항 내지 제15항 중 어느 한 항에 따른 장치를 포함하는 이동 전화.