KR20190134476A

KR20190134476A - 동적 비전 센서(dvs) 스테레오 쌍 및 펄스형 스페클 패턴 프로젝터로부터의 반밀도 깊이 추정

Info

Publication number: KR20190134476A
Application number: KR1020190055837A
Authority: KR
Inventors: 미셸 사피엔자; 안쿠르 굽타; 압히짓 밴데일
Original assignee: 삼성전자주식회사
Priority date: 2018-05-25
Filing date: 2019-05-13
Publication date: 2019-12-04
Also published as: US11143879B2; EP3750304A4; CN112204961A; CN112204961B; WO2019225880A1; US20190361259A1; EP3750304A1

Abstract

반밀도 깊이 추정 방법은, 전자 장치에서 스페클 패턴 프로젝터(SPP)의 제어 신호를 수신하는 단계 및 동적 비전 센서(DVS) 스테레오 쌍의 각각의 센서로부터 픽셀 명암 변화 데이터의 이벤트 스트림을 수신하는 단계를 포함하며, 이벤트 스트림은 SPP의 제어 신호와 시간 동기된다. 그 방법은 DVS 스테레오 쌍의 각각의 센서에 대한 픽셀 명암 변화 데이터의 이벤트 스트림에 대해, 투사된 광 필터링을 수행하여, 각각의 채널이 픽셀 명암 변화 데이터의 이벤트 스트림의 단발적(isolated) 부분에 기반하는 하나 이상의 채널들을 가지는 합성(synthesized) 이벤트 이미지 데이터를 생성하도록 하는 단계, 및 DVS 스테레오 쌍의 각각의 센서에 대해 합성 이벤트 이미지 데이터의 적어도 하나의 채널에 대해 스테레오 매칭을 수행하여 시계의 적어도 일부에 대한 깊이 맵을 생성하는 단계를 더 포함한다.

Description

동적 비전 센서(DVS) 스테레오 쌍 및 펄스형 스페클 패턴 프로젝터로부터의 반밀도 깊이 추정{SEMI-DENSE DEPTH ESTIMATION FROM A DYNAMIC VISION SENSOR (DVS) STEREO PAIR AND A PULSED SPECKLE PATTERN PROJECTOR}

본 개시는 일반적으로 컴퓨터 비전에 관한 것이다. 보다 상세하게 말하면, 본 개시는 동적 비전 센서(Dynamic Vision Sensor: DVS) 스테레오 쌍 및 펄스형 스페클 패턴 프로젝터로부터의 반밀도(semi-dense) 깊이 추정을 위한 시스템 및 방법에 관한 것이다.

깊이 추정(depth estimation)은 컴퓨터 비전에 있어 중심적 문제이다. 깊이에 대한 판단은 얼굴 인식, 얼굴 추적, 카메라 포즈 추정 및 장면들(scenes)의 기하학적 모델링과 같이 많은 증강(AR) 애플리케이션을 구동하는 여러 애플리케이션들에 있어 기본적인 것이다.

깊이 추정 구현과 관련된 기술적인 과제는 제한 없이, 대기시간(latency), 프로세서 전력 소비, 가변하는 광 조건들에 걸친 성능, 및 센서 프레임에서 모션의 부재 시 깊이를 정확히 추정하는 능력과 같은 시스템 성능의 여러 차원에 걸친 깊이 추정에 대한 성능의 한계에 동시적으로 도전하는 것을 포함한다.

보통, 성능의 견고함, 속도, 그리고 낮은 프로세서 전력 소비가 “철의 삼각(iron triangle)” 관계를 유지함으로써, 센서나 시스템은 이들 세 가지 바람직한 성능 특성들 중 기껏해야 두가지 성능 특성 만을 가질 수 있다. 따라서, 여러 성능 파라미터들에 걸친 깊이 추정 시스템들의 동시적 성능 향상은 컴퓨터 비전 분야의 개선 기회 및 기술적 과제의 원천으로 남아 있다.

본 개시 및 그 이점들에 대한 보다 완전한 이해를 위해, 지금부터 첨부된 도면들과 함께 취해진 이하의 설명을 참조한다.
도 1은 본 개시의 다양한 실시예들에 따라 깊이 추정을 수행하는 전자 장치의 일 예를 도시한다.
도 2는 본 개시의 소정 실시예들에 따라 투사된 스페클 패턴 및 장면 데이터를 획득하기 위한 장치의 예를 도시한다.
도 3은 본 개시의 일부 실시예들에 따라 투사된 스페클 패턴 및 장면 데이터를 획득하기 위한 장치 내 센서 구성의 예를 도시한다.
도 4는 본 개시의 소정 실시예들에 따른 동적 비전 센서의 동작의 양태들을 도시한다.
도 5는 본 개시의 다양한 실시예들에 따라, 대상과 배경을 포함하는 장면 상에 투사된 스페클 패턴의 일 예를 도시한다.
도 6은 본 개시의 적어도 일 실시예에 따라, 동적 비전 센서 스테레오 쌍 및 펄스형 스페클 패턴(pulsed speckle pattern) 프로젝터로부터 반밀도 깊이 추정을 구현하기 위한 구성요소들의 예를 도시한다.
도 7은 본 개시의 다양한 실시예들에 따라, 픽셀 명암 변화 데이터의 이벤트 스트림에 대해 투사된 광 필터링의 일 예를 도시한다.
도 8은 본 개시의 소정 실시예들에 따라 투사된 광 필터링을 수행함으로써 획득되는 장면 유일(scene-only) 픽셀 명암 변화 데이터의 이벤트 스트림에 대한 예를 도시한다.
도 9는 본 개시의 소정 실시예들에 따라 필터링 되고 합성된 광 명암 변화 스트림들로부터 생성되는 멀티 채널 히스토그램들 및 픽셀 명암 변화 데이터의 이벤트 스트림에 대해 투사된 광 필터링의 예를 도시한다.
도 10은 본 개시의 다양한 실시예들에 따라, 합성 이벤트 이미지 데이터에 대한 스테레오 매칭을 수행하는 일 예를 도시한다.
도 11은 본 개시의 일부 실시예들에 따라, 합성 이벤트 이미지 데이터에 대한 스테레오 매칭을 수행하는 일 예를 도시한다.
도 12는 본 개시의 다양한 실시예들에 따라 깊이 추정을 수행하는 방법의 동작들을 도시한다.
도 13은 본 개시의 다양한 실시예들에 따라 깊이 추정을 수행하는 방법의 동작들을 도시한다.

본 개시는 동적 비전 센서(DVS) 스테레오 쌍 및 펄스형 스페클 패턴 프로젝터로부터의 반밀도(semi-dense) 깊이 추정을 위한 시스템 및 방법을 제공한다.

제1실시예에서, 반밀도 깊이 추정 방법은 전자 장치에서 시계 상에서 스페클 패턴 프로젝터(SPP: speckle pattern projector)에 의해 투사된 소정의 광 패턴의 온/오프 상태를 시간의 함수로서 나타내는 SPP의 제어 신호를 수신하는 단계, 및 동적 비전 센서(DVS) 스테레오 쌍의 각각의 센서로부터 픽셀 명암(intensity) 변화 데이터의 이벤트 스트림을 수신하는 단계를 포함하고, 상기 이벤트 스트림은 상기 SPP의 제어 신호와 시간 동기된 것으로서, 시계 안의 장면으로부터 광과 관련된 제1부분 및 상기 SPP에 의해 투사된 상기 소정의 광 패턴과 관련된 제2부분을 포함한다. 상기 방법은 상기 DVS 스테레오 쌍의 각각의 센서에 대한 상기 픽셀 명암 변화 데이터의 이벤트 스트림에 대해, 투사된 광 필터링을 수행하여, 각각의 채널이 상기 픽셀 명암 변화 데이터의 이벤트 스트림의 단발적(isolated) 부분에 기반하는 하나 이상의 채널들을 가지는 합성(synthesized) 이벤트 이미지 데이터를 생성하도록 하는 단계, 및 상기 DVS 스테레오 쌍의 각각의 센서에 대해 상기 합성 이벤트 이미지 데이터의 적어도 하나의 채널에 대해 스테레오 매칭을 수행하여 상기 시계의 적어도 일부에 대한 깊이 맵을 생성하는 단계를 더 포함한다.

제2실시예에서, 장치는 스페클 패턴 프로젝터, 동적 비전 센서(DVS) 스테레오 쌍, 프로세서, 및 메모리를 포함한다. 더 나아가, 상기 메모리는 상기 프로세서에 의해 실행될 때 상기 장치가 시계 상에서 스페클 패턴 프로젝터(SPP: speckle pattern projector)에 의해 투사된 소정의 광 패턴의 온/오프 상태를 시간의 함수로서 나타내는 SPP의 제어 신호를 수신하고, 상기 동적 비전 센서(DVS) 스테레오 쌍의 각각의 센서로부터 픽셀 명암(intensity) 변화 데이터의 이벤트 스트림을 수신하되, 상기 이벤트 스트림은 상기 SPP의 제어 신호와 시간 동기된 것으로서 시계 안의 장면으로부터 광과 관련된 제1부분 및 상기 SPP에 의해 투사된 상기 소정의 광 패턴과 관련된 제2부분을 포함하도록 하는 명령어들을 포함한다. 또한, 상기 명령어들은 상기 프로세서에 의해 실행될 때 상기 장치가 상기 DVS 스테레오 쌍의 각각의 센서에 대한 상기 픽셀 명암 변화 데이터의 이벤트 스트림에 대해, 투사된 광 필터링을 수행하여, 각각의 채널이 상기 픽셀 명암 변화 데이터의 이벤트 스트림의 단발적(isolated) 부분에 기반하는 하나 이상의 채널들을 가지는 합성(synthesized) 이벤트 이미지 데이터를 생성하도록 하고, 상기 DVS 스테레오 쌍의 각각의 센서에 대해 상기 합성 이벤트 이미지 데이터의 적어도 하나의 채널에 대해 스테레오 매칭을 수행하여 상기 시계의 적어도 일부에 대한 깊이 맵을 생성하도록 한다.

제3실시예에서, 컴퓨터 판독가능 매체는 프로세서에 의해 실행될 때 전자 장치가, 전자 장치에서 시계 상에서 스페클 패턴 프로젝터(SPP: speckle pattern projector)에 의해 투사된 소정의 광 패턴의 온/오프 상태를 시간의 함수로서 나타내는 SPP의 제어 신호를 수신하는 단계, 및 동적 비전 센서(DVS) 스테레오 쌍의 각각의 센서로부터 픽셀 명암(intensity) 변화 데이터의 이벤트 스트림을 수신하도록 하되, 상기 이벤트 스트림은 상기 SPP의 제어 신호와 시간 동기된 것으로서, 시계 안의 장면으로부터 광과 관련된 제1부분 및 상기 SPP에 의해 투사된 상기 소정의 광 패턴과 관련된 제2부분을 포함하도록 하는 프로그램 코드를 포함한다. 또한, 상기 프로그램 코드는 상기 프로세서에 의해 실행될 때 상기 장치가 상기 DVS 스테레오 쌍의 각각의 센서에 대한 상기 픽셀 명암 변화 데이터의 이벤트 스트림에 대해, 투사된 광 필터링을 수행하여, 각각의 채널이 상기 픽셀 명암 변화 데이터의 이벤트 스트림의 단발적(isolated) 부분에 기반하는 하나 이상의 채널들을 가지는 합성(synthesized) 이벤트 이미지 데이터를 생성하도록 하고, 상기 DVS 스테레오 쌍의 각각의 센서에 대해 상기 합성 이벤트 이미지 데이터의 적어도 하나의 채널에 대해 스테레오 매칭을 수행하여 상기 시계의 적어도 일부에 대한 깊이 맵을 생성하도록 한다.

이하의 도면, 상세한 설명 및 청구범위로부터 다른 기술적 특징들이 당업자에게 자명해 보일 것이다.

이하의 상세한 설명을 수행하기 전에, 이 특허 문서 전체에 걸쳐 사용된 소정 단어들과 어구들의 정의를 설명하는 것이 바람직하다. "연결(결합)한다"는 말과 그 파생어들은 둘 이상의 구성요소들이 서로 물리적 접촉 상태에 있는지 그렇지 않든지, 그들 간의 어떤 직접적이거나 간접적인 통신을 일컫는다. "전송한다", "수신한다", 그리고 "통신한다" 라는 용어들뿐 아니라 그 파생어들은 직간접적 통신 모두를 포함한다. "포함하다" 및 "구비한다"는 용어들 및 그 파생어들은 제한 없는 포함을 의미한다. "또는"이라는 말은 '및/또는'을 의미하는 포괄적인 말이다. "~와 관련된다" 및 그 파생어들은 포함한다, ~ 안에 포함된다, ~와 상호연결한다, 내포한다, ~안에 내포된다, ~에/와 연결한다, ~에/와 결합한다, ~와 통신할 수 있다, ~와 협력한다, 개재한다, 나란히 놓는다, ~에 근사하다, ~에 속박된다, 가진다, ~의 특성을 가진다, ~와 관계를 가진다는 등의 의미이다. "제어기"라는 용어는 적어도 한 동작을 제어하는 어떤 장치, 시스템, 또는 그 일부를 의미한다. 그러한 제어기는 하드웨어나 하드웨어와 소프트웨어 및/또는 펌웨어의 조합으로 구현될 수 있다. 어떤 특정 제어기와 관련된 기능은 국지적이든 원격으로든 중앙 집중되거나 분산될 수 있다. "적어도 하나의~"라는 말은 항목들의 리스트와 함께 사용될 때, 나열된 항목들 중 하나 이상의 서로 다른 조합들이 사용될 수 있고, 그 리스트 내 오직 한 항목만이 필요로 될 수 있다는 것을 의미한다. 예를 들어, "A, B, 및 C 중 적어도 하나"는 A, B, C, A 와 B, A와 C, B와 C, 및 A와 B와 C의 조합들 중 어느 하나를 포함한다.

또한, 이하에 기술되는 다양한 기능들은 하나 이상의 컴퓨터 프로그램들에 의해 구현되거나 지원될 수 있으며, 그 프로그램들 각각은 컴퓨터 판독가능 프로그램 코드로 구성되고 컴퓨터 판독가능 매체에서 실시된다. "애플리케이션" 및 "프로그램"이라는 용어는 하나 이상의 컴퓨터 프로그램, 소프트웨어 성분, 명령어 집합, 절차, 함수, 객체, 클래스, 인스턴스, 관련 데이터, 또는 적합한 컴퓨터 판독가능 프로그램 코드의 구현에 적합한 그들의 일부를 일컫는다. "컴퓨터 판독가능 프로그램 코드"라는 말은 소스 코드, 객체 코드, 및 실행 코드를 포함하는 모든 타입의 컴퓨터 코드를 포함한다. "컴퓨터 판독가능 매체"라는 말은 ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브, 컴팩트 디스크(CD), 디지털 비디오 디스크(DVD), 또는 어떤 다른 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 모든 유형의 매체를 포함한다. "비일시적" 컴퓨터 판독가능 매체는 일시적인 전기 또는 기타 신호들을 전송하는 유선, 무선, 광학, 또는 기타 통신 링크들을 배제한다. 비일시적 컴퓨터 판독가능 매체는 데이터가 영구적으로 저장될 수 있는 매체, 및 재기록가능 광학 디스크나 삭제가능 메모리 장치와 같이 데이터가 저장되고 나중에 덮어 씌어질 수 있는 매체를 포함한다.

다른 소정 단어들 및 어구들에 대한 정의가 이 특허 문서 전체에 걸쳐 제공된다. 당업자는 대부분의 경우들은 아니어도 많은 경우, 그러한 정의들이 그렇게 정의된 단어들 및 어구들의 이전뿐 아니라 이후 사용에도 적용된다는 것을 알 수 있을 것이다.

이하에 논의되는 도 1 내지 13 및 이 특허 문서의 본 개시의 원리를 기술하는데 사용되는 다양한 실시예들은 단지 예일뿐으로 어떤 식으로도 본 개시의 범위를 한정하는 것으로 간주되어서는 안될 것이다. 당업자는 본 개시의 원리들이 어떤 적절하게 구성된 무선 통신 시스템으로 구현될 수 있다는 것을 알 수 있을 것이다.

도 1은 본 개시의 일부 실시예들에 따라 반밀도(semi-dense) 깊이 추정을 수행하는 장치의 비한정적 예를 도시한다. 도 1에 도시된 장치(100)의 실시예는 다만 예시를 위한 것으로, 다른 구성들이 있을 수 있다. 그러나, 적절한 장치들이 광범위한 구성들로 나타나며, 도 1은 본 개시의 범위를 어떤 장치의 특정 구현예로 한정하지 않는다.

도 1의 비한정적 예에 도시된 바와 같이, 장치(100)는 예컨대 무선 주파수(RF) 트랜시버, 블루투스 트랜시버, Wi-Fi 트랜시버 등을 포함할 수 있는 통신부(110), 송신(TX) 처리 회로(115), 마이크로폰(120), 및 수신(RX) 처리 회로(125)를 포함한다. 장치(100)는 또한 스피커(130), 메인 프로세서(140), 입출력(I/O) 인터페이스(IF)(145), 입/출력 기기(들)(150), 및 메모리(160)를 포함한다. 메모리(160)는 운영체제(OS) 프로그램(161)과 하나 이상의 애플리케이션들(162)을 포함한다.

애플리케이션들(162)은, 게임, 소셜 미디어 애플리케이션, 디지털 콘텐츠의 지오태깅(geotagging) 사진 및 기타 아이템들을 위한 애플리케이션, 가상 현실(VR) 애플리케이션, 증강 현실(AR) 애플리케이션, 운영 시스템, 장치 보안(가령, 도난방지 및 장치 추적) 애플리케이션, 또는 비한정적으로 스피커(130), 마이크로폰(120), 입/출력 장치들(150) 및 부가 자원들(180)을 포함하는 장치(100)의 자원들을 액세스하는 모든 다른 애플리케이션들을 포함할 수 있다. 일부 실시예들에 따르면, 애플리케이션들(162)은 전자 장치(100)의 시계 안에 있는 물리적 객체들에 관한 깊이 추정 데이터를 소비하거나 사용할 수 있는 애플리케이션들을 포함한다.

통신부(110)는 유입 RF 신호, 예컨대, 블루투스나 Wi-Fi 신호와 같은 근거리 통신 신호를 수신할 수 있다. 통신부(110)는 유입 RF 신호를 하향 변환하여 중간 주파수(IF)나 기저대역 신호를 생성할 수 있다. IF 또는 기저대역 신호는 RX 처리 회로(125)로 보내지고, RX 처리 회로(225)는 기저대역 또는 IF 신호를 필터링, 디코딩 또는 이진화함으로써, 처리된 기저대역 신호를 생성한다. RX 처리 회로(125)는 처리된 기저대역 신호를 스피커(130)(음성 데이터 등의 경우)로, 혹은 추가 처리를 위해 메인 프로세서(140)(웹 브라우징 데이터, 온라인 게임플레이 데이터, 알림 데이터, 또는 다른 메시지 데이터 등의 경우)로 전송한다. 부가하여, 통신부(110)는 네트워크 카드와 같은 네트워크 인터페이스, 또는 소프트웨어를 통해 구현되는 네트워크 인터페이스를 포함할 수 있다.

TX 처리 회로(115)는 마이크로폰(120)으로부터 아날로그나 디지털 음성 데이터를, 또는 메인 프로세서(140)로부터 다른 유출(outgoing) 기저대역 데이터(웹 데이터, 이메일 또는 인터랙티브 비디오 게임 데이터)를 수신한다. TX 처리 회로(115)는 유출 기저대역 데이터를 인코딩, 다중화 또는 이진화하여, 처리된 기저대역 또는 IF 신호를 생성한다. 통신부(110)는 처리된 유출 기저대역 또는 IF 신호를 TX 처리 회로(115)로부터 수신하고, 전송을 위해 그 기저대역 또는 IF 신호를 RF 신호로 상향 변환한다.

메인 프로세서(140)는 하나 이상의 프로세서들 또는 다른 프로세싱 장치들을 포함할 수 있고, 장치(100)의 전반적 동작을 제어하기 위해 메모리(160)에 저장된 OS 프로그램(161)을 실행한다. 예를 들어, 메인 프로세서(140)는 잘 알려진 원리들에 따라 통신부(110), RX 처리 회로(125), 및 TX 처리 회로(115)에 의해 포워드 채널 신호들의 수신 및 리버스 채널 신호들의 송신을 제어할 수도 있을 것이다. 일부 실시예들에서 메인 프로세서(140)는 적어도 하나의 마이크로프로세서나 마이크로 컨트롤러를 포함한다.

메인 프로세서(140)는 메모리(160)에 상주하는 다른 프로세스들 및 프로그램들을 실행할 수도 있다. 메인 프로세서(140)는 실행 프로세스에 의해 요구될 때, 메모리(160) 안이나 밖으로 데이터를 이동할 수 있다. 일부 실시예들에서, 메인 프로세서(140)는 OS 프로그램(161)에 기반하거나 사용자나 애플리케이션들(162)로부터의 입력에 따라 애플리케이션들(162)을 실행하도록 구성된다. 애플리케이션들(162)은 장치(100)의 플랫폼을 위해 특별히 개발된 애플리케이션들이나, 이전 플랫폼들에 대해 개발된 레거시(legacy) 애플리케이션들을 포함할 수 있다. 또한, 메인 프로세서(140)는 본 개시의 소정 실시예들에 따라 의심스러운 애플리케이션 액세스를 모니터링 하기 위한 방법을 구현하는 프로그램 로직을 포함하도록 제조될 수 있다. 메인 프로세서(140)는 또한, 장치(100)에 랩탑 컴퓨터들 및 핸드 헬드 컴퓨터들과 같은 다른 장치들로의 연결 기능을 제공하는 I/O 인터페이스(145)와 결합된다. I/O 인터페이스(145)는 이러한 액세서리들 및 메인 프로세서(140) 사이의 통신 경로이다.

메인 프로세서(140)는 입/출력 기기(들)(150)에도 연결된다. 장치(100)의 운영자는 입/출력 기기(들)(150)을 사용하여 장치(100)로 데이터를 입력할 수 있다. 입/출력 기기(들)(150)은 키보드, 터치 스크린, 마우스, 트랙 볼, 또는 사용자가 전자 장치(100)와 상호작용할 수 있게 하는 사용자 인터페이스로서 작동할 수 있는 어떤 다른 장치를 포함할 수 있다. 일부 실시예들에서, 입/출력 기기(들)(150)은 터치 패널, 가상 현실 헤드셋, (디지털) 펜 센서, 키, 또는 초음파 입력 기기를 포함할 수 있다.

입/출력 기기(들)(150)은 액정 디스플레이, 발광 다이오드(LED) 디스플레이, 옵티컬 LED(OLED), AMOLED(active matrix OLED), 또는 그래픽 렌더링이 가능한 다른 스크린들일 수 있는 하나 이상의 스크린들을 포함할 수 있다.

메모리(160)는 메인 프로세서(140)와 결합된다. 소정 실시예들에 따르면, 메모리(160)의 일부는 RAM(random access memory)을 포함하고, 메모리(160)의 다른 일부는 플래쉬 메모리나 다른 ROM(read-only memory)을 포함한다. 도 1은 장치(100)의 일 예를 도시하나, 도 1에 대한 다양한 변형이 있을 수 있다.

예를 들어, 소정 실시예들에 따르면, 장치(100)는 별도의 GPU(graphics processing unit)(170)를 더 포함할 수 있다.

소정 실시예들에 따르면, 전자 장치(100)는 허용 시 애플리케이션들(162)에 의해 액세스될 수 있는 다양한 추가 자원들(180)을 포함한다. 소정 실시예들에 따르면, 추가 자원들(180)은 하나 이상의 자유도들(degrees of freedom)을 따라 전자 장치의 움직임들을 검출할 수 있는 가속계 또는 관성 모션 유닛(182)을 포함한다. 일부 실시예들에서 추가 자원들(180)은 동적 비전 센서(DVS) 스테레오 쌍(184), 전자 장치(100)의 하나 이상의 카메라들(186), 및 스페클 패턴 프로젝터(SPP)(188)를 포함한다. 다양한 실시예들에 따르면, DVS 스테레오 쌍(184)은 관심 심도(field of depth) 이상에서 깊이를 추정하기 위해 입체적으로 적절한 거리로 이격 된 동적 비전 센서들의 쌍을 포함한다. 비한정적 예로서, 관심 심도가 장치(100)에 가까운 경우, DVS 센서들은 비교적 가깝게 이격 될 수 있고, 관심 심도가 장치(100)로부터 먼 경우, DVS 스테레오 쌍(184)의 개별 센서들은 더 멀리 이격 될 수 있다. 일부 실시예들에서, SPP(188)는 DVS 스테레오 쌍(184)의 센서들에 의해 검출될 수 있는 하나 이상의 파장에서, 광의 공간적 비반복 도트 패턴(“스페클(speckles)”이라고도 알려짐)을 투사한다. 소정 실시예들에 따르면 SPP(188)는 인간의 눈이 볼 수 있는 것의 경계에서의 파장, 예컨대 약 ~800nm에서 패턴을 투사한다. 본 개시에 따른 다양한 실시예들에서, SPP(188)는 스페클 패턴을 투사하기 위해 레이저 기반의 회절 광학 소자(“DOE”)를 이용한다.

도 1은 반밀도 깊이 추정(semi-dense depth estimation)을 수행하기 위한 장치(100)의 일 예를 도시하고 있으나, 도 1에 대해 다양한 변형이 있을 수 있다. 예를 들어, 장치(100)는 임의 개의 구성요소들을 임의의 적절한 구성으로 포함할 수도 있다. 일반적으로, 컴퓨팅 및 통신 시스템들을 포함하는 장치들은 광범위한 구성들로 나타나며, 도 1은 본 개시의 범위를 어떤 특정 구성으로 한정하지 않는다. 도 1은 본 특허 문서에서 개시된 다양한 특성들이 사용될 수 있는 하나의 동작 환경을 도시하고 있지만, 그러한 특성들은 어떤 다른 적절한 시스템에서 사용될 수도 있다.

도 2는 본 개시의 소정 실시예들에 따라 투사된 스페클 패턴 및 장면 데이터를 획득하기 위한 장치(200)의 일 예를 도시한다. 도 2의 비한정적 예에 도시된 구성요소들은 일부 실시예들에서 단일 장치 안에 구성된다. 일부 실시예들에서, 도 2를 참조하여 설명되는 구성요소들은 물리적으로 별개로 구현되지만 통신 가능하게 연결된 장치들이다.

도 2의 비한정적 예를 참조할 때, 장치(200)는 제1동적 비전 센서(205a) 및 제2동적 비전 센서(205b)를 포함하며, 이들은 함께 DVS 스테레오 쌍을 구성한다. 일부 실시예들에서, 장치(200)는 별도의 적녹청(“RGB”) 카메라(210), 스페클 패턴 프로젝터(215) 및 관성 모션 유닛(“IMU”)(220)를 포함한다. 이러한 특정 예에 도시된 바와 같이, 센서들(205-220) 각각은 프로세서(225)와 통신 가능하게 연결된다.

소정 실시예들에 따르면, 제1동적 비전 센서(205a) 및 제2동적 비전 센서(205b)는 각 센서 시계의 공통 부분에 대해 입체적 이미지 데이터를 제공하도록 구성된다. 일부 실시예들에서, 동적 비전 센서들(205a 및 205b)은 각각, 광을 수신하는 렌즈, 및 수신된 광이 집중되는 픽셀화된 센서를 포함한다. 동적 비전 센서들(205a 및 205b)의 각각의 픽셀화된 센서는 센서에서 수신된 광의 강도 변화에 따라 출력을 생성하도록 구성된다. 센서에서 수신된 광은 장면 광 및 SPP(215)로부터의 광을 포함한다. 본 개시에서 사용되는 장면 광이라는 용어는 SPP에 의해 제공되지 않는 시계 안의 객체들로부터의 광을 포함한다. 장면 광의 예들로는, 비한정적으로, 장면 내 객체들(예를 들어, 사람들, 식물들, 및 건물들)에서 반사된 햇빛뿐 아니라, 어두운 장면을 밝히기 위해 사용되는 플래시나 촬영 중 광과 같은 인공 광이 포함된다.

소정 실시예들에 따르면, 각각의 픽셀화 센서의 출력은 알려진 시점들에서 센서에 수신된 광의 강도 변화들을 반영하는 시간 매핑된(time-mapped) 이진 값들의 이벤트 스트림이다(예를 들어, “0”은 센서에서 수신된 광 강도의 감소에 대한 것이고, “1”은 센서에서 수신된 광 강도의 증가에 대한 것임). 일부 실시예들에서, 제1 및 제2동적 비전 센서들(205a 및 205b)은 가시적 스펙트럼 바로 바깥 파장에서 발생하는 광 강도의 변화들에 반응할 수 있다.

일부 실시예들에서, 장치(200)는 광을 수신하는 렌즈 및 수신된 광이 집중되는 픽셀화된 센서를 포함하는 디지털 카메라인 RGB 카메라(210)를 포함한다. 다양한 실시예들에 따르면, RGB 카메라(210)의 픽셀화 센서는 센서의 각 픽셀로부터 미가공(raw) 수신 광 데이터의 프레임들을 주기적으로 출력하는 CMOS(complementary metal oxide semiconductor) 센서이다. 소정 실시예들에서, RGB 카메라(210)의 출력은 프로세서(225)로 제공되어, 제1 및 제2DVS 센서들(205a 및 205b)를 교정하고, 추가 색 디테일(chromatic detail)과 함께 이미지 데이터를 생성하도록 한다. 소정 실시예들에 따르면, RGB 카메라(210)의 시계는 제1동적 비전 센서(205a) 및 제2동적 비전 센서(205b)의 시계 중복의 적어도 일부를 포함한다.

도 2의 비한정적 예에서 도시된 바와 같이, 장치(200)는 스페클 패턴 프로젝터(“SPP”)(215)를 포함한다. 소정 실시예들에 따르면, SPP(215)는 제1동적 비전 센서(205a) 및 제2동적 비전 센서(205b)의 입체 시계(stereoscopic field) 안에 들어오는 장면의 일부 상에 패턴화된 광을 투사한다. 본 개시에서 사용되는 입체 시계라는 용어는 제1동적 비전 센서(205a) 의 시계와 제2동적 비전 센서(205b)의 시계에서 중복된 영역을 포함한다. SPP(215)에 의해 투사되는 패턴화된 광은, 도트들의 스페클 패턴과 같은 개별 광 요소들의 비반복 패턴을 포함하며, 패턴 내 위치들은 DVS 스테레오 쌍의 각각의 센서로부터의 이벤트 스트림 데이터 안에서 식별될 수 있다. 패턴은 프로세서(225)에 알려진 시간 매핑 된 제어 신호에 따라 펄스화된다. 일부 실시예들에서, 투사되는 스페클 패턴은 사람 눈에는 가시적이지 않지만 DVS 스테레오 쌍에는 가시적인 파장으로 투사됨으로써, 장면 상에서 깜박이는 도트들을 보는 산만함을 피할 수 있다.

소정 실시예들에서 장치(200)는 제1 및 제2DVS 센서들(205a 및 205b)와 함께 이동하고 장치(200)의 그러한 모션, 방위 및 가속을 반영한 데이터를 프로세서(225)로 출력하도록 구성된 IMU(220)을 포함한다. 일부 실시예들에서, IMU(220)는 세 축에 걸친 가속 데이터뿐 아니라 세 축에 걸친 회전(좌우 요동, yaw) 가속을 캡처하는 6 자유도 센서이다. 소정 실시예들에서, IMU(220)는 6 자유도보다 크거나 적을 수 있다.

소정 실시예들에 따르면, IMU(220)에 의해 출력되는 데이터는 DVS 스테레오 쌍 및/또는 RGB 카메라(210)로부터의 출력들에 대한 모션 정정 또는 모션 안정화를 위해 사용된다. 예를 들어, 제1 및 제2 동적 비전 센서들(205a 및 205b)의 개별 픽셀 센서들이 매우 고속이고, 그 센서에서 광 강도 변화와 관련된 이벤트들을 소정의 프레임 레이트를 가지는 RGB 센서들보다 빈번하게 기록하도록 구성될 때, 그러한 동적 비전 센서 이벤트 스트림 데이터가 보다 긴 시간의 척도들에 걸쳐 집합될 수 있고, 그 동안 장치(200)의 위치는 집합 기간의 지속기간에 걸쳐 가변 될 수 있다. 소정 실시예들에서, 프로세서(225)는 이벤트 집합 인터벌들에 걸친 카메라 위치의 변화를 보상하기 위해 IMU(220)로부터의 데이터를 이용한다.

도 2의 비한정적 예를 참조할 때, 프로세서(225)는 센서들(205-220) 각각과 통신 가능하게 연결된 프로세서(예컨대 도 1의 메인 프로세서(140))로서, 본 개시의 소정 실시예들에 따른 반밀도 깊이 추정을 수행하기 위한 명령어들을 실행하도록 구성된다. 일부 실시예들에서, 프로세서(225)는 깊이 추정을 수행하여 DVS 스테레오 쌍 및/또는 RGB 카메라(210)로부터 다른 프로세서로 깊이 추정 및 이미지 데이터를 출력하도록 특별히 구성된 용도 특정 프로세서(예를 들어 프로그래머블 필드 게이트 어레이, 또는 시스템 온 칩(“SOC”) 소자)이다.

도 3은 본 개시의 소정 실시예들에 따라 투사된 스페클 패턴 및 장면 데이터를 획득하기 위한 장치 내 센서 구성의 예를 도시한다. 이 도시 예에서, 장치(300)는 장치(300)의 입체 시계 내 뷰어(viewer)에 대한 관점으로부터 도시된다.

도 3의 비한정적 예를 참조할 때, 장치(300)는 DVS 스테레오 쌍의 제1센서(305a), DVS 스테레오 쌍의 제2센서(305b), 스페클 패턴 프로젝터(315), 및 관성 모션 유닛 센서(320)를 포함한다.

소정 실시예들에 따르면, 제1센서(305a) 및 제2센서(305b)는 각각 렌즈 및 픽셀화 센서들의 어레이를 포함하는 DVS 센서들로서, 픽셀화 센서들 각각은 해당 센서에서 광의 강도 변화들에 대한 시간 매핑된 이벤트 스트림을 제공하도록 구성된다. 도 3의 예에 도시된 바와 같이, 제1센서(305a) 및 제2센서(305b)는 관심 심도에 대한 깊이 추정 및 스테레오 매칭을 수행하기 위해 입체적으로 적절한 거리에 해당하는 거리(310)만큼 떨어진다. 일부 실시예들에서, 장치(300)는 관심 심도에 따라 거리(310)를 조정하도록 (예를 들어, 거리(310)를 증가시켜 원거리 객체들에 대한 시차 각도를 증가시킴)구성될 수 있다. 다양한 실시예들에 따르면, 장치(300)는 장치(300)의 면 상에서 다각형 방식으로 배치된 셋 이상의 DVS 센서들을 포함할 수 있음에 따라, 센서들 간 다양한 시차 축들 및 거리들을 제공할 수 있다.

도 3의 비한정적 예에 도시된 바와 같이, SPP(315)는 공통 중심선을 따라 제1센서(305a) 및 제2센서(305b) 사이에서 곧게 위치하는 것으로 묘사된다. 본 개시에 따른 실시예들은 그에 국한되지 않으며, SPP(315)는 광 패턴(예컨대 시간 동기 제어 신호에 따른 온 및 오프 펄스형의 광 패턴)을 입체 시계 내에 투사할 수 있는 일반적인 어느 위치에나 자리할 수 있다.

소정 실시예들에 따르면, IMU(320)는 제1센서(305a) 및 제2센서(305b)와 가까이 위치하며 DVS 스테레오 쌍과 공면(coplanar) 상에 있다. 일부 실시예들에서 IMU(320)는 장치(300) 안 어디에나 위치되며, IMU(320)에 의해 그 위치에서 획득된 이동 데이터는 DVS 스테레오 쌍의 모션을 반영한다.

도 4는 본 개시의 소정 실시예들에 따른 동적 비전 센서(“DVS”)(400)의 동작의 양태들을 도시한다. 도 4에 도시된 실시예는 다만 예시를 위한 것이며, 본 개시의 범위에서 벗어나지 않은 다른 실시예들이 사용될 수도 있다.

도 4의 비한정적 예를 참조할 때, DVS(400)는 소정 실시예들에서 DVS 스테레오 쌍의 한 센서이다. 일부 실시예들에서, DVS(400)는 셋 이상의 DVS 센서들의 집합(예를 들어, 다수의 시차 각도들을 따라 다수의 센서 간격으로 배치되는 DVS 센서들의 집합) 중 한 센서이다. 소정 실시예들에서 DVS(400)는 하나의 DVS 센서이다.

다양한 실시예들에 따르면, DVS(400)는 렌즈 어셈블리(405), 및 광 강도 센서(light intensity sensor)(415)와 같은 광 강도 센서들의 픽셀화 어레이(pixilated array)(410)를 포함한다. 일부 실시예들에서, 렌즈 어셈블리(405)는 렌즈 어셈블리(405) 및 픽셀화 어레이(410) 간 거리에 대응하는 초점 길이를 가지는 광학 렌즈를 포함한다. 본 개시에 따른 다양한 실시예들에서, 렌즈 어셈블리(405)는 픽셀화 어레이(410)로 제공되는 광의 전반적 강도를 조정(f-stop을 감소시키는 등에 의해)하기 위한 구경(aperture)을 포함한다.

도 4의 비한정적 예에 도시된 바와 같이, 광 강도 센서들의 픽셀화 어레이(410)는 렌즈 어셈블리(405) 내 한 렌즈의 초점 평면 내 한 영역을 실질적으로 커버하는 광 강도 센서들(예를 들어 광 강도 센서(415))의 어레이를 포함한다. 또한, 픽셀화 어레이(410)의 각각의 광 강도 센서의 출력은 한 공간 좌표 값에 매핑된다.

일부 실시예들에서, 광 강도 센서(415)는 광 강도 센서(415)에서 수신된 광의 측정 강도 변화의 방향에 해당하는 신호를 출력하도록 구성되는 포토 센서를 포함한다. 소정 실시예들에 따르면, 광 강도 센서의 출력은 이진 신호로서, 예를 들어 “1”은 광의 측정 강도의 증가에 대한 것이고, “0”은 광의 측정 강도의 감소에 대한 것이다. 광 강도 센서(415)에서의 광의 측정 강도에 아무 변화가 없을 때, 아무 신호도 출력되지 않는다. 소정 실시예들에 따르면, 광 강도 센서(415)에 의해 출력된 신호들은 픽셀화 어레이(410)나 다른 다운스트림 구성요소(도 2의 프로세서(225) 등)에 의해 타임 코딩 또는 타임 매핑된다.

도 4의 비한정적 예를 참조할 때, 높은 수준에서 DVS(400)는 렌즈 어셈블리(405)를 통해 광(420)을 수신하고, 픽셀화 어레이(410)의 구성요소인 광 강도 센서들의 출력을 이용해, 수신된 광을 하나 이상의 타임 코딩되거나 타임 동기된 이벤트 스트림(420)으로 변환하도록 동작한다.

다양한 실시예들에 따르면, 이벤트 스트림(430)은 픽셀화 어레이(410)의 광 강도 센서들에 의해 출력된 광 강도 변화 이벤트들의 타임 코딩되거나 타임 동기된 스트림을 포함한다. 개별 광 강도 변화 이벤트(435)는 픽셀화 어레이(410)의 특정 광 강도 센서(가령, 픽셀)에서 측정된 광의 측정 강도의 변화(가령, 증가 또는 감소)를 나타내는 데이터를 포함한다. 예를 들어 이 예에서, 광 강도 변화 이벤트(435)는 광 강도 센서(415)에서 측정된 광 강도의 변화에 해당한다. 또한, 각각의 개별 광 강도 변화 이벤트(435)는 픽셀화 어레이(410)의 각각의 센서에 대한 공통 시간 척도에 기반하여 타임 코딩되거나 이벤트 시간에 매핑된다. 일부 실시예들에서, 각각의 개별 광 강도 변화 이벤트(435)는 또한, 공간 좌표 시스템(예를 들어, 픽셀화 어레이(410)의 행들 및 열들에 기반하는 좌표 시스템) 내 한 값으로 매핑된다.

도 5는 대상과 배경을 포함하는 장면으로 투사되는 스페클 패턴의 일 예를 도시한다. 도 5에 도시된 실시예는 다만 예시를 위한 것이며, 본 개시의 범위에서 벗어나지 않은 다른 실시예들이 사용될 수도 있다.

도 5의 비한정적 예를 참조할 때, 장면(500)은 DVS 스테레오 쌍의 입체 시계의 관점으로부터 객체들을 묘사한다. 이러한 특정 예에서, 장면(500)의 전경은 정적인 대상(static subject)의 ¾ (또는 “머리와 어깨”) 뷰를 포함하고, 장면(500)의 배경은 평평한 벽(510) 및 천장(515)의 비축(off-axis) 뷰를 포함한다. 벽과 천장의 교차선(520)을 통해 나타낸 바와 같이, DVS 스테레오 쌍의 관점은 소멸점(미도시)이 도면의 좌측 하단으로 벗어나도록 하는 것으로, 이는 장면(500)의 좌측에 있는 벽(510)의 일부가 장면(500)의 우측에 있는 벽(510)의 일부보다 DVS 스테레오 쌍에서 더 멀어짐을 의미한다. 이러한 비한정적 예에서, 벽(510)은 벽(510)에 있는 플래카드(525)를 제외하면 일반적으로 특색이 없다. APP(예를 들어 도 3의 SPP(315))은 장면(500)의 전경 및 배경 둘 모두에, 스페클들(530a, 530b, 및 530c)를 포함하는 광의 스페클들을 투사하였다. 다양한 실시예들에 따르면, 스페클들(530a, 530b, 및 530c)은 DVS 스테레오 쌍의 센서들에 최소한으로 보여지는 파장에서의 광의 비반복적 점 패턴의 요소들을 포함한다. 일부 실시예들에서, 스페클들(530a, 530b, 및 530c)은 인간의 눈에도 보여진다. 그러나, 일부 실시예들에서, 스페클들(530a, 530b, 및 530c)은 상술한 바와 같이 인간의 눈에는 보여지지 않는다.

장면(500)은 대상(505)과 벽(510)의 특징들에 대한 깊이 추정을 수행하고자 시도하는 임의의 장치에 있어 여러 기술적 과제들을 제시한다. 장면(500)에 의해 제기되는 기술적 과제들의 일 예로서, 플래카드(525)를 제외한 상태의 벽(510)은 일반적으로, 밑칠 페인트(primer) 층이 적용된 드라이월(dry wall)의 한 부분과 같이 특징이 없는 표면이다. 이러한 특징의 결핍은 DVS 스테레오 쌍 및 벽(510) 상의 한 점 사이의 거리에 대한 장면 광에 기반하는 추정을 매우 어렵게 만들 수 있다. 이는, 벽(510)의 한 패치가 벽(510)의 다른 여러 패치들과 동일하게 보여질 때 DVS 스테레오 쌍의 한 센서로부터 DVS 스테레오 쌍의 다른 센서로의 스테레오 매칭 데이터는, 아예 불가능하지 않다면 아주 어려울 수 있기 때문이다.

장면(500)에 대해 깊이 추정을 수행하는 것과 관련된 기술적 과제들의 다른 예로서, 대상(505)이 정적이라는 것이다. 깊이 추정은 이동하는 대상들에 대해 보다 용이하게 계산될 수 있는데, 그 이유는 DVS 스테레오 쌍의 센서들 간 시차 각도를 깊이가 추정될 수 있는 데이터로서 이용하는 것 외에, 시간의 함수로서 이동하는 대상의 단일 센서의 프레임 내 위치 또한 깊이가 추정될 수 있는 데이터를 제공할 수 있기 때문이다.

본 개시에 따른 소정 실시예들은 최소한 광범위한 장면 요소들 및 광 조건들에 대한 반밀도 깊이 추정을 제공하기 위해, 장면(500)의 어려움들 및 훨씬 더 까다로운 장면들(예를 들어, 흐린 조명이 깔린 실내의 흰 벽 앞에 위치한 정지된 공)을 다룬다. 본 개시에 사용된 반밀도 깊이 추정이라는 용어는 장면 내 점들 중 적어도 일부의 깊이에 대한 추정을 포함한다. 예를 들어, 장면 내 특성들의 밀도 및 투사된 스페클 패턴 내 광의 도트들의 밀도에 따라, 장면 내 더 많은 지점들에 대한 깊이 추정치들이 계산될 수 있고, 보다 높은 밀도의 깊이 추정치가 얻어질 수 있다.

도 6은 본 개시의 다양한 실시예들에 따라, 동적 비전 센서 스테레오 쌍 및 펄스형 스페클 패턴(pulsed speckle pattern) 프로젝터로부터 반밀도 깊이 추정을 구현하기 위한 구성요소들의 예를 도시한다.

도 6의 비한정적 예를 참조할 때, 반밀도 깊이 추정을 구현하기 위한 시스템은 센서 블록(605), 스페클 패턴 프로젝터(SPP)(630), 및 깊이 추정 파이프라인(650)을 포함한다. 도 6에 도시된 실시예는 다만 예시를 위한 것이며, 본 개시의 범위에서 벗어나지 않은 다른 실시예들이 사용될 수도 있다.

도 6의 비한정적 예를 참조할 때, 센서 블록(605)은 DVS 스테레오 쌍(610), 클록(clock)(615) 및 IMU 센서(620)를 포함한다. 다양한 실시예들에 따르면, DVS 스테레오 쌍(610)은 DVS 센서들의 쌍(예를 들어 도 4의 센서(400))으로, 이때 각각의 DVS 센서는 자체 시계를 가지며, DVS 스테레오 쌍(610)의 DVS 센서들은 그들 각자의 시계가 겹쳐져 입체 시계를 생성할 수 있게 이격된다. 도 6의 비한정적 예에 도시된 바와 같이, DVS 스테레오 쌍(610)은 클록(615), 및 깊이 추정 파이프라인(650)의 투사된 광 필터링 단계(655)에 연결된다. 이 예에서, DVS 스테레오 상(610)은 픽셀 명암 변화 데이터의 하나 이상의 이벤트 스트림들을 출력하며, 각각의 이벤트 스트림은 스페클 패턴 프로젝터(630)를 위한 제어 신호와 시간 동기된다.

소정 실시예들에서, 클록(615)은 DVS 스테레오 쌍(610)의 각각의 센서로부터의 이벤트 스트림들 내 광 강도 변화 이벤트들(예를 들어, 도 4의 광 강도 변화 이벤트(434))에 시간 값들을, 그리고 시계(예를 들어 DVS 스테레오 쌍(610)의 입체 시계) 상에서 SPP에 의해 투사된 소정 광 패턴의 온/오프에 대한 시간 값들을 할당하기 위한 공통 클록이다. 다양한 실시예들에 따르면, 클록(615)은 또한 IMU(620)로부터의 모션 이벤트 데이터를 타임 코딩하거나 그 데이터에 시간 값들을 할당하기도 한다. 일부 실시예들에서, 클록(615)은 소정 실시예들에서 DVS 스테레오 쌍(610)의 센서들이 마이크로 초(microsecond) 시간 단위로 수신된 광 강도의 변화에 응답할 수 있다는 사실을 반영하여 1 메가헤르쯔(1MHz) 이상의 클록 속도를 가진다.

도 6의 비한정적 예에 도시된 바와 같이, IMU(620)는 클록(615), 및 깊이 추정 파이프라인(650)의 투사된 광 필터링 단계(655)에 연결된다. 다양한 실시예들에 따르면, IMU(620)는 관점(vantage point)의 변화에 대해 모션 안정화 및 보정을 수행하기 위해 깊이 추정 파이프라인(650)에 시간 동기된 가속 및 방위 데이터를 제공한다.

다양한 실시예들에 따르면, 스페클 패턴 프로젝터(630)는 스페클 패턴 제어기(635) 및 프로젝터(640)을 포함한다. 다양한 실시예들에서, 스페클 패턴 제어기(635)는 DVS 쌍(610)의 입체 시계의 일부나 전체에 투사되는 광의 하나 이상의 스페클 패턴들의 온/오프 상태를 제어한다. 일부 실시예들에서, 스페클 패턴 제어기(635)는 별도의 프로세서(예를 들어, 도 1의 메인 프로세서(140))에 의해 실행되는 소프트웨어로서 구현된다. 소정 실시예들에서, 스페클 패턴 제어기(635)는 프로젝터(640)를 위한 용도 특정 제어기로서 구현된다. 다양한 실시예들에 따르면, 스페클 패턴 제어기(635)는 공통 클록(615)에 시간 동기된 제어 신호에 따라 “온” 상태와 “오프” 상태 사이에서 입체 시계로 투사되는 스페클 광을 펄스화한다. 다양한 실시예들에 따르면, 스페클 패턴 제어기(635)의 제어 신호는 스페클 프로젝터(640) 및 깊이 추정 파이프라인(650)의 투사된 광 필터링 단계(655) 둘 모두로 제공된다.

도 6의 비한정적 예를 참조할 때, 프로젝터(640)는 광의 점들(“스페클들”)의 하나 이상의 비반복적 패턴들을 DVS 스테레오 쌍(610) 중 적어도 하나의 센서의 시계(예를 들어, DVS 스테레오 쌍(610)의 입체 시계)의 일부에 투사하는 광원을 포함한다. 소정 실시예들에서, 프로젝터(640)는 회절 광학 소자(“DOE”)와, 스페클 패턴 제어기(635)로부터의 제어 신호에 따라 “온” 상태와 “오프” 상태 사이에 스위치되는 레이저를 포함한다.

본 개시에 따른 소정 실시예들에서, 깊이 추정 파이프라인(650)은 이 예에서 655 내지 680으로 번호가 매겨져서, 소정 실시예들에서 증강 현실(AR)이나 가상 현실(VR) 애플리케이션에 의해 소비되거나 사용되는 깊이 맵 또는 깊이 데이터를 생성하는 일련의 처리 단계들을 포함한다. 소정 애플리케이션들에 따라, 깊이 추정 파이프라인(650)의 각각의 단계는 프로세서(가령, 도 1의 메인 프로세서(140))에 의해 실행되는 컴퓨터 프로그램 내 프로그램 코드의 모듈로서 구현된다. 일부 실시예들에서 깊이 추정 파이프라인(650)의 각각의 단계는 하드웨어(가령, 프로그래머블 필드 게이트 어레이나 칩 상의 시스템(“SOC”)과 같은) 하드웨어로 구현되는 프로세싱 로직을 통해 구현된다. 소정 실시예들에서, 깊이 추정 파이프라인은 하드웨어와 소프트웨어 모듈들의 조합을 통해 구현된다.

도 6의 비한정적 예를 참조할 때, 깊이 추정 파이프라인은 DVS 스테레오 쌍(610)으로부터 시간 동기된(가령, 공통 클록(615)으로부터 이벤트 시간들을 할당함으로써) 이벤트 스트림 데이터, 스페클 패턴 제어기(635) 및 IMU(620)로부터 스페클 패턴 제어 신호를 수신하는 투사된 광 필터링 단계(655)를 포함한다. 투사된 광 필터링 단계(655)에 의해 수신되는 것과 같은, 각각의 개별 광 강도 변화 센서(예를 들어, 광 강도 센서(415))에 대한 이벤트 스트림은 하나 이상의 스페클 패턴들을 온 및 오프로 스위칭하는, 하나 이상의 장면 광과 관련된 타임 코딩된 이벤트들의 집합을 포함한다. 다양한 실시예들에 따르면, 투사된 광 필터링 단계(655)는 각각의 이벤트 스트림의 타임 코딩된 이벤트들 각각을 장면 광 또는 특정 스페클 패턴의 펄싱 관련 광과 관련된 것으로 라벨링한다(label). 일부 실시예들에서, 투사된 광 필터링 단계(655)는 각각의 이벤트 스트림을 “장면” 채널 또는 “제1스페클 패턴” 채널과 같은 라벨들과 관련된 채널들로 분리한다.

다양한 실시예들에 따르면, 깊이 추정 파이프라인(650)은 모션 안정 단계(motion stabilization stage)(660)를 포함한다. 패턴 프레임 합성 및 장면 프레임 합성 단계들(665 및 670)과 관련하여 논의된 바와 같이, 소정 실시예들에서 이벤트 스트림 데이터의 여러 스트림들은 (가령, 버퍼 안에) 누적되고 특정 시간 인터벌에 걸쳐 합성됨으로써 합성된 이벤트 이미지 데이터를 생성한다. 다양한 실시예들에 따르면, 합성된 이벤트 이미지 데이터는 다채널 히스토그램들을 포함한다. 각각의 다채널 히스토그램은 DVS 스테레오 쌍(610)의 DVS 센서들 중 하나에서 수신된 특정 채널(예를 들어, 장면 광 또는 투사된 스페클 패턴으로부터의 광)에 속하는 광에 대해 공간적으로 매핑되는 표현을 포함한다. 소정 실시예들에서, 특정 인터벌 길이는 그 인터벌에 걸친 DVS 스테레오 쌍(610)의 모션이 블러(blur) 또는 다른 모션 관련 효과들(예를 들어 입체 시계 내 객체들에 가까이, 또는 멀리 이동하는 DVS 스테레오 쌍(610)과 관련된 효과들)의 도입 등과 같은 것에 의해 다채널 히스토그램들의 화질을 저하시키는 것으로 될 수 있다. 일부 실시예들에서, 모션 안정 단계(660)는 IMU(620)로부터 시간 동기된 모션 데이터를 집합하여, 패턴 프레임 합성 단계(665) 및 장면 프레임 합성 단계(670)에서 생성된 다채널 히스토그램들에 적용될 모션 안정 보정들을 결정하도록 한다.

도 6의 비한정적 예에서 도시된 바와 같이, 깊이 추정 파이프라인(650)은 패턴 프레임 합성 단계(665)를 포함한다. 소정 실시예들에 따르면, 패턴 프레임 합성 단계(665)는 투사된 광 필터링 단계(655) 및 모션 안정 단계(660)의 출력을 수신한다. 패턴 프레임 합성 단계(665)는 투사된 광 필터링 단계(655)의 출력을 누적 및 합성하고, 모션 안정 단계(660)에 의해 결정된 보정들을 적용하여 합성 이벤트 이미지 데이터의 하나 이상의 채널들을 생성한다. 다양한 실시예들에 따르면, 합성 이벤트 이미지 데이터는, 입체 시계로 투사된 각각의 스페클 패턴마다, 투사된 스페클 패턴과 관련된 광(소정 실시예들에서, 장면 광은 히스토그램에서 배제됨)이 어떻게 DVS 스테레오 쌍(610)의 한 DVS 센서에 수신되는지에 대한 공간적 표현을 제공하는 다차원적 히스토그램(예를 들어, 도 9의 히스토그램들(935 및 940))을 포함한다. 도 1의 비한정적 예에 도시된 바와 같이, 적어도 두 개의 다차원적 히스토그램들(DVS 스테레오 쌍(610)의 각각의 센서마다 하나씩)이 생성됨으로써, 히스토그램들의 스테레오 매칭에 기반하는 깊이 추정이 수행될 수 있다.

도 6의 비한정적 예를 참조할 때, 장면 프레임 합성 단계(670)는 투사된 광 필터링 단계(655) 및 모션 안정 단계(660)의 출력들을 수신하고, DVS 스테레오 쌍(610)의 각각의 DVS 센서마다 광 강도 변화 이벤트들을 누적 및 합성하여, 장면 광에 기반하여 합성 이미지 이벤트 데이터의 두 집합들(DVS 스테레오 쌍(610)의 각각의 DVS 센서마다 한 집합)을 생성한다. 다양한 실시예들에 따르면, 합성 이미지 이벤트 데이터는, 조건에 따라, 설정사항들 및 계산 자원들이 스테레오 매칭되어 깊이 맵 데이터를 획득하도록 하는 두 개의 다차원적 히스토그램들(도 9의 히스토그램(930) 등)을 포함한다. 본 개시의 나머지에서 논의되는 바와 같이, 장면이 크게 특색이 없는 경우(예를 들어 천장이나 크고 부드러운 박스에 반사된 플래시와 같이 산란된 광원에 의해 비추어진 실내의 부드러운 흰색 벽 앞에 있는 흰색 물체), 또는 자원들을 절약하기 위해, 장면 프레임 합성 단계(670)는 생략될 수 있고, 대신에 투사된 광 패턴들로부터 합성 이벤트 이미지 데이터의 입체적 분석에만 기반하여 반밀도 깊이 추정이 수행될 수 있다.

다양한 실시예들에 따르면, 깊이 추정 파이프라인(650)은 스테레오 매칭 단계(675)를 포함한다. 일부 실시예들에서, 합성 이벤트 이미지 데이터의 한 주어진 채널에 있어서(예를 들어, 제1투사 스페클 패턴), DVS 스테레오 쌍(610)의 제1DVS에 대한 합성 이벤트 이미지 데이터가 DVS 스테레오 쌍(610)의 제2DVS에 대한 합성 이벤트 이미지 데이터로 매핑되어, 합성 이벤트 이미지 데이터 내 이미지 특성들(예를 들어, 투사 스페클들이나 장면에 나타내는 객체들의 표현들)의 위치를 식별한다. 다양한 실시예들에 따르면, 스테레오 매칭 단계(675)에서, 합성 이벤트 이미지 데이터의 각각의 채널에 대해, 각각의 DVS 센서의 합성 데이터로부터의 히스토그램의 패치 스캔(patch scan)이 수행되어 각각의 히스토그램 내에서 매치되는 이미지 패치들을 식별하도록 한다. 소정 실시예들에서, 각각의 히스토그램 내 매치되는 이미지 패치들에 대한 식별은 패치들 내 합성 이벤트 이미지 데이터에 대한 이진 표현을 먼저 생성하고, 그 다음에 패치들 간 해밍(Hamming) 거리를 산출함으로써 수행될 수 있다. 이런 식으로, 매치되는 이미지 패치들은 최저 산출 해밍 거리들을 이용하여 패치들을 식별하기 위한 검색 문제로 바꾸어질 수 있다.

도 6의 비한정적 예를 참조할 때, 깊이 추정 파이프라인(650)은 깊이 매핑 단계(680)를 포함하며, DVS 스테레오 쌍(610)의 입체 시계 내 하나 이상의 위치들의 거리를 나타내는 데이터를 포함하는 깊이 맵은, DVS 스테레오 쌍(610)의 센서들 간 물리적 거리(예를 들어 도 3의 거리(310)), DVS 쌍의 센서들의 렌즈의 초점 거리, 및 스테레오 매칭 단계(675)에서 매핑된 이미지 패치들 간 프레임 위치의 차이에 기반하여 산출된다. 일부 실시예들에서, 깊이 맵은 스테레오 매칭 단계(675)에서 매핑된 이미지 패치들 간 프레임 위치의 차이들에 대해 룩업 테이블을 적용함으로써 결정된다. 소정 실시예들에서, 깊이 맵은 룩업 테이블 내 값들에 대한 산출 및 식별의 조합을 통해 결정된다.

다양한 실시예들에 따르면, 깊이 매핑 단계(680)에 의해 결정된 깊이 맵은 하나 이상의 증강 현실(AR)이나 가상 현실(VR) 애플리케이션들(685)로 출력된다.

도 7은 본 개시의 다양한 실시예들에 따라, 픽셀 명암 변화 데이터의 이벤트 스트림에 대해 투사된 광 필터링의 일 예를 도시한다.

도 7의 비한정적 예에 따르면, DVS 센서(예를 들어 도 4의 DVS 센서(400))의 개별 센서로부터의 광 강도 변화의 이벤트 스트림(705)이 보여진다. 이 예에서, 이벤트 스트림(705)은 센서의 시계 안에서 광 패턴이 온 및 오프로 펄싱되었던 인터벌 동안, 센서에서 검출된 이벤트들을 포함한다. 도 7의 예에서, 이벤트 스트림(705)의 구성 이벤트들은 센서에서 광의 측정 강도 증가(가령, 밝기 증가)를 나타내는 상향 핍(pip)들, 및 센서에서 광의 측정 강도의 감소(가령, 어두워짐)를 나타내는 하향 핍들로서 보여진다. 도 7에 도시된 바와 같이, 이러한 이벤트들 각각은 공통 클록(예를 들어 도 6의 클록(615))에 의해 제공되는 시간 척도(710)로 매핑된다.

일부 실시예들에서 이벤트 스트림(705)은 장면 광의 변화와 관련된 이벤트들뿐 아니라 스페클 패턴의 펄싱과 관련된 이벤트들을 포함한다. SPP로부터의 광과 관련된 이벤트 스트림(705)의 성분을 장면 광과 분리하기 위해, 투사된 광 필터링이 수행된다.

다양한 실시예들에 따르면, 투사된 광 필터링은, SPP로부터의 광 패턴이 펄싱될 때 발생하는 이벤트들의 켤레 집합들을 식별하고 식별된 이벤트들을 뺌으로써 수행되어, 장면 광만의 이벤트 스트림을 획득한다. 도 7의 비한정적 예를 참조할 때, SPP의 광 패턴의 펄싱은, 이벤트 스트림(705) 처럼 시간 동기되거나 공통 클록에 의해 제공된 시간 척도(710)로 매핑되는 SPP 제어 신호(715)로부터 결정될 수 있다. 이 예에서, SPP 제어 신호(715)는 높은값들(high values)과 낮은 값들(low values)이 광 패턴의 온 및 오프 상태들을 나타내는 구형파(square wave)이다. 다양한 실시예들에 따르면, SPP로부터의 광과 관련된 이벤트들은, SPP 제어 신호(715)의 구형파(square wave)의 선행 및 후방 엣지들에서 발생하는 켤레 이벤트들(conjugate events)로부터 식별될 수 있다. 예를 들어, SPP 제어 신호(715)가 “조명 온” 상태와 관련된 값으로 스위칭한 직후 두 개의 양의 광 강도 변화 이벤트들(720a)이 발생하고, SPP 제어 신호(715)가 “조명 오프” 상태와 관련된 값으로 스위칭한 직후 두 개의 음의 광 강도 변화 이벤트들(720b)이 발생한다. 이벤트들(720a 및 720b)은 타이밍 및 콘텐츠에 따라 SPP에 의해 생성된 광 때문일 수 있는 이벤트들의 켤레 쌍을 포함한다. 그러한 켤레 쌍들을 식별함으로써, 광 강도 변화 이벤트들로 라벨들(725)이 부여될 수 있다. 이 비한정적 예에서, 이벤트들(720a 및 720b)에는 투사된 스페클 패턴 “A”에 대응하는 라벨 “A”가 부여된다.마찬가지로, 이들의 타이밍에 기반하여, 다른 이벤트들에는 장면 광에 반응하여 검출되는 이벤트들에 대응되는 “S”가 부여된다.

도 8은 본 개시의 소정 실시예들에 따라 투사된 광 필터링을 수행함으로써 획득되는 장면 유일(scene-only) 픽셀 명암 변화 데이터의 이벤트 스트림에 대한 예를 도시한다.

도 8의 비한정적 예에 도시된 바와 같이, 투사된 광 필터링을 수행함으로써, 광의 한 카테고리나 채널과 관련된 광 강도 변화 이벤트들의 이벤트 스트림이 얻어질 수 있다. 이 비한정적 예에서, 이벤트 스트림(805)은 시간의 척도(timescale)(810)(이 비한정적 예에서는 도 7의 시간의 척도(710)와 동일함)로 매핑되고, 하나의 “S” 라벨(825)로 보여진 것과 같은 장면 광 관련 이벤트들만을 포함한다. 도 8에 도시되지는 않았지만, 본 개시의 소정 실시예들에 따라, 시간 베이스로 투사되는 광 필터링을 이용하여, SPP에 의해 투사된 스페클들과 관련된 광 강도 변화 이벤트들만을 포함하는 유사한 단일 채널 이벤트 스트림이 생성될 수도 있다. 마찬가지로, 소정 실시예들에서 도 7 및 8의 예들을 참조하여 개시된 바와 같이, 시간 기반으로 투사되는 광 필터링이 DVS 센서 쌍의 각각의 DVS의 각각의 픽셀마다 수행될 수도 있다.

도 9는 필터링되고 합성된 광 명암 변화 이벤트 스트림들(filtered and synthesized light intensity change event streams)로부터 생성되는 멀티 채널 히스토그램들 및 픽셀 명암 변화 데이터(pixel intensity change data)의 이벤트 스트림에 대해 투사된 광 필터링의 예를 도시한다. 일부 실시예들에서, 장면으로의 둘 이상의 서로 다른 스페클 패턴들의 펄스 형식의 투사를 통해 (장면 내 더 많은 지점들의 깊이가 결정된다는 의미에서) 깊이 추정의 밀도는 증가될 수 있다. 또한, 일부의 경우, 깜박이는 광들의 교락 효과(confounding effects)는 다양한 펄스 속도 또는 다양한 위상으로, 둘 이상의 서로 다른 스페클 패턴들을 장면 상에 투사함으로써 완화될 수 있다. 도 9는 둘 이상의 스페클 패턴들이 투사되는 시간 기반으로 투사되는 광 필터링의 일 예를 도시한다.

도 9의 비한정적 예를 참조할 때, DVS 센서의 개별 광 강도 변화 센서(가령, 픽셀)에서의 광 강도 변화 이벤트들의 이벤트 스트림(910)이 보여진다. 도 7 및 8의 비한정적 예에서와 같이, 이벤트 스트림(910)에서, 양의 광 변화 이벤트들은 상향 핍들(upward pips)로서 보여지고, 음의 광 변화 이벤트들은 하향 핍들로서 보여진다. 또한, 이벤트 스트림(910)의 구성 이벤트들은 공통 클록(예를 들어 도 6의 클록(615))에 의해 제공되는 시간 척도(905)로 매핑된다. 이 예에서 두 개의 스페클 패턴들인 “SPP #1” 및 “SPP #2”는 장면 안에서 온 및 오프로 펄싱된다. 스페클 패턴 “SPP #1”의 온/오프 상태는 제1제어 신호(920)로 표현되고, 스페클 패턴 “SPP #2”의 온/오프 상태는 제2제어 신호(925)로 표현된다. 제어 신호들(920 및 925) 각각은 공통 클록에 의해 제공되는 시간 척도(905)로 매핑된다. 여기서, 도 7의 예에서와 같이, 스페클 패턴 “SPP #1” 및 스페클 패턴 “SPP #2”인 장면 광의 각각의 기여분들과 관련된 이벤트 스트림(910)의 부분들이, 제1제어 신호(920) 및 제2제어 신호(925)의 선행 및 후행 엣지들 직후에 검출되는 양 및 음의 광 강도 변화 이벤트들의 켤레 쌍들로부터 결정될 수 있고, 이벤트들에 라벨들(915)이 부여될 수 있다.

소정 실시예들에 따라, DVS 어레이의 픽셀화된 어레이(예를 들어 도 4의 픽셀화 어레이(410))의 각 픽셀의 각각의 이벤트 스트림에 대한 라벨(915) 생성 후, 합성 이벤트 이미지 데이터가 생성될 수 있다. 일부 실시예들에서, 합성 이벤트 이미지 데이터는 DVS 센서에서 수신된 광의 각각의 채널마다, DVS 센서에서 수신된 광의 이차원 매핑을 제공하는 이차원 히스토그램들을 포함한다.

도 9의 비한정적 예를 참조할 때, DVS 센서에서 수신된 광의 각각의 채널로부터 히스토그램 포맷으로 합성된 이벤트 이미지 데이터의 예들(930, 935, 및 940)이 제공된다. 히스토그램(930)은 DVS 센서에서 수신된 것과 같은 장면 광의 2차원 매핑을 포함한다. 히스토그램(935)은 DVS 센서에서 수신된 것과 같은 스페클 패턴 “SPP #1”으로부터의 광의 2차원 매핑을 포함한다. 히스토그램(940)은 DVS 센서에서 수신된 것과 같은 스페클 패턴 “SPP #2”으로부터의 광의 2차원 매핑을 포함한다.

도 10은 본 개시의 다양한 실시예들에 따라, 합성 이벤트 이미지 데이터에 대한 스테레오 매칭을 수행하는 일 예를 도시한다.

도 10의 비한정적 예를 참조할 때, DVS 스테레오 쌍의 좌측 DVS로부터의 합성 이벤트 이미지 데이터(1005a)와 DVS 스테레오 쌍의 우측 DVS로부터의 합성 이벤트 이미지 데이터(1005b)가 도면의 상부에 보여진다. 이러한 비한정적 예에서, 합성 이벤트 이미지 데이터(1005a 및 1005b)는 장면 광의 채널, 제1투사된 스페클 패턴과 관련된 채널 및 제2투사된 스페클 패턴과 관련된 채널과 같은 여러 채널들에 대한 2 차원 히스토그램들의 겹침(superposition)으로서 표현된다.

소정 실시예들에 따라, (예를 들어 본 개시의 도 6, 10 및 11의 비한정적 예들에 도시된 바와 같은) 스테레오 매칭은 “좌측” 합성 이벤트 이미지 데이터(1005a) 및 “우측” 합성 이벤트 이미지 데이터(1005b)의 히스토그램들 안에서 매치되는 이미지 패치들을 포함한다. 일부 실시예들에서, 시간 및 계산 자원을 절약하기 위해, 스테레오 매칭은 “좌측” 합성 이벤트 이미지 데이터(1005a)의 0이 아닌 픽셀들을 “우측” 합성 이벤트 이미지 데이터(1005b)의 0이 아닌 픽셀들로 매칭하는 것을 포함한다.

소정 실시예들에 따르면, 이미지 패치들은 “좌측” 합성 이벤트 이미지 데이터(1005a) 및 “우측” 합성 이벤트 이미지 데이터(1005b) 둘 모두의 스캐닝 패턴을 따라 소정 지점들에서 생성된다. 도 10의 예에 도시된 바와 같이, 합성 이벤트 이미지 데이터 내에 좌표 값을 가지는 “좌측” 합성 이벤트 이미지 데이터(1005a)의 7x7x3 픽셀 “슬라이스”를 포함하는 패치(1010a)가 스캔 라인(1015)을 포함하는 스캐닝 패턴 상의 한 지점에서 얻어진다. 마찬가지로, “우측” 이벤트 이미지 데이터(1005b)로부터 패치(1010b)를 포함하는 패치들이 얻어진다. 이러한 비한정적 예에 도시된 바와 같이, 패치(1010a) 및 패치(1010b)는 스캐닝 패턴 내 동일한 위치에서 획득되었다.

도 10의 비한정적 예에서 도시된 바와 같이, 패치(1010a)는 합성 이벤트 이미지 데이터(1005a 및 1005b)에서 광의 3 채널들 중 2 채널들 내 0이 아닌 픽셀들을 포함한다. 예를 들어

패치(1010a) 내 장면 광의 7x7 픽셀 그리드 표현(1020a)이다. 마찬가지로,

패치(1010b) 내 장면 광의 7x7 픽셀 그리드 표현(1020b)이다. 도 10에 도시된 바와 같이, 패치(1010a)는 DVS 센서의 시계 내 삼각형의 꼭지점으로부터의 장면 광을 포함하는 반면, 스캔라인(1015)을 따라 동일한 지점에서 획득된 패치(1010b)는 삼각형의 꼭지점을 포함하지 않음으로써, DVS 센서 쌍의 DVS 센서들 간 관점의 차이를 반영한다.

또한, 패치(1010a)는

, 제1스페클 패턴으로부터의 광의 7×7 표현(1025a)인 것 및

, 제2스페클 패턴으로부터의 광의 7x7 표현(1030a)인 것을 포함한다. 마찬가지로 패치(1010b)는

, 제1스페클 패턴으로부터의 광의 7×7 표현(1025b)인 것 및

, 제2스페클 패턴으로부터의 광의 7x7 표현(1030b)인 것을 포함한다.

“좌측” 합성 이벤트 이미지 데이터(1005a) 및 “우측” 합성 이벤트 이미지 데이터(1005b) 내 3 채널들(장면 광 채널에서 잠정적으로 픽셀이 풍부한 데이터를 포함)에 걸쳐 0이 아닌 픽셀들을 식별하는 것과 관련된 계산 부하를 줄이기 위해, 이미지 데이터의 패치들에 대한 표현의 차원수(dimensionality)는 픽셀들의 세 개의 7x7 그리드들(가령, 7x7x3)의 행렬들이나 기타 147 개의 요소 표현들에서 이진 표현으로 줄어든다. 도 10의 비한정적 예에서, 간단한 이진 표현 알고리즘(1035)이 패치(1010a) 내 각각의 채널의 표현들(1020a, 1025a 및 1030a)에 적용되어, 패치(1010a)의 이진 표현(1040a)을 획득한다. 마찬가지로, 간단한 이진 표현 알고리즘(1035)은, 소정 실시예들에서 표현들(1020b, 1025b and 1030b)로 적용되어 패치(1010b)의 구성 채널들의 이진 표현(1040b)을 획득한다.

다양한 실시예들에 따르면, “좌측” 합성 이벤트 이미지 데이터(1005a) 및 “우측” 합성 이벤트 이미지 데이터(1005b)로부터 얻어진 패치들의 이진 표현들 간 거리가 계산된다. 소정 실시예들에서, 그러한 표현들 사이의 거리는 이진 표현들의 요소들 간 해밍 거리에 기반하여 산출된다. 이 예에서, 이진 표현(1040a)의 값들은 각각의 이진 표현의 일곱 자리들 중 다섯 자리에서 이진 표현(1040)의 값들과 매치함으로써, 해밍 값 2를 가져온다. 그러나, 패치(1010b)의 살짝 우측에서 얻어지는(그리고 삼각형의 꼭지점을 포함함) 패치의 이진 표현은 더 작은 해밍 값을 가져올 것이다. 이런 식으로, “좌측” 합성 이벤트 이미지 데이터(1005a) 및 “우측” 합성 이벤트 이미지 데이터(1005b) 안의 요소들의 스테레오 매칭은, 패치들의 이진 표현들 간 산출 거리 최저 값들에 대한 검색이 된다.

도 11은 합성 이벤트 이미지 데이터에 대한 스테레오 매칭을 수행하는 일 예를 도시한다. 소정 실시예들에서, 투사된 광으로부터만(따라서 장면 광을 배제함), 그리고 차원수 감소 단계를 생략하는(예를 들어 도 10의 간단한 이진 표현 알고리즘(1035)를 적용함으로써) “저전력 모드”를 구현함으로써, 합성 이벤트 이미지 데이터 스테레오 매칭이 수행되는 속도 및 배터리 소비가 향상될 수 있다. 도 11은 “저전력 모드”에서의 스테레오 매칭의 비한정적 예를 제공한다.

도 11의 비한정적 예를 참조할 때, DVS 쌍의 각각의 DVS로부터의 합성 이벤트 이미지 데이터가 도면 상부에서 “좌측” 합성 이벤트 이미지 데이터(1105a) 및 “우측” 합성 이벤트 이미지 데이터(1105b)로서 보여진다. “좌측” 합성 이미지 데이터(1105a)의 7x7x2 픽셀 패치(1110a)는 스캔 라인(1115)를 포함하는 스캐닝 패턴을 따라 소정 위치에서 획득된 것으로 보여진다.

도 11의 비한정적 예에 도시된 바와 같이, 패치(1110a)는 합성 이벤트 이미지 데이터(1105a 및 1105b)에서 광의 2 채널들 중 하나 안에 있는 0이 아닌 픽셀들을 포함한다. 도 11에 도시된 바와 같이, 패치(1110a)는

, 제1스페클 패턴으로부터의 광의 7×7 표현(1120a)인 것 및

, 제2스페클 패턴으로부터의 광의 7x7 표현(1125a)인 것을 포함한다. 마찬가지로 패치(1110b)는

, 제1스페클 패턴으로부터의 광의 7×7 표현(1120b)인 것 및

, 제2스페클 패턴으로부터의 광의 7x7 표현(1125b)인 것을 포함한다. 다양한 실시예들에 따르면, 패치(1110a) 안의 각 채널 표현들은 이진 표현 알고리즘(1130)으로 제공되어, 이진 표현(1135a)을 생성하도록 한다. 도 11의 비한정적 예에 도시된 바와 같이, 이진 표현(1135a)은 7x7x2 패치(110a)에 대한 차원수 감소 프로세스를 거치지 않고 생성될 수 있다. 마찬가지로, 패치(1110b) 안의 각 채널의 이진 표현들은 이진 표현 알고리즘(1130)으로 제공되어 패치(1110b)의 제2이진 표현(1135b)을 생성하도록 한다. 채널들과 이용 가능한 프로세싱 자원들에 따라, 채널 전부에 대한 차원 감소 이진 표현들에 기반하여 스테레오 매칭을 하기 보다, 소정 채널들의 감소되지 않은 이진 표현들 간 거리 산출에 기반하여 스테레오 매칭을 수행하는 것이 계산 면에서 비용이 덜 들 수 있다.

소정 실시예들에 따르면, 이진 표현들(1135a 및 1135b)을 획득했으면, 패치들 안의 요소들 간 거리가 산출된다. 소정 실시예들에 따르면, 그 거리는 해밍 거리에 기반하거나 제곱의 합으로서 산출된다. “좌측” 합성 이벤트 이미지 데이터(1105a)로부터 획득된 패치 집합 및 “우측” 합성 이벤트 이미지 데이터(1105b)로부터 획득된 패치 집합에 걸친 거리들을 산출한 후, 스테레오 매칭은 “좌측” 합성 이벤트 이미지 데이터(1105a)로부터의 각각의 패치에 대해, “우측” 합성 이벤트 이미지 데이터(1105b)를 식별하는 검색 문제로서 다뤄질 수 있다.

도 12는 본 개시의 다양한 실시예들에 따라 깊이 추정을 수행하는 방법(1200)의 동작들을 도시한다. 상기 흐름도는 일련의 순차적 단계들을 도시하고 있지만, 명시적으로 언급되지 않는다면 그 시퀀스로부터, 수행의 특정 순서와 관련하여, 단계들이나 그 일부의 수행이 동시 발생적이거나 중복적인 방식이 아닌 연속적이라거나, 단계들의 수행이 개재 또는 중간 단계들의 발생 없이 예외적으로 묘사된 것이라는 어떠한 추론도 끌어내어져서는 안될 것이다. 도시된 예에 묘사된 프로세스는 예컨대, 메인 프로세서(140)에 의해 구현된다.

도 12의 비한정적 예를 참조할 때, 방법(1200)은 프로세서(가령, 메인 프로세서(140), 또는 칩 상의 시스템(SOC)과 같은 전용 깊이 추정 장치)가 제어 신호(예를 들어 도 9의 제어 신호(920))를 수신하는 동작(1205)을 포함한다. 다양한 실시예들에 따르면, 제어 신호는 시계(예를 들어 DVS 스테레오 쌍의 입체 시계) 상에 SPP에 의해 투사된 소정 광 패턴(예를 들어 도 5에 도시된 스페클 패턴)의 온/오프 상태를 나타낸다.

소정 실시예들에서, 방법(1200)은 프로세서가 DVS 스테레오 쌍(예를 들어 도 6에서 DVS 스테레오 쌍(610))의 각각의 센서로부터 픽셀 명암 변화 데이터의 이벤트 스트림(예를 들어 도 7의 이벤트 스트림(705))을 수신하는 동작(1210)을 포함한다. 소정 실시예들에서, 이벤트 스트림은 예를 들어, SPP의 제어 신호를 이용하여 공통 시간의 척도(도 9에서 시간의 척도(905) 등)로 타임 스탬프화함으로써 시간 동기된다. 또한 이벤트 스트림은 시계 내 한 장면으로부터의 광과 관련된 제1부분(도 9의 라벨들(915)에서 “S”로 라벨링된 이벤트들)과, SPP에 의해 투사된 소정의 광 패턴과 관련된 제2부분을 포함한다.

다양한 실시예들에 따르면, 방법(1200)은 프로세서가 (예를 들어, SPP 제어 신호의 후행 및 선행 엣지들을 따르는 이벤트들의 켤레 쌍들을 식별함으로써) 투사된 광 필터링을 수행하여 합성 이벤트 이미지 데이터를 생성하는 동작(1215)을 포함한다. 소정 실시예들에서, 합성 이벤트 이미지 데이터는 하나 이상의 채널들(가령, 도 9에서 히스토그램들(930, 935, 및 940)에 의해 표현되는 채널들)을 가지며, 그 채널들 각각은 픽셀 명암 변화 데이터의 단발적 부분(예를 들어 도 4의 이벤트 스트림(430)의 단발적 부분들)에 기반한다.

도 12의 비한정적 예를 참조할 때, 방법(1200)은 프로세서가 적어도 하나의 채널(예를 들어 도 11에서 합성 이벤트 이미지 데이터(1105a 및 1105b)에서 제1스페클 패턴과 관련된 채널)에 대해 스테레오 매칭을 수행하여, 시계(field of view)의 적어도 한 부분에 대해 (예를 들어, 도 6에서 깊이 추정 파이프라인(650)의 깊이 매핑 단계(680)에 의해 수행되는 것과 같은) 깊이 맵을 획득하는 동작(1220)을 더 포함한다.

도 13은 본 개시의 다양한 실시예들에 따라 깊이 추정을 수행하는 방법의 동작들을 도시한다. 상기 흐름도는 일련의 순차적 단계들을 도시하고 있지만, 명시적으로 언급되지 않는다면 그 시퀀스로부터, 수행의 특정 순서와 관련하여, 단계들이나 그 일부의 수행이 동시 발생적이거나 중복적인 방식이 아닌 연속적이라거나, 단계들의 수행이 개재 또는 중간 단계들의 발생 없이 예외적으로 묘사된 것이라는 어떠한 추론도 끌어내어져서는 안될 것이다. 도시된 예에 묘사된 프로세스는 예컨대, 메인 프로세서(140)에 의해 구현된다. 소정 실시예들에서, 도 13을 참조하여 기술된 동작들 중 일부나 전부는 도 12의 방법(1200)의 동작들과 연계하여 수행된다.

도 13의 비한정적 예를 참조할 때, 동작 1305에서, 프로세서(또는 전용 깊이 추정 유닛)는 DVS 스테레오 쌍의 모션 및/또는 방향 변화를 나타내는 IMU 데이터(예를 들어, 도 6의 IMU(620)로부터 나옴)를 수신한다. 소정 실시예들에 따르면, IMU 데이터는 픽셀 명암 변화 데이터의 이벤트 스트림과 (예를 들어, 도 9의 시간 척도(905)와 같은 공통의 시간 척도로 시간 매핑됨으로써) 시간 동기된다. 또한, 동작 1305에서, 프로세서는 IMU 데이터에 기반하여 모션 안정(예를 들어, 깊이 추정 파이프라인(650)의 모션 안정 단계(660)에 의해 수행되는 것과 같은 모션 안정)을 수행한다.

소정 실시예들에 따르면, 동작 1310에서, 프로세서는 DVS 스테레오 쌍의 시계(a field of a view)(예를 들어 입체 시계) 안에 투사된 광의 제2소정 패턴의 온/오프 상태와 관련된 제2제어 신호(예를 들어 도 9의 제2제어 신호(925))를 수신한다. 소정 실시예들에서, 제2제어 신호는 제1제어 신호와 구별(예를 들어, 주파수나 위상으로 구별됨)되게 광의 제2소정 패턴을 온 및 오프시킨다.

도 13의 비한정적 예에 도시된 것과 같이, 동작 1315에서, 프로세서 (또는 깊이 추정 하드웨어, 또는 이들의 조합)는 누적된 픽셀 명암 변화 데이터의 히스토그램들(예를 들어 도 9의 히스토그램(930))을 포함하는 합성 이벤트 이미지 데이터를 생성한다. 소정 실시예들에 따르면, 동작 1315에서 생성된 히스토그램들은 소정 인터벌에 걸친 픽셀화 센서 어레이(예를 들어, 도 4의 픽셀화 어레이(410))의 각각의 픽셀에 걸쳐 누적된 이벤트 데이터를 포함할 수 있다. 또한, 동작에서 생성된 히스토그램들은 누적 인터벌 중에 DVS 센서 위치 및 방향 변화 효과를 상쇄하기 위해 모션 안정 또는 보정될 수 있다.

본 개시에 따른 소정 실시예들에서, 동작 1320에서는 스테레오 매칭 수행에 대비하여, 프로세서가 동작 1320에서 결정된 누적 픽셀 명암 변화 데이터의 히스토그램들의 이전 표현들을 생성한다. 일부 실시예들에서, 이진 표현의 차원수는 (도 10의 이진 표현(1040a)의 경우에서와 같은) 히스토그램의 표현 부분의 차원수보다 작다. 다양한 실시예들에서, 이진 표현의 차원수는 (도 11의 이진 표현(1135a)의 경우에서와 같은) 히스토그램의 표현 부분의 차원수와 비교해, 감소되지 않는다.

도 13의 비한정적 예를 참조할 때, 다양한 실시예들에 따라 동작 1325에서, 프로세서는 이벤트 스트림(예를 들어, 도 9의 이벤트 스트림(910))에 대해, 투사된 광 필터링을 수행하여, 제2소정 광 패턴과 관련된 채널을 포함하는 합성 이벤트 이미지 데이터(예를 들어, 도 9의 히스토그램(940)의 합성 이벤트 이미지 데이터)를 생성한다.

다양한 실시예들에 따르면, 동작 1330에서, 프로세서는 히스토그램들(또는 그 패치들)의 이진 표현들 간 해밍 거리들을 산출하고 산출된 해밍 거리들의 최소값들에 기반하여 패치들을 매칭함으로써, 스테레오 매칭을 수행한다.

본 출원의 내용 중 어느 것도, 어떤 특정 요소, 단계, 또는 기능이 청구범위에 포함되어야 하는 필수 구성 요소임을 의미하는 것으로 읽혀져서는 안 될 것이다. 특허 주제의 범위는 오직 청구범위에 의해서만 한정된다.

Claims

반밀도(semi-dense) 깊이 추정 방법으로서,
전자 장치에서 시계(field of view) 상에서 스페클 패턴 프로젝터(SPP: speckle pattern projector)에 의해 투사된 소정의 광 패턴의 온/오프 상태를 시간의 함수로서 나타내는 SPP의 제어 신호를 수신하는 단계;
동적 비전 센서(DVS) 스테레오 쌍의 각각의 센서로부터 픽셀 명암(intensity) 변화 데이터의 이벤트 스트림을 수신하되, 상기 이벤트 스트림은 상기 SPP의 제어 신호와 시간 동기된 것으로서, 상기 시계 안의 장면(scene)으로부터의 광과 관련된 제1부분 및 상기 SPP에 의해 투사된 상기 소정의 광 패턴과 관련된 제2부분을 포함하는 단계;
상기 DVS 스테레오 쌍의 각각의 센서에 대한 상기 픽셀 명암 변화 데이터의 이벤트 스트림에 대해, 투사된 광 필터링을 수행하여, 각각의 채널이 상기 픽셀 명암 변화 데이터의 이벤트 스트림의 단발적(isolated) 부분에 기반하는 하나 이상의 채널들을 가지는 합성(synthesized) 이벤트 이미지 데이터를 생성하도록 하는 단계; 및
상기 DVS 스테레오 쌍의 각각의 센서에 대해 상기 합성 이벤트 이미지 데이터의 적어도 하나의 채널에 대해 스테레오 매칭(stereo matching)을 수행하여 상기 시계의 적어도 일부에 대한 깊이 맵을 생성하는 단계를 포함하는 방법.
제1항에 있어서,
상기 DVS 스테레오 쌍의 모션과 관련된 관성 모션 유닛(IMU) 데이터를 수신하되, 상기 IMU 데이터는 상기 픽셀 명암 변화 데이터의 이벤트 스트림과 시간 동기되는 단계; 및
상기 IMU 데이터에 기반하여 모션 안정화를 수행하는 단계를 더 포함하는 방법.
제1항에 있어서,
상기 시계 상에서 스페클 패턴 프로젝터(SPP: speckle pattern projector)에 의해 투사된 제2 소정 광 패턴의 온/오프 상태를 시간의 함수로서 나타내는 상기 SPP의 제2제어 신호를 수신하는 단계; 및
상기 DVS 스테레오 쌍의 각각의 센서에 대한 상기 픽셀 명암 변화 데이터의 이벤트 스트림에 대해, 투사된 광 필터링을 수행하여 합성 이벤트 이미지 데이터를 생성하도록 하되, 합성 이벤트 이미지 데이터는 상기 제2소정 광 패턴과 관련된 상기 픽셀 명암 변화 데이터의 이벤트 스트림의 제3부분에 기반하는 채널을 더 포함하는 단계를 더 포함하고,
상기 제2제어 신호는 상기 DVS 스테레오 쌍의 각각의 센서에 대한 상기 이벤트 스트림과 시간 동기되는 방법.
제1항에 있어서, 상기 전자 장치는 저전력 모드로 동작하여, 상기 DVS 스테레오 쌍의 각각의 센서에 대해 상기 합성 이벤트 이미지 데이터의 하나의 채널에 대해 스테레오 매칭을 수행하여 상기 시계의 적어도 일부에 대한 깊이 맵을 생성하는 방법.
제1항에 있어서, 상기 깊이 맵은 증강 현실(AR) 및 가상 현실(VR) 애플리케이션 중 적어도 하나에 의해 사용되는 방법.
제1항에 있어서, 상기 합성 이벤트 이미지 데이터는 상기 DVS 스테레오 쌍의 각각의 센서 및 각각의 채널에 대해, 누적된 픽셀 명암 변화 데이터의 히스토그램을 포함하는 방법.
제6항에 있어서,
누적된 픽셀 명암 변화 데이터의 각각의 히스토그램에 대해, 상기 누적된 픽셀 명암 변화 데이터의 히스토그램의 이진(binary) 표현을 생성하는 단계; 및
동일 채널 내에서 상기 DVS 스테레오 쌍의 서로 다른 센서들로부터의 히스토그램들의 이진 표현들 간에 산출된 해밍(Hamming) 거리에 기반하여 스테레오 매칭을 수행하는 단계를 더 포함하는 방법.
스페클 패턴 프로젝터(SPP);
동적 비전 센서(DVS) 스테레오 쌍;
프로세서; 및
상기 프로세서에 의해 실행될 때 상기 장치가
시계(field of view) 상에서 상기 SPP에 의해 투사된 소정의 광 패턴의 온/오프 상태를 시간의 함수로서 나타내는 상기 SPP의 제어 신호를 수신하고,
상기 동적 비전 센서(DVS) 스테레오 쌍의 각각의 센서로부터 픽셀 명암(intensity) 변화 데이터의 이벤트 스트림을 수신하되, 상기 이벤트 스트림은 상기 SPP의 제어 신호와 시간 동기된 것으로서, 상기 시계 안의 장면(scene)으로부터의 광과 관련된 제1부분 및 상기 SPP에 의해 투사된 상기 소정의 광 패턴과 관련된 제2부분을 포함하고,
상기 DVS 스테레오 쌍의 각각의 센서에 대한 상기 픽셀 명암 변화 데이터의 이벤트 스트림에 대해, 투사된 광 필터링을 수행하여, 각각의 채널이 상기 픽셀 명암 변화 데이터의 이벤트 스트림의 단발적(isolated) 부분에 기반하는 하나 이상의 채널들을 가지는 합성(synthesized) 이벤트 이미지 데이터를 생성하도록 하고,
상기 DVS 스테레오 쌍의 각각의 센서에 대해 상기 합성 이벤트 이미지 데이터의 적어도 하나의 채널에 대해 스테레오 매칭(stereo matching)을 수행하여 상기 시계의 적어도 일부에 대한 깊이 맵을 생성하게 하는 명령어들을 포함하는 메모리를 포함하는 장치.
제8항에 있어서,
상기 DVS 스테레오 쌍과 함께 이동하도록 물리적으로 연결된 관성 모션 유닛(IMU) 센서를 더 포함하고,
상기 메모리는 상기 프로세서에 의해 실행될 때 상기 장치가
상기 DVS 스테레오 쌍의 모션과 관련된 관성 모션 유닛(IMU) 데이터를 수신하되, 상기 IMU 데이터는 상기 픽셀 명암 변화 데이터의 이벤트 스트림과 시간 동기되고,
상기 IMU 데이터에 기반하여 모션 안정화를 수행하도록 하는 명령어들을 포함하는 장치.
제8항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때 상기 장치가
상기 시계 상에서 스페클 패턴 프로젝터(SPP: speckle pattern projector)에 의해 투사된 제2 소정 광 패턴의 온/오프 상태를 시간의 함수로서 나타내는 상기 SPP의 제2 제어 신호를 수신하고,
상기 DVS 스테레오 쌍의 각각의 센서에 대한 상기 픽셀 명암 변화 데이터의 이벤트 스트림에 대해, 투사된 광 필터링을 수행하여 합성 이벤트 이미지 데이터를 생성하도록 하되, 합성 이벤트 이미지 데이터는 상기 제2소정 광 패턴과 관련된 상기 픽셀 명암 변화 데이터의 이벤트 스트림의 제3부분에 기반하는 채널을 더 포함하도록 하는 명령어들을 포함하고,
상기 제2 제어 신호는 상기 DVS 스테레오 쌍의 각각의 센서에 대한 상기 이벤트 스트림과 시간 동기되는 장치.
제8항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때 상기 장치가
저전력 모드로 동작하여, 상기 DVS 스테레오 쌍의 각각의 센서에 대해 상기 합성 이벤트 이미지 데이터의 하나의 채널에 대해 스테레오 매칭을 수행하여 상기 시계의 적어도 일부에 대한 깊이 맵을 생성하도록 하는 명령어들을 포함하는 장치.
제8항에 있어서, 상기 깊이 맵은 증강 현실(AR) 및 가상 현실(VR) 애플리케이션 중 적어도 하나에 의해 사용되는 장치.
제8항에 있어서, 상기 합성 이벤트 이미지 데이터는 상기 DVS 스테레오 쌍의 각각의 센서 및 각각의 채널에 대해, 누적된 픽셀 명암 변화 데이터의 히스토그램을 포함하는 장치.
제13항에 있어서, 상기 메모리는 상기 프로세서에 의해 실행될 때 상기 장치가
누적된 픽셀 명암 변화 데이터의 각각의 히스토그램에 대해, 상기 누적된 픽셀 명암 변화 데이터의 히스토그램의 이진(binary) 표현을 생성하고,
동일 채널 내에서 상기 DVS 스테레오 쌍의 서로 다른 센서들로부터의 히스토그램들의 이진 표현들 간에 산출된 해밍(Hamming) 거리에 기반하여 스테레오 매칭을 수행하도록 하는 명령어들을 포함하는 장치.
제1항 내지 제7항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체.