KR20210117289A - 이벤트-기반 비전 센서들을 사용하는 환경 모델 유지 - Google Patents

이벤트-기반 비전 센서들을 사용하는 환경 모델 유지 Download PDF

Info

Publication number
KR20210117289A
KR20210117289A KR1020217025310A KR20217025310A KR20210117289A KR 20210117289 A KR20210117289 A KR 20210117289A KR 1020217025310 A KR1020217025310 A KR 1020217025310A KR 20217025310 A KR20217025310 A KR 20217025310A KR 20210117289 A KR20210117289 A KR 20210117289A
Authority
KR
South Korea
Prior art keywords
event
depth
environment
assembly
computing device
Prior art date
Application number
KR1020217025310A
Other languages
English (en)
Inventor
크리스챤 브랜들리
제임스 쥐. 루이스
스테판 이슬러
Original Assignee
소니 어드밴스드 비주얼 센싱 아게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 어드밴스드 비주얼 센싱 아게 filed Critical 소니 어드밴스드 비주얼 센싱 아게
Publication of KR20210117289A publication Critical patent/KR20210117289A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

환경을 모니터링하기 위한 하나 이상의 이벤트-기반 비전 센서들, 및 환경을 모니터링하는 하나 이상의 깊이 센서들뿐만 아니라 관성 측정 유닛들 및 이미지 센서들과 같은 환경을 모니터링하기 위한 잠재적으로 추가적인 센서들을 포함하는 방법 및 시스템이 설명된다. 그러면, 프로세서 조립체로서의 디바이스는 이벤트-기반 비전 센서, 깊이 센서 및 다른 센서들을 모니터링하고, 이벤트-기반 비전 센서의 응답에 기반하여 환경의 깊이 정보를 획득하기 위해 깊이 센서를 활성화하는 것과 같이 제어 체계를 적응시킬지를 결정할 것이다. 이 접근법은 전력 소비를 감소시키기 위해 이벤트-기반 센서들의 이점들을 활용하면서도, 깊이 측정들 또는 추론된 데이터가 사용되는 어플리케이션에서 최소한으로 허용되는 지연들에 직접적으로 관련된 간격들로 지속적으로 측정함으로써 이러한 변화에 여전히 빠르게 반응한다.

Description

이벤트-기반 비전 센서들을 사용하는 환경 모델 유지
본 출원은 35 USC 119(e) 하에서 2019년 1월 25일에 출원된 미국 가출원 제62/796,742호의 이익을 주장하며, 이는 그 전문이 본 명세서에 참조로 포함된다.
깊이 센서들, 및 머신 비전(machine vision) 및 카메라들(예컨대, CMOS 이미지 센서들)은 많은 컴퓨팅 디바이스들의 공통 구성 요소이다. 특히, 스마트폰들 및 태블릿 디바이스들과 같은 모바일 컴퓨팅 디바이스들은 얼굴 인식 및 제스처 추적을 위해 2개의 감지 유형 중 하나 또는 그들의 조합을 사용한다. 깊이 센서들은 또한, 더 일반적으로 환경을 추적하는 데 도움이 되며, 따라서 디바이스는 사용자가 언제 객체들에 접근하는지 또는 객체들까지의 거리가 얼마인지를 알 수 있는 한편, 카메라들은 이러한 객체들의 반사율 및/또는 발광 발산(luminous emittance) 특성들의 추정을 가능하게 한다. 또한, 동시 위치 측정 및 매핑(simultaneous localization and mapping, SLAM) 방법이 종종 공간 내의 장치의 위치를 추정하는 데 사용된다. SLAM 방법은 관성 측정 유닛(inertial measurement unit, IMU), 카메라 및 다른 센서 판독들에 기반하여 지속적으로 장치 포즈(pose)(위치 및 배향)를 추정한다. 이것은 깊이 센서로부터의 깊이 맵(map)에 의해 유익하게 증강된다.
깊이 및 이미지 센서들은 또한 디바이스들이 그들의 주변 환경의 모델들을 생성할 수 있게 한다. 이러한 모델들은, 예를 들어, 컴퓨팅 디바이스들 상에서 실행되는 증강 현실(augmented reality, AR) 어플리케이션 프로그램들(앱)에 도움이 된다. 다른 예들은 자율 로봇들이 그들의 환경을 탐색하고/하거나 그와 상호 작용하는 것들을 포함한다.
깊이 센서들을 동작시키는 것은 여러 면에서 이러한 컴퓨팅 디바이스들에 대해 비용이 많이 들을 수 있다. 대부분의 깊이 센서들은 높은 레벨들의 전력을 소비한다. 구조화된 광 깊이 센서들 및 비행 시간(time of flight, ToF) 깊이 센서들은 종종 적외선에서 환경을 조명해야 하는 능동 디바이스(active device)들이다. 예를 들어, 신경 망들(예를 들어, 컨볼루션)을 사용하는 스테레오(stereo) 카메라들 또는 선행(prior)들로부터의 깊이 추론과 같은 수동 깊이 감지 접근법들은 계산적으로 비용이 많이 들고, 따라서 전력 집약적이다. 추가로, 깊이 센서들을 동작시키는 것은 또한 계산적으로 비용이 많이 든다. 깊이 센서들로부터 정보는 해석되어야 하고 환경 모델은 새로운 깊이 정보에 기반하여 재계산되어야 한다.
종래의 이미지 센서들(카메라들)을 동작시키는 것은 이러한 컴퓨팅 디바이스들에 대해 비용이 많이 든다. 깊이 센서들에 비해 더 낮은 레벨들의 전력을 소비하지만, 특히 고 주파수들 및 또는 해상도들에서 동작할 때, 이들의 전력 소비는 여전히 상당하다. 추가로, 그들의 동작은 저장, 이동 및 처리되어야 하는 많은 양의 데이터를 생성하며, 이는 전력 및 메모리 모두에 대한 수요가 높아지게 한다.
반면, 이벤트-기반의 비전 센서들은 주로 데이터 스트림을 본질적으로 압축하여 처리 유닛이 처리할 필요가 있는 데이터의 양을 감소시킴으로써 많은 이점들을 제공한다. 이들은 또한 종래의 조명 센서들(카메라들)보다 적은 전력을 사용한다. 게다가, 이벤트-기반 비전 센서 픽셀들은 높은 주파수(최대 수 킬로헤르츠(kilohertz, kHz))에서 장면에서의 시각적 변화들을 지속적으로 감지하고 매우 낮은 지연 시간(latency)으로 이들을 보고한다. 이에 의해 이벤트-기반 비전 센서는 디바이스의 환경 모니터링, 스마트 센서 제어 또는 2차 감지 양식들의 데이터 향상과 같은 항상 켜있는(always-on) 작업들을 위한 이상적인 센서가 된다.
본 접근법은 전력 소비를 감소시키기 위해 이벤트-기반 센서들의 이점들을 활용한다. 종래의 움직임 감지 조립체들은 전형적으로 입사광으로부터 정보를 추론하기 위해 사용될 수 있는 종래의 머신 비전 카메라들, 및 디바이스의 베어링(bearing)뿐만 아니라 가속도들 및 회전 속도들에 관한 정보를 추론하기 위해 사용될 수 있는 하나 또는 여러 개의 관성 측정 유닛(inertial measurement unit, IMU)들로 구성될 수 있다. 입사광으로부터, 디바이스들 자신의 움직임, 및 이동하는 객체들 또는 조명의 변화에 의해 야기될 수 있는 디바이스들 주변의 움직임 및 변화들에 관한 정보 둘 다가 추론될 수 있다. IMU 측정들로부터는 디바이스들 자신의 움직임에 대한 추론만이 가능하다. 디바이스가 비-정적 환경 안에 위치되면, 주변에서의 변화들은 IMU에 의해 감지되지 않을 수 있고, 조명이 측정될 필요가 있거나 깊이 측정들이 트리거되어야 한다. 이러한 변화들에 빠르게 반응하기 위해, 깊이 측정들 또는 추론된 데이터가 사용되는 어플리케이션에서 최소한으로 허용되는 지연들에 직접적으로 관련된 간격들로 주변들이 지속적으로 측정되어야만 하고, 여전히 지연들을 피할 수는 없다. 이러한 요건들 및 지연들은 관련된 센서들에 대한 최적의 제어 체계, 예를 들어, 임의의 주어진 어플리케이션에 이론적으로 필요한 최소 수의 깊이 측정들로 최저의 전력 소비를 유발하는 것에 도달하는 것을 불가능하게 할 수 있다. 불필요한 이미지 캡처들은 전력 수요를 증가시키고 전력 수요에서 달성 가능한 이득을 더 제한할 것이다. 이벤트-기반 감지 사이클을 추가하는 것은 이러한 문제들을 해결한다. 종래의 조명 센서들(카메라들)은 이벤트-기반 센서들보다 더 많은 전력을 필요로 하고 훨씬 더 낮은 샘플링 주파수(전형적으로 수 kHz에 비해 수십 Hz)를 갖는다. 조명 측정(이미지) 캡처들은 이벤트-기반 센서를 이용한 측정들에 비해 더 오래 걸리고 더 지연된다. 이벤트-기반 센서들을 포함하는 것은 환경에서의 변화들은 매우 신속하게 검출하는 것을 가능하게 하고, 따라서 종래의 움직임 감지 조립체들보다 더 적은 전력을 필요로 하면서 이론적인 최적에 훨씬 더 가까운 깊이 측정 트리거 시간 도출, 영역들 또는 다른 제어 변수들을 허용한다. 추가로, 이벤트-기반 비전 센서들의 높은 시간 해상도는 객체들의 동적 상태의 더 정확한 추정 및 그에 따라 미래의 시점에서의 그들의 상태의 더 정확한 예측을 허용한다.
일반적으로, 이벤트-기반 감지 사이클은 예상치 못한 및/또는 예측되지 않은 변화들에 대응하는 이벤트들에 대해 이벤트-기반 센서들의 절두체 내에서 들어오는 측정된 조명 변화들(이벤트들)의 스트림을 분석하는 것을 수반할 수 있다. 이 탐색이 성공하는 경우에는, 즉 환경 내에서 변화들이 분석된 이벤트들에 기반하여 식별된 경우, 알고리즘은 깊이 감지 조립체 또는 CMOS 카메라들과 같은 구성 요소들에 대한 제어 체계를 그에 따라 적응시킬 수 있다. 적응된 제어는 투사된 광이 투사 기반 깊이 센서 또는 CMOS 카메라에 대한 노출 시간 및 이득에 대해 변조되는 방식과 같은 트리거 시간 및 영역을 넘어선 속성들을 포함할 수 있다. 모든 구성 요소들은 그들의 제어 체계가 전력 및 다른 척도들-이것의 일례는 획득한 센서 테이터를 처리하는 알고리즘들에 의해 추정되는 상태 변수들의 정확도임-과 같은 목적들을 최적화하기 위해 시간 경과에 따라 연속적으로 적응될 때 비동기적으로 트리거될 수 있다.
일반적으로, 일 양태에 따르면, 본 발명은 환경 모델을 유지하기 위한 방법을 특징으로 한다. 이 방법은 하나 이상의 이벤트-기반 비전 센서로 환경을 모니터링하고, 이벤트-기반 비전 센서에 의한 모니터링에 기반하여, 환경으로부터 더 많은 정보를 획득하기 위해 깊이 센서 또는 다른 감지 양식(예를 들어, 카메라)의 제어 체계를 적응(예를 들어, 활성화)할지를 결정하는 것을 포함한다. 이후, 환경 모델은 수집된 센서 판독들에 기반하여 업데이트될 수 있다.
실시예들에서, 방법은 관성 측정 유닛 및/또는 카메라로부터 움직임 정보를 획득하고, 측정된 이벤트들과 함께, 움직임 정보에 기반하여, 환경의 깊이 정보를 획득하기 위해 깊이 센서를 활성화할지를 결정하는 것을 더 포함한다.
또한, 실시예들에서, 환경 모델이 업데이트되어야 하는지를 추론하기 위해 이벤트들 및 잠재적으로 IMU 데이터가 사용되며, 이는 이러한 업데이트를 수행하기 위해 추가 데이터가 획득되어야 하는지 여부에 기반하여 결정된다. 추가 데이터는 깊이 감지 조립체, 카메라들, 또는 항상 켜 있는 작동 방식으로 동작하지 않는 기타 센서들로부터의 측정들을 포함할 수 있다.
또한, 방법은 이벤트-기반 비전 센서에 의해 검출된 이벤트들이 환경 모델을 사용하여 예측된 이벤트들과 충분히 일치(match)되지 않는 경우에만 환경 모델을 업데이트하는 것을 또한 포함할 수 있다. 환경 모델에 대한 업데이트들은 항상 센서 측정들의 임의의 조합에 기반할 수 있고, 업데이트 결정은 전형적으로 추가 측정들, 예를 들어 깊이 센서 판독들이 취해져야 하는지에 관한 결정과 결합된다.
이 방법은 또한, 병진 속도들과 같은 다른 추정들과 함께 디바이스의 포즈(좌표들 및 배향)를 계산하기 위해, 관성 측정 유닛들로부터 획득된 움직임 정보를 종래의 조명 센서들(카메라들) 및/또는 깊이 센서들 및/또는 이벤트-기반 센서들로부터의 측정들과 결합할 수 있다. 추정들은 SLAM(simultaneous localization and mapping)으로 알려진 알고리즘들의 클래스의 최신 구현 예를 사용하여 계산될 수 있다.
실시예들에서, 디바이스의 추정된 포즈는 이벤트-기반 센서들에 의해 예상된 측정들을 예측하기 위해 환경 모델과 함께 사용되고, 그 다음 예상된 측정들은 항상 켜 있지는 않는(non-always-on) 센서들에 대한 제어 체계가 적응되어야 하는지를 결정하는 데 사용된다.
일반적으로, 다른 양태에 따르면, 본 발명은 컴퓨팅 디바이스를 특징으로 한다. 이 디바이스는 환경을 모니터링하기 위한 하나 이상의 이벤트-기반 비전 센서들, 환경의 이미지 데이터를 생성하기 위한 카메라, 및 환경을 모니터링하기 위한 깊이 센서 조립체를 포함한다. 디바이스의 프로세서 조립체는 이벤트-기반 비전 센서, 카메라, 및 깊이 센서 조립체를 모니터링한다. 프로세서 조립체는 이벤트-기반 비전 센서의 응답에 기반하여 깊이 정보를 획득하기 위한 깊이 센서 조립체 및/또는 환경의 이미지 정보를 획득하기 위한 카메라의 제어 체계를 적응시킬 지를 결정한다.
일례에서, 카메라 및/또는 깊이 센서의 제어 체계를 적응시키는 것은 깊이 센서 조립체 및/또는 카메라를 단순히 활성화하는 것을 포함한다. 다른 특정의 예들은 깊이 감지 조립체 및/또는 카메라에 의해 하나의 또는 소수의 측정들을 트리거하는 것을 포함한다. 또 다른 예에서, 제어 체계는 각각의 센서들의 능력들에 따라 더 많은 매개 변수들을 조정함으로써 적응된다. 예들은 깊이 감지 조립체의 프로젝터(projector)의 광이 어떻게 변조되는지 및/또는 그것의 광이 조준되는 영역 및/또는 카메라가 이미지 데이터를 획득하기 위한 노출 시간 및 이득을 포함한다.
부분들의 구성 및 조합들의 다양한 신규 세부 사항들 및 다른 장점들을 포함하는 본 발명의 상기 및 다른 특징들은 이제 첨부 도면들을 참조하여 보다 구체적으로 설명되고 청구범위들에서 지적될 것이다. 본 발명을 구현하는 특정 방법 및 디바이스는 본 발명의 한정이 아니라 예시의 방식으로 도시되어 있음을 이해할 것이다. 본 발명의 원리들 및 특징들은 본 발명의 범위를 벗어나지 않고 다양한 다수의 실시예들에서 이용될 수 있다.
첨부 도면들에서, 참조 부호들은 상이한 도면들 전체에 걸쳐 동일한 부분들을 지칭한다. 도면들이 반드시 축척대로 되어 있는 것은 아니며; 그 대신에 본 발명의 원리들을 예시하는 것에 중점을 두고 있다. 도면들 중에서:
도 1은 사용자 컴퓨팅 디바이스가 깊이 감지 조립체 및 움직임 감지 조립체로 환경을 모니터링하고 추적하는 것을 도시하는 개략도이다.
도 2는 컴퓨팅 디바이스 및 깊이 감지 조립체 및 움직임 감지 조립체의 더 많은 세부 사항들을 도시하는 개략도이다.
도 3은 깊이 감지 조립체 및 움직임 감지 조립체를 가지는 모바일 컴퓨팅 디바이스(스마트폰)를 도시하는 개략도이다.
도 4는 깊이 감지 조립체 및 움직임 감지 조립체를 갖는 텔레비전(television) 컴퓨팅 디바이스를 도시하는 개략도이다.
도 5는 깊이 감지 조립체 및 움직임 감지 조립체를 갖는 AR/VR 머리-장착형 컴퓨팅 디바이스를 도시하는 개략도이다.
도 6은 환경 모델의 업데이트가 수행되어야 하는지 및 만약 그렇다면 어느 양식과 어느 제어 체계를 사용할지를 추론하기 위한 컴퓨팅 디바이스의 동작, 및 이벤트-기반 비전 센서로부터의 정보의 사용을 도시하는 흐름도이다.
도 7은 깊이 감지 조립체와 같은 항상 켜 있지는 않는 센서들로부터 데이터를 획득하기 위해 제어 체계를 조정하기 위한 컴퓨팅 디바이스의 동작, 및 이벤트-기반 비전 센서로부터의 정보의 사용을 도시하는 흐름도이다.
도 8은 다른 실시예에 따라 깊이 감지 조립체와 같은 항상 켜 있지는 않는 센서들로부터 데이터를 획득하기 위해 제어 체계를 조정하기 위한 컴퓨팅 디바이스의 동작, 및 이벤트-기반 비전 센서로부터의 정보의 사용을 도시하는 흐름도이다.
도 9는 다른 실시예에 따라 깊이 감지 조립체와 같은 항상 켜 있지는 않는 센서들로부터 데이터를 획득하기 위해 제어 체계를 조정하기 위한 컴퓨팅 디바이스의 동작, 및 이벤트-기반 비전 센서로부터의 정보의 사용을 도시하는 흐름도이다.
도 10은 이벤트-기반 비전 센서에 대한 픽셀 회로의 구성 요소들 및 연결들을 도시하는 회로도이다.
도 11은 행들 및 열들의 2차원 이벤트 픽셀 어레이 안에 배열된 픽셀들을 갖는 이벤트-기반 비전 센서의 배치를 도시하는 개략도이다.
본 발명은 이제 본 발명의 예시적인 실시예들이 도시된 첨부 도면들을 참조하여 이하에서 더 완전히 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태들로 구현될 수 있고, 본 명세서에서 기재되어 있는 실시예들로 제한되는 것으로 해석되어서는 안되며, 오히려, 이들 실시예들은 본 개시가 철저하고 완전하며, 본 기술 분야의 통상의 기술자에게 본 발명의 범위를 충분히 전달하도록 제공될 것이다.
본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 하나 이상의 연관된 열거된 항목들의 임의의 및 모든 조합들을 포함한다. 또한, 단수 형태들 및 관사들"a", "an" 및 "the"는 달리 명시적으로 언급되지 않는 한, 복수 형태들도 포함하는 것으로 의도된다. 용어들: 포함한다(includes), 포함한다(comprises), 포함하는(including) 및/또는 포함하는(comprising)은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들 및/또는 구성 요소들의 존재를 명시하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 구성 요소들 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것을 추가로 이해할 것이다. 또한, 구성 요소 또는 하위 시스템(subsystem)을 포함하는 요소가 다른 요소에 연결 또는 결합되는 것으로 지칭 및/또는 도시될 때, 그것은 다른 요소에 직접적으로 연결 또는 결합될 수 있거나, 개재 요소들이 존재할 수 있다는 것을 이해할 것이다.
달리 정의되지 않는 한, 본 명세서에 사용되는 모든 용어들(기술적 및 과학적 용어들을 포함함)은 본 발명이 속하는 기술 분야의 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전들에 정의된 것들과 같은 용어들은 관련 기술의 맥락에서 그들의 의미와 일치하는 의미를 갖는 것으로 해석되어야 하고 본 명세서에서 명시적으로 그렇게 정의되지 않는 한 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 것이라는 점이 더 이해될 것이다.
도 1은 사용자 디바이스(10)가 사용자의 손 및 다른 것들과 같은 객체들을 포함하는 환경을 모니터링하는 전형적인 시나리오를 도시한다. 사용자 디바이스는 스마트폰 또는 태블릿 컴퓨팅 디바이스와 같은 모바일 컴퓨팅 디바이스일 수 있다. 다른 디바이스들은 몇 가지 예를 들자면 텔레비전들, 사물 인터넷(internet of things, IOT) 디바이스들, 증강 현실(AR) 또는 가상 현실(VR) 디바이스들, 광 필드 디스플레이(light field display)들, 홀로그래픽(holographic) 디스플레이들, 입체(stereoscopic) 디스플레이들(2개의 렌더링(rendering) 지점들) 및 자동차 헤드업(head-up) 디스플레이 시스템을 포함한다.
통상적인 바와 같이, 사용자 컴퓨팅 디바이스(10)는 깊이 감지 조립체(120) 및 움직임 감지 조립체(130)를 갖는다. 깊이 감지 조립체(120) 및 움직임 감지 조립체(130)는 대응하는 시야(128, 138)를 갖는다. 이러한 시야들(128, 138)은 이러한 센서 조립체들(120, 130) 각각에 포함되는 다양한 센서들 및 방출기들의 시야들을 특징으로 한다. 많은 경우들에서, 이러한 조립체들의 개별 센서들은 각각의 더 넓거나 더 좁은 시야들을 가질 수 있다. 그러나, 이하의 설명의 목적을 위해, 시야들은 집합적으로 그리고 일반적으로 서로 동일한 공간에 걸쳐 있는 것으로 취급된다.
전형적인 예에서 사용자 디바이스(10)는 하나 이상의 애플리케이션들 또는 앱들을 실행한다. 이런 실행 앱들은 깊이 감지 조립체(120) 및 움직임 감지 조립체(130)로부터의 정보를 이용하여 환경 모델을 생성하고 업데이트할 수 있다. 이 모델은 디바이스의 시야(128, 138) 내의 검출된 객체들(116-1, 116-2, 116-3) 및 이들 객체들의 검출된 움직임과 같은 디바이스(10)의 환경에 관한 정보를 포함한다.
프로세서 조립체(150)는 AI 앱을 실행할 수 있고, 이는 때때로 훈련된 선행(prior)들에 기반하여 깊이를 추론하는 데 사용될 수 있으며, 이에 의해 알고리즘은 전용 어플리케이션 프로세서, 다수의 중앙 처리 유닛들, 메모리, 시각 처리 유닛들, 그래픽 처리 유닛들, 인공 지능 처리 유닛들 또는 다른 전용 구성 요소들 상에서 실행될 수 있다.
도 2는 사용자 디바이스(10)의 추가 세부 사항들을 도시한다. 예시된 예에서, 깊이 감지 조립체(120)는 깊이 이미지 센서(122) 및 점 프로젝터(dot projector)(124)를 포함한다. 이것은 종종 구조화된 광 깊이 센서로 지칭되는 하나의 깊이 센서 구현이다. 이러한 디바이스들에서, 프로젝터(124)는 장면 및 구체적으로 장면 내의 객체들 상에 알려진 광 패턴을 투사하고, 깊이 이미지 센서(122)는 장면 및 투사된 적외선 패턴을 검출하고 그 정보를 사용하여 장면 내의 다양한 객체들의 깊이들을 처리하고 따라서 해상(resolve)하는 적외선 이미지 센서이다.
깊이 감지 기술의 다른 예들이 있다. 예를 들어, 비행 시간(ToF) 센서들은 변조된 적외선 광원으로 장면 및 장면 내의 객체들을 조명한다. ToF 센서는 장면 내의 객체들로의 및 그러한 객체들로부터의 광의 비행 시간을 해상하는 고속 이미지 센서이다. 깊이 센서의 또 다른 예들은 양안(binocular) 효과를 사용하여 장면 내의 객체들의 거리를 해상하는 스테레오 이미지 센서들을 수반한다.
예시적인 움직임 감지 조립체(130)는 개별 센서들을 갖는다. 구체적으로, 도시된 예는 관성 측정 유닛(IMU)(136), CMOS 이미지 센서(134)와 같은 카메라, 및 하나 이상의 이벤트-기반 비전 센서(132)들을 갖는다.
IMU(136)는 종종 자력계, 가속도계 및 자이로스코프를 포함한다. 이들은 회전 및 병진 이동과 함께 지구의 중력장 및 자기장 내에서의 그의 배향을 결정하는 것에 의해 사용자 디바이스(10)의 포즈를 결정하는 데 사용된다.
깊이 감지 조립체(120) 및 움직임 감지 조립체(130)는 프로세서 조립체(150)에 의해 제어된다. 도시된 예에서, 이 프로세서 조립체(150)는 터치스크린 디스플레이와 같은 디스플레이(110)를 구동할 수 있다. 또한, 프로세서 조립체는 통상적으로 디바이스의 주변 환경에서 객체들을 추적함으로써 환경 모델(152)을 유지하고 업데이트하기 위해 프로세서 조립체(150) 상에서 실행되는 하나 이상의 앱들을 가진다.
프로세서 조립체(150)는 중앙 처리 유닛, 및 가능하게는 그래픽 처리 유닛, 및 가능하게는 신경망 프로세서와 같은 다른 전용 처리 유닛들을 포함한다. 또한, 프로세서 조립체는 프로세서 조립체 상에서 실행되는 하나 이상의 앱들을 포함하는 프로그램 메모리와 함께 랜덤 액세스 메모리를 포함할 수 있다.
도 3에 도시된 바와 같이, 일부 예들에서 사용자 디바이스(10)는 모바일 컴퓨팅 디바이스다. 도시된 예에서, 스마트폰 사용자 디바이스는 터치스크린 디스플레이(110)를 포함한다. 깊이 센서 조립체(120) 및 움직임 센서 조립체(130)는 후방(rear-facing) 또는 전방(front-facing) 중 어느 하나, 또는 전방 및 후방 둘 모두이다. 그 결과, 사용자 디바이스(10)는, 이러한 조립체들을 제어함으로써, 디바이스의 전방에 있는 영역 및 디바이스의 후방에 있는 영역 둘 다를 커버(cover)하는 환경 모델을 유지할 수 있다.
도 4에 도시된 바와 같이, 다른 예들에서 사용자 디바이스(10)는 스마트 텔레비전이다. 여기서, 깊이 센서 조립체(120) 및 움직임 감지 조립체(130)는 시청자(viewer)들의 존재를 인식하고 또한 가능하게는 스마트 텔레비전을 제어하기 위한 그러한 시청자들에 의한 제스처들을 해상하기 위해, 스마트 텔레비전(10) 앞의 환경 내의 객체들을 추적한다.
도 5는 사용자 디바이스의 또 다른 예를 도시한다. 여기서, 사용자 디바이스는 안경과 같은 AR/VR 헤드업 디스플레이이다. 이것은 전형적으로 사용자의 머리에 장착된다. 두 개의 디스플레이(110)들은 사용자의 눈 앞의 영역들에서 프레임에 의해 위치되며, 증강 현실(AR) 디스플레이 디바이스에 대해 투과성일 수 있다. 여기서 다시, 깊이 감지 조립체(120) 및 움직임 감지 조립체(130)는 사용자의 앞에 있는 객체들을 검출하기 위해 디바이스 프레임(12) 상의 투명 디스플레이들(110) 위에 위치된다.
도 6은 환경 모델(152)을 유지하고 및/또는 깊이 감지 조립체(120) 또는 카메라(134)로부터 언제 그리고 어떻게 데이터를 수집할지를 제어하기 위해 프로세서 조립체(150) 상에서 실행되는 앱(115)의 동작을 도시하는 흐름도이다.
일반적인 목표는 증강 현실 어플리케이션과 같은 사용자 어플리케이션들에 의해 사용되는 시스템 출력들, 예를 들어 포즈 및 환경 모델의 품질을 유지하면서 디바이스에 의해 소비되는 전력을 감소시키는 것이다. 이것은, 예를 들어, 깊이 감지 조립체에 의해 측정된 영역에서 트리거된 측정들의 수를 감소시킴으로써 또는 카메라들로부터 더 적은 이미지를 획득함으로써 달성될 수 있다. 깊이 감지 조립체들은 전형적으로 전력을 많이 소모하므로, 따라서, 일례로서, 모바일 디바이스들의 배터리 수명을 감소시킬 수 있다. 또한, 깊이 조립체에 의해 측정된 영역은 감소될 수 있고, 다른 매개 변수들은 깊이 측정마다 필요한 전력을 최적화하기 위해 또는 더 일반적으로는 시스템 출력들의 품질을 정의된 시스템 사양들보다 높게 유지하기 위해 제어될 수 있다. 센서 측정들은 추가 정보를 추론하는 데 사용될 수 있는데, 예들은 디바이스의 궤적 및 움직임 상태, 주변의 환경 맵, 또는 주변 객체들의 유형 및 상태에 대한 분할 및 분석을 계산하는 것을 포함한다. 이 추가 정보는 감지 구성 요소들에 관한 지식과 함께, 깊이 감지 조립체로부터 새로운 측정을 수집하는 것이 필요한 지, 언제 그리고 어디서 필요한지를 추론하고 예측하기 위해 분석되고 사용될 수 있다.
구체적으로, 단계(616)에서 프로세서 조립체(150)는 움직임 센서 조립체(130)로부터 움직임 정보를 획득한다. 이 정보는 이벤트-기반 비전 센서(132)뿐만 아니라, 잠재적으로 IMU(136) 및 가능하게는 카메라(134)로부터의 데이터를 포함한다. 이 데이터는 환경에 대한 디바이스(10)의 움직임, 또는 디바이스(10)에 대한 그 환경 내의 객체들(116)의 움직임을 모니터링 및 분석하는 데 사용된다. 예를 들어, 하나의 경우에서, 프로세서 조립체(150)는 카메라의 이미지 센서로부터의 이미지 데이터를 분석하고, 연속적인 프레임들 사이에서 그 이미지 데이터가 어떻게 변화하는 지에 기반하여, 디바이스에 대한 움직임 정보를 결정한다. 또 다른 경우에, 프로세서 조립체(150)는 카메라(134)로부터의 데이터를 이벤트-기반 비전 센서로부터의 이벤트-기반 데이터와 결합하여 디바이스에 대한 움직임 정보를 결정한다.
단계(620)에서, 프로세서 조립체(150) 상에서 실행되는 앱(115)은 획득된 데이터를 환경 모델(152)에 기반하여 그리고 그와 비교함으로써 분석한다. 환경 모델(152)이 업데이트되어야 하는지가 결정된다.
단계(620)에서, 환경 모델이 업데이트를 요구하지 않는다고 결정되면, 흐름은 스스로 반복한다. 장점은 움직임 센서 조립체 및 특히 이벤트-기반 비전 센서들로부터의 정보를 처리하는 것이 상대적으로 저 전력 처리들이라는 것이다. 그 결과, 디바이스(10)는 과도한 전력 사용 없이 그것의 환경 모델(152)을 유지할 수 있다.
유사하게, 충분하다면, 환경 모델(152)에 대한 업데이트들은 고가의 깊이 및 이미지 데이터를 획득하는 전력을 절약하고 따라서, 예로서 디바이스(10)의 배터리 수명을 증가시키기 위해 이벤트-기반 비전 센서들 및 IMU로부터의 데이터만을 사용하여 수행될 수 있다.
다른 경우에, 환경 모델(152)이 단계(620)에서 결정된 바와 같이 업데이트를 요구하고 단계(622)에서 결정된 바와 같이 추가 데이터가 필요한 경우, 단계(630)에서 깊이 감지 조립체(120) 및/또는 카메라 센서(134)들의 제어 체계만이, 예를 들어, 시야 내의 환경에 대한 깊이 정보 및 이미지 데이터를 획득하도록 프로세서 조립체(150)에 의해 적응된다.
제어 체계는 다수의 방식들로 적응될 수 있다. 일례에서, 제어 체계는 깊이 감지 조립체(120) 및/또는 카메라 센서들(134)에 의해 단일 또는 소수의 측정들을 트리거하는 것만을 수반하도록 적응된다. 다른 예에서, 제어 체계는 각각의 센서들의 능력들에 따라 더 많은 변수들을 조정함으로써 적응된다. 예들은 깊이 감지 조립체(120)의 프로젝터(124)의 광이 어떻게 변조되는지 및/또는 그것의 광이 조준되는 영역 및/또는 이미지 데이터의 카메라의 획득을 위한 노출 시간 및 이득을 포함한다.
깊이 감지 조립체(120) 및 카메라 센서들(134)로부터의 정보는 이어서 단계(632)에서 환경 맵을 처리하고 업데이트하는 데 사용된다.
일반적으로, 환경 모델(152)은 하나 또는 다수의 메쉬(mesh)들, 운동학적 또는 동적 모델들, 골격(skeleton)들, 점군데이터(point cloud)들, 체적 그리드(volumetric grid)들, 서펠(surfel)들, 디바이스(10)로 고정된 일부 좌표 프레임에 대한 깊이 맵, 객체 표현들과 연결된 다수의 좌표 프레임들 사이의 변환들, 또는 측정들이 테스트될 수 있는 환경에 관한 가정들의 집합 등으로서 표현될 수 있지만, 다른 해결들을 배제하지 않는다. 상이한 모델 유형들이 조합될 수 있다. 모델은 언제 그리고 어디서 새로운 측정들이 깊이 감지 조립체(120) 및 카메라 센서들(134)로부터 수신되어야 하는지를 추론할 뿐만 아니라, 최소 전력 요구를 위해 다른 매개 변수들을 최적화하기 위해 이용될 수 있다. 하나 또는 여러 개의 새로운 그러한 측정들을 트리거하는 이유는 모델을 확장하고, 모델을 개선하고, 모델을 업데이트하거나, 또는 모델이 여전히 측정들 즉, 디바이스의 주변들과 일치하는지를 검사할 필요가 있다는 것일 수 있다.
일례에서, 단계(620 및 622)에서 실행되는 분석은 디바이스(10)의 주변의 모든 객체가 그 기하학적 표현, 예를 들어, 메쉬, 예를 들어 텍스쳐(texture)들이나 다른 순람표들을 사용하는 표면 속성들, 및 위치, 배향, 속도들 및 가속도들에 대한 추정치들을 포함하는 그 운동학적 상태를 이용하여 모델링되는 환경 모델(152)을 수반한다. 이벤트-기반 센서들(132)로부터의 캡처된 이벤트들은 디바이스(10)의 움직임, 객체들(116)의 움직임 또는 광원들의 변조 또는 이들의 조합과 연관되는 것으로 결정된다. 연관은, 가능하게는 수반된 객체들 및 광원들의 움직임 및 변조에 대한 추론을 수반하는, 공동 최적화(joint optimization) 또는 다른 방법을 사용하여, 예를 들어, 대응하는 최신 기술 방법들에서 발견되는 바와 같은 목적 함수로서 대비를 사용하여, 또는 잠재적으로 확률적인 가장 가까운 이웃 탐색과 같은 더 간단한 방법들을 사용하여 해상된다. 연관 중에 아직 수행되지 않은 경우, 각각의 이벤트는 연관된 객체들의 상태를 업데이트하는데 사용될 수 있다.
일 예에서, 환경 모델(152)의 현재 상태에 대한 시공간 변화를 나타내는 공간 내의 이벤트의 거리와 같은 일부 목적 함수의 오차(error)는 단계(620)에서 환경 모델이 업데이트되어야 하는지에 관해 결정하기 위해 사용된다.
다른 예에서, 환경 모델(152)의 2차원 투사는, 이벤트-기반 비전 센서(132)들에 의해 검출된 이벤트들의 위치와 시간을 객체들의 현재 추정된 위치와 비교하고 이 거리를 사용하여 단계(620)에서 환경 모델(152)이 업데이트되어야 하는지의 여부를 결정하는 데 사용된다.
이벤트-기반 비전 센서(132)들의 2가지 이점은 그들의 높은 시간 해상도와 낮은 데이터 속도(rate)이다. 이것은 환경 모델(152)의 빠르고 저렴한 업데이트들을 가능하게 한다. 환경 모델(152)의 일부인 추정된 값들은, 특히 매우 동적인 환경들 또는 움직임 시나리오들에서, 높은 시간 해상도의 결론으로서 더 정확할 수 있다. 이것은 또한 단계(620 및 622)에서 더 정확한 예측-기반 제어 체계들이 사용되는 것을 가능하게 한다.
일 예에서, 깊이 감지 조립체(120) 및 카메라들(134)이 트리거될 뿐만 아니라, 즉 언제 이들이 측정들을 수집해야 할지가 결정될 뿐만 아니라, 다른 제어 매개 변수들도 조정된다. 깊이 감지 조립체(120)의 프로젝터는 이벤트 활동에 기반하여 특정 영역을 조명하도록 제어될 수 있거나 광의 변조가 제어될 수 있다. 카메라들(134)에 대해 노출 시간은 객체들(116)과 디바이스(10) 사이의 상대 속도의 이벤트-기반 추정치에 따라 조정될 수 있다.
도 7은 다른 실시예에 따라, 환경 모델(152)을 유지하기 위해, 또는 깊이 감지 조립체(120) 또는 카메라(134)로부터 언제 그리고 어떻게 데이터를 수집할지를 제어하기 위해 프로세서 조립체(150) 상에서 실행되는 앱(115)의 동작을 도시하는 흐름도이다.
이 예는 이전의 예와 유사한 많은 단계들을 가지며, 이러한 단계들은 공통적으로 번호가 매겨진다.
이 예에서, 프로세서 조립체(150)는 단계(722)에서 환경 모델을 사용하여 이벤트 발생들을 예측한다. 그 후 단계(720)에서 그러한 예측된 이벤트들이 측정된 이벤트들과 일치하는 지를 평가한다.
깊이 감지 조립체(120) 또는 카메라(134)에 대한 제어 체계를 찾고 환경 모델(152)을 유지하지 않는 것이 목적인 예에서, 환경 모델(152)은 가정들의 고정된 세트일 수 있다. 하나의 가정은 디바이스(10)가 움직이고 있지 않고 모든 측정된 이벤트들이 움직이는 객체(116)들 또는 변조된 광원들에 의해 야기된다는 것일 수 있다. 변조된 광원들은 추가적인 단계에서 필터링될 수 있다. 예측은 예상되는 이벤트들의 수에 기반할 수 있으며, 예를 들어 예상되는 잡음에 기반할 수 있다. 이어서, 단계(620)는 측정된 이벤트들의 수를 예측된 이벤트들의 수와 비교하는 것만으로 이루어져 있을 것이다.
다른 예에서, 환경 모델(152)은 디바이스(10)에 대한 움직이지 않는 물체들(116)의 상대적 거리 및 외관은 물론 디바이스(10)의 전형적인 속도들에 대한 추정치들에 관한 가정들을 포함한다. 그들의 외관은 카메라들(134)로부터의 측정들을 사용하여 추정될 수 있다. IMU(136)에 의해 측정된 회전 속도들 및 카메라(134)에 의해 측정된 추정된 외관, 예를 들어, 환경의 텍스쳐들을 사용하여, 단계(722)는 디바이스(10)의 회전 움직임에 의해서만 야기되는 이벤트들의 수를 추정하고, 단계(616)에서 측정된 이벤트들의 수로부터의 감산을 통해 단계(620)에서 디바이스(10)의 병진 움직임에 의해 또는 객체들(116)의 움직임에 의해 야기되는 이벤트들의 수의 추정을 얻는다. 이어서, 이 수는 환경 모델(152) 가정들로부터 도출된 디바이스(10)의 병진들에만 의해 예상된 이벤트들의 수와 비교된다. 다른 예들에서, 가정들이 전체 3차원 모델들로 대체되고, 값들이 공동 추정되며, 제기된 방법들이 이벤트-기반 센서들(132)의 시야의 상이한 영역들마다 수행될 수 있다.
일반적으로, 수신된 측정들과 예측된 측정들 사이에서 충분히 큰 불일치가 있다면, 앱(115)은 그에 따라 깊이 감지 조립체 제어 체계를 변경할 수 있다. 깊이 감지 조립체 제어 체계에 대한 이러한 변경은 더 많거나 더 적은 측정들을 트리거하는 것, 측정되는 영역의 적응, 또는 투사의 강도 또는 더 일반적으로는 조명 강도가 어떻게 변조되고 있는지와 같은 다른 깊이 감지 조립체 매개 변수들의 변경을 포함할 수 있다. 그것은 또한 카메라들(134)의 제어 체계를 변경할 수 있다.
그 외에, 처리는 이전의 예와 유사하다. 구체적으로, 이벤트들이 단계(620)에서의 예상과 일치하거나 또는 단계(622)에서 환경 모델(152)을 업데이트하기 위해 어떤 추가 데이터도 요구되지 않는다고 결정되면, 처리는 깊이 감지 조립체(120)를 활성화하지 않고서 반복된다.
도 8은 다른 실시예에 따라, 환경 모델(152)을 유지하기 위해, 또는 깊이 감지 조립체(120) 또는 카메라(134)로부터 언제 그리고 어떻게 데이터를 수집할지를 제어하기 위해 프로세서 조립체(150) 상에서 실행되는 앱(115)의 동작을 도시하는 흐름도이다.
이 예는 이전 예들과 유사한 단계들을 다시 공유하고 그러한 단계들은 공통적으로 번호가 매겨진다.
이 실시예에서, 장치(10)는 임의의 주어진 시점에서 디바이스(10)에 대한 위치 및 배향을 제공하는 포즈 추정 방법(840)을 포함한다. 포즈 추정 방법은 도 8에 설명된 처리와 병렬로 실행될 수 있다. 변화하는 포즈를 환경 모델, 예를 들어, 텍스쳐화된 메쉬와 함께 조합하는 것은 이벤트들의 발생을 예측하는 것을 가능하게 한다. 포즈를 사용하여, 어느 이벤트들이 디바이스들 자신의 움직임에 의해 야기되는 지가 결정될 수 있고, 따라서 이벤트-기반 센서들(132)의 시야(들) 내의 동적 객체들(116)에 의해 야기되는 이벤트들로부터의 분리가 수행될 수 있다. 객체들(116)의 움직임에 관해 이들 이벤트들로부터 (가능하게는 암시적으로) 추론을 수행함으로써, 그것들은 단계(720 및 622)에서 객체들(116)의 움직임이 깊이 감지 조립체(120)와 같은 추가 소스들로부터 데이터를 획득하는 것을 필요로 하는지 및 단계(630)에서 제어 체계가 조정되어야만 하는지를 결정하는 데 사용된다.
일 실시예에서, 단계(840)에서 포즈 추정 방법으로부터 얻은 포즈와 함께, 환경, 및 예를 들어 그것의 구조 및 표면 텍스쳐들에 의해 구성된 바와 같은, 환경의 반사율 특성들 및 현재 조명원들의 분석은 이벤트들의 수를 예측하기 위해 사용될 수 있고, 불일치는 잡음을 정정한 후에 예측된 이벤트들의 수와 측정된 이벤트들의 수 사이의 차이에 의해 표현될 수 있다. 다른 경우들에서, 이벤트들의 수는 이벤트 기반 센서의 픽셀 또는 픽셀들의 세트마다 예측될 수 있고 불일치는 각각 픽셀 또는 픽셀들의 세트마다 평가될 수 있다. 따라서, 그러한 실시예에서, 깊이 조립체 제어 체계는 단계(630)에서 깊이 감지 조립체 및 그 구성 요소의 투사 및 감지 부분들의 상이한 부분들의 시야 방향에 따라 (또는 시야 방향마다) 적응될 수 있다.
도 9는 다른 실시예에 따라, 환경 모델(152)을 유지하기 위해, 또는 깊이 감지 조립체(120) 또는 카메라(134)로부터 언제 그리고 어떻게 데이터를 수집할지를 제어하기 위해 프로세서 조립체(150) 상에서 실행되는 앱(115)의 동작을 도시하는 흐름도이다. 이 예는 이전 예들과 유사한 단계들을 다시 공유하고 그러한 단계들은 공통적으로 번호가 매겨진다.
이 실시예는 단계(820)에서 광학 흐름을 계산하기 위해 단계(616)에서 획득된 이벤트-기반 센서들(132)로부터의 정보를 사용한다. 예측된 광학 흐름은 단계(824)에서 결정된다. 그 후 단계(822)에서, 측정된 광학 흐름이 예측되었던 것과 일치하는 지 여부가 결정된다. 예측된 흐름에 일치가 있다면, 깊이 감지 조립체(120)는 활성화되지 않을 수 있다. 광학 흐름은 깊이 감지 조립체(120)가 활성화되어야 하는지 여부를 오차 분석(불일치)을 통해 추론하는 데 이용되는, 이벤트들로부터 계산된 중간 측정 표현에 대한 하나의 예이다. 다른 가능한 중간 표현들은 데이터 안에 존재하는 기하학적 형상들과 그들의 위치들의 검색 및 분석, 그들의 근처 또는 다른 것들에서 측정된 모든 이벤트로 위치가 업데이트되는 이벤트-기반 추적기들을 포함할 수 있다. 일반적인 원리는 단계(824)에서와 같이 중간 표현에 대한 예상이 공식화되고, 단계(820)에서와 같이 측정 기반 중간 표현이 계산되며, 단계(822)에서와 같이 측정 및 예측 기반 표현들이 비교된다는 것이다.
광학 흐름이 환경에서의 예상치 못한 변화를 나타낸다면, 즉 이벤트-기반 흐름이 예상과 일치하지 않는다면, 깊이 감지 조립체가 활성화될 수 있고 제어 체계가 단계(630)에서 조정될 수 있다. 이 동일한 결정은 카메라들(134)에 대해서도 적용된다.
이 실시예에서, 광학 흐름은 또한 단계(822)에서 실행되는 깊이 감지 조립체 또는 카메라 트리거들을 금지하고, 단계(622)에서 추가 데이터가 요구되는지를 결정하기 위해 사용된다. 광학 흐름은 환경 내의 객체들이 디바이스의 센서들에 의해 인지되는 바와 같이 디바이스(10)에 대해 얼마나 빠르게 이동하는지에 관한 정보를 나타낸다. 깊이 센서들 및 종래의 조명 센서들(카메라들)을 포함하는 많은 센서들의 측정들은 이 상대 속도에 의해 영향을 받는데, 이는 모션 블러(motion blur)로서 본 기술 분야의 통상의 기술자에게 알려진 효과이다. 측정들의 품질은 전형적으로 상대 속도가 증가함에 따라 감소할 것이다. 따라서, 측정된 광학 흐름은 측정의 품질이 불충분할 것으로 예상되는 경우, 단계(826)에서 깊이 감지 조립체 또는 카메라 트리거를 차단하는 데 사용될 수 있다. 상대 속도에 대한 추론을 가능하게 하는 임의의 중간 표현이 이러한 억제 블록(inhibitor block)(826)을 동작시키는 데 사용될 수 있다.
여기서, 앱(115)은 이벤트-기반 센서들에 의해 측정된 조명 변화들을 직접 예측하고 분석하지 않고, 중간 데이터 표현들을 계산한다. 그것은 측정된 조명 변화들에 기반하여 광학 흐름을 계산하거나 측정된 조명 변화들 및 세계의 모델 둘 다에 기반하여 광학 흐름을 계산한다. 양쪽 경우들에서 디바이스 자신의 움직임의 추정과 함께 세계의 환경 모델이 예상된 광학 흐름을 예측하기 위해 사용될 수 있다. 예측된 광학 흐름 및 측정된 광학 흐름은 예를 들어, 새로운 측정을 트리거함으로써, 깊이 감지 조립체 제어 체계를 적응시키기 위해 사용될 수 있다.
배경을 위해, 도 10은 이벤트-기반 비전 센서(132)에 대한 하나의 가능한 픽셀 회로의 구성 요소들을 도시한다.
픽셀 회로(100)의 주요 구성 요소들은 아래에 열거된다.
1. 광수용기 모듈. 도면에 도시된 바와 같이, 픽셀 회로는 충돌하는 광(9)을 측정하고, 광 세기를 전류(Iphoto)로 변환하기 위한 광 다이오드(photodiode, PD) 또는 다른 광 센서; 광 세기에 의존하는 광수용기 신호(Vpr)를 생성하기 위한 광수용기 회로(photoreceptor circuit, PRC); 및 과거의 광수용기 신호를 기억하는 메모리 커패시터(C1)를 포함한다. 광센서(photosensor, PD) 및 광수용기 회로(PRC)는 광수용기 모듈(photoreceptor module, PR)을 구성한다.
2. 메모리 커패시터(C1): 커패시터의 제1 판(plate)이 광수용기 신호(Vpr) 및 따라서 광센서(PD)에 의해 수신된 광에 응답하는 전하를 운반하도록 광수용기 신호(Vpr)를 수신한다. 메모리 커패시터(C1)의 제2 판은 A1의 비교기 노드(반전 입력)에 연결된다. 따라서, 비교기 노드의 전압(Vdiff)은 광수용기 신호(Vpr)의 변화에 따라 변한다.
3. 비교기(A1): 이것은 현재의 광수용기 신호(Vpr)과 과거의 광수용기 신호 간의 차이를 임계치와 비교하기 위한 수단이다. 이 비교기(A1)는 각각의 픽셀에 있거나, 픽셀들의 서브세트(subset)(예를 들어, 열(column)) 사이에 공유될 수 있다. 바람직한 실시예에서, 비교기는 픽셀에 통합될 것이고, 각각의 픽셀은 전용 비교기(A1)를 갖는다.
4. 메모리: 메모리(50)는 제어기(60)로부터의 샘플 신호에 기반하여 비교기 출력을 저장한다. 메모리는 샘플링 회로(예를 들어, 스위치 및 기생 또는 명시적 커패시터) 또는 디지털 메모리 회로(래치 또는 플립플롭일 수 있다. 일 실시예에서, 메모리는 샘플링 회로일 것이고, 각각의 픽셀은 2개의 메모리를 가질 것이다.
5. 조건부 리셋 회로(R1): 리셋을 위한 조건은 기억된 비교기 출력의 상태와 제어기에 의해 적용된 리셋 신호의 조합이다.
6. 주변 회로 구성 요소들: 비교기(A1) 및 메모리(50)는 픽셀 내에 또는 주변 회로들(픽셀 회로 외부) 내에 위치될 수 있다
주변 회로들은 임계 신호들을 비교기(A1)에 적용하고, 제어 신호들을 메모리(50)에 전송하고, 조건부 리셋 회로(R1)가 활성화되는 시간들을 선택하는 제어기(60)를 포함한다.
주변 회로들은 또한 판독 회로(readout circuit, RO)를 포함할 수 있으며, 판독 회로는 메모리(50)의 내용을 판독하고, 주어진 픽셀에 대한 광 세기가 증가하였는지, 감소하였는지 또는 변경되지 않은 채로 있는지를 결정하고, (현재 메모리 값으로부터 계산된) 출력을 프로세서로 전송한다.
일반적으로, 오프-이벤트(OFF-event)는 주어진 픽셀에 대한 광 세기의 이산적(discrete) 감소이다. 한편, 온-이벤트(ON-event)는 주어진 픽셀에 대한 광 세기의 이산적 증가이다.
더 상세하게는, 비교기는 광이 증가/감소했는지를 알린다. 오프 이벤트의 경우: Vdiff가 (Vb 상의) 임계치 Voff보다 낮으면, 비교기 출력은 높고, 이 레벨은 메모리에 저장된다. 이는 감소가 검출됨을 의미한다. Vdiff가 임계치보다 낮지 않으면, 비교기 출력은 낮다: 감소가 검출되지 않는다.
유일한 어려움은 ON 이벤트에 대해서는, 낮은 비교기 출력이 증가를 의미하는 반면, 높은 비교기 출력은 변화가 없음을 의미하지만; OFF 이벤트에 대해서는, 높은 비교기 출력은 감소를 의미하는 반면, 낮은 비교기 출력은 변화가 없음을 의미한다는 것이다.
따라서, 판독은 메모리 내용, 및 어느 임계치가 적용되었는지를 알아야 한다. 또는, 바람직한 실시예에서와 같이, 메모리 극성이 온 및 오프 둘 다에 대해 동일하도록 온에 대한 인버터(inverter)가 있다.
본 발명의 픽셀 회로(100)의 하나의 바람직한 실시예에서, 각각의 픽셀 회로(100)는, 먼저 온-이벤트들에 대한 비교기로서, 이어서 오프-이벤트들에 대한 비교기로서(또는 그 반대로) 순차적으로 기능하는, 하나의 비교기만을 포함한다.
픽셀 회로(100) 및 제어기(60)는 다음과 같이 동작한다.
광센서(PD)에 의해 수신되는 광 감도의 변화는 광수용기 신호(Vpr)의 변화로 변환될 것이다. 리셋 회로(R1)가 수행되고 있지 않을 때, Vpr의 변화들은 비교기(A1)에 대한 반전 입력 (-)에 있는 비교기 노드에서의 전압(Vdiff)에도 반영될 것이다. 이것은 메모리 커패시터(C1) 양단의 전압이 일정하게 유지되기 때문에 발생한다.
제어기(60)에 의해 선택된 시간들에서, 비교기(A1)는 메모리 커패시터(C1)의 제2 단자에서의 비교기 노드에서의 전압(Vdiff)을 비교기(A1)의 비반전 입력 (+)에 적용된 (제어기로부터의) 임계치 전압(Vb)과 비교한다.
제어기(60)는 비교기 출력(Vcomp)를 저장하도록 메모리(50)를 동작시킨다. 메모리(50)는 전형적으로, 도시된 바와 같이 픽셀 회로(100)의 일부로서 구현된다. 그러나, 다른 실시예들에서, 메모리(50)는 열(column) 논리 회로(주변 회로, 픽셀 어레이의 각각의 열마다 하나씩)의 일부로서 구현된다.
메모리(50)에 유지된 저장된 비교기 출력의 상태가 광 세기에서의 변화를 나타내고, AND, 제어기(60)로부터의 글로벌 리셋 신호(GlobalReset signal)가 활성인 경우, 조건부 리셋 회로(R1)는 동작한다. 여기서 "AND"는 논리 AND 연산자를 나타낸다. 조건부 리셋 회로(R1)가 전도 상태인 경우, 비교기(A1)의 반전 입력에서의 비교기 노드에서의 전압(Vdiff)은 알려진 레벨로 리셋된다. 따라서, 그것은 메모리 커패시터(C1) 상에 현재 광수용기 신호(Vpr)를 저장한다.
도 11은 픽셀들(100-1 내지 100-6)의 2차원 어레이를 포함하는 예시적인 이벤트-기반 비전 센서(132)를 도시한다. 예시된 센서는 도면을 어수선하게 하지 않기 위해 오직 2개의 행과 3개의 열만을 도시한다. 실제로, 센서(8)는 픽셀들의 m개의 행들(전형적으로 2보다 훨씬 더 큼) 및 n개의 열들(전형적으로 3보다 훨씬 더큼)을 포함할 것이다. 2차원 어레이 내의 픽셀은 픽셀의 행 번호 및 열 번호인 그의 주소에 의해 식별될 수 있다. 예를 들어, 픽셀(100-6)은 그의 주소로서 행 2(상부로부터 계수) 및 열 3(좌측으로부터 계수)을 갖는다.
제어기(60)는 픽셀들(100), 및 행 선택 회로(40) 및 판독 회로(42)와 같은 다른 구성 요소들, 및 어레이로부터 프로세서(46)로의 데이터의 전송을 제어한다.
도시된 예에서, 행 선택 회로(40)는 제어기(60)의 부분으로서 도시된다. 이 행 선택 회로(40)는 행들의 하나 또는 다수의 서브세트들을 선택한다. 픽셀들의 행(100)이 선택될 때, 선택된 행 내의 픽셀들의 비교기 출력들은 판독 회로(42)로 전달된다.
판독 회로(42)는 픽셀 어레이로부터 데이터(기억된 비교기 출력들)를 판독한다. 종종, 판독 회로(42)는 프로세서(46)와 같은 센서 칩 외부에 있을 수 있는 어떤 종류의 수신기(통상적으로, 프로세서의 형태)로 전송하기 전에 이 데이터를 보다 효율적인 표현으로 추가로 인코딩(encode)할 것이다.
n개의 열들이 있는, 수 개의 열 논리 회로들(44-1 내지 44-n)로 분할된 판독 회로(42)는, 판독 비교기 출력들로부터, 대응하는 픽셀에 대한 광 감도가 증가하였는지, 감소하였는지 또는 변경되지 않은 채로 남아 있는지를 결정한다.
본 발명이 그의 바람직한 실시예들을 참조하여 특별히 도시되고 설명되었지만, 본 기술 분야의 통상의 기술자라면, 첨부된 청구항들에 의해 포괄되는 본 발명의 범위로부터 벗어나지 않고, 형태 및 세부 사항에서의 다양한 변경이 이루어질 수 있다는 것을 이해할 것이다.

Claims (19)

  1. 컴퓨팅 디바이스의 환경 모델을 유지하기 위한 방법으로서,
    상기 컴퓨팅 디바이스의 하나 이상의 이벤트-기반 비전 센서(event-based vision sensor)들로 환경을 모니터링하는 단계;
    상기 이벤트-기반 비전 센서에 의한 모니터링에 기반하여, 상기 환경의 깊이 정보 및/또는 이미지 정보를 획득하기 위해 상기 컴퓨팅 디바이스의 깊이 센서 조립체 및/또는 카메라의 제어 체계를 적응시킬지를 결정하는 단계; 및
    상기 깊이 센서 조립체로부터의 깊이 정보 및/또는 상기 카메라로부터의 이미지 정보에 기반하여 상기 컴퓨팅 디바이스에 의해 유지되는 상기 환경 모델을 업데이트하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 컴퓨팅 디바이스의 카메라로부터 움직임 정보를 획득하는 단계; 및
    상기 움직임 정보에 기반하여, 상기 환경의 깊이 정보를 획득하기 위해 상기 깊이 센서 조립체를 활성화하는 것과 같이 제어 체계를 적응시킬지를 결정하는 단계
    를 더 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 컴퓨팅 디바이스의 관성 측정 유닛으로부터 움직임 정보를 획득하는 단계; 및
    상기 움직임 정보에 기반하여, 상기 환경의 상기 깊이 정보를 획득하기 위해 상기 깊이 센서 조립체를 활성화하는 것과 같이 제어 체계를 적응시킬지를 결정하는 단계
    를 더 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 이벤트 발생들을 예측하기 위해 상기 환경 모델을 사용하여 상기 깊이 센서 조립체를 활성화할지를 결정하는 단계를 더 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 환경 모델의 예측된 광학 흐름을 사용하여 상기 깊이 센서 조립체를 활성화할지를 결정하는 단계를 더 포함하는, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 환경 모델을 업데이트할지 를 결정하기 위해 상기 디바이스의 추정된 포즈(pose)를 사용하는 단계를 더 포함하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 이벤트-기반 비전 센서에 의해 검출된 이벤트들이 상기 환경 모델에 의해 예측되지 않았을 경우에만 상기 환경 모델을 업데이트하는 단계를 더 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 이벤트-기반 비전 센서는 상기 이벤트-기반 비전 센서의 픽셀들에 대한 광 세기의 이산적 감소들로서 오프-이벤트(OFF-event)들을 검출하고 및/또는 광 세기의 이산적 증가들로서 온-이벤트(ON-event)들을 검출하는, 방법.
  9. 제8항에 있어서, 상기 이벤트-기반 비전 센서는 상기 오프-이벤트들 및/또는 온-이벤트들을 결정하기 위해 광수용기 신호와 과거 광수용기 신호 사이의 차이를 임계치와 비교하는 비교기들을 포함하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 컴퓨팅 디바이스는 모바일 컴퓨팅 디바이스인, 방법.
  11. 컴퓨팅 디바이스로서,
    환경을 모니터링하기 위한 하나 이상의 이벤트-기반 비전 센서들;
    상기 환경의 이미지 정보를 생성하기 위한 카메라;
    상기 환경을 모니터링하기 위한 깊이 센서 조립체; 및
    상기 이벤트-기반 비전 센서, 카메라 및 상기 깊이 센서 조립체를 모니터링하고, 상기 이벤트-기반 비전 센서의 응답에 기반하여, 깊이 정보를 획득하기 위한 상기 깊이 감지 조립체 및/또는 상기 환경의 이미지 정보를 획득하기 위한 상기 카메라의 제어 체계를 적응시킬지를 결정하는 프로세서 조립체
    를 포함하는, 컴퓨팅 디바이스.
  12. 제11항에 있어서, 상기 프로세서 조립체는 추가로, 관성 측정 유닛으로부터의 움직임 정보 또는 상기 컴퓨팅 디바이스의 상기 카메라의 이미지 정보를 획득하고, 상기 움직임 정보 또는 상기 이미지 정보에 기반하여, 상기 깊이 정보를 획득하기 위한 상기 깊이 센서 조립체 또는 상기 환경의 이미지 정보를 획득하기 위한 상기 카메라를 활성화하는 것과 같이 제어 체계를 적응시킬지를 결정하는, 디바이스.
  13. 제11항 또는 제12항에 있어서, 상기 프로세서 조립체는 이벤트 발생들을 예측하기 위해 환경 모델을 사용하여 상기 깊이 센서 조립체를 활성화하는 것과 같이 제어 체계를 적응시킬지를 결정하는, 디바이스.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서, 상기 프로세서 조립체는 상기 환경 모델의 예측된 광학 흐름을 사용하여 상기 깊이 감지 조립체를 활성화하는 것과 같이 제어 체계를 적응시킬지를 결정하는, 디바이스.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서, 상기 프로세서 조립체는 상기 환경 모델을 업데이트할지를 결정하기 위해 상기 디바이스의 추정된 포즈를 사용하는, 디바이스.
  16. 제11항 내지 제15항 중 어느 한 항에 있어서, 상기 프로세서 조립체는 상기 이벤트-기반 비전 센서에 의해 검출된 이벤트들이 상기 환경 모델에 의해 예측되지 않는 경우에만 상기 환경 모델을 업데이트하는, 방법.
  17. 제11항 내지 제16항 중 어느 한 항에 있어서, 상기 이벤트-기반 비전 센서는 상기 이벤트-기반 비전 센서의 픽셀들에 대한 광 세기의 이산적 감소들로서 오프-이벤트들을 검출하고 및/또는 광 세기의 이산적 증가들로서 온-이벤트들을 검출하는, 디바이스.
  18. 제17항에 있어서, 상기 이벤트-기반 비전 센서는 상기 오프-이벤트들 및/또는 온-이벤트들을 결정하기 위해 광수용기 신호와 과거 광수용기 신호 사이의 차이를 임계치와 비교하는 비교기들을 포함하는, 디바이스.
  19. 제11항 내지 제18항 중 어느 한 항에 있어서, 상기 컴퓨팅 디바이스는 모바일 컴퓨팅 디바이스인, 디바이스.
KR1020217025310A 2019-01-25 2020-01-25 이벤트-기반 비전 센서들을 사용하는 환경 모델 유지 KR20210117289A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962796742P 2019-01-25 2019-01-25
US62/796,742 2019-01-25
PCT/IB2020/050588 WO2020152655A1 (en) 2019-01-25 2020-01-25 Environmental model maintenance using event-based vision sensors

Publications (1)

Publication Number Publication Date
KR20210117289A true KR20210117289A (ko) 2021-09-28

Family

ID=69423359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217025310A KR20210117289A (ko) 2019-01-25 2020-01-25 이벤트-기반 비전 센서들을 사용하는 환경 모델 유지

Country Status (5)

Country Link
US (1) US20220060622A1 (ko)
EP (1) EP3914995A1 (ko)
KR (1) KR20210117289A (ko)
CN (1) CN113316755B (ko)
WO (1) WO2020152655A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024058471A1 (ko) * 2022-09-15 2024-03-21 삼성전자 주식회사 단일의 디스플레이 모듈 또는 복수의 디스플레이 모듈들을 이용하여 가상 객체를 표시하는 웨어러블 장치 및 그 제어 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11588987B2 (en) * 2019-10-02 2023-02-21 Sensors Unlimited, Inc. Neuromorphic vision with frame-rate imaging for target detection and tracking
CA3166706A1 (en) * 2020-02-07 2021-08-12 Telefonaktiebolaget Lm Ericsson (Publ) Monocular camera activation for localization based on data from depth sensor
US20220108000A1 (en) * 2020-10-05 2022-04-07 Lenovo (Singapore) Pte. Ltd. Permitting device use based on location recognized from camera input
CN112505661A (zh) * 2020-11-23 2021-03-16 Oppo（重庆）智能科技有限公司 像素控制方法、像素模组、装置、终端及存储介质
WO2023175890A1 (ja) * 2022-03-18 2023-09-21 株式会社ソニー・インタラクティブエンタテインメント センサシステムおよびセンシング方法
CN117451030B (zh) * 2023-10-25 2024-06-14 哈尔滨工业大学 一种基于场景自适应的多模态融合slam方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101668649B1 (ko) * 2014-12-15 2016-10-24 전자부품연구원 주변 환경 모델링 방법 및 이를 수행하는 장치
CN105865462B (zh) * 2015-01-19 2019-08-06 北京雷动云合智能技术有限公司 带有深度增强视觉传感器的基于事件的三维slam方法
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
DE102016225915A1 (de) * 2016-12-21 2018-06-21 Robert Bosch Gmbh System und Verfahren zur Umfelderfassung eines Fahrzeugs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024058471A1 (ko) * 2022-09-15 2024-03-21 삼성전자 주식회사 단일의 디스플레이 모듈 또는 복수의 디스플레이 모듈들을 이용하여 가상 객체를 표시하는 웨어러블 장치 및 그 제어 방법

Also Published As

Publication number Publication date
CN113316755B (zh) 2024-04-23
EP3914995A1 (en) 2021-12-01
CN113316755A (zh) 2021-08-27
WO2020152655A1 (en) 2020-07-30
US20220060622A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
US20220060622A1 (en) Environmental Model Maintenance Using Event-Based Vision Sensors
CN109076145B (zh) 用于主动式照明深度相机的自动范围控制
CN108370438B (zh) 范围选通的深度相机组件
US10242454B2 (en) System for depth data filtering based on amplitude energy values
US11172126B2 (en) Methods for reducing power consumption of a 3D image capture system
CN108463740A (zh) 使用结构化光和飞行时间的深度映射
CN109903324B (zh) 一种深度图像获取方法及装置
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
US20180370037A1 (en) Method of tracing target object
US9313376B1 (en) Dynamic depth power equalization
WO2021050329A1 (en) Glint-based gaze tracking using directional light sources
CN113378684A (zh) 清洁设备及用于清洁设备的光触发事件识别方法
CN116324682A (zh) 至少部分地基于用户眼睛移动的功率控制
US20240112605A1 (en) Systems and methods for adding persistence to single photon avalanche diode imagery
US11886637B2 (en) Transparent smartphone
US11682368B1 (en) Method of operating a mobile device
US11765475B2 (en) Systems and methods for obtaining dark current images
Nunes et al. Adaptive global decay process for event cameras
US11563908B2 (en) Image acquisition techniques with reduced noise using single photon avalanche diodes
US20210302587A1 (en) Power-efficient hand tracking with time-of-flight sensor
CN117128892A (zh) 一种三维信息测量装置、测量方法和电子设备
US20220353489A1 (en) Systems and methods for efficient generation of single photon avalanche diode imagery with persistence
JP2022188989A (ja) 情報処理装置、情報処理方法およびプログラム
WO2023057343A1 (en) Apparatuses and methods for event guided depth estimation
CN116124119A (zh) 一种定位方法、定位设备及系统