KR20150086479A - 관심 객체에 관한 적응적 조명을 사용하는 깊이 이미징 방법 및 장치 - Google Patents

관심 객체에 관한 적응적 조명을 사용하는 깊이 이미징 방법 및 장치 Download PDF

Info

Publication number
KR20150086479A
KR20150086479A KR1020157013319A KR20157013319A KR20150086479A KR 20150086479 A KR20150086479 A KR 20150086479A KR 1020157013319 A KR1020157013319 A KR 1020157013319A KR 20157013319 A KR20157013319 A KR 20157013319A KR 20150086479 A KR20150086479 A KR 20150086479A
Authority
KR
South Korea
Prior art keywords
illumination
amplitude
type
frame
interest
Prior art date
Application number
KR1020157013319A
Other languages
English (en)
Inventor
보리스 리브쉬츠
Original Assignee
아바고 테크놀로지스 제너럴 아이피 (싱가포르) 피티이 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아바고 테크놀로지스 제너럴 아이피 (싱가포르) 피티이 리미티드 filed Critical 아바고 테크놀로지스 제너럴 아이피 (싱가포르) 피티이 리미티드
Publication of KR20150086479A publication Critical patent/KR20150086479A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • H04N13/0253—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

비행시간 기반 카메라 또는 구조 광 카메라와 같은 깊이 이미저는, 제 1 타입의 조명을 사용하여 장면의 제 1 프레임을 캡처하고, 제 1 프레임에서 관심 객체와 연관된 제 1 영역을 정의하고, 관심 객체의 예상 이동에 기초하여 적응적으로 조명될 제 2 영역을 식별하고, 가능하게는 출력 광 진폭 및 주파수 중 적어도 하나의 변화를 갖는, 제 1 타입과 상이한 제 2 타입의 조명을 사용하는 제 2 영역에 관한 적응적 조명을 사용하여 장면의 제 2 프레임을 캡처하고, 제 2 프레임에서 관심 객체를 검출하고자 시도하도록 구성된다. 제 1 타입의 조명은 지정된 시야범위에 대한 실질적으로 균일한 조명을 포함할 수 있고, 제 2 타입의 조명은 실질적으로 오로지 제 2 영역에 관한 조명을 포함할 수 있다.

Description

관심 객체에 관한 적응적 조명을 사용하는 깊이 이미징 방법 및 장치{DEPTH IMAGING METHOD AND APPARATUS WITH ADAPTIVE ILLUMINATION OF AN OBJECT OF INTEREST}
실시간으로 공간 장면(a spatial scene)의 3차원(3D) 이미지를 생성하기 위한 많은 다양한 기법들이 알려져 있다. 예를 들어, 공간 장면의 3D 이미지는 상이한 위치에서 복수의 카메라에 의해 캡처된 복수의 2차원(2D) 이미지에 기초하는 삼각측량(triangulation)을 사용하여 생성될 수 있다. 그러나, 그러한 기법의 중요한 결점은 전반적으로 매우 집중적인 계산을 요구함으로써 컴퓨터 또는 다른 프로세싱 디바이스의 과도한 양의 이용가능한 계산 리소스를 소비할 수 있다는 것이다. 또한, 그러한 기법을 사용할 때 불충분한 주변 광을 수반하는 조건에서 정확한 3D 이미지를 생성하는 것이 어려울 수 있다.
다른 알려진 기법은 비행시간 기반(time of flight; ToF) 카메라 또는 구조 광(structured light; SL) 카메라와 같은 깊이 이미저(a depth imager)를 사용하여 3D 이미지를 직접 생성하는 것을 포함한다. 이러한 타입의 카메라들은 보통 소형이고, 빠른 이미지 생성을 제공하며, 전자기 스펙트럼의 근적외선 부분으로 동작한다. 그 결과, ToF 카메라 및 SL 카메라는 비디오 게임 시스템 또는 제스처 기반 휴먼-머신 인터페이스를 구현하는 다른 타입의 이미지 프로세싱 시스템 내 제스처 인식과 같은 머신 비전 애플리케이션(machine vision applications)에서 공통적으로 사용된다. ToF 카메라 및 SL 카메라는 또한, 예를 들어, 얼굴 검출 및 단일 또는 복수의 사람 추적을 포함하는, 다양한 다른 머신 비전 애플리케이션에서 이용된다.
전형적인 기존 ToF 카메라는, 예를 들어, 하나 이상의 발광 다이오드(LED) 또는 레이저 다이오드를 포함하는 광원을 포함한다. 그러한 LED 또는 레이저 다이오드 각각은 실질적으로 일정한 진폭 및 주파수를 갖는 연속파(continuous wave; CW) 출력 광을 생성하도록 제어된다. 출력 광은 이미징될 장면을 조명하고 장면 내 객체들에 의해 회절되거나 반사된다. 결과로 초래된 복귀 광(return light)은 검출되어 깊이 맵 또는 다른 타입의 3D 이미지를 생성하는데 이용된다. 이는 특히, 예를 들어, 출력 광과 복귀 광 사이의 위상차를 이용하여 장면 내 객체들의 거리를 결정하는 것을 포함한다. 또한, 복귀 광의 진폭은 이미지를 위한 강도 레벨(intensity level)을 결정하는데 사용된다.
전형적인 기존 SL 카메라는, 예를 들어, 레이저 및 연관된 기계적 레이저 스캐닝 시스템을 포함하는 광원을 포함한다. 레이저는 SL 카메라에서 기계적으로 스캐닝되지만, 그럼에도 레이저는 실질적으로 일정한 진폭을 갖는 출력 광을 생성한다. 그러나, SL 카메라로부터의 출력 광은 ToF 카메라로부터의 CW 출력 광과 같이 임의의 특정 주파수에서 변조되지 않는다. 레이저 및 기계적 레이저 스캐닝 시스템은 좁은 스트라이프의 광을 장면 내 객체들의 표면 상에 투사하도록 구성되는 SL 카메라의 스트라이프 프로젝터(a stripe projector)의 일부이다. 이는 프로젝터 및 검출기 어레이가 객체에 관한 상이한 관점을 갖기 때문에 SL 카메라의 검출기 어레이에서 왜곡된 것처럼 보이는 조명(illumination)의 라인들을 생성한다. 삼각측량법은 객체 표면 모양의 정확한 기하학적 재구성을 결정하는데 사용된다.
TOF 카메라 및 SL 카메라 모두는 일반적으로 직사각형의 시야범위(field of view; FoV)의 균일한 조명을 사용하여 동작한다. 더욱이, 앞에서 나타낸 바와 같이, ToF 카메라에 의해 생성된 출력 광은 실질적으로 일정한 진폭 및 주파수를 갖고, SL 카메라에 의해 생성된 출력 광은 실질적으로 일정한 진폭을 갖는다.
일 실시예에서, 깊이 이미저(a depth imager)는 제 1 타입의 조명을 사용하여 장면의 제 1 프레임을 캡처하고, 제 1 프레임에서 관심 객체(an object of interest)와 연관된 제 1 영역을 정의하고, 관심 객체의 예상 이동에 기초하여 적응적으로(adaptively) 조명될 제 2 영역을 정의하고, 제 1 타입과 상이한 제 2 타입의 조명을 사용하는 제 2 영역에 관한 적응적 조명을 사용하여 장면의 제 2 프레임을 캡처하고, 제 2 프레임에서 관심 객체를 검출하고자 시도하도록 구성된다.
제 1 타입의 조명은, 예를 들어, 지정된 시야범위(a designated field of view)에 대하여 실질적으로 균일한 조명을 포함할 수 있고, 제 2 타입의 조명은 실질적으로 오로지 제 2 영역에 관한 조명을 포함할 수 있다. 다양한 다른 조명 타입이 사용될 수도 있다.
본 발명의 다른 실시예들은, 방법, 시스템, 집적 회로, 및 실행될 때 프로세싱 디바이스로 하여금 방법을 수행하게 하는 프로그램 코드를 저장한 컴퓨터 판독가능 매체를 포함하나 이로 제한되지 않는다.
도 1은 일 실시예에서 관심 객체에 관한 적응적 조명을 위한 기능을 갖도록 구성된 깊이 이미저를 포함하는 이미지 프로세싱 시스템에 관한 블록도이다.
도 2는 복수의 프레임에서 관심 객체의 하나의 타입의 이동을 도시한다.
도 3은 도 1의 시스템에서의 관심 객체에 관한 적응적 조명을 위한 프로세스에 관한 제 1 실시예에 관한 흐름도이다.
도 4는 복수의 프레임에서 관심 객체의 다른 타입의 이동을 도시한다.
도 5는 도 1의 시스템에서의 관심 객체에 관한 적응적 조명을 위한 프로세스에 관한 제 2 실시예에 관한 흐름도이다.
본 발명의 실시예들은, 관심 객체(an object of interest)에 관한 적응적 조명을 위한 기능을 갖는 깊이 이미저를 포함하는 예시의 이미지 프로세싱 시스템과 함께 본원에서 예시될 것이다. 예시로써, 특정 실시예들은 관심 객체에 관한 적응적 조명을 제공하도록 구성되는 ToF 카메라 및 SL 카메라와 같은 깊이 이미저를 포함한다. 그러한 적응적 조명은, 다시 한번 예시로써, ToF 카메라를 위한 출력 광 진폭 및 주파수 모두에서의 변화, 또는 SL 카메라를 위한 출력 광 진폭에서의 변화를 포함할 수 있다. 그러나, 본 발명의 실시예들은 더 일반적으로, 깊이 맵 또는 다른 타입의 3D 이미지 내 객체들의 개선된 검출을 제공하는 것이 바람직한 임의의 이미지 프로세싱 시스템 또는 연관된 깊이 이미저에 적용가능하다는 것이 이해되어야 한다.
도 1은 본 발명의 일 실시예에서의 이미지 프로세싱 시스템(100)을 도시한다. 이미지 프로세싱 시스템(100)은, 네트워크(104)를 통해, 복수의 프로세싱 디바이스(102-1, 102-2, ... 102-N)와 통신하는 깊이 이미저(101)를 포함한다. 본 실시예에서의 깊이 이미저(101)는 ToF 카메라와 같은 3D 이미저를 포함하는 것으로 가정되지만, SL 카메라를 포함하는 다른 타입의 깊이 이미저가 다른 실시예들에서 사용될 수 있다. 깊이 이미저(101)는 깊이 맵 또는 장면의 다른 깊이 이미지를 생성하고 그러한 이미지를 네트워크(104)를 통해 하나 이상의 프로세싱 디바이스(102)에 전달한다. 따라서, 프로세싱 디바이스(102)는, 컴퓨터, 서버 또는 저장 디바이스를 임의의 조합으로 포함할 수 있다. 하나 이상의 그러한 디바이스는 또한, 예를 들어, 깊이 이미저(101)에 의해 생성된 이미지를 표현하는데 이용되는 디스플레이 스크린 또는 다른 사용자 인터페이스를 포함할 수 있다.
깊이 이미저(101)는, 본 실시예에서 프로세싱 디바이스들(102)로부터 분리된 것으로 도시되지만 프로세싱 디바이스들 중 하나 이상과 적어도 부분적으로 결합될 수 있다. 따라서, 예를 들어, 깊이 이미저(101)는 적어도 부분적으로 프로세싱 디바이스들(102) 중 정해진 하나를 사용하여 구현될 수 있다. 예시로써, 컴퓨터는 깊이 이미저(101)를 포함하도록 구성될 수 있다.
주어진 실시예에서, 이미지 프로세싱 시스템(100)은 비디오 게임 시스템 또는 사용자 제스처를 인식하기 위해 이미지를 생성하는 다른 타입의 제스처 기반 시스템으로서 구현된다. 개시된 이미징 기법은 제스처 기반 휴먼 머신 인터페이스를 요구하는 다양한 다른 시스템에서의 사용을 위해 유사하게 적응될 수 있고, 제스처 인식과 다른 많은 애플리케이션, 예컨대, 얼굴 검출을 포함하는 머신 비전 시스템, 사람 추적 또는 깊이 이미저로부터 깊이 이미지를 프로세싱하는 다른 기법에 또한 적용될 수 있다.
도 1에 도시된 바와 같은 깊이 이미저(101)는 광원(106) 및 검출기 어레이(108)에 연결된 제어 회로부(105)를 포함한다. 광원(106)은, 예를 들어, LED 어레이 내에 배치될 수 있는 각각의 LED를 포함할 수 있다. 복수의 광원이 본 실시예에서 사용되지만, 다른 실시예들은 단일 광원만을 포함할 수도 있다. LED 외에 다른 광원이 사용될 수도 있다는 것이 이해되어야 한다. 예를 들어, LED 중 적어도 일부는 다른 실시예들에서 레이저 다이오드 또는 다른 광원으로 대체될 수 있다.
제어 회로부(105)는 광원(106)을 위한 드라이버 회로를 포함한다. 각각의 광원은 연관된 드라이브 회로를 구비할 수 있거나, 복수의 광원은 공통 드라이버 회로를 공유할 수 있다. 본 발명의 실시예들에서 사용하기에 적합한 드라이버 회로에 관한 예시는, 2012년 10월 23일에 출원된 발명의 명칭이 "Optical Source Driver Circuit for Depth Imager"인 미국 특허 출원 제 13/658,153 호에 개시되고, 이는 본원의 동일 양수인에 의한 것이고 본원에서 참조로서 포함된다.
제어 회로부(105)는 특정 특성을 갖는 출력 광을 생성하기 위해 광원(106)을 제어한다. ToF 카메라를 포함하는 깊이 이미저 내 제어 회로부(105)의 소정의 드라이버 회로를 이용하여 제공될 수 있는 출력 광 진폭 및 주파수 변화에 관한 경사형 및 계단형 예시들은 앞에서 언급된 미국 특허 출원 제 13/658,153 호에서 찾아볼 수 있다. 출력 광은 이미징될 장면을 조명하고 결과의 복귀 광은 검출기 어레이(108)를 사용하여 검출되며 그 이후 깊이 맵 또는 다른 타입의 3D 이미지를 생성하기 위해 제어 회로부(105) 및 깊이 이미저(101)의 다른 컴포넌트들에서 또한 프로세싱된다.
따라서, 제어 회로부(105) 내 드라이버 회로들은 기존 깊이 이미저에 비해 깊이 이미저(101) 내에서 상당히 개선된 성능을 제공하는 방식으로, 지정된 타입의 진폭 및 주파수 변화를 갖는 드라이버 신호를 생성하도록 구성될 수 있다. 예를 들어, 그러한 구성은, 드라이버 신호 진폭 및 주파수뿐만 아니라, 노출 시간 윈도우(a integration time window)와 같은 다른 파라미터들에 관한 특히 효율적인 최적화를 허용하도록 구성될 수 있다.
본 실시예에서의 깊이 이미저(101)는 적어도 하나의 프로세싱 디바이스를 사용하여 구현되는 것으로 가정되며 메모리(112)에 연결된 프로세서(110)를 포함한다. 프로세서(110)는 제어 회로부(105)를 통해 검출기 어레이(108) 및 광원(106)의 동작의 적어도 일부에 지시하기 위해 메모리(112)에 저장된 소프트웨어 코드를 실행한다. 깊이 이미저(101)는 또한 네트워크(104)를 통한 통신을 지원하는 네트워크 인터페이스(114)를 포함한다.
프로세서(110)는, 예를 들어, 마이크로프로세서, 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 중앙 처리 장치(CPU), 산술 논리 연산 장치(ALU), 디지털 신호 프로세서(DSP), 다른 유사한 프로세싱 디바이스 컴포넌트뿐만 아니라, 임의의 조합으로 다른 타입 및 구성의 이미지 프로세싱 회로부를 포함할 수 있다.
메모리(112)는 깊이 이미저(101)의 기능의 일부, 예컨대, 아래에서 설명될 모듈들(120, 122, 124, 126, 128 및 130)의 일부를 구현할 때 프로세서(110)에 의한 실행을 위한 소프트웨어 코드를 저장한다. 대응 프로세서에 의한 실행을 위한 소프트웨어 코드를 저장하는 주어진 그러한 메모리는, 컴퓨터 판독가능 매체 또는 본원에 포함된 컴퓨터 프로그램 코드를 구비한 다른 타입의 컴퓨터 프로그램 제품으로서 본원에서 더 일반적으로 언급되는 일 예시이며, 예를 들어, 랜덤 액세스 메모리(RAM) 또는 판독 전용 메모리(ROM), 자기 메모리, 광학 메모리와 같은 전자 메모리, 또는 임의의 조합의 다른 타입의 저장 디바이스를 포함할 수 있다. 앞에서 나타낸 바와 같이, 프로세서는 마이크로프로세서, ASIC, FPGA, CPU, ALU, DSP 또는 다른 이미지 프로세싱 회로부 중 일부 또는 이들의 조합을 포함할 수 있다.
따라서, 본 발명의 실시예들은 집적 회로의 형태로 구현될 수 있다는 것이 이해되어야 한다. 주어진 그러한 집적 회로 구현예에서, 동일한 다이는 전형적으로 반도체 웨이퍼의 표면상에서 반복 패턴으로 형성된다. 각각의 다이는, 예를 들어, 제어 회로부(105) 및 본원에서 설명되는 바와 같은 깊이 이미저(101)의 가능한 다른 이미지 프로세싱 회로부 중 적어도 일부를 포함하고, 다른 구조체 또는 회로를 더 포함할 수 있다. 각각의 다이는 웨이퍼로부터 커팅되거나 다이싱되고 그 이후 집적 회로로서 패키징된다. 본 기술분야의 당업자는 웨이퍼를 다이싱하고 다이를 패키징하여 집적 회로를 생산하는 방법을 알고 있을 것이다. 그렇게 제조된 집적 회로는 본 발명의 실시예들로 고려된다.
네트워크(104)는 인터넷, 근거리 통신망(LAN), 셀룰러 네트워크와 같은 광역 네트워크(WAN), 또는 다른 타입의 네트워크, 뿐만 아니라 복수의 네트워크의 조합을 포함할 수 있다. 깊이 이미저(101)의 네트워크 인터페이스(114)는, 하나 이상의 기존 트랜시버 또는 깊이 이미저(101)로 하여금 네트워크(104)를 통해 각각의 프로세싱 디바이스(102) 내 유사 네트워크 인터페이스와 통신할 수 있게 하도록 구성된 다른 네트워크 인터페이스 회로부를 포함할 수 있다.
본 실시예에서의 깊이 이미저(101)는, 전반적으로, 제 1 타입의 조명을 사용하여 장면의 제 1 프레임을 갭처하고, 제 1 프레임에서 관심 객체와 연관된 제 1 영역을 정의하고, 관심 객체의 예상 이동에 기초하여 적응적으로 조명될 제 2 영역을 식별하고, 제 1 타입과 상이한 제 2 타입의 조명을 사용하는 제 2 영역에 관한 적응적 조명을 사용하여 장면의 제 2 프레임을 캡처하고, 제 2 프레임에서 관심 객체를 검출하고자 시도하도록 구성된다.
주어진 그러한 프로세스는 하나 이상의 추가 프레임에 대하여 반복될 수 있다. 예를 들어, 관심 객체가 제 2 프레임에서 검출되는 경우, 프로세스는 관심 객체가 더 이상 검출되지 않을 때까지 하나 이상의 추가 프레임의 각각에 대하여 반복될 수 있다. 따라서, 관심 객체는 본 실시예에서 깊이 이미저(101)를 사용하여 복수의 프레임을 통해 추적될 수 있다.
전술된 예시의 프로세스에서 제 1 타입의 조명 및 제 2 타입의 조명 모두는 광원(106)에 의해 생성된다. 제 1 타입의 조명은 지정된 시야범위(field of view)에 대하여 실질적으로 균일한 조명을 포함할 수 있고, 제 2 타입의 조명은 실질적으로 오로지 제 2 영역에 관한 조명을 포함할 수 있지만, 다른 조명 타입이 다른 실시예들에서 사용될 수 있다.
제 2 타입의 조명은 제 1 타입의 조명에 관하여 다양한 주파수 및 다양한 진폭 중 적어도 하나를 보일 수 있다. 예를 들어, 하나 이상의 ToF 카메라 실시예와 같은 일부 실시예들에서, 제 1 타입의 조명은 제 1 진폭을 갖고 제 1 주파수에 따라 변하는 광원 출력 광을 포함하고, 제 2 타입의 조명은 제 1 진폭과 상이한 제 2 진폭을 갖고 제 1 주파수와 상이한 제 2 주파수에 따라 변하는 광원 출력 광을 포함한다.
앞에서 언급된 프로세스에 관한 더 상세한 예시들은 도 3 및 도 5의 흐름도와 함께 아래에서 설명될 것이다. 도 3의 실시예에서, 광원(106)으로부터의 출력 광의 진폭 및 주파수는 변하지 않지만, 도 5의 실시예에서, 광원(106)으로부터의 출력 광은 변한다. 따라서, 도 5의 실시예는 깊이 이미저(101) 요소들의 사용이 메모리(112) 내 진폭 및 주파수 룩업 테이블(LUT)(132)뿐만 아니라 출력 광의 진폭 및 주파수를 변화시킬 때 제어 회로(105) 내 진폭 제어 모듈(134) 및 주파수 제어 모듈(136)을 포함하게 한다. 진폭 및 주파수 제어 모듈(134 및 136)은 앞에서 인용된 미국 특허 출원 제 13/658,153 호에 설명된 것과 유사한 기법을 사용하여 구성될 수 있고, 제어 회로부(105)의 하나 이상의 드라이버 회로에서 구현될 수 있다.
예를 들어, 주어진 실시예에서의 제어 회로부(105)는 진폭 제어 모듈(134)을 포함할 수 있고, 이로써 광원(106) 중 적어도 하나에 제공된 드라이버 신호는, 진폭 제어 모듈(134)의 제어 하에서 지정된 타입의 진폭 변화, 예컨대, 경사형 또는 계단형 주파수 변화에 따른 진폭으로 변화한다.
경사형 또는 계단형 진폭 변화는, 예를 들어, 시간 함수로서 증가 진폭, 시간 함수로서 감소 진폭, 또는 증가 및 감소 진폭의 조합을 제공하도록 구성될 수 있다. 또한, 증가 또는 감소 진폭은 선형 함수 또는, 비선형 함수, 또는 선형 및 비선형 함수의 조합을 따를 수 있다.
경사형 진폭 변화를 갖는 일 실시예에서, 진폭 제어 모듈(134)은 시작 진폭, 종료 진폭, 바이어스 진폭 및 경사형 진폭 변화 기간 중 하나 이상을 포함하는 경사형 진폭 변화의 하나 이상의 파라미터에 관한 사용자 선택을 허용하도록 구성될 수 있다.
이와 마찬가지로, 계단형 진폭 변화를 갖는 일 실시예에서, 진폭 제어 모듈(134)은 시작 진폭, 종료 진폭, 바이어스 진폭, 시간 단계 크기 및 계단형 진폭 변화 기간 중 하나 이상을 포함하는 계단형 진폭 변화의 하나 이상의 파라미터에 관한 사용자 선택을 허용하도록 구성될 수 있다.
주어진 실시예에서의 제어 회로부(105)의 드라이버 회로는 추가적으로 또는 대안적으로 주파수 제어 모듈(136)을 포함할 수 있고, 이로써 광원(106) 중 적어도 하나에 제공된 드라이버 신호는 주파수 제어 모듈(136)의 제어 하에서 지정된 타입의 주파수 변화, 예컨대, 경사형 또는 계단형 주파수 변화에 따른 주파수로 변화한다.
경사형 또는 계단형 주파수 변화는, 예를 들어, 시간 함수로서 증가 주파수, 시간함수로서 감소 주파수, 또는 증가 및 감소 주파수의 조합을 제공하도록 구성될 수 있다. 또한, 증가 또는 감소 주파수는 선형 함수 또는 비선형 함수 또는 선형 및 비선형 함수의 조합을 따를 수 있다. 더욱이, 드라이버 회로가 진폭 제어 모듈(134) 및 주파수 제어 모듈(136)을 포함하는 경우, 주파수 변화는 이전에 설명된 진폭 변화와 동기화될 수 있다.
경사형 주파수 변화를 갖는 일 실시예에서, 주파수 제어 모듈(136)은, 시작 주파수, 종료 주파수 및 경사형 주파수 변화 기간 중 하나 이상을 포함하는 경사형 주파수 변화의 하나 이상의 파라미터에 관한 사용자 선택을 허용하도록 구성될 수 있다.
이와 마찬가지로, 계단형 주파수 변화를 갖는 일 실시예에서, 주파수 제어 모듈(136)은 시작 주파수, 종료 주파수, 주파수 스텝 크기, 시간 스텝 크기 및 계단형 주파수 변화 기간 중 하나 이상을 포함하는 계단형 주파수 변화의 하나 이상의 파라미터에 관한 사용자 선택을 허용하도록 구성될 수 있다.
선형 함수, 지수 함수, 이차(quadratic) 함수 또는 임의(arbitrary) 함수를 따르는 변화를 포함하는, 매우 다양한 상이한 타입 및 조합의 진폭 및 주파수 변화가 다른 실시예들에서 사용될 수 있다.
진폭 및 주파수 제어 모듈(134 및 136)은, ToF 카메라와 같이 출력 광의 진폭 및 주파수가 변화하는 깊이 이미저(101)의 일 실시예에서 이용된다는 것을 유념해야 한다.
깊이 이미저(101)에 관한 다른 실시예들은, 예를 들어, 출력 광 주파수가 일반적으로 변화하지 않는 SL 카메라를 포함할 수 있다. 그러한 실시예들에서, LUT(132)는 진폭만의 LUT를 포함함 수 있고, 주파수 제어 모듈(136)은 제거되어 출력 광의 진폭만이 진폭 제어 모듈(134)을 사용하여 변화된다.
많은 상이한 제어 모듈 구성이 깊이 이미저(101)에 사용되어 주어진 드라이버 신호 파형에 대한 상이한 진폭 및 주파수 변화를 수립할 수 있다. 예를 들어, 정적 진폭 및 주파수 제어 모듈이 사용될 수 있으며, 여기서 각각의 진폭 및 주파수 변화는 깊이 이미저(101)의 동작과 함께 사용자 선택에 의해 동적으로 변경가능하지 않고 그 대신 설계에 의한 특정 구성으로 고정된다.
따라서, 예를 들어, 특정 타입의 진폭 변화 및 특정 타입의 주파수 변화는 설계 단계 동안 사전결정될 수 있고 이러한 사전결정된 변화들은 깊이 이미저에서 가변적이기보다는 고정된다. 깊이 이미저의 광원 드라이버 신호에 대한 진폭 변화 및 주파수 변화 중 적어도 하나를 제공하는 이러한 타입의 정적 회로망 구성은 본원에서 폭넓게 사용되는 용어인 "제어 모듈"에 관한 예시로 고려되며, 실질적으로 일정한 진폭 및 주파수를 갖는 CW 출력 광을 전반적으로 이용하는 ToF 카메라와 같은 기존 구성과 구별된다.
앞에서 나타낸 바와 같이, 깊이 이미저(101)는, 도 3 및 도 5 프로세스에 이용된 그리고 앞에서 언급된 타입의 이미지 프로세싱 동작을 구현하는데 이용된 복수의 모듈(120 내지 130)을 포함한다. 이러한 모듈들은, 조명 조건의 변화에서 장면의 프레임들을 캡처하도록 구성된 프레임 캡처 모듈(120), 사전정의된 객체 템플릿 및 프레임들 중 하나 이상에서 검출된 전형적인 관심 객체를 특징화하는 다른 정보를 저장하는 객체 라이브러리(122), 프레임들 중 하나 이상에서 정해진 관심 객체 또는 OoI와 연관된 영역을 정의하도록 구성된 영역 정의 모듈(124), 하나 이상의 프레임에서 관심 객체를 검출하도록 구성된 객체 검출 모듈(126), 및 프레임으로부터 프레임으로의 관심 객체의 예상 이동에 기초하여 적응적으로 조명된 영역을 식별하도록 구성된 이동 계산 모듈(128)을 포함한다. 이러한 모듈들은, 적어도 부분적으로, 메모리(112)에 저장되고 프로세서(110)에 의해 실행되는 소프트웨어의 형태로 구현될 수 있다.
또한 본 실시예에서의 깊이 이미저(101)에 포함된 것은 깊이 이미저(101)의 노출 시간 윈도우를 최적화할 뿐만 아니라 깊이 이미저(101)에 의해 수행되는 정해진 이미징 동작을 위해 진폭 및 주파수 제어 모듈들(134 및 136) 각각에 의해 제공된 진폭 및 주파수 변화를 최적화하도록 예시적으로 구성되는, 파라미터 최적화 모듈(130)이다. 예를 들어, 파라미터 최적화 모듈(130)은 주어진 이미징 동작에 대한 노출 시간 윈도우, 진폭 변화 및 주파수 변화를 포함하는 적절한 세트의 파라미터를 결정하도록 구성될 수 있다.
그러한 구성은 깊이 이미저(101)로 하여금 장면 내 객체들에 대한 거리, 장면 내 객체들의 개수 및 타입 등과 같은 다양한 상이한 동작 조건 하에서의 최적의 성능을 위해 구성되게 한다. 따라서, 예를 들어, 본 실시예에서의 깊이 이미저(101)의 노출 시간 윈도우는 특정 조건 하에서 전체 성능을 최적화하는 방식으로 드라이버 신호 진폭 및 주파수 변화의 선택과 함께 결정될 수 있다.
파라미터 최적화 모듈(130)은 또한 메모리(112) 내 저장되고 프로세서(110)에 의해 실행되는 소프트웨어의 형태로 적어도 부분적으로 구현될 수 있다. 본원에서 사용되는 바와 같은 "최적의" 및 "최적화"와 같은 용어는, 폭넓게 이해되어야 하며, 임의의 특정 성능 수치의 최소화 또는 최대화를 요구하지 않는다는 것을 유념해야 한다.
도 1에 도시된 바와 같은 이미지 프로세싱 시스템(100)의 특정 구성은 단지 예시적인 것이며, 다른 실시예들에서의 시스템(100)은 구체적으로 도시된 것들에 추가하거나 대체하여 그러한 시스템의 기존 구현예에서 흔히 볼 수 있는 타입의 하나 이상의 요소들을 포함하는 다른 요소들을 포함할 수 있다. 예를 들어, 다른 구성의 프로세싱 모듈 및 다른 컴포넌트들이 깊이 이미저(101)를 구현하는데 사용될 수 있다. 따라서, 도 1 실시예에서의 모듈들(120 내지 130) 중 복수의 모듈과 연관된 기능은 다른 실시예들에서 더 적은 개수의 모듈로 조합될 수 있다. 또한, 제어 회로부(105) 및 프로세서(110)와 같은 컴포넌트들은 적어도 부분적으로 조합될 수 있다.
다양한 실시예들에서의 깊이 이미저(101)의 동작은 이제 도 2 내지 도 5를 참조하여 더 상세히 설명될 것이다. 설명되는 바와 같이, 이러한 실시예들은 전체 시야범위의 조명을 사용하여 제 1 프레임에서 관심 객체를 초기에 검출한 이후에, 후속 프레임을 캡처할 때 관심 객체와 연관된 시야범위 중 일부만을 적응적으로 조명하는 것을 포함한다. 그러한 구성은 프레임으로부터 프레임으로 관심 객체를 추적하는 것과 연관된 계산 및 저장 요구사항을 감소시킬 수 있으며, 이로써 이미지 프로세싱 시스템에서의 전력 소비를 낮출 수 있다. 또한, 후속 프레임을 프로세싱할 때 시야범위의 다른 부분으로부터의 간섭을 감소시킴으로써 검출 정확도가 향상된다.
도 2 및 도 3과 함께 설명될 실시예에서, 깊이 이미저 출력 광의 진폭 및 주파수는 변하지 않지만, 도 4 및 도 5와 함께 설명될 실시예에서, 깊이 이미저 출력 광의 진폭 및 주파수는 변한다. 후자의 실시예에 대하여 깊이 이미저(101)는 ToF 카메라 또는 다른 타입의 3D 이미저를 포함하는 것으로 가정되지만, 개시된 기법은 깊이 이미저가 SL 카메라를 포함하는 일 실시예에서 진폭 변화를 제공하는 간단한 방식으로 구성될 수 있다.
이제 도 2를 참조하면, 깊이 이미저(101)는 장면(200)의 프레임들을 캡처하도록 구성되는데, 여기서 인체 형태의 관심 객체는 캡처된 프레임 내에서 자신의 크기를 현저히 감소시키지 않으면서 프레임에서 프레임으로 장면 내에서 횡방향으로 이동한다. 이 예시에서, 관심 객체는 프레임 #1, 프레임 #2, 프레임 #3으로 표시된 3개의 연속으로 캡처된 프레임들의 각각에서 상이한 위치를 갖는 것으로 도시된다.
관심 객체는 단계 300 내지 310을 포함하는, 도 3의 흐름도에 의해 예시된 프로세스를 사용하여 이러한 복수의 프레임에서 검출되고 추적된다. 단계 300 및 302는 균일한 조명에 의한 초기화와 전반적으로 연관되지만, 단계 304, 306, 308 및 310은 적응적 조명의 사용을 포함한다.
단계 300에서, 관심 객체를 포함하는 제 1 프레임은 균일한 조명을 사용하여 캡처된다. 이 균일한 조명은 지정된 시야범위에 대하여 실질적으로 균일한 조명을 포함할 수 있고, 더 일반적으로 본원에서 제 1 타입의 조명으로 언급되는 일 예시이다.
단계 302에서, 관심 객체는 객체 검출 모듈(126) 그리고 사전정의된 객체 라이브러리(122)에 저장된 바와 같은 사전정의된 객체 탬플릿 또는 전형적인 관심 객체를 특징화하는 다른 정보를 사용하여 제 1 프레임에서 검출된다. 검출 프로세스는, 예를 들어, 프레임의 다양한 식별된 위치를 객체 라이브러리(122)로부터 사전정의된 객체 탬플릿의 세트와 비교하는 것을 포함한다.
단계 304에서, 영역 정의 모듈(124)을 사용하여, 제 1 프레임 내 관심 객체와 연관된 제 1 영역이 정의된다. 단계 304에서 정의된 제 1 영역의 일 예는 도 2에서 복수의 + 마크로 식별된 영역으로 고려될 수 있다.
단계 306에서, 다음 프레임에서 적응적으로 조명될 제 2 영역은, 영역 정의 모듈(124)을 또한 사용하여 프레임으로부터 프레임으로 관심 객체의 예상 이동에 기초하여 계산된다. 따라서, 단계 306에서의 제 2 영역의 정의는, 예를 들어, 속력, 가속도, 및 이동 방향과 같은 요인을 고려하여, 프레임으로부터 프레임으로의 객체 이동을 고려한다.
주어진 실시예에서, 이러한 영역 정의는 위치에 기초한 윤곽 움직임 예측(contour motion prediction)뿐만 아니라 복수의 평면 내부 방향 및 평면 외부 방향에서의 속력 및 선형 가속도를 특히 더 포함할 수 있다. 결과의 영역 정의는 윤곽뿐만 아니라 입실론 근방(epsilon neighborhood)에 의해 특징지어질 수 있다. 이러한 타입의 움직임 예측 알고리즘 및 본 발명의 실시예들에서 사용하기에 적합한 움직임 예측 알고리즘은 본 기술분야의 당업자에게 잘 알려진 것이므로 본원에서 더 상세히 설명되지 않는다.
또한, 상이한 타입의 영역 정의가 상이한 타입의 깊이 이미저에 대하여 사용될 수 있다. 예를 들어, 영역 정의는 ToF 카메라에 대해서는 픽셀 블록에 기초할 수 있고 SL 카메라에 대해서는 윤곽 및 입실론 근방에 기초할 수 있다.
단계 308에서, 다음 프레임은 적응적 조명을 사용하여 캡처된다. 이 프레임은 프로세스의 단계들을 거친 첫 단계에서의 제 2 프레임이다. 본 실시예에서, 적응적 조명은 실질적으로 오로지 단계 306에서 결정된 제 2 영역에 관한 조명으로 구현될 수 있다. 이는 본원에서 더 일반적으로 제 2 타입의 조명으로 언급되는 일 예시이다. 본 실시예에서 단계 308에 적용된 적응적 조명은 단계 300에서 적용된 실질적으로 균일한 조명과 동일한 진폭 및 주파수를 가질 수 있지만, 전체 시야범위가 아닌 제 2 영역에만 적용되는 장면에서는 적응적이다. 도 4 및 도 5와 함께 설명될 실시예에서, 적응적 조명은 또한 실질적으로 균일한 조명과 관련된 진폭 및 주파수 중 적어도 하나가 변한다.
ToF 카메라를 포함하는 깊이 이미저의 시야범위의 일부만을 적응적으로 조명하는 경우, ToF 카메라의 LED 어레이를 포함하는 광원 내 특정 LED는 꺼질 수 있다. SL 카메라를 포함하는 깊이 이미저의 경우, 시야범위 중 조명된 부분은 기계 레이저 스캐닝 시스템의 스캐닝 범위를 제어함으로써 조정될 수 있다.
단계 310에서, 제 2 프레임에서 관심 객체를 검출하고자 하는 시도가 성공했는지 여부에 관한 결정이 실시된다. 관심 객체가 제 2 프레임에서 검출된 경우, 단계 304, 306 및 308은, 관심 객체가 더 이상 검출되지 않을 때까지, 하나 이상의 추가 프레임들에 대하여 반복된다. 따라서, 도 3 프로세스는 관심 객체로 하여금 복수의 프레임들을 통해 추적되게 한다.
전술된 바와 같이, 적응적 조명은 각각의 진폭 및 주파수 제어 모듈(134 및 136)을 사용하여 깊이 이미저(101)의 출력의 진폭 및 주파수 중 적어도 하나를 변화시키는 것을 포함한다는 것이 가능하다. 그러한 변화는, 깊이 이미저(101)가 도 4에 도시된 바와 같은 상황에서 특히 유용할 수 있는데, 도 4에서 깊이 이미저(101)는 장면(400)의 프레임들을 캡처하도록 구성되며, 장면 내에서 인체 형태의 관심 객체는 프레임에서 프레임으로 횡방향으로 이동할 뿐만 아니라 캡처된 프레임들 내에서 관심 객체의 크기가 상당히 변경된다. 이 예시에서, 관심 객체는 프레임 #1, 프레임 #2 및 프레임 #3으로 표시된 3개의 연속으로 캡처된 프레임들의 각각에서 상이한 위치를 가질 뿐만 아니라, 깊이 이미저(101)로부터 더 멀어지게 프레임에서 프레임으로 이동한다.
관심 객체는, 단계 500 내지 510을 포함하는 도 5의 흐름도에 의해 도시된 프로세스를 사용하여 3개의 복수의 프레임에서 검출되고 추적된다. 단계 500 및 502는 일반적으로 특정 진폭 및 주파수 값을 갖는 초기 조명을 사용하는 초기화와 연관되는 반면, 단계 504, 506, 508, 510은 초기 조명과 다른 진폭 및 주파수 값을 갖는 적응적 조명의 사용을 포함한다.
단계 500에서, 관심 객체를 포함하는 제 1 프레임은 초기 조명을 사용하여 캡처된다. 이 초기 조명은 진폭 A0 및 주파수 F0를 가지며 지정된 시야범위에 대하여 적용되고, 본원에서 더 일반적으로 제 1 타입의 조명으로 언급되는 다른 예시이다.
단계 502에서, 관심 객체는 객체 검출 모듈(126)을 사용하여 그리고 객체 라이브러리(122)에 저장된 바와 같이 사전정의된 객체 탬플릿 또는 전형적인 관심 객체를 특징화하는 다른 정보를 사용하여 제 1 프레임에서 검출된다. 검출 프로세스는, 예를 들어, 프레임의 다양한 식별된 부분들을 객체 라이브러리(122)로부터 사전정의된 객체 탬플릿의 세트와 비교하는 것을 포함할 수 있다.
단계 504에서, 영역 정의 모듈(124)을 사용하여, 제 1 프레임 내 관심 객체와 연관된 제 1 영역이 정의된다. 단계 504에서 정의된 제 1 영역의 일 예시는 도 4에서 복수의 + 마크에 의해 식별된 영역으로 고려된다.
단계 506에서, 다음 프레임에서 적응적으로 조명될 제 2 영역은, 영역 정의 모듈(124)을 또한 사용하여, 프레임에서 프레임으로의 관심 객체의 예상 이동에 기초하여 계산된다. 도 3의 실시예에서와 같이, 단계 506에서의 제 2 영역의 정의는, 예를 들어, 속력, 가속도, 및 이동 방향과 같은 요인들을 고려하여, 프레임에서 프레임으로의 객체 이동을 고려한다. 그러나, 단계 506은 또한, 깊이 이미저(101) 내 메모리(112)의 진폭 및 주파수 LUT(132)로부터 결정된 바와 같이, 후속하는 적응적 조명에 대하여 새로운 진폭 및 주파수 값(Ai, Fi)을 설정하며, 여기서 i는 프레임 인덱스를 나타낸다.
단계 508에서, 다음 프레임은 업데이트된 진폭 Ai 및 주파수 Fi를 갖는 적응적 조명을 사용하여 캡처된다. 이 프레임은 프로세스의 단계들을 거친 첫 번째 단계에서의 제 2 프레임이다. 본 실시예에서, 적응적 조명은 단계 506에서 결정된 제 2 영역에만 실질적으로 조명하는 것으로 구현될 수 있다. 이는 본원에서 제 2 타입의 조명으로 더 일반적으로 지칭되는 다른 예시이다. 앞에서 나타낸 바와 같이, 본 실시예에서의 단계 508에 적용된 적응적 조명은 단계 500에 적용된 초기 조명과 상이한 진폭 및 주파수 값을 갖는다. 전체 시야범위가 아닌 제 2 영역에만 적용된다는 점에서 또한 적응적이다.
단계 510에서, 제 2 프레임에서 관심 객체를 검출하고자 하는 시도가 성공했는지 여부에 관한 결정이 행해진다. 관심 객체가 제 2 프레임에서 검출된 경우, 단계 504, 506 및 508은, 관심 객체가 더 이상 검출되지 않을 때까지, 하나 이상의 추가 프레임에 대하여 반복된다. 각각의 그러한 반복에 대하여, 적응적 조명을 위한 상이한 진폭 및 주파수 값이 결정될 수 있다. 따라서, 도 5는 또한 관심 객체로 하여금 복수의 프레임을 통해 추적되게 할 뿐만 아니라, 관심 객체가 프레임에서 프레임으로 이동할 때 깊이 이미저 출력 광의 진폭 및 주파수 중 적어도 하나를 조정함으로써 향상된 성능을 제공한다.
예시로써, 출력 광 진폭 및 주파수 중 적어도 하나가 적응적으로 변화하는 도 5의 실시예 및 다른 실시예들에서, 제 1 타입의 조명은 제 1 진폭을 갖고 제 1 주파수에 따라 변하는 출력 광을 포함하고, 제 2 타입의 조명은 제 1 진폭과 상이한 제 2 진폭을 갖고 제 1 주파수와 상이한 제 2 주파수를 따라 변하는 출력 광을 포함한다.
진폭 변화와 관련하여, 관심 객체의 예상 이동이 깊이 이미저를 향하는 경우, 제 1 진폭은 전형적으로 제 2 진폭보다 크고, 예상 이동이 깊이 이미저로부터 멀어지는 경우 제 1 진폭은 전형적으로 제 2 진폭보다 작다. 또한, 예상 이동이 장면의 중심을 향하는 경우 제 1 진폭은 전형적으로 제 2 진폭보다 크고, 예상 이동이 장면의 중심으로부터 멀어지는 경우 제 1 진폭은 전형적으로 제 2 진폭보다 작다.
주파수 변화와 관련하여, 예상 이동이 깊이 이미저를 향하는 경우 제 1 주파수는 전형적으로 제 2 주파수보다 작고, 예상 이동이 깊이 이미저로부터 멀어지는 경우 제 1 주파수는 전형적으로 제 2 주파수보다 크다.
전술된 바와 같이, 진폭 변화는 진폭 및 주파수 LUT(132)의 적절한 구성을 통해 주파수 변화와 동기화될 수 있다. 그러나, 다른 실시예들은 주파수 변화만을 이용하거나 진폭 변화만을 이용할 수 있다. 예를 들어, 일정한 진폭을 갖는 경사형 또는 계단형 주파수의 사용은 이미징될 장면이 깊이 이미저로부터 다양한 거리에 위치한 복수의 객체를 포함하는 경우에 이롭다.
다른 예시로서, 일정한 주파수를 갖는 경사형 또는 계단형 진폭의 사용은, 이미징될 장면이 깊이 이미저를 향하거나 깊이 이미저로부터 멀어지게 이동하거나 장면의 주변으로부터 장면의 중심으로 또는 장면의 중심으로부터 장면의 주변으로 이동하는 단일의 주요 객체를 포함하는 경우에 이롭다. 그러한 구성에서, 감소 진폭은 주요 객체가 깊이 이미저를 향하여 이동하거나 주변으로부터 중심으로 이동하는 경우에 적합한 것으로 예상되며, 증가 진폭은 주요 객체가 깊이 이미저로부터 멀어지도록 이동하거나 중심으로부터 주변으로 이동하는 경우에 적합한 것으로 예상된다.
도 5의 실시예에서의 진폭 및 주파수 변화는 ToF 카메라와 같은 깊이 이미저의 성능을 상당히 향상시킬 수 있다. 예를 들어, 그러한 변화는, 적어도 부분적으로, 주파수 변화가 각각의 주파수에 대하여 검출된 깊이 정보의 슈퍼임포징(superimposing)을 허용하기 때문에, 측정 정밀도에 불리하게 영향을 미치지 않으면서 깊이 이미저(101)의 모호하지 않은 범위를 확장할 수 있다. 또한, 적어도 부분적으로, 진폭 변화는 노출 시간 윈도우로 하여금 깊이 이미저의 성능을 최적화하기 위해 동적으로 조정되게 하기 때문에, 기존 CW 출력 광 구성을 사용하여 달리 가능한 것보다 실질적으로 더 높은 프레임 레이트가 지원될 수 있고, 이로써 장면에서 동적 객체들에 관한 개선된 추적을 제공한다. 진폭 변화는 장면 내 객체들로부터 더 나은 반사를 또한 야기하고, 깊이 이미지 품질을 더 향상시킨다.
도 2 내지 도 5에 도시된 특정 프로세스들은 단지 예시로써 제시되는 것이며, 본 발명에 관한 다른 실시예들은 ToF 카메라, SL 카메라 또는 다른 타입의 깊이 이미저를 사용하여 적응적 조명을 제공하기 위한 다른 타입 및 구성의 프로세서 동작을 이용할 수도 있다는 것이 이해되어야 한다. 예를 들어, 도 3 및 도 5의 흐름도의 다양한 단계들은 도시된 바와 같이 순서가 아니라 적어도 부분적으로 서로 동시에 수행될 수 있다. 또한, 추가적인 또는 대안적인 프로세스 단계들이 다른 실시예들에서 사용될 수 있다. 하나의 예시로서, 도 5의 실시예에서, 교정 또는 다른 목적을 위해, 프로세스에 관한 특정 횟수의 반복의 각각의 세트 이후에, 실질적으로 균일한 조명이 적용될 수도 있다.
본원에 설명된 바와 같은 본 발명의 실시예들은 단지 예증을 위한 것임이 다시 한번 강조되어야 한다. 예를 들어, 본 발명의 다른 실시예들은 본원에 개시된 특정 실시예들에서 이용된 것들이 아닌 매우 다양한 다른 타입의 그리고 구성의 이미지 프로세싱 시스템, 깊이 이미저, 이미지 프로세싱 회로부, 제어 회로부, 모듈, 프로세싱 디바이스 및 프로세싱 동작을 이용하여 구현될 수 있다. 또한, 특정 실시예들을 설명하는 상황에서 본원에서 행해진 특정 가정들은 반드시 다른 실시예들에서 적용되어야하는 것은 아니다. 본 기술분야의 당업자에게 있어서 다음의 특허청구범위 내에서 이러한 많은 다른 대안적인 실시예들은 쉽게 이해될 것이다.

Claims (24)

  1. 제 1 타입의 조명(illumination)을 사용하여 장면(a scene)의 제 1 프레임을 캡처하는 단계와,
    상기 제 1 프레임에서 관심 객체(an object of interest)와 연관된 제 1 영역을 정의하는 단계와,
    상기 관심 객체의 예상 이동(expected movement)에 기초하여 적응적으로(adaptively) 조명될 제 2 영역을 식별하는 단계와,
    상기 제 1 타입과 상이한 제 2 타입의 조명을 사용하는 상기 제 2 영역에 관한 적응적 조명(adaptive illumination)을 사용하여 상기 장면의 제 2 프레임을 캡처하는 단계와,
    상기 제 2 프레임에서 상기 관심 객체를 검출하고자 시도하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 방법은, 메모리에 연결된 프로세서를 포함하는 적어도 하나의 프로세싱 디바이스에서 구현되는
    방법.
  3. 제 1 항에 있어서,
    상기 방법은 깊이 이미저(a depth imager)로 구현되는
    방법.
  4. 제 1 항에 있어서,
    상기 제 1 타입의 조명은 지정된 시야범위(a designated field of view)에 대한 실질적으로 균일한 조명을 포함하는
    방법.
  5. 제 1 항에 있어서,
    상기 제 2 타입의 조명은 실질적으로 오로지 상기 제 2 영역에 관한 조명을 포함하는
    방법.
  6. 제 1 항에 있어서,
    상기 제 1 타입의 조명은 제 1 진폭을 갖는 광원 출력 광(optical source output light)을 포함하고 상기 제 2 타입의 조명은 상기 제 1 진폭과 상이한 제 2 진폭을 갖는 광원 출력 광을 포함하는
    방법.
  7. 제 6 항에 있어서,
    상기 예상 이동이 상기 광원을 향하는 경우, 상기 제 1 진폭은 상기 제 2 진폭보다 큰
    방법.
  8. 제 6 항에 있어서,
    상기 예상 이동이 상기 광원으로부터 멀어지는 경우, 상기 제 1 진폭은 상기 제 2 진폭보다 작은
    방법.
  9. 제 6 항에 있어서,
    상기 예상 이동이 상기 장면의 중심을 향하는 경우, 상기 제 1 진폭은 상기 제 2 진폭보다 큰
    방법.
  10. 제 6 항에 있어서,
    상기 예상 이동이 상기 장면의 중심으로부터 멀어지는 경우, 상기 제 1 진폭은 상기 제 2 진폭보다 작은
    방법.
  11. 제 1 항에 있어서,
    상기 제 1 타입의 조명은 제 1 주파수를 따라 변하는 광원 출력 광을 포함하고 상기 제 2 타입의 조명은 상기 제 1 주파수와 상이한 제 2 주파수를 따라 변하는 광원 출력 광을 포함하는
    방법.
  12. 제 11 항에 있어서,
    상기 예상 이동이 상기 광원을 향하는 경우, 상기 제 1 주파수는 상기 제 2 주파수보다 작은
    방법.
  13. 제 11 항에 있어서,
    상기 예상 이동이 상기 광원으로부터 멀어지는 경우, 상기 제 1 주파수는 상기 제 2 주파수보다 큰
    방법.
  14. 제 1 항에 있어서,
    상기 제 1 타입의 조명은 제 1 진폭을 갖고 제 1 주파수를 따라 변하는 광원 출력 광을 포함하고, 상기 제 2 타입의 조명은 상기 제 1 진폭과 상이한 제 2 진폭을 갖고 상기 제 1 주파수와 상이한 제 2 주파수를 따라 변하는 광원 출력 광을 포함하는
    방법.
  15. 제 1 항에 있어서,
    상기 관심 객체가 상기 제 2 프레임에서 검출되는지 여부를 결정하는 단계를 더 포함하는
    방법.
  16. 제 15 항에 있어서,
    상기 관심 객체가 상기 제 2 프레임에서 검출되는 경우, 상기 관심 객체가 더 이상 검출되지 않을 때까지 하나 이상의 추가 프레임들의 각각에 대하여 상기 정의하는 단계, 상기 식별하는 단계, 상기 캡처하는 단계 및 상기 시도하는 단계를 반복하는
    방법.
  17. 컴퓨터 프로그램 코드가 저장된 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램 코드는, 프로세싱 디바이스에서 실행될 때, 상기 프로세싱 디바이스로 하여금 제 1 항의 방법을 수행하게 하는
    컴퓨터 판독가능 저장 매체.
  18. 적어도 하나의 광원을 포함하는 깊이 이미저(a depth imager)를 포함하는 장치로서,
    상기 깊이 이미저는, 제 1 타입의 조명을 사용하여 장면의 제 1 프레임을 캡처하고, 상기 제 1 프레임에서 관심 객체와 연관된 제 1 영역을 정의하고, 상기 관심 객체의 예상 이동에 기초하여 적응적으로 조명될 제 2 영역을 식별하고, 상기 제 1 타입과 상이한 제 2 타입의 조명을 사용하는 상기 제 2 영역에 관한 적응적 조명을 사용하여 상기 장면의 제 2 프레임을 캡처하고, 상기 제 2 프레임에서 상기 관심 객체를 검출하고자 시도하도록 구성되며,
    상기 제 1 타입의 조명 및 상기 제 2 타입의 조명은 상기 광원에 의해 생성되는
    장치.
  19. 제 18 항에 있어서,
    상기 제 1 타입의 조명은 지정된 시야범위에 대한 실질적으로 균일한 조명을 포함하는
    장치.
  20. 제 18 항에 있어서,
    상기 제 2 타입의 조명은 실질적으로 오로지 제 2 영역에 관한 조명을 포함하는
    장치.

  21. 메모리에 연결된 프로세서를 포함하는 적어도 하나의 프로세싱 디바이스를 포함하는 장치로서,
    상기 적어도 하나의 프로세싱 디바이스는,
    제 1 타입의 조명을 사용하여 장면의 제 1 프레임을 캡처하도록 구성된 프레임 캡처 모듈(a frame capture module)과,
    상기 제 1 프레임에서 관심 객체와 연관된 제 1 영역을 정의하도록 구성된 영역 정의 모듈(an area definition module)과,
    상기 관심 객체의 예상 이동에 기초하여 적응적으로 조명될 제 2 영역을 식별하도록 구성된 이동 계산 모듈(a movement calculation module)과,
    객체 검출 모듈을 포함하며,
    상기 프레임 캡처 모듈은 또한, 상기 제 1 타입과 상이한 제 2 타입의 조명을 사용하는 상기 제 2 영역에 관한 적응적 조명을 사용하여 상기 장면의 제 2 프레임을 캡처하도록 구성되고,
    상기 객체 검출 모듈은 상기 제 2 프레임에서 상기 관심 객체를 검출하고자 시도하도록 구성되는
    장치.
  22. 제 21 항에 있어서,
    상기 프로세싱 디바이스는 깊이 이미저를 포함하는
    장치.
  23. 제 22 항에 있어서,
    상기 깊이 이미저는 비행시간 기반 카메라(a time of flight camera) 및 구조 광 카메라(a structured light camera) 중 하나를 포함하는
    장치.
  24. 제 21 항의 장치를 포함하는
    이미지 프로세싱 시스템.
KR1020157013319A 2012-11-21 2013-07-03 관심 객체에 관한 적응적 조명을 사용하는 깊이 이미징 방법 및 장치 KR20150086479A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/683,042 US20140139632A1 (en) 2012-11-21 2012-11-21 Depth imaging method and apparatus with adaptive illumination of an object of interest
US13/683,042 2012-11-21

Publications (1)

Publication Number Publication Date
KR20150086479A true KR20150086479A (ko) 2015-07-28

Family

ID=50727548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157013319A KR20150086479A (ko) 2012-11-21 2013-07-03 관심 객체에 관한 적응적 조명을 사용하는 깊이 이미징 방법 및 장치

Country Status (6)

Country Link
US (1) US20140139632A1 (ko)
JP (1) JP2016509378A (ko)
KR (1) KR20150086479A (ko)
CN (1) CN103959089A (ko)
TW (1) TW201421074A (ko)
WO (1) WO2014081478A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009121A (ko) * 2017-07-18 2019-01-28 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
KR20190082097A (ko) * 2017-12-29 2019-07-09 엑시스 에이비 레이저 거리 측정 및 조명
WO2023106711A1 (ko) * 2021-12-06 2023-06-15 삼성전자 주식회사 라이다 장치를 포함하는 전자 장치 및 이의 동작 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635231B2 (en) 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US20160178991A1 (en) * 2014-12-22 2016-06-23 Google Inc. Smart illumination time of flight system and method
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection
CN105261039B (zh) * 2015-10-14 2016-08-17 山东大学 一种基于深度图像的自适应调整目标跟踪算法
US10602074B2 (en) * 2015-11-10 2020-03-24 Lumileds Holding B.V. Adaptive light source
US9866816B2 (en) * 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
CN107783353B (zh) * 2016-08-26 2020-07-10 光宝电子(广州)有限公司 用于捕捉立体影像的装置及系统
CN106941588B (zh) * 2017-03-13 2020-03-24 联想(北京)有限公司 一种数据处理方法及电子设备
EP3607353B1 (en) * 2017-04-05 2023-03-01 Telefonaktiebolaget LM Ericsson (PUBL) Illuminating an environment for localisation
JP7103354B2 (ja) * 2017-05-24 2022-07-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US11182914B2 (en) * 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area
WO2020045770A1 (en) 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
US11320535B2 (en) 2019-04-24 2022-05-03 Analog Devices, Inc. Optical system for determining interferer locus among two or more regions of a transmissive liquid crystal structure
WO2021019308A1 (en) * 2019-04-25 2021-02-04 Innoviz Technologies Ltd. Flash lidar having nonuniform light modulation
CN110673114B (zh) * 2019-08-27 2023-04-18 三赢科技（深圳）有限公司 校准三维相机深度的方法、装置、计算机装置及存储介质
EP3789794A1 (de) * 2019-09-04 2021-03-10 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur distanzmessung
CN111025329A (zh) * 2019-12-12 2020-04-17 深圳奥比中光科技有限公司 一种基于飞行时间的深度相机及三维成像方法
JP2021110679A (ja) * 2020-01-14 2021-08-02 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距システム、および、電子機器

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US7200266B2 (en) * 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US20070141718A1 (en) * 2005-12-19 2007-06-21 Bui Huy A Reduction of scan time in imaging mass spectrometry
JP2007218626A (ja) * 2006-02-14 2007-08-30 Takata Corp 対象物検出システム、作動装置制御システム、車両
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US7636150B1 (en) * 2006-12-01 2009-12-22 Canesta, Inc. Method and system to enhance timing accuracy for time-of-flight systems
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US9036902B2 (en) * 2007-01-29 2015-05-19 Intellivision Technologies Corporation Detector for chemical, biological and/or radiological attacks
WO2008131201A1 (en) * 2007-04-19 2008-10-30 Global Rainmakers, Inc. Method and system for biometric recognition
EP2063220B1 (en) * 2007-11-15 2017-06-28 Sick IVP AB Optical triangulation
US8081797B2 (en) * 2008-10-10 2011-12-20 Institut National D'optique Selective and adaptive illumination of a target
TWI475544B (zh) * 2008-10-24 2015-03-01 Semiconductor Energy Lab 顯示裝置
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
US8531651B2 (en) * 2009-03-05 2013-09-10 Panasonic Corporation Distance measuring device, distance measuring method, program, and integrated circuit
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US9148995B2 (en) * 2010-04-29 2015-10-06 Hagie Manufacturing Company Spray boom height control system
US8587771B2 (en) * 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
US9753128B2 (en) * 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
KR101729556B1 (ko) * 2010-08-09 2017-04-24 엘지전자 주식회사 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치
US8736818B2 (en) * 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
KR101753312B1 (ko) * 2010-09-17 2017-07-03 삼성전자주식회사 뎁스 영상 생성 장치 및 방법
US8548270B2 (en) * 2010-10-04 2013-10-01 Microsoft Corporation Time-of-flight depth imaging
TW201216711A (en) * 2010-10-12 2012-04-16 Hon Hai Prec Ind Co Ltd TOF image capturing device and image monitoring method using the TOF image capturing device
JP5809925B2 (ja) * 2010-11-02 2015-11-11 オリンパス株式会社 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム
KR101642964B1 (ko) * 2010-11-03 2016-07-27 삼성전자주식회사 정밀도 향상을 위한 뎁스 카메라의 노출 시간 동적 제어 방법 및 장치
JP5197777B2 (ja) * 2011-02-01 2013-05-15 株式会社東芝 インターフェイス装置、方法、およびプログラム
EP2487504A1 (en) * 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
KR20120105169A (ko) * 2011-03-15 2012-09-25 삼성전자주식회사 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법
US20140139429A1 (en) * 2011-07-11 2014-05-22 Ovadya Menadeva System and method for computer vision based hand gesture identification
US9424255B2 (en) * 2011-11-04 2016-08-23 Microsoft Technology Licensing, Llc Server-assisted object recognition and tracking for mobile devices
US9329035B2 (en) * 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
WO2013099537A1 (en) * 2011-12-26 2013-07-04 Semiconductor Energy Laboratory Co., Ltd. Motion recognition device
US20130266174A1 (en) * 2012-04-06 2013-10-10 Omek Interactive, Ltd. System and method for enhanced object tracking
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009121A (ko) * 2017-07-18 2019-01-28 엘지이노텍 주식회사 ToF 모듈 및 그 ToF 모듈을 이용한 피사체 인식장치
US11782161B2 (en) 2017-07-18 2023-10-10 Lg Innotek Co., Ltd. ToF module and object recognition device using ToF module
KR20190082097A (ko) * 2017-12-29 2019-07-09 엑시스 에이비 레이저 거리 측정 및 조명
WO2023106711A1 (ko) * 2021-12-06 2023-06-15 삼성전자 주식회사 라이다 장치를 포함하는 전자 장치 및 이의 동작 방법

Also Published As

Publication number Publication date
CN103959089A (zh) 2014-07-30
US20140139632A1 (en) 2014-05-22
TW201421074A (zh) 2014-06-01
WO2014081478A1 (en) 2014-05-30
JP2016509378A (ja) 2016-03-24

Similar Documents

Publication Publication Date Title
KR20150086479A (ko) 관심 객체에 관한 적응적 조명을 사용하는 깊이 이미징 방법 및 장치
KR102714153B1 (ko) 오브젝트의 3차원 이미지 생성 방법 및 시스템
US10234561B2 (en) Specular reflection removal in time-of-flight camera apparatus
US10755417B2 (en) Detection system
US9826216B1 (en) Systems and methods for compact space-time stereo three-dimensional depth sensing
US11302022B2 (en) Three-dimensional measurement system and three-dimensional measurement method
US11828849B2 (en) Illumination device, time of flight system and method
EP2869266A1 (en) Method and apparatus for generating depth map of a scene
EP4285154A1 (en) Three-dimensional image capturing according to time-of-flight measurement and light spot pattern measurment
US10497141B2 (en) Three-dimensional imaging using frequency domain-based processing
CN112513670B (zh) 测距仪、测距系统、测距方法及程序
US11283970B2 (en) Image processing method, image processing apparatus, electronic device, and computer readable storage medium
US20140111617A1 (en) Optical source driver circuit for depth imager
US20230003894A1 (en) Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method
CN116888503A (zh) 成像系统
CA2847118A1 (en) Depth imaging method and apparatus with adaptive illumination of an object of interest
JP2004257934A (ja) ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体
JP2023106227A (ja) 深度情報処理装置、深度分布推定方法、深度分布検出システム及び学習済みモデル生成方法
EP4423530A1 (en) Electronic device and method for adaptive time-of-flight sensing based on a 3d model reconstruction

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid