KR101620971B1 - 씬 내에 위치해 있는 전자 기기들을 구동시키기 위한 제어 수단을 지니는 tof 조명 시스템 및 tof 카메라 및 동작 방법 - Google Patents

씬 내에 위치해 있는 전자 기기들을 구동시키기 위한 제어 수단을 지니는 tof 조명 시스템 및 tof 카메라 및 동작 방법 Download PDF

Info

Publication number
KR101620971B1
KR101620971B1 KR1020147014305A KR20147014305A KR101620971B1 KR 101620971 B1 KR101620971 B1 KR 101620971B1 KR 1020147014305 A KR1020147014305 A KR 1020147014305A KR 20147014305 A KR20147014305 A KR 20147014305A KR 101620971 B1 KR101620971 B1 KR 101620971B1
Authority
KR
South Korea
Prior art keywords
scene
signal
tof
illumination unit
modulation
Prior art date
Application number
KR1020147014305A
Other languages
English (en)
Other versions
KR20140094580A (ko
Inventor
데르 템펠 바르트 반
줄리앙 톨로트
Original Assignee
소프트키네틱 센서스 엔브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소프트키네틱 센서스 엔브이 filed Critical 소프트키네틱 센서스 엔브이
Publication of KR20140094580A publication Critical patent/KR20140094580A/ko
Application granted granted Critical
Publication of KR101620971B1 publication Critical patent/KR101620971B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4911Transmitters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing

Abstract

TV 디스플레이, 랩톱, PC, 미디어 센터 플랫폼, 셋톱 박스 또는 DVD 플레이어와 같은 전자 기기들, 전구와 함께 사용하기 위한 시스템, 및 방법이 기재되어 있으며, 상기 시스템 및 방법은 여러 개별 제어 수단을 하나의 단일 기기로 유리하게 결합한다. 상기 결합된 제어 수단은 예를 들면 정보 신호를 전달하기 위한 IR 신호의 사용과 같은 적어도 하나의 공유물(common property)을 공유한다. 특히, 본 발명은 TOF 카메라의 TOF 조명 시스템 및 이를 동작시키는 방법을 예를 들면 3D IR 동기화 시야 안경을 구동시키기 위한 IR 이미터와 같은 씬(scene) 내에 위치해 있는 전자 기기들을 구동시키는 제어 수단과 결합시키는 것에 관한 것이다.

Description

씬 내에 위치해 있는 전자 기기들을 구동시키기 위한 제어 수단을 지니는 TOF 조명 시스템 및 TOF 카메라 및 동작 방법{TOF illumination system and TOF camera and method for operating, with control means for driving electronic devices located in the scene}
본 발명은 변조된 광을 통해 반송(搬送)되는 적어도 하나의 신호를 사용하는 전자 기기들을 중간에 소정 씬에서 거리를 두고 상호작용들을 가능하게 하는 시스템, 및 방법에 관한 것이다. 특히, 본 발명은 씬에 위치해 있는 다른 전자 기기들과의 상황별 상호작용들을 가능하게 하기 위한, TOF 카메라의 TOF 조명 시스템 및 그의 동작 방법과 전자 기기 시스템들 및 이들의 동작 방법의 조합에 관한 것이다. 전자 기기 시스템들은 TV 디스플레이, 랩톱, PC, 미디어 센터 플랫폼, 셋톱 박스, 게임 콘솔과 같은 기기들 또는 전구와 같은 조명 시스템을 포함할 수 있지만, 다른 전자 기기들은 스피커들, 3D 셔터 안경, 진공 청소기와 같은 적어도 신호 수신 기기들 또는 드론(drone)들 또는 가정용 자동화 기기와 같은 다른 종류의 원격 제어가능한 기기을 포함할 수 있다.
적외선 광은 사람에 의해 인지가능하지 않으면서 한 시스템으로부터 다른 한 시스템으로 정보 데이터를 반송(搬送)하기 위해 원격 통신 시스템들에서 사용되는 범위를 지니는 전자 방사(電磁 放射)에 상응한다. 예를 들자면, 3D TV와 같은 일부 3D 기기 디스플레이들은 디스플레이된 콘텐츠의 3D 인지를 지니는 인간 시각 시스템을 허용하도록 스크린상에 디스플레이된 해당 좌/우 이미지와 동기하여 시야 안경의 좌/우 셔터를 개폐하도록 변조된 IR 광신호를 방출하는 수단을 포함한다. 상기 적외선 광은 상기 디스플레이 기기로부터 상기 안경으로 동기 신호를 전송하는데 사용된다. 당업자라면 어떠한 단일의 물리 층 또는 통신 프로토콜도 표준으로서 사용되지 않으며 다수의 해결수단이 존재할 수 있음을 이해하게 될 것이다. 예를 들자면, 서로 다른 3D 동기 시스템들은 850nm 내지 940nm 범위 또는 사람의 눈으로 보이지 않는 다른 범위의 서로 다른 IR 광 파장들을 사용하는 것이다. 더욱이, 일부 시스템들은 반송 주파수를 사용하는 전송 프로토콜을 포함할 수 있지만 기타 시스템들은 무변조 신호를 사용할 수 있다. 서로 다르고 양립가능하지 않은 데이터 타이밍 프로토콜들이 또한 구현될 수 있다. 예를 들자면, 일부 동기된 '풀 타임 신호(full time signal)'가 사용될 수 있지만, 기타 실시예에서는 위상 동기 루프(phase lock loop; PLL)가 사용될 수 있다. 추가로, 한 개, 2개 또는 그 이상의 IR 이미터들은 동기 신호를 송신하는데 사용될 수 있다. 더군다나, 일부 시스템들은 누화(crosstalk)를 회피하기 위해 상기 IR 원격 제어 수신기들과 상기 IR 이미터들을 분리시킬 수 있으며 기타의 시스템들은 동일한 윈도우를 배후로 하여 그것들을 서로 옆에 둘 수 있다. 다수의 해결수단은 예를 들면 브랜드 또는 디스플레이 스크린에 따른 각각의 3D 시야 안경으로서 제조하기 때문에 서로 양립하지 않도록 서로 다른 시스템들을 처리하는 것이다. 더군다나, 일부 3D TV들은 일부 원격 제어 트랜시버와 같은 적외선 파장, 전형적으로는 940nm의 적외선 파장을 사용하기 때문에, 간섭 문제들이 중간에 생길 수 있다.
소비자 가전 협회의 작업 그룹은 예를 들자면 3D TV 동기화를 위한 시야 안경을 포함하여, IR 통신 기기 상호운영성에 대한 표준화 작업을 연구하고 있다. 통신 표준은 3D TV로부터 활성 상태의 안경으로의 적외선 동기 신호가 TV 원격 제어 신호에 의해 그리고 다른 주변 광학 잡음원들에 의해 영향을 받지 않게 하면서 원격 제어 신호들이 상기 동기 신호 자체에 의해 영향을 받지 않게 하여야 한다. 가능한 해결 수단들 중에는 표준형 원격 제어 파장 신호와 다르게 하도록 3D TV 적외선 동기 신호들에 대한 특정 파장의 선택이 포함된다. 다른 한 가능성은 다른 한 반송파 주파수를 이용하는 것이며, 감소된 동기 이미터의 허용 강도 및 변조 신호 부근의 전송 프로토콜은 표준화되어야 한다. 예를 들면, 3D 동기는 주파수가 25 kHz이며 파장이 830nm이고 최대 이미터 강도가 1000 mW/sr인 짧은 버스트 변조 신호를 이용할 수 있다.
IR 이미터-수신기들을 통한 양방향 통신의 표준화 작업의 목적은,
o 사운드 시스템
o 안경
o 원격 제어기들
과 같은 고정 기기들의 구동을 가능하게 하는 것이다.
해결하려는 주요 과제들은,
o 상호운영성의 극대화
o 간섭의 회피
o 사람의 안전성 보존
일 것이다.
예상되는 해결수단들은,
o IR 전자 방사의 이용
o 일부 특정한 변조 주파수들의 사용
o 확산 전송 또는 직접 가시(line-of-sight) 전송
에 주로 초점이 맞춰져 있다.
병행하여, IR 광을 사용한 새로운 기술이 등장하고 있다. 이는 3차원(3D) 이미징 기기 시스템들에 관한 것이며, 이들의 목적은 씬(scene)의 심도 측정치들을 제공하는 것이다. 타임 오브 플라이트(time-of-flight; TOF) 카메라 시스템(TOF 카메라)과 같은 그러한 3차원 이미징 시스템들은 TOF 원리의 도움으로 거리 데이터를 생성하는 기기 시스템들인데, 이 경우 수신기는 LED 기반 조명 시스템과 같은 광원에 의해 상기 씬을 향해 방출되고 상기 씬으로부터 반사된 변조 광을 캡처한다. 상기 TOF 원리는 방출된 변조 신호 및 라운드 트립 시간(round-trip time)에 기인한 수신된 변조 신호 간의 오버랩에 있어서의 시간 또는 위상 차에 의해 결정되는 측정된 심도(depth)에 의존한다. 수신된 신호는 방출된 신호의 복사본과 상관 또는 혼합됨으로써 그들 양자 간의 시간 및 위상 차가 획득되게 하고 이로부터 거리가 결정될 수 있다. 전형적으로는, 상기 카메라 기기는 IR 영역에서 수십 내지 수백 메가 헤르츠 또는 그 이상의 범위의 주파수들의 변조 신호를 방출하는 조명 유닛을 포함한다. 방출되는 파장 범위를 캡처하기에 최적화된 이미지 센싱 유닛은 상기 씬 조명과 동기하여 상기 씬을 캡처하는데, 상기 센싱 유닛의 시야는 조명 시스템의 광학 엔진의 사각 뿔대(frustum)에 포함된다.
TOF 카메라는 제스처 인식 시스템들과 같은 방법 및 시스템들에 연관되는 경우에 가정에서 사람-기계 상호작용들 및 원격 제어를 위한 것과 같은 룸(room) 또는 거실 경험을 위한 것을 포함하여, 여러 조건에서 사용하기 위해 구축된다.
따라서, TOF 카메라들은 IR 전자 방사를 또한 사용하는 것인 홈 표준 통신 시스템들을 포함하는 것보다 동일한 환경 내에서 미래에 공존할 것으로 예상된다.
본 발명의 한 목적은, 광원 또는 전구와 같은 조명 시스템, 또는 TV 디스플레이, 랩톱, PC, 미디어 센터 플랫폼, 셋톱 박스, 또는 DVD 플레이어와 같은 전자 기기들을 위한 시스템, 회로 및 방법을 제공하는 것이며, 상기 시스템 및 방법은 연산 수단을 포함하며 유리하게는 여러 개별 특징들, 바람직하게는 제어 수단을 하나의 단일 기기로 결합한다. 결합된 제어 수단은 예를 들면 정보 신호를 전달하기 위한 IR 신호와 같은 비-가시 신호의 사용과 같은 적어도 하나의 공유물(common property)을 공유한다. 특히, 본 발명은 TOF 카메라의 TOF 조명 시스템 및 이를 동작시키는 방법을 예를 들면 3D IR 동기화 시야 안경을 구동시키거나 다른 기기들에 정보를 제공하기 위한 IR 이미터와 같은 상기 씬 내에 위치해 있는 전자 기기들을 구동시키는 제어 수단과 결합시키는 것에 관한 것이다.
본 발명의 한 가지 이점은 예컨대 TOF 변조된 광신호를 가지고 씬을 조명하기 위해 제공된 제1 세트의 LED들을 포함하는 제1 조명 유닛, 및 디스플레이 기기 상에서 3D 이미지들을 보는데 사용될 안경과 같은 부가적인 기기의 동작을 위한 셔터 변조 신호와 같은 신호를 전송하는 조명 유닛과 같은 기기의 제어를 위해 제공된 제2 세트의 LED들을 지니는 제2 조명 유닛과 같은 다수의 조명 유닛의 사용을 회피한다는 점이다. 텔레비전 디스플레이를 고려할 때의 특정한 실시예들에서는, 디스플레이 스크린 자체는 이러한 디스플레이 스크린 자체가 패널 내에 합체되는 픽셀 유닛들(예컨대, 베이어 표준 RGB 픽셀 유닛 매트릭스 내에 합체되는 IR 픽셀들)을 포함하는 경우에 이미터로서 사용될 수 있다. 이때, 디스플레이 자체는 상기 이미터가 되고 외부 LED 방출 유닛을 필요로 하지 않는다.
본 발명의 다른 한 이점은 씬 내의 모든 전자 기기들 간의 상호작용을 위해 하나의 단일 IR 광원이 사용될 수 있다는 점이다. 예를 들면 IR 광원과 같은 비-가시 광원은 전구 내에 합체될 수 있다. 본 발명은 또한 광원 또는 전구 내의 TOF 카메라 기반 시스템의 통합을 포함한다.
본 발명의 부가적인 이점은 씬의 조명이 그다지 밝지 않으므로 큰 조명 전력 때문에 또는 이질적인 조명 유닛들로부터의 유사한 조명 주파수들 때문에 간섭 없이 서로 다른 2가지 제어의 기능이 올바르게 작동하게 한다는 점이다.
본 발명의 실시예들에 대한 부가적인 또 다른 이점은 서로 다른 방출 신호들이 하나의 단일 회로 상에서 관리될 수 있다는 점이다.
본 발명의 다른 한 부가적인 이점은 본 발명이 상황별 제어 및 상호작용들을 허용하도록 씬 내의 대상들을 검출, 추적 및 인지하는 방법을 실현할 수 있다는 점이다.
본 발명의 또 다른 한 이점은 대상에 의해 방출된 정보를 수신하는 시스템 및 2개의 시스템 간의 양방향 상호작용을 허용하도록 상기 정보를 처리하는 관련 수단을 포함한다는 점이다.
본 발명의 실시예들은,
o ToF 측정 시스템들에서 사용되는 특정한 근접 IR과 같은 소정의 파장의 특정한 전자 방사(電磁 放射)를 사용함;
o ToF 측정에 대한 적어도 하나, 및 서로 다른 기기들을 어드레스할 수 있도록 매개변수를 통해 이루어져야 하는 적어도 다른 하나와 같은 조명 시스템에 의해 방출된 다수의 특정 변조 주파수들을 사용함;
o 예컨대 넓은 시야를 획득하도록 ToF 조명 시스템의 확산 투과를 사용함;
을 포함한다.
한 실시태양에서는 본 발명은 기기와 함께 사용하기 위한 시스템을 제공하며, 상기 시스템은 ToF 원리에 대한 씬을 조명하는 단일의 조명 유닛, 다중 변조 신호를 생성하고 이러한 변조 신호를 상기 조명 유닛에 공급하는 신호 생성기로서, 상기 TOF 신호에 상응하는 적어도 하나의 변조 신호 및 상기 조명된 씬 내의 제1 대상에 의한 사용 또는 상기 조명된 씬 내의 상기 제1 대상의 동작의 제어를 위한 것인 적어도 다른 하나의 변조 신호를 지니는 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기를 포함한다.
본 발명의 다른 한 실시태양은 기기와 함께 사용하기 위한 시스템이며, 상기 시스템은 씬을 조명하기 위한 단일의 조명 유닛과 함께 사용하기 위한 센서 유닛을 포함하는 ToF 센서 장치로서, 상기 ToF 원리에 기반하여 상기 센서 유닛 및 상기 씬 내의 제1 대상 간의 거리에 관련된 값을 결정하는 수단을 포함하는 ToF 센서 장치, 및 다중 변조 신호를 생성하며 이러한 신호를 상기 조명 유닛에 공급하는 신호 생성기로서, 상기 조명된 씬 내의 제2 대상에 의한 사용 또는 상기 조명된 씬의 동작의 제어를 위한 적어도 하나의 변조 신호를 지니는 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기를 포함한다.
본 발명의 다른 한 실시태양은 상기 ToF 원리에 대하여 씬을 조명하기 위한 단일의 조명 유닛, 다중 변조 신호를 생성하고 이러한 신호를 상기 조명 유닛에 공급하기 위한 신호 생성기로서, 상기 TOF 신호에 상응하는 적어도 하나의 변조 신호 및 상기 조명된 씬 내의 제1 대상에 의한 사용 또는 상기 조명된 씬 내의 상기 제1 대상의 동작의 제어를 위한 것인 적어도 다른 하나의 변조 신호를 지니는 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기를 포함하는 회로이다.
옵션으로는, 본 발명에 따른 시스템, 회로 또는 방법은 피드백 정보로서 씬 내의 기기에 의해 생성될 수 있는 신호들을 수신 및 처리하기에 적합한 수단을 ㅍ포함할 수 있다. 상기 씬 내의 기기는 ID와 같은 피드백 정보, 또는 이벤트들, 매개변수, 데이터(국소화, 상태)의 통지를 제공하는 것과 같은 다른 한 종류의 피드백 정보를 적어도 상기 시스템에 (또는 사용자에게) 배달하도록 임의 종류의 특정 신호들을 방출할 수 있다. 그러한 통신은, 광, 라디오, 사운드, 진동 등등과 같은 무선 접속에 의해 이루어지게 될 수 있다. 상기 시스템은 피드백을 제공하도록 서로 다른 통신 수단을 이용할 수 있는데, 예컨대 상기 TOF 조명 유닛을 구동시키며 상기 TOF 카메라 정보를 처리하는 상기 시스템에 대한 그리고/또는 상기 씬에서의 사용자에 대한 임의의 수단에 의한 피드백이 존재할 수 있다.
본 발명의 바람직한 실시예들은 IR 광과 같은 방출 신호를 통해 정보를 전송하도록 다중 변조 신호를 이용한다. 상기 조명은 다중 변조 ToF 조명 시스템과 같은 수렴 또는 확산 조명 시스템들을 사용한다. 또한, 본 발명의 임의의 방법은 통신 기기들 간의 단방향 및/또는 양방향 상호작용을 가능하게 할 수 있다. 상기 시스템은 적어도 2개의 변조 신호들을 생성하는 수단을 포함하는 것이 바람직하며, 이 경우에 제1 변조 신호는 거리 관련 매개변수, 예컨대 ToF 원리로부터 알려지게 되는 바와 같은 거리 측정치에 연관되어 있고, 적어도 하나의 제2 신호는 다른 한 신호를 상기 조명된 씬에 반송(搬送)하는 것을 그 목적으로 하며, 상기 다른 한 신호의 변조 주파수는 간섭을 회피하도록 상기 ToF 신호의 변조 주파수와 다르고, 상기 신호는 상기 씬 내의 기기에 정보를 구동/제어/제공하는 것을 그 목적으로 한다.
상기 씬 내의 기기를 제어하는 시스템 회로 또는 방법은 상기 씬 내의 대상을 자동으로 결정 또는 위치시키는 식별 모듈의 사용을 포함할 수 있다. 한 대상의 결정 또는 위치는 예를 들면 컴퓨터 시각 대상 인식 방법의 도움으로 결정될 수도 있으며, 또한 양방향 통신들을 지원하는 본 발명의 실시예들에 대한 전자 방사 수신을 사용한 다른 한 ID 인식의 도움으로 결정될 수도 있다. 그러한 실시예들은 상기 대상에 의해 방출된 신호의 상기 시스템에 의한 수신 및 상기 시스템에 의한 상기 신호의 처리를 지원한다.
특정한 실시예들에서는, 상기 씬 내의 모바일 기기를 제어하는 시스템, 회로 또는 방법은 상기 씬을 통한 기기의 움직임들을 제어하도록 국부화 모듈을 포함할 수 있으며, 상기 국부화는 전자 방사를 사용하거나, 또는 사운드, 광 또는 라디오파들을 통한 빔포밍을 사용하여 3D 이미지 처리 수단을 통해서나 또는 삼각측량(triangulation)을 통해서와 같은 임의의 적합한 방법에 의해 수행된다.
본 발명은 또한 상호작용을 가능하게 하기 위한 카메라 기기 내에 내장된 다중 변조 ToF 조명 방법, 회로 또는 시스템을 포함한다. 상기 카메라 자체는 예로서 TV 디스플레이 기기에 내장될 수 있지만 이에 국한되지 않는 다중 변조 ToF 조명 방법, 회로 또는 시스템을 포함한다.
본 발명의 부가적인 실시태양은 기기와 함께 사용하는 방법이며, 상기 방법은 단일의 조명 유닛을 사용하여 상기 ToF 원리에 대하여 씬을 조명하는 단계, 다중 변조 신호를 생성하고 이러한 신호를 상기 단일의 조명 유닛에 공급하는 단계로서, 적어도 하나의 변조 신호가 상기 TOF 신호에 상응하게 상기 조명 유닛에 제공되고, 적어도 다른 한 변조 신호가 상기 조명된 씬 내의 제1 대상에 의한 사용 또는 상기 조명된 씬 내의 제1 대상의 동작의 제어를 위한 정보 데이터를 지니는, 단계를 포함한다.
본 발명의 여전히 부가적인 실시태양은 기기와 함께 사용하는 방법이며, 상기 방법은 조명 유닛에 의해 조명된 씬으로부터 반사된 광의 ToF 원리에 따른 센서 유닛을 사용하여 감지하는 단계, 상기 ToF 원리에 기반하여 상기 조명 유닛 또는 상기 센서 유닛 및 상기 씬 내의 제1 대상 간의 거리에 관련된 값을 결정하는 단계, 및 다중 변조 신호를 생성하며 이러한 신호를 상기 조명 유닛에 공급하는 단계로서, 적어도 하나의 변조 신호는 상기 조명된 씬 내의 제2 대상에 의한 사용 또는 상기 씬 내의 상기 제2 대상의 동작의 제어를 위해 제공되는 단계를 포함한다.
따라서, 본 발명의 실시예들은 상기 TOF 변조 신호 및 셔터 안경을 위한 셔터 변조 신호와 같은 기기를 제어하도록 하는 제2 변조 신호 양자 모두를 동시에 사용하는 것을 허용하는 LED들과 같은 단일 세트의 광원들을 지니는 단일의 조명 유닛의 변조 회로 또는 방법을 제공한다. 전형적으로는 비-가시 방사는 본 발명의 어느 한 실시예에서 사용될 수 있다. 당업자라면 상기 데이터를 반송하기에 적합하고, 사람에 의해 인지가능하지 않게 하는 적합한 경우에 다른 파장이 사용될 수 있음을 이해할 것이다. 더욱이, 상기 변조 주파수가 인간 시각 시스템에 의해 검출가능한 것보다 큰 경우에, 다시 말하면 펄스 광 융합이 24Hz에서 생기지만, 적어도 50Hz 주파수가 측면 시야의 플리커링 인지(flickering perception)를 방지하는데 필요한 경우에 가시 파장이 사용될 수 있다. 그러나, 수 MHz의 주파수는 정보를 반송하는데 매우 적합하다. PMD용으로 사용된 바와 같은 LED 광들 또는 레이저 원들은 결과적으로는 ToF 시스템용으로 실현 가능하다.
본 발명의 또 다른 한 실시태양은 광원이며, 상기 광원은 씬을 조명하기 위한 조명 유닛, 다중 변조 신호를 생성하고 이러한 다중 변조 신호를 상기 조명 유닛에 공급하기 위한 신호 생성기로서, TOF 신호에 상응하는 적어도 하나의 변조 신호 및 상기 제1 변조 신호와는 상이한 적어도 다른 하나의 변조 신호를 지니는 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기를 포함한다.
상기 신호 생성기는 상기 광원 내에 합체되는 것이 바람직하다.
본 발명의 부가적인 실시태양은 광원이며, 상기 광원은 씬을 조명하기 위한 조명 유닛, 다중 변조 신호를 생성하고 이러한 다중 변조 신호를 상기 조명 유닛에 공급하기 위한 신호 생성기로서, TOF 신호에 상응하는 적어도 하나의 변조 신호를 지니는 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기 및 무선 통신 프로토콜에 동작하는 무선 신호를 전송하는 송신기를 포함한다.
상기 신호 생성기는 상기 광원 내에 합체되는 것이 바람직하다.
본 발명의 어느 한 실시예에서의 조명 시스템은 3D 텔레비전 셔터 안경 또는 진공 청소기와 같은 제어될 기기가 수신 범위 내에 있게 하는 넓은 시야를 지닐 수 있다. 충분한 전력이 예컨대 한 세트의 LED들을 통해 상기 조명 유닛에 제공되는 경우에, 이는 상기 씬으로부터 반사되는 충분한 광을 TOF 수신기에서 수신하는 것을 보장한다.
다른 바람직한 실시예들은 또한 기기와 사용자를 연관시켜주는 상호작용들에 기반하여 이루어지는 제스처와 결합된 상기 씬 내에서 제어될 대상 간의 양방향 상호작용들을 사용한다. 예컨대, 사용자는 인간 운영자에게 정보 신호를 공급하기 위한 진동기와 같은 피드백 기기들 및 트랜시버를 지니는 원격 제어 기기를 조종한다. 상기 시스템은 상기 원격 제어 기기의 도움으로 골격 추적(skeleton tracking) 소프트웨어에 의해 제공되는 사용자 모델 표현을 정밀하게 할 수 있으며, 사용자에게 피드백 정보를 배달하는 것은 그의 가상 표현이 가상 대상과 가상 씬에서 충돌하게 되는 경우에 상기 진동기의 도움으로 이루어지게 된다.
다른 한 실시예는 방출된 광을 통해 정보를 전송하도록 하는 다중 변조 수단과 통합되는 광원을 포함한다. 상기 조명은 다중 변조 ToF 조명 시스템과 같은 집중 또는 확산 조명 시스템들을 사용할 수 있다. 또한, 상기 광원은 통신 기기들 간의 단방향 및/또는 양방향 상호작용을 가능하게 할 수 있다. 상기 광원은 적어도 변조 신호들을 생성하는 수단을 포함하는 것이 바람직하며, 제1 변조 신호는 거리 관련 매개변수, 예컨대 상기 ToF 원리로부터 알려지게 되는 바와 같은 거리 측정치에 연관되어 있고, 적어도 하나의 제2 신호는 조명된 씬에 다른 한 신호를 반송하는데 그 목적이 있으며, 상기 다른 한 신호의 변조 주파수는 간섭을 회피하기 위해 상기 ToF 신호의 변조 주파수와는 다르고, 상기 신호는 상기 씬 내의 기기 또는 네트워크 요소에 정보를 구동/제어/제공하는데 그 목적이 있다.
따라서, 상기 광원은 상기 씬 내의 기기 또는 네트워크 요소를 제어하도록 상기 TOF 변조 신호 및 적어도 하나의 제2 변조 신호를 양자 모두 동시에 사용하는 것을 허용하는, LED들과 같은 단일 세트의 광원들을 지니는 단일의 조명 유닛의 변조를 위한 회로를 포함한다. 전형적으로는 IR LED들에 의해 생성되는 바와 같은 비-가시 방사가 사용될 수 있다. 당업자라면 상기 데이터를 반송하는데 적합하고, 사람에 의해 인지되지 않게 하는데 적합한 경우에 다른 파장이 사용될 수 있음을 이해할 것이다. 따라서, LED 광들 또는 레이저 원들은 ToF 시스템용으로 실현 가능하다.
옵션으로는, 상기 광원은 피드백 정보로서 씬 내의 기기에 의해 생성될 수 있는 신호들을 수신 및 처리하는데 적합한 수단을 포함할 수 있다. 상기 씬 내의 기기는 ID와 같은 피드백 정보, 또는 이벤트들, 매개변수, 데이터(국소화, 상태)의 통지를 제공하는 것과 같은 다른 한 종류의 피드백 정보를 적어도 상기 시스템에 (또는 사용자에게) 배달하도록 임의 종류의 특정 신호들을 방출할 수 있다. 그러한 통신은, 광, 라디오, 사운드, 진동 등등과 같은 무선 접속에 의해 이루어지게 될 수 있다. 상기 시스템은 피드백을 제공하도록 서로 다른 통신 수단을 이용할 수 있는데, 예컨대 상기 TOF 조명 유닛을 구동시키며 상기 TOF 카메라 정보를 처리하는 상기 시스템에 대한 그리고/또는 상기 씬에서의 사용자에 대한 임의의 수단에 의한 피드백이 존재할 수 있다.
도 1은 본 발명의 한 실시예에 따른 조명 유닛에 포함되어 있는 구성요소들을 보여주는 도면이다.
도 2는 본 발명의 한 실시예에 따른 양방향 상호작용 시스템용 조명 유닛에 포함되어 있는 구성요소들을 보여주는 도면이다.
도 3은 본 발명의 한 실시예에 따른 기본 TOF 카메라를 보여주는 도면이다.
도 4는 디스플레이 기기에 내장된 TOF 카메라를 보여주는 도면으로서, 본 발명의 한 실시예에 따라 제어되는 기기들을 지니는 씬을 예시하는 도면이다.
도 5는 디스플레이 기기에 내장된 부가적인 TOF 카메라를 보여주는 도면으로서, 단방향 상호작용을 지니는 씬을 예시하는 도면(상기 TOF 카메라는 본 발명의 한 실시예에 따라 상기 씬의 추적 대상에 커맨드들을 전달하는 것을 결정하는 추적 시스템 프로세스에 정보를 제공함)이다.
도 6은 디스플레이 기기에 내장된 부가적인 TOF 카메라를 보여주는 도면으로서, 양방향 상호작용을 지니는 씬을 예시하는 도면(상기 TOF 카메라는 본 발명의 한 실시예에 따라 상기 씬의 대상에 의해 제공된 정보에 대하여 상기 씬의 대상에 커맨드들을 전달하는 것을 결정하는 추적 시스템 프로세스에 정보를 제공함)이다.
도 7a 및 도 7b는 본 발명의 실시예들에 따른 광원을 보여주는 도면들이다.
본 발명은 몇몇 도면들을 참조하여 특정 실시예들에 대해 설명되겠지만 본 발명은 이에 국한되지 않는다. 이하에서 설명되는 도면들은 단지 개략적인 것일 뿐이고 비-제한적이다. 도면들에서는, 요소들의 일부 크기가 과장되어 있을 수 있으며 예시를 목적으로 척도에 따라 도시되어 있지 않다.
본 발명의 한 실시예는 거리 측정을 수행할 수 있는 시스템, 기기 및 방법에 관한 것이다.
TOF 측정에서는, 씬 내의 포인트들로 이동하도록 TOF 카메라 시스템의 IR 광과 같은 가시 또는 비-가시 광과 같은 광을 조명하고 반사를 통해 그러한 포인트들로부터(다시 말하면, 대상들로부터) 상기 TOF 카메라 시스템으로 되돌아오는 라운드 트립 시간(round-trip time)이 측정된다. 상기 시간은 임의의 적합한 방법에 의해, 예컨대 방출 조명 광신호 및 상기 카메라 센서에 의해 캡처된 반사 광신호 간의 위상 오프셋을 측정함으로써 결정될 수 있다. 종래의 TOF 카메라 시스템에서는, 상기 조명 광은 주기적인 변조 광을 포함한다. 비행 시간을 결정하는 한가지 옵션에서는, 상기 씬을 조명하도록 상기 TOF 카메라 시스템으로부터 방출된 광 및 상기 씬으로부터 수광되어 반사된 광 간의 위상 지연이 결정된다. 이러한 위상 지연은 이때 광의 주기 길이 및 광의 속도를 사용하여, 측정 거리, 다시 말하면 상기 TOF 카메라 시스템으로부터의 한 대상의 적어도 하나의 포인트의 거리로 변환된다. 이는 픽셀마다 수행될 수 있다. 본질적으로, TOF 거리 측정 D는 다음과 같은 식
Figure 112014050223911-pct00001
과 같이 결정될 수 있는데, 상기 식 중에서,
Figure 112014050223911-pct00002
는 광의 속도이며,
Figure 112014050223911-pct00003
는 변조 광의 주파수이고,
Figure 112014050223911-pct00004
는 위상 시프트 각이며,
Figure 112014050223911-pct00005
는 에일리어싱(aliasing)된 주기의 개수에 관련된 것이다. 상기 식의 제1 인자는 디-에일리어싱(de-aliasing)을 제공하지 않는 시스템의 에일리어싱 거리(aliasing distance)인데, 이는
Figure 112014050223911-pct00006
인 유효 거리에 상응하는 것이다. 이러한 거리는 하나의 주기 내에 포함될 수 있는 최대 거리를 나타낸다. 긴 길이들은 k로 순회하게 되므로, 이미지 내에 존재하는 경우에, 에일리어싱되게 되며 k의 별도의 결정은 유효 거리 측정들을 허용한다.
도 3에는 여분의 구성요소로서 포함될 수도 있고 카메라 내에나 또는 디스플레이 또는 다른 기기 내에 내장될 수도 있는 본 발명에 따른 향상된 TOF 거리 측정 시스템(100)의 한 실시예가 도시되어 있다. 이러한 실시예에서의 회로들은 본 발명의 실시예들 중 어느 한 실시예에 포함될 수 있다. 상기 거리 측정 시스템은 주기적인 광(51)이 씬 대상들에 의해 반사되는 관심 영역 상에 집중되는 것이 바람직한 씬(55) 상에 주기적인 광(51)을 방출하는 하나 이상의 광원들(49)을 포함하는 단일의 조명 유닛을 포함한다. 상기 주기적인 광은 파들 또는 펄스들 또는 이들 모두의 조합들의 형태로 이루어질 수 있다. 상기 주기적인 광은 일정한 불변의 주기인 주기를 지닐 수도 있고 주파수는 규칙적인 방식으로 변하게 될 수도 있는데, 예컨대 확산될 수도 있다. 넓은 시야가 필요한 경우에, 광각(廣角) 조명이 제공될 수 있다. 상기 광은 센서 시스템들이 효율적이고, 사람의 눈으로 보이지 않으며 LED들과 같은 적합한 광원들이 이용가능한 범위 내에 있도록 가시 또는 비-가시 스펙트럼 범위, 예컨대 적외선 영역 내에 있는 것이 바람직할 수 있다. 본 발명의 이러한 실시예 및 다른 실시예들에 의하면, 상기 조명 유닛은 다중 변조 광을 투사한다. 상기 다중 변조 광은 거리 측정을 위해, 옵션으로는 3D 이미지들의 생성을 위해 사용될 수 있는 주기적인 광 신호(51)를 포함한다. 상기 다중 변조 광은 ToF 측정들을 위한 적어도 하나의 주파수, 및 상기 씬 내의 하나 이상의 서로 다른 기기들에 정보 신호를 제공할 수 있도록 매개변수를 통해 이루어지는 적어도 다른 하나의 주파수와 같은 2개 이상의 변조 주파수에서 투사된다. 정보는 상기 다중 변조 광신호의 적어도 하나의 변조 신호에서 반송(搬送)되고 상기 씬 내의 기기는 상응하는 변조 광신호를 수신하도록 그리고 상기 변조 광신호에 의해 제어되도록, 예컨대 상기 정보를 추출하고 상기 정보에 따라 동작함으로써 상기 변조 광신호에 의해 제어되도록 구성된다. 상기 기기는 셔터 안경일 수 있으며, 예를 들면 그럼으로써 추출된 정보는 착용자가 3D 이미지를 적절히 인지하도록 디스플레이 기기상에서의 3D 이미지와 동기하여 셔터 안경을 페이싱(phasing)하는데 사용된다. 전형적으로는 IR LED들이 상기 광원(49)을 위한 조명 유닛에 사용된다. 그러한 LED 광들은 PMD용으로 사용됨으로써, ToF 시스템용으로 실현 가능하다. 그러나, 당업자라면 임의 종류의 광원이 ToF 조명 원리에 의해 요구되는 조명 전력, 파장, 열, 크기 및 스위칭 비율 사양들을 만족하는 경우에 사용될 수 있음을 이해하게 될 것이다.
상기 광원(49)이 변조 광을 방출하기 위해, 하나 이상의 신호 생성기들(43)이 제공된다. 각각의 신호 생성기(43) 또는 상기 신호 생성기(43)는 미리 결정된 주파수에서, 예컨대 대략 10 MHz 이상의 주파수에서 지속적으로 발진하는 것이 바람직한 변조 신호 또는 변조 신호들을 노드(48) 상에 생성하다.
상기 신호 생성기들(43) 중 하나의 신호 생성기는 또한 노드(48) 상의 제1 클록 신호와 0°, 180°, 90° and 270°위상 관계를 지니는 노드(44, 45, 46, 47) 상에 배달되는 제2 내지 제5 클록 신호들과 같은 유사한 관련 오프셋 클록 신호들을 생성할 수 있다. 이러한 신호들은 ToF 측정들용으로 사용되게 된다. 당업자라면 동작 스킴에서 다른 클록 위상이나 그 이상의 클록 위상들을 사용하는 것을 또한 고려할 수 있는데, 클록 위상이 많으면 긴 측정 시간의 대가로 측정 정밀도가 높아지게 된다. 선택기(58)는 ToF 측정들을 위해 순차적으로 노드들(44, 45, 46, 47) 상에 제2 내지 제5 클록 신호들과 검출기 및 믹서 스테이지(200)의 믹서(29)의 입력 노드(42)를 접속하는 상기 4개의 위상 사이로 순차적으로 스위칭한다. 이러한 위치들 각각에서는, 선택기(58)가 예컨대 약 1 ms의 완화 시간 동안 접속 상태에 있게 할 수 있다.
하나의 신호 생성기는 또한 서로 다른 특정 주파수에서 셔터 안경, 무선 스피커들, 진공 청소기들, 드론들, 또는 원격 제어 기기들과 같은 다른 한 기기와 통신하는데 사용될 수 있는 다른 한 주파수의 신호들을 생성한다. 상기 다른 신호는 관찰된 씬을 조명하는 광학 엔진의 사각 뿔대(frustum)에 위치해 있는 기기를 제어하도록 정보를 반송(搬送)하는 방식으로 변조된다. 상기 조명 시스템은 씬 내의 기기에 신호를 제공하여 상기 씬 내의 기기를 제어하고, ToF 신호를 제공하여 제어하게 될 기기가 위치해 있을 수 있는 씬 상에서 거리 측정을 수행하는데 그 목적이 있다. 상기 조명 유닛 및 상기 기기 간의 상호작용은 일반적으로 단방향으로 이루어지는데, 예컨대 상기 조명 시스템이 단방향 신호를 제공하도록 커맨드들이 상기 조명 유닛으로부터 상기 기기로 전송된다.
상기 거리 측정 시스템은 적어도 하나의 센싱 유닛, 예컨대 상기 씬으로부터 반사된 광을 수용하기 위한 픽셀(31)을 부가적으로 포함한다. 이러한 센서로부터의 신호는 예컨대 상기 씬 내의 하나 이상의 기기들로부터 심도 정보 및 선택적으로는 임의의 다른 피드백 정보를 획득하도록 처리된다. 상기 신호의 처리를 위해, 처리 유닛이 제공된다. 따라서, 센서 또는 카메라, 조명 유닛, 수신기 유닛, 및 이들과 연관된 처리 유닛을 포함하는 전체 시스템, 및 상기 전체 시스템에 무선으로 정보를 제공하는 수단을 지니는 기기를 고려해 보면, 상기 시스템 및 상기 기기 간의 상호작용은 단방향 또는 양방향으로 이루어질 수 있다. 상기 신호 생성기들(43) 중 하나는 예컨대 임의의 공지된 수단, 예컨대 진폭, 주파수, 코드 변조에 의해 광신호 상에 정보를 부과하도록 제어기에 의해 제어될 수 있다. 상기 다른 신호도 또한 단방향성일 수 있는데, 다시 말하면 조명 유닛으로부터 다른 기기로만 향하게 된다. 상기 기기로부터의 신호는 예컨대 광학, 음파 또는 임의의 다른 타입의 무선 수신기에 의해 수신될 수 있다.
적합한 필터링에 의해, 상기 반사된 광에 존재하는 서로 다른 변조된 신호들 중 어느 하나나 모두가 추출될 수 있다. 예를 들면, 하나의 신호 생성기(43)는 상기 씬 내의 하나 이상의 기기들, 예컨대 셔터 안경의 동작을 결정하는 제어 신호를 생성할 수 있으며 이러한 신호는 상기 기기에서 수신된 신호로부터 필터링될 수 있다. 변형적으로는 별도의 수신기들이 각각의 주파수용으로 사용될 수 있다.
도 3을 다시 참조하면, 버퍼(50)는 씬(55), 다시 말하면 관심 영역 상에 집중되거나 넓은 시야를 지닐 수 있는 씬(55) 상에 자신의 광(51)을 방출하는 광원(49)을 구동시킨다. 상기 광은 센서 시스템들이 효율적이고, 사람의 눈으로 보이지 않으며 그리고 LED들과 같은 적합한 광원들이 이용가능한 범위 내에 있도록 가시 또는 비-가시 스펙트럼 범위, 예컨대 적외선 영역 내에 있는 것이 바람직할 수 있다. 이러한 광의 일부는 반사되어, 반사된 광(52)을 생성하게 된다. 이와 같이 반사된 광(52) 중 적어도 일부는 그 후 렌즈(56)와 같은 ToF 측정들을 위한 광학 집속 시스템에 도달하게 되고, 상기 렌즈(56)와 같은 광학 집속 시스템을 통해 상기 반사된 광 중 적어도 일부가 픽셀(31) 내의 검출기(28) 상에 이미지화되거나 집속되는데, 입사 부분은 반사된 '변조 광(modulated light; ML)(27)이라 지칭된다.
상기 광(52)의 일부는 종래의 수단, 다시 말하면 광학 센서 및 수신기 구조에 의해 다른 신호에 있는 정보를 추출하기 위한 광학 집속 시스템에 도달하게 될 수 있다.
간접 광(53) 및 직접 광(54)은 양자 모두가 TOF 측정용으로 의도되지 않은 보조 광원(30)으로부터 유래된 것들이며, 또한 상기 씬에 존재하게 되고, 상기 광학 집속 시스템(56)에 영향을 줌으로써 상기 검출기(28) 상에 집속된다. 이러한 광 중 일부는 검출기(28)에 진입하게 되는 부분은 배경 광(background light; BL)(26)이라 지칭되게 된다. BL을 생성하는 광원들(30)은 백열 등들, TL 등들, 태양 광, 주간 광, 원격 제어 광, 또는 상기 씬 상에 존재하고 TOF 측정을 위해 상기 광원(49)으로부터 발생하지 않은 다른 광이면 어떤 것이든지 포함한다.
ML(27) 및 BL(26)이 광검출기(28)에 영향을 주고, 상기 영향을 주는 BL(26) 및 ML(27)에 대한 광 유도 전류 응답들인 ML-전류 및 BL-전류를 각각 생성한다. 검출기(28)는 입력 노드(42) 상의 위상 시프트된 클록 신호와 상기 영향을 주는 BL(26) 및 ML(27)에 대한 전류 응답들을 혼합하기 위해 이러한 전류들을 후속의 혼합 수단, 예컨대 믹서(29)에 출력한다. 이러한 BL(26)은 TOF 측정들을 위해 수신된 ML(27)에 의해 유도된 ML-전류보다 큰 6 자리수(6 orders of magnitude)에 이르기까지의 BL-전류를 유도할 수 있다.
검출기 및 믹서 스테이지(200)를 형성하는 검출기(28) 및 믹서(29)는 또한 예를 들면 문헌 EP1513202A1에 기재되어 있는 바와 같이 하나의 단일 장치로서 구현될 수 있는데, 이 경우에는 광-생성 전하들이 혼합 생성 전류(mixing product current)을 즉시 생성하도록 혼합된다.
상기 검출기 및 믹서 스테이지(200)는 위상 시프트된 클록 신호들을 가지고 상기 영향을 주는 BL(26) 및 ML(27)에 대한 전류 응답들의 혼합 생성물들을 생성하게 되며 이러한 신호들은 예를 들면, 용량이 작게 유지되는 것이 바람직한 커패시터(25), 예컨대 주변 트랜지스터들의 기생 커패시턴스로 구현되는 적분기에 의해 노드(38) 상에서 적분된다. 적분시, 적분기 노드(38) 상에서의 믹서 출력 신호의 자동 리셋(automatic reset)이 수행된다. 이는 제1 및 제2 주파수들 양자 모두에 대해 수행된다.
이는, 노드(38) 상의 믹서 출력 신호가 기준값(Vref)에 이르게 될 때마다 노드(38) 상의 믹서 출력 신호가 자동으로 리셋됨으로써 포화 상태를 이루지 않게 하기 위해 예를 들면 리셋 스위치, 예컨대 리셋 트랜지스터(32)를 트리거하는 비교기(33)에 의해 구현될 수 있다.
첨부도면들에 예시되어 있지 않은 변형적인 실시예들에서는, 상기 적분기 노드(38) 상의 믹서 출력 신호의 자동 리셋이 다른 여러 방식으로 구현될 수 있다. 이들 중 한가지 방식은 커패시터(25)에 고정된 전하량을 추가하여 어느 정도의 복잡성의 가미를 희생으로 양호한 잡음 성능을 제공하도록 상기 리셋 스위치(32) 대신에 전하 펌프를 트리거하는 것이다.
믹서 출력 신호를 형성하는 혼합 생성물들은 적분기 노드(38)에서, 본 예에서는 선택기(58)로 예시된 변조 신호 교체 수단과 동기되는 순차적인 형태로 이용가능하다. 출력 구동기(24), 예컨대 버퍼는 출력 노드(23)에서 강한 출력 신호를 제공하도록 실질적으로 1인 전압 이득 및 전류 증폭을 제공한다.
필터링에 의해, 제1 주파수의 신호들 또는 제2 주파수의 신호들 중 어느 하나가 시야에 속한 대상으로부터 반사된 신호들로부터 추출될 수 있다. 이러한 신호들로부터 심도 측정들은 예를 들면 픽셀 단위로 획득된다. 이러한 심도 값들은 3D 이미지를 생성하는데 사용될 수 있다.
부가적인 실시예는 조명 시스템의 도움으로 씬 내의 기기에 정보를 제공/전송할 수 있는 시스템 및 방법에 관한 것이다.
부가적인 실시예는 상기 시스템들 중 어느 하나와 조합될 수 있는 조명 시스템의 구동 회로에 관한 것이다.
도 1에는 본 발명의 한 실시예에 따른 조명 시스템(1)이 도시되어 있다. 상기 시스템은 LED들, OLED들 따위와 같은 하나 이상의 광원(8) 및 상기 광원을 구동시키는 구동기 유닛(6)을 포함한다. 상기 광은 센서 시스템들이 효율적이고, 사람의 눈으로 보이지 않으며 LED들과 같은 적합한 광원들이 이용가능한 범위 내에 있도록 가시 또는 비-가시 스펙트럼 범위, 예컨대 적외선 영역 내에 있을 수 있다. 상기 구동기 유닛(6)은 부스터 회로(12) 및 스위칭 회로(10)를 포함할 수 있다. 상기 스위칭 회로(10)는 벽면 콘센트(mains), 배터리 또는 태양 전지와 같은 전원(7)으로부터 전력을 수신한다. 상기 스위칭 회로는 하나 이상의 신호 생성기들(4)로부터 제어 신호들을 수신하는 제어기(16)에 의해 제어된다. 상기 신호 생성기들(4)은 상기 스위칭 회로(10) 및 상기 부스터 회로(12)를 통해 상기 광원들(8)을 구동하는데 사용되는 다중 변조 신호를 생성한다. 상기 다중 변조 신호들은 펄스들 또는 파들과 같은 TOF 측정들에 적합한 신호들 및 상기 환경 내의 부가적인 기기를 구동시키거나 상기 환경 내의 부가적인 기기와 통신하는데 사용될 수 있는 신호를 포함할 수 있다. 이러한 후자의 신호는 그러한 부가적인 기기를 제어할 수 있는데, 예컨대 3D 시청 시스템에서 사용하기 위한 셔터 안경을 위한 신호 타이밍을 제공할 수 있다. 부가적인 실시예는 관련 회로를 포함하는, 씬 내의 기기에 의해 제공되는 정보를 수집하도록 적어도 하나의 수신기를 포함할 수 있는 시스템 및 방법에 관한 것이다.
여전히 부가적인 실시예는 씬 내의 기기와 단방향으로나 일방향으로 상호작용할 수 있는 시스템 및 방법에 관한 것이다. 일례는 3D 셔터 안경에 동기 신호를 제공하거나 조명 시스템 시야 내에 위치해 있는 스피커들에 오디오 신호를 제공하는 TV 디스플레이 기기 내에 내장된 거리 측정 유닛의 조명 시스템이다.
도 2에는 도 1의 시스템과 공통된 여러 구성요소를 지니는 본 발명의 한 실시예에 따른 부가적인 조명 시스템(1)이 도시되어 있다. 상기 시스템은 LED들, OLED들 따위와 같은 하나 이상의 광원들(8) 및 상기 광원들을 구동시키는 구동기 유닛(6)을 포함한다. 상기 광은 센서 시스템들이 효율적이고, 사람의 눈으로 보이지 않으며 LED들과 같은 적합한 광원들이 이용가능한 범위 내에 있도록 가시 또는 비-가시 스펙트럼 범위, 예컨대 적외선 영역 내에 있을 수 있다. 상기 구동기 유닛(6)은 부스터 회로(12) 및 스위칭 회로(10)를 포함할 수 있다. 상기 스위칭 회로(10)는 벽면 콘센트(mains), 배터리 또는 태양 전지와 같은 전원(7)으로부터 전력을 수신한다. 상기 스위칭 회로는 하나 이상의 신호 생성기들(4)로부터 제어 신호들을 수신하는 제어기(16)에 의해 제어된다. 상기 신호 생성기들(4)은 상기 스위칭 회로(10) 및 상기 부스터 회로(12)를 통해 상기 광원들(8)을 구동하는데 사용되는 다중 변조 신호를 생성한다. 상기 다중 변조 신호들은 펄스들 또는 파들과 같은 TOF 측정들에 적합한 신호들 및 상기 환경 내의 부가적인 기기를 구동시키거나 상기 환경 내의 부가적인 기기와 통신하는데 사용될 수 있는 신호를 포함할 수 있다. 이러한 후자의 신호는 그러한 부가적인 기기(20)를 제어할 수 있는데, 예컨대 3D 시청 시스템에서 사용하기 위한 셔터 안경을 위한 신호 타이밍을 제공할 수 있다. 그러나 이러한 실시예에서는 상기 부가적인 기기(20)와의 통신이 양방향으로 이루어지는 경우에 바람직하다. 상기 기기(20)에 의해 방출된 신호들은 무선 수신기일 수 있는 수신기(18)에서 수신된다. 초음파, 광학, 비-가시 광, 라디오 주파수 무선, 포인트-투-포인트 또는 확산 적외선은 상기 부가적인 기기(20) 및 상기 수신기(18) 간의 통신용으로 사용될 수 있는 임의의 유사한 통신 방법이다. 상기 부가적인 기기(20)에는 상기 조명 시스템(1)으로부터의 광을 위한 수신기와 아울러 상기 수신기(18)로의 전송을 위한 관련 신호들을 생성하기는 송신기 및 프로세서가 장착되어 있다. 상기 부가적인 대상(20)과 같은 대상들로부터 다시 반사된 광은 광학 ToF 수신기(14)에서 수신된다. 이러한 수신기는 거리 관련 값이 상기 조명 시스템(1)에 의해 방사된 광 및 수신기(14)에 수신된 씬 내의 대상들로부터 반사된 광 간의 시간 또는 위상 차들에 의해 결정될 수 있다.
본 발명의 임의의 실시예들의 옵션으로서, 도 2에서 참조번호 18과 같은 추가의 수신기가 상기 씬 내의 하나의 외부 기기 또는 각각의 외부 기기로부터의 신호를 수신하기 위해 제공될 수 있다. 상기 신호는 적어도 기기의 ID, 또는 이벤트들, 매개변수, 데이터(국부화)와 같은 다른 종류의 피드백을 배달하는 임의 종류의 신호일 수 있다. 그러한 통신은 광 신호일 필요가 없고 적합한 수신기가 상기 시스템(10)에서 이용가능한 경우라면 라디오, 사운드 등에 의해 달성될 수 있다.
따라서, 여전히 부가적인 실시예는 씬 내의 기기와 양방향으로 상호작용할 수 있는 시스템 및 방법에 관한 것이다. 일례는 입력 심도 맵들 상으로의 3D 이미지 처리를 사용하여 상기 씬 내의 기기를 검출 및 추적할 수 있는 거리 측정 시스템이다. 예를 들면, 추적된 기기는 컨테이너 상태에 대한 복귀 정보, 거리, 장애물들의 존재, 전력 공급 상태 … 등등을 제공하는 진공 청소기일 수 있다. 이러한 피드백 신호들의 도움으로, 특정 제어 복귀 동작들이 다음과 같이 생성될 수 있다. 예를 들자면, 완전 컨테이너 신호는 전산 시스템을 활성화시키고 상기 전산 시스템은 상기 거리 측정 장치를 구동하여 상기 진공 청소기가 예컨대 수리를 위해 자신의 도크(dock)로 되돌아가게 하는 제어 신호를 송신한다.
도 4에는 본 발명의 한 실시예에 따른 디스플레이 시스템(100)이 도시되어 있다. 상기 디스플레이 시스템은 본 발명의 유리한 실시예 중 단지 일례일 뿐이다. 상기 디스플레이 시스템은 텔레비전과 같은 디스플레이 기기(102)나 디스플레이(104)를 지니는 개인용 컴퓨터, 또는 예컨대 독립형 DVD 플레이어와 같은 광 디스크 재생 기기용 비디오 디스플레이 기기, 또는 홈 시어터 시스템, 또는 게임 콘솔 시스템을 포함한다. 특히 이러한 시스템들 중 어느 하나는 3D 이미지의 생성에 적합할 수 있다. 조명 유닛은 상기 씬 내로의 광 방출들(114)을 위한 것인 광 이미터(108)에 의해 제공된다. 상기 광은 센서 시스템들이 효율적이고, 사람의 눈으로 보이지 않으며 LED들과 같은 적합한 광원들이 이용가능한 범위 내에 있도록 가시 또는 비-가시 스펙트럼 범위, 예컨대 적외선 영역 내에 있는 것이 바람직할 수 있다. 상기 조명 유닛은 ToF 측정들 용으로 사용되지만, 상기 씬 내의 하나 이상의 기기들의 제어를 위한 별개의 변조 신호의 방출용으로도 사용될 수 있다. 상기 광 이미터는 예를 들면 적외선 이미터, 다시 말하면 비-가시 광 이미터일 수 있다. 이러한 이미터는 텔레비전의 원격 제어용으로 사용되는 이미터와 동일한 것일 수 있다. 수신기(106)가 또한 제공되는데, 예컨대 ToF 측정들 용으로 사용하게 될 수신기, 예컨대 상기 이미터는 상기 씬 내의 대상들(112) 및/또는 대상들 또는 기기들로부터 반사된 광(116)을 수광할 수 있다. 상기 수신기(106)는 또한 상기 씬 내의 활성 기기들(110) 중 어느 하나 또는 각각으로부터의 정보 신호들의 수신용으로 사용될 수 있으므로 별개의 수신기가 제공될 수 있다. 부가적으로는, 도 1 내지 도 3 중 어느 하나를 참조하여 위에서 일반적인 방식으로 설명된 바와 같은 상기 이미터(108)로부터의 광 통신에 의해 제어되는 셔터 안경과 같은 상기 씬 내에 위치해 있는 하나의 기기(110)가 존재한다.
다른 한 실시예에서는, 상기 시스템은 상기 씬 내의 기기와 양방향으로 상호작용할 수 있는데, 예를 들면 상기 기기는 컨테이너 상태, 거리와 같은 정보를, 라디오 주파수(RF) 무선, 포인트-투-포인트 또는 확산 적외선, 초음파와 같은 임의의 적합한 통신 매체를 통해 그러한 정보를 전송함으로써, 제공할 수 있는 진공 청소기일 수 있다. 상기 조명 시스템은 이러한 상태에 따른 정보를 제공할 수 있다. 다른 한 예는 상기 씬 내의 기기, 예컨대 핸드헬드 원격 제어기를 검출 및 추적하는 거리 측정 시스템이다. 상기 제어기는 정보의 제공용으로 사람에게 피드백 또는 표시를 주기 위한 진동기와 같은 피드백 기기를 지닌다. 상기 시스템은 예컨대 ToF 카메라 및 3D 이미지 생성에 의한 사람의 위치를 추적하고 상기 기기가 특정 위치에 이르게 되는 경우에 진동기가 진동하게 하는 정보를 제어기에 제공한다.
도 5에는 이러한 타입의 본 발명의 다른 한 실시예에 따른 디스플레이 시스템(100)이 도시되어 있다. 상기 디스플레이 시스템은 단지 본 발명의 유리한 용도 중 일례일 뿐이다. 상기 디스플레이 시스템은 텔레비전과 같은 디스플레이 기기(102)나 디스플레이(104)를 지니는 개인용 컴퓨터, 또는 예컨대 독립형 DVD 플레이어와 같은 광 디스크 재생 기기용 비디오 디스플레이 기기, 또는 홈 시어터 시스템, 또는 게임 콘솔 시스템을 포함한다. 특히 이러한 시스템들 중 어느 하나는 3D 이미지의 생성에 적합할 수 있다. 조명 유닛은 상기 씬 내로의 광 방출들(114)을 위한 것이고 상기 디스플레이(104)의 일부인 광 이미터(108)에 의해 제공된다. 바꾸어 말하면, 상기 디스플레이의 픽셀들 중 일부는 가시 또는 비-가시 광, 예컨대 사람에 의한 시청용으로 디스플레이되는 이미지와는 별개로 제어되는 적외선 광과 같은 광을 방출하도록 구성될 수 있다. 상기 조명 유닛은 ToF 측정들 용으로 사용되지만, 상기 씬 내의 하나 이상의 기기들의 제어를 위한 별개의 변조 신호의 방출용으로도 사용될 수 있다. 상기 광 이미터는 예를 들면 적외선 이미터, 다시 말하면 비-가시 광 이미터일 수 있다. 수신기(106)가 또한 제공되는데, 예컨대 ToF 측정들 용으로 사용하게 될 수신기, 예컨대 상기 수신기(106)는 상기 씬 내의 대상들(112) 및/또는 대상들 또는 기기들(110)로부터 반사된 광(116)을 수광할 수 있다. 상기 수신기(106)는 또한 상기 씬 내의 활성 기기들(110) 중 어느 하나 또는 각각으로부터의 정보 신호들의 수신용으로 사용될 수 있으므로 별개의 수신기(120)가 제공될 수 있다. 부가적으로는, 도 1 내지 도 3 중 어느 하나를 참조하여 위에서 일반적인 방식으로 설명된 바와 같은 상기 이미터(108)로부터의 광 통신에 의해 제어되는 셔터 안경과 같은 하나의 기기(110)가 존재한다.
도 6에는 본 발명의 다른 한 실시예에 따른 디스플레이 시스템(100)이 도시되어 있다. 상기 디스플레이 시스템은 단지 본 발명의 유리한 용도 중 일례일 뿐이다. 상기 디스플레이 시스템은 텔레비전과 같은 디스플레이 기기(102)나 디스플레이(104)를 지니는 개인용 컴퓨터, 또는 예컨대 독립형 DVD 플레이어와 같은 광 디스크 재생 기기용 비디오 디스플레이 기기, 또는 홈 시어터 시스템, 또는 게임 콘솔 시스템 또는 카메라를 포함한다. 특히 이러한 시스템들 중 어느 하나는 3D 이미지의 생성에 적합할 수 있다. 상기 디스플레이 시스템(100)은 ToF 카메라의 기능을 지닐 수 있다. 조명 유닛은 상기 씬 내로의 광 방출들(114)을 위한 것이고 상기 디스플레이(104)의 일부인 광 이미터(108)에 의해 제공된다. 그러므로, 상기 광 이미터(108)는 상기 디스플레이 내에 통합된다. 상기 광은 센서 시스템들이 효율적이고, 사람의 눈으로 보이지 않으며 LED들과 같은 적합한 광원들이 이용가능한 범위 내에 있도록 가시 또는 비-가시 스펙트럼 범위, 예컨대 적외선 영역 내에 있는 것이 바람직할 수 있다. 상기 조명 유닛은 ToF 측정들 용으로 사용되지만, 상기 씬 내의 하나 이상의 기기들(110)의 제어를 위한 별개의 변조 신호의 방출용으로도 사용될 수 있다. 상기 광 이미터(108)는 예를 들면 적외선 이미터, 다시 말하면 비-가시 광 이미터일 수 있다. 수신기(106)가 또한 제공되는데, 예컨대 ToF 측정들 용으로 사용하게 될 수신기, 예컨대 상기 수신기(106)는 상기 씬 내의 대상들(112) 및/또는 대상들 또는 기기들(110)로부터 반사된 광(116)을 수광할 수 있다. 상기 수신기(106)는 상기 디스플레이(104) 내에 통합되어 제공될 수 있다.
도 4 또는 도 5 또는 도 6의 실시예들에서는, 부가적인 수신기(120)가 상기 씬 내의 활성 기기들(110) 중 각각 또는 어느 하나로부터의 정보 신호들의 수신용으로 제공될 수 있다. 상기 수신기(120)는 임의의 적합한 무선 수신기 또는 예컨대 광학, 포인트-투-포인트 적외선, 라디오 주파수 무선, 초음파 또는 다른 통신 방법용 수신기들의 조합일 수 있다. 부가적으로는, 도 1 내지 도 3 중 어느 하나를 참조하여 위에서 일반적인 방식으로 설명된 바와 같은 상기 이미터(108)로부터의 광 통신에 의해 제어되는 하나의 기기(110)가 존재한다. 상기 대상(110)은 또한 양방향 통신을 이루도록 상기 수신기(120)에 적합한 신호들을 송신할 수 있는 이미터를 포함한다.
상기 실시예들 중 어느 한 실시예에서의 수신기(120 또는 106)는 씬 내의 기기와 양방향으로 상호작용할 수 있는 시스템 및 방법을 제공하도록 구성될 수 있는데, 상기 기기는 인간의 제스처 인식 기반 상호작용 시스템과 함께 사용하기 위한 것이다. 특히, 이러한 실시예는 (예컨대, IR 조명 유닛을 포함하는) 거리 측정 유닛에 의해 제공되는 데이터의 신호 처리의 도움으로 씬 내의 사용자의 추적을 가능하게 하는 시스템을 포함한다. 인간의 제스처 인식은 상기 신호 처리의 도움으로 언제라도 인식 및 결정되는 3D 공간에서 수족(手足; limb)의 동적 사용자 제스처 또는 정적 사용자 위치들을 인식하도록 모델링될 수 있는 사용자 골격 추적(user skeleton tracking)에 기반하여 이루어질 수 있다. 상기 씬 내의 기기는 사용자에 의해 조종되는 원격 제어 기기일 수 있으며, 트랜시버 및 정보 피드백 기능들을 지닐 수 있다. 상기 정보 피드백 기능들은 예를 들자면 진동기 유닛, 스피커, 광, 디스플레이 … 등등을 가지고 사용자에게 제공될 수 있다. 다시 말하면, 상기 피드백 유닛은 임의의 인간의 감각 응답에 관련된 피드백을 제공할 수도 있고, 상기 피드백 유닛은 상기 기기와 무선 접속되어 있는 상기 시스템의 감지된 속성, 예를 들자면 내장된 관성 감지 유닛들에 의해 제공된 가속도, 속도 및 상대 위치 데이터에 관련된 것일 수 있다. 그와 같은 바람직한 실시예에서는, 상기 시스템에 제공된 핸드헬드 기기 데이터는 상기 기기를 조정하는데 사용되는 사용자 또는 사용자의 부분(예컨대, 손, 특히 상기 부분이 상기 제스처 인식 시스템에 의해 가려지고 추적되지 않는 경우에)의 추적을 정밀화하는데 도움을 주도록 사용된다. 더욱이, 상기 기기를 조종하는 사용자의 위치 및 제스처에 따라, 거리 측정치들을 수집 및 처리하고, 상기 조명 유닛을 제어하는 시스템은 상기 조명 유닛을 통해, 사용자 관련 피드백 유닛들 중 적어도 하나를 활성화시키도록 조종을 받는 기기에 의해 수신되게 되는 피드백 제어 정보를 송신할 수 있다. 예를 들자면, 사용자는 상기 시스템에 의해 대기되는 제스처가 수행될 때마다 상기 조종을 받는 기기의 도움으로 진동을 경험하게 되거나, 상기 씬 내의 특정 영역을 벗어나 이동할 때와 같은 동작이 상기 시스템에 의해 허용되지 않는 경우에 사운드를 경험하게 된다. 양방향 피드백들은 특정 용도에 관련될 수 있으며 상황에 따라 결정될 수 있다.
본 발명의 실시예들은 상기 조명 유닛용 ToF 측정 시스템들에서 사용되는 특정한 근접 IR과 같은 특정 파장의 특정한 전자 방사를 이용한다. 상기 조명 유닛은 ToF 측정을 위한 적어도 하나의 주파수, 및 서로 다른 기기들을 어드레스할 수 있도록 매개변수를 통해 이루어져야 하는 적어도 다른 하나의 주파수와 같은 다수의 특정 변조 주파수들을 지니는 광을 방출한다. 상기 조명 유닛은 예컨대 상기 ToF 조명 시스템의 확산 광 투과를 제공할 수 있다. 이미터의 설계는 적합한 방식으로 상기 씬을 포함하도록 ToF 조명 원리에 따른다.
본 발명의 임의의 실시예들의 옵션으로서, 광을 방출한 상기 디스플레이 시스템에 따른 수신기를 지니는 상기 씬 내의 하나 또는 각각의 대상 또는 기기(110)는 또한 적어도 자신의 ID, 또는 이벤트들, 매개변수, 데이터(국부화)와 같은 다른 종류의 피드백을 배달하는 임의 종류의 신호를 제공하도록 이미터를 포함할 수 있다. 그러한 통신은 반드시 광신호일 필요가 없고 적합한 수신기가 상기 디스플레이 기기(102)에서 이용가능한 경우라면 공지된 라디오, 사운드 또는 공지된 임의의 적합한 방사측정 무선 통신 시스템에 의해 달성될 수 있다. 따라서, 대상 ID 인식은 전자 방사 수신을 통해 제공될 수 있다. 부가적인 예로서, 식별 모듈은 상기 ToF 수신기(106) 또는 다른 한 수신기를 이용하는 디스플레이 시스템(100)에 제공될 수 있으며 상기 씬의 이미지들을 생성 및 검토하고 이들을 예를 들면 컴퓨터 비전 대상 인식 방법으로 처리하여 대상 또는 기기(110)를 식별할 수 있다.
본 발명의 실시예들은 확산 조명 시스템들, 예컨대 다중 변조 ToF 조명 시스템 및 상호작용 방법을 사용하여 다중 변조, IR 방출 광을 이용하며, 상기 시스템은 적어도 2개의 변조 신호들을 내장하고 있는데, 이 경우에 제1 변조 신호는 거리 관련 매개변수, 예컨대 상기 ToF 원리로부터 공지된 바와 같은 거리 측정치에 연관되어 있으며, 적어도 하나의 제2 신호는 조명된 씬에 다른 한 신호를 반송하는데 그 목적이 있으며, 상기 다른 한 신호의 변조 주파수는 간섭을 회피하기 위해 상기 ToF 신호의 변조 주파수와는 다르고, 상기 신호는 상기 씬 내의 기기를 구동/제어하는데 그 목적이 있다.
본 발명의 실시예들은 상기 씬을 통한 기기의 움직임들을 제어하도록 예컨대 디스플레이 기기(102) 내의 국부화 모듈을 사용하여 상기 씬 내의 모바일 기기(110)와 같은 대상을 제어하는 방법을 제공한다.
본 발명의 실시예들은 카메라 기기에 내장된 양방향 상호작용을 위한 다중 변조 ToF 조명 방법 및 시스템을 포함한다. 상기 카메라 기기는 디스플레이 기기(102)에 내장될 수도 있고 상기 디스플레이 자체에나 신호 처리 수단을 지니는 다른 한 기기에 접속된 별개의 아이템일 수 있다.
따라서, 본 발명의 실시예들에서는 상기 TOF 변조 및 셔터 안경용 셔터 변조와 같은 대상 또는 기기(110)를 제어하도록 하는 변조 양자 모두를 동시에 사용하는 것을 허용하는 단일의 조명 유닛 내의 LED들과 같은 단일 세트의 광들을 지니는 단일의 조명 유닛의 변조 방법이 제공된다. 상기 광은 센서 시스템들이 효율적이고, 사람의 눈으로 보이지 않으며 LED들과 같은 적합한 광원들이 이용가능한 범위 내에 있도록 가시 또는 비-가시 스펙트럼 범위, 예컨대 적외선 영역 내에 있는 것이 바람직할 수 있다. 전형적으로는, IR LED들이 상기 조명 유닛에 사용된다. 그러한 LED 광들은 PMD용으로 사용됨으로써, ToF 시스템용으로 실현 가능하다. 상기 조명 시스템은 넓은 시야를 지님으로써 3D 텔레비전 셔터 안경과 같은 제어를 받게 될 기기가 수신 범위에 있게 할 수 있다. 충분한 전력이 한 세트의 LED들을 가지고 상기 조명 유닛에 제공되는 경우에, 이는 상기 씬으로부터 반사되는 충분한 광을 상기 TOF 수신기에서 수신하게 한다.
특정 예로서, 상기 대상 또는 기기(110)는 또한 제2 변조 신호를 반송하는 정보에 의해 제어될 수 있는 동작을 지니는 적어도 하나의 활성 상태의 전자(電子), 기계, 유압, 전기, 전자(電磁) 또는 광학 기기를 포함할 수 있다. 상기 ToF 조명 유닛으로부터 상기 기기에서 수신된 제2 신호는 복조될 수 있으며 상기 기기의 동작을 활성화 또는 변경하도록 하는 커맨드를 구동한다.
본 발명은 여러 분야에서 다양한 적용을 허용하며 위에 언급한 디스플레이 시스템에 한정되지 않는다. 예를 들면 조명 유닛, 광학 센서, 신호 생성기들 및 처리 엔진은 조명 기구, 예컨대 백열 램프들에 대해 통상적인 플러그 접속식, 나사 고정식 또는 바요네트(Bayonet)식 소켓들 또는 할로겐 램프들 또는 LED 실내 램프들 용으로 사용되는 바와 같은 2핀 소켓과 같은 표준 소켓 내에 끼어 맞춰질 수 있는 램프(도 7 참조) 내에 통합될 수 있다. 상기 광은 센서 시스템들이 효율적이고, 사람의 눈으로 보이지 않으며 LED들과 같은 적합한 광원들이 이용가능한 범위 내에 있도록 가시 또는 비-가시 스펙트럼 범위, 예컨대 적외선 영역 내에 있는 것이 바람직할 수 있다. 그러한 램프(200)는 예컨대 통합된 ToF 카메라의 형성을 위해 도 7a에 개략적으로 도시된 바와 같은 전력 접속부들(202, 204), 데이터 신호 접속부(206), 관련 전자기기와 통합된 ToF 센서(210) 및 신호 처리 수단(216)을 포함할 수 있다. 상기 램프는 또한 예컨대 통합된 ToF 카메라의 형성을 위해 메모리와 아울러 신호 및/또는 이미지 처리를 수행하기 위한 마이크로프로세서 또는 FPGA와 같은 처리 엔진을 예컨대 처리 수단(216) 내에 포함할 수 있다. 상기 메모리는 RAM과 같은 휘발성 메모리일 수 있으며 그리고/또는 예컨대 상기 처리 엔진 상에서의 실행을 위한 하나 이상의 프로그램들을 저장할 수 있는 비-휘발성 메모리일 수 있다. 그러므로, 이와 같은 변형된 램프는 표준 소켓 내에 끼어 맞춰질 수 있으며 상기 램프에 설치되어 있는 전력 공급원으로부터 조명 유닛 및 전자 기기에 전력이 공급될 수 있다. 상기 램프는 가시 스펙트럼의 LED들과 같은 점등 기기들과 아울러 변조 신호로 변조되는 IR LED들(208)과 같은 IR 점등 기기들과 같은 비-가시 스펙트럼의 LED를 포함할 수 있다. 상기 변조 신호들 중 하나는 예컨대 통합된 ToF 카메라와 함께 사용하기 위한 ToF 신호를 생성하는 것일 수 있다. 이러한 ToF 변조 신호는 비-가시, 예컨대 IR 광원들에 가해질 수 있다. 예를 들면 상기 램프 또는 광원은 IR 변조를 위한 하나 이상의 LED들 및 가시 광 방출을 위한 하나 이상의 LED들을 포함할 수 있다. 상기 ToF 변조 신호는 IR 변조를 위한 LED들에 가해질 수 있다. 옵션으로는, 쉴드(shield)들(208)은 LED들(208)로부터의 피드백을 수용기(210)로 안내하지 못하게 하도록 제공될 수 있다. 상기 램프의 조명 단부는 유리와 같은 투명 커버(214)로 덮여서 밀폐될 수 있다. 상기 램프(200)는 실온에 가까운 온도에서 동작하는 LED 기반 램프인 것이 바람직하므로 상기 램프에서의 열 생성은 상기 램프 내에 통합되어 있는 센서 및 전자기기에 거의 영향을 주지 않는다. LED는 또한 TOF 조명에 필요한 고주파수에서 변조될 수 있다.
도 7b에는 도 7a의 램프에 대한 변형예가 도시되어 있는데, 이 경우에 무선 통신 인터페이스(218)는 유선 접속부(206) 대신에 제공된다. 상기 무선 인터페이스는 근접장 통신(블루투스(Bluetooth), 와이파이(WiFi), 라이파이(LiFi) 등)를 위한 임의의 적합한 인터페이스 또는 3GPP, GSM, UMTS, CDMA 등등의 프로토콜과 함께 동작하는 것과 같은 장거리 무선 인터페이스일 수 있다. 상기 무선 인터페이스(218)는 네트워크 및 동일한 종류의 다른 램프 기기들과의 접속을 허용한다. 상기 램프들은 예를 들면 애드 혹(ad hoc) 네트워크 또는 메시(mesh) 또는 다른 종류의 근거리 통신 네트워크를 형성할 수 있다.
옵션으로는, 상기 광원은 피드백 정보로서 씬 내의 기기에 의해 제공될 수 있는 신호들을 수신 및 처리하도록 구성된 수단을 포함할 수 있다. 상기 씬 내의 기기는 ID와 같은 피드백 정보, 또는 이벤트들의 통지를 제공하는 것, 매개변수, 데이터(국부화, 상태)와 같은 다른 한 종류의 피드백을 적어도 상기 시스템(또는 사용자)에 배달하도록 임의 종류의 일부 신호들을 방출할 수 있다. 그러한 통신은, 광, 라디오, 사운드, 진동 등등의 사용들과 같은 무선 접속에 의해 달성될 수 있다. 이때, 상기 광원은 예를 들면 위에서 언급한 바와 같은 무선 신호들을 위한 통합된 수신기를 포함할 수 있다. 상기 시스템은 피드백을 제공하도록 하는 서로 다른 통신 수단들을 이용할 수 있는데, 예컨대 상기 TOF 조명 유닛을 구동하고 TOF 카메라 정보를 처리하는 시스템에 대한 그리고/또는 상기 씬 내의 사용자에 대한 임의의 수단에 의한 피드백이 존재할 수 있다.
그러한 램프 또는 램프들은 기기들의 제어에 있어서의 가정 또는 주거 목적을 위해서뿐만 아니라 감시를 위해 그리고 보안 목적을 위해 사용될 수 있다. 상기 램프는 위에 언급한 바와 같은 통합된 ToF 카메라를 포함할 수 있는데, 그 이유는 이러한 것이 룸(room)과 같은 공간에서의 사람들 또는 대상들 또는 로봇들의 움직임과 같은 행동을 검출하는데 사용될 수 있기 때문이거나, 그것이 동물들, 화재, 홍수, 연기 등등과 같은 다른 대상들을 검출하는데 사용될 수 있기 때문이다. 상기 사용된 광은 센서 시스템들이 효율적이고, 사람의 눈으로 보이지 않으며 LED들과 같은 적합한 광원들이 이용가능한 범위 내에 있도록 가시 또는 비-가시 스펙트럼 범위, 예컨대 적외선 영역 내에 있는 것이 바람직할 수 있다. 예컨대, 고주파수에서 변조되는 가시 광은 상기 광이 진행될 것이라고 예상될 때 감시용으로 매우 유리하다.
그러한 사람 또는 대상의 검출은 예컨대 룸 내의 기기의 제어를 위한 정보 신호를 반송(搬送)하는 변조된 제2 신호를 방출하도록 상기 변형된 램프를 트리거할 수 있다. 일례로서, 상기 기기는 제2 변조 신호를 반송하는 정보에 의해 제어될 수 있는 동작을 지니는 적어도 하나의 활성 상태의 전자(電子), 기계, 유압, 전기, 전자(電磁) 또는 광학 기기를 포함할 수 있다. 상기 ToF 조명 유닛으로부터 상기 기기에서 수신된 제2 신호는 복조될 수 있으며 상기 기기의 동작을 활성화 또는 변경하도록 하는 커맨드를 구동한다. 그러한 기기는 컴퓨터, 스프링클러(sprinkler), 히터, 팬과 같은 기기를 온(on) 상태로 스위칭하도록 예컨대 도어 또는 윈도우, 알람 시스템의 제어를 위한 것일 수 있다. 상기 램프가 점등을 위한 표준으로서 제공되는 전력 공급원을 지니기 때문에, 램프 보안 시스템은 상기 보안 시스템의 신속하고 경제적인 배치를 허용하도록 어떠한 여분의 케이블들도 공급될 필요가 없다. 그러므로, 이는 호텔들 또는 전시장들과 같은 건물들 내에서의 매스컴 또는 정치 이벤트와 같은 일시적인 보안 요건들에 유용하다.
가정 내의 전기 기기들을 서로 통합하는 홈 오토메이션 시스템들에서의 용도들이 발견될 수 있다. 이들은 건물 자동화와 아울러, 홈 엔터테인먼트 시스템들, 관엽 식물 및 마당 급수, 애완 동물 사료 주기, (만찬회들 또는 파티들과 같은) 서로 다른 이벤트들에 대한 분위기 "씬"들의 변경, 및 가정용 로봇들의 사용과 같은 가정 활동들의 제어를 포함한다. 상기 램프들은 개인용 컴퓨터에 의한 제어를 허용하도록 컴퓨터 네트워크를 통해 접속될 수 있으며, 네트워크로부터의 원격 액세스를 허용할 수 있다. 가정 환경과 정보 기술들을 갖춘 램프들의 통합을 통해, 시스템들 및 전기기기들은 편의, 에너지 효율, 및 안전 혜택의 결과를 초래하는 통합 방식으로 통신할 수 있다.
본 발명은 또한 게임들을 위한 방법들 및 시스템들에 적용된다. 예를 들면, 텔레비전과 같은 디스플레이 기기에는 상기 디스플레이 기기의 스크린에 접속되거나 내장된 전산 시스템, 상호작용 게임의 실행을 위한 상기 전산 시스템을 동작시키는데 제공되는 소프트웨어 애플리케이션이 제공될 수 있다. 도 1 내지 도 6 중 어느 하나를 참조하여 설명한 바와 같이, 상기 디스플레이 기기는 3D ToF 기반 이미징 시스템을 포함할 수 있다. 상기 디스플레이 기기는 상기 씬 내의 모바일 기기와 협동하도록 구성될 수 있다. 상기 기기는 상호작용 게임의 플레이어에 의해 사용될 수 있다. 변형적으로는 상기 모바일 기기는 IR 트랜시버 유닛을 포함하는 텔레비전 원격과 같은 하드웨어 원격 제어 시스템일 수 있다.
상기 ToF 기반 이미징 시스템에 그리고 상기 스크린에 접속되는 전산 시스템은 제스처 인식 시스템 및 상기 전산 시스템을 동작시키는 애플리케이션, 예컨대 상기 인식된 제스처들에 따라 디스플레이된 콘텐츠를 상황에 따라 구동시키기 위한 게임을 포함할 수 있다. 사용자는 제스처들을 수행함으로써 상기 전산 시스템과 상호작용할 수 있다. 사용자는 결과적으로 상기 제스처 인식 시스템에 의해 위치하게 될 수 있는 모바일 기기를 조종할 수 있다. 상기 시스템은 상기 IR 트랜시버에 적합한 제2 변조 신호의 도움으로 상기 ToF 기반 이미징 시스템의 조명 시스템을 통해 신호를 상기 모바일 기기에 송신함으로써 사용자와 상호작용할 수 있다.
일례로서, 상기 이동 기기는 또한 제2 변조 신호를 반송하는 정보에 의해 제어될 수 있는 동작을 지니는 적어도 하나의 활성 상태의 전자(電子), 기계, 유압, 전기, 전자(電磁) 또는 광학 기기를 포함할 수 있다. 상기 ToF 조명 유닛으로부터 수신된 제2 신호는 복조될 수 있으며 사용자가 특정 제스처를 학습하기 위한 애플리케이션에 관련하여 정확한 제스처를 수행할 때 예를 들자면 1s 동안 진동들을 활성화하도록 하는 커맨드를 구동한다.
지금까지 본 발명이 첨부도면들 및 위의 내용에서 구체적으로 예시 및 설명되었지만, 그러한 예시 및 설명은 예시적이거나 대표적인 것으로 간주하여야 하며 한정하는 것으로 간주하여서는 아니 되는데, 다시 말하면 본 발명은 개시된 실시예들에 국한되지 않는다. 상기 개시된 실시예들에 대한 다른 변형들은 첨부도면들, 위의 개시내용, 및 첨부된 청구항들을 검토함으로써 청구된 발명을 구현함에 있어서 당업자에 의해 이해 및 달성될 수 있다. 특정 수단들이 서로 다른 종속 청구항들에서 인용되어 있다는 단순한 사실은 이러한 수단들의 조합이 유리하게 사용될 수 없음을 나타내지 않는다. 청구항들에서의 참조부호들은 그 범위를 제한하는 것으로 해석되어서는 아니 된다.
본 발명은 다음과 같이 정의될 수 있다.
1. 기기와 함께 사용하기 위한 시스템에 있어서, 상기 시스템은 ToF 원리에 대한 씬을 조명하는 단일의 조명 유닛, 다중 변조 신호를 생성하고 상기 변조 신호를 상기 조명 유닛에 공급하는 신호 생성기로서, 상기 TOF 신호에 상응하는 적어도 하나의 변조 신호 및 상기 조명된 씬 내의 제1 대상에 의한 사용 또는 상기 조명된 씬 내의 상기 제1 대상의 동작의 제어를 위한 것인 적어도 다른 하나의 변조 신호를 지니는 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기를 포함하는, 시스템.
2. 기기와 함께 사용하기 위한 시스템에 있어서, 상기 시스템은 씬을 조명하기 위한 단일의 조명 유닛과 함께 사용하기 위한 센서 유닛을 포함하는 ToF 센서 장치로서, ToF 원리에 기반하여 상기 센서 유닛 및 상기 씬 내의 제1 대상 간의 거리에 관련된 값을 결정하는 수단을 포함하는 ToF 센서 장치, 및 다중 변조 신호를 생성하며 상기 신호를 상기 조명 유닛에 공급하는 신호 생성기로서, 상기 조명된 씬 내의 제2 대상에 의한 사용 또는 상기 조명된 씬의 동작의 제어를 위한 적어도 하나의 변조 신호를 지니는 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기를 포함하는, 시스템.
3. 항목 1에 있어서, 상기 시스템은, 씬을 조명하기 위한 단일의 조명 유닛과 함께 사용하기 위한 센서 유닛을 포함하는 ToF 센서 장치로서, ToF 원리에 기반하여 상기 센서 유닛 및 상기 씬 내의 제1 대상 또는 제2 대상 간의 거리에 관련된 값을 결정하는 수단을 포함하는 ToF 센서 장치를 부가적으로 포함하는, 시스템.
4. 항목 2 또는 3에 있어서, 상기 시스템은, 상기 조명 유닛과 함께 사용하며 상기 제1 대상 또는 상기 제2 대상과의 양방향 상호작용을 제공하는 양방향 상호작용 시스템을 부가적으로 포함하는, 시스템.
5. 항목 2 내지 4 중 어느 한 항목에 있어서, 상기 시스템은, 상기 제1 대상 또는 제2 대상으로부터 전송된 정보 신호를 수신하기 위한 수신기를 부가적으로 포함하는, 시스템.
6. 항목 2 내지 4 중 어느 한 항목에 있어서, 상기 시스템은, 상기 조명 유닛을 부가적으로 포함하는 디스플레이 스크린 내에 내장된 TOF 카메라를 부가적으로 포함하는, 시스템.
7. 항목 1 내지 6 중 어느 한 항목에 있어서, 상기 시스템은, 다중 변조를 제공하는 수단을 부가적으로 포함하는, 시스템.
8. 항목 2 내지 4 중 어느 한 항목에 있어서, 상기 시스템은, 단방향 상호작용을 위한 수단, 시스템 프로세스를 추적하고 커맨드들이 상기 씬 내의 추적된 대상에 전송되어야 할 때를 결정하기 위한 수단을 부가적으로 포함하는, 시스템.
9. 항목 2 내지 4 중 어느 한 항목에 있어서, 상기 시스템은, 단방향 상호작용을 위한 수단, 시스템 프로세스를 추적하고 커맨드들이 상기 씬 내의 추적된 대상에 의해 제공되는 정보에 대하여 상기 씬 내의 추적된 대상에 전송되어야 할 때를 결정하기 위한 수단을 부가적으로 포함하는, 시스템.
10. 항목 1 내지 9 중 어느 한 항에 있어서, 상기 시스템은 광원인, 시스템.
11. ToF 원리에 대하여 씬을 조명하기 위한 단일의 조명 유닛, 다중 변조 신호를 생성하고 상기 신호를 상기 조명 유닛에 공급하기 위한 신호 생성기로서, TOF 신호에 상응하는 적어도 하나의 변조 신호 및 상기 조명된 씬 내의 제1 대상에 의한 사용 또는 상기 조명된 씬 내의 상기 제1 대상의 동작의 제어를 위한 것인 적어도 다른 하나의 변조 신호를 지니는 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기를 포함하는 회로.
12. 씬을 조명하기 위한 단일의 조명 유닛과 함께 사용하기 위한 센서 유닛을 포함하는 ToF 센서 장치로서, ToF 원리에 기반하여 상기 센서 유닛 및 상기 씬 내의 제1 대상 간의 거리에 관련된 값을 결정하는 수단을 포함하는 ToF 센서 장치, 및 다중 변조 신호를 생성하며 상기 신호를 상기 조명 유닛에 공급하는 신호 생성기로서, 상기 조명된 씬 내의 제2 대상에 의한 사용 또는 상기 조명된 씬의 동작의 제어를 위한 적어도 하나의 변조 신호를 지니는 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기를 포함하는, 회로.
13. 항목 11에 있어서, 상기 회로는, 씬을 조명하기 위한 단일의 조명 유닛과 함께 사용하기 위한 센서 유닛을 포함하는 ToF 센서 장치로서, ToF 원리에 기반하여 상기 센서 유닛 및 상기 씬 내의 제1 대상 또는 제2 대상 간의 거리에 관련된 값을 결정하는 수단을 포함하는 ToF 센서 장치를 부가적으로 포함하는, 회로.
14. 항목 12 또는 13에 있어서, 상기 회로는, 상기 조명 유닛과 함께 사용하며 상기 제1 대상 또는 상기 제2 대상과의 양방향 상호작용을 제공하는 양방향 상호작용 시스템을 부가적으로 포함하는, 회로.
15. 항목 12 또는 13에 있어서, 상기 회로는, 상기 제1 대상 또는 제2 대상으로부터 전송된 정보 신호를 수신하기 위한 수신기를 부가적으로 포함하는, 회로.
16. 항목 11 내지 14 중 어느 한 항목에 있어서, 상기 회로는, 상기 조명 유닛을 부가적으로 포함하는 디스플레이 스크린 내에 내장된 TOF 카메라를 부가적으로 포함하는, 회로.
17. 항목 11 내지 16 중 어느 한 항목에 있어서, 상기 회로는, 다중 변조를 제공하는 수단을 부가적으로 포함하는, 회로.
18. 항목 12 내지 14 중 어느 한 항목에 있어서, 상기 회로는, 단방향 상호작용을 위한 수단, 시스템 프로세스를 추적하고 커맨드들이 상기 씬 내의 추적된 대상에 전송되어야 할 때를 결정하기 위한 수단을 부가적으로 포함하는, 회로.
19. 항목 12 내지 14 중 어느 한 항목에 있어서, 상기 회로는, 단방향 상호작용을 위한 수단, 시스템 프로세스를 추적하고 커맨드들이 상기 씬 내의 추적된 대상에 의해 제공되는 정보에 대하여 상기 씬 내의 추적된 대상에 전송되어야 할 때를 결정하기 위한 수단을 부가적으로 포함하는, 회로.
20. 기기와 함께 사용하는 방법에 있어서, 상기 방법은 단일의 조명 유닛을 사용하여 ToF 원리에 대하여 씬을 조명하는 단계, 다중 변조 신호를 생성하고 상기 신호를 상기 단일의 조명 유닛에 공급하는 단계로서, 적어도 하나의 변조 신호가 상기 TOF 신호에 상응하게 상기 조명 유닛에 제공되고, 적어도 다른 한 변조 신호가 상기 조명된 씬 내의 제1 대상에 의한 사용 또는 상기 조명된 씬 내의 제1 대상의 동작의 제어를 위한 정보 데이터를 지니는, 단계를 포함하는, 방법.
21. 기기와 함께 사용하는 방법에 있어서, 상기 방법은 조명 유닛에 의해 조명된 씬으로부터 반사된 광의 ToF 원리에 따른 센서 유닛을 사용하여 감지하는 단계, 상기 ToF 원리에 기반하여 상기 조명 유닛 또는 상기 센서 유닛 및 상기 씬 내의 제1 대상 간의 거리에 관련된 값을 결정하는 단계, 및 다중 변조 신호를 생성하며 상기 신호를 상기 조명 유닛에 공급하는 단계로서, 적어도 하나의 변조 신호는 상기 조명된 씬 내의 제2 대상에 의한 사용 또는 상기 씬 내의 상기 제2 대상의 동작의 제어를 위해 제공되는 단계를 포함하는, 방법.
22. 항목 20에 있어서, 상기 방법은, 씬을 조명하기 위한 단일의 조명 유닛에 의해 생성된 씬으로부터 반사된 ToF 원리에 따라 센서 유닛을 가지고 감지하는 단계, 및 ToF 원리에 기반하여 상기 조명 유닛 또는 상기 센서 유닛 및 상기 씬 내의 제1 대상 또는 제2 대상 간의 거리에 관련된 값을 결정하는 단계를 부가적으로 포함하는, 방법.
23. 항목 21 또는 22에 있어서, 상기 방법은, 상기 제1 대상 또는 상기 제2 대상과의 양방향 상호작용을 제공하는 단계를 부가적으로 포함하는, 방법.
24. 항목 21 내지 23 중 어느 한 항목에 있어서, 상기 방법은, 상기 제1 대상 또는 제2 대상으로부터 전송된 정보 신호를 수신하는 단계를 부가적으로 포함하는, 방법.
25. 항목 20 내지 24 중 어느 한 항목에 있어서, 상기 방법은, 상기 조명 유닛에 다중 변조 신호를 제공하는 단계를 부가적으로 포함하는, 방법.
26. 항목 21 내지 23 중 어느 한 항목에 있어서, 상기 방법은, 다중 변조를 제공하는 단계, 시스템 프로세스를 추적하고 커맨드들이 상기 씬 내의 추적된 대상에 전송되어야 할 때를 결정하기 위한 단계를 포함하는, 방법.
27. 항목 21 내지 23 중 어느 한 항목에 있어서, 상기 방법은, 단방향 상호작용을 제공하는 단계, 시스템 프로세스를 추적하는 단계 및 커맨드들이 상기 씬 내의 추적된 대상에 의해 제공되는 정보에 대하여 상기 씬 내의 추적된 대상에 전송되어야 할 때를 결정하는 단계를 부가적으로 포함하는, 방법.
28. 씬을 조명하기 위한 조명 유닛, 상기 광원 내에 합체되어 다중 변조 신호를 생성하고 상기 다중 변조 신호를 상기 조명 유닛에 공급하기 위한 신호 생성기로서, TOF 신호에 상응하는 적어도 하나의 변조 신호 및 상기 제1 변조 신호와는 다른 적어도 다른 한 변조 신호를 지니는 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기를 포함하는, 광원.
29. 씬을 조명하기 위한 조명 유닛, 상기 광원 내에 합체되어 다중 변조 신호를 생성하고 상기 다중 변조 신호를 상기 조명 유닛에 공급하기 위한 신호 생성기로서, TOF 신호에 상응하는 적어도 하나의 변조 신호를 지니는 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기 및 무선 통신 프로토콜에 동작하는 무선 신호를 전송하는 송신기를 포함하는, 광원.
30. 항목 28 또는 29에 있어서, TOF 카메라는 상기 광원 내에 합체되는, 광원.

Claims (19)

  1. 씬(55)을 조명하기 위한 단일의 조명 유닛(8, 49);
    다중 변조 신호를 생성하고 상기 다중 변조 신호를 상기 조명 유닛에 공급하기 위한 신호 생성기(4, 43)로서, 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기(4, 43);
    를 포함하는, 회로에 있어서,
    상기 조명 유닛은, ToF 신호에 상응하며 ToF 원리에 대하여 거리 관련 매개변수를 측정하도록 구성된 적어도 하나의 변조 신호 및 ToF 신호에 상응하는 상기 변조 신호의 변조와는 다른 변조를 지니며 상기 조명된 씬 내의 제1 대상의 동작을 제어하도록 상기 조명된 씬 내의 제1 대상에 정보를 제공하는 적어도 다른 하나의 변조 신호를 방출하는 것을 특징으로 하는, 회로.
  2. 제1항에 있어서, 상기 회로는,
    씬을 조명하기 위한 단일의 조명 유닛과 함께 사용하기 위한 센서 유닛(31)을 포함하는 ToF 센서 장치로서, ToF 원리에 기반하여 상기 센서 유닛 및 상기 씬 내의 제1 대상 간의 거리에 관련된 값을 결정하는 수단을 포함하는 ToF 센서 장치;를 부가적으로 포함하며, 상기 조명 유닛은, ToF 신호에 상응하는 상기 변조 신호의 변조와는 다른 변조를 지니고 상기 조명된 씬 내의 적어도 하나의 제2 대상의 동작을 제어하도록 상기 조명된 씬 내의 적어도 하나의 제2 대상에 정보를 제공하는 적어도 하나의 변조 신호를 방출하는 것을 특징으로 하는, 회로.
  3. 제1항에 있어서, 상기 회로는,
    씬을 조명하기 위한 단일의 조명 유닛과 함께 사용하기 위한 센서 유닛(31)을 포함하는 ToF 센서 장치로서, ToF 원리에 기반하여 상기 센서 유닛 및 상기 씬 내의 제1 대상 또는 제2 대상 간의 거리에 관련된 값을 결정하는 수단을 포함하는 ToF 센서 장치;를 부가적으로 포함하는, 회로.
  4. 제2항에 있어서, 상기 회로는,
    상기 조명 유닛과 함께 사용하며 상기 제1 대상 또는 상기 제2 대상과의 양방향 상호작용을 제공하는 양방향 상호작용 시스템을 부가적으로 포함하는, 회로.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 회로는, 조명 유닛(108)을 부가적으로 포함하는 디스플레이 스크린(104) 내에 내장된 ToF 카메라를 부가적으로 포함하는, 회로.
  6. 제2항 내지 제4항 중 어느 한 항에 있어서, 상기 회로는, 단방향 상호작용을 위한 수단, 시스템 프로세스를 추적하고 커맨드들이 상기 씬 내의 추적된 대상에 전송되어야 할 때를 결정하기 위한 수단을 부가적으로 포함하는, 회로.
  7. 기기와 함께 사용하는 방법으로서,
    상기 방법은,
    단일의 조명 유닛(8, 49)을 사용하여 씬(55)을 조명하는 단계;
    다중 변조 신호를 생성하고 상기 다중 변조 신호를 상기 단일의 조명 유닛에 공급하는 단계;
    를 포함하는, 방법에 있어서,
    상기 방법은,
    ToF 신호에 상응하며 ToF 원리에 대하여 거리 관련 매개변수를 측정하도록 구성된 적어도 하나의 변조 신호가 상기 조명 유닛에 제공되고, ToF 신호에 상응하는 상기 변조 신호의 변조와는 다른 변조를 지니는 적어도 다른 하나의 변조 신호가 상기 조명 유닛에 제공되며 상기 조명된 씬 내의 제1 대상의 동작을 제어하도록 상기 조명된 씬 내의 제1 대상에 정보를 제공하도록 구성된 것을 특징으로 하는, 방법.
  8. 제7항에 있어서, 상기 방법은,
    센서 유닛(31)을 포함하는 조명 유닛에 의해 조명된 씬으로부터 반사된 광을 ToF 원리에 따라 감지하는 단계;
    상기 ToF 원리에 기반하여 상기 센서 유닛 및 상기 씬 내의 제1 대상 간의 거리에 관련된 값을 결정하는 단계;
    를 부가적으로 포함하며,
    적어도 하나의 변조 신호는 상기 씬 내의 적어도 하나의 제2 대상의 동작을 제어하도록 상기 씬 내의 적어도 하나의 제2 대상에 정보를 제공하기 위해 방출되는, 방법.
  9. 제7항에 있어서, 상기 방법은,
    센서 유닛(31)을 포함하는 조명 유닛에 의해 생성된 씬으로부터 반사된 광을 ToF 원리에 따라 감지하는 단계; 및
    상기 ToF 원리에 기반하여 상기 센서 유닛 및 상기 씬 내의 제1 대상 또는 제2 대상 간의 거리에 관련된 값을 결정하는 단계;
    를 부가적으로 포함하는, 방법.
  10. 제8항에 있어서, 상기 방법은, 상기 제1 대상 또는 상기 제2 대상과의 양방향 상호작용을 제공하는 단계를 부가적으로 포함하는, 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 있어서, 상기 방법은, 단방향 상호작용을 제공하는 단계, 시스템 프로세스를 추적하는 단계 및 커맨드들이 상기 씬 내의 추적된 대상에 전송되어야 할 때를 결정하는 단계를 포함하는, 방법.
  12. 씬을 조명하기 위한 조명 유닛;
    광원 내에 합체되어 다중 변조 신호를 생성하고 상기 다중 변조 신호를 상기 조명 유닛에 공급하기 위한 신호 생성기(4)로서, 상기 다중 변조 신호를 상기 조명 유닛에 제공하도록 구성된 신호 생성기(4);
    를 포함하는, 광원에 있어서
    상기 조명 유닛은, ToF 신호에 상응하며 TOF 원리에 대하여 거리 관련 매개변수를 측정하도록 구성된 적어도 하나의 변조 신호 및 ToF 신호에 상응하는 상기 변조 신호의 변조와는 다른 변조를 지니는 적어도 다른 하나의 변조 신호를 방출하는 것을 특징으로 하는, 광원.
  13. 제12항에 있어서, 상기 광원은,
    무선 통신 프로토콜에 동작하는 무선 신호를 전송하는 송신기;
    를 부가적으로 포함하는, 광원.
  14. 제12항 또는 제13항에 있어서, ToF 카메라는 상기 광원 내에 합체되는 광원.
  15. 제3항에 있어서, 상기 회로는,
    상기 조명 유닛과 함께 사용하며 상기 제1 대상 또는 상기 제2 대상과의 양방향 상호작용을 제공하는 양방향 상호작용 시스템을 부가적으로 포함하는, 회로.
  16. 제15항에 있어서, 상기 회로는, 조명 유닛(108)을 부가적으로 포함하는 디스플레이 스크린(104) 내에 내장된 ToF 카메라를 부가적으로 포함하는, 회로.
  17. 제15항에 있어서, 상기 회로는, 단방향 상호작용을 위한 수단, 시스템 프로세스를 추적하고 커맨드들이 상기 씬 내의 추적된 대상에 전송되어야 할 때를 결정하기 위한 수단을 부가적으로 포함하는, 회로.
  18. 제9항에 있어서, 상기 방법은, 상기 제1 대상 또는 상기 제2 대상과의 양방향 상호작용을 제공하는 단계를 부가적으로 포함하는, 방법.
  19. 제18항에 있어서, 상기 방법은, 단방향 상호작용을 제공하는 단계, 시스템 프로세스를 추적하는 단계 및 커맨드들이 상기 씬 내의 추적된 대상에 전송되어야 할 때를 결정하는 단계를 포함하는, 방법.
KR1020147014305A 2012-08-30 2013-08-28 씬 내에 위치해 있는 전자 기기들을 구동시키기 위한 제어 수단을 지니는 tof 조명 시스템 및 tof 카메라 및 동작 방법 KR101620971B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12182440.3 2012-08-30
EP12182440.3A EP2703836B1 (en) 2012-08-30 2012-08-30 TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene
PCT/EP2013/067794 WO2014033157A1 (en) 2012-08-30 2013-08-28 Tof illumination system and tof camera and method for operating, with control means for driving electronic devices located in the scene

Publications (2)

Publication Number Publication Date
KR20140094580A KR20140094580A (ko) 2014-07-30
KR101620971B1 true KR101620971B1 (ko) 2016-05-13

Family

ID=46982426

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147014305A KR101620971B1 (ko) 2012-08-30 2013-08-28 씬 내에 위치해 있는 전자 기기들을 구동시키기 위한 제어 수단을 지니는 tof 조명 시스템 및 tof 카메라 및 동작 방법

Country Status (6)

Country Link
US (1) US10027898B2 (ko)
EP (1) EP2703836B1 (ko)
JP (2) JP6228547B2 (ko)
KR (1) KR101620971B1 (ko)
CN (1) CN103959091B (ko)
WO (1) WO2014033157A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380224B2 (en) * 2014-02-28 2016-06-28 Microsoft Technology Licensing, Llc Depth sensing using an infrared camera
US10011371B2 (en) * 2014-10-17 2018-07-03 Sony Corporation Control device, control method, and flight vehicle device
US9674415B2 (en) * 2014-12-22 2017-06-06 Google Inc. Time-of-flight camera system with scanning illuminator
CN106371101B (zh) * 2015-07-20 2019-08-16 北醒(北京)光子科技有限公司 一种智能测距及避障的装置
CN106501809A (zh) * 2015-09-06 2017-03-15 北醒(北京)光子科技有限公司 一种用于无人机、无人车和行走机器人等智能设备的红外测距及避障装置
JP6533450B2 (ja) * 2015-10-19 2019-06-19 医療法人社団皓有会 監視センサ装置
KR102496479B1 (ko) 2015-10-22 2023-02-06 삼성전자주식회사 3차원 카메라와 투과도 측정방법
EP3193190B1 (en) * 2016-01-15 2023-04-12 Sony Depthsensing Solutions N.V. A detector device with majority current and a circuitry for controlling the current
US10462452B2 (en) * 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
WO2017189905A1 (en) * 2016-04-27 2017-11-02 Tyco Fire & Security Gmbh Method and apparatus for detecting floods and spills using li-fi
JP7014150B2 (ja) * 2016-06-15 2022-02-01 ソニーグループ株式会社 撮影装置、撮影方法、プログラム
KR102586792B1 (ko) * 2016-08-23 2023-10-12 삼성디스플레이 주식회사 표시장치 및 그의 구동방법
JP2018059839A (ja) * 2016-10-06 2018-04-12 株式会社デンソー 距離測定装置
US10302764B2 (en) * 2017-02-03 2019-05-28 Microsoft Technology Licensing, Llc Active illumination management through contextual information
WO2018175131A1 (en) * 2017-03-22 2018-09-27 Gentex Corporation Display assembly incorporating an image sensor
CN110412607B (zh) * 2018-04-28 2021-12-03 思特威(上海)电子科技股份有限公司 具有高动态范围的tof像素电路及测距系统
US10630384B2 (en) 2018-06-13 2020-04-21 Infineon Technologies Ag Dual-mode optical devices for time-of-flight sensing and information transfer, and apparatus, systems, and methods utilizing same
US10713487B2 (en) 2018-06-29 2020-07-14 Pixart Imaging Inc. Object determining system and electronic apparatus applying the object determining system
JP7195093B2 (ja) * 2018-09-18 2022-12-23 直之 村上 テレビカメラの映す画像の距離を計測する方法
US20210341620A1 (en) * 2018-12-02 2021-11-04 Gentex Corporation SYSTEMS, DEVICES AND METHODS FOR MICRO-VIBRATION DATA EXTRACTION USING A TIME OF FLIGHT (ToF) IMAGING DEVICE
CN111989735B (zh) * 2019-03-21 2022-05-17 京东方科技集团股份有限公司 显示装置、电子设备及显示装置的驱动方法
TWI732424B (zh) * 2019-05-02 2021-07-01 大陸商廣州印芯半導體技術有限公司 具有距離感測功能的影像感測器及其操作方法
CN112153325A (zh) * 2019-06-28 2020-12-29 Oppo广东移动通信有限公司 门禁系统、移动终端、门禁组件、通信方法和存储介质
JP2021027525A (ja) * 2019-08-07 2021-02-22 ソニーセミコンダクタソリューションズ株式会社 通信装置および通信方法
CN111413671B (zh) * 2020-04-28 2023-11-07 苏州碧林威智能科技有限公司 一种基于LiFi技术的多PD定位方法及系统
CN111413673B (zh) * 2020-04-28 2023-09-12 苏州碧林威智能科技有限公司 一种基于LiFi技术的多LED发射端定位方法及系统
US20220345604A1 (en) * 2021-04-27 2022-10-27 Apple Inc. Camera integration for portable electronic devices
US11789352B2 (en) * 2021-11-01 2023-10-17 GM Global Technology Operations LLC Camera system laminated into glass using microsensor and lens
CN113997868B (zh) * 2021-11-15 2023-07-04 武汉华星光电技术有限公司 车载显示装置
US20230412907A1 (en) * 2022-05-20 2023-12-21 Sony Interactive Entertainment Inc. Near infrared (nir) transparent organic light emitting diode (oled) display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041721A (ja) 1999-07-30 2001-02-16 Asahi Optical Co Ltd 3次元画像検出装置
JP2003507780A (ja) 1999-08-17 2003-02-25 イーデーエム・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング・インフラロート・センソーレン 距離計による制御情報のデータ伝送
WO2005026774A1 (de) 2003-09-08 2005-03-24 Conti Temic Microelectronic Gmbh Umgebungsüberwachungssystem mit nachtsichteinheit und entfernungsmesseinheit
JP2008506927A (ja) 2004-06-25 2008-03-06 インストロ プレシジョン リミテッド 交通安全システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5534578A (en) 1978-09-02 1980-03-11 Nec Corp Coding communication system
JPH10213662A (ja) * 1997-01-31 1998-08-11 Mitsubishi Electric Corp 光学式車両感知装置
US6961092B1 (en) 1999-07-30 2005-11-01 Pentax Corporation Three-dimensional image capturing device
JP4428831B2 (ja) * 1999-07-30 2010-03-10 Hoya株式会社 3次元画像検出装置
US20010043266A1 (en) * 2000-02-02 2001-11-22 Kerry Robinson Method and apparatus for viewing stereoscopic three- dimensional images
DK1513202T3 (da) 2003-09-02 2010-05-10 Univ Bruxelles Detektor til elektromagnetisk stråling ved hjælp af en majoritetsstrøm
US7564537B2 (en) * 2004-07-30 2009-07-21 Robert Bosch Gmbh Mobile measuring system, and an operating method for such a mobile measuring system
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
US7855376B2 (en) * 2005-12-19 2010-12-21 Institut National D'optique Lighting system and method for illuminating and detecting object
US8157381B2 (en) * 2005-12-21 2012-04-17 International Business Machines Corporation Method to synchronize stereographic hardware to sequential color rendering apparatus
ATE514958T1 (de) * 2005-12-23 2011-07-15 Koninkl Philips Electronics Nv Benutzeroberfläche mit positionsbewusstheit
US20120208639A1 (en) * 2006-07-14 2012-08-16 Ailive Inc. Remote control with motion sensitive devices
DE102007004349A1 (de) * 2007-01-29 2008-07-31 Robert Bosch Gmbh Nachtsichtsystem, insbesondere für ein Fahrzeug, und Verfahren zum Erstellen eines Nachtsichtbildes
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
WO2009124601A1 (en) * 2008-04-11 2009-10-15 Ecole Polytechnique Federale De Lausanne Epfl Time-of-flight based imaging system using a display as illumination source
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
US20110001808A1 (en) * 2009-06-01 2011-01-06 Bit Cauldron Corporation Method of Stereoscopic Synchronization of Active Shutter Glasses
WO2010144478A2 (en) * 2009-06-08 2010-12-16 Reald Inc. Shutter-glass eyewear control
US8514269B2 (en) * 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US8803952B2 (en) * 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
JP5711962B2 (ja) 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
TW201235808A (en) * 2011-02-23 2012-09-01 Hon Hai Prec Ind Co Ltd System and method for controlling UAV to flight in predefined area
US9182491B2 (en) * 2011-05-06 2015-11-10 Waikatolink Limited Selective distance range imaging
US20130194395A1 (en) * 2011-06-28 2013-08-01 Nokia Corporation Method, A System, A Viewing Device and a Computer Program for Picture Rendering
US8830302B2 (en) * 2011-08-24 2014-09-09 Lg Electronics Inc. Gesture-based user interface method and apparatus
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041721A (ja) 1999-07-30 2001-02-16 Asahi Optical Co Ltd 3次元画像検出装置
JP2003507780A (ja) 1999-08-17 2003-02-25 イーデーエム・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング・インフラロート・センソーレン 距離計による制御情報のデータ伝送
WO2005026774A1 (de) 2003-09-08 2005-03-24 Conti Temic Microelectronic Gmbh Umgebungsüberwachungssystem mit nachtsichteinheit und entfernungsmesseinheit
JP2008506927A (ja) 2004-06-25 2008-03-06 インストロ プレシジョン リミテッド 交通安全システム

Also Published As

Publication number Publication date
EP2703836B1 (en) 2015-06-24
JP2017049234A (ja) 2017-03-09
US20150181099A1 (en) 2015-06-25
JP2015507173A (ja) 2015-03-05
JP6189504B2 (ja) 2017-08-30
US10027898B2 (en) 2018-07-17
CN103959091A (zh) 2014-07-30
WO2014033157A1 (en) 2014-03-06
CN103959091B (zh) 2016-06-15
JP6228547B2 (ja) 2017-11-08
EP2703836A1 (en) 2014-03-05
KR20140094580A (ko) 2014-07-30

Similar Documents

Publication Publication Date Title
KR101620971B1 (ko) 씬 내에 위치해 있는 전자 기기들을 구동시키기 위한 제어 수단을 지니는 tof 조명 시스템 및 tof 카메라 및 동작 방법
US9301372B2 (en) Light control method and lighting device using the same
US11330682B2 (en) Self aware lights that self-configure
WO2013175803A1 (ja) 情報通信方法
CN104919727B (zh) 信息通信方法、信息通信装置、以及记录介质
CN108700645A (zh) 用于随智能设备利用雷达的系统、方法和设备
US20150373310A1 (en) Lighting Device
CN110325896A (zh) 用于呈现虚拟对象的便携式设备及其方法
JP2010272521A (ja) 光源制御システム及びその制御方法
TWI702805B (zh) 對能夠自主移動的機器進行導引的系統和方法
TWI467958B (zh) 溝通頻率低於WiFi訊號頻率的遠端控制系統
JP2010257742A (ja) 照明システム
US20180054876A1 (en) Out of plane sensor or emitter for commissioning lighting devices
US20120105217A1 (en) Remote device and remote control system
JP3843321B2 (ja) 情報支援システム
KR102465643B1 (ko) 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
US20110273278A1 (en) System and Method for Transmitting Information
US10364946B1 (en) Smart bulb system
JP2017530468A (ja) ポインティングデバイスに基づくユーザインタフェースシステム
US11804006B2 (en) Enhanced vision system and method
KR101926734B1 (ko) 감지장치 및 감지장치를 통한 전자기기 제어 방법
Rajagopal et al. Demonstration abstract: How many lights do you see?
JP2020528646A (ja) 光源を介してデバイスの存在を伝えるためのシステム
TW201722168A (zh) 控制裝置及運作方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant