KR20150021918A - 조명 공간을 특징화하기 위한 센서 점등 시스템 및 방법 - Google Patents

조명 공간을 특징화하기 위한 센서 점등 시스템 및 방법 Download PDF

Info

Publication number
KR20150021918A
KR20150021918A KR1020147032597A KR20147032597A KR20150021918A KR 20150021918 A KR20150021918 A KR 20150021918A KR 1020147032597 A KR1020147032597 A KR 1020147032597A KR 20147032597 A KR20147032597 A KR 20147032597A KR 20150021918 A KR20150021918 A KR 20150021918A
Authority
KR
South Korea
Prior art keywords
space
light
illumination
sensor
array
Prior art date
Application number
KR1020147032597A
Other languages
English (en)
Other versions
KR102090483B1 (ko
Inventor
로버트 에프. 카를리케크
리차드 제이. 래드케
토마스 디. 씨. 리틀
팬킬 엠. 부탈라
리 지아
Original Assignee
렌슬러 폴리테크닉 인스티튜트
트러스티스 오브 보스턴 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렌슬러 폴리테크닉 인스티튜트, 트러스티스 오브 보스턴 유니버시티 filed Critical 렌슬러 폴리테크닉 인스티튜트
Publication of KR20150021918A publication Critical patent/KR20150021918A/ko
Application granted granted Critical
Publication of KR102090483B1 publication Critical patent/KR102090483B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10—Controlling the intensity of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/30—Driver circuits
    • H05B45/357—Driver circuits specially adapted for retrofit LED light sources
    • H05B45/3578—Emulating the electrical or functional characteristics of discharge lamps
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)

Abstract

변조 패턴으로 인코딩된 광을 방출시키기 위한 LED 광원들의 어레이, 센서들의 어레이 및 공간 특징화 유닛을 포함하는 조명 시스템이 본원에 개시된다. 센서들의 어레이는 오브젝트에 의해 산란되는 방출된 광을 수신한다. 각각의 센서는, 변조 패턴을 이용하여 오브젝트와 대응하는 광원 사이의 거리를 결정한다. 공간 특징화 유닛은 오브젝트의 존재를 나타내는 입면 지도를 발생시키기 위해 각각의 센서로부터의 거리를 이용한다.

Description

조명 공간을 특징화하기 위한 센서 점등 시스템 및 방법{SENSORY LIGHTING SYSTEM AND METHOD FOR CHARACTERIZING AN ILLUMINATION SPACE}
관련 출원들에 대한 상호 참조
본 출원은, 2012년 4월 20일자로 출원된, 발명의 명칭이 "SENSORY LIGHTING SYSTEM"인 미국 가출원 제61/687,239호의 이점에 관한 것이고 이에 대한 우선권을 주장하며, 그 전체 내용은 인용에 의해 본원에 포함된다.
연방정부가 후원하는 리서치에 관한 성명
본 발명은 National Science Foundation(승인 번호 제EEC-0812056호)으로부터의 승인에 의해 부분적으로 그리고 NYSTAR(승인 번호 제C090145호)로부터의 승인에 의해 부분적으로 지원되었다. 미국 정부는 본 발명에 대한 일정 권리들을 가질 수 있다.
발명의 분야
본 발명은, 조명에 대한 공간을 특징화하기 위한 조명 시스템들 및 방법들에 관한 것이다.
조명은 현재 전체 전기 에너지의 대략적으로 19%를 소모하며, 수많은 상업 공간들은 통상적인 사무실 건물의 전기 에너지 소모의 40%까지 소모할 수 있다. 점등 시스템(lighting system)들에 의해 소모되는 전기 에너지는 진보된 점등 제어 시스템들의 이용으로 35% 이상 감소될 수 있지만, 이러한 시스템들이 단기(개인용 점등 니즈) 및 더 긴 기간(인테리어 리디자인(interior redesign)) 변화 모두에 적절하게 적응하기 위해 빈번한 교정(calibration)을 요구하기 때문에, 이들 시스템들은 드물게 이용된다. 적외선 모션 센서들 및 초음파 센서들에 기초하는 현재 점등 제어는 점등 제어에 있어서의 한정된 사용일 수 있고, 점등 소스들이, 발생된 광에 의해 조명되는 공간 또는 오브젝트들을 볼 수 없을 수도 있기 때문에, 점등 시스템 그 자체는 맹목적(blind)일 수 있다. 몇몇 현재의 접근방식들은, 무엇이 그리고 또 언제 조명될 필요가 있는지에 대한 감각을 점등 시스템들에 제공하기 위해 카메라 시스템들을 이용할 수 있다. 그러나, 카메라 시스템들과 연관되는 프라이버시 우려(privacy concerns)가 존재할 수 있다. 적응형 점등 제어를 위한 현재 접근방식들은 또한, 대량의 비디오 정보를 프로세싱하는 것을 통해서 불필요한 복잡도를 발생시킬 수 있다.
본 발명의 일 양상에 따르면, 조명 시스템 및 조명을 위한 공간을 특징화하기 위한 방법이 제공된다. 조명 시스템은, 조명을 위한 공간에 배치되는 발광 다이오드(LED) 광원들의 어레이, LED 광원들의 어레이에 인접하는 센서들의 어레이, 및 공간 특징화 유닛을 포함한다. 각각의 광원은, 미리결정된 변조 패턴으로 인코딩된 광을 그 공간으로 방출하도록 구성될 수 있다. 복수의 LED 광원들 중에서 방출된 광은, 공간 내에서의 적어도 하나의 오브젝트에 의해 산란된다. 센서들의 어레이는 공간 내에서의 적어도 하나의 오브젝트로부터 산란된 광을 수신하도록 구성된다. 각각의 센서는, 수신된 산란된 광 내에서의 미리결정된 변조 패턴의 검출에 기초하여, 적어도 하나의 오브젝트와 대응하는 광원 사이의 거리를 결정하도록 구성된다. 공간 특징화 유닛은, 각각의 센서로부터의 거리를 수신하도록 그리고 그 공간의 입면 지도(elevation map)를 발생시키도록 구성된다. 입면 지도는, 그 공간 내에서의 적어도 하나의 오브젝트의 존재를 나타낸다.
도 1은, 조명 공간을 특징화하기 위한 예시적인 조명 시스템의 기능 블록도를 도시한다.
도 2는, 공간 내의 오브젝트들까지의 거리의 결정을 예시하는 조명 공간 내에서의 예시적인 조명의 투시도를 도시한다.
도 3은, 조명 공간을 특징화하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 4는, 입면 지도에 기초하여 조명 공간을 특징화하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 5a는, 사무실 환경의 예시의 이미지이다.
도 5b는, 본 발명의 일 실시예에 따른, 도 5a에 도시된 사무실 환경의 예시의 비행 시간(ToF) 이미지이다.
도 6은, 본 발명의 일 실시예에 따른, 도 5b에 도시된 ToF 이미지로부터 결정된 예시의 입면 지도이다.
도 7a, 도 7b, 도 7c, 도 7d 및 도 7e는, 본 발명의 일 실시예에 따른, 다양한 다수의 사람의 환경들에 대해 검출된 오브젝트들을 포함하는 예시의 입면 지도들이다.
도 8a, 도 8b, 도 8c 및 도 8d는, 본 발명의 일 실시예에 따른, 다양한 센서 공간들을 갖는, 도 7c에 도시된 입면 지도에 대한, 검출된 오브젝트들을 포함하는 예시의 입면 지도들이다.
도 9a 및 도 9b는, 본 발명의 일 실시예에 따른, 실제 사무실 환경의 입면 지도들에 대한 센서 공간의 기능으로서 에러 레이트 및 평균 에러의 예시의 그래프들이다.
도 10a 및 도 10b는, 본 발명의 일 실시예에 따른, 시뮬레이팅된 사무실 환경의 입면 지도들에 대한 센서 공간의 기능으로서 에러 레이트 및 평균 에러의 예시의 그래프들이다.
조명 공간을 특징화하기 위한 방법들 및 LED 광원들의 어레이를 포함하는 조명 시스템이 설명된다.
본 발명의 양상들은 조명을 위한 공간을 특징화하기 위한 예시적인 방법들 및 예시적인 조명 시스템을 포함한다. 조명 시스템은, 주어진 체적의 공간을 조명하는 것에 더해, 시간 변조된 데이터 신호(즉, 미리결정된 변조 패턴)조명을 인코딩하고, 그리고 조명 시스템에 걸쳐 분산된 널리-분포된, 낮은 픽셀-카운트 광 센서들의 네트워크를 통합하는 광원들의 어레이들을 포함할 수 있다. 조명 시스템은 실내 점등 또는 실외 점등에 이용될 수 있다. 센서들은, (시간 변조된 데이터 신호를 포함하는) 주어진 광원으로부터의 방출과 데이터 신호를 포함하는 광의 일부분의 복귀 사이의 시간을 측정할 수 있다. 광의 복귀된 부분은, 광원들의 어레이에 의해 조명된 공간 내의 오브젝트들의 하나 또는 그 초과의 표면으로부터 산란될 수 있다. 통상적으로 비행 시간(ToF; time-of-flight)으로 지칭되는 이러한 측정은, 조명된 공간 내에서 생물 및 미생물 오브젝트들의 입면 지도를 생성하기 위해 조명 시스템에 의해 이용될 수 있다. 조명 시스템은 입면 지도에 기초하여 조명된 공간의 특징들을 결정할 수 있다. 특징들은, 예를 들어, 조명된 공간의 프로파일에서의 변화들을 모니터링하여 검출하는데 이용될 수 있다. 이 특징들은, 예를 들어, (에너지 보존을 위해서와 같은) 점등 제어, 점유 모니터링(occupant monitoring), 안전 기능들(safety functions), 보안 기능들(security functions)을 위해 이용될 수 있다.
도 1을 참조하면, 예시적인 조명 시스템(100)의 기능 블록도가 도시된다. 조명 시스템(100)은, (본원에서 어레이(101)로서 지칭되는) LED 광원들의 어레이(101), (본원에서 센서 어레이(102)로서 지칭되는) 센서들의 어레이(102), 공간 특징화 유닛(103), 조명 컨트롤러(104) 및 저장소(105)를 포함할 수 있다. 조명 시스템(100)은, 선택적인 사용자 인터페이스(106) 및 선택적인 디스플레이(107) 중 하나 또는 그 초과를 포함할 수 있다. 어레이(101), 센서 어레이(102), 공간 특징화 유닛(103), 조명 컨트롤러(104), 저장소(105), 선택적인 사용자 인터페이스(106) 및/또는 선택적인 디스플레이(107)가 데이터 및 제어 버스(미도시)를 통해서 커플링될 수 있다.
어레이(101)는, (또한, 본원에서 조명 공간으로서 지칭되는) 공간을 조명하기 위해 공간 내에 배열된 복수의 LED 광원들(114)(도 2)을 포함할 수 있다. 예를 들어, 도 2는, 공간(120)을 균일하게 조명하기 위해 조명 공간(120)의 천장에 인접하는 2-차원 어레이로서 균일하게 배치된 광원들(114)을 예시한다. 광원들(114)은 균일한 2-차원 어레이에 배열되는 것으로서 도 2에 예시되지만, 광원들(114)이 불균일한 어레이에 배열될 수도 있고, 그 어레이는 1차원 어레이 또는 3차원 어레이일 수 있다는 것이 이해된다. 광원들(114)의 어레인지먼트는 조명 공간의 물리적 특징들 및 원하는 조명 특징들에 의존할 수 있다는 것이 인식될 수 있다. 일반적으로, 광원(114)은, 조명 공간을 조명하기 위해 임의의 적합한 공간에 의해 분리될 수 있다. 광원들(114)은, 예를 들어, 약 60㎝ 내지 약 2m 사이로 이격될 수 있다(그러나, 이에 한정되지 않음).
광원(114)은, 적어도 하나의 원하는 파장으로 광을 방출할 수 있는 임의의 적합한 다이오드를 포함할 수 있다. 광원(114)이 발광 다이오드와 관련하여 본원에 설명되지만, 광원(114)은 또한 반도체 레이저 다이오드를 포함할 수 있다. 일 실시예에 따르면, 광원(114)으로부터 방출된 광의 파장은, 조명 공간을 특징화하기 위해 대응하는 센서(108)에 의해 직접 이용될 수 있다. 다른 실시예에 따르면, 광원들(114) 중 적어도 하나는, 예를 들어, 형광체 변환(phosphor conversion)을 이용하여 적어도 하나의 다른 파장으로 변환되는 자신의 파장의 일부를 가질 수 있다. 형광체들에 의해 방출된 하나 또는 그 초과의 파장들은 대응하는 센서(108)에 의해 이용될 수 있다.
광원들(114)은 공간을 명목상으로(nominally) 균일하게 조명하도록 설계된 스팟(spot) 광원들 및 플러드(flood) 광원들을 포함할 수 있다. 예시적인 실시예에서, 각각의 광원(114)은, 광원(114)에 의해 조명된 오브젝트들로부터(예를 들어, 도 2의 사람(121) 및 무생물 오브젝트(122)로부터) 산란된 광을 수집하는 비교적 좁은 필드의 뷰(즉, 광이 통합되는 입체각(solid angle))를 갖는 단일 하향식(downward-looking) 컬러 또는 거리 센서(108)와 페어링될 수 있다.
다른 예시적인 실시예에 따르면, 광원들(114)은 LED 기반 패널 광들을 포함할 수 있다. 본원에 이용된 바와 같이, 패널 광은, 형광 고정구(fluorescent fixture)의 광학적 성능을 모방하는 임의의 LED 고정구 설계이다. 스팟 광원 또는 플러드 광원의 어레이와 유사하게, 패널 광들은 하향식(downward-looking) 고속 센서들(108)을 포함할 수 있거나 또는 그에 인접할 수 있다.
어레이(101) 내의 광원들(114)은, 조명 컨트롤러(104)를 통해서 미리결정된 변조 패턴에 의해 변조되도록 구성될 수 있다. 어레이(101) 내의 개별적인 광원들(114)의 동작(예를 들어, on/off 동작, 광 강도 동작 등)이 또한 조명 컨트롤러(104)에 의해 제어될 수 있다. 따라서, 어레이(101)는, 조명 공간을 조명하기 위해 광을 방출할 수 있고, 또한 방출된 광을 변조할 수 있다. 예를 들어, 미리결정된 변조 패턴들은 직교 그레이 코드들(또는 임의의 다른 적합한 직교 패턴)을 이용하여 발생된 on 및 off 패턴들의 타임 시퀀스들을 포함할 수 있다. 다른 예시로서, 출력 광속(광의 강도)이 원하는 주파수에서 2개의 레벨들 사이에서 스위칭될 수 있다. 추가적인 예시로서, 출력 광속은 정현파 패턴(sinusoidal pattern)을 발생시키기 위해 미리결정된 주파수의 스케일링된 코사인 신호로 변조될 수 있다. 일반적으로, 시간이 경과함에 따른 평균적인 광속은 조명을 제공할 수 있다. 변조의 주파수는 분명하게(unambiguously) 측정될 수 있는 거리들의 범위를 결정할 수 있다. 센서(108)에 의해 발생된 산란된(반사된) 패턴과 방출된 패턴 사이의 왕복 운동(round trip)에 의해 야기되는 위상 시프트는 거리 메트릭을 제공할 수 있다.
예시의 실시예에 따르면, (개별적인 광원(114)과 연관된 센서(108)가 대응하는 미리결정된 변조 패턴을 검출하도록) 각각의 광원(114)은 상이한 미리결정된 변조 패턴들에 의해 변조될 수 있다. 다른 예시의 실시예에 따르면, 하나 초과의 광원(114)이 동일한 미리결정된 변조 패턴에 의해 변조될 수 있다. 예를 들어, 서로로부터 충분한 거리에 있는 (예를 들어, 방을 가로지르는) 광원들(114)은 동일한 패턴에 의해 변조될 수 있다.
예시적인 실시예에 따르면, 광원(114)은 가시 스펙트럼 내에서 파장을 방출하기 위한 모노크로매틱(monochromatic) LED 광원을 포함할 수 있고, 여기서, 파장은 약 400㎚ 내지 약 800㎚ 사이이다(그러나, 이에 한정되지 않음). 다른 실시예에 따르면, 광원(114)은 자외선(UV) LED 광원들 또는 적외선(IR) 광원들 중 적어도 하나를 포함할 수 있다. 이에 따라, 광원(114)은 약 220㎚ 내지 약 1,600㎚ 사이(그러나, 이에 한정되지 않음)의 파장을 가질 수 있다.
다른 예시적인 실시예에 따르면, 광원(114)은 폴리크로매틱(polychromatic) 광원(즉, 멀티컬러링된 광원)을 포함할 수 있다. 예를 들어, 통상적으로 3개의 파장들이 백색광을 발생시키는데 이용된다. 파장들은, 약 ±20㎚까지의 변화를 갖는, 약 470㎚(즉, 청색), 약 525㎚(즉, 녹색) 및 약 620㎚(즉, 적색)을 포함할 수 있다. 전 스펙트럼(fuller spectrum) 점등을 위해, 약 585㎚(즉, 황색), 약 420㎚(즉, 군청색(deep blue)), 약 650㎚(즉, 진홍색), 약 500㎚(즉, 시안) 및/또는 약 550㎚(즉, 짙은 녹색)을 포함하는(그러나, 이에 한정하지 않음) 추가적인 파장들이 부가될 수 있다.
예를 들어, 멀티컬러링된 광원은 상이한 파장들을 갖는 복수의 모노크로매틱 LED들을 포함할 수 있다. 광원에서의 개별적인 컬러들은, 조명 컨트롤러(104)를 통해서 독립적으로 변조될 수 있다. 이 실시예에서, 하나 또는 그 초과의 센서들(108)(각각은 모노크로매틱 소스들 중 하나 또는 그 초과의 변조된 신호를 추적할 수 있음)은 조명된 공간의 대략적인(coarse) 3D 지형적(topographic) 컬러 맵을 생성하는데 이용될 수 있다. 컬러 맵핑에 의해 제공되는 추가적인 정보는, 센서(108)로 다시 광을 산란시키는 오브젝트의 스펙트럼 반사율에서의 차이들에 대해 보상함으로써, (센서 어레이(102)에 의한) ToF 거리 맵핑 기능의 해상도를 개선시킬 수 있다. 따라서, (센서 어레이(102)에 의한) 감지를 위해 개별적인 파장들을 변조함으로써, 조명 시스템(100)은 컬러에 의해 개선된 공간 해상도를 제공할 수 있다.
센서 어레이(102)는 어레이(101)의 광원들(114)(도 2)에 대응하는 복수의 센서들(108)을 포함할 수 있다. 센서들(108)은, 광원들(114)의 일부로서 형성될 수 있거나, 또는 광원들(114)에 인접하여 배열될 수 있다.
예시적인 실시예에 따르면, 어레이(101)에서의 각각의 광원(114)은 대응하는 센서(108)와 페어링될 수 있다. 다른 실시예에 따르면, 어레이(101) 내의 다른 광원들(114)은 변조되지 않을 수도 있으면서, 광원들(114)의 일부가 대응하는 센서(108)(예를 들어, 도 2에 도시됨)와 페어링될 수 있다. 또 다른 실시예에 따르면, 하나 초과의 광원(114)은 대응하는 센서(108)와 페어링될 수 있다. 예를 들어, 이하 추가로 설명된 바와 같이, 동일한 미리결정된 변조 패턴을 갖는 2개의 광원들(114)이 센서(108)와 페어링될 수 있다.
센서 어레이(102)에서의 센서들(108)의 공간은 (이하 추가로 설명되는) 입면 지도의 원하는 해상도에 따라 선택될 수 있다는 것이 이해될 수 있다. 예를 들어, 센서 공간은, 공간 내에서 오브젝트들의 존재를 나타낼 수 있는 축소된 해상도 맵을 제공하도록 선택될 수 있지만, 그 공간 내에서 (사람의 아이덴티티와 같은) 오브젝트들에 관한 세부사항들을 포함하지는 않을 수도 있다. 축소된 해상도는, 입면 지도에 의해 캡쳐된 개개의 프라이버시를 지키는 것을 원할 수도 있다. 예시적인 실시예에서, 센서 공간은, 약 10㎝ 내지 약 60㎝를 포함한다(그러나, 이에 한정되지 않음). 예시의 실시예에 따르면, 센서 공간에 대한 최적의 범위는, 성능에 대한 프라이버시 대 최소 해상도(즉, 그 공간 내에서의 오브젝트들의 존재를 나타낼 수 있음)의 연구에 기초하여 결정될 수 있다.
검출기(108)는 ToF 검출기(109) 및 거리 계산기(110)를 포함할 수 있다. ToF 검출기(109)는, 방출된 광이 대응하는 광원(114)으로부터 (도 2의 사람(121)과 같은) 오브젝트로 그리고 다시 센서(108)로 이동하는데 걸리는 시간을 측정할 수 있다. 예를 들어, 도 2는 공간(120) 내에서의 센서들(108)과 오브젝트들(예를 들어, 사람(121) 및 무생물(122)) 사이의 ToF 방사선들(115)을 예시한다. ToF 방사선들의 지속기간은, 공간(120) 내에서의 광원(114)과 오브젝트들 사이의 거리에 관련된다. 도 2에서, 센서(108)는 실질적으로 광원(114)과 동일한 위치에 있는 것으로 가정된다. ToF는 광원(114) 및 센서(108)의 위치들 사이의 임의의 차이에 대해 조절될 수 있다는 것이 이해된다.
예시적인 실시예에 따르면, ToF 검출기(109)는 ToF를 측정하기 위해 낮은-픽셀-카운트 이미지 센서(예를 들어, 약 3x3 픽셀들 내지 약 200x200 픽셀들)를 포함할 수 있다. ToF 검출기(109)는, 예를 들어, ToF를 결정하기 위해 미리결정된 변조 패턴(예를 들어, 패턴의 위상 시프트)의 각도(angular) 및/또는 일시적 서명들을 해결할 수 있다.
거리 계산기(110)는, ToF 검출기(109)로부터 ToF 측정을 수신할 수 있고, 광원(114)으로부터 (사람(121)과 같은) 오브젝트로의 거리를 결정할 수 있다. 거리는, 예를 들어, 방출된 광의 왕복 운동에 의해 결정될 수 있다.
미리결정된 변조 패턴은, 조명 공간을 특징화하기 위해, 주기적으로, 연속적으로, 또는 임의의 시간 기간 동안, 어레이(101)에 의해 방출될 수 있다. 센서 어레이(102)는, 선택적으로, 미리결정된 변조 패턴의 방출과 ToF 측정을 동기화하기 위해, 조명 컨트롤러(104)에 의해 제어될 수 있다.
다른 실시예에 따르면, 센서 어레이(102) 및 (조명 컨트롤러(104)를 통한) 어레이(101)는 클록 발생기(미도시)로부터의 클록 신호에 의해 동기화될 수 있다.
공간 특징화 유닛(103)은, 센서 어레이(102)의 각각의 센서(108)로부터 거리 정보를 수신할 수 있고, 조명 공간을 나타내는 특징화 출력을 생성할 수 있다. 특징화 출력은, 조명 컨트롤러(104)를 통해 어레이(101)에 의해 조명을 제어하는데 이용될 수 있다. 특징화 출력은 또한, 선택적인 디스플레이(107) 상에 표시될 수 있거나, 또는, 예를 들어, 글로벌 네트워크(즉, 인터넷)를 통해 원격의 위치에 송신될 수 있다. 또한, 특징화가 센서 어레이(102)로부터 원격의 위치에서 결정될 수 있도록, 공간 특징화 유닛은 센서 어레이(102)에 원격으로 커플링될 수 있다는 것이 이해된다.
공간 특징화 유닛(103)은, 입면 지도 발생기(111), 오브젝트 검출기(112) 및 공간 프로파일 발생기(113)를 포함할 수 있다. 입면 지도 발생기(111)는, 센서 어레이(102)로부터 거리 정보를 수신할 수 있고, 조명 공간의 입면 지도를 발생시킬 수 있다. 입면 지도는 조명 공간 내에서의 하나 또는 그 초과의 오브젝트들의 존재를 나타낼 수 있다. 입면 지도 발생기(111)는 도 3 및 도 4를 참조하여 이하 추가로 설명된다.
오브젝트 검출기(112)는, 입면 지도 발생기(111)로부터 입면 지도를 수신할 수 있고, 그 입면 지도가 하나 또는 그 초과의 오브젝트들을 포함할 수 있는지 여부를 결정할 수 있다. 오브젝트 검출기(112)는 또한, 오브젝트들의 위치들, 오브젝트들이 생물인지 또는 무생물인지의 여부, 오브젝트들의 움직임 또는 오브젝트들의 포즈(예컨대, 서 있거나 또는 앉아 있음) 중 적어도 하나를 결정할 수 있다. 오브젝트 검출기(112)는 도 4를 참조하여 이하 추가로 설명된다.
공간 프로파일 발생기(113)는, 오브젝트 검출기(112)로부터 오브젝트 정보를 수신할 수 있고, 조명 공간의 프로파일을 업데이트할 수 있다. 예를 들어, 조명 공간에서의 새로운 사람의 검출 또는 룸 내에서의 생물 오브젝트의 미검출은 프로파일이 업데이트되게 할 수 있다. 이에 더해, 프로파일에서의 변화들은, 예를 들어, 선택적인 디스플레이(107)에 특징화 출력을 트리거할 수 있다. 예를 들어, 이전에 점유되지 않았던 조명 공간 내에서 사람이 검출되면, 선택적인 디스플레이(107)에 (보안 목적을 위해서와 같은) 경보가 제공될 수 있다.
공간 특징화 유닛(103)은, 어레이(101), 센서 어레이(102), 조명 컨트롤러(104), 선택적인 사용자 인터페이스(106) 및 선택적인 디스플레이(107) 중 하나 또는 그 초과의 동작을 제어하도록 구성될 수 있다. 대안적으로, 별도의 컨트롤러(미도시)가 조명 시스템(100)의 컴포넌트들의 동작을 제어하는데 이용될 수 있다. 공간 특징화 유닛(103)은, 예를 들어, 로직 회로, 디지털 신호 프로세서, 마이크로컨트롤러 또는 마이크로프로세서를 포함할 수 있다.
조명 시스템(100)은 저장소(105)를 포함할 수 있다. 저장소(105)는, 어레이(101), 센서 어레이(102), 공간 특징화 유닛(103), 조명 컨트롤러(104), 선택적인 사용자 인터페이스(106) 및/또는 선택적인 디스플레이(107)에 대한 하나 또는 그 초과의 값들을 저장할 수 있다. 예를 들어, 저장소(105)는, 조명 컨트롤러(104)에 대한 미리결정된 변조 패턴들, 센서 어레이(102)에 의해 결정된 거리들, 입면 지도들, 검출된 오브젝트들 및/또는 프로파일 정보를 저장할 수 있다. 저장소(105)는, 예를 들어, 랜덤 액세스 메모리(RAM), 자기 디스크, 광학 디스크, 플래시 메모리 또는 하드 드라이브를 포함할 수 있다.
조명 시스템(100)은, 조명 시스템(100)을 동작시키기 위한 선택적인 사용자 인터페이스(106), 예를 들어, 포인팅 디바이스, 키보드 및/또는 디스플레이 디바이스를 포함할 수 있다. 광학 디스플레이(107)는, 입면 지도, 검출된 오브젝트들, 프로파일 정보 또는 특징화 정보 중 적어도 하나를 제시할 수 있는 임의의 적합한 디스플레이 디바이스를 포함할 수 있다. 선택적인 사용자 인터페이스(106) 및 선택적인 디스플레이(107)가 별도의 디바이스들로서 예시되지만, 선택적인 사용자 인터페이스(106) 및 선택적인 디스플레이(107)의 기능들이 하나의 디바이스로 조합될 수 있다는 것이 이해된다.
어레이(101), 센서 어레이(102), 공간 특징화 유닛(103), 조명 컨트롤러(104), 저장소(105), 선택적인 사용자 인터페이스(106) 및 선택적인 디스플레이(107) 중 하나 또는 그 초과의 컴포넌트들이 하드웨어로, 소프트웨어로, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다는 것이 이해된다.
도 1 및 도 2를 참조하면, 동작시에, 광원(114)은 미리결정된 변조 패턴으로 방출된 광을 변조시킬 수 있고, 페어링된 센서(108)는 센서(108)에 복귀하기 위해 광원(114)으로부터 송신된 광에 대한 (ToF 방사선(115)으로 나타낸) 시간을 측정할 수 있다. 센서(108)의 거리 계산기(110)는 ToF 측정에 기초하여 소스에 의해 방출된 광자들에 의해 횡단된 거리를 계산할 수 있다. 이러한 거리 정보는, 광원들(114)과 센서(108) 모두의 조합들로부터 공간 특징화 유닛(103)으로 송신될 수 있고, 여기서 조명된 공간의 저해상도 입면 지도가 (입면 지도 발생기(111)에 의해서와 같이) 발생될 수 있다.
조명 시스템(100)은, 입면 지도를 통해서, 가구, 아키텍쳐 및 생물 오브젝트들의 위치를 파악할 수 있다. 입면 지도는 또한, 에너지 소비를 최소화하면서 공간을 적당하게 조명하는데 이용될 수 있다. 조명 시스템(100)은, 가능한 보안 문제들(구동) 또는 안전 문제들(실패)에 관련된 액션들을 포함하는, 이동하는 오브젝트들의 포지션에 있어서의 급격한 변화들을 검출할 수 있다. 조명 시스템(100)은 또한 조명된 공간 내에서 이동하는 오브젝트들의 루틴 모션(들)을 추적하는데 이용될 수 있다.
예시적인 실시예들에서, 센서 어레이(102) 측정들이 관련 광원(114)의 명목상으로 바로 아래에 있는 개별적인 센서(108)로 다시 산란된 광의 딜레이에 의존하도록, 조명 컨트롤러(104)는 어레이(101)의 변조를 조정할 수 있다. 이 예시에서, 선택된 데이터 구조가 조명된 공간에서의 다른 광원들(114)로부터 센서(108)로 산란된 광으로 인해 측정 에러들을 감소시키는데 이용될 수 있는 것을 제외하고는, 거리 측정은, 조명을 변조하는데 이용되는 특정 구조(즉, 패턴)에 상관없이 수행될 수 있다.
예시적인 실시예에 따르면, 각각의 광원(114)은 개별적으로 변조될 수 있다. 각각의 광원(114)은, 특정 페어링된 센서(108)로 직접 다시 광원을 반사시키는 오브젝트의 표면과 광원(114) 사이의 거리를 측정하기 위해 그 특정 페어링된 센서(108)와 조합될 수 있다. 조명된 공간에서의 각각의 센서(108)로부터의 정보는, 조명된 공간의 입면 지도를 생성하기 위해 공간 특징화 유닛(103)에 의해 조합될 수 있다.
다른 실시예에 따르면, (초음파 또는 레이더 이미징에 있어서 위상 배열(phased array) 기술과 유사하게) 조정된 변조는 소스들 사이에서 이용될 수 있다. 예를 들어, 센서 어레이(102)는, 공간을 조명하는 임의의 광원(114)과 주어진 센서(108)로 광을 반사시키는 산란 표면 사이의 거리를 측정할 수 있다. 이 예시에서, 위상-배열된 비행 시간 검출은, 조명된 공간의 토포그래픽 지도의 공간 해상도를 개선시키는데 이용될 수 있다. 증가된 공간 해상도는, (주어진 공간에서 점등 소스들의 포지션에 대해) 국부화될 수 있는 조명된 구조들의 해상도 및 점유율 측정에서의 개선을 초래할 수 있다. 개선된 점유율 측정은, 공간의 최적의 조명을 허용할 수 있고, 그리고 원하는 경우 그 자체의 가시광을 이용하는 데이터 통신을 허용할 수 있다.
앞선 예시에서, 어레이(101)는, 조명 목적을 위해 정확한 강도 및 컬러로 나타내지만, 대응하는 센서 어레이(102)가 별개의 광원들(114)로부터 복귀된 광을 검출하도록 인에이블하기 위해, 조정된 방식으로 그리고 충분히 높은 스위칭 주파수에서 동작될 수 있다. 각각의 어레이된 광원(114)으로부터 강도 및/또는 컬러 신호를 위상 동기화(phasing)함으로써, 어레이된 센서들(108)은, 어떤 소스로부터 어떤 신호가 나왔는지 고유하게 추정할 수 있고, 조명된 공간 내의 생물 및 무생물 오브젝트들의 거리 및 위치를 더욱 정확하게 추정할 수 있다. 컬러들의 별개의 위상 동기화가 포함되면, 로컬 컬러 분포도 또한 추정될 수 있다. 이는, 조명 시스템(100)의 신호-대-잡음비(SNR)를 개선시킬 수 있다. 명목상으로 정적인 컬러를 갖는 무생물 오브젝트들의 경우, 감지는, 배경과 움직이는(mobile) 오브젝트들을 식별할 수 있고, 또한 (조명된 공간 설계 변화들과 같은) 변화들이 언제 발생되었는지 감지할 수 있다.
예시적인 실시예에서, 조명 시스템(100)에 대한 거리 해상도는 약 50㎝ 내지 약 3m일 수 있다. 그 거리 해상도로 인해, (하나 또는 그 초과의 오브젝트들에 의해 산란된 복귀된 광의) 정확한 시간 측정들을 생성하는 것이 바람직하다. 일반적으로, 시간 해상도는 조명될 공간의 체적에 의존하지만, 일반적으로 약 10-8초 미만이며, 여기서 대부분의 실내 공간들은 대략 10-10초 또는 그 미만의 시간 해상도를 갖는다.
다음으로 도 3을 참조하면, 조명을 위한 공간을 특징화하기 위한 예시적인 방법의 흐름도가 도시된다. 단계(125)에서, 미리결정된 변조 패턴으로 인코딩된 광이 광원들의 어레이로부터 방출된다. 예를 들어, 조명 컨트롤러(104)(도 1)는 어레이(101)로부터의 방출된 광을 변조시키도록 이용될 수 있다.
단계(126)에서, 조명 공간 내에서의 오브젝트(들)로부터 산란된 방출된 광은, 센서 어레이(102)(도 1)에 의해 수신된다. 단계(127)에서, 각각의 센서(108)(도 1)는, 미리결정된 변조 패턴에 기초하여 관련 광원(114)(도 2)과 (사람(121)과 같은) 오브젝트 사이의 거리를 결정할 수 있다. 예를 들어, ToF 검출기(109)(도 1)는 패턴에 기초하여 비행-시간을 결정할 수 있고, 거리 계산기(110)는 그 비행 시간으로부터 거리를 결정할 수 있다.
단계(128)에서, 조명 공간의 입면 지도는, 예를 들어, 공간 특징화 유닛(103)의 입면 지도 발생기(111)에 의해, 각각의 센서(108)(도 1)에 의해 결정된 거리에 기초하여 발생된다. 단계(129)에서, 조명 공간은, 예를 들어, 공간 특징화 유닛(103)의 오브젝트 검출기(112)(도 1) 및 공간 프로파일 발생기(113)에 의해, 입면 지도에 기초하여 특징화된다.
다음으로 도 4를 참조하면, 입면 지도(도 3의 단계 129)에 기초하여 조명을 위한 공간을 특징화하기 위한 예시적인 방법의 흐름도가 도시된다. 도 4에 도시된 단계들은, 도 1에 도시된 오브젝트 검출기(112)에 의해 수행될 수 있다.
단계(130)에서, 가능한(probable) 오브젝트(들)의 위치(들)이 입면 지도에서 추출된다. 선택적인 단계(131)에서, 가능한 오브젝트(들)의 높이(들)가 입면 지도에서 추출된다. 예를 들어, 추출된 높이(들)는 조명된 공간 내에서의 사람들의 포즈(예를 들어, 앉아 있거나 또는 서 있음)를 결정하는데 이용될 수 있다.
선택적인 단계(132)에서, 공간의 영역 내의 2개 또는 그 초과의 오브젝트들의 차이가 분명해질 수 있다(disambiguated). 예를 들어, 입면 지도의 해상도가 (사람 및 책상과 같은) 개별적인 오브젝트들을 구별하기에는 너무 대략적이라면, 2개의 오브젝트들을 구별하기 위해 입면 지도를 추가로 프로세싱하는 것이 바람직할 수 있다. 차이를 분명히 하는 프로세싱의 일례가 이하 추가로 설명된다.
단계(133)에서, 가능한 오브젝트(들)는, 가능한 오브젝트(들)이 (고정형 또는 이동형일 수 있는) 새로운 오브젝트들인지 또는 사전에 식별된 오브젝트들(들)인지를 결정하기 위해, 사전에 식별된 오브젝트(들)와 비교된다. 단계(134)에서, 가능한 오브젝트(들)와 가능한 식별된 오브젝트(들)가 일치하는지 여부가 결정된다.
단계(134)에서, 가능한 오브젝트(들)와 사전에 식별된 오브젝트(들)가 일치하면, 단계(134)는 단계(135)로 진행하고, 가능한 오브젝트(들)가 사전에 식별된 오브젝트(들)로서 식별된다. 단계(135)는 선택적인 단계(137)로 진행한다.
단계(134)에서, 가능한 오브젝트(들)와 사전에 식별된 오브젝트(들)가 일치하지 않으면, 단계(134)는 단계(136)로 진행하고, 가능한 오브젝트(들)는 새로운 오브젝트(들)로서 식별된다. 단계(136)는 선택적인 단계(137)로 진행한다.
선택적인 단계(137)에서, 식별된 오브젝트(들)의 임의의 모션이 추적된다. 예를 들어, 사전에 발생된 입면 지도에서의 식별된 오브젝트(들)의 이전 포지션(들)은 현재 포지션(들)과 비교될 수 있다. 선택적인 단계(138)에서, 식별된 오브젝트(들)의 포즈가, 예를 들어, 추출된 높이(들)에 기초하여 식별될 수 있다. 포즈 검출의 일례가 이하 추가로 설명된다. 선택적인 단계(139)에서, 식별된 오브젝트(들)는 (사람들과 같은) 생물 또는 (가구와 같은) 무생물로서 추가로 식별될 수 있다. 선택적인 단계들(137-139)이 도시된 것과는 상이한 순서로 수행될 수 있다는 것이 이해된다.
실시간 사람 추적 및 포즈 인식의 예시들
도 1에 도시된 예시적인 조명 시스템(100)과 유사한 조명 시스템을 이용하여 실시간 사람 추적 및 포즈 인식을 조사하기 위한 실험들이 수행되었다. 실험들에서, 스위스 취리히 소재의 Mesa Imaging에 의해 상업적으로 분포된, 천장-탑재 하향-포인팅된 SwissRanger SR4000 ToF 카메라가 도 1에 도시된 조명 시스템(100)에 대한 프록시로서 이용되었다. 카메라는, 장면에 의해 후방-산란되고, CMOS(complementary metal-oxide-semiconductor) CCD(charge-coupled device)에 의해 수신된, RF(radio frequency)-변조된 (30MHz) 근적외광(850㎚)을 방출한다.
센서는 176144 픽셀들의 해상도로 범위 및 강도 측정들을 연속적으로 수집한다. 각각의 픽셀에 대한 각도 해상도는 이미지의 중앙에서 0.39이며, 이는 지상에서의 가로세로 1.7㎝에 대응하고, 앉아 있는 사람의 머리 위에서 가로세로 9㎜에 대응하며, 서있는 사람의 머리 위에서 가로세로 4.5㎜에 대응한다(2.5m의 천장을 가정함). ToF 센서가 투영의 단일의 중앙으로부터 확산 방사선(divergent rays)을 방출하기 때문에, 각각의 거리 측정은 정투영(orthographic projection)을 모방하기 위해 뷰잉 각도의 코사인을 원시 센서 값에 곱함으로써 수정된다.
이하 설명되는 거리 측정들은 이러한 정투영을 지칭한다. 거리 측정들에 있어서의 절대 정확도는, 대략적으로 0.8m-5.0m의 범위 내에서 대략적으로 10㎜이다. 실험들에서, 6.3㎳-8.3㎳의 노출 시간(integration time)이 이용되어 각각 23.4fps-19.4fps의 프레임 레이트들로 유도하였다. 진폭 임계치는 (0 내지 16382의 스케일에서) 70-100의 범위에 설정된다.
이 시스템은, 천장의 높이가 2.5m인 사무실 세팅에 탑재되었다. 센서의 뷰의 필드는, 지상에서 약 2.0m x 1.6m이다. 도 5a는 사무실 환경의 예시의 이미지이고, 도 5b는 대응하는 비행-시간 이미지이며, 이는 장면 내에서 센서로부터 각각의 포인트로의 측정된 거리를 나타낸다.
더 큰 환경들에서의 비행-시간 이미징을 조사하기 위해, 덴마크 코펜하겐 소재의 Unity Technologies에 의해 개발된 유니티 게임 엔진(Unity game engine)을 이용하여 3-차원(3D) 18 x 14㎡ 시뮬레이팅된 랩 공간이 생성되었다. 거리 이미지들은, 천장에 규칙적으로 이격되어, 포인트들에 이르기(hit) 위해 그 범위를 돌아오는 시뮬레이팅된 센서들로부터 하향하여 광선들을 캐스팅함으로써 생성된다. 이러한 이미지들은, 실제 ToF 센서로부터 출력된 이미지들과 동일한 방식으로 본원에 설명된 알고리즘들에 의해 프로세싱된다.
또한, 몇몇 비디오들이, 알고리즘들을 설계하고 테스트하기 위해 다수의 사람들 및 가구의 피스들을 포함하는 실제 환경 그리고 시뮬레이팅되는 환경 모두에서 기록되었다. 가장 복잡한 실제 비디오는, 상이한 시간들에 장면으로 들어오고, 사무실 의자들을 가져와서 이동시키고, 서로 가까이 앉아 있고, 그리고 상이한 시간들에 떠나는 4명의 사람들을 포함한다. 시뮬레이팅된 환경은, 실험실로 들어오고, 걸어다니고, 앉아 있고, 서있고, 서로에 대해 가까이 서있고, 회의 테이블 주위에 그리고 실험 벤치 앞에 모여있고, 그리고 방을 떠나는 30명까지의 사람들을 포함한다.
이 실험들은, 거리 측정들로부터, 사람들의 실시간 검출, 그들의 포지션들의 추적, 및 그들의 포즈(즉, 서 있거나 또는 앉아 있음)의 추정을 평가한다. 형태학적 이미지 프로세싱 알고리즘들은, 어떻게 오브젝트들이 이동하고 상호작용할 수 있는지에 관한 높은-수준의 로직과 조합된다. 장면으로 진입하는 각각의 사람은, 이미지 경계에서 검출되어 고유한 라벨이 주어진다. 그후, 각각의 사람의 부분(blob)이, 그 프레임을 떠날 때까지 후속하는 이미지들 전체에 걸쳐 추적된다. 각각의 사람의 부분의 위치 및 높이가 각각의 프레임에서 추적되며, 그 자체의 대략적인 포즈가 높이 정보로부터 추정된다.
실시간 입면 지도는 천장의 알려진 높이로부터 실시간 거리 이미지들을 감산함으로써 획득된다. 또한, 시스템 교정 동안 획득될 수 있는 B(x,y)로 표시된 이동하는 가구를 포함하거나 또는 어떠한 사람도 포함하지 않는 배경 입면 지도가 존재한다고 가정된다. 현재 입면 지도 Et(x,y)로부터, 장면 Ft(x;y)에서의 전경 오브젝트들의 입면 지도가 이하와 같이 배경 분리(background subtraction) 및 경계화(thresholding)를 이용하여 획득된다.
Figure pct00001
(1)
여기서, τ는 임계치를 나타낸다. 임계치 τ는 10㎝로 설정되며, 이는 사람의 키(심지어는 지상에 누워있는 경우)보다 낮다. 도 6은, 도 5a에 도시된 실제 환경에서 전경 오브젝트들의 예시의 입면 지도들을 예시한다.
배경 분리 이후에, 사람들은 전경 지도를 경계화함으로써 장면에서 검출될 수 있다. 모든 각각의 사람이 장면으로 걸어 들어온다고 가정하면, 0.9m의 높이로 전경 이미지에 임계치가 적용되어, 이 높이 초과의 모든 각각의 접속되는 영역(또는 "부분")을 사람으로서 분류한다. 현재 프레임 내에서의 모든 각각의 사람의 부분이, 가장 가까운 공간 매칭을 찾기 위해 이전의 프레임에서 사람 부분들에 대해 비교된다. 그 부분의 높이는, 그 부분의 가중된 중심(weighted centroid)에서 표고 값(elevation value)이 되도록 할당된다. 프레임 t에서의 이러한 높이 관찰은 yt로서 표시된다. 중간값 필터가, 후속 프로세싱 이전에 충동적인 센서 잡음을 완화시키기 위해 yt에 적용된다.
확률론적 모델들은, 이들이 잡음과 불확실성을 취급하는데 적합하기 때문에, 액티비티 인식을 위해 널리 이용된다. "서 있음(standing)" 또는 "앉아 있음(sitting)" 라벨이, 상태들 사이에서의 천이들의 확률들에 대한 현재 높이 관찰 및 간단한 마코브(Markov) 모델 둘 다를 고려하는 최대 가능성 추정기를 이용하여 각각의 사람 부분에 할당된다. 즉, 라벨은 이하와 같이 계산된다.
Figure pct00002
(2)
여기서, l t∈{"서 있음(stand)", "앉아 있음(sit)"}이다. 첫 번째 항은, 제안된 라벨이 주어진 관찰된 높이의 가능성을 반영한다. "서 있음"의 경우, 이는 그들의 제 1 외형에 대해 사람의 관찰된 키와 동일한 평균으로 가우시안 분포로서 모델링된다. "앉아 있음" 분포도 유사하지만, 가우시안 평균은, 사람의 앉은키 비율의 측정된 데이터에 기초하여, 들어올 때 키의 절반이다. "앉아 있음" 및 "서 있음"에 대한 표준 편차들은, 트레이닝 데이터세트들로부터 습득되었던 0.1 및 0.2이다. 두 번째 항은, 라벨을 변경하기 위해 키 관찰에 있어서의 유력한 증거가 요구되도록 라벨이 동일하게 머물도록 권장하는 천이 확률을 나타낸다. 천이 확률 매트릭스는:
Figure pct00003
이는, 트레이닝 데이터세트들로부터 습득되었다. 이는, 측정에서 잡음에 대해 더욱 강건한 포즈 추정을 형성한다. 파라미터 λ는 이전의 정보와 측정된 정보를 트레이드 오프하기 위해 조율될 수 있다. 실제로, λ는 1로 설정된다. 앞서 설명된 도 4는, 오브젝트들을 추적하여 그들의 포즈를 추정하기 위한 방법을 예시한다.
입면 지도로부터 추출될 수 있는 낮은 해상도 및 제한된 특징들로 인해, (예를 들어, 사무실 의자들을 이동시키는) 사람들 및 가구의 피스들은 확실하게(robustly) 분할하여 구분하기 어렵고, 입면 지도에서 하나의 부분으로 병합할 수 있다. 따라서, 이러한 처리방법으로의 도전은, 다수의 사람들이 서로 가까이에 있을 때 발생하는 부분들을 나누는 것일 수 있고, 그리고 이동하는 가구가 아닌 인간들에 응답하는 센서를 설계하는 것(예를 들어, 의자의 뒷부분이 앉아 있는 사람의 머리에 필적할만한 높이에 종종 위치함)일 수 있다.
맞닿는 오브젝트들을 나누기 위한 예시적인 처리방법은, 주요 피크들 주변에서 변함없는 강도로 정체부(plateaus)를 형성하도록 입면 지도를 처리하는 것이다. 이는, 형태학적 복원(morphological reconstruction)으로서 지칭된다. 처리방법: 1)은 오리지널 이미지를 마스크 이미지로서 이용하는 것이고, 2)는 오리지널 이미지를 약화(erode)시켜 마커 이미지를 생성하는 것이고, 그리고 3)은 마커 이미지가 마스크 이미지 아래에 맞춰질 때까지 마커 이미지를 반복적으로 팽창시키는 것이다.
도 7a 내지 도 7e는, 몇몇 풀 스케일 프레임들에 대해, 검출된 오브젝트들을 포함하는 예시의 입면 지도들이다. 다수의 이동하는 사무실 의자들의 존재에도 불구하고, 정확한 수의 사람들이 유지된다.
다음으로, 풀 해상도 비디오가, 넓게-이격된 단일-픽셀 ToF 엘리먼트들을 시뮬레이팅하기 위해, 더 낮은-밀도의 비디오 스트림들을 생성하기 위해 상이한 공간들에서 (가장-가까운 이웃 샘플링을 이용하여) 다운샘플링된다. 본원에 설명된 (그리고 도 4에 도시된) 예시적인 알고리즘이 각각의 다운샘플링된 스트림에 적용된다. 도 8a 내지 도 8d는 몇몇 센서 공간들에 대해 도 7c와 동일한 프레임에서의 추적 결과를 나타낸다. 특히, 도 8a는 0.03m 센서 공간에 관련되고; 도 8b는 0.06m 센서 공간에 관련되고; 도 8c는 0.09m 센서 공간에 관련되며; 도 8d는 0.1m의 센서 공간에 관련된다. 다운샘플링된 프레임들이 훨씬 작기 때문에, 알고리즘은 훨씬 빠르고 비디오 비디오와 동일한 속도로 대략적으로 구동할 수 있다.
그러나, 시뮬레이팅된 희소성(sparsity)이 더 넓은 센서 공간으로 증가됨에 따라서, 국부적인 최대 추출 알고리즘은 측정들에 있어서 평활도의 부족 및 제한된 수의 픽셀들로 인해 실패하기 시작한다. 이러한 상황들(예를 들어, 25㎝의 센서 공간)에서, 부분(blob) 내에서 다수의 사람들을 분리하는 대신에, 알고리즘은, 이들이 분리할 때까지 다수의-사람의 부분에 사람들이 조합되는 트랙을 유지한다. 이는, 각각의 사람의 부분의 아이덴티티를 유지하는 것이 중요하지 않을 수 있기 때문에, 점등 제어 애플리케이션에 적합할 수 있다.
6개의 데이터세트들이 실험들을 위해 수집되었다:
1) 실제 비디오, 3790 프레임들, 1-2명의 사람들(오직 트레이닝을 위해서만 이용됨);
2) 실제 비디오, 1050 프레임들, 1-3명의 사람들(오직 테스팅을 위해서만 이용됨);
3) 실제 비디오, 15000 프레임들, 1-4명의 사람들(테스팅);
4) 시뮬레이팅된 비디오, 3000 프레임들, 6명의 사람들(트레이닝);
5) 시뮬레이팅된 비디오, 2700 프레임들, 6명의 사람들(테스팅); 및
6) 6개의 시뮬레이팅된 비디오들, 각각 6000 프레임들, 5, 10, 15, 20, 25 및 30명의 사람들(테스팅).
실제 비디오에 대한 실험들
로컬 최대의 추출 및 추적 알고리즘은 데이터세트들(2 및 3)에 대해 테스트되었다. 제 1 비디오는, 상이한 시간들에 장면에 들어오고, 걸어다니고, 함께 가까이에 있는 의자들에 앉아 있고, 서 있고, 떠나는 3명의 사람들을 기록하였다. 도 7a 내지 도 7e는 이 비디오에 대한 추적의 일례를 도시한다.
상이한 센서 밀도들로 성능을 분석하기 위해, 입력 비디오는, 도 8a 내지 도 8d에 예시된 바와 같이, 1㎝에서 10㎝까지 1㎝의 단계적으로 센서 공간들을 시뮬레이팅하도록 공간적으로 다운샘플링하였다. 각각의 공간 레벨에서, 검출들 및 추정된 포즈들이 기록된다. 도 9a는 센서 공간의 함수로서 검출 및 포즈 추정의 에러 레이트의 그래프이다. 에러 레이트는, 전체 프레임들에서 전체 수의 사람 외형들에 의해 분할된 부정확하게 검출된/손실된 사람들의 수(또는 잘못 분류된 포즈들의 수)로서 계산된다. 도 9b는, 센서 공간의 함수로서 위치 및 키 측정들에 있어서의 평균 에러의 그래프이다.
도 9a 및 도 9b로부터, 모든 3명의 사람들이 8㎝까지의 모든 공간 레벨들에서 검출되고 추적되는 것으로 관찰될 수 있다. 프레임들이 8㎝ 공간까지 다운샘플링될 때, 로컬 최대의 추출은 불안정하게 된다. 오브젝트들은 쉽게 손실되거나 또는 서로 병합된다.
동일한 사무실 환경이 15000 프레임들에 대해 연속적으로 모니터링되었던 더 긴 기간의 실험(데이터세트 3)이 수행되었다. 이 시간 동안, 지상 검증자료(ground truth)에 대한 풀-프레임 비디오를 이용하여, 각각의 사람의 입장/퇴장 및 포즈 변화가 수동으로 기록되었다. 결과들이 표 1에 요약된다.
Figure pct00004
표 1. 실제 비디오에 대한 실험들을 위해 지상 검증자료와 비교되는 성능
성능은 또한, 8㎝의 대형 센서 공간을 갖는, 데이터세트 3에서의 장기간 비디오를 이용하여, 프레임 내에서의 사람들의 수에 대해 분석되었다. 그 결과는 표 2에 나타난다.
Figure pct00005
표 2. 실제 데이터에서 상이한 수의 사람들에 대한 실험들을 위해 지상 검증자료와 비교되는 성능
환경 시뮬레이션에 대한 실험들
추적 알고리즘의 프라이버시-보전 특징들을 테스트하기 위해, 실험실에 들어오고, 걸어다니고, 앉아 있고, 서있고, 서로 가까이에 서있고, 회의 테이블 주위에 함께 그리고 실험 벤치 앞에 그룹지어 있고, 방을 떠나는 6명의 사람들을 포함하는 2700 프레임들(데이터세트 5)을 포함하는 비디오가 기록되었다.
실제 비디오 실험들에서와 같이, 샘플 공간이 5㎝의 증분량으로 하여 10㎝에서 40㎝까지 점차적으로 증가되었다. 도 10a는 센서 공간의 함수로서의 사람 검출 및 포즈 분류에 있어서의 에러 레이트의 그래프이다. 도 10b는 센서 공간의 함수로서 위치 및 높이 추정에 있어서의 평균 에러의 그래프이다. 표 3은, 30㎝ 공간 레벨에서의 퇴장, 앉아 있음 및 서 있음 이벤트들에 대한 검출 및 거짓 경보 레이트들을 기록한다.
Figure pct00006
표 3. 실험적인 시뮬레이션에 대한 실험들에 대해 지상 검증자료와 비교되는 성능
표 2에서와 같이, 시뮬레이팅된 비디오에 대한 성능이 사람들의 수의 함수로서 측정되었다. 이 경우, 환경이 더 많은 사람들, 5명 내지 30명으로 파퓰레이팅될 수 있다(데이터세트 6). 20㎝의 넓은 센서 공간을 갖는 결과들은, 표 4에 요약된다.
Figure pct00007
표 4. 시뮬레이션에서 상이한 수의 사람들에 대한 실험들에 대해 지상 검증자료와 비교되는 성능
본 발명의 바람직한 실시예들이 본원에 도시되고 설명되지만, 이러한 실시예들은 오직 예시에 의해서만 제공됨이 이해될 것이다. 수많은 변화들, 변경들 및 치환들이 본 발명의 사상으로부터 벗어나지 않고 당업자들에게 발생할 것이다. 이에 따라, 첨부된 청구항들이 본 발명의 사상 및 범위에서 벗어나지 않고 모든 그러한 변화들을 커버하는 것으로 의도된다.

Claims (15)

  1. 조명 시스템으로서,
    조명을 위한 공간에 배치된 발광 다이오드(LED) 광원들의 어레이 ― 각각의 광원은 상기 공간 내에서 미리결정된 변조 패턴으로 인코딩된 광을 방출하도록 구성되고, 상기 LED 광원의 어레이로부터의 방출된 광은 상기 공간 내의 적어도 하나의 오브젝트에 의해 산란됨 ―;
    상기 LED 광원들의 어레이에 인접하고, 상기 공간 내의 상기 적어도 하나의 오브젝트로부터 산란된 광을 수신하도록 구성된 센서들의 어레이 ― 각각의 센서는 수신된 산란된 광 내에서의 상기 미리결정된 변조 패턴의 검출에 기초하여 상기 적어도 하나의 오브젝트와 대응하는 광원 사이의 거리를 결정하도록 구성됨 ―; 및
    각각의 센서로부터의 거리를 수신하고, 상기 공간의 입면 지도(elevation map)를 발생시키도록 구성된 공간 특징화 유닛 ― 상기 입면 지도는 상기 공간 내의 상기 적어도 하나의 오브젝트의 존재를 나타냄 ― 을 포함하는,
    조명 시스템.
  2. 제 1 항에 있어서,
    각각의 광원은, 스팟 라이트(spot light), 플러드 라이트(flood light) 또는 패널 라이트 중 적어도 하나를 포함하는,
    조명 시스템.
  3. 제 1 항에 있어서,
    각각의 광원은, 모노크로매틱(monochromatic) 광원을 포함하는,
    조명 시스템.
  4. 제 1 항에 있어서,
    각각의 광원은 상이한 파장들에서 광을 방출시키도록 구성된 복수의 광원들을 포함하고,
    상기 센서들 중 적어도 하나는 상기 상이한 파장들 각각에 대한 거리를 결정하도록 구성되고,
    상기 입면 지도는 상기 상이한 파장들과 연관된 컬러 맵을 포함하는,
    조명 시스템.
  5. 제 1 항에 있어서,
    상기 공간 특징화 유닛은, 상기 조명 시스템에 의한 조명을 제어하기 위해, 상기 적어도 하나의 오브젝트의 적어도 하나의 소유물(property)을 상기 입면 지도에 기초하여 검출하도록 구성되는,
    조명 시스템.
  6. 제 1 항에 있어서,
    상기 공간 특징화 유닛은, 상기 적어도 하나의 오브젝트의 위치, 상기 적어도 하나의 오브젝트의 포즈 또는 상기 적어도 하나의 오브젝트의 움직임 중 적어도 하나를, 상기 입면 지도에 기초하여 결정하도록 구성되는,
    조명 시스템.
  7. 제 1 항에 있어서,
    상기 스페이스 특징 유닛은, 상기 입면 지도에 기초하여, 상기 적어도 하나의 오브젝트가 생물 오브젝트(animate object)인지 또는 무생물 오브젝트(inanimate object)인지를 결정하도록 구성되는,
    조명 시스템.
  8. 제 1 항에 있어서,
    각각의 센서는 상기 검출된 미리결정된 변조 패턴에 기초하여 상기 센서에 의해 수신될 상기 방출된 광에 대한 비행 시간(time-of-flight)을 결정하도록 구성되고,
    상기 거리는 상기 비행 시간으로부터 결정되는,
    조명 시스템.
  9. 제 1 항에 있어서,
    각각의 광원은, 상기 미리결정된 변조 패턴으로 독립적으로 변조되도록 구성되는,
    조명 시스템.
  10. 제 1 항에 있어서,
    상기 광원들 중 2개 또는 그 초과는, 상기 미리결정된 변조 패턴으로 동시에(synchronously) 변조되도록 구성되는,
    조명 시스템.
  11. 조명을 위한 공간을 특징화하는 방법으로서,
    상기 조명을 위한 공간에 배치된 발광 다이오드(LED) 광원들의 어레이에 의해 광을 방출하는 단계 ― 방출된 광은 적어도 하나의 미리결정된 변조 패턴으로 인코딩되고, 방출된 광은 상기 공간 내의 적어도 하나의 오브젝트에 의해 산란됨 ―;
    상기 LED 광원들의 어레이에 인접하는 센서들의 어레이에 의해 상기 공간 내에 상기 적어도 하나의 오브젝트로부터 산란된 광을 수신하는 단계;
    수신된 산란된 광 내에서의 상기 적어도 하나의 미리결정된 변조 패턴의 검출에 기초하여 상기 적어도 하나의 오브젝트와 대응하는 광원 사이의 거리를, 각각의 센서에 의해, 결정하는 단계; 및
    각각의 센서에 의해 결정된 거리에 기초하여 상기 공간의 입면 지도를 발생시키는 단계 ― 상기 입면 지도는 상기 공간 내에서의 상기 적어도 하나의 오브젝트의 존재를 나타내고, 상기 조명을 위한 공간은 상기 입면 지도에 기초하여 특징화됨 ― 를 포함하는,
    조명을 위한 공간을 특징화하는 방법.
  12. 제 11 항에 있어서,
    상기 방법은, 상기 LED 광원들의 어레이에 의해 조명을 제어하기 위해, 상기 적어도 하나의 오브젝트의 적어도 하나의 소유물을, 상기 입면 지도에 기초하여 검출하는 단계를 더 포함하는,
    조명을 위한 공간을 특징화하는 방법.
  13. 제 11 항에 있어서,
    상기 방법은, 상기 입면 지도에 기초하여, 상기 적어도 하나의 오브젝트의 위치, 상기 적어도 하나의 오브젝트의 포즈 또는 상기 적어도 하나의 오브젝트의 움직임 중 적어도 하나를 결정하는 단계를 더 포함하는,
    조명을 위한 공간을 특징화하는 방법.
  14. 제 11 항에 있어서,
    상기 방법은, 상기 입면 지도에 기초하여, 상기 적어도 하나의 오브젝트가 생물 오브젝트인지 또는 무생물 오브젝트인지를 결정하는 단계를 더 포함하는,
    조명을 위한 공간을 특징화하는 방법.
  15. 제 11 항에 있어서,
    상기 거리를 결정하는 단계는, 검출된 적어도 하나의 미리결정된 변조 패턴에 기초하여 개별적인 센서에 의해 수신될 방출된 광에 대한 비행 시간을 결정하는 단계를 포함하고,
    상기 거리는 상기 비행 시간으로부터 결정되는,
    조명을 위한 공간을 특징화하는 방법.
KR1020147032597A 2012-04-20 2013-04-19 조명 공간을 특징화하기 위한 센서 점등 시스템 및 방법 KR102090483B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261687239P 2012-04-20 2012-04-20
US61/687,239 2012-04-20
PCT/US2013/037300 WO2013158955A1 (en) 2012-04-20 2013-04-19 Sensory lighting system and method for characterizing an illumination space

Publications (2)

Publication Number Publication Date
KR20150021918A true KR20150021918A (ko) 2015-03-03
KR102090483B1 KR102090483B1 (ko) 2020-03-18

Family

ID=49384092

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147032597A KR102090483B1 (ko) 2012-04-20 2013-04-19 조명 공간을 특징화하기 위한 센서 점등 시스템 및 방법

Country Status (8)

Country Link
US (1) US9363859B2 (ko)
EP (1) EP2839719B1 (ko)
JP (4) JP2015519687A (ko)
KR (1) KR102090483B1 (ko)
CN (1) CN104823522B (ko)
BR (1) BR112014026016A8 (ko)
SG (1) SG11201406649TA (ko)
WO (1) WO2013158955A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2014133546A (ru) * 2012-01-20 2016-03-20 Конинклейке Филипс Н.В. Способ обнаружения и управления источниками кодированного света
US9578708B2 (en) * 2012-02-16 2017-02-21 Philips Lighting Holding B.V. Lighting configuration apparatus and methods utilizing distance sensors
WO2014187717A1 (en) * 2013-05-21 2014-11-27 Koninklijke Philips N.V. Lighting device
TWI563842B (en) * 2013-10-25 2016-12-21 Lips Inc Sensing device and signal processing method thereof
US9813676B2 (en) * 2013-12-11 2017-11-07 Qualcomm Incorporated Use of mobile device with image sensor to retrieve information associated with light fixture
WO2015086855A1 (en) * 2013-12-14 2015-06-18 Viacam Sarl Camera-based tracking system for the determination of physical, physiological and/or biometric data and/or for risk assessment
FR3015732B1 (fr) * 2013-12-20 2016-02-05 Thales Sa Procede de detection de personnes et ou d'objets dans un espace
FR3015730B1 (fr) * 2013-12-20 2017-07-21 Thales Sa Procede de detection de personnes et ou d'objets dans un espace
FR3015731B1 (fr) * 2013-12-20 2016-02-05 Thales Sa Procede d'estimation du nombre de personnes et ou d'obets dans un espace
JP6359828B2 (ja) * 2013-12-20 2018-07-18 株式会社メガチップス 照明システム及び制御装置
DE102014207965A1 (de) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Vorrichtung zur Objekterkennung
JP6321441B2 (ja) * 2014-05-07 2018-05-09 株式会社ミツトヨ 三次元測定システム、三次元測定方法、および、被測定体
CN106461762B (zh) 2014-05-23 2022-03-18 昕诺飞控股有限公司 对象检测系统和方法
TWI549502B (zh) * 2014-06-13 2016-09-11 立普思股份有限公司 影像相位補正方法
CN105323571B (zh) * 2014-06-17 2017-09-29 立普思股份有限公司 影像相位补正方法
EP3158834B1 (en) * 2014-06-20 2020-02-12 Rensselaer Polytechnic Institute Occupancy sensing smart lighting system
DE102015200133A1 (de) 2015-01-08 2016-07-14 Tridonic Gmbh & Co Kg Lichtsystem mit Anwesenheitserkennung von Personen
US9971015B2 (en) 2015-04-10 2018-05-15 Ossia Inc. Techniques for imaging wireless power delivery environments and tracking objects therein
US10257893B2 (en) 2015-06-09 2019-04-09 Signify Holding B.V. Adaptive luminous intensity distribution of LED luminaires
US9945948B2 (en) 2015-06-18 2018-04-17 Nokia Technologies Oy Method and apparatus for providing time-of-flight calculations using distributed light sources
US10158840B2 (en) * 2015-06-19 2018-12-18 Amazon Technologies, Inc. Steganographic depth images
WO2017023208A1 (en) * 2015-08-05 2017-02-09 Heptagon Micro Optics Pte. Ltd. Intelligent illumination systems that use modulated light
CN105072767B (zh) * 2015-08-24 2017-12-08 浙江大丰实业股份有限公司 一种增强的舞台光效实时控制方法
US10750598B2 (en) * 2015-08-27 2020-08-18 Signify Holding B.V. Systems and methods for lighting fixture location mapping
CN108141713B (zh) * 2015-09-04 2022-04-05 昕诺飞控股有限公司 替换灯具中的启用无线通信的部件
DE102016201741A1 (de) * 2016-02-04 2017-08-10 Hella Kgaa Hueck & Co. Verfahren zur Höhenerkennung
US10211660B2 (en) * 2016-02-08 2019-02-19 Cree, Inc. LED lighting device with adaptive profiles for controlling power consumption
US10212306B1 (en) 2016-03-23 2019-02-19 Amazon Technologies, Inc. Steganographic camera communication
EP3452778B1 (en) * 2016-05-06 2020-01-08 Signify Holding B.V. System and method for automated luminaire detection and classification
US20180054706A1 (en) * 2016-08-19 2018-02-22 Abl Ip Holding Llc System for auto-commissioning of luminaires and asset tracking
EP3290058A1 (en) * 2016-09-02 2018-03-07 BrainLit AB A light control system and a method for exposing a subportion of a space with light within a predetermined spectral range at a predetermined threshold intensity
CN108242072A (zh) * 2016-12-23 2018-07-03 捷西迪光学（开曼）股份有限公司 建立空间地图的方法以及应用于该方法的斑块图形组
US10465869B2 (en) 2017-01-30 2019-11-05 Ideal Industries Lighting Llc Skylight fixture
US10451229B2 (en) 2017-01-30 2019-10-22 Ideal Industries Lighting Llc Skylight fixture
US10444865B2 (en) * 2017-05-01 2019-10-15 Google Llc Tracking of position and orientation of objects in virtual reality systems
US9894740B1 (en) 2017-06-13 2018-02-13 Cree, Inc. Intelligent lighting module for a lighting fixture
JP7055320B2 (ja) * 2017-06-28 2022-04-18 国立大学法人大阪大学 照明装置
US10165650B1 (en) 2017-08-21 2018-12-25 Cree, Inc. Occupant tracking
US10830400B2 (en) 2018-02-08 2020-11-10 Ideal Industries Lighting Llc Environmental simulation for indoor spaces
US10991215B2 (en) 2018-03-20 2021-04-27 Ideal Industries Lighting Llc Intelligent signage
US10816939B1 (en) 2018-05-07 2020-10-27 Zane Coleman Method of illuminating an environment using an angularly varying light emitting device and an imager
US11184967B2 (en) 2018-05-07 2021-11-23 Zane Coleman Angularly varying light emitting device with an imager
WO2021086943A1 (en) 2019-10-28 2021-05-06 Ideal Industries Lighting Llc Systems and methods for providing dynamic lighting
CN111028328B (zh) * 2019-12-17 2024-03-15 上海嘉奥信息科技发展有限公司 基于Unity3D采集数据的模拟成像方法
CA3171570A1 (en) * 2020-04-23 2021-10-28 Roumanos Dableh Autonomous room boundary detection and classification with low resolution sensors
CN113898885A (zh) * 2021-09-18 2022-01-07 深圳拓邦股份有限公司 一种智能头灯及智能头灯系统
DE102023108543A1 (de) * 2023-04-04 2024-10-10 Tridonic Gmbh & Co. Kg Ermitteln von Objektparametern bewegter Objekte mittels Umgebungslichtsensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009133505A1 (en) * 2008-04-29 2009-11-05 Philips Intellectual Property & Standards Gmbh Illumination unit responsive to objects
JP2010169405A (ja) * 2009-01-20 2010-08-05 Stanley Electric Co Ltd 光学距離センサー
US20110031897A1 (en) * 2009-08-10 2011-02-10 Redwood Systems, Inc. Lighting systems and methods of auto-commissioning

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10251133B3 (de) * 2002-10-31 2004-07-29 Gerd Reime Einrichtung zur Steuerung einer Beleuchtung, insbesondere für Fahrzeuginnenräume sowie Verfahren zu ihrer Steuerung
TW593971B (en) * 2003-07-18 2004-06-21 Su-Ching Chien Optics method for detecting object
JP4569245B2 (ja) * 2003-09-30 2010-10-27 東芝ライテック株式会社 Ｌｅｄ照明装置及び照明システム
US20050243556A1 (en) * 2004-04-30 2005-11-03 Manuel Lynch Lighting system and method
JP4200328B2 (ja) * 2005-04-18 2008-12-24 パナソニック電工株式会社 空間情報検出システム
EP1969395B1 (en) 2005-12-19 2017-08-09 Leddartech Inc. Object-detecting lighting system and method
EP2155837B1 (en) 2007-05-04 2015-07-15 Sasol Technology (Proprietary) Limited Catalysts
WO2008135942A1 (en) * 2007-05-07 2008-11-13 Koninklijke Philips Electronics N.V. Lighting device and control method
US20100208236A1 (en) * 2007-08-01 2010-08-19 Koninklijke Philips Electronics N.V. Method for determining the position of an object in a structure
CN201156832Y (zh) * 2007-11-08 2008-11-26 复旦大学 抑郁症辅助治疗的led照明灯具
WO2009079779A1 (en) 2007-12-21 2009-07-02 Leddartech Inc. Parking management system and method using lighting system
JP5299677B2 (ja) * 2008-12-24 2013-09-25 東芝ライテック株式会社 照明制御システム
KR20110070063A (ko) 2009-12-18 2011-06-24 한국전자통신연구원 조명 제어 장치
JP2011163921A (ja) * 2010-02-09 2011-08-25 Honda Motor Co Ltd 検出装置及び検出方法
JP2011253716A (ja) 2010-06-02 2011-12-15 Sharp Corp 照明制御装置及び画像処理装置
JP2012028015A (ja) * 2010-07-20 2012-02-09 Toshiba Corp 照明制御システムおよび照明制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009133505A1 (en) * 2008-04-29 2009-11-05 Philips Intellectual Property & Standards Gmbh Illumination unit responsive to objects
JP2010169405A (ja) * 2009-01-20 2010-08-05 Stanley Electric Co Ltd 光学距離センサー
US20110031897A1 (en) * 2009-08-10 2011-02-10 Redwood Systems, Inc. Lighting systems and methods of auto-commissioning

Also Published As

Publication number Publication date
JP2021153073A (ja) 2021-09-30
BR112014026016A2 (pt) 2017-06-27
KR102090483B1 (ko) 2020-03-18
EP2839719B1 (en) 2019-04-03
CN104823522A (zh) 2015-08-05
JP2018018829A (ja) 2018-02-01
BR112014026016A8 (pt) 2021-03-09
SG11201406649TA (en) 2014-11-27
CN104823522B (zh) 2017-05-31
US20150061509A1 (en) 2015-03-05
JP2015519687A (ja) 2015-07-09
WO2013158955A1 (en) 2013-10-24
US9363859B2 (en) 2016-06-07
WO2013158955A8 (en) 2013-12-19
EP2839719A1 (en) 2015-02-25
EP2839719A4 (en) 2016-03-09
JP7462231B2 (ja) 2024-04-05
JP2020038845A (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
JP7462231B2 (ja) 照明空間を特性評価するための検知照明システム及び方法
CN109490903B (zh) 距离测量装置
Alam et al. Device-free localization: A review of non-RF techniques for unobtrusive indoor positioning
EP2430886B1 (en) Method and system for controlling lighting
EP3146362B1 (en) Object detection system and method
US20150169082A1 (en) Method and Device for Filter-Processing Imaging Information of Emission Light Source
WO2011021128A2 (en) Method and system for image analysis
JP2020021300A (ja) 火災監視装置、火災監視システム、および火災監視装置のプログラム
WO2021063046A1 (zh) 一种分布式目标监测系统和方法
US12131544B2 (en) Method for capturing motion of an object and a motion capture system
EP4310549A1 (en) Sensing system
Bhattacharya et al. Arrays of single pixel time-of-flight sensors for privacy preserving tracking and coarse pose estimation
US11734833B2 (en) Systems and methods for detecting movement of at least one non-line-of-sight object
Jędrasiak et al. The comparison of capabilities of low light camera, thermal imaging camera and depth map camera for night time surveillance applications
Lovas et al. Pedestrian detection by profile laser scanning
Waregaonkar et al. Development of prototype for vehicle speed measurement
Mohamudally et al. Estimating free space in an elevator's confined environment
KR100995888B1 (ko) 레이저를 이용한 통행량 추정 시스템 및 방법
US20240118420A1 (en) Deployment of time of flight sensor on camera
Li et al. Counting and tracking people to avoid from crowded in a restaurant using mmwave radar

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20141120

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180417

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190531

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191215

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200312

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200312

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240228

Start annual number: 5

End annual number: 5