KR20220067382A - 스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법 - Google Patents

스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법 Download PDF

Info

Publication number
KR20220067382A
KR20220067382A KR1020200154007A KR20200154007A KR20220067382A KR 20220067382 A KR20220067382 A KR 20220067382A KR 1020200154007 A KR1020200154007 A KR 1020200154007A KR 20200154007 A KR20200154007 A KR 20200154007A KR 20220067382 A KR20220067382 A KR 20220067382A
Authority
KR
South Korea
Prior art keywords
state
light sources
smart lighting
lighting system
color temperature
Prior art date
Application number
KR1020200154007A
Other languages
English (en)
Other versions
KR102567659B1 (ko
Inventor
조규만
이용미
최문한
고범석
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020200154007A priority Critical patent/KR102567659B1/ko
Publication of KR20220067382A publication Critical patent/KR20220067382A/ko
Application granted granted Critical
Publication of KR102567659B1 publication Critical patent/KR102567659B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/20—Controlling the colour of the light
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

스마트 조명 시스템은 복수의 깊이 카메라를 포함하고, 물체를 감지하여 감지 데이터를 생성하는 감지부, 감지 데이터에 기초한 다 시점 영상을 기준으로 물체의 상태를 추정하는 서버부, 물체의 상태를 기초로 복수의 광원을 제어하는 제어부 및 복수의 광원을 포함하는 광원부를 포함할 수 있다. 이 때, 물체의 상태는 물체의 위치, 높이 및 행동 중 적어도 하나를 포함할 수 있다. 이에 따라, 스마트 조명 시스템은 시점의 제한 없이 물체를 감지하여 물체의 상태를 추정함으로써 사용자에게 편리한 조명 환경을 제공할 수 있으며, 조명의 사용에 따른 에너지를 절감할 수 있고, 차세대 스마트 조명 산업에 기여할 수 있다.

Description

스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법{SMART LIGHTING SYSYEM AND METHOD OF OPERATING A SMART LIGHTING SYSTEM}
본 발명은 스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법에 관한 것이다. 보다 상세하게는, 본 발명은 다 시점 영상을 기준으로 물체의 상태를 추정하는 스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법에 관한 것이다.
제어가 용이한 LED 조명이 보급되기 시작하면서 조명은 단순히 조도를 제 공해주는 것 이상의 것들이 가능해졌다. 에너지 절감을 위해서 기존의 On/Off 제어뿐만 아니라 디밍을 통한 조도 제어도 가능해졌으며, 이를 확장하여 색상 및 색온도 제어도 가능해졌다. 이를 통하여 단순한 조도 제공뿐만 아니라 더 높은 연색성을 제공하고, 효과적인 에너지 절감 방법을 제공하며, 자연 광을 재현하여 태양광과 비슷한 조명 환경을 제공하거나 환경 인지를 통하여 재난이나 응급상황 등에 경보 제공, 빛을 이용한 통신, 인간 행동 기반의 조명 제공, 인간 감성에 따른 조명 제공 등의 다양한 가능성들을 가지 게 되었다.
한편, 효과 적인 스마트 조명을 위해서 인간의 행동이나 움직임 사람의 수를 반영하여 조명을 제어하는 기술의 필요성이 높아졌다.
본 발명의 일 목적은 다 시점 영상을 기준으로 물체의 상태를 추정하고, 물체의 상태에 따라 복수의 광원의 색 온도를 제어하는 스마트 조명 시스템을 제공하는 것이다.
본 발명의 다른 목적은 다 시점 영상을 기준으로 물체의 상태를 추정하고, 물체의 상태에 따라 복수의 광원의 색 온도를 제어하는 스마트 조명 시스템의 구동 방법을 제공하는 것이다.
다만, 본 발명의 목적은 상술한 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 스마트 조명 시스템은 복수의 깊이 카메라를 포함하고, 물체를 감지하여 감지 데이터를 생성하는 감지부, 상기 감지 데이터에 기초한 다 시점 영상을 기준으로 상기 물체의 상태를 추정하는 서버부, 상기 물체의 상기 상태를 기초로 복수의 광원을 제어하는 제어부 및 상기 복수의 광원을 포함하는 광원부를 포함할 수 있다. 이 때, 상기 물체의 상태는 상기 물체의 위치, 높이 및 행동 중 적어도 하나를 포함할 수 있다.
일 실시예에 의하면, 상기 제어부는 상기 복수의 광원의 가시광선 영역의 스펙트럼을 조절하여 상기 복수의 광원의 색 온도를 제어할 수 있다.
일 실시에에 의하면, 상기 제어부는 상기 물체의 상기 상태에 상응하는 색 온도 데이터를 기초로 상기 복수의 광원의 상기 색 온도를 변경할 수 있다.
일 실시예에 의하면, 상기 서버부는 IPM(Inverse Perspective Mapping)을 통해 상기 물체의 위치를 추정할 수 있다.
일 실시예에 의하면, 상기 서버부는 글로벌 맵 이미지를 이용하여 상기 물체의 위치를 추정할 수 있다.
일 실시예에 의하면, 상기 서버부는 상기 감지 데이터를 기초로 정규화 데이터를 생성하고, 상기 정규화 데이터를 기초로 상기 물체의 행동을 추정할 수 있다.
본 발명의 다른 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 스마트 조명 시스템의 구동 방법은 복수의 깊이 카메라를 이용하여 물체를 감지하고, 감지 데이터를 생성하는 단계, 상기 감지 데이터에 기초한 다 시점 영상을 기준으로 상기 물체의 상태를 추정하는 단계, 상기 물체의 상기 상태를 기초로 복수의 광원을 제어하는 단계를 포함할 수 있다. 이 때, 상기 물체의 상태는 상기 물체의 위치, 높이 및 행동 중 적어도 하나를 포함할 수 있다.
일 실시예에 의하면, 상기 복수의 광원을 제어하는 단계는 상기 복수의 광원의 가시광선 영역의 스펙트럼을 조절하여 상기 복수의 광원의 색 온도를 제어할 수 있다.
상기 복수의 광원을 제어하는 단계는 상기 물체의 상기 상태에 상응하는 색 온도 데이터를 기초로 상기 복수의 광원의 상기 색 온도를 변경할 수 있다.
일 실시예에 의하면, 상기 물체의 상태를 추정하는 단계는 IPM(Inverse Perspective Mapping)을 통해 상기 물체의 위치를 추정할 수 있다.
일 실시예에 의하면, 상기 물체의 상태를 추정하는 단계는 글로벌 맵 이미지를 이용하여 상기 물체의 위치를 추정할 수 있다.
일 실시예에 의하면, 상기 물체의 상태를 추정하는 단계는 상기 감지 데이터를 기초로 정규화 데이터를 생성하고, 상기 정규화 데이터를 기초로 상기 물체의 행동을 추정할 수 있다.
본 발명에 따른 옵티컬 플로우 기능을 포함하는 스마트 조명 시스템은 다 시점 영상을 기준으로 물체의 상태를 추정하고, 물체의 상태에 따라 복수의 광원의 색 온도를 제어할 수 있다.
이에 따라, 스마트 조명 시스템은 시점의 제한 없이 물체를 감지하여 물체의 상태를 추정함으로써 사용자에게 편리한 조명 환경을 제공할 수 있으며, 조명의 사용에 따른 에너지를 절감할 수 있고, 차세대 스마트 조명 산업에 기여할 수 있다.
도 1은 본 발명의 실시예들에 따른 스마트 조명 시스템을 나타내는 블록도이다.
도 2는 도 1의 스마트 조명 시스템이 색 온도를 가변하는 기준이 되는 색도 공간을 나타내는 도면이다.
도 3은 도 1의 스마트 조명 시스템에서 옵티컬 플로우가 동작하는 일 예시를 나타내는 도면이다.
도 4는 본 발명의 실시예들에 따른 스마트 조명 시스템의 동작을 나타내는 순서도이다.
도 5는 본 발명의 실시예들에 따른 스마트 조명 시스템의 구체적인 동작을 나타내는 순서도이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에" 와 "바로 ~사이에" 또는 "~에 이웃하는" 과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 스마트 조명 시스템(100)을 나타내는 블록도이다. 도 2는 도 1의 스마트 조명 시스템(100)이 색 온도를 가변하는 기준이 되는 색도 공간을 나타내는 도면이다. 도 3은 도 1의 스마트 조명 시스템(100)에서 옵티컬 플로우가 동작하는 일 예시를 나타내는 도면이다.
도 1을 참조하면, 스마트 조명 시스템(100)은 감지부(120), 서버부(140), 제어부(160), 광원부(180)를 포함할 수 있다. 감지부(120)는 서버부(140)에 감지 데이터를 전송할 수 있다. 서버부(140)는 감지부(120)로부터 감지 데이터를 입력받고, 물체의 상태를 추정할 수 있다. 제어부(160)는 물체의 상태를 기초로 복수의 광원을 제어할 수 있다.
감지부(120)는 복수의 깊이 카메라를 포함할 수 있다. 감지부(120)는 복수의 깊이 카메라를 이용하여 물체를 감지할 수 있다. 예를 들어, 감지부(120)는 복수의 복수의 깊이 카메라를 이용하여 물체를 감지하고, 물체에 대한 감지 데이터를 생성할 수 있다. 감지부(120)는 물체에 대한 감지 데이터를 서버부(140)에 전송할 수 있다.
서버부(140)는 감지 데이터에 기초하여 물체의 상태를 추정할 수 있다. 예를 들어, 서버부(140)는 감지부(120)로부터 감지 데이터를 입력받고, 감지 데이터에 기초한 다 시점 영상을 기준으로 물체의 상태를 추정할 수 있다. 이 때, 서버부(140)가 추정하는 물체의 상태는 물체의 위치, 높이 및 행동 중 적어도 하나를 포함할 수 있다. 즉, 서버부(140)는 감지 데이터를 기초로 물체의 위치 상태를 추정할 수 있고, 물체의 높이 상태를 추정할 수 있으며, 물체의 행동 상태를 추정할 수 있다. 한편, 서버부(140)는 옵티컬 플로우(Optical Flow)를 이용하여 물체의 상태를 추정할 수 있다. 도 3을 참조하면, 옵티컬 플로우는 픽셀과 정점의 연관성(pixel-to-vertex correspondences)을 이용하여 영상의 실시간 모션을 연산하여 물체의 전체 움직임의 특징뿐만 아니라 부분적인 특징을 표현할 수 있다. 서버부(140)는 물체의 상태를 추정하고, 물체의 상태를 기초로 물체의 모드(MODE)를 결정할 수 있다. 서버부(140)는 물체의 모드를 포함하는 물체의 상태 정보를 생성할 수 있다. 서버부(140)는 물체의 상태 정보를 제어부(160)에 전송할 수 있다. 서버부(140)의 구체적인 연산에 대해서는 도 4 및 도 5를 참조하여 후술한다.
제어부(160)는 서버부(140)로부터 물체의 상태 정보를 입력받고, 물체의 상태를 기초로 복수의 광원을 제어할 수 있다. 예를 들어, 제어부(160)는 서버부(140)로부터 물체의 위치, 높이 및 행동 중 적어도 하나에 대한 상태 정보를 입력받고, 각각의 상태를 기초로 복수의 광원의 가시광선 영역의 스펙트럼을 조절할 수 있다. 도 2를 참조하면, 제어부(160)는 물체의 상태를 기초로, 복수의 광원이 각 물체의 상태에 따른 최적의 색 온도를 표현하도록 광원부(180)를 제어할 수 있다. 구체적으로, 제어부(160)는 물체의 상태를 기초로 광원부(180)에 포함된 복수의 광원들을 가시광선(Visible Light)영역(예컨대, 380 ~ 780 nm)의 스펙트럼 범위에서 조절할 수 있다. 제어부(160)는 복수의 광원이 각 물체의 상태에 최적의 색 온도를 표현하도록 광원부(180)에 광원 제어 신호를 전송할 수 있다. 예를 들어, 물체의 상태는 가족 모임, 학습, 휴식, 수면, 요리 등이 될 수 있다. 이러한 물체의 상태는 조명의 색 온도에 따라 영향을 받을 수 있다. 즉, 조명의 색 온도에 따라 물체의 감정, 업무 효율 등이 달라질 수 있다. 제어부(160)의 광원부(180) 제어에 따라 스마트 조명 시스템(100)은 물체(예컨대, 사용자)에게 물체의 위치, 높이 및 행동 등의 상태에 따라 최적의 조명 환경을 제공할 수 있다.
일 실시예에서, 제어부(160)는 물체의 상태에 상응하는 색 온도 데이터를 기초로 복수의 광원의 색 온도를 변경할 수 있다. 구체적으로, 제어부(160)는 기저장된 물체의 상태에 상응하는 색 온도 데이터를 이용하여 복수의 광원의 색 온도를 변경할 수 있다. 색 온도 데이터는 물체의 모드에 따라 최적의 색 온도를 저장하고 있을 수 있다. 예를 들어, 색 온도 데이터는 사용자가 입력한 데이터 값일 수 있다. 다른 예를 들어, 색 온도 데이터는 최적 색 온도 프로그램에 따른 데이터 값일 수 있다. 실시예에 따라, 물체의 모드가 식사 모드인 경우, 제어부(160)는 색 온도 데이터를 기초로 광원부의 색 온도를 식사 모드에 상응하는 색 온도로 변경할 수 있다. 또한, 물체의 모드가 업무 모드인 경우, 제어부(160)는 색 온도 데이터를 기초로 광원부의 색 온도를 업무 모드에 상응하는 색 온도로 변경할 수 있다. 또한, 물체의 모드가 수면 모드인 경우, 제어부(160)는 색 온도 데이터를 기초로 광원부의 색 온도를 수면 모드에 상응하는 색 온도로 변경할 수 있다.
광원부(180)는, 제어부(160)의 광원 제어 신호를 입력받을 수 있다. 광원부(180)에 포함된 복수의 광원들 각각은 광원 제어 신호에 기초하여 색 온도, 휘도 등이 달라질 수 있다. 이 때, 광원은 LED 소자일 수 있다. LED 소자는 특정 피크 파장을 중심으로 단파장을 가지며, 형광체를 통해 넓은 파장을 만들 수 있다. 복수의 광원들 각각이 형광체의 조합을 통하여 다양한 파장을 가지도록 설계됨으로써, 광원부(180)는 전체적으로 다양한 파장을 가지도록 설계될 수 있다. 예를 들어, 복수의 광원 각각은 14종류의 단파장 LED와 2종류의 장파장 LED를 사용하여 총 16종류의 다른 파장을 가지도록 설계될 수 있다.
이와 같이 본 발명에 따른 옵티컬 플로우 기능을 포함하는 스마트 조명 시스템(100)은 다 시점 영상을 기준으로 물체의 상태를 추정하고, 물체의 상태에 따라 복수의 광원의 색 온도를 제어할 수 있다. 이에 따라, 스마트 조명 시스템(100)은 시점의 제한 없이 물체를 감지하여 물체의 상태를 추정함으로써 사용자에게 편리한 조명 환경을 제공할 수 있으며, 조명의 사용에 따른 에너지를 절감할 수 있고, 차세대 스마트 조명 산업에 기여할 수 있다.
도 4는 본 발명의 실시예들에 따른 스마트 조명 시스템(100)의 동작을 나타내는 순서도이다.
도 1 내지 도 4를 참조하면, 스마트 조명 시스템(100)은 깊이 카메라를 이용하여 물체를 감지하고, 감지 데이터를 생성(S100)하고, 감지 데이터에 기초한 다 시점 영상을 기준으로 물체의 상태를 추정(S200)하며, 물체의 위치, 높이 및 행동 등 물체의 상태를 기초로 복수의 광원을 제어(S300)할 수 있다.
일 실시예에서, 스마트 조명 시스템(100)은 깊이 카메라를 이용하여 물체를 감지하고, 감지 데이터를 생성(S100)할 수 있다. 구체적으로, 감지부(120)는 복수의 깊이 카메라를 포함할 수 있다. 이 때, 감지부(120)는 복수의 깊이 카메라를 이용하여 물체를 감지할 수 있다. 감지부(120)는 복수의 복수의 깊이 카메라를 이용하여 물체를 감지하고, 물체에 대한 감지 데이터를 생성할 수 있다. 감지부(120)는 물체에 대한 감지 데이터를 생성하고, 감지 데이터를 서버부(140)에 전송할 수 있다.
일 실시예에서, 스마트 조명 시스템(100)은 감지 데이터에 기초한 다 시점 영상을 기준으로 물체의 상태를 추정(S200)할 수 있다. 구체적으로, 서버부(140)는 감지 데이터에 기초하여 물체의 상태를 추정할 수 있다. 예를 들어, 서버부(140)는 감지부(120)로부터 감지 데이터를 입력받고, 감지 데이터에 기초한 다 시점 영상을 기준으로 물체의 상태를 추정할 수 있다. 이 때, 서버부(140)가 추정하는 물체의 상태는 물체의 위치, 높이 및 행동 중 적어도 하나를 포함할 수 있다. 즉, 서버부(140)는 감지 데이터를 기초로 물체의 위치 상태를 추정할 수 있고, 물체의 높이 상태를 추정할 수 있으며, 물체의 행동 상태를 추정할 수 있다. 서버부(140)는 물체의 상태를 추정하고, 물체의 상태를 기초로 물체의 모드를 결정할 수 있다. 서버부(140)는 물체의 모드를 포함하는 물체의 상태 정보를 생성할 수 있다. 서버부(140)는 물체의 상태 정보를 제어부(160)에 전송할 수 있다.
한편, 서버부(140)는 옵티컬 플로우(Optical Flow)를 이용하여 물체의 상태를 추정할 수 있다. 도 3을 참조하면, 옵티컬 플로우는 픽셀과 정점의 연관성(pixel-to-vertex correspondences)을 이용하여 영상의 실시간 모션을 연산하여 물체의 전체 움직임의 특징뿐만 아니라 부분적인 특징을 표현할 수 있다. 구체적으로, 서버부(140)는 감지부(120)로부터 감지 데이터를 입력받을 수 있다. 이 때, 서버부(140)는 3D 옵티컬 플로우를 이용하여 복수의 깊이 카메라에서 감지한 감지 데이터들을 3D 형태로 재구성할 수 있다. 서버부(140)는 3D 형태로 재구성한 감지 데이터들을 이용하여 물체의 상태를 추정할 수 있다. 이 때, 물체의 상태는 가족 모임, 학습, 휴식, 수면, 요리 등이 될 수 있다. 다만 이는 물체의 상태의 예시들에 불과하고, 물체의 상태는 물체의 위치, 높이 및 행동 중 적어도 하나를 포함하는 다양한 상태를 의미할 수 있다. 예를 들어, 서버부(140)는 IPM(Inverse Perspective Mapping)을 통해 물체의 위치를 추정할 수 있다. IPM은 옵티컬 플로우의 한 방식으로, 장애물 검출에 사용될 수 있다. 서버부(140)가 IPM을 통해 물체의 위치를 추정하는 경우, 서버부(140)는 탑-다운 시점의 깊이 카메라에서 얻을 수 있는 거리 정보(예컨대, Z)와 2차원 상의 방향 정보(예컨대, X, Y)를 이용하여 물체의 정확한 위치를 추정할 수 있다. 다른 예를 들어, 서버부(140)는 글로벌 맵 이미지를 이용하여 물체의 위치를 추정할 수 있다. 글로벌 맵 이미지는 복수의 깊이 카메라로부터 획득된 이미지를 투시 변환하고, 투시 변환한 이미지를 평면상에 투영하여 생성될 수 있다. 서버부(140)가 글로벌 맵 이미지를 통해 물체의 위치를 추정하는 경우, 서버부(140)는 물체의 움직임이 서로 엇갈리거나, 물체가 하나의 깊이 카메라에서 다른 깊이 카메라로 넘어가는 경우에 물체를 효과적으로 추적함으로써, 물체의 정확한 위치를 추정할 수 있다.
일 실시예에서, 스마트 조명 시스템(100)은 물체의 위치, 높이 및 행동 등 물체의 상태를 기초로 복수의 광원을 제어(S300)할 수 있다. 구체적으로, 제어부(160)는 서버부(140)로부터 물체의 상태 정보를 입력받고, 물체의 상태를 기초로 복수의 광원을 제어할 수 있다. 예를 들어, 제어부(160)는 서버부(140)로부터 물체의 위치, 높이 및 행동 중 적어도 하나에 대한 상태 정보를 입력받고, 각각의 상태를 기초로 복수의 광원의 가시광선 영역의 스펙트럼을 조절할 수 있다. 제어부(160)는 복수의 광원이 각 물체의 상태에 최적의 색 온도를 표현하도록 광원부(180)에 광원 제어 신호를 전송할 수 있다. 제어부(160)의 광원부(180) 제어에 따라 스마트 조명 시스템(100)은 물체(예컨대, 사용자)에게 물체의 위치, 높이 및 행동 등의 상태에 따라 최적의 조명 환경을 제공할 수 있다.
일 실시예에서, 제어부(160)는 물체의 상태에 상응하는 색 온도 데이터를 기초로 복수의 광원의 색 온도를 변경할 수 있다. 구체적으로, 제어부(160)는 기저장된 물체의 상태에 상응하는 색 온도 데이터를 이용하여 복수의 광원의 색 온도를 변경할 수 있다. 색 온도 데이터는 물체의 모드에 따라 최적의 색 온도를 저장하고 있을 수 있다. 예를 들어, 색 온도 데이터는 사용자가 입력한 데이터 값일 수 있다. 다른 예를 들어, 색 온도 데이터는 최적 색 온도 프로그램에 따른 데이터 값일 수 있다. 실시예에 따라, 물체의 모드가 식사 모드인 경우, 제어부(160)는 색 온도 데이터를 기초로 광원부의 색 온도를 식사 모드에 상응하는 색 온도로 변경할 수 있다. 또한, 물체의 모드가 업무 모드인 경우, 제어부(160)는 색 온도 데이터를 기초로 광원부의 색 온도를 업무 모드에 상응하는 색 온도로 변경할 수 있다. 또한, 물체의 모드가 수면 모드인 경우, 제어부(160)는 색 온도 데이터를 기초로 광원부의 색 온도를 수면 모드에 상응하는 색 온도로 변경할 수 있다.
이와 같이 본 발명에 따른 옵티컬 플로우 기능을 포함하는 스마트 조명 시스템(100)은 다 시점 영상을 기준으로 물체의 상태를 추정하고, 물체의 상태에 따라 복수의 광원의 색 온도를 제어할 수 있다. 이에 따라, 스마트 조명 시스템(100)은 시점의 제한 없이 물체를 감지하여 물체의 상태를 추정함으로써 사용자에게 편리한 조명 환경을 제공할 수 있으며, 조명의 사용에 따른 에너지를 절감할 수 있고, 차세대 스마트 조명 산업에 기여할 수 있다.
도 5는 본 발명의 실시예들에 따른 스마트 조명 시스템(100)의 구체적인 동작을 나타내는 순서도이다.
도 1 내지 도 5를 참조하면, 스마트 조명 시스템(100)은 깊이 카메라를 이용하여 물체를 감지하고, 감지 데이터를 생성(S100)하고, 감지 데이터에 다 시점 영상이 획득되었는지 여부를 판단(S210)하며, 다 시점 영상 각각의 영상 크기 및 시퀀스를 정규화(S220)하고, 정규화된 다 시점 영상을 바탕으로 물체의 상태를 추정(S230)하며, 물체의 위치, 높이 및 행동 등 물체의 상태를 기초로 복수의 광원을 제어(S300)할 수 있다.
일 실시예에서, 스마트 조명 시스템(100)은 깊이 카메라를 이용하여 물체를 감지하고, 감지 데이터를 생성(S100)할 수 있다. 구체적으로, 감지부(120)는 복수의 깊이 카메라를 포함할 수 있다. 이 때, 감지부(120)는 복수의 깊이 카메라를 이용하여 물체를 감지할 수 있다. 감지부(120)는 복수의 복수의 깊이 카메라를 이용하여 물체를 감지하고, 물체에 대한 감지 데이터를 생성할 수 있다. 감지부(120)는 물체에 대한 감지 데이터를 생성하고, 감지 데이터를 서버부(140)에 전송할 수 있다.
일 실시예에서, 스마트 조명 시스템(100)은 감지 데이터에 다 시점 영상이 획득되었는지 여부를 판단(S210)하며, 다 시점 영상 각각의 영상 크기 및 시퀀스를 정규화(S220)하고, 정규화된 다 시점 영상을 바탕으로 물체의 상태를 추정(S230)할 수 있다. 구체적으로, 서버부(140)는 감지부(120)로부터 감지 데이터를 입력받고, 감지 데이터에 다 시점 영상이 획득되었는지 여부를 판단할 수 있다. 이 때, 감지 데이터에 다 시점 영상이 포함된 경우, 다 시점 영상 각각은 영상의 크기 및 영상의 시퀀스 길이가 다를 수 있다. 따라서, 본 발명에 따른 스마트 조명 시스템(100)이 옵티컬 플로우 동작을 하기 위해서는 다 시점 영상 각각의 정규화가 필요할 수 있다. 예를 들어, 서버부(140)가 감지 데이터에 다 시점 영상이 획득된 것으로 판단한 경우, 서버부(140)는 다 시점 영상 각각의 영상 크기 및 시퀀스를 정규화 할 수 있다. 서버부(140)는 감지 데이터를 기초로 정규화 데이터를 생성하고, 정규화된 이미지를 바탕으로 모션 플로우를 추출하고 그리드에 대해 주 각도와 각도에 대한 세기를 추출하여 특징 벡터를 생성할 수 있다. 서버부(140)는 시퀀스의 길이와 시점에 따라 추출된 특징 벡터들을 모두 연결하여 하나의 특징 벡터를 형성 할 수 있다. 서버부(140)는 정규화 데이터의 특징 벡터를 기초로 물체의 상태를 추정할 수 있다. 이 때, 서버부(140)가 추정하는 물체의 상태는 물체의 위치, 높이 및 행동 중 적어도 하나를 포함할 수 있다. 즉, 서버부(140)는 정규화된 다 시점 영상을 바탕으로 물체의 위치 상태를 추정할 수 있고, 물체의 높이 상태를 추정할 수 있으며, 물체의 행동 상태를 추정할 수 있다. 서버부(140)는 물체의 상태를 추정하고, 물체의 상태를 기초로 물체의 모드를 결정할 수 있다. 서버부(140)는 물체의 모드를 포함하는 물체의 상태 정보를 생성할 수 있다. 서버부(140)는 물체의 상태 정보를 제어부(160)에 전송할 수 있다.
한편, 서버부(140)는 옵티컬 플로우(Optical Flow)를 이용하여 물체의 상태를 추정할 수 있다. 서버부(140)가 옵티컬 플로우를 이용하여 물체의 상태를 추정하는 경우, 서버부(140)는 픽셀과 정점의 연관성(pixel-to-vertex correspondences)을 이용하여 영상의 실시간 모션을 연산하여 물체의 전체 움직임의 특징뿐만 아니라 부분적인 특징을 표현할 수 있다. 구체적으로, 서버부(140)는 감지부(120)로부터 감지 데이터를 입력받을 수 있다. 이 때, 서버부(140)는 3D 옵티컬 플로우를 이용하여 복수의 깊이 카메라에서 감지한 감지 데이터들을 3D 형태로 재구성할 수 있다. 서버부(140)는 3D 형태로 재구성한 감지 데이터들을 이용하여 물체의 상태를 추정할 수 있다. 이 때, 물체의 상태는 가족 모임, 학습, 휴식, 수면, 요리 등이 될 수 있다. 다만 이는 물체의 상태의 예시들에 불과하고, 물체의 상태는 물체의 위치, 높이 및 행동 중 적어도 하나를 포함하는 다양한 상태를 의미할 수 있다. 예를 들어, 서버부(140)는 IPM(Inverse Perspective Mapping)을 통해 물체의 위치를 추정할 수 있다. IPM은 옵티컬 플로우의 한 방식으로, 장애물 검출에 사용될 수 있다. 서버부(140)가 IPM을 통해 물체의 위치를 추정하는 경우, 서버부(140)는 탑-다운 시점의 깊이 카메라에서 얻을 수 있는 거리 정보(예컨대, Z)와 2차원 상의 방향 정보(예컨대, X, Y)를 이용하여 물체의 정확한 위치를 추정할 수 있다. 다른 예를 들어, 서버부(140)는 글로벌 맵 이미지를 이용하여 물체의 위치를 추정할 수 있다. 글로벌 맵 이미지는 복수의 깊이 카메라로부터 획득된 이미지를 투시 변환하고, 투시 변환한 이미지를 평면상에 투영하여 생성될 수 있다. 서버부(140)가 글로벌 맵 이미지를 통해 물체의 위치를 추정하는 경우, 서버부(140)는 물체의 움직임이 서로 엇갈리거나, 물체가 하나의 깊이 카메라에서 다른 깊이 카메라로 넘어가는 경우에 물체를 효과적으로 추적함으로써, 물체의 정확한 위치를 추정할 수 있다.
일 실시예에서, 스마트 조명 시스템(100)은 물체의 위치, 높이 및 행동 등 물체의 상태를 기초로 복수의 광원을 제어(S300)할 수 있다. 구체적으로, 제어부(160)는 서버부(140)로부터 물체의 상태 정보를 입력받고, 물체의 상태를 기초로 복수의 광원을 제어할 수 있다. 예를 들어, 제어부(160)는 물체의 상태를 기초로, 복수의 광원이 각 물체의 상태에 따른 최적의 색 온도를 표현하도록 광원부(180)를 제어할 수 있다. 구체적으로, 제어부(160)는 물체의 상태를 기초로 광원부(180)에 포함된 복수의 광원들을 가시광선(Visible Light)영역(예컨대, 380 ~ 780 nm)의 스펙트럼 범위에서 조절할 수 있다. 제어부(160)는 복수의 광원이 각 물체의 상태에 최적의 색 온도를 표현하도록 광원부(180)에 광원 제어 신호를 전송할 수 있다. 예를 들어, 물체의 상태는 가족 모임, 학습, 휴식, 수면, 요리 등이 될 수 있다. 이러한 물체의 상태는 조명의 색 온도에 따라 영향을 받을 수 있다. 즉, 조명의 색 온도에 따라 물체의 감정, 업무 효율 등이 달라질 수 있다. 제어부(160)의 광원부(180) 제어에 따라 스마트 조명 시스템(100)은 물체(예컨대, 사용자)에게 물체의 위치, 높이 및 행동 등의 상태에 따라 최적의 조명 환경을 제공할 수 있다. 한편, 제어부(160)는 물체의 상태에 상응하는 색 온도 데이터를 기초로 복수의 광원의 색 온도를 변경할 수 있다. 구체적으로, 제어부(160)는 기저장된 물체의 상태에 상응하는 색 온도 데이터를 이용하여 복수의 광원의 색 온도를 변경할 수 있다. 색 온도 데이터는 물체의 모드에 따라 최적의 색 온도를 저장하고 있을 수 있다. 예를 들어, 색 온도 데이터는 사용자가 입력한 데이터 값일 수 있다. 다른 예를 들어, 색 온도 데이터는 최적 색 온도 프로그램에 따른 데이터 값일 수 있다.
일 실시예에서, 광원부(180)는, 제어부(160)의 광원 제어 신호를 입력받을 수 있다. 광원부(180)에 포함된 복수의 광원들 각각은 광원 제어 신호에 기초하여 색 온도, 휘도 등이 달라질 수 있다. 이 때, 광원은 LED 소자일 수 있다. LED 소자는 특정 피크 파장을 중심으로 단파장을 가지며, 형광체를 통해 넓은 파장을 만들 수 있다. 복수의 광원들 각각이 형광체의 조합을 통하여 다양한 파장을 가지도록 설계됨으로써, 광원부(180)는 전체적으로 다양한 파장을 가지도록 설계될 수 있다.
이와 같이 본 발명에 따른 옵티컬 플로우 기능을 포함하는 스마트 조명 시스템(100)은 다 시점 영상을 기준으로 물체의 상태를 추정하고, 물체의 상태에 따라 복수의 광원의 색 온도를 제어할 수 있다. 이에 따라, 스마트 조명 시스템(100)은 시점의 제한 없이 물체를 감지하여 물체의 상태를 추정함으로써 사용자에게 편리한 조명 환경을 제공할 수 있으며, 조명의 사용에 따른 에너지를 절감할 수 있고, 차세대 스마트 조명 산업에 기여할 수 있다.
본 발명은 복수의 깊이 카메라를 이용하는 스마트 조명 시스템에 광범위하게 적용될 수 있다. 한편, 이상에서는 본 발명의 예시적인 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 스마트 조명 시스템
120: 감지부
140: 서버부
160: 제어부
180: 광원부

Claims (12)

  1. 복수의 깊이 카메라를 포함하고, 물체를 감지하여 감지 데이터를 생성하는 감지부;
    상기 감지 데이터에 기초한 다 시점 영상을 기준으로 상기 물체의 상태를 추정하는 서버부;
    상기 물체의 상기 상태를 기초로 복수의 광원을 제어하는 제어부; 및
    상기 복수의 광원을 포함하는 광원부를 포함하고,
    상기 상태는 상기 물체의 위치, 높이 및 행동 중 적어도 하나를 포함하는 것을 특징으로 하는 스마트 조명 시스템.
  2. 제 1 항에 있어서,
    상기 제어부는 상기 복수의 광원의 가시광선 영역의 스펙트럼을 조절하여 상기 복수의 광원의 색 온도를 제어하는 것을 특징으로 하는 스마트 조명 시스템.
  3. 제 2 항에 있어서,
    상기 제어부는 상기 물체의 상기 상태에 상응하는 색 온도 데이터를 기초로 상기 복수의 광원의 상기 색 온도를 변경하는 것을 특징으로 하는 스마트 조명 시스템.
  4. 제 2 항에 있어서,
    상기 서버부는 IPM(Inverse Perspective Mapping)을 통해 상기 물체의 위치를 추정하는 것을 특징으로 하는 스마트 조명 시스템.
  5. 제 2 항에 있어서,
    상기 서버부는 글로벌 맵 이미지를 이용하여 상기 물체의 위치를 추정하는 것을 특징으로 하는 스마트 조명 시스템.
  6. 제 2 항에 있어서,
    상기 서버부는 상기 감지 데이터를 기초로 정규화 데이터를 생성하고, 상기 정규화 데이터를 기초로 상기 물체의 행동을 추정하는 것을 특징으로 하는 스마트 조명 시스템.
  7. 복수의 깊이 카메라를 이용하여 물체를 감지하고, 감지 데이터를 생성하는 단계;
    상기 감지 데이터에 기초한 다 시점 영상을 기준으로 상기 물체의 상태를 추정하는 단계;
    상기 물체의 상기 상태를 기초로 복수의 광원을 제어하는 단계를 포함하고,
    상기 상태는 상기 물체의 위치, 높이 및 행동 중 적어도 하나를 포함하는 것을 특징으로 하는 스마트 조명 시스템의 구동 방법.
  8. 제 7 항에 있어서,
    상기 복수의 광원을 제어하는 단계는 상기 복수의 광원의 가시광선 영역의 스펙트럼을 조절하여 상기 복수의 광원의 색 온도를 제어하는 것을 특징으로 하는 스마트 조명 시스템의 구동 방법.
  9. 제 8 항에 있어서,
    상기 복수의 광원을 제어하는 단계는 상기 물체의 상기 상태에 상응하는 색 온도 데이터를 기초로 상기 복수의 광원의 상기 색 온도를 변경하는 것을 특징으로 하는 스마트 조명 시스템의 구동 방법.
  10. 제 8 항에 있어서,
    상기 물체의 상태를 추정하는 단계는 IPM(Inverse Perspective Mapping)을 통해 상기 물체의 위치를 추정하는 것을 특징으로 하는 스마트 조명 시스템의 구동 방법.
  11. 제 8 항에 있어서,
    상기 물체의 상태를 추정하는 단계는 글로벌 맵 이미지를 이용하여 상기 물체의 위치를 추정하는 것을 특징으로 하는 스마트 조명 시스템의 구동 방법.
  12. 제 8 항에 있어서,
    상기 물체의 상태를 추정하는 단계는 상기 감지 데이터를 기초로 정규화 데이터를 생성하고, 상기 정규화 데이터를 기초로 상기 물체의 행동을 추정하는 것을 특징으로 하는 스마트 조명 시스템의 구동 방법.
KR1020200154007A 2020-11-17 2020-11-17 스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법 KR102567659B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200154007A KR102567659B1 (ko) 2020-11-17 2020-11-17 스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200154007A KR102567659B1 (ko) 2020-11-17 2020-11-17 스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법

Publications (2)

Publication Number Publication Date
KR20220067382A true KR20220067382A (ko) 2022-05-24
KR102567659B1 KR102567659B1 (ko) 2023-08-17

Family

ID=81805877

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200154007A KR102567659B1 (ko) 2020-11-17 2020-11-17 스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법

Country Status (1)

Country Link
KR (1) KR102567659B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110060600A (ko) * 2009-11-30 2011-06-08 재단법인대구경북과학기술원 장애물체 위치 및 속도 추정 장치 및 방법
KR20140075443A (ko) * 2012-12-11 2014-06-19 영남대학교 산학협력단 스마트 조명 제어 장치 및 방법
KR20150058679A (ko) * 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
KR20200075727A (ko) * 2018-12-18 2020-06-26 삼성전자주식회사 깊이 맵 산출 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110060600A (ko) * 2009-11-30 2011-06-08 재단법인대구경북과학기술원 장애물체 위치 및 속도 추정 장치 및 방법
KR20140075443A (ko) * 2012-12-11 2014-06-19 영남대학교 산학협력단 스마트 조명 제어 장치 및 방법
KR20150058679A (ko) * 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
KR20200075727A (ko) * 2018-12-18 2020-06-26 삼성전자주식회사 깊이 맵 산출 방법 및 장치

Also Published As

Publication number Publication date
KR102567659B1 (ko) 2023-08-17

Similar Documents

Publication Publication Date Title
US8183785B2 (en) Method of controlling a lighting system based on a target light distribution
EP3434069B1 (en) An adaptive lighting system for a mirror component and a method of controlling an adaptive lighting system
US9704250B1 (en) Image optimization techniques using depth planes
EP3192330B1 (en) Lighting preference arbitration.
CN104428829B (zh) 色彩控制方法和通信装置
US20170363897A1 (en) Device and method for reducing the dazzle effect in a room of a building
CN202033568U (zh) 照明系统
US10586351B1 (en) Ambient light estimation for camera device in infrared channel
CN103688369B (zh) 双向显示器及其控制
CN112204961B (zh) 从动态视觉传感器立体对和脉冲散斑图案投射器进行半密集深度估计
KR102164877B1 (ko) 인체 감지 기반의 스마트 ｌｅｄ 조명 장치
US11140319B2 (en) Eye-tracking module with scenario-based mode switching function
JP2017522692A (ja) 占有センシングスマート照明システム
TW201311052A (zh) 光源控制系統與控制光源的方法
CN105934764A (zh) 用于功率高效的虹膜识别的方法和装置
US20180094919A1 (en) Imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
Chun et al. Real-time smart lighting control using human motion tracking from depth camera
Afshari et al. Modeling and feedback control of color-tunable LED lighting systems
US20220034651A1 (en) Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
CN110351543A (zh) 适应性红外线投影控制的方法以及装置
IT201600103146A1 (it) Procedimento per identificare sorgenti luminose, sistema e prodotto informatico corrispondenti
KR20210080155A (ko) 실내 조명 제어 장치 및 방법
KR20220067382A (ko) 스마트 조명 시스템 및 스마트 조명 시스템의 구동 방법
KR101258640B1 (ko) 동작 인식을 통한 ｌｅｄ 감성 조명 시스템
JP5877372B2 (ja) 照明制御装置及び照明システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right