KR20210012777A - Smart lamp system based multi sensor object sensing - Google Patents

Smart lamp system based multi sensor object sensing Download PDF

Info

Publication number
KR20210012777A
KR20210012777A KR1020190091084A KR20190091084A KR20210012777A KR 20210012777 A KR20210012777 A KR 20210012777A KR 1020190091084 A KR1020190091084 A KR 1020190091084A KR 20190091084 A KR20190091084 A KR 20190091084A KR 20210012777 A KR20210012777 A KR 20210012777A
Authority
KR
South Korea
Prior art keywords
lighting
sensor
based object
beacon
heat
Prior art date
Application number
KR1020190091084A
Other languages
Korean (ko)
Other versions
KR102281918B1 (en
Inventor
조성원
Original Assignee
홍익대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단 filed Critical 홍익대학교 산학협력단
Priority to KR1020190091084A priority Critical patent/KR102281918B1/en
Publication of KR20210012777A publication Critical patent/KR20210012777A/en
Application granted granted Critical
Publication of KR102281918B1 publication Critical patent/KR102281918B1/en

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V23/00—Arrangement of electric circuit elements in or on lighting devices
    • F21V23/04—Arrangement of electric circuit elements in or on lighting devices the elements being switches
    • F21V23/0442—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
    • H05B45/10—Controlling the intensity of the light
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound

Abstract

According to an embodiment of the present invention, the present invention relates to a smart lighting system through detection of an object based on multi-sensor, which comprises: at least one lighting device installed in a lighting space; a CCTV camera for generating a CCTV image by photographing the lighting space; an infrared heat sensor for detecting heat in the lighting space using infrared light; a sound sensor for detecting sound generated in the lighting space; a beacon scanner for performing beacon communication with a terminal entering the lighting space; and a lighting control device for receiving the CCTV image from the CCTV camera, a heat detection signal detected by the infrared heat sensor, a sound signal detected by the sound sensor, and a beacon signal received from the beacon scanner, and analyzing the input CCTV image, the heat detection signal, the sound signal, and the beacon signal to control the brightness of the lighting device inside the lighting space. Accordingly, a malfunction of the brightness control of the lighting device can be minimized.

Description

다중센서 기반 객체 감지를 통한 스마트 조명 시스템{Smart lamp system based multi sensor object sensing}Smart lighting system based on multi-sensor object sensing {Smart lamp system based multi sensor object sensing}

본 발명은 스마트 조명 시스템으로서, 다중센서 기반 객체 감지를 하여 조명을 제어하는 스마트 조명 시스템에 관한 것이다.The present invention relates to a smart lighting system that controls lighting by detecting objects based on multiple sensors.

지하주차장 및 터널은 365일 24시간 조명이 필요한 공간으로 조명시설의 적절한 설치와 활용에 있어서 체계적이고 효율적인 관리는 중요한 관심사항이다.Underground parking lots and tunnels are spaces that require lighting 24 hours a day, 365 days a year, and systematic and efficient management is an important concern in the proper installation and use of lighting facilities.

공동주택에서 발생되는 공동전기료는 대부분 지하주차장 조명등과 가로등이 차지하며, 그 중에서 지하주차장 조명등이 전체 공동전기료의 약 60%를 차지한다. Most of the common electricity costs incurred in apartment houses are basement parking lot lights and streetlights, and of them, underground parking lot lights account for about 60% of the total common electricity bills.

그러나 지하주차장/터널 조명에너지는 불필요한 전력 소모로 인한 국가적인 에너지낭비가 적지 않다. However, underground parking lot/tunnel lighting energy is a significant waste of national energy due to unnecessary power consumption.

지하 주차장, 터널, 도로 가로등 조명등은 대부분 에너지 효율성 및 내구성이 뛰어난 LED등으로 설치/교체되고 있으며, 통상적으로 조명은 조금만 어두워도 안전사고 우려가 높아 법적 기준보다 10∼20% 정도 밝게 설계되고 있는 실정이다. 그래서 공동전기료를 줄이기 위해 지하주차장 조명등을 격등 방식으로 사용하고 있으나 조명등 사이의 조도분포가 균일하지 않아, 조도가 낮은 곳에서 사람 및 운전자가 불안감을 느끼고 피로가 증가하여 사고로 이어지며, 조도조절이 불가능해 사람 및 차량 이동이 적은 새벽 시간까지 밝게 유지해야 하는 비효율이 발생 등의 문제점이 있다.Underground parking lots, tunnels, and street lamps are mostly installed/replaced with LED lights with excellent energy efficiency and durability, and in general, even if the lights are slightly dark, there is a high risk of safety accidents, so they are designed to be 10-20% brighter than legal standards. to be. Therefore, in order to reduce the common electricity bill, underground parking lot lights are used in a different manner, but the distribution of illumination between the lights is not uniform, so people and drivers feel anxious and fatigue increases in places with low illumination, leading to accidents, and illumination control is difficult. As it is impossible, there is a problem such as inefficiency that must be kept bright until dawn when there is less movement of people and vehicles.

예를 들어, 아무도 없는 지하주차장/도로/터널 등에서 최대밝기로 점등되어 있는 많은 주차장 조명을 주변에서 흔히 볼 수 있다. 이는 막대한 에너지 소비, 조명기구 수명단축, 유지보수비용 증가로 이어진다. For example, in underground parking lots/roads/tunnels where no one is located, many parking lot lights that are lit at maximum brightness are common in the surroundings. This leads to enormous energy consumption, shortened lifespan of lighting fixtures, and increased maintenance costs.

따라서 지하주차장/도로/터널 등에서 조명 사용에 따른 에너지를 절약할 수 있는 스마트 조명 제어 수단의 필요성이 절실하다.Therefore, there is an urgent need for a smart lighting control means that can save energy according to the use of lighting in underground parking lots/roads/tunnels.

한국공개특허 10-2004-0063873Korean Patent Publication 10-2004-0063873

본 발명의 기술적 과제는 지하주차장/가로등/터널 등에 스마트 조명관리 시스템을 구현하여 안정적인 조도를 유지하고 에너지 절감효과를 증가시킬 수 있는 방안으로, 사람 및 차량 움직임을 정확하게 감지하여 조명등 밝기(조도)제어의 오동작을 최소화할 수 있는 기술을 제공하는데 있다.The technical problem of the present invention is to implement a smart lighting management system in underground parking lots/streetlights/tunnels, etc. to maintain stable illumination and increase energy saving effect, and control brightness (illumination) of lights by accurately detecting movement of people and vehicles. It is to provide a technology that can minimize the malfunction of the product.

본 발명의 실시 형태는 조명 공간에 적어도 하나 이상 설치된 조명 기기; 상기 조명 공간을 촬영하여 CCTV 영상을 생성하는 CCTV 카메라; 적외선을 이용하여 조명 공간 내의 열을 감지하는 적외선 열감지 센서; 상기 조명 공간에서 발생되는 음향을 감지하는 음향센서; 상기 조명 공간에 진입한 단말기와 비콘 통신을 수행하는 비콘 스캐너; 상기 CCTV 카메라로부터의 CCTV 영상, 상기 적외선 열감지 센서를 통해 감지되는 열감지 신호, 상기 음향센서를 통해 감지되는 음향 신호, 상기 비콘 스캐너에서 수신되는 비콘 신호를 입력받아, 입력되는 CCTV 영상, 열감지 신호, 음향 신호, 비콘 신호를 분석하여 조명 공간 내부에 있는 조명 기기의 조명 밝기를 제어하는 조명 제어 기기;를 포함할 수 있다.An embodiment of the present invention includes at least one lighting device installed in a lighting space; CCTV cameras for generating CCTV images by photographing the lighting space; An infrared heat sensor that senses heat in the lighting space by using infrared light; An acoustic sensor detecting sound generated in the lighting space; A beacon scanner performing beacon communication with a terminal entering the lighting space; CCTV image from the CCTV camera, heat detection signal detected through the infrared heat sensor, sound signal detected through the acoustic sensor, beacon signal received from the beacon scanner, and input CCTV image, heat detection It may include; a lighting control device that analyzes a signal, an acoustic signal, and a beacon signal to control the brightness of the lighting device in the lighting space.

상기 조명 제어 기기는, 상기 CCTV 카메라에서 촬영된 CCTV 영상에서 객체를 검출하여, 검출한 CCTV 영상의 객체를 이용하여 조명 공간 내의 객체 종류인 CCTV 기반 객체 종류를 파악하는 CCTV 영상 분석부; 상기 적외선 열감지 센서를 통해 감지된 열감지 신호를 이용하여 조명 공간 내의 객체 종류인 열감지 기반 객체 종류를 판별하는 열감지 신호 분석부; 상기 음향센서를 통해 감지되는 음향 신호를 이용하여 조명 공간 내의 객체 종류인 음향 기반 객체 종류를 판별하는 음향 신호 분석부; 상기 비콘 스캐너에서 수신되는 비콘 신호를 이용하여 조명 공간 내의 객체 종류인 비콘 기반 객체 종류를 판별하는 비콘 신호 분석부; 상기 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 통합 분석 조명 제어부;를 포함할 수 있다.The lighting control device may include a CCTV image analysis unit that detects an object from a CCTV image captured by the CCTV camera, and identifies a CCTV-based object type, which is an object type in the lighting space, using the object of the detected CCTV image; A heat detection signal analysis unit for determining a heat detection-based object type, which is an object type in the lighting space, using the heat detection signal detected through the infrared heat detection sensor; An acoustic signal analysis unit for determining a sound-based object type, which is an object type in the lighting space, using the acoustic signal detected by the acoustic sensor; A beacon signal analysis unit that determines a beacon-based object type, which is an object type in the lighting space, using the beacon signal received from the beacon scanner; It may include an integrated analysis lighting control unit for differently controlling the lighting brightness of the lighting device inside the lighting space according to the CCTV-based object type, thermal sensing-based object type, sound-based object type, and beacon-based object type.

상기 CCTV 영상 분석부는, CCTV 영상에서 검출된 객체에 대하여 CNN 기반 딥러닝 분석을 통하여, 상기 CCTV 기반 객체 종류가 '사람', '동물', '차량', '기타'의 4개 중에서 어느 하나의 객체 종류인지를 파악할 수 있다.The CCTV image analysis unit, through CNN-based deep learning analysis on the object detected in the CCTV image, the CCTV-based object type is any one of four of'people','animal','vehicle', and'other'. You can determine whether it is an object type.

상기 열감지 신호 분석부는, 상기 적외선 열감지 센서를 통해 감지되는 열감지 신호의 변동값을 이용하여, 상기 열감지 기반 객체 종류가 사람인지 동물인지 판별할 수 있다.The heat sensing signal analysis unit may determine whether the type of the heat sensing-based object is a human or an animal, using a variation value of the heat sensing signal detected through the infrared heat sensing sensor.

상기 열감지 신호 분석부는, 상기 열감지 신호의 변동값을 분석하여 배경 객체인지 움직임 객체인지 판별한 후, 움직임 객체로 판별되는 경우 상기 열감지 신호에서 추출되는 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별할 수 있다.The heat detection signal analysis unit analyzes the fluctuation value of the heat detection signal to determine whether it is a background object or a moving object, and then, when it is determined as a moving object, the heat detection-based object type is determined by using a characteristic extracted from the heat detection signal. Can determine whether it is human or animal.

상기 열감지 신호 분석부는, 열감지 신호의 고주파 성분을 이용하여 객체 움직임 특성을 파악하고, 열감지 신호의 신호 세기 레벨을 이용하여 객체 크기 특성 파악하여, 파악되는 객체 움직임 특성과 객체 크기 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별할 수 있다.The heat detection signal analysis unit identifies object motion characteristics using a high frequency component of the heat detection signal, determines object size characteristics using the signal strength level of the heat detection signal, and uses the determined object movement characteristics and object size characteristics. Thus, it is possible to determine whether the object type based on thermal sensing is human or animal.

상기 음향 신호 분석부는, 상기 음향센서를 통해 감지되는 음향 신호에 대하여 특징값을 추출하고, 추출한 특징값을 데이터베이스를 기반으로 하는 딥러닝 분류기를 통해 분류하여 음향 기반 객체 종류를 판별할 수 있다.The acoustic signal analysis unit may extract a feature value for the acoustic signal detected by the acoustic sensor and classify the extracted feature value through a deep learning classifier based on a database to determine the type of a sound-based object.

상기 음향 신호에 대하여 특징값을 추출하는 것은, 위너(wiener) 필터를 적용해 음향데이터의 잡음을 제거한 후 특징값을 추출할 수 있다.To extract a feature value for the acoustic signal, a feature value may be extracted after removing noise from the acoustic data by applying a Wiener filter.

상기 비콘 신호 분석부는, 조명 공간 내에서 존재하는 사람이 소지한 스마트폰이나 차량에 구비된 비콘기기로부터 비콘 스캐너로 전달되는 비콘 신호를 이용하여 비콘 기반 객체 종류가 사람인지 차량인지를 판별할 수 있다.The beacon signal analysis unit may determine whether a beacon-based object type is a person or a vehicle by using a beacon signal transmitted to a beacon scanner from a smartphone or a beacon device provided in a vehicle in the lighting space. .

상기 통합 분석 조명 제어부는, 상기 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류를 이용하여 조명 공간 내에 존재하는 객체의 종류인 다중센서 기반 객체 종류를 특정하는 다중센서 통합 분석 모듈; 다중센서 통합 분석부를 통해 결정되는 다중센서 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 조명 제어 모듈;을 포함할 수 있다.The integrated analysis lighting control unit may use the CCTV-based object type, heat-sensing-based object type, sound-based object type, and beacon-based object type to specify a multi-sensor-based object type, which is a type of object existing in the lighting space. Integrated analysis module; It may include; a lighting control module for differently controlling the lighting brightness of the lighting device inside the lighting space according to the type of the multi-sensor-based object determined through the integrated multi-sensor analysis unit.

상기 다중센서 통합 분석 모듈은, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류별로 각각 우선순위를 부여하여, 우선순위를 기준으로 객체 종류를 특정할 수 있다.The multi-sensor integrated analysis module may assign a priority to each of a CCTV-based object type, a heat detection-based object type, a sound-based object type, and a beacon-based object type, and thereby specify the object type based on the priority.

상기 다중센서 통합 분석 모듈은, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류별로 각각 가중치를 부여하여, 가중치 합산값을 기준으로 객체 종류를 특정할 수 있다.The multi-sensor integrated analysis module may assign weights to CCTV-based object types, thermal sensing-based object types, sound-based object types, and beacon-based object types, respectively, and may specify the object type based on the sum of the weights.

상기 음향센서는, 방향성 음향을 감지하는 방향성 마이크로 구현되며, 상기 음향 신호 분석부는, 음향 기반 객체 종류 이외에도 음향 기반 객체 종류의 감지 방향을 검출하며, 상기 조명 제어 모듈은, 다중센서 통합 분석 모듈을 통해 결정되는 다중센서 기반 객체 종류와 상기 음향 신호 분석부를 통해 검출되는 감지 방향에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어할 수 있다.The acoustic sensor is implemented with a directional microphone that detects directional sound, and the acoustic signal analysis unit detects a detection direction of a sound-based object type in addition to the sound-based object type, and the lighting control module is configured to include a multi-sensor integrated analysis module. According to the determined multi-sensor-based object type and the detection direction detected through the acoustic signal analyzer, the lighting brightness of the lighting device in the lighting space may be differently controlled.

상기 조명 제어 모듈은, 상기 다중센서 기반 객체 종류가 차량으로 판별되는 경우 상기 감지 방향의 섹터에 있는 조명들을 제1밝기로 점등 제어하며, 상기 다중센서 기반 객체 종류가 사람으로 판별되는 경우 상기 감지 방향의 섹터에 있는 조명들을 제1밝기보다 더 밝은 제2밝기로 점등 제어할 수 있다.The lighting control module, when the multi-sensor-based object type is determined to be a vehicle, controls lights in the sector of the sensing direction to be turned on with a first brightness, and when the multi-sensor-based object type is determined to be a person, the sensing direction Lighting in the sector of the light can be controlled to a second brightness that is brighter than the first brightness.

상기 CCTV 영상 분석부는, CCTV 영상에서 객체 제스처를 검출하며, 상기 다중센서 통합 분석 모듈은, 검출되는 다중센서 기반 객체 종류와 객체 제스처에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어할 수 있다.The CCTV image analysis unit detects an object gesture in a CCTV image, and the multi-sensor integrated analysis module can differently control the lighting brightness of a lighting device inside the lighting space according to the detected multi-sensor-based object type and object gesture. have.

상기 조명 제어 모듈은, 상기 CCTV 기반 객체 종류와 열감지 기반 객체 종류가 모두 사람으로 판별되면서, 아울러 객체 제스처가 위를 향하는 경우 조명 공간 내부에 있는 조명 기기의 조명 밝기를 한 단계 더 높여 밝게 제어할 수 있다.The lighting control module, while both the CCTV-based object type and the heat-sensing-based object type are identified as humans, and when the object gesture is upward, the lighting brightness of the lighting device inside the lighting space is increased by one level to control the brightness. I can.

본 발명의 실시 형태에 따르면 TV 카메라, 열감지(PIR: Pyroelectric Infrared)센서, 음향센서, 비콘(Beacon) 등 다양한 IoT(Internet of Things) 센서 정보들을 종합적으로 분석하여, 주차장/도로/터널 등의 다양한 곳에서의 조명 에너지를 절약할 수 있다.According to an embodiment of the present invention, various Internet of Things (IoT) sensor information such as a TV camera, a PIR (Pyroelectric Infrared) sensor, an acoustic sensor, and a beacon is comprehensively analyzed, such as parking lot/road/tunnel, etc. It can save lighting energy in various places.

또한 본 발명의 실시 형태에 따르면 다양한 센서들을 종합 분석하여 다중센서 기반 객체 종류를 결정할 때 우선 순위 또는 가중치를 이용하여 결정함으로써, 정확한 객체 종류 파악이 가능하게 된다.In addition, according to an embodiment of the present invention, when determining a multi-sensor-based object type by comprehensively analyzing various sensors, it is possible to accurately identify the object type by determining using priority or weight.

도 1은 본 발명의 실시예에 따른 다중센서 기반 객체 감지를 통한 스마트 조명 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 다중센서 기반 객체 감지를 통한 스마트 조명 시스템을 지하주차장에 적용할 때의 예시 그림.
도 3은 본 발명의 실시예에 따른 CCTV 카메라의 예시 그림.
도 4는 본 발명의 실시예에 따른 조명 제어 기기의 구성 블록도.
도 5는 비감지 상황, 사람 감지 상황, 동물 감지 상황의 열감지 신호 파형들을 나타낸 그림.
도 6은 본 발명의 실시예에 따른 음향 감지 동작 흐름을 도시한 그림.
도 7은 본 발명의 실시예에 따른 MFCC 블록다이어그램을 도시한 그림.
도 8은 본 발명의 실시예에 따라 영상, 열감지, 음향 정보를 이용하여 객체를 결정하는 예시 그림.1 is a block diagram of a smart lighting system through object detection based on multiple sensors according to an embodiment of the present invention.
2 is an exemplary diagram when applying a smart lighting system through object detection based on multiple sensors according to an embodiment of the present invention to an underground parking lot.
3 is an exemplary illustration of a CCTV camera according to an embodiment of the present invention.
Figure 4 is a block diagram of a lighting control device according to an embodiment of the present invention.
5 is a diagram showing the heat detection signal waveforms of a non-sensing situation, a human detection situation, and an animal detection situation.
6 is a diagram showing a flow of sound sensing operation according to an embodiment of the present invention.
7 is a diagram showing an MFCC block diagram according to an embodiment of the present invention.
8 is an exemplary diagram for determining an object using image, heat detection, and sound information according to an embodiment of the present invention.

이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.Hereinafter, the advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, and is provided to completely inform the scope of the invention to those of ordinary skill in the art to which the present invention belongs. As such, the invention is only defined by the scope of the claims. In addition, when it is determined that related well-known technologies or the like may obscure the subject matter of the present invention in describing the present invention, detailed descriptions thereof will be omitted.

도 1은 본 발명의 실시예에 따른 다중센서 기반 객체 감지를 통한 스마트 조명 시스템의 구성도이며, 도 2는 본 발명의 실시예에 따른 다중센서 기반 객체 감지를 통한 스마트 조명 시스템을 지하주차장에 적용할 때의 예시 그림이며, 도 3은 본 발명의 실시예에 따른 CCTV 카메라의 예시 그림이며, 도 4는 본 발명의 실시예에 따른 조명 제어 기기의 구성 블록도이며, 도 5는 비감지 상황, 사람 감지 상황, 동물 감지 상황의 열감지 신호 파형들을 나타낸 그림이며, 도 6은 본 발명의 실시예에 따른 음향 감지 동작 흐름을 도시한 그림이며, 도 7은 본 발명의 실시예에 따른 MFCC 블록다이어그램을 도시한 그림이며, 도 8은 본 발명의 실시예에 따라 영상, 열감지, 음향 정보를 이용하여 객체를 결정하는 예시 그림이다.1 is a block diagram of a smart lighting system through multi-sensor-based object detection according to an embodiment of the present invention, and FIG. 2 is a smart lighting system through multi-sensor-based object detection according to an embodiment of the present invention applied to an underground parking lot 3 is an exemplary illustration of a CCTV camera according to an embodiment of the present invention, and FIG. 4 is a block diagram of a configuration of a lighting control device according to an embodiment of the present invention, and FIG. 5 is a non-sensing situation, It is a figure showing the heat detection signal waveforms of the human detection situation and the animal detection situation, FIG. 6 is a diagram showing the flow of sound detection operation according to an embodiment of the present invention, and FIG. 7 is an MFCC block diagram according to an embodiment of the present invention. And FIG. 8 is an exemplary diagram for determining an object using image, heat detection, and sound information according to an embodiment of the present invention.

본 발명은 지하주차장/가로등/터널 등에 스마트 조명관리 시스템을 구현하여 안정적인 조도를 유지하고 에너지 절감효과를 증가시킬 수 있는 방안으로서, CCTV 카메라(110), 열감지(PIR:Pyroelectric Infrared)센서, 오디오센서, 비콘으로부터 입력된 다중 IoT 센서 정보를 종합적으로 분석하고 융합하여 객체(사람 및 이동차량)을 정확하게 감지하는 방법에 관한 것이다. 객체감지 결과는 주차장/도로/터널 등에서 스마트 LED 조명 조도제어(디밍제어)에 이용된다.The present invention is a way to maintain stable illumination and increase energy saving effect by implementing a smart lighting management system in underground parking lot / street light / tunnel, etc., CCTV camera 110, thermal sensing (PIR: Pyroelectric Infrared) sensor, audio It relates to a method for accurately detecting objects (people and moving vehicles) by comprehensively analyzing and fusion of multiple IoT sensor information input from sensors and beacons. The object detection result is used for smart LED lighting illuminance control (dimming control) in parking lots/roads/tunnels, etc.

즉, 본 발명은, 평소에는 최소한(10~20%)의 밝기 상태를 유지되다가, 지하주차장에 출입하는 사람이나 차량의 움직임이 감지되는 경우에만 주차장 조명 밝기를 최대(100%)로 조절하기 위해, CCTV 카메라(110), 열감지(PIR: Pyroelectric Infrared)센서, 음향센서(130), 비콘(Beacon) 등 다양한 IoT(Internet of Things) 센서 정보들을 종합적으로 분석하고 융합하여 오동작을 최소화한 LED 스마트 조명관리 기술이다.That is, the present invention is to adjust the brightness of the parking lot to a maximum (100%) only when a movement of a person or vehicle entering the underground parking lot is detected while maintaining a minimum (10-20%) brightness state. , CCTV camera 110, thermal sensing (PIR: Pyroelectric Infrared) sensor, acoustic sensor 130, and various IoT (Internet of Things) sensor information such as beacons, etc. It is a lighting management technology.

기존의 지하주차장 조명의 조도제어 시스템에서는 사람 및 차량 움직임 감지를 위해 적외선 방식의 디지털 열감지(PIR:Pyroelectric Infrared) 센서와 마이크로웨이브 센서를 단독 또는 복합적으로 사용하는 방법이 가장 많이 사용되고 있다. 그러나 디지털 PIR 센서는 센싱된 원적외선이 일정값 이상보다 높으면 사람이 있는 것으로 판별하는 원리에 의하여, 사람과 동물을 정확하게 구별하지 못하는 문제점을 가지고 있고, 차량감지에는 사용할 수 없는 원초적 한계를 가지고 있다. In the existing illuminance control system for underground parking lot lighting, the method of using an infrared type digital thermal infrared (PIR) sensor and a microwave sensor alone or in combination to detect movement of people and vehicles is most often used. However, the digital PIR sensor has a problem of not being able to accurately distinguish between a person and an animal by the principle of determining that a person exists when the sensed far-infrared ray is higher than a certain value, and has a fundamental limitation that cannot be used for vehicle detection.

마이크로웨이브 센서는 사람과 차량을 모두 감지할 수 있으나, 방향성을 가지고 있고, 자체 전력 소모가 많으며, PIR에 비하여 가격 부담이 있는 단점이 있다.Although the microwave sensor can detect both people and vehicles, it has a directionality, consumes a lot of power, and has a price burden compared to PIR.

이에 반해 본 발명은, CCTV, 적외선 열감지(PIR) 센서, 음향센서(130), 비콘을 사용하여 객체(사람 및 이동차량)을 정확하게 감지하여 주차장/가로등/터널등 LED 조명제어의 오동작을 최소화할 수 있는 기술을 개발하여 에너지 절감효과를 극대화할 수 있는 스마트 조명관리 시스템이다. On the other hand, the present invention minimizes malfunction of LED lighting control such as parking lot/street light/tunnel by accurately detecting objects (people and moving vehicles) using CCTV, infrared heat detection (PIR) sensor, acoustic sensor 130, and beacon. It is a smart lighting management system that can maximize energy savings by developing technologies that can be done.

이를 위하여 본 발명의 다중센서 기반 객체 감지를 통한 스마트 조명 시스템은, 도 1 및 도 2에 도시한 바와 같이 조명 기기(200), CCTV 카메라(110), 적외선 열감지 센서(120), 음향 센서, 비콘 스캐너(140), 및 조명 제어 기기(300)를 포함할 수 있다.To this end, the smart lighting system through multi-sensor-based object detection of the present invention, as shown in Figs. 1 and 2, a lighting device 200, a CCTV camera 110, an infrared thermal sensor 120, an acoustic sensor, A beacon scanner 140 and a lighting control device 300 may be included.

조명 기기(200)는, 조명 공간에 적어도 하나 이상 설치되어 발광하는 조명 발광체이다. 이러한 조명 기기(200)는, LED램프, 백열램프 등과 같이 다양한 형태가 모두 가능하다. 여기서 조명 공간은, 지하주차장, 가로등, 터널 등과 같이 조명이 필요한 공간을 말하며, 지하주차장, 가로등, 터널 이외에도 조명 기기(200)가 구비되는 다른 다양한 공간 역시 해당될 것이다.The lighting device 200 is a lighting luminous body installed at least one or more in a lighting space to emit light. The lighting device 200 may have various forms such as an LED lamp and an incandescent lamp. Here, the lighting space refers to a space that needs lighting, such as an underground parking lot, a street light, a tunnel, etc., and in addition to the underground parking lot, street light, and tunnel, various other spaces in which the lighting device 200 is provided will also correspond.

CCTV 카메라(110)는, 조명 공간을 촬영하여 CCTV 영상을 생성하는 촬영 기기이다. 이러한 도 3(a)에 도시한 바와 같이 블렛 카메라 형태, 도 3(b)에 도시한 바와 같이 실내돔카메라 형태 등을 가질 수 있으며, 하우징 일체형태, 스피드 돔 등의 다양한 형태의 CCTV 카메라(110)가 모두 포함될 수 있을 것이다. 또한 CCTV 카메라(110)는 다양한 하우징 형태로서 구현될 수 있음은 자명할 것이다. 또한 CCTV 카메라(110)는, CCTV카메라를 통해 움직임 이벤트가 발생할 때 이벤트 객체를 줌,인하여 객체를 촬영하며 이때 줌,인과 동시에 상,하,좌,우 각도를 조정하여 객체를 화면에 중앙에 위치하게 하는 PTZ 조절이 이루어지도록 할 수 있다. PTZ(Pan Tilt Zoom)는 팬 틸트 줌 기능을 말하는 것으로서, 상하 좌우로 피사체를 따라가며, 확대, 축소 기능을 가진 CCTV 카메라(110)를 말한다. PTZ 돔 네트워크 카메라는 팬/틸트/줌 기능을 통해 넓은 구역을 감시하며 줌인 기능을 통해 상세 이미지를 제공할 수 있다. The CCTV camera 110 is a photographing device that generates a CCTV image by photographing a lighting space. As shown in FIG. 3(a), it may have a bullet camera shape, an indoor dome camera shape as shown in FIG. 3(b), and various types of CCTV cameras 110 such as an integrated housing type and a speed dome. ) Could be included. In addition, it will be apparent that the CCTV camera 110 can be implemented in various housing types. In addition, the CCTV camera 110, when a motion event occurs through the CCTV camera, zooms in and in the event object to photograph the object, and at this time, the object is located in the center of the screen by adjusting the up, down, left, and right angles at the same time as zooming and in. PTZ adjustment can be made. PTZ (Pan Tilt Zoom) refers to a pan tilt zoom function, and refers to a CCTV camera 110 that follows a subject vertically and horizontally, and has enlargement and reduction functions. The PTZ dome network camera can monitor a wide area through the pan/tilt/zoom function and provide detailed images through the zoom-in function.

적외선 열감지 센서(120)는, 적외선을 이용하여 조명 공간 내의 열을 감지하는 센서이다. 적외선 열감지 센서(120)는 초전형 적외선(PIR; Pyroelectric InfraRed) 기반으로 열을 감지하는데, 적외선 흡수시 물질 내의 분극(polarization) 변화로 전하가 유기되어 기전력이 발생하는 초전효과를 이용한 센서로서, 주변 환경과 원적외선을 발생하는 물체(사람, 동물 등)과의 원적외선 차이를 감지하며, 이를 이용하여 사람 또는 동물 등의 움직임 검출이 가능하다The infrared heat sensor 120 is a sensor that detects heat in an illumination space using infrared rays. The infrared thermal sensor 120 detects heat based on Pyroelectric InfraRed (PIR), and is a sensor using a pyroelectric effect in which electric charges are induced due to a change in polarization in a material when absorbing infrared rays, thereby generating electromotive force, It detects the difference in far-infrared rays between the surrounding environment and objects (people, animals, etc.) that generate far-infrared rays, and by using this, it is possible to detect movement of people or animals.

음향 센서는, 조명 공간에서 발생되는 음향을 감지하는 센서이다. 영상 감지의 경우 카메라의 시야 범위 (FOV) 영역만을 감시할 수 있으므로 시야 범위 밖에서 발생하는 보행자나 차량은 감지할 수 없다. 또한, 카메라는 빛이 있는 경우에만 볼 수 있는 영상 데이터를 획득할 수 있는데 반해, 오디오의 경우 주변 360°환경을 취급할 수 있고 어둠에서도 오디오 획득이 가능하기 때문에 획득된 오디오 분석으로 어두운 장소에서나, 영상 감지 카메라의 시야 범위가 미치지 않는 곳을 감시할 수 있다. 즉, 영상 감지 카메라 시야 밖 또는 볼 수 있는 영상 데이터 획득이 불가능한 경우에도, 발생하는 차량 이동하는 소리, 보행자 인기척 소리, 동물 소리 등의 오디오 정보 분석을 통해 사람 및 차량의 출현을 인지하는 보완적인 오디오 감지가 가능해진다. 특히, 어두운 경우 영상 감지는 획득한 영상이 알아보기 어려워서, 영상 감지만으로는 차량이나 보행자를 감지하는 데 한계가 있으나, 오디오 감지가 보완되면 어느 정도 차량 및 보행자 감지가 가능해진다. 방향성 마이크를 사용하면 소리가 나는 방향까지도 알아낼 수 있다. The acoustic sensor is a sensor that detects sound generated in a lighting space. In the case of video detection, only the field of view (FOV) area of the camera can be monitored, so pedestrians or vehicles occurring outside the field of view cannot be detected. In addition, the camera can acquire image data that can be seen only when there is light, whereas in the case of audio, it can handle the surrounding 360° environment and can acquire audio even in the dark. It can monitor areas outside the field of view of the video detection camera. In other words, even when the image detection camera's field of view or when it is impossible to obtain visible image data, it is a complementary audio that recognizes the appearance of people and vehicles through the analysis of audio information such as the sound of moving vehicles, the sound of pedestrians, and the sound of animals. Detection becomes possible. Particularly, in the dark case, the image detection is difficult to recognize the acquired image, so there is a limit to detecting a vehicle or a pedestrian only by the image detection, but when the audio detection is supplemented, it becomes possible to detect vehicles and pedestrians to some extent. With a directional microphone, you can even find out the direction of the sound.

비콘 스캐너(140)는, 조명 공간에 진입한 단말기와 비콘 통신을 수행하는 기기이다. 비콘(beacon) 통신은, .4GHz 대역 블루투스기반 근거리 무선통신 기술로서, 근거리 위치 및 사물 인식 정보를 제공할 수 있다. 조명 기기(200)가 설치된 조명 공간(예컨대, 지하 주차장)에 진입한 보행자의 스마트폰, 운전자의 스마트폰, 차량 구비 비콘기기와 비콘 통신을 수행한다. 비콘 태그는 고유의 ID를 송신하며 기준점 역할을 한다. 주차장/도로/터널에 출입하는 사람이나 운전자가 소지하는 스마트폰의 블루투스 기능은 비콘 태그와 스캐너 역할을 한다. 따라서 본 발명에서는 객체감지 단말기에 부착된 비콘 스캐너(140)가 스마트폰을 소지한 사람이나 차량이 근처에 있다는 것을 확인하여 객체감지 용도로 활용할 수 있게 된다.The beacon scanner 140 is a device that performs beacon communication with a terminal entering the lighting space. Beacon communication is a .4GHz band Bluetooth-based short-range wireless communication technology, and may provide short-range location and object recognition information. Beacon communication is performed with a smartphone of a pedestrian entering a lighting space (eg, an underground parking lot) in which the lighting device 200 is installed, a smartphone of a driver, and a beacon device equipped with a vehicle. The beacon tag transmits a unique ID and serves as a reference point. The Bluetooth function of a smartphone held by a person or driver entering a parking lot/road/tunnel acts as a beacon tag and scanner. Accordingly, in the present invention, the beacon scanner 140 attached to the object detection terminal can be used for object detection purposes by confirming that a person or vehicle with a smartphone is nearby.

조명 제어 기기(300)는, 연산 유닛과 메모리를 구비하여, 일반적인 연산 하드웨어에 도스(dos), 윈도우(window), 리눅스(linux), 유닉스(unix), 매킨토시(macintosh) 등의 운영 체제에 따라 스마트 조명 제어를 수행한다. 즉, CCTV 카메라(110)로부터의 CCTV 영상, 상기 적외선 열감지 센서(120)를 통해 감지되는 열감지 신호, 상기 음향센서(130)를 통해 감지되는 음향 신호, 상기 비콘 스캐너(140)에서 수신되는 비콘 신호를 입력받아, 입력되는 CCTV 영상, 열감지 신호, 음향 신호, 비콘 신호를 분석하여 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 제어하게 된다.The lighting control device 300 is provided with an operation unit and a memory, and according to an operating system such as DOS, Windows, Linux, Unix, Macintosh, etc. Perform smart lighting control. That is, a CCTV image from the CCTV camera 110, a heat detection signal detected through the infrared thermal sensor 120, an acoustic signal detected through the acoustic sensor 130, and received from the beacon scanner 140 By receiving a beacon signal and analyzing the input CCTV image, heat detection signal, sound signal, and beacon signal, the lighting brightness of the lighting device 200 inside the lighting space is controlled.

상술하면, 조명 제어 기기(300)는, 도 4에 도시한 바와 같이 CCTV 영상 분석부(310), 열감지 신호 분석부(320), 음향 신호 분석부(330), 비콘 신호 분석부(340), 및 통합 분석 조명 제어부(350)를 포함할 수 있다.In detail, the lighting control device 300, as shown in Figure 4, CCTV image analysis unit 310, heat detection signal analysis unit 320, sound signal analysis unit 330, beacon signal analysis unit 340 , And may include an integrated analysis lighting control unit 350.

CCTV 영상 분석부(310)는, CCTV 카메라(110)에서 촬영된 CCTV 영상에서 객체를 검출하여, 검출한 CCTV 영상의 객체를 이용하여 조명 공간 내의 객체 종류인 CCTV 기반 객체 종류를 파악하는 기능을 수행한다. 즉, CCTV 영상 분석부(310)는, CCTV 영상에서 검출된 객체에 대하여 CNN 기반 딥러닝 분석을 통하여, CCTV 기반 객체 종류가 '사람', '동물', '차량', '기타'의 4개 중에서 어느 하나의 객체 종류인지를 파악한다.The CCTV image analysis unit 310 detects an object in a CCTV image captured by the CCTV camera 110, and performs a function of identifying the type of CCTV-based object, which is an object type in the lighting space, using the object of the detected CCTV image. do. That is, the CCTV image analysis unit 310, through CNN-based deep learning analysis on the object detected in the CCTV image, the CCTV-based object types are'people','animal','vehicle','other' Find out which one of the object types is.

참고로, CNN(Convolution Neural Network) 기반 딥러닝 분석은, 알려진 바와 같이 image Data Processing, Object Detection에 사용되는 딥러닝(Deep Learning) 모델로서, 기본적으로 가중합 형식의 convolution 연산 알고리즘을 사용하며, 데이터의 input에 가중치를 이용하여 특징 벡터들을 찾아내는 방식이다. CNN은 local 정보를 이용하는데 공간적으로 인접한 값들의 상관관계를 비선형 필터를 통해 추출하고 이런 필터를 통하여 local의 특징을 추출한다. CNN 모델은 크게 R-CNN(Region-based CNN), SPPNet, Fast R-CNN, Faster R-CNN, Mask R-CNN 등이 있다. CNN 구조는 1980년 Fukushima의 Neocognitron에 의해 처음으로 그 개념이 소개되었으며, 1998년 LeCun이 발표한 역전파(Backpropagation) 알고리즘을 통한 확률적 경사 하강법(Stochastic gradient descent)이 CNN을 학습하는데 효과적임을 입증하였으며, 그 후, Hinton이 제안한 ReLU 및 Dropout 기법 등의 연구를 통해 CNN 기반 영상인식 연구가 활성화되었다. 특히, 2012년 Krizhevsky의연구에서는 대용량 데이터셋(예를 들어, ImageNet)에 대해 Convolutional Neural Networks(CNN)을 이용하여 영상인식 문제를 풀었는데, 과거의 수동적으로 디자인된 특징에 비해 많은 성능향상을 가져왔다. For reference, deep learning analysis based on CNN (Convolution Neural Network), as known, is a deep learning model used for image data processing and object detection, and basically uses a weighted sum-type convolution algorithm, and data This is a method of finding feature vectors by using the weight of the input of. CNN uses local information. The correlation between spatially adjacent values is extracted through a nonlinear filter, and local features are extracted through this filter. CNN models are largely divided into R-CNN (Region-based CNN), SPPNet, Fast R-CNN, Faster R-CNN, and Mask R-CNN. The concept of CNN structure was first introduced by Neocognitron of Fukushima in 1980, and it proved that the stochastic gradient descent method through the backpropagation algorithm published by LeCun in 1998 is effective in learning CNN. After that, CNN-based image recognition research was activated through studies such as ReLU and Dropout techniques proposed by Hinton. In particular, Krizhevsky's research in 2012 solved the image recognition problem using Convolutional Neural Networks (CNN) for large datasets (eg, ImageNet), which had a lot of performance improvement compared to passively designed features in the past. come.

열감지 신호 분석부(320)는, 적외선 열감지 센서(120)를 통해 감지된 열감지 신호를 이용하여 조명 공간 내의 객체 종류인 열감지 기반 객체 종류를 판별한다.The heat detection signal analysis unit 320 determines a heat detection-based object type, which is an object type in the lighting space, using the heat detection signal sensed through the infrared heat detection sensor 120.

열감지 신호 분석부(320)는, 적외선 열감지 센서(120)를 통해 감지되는 열감지 신호의 변동값을 이용하여, 열감지 기반 객체 종류가 사람인지 동물인지 판별한다. 즉, 열감지 신호 분석부(320)는, 열감지 신호의 변동값을 분석하여 배경 객체인지 움직임 객체인지 판별한 후, 움직임 객체로 판별되는 경우 열감지 신호에서 추출되는 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별하는 것이다.The heat sensing signal analysis unit 320 determines whether the object type based on heat sensing is human or animal, using a variation value of the heat sensing signal detected through the infrared heat sensing sensor 120. That is, the heat detection signal analysis unit 320 analyzes the fluctuation value of the heat detection signal to determine whether it is a background object or a moving object, and when it is determined as a moving object, the heat detection based on the characteristics extracted from the heat detection signal It is to determine whether the object type is human or animal.

열감지 신호 분석부(320)는, 열감지 신호의 고주파 성분을 이용하여 객체 움직임 특성을 파악하고, 열감지 신호의 신호 세기 레벨을 이용하여 객체 크기 특성 파악하여, 파악되는 객체 움직임 특성과 객체 크기 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별한다. 예를 들어, 도 5는 비감지 상황, 사람 감지 상황, 동물 감지 상황의 열감지 신호 파형들을 나타내었는데, 이러한 각각의 상황에 따라서 열감지 신호 파형이 다르기 때문에, 열감지 신호의 고주파 성분을 이용하여 객체 움직임 특성을 파악하고, 열감지 신호의 신호 세기 레벨을 이용하여 객체 크기 특성 파악할 수 있다.The heat detection signal analysis unit 320 identifies object motion characteristics using a high frequency component of the heat detection signal, and grasps object size characteristics using the signal strength level of the heat detection signal, and determines object motion characteristics and object size. Determine whether the object type based on thermal sensing is human or animal using characteristics. For example, FIG. 5 shows the heat detection signal waveforms of a non-sensing situation, a human detection situation, and an animal detection situation. Since the heat detection signal waveform is different according to each of these situations, the high-frequency component of the heat detection signal is used. The object motion characteristic can be grasped, and the object size characteristic can be grasped using the signal intensity level of the heat detection signal.

음향 신호 분석부(330)는, 음향센서(130)를 통해 감지되는 음향 신호를 이용하여 조명 공간 내의 객체 종류인 음향 기반 객체 종류를 판별하는 기능을 수행한다. 이를 위해 도 6에 도시한 바와 같이 음향센서(130)를 통해 감지되는 음향 신호에 대하여 특징값을 추출하고, 추출한 특징값을 데이터베이스를 기반으로 하는 딥러닝 분류기를 통해 분류하여 음향 기반 객체 종류를 판별한다. The acoustic signal analysis unit 330 performs a function of determining a sound-based object type, which is an object type in the lighting space, using an acoustic signal detected through the acoustic sensor 130. To this end, as shown in FIG. 6, a feature value is extracted for the acoustic signal detected through the acoustic sensor 130, and the extracted feature value is classified through a deep learning classifier based on a database to determine the acoustic-based object type. do.

즉, 음향데이터는 MFCC를 통해 특징을 추출하고, 배경음 판단을 위해 AGMM을 통과한다. 이후, 배경음이 아니라면 딥러닝 분류기를 통해 분류되고 이 결과에 의해 사용 목적에 맞게 하드웨어를 제어하는 것이다. 여기서 MFCC(Mel Frequency Cepstral Coefficient)는, 알려진 바와 같이 음성신호가 가지고 있는 어떠한 특징을 뽑아내는 기법으로서, 입력된 소리 전체를 대상으로 하는 것이 아니라, 일정 구간(Short time)식 나누어, 이 구간에 대한 스펙트럼을 분석하여 특징을 추출하는 기법이다.That is, the sound data extracts features through MFCC and passes through AGMM to determine background sound. Thereafter, if it is not a background sound, it is classified through a deep learning classifier, and based on this result, the hardware is controlled according to the purpose of use. Here, MFCC (Mel Frequency Cepstral Coefficient), as known, is a technique for extracting certain features of a voice signal, and not for the entire input sound, but dividing a short time formula for this section. It is a technique that extracts features by analyzing the spectrum.

다만, MFCC 기법을 통해 음향 신호의 특징값을 추출할 때, 멜-필터(mel filter)를 사용해야 하는데 멜-필터는 저주파수에서 형성되는 잡음을 인식함으로 인한 특징벡터의 모호성 문제와 고주파수의 위험 음향에 대한 인식저하 단점이 있다. 즉, 기존 음향인식시스템의 MFCC 알고리즘을 통한 특징벡터는 사이렌, 비명소리 등 고주파수 음향 데이터의 인식률이 떨어지는 단점이 있다. 인식률이 떨어지는 이유는 첫째, MFCC 필터뱅크의 삼각필터가 주로 저주파수에 밀집 형성되어 저주파수 음향데이터를 인식하는 데에 유리하기 때문이고, 둘째, 저주파수에서 형성되는 생활 잡음을 민감하게 인식하기 때문에 특징벡터 추출에 단점이 생기기 때문이다. However, when extracting the feature values of the sound signal through the MFCC technique, a mel filter must be used. The mel filter is used to detect the noise generated at low frequencies, thereby reducing the ambiguity of the feature vector and the risky sound of high frequencies. There is a downside to lowering awareness of people. That is, the feature vector through the MFCC algorithm of the existing acoustic recognition system has a disadvantage in that the recognition rate of high-frequency acoustic data such as sirens and screams is lowered. The reason for the low recognition rate is first, because the triangular filters of the MFCC filter bank are mainly densely formed at low frequencies, which is advantageous for recognizing low frequency acoustic data, and second, feature vectors are extracted because they sensitively recognize living noise generated at low frequencies. This is because there is a drawback to

이러한 점을 개선하기 위하여 본 발명에서 MFCC 알고리즘을 적용하여 음향 신호에 대하여 특징값을 추출하는 것은, 위너(wiener) 필터를 적용해 음향데이터의 잡음을 제거하고, 변형된 필터뱅크를 통해 저주파수의 잡음 제거, 고주파수에 밀집된 삼각필터로서 특징값을 추출하도록 한다. 즉, 도 7에 도시한 바와 같이 위너(wiener) 필터를 적용해 음향데이터의 잡음을 제거하고, 변형된 필터뱅크를 통해 저주파수의 잡음 제거, 고주파수에 밀집된 삼각필터로 특징벡터를 뽑아낸다는 점이 다르다. 이후, 삼각필터를 통해 강조된 에너지는 DCT를 생략하여 데이터의 특징벡터를 더 명료화시킨다.In order to improve this point, in the present invention, the feature value of the sound signal is extracted by applying the MFCC algorithm to remove noise from the sound data by applying a wiener filter, and low-frequency noise through the modified filter bank. The feature value is extracted as a triangular filter concentrated at high frequencies. That is, as shown in FIG. 7, noise of sound data is removed by applying a Wiener filter, noise at a low frequency is removed through a modified filter bank, and a feature vector is extracted by a triangular filter densely at a high frequency. Thereafter, the energy emphasized through the triangular filter omits the DCT to further clarify the feature vector of the data.

참고로, 위너(winener) 필터는, 알려진 바와 같이 선형으로 인과율을 침범하지 않는(입력에 선행하여 출력을 발생하는 일이 없는) 계에 있어서, 계입력(정상 랜덤 과정에서 생긴 신호로, 잡음을 포함하고 있다고 한다)에서의 신호 성분과 잡음을 포함한 계의 전 출력 사이의 2승 평균 오차가 최소인 계를 위너 필터라고 한다. 위너 필터는 두 부분으로 구성되어 있으며 앞 단은 전 입력신호의 스펙트럼 밀도를 균일(백색)화하기 위한 전처리용 필터(pre- whitening filter)이고, 후단 부분이 실제로 2승 평균 오차를 최소로 하는 작용을 한다.For reference, in a system that does not invade the causal factor linearly (no output is generated prior to the input), as known, the system input (a signal generated from a normal random process, and noise is removed). The system with the minimum squared average error between the signal component in the system and the total output of the system including noise is called a Wiener filter. The Wiener filter consists of two parts, and the front end is a pre-whitening filter to uniformize (white) the spectral density of the previous input signal, and the rear end actually minimizes the square average error. Do it.

비콘 신호 분석부(340)는, 비콘 스캐너(140)에서 수신되는 비콘 신호를 이용하여 조명 공간 내의 객체 종류인 비콘 기반 객체 종류를 판별한다. 즉, 비콘 신호 분석부(340)는, 조명 공간 내에서 존재하는 사람이 소지한 스마트폰이나 차량에 구비된 비콘기기로부터 비콘 스캐너(140)로 전달되는 비콘 신호를 이용하여 비콘 기반 객체 종류가 사람인지 차량인지를 판별하는 것이다. 비콘 태그는 고유의 ID를 송신하며 기준점 역할을 하는데, 주차장/도로/터널에 출입하는 사람이나 운전자가 소지하는 스마트폰의 블루투스 기능은 비콘 태그와 스캐너 역할을 한다. 따라서 본 발명에서는 객체감지 단말기에 부착된 비콘 스캐너(140)가 스마트폰을 소지한 사람이나 차량이 근처에 있다는 것을 확인하여 객체감지 용도로 활용한다.The beacon signal analysis unit 340 uses the beacon signal received from the beacon scanner 140 to determine a beacon-based object type, which is an object type in the lighting space. That is, the beacon signal analysis unit 340 uses a beacon signal transmitted to the beacon scanner 140 from a smartphone or a beacon device provided in a vehicle in the lighting space. It is to determine whether it is a vehicle or not. The beacon tag transmits a unique ID and serves as a reference point, and the Bluetooth function of a smartphone held by a person or driver entering a parking lot/road/tunnel acts as a beacon tag and scanner. Therefore, in the present invention, the beacon scanner 140 attached to the object detection terminal is used for object detection purposes by confirming that a person or vehicle with a smartphone is nearby.

통합 분석 조명 제어부(350)는, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 다르게 제어한다. The integrated analysis lighting control unit 350 differently controls the lighting brightness of the lighting device 200 inside the lighting space according to the type of CCTV-based object, the type of heat-sensing-based object, the type of sound-based object, and the type of beacon-based object.

이를 위해 통합 분석 조명 제어부(350)는, 다중센서 통합 분석 모듈(351)과 조명 제어 모듈(352)을 포함할 수 있다.To this end, the integrated analysis lighting control unit 350 may include a multi-sensor integrated analysis module 351 and a lighting control module 352.

다중센서 통합 분석 모듈(351)은, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류를 이용하여 조명 공간 내에 존재하는 객체의 종류인 다중센서 기반 객체 종류를 특정하는 것이다. 예를 들어, 도 8에 도시한 바와 같이 파악되는 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류를 결정한다.The multi-sensor integrated analysis module 351 uses CCTV-based object types, thermal sensing-based object types, sound-based object types, and beacon-based object types to specify a multi-sensor-based object type, which is a type of object existing in the lighting space. will be. For example, as shown in FIG. 8, a CCTV-based object type, a thermal sensing-based object type, and a sound-based object type are determined.

CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류가 서로 다르게 파악되는 경우, 이를 통합하여 하나의 다중센서 기반 객체 종류로서 결정할 필요가 있다.If the CCTV-based object type, the thermal sensing-based object type, and the sound-based object type are identified differently, it is necessary to combine them and determine them as one multi-sensor-based object type.

이를 위해 다음과 같이 두 가지 방식을 제안한다.For this, we propose two methods as follows.

하나는, 우선 순위를 기준으로 파악하는 것이다. 즉, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류별로 각각 우선순위를 부여하여, 우선순위를 기준으로 객체 종류를 특정하는 것이다. One is to grasp based on priorities. That is, by assigning priority to each CCTV-based object type, thermal sensing-based object type, sound-based object type, and beacon-based object type, the object type is specified based on the priority.

예를 들어, 지하주차장에서는 열감지 기반 객체 종류가 최우선 순위로 할당된 경우, 동일한 객체가 CCTV 기반 객체 종류에서는 자동차로 판별되고, 열감지 기반 객체 종류에서는 사람으로 판별되는 경우, 최우선 순위인 열감지 기반 객체 종류인 사람이 다중센서 기반 객체 종류로서 결정되는 것이다. 또한 터널에서 다른 객체 종류가 최우선 순위로 할당될 수 있으며 그에 따른 다중센서 기반 객체 종류가 결정한다.For example, in an underground parking lot, if the object type based on heat detection is assigned the highest priority, the same object is identified as a car in a CCTV-based object type, and as a person in a heat-sensing object type, the highest priority. The person, which is the base object type, is determined as the multi-sensor-based object type. In addition, other object types can be assigned the highest priority in the tunnel, and the multi-sensor-based object type is determined accordingly.

다중센서 기반 객체 종류로서 결정하는 다른 두 번째 방식은 가중치를 이용하는 것이다. 즉, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류별로 각각 가중치를 부여하여, 가중치 합산값을 기준으로 객체 종류를 결정하는 것이다. 예를 들어, CCTV 기반 객체 종류에 가중치 0.4, 열감지 기반 객체 종류에 가중치 0.2, 음향 기반 객체 종류에 가중치 0.1, 비콘 기반 객체 종류에 가중치 0.3을 둔 경우, CCTV 기반 객체 종류가 자동차, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류가 모두 사람으로 파악된 경우, 자동차는 0.4의 가중치 합산 점수가 부여되고, 사람에는 0.6의 가중치 합산 점수가 부여되기 때문에, 다중센서 기반 객체 종류는 사람으로 결정되는 것이다.Another second way to determine as a multi-sensor-based object type is to use weights. That is, weights are assigned for each CCTV-based object type, thermal sensing-based object type, sound-based object type, and beacon-based object type, and the object type is determined based on the sum of the weights. For example, if the weight of the CCTV-based object type is 0.4, the heat-sensing-based object type is weighted 0.2, the sound-based object type is weighted 0.1, and the beacon-based object type is weighted 0.3, the CCTV-based object type is automobile, heat detection-based. If the object type, sound-based object type, and beacon-based object type are all identified as human, the weighted sum score of 0.4 is assigned to the car, and 0.6 weighted sum score is assigned to the person, so the multi-sensor-based object type is human. It is determined by

조명 제어 모듈(352)은, 다중센서 통합 분석부를 통해 결정되는 다중센서 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 다르게 제어하는 것이다. 예를 들어, 결정되는 다중센서 기반 객체 종류가 사람으로 판별된 경우 조명을 밝게하고, 자동차로 판별된 경우 조명을 어둡게 할 수 있다.The lighting control module 352 controls the lighting brightness of the lighting device 200 in the lighting space differently according to the type of the multi-sensor-based object determined through the multi-sensor integrated analysis unit. For example, when the determined multi-sensor-based object type is determined to be a person, the lighting may be brightened, and when it is determined to be a vehicle, the lighting may be dimmed.

또한 다중센서 기반 객체 종류가 차량으로 판별되는 경우 상기 감지 방향의 섹터에 있는 조명들을 제1밝기로 점등 제어하며, 다중센서 기반 객체 종류가 사람으로 판별되는 경우 상기 감지 방향의 섹터에 있는 조명들을 제1밝기보다 더 밝은 제2밝기로 점등 제어할 수 있다.In addition, when the multi-sensor-based object type is determined to be a vehicle, lights in the sector in the sensing direction are controlled to be turned on at the first brightness, and when the multi-sensor-based object type is determined to be human, the lights in the sector in the sensing direction are controlled. Lighting can be controlled with a second brightness that is brighter than one.

또한 방향성을 고려하여 조명을 제어할 수 있는데, 이를 위해 음향센서(130)는, 방향성 음향을 감지하는 방향성 마이크로 구현되며, 음향 신호 분석부(330)는, 음향 기반 객체 종류 이외에도 음향 기반 객체 종류의 감지 방향을 검출한다.In addition, lighting can be controlled in consideration of directionality. For this purpose, the acoustic sensor 130 is implemented with a directional microphone that detects directional sound, and the acoustic signal analysis unit 330 includes sound-based object types in addition to sound-based object types. The detection direction is detected.

따라서 조명 제어 모듈(352)은, 다중센서 통합 분석 모듈(351)을 통해 결정되는 다중센서 기반 객체 종류와 음향 신호 분석부(330)를 통해 검출되는 감지 방향에 따라서 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 제어할 수 있다.Therefore, the lighting control module 352 is a lighting device inside the lighting space according to the type of multi-sensor-based object determined by the multi-sensor integrated analysis module 351 and the detection direction detected by the acoustic signal analysis unit 330 ( 200) of the lighting brightness can be controlled.

예를 들어, 다중센서 기반 객체 종류가 차량으로 검출되고 감지 방향이 멀어지는 방향으로 검출되면 조명을 순차적으로 오프시키는 제어를 수행하며, 반면에 다중센서 기반 객체 종류가 차량으로 검출되고 감지 방향이 가까워지는 방향으로 검출되면 조명을 순차적으로 점등시키는 제어를 할 수 있다. 따라서 다양한 조명 제어가 가능하게 된다.For example, when a multi-sensor-based object type is detected as a vehicle and the sensing direction is detected in a direction that is farther away, the lighting is sequentially turned off, whereas the multi-sensor-based object type is detected as a vehicle and the sensing direction is close. If it is detected in the direction, you can control to turn on the lights sequentially. Therefore, various lighting control is possible.

한편, 통합 분석 조명 제어부(350)는, 객체 종류뿐만 아니라 객체의 제스처를 파악하여 객체 제스처에 따른 다양한 조명 제어가 가능하도록 구현할 수 있다.Meanwhile, the integrated analysis lighting control unit 350 may recognize not only the object type but also the gesture of the object, and implement various lighting controls according to the object gesture.

이를 위해 CCTV 영상 분석부(310)는, CCTV 영상에서 객체 제스처를 검출하며, 다중센서 통합 분석 모듈(351)은, 검출되는 다중센서 기반 객체 종류와 객체 제스처에 따라서 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 다르게 제어할 수 있다.To this end, the CCTV image analysis unit 310 detects an object gesture in a CCTV image, and the multi-sensor integrated analysis module 351 includes a lighting device inside the lighting space according to the detected multi-sensor-based object type and object gesture. 200) can be controlled differently.

예를 들어, 조명 제어 모듈(352)은, CCTV 기반 객체 종류와 열감지 기반 객체 종류가 모두 사람으로 판별되면서, 아울러 객체 제스처가 위를 향하는 경우 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 한 단계 더 높여 밝게 제어할 수 있다. For example, the lighting control module 352, while both the CCTV-based object type and the heat-sensing-based object type are identified as humans, and when the object gesture is upward, the illumination brightness of the lighting device 200 inside the lighting space You can control the brightness by raising it one step further.

주차장에 있는 사용자는 주차장 조명이 너무 어둡다고 생각되면, 손을 들어 위로 향할 경우, 자동으로 주차장 조명이 한 단계 더 밝아지는 것이다. 따라서 사용자들이 제스처만으로도 자신이 있는 구역의 조명을 직접 제어할 수 있게 된다.If the user in the parking lot thinks that the parking lot lighting is too dark, if he raises his hand and points it upward, the parking lot light is automatically brightened one step further. Therefore, users can directly control the lighting of their own area with just gestures.

상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.The embodiments in the description of the present invention described above are presented by selecting the most preferable examples to aid the understanding of those skilled in the art from among various possible examples, and the technical idea of the present invention is not necessarily limited or limited only by this embodiment. , Various changes and modifications, and other equivalent embodiments are possible within the scope of the technical spirit of the present invention.

110:CCTV 카메라
120;적외선 열감지 센서
130:음향센서
140:비콘 스캐너
200;조명 기기
300:조명 제어 기기110: CCTV camera
120; infrared heat sensor
130: sound sensor
140: beacon scanner
200; lighting equipment
300: lighting control device

Claims (13)

조명 공간에 적어도 하나 이상 설치된 조명 기기;
상기 조명 공간을 촬영하여 CCTV 영상을 생성하는 CCTV 카메라;
적외선을 이용하여 조명 공간 내의 열을 감지하는 적외선 열감지 센서;
상기 조명 공간에서 발생되는 음향을 감지하는 음향센서;
상기 조명 공간에 진입한 단말기와 비콘 통신을 수행하는 비콘 스캐너;
상기 CCTV 카메라로부터의 CCTV 영상, 상기 적외선 열감지 센서를 통해 감지되는 열감지 신호, 상기 음향센서를 통해 감지되는 음향 신호, 상기 비콘 스캐너에서 수신되는 비콘 신호를 입력받아, 입력되는 CCTV 영상, 열감지 신호, 음향 신호, 비콘 신호를 분석하여 조명 공간 내부에 있는 조명 기기의 조명 밝기를 제어하는 조명 제어 기기;
를 포함하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
At least one lighting device installed in the lighting space;
CCTV cameras for generating CCTV images by photographing the lighting space;
An infrared heat sensor that senses heat in the lighting space by using infrared light;
An acoustic sensor detecting sound generated in the lighting space;
A beacon scanner performing beacon communication with a terminal entering the lighting space;
CCTV image from the CCTV camera, heat detection signal detected through the infrared heat sensor, sound signal detected through the acoustic sensor, beacon signal received from the beacon scanner, and input CCTV image, heat detection A lighting control device that analyzes a signal, an acoustic signal, and a beacon signal to control the brightness of the lighting device in the lighting space;
Smart lighting system through multi-sensor-based object detection comprising a.
 청구항 1에 있어서, 상기 조명 제어 기기는,
상기 CCTV 카메라에서 촬영된 CCTV 영상에서 객체를 검출하여, 검출한 CCTV 영상의 객체를 이용하여 조명 공간 내의 객체 종류인 CCTV 기반 객체 종류를 파악하는 CCTV 영상 분석부;
상기 적외선 열감지 센서를 통해 감지된 열감지 신호를 이용하여 조명 공간 내의 객체 종류인 열감지 기반 객체 종류를 판별하는 열감지 신호 분석부;
상기 음향센서를 통해 감지되는 음향 신호를 이용하여 조명 공간 내의 객체 종류인 음향 기반 객체 종류를 판별하는 음향 신호 분석부;
상기 비콘 스캐너에서 수신되는 비콘 신호를 이용하여 조명 공간 내의 객체 종류인 비콘 기반 객체 종류를 판별하는 비콘 신호 분석부;
상기 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 통합 분석 조명 제어부;
를 포함하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method according to claim 1, wherein the lighting control device,
A CCTV image analysis unit that detects an object from a CCTV image captured by the CCTV camera and identifies a CCTV-based object type, which is an object type in the lighting space, using the object of the detected CCTV image;
A heat detection signal analysis unit for determining a heat detection-based object type, which is an object type in the lighting space, using the heat detection signal detected through the infrared heat detection sensor;
An acoustic signal analysis unit for determining a sound-based object type, which is an object type in the lighting space, by using the acoustic signal detected by the acoustic sensor;
A beacon signal analysis unit for determining a beacon-based object type, which is an object type in the lighting space, using the beacon signal received from the beacon scanner;
An integrated analysis lighting controller configured to differently control the brightness of lighting devices in the lighting space according to the CCTV-based object type, thermal sensing-based object type, sound-based object type, and beacon-based object type;
Smart lighting system through multi-sensor-based object detection comprising a.
 청구항 2에 있어서, 상기 CCTV 영상 분석부는,
CCTV 영상에서 검출된 객체에 대하여 CNN 기반 딥러닝 분석을 통하여, 상기 CCTV 기반 객체 종류가 '사람', '동물', '차량', '기타'의 4개 중에서 어느 하나의 객체 종류인지를 파악하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method according to claim 2, wherein the CCTV image analysis unit,
Through CNN-based deep learning analysis on the object detected in the CCTV image, it is possible to determine whether the CCTV-based object type is one of the four types of'person','animal','vehicle', and'other'. Smart lighting system through object detection based on multiple sensors.
 청구항 2에 있어서, 상기 열감지 신호 분석부는,
상기 적외선 열감지 센서를 통해 감지되는 열감지 신호의 변동값을 이용하여, 상기 열감지 기반 객체 종류가 사람인지 동물인지 판별하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method of claim 2, wherein the heat detection signal analysis unit,
A smart lighting system through multi-sensor-based object detection that determines whether the type of the heat-sensing-based object is human or animal by using a variation value of the heat-sensing signal detected through the infrared heat-sensing sensor.
 청구항 4에 있어서, 상기 열감지 신호 분석부는,
상기 열감지 신호의 변동값을 분석하여 배경 객체인지 움직임 객체인지 판별한 후, 움직임 객체로 판별되는 경우 상기 열감지 신호에서 추출되는 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method of claim 4, wherein the heat detection signal analysis unit,
After analyzing the fluctuation value of the heat sensing signal to determine whether it is a background object or a moving object, when it is determined as a moving object, a multiplex that determines whether the type of the heat sensing-based object is human or animal by using the characteristics extracted from the heat sensing signal. Smart lighting system through sensor-based object detection.
 청구항 5에 있어서, 상기 열감지 신호 분석부는,
열감지 신호의 고주파 성분을 이용하여 객체 움직임 특성을 파악하고, 열감지 신호의 신호 세기 레벨을 이용하여 객체 크기 특성 파악하여, 파악되는 객체 움직임 특성과 객체 크기 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method of claim 5, wherein the heat detection signal analysis unit,
The object motion characteristics are identified using the high-frequency component of the heat detection signal, the object size characteristics are identified using the signal strength level of the heat detection signal, and the object type based on heat detection is determined using the object movement characteristics and object size characteristics. Smart lighting system through multi-sensor-based object detection that determines whether it is a person or an animal.
 청구항 2에 있어서, 상기 음향 신호 분석부는,
상기 음향센서를 통해 감지되는 음향 신호에 대하여 특징값을 추출하고, 추출한 특징값을 데이터베이스를 기반으로 하는 딥러닝 분류기를 통해 분류하여 음향 기반 객체 종류를 판별하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method of claim 2, wherein the acoustic signal analysis unit,
Smart lighting system through multi-sensor-based object detection that extracts feature values for the acoustic signals detected by the acoustic sensor, and classifies the extracted feature values through a deep learning classifier based on a database to determine the type of object based on acoustics .
 청구항 7에 있어서, 상기 음향 신호에 대하여 특징값을 추출하는 것은,
위너(wiener) 필터를 적용해 음향데이터의 잡음을 제거한 후 특징값을 추출하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method according to claim 7, wherein extracting the feature value for the sound signal,
A smart lighting system through multi-sensor-based object detection that extracts feature values after removing noise from acoustic data by applying a wiener filter.
 청구항 2에 있어서, 상기 비콘 신호 분석부는,
조명 공간 내에서 존재하는 사람이 소지한 스마트폰이나 차량에 구비된 비콘기기로부터 비콘 스캐너로 전달되는 비콘 신호를 이용하여 비콘 기반 객체 종류가 사람인지 차량인지를 판별하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method of claim 2, wherein the beacon signal analysis unit,
Smart through multi-sensor-based object detection that determines whether the type of beacon-based object is a person or a vehicle by using a beacon signal transmitted to a beacon scanner from a smartphone or a beacon device installed in a vehicle in the lighting space. Lighting system.
 청구항 2에 있어서, 상기 통합 분석 조명 제어부는,
상기 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류를 이용하여 조명 공간 내에 존재하는 객체의 종류인 다중센서 기반 객체 종류를 특정하는 다중센서 통합 분석 모듈;
다중센서 통합 분석부를 통해 결정되는 다중센서 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 조명 제어 모듈;
을 포함하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method according to claim 2, wherein the integrated analysis lighting control unit,
A multi-sensor integrated analysis module for specifying a multi-sensor-based object type, which is a type of an object existing in the lighting space, using the CCTV-based object type, heat sensing-based object type, sound-based object type, and beacon-based object type;
A lighting control module for differently controlling the brightness of lighting devices in the lighting space according to the type of the multi-sensor-based object determined through the integrated multi-sensor analysis unit;
Smart lighting system through multi-sensor-based object detection comprising a.
 청구항 10에 있어서, 상기 조명 제어 모듈은,
상기 다중센서 기반 객체 종류가 차량으로 판별되는 경우 상기 감지 방향의 섹터에 있는 조명들을 제1밝기로 점등 제어하며, 상기 다중센서 기반 객체 종류가 사람으로 판별되는 경우 상기 감지 방향의 섹터에 있는 조명들을 제1밝기보다 더 밝은 제2밝기로 점등 제어하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method of claim 10, wherein the lighting control module,
When the multi-sensor-based object type is determined to be a vehicle, lights in the sector of the sensing direction are controlled to be turned on at a first brightness, and when the multi-sensor-based object type is determined to be human, the lights in the sector of the sensing direction are controlled. A smart lighting system through multi-sensor-based object detection that controls lighting with a second brightness that is brighter than the first brightness.
 청구항 10에 있어서,
상기 CCTV 영상 분석부는, CCTV 영상에서 객체 제스처를 검출하며,
상기 다중센서 통합 분석 모듈은, 검출되는 다중센서 기반 객체 종류와 객체 제스처에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
The method of claim 10,
The CCTV image analysis unit detects an object gesture in the CCTV image,
The multi-sensor integrated analysis module is a smart lighting system through multi-sensor-based object detection that controls the brightness of lighting devices in the lighting space differently according to the detected multi-sensor-based object type and object gesture.
 청구항 12에 있어서, 상기 조명 제어 모듈은,
상기 CCTV 기반 객체 종류와 열감지 기반 객체 종류가 모두 사람으로 판별되면서, 아울러 객체 제스처가 위를 향하는 경우 조명 공간 내부에 있는 조명 기기의 조명 밝기를 한 단계 더 높여 밝게 제어하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.The method of claim 12, wherein the lighting control module,
When both the CCTV-based object type and the thermal detection-based object type are identified as human, and when the object gesture is facing upward, multi-sensor-based object detection that increases the brightness of the lighting device inside the lighting space by one level to brighten it. Through smart lighting system.
KR1020190091084A 2019-07-26 2019-07-26 Smart lamp system based multi sensor object sensing KR102281918B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190091084A KR102281918B1 (en) 2019-07-26 2019-07-26 Smart lamp system based multi sensor object sensing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190091084A KR102281918B1 (en) 2019-07-26 2019-07-26 Smart lamp system based multi sensor object sensing

Publications (2)

Publication Number Publication Date
KR20210012777A true KR20210012777A (en) 2021-02-03
KR102281918B1 KR102281918B1 (en) 2021-07-26

Family

ID=74572380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190091084A KR102281918B1 (en) 2019-07-26 2019-07-26 Smart lamp system based multi sensor object sensing

Country Status (1)

Country Link
KR (1) KR102281918B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113555017A (en) * 2021-07-08 2021-10-26 苏州宇慕汽车科技有限公司 AI-based intelligent voice vehicle-mounted atmosphere lamp control system and method
KR102497596B1 (en) * 2022-04-15 2023-02-08 주식회사 펜타게이트 A Pedestrian detection method using Multi-CNN and a smart security light using the same
WO2023013825A1 (en) * 2021-08-02 2023-02-09 Samsung Electronics Co., Ltd. Method and device for capturing an image by configuring internet of things (iot) light devices in a iot environment
KR20230030503A (en) 2021-08-25 2023-03-06 주식회사 레젠 A Method for Identifying an Object in a Motion Detecting Image and A Lighting Device with the Same
CN117354702A (en) * 2023-12-06 2024-01-05 常州明创通智能电子科技有限公司 Intelligent sound light sensation detection device and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040063873A (en) 2004-06-23 2004-07-14 김준호 Apparatus and method for controlling automatically illumination sensing lamp
JP2012142745A (en) * 2010-12-28 2012-07-26 Sony Corp Audio signal processing device, audio signal processing method and program
KR20140077802A (en) * 2012-12-14 2014-06-24 엘지이노텍 주식회사 The light device and the method for controlling the same
JP2015138582A (en) * 2014-01-20 2015-07-30 株式会社錢高組 System for controlling illumination inside mine in tunnel construction
KR101841449B1 (en) * 2016-05-12 2018-03-23 메를로랩 주식회사 Wireless lighting device and electric and electronic device control system using mobile terminal
KR101995401B1 (en) * 2018-12-28 2019-07-03 (주)천일 dimming control system based multimedia information fusion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040063873A (en) 2004-06-23 2004-07-14 김준호 Apparatus and method for controlling automatically illumination sensing lamp
JP2012142745A (en) * 2010-12-28 2012-07-26 Sony Corp Audio signal processing device, audio signal processing method and program
KR20140077802A (en) * 2012-12-14 2014-06-24 엘지이노텍 주식회사 The light device and the method for controlling the same
JP2015138582A (en) * 2014-01-20 2015-07-30 株式会社錢高組 System for controlling illumination inside mine in tunnel construction
KR101841449B1 (en) * 2016-05-12 2018-03-23 메를로랩 주식회사 Wireless lighting device and electric and electronic device control system using mobile terminal
KR101995401B1 (en) * 2018-12-28 2019-07-03 (주)천일 dimming control system based multimedia information fusion

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113555017A (en) * 2021-07-08 2021-10-26 苏州宇慕汽车科技有限公司 AI-based intelligent voice vehicle-mounted atmosphere lamp control system and method
WO2023013825A1 (en) * 2021-08-02 2023-02-09 Samsung Electronics Co., Ltd. Method and device for capturing an image by configuring internet of things (iot) light devices in a iot environment
KR20230030503A (en) 2021-08-25 2023-03-06 주식회사 레젠 A Method for Identifying an Object in a Motion Detecting Image and A Lighting Device with the Same
KR102497596B1 (en) * 2022-04-15 2023-02-08 주식회사 펜타게이트 A Pedestrian detection method using Multi-CNN and a smart security light using the same
CN117354702A (en) * 2023-12-06 2024-01-05 常州明创通智能电子科技有限公司 Intelligent sound light sensation detection device and method
CN117354702B (en) * 2023-12-06 2024-02-23 常州明创通智能电子科技有限公司 Intelligent sound light sensation detection device and method

Also Published As

Publication number Publication date
KR102281918B1 (en) 2021-07-26

Similar Documents

Publication Publication Date Title
KR102281918B1 (en) Smart lamp system based multi sensor object sensing
CN109686109B (en) Parking lot safety monitoring management system and method based on artificial intelligence
US10706698B2 (en) Energy savings and improved security through intelligent lighting systems
US20180357870A1 (en) Behavior-aware security systems and associated methods
US9497393B2 (en) Systems and methods that employ object recognition
JP6629205B2 (en) Sensor network with matching detection settings based on status information from neighboring lighting fixtures and / or connected devices
JP4970631B2 (en) Automatic lighting control system
US20170042003A1 (en) Intelligent lighting and sensor system and method of implementation
KR101876557B1 (en) Integrated management system of parking lot and integrated management control method
CN109892011B (en) Lighting system and lighting system control method
KR101214235B1 (en) Wireless sensing module, wireless lighting controller and wireless lighting system
KR20180057802A (en) Integrated management system of parking lot and integrated management control method
KR20080097052A (en) System and method for controlling intelligent street light
WO2013093771A1 (en) Monitoring a scene
CN109844825B (en) Presence detection system and method
WO2020235897A1 (en) Lighting system and lighting method using radar, and recording medium in which computer program therefor is stored
WO2018089153A1 (en) Method and apparatus for autonomous lighting control
KR101653264B1 (en) Vehicle monitoring systems There of monitoring methods
KR102395440B1 (en) Cloud-based building management system and method thereof
KR20210012282A (en) Multifunctional street light apparatus and its operation method
JP7249091B2 (en) Selection of Light Sources for Activation Based on Human Presence Type and/or Probability
KR102144712B1 (en) Management server of smart urban led system and controlling method thereof
CN106455220A (en) LED lamp with monitoring function and control method of LED lamp
KR20210026439A (en) Real-time Detecting Fog system and Color temperature controlling Light Device using Image Sensor
CN112351561A (en) Corridor induction lamp control system and control method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant