KR102281918B1

KR102281918B1 - 다중센서 기반 객체 감지를 통한 스마트 조명 시스템

Info

Publication number: KR102281918B1
Application number: KR1020190091084A
Authority: KR
Inventors: 조성원
Original assignee: 홍익대학교 산학협력단
Priority date: 2019-07-26
Filing date: 2019-07-26
Publication date: 2021-07-26
Also published as: KR20210012777A

Abstract

본 발명의 실시 형태는 조명 공간에 적어도 하나 이상 설치된 조명 기기; 상기 조명 공간을 촬영하여 CCTV 영상을 생성하는 CCTV 카메라; 적외선을 이용하여 조명 공간 내의 열을 감지하는 적외선 열감지 센서; 상기 조명 공간에서 발생되는 음향을 감지하는 음향센서; 상기 조명 공간에 진입한 단말기와 비콘 통신을 수행하는 비콘 스캐너; 상기 CCTV 카메라로부터의 CCTV 영상, 상기 적외선 열감지 센서를 통해 감지되는 열감지 신호, 상기 음향센서를 통해 감지되는 음향 신호, 상기 비콘 스캐너에서 수신되는 비콘 신호를 입력받아, 입력되는 CCTV 영상, 열감지 신호, 음향 신호, 비콘 신호를 분석하여 조명 공간 내부에 있는 조명 기기의 조명 밝기를 제어하는 조명 제어 기기;를 포함할 수 있다.

Description

다중센서 기반 객체 감지를 통한 스마트 조명 시스템{Smart lamp system based multi sensor object sensing}

본 발명은 스마트 조명 시스템으로서, 다중센서 기반 객체 감지를 하여 조명을 제어하는 스마트 조명 시스템에 관한 것이다.

지하주차장 및 터널은 365일 24시간 조명이 필요한 공간으로 조명시설의 적절한 설치와 활용에 있어서 체계적이고 효율적인 관리는 중요한 관심사항이다.

공동주택에서 발생되는 공동전기료는 대부분 지하주차장 조명등과 가로등이 차지하며, 그 중에서 지하주차장 조명등이 전체 공동전기료의 약 60%를 차지한다.

그러나 지하주차장/터널 조명에너지는 불필요한 전력 소모로 인한 국가적인 에너지낭비가 적지 않다.

지하 주차장, 터널, 도로 가로등 조명등은 대부분 에너지 효율성 및 내구성이 뛰어난 LED등으로 설치/교체되고 있으며, 통상적으로 조명은 조금만 어두워도 안전사고 우려가 높아 법적 기준보다 10∼20% 정도 밝게 설계되고 있는 실정이다. 그래서 공동전기료를 줄이기 위해 지하주차장 조명등을 격등 방식으로 사용하고 있으나 조명등 사이의 조도분포가 균일하지 않아, 조도가 낮은 곳에서 사람 및 운전자가 불안감을 느끼고 피로가 증가하여 사고로 이어지며, 조도조절이 불가능해 사람 및 차량 이동이 적은 새벽 시간까지 밝게 유지해야 하는 비효율이 발생 등의 문제점이 있다.

예를 들어, 아무도 없는 지하주차장/도로/터널 등에서 최대밝기로 점등되어 있는 많은 주차장 조명을 주변에서 흔히 볼 수 있다. 이는 막대한 에너지 소비, 조명기구 수명단축, 유지보수비용 증가로 이어진다.

따라서 지하주차장/도로/터널 등에서 조명 사용에 따른 에너지를 절약할 수 있는 스마트 조명 제어 수단의 필요성이 절실하다.

한국공개특허 10-2004-0063873

본 발명의 기술적 과제는 지하주차장/가로등/터널 등에 스마트 조명관리 시스템을 구현하여 안정적인 조도를 유지하고 에너지 절감효과를 증가시킬 수 있는 방안으로, 사람 및 차량 움직임을 정확하게 감지하여 조명등 밝기(조도)제어의 오동작을 최소화할 수 있는 기술을 제공하는데 있다.

상기 조명 제어 기기는, 상기 CCTV 카메라에서 촬영된 CCTV 영상에서 객체를 검출하여, 검출한 CCTV 영상의 객체를 이용하여 조명 공간 내의 객체 종류인 CCTV 기반 객체 종류를 파악하는 CCTV 영상 분석부; 상기 적외선 열감지 센서를 통해 감지된 열감지 신호를 이용하여 조명 공간 내의 객체 종류인 열감지 기반 객체 종류를 판별하는 열감지 신호 분석부; 상기 음향센서를 통해 감지되는 음향 신호를 이용하여 조명 공간 내의 객체 종류인 음향 기반 객체 종류를 판별하는 음향 신호 분석부; 상기 비콘 스캐너에서 수신되는 비콘 신호를 이용하여 조명 공간 내의 객체 종류인 비콘 기반 객체 종류를 판별하는 비콘 신호 분석부; 상기 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 통합 분석 조명 제어부;를 포함할 수 있다.

상기 CCTV 영상 분석부는, CCTV 영상에서 검출된 객체에 대하여 CNN 기반 딥러닝 분석을 통하여, 상기 CCTV 기반 객체 종류가 '사람', '동물', '차량', '기타'의 4개 중에서 어느 하나의 객체 종류인지를 파악할 수 있다.

상기 열감지 신호 분석부는, 상기 적외선 열감지 센서를 통해 감지되는 열감지 신호의 변동값을 이용하여, 상기 열감지 기반 객체 종류가 사람인지 동물인지 판별할 수 있다.

상기 열감지 신호 분석부는, 상기 열감지 신호의 변동값을 분석하여 배경 객체인지 움직임 객체인지 판별한 후, 움직임 객체로 판별되는 경우 상기 열감지 신호에서 추출되는 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별할 수 있다.

상기 열감지 신호 분석부는, 열감지 신호의 고주파 성분을 이용하여 객체 움직임 특성을 파악하고, 열감지 신호의 신호 세기 레벨을 이용하여 객체 크기 특성 파악하여, 파악되는 객체 움직임 특성과 객체 크기 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별할 수 있다.

상기 음향 신호 분석부는, 상기 음향센서를 통해 감지되는 음향 신호에 대하여 특징값을 추출하고, 추출한 특징값을 데이터베이스를 기반으로 하는 딥러닝 분류기를 통해 분류하여 음향 기반 객체 종류를 판별할 수 있다.

상기 음향 신호에 대하여 특징값을 추출하는 것은, 위너(wiener) 필터를 적용해 음향데이터의 잡음을 제거한 후 특징값을 추출할 수 있다.

상기 비콘 신호 분석부는, 조명 공간 내에서 존재하는 사람이 소지한 스마트폰이나 차량에 구비된 비콘기기로부터 비콘 스캐너로 전달되는 비콘 신호를 이용하여 비콘 기반 객체 종류가 사람인지 차량인지를 판별할 수 있다.

상기 통합 분석 조명 제어부는, 상기 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류를 이용하여 조명 공간 내에 존재하는 객체의 종류인 다중센서 기반 객체 종류를 특정하는 다중센서 통합 분석 모듈; 다중센서 통합 분석부를 통해 결정되는 다중센서 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 조명 제어 모듈;을 포함할 수 있다.

상기 다중센서 통합 분석 모듈은, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류별로 각각 우선순위를 부여하여, 우선순위를 기준으로 객체 종류를 특정할 수 있다.

상기 다중센서 통합 분석 모듈은, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류별로 각각 가중치를 부여하여, 가중치 합산값을 기준으로 객체 종류를 특정할 수 있다.

상기 음향센서는, 방향성 음향을 감지하는 방향성 마이크로 구현되며, 상기 음향 신호 분석부는, 음향 기반 객체 종류 이외에도 음향 기반 객체 종류의 감지 방향을 검출하며, 상기 조명 제어 모듈은, 다중센서 통합 분석 모듈을 통해 결정되는 다중센서 기반 객체 종류와 상기 음향 신호 분석부를 통해 검출되는 감지 방향에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어할 수 있다.

상기 조명 제어 모듈은, 상기 다중센서 기반 객체 종류가 차량으로 판별되는 경우 상기 감지 방향의 섹터에 있는 조명들을 제1밝기로 점등 제어하며, 상기 다중센서 기반 객체 종류가 사람으로 판별되는 경우 상기 감지 방향의 섹터에 있는 조명들을 제1밝기보다 더 밝은 제2밝기로 점등 제어할 수 있다.

상기 CCTV 영상 분석부는, CCTV 영상에서 객체 제스처를 검출하며, 상기 다중센서 통합 분석 모듈은, 검출되는 다중센서 기반 객체 종류와 객체 제스처에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어할 수 있다.

상기 조명 제어 모듈은, 상기 CCTV 기반 객체 종류와 열감지 기반 객체 종류가 모두 사람으로 판별되면서, 아울러 객체 제스처가 위를 향하는 경우 조명 공간 내부에 있는 조명 기기의 조명 밝기를 한 단계 더 높여 밝게 제어할 수 있다.

본 발명의 실시 형태에 따르면 TV 카메라, 열감지(PIR: Pyroelectric Infrared)센서, 음향센서, 비콘(Beacon) 등 다양한 IoT(Internet of Things) 센서 정보들을 종합적으로 분석하여, 주차장/도로/터널 등의 다양한 곳에서의 조명 에너지를 절약할 수 있다.

또한 본 발명의 실시 형태에 따르면 다양한 센서들을 종합 분석하여 다중센서 기반 객체 종류를 결정할 때 우선 순위 또는 가중치를 이용하여 결정함으로써, 정확한 객체 종류 파악이 가능하게 된다.

도 1은 본 발명의 실시예에 따른 다중센서 기반 객체 감지를 통한 스마트 조명 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 다중센서 기반 객체 감지를 통한 스마트 조명 시스템을 지하주차장에 적용할 때의 예시 그림.
도 3은 본 발명의 실시예에 따른 CCTV 카메라의 예시 그림.
도 4는 본 발명의 실시예에 따른 조명 제어 기기의 구성 블록도.
도 5는 비감지 상황, 사람 감지 상황, 동물 감지 상황의 열감지 신호 파형들을 나타낸 그림.
도 6은 본 발명의 실시예에 따른 음향 감지 동작 흐름을 도시한 그림.
도 7은 본 발명의 실시예에 따른 MFCC 블록다이어그램을 도시한 그림.
도 8은 본 발명의 실시예에 따라 영상, 열감지, 음향 정보를 이용하여 객체를 결정하는 예시 그림.

이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 다중센서 기반 객체 감지를 통한 스마트 조명 시스템의 구성도이며, 도 2는 본 발명의 실시예에 따른 다중센서 기반 객체 감지를 통한 스마트 조명 시스템을 지하주차장에 적용할 때의 예시 그림이며, 도 3은 본 발명의 실시예에 따른 CCTV 카메라의 예시 그림이며, 도 4는 본 발명의 실시예에 따른 조명 제어 기기의 구성 블록도이며, 도 5는 비감지 상황, 사람 감지 상황, 동물 감지 상황의 열감지 신호 파형들을 나타낸 그림이며, 도 6은 본 발명의 실시예에 따른 음향 감지 동작 흐름을 도시한 그림이며, 도 7은 본 발명의 실시예에 따른 MFCC 블록다이어그램을 도시한 그림이며, 도 8은 본 발명의 실시예에 따라 영상, 열감지, 음향 정보를 이용하여 객체를 결정하는 예시 그림이다.

본 발명은 지하주차장/가로등/터널 등에 스마트 조명관리 시스템을 구현하여 안정적인 조도를 유지하고 에너지 절감효과를 증가시킬 수 있는 방안으로서, CCTV 카메라(110), 열감지(PIR:Pyroelectric Infrared)센서, 오디오센서, 비콘으로부터 입력된 다중 IoT 센서 정보를 종합적으로 분석하고 융합하여 객체(사람 및 이동차량)을 정확하게 감지하는 방법에 관한 것이다. 객체감지 결과는 주차장/도로/터널 등에서 스마트 LED 조명 조도제어(디밍제어)에 이용된다.

즉, 본 발명은, 평소에는 최소한(10~20%)의 밝기 상태를 유지되다가, 지하주차장에 출입하는 사람이나 차량의 움직임이 감지되는 경우에만 주차장 조명 밝기를 최대(100%)로 조절하기 위해, CCTV 카메라(110), 열감지(PIR: Pyroelectric Infrared)센서, 음향센서(130), 비콘(Beacon) 등 다양한 IoT(Internet of Things) 센서 정보들을 종합적으로 분석하고 융합하여 오동작을 최소화한 LED 스마트 조명관리 기술이다.

기존의 지하주차장 조명의 조도제어 시스템에서는 사람 및 차량 움직임 감지를 위해 적외선 방식의 디지털 열감지(PIR:Pyroelectric Infrared) 센서와 마이크로웨이브 센서를 단독 또는 복합적으로 사용하는 방법이 가장 많이 사용되고 있다. 그러나 디지털 PIR 센서는 센싱된 원적외선이 일정값 이상보다 높으면 사람이 있는 것으로 판별하는 원리에 의하여, 사람과 동물을 정확하게 구별하지 못하는 문제점을 가지고 있고, 차량감지에는 사용할 수 없는 원초적 한계를 가지고 있다.

마이크로웨이브 센서는 사람과 차량을 모두 감지할 수 있으나, 방향성을 가지고 있고, 자체 전력 소모가 많으며, PIR에 비하여 가격 부담이 있는 단점이 있다.

이에 반해 본 발명은, CCTV, 적외선 열감지(PIR) 센서, 음향센서(130), 비콘을 사용하여 객체(사람 및 이동차량)을 정확하게 감지하여 주차장/가로등/터널등 LED 조명제어의 오동작을 최소화할 수 있는 기술을 개발하여 에너지 절감효과를 극대화할 수 있는 스마트 조명관리 시스템이다.

이를 위하여 본 발명의 다중센서 기반 객체 감지를 통한 스마트 조명 시스템은, 도 1 및 도 2에 도시한 바와 같이 조명 기기(200), CCTV 카메라(110), 적외선 열감지 센서(120), 음향 센서, 비콘 스캐너(140), 및 조명 제어 기기(300)를 포함할 수 있다.

조명 기기(200)는, 조명 공간에 적어도 하나 이상 설치되어 발광하는 조명 발광체이다. 이러한 조명 기기(200)는, LED램프, 백열램프 등과 같이 다양한 형태가 모두 가능하다. 여기서 조명 공간은, 지하주차장, 가로등, 터널 등과 같이 조명이 필요한 공간을 말하며, 지하주차장, 가로등, 터널 이외에도 조명 기기(200)가 구비되는 다른 다양한 공간 역시 해당될 것이다.

CCTV 카메라(110)는, 조명 공간을 촬영하여 CCTV 영상을 생성하는 촬영 기기이다. 이러한 도 3(a)에 도시한 바와 같이 블렛 카메라 형태, 도 3(b)에 도시한 바와 같이 실내돔카메라 형태 등을 가질 수 있으며, 하우징 일체형태, 스피드 돔 등의 다양한 형태의 CCTV 카메라(110)가 모두 포함될 수 있을 것이다. 또한 CCTV 카메라(110)는 다양한 하우징 형태로서 구현될 수 있음은 자명할 것이다. 또한 CCTV 카메라(110)는, CCTV카메라를 통해 움직임 이벤트가 발생할 때 이벤트 객체를 줌,인하여 객체를 촬영하며 이때 줌,인과 동시에 상,하,좌,우 각도를 조정하여 객체를 화면에 중앙에 위치하게 하는 PTZ 조절이 이루어지도록 할 수 있다. PTZ(Pan Tilt Zoom)는 팬 틸트 줌 기능을 말하는 것으로서, 상하 좌우로 피사체를 따라가며, 확대, 축소 기능을 가진 CCTV 카메라(110)를 말한다. PTZ 돔 네트워크 카메라는 팬/틸트/줌 기능을 통해 넓은 구역을 감시하며 줌인 기능을 통해 상세 이미지를 제공할 수 있다.

적외선 열감지 센서(120)는, 적외선을 이용하여 조명 공간 내의 열을 감지하는 센서이다. 적외선 열감지 센서(120)는 초전형 적외선(PIR; Pyroelectric InfraRed) 기반으로 열을 감지하는데, 적외선 흡수시 물질 내의 분극(polarization) 변화로 전하가 유기되어 기전력이 발생하는 초전효과를 이용한 센서로서, 주변 환경과 원적외선을 발생하는 물체(사람, 동물 등)과의 원적외선 차이를 감지하며, 이를 이용하여 사람 또는 동물 등의 움직임 검출이 가능하다

음향 센서는, 조명 공간에서 발생되는 음향을 감지하는 센서이다. 영상 감지의 경우 카메라의 시야 범위 (FOV) 영역만을 감시할 수 있으므로 시야 범위 밖에서 발생하는 보행자나 차량은 감지할 수 없다. 또한, 카메라는 빛이 있는 경우에만 볼 수 있는 영상 데이터를 획득할 수 있는데 반해, 오디오의 경우 주변 360°환경을 취급할 수 있고 어둠에서도 오디오 획득이 가능하기 때문에 획득된 오디오 분석으로 어두운 장소에서나, 영상 감지 카메라의 시야 범위가 미치지 않는 곳을 감시할 수 있다. 즉, 영상 감지 카메라 시야 밖 또는 볼 수 있는 영상 데이터 획득이 불가능한 경우에도, 발생하는 차량 이동하는 소리, 보행자 인기척 소리, 동물 소리 등의 오디오 정보 분석을 통해 사람 및 차량의 출현을 인지하는 보완적인 오디오 감지가 가능해진다. 특히, 어두운 경우 영상 감지는 획득한 영상이 알아보기 어려워서, 영상 감지만으로는 차량이나 보행자를 감지하는 데 한계가 있으나, 오디오 감지가 보완되면 어느 정도 차량 및 보행자 감지가 가능해진다. 방향성 마이크를 사용하면 소리가 나는 방향까지도 알아낼 수 있다.

비콘 스캐너(140)는, 조명 공간에 진입한 단말기와 비콘 통신을 수행하는 기기이다. 비콘(beacon) 통신은, .4GHz 대역 블루투스기반 근거리 무선통신 기술로서, 근거리 위치 및 사물 인식 정보를 제공할 수 있다. 조명 기기(200)가 설치된 조명 공간(예컨대, 지하 주차장)에 진입한 보행자의 스마트폰, 운전자의 스마트폰, 차량 구비 비콘기기와 비콘 통신을 수행한다. 비콘 태그는 고유의 ID를 송신하며 기준점 역할을 한다. 주차장/도로/터널에 출입하는 사람이나 운전자가 소지하는 스마트폰의 블루투스 기능은 비콘 태그와 스캐너 역할을 한다. 따라서 본 발명에서는 객체감지 단말기에 부착된 비콘 스캐너(140)가 스마트폰을 소지한 사람이나 차량이 근처에 있다는 것을 확인하여 객체감지 용도로 활용할 수 있게 된다.

조명 제어 기기(300)는, 연산 유닛과 메모리를 구비하여, 일반적인 연산 하드웨어에 도스(dos), 윈도우(window), 리눅스(linux), 유닉스(unix), 매킨토시(macintosh) 등의 운영 체제에 따라 스마트 조명 제어를 수행한다. 즉, CCTV 카메라(110)로부터의 CCTV 영상, 상기 적외선 열감지 센서(120)를 통해 감지되는 열감지 신호, 상기 음향센서(130)를 통해 감지되는 음향 신호, 상기 비콘 스캐너(140)에서 수신되는 비콘 신호를 입력받아, 입력되는 CCTV 영상, 열감지 신호, 음향 신호, 비콘 신호를 분석하여 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 제어하게 된다.

상술하면, 조명 제어 기기(300)는, 도 4에 도시한 바와 같이 CCTV 영상 분석부(310), 열감지 신호 분석부(320), 음향 신호 분석부(330), 비콘 신호 분석부(340), 및 통합 분석 조명 제어부(350)를 포함할 수 있다.

CCTV 영상 분석부(310)는, CCTV 카메라(110)에서 촬영된 CCTV 영상에서 객체를 검출하여, 검출한 CCTV 영상의 객체를 이용하여 조명 공간 내의 객체 종류인 CCTV 기반 객체 종류를 파악하는 기능을 수행한다. 즉, CCTV 영상 분석부(310)는, CCTV 영상에서 검출된 객체에 대하여 CNN 기반 딥러닝 분석을 통하여, CCTV 기반 객체 종류가 '사람', '동물', '차량', '기타'의 4개 중에서 어느 하나의 객체 종류인지를 파악한다.

참고로, CNN(Convolution Neural Network) 기반 딥러닝 분석은, 알려진 바와 같이 image Data Processing, Object Detection에 사용되는 딥러닝(Deep Learning) 모델로서, 기본적으로 가중합 형식의 convolution 연산 알고리즘을 사용하며, 데이터의 input에 가중치를 이용하여 특징 벡터들을 찾아내는 방식이다. CNN은 local 정보를 이용하는데 공간적으로 인접한 값들의 상관관계를 비선형 필터를 통해 추출하고 이런 필터를 통하여 local의 특징을 추출한다. CNN 모델은 크게 R-CNN(Region-based CNN), SPPNet, Fast R-CNN, Faster R-CNN, Mask R-CNN 등이 있다. CNN 구조는 1980년 Fukushima의 Neocognitron에 의해 처음으로 그 개념이 소개되었으며, 1998년 LeCun이 발표한 역전파(Backpropagation) 알고리즘을 통한 확률적 경사 하강법(Stochastic gradient descent)이 CNN을 학습하는데 효과적임을 입증하였으며, 그 후, Hinton이 제안한 ReLU 및 Dropout 기법 등의 연구를 통해 CNN 기반 영상인식 연구가 활성화되었다. 특히, 2012년 Krizhevsky의연구에서는 대용량 데이터셋(예를 들어, ImageNet)에 대해 Convolutional Neural Networks(CNN)을 이용하여 영상인식 문제를 풀었는데, 과거의 수동적으로 디자인된 특징에 비해 많은 성능향상을 가져왔다.

열감지 신호 분석부(320)는, 적외선 열감지 센서(120)를 통해 감지된 열감지 신호를 이용하여 조명 공간 내의 객체 종류인 열감지 기반 객체 종류를 판별한다.

열감지 신호 분석부(320)는, 적외선 열감지 센서(120)를 통해 감지되는 열감지 신호의 변동값을 이용하여, 열감지 기반 객체 종류가 사람인지 동물인지 판별한다. 즉, 열감지 신호 분석부(320)는, 열감지 신호의 변동값을 분석하여 배경 객체인지 움직임 객체인지 판별한 후, 움직임 객체로 판별되는 경우 열감지 신호에서 추출되는 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별하는 것이다.

열감지 신호 분석부(320)는, 열감지 신호의 고주파 성분을 이용하여 객체 움직임 특성을 파악하고, 열감지 신호의 신호 세기 레벨을 이용하여 객체 크기 특성 파악하여, 파악되는 객체 움직임 특성과 객체 크기 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별한다. 예를 들어, 도 5는 비감지 상황, 사람 감지 상황, 동물 감지 상황의 열감지 신호 파형들을 나타내었는데, 이러한 각각의 상황에 따라서 열감지 신호 파형이 다르기 때문에, 열감지 신호의 고주파 성분을 이용하여 객체 움직임 특성을 파악하고, 열감지 신호의 신호 세기 레벨을 이용하여 객체 크기 특성 파악할 수 있다.

음향 신호 분석부(330)는, 음향센서(130)를 통해 감지되는 음향 신호를 이용하여 조명 공간 내의 객체 종류인 음향 기반 객체 종류를 판별하는 기능을 수행한다. 이를 위해 도 6에 도시한 바와 같이 음향센서(130)를 통해 감지되는 음향 신호에 대하여 특징값을 추출하고, 추출한 특징값을 데이터베이스를 기반으로 하는 딥러닝 분류기를 통해 분류하여 음향 기반 객체 종류를 판별한다.

즉, 음향데이터는 MFCC를 통해 특징을 추출하고, 배경음 판단을 위해 AGMM을 통과한다. 이후, 배경음이 아니라면 딥러닝 분류기를 통해 분류되고 이 결과에 의해 사용 목적에 맞게 하드웨어를 제어하는 것이다. 여기서 MFCC(Mel Frequency Cepstral Coefficient)는, 알려진 바와 같이 음성신호가 가지고 있는 어떠한 특징을 뽑아내는 기법으로서, 입력된 소리 전체를 대상으로 하는 것이 아니라, 일정 구간(Short time)식 나누어, 이 구간에 대한 스펙트럼을 분석하여 특징을 추출하는 기법이다.

다만, MFCC 기법을 통해 음향 신호의 특징값을 추출할 때, 멜-필터(mel filter)를 사용해야 하는데 멜-필터는 저주파수에서 형성되는 잡음을 인식함으로 인한 특징벡터의 모호성 문제와 고주파수의 위험 음향에 대한 인식저하 단점이 있다. 즉, 기존 음향인식시스템의 MFCC 알고리즘을 통한 특징벡터는 사이렌, 비명소리 등 고주파수 음향 데이터의 인식률이 떨어지는 단점이 있다. 인식률이 떨어지는 이유는 첫째, MFCC 필터뱅크의 삼각필터가 주로 저주파수에 밀집 형성되어 저주파수 음향데이터를 인식하는 데에 유리하기 때문이고, 둘째, 저주파수에서 형성되는 생활 잡음을 민감하게 인식하기 때문에 특징벡터 추출에 단점이 생기기 때문이다.

이러한 점을 개선하기 위하여 본 발명에서 MFCC 알고리즘을 적용하여 음향 신호에 대하여 특징값을 추출하는 것은, 위너(wiener) 필터를 적용해 음향데이터의 잡음을 제거하고, 변형된 필터뱅크를 통해 저주파수의 잡음 제거, 고주파수에 밀집된 삼각필터로서 특징값을 추출하도록 한다. 즉, 도 7에 도시한 바와 같이 위너(wiener) 필터를 적용해 음향데이터의 잡음을 제거하고, 변형된 필터뱅크를 통해 저주파수의 잡음 제거, 고주파수에 밀집된 삼각필터로 특징벡터를 뽑아낸다는 점이 다르다. 이후, 삼각필터를 통해 강조된 에너지는 DCT를 생략하여 데이터의 특징벡터를 더 명료화시킨다.

참고로, 위너(winener) 필터는, 알려진 바와 같이 선형으로 인과율을 침범하지 않는(입력에 선행하여 출력을 발생하는 일이 없는) 계에 있어서, 계입력(정상 랜덤 과정에서 생긴 신호로, 잡음을 포함하고 있다고 한다)에서의 신호 성분과 잡음을 포함한 계의 전 출력 사이의 2승 평균 오차가 최소인 계를 위너 필터라고 한다. 위너 필터는 두 부분으로 구성되어 있으며 앞 단은 전 입력신호의 스펙트럼 밀도를 균일(백색)화하기 위한 전처리용 필터(pre- whitening filter)이고, 후단 부분이 실제로 2승 평균 오차를 최소로 하는 작용을 한다.

비콘 신호 분석부(340)는, 비콘 스캐너(140)에서 수신되는 비콘 신호를 이용하여 조명 공간 내의 객체 종류인 비콘 기반 객체 종류를 판별한다. 즉, 비콘 신호 분석부(340)는, 조명 공간 내에서 존재하는 사람이 소지한 스마트폰이나 차량에 구비된 비콘기기로부터 비콘 스캐너(140)로 전달되는 비콘 신호를 이용하여 비콘 기반 객체 종류가 사람인지 차량인지를 판별하는 것이다. 비콘 태그는 고유의 ID를 송신하며 기준점 역할을 하는데, 주차장/도로/터널에 출입하는 사람이나 운전자가 소지하는 스마트폰의 블루투스 기능은 비콘 태그와 스캐너 역할을 한다. 따라서 본 발명에서는 객체감지 단말기에 부착된 비콘 스캐너(140)가 스마트폰을 소지한 사람이나 차량이 근처에 있다는 것을 확인하여 객체감지 용도로 활용한다.

통합 분석 조명 제어부(350)는, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 다르게 제어한다.

이를 위해 통합 분석 조명 제어부(350)는, 다중센서 통합 분석 모듈(351)과 조명 제어 모듈(352)을 포함할 수 있다.

다중센서 통합 분석 모듈(351)은, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류를 이용하여 조명 공간 내에 존재하는 객체의 종류인 다중센서 기반 객체 종류를 특정하는 것이다. 예를 들어, 도 8에 도시한 바와 같이 파악되는 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류를 결정한다.

CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류가 서로 다르게 파악되는 경우, 이를 통합하여 하나의 다중센서 기반 객체 종류로서 결정할 필요가 있다.

이를 위해 다음과 같이 두 가지 방식을 제안한다.

하나는, 우선 순위를 기준으로 파악하는 것이다. 즉, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류별로 각각 우선순위를 부여하여, 우선순위를 기준으로 객체 종류를 특정하는 것이다.

예를 들어, 지하주차장에서는 열감지 기반 객체 종류가 최우선 순위로 할당된 경우, 동일한 객체가 CCTV 기반 객체 종류에서는 자동차로 판별되고, 열감지 기반 객체 종류에서는 사람으로 판별되는 경우, 최우선 순위인 열감지 기반 객체 종류인 사람이 다중센서 기반 객체 종류로서 결정되는 것이다. 또한 터널에서 다른 객체 종류가 최우선 순위로 할당될 수 있으며 그에 따른 다중센서 기반 객체 종류가 결정한다.

다중센서 기반 객체 종류로서 결정하는 다른 두 번째 방식은 가중치를 이용하는 것이다. 즉, CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류별로 각각 가중치를 부여하여, 가중치 합산값을 기준으로 객체 종류를 결정하는 것이다. 예를 들어, CCTV 기반 객체 종류에 가중치 0.4, 열감지 기반 객체 종류에 가중치 0.2, 음향 기반 객체 종류에 가중치 0.1, 비콘 기반 객체 종류에 가중치 0.3을 둔 경우, CCTV 기반 객체 종류가 자동차, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류가 모두 사람으로 파악된 경우, 자동차는 0.4의 가중치 합산 점수가 부여되고, 사람에는 0.6의 가중치 합산 점수가 부여되기 때문에, 다중센서 기반 객체 종류는 사람으로 결정되는 것이다.

조명 제어 모듈(352)은, 다중센서 통합 분석부를 통해 결정되는 다중센서 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 다르게 제어하는 것이다. 예를 들어, 결정되는 다중센서 기반 객체 종류가 사람으로 판별된 경우 조명을 밝게하고, 자동차로 판별된 경우 조명을 어둡게 할 수 있다.

또한 다중센서 기반 객체 종류가 차량으로 판별되는 경우 상기 감지 방향의 섹터에 있는 조명들을 제1밝기로 점등 제어하며, 다중센서 기반 객체 종류가 사람으로 판별되는 경우 상기 감지 방향의 섹터에 있는 조명들을 제1밝기보다 더 밝은 제2밝기로 점등 제어할 수 있다.

또한 방향성을 고려하여 조명을 제어할 수 있는데, 이를 위해 음향센서(130)는, 방향성 음향을 감지하는 방향성 마이크로 구현되며, 음향 신호 분석부(330)는, 음향 기반 객체 종류 이외에도 음향 기반 객체 종류의 감지 방향을 검출한다.

따라서 조명 제어 모듈(352)은, 다중센서 통합 분석 모듈(351)을 통해 결정되는 다중센서 기반 객체 종류와 음향 신호 분석부(330)를 통해 검출되는 감지 방향에 따라서 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 제어할 수 있다.

예를 들어, 다중센서 기반 객체 종류가 차량으로 검출되고 감지 방향이 멀어지는 방향으로 검출되면 조명을 순차적으로 오프시키는 제어를 수행하며, 반면에 다중센서 기반 객체 종류가 차량으로 검출되고 감지 방향이 가까워지는 방향으로 검출되면 조명을 순차적으로 점등시키는 제어를 할 수 있다. 따라서 다양한 조명 제어가 가능하게 된다.

한편, 통합 분석 조명 제어부(350)는, 객체 종류뿐만 아니라 객체의 제스처를 파악하여 객체 제스처에 따른 다양한 조명 제어가 가능하도록 구현할 수 있다.

이를 위해 CCTV 영상 분석부(310)는, CCTV 영상에서 객체 제스처를 검출하며, 다중센서 통합 분석 모듈(351)은, 검출되는 다중센서 기반 객체 종류와 객체 제스처에 따라서 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 다르게 제어할 수 있다.

예를 들어, 조명 제어 모듈(352)은, CCTV 기반 객체 종류와 열감지 기반 객체 종류가 모두 사람으로 판별되면서, 아울러 객체 제스처가 위를 향하는 경우 조명 공간 내부에 있는 조명 기기(200)의 조명 밝기를 한 단계 더 높여 밝게 제어할 수 있다.

주차장에 있는 사용자는 주차장 조명이 너무 어둡다고 생각되면, 손을 들어 위로 향할 경우, 자동으로 주차장 조명이 한 단계 더 밝아지는 것이다. 따라서 사용자들이 제스처만으로도 자신이 있는 구역의 조명을 직접 제어할 수 있게 된다.

상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.

110:CCTV 카메라
120;적외선 열감지 센서
130:음향센서
140:비콘 스캐너
200;조명 기기
300:조명 제어 기기

Claims

조명 공간에 적어도 하나 이상 설치된 조명 기기;
상기 조명 공간을 촬영하여 CCTV 영상을 생성하는 CCTV 카메라;
적외선을 이용하여 조명 공간 내의 열을 감지하는 적외선 열감지 센서;
상기 조명 공간에서 발생되는 음향을 감지하는 음향센서;
상기 조명 공간에 진입한 단말기와 비콘 통신을 수행하는 비콘 스캐너;
상기 CCTV 카메라로부터의 CCTV 영상, 상기 적외선 열감지 센서를 통해 감지되는 열감지 신호, 상기 음향센서를 통해 감지되는 음향 신호, 상기 비콘 스캐너에서 수신되는 비콘 신호를 입력받아, 입력되는 CCTV 영상, 열감지 신호, 음향 신호, 비콘 신호를 분석하여 조명 공간 내부에 있는 조명 기기의 조명 밝기를 제어하는 조명 제어 기기;를 포함하며,
상기 조명 제어 기기는,
상기 CCTV 카메라에서 촬영된 CCTV 영상에서 객체를 검출하여, 검출한 CCTV 영상의 객체를 이용하여 조명 공간 내의 객체 종류인 CCTV 기반 객체 종류를 파악하는 CCTV 영상 분석부와; 상기 적외선 열감지 센서를 통해 감지된 열감지 신호를 이용하여 조명 공간 내의 객체 종류인 열감지 기반 객체 종류를 판별하는 열감지 신호 분석부와; 상기 음향센서를 통해 감지되는 음향 신호를 이용하여 조명 공간 내의 객체 종류인 음향 기반 객체 종류를 판별하는 음향 신호 분석부와; 상기 비콘 스캐너에서 수신되는 비콘 신호를 이용하여 조명 공간 내의 객체 종류인 비콘 기반 객체 종류를 판별하는 비콘 신호 분석부; 및 상기 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 통합 분석 조명 제어부;를 포함하며,
상기 통합 분석 조명 제어부는,
상기 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류를 이용하여 조명 공간 내에 존재하는 객체의 종류인 다중센서 기반 객체 종류를 특정하는 다중센서 통합 분석 모듈; 및 다중센서 통합 분석부를 통해 결정되는 다중센서 기반 객체 종류에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 조명 제어 모듈;을 포함하며,
상기 다중센서 통합 분석 모듈은 CCTV 기반 객체 종류, 열감지 기반 객체 종류, 음향 기반 객체 종류, 비콘 기반 객체 종류별로 각각 가중치를 부여하여, 가중치 합산값을 기준으로 객체 종류를 특정하며,
상기 음향센서는, 방향성 음향을 감지하는 방향성 마이크로 구현되며,
상기 음향 신호 분석부는, 음향 기반 객체 종류 이외에도 음향 기반 객체 종류의 감지 방향을 검출하며,
상기 조명 제어 모듈은, 다중센서 통합 분석 모듈을 통해 결정되는 다중센서 기반 객체 종류와 상기 음향 신호 분석부를 통해 검출되는 감지 방향에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
삭제
청구항 1에 있어서, 상기 CCTV 영상 분석부는,
CCTV 영상에서 검출된 객체에 대하여 CNN 기반 딥러닝 분석을 통하여, 상기 CCTV 기반 객체 종류가 '사람', '동물', '차량', '기타'의 4개 중에서 어느 하나의 객체 종류인지를 파악하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
청구항 1에 있어서, 상기 열감지 신호 분석부는,
상기 적외선 열감지 센서를 통해 감지되는 열감지 신호의 변동값을 이용하여, 상기 열감지 기반 객체 종류가 사람인지 동물인지 판별하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
청구항 4에 있어서, 상기 열감지 신호 분석부는,
상기 열감지 신호의 변동값을 분석하여 배경 객체인지 움직임 객체인지 판별한 후, 움직임 객체로 판별되는 경우 상기 열감지 신호에서 추출되는 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
청구항 5에 있어서, 상기 열감지 신호 분석부는,
열감지 신호의 고주파 성분을 이용하여 객체 움직임 특성을 파악하고, 열감지 신호의 신호 세기 레벨을 이용하여 객체 크기 특성 파악하여, 파악되는 객체 움직임 특성과 객체 크기 특성을 이용하여 열감지 기반 객체 종류가 사람인지 동물인지 판별하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
청구항 1에 있어서, 상기 음향 신호 분석부는,
상기 음향센서를 통해 감지되는 음향 신호에 대하여 특징값을 추출하고, 추출한 특징값을 데이터베이스를 기반으로 하는 딥러닝 분류기를 통해 분류하여 음향 기반 객체 종류를 판별하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
청구항 7에 있어서, 상기 음향 신호에 대하여 특징값을 추출하는 것은,
위너(wiener) 필터를 적용해 음향데이터의 잡음을 제거한 후 특징값을 추출하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
청구항 1에 있어서, 상기 비콘 신호 분석부는,
조명 공간 내에서 존재하는 사람이 소지한 스마트폰이나 차량에 구비된 비콘기기로부터 비콘 스캐너로 전달되는 비콘 신호를 이용하여 비콘 기반 객체 종류가 사람인지 차량인지를 판별하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
삭제
청구항 1에 있어서, 상기 조명 제어 모듈은,
상기 다중센서 기반 객체 종류가 차량으로 판별되는 경우 감지 방향의 섹터에 있는 조명들을 제1밝기로 점등 제어하며, 상기 다중센서 기반 객체 종류가 사람으로 판별되는 경우, 감지 방향의 섹터에 있는 조명들을 제1밝기보다 더 밝은 제2밝기로 점등 제어하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
청구항 1에 있어서,
상기 CCTV 영상 분석부는, CCTV 영상에서 객체 제스처를 검출하며,
상기 다중센서 통합 분석 모듈은, 검출되는 다중센서 기반 객체 종류와 객체 제스처에 따라서 조명 공간 내부에 있는 조명 기기의 조명 밝기를 다르게 제어하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.
청구항 12에 있어서, 상기 조명 제어 모듈은,
상기 CCTV 기반 객체 종류와 열감지 기반 객체 종류가 모두 사람으로 판별되면서, 아울러 객체 제스처가 위를 향하는 경우 조명 공간 내부에 있는 조명 기기의 조명 밝기를 한 단계 더 높여 밝게 제어하는 다중센서 기반 객체 감지를 통한 스마트 조명 시스템.