KR102497596B1 - 스마트 보안등에서 Multi-CNN을 이용한 보행자 검출방법 및 이를 이용한 스마트 보안등 - Google Patents

Abstract

본 발명은 야간에 조명을 통하여 보행자의 동선을 밝혀주어 야간 통행에 안전한 환경과 방범효과를 제공하고, 인공지능 기반의 보행자 인식을 통한 조명제어로 에너지 사용 효율을 제고할 수 있는 Multi-CNN을　이용한　보행자　검출　방법 및 이를 이용한 스마트 보안등에 관한 것으로서,
인공지능을 이용하여 낮은 조도에서도 보행자 검출률을 향상시키기 위한 영상처리 방안을 통하여 보행자를 검출하여 능동적으로 보안등의 밝기를 제어함으로서 안전한 보행환경 제공과 범죄예방효과를 극대화하고, 나아가 에너지 사용 효율을 제고할 수 있다.
또한 보안등의 밝기 변화에 따라 보행자 인식률이 달라지는 문제점을 개선할 수 있고, 검출된 보행자의 이동 방향에 따라 조명을 제어함으로서 보다 안전한 보행환경을 제공할 수 있는 스마트보안등을 개시한다.

Description

스마트　보안등에서　Multi-CNN을　이용한　보행자　검출　방법 및 이를 이용한 스마트 보안등 {A Pedestrian detection method using Multi-CNN and a smart security light using the same}

본 발명은 야간에 조명을 통하여 보행자의 동선을 밝혀주어 야간 통행에 안전한 환경을 제공하고 방범효과를 제공하기 위한 보안등에 관한 것으로서, 보다 상세하게는 인공지능 기반의 보행자 인식을 통한 조명제어로 에너지 사용 효율을 제고하고, 범죄예방효과를 극대화 할 수 있는 Multi-CNN을　이용한　보행자　검출　방법 및 이를 이용한 스마트 보안등에 관한 것이다.

일반적으로 보안등은 주택가 도로변 등의 야간 보행취약지역과 범죄다발지역 등 안전취약지역에 설치하게 된다. 에너지 사용량을 줄이기 위하여 보안등은 낮은 조도로 운영되는 경우가 많아 안전 서비스 제공에 미흡한 경우가 많고, 조도를 높이면 에너지 사용량 증가와 주택가에 설치된 경우 빛 공해가 발생하는 부작용이 있을 수 있다. 이에 따라 평상시에는 낮은 조도로 조명을 비추다가 보행자가 있는 경우에만 밝게 조명을 비추어서 에너지 효율성을 높이고 빛 공해 발생을 최소화 하기 위한 방안이 요구되고 있다. 한편 선행특허문헌 001(등록번호 제10-1902851호)에는 전력소비량에 기초하여 조도를 제어할 수 있는 스마트 보안등이 개시되었으나, 직접적인 보행자 검출 여부에 관계없이 보안등의 밝기를 제어함으로 인하여 에너지 사용 효율을 극대화 하기에는 한계가 있어 왔다. 한편 보행자가 없는 경우 조명을 어둡게 하는 경우 카메라를 통한 영상도 어둡게 되어 인공지능을 이용한 보행자의 검출도 낮아지는 문제점이 있다.

국내 등록특허 제10-1902851호

이에 본 발명이 해결하고자 하는 기술적 과제는 보행자 검출 여부에 따라 능동적으로 보안등의 밝기를 제어함으로서 안전한 보행환경을 제공하고 범죄예방효과를 극대화하며, 나아가 에너지 사용 효율을 제고하는 인공지능 기반의 스마트 보안등을 제공하는 데 있다.

이를 위해 본 발명은 인공지능을 이용하여 보행자를 검출하되 낮은 조도에서도 보행자 검출률을 향상시키기 위한 영상처리 방안을 제공한다.

또한 본 발명은 보안등의 밝기 변화에 따라 보행자 인식률이 달라지는 문제점을 개선하기 위해 Multi-CNN을　이용한　보행자　검출　방법을 제공하고, 검출된 보행자의 이동 방향에 따른 조명제어방법을 제공한다.

상기 과제의 해결을 위한 본 발명의 스마트 보안등은 하단부가 지상에 고정되는 보안등 지주, 상기 보안등 지주의 상부에 구성된 보안등조명부, 상기 보안등 지주 또는 보안등조명부에 위치하며 외부와 통신가능한 네트워크, 상기 보안등의 지주, 상기 보안등조명부 또는 외부에 위치하여 보안등 설치 구역의 영상정보를 수집하는 카메라, 상기 보안등 지주, 상기 보안등조명부 또는 외부에 위치하며 보안등의 전반적인 정보를 처리하는 제어부를 포함한다.

보행자의 안전한 보행환경 제공 및 범죄예방 효과를 극대화하기 위한 스마트 보안등에서 Multi-CNN을 이용한 보행자 검출방법은,

보안등 밝기 제어부는 하나 이상의 카메라를 포함하는 카메라 영상 입력부로 부터 입력되는 영상의 밝기가 일정기준 이하로 어두운 것으로 판단되면 입력된 영상을 영상 밝기 개선부로 전달하는 제1단계, 영상 밝기 개선부는 전달받은 영상의 밝기를 개선하는 연산을 수행하고 밝기가 개선된 영상을 제1CNN특징추출부로 전달하는 제2단계, 제1CNN특징추출부는 영상 밝기 개선부로 부터 밝기가 개선된 영상을 입력 받아 신경망의 형태로 컨볼루션 연산하고 풀링하여 특징맵을 형성하고 형성한 특징맵을 제1보행자추론부로 전달하는 제3단계, 제1보행자추론부는 제1CNN특징추출부에서 형성한 특징맵을 분석하여 보행자의 출현여부를 추론하여 검출하는 제4단계, 보안등 밝기 제어부는 제1보행자추론부가 보행자를 검출한 경우 보안등의 밝기를 더 밝게 제어하는 제5단계, 보안등 밝기 제어부는 하나 이상의 카메라를 포함하는 카메라 영상 입력부로부터 입력되는 영상의 밝기가 일정기준 이상 밝은 것으로 판단되면 상기 영상을 제2CNN특징추출부로 전달하는 제6단계, 제2CNN특징추출부는 전달받은 영상을 신경망의 형태로 컨볼루션 연산하고 풀링하여 특징맵을 형성하고 형성한 특징맵을 제2보행자추론부로 전달하는 제7단계, 제2보행자추론부는 제2CNN특징추출부에서 형성한 특징맵을 분석하여 보행자의 출현여부를 추론하여 검출하는 제8단계를 포함하고, 보안등 밝기 제어부는 제2보행자추론부가 보행자가 아니라고 추론한 경우 다시 제1단계부터 동작을 수행한다.

상기 스마트 보안등은 조명을 비추기 위해 복수개의 LED모듈을 포함하는 보안등조명부를 구비하고, 보안등 밝기 제어부는 제2보행자추론부가 보행자라고 추론한 경우 보행방향에 따라 보안등조명부의 LED모듈들을 제어하는 제9단계를 더 포함한다.

상기 보안등밝기제어부는 보행자가 검출되지 않으면 상기 보안등조명부의 복수개의 LED모듈 중 일부 LED모듈만 점등하고, 보행자가 검출되면 보안등조명부에서 점등 중인 LED모듈을 더 밝게 제어하거나 다른 LED모듈을 추가로 점등하여 보행자의 이동경로에 따라 조명영역을 확대하며, 검출된 보행자가 사라지면 추가로 제어한 LED모듈을 소등하거나 어둡게 디밍제어하는 것을 특징으로 한다. 상기 제2단계에서 영상 밝기 개선부는 영상의 밝기를 개선하기 위해 전달받은 영상을 이미지 스무싱(image smoothing) 처리한 후, 영상 밝기 분포 값을 일정하게 분포시키기 위한 연산을 수행한다. 상기 영상 밝기 개선부의 이미지 스무싱(image smoothing) 처리는 로패스필터(Low Pass Filter)를 사용하여 처리하고, 영상 밝기 분포값을 일정하게 분포시키기 위한 연산은 그레이스케일 밸런스(Gray-scale Balance)기법을 사용할 수 있다.

상기 스마트 보안등은, 하나 이상의 카메라를 구비하고 스마트 보안등 주위를 촬영하여 보안등 밝기제어부로 영상을 전달하는 카메라영상전달부, 스마트 보안등 주위로 조명을 비추기 위한 복수개의 LED모듈을 구비하는 보안등조명부, 카메라영상전달부로부터 전달받은 영상으로부터 보행자를 검출하고 보행자 검출 여부에 따라 보안등조명부의 LED 모듈들을 제어하는 보안등 밝기제어부를 포함하되, 보행자의 검출은 전술한 Multi-CNN을 이용한 보행자 검출방법에 따라 검출하는 것을 특징으로 한다.

상기 보안등조명부의 복수개의 LED모듈은 각각의 조명이 비추는 범위가 상이하고, 보안등 밝기 제어부는 제2보행자추론부가 보행자라고 추론한 경우 보행방향에 따라 보안등조명부의 LED모듈들을 제어하는 것을 특징으로 한다.

본 발명은 조명의 밝기에 따라 보행자인식의 정확도를 높이기 위해 조명이 어두운 경우 적용되는 제1CNN특징추출부와 조명이 밝은 경우 적용되는 제2CNN특징부를 분리하여 구성함으로서 조도 차이에도 불구하고 보행자인식의 정확도를 높일 수 있다.

본 발명의 스마트 보안등은 보행자가 인식되지 않을 때, 보안등 조명부의 일부 LED모듈만 점등되는 것을 특징으로 하고, 상기 점등되는 LED모듈은 보행자가 자주 출현하는 방향 또는 보안등이 비추는 범위의 중심을 비추는 LED모듈임을 특징으로 하며, 보행자가 인식되면 보안등조명부의 LED모듈을 추가로 점등하여 조도를 높이고 가시 되는 범위를 넓이는 것을 특징으로 하며, 추가로 점등되는 조명은 보안등조명부 전체 또는 보행자의 출현방향을 비추는 LED모듈일 수 있다. 또한 기존 점등된 LED모듈의 조도를 더욱 밝게 디밍 제어하여 가시 되는 범위를 높일 수 있다. 본 스마트 보안등은 인식되었던 보행자가 사라졌을 때, 보행자가 인식되었을 때 추가로 점등한 보안등조명부의 LED모듈을 소등 또는 점차 소등할 수 있다.

상기 보안등조명부는 상하회동이 가능하고 탈착이 가능한 연결부를 포함하고 LED를 포함하고 독립된 조명장치인 LED모듈을 적어도 하나 이상 포함한다. 탈착이 가능한 연결부는 LED모듈의 한 사이드 또는 양사이드에 존재할 수 있으며 이로 인해 LED모듈의 확장과 축소가 가능하다. 한편 스마트 보안등 간 또는 서버와의 통신을 위한 네트워크는 LoRa, LTE등의 이용하여 주변 보안등, 메인컨트롤센터, 보행자와 통신할 수 있다. 카메라는 보안등에 설치 또는 상기 네트워크를 통해서 받는 이미지정보로 대체할 수 있다.

본 발명의 실시예에 따르면, 인공지능을 이용하여 낮은 조도에서도 보행자 검출률을 향상시키기 위한 영상처리 방안을 통하여 보행자를 검출하여 능동적으로 보안등의 밝기를 제어함으로서 안전한 보행환경 제공과 범죄예방효과를 극대화하고, 나아가 에너지 사용 효율을 제고할 수 있다.

또한 본 발명 Multi-CNN을　이용한　보행자　검출　방법에 따르면, 보안등의 밝기 변화에 따라 보행자 인식률이 달라지는 문제점을 개선할 수 있고, 검출된 보행자의 이동 방향에 따라 보안등 조명을 제어함으로서 보다 안전한 보행환경을 제공할 수 있다.

도 1은 본 발명의 실시예에 따른 스마트 보안등의 사시도이다
도 2는 본 발명의 실시예에 따른 보안등 조명부의 사시도이다.
도 3은 신경망네트워크의 구조를 설명하기 위한 도면이다.
도 4는 컨볼루션신경망의 구조를 설명하기 위한 도면이다.
도 5는 Multi-CNN을 이용한 보행자 검출방법의 시스템블럭도이다.
도 6는 Multi-CNN을 이용한 보행자 검출방법의 흐름도이다.
도 7는 영상밝기개선부를 통과한 이미지의 변화를 설명하기 위한 도면이다.
도 8는 보행자의 진행에 따른 본 발명의 스마트보안등의 점멸 예시1을 설명하기 위한 도면이다.
도 9는 보행자의 진행에 따른 본 발명의 스마트보안등의 점멸 예시2를 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조 부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.

상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 스마트 보안등의 사시도이다. 이를 참고하여, 보안등은 높이 위치한 조명이 노면 또는 기타시설, 보행자의 가시성을 확보하는 기능을 하기 위해 형태적으로 다음과 구성되는 것이 일반적이다. 하단부가 지상에 고정되고 조명의 높이를 생성하기 위한 지주(200), 상기 보안등 지주 또는 보안등조명부(100)에 위치하며 외부와 통신가능한 네트워크(300), 상기 보안등의 지주, 상기 보안등조명부(100) 또는 외부에 위치하여, 보안등 설치 구역의 영상정보를 수집하는 카메라(400), 보안등조명부(100), 제어부(500)를 포함하여 구성된다.

도 2는 본 발명의 실시예에 따른 스마트 보안등 보안등조명부(100)의 사시도이다. 도 2를 참고하여, 본 보안등의 상단에 위치하는 보안등조명부(100)는 각 모듈의 형태로 구성되어 각각 각도조절이 가능한 연결부를 포함한다. 더 상세하게는 보안등조명부(100)은 LED모듈1(110), LED모듈2(120), LED모듈3(130)을 포함한다. 상기 보안등조명부(100)를 구성하는 각 LED모듈은 독립된 조명기구일 수 있다. 상기 보안등조명부(100)를 구성하는 각 LED모듈은 각각의 각도가 조절되게 설계되어 있다, 이는 보안등이 설치되는 다양한 지형에 맞춰 조명이 비춰주는 각도를 조절하고자 함이 목적이다. 본 발명은 상하이동가능한 힌지를 예를 들어 서술하였으나, LED모듈에 좌우로 이동가능한 연결부를 추가하여 적용하는 것 역시 생각할 수 있다. 상기와 같이 구성함으로써 보안등이 조명을 비추는 구역을 나눌 수 있고 보안등이 비추는 범위가 달라질 수 있다. 이는 보안등이 확보하는 가시거리가 달라질 수 있음을 의미하는 것이다. 보안등의 설치환경은 다음 보안등까지의 거리, 설치 지역의 장애물, 설치지역의 지형에 따라 다양하게 변화된다. 조명을 비추는 범위를 조절가능한 특징은 다양한 설치환경에 따라 조명이 비춰야 하는 각도, 범위가 변하는 보안등의 현장 적응력을 대폭 향상시킨다.

실제 구현한 도2를 참조하면 LED모듈2(120)을 중심으로 양쪽에 위치한 LED모듈1(110), LED모듈3(120)는 상향 하향으로 조절 가능하게 상하회동 운동이 가능하게 구성할수 있다. 이는 중심대 즉 LED모듈2(120)를 중심으로 상하회동 하게 되는데 이를 위해 LED모듈2(120)의 양쪽에 삽입홈을 포함한 브라켓의 형태가 존재하고 LED모듈2(120)의 브라켓에 체결가능한 고정부가 LED모듈1(110), LED모듈 3(110)의 한쪽면에 구성된다. 실시예에서는 상기 구술한 힌지의 형태로 상하회동 운동이 가능하게 연결부를 구현하였으나 중심물을 축으로 삼아 상하각도를 조절하는 확장물을 연결하는 연결부는 당업자간 다양한 재질과 형태로 구현 가능할 것이다.

또한 본 발명의 보안등조명부(100)는 확장할 수 있다. 상기 서술한 보안등조명부(100)의 연결부는 확장될 수 있는데 LED모듈1(110), LED모듈3(110)의 한면은 고정부를 한 면에는 LED모듈2(130)의 형태와 같은 삽입홈을 포함한 브라켓의 형태를 구성한다. 상세하게는, LED모듈2(120)의 방향의 반대면에 LED모듈2(120)에 구성한 삽입홈을 포함한 브라켓을 구성하면 LED모듈1(110), LED모듈 3(110)에 다른 LED모듈을 체결할 수 있게 된다. 이때, LED모듈1(110), LED모듈3(110)은 한쪽면엔 체결부가 한쪽면에는 확장부가 존재하게 되어 추가 모듈 장착으로 인해 보안등이 확보할 수 있는 가시범위가 확장된다. 이는 보안등이 조명을 비춰야 할 범위가 기존 일반적인 범위보다 넓을 때 추가 보안등의 설치 없이도 해당 지역 또는 범위의 안전을 확보할 수 있어 효과적이다.

또한 본 발명의 보안등조명부(100)는 확장된 LED모듈을 탈착 가능하게 하여 일반적으로 모듈이 3개 연결된 형태에서 축소 역시 가능하다. 이는 중심에 존재하는 LED모듈2(120)을 중심으로 양옆의 LED모듈1(110), LED모듈3(130)을 모두 제거한형태 또는 이중 하나만 제거한 형태로도 구현될 수 있다.

이 역시 보안등이 비춰야 할 범위가 일반적이지 않게 협소하거나 다른 보안등과의 상호작용을 고려하였을 때 굳이 모든 조명을 켤 필요가 없을 때 에너지 소비를 줄이고 보안등의 수명을 늘이는데 상당한 효과를 보인다.

본 보안등의 확장과 축소가 가능한 것은 유지관리시에도 큰 이점으로 작용한다. 보안등 주변의 상황이 변화하여 보안등의 필요범위가 변화하였을 때 효과적일 뿐만 아니라 보안등조명부 내부 일부의 LED가 고장 또는 수명이 다하였을 때 일부만 교체하여 보안등의 수명을 연장할 수 있는 이점이 있다.

본 발명은 보행자를 인식하기위해 Multi-CNN특징을 이용한 보행자검출방법(S100)을 이용한다. 본 발명이 개시하는 보행자검출방법(S100)은 카메라영상입력부(S110), 보안등밝기제어부(S120), 영상밝기개선부(S130), 제1 CNN특징추출부(S140), 보안등조명부(S160), 제1 보행자추론부(S150), 제2 CNN특징추출부(S180), 제2보행자추론부(S190)로 구성된다. 해당발명의 실시를 위해서는 상기 보행자검출방법(S100)에 쓰인 CNN특징추출부와 보행자추론부의 인공신경망에 대해 간략히 기술한다.

딥러닝은 머신러닝의 한 종류로 이미지 인식, 음석인식 뿐만 아니라 자언어처리 등의 다양한 분야에 활용되고 있다. Deep Learning 영상인식 기술의 객체 검출 및 추척 알고리즘은 꾸준히 "W전하여 인간의 인지능력을 대체할 수준까지 발전하고 있으며 산업전반에 활용 및 응용되고 있다.

기존의 검출기는 특징정보를 추출하고 이을 기준으로 설정된 임계치 값에 따라 타겟을 검출하는 방식으로 사용되었으나, 이는 다양한 환경에 따른 특징정보 손실과 타겟의 변화에 적응력이 약해 오검출의 가능성이 높다.

이에 반해, 딥러닝 영상인식 기술은 다양한 환경에서 타겟의 검출확률을 높이는 방향으로 스스로 연산값을 조정하는 알고리즘으로 새로운 환경, 다양한 영상, 기후변화등에 적응하여 오검출의 가능성을 낮추게 된다.

도3은 신경망네트워크 구조의 일례를 도시한 것이다.

도3을 참고하면, 인공신경망은 퍼셉트론이 다층으로 쌓인 구조이며 퍼셉트론은 하기와 같이 피드포워드 형태의 구조를 가진다.

좀더 상세하게는 입력값 x1, x2을 설정된 가중치 w1,w2와 곱하여 계산된 값을 더하고 활성화함수를 적용하여 결과값y를 도출하는 구조이다. 인공신경망은 이런 퍼셉트론이 보다 발전된 형태로 퍼셉트론이 옆으로 확장되게 된다. 확장된 형태는 아래와 같이 구성되게 되는데, 인공신경망은 입력층의 값을 가져오고, 입력층과 가중치를 곱하고, 편향치(bias)를 더하여 활성화함수를 적용하여 출력값을 내보낸다.

인공신경망은 점차 학습을 하게 되는데, 이러한 인공신경망의 학습은 출력값의 결과가 미리 설정한 값과 일정 조건에서 일치 또는 유사하도록 가중치와 은닉층의 bias값을 점차 조정해가는 과정이라 할 수 있다.

딥러닝분야에서 영상인식 기술분야에서는 주로 CNN기반의 알고리즘을적용하여 특징을 학습 및 추출하게 된다.

CNN(Convolutional Neural Network)즉 컨볼루션신경망은 심층 신경망의 한 종류로, 다르게는 합성곱신경망이라 부른다. 하나 또는 여러개의 컨볼루션레이어(Convolution layer, 컨볼루션연산층) 와 통합레이어(pooling layer, 풀링층), 완전연결레이어(fully connected layer, 풀리커넥티드층) 등으로 구성된 이미지 분석에 특화된 신경망으로써, 고양이의 시각과정에서 뇌의 시각 피질의 동작구조를 참고하여 1979년 쿠니히코 후쿠시마가 발표한 네오코그니트론모델리 발전한 형태이다. 컨볼루션((Convolution) 연산은 하나의 함수와 또 다른 함수의 반전이동을 곱한 다음, 구간에 대해 적분하여 새로운 함수를 구하는 연산자로 해당식은 다음과 같다.

도4를 참고하여 컨볼루션신경망의 구조를 살펴보면, 크게 두개의 층으로 이루어지는데 앞쪽의 컨볼루션연산층과 뒤쪽의 풀리커넥티드층으로 구성된다. 컨볼루션연산층의 구조는 입력된 이미지를 하나의 데이터가 아닌, 여러 개로 분할하여 nxn크기의 필터를 통해 컨볼루션 연산하여 피쳐드맵을 형성하는 컨볼루션연산층, 컨볼루션연산층에서 생성된 피처드맵을 사이즈 다운하는 풀링층으로 구성된다. 컨볼루션연산층에서 생성된 피처드맵은 필터의 개수만큼 형성되게 되게되고 이후 풀링층은 연산의 간소화를 위해 피쳐드맵의 특징을 유지하면서 데이타의 사이즈를 축소한다. 풀링된 피처드맵을 다시 컨볼루션연산하고 다시 풀링하는 과정을 되풀이하면서 해당 이미지에서 의미있는 특징만을 추출하여 말단의 풀리커넥티드 레이어로 보내면 해당 층에서 정보를 가지고 최종 판단을 하는 심층신경망으로 연결된다. 뒤쪽에 있는 풀리커넥티드층은 앞쪽의 연산결과를 받아서 분류 또는 추정하는 작업을 수행하는 심층신경망의 구조를 가지고 있다.

일반신경망의 경우, 이미지 전체를 하나의 데이터로 입력하기 때문에 이미지의 특성을 찾지 못하고 이미지의 위치가 약간 변경되거나 왜곡된 경우 올바른 성능을 기대할 수 없음에 반해 컨볼루션신경망은 이미지를 하나의 데이터가 아닌 여러 개로 분할하여 처리하는 특성으로 인해 이미지가 왜곡되더라도 이미지의 부분적 특성을 추출하므로 해당 이미지의 특징 선별이 용이하고 정확하다는 것에 이점이 있다.

즉 컨볼루션신경망의 경우 이미지데이터에서 원하는 특징을 추출하는 목적을 가진 신경망이며 이후 심층신경망의 형태가 존재하여 컨볼루션신경망에서 추출된 특징을 가지고 학습하며 판단하여 최종 결론을 내리는 형태로 구성된다.

해당 신경망에서 효율적으로 특징을 추출하기 위해서는 컨볼루션연산을 하는 연산필터 값의 설정이 중요하다는 것을 알 수 있다. 컨볼루션신경망은 주로 풀리커넥티드층의 결과에 따라 연산 결과의 정확도를 높이기 위해 해당 필터값과 필터뒤에 편향수정값인 bias값을 수정하게 되는데 이를 컨볼루션신경망이 학습한다 표현한다.

보안등 분야에도 컨볼루션신경망을 적용하여 보행자를 인식하게 되면 보행자에 맞춘 여러 편의를 제공할 수 있게 되고 이에 따른 보안등의 기능향상을 기대하였으나 실제 적용시 컨볼루션신경망에서 보행자 특징을 제대로 추출하지 못하는 문제가 발견되었다. 이는 학습하는 딥러닝 알고리즘의 특성으로 인한 것으로 학습을 하기 위해서는 알 맞은 양질의 입력정보가 필요하다는 전제에서 기인한다.

이는 보안등설치 지역의 특성상 조도가 어둡거나 주변이 어두워 카메라가 입력되는 이미지가 임계치 이상으로 어두운 경우 해당 이미지에서 특징을 추출하지 못하는 문제로 인한 것으로 카메라에 어두운 영상 또는 이미지를 밝게 개선할 필요성을 인식하였다.

또한, 상기와 같이 영상 또는 이미지를 밝게 개선한 경우 컨볼루션신경망을 거쳐 보행자추론부를 거쳐 보행자가 인식되면 이로 인한 효과로 보안등의 조도가 변하게 된다. 이후 조도가 변한 이미지가 입력된 컨볼루션신경망은 기존의 어두운 이미지를 학습한 상태이므로, 입력되는 이미지의 밝기가 달라진데 대한 특징 추출력이 떨어져 실제 보행자를 인식하는데 있어 오류가 생기는 현상이 있었다.

상기와 같은 문제점을 해결하고자 본 발명은 두가지 경로의 서로다른컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을이용한 보행자검출방법(S100)을 개시한다. Multi-CNN을 이용한 보행자검출방법(S100)은 보행자가 없을 때 즉 조명이 어두운 경우의 CNN특징추출부와 추가조명이 점등되어 조명이 밝아진 경우의 CNN특징추출부를 분리하여 구성한다. 이를 제1 CNN특징추출부(S140), 제1 보행자추론부(S150), 제2 CNN특징추출부(S180), 제2 보행자추론부(S190)로 명칭하였으며, 도5에 Multi-CNN을이용한 보행자검출방법(S100)의 시스템블럭도을 도시하였다.

도6은 Multi-CNN을이용한 보행자검출방법(S100)의 흐름도이다.

도5와 도6을 참고하여 Multi-CNN을 이용한 보행자검출방법((S100))에 대해 서술하면, 적어도 하나의 카메라(400)로부터 영상을 획득하는 카메라영상입력부(S110); 카메라영상입력부(S110)가 수집한 이미지를 어디로 전달한 것인지 결정하는 보안등밝기제어부(S120); 보안등밝기제어부(S120)가 수집된 이미지가 어두워 후처리가 필요하다 판단되면 해당 판단에 의해 카메라 영상입력부(S110)또는 보안등 밝기 제어부(S120)로부터 이미지를 받아 어두운 이미지를 개선하는 영상 밝기개선부(S130); 상기 영상 밝기개선부(S130)로부터 개선된 영상을 입력 받아 신경망의 형태로 컨볼루션연산하고 풀링하는 제1CNN특징추출부(S140); 상기 제1CNN특징추출부(S140)에서 형성한 특징맵을 풀리커넥티드레이어에서 전달받아 결과를 분석하여 결론내는 제1보행자추론부(S140); 상기 보행자추론부의 추론결과를 보안등밝기제어부(S120) 가 참조한다. 또한 상기 제1보행자추론부(S140)의 추론결과를 받아 보안등밝기제어부(S120)에서 조명점멸을 판단하여 제어하는 보안등조명부(S160)를 포함한다. 보안등밝기 제어부(S120)가 카메라영상입력부(S110)로부터 수집된 이미지가 CNN연산하기 충분히 밝다고 판단하면 제2CNN특징추출부(S180)가 해당 이미지를 받아 신경망의 형태로 컨볼루션연산하고 풀링하여 또는 위 연산을 반복하여 보행자특징을 추출하게 된다. 제2보행자추론부(S190)는 상기 제2CNN특징추출부(S180)에서 형성한 특징맵을 풀리커넥티드레이어에서 전달받아 결과를 분석하여 추론한다. 상기 제2보행자추론부(S190)의 추론결과를 보안등 밝기제어부(S120)가 참조하여 보안등조명부(S160)를 제어하여 조명의 밝기 또는 방향을 제어할 수 있다.

카메라영상입력부(S110)는 카메라로부터 영상이미지를 획득한다. 해당 이미지는 직접 획득할 수도 있고 네트워크를 통해서 받을 수도 있으므로 이미지를 획득하는 경로는 다양할 수 있다.

상기 수집된 카메라 이미지는 보안등밝기제어부(S120)의 선택에 따라 영상 밝기개선부(S130)또는 제2 CNN 특징추출부(S180)로 입력된다. 보안등밝기제어부(S120)는 주로 제1 보행자추론부(S150)의 추론결과를 참작하게 되는데 이는 제1 보행자추론부(S150)의 추론결과에 따라 보안등의 조도가 바뀌어 CNN연산의 학습에 필요한 입력파일의 밝기가 바뀌기 때문이다. 본 발명에서는 제1 보행자추론부(S150)의 추론결과, 제2 보행자추론부(S190)의 추론결과만 참고하였으나 조도의 측정값, 기타 보안등을 설치한 곳의 필요에 따라 참고할 수 있는 변수는 다양하게 확장이 가능하다.

제1 보행자추론부(S150) 결과를 참고하여 보안등밝기제어부(S120)의 선택에 따라 입력된 영상이 영상 밝기개선부(S130)를 거칠 것인지 아니면 제2CNN특징추출부(S180)로 갈 것 인지 결정된다.

도 6의 Multi-CNN을이용한 보행자 검출방법의 시스템흐름도를 참고하여, 입력된 어두운 영상을 영상밝기개선부(S130)로 전달하는 제1단계; 더 자세히 서술하면, 제1 보행자추론부(S150)의 결과에 보행자가 인식되지 않았으면 해당 카메라 입력의 이미지가 어두운 것이므로 영상밝기개선부(S130)를 거쳐 이미지의 밝기를 개선한다. 영상밝기개선부(S130)는 다음 제1 CNN특징추출부(S140)의 연산결과의 정확도를 높이기 위한 것으로, 일례로 다음과 같이 구성할 수 있다.

도 7의 영상밝기개선부(S130)를 통과한 이미지의 변화 일례를 참고하면, 본 발명은 해당 카메라 입력의 이미지가 어두운 경우 CNN연산시 특징이 추출되지 않는 문제점을 해결하기 위해 영상밝기개선부(S130)를 구비함을 특징으로 한다. 상기 영상밝기개선부(S130)는 제1보행자추론부(S150)의 결과 또는 보안등밝기제어부(S120)의 제어에 따라 구동여부가 결정되며, 어두운 영상을 밝은 영상으로 변환하기 위하여 다음과 같이 구성할 수 있다. 먼저 입력된 이미지의 노이즈를 제거하기 위하여 이미지 스무싱(image smoothing)처리를 한다. 상기 image smoothing기법의 일실시예로 5x5 로패스 필터(Low Pass Filter)를 사용할 수 있다. 2차원 영상에서 가로와 세로에 대해 5x5 로패스 필터를 적용한다. 대표적인 로패스필터의 형태는 아래와 같다.

로패스 필터를 거쳐 노이즈가 제거된 이미지는 그레이 스케일 밸런스(gray-scale Balance)기법을 사용하여 밝기 부분을 일정하게 분포시킨다. 입력영상에서 최소, 최대 픽셀값을 계산하여 아래 식f(x)에 대입하면 변형된 영상 픽셀값을 얻을 수 있다. 하기 식에서 f(x): 결과 값; x : 이미지 입력값; max : 이미지 최대값; min : 이미지 최소값; Vmax, Vmin : 밝기 분포 변형 구간 값이다.

f(x) = (x - Vmin) * (max - min) / (Vmax - Vmin) + min

상기 영상밝기개선부(S130)를 거친 이미지는 도7과 같이 이미지의 밝기가 개선된다.

도 6의 Multi-CNN을이용한 보행자 검출방법의 흐름도를 참고하면, 밝기가 개선된 영상을 제1 CNN특징추출부(S140)로 전달하는 제2단계에서 밝기가 개선된 이미지는 제1 CNN특징추출부(S140)에 입력된다. 제1 CNN특징추출부(S140)는 Convolution계산으로 밝아진 이미지에서 객체의 특징을 추출하여 피처드맵을 작성하고 해당 피처드맵을 가공 즉 풀링하여 사후판단 또는 추론을 위한 풀러커넥티드레이어에 도달시킨다.

좀 더 상세하게는, 제1 CNN특징추출부(S140)는 밝기가 개선된 이미지를 받아 보행자특징을 추출한다. 제1 CNN특징추출부(S140)는 밝기가 개선된 파일을 받아 상기 서술한 nxn필터를 가지고 일정한 간격으로 이동하면서 일종의 마스크연산인 컨볼루션연산을 한다. 해당 연산의 결과 다수의 피처드맵이 작성되고 해당 피처드맵을 다시 풀링한다. 풀링은 다수의 피처드맵으로 인한 연산부하를 줄이기 위한 것으로 최대,평균,확률,풀링등을 수행할 수 있다. 풀링하면서 피처드맵은 유의미한 특징을 유지하면서 피처드맵의 크기가 줄어들게 된다. 풀링이 끝난 자료를 다시 필터를 가지고 컨볼루션 연산하며 풀리커넥티드 레이어로 갈때까지 해당 과정을 반복한다. 상기 과정이 끝나면 입력된 이미지는 보행자와 관련한 특징만이 추출되어 최종 피처드맵을 생성한다. 제1CNN특징추출부가 생성한 최종 특징맵은 풀리커넥티드 레이어에 도달하여 제1보행자추론부(S150)에 입력된다.

도 6의 Multi-CNN을이용한 보행자 검출방법의 흐름도를 참고하면, 형성한 특징맵을 제1보행자추론부로 전달하는 제3단계에서 제1보행자추론부(S150)는 제1CNN특징추출부(S140)에서 작성된 최종피처드맵을 받아 추론하여 보행자가 나타났는지 아닌지를 판단한다.

특징맵을 분석하여 보행자의 출현여부를 검출하는 제4단계는 좀더 상세하게 살펴보면 제1보행자추론부(S150)역시 심층심경망의 형태로 구성되어 있는데 제1CNN특징추출부(S140)의 피처드맵 값을 풀리커넥티드 레이어에서 받아 보행자가 나타났는지 최종적인 판단 또는 분류를 한다. 제1보행자추론부(S150) 역시 심층신경망의 형태이며 해당연산에도 추론값을 정확하게 하기위해 입력된 이미지로부터 가중치와 활성화함수의 값을 변화시키는 학습이 가능한 형태로 구성된다.

이때 상기 과정이 반복되면서 제1CNN특징추출부(S140)는 제1보행자추론부(S150)의 결과에 따라 제1CNN특징추출부(S140)의 컨볼루션연산의 필터와 편향을 조정하면서 점점 제1보행자추론부(S150)의 정확도를 높이는 과정이 진행된다. 이를 컨볼루션신경망이 학습한다라고 표현하는데, 제1CNN특징추출부(S140)와 제1보행자추론부(S150)는 밝기가 개선된 이미지를 바탕으로 상기 과정이 진행되면서 컨볼루션연산의 필터와 편향값을 스스로 조절하게 된다.

따라서, 상기와같이 구성하면 보안등의 조도가 어두울때도 제1CNN특징추출부(S140)의 보행자 특징추출율이 높아지고 이로인해 제1보행자추론부(S150)의 정확도가 높아져 정확한 보행자 인식이 가능하며 이로 인해 보행자통행시 필요한 추가 보안등을 점등할 수 있게 된다.

보행자를 검출한 경우 보안등을 더 밝게 제어하는 제5단계에서 제1보행자추론부(S150)의 추론결과 보행자가 나타났다 판단되면 보행자의 편의를 위해 조도를 높이게 된다. 조도를 높이기 위한 수단은 추가적인 LED모듈의 점등, 즉 상기에서 서술한 보안등조명부(100)의 LED모듈1(110), LED모듈2(120), LED모듈3(130)의 추가점등이 될 수도 있고 기존에 점등중인 LED모듈을 더 밝게 제어하는 형태일 수 있다.

일정기준 밝은 영상을 제 2CNN 특징추출부로 전달하는 제6단계를 살펴보면, 제1보행자추론부(S150) 결과를 참고하여 보안등밝기제어부(S120)의 제어에 따라 조명이 밝아지면 일정기준 이상 밝아진 입력된 영상이 제2CNN특징추출부(S180)로 전달되고, 제2CNN특징추출부(S180)는 이러한 일정기준 이상 밝은 이미지를 받아 보행자특징을 추출한다. 제2CNN특징추출부(S180)는 제1CNN특징추출부와 유사하게 이미지에 대하여 상기 서술한 nxn필터를 가지고 일정한 간격으로 이동하면서 일종의 마스크연산인 컨볼루션연산을 한다. 이는 현재 전달받은 이미지 파일의 밝기가 보행자 특징 추출을 위해 컨볼루션연산을 하기에 충분함을 의미한다. 제2CNN특징추출부(S180)의 컨볼루션연산의 결과 다수의 피처드맵이 작성되고 해당 피처드맵을 다시 풀링한다. 풀링하면서 피처드맵은 유의미한 특징을 유지하면서 피처드맵의 크기가 줄어들게 된다. 풀링이 끝난 자료를 다시 필터를 가지고 컨볼루션 연산하며 풀리커넥티드 레이어로 갈때까지 해당 과정을 반복한다. 상기 과정이 끝나면 입력된 이미지는 보행자와 관련한 특징만이 추출되어 최종 피처드맵을 생성한다. 제2CNN특징추출부(S180)가 생성한 최종 특징맵은 풀리커넥티드 레이어에 도달하여 제2보행자추론부(S190)에 입력된다.

형성한 특징맵을 제2 보행자추론부(S190)로 전달하는 제7단계에서 제2보행자추론부(S190)는 제2CNN특징추출부(S180)에서 작성된 최종 피처드맵을 받아 추론하여 보행자가 나타났는지 아닌지를 판단한다.

제2보행자추론부(S190)가 보행자의 출현여부를 검출하는 제8단계에서 제2보행자추론부(S190)는 심층심경망의 형태로 구성되어 있는데 제2CNN특징추출부(S180)의 피처드맵 값을 풀러커넥티드 레이어에서 받아 보행자가 나타났는지 최종적인 판단 또는 분류를 한다. 제2보행자추론부(S190)는 심층신경망의 형태이며 추론값을 정확하게 하기 위해 입력된 이미지로부터 가중치와 활성화함수의 값을 변화시키는 학습이 가능한 형태로 구성된다.

이때 상기 과정이 반복되면서 제2CNN특징추출부(S180)는 제2보행자추론부(S190)의 결과에 따라 제2CNN특징추출부(S180)의 컨볼루션연산의 필터와 편향을 조정하면서 점점 보행자추론부의 정확도를 높이는 과정이 진행된다. 이를 컨볼루션신경망이 학습한다라고 표현하는데, 제2CNN특징추출부(S180)와 제2CNN특징추론부(S190)는 밝기가 보정되지 않은 이미지를 바탕으로 상기 과정이 진행되면서 컨볼루션연산의 필터와 편향값을 스스로 조절하게 된다.

따라서, 상기와같이 구성하면 보안등의 조도가 밝을 때에도 제2CNN특징추출부(S180)의 보행자특징추출율이 높아지고 이로 인해 제2보행자추론부(S190)의 정확도가 높아져 정확한 보행자 인식이 가능하고, 이로 인해 보행자가 더 이상 해당 조명의 점등이 필요하지 않을 때, 보안등을 차차 소등할 수 있게 된다.

보안등밝기제어부(S120)가 보행자의 보행방향에 따라 보안등조명부의 LED모듈들을 제어하는 제9단계에서 보안등밝기제어부(S120)는 제2보행자추론부(S190)의 추론결과 보행자가 지나가는 방향에 대하여 추가적인 조명을 점등하거나 지나갔다고 판단되면 에너지 절약을 위해 보안등의 점등상태를 최소화하게 된다. 보안등은 추가적인 보안등이 될 수도 있고 상기에서 서술한 보안등조명부(100)의 LED모듈1(110), LED모듈2(120), LED모듈3(130)이 될 수도 있다.

좀 더 상세하게는 본 발명의 스마트보안등은 보행자의 출현에 따라 보안등조명부의 LED모듈이 점등 및 디밍제어된다.

도8은 보행자의 진행에 따른 본 발명의 스마트보안등의 점멸 예시도1이다.

도9는 보행자의 진행에 따른 본 발명의 스마트보안등의 점멸 예시도2이다.

상기 보안등조명부(100)를 구성하는 각 모듈은 독립된 조명기구를 형성할 수 있으로 각각 독립된 보안등조명부(S160)를 구성되게 된다, 해당 보안등조명부(S160)는 보안등밝기제어부(S120)의 제어신호에 따라 또는 센서의 출력값에 따라 또는 미리 설정된 값에 따라 각각의 조명밝기를 조절하거나 점등 또는 소등한다. 각 모듈은 보행자검출방법(S100)에서의 보행자 검출 여부에 따라 조명을 점등, 소등, 또는 디밍제어하게 된다.

일반적으로는 중심모듈 즉 LED모듈2(120)가 보안등의 형태로 A조명 영역이 점등되어 있다가, 보행자인식이 되면 보행자가 검출된 쪽의 범위를 비출 수 있는 방향의 LED모듈이 점등된다. 도 8 보행자의 진행에 따른 본 발명의 스마트보안등의 점멸 예시1을 참고하여, 보행자의 이동에 따라 B영역의 조명이 점등된다. 보행자가 좀더 전진하게 되면 A영역의 조명이 점차 소등되고 보행자진행방향의 C영역의 조명이 점등된다.

도9 보행자의 진행에 따른 본 발명의 스마트보안등의 점멸 예시2를 참고하여 실 예를 살펴보면, 보안등을 설치하고 해당 보안등은 평상시 보행자가 자주 나타나는 방향의 LED모듈만 점등한다. 이때 점등된 모듈의 조도 설정은 보안등으로부터 일정범위 내의 보행자를 감지하기 위한 최소한의 조명만을 점등하여 불필요한 에너지 절약하고 보안등의 수명을 향상시킨다.

다양한 형태로 보행자인식이 되면 보행자인식이 된 곳과 가까운 쪽의 범위를 비추는 LED모듈을 추가로 점등한다. 이때 보행자가 느끼는 안정감이 상승하고 해당지역의 조도가 상승함으로써 가시성이 좋아져 범죄예방효과가 높아지는 보안등 본연의 기능이 상승된다. 보행자가 추가로 활성화된 조명모듈이 비추는 지역으로 진입시 진행방향의 다음조명을 추가로 점등한다. 이때 진행방향과 반대의 조명은 점차 소등된다.

상기 보행자 인식의 정보는 여러가지 형태로 얻을 수 있는데 가장 간단하게는 보안등자체내에서 판단하는 센싱의 형태, 보안등의 네트워크를 통해 받은 정보를 이용하는 형태가 대표적이다. 또는 더 발전하여 본 발명과같이 머신러닝의 일종인 딥러닝의 형태로 영상정보를 분석하여 판단하는 형태를 이용할 수 있다.

네트워크(400)를 이용한 경우는 네트워크(400)의 형태에 따라 근거리 네트워크를 사용하여 근처에 위치한 다른 보안등의 정보를 수집하거나 보행자의 핸드폰으로부터 정보를 받는 경우를 생각 할 수 있다. 장거리 네트워크를 이용한 경우는 해당 지역의 보행자 정보를 받아 통제하고 컨트롤 하는 컨트롤센터로부터 정보와 자료를 받는 경우일 수 있다. 이런 여러 방식으로 습득된 보행자의 이동정보는 보안등이 보행자의 이동에 따라 맞춤으로 점등 및 소등하거나 디밍제어할 수 있다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 통상의 기술자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 보안등조명부 200: 보안등 지주
300: 보안등 네트워크 400: 보안등 카메라
500: 제어부
110: LED모듈1 120: LED모듈2
130: LED모듈3
S100: Multi-CNN을 이용한 보행자 검출방법
S110: 카메라영상입력부 S120: 보안등밝기제어부
S130: 영상밝기개선부 S140: 제1CNN특징추출부
S150: 제1보행자추론부 S160: 보안등 조명부
S180: 제2CNN특징추출부 S190: 제2보행자추론부

Claims (7)

1. 스마트 보안등에서 두가지 경로의 서로 다른 컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을 이용한 보행자 검출방법에 있어서,
   보안등밝기제어부는 하나 이상의 카메라를 포함하는 카메라영상입력부로부터 입력되는 영상의 밝기가 일정기준 이하로 어두운 것으로 판단되면 입력된 영상을 영상밝기개선부로 전달하는 제1단계;
   영상밝기개선부는 전달받은 영상의 밝기를 개선하는 연산을 수행하고 밝기가 개선된 영상을 제1CNN특징추출부로 전달하는 제2단계;
   보안등의 조도가 어두울때도 제1CNN특징추출부의 보행자 특징추출율이 높아지고 이로인해 제1보행자추론부의 정확도가 높아져 정확한 보행자 인식이 가능하도록 제1CNN특징추출부는 영상밝기개선부로부터 밝기가 개선된 영상을 입력 받아 신경망의 형태로 컨볼루션 연산하고 풀링하여 특징맵을 형성하고 형성한 특징맵을 제1보행자추론부로 전달하는 제3단계;
   제1보행자추론부는 제1CNN특징추출부에서 형성한 특징맵을 분석하여 보안등의 조도가 어두울 때 보행자의 출현여부를 추론하여 검출하는 제4단계;
   보안등밝기제어부는 제1보행자추론부가 보행자를 검출한 경우 보안등의 밝기를 더 밝게 제어하는 제5단계;
   보안등밝기제어부는 하나 이상의 카메라를 포함하는 카메라영상입력부로부터 입력되는 영상의 밝기가 일정기준 이상 밝은 것으로 판단되면 상기 영상을 제2CNN특징추출부로 전달하는 제6단계;
   보안등의 조도가 밝을 때에도 제2CNN특징추출부의 보행자특징추출율이 높아지고 이로 인해 제2보행자추론부의 정확도가 높아져 정확한 보행자 인식이 가능하도록 제2CNN특징추출부는 전달받은 영상을 신경망의 형태로 컨볼루션 연산하고 풀링하여 특징맵을 형성하고 형성한 특징맵을 제2보행자추론부로 전달하는 제7단계;
   제2보행자추론부는 제2CNN특징추출부에서 형성한 특징맵을 분석하여 보안등의 조도가 밝을 때 보행자의 출현여부를 추론하여 검출하는 제8단계;를 포함하고,
   보안등밝기제어부는 제2보행자추론부가 보행자가 아니라고 추론한 경우 다시 제1단계부터 동작을 수행하는 것을 특징으로 하는 스마트 보안등에서 두가지 경로의 서로 다른 컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을 이용한 보행자 검출방법.
   
2. 제1항에 있어서,
   상기 스마트 보안등은 조명을 비추기 위해 복수개의 LED모듈을 포함하는 보안등조명부를 구비하고,
   보안등밝기제어부는 제2보행자추론부가 보행자라고 추론한 경우 보행방향에 따라 보안등조명부의 LED모듈들을 제어하는 제9단계를 더 포함하는 것을 특징으로 하는 스마트 보안등에서 두가지 경로의 서로 다른 컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을 이용한 보행자 검출방법.
   
3. 제2항에 있어서,
   상기 보안등밝기제어부는 보행자가 검출되지 않으면 상기 보안등조명부의 복수개의 LED모듈 중 일부 LED모듈만 점등하고,
   보행자가 검출되면 보안등조명부에서 점등 중인 LED모듈을 더 밝게 제어하거나 다른 LED모듈을 추가로 점등하여 보행자의 이동경로에 따라 조명영역을 확대하며,
   검출된 보행자가 사라지면 추가로 제어한 LED모듈을 소등하거나 어둡게 디밍제어하는 것을 특징으로 하는 스마트 보안등에서 두가지 경로의 서로 다른 컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을 이용한 보행자 검출방법.
   
4. 제 1항에 있어서,
   상기 제2단계에서 영상밝기개선부는 영상의 밝기를 개선하기 위해 전달받은 영상을 이미지 스무싱(image smoothing) 처리한 후, 영상 밝기 분포값을 일정하게 분포시키기 위한 연산을 수행하는 것을 특징으로 하는 스마트 보안등에서 두가지 경로의 서로 다른 컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을 이용한 보행자 검출방법.
   
5. 제 4항에 있어서,
   상기 영상밝기개선부의 이미지 스무싱(image smoothing) 처리는 로패스필터를 사용하여 처리하고, 영상 밝기 분포값을 일정하게 분포시키기 위한 연산은 그레이스케일 밸런스(Gray-scale Balance)기법을 사용하여 연산하는 것을 특징으로 하는 스마트 보안등에서 두가지 경로의 서로 다른 컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을 이용한 보행자 검출방법.
   
6. 두가지 경로의 서로 다른 컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을 이용한 보행자 검출방법을 이용하는 스마트 보안등에 있어서,
   상기 스마트 보안등은,
   하나 이상의 카메라를 구비하고 스마트 보안등 주위를 촬영하여 보안등밝기제어부로 영상을 전달하는 카메라영상전달부;와
   스마트 보안등 주위로 조명을 비추기 위한 복수개의 LED모듈을 구비하는 보안등조명부;와
   카메라영상전달부로부터 전달받은 영상으로부터 보행자를 검출하고 보행자 검출 여부에 따라 보안등조명부의 LED 모듈들을 제어하는 보안등 밝기제어부를 포함하되,
   보행자의 검출은 제1항에 기재된 스마트 보안등에서 두가지 경로의 서로 다른 컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을 이용한 보행자 검출방법에 따라 검출하는 것을 특징으로 하는,
   두가지 경로의 서로 다른 컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을 이용한 보행자 검출방법을 이용하는 스마트 보안등.
   
7. 제 6항에 있어서,
   상기 보안등조명부의 복수개의 LED모듈은 각각의 조명이 비추는 범위가 상이하고,
   보안등밝기제어부는 제2보행자추론부가 보행자라고 추론한 경우 보행방향에 따라 보안등조명부의 LED모듈들을 제어하는 것을 특징으로 하는,
   두가지 경로의 서로 다른 컨볼루션신경망을 이용하여 보행자를 검출하는 Multi-CNN을 이용한 보행자 검출방법을 이용하는 스마트 보안등.
   

Images