KR102604710B1 - 엣지 ai 기반의 건물 화재 안전 솔루션을 제공하는 방법 및 전자 장치 - Google Patents

Abstract

본 발명은 객체 식별 기술에 관한 것이다.
본 발명의 일 실시예는 인공지능 기반의 건물 화재 안전 솔루션 시스템을 예로 들면, 전자 장치에 있어서, 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 건물의 출입구에 설치되는 카메라로부터 촬영이미지를 수신하고, 상기 촬영이미지에서 사람을 식별하여, 상기 건물에 출입하는 사람의 수를 카운팅하고, 화재 등과 같은 비상상황이 발생한 경우, 상기 건물에 남아 있는 인원수를 체크할 수 있다.

Description

엣지 AI 기반의 건물 화재 안전 솔루션을 제공하는 방법 및 전자 장치 {Methods and electronic devices for providing edge AI-based building fire safety solutions}

본 발명은 객체 식별 기술에 관한 것이다.

본 발명의 일 실시예는 엣지 AI 기반의 건물 화재 안전 솔루션을 제공하는 방법 및 전자 장치에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

연안에서는 다양한 원인으로 사고가 발생할 가능성이 높다. 이에, 카메라 등을 통하여 사람이 현재 위험한 상태인지 즉각적으로 판단할 수 있는 시스템이 필요하다.

이에 본 발명에서는 인공지능을 통하여 사람을 식별하되, 사람의 형상인 물건이 아닌 움직이는 실제 사람인지를 식별할 수 있는 기술을 제안하고자 한다.

한국등록특허 제10-1199418호 (2012.11.02.)

본 발명의 일 실시예는 엣지 AI 기술 기반의 객체 식별 및 사전 경보를 제공하는 장치를 제공하는 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 전자 장치는 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 대상연안에 설치된 카메라로부터 촬영이미지를 수신하고, 인공지능모듈을 통하여 상기 촬영이미지에서 사람을 식별하고, 상기 사람이 식별된 위치 및 시간에 기반하는 위험도에 기반하여, 상기 사람이 위험한 상황인지 여부를 판단하고, 상기 사람이 위험한 상황이라고 판단되는 경우, 기설치된 디스플레이에 상기 카메라의 촬영이미지에 상기 사람의 위치를 시각적으로 표시하여 출력하고, 상기 전자 장치를 운영하는 운영자가 사용하는 운영자단말로 사람이 위험한 상황에 있음을 나타내는 정보를 송신할 수 있다.

이 때, 상기 프로세서는, 날씨정보를 기반으로 안개 등 시야확보가 어려운 날씨이거나, 야간에는 상기 카메라가 열화상카메라로 동작하도록 제어할 수 있다.

이 때, 상기 프로세서는, 상기 촬영이미지를 기설정된 제1 블록크기의 복수개의 블록으로 구분하고, 인공지능모듈을 통하여 상기 복수개의 블록을 대상으로 순차적으로 객체검출프로세스를 진행하여, 상기 사람을 식별할 수 있다.

이 때, 상기 프로세서는, 식별하고자 하는 객체의 제1 크기를 수신하고, 상기 제1 크기와 상기 카메라의 앵글을 기반으로 상기 촬영이미지에서 상기 객체가 존재하는 경우의 제2 크기를 도출하고, 상기 제2 크기를 포함하는 최소한의 정사각형태의 제2 블록크기를 도출하고, 상기 카메라의 앵글에 기반하여, 상기 앵글에서 기설정된 위험객체 및 위험지대가 차지하는 비율을 도출하고, 상기 제2 블록크기 및 상기 비율을 기반으로 상기 제1 블록크기를 설정할 수 있다.

이 때, 상기 프로세서는, 식별된 사람이 위치한 제1 블록의 위험도가 기설정된 임계위험도를 초과하는 경우, 상기 사람이 위험한 상황인 것으로 판단할 수 있다.

이 때, 상기 제1 블록의 위험도는, 상기 제1 블록 내부에 포함된 기설정된 위험객체 및 위험지대와 상기 대상연안의 날씨, 상기 사람이 식별된 시간대, 상기 제1 블록에서의 기설정된 시간동안의 제1 사람식별횟수를 기반으로 산출될 수 있다.

이 때, 상기 제1 블록의 위험도는, 아래 수학식에 의하여 산출되되,

RoR(Rate of Risk)는 상기 위험도를 의미하고, NoAPD(Number of Average Person Discrimination)는 상기 복수개의 블록 중 사람이 1번 이상 식별된 제2 블록에서 기설정된 제1 기간동안 식별된 사람수의 평균값을 의미하고, NoPD(Number of Person Discrimination)는 상기 제1 블록에서 기설정된 제1 기간동안 식별된 사람수를 의미하고, PoRO(Proportion of Risk Object)는 상기 제1 블록에서 상기 위험객체 및 상기 위험지대가 차지하는 비율을 의미하고, FoT(Factor of Time)는 시간대별로 0 내지 5로 기할당된 시간위험계수 중 상기 사람이 식별된 시간대에 해당하는 시간위험계수를 의미하고, FoW(Factor of Weather)는 날씨별로 0 내지 5로 기할당된 날씨위험계수 중 상기 대상연안의 날씨에 해당하는 날씨위험계수를 의미할 수 있다.

이 때, 상기 객체검출프로세스는, 상기 블록에서 사람의 외형과 매칭되는 제1 사람객체를 추출하고, 상기 제1 사람객체가 포함되는 제3 블록을 생성하고, 상기 제3 블록의 중심을 기준으로 가상의 가로선을 생성하여 상단부와 하단부를 구분하고, 상기 상단부의 중심을 기준으로 가상의 세로선을 생성하고, 상기 상단부에서 상기 제1 사람객체의 가장 좌측점을 제1 포인트로 설정하고, 상기 제1 포인트와 상기 세로선이 수직하는 점을 상부기준포인트로 설정하고, 상기 제1 포인트 및 상기 상부기준포인트가 설정된 시점을 제1 시점으로 설정하고, 상기 제1 포인트와 상기 상부기준포인트를 연결하는 제1 기준선을 생성하고, 상기 제1 시점에서 기설정된 시간간격이 경과된 제2 시점에 상기 제1 포인트와 상기 상부기준포인트을 연결하는 제1 변화선을 생성하고, 상기 상부기준포인트를 기준으로 상기 제1 기준선과 상기 제1 변화선의 제1 각도를 도출하고, 상기 상단부에서 상기 제1 사람객체의 가장 우측점을 제2 포인트로 설정하고, 상기 제1 시점에 상기 제2 포인트와 상기 상부기준포인트를 연결하는 제2 기준선을 생성하고, 상기 제2 시점에 상기 제2 포인트와 상기 상부기준포인트를 연결하는 제2 변화선을 생성하고, 상기 상부기준포인트를 기준으로 상기 제2 기준선과 상기 제2 변화선의 제2 각도를 도출하고, 상기 제1 각도와 상기 제2 각도의 차이를 기반으로 상단변화량을 추출하고, 상기 하단부의 중심을 기준으로 가상의 세로선을 생성하고, 상기 하단부에서 상기 제1 사람객체의 가장 좌측점을 제3 포인트로 설정하고, 상기 제3 포인트와 상기 세로선이 수직하는 점을 하부기준포인트로 설정하고, 상기 제1 시점에 상기 제3 포인트와 상기 하부기준포인트를 연결하는 제3 기준선을 생성하고, 상기 제2 시점에 상기 제3 포인트와 상기 하부기준포인트을 연결하는 제3 변화선을 생성하고, 상기 하부기준포인트를 기준으로 상기 제3 기준선과 상기 제3 변화선의 제3 각도를 도출하고, 상기 하단부에서 상기 제1 사람객체의 가장 우측점을 제4 포인트로 설정하고, 상기 제1 시점에 상기 제4 포인트와 상기 하부기준포인트를 연결하는 제4 기준선을 생성하고, 상기 제2 시점에 상기 제4 포인트와 상기 하부기준포인트를 연결하는 제4 변화선을 생성하고, 상기 하부기준포인트를 기준으로 상기 제4 기준선과 상기 제4 변화선의 제4 각도를 도출하고, 상기 제3 각도와 상기 제4 각도의 차이를 기반으로 하단변화량을 추출하고, 상기 상단변화량이 기설정된 기준상단변화량과 기설정된 오차범위내에 포함되고, 상기 하단변화량이 기설정된 기준하단변화량과 상기 오차범위내에 포함되는 경우, 상기 제1 사람객체를 사람으로 식별할 수 있다.

이와 같이 본 발명의 일 실시예에 따르면, 엣지 AI 기술 기반의 객체 식별 및 사전 경보를 제공하는 장치를 제공할 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 본 발명의 일 실시예에 따른 연안 사람 식별 및 재난 사전 경보 장치의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따라 촬영이미지를 분할하는 예시도이다.
도 4는 본 발명의 일 실시예에 따라 제1 블록크기을 생성하는 예시도이다.
도 5는 본 발명의 일 실시예에 따라 날씨위험계수 및 시간위험계수의 예시표이다.
도 6은 본 발명의 일 실시예에 따라 사람을 식별하는 예시도이다.
도 7은 본 발명의 객체검출프로세스의 또 다른 일실시예의 개념도이다.
도 8은 본 발명의 객체검출프로세스의 또 다른 일실시예의 개념도이다.
도 9는 본 발명의 일 실시예에 따른 연안 사람 식별 및 재난 사전 경보 방법의 흐름도이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.

도 1은 본 발명의 일 실시예에 따른 연안 사람 식별 및 재난 사전 경보 장치(100)의 개념도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 연안 사람 식별 및 재난 사전 경보 장치(100)는 연안에서 카메라로 사람을 식별하고 사람이 위험한 상황인지 여부를 판단하고, 판단결과에 기반하여 인접한 디스플레이 및 본 전자 장치(100)를 운영하는 운영자의 운영자단말로 위험한 상황에 대한 경고를 제공할 수 있다.

한편, 연안 사람 식별 및 재난 사전 경보 장치(100)는 본 발명에서 '전자 장치(100)'로 호칭될 수도 있다.

이 때, 운영자단말은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등을 포함할 수 있다.

도 2는 본 발명의 일 실시예에 따른 전자 장치(100)의 블록도이다.

일 실시예에 따른 전자 장치(100)는 프로세서(110) 및 메모리(120)를 포함한다. 프로세서(110)는 전술한 적어도 하나의 방법을 수행할 수 있다. 메모리(120)는 상술한 방법과 관련된 정보를 저장하거나 상술한 방법이 구현된 프로그램을 저장할 수 있다. 메모리(120)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다. 메모리(120)는 '데이터베이스', '저장부' 등으로 호칭될 수 있다.

프로세서(110)는 프로그램을 실행하고, 전자 장치(100)를 제어할 수 있다. 프로세서(110)에 의하여 실행되는 프로그램의 코드는 메모리(120)에 저장될 수 있다. 장치(100)는 입출력 장치(미도시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.

이 때, 상기 프로세서(110)는, 대상연안에 설치된 카메라로부터 촬영이미지를 수신할 수 있다.

이 때, 상기 카메라는 일반적인 가시광선 카메라와 열화상 카메라가 병존하거나 두가지 기능을 함께 수행할 수 있는 카메라일 수 있다.

이 때, 상기 프로세서(110)는, 날씨정보를 기반으로 안개 등 시야확보가 어려운 날씨이거나, 야간에는 상기 카메라가 열화상카메라로 동작하도록 제어하여, 시야(가시광선)가 좋지 않은 상황에서도 사람을 식별할 수 있다.

또한, 상기 프로세서(110)는, 인공지능모듈을 통하여 상기 촬영이미지에서 사람을 식별하고, 상기 사람이 식별된 위치 및 시간에 기반하는 위험도에 기반하여, 상기 사람이 위험한 상황인지 여부를 판단할 수 있다.

이 때, 상기 인공지능모듈은 머신러닝의 한 분야인 딥러닝(Deep Learning) 기법을 이용하여, 사람이미지를 학습하고, 촬영이미지에서 사람을 식별할 수 있다.

또한, 인공지능모듈은 딥러닝을 통하여 상기 함수에서의 복수 개의 입력들의 가중치(weight)를 학습을 통하여 산출할 수 있다. 또한, 이러한 학습을 위하여 활용되는 인공지능망 모델로는 RNN(Recurrent Neural Network), DNN(Deep Neural Network) 및 DRNN(Dynamic Recurrent Neural Network) 등 다양한 모델들을 활용할 수 있을 것이다.

여기서 RNN은 현재의 데이터와 과거의 데이터를 동시에 고려하는 딥러닝 기법으로서, 순환 신경망(RNN)은 인공 신경망을 구성하는 유닛 사이의 연결이 방향성 사이클(directed cycle)을 구성하는 신경망을 나타낸다. 나아가, 순환 신경망(RNN)을 구성할 수 있는 구조에는 다양한 방식이 사용될 수 있는데, 예컨대, 완전순환망(Fully Recurrent Network), 홉필드망(Hopfield Network), 엘만망(Elman Network), ESN(Echo state network), LSTM(Long short term memory network), 양방향(Bi-directional) RNN, CTRNN(Continuous-time RNN), 계층적 RNN, 2차 RNN 등이 대표적인 예이다. 또한, 순환 신경망(RNN)을 학습시키기 위한 방법으로서, 경사 하강법, Hessian Free Optimization, Global Optimization Method 등의 방식이 사용될 수 있다.

다만, 상기 인공지능모듈은 실제 움직이는 사람과 사람모양의 물체(예를 들면, 입간판 등)와 구분하기 어려울 수 있다는 문제점이 있다. 이에 본 발명에서는 움직임을 통해 사람을 식별하는 구성을 제안하고자 한다. 이와 관려해서는 후술하도록 한다.

또한, 상기 프로세서(110)는, 상기 사람이 위험한 상황이라고 판단되는 경우, 기설치된 디스플레이에 상기 카메라의 촬영이미지에 상기 사람의 위치를 시각적으로 표시하여 출력할 수 있다.

이 때, 상기 디스플레이는 평상시에 해당 대상연안에서 제공할 수 있는 안내정보를 출력할 수 있다. 예를 들어, 지리적안내, 날씨정보 등을 출력할 수 있다.

또한, 상기 프로세서(110)는, 상기 전자 장치(100)를 운영하는 운영자가 사용하는 운영자단말로 사람이 위험한 상황에 있음을 나타내는 정보를 송신할 수 있다.

이를 통하여, 위험한 상황에 있는 사람을 구조하거나 해당 지역에서 나오도록 안내하도록 할 수 있다.

도 3은 본 발명의 일 실시예에 따라 촬영이미지를 분할하는 예시도이다.

인공지능모듈을 통한 정확한 사람 식별을 위하여, 상기 촬영이미지를 일정부분으로 분할하여 집중적으로 분석할 필요가 있다.

이를 위하여, 상기 프로세서(110)는, 상기 촬영이미지를 기설정된 제1 블록크기의 복수개의 블록으로 구분하고, 인공지능모듈을 통하여 상기 복수개의 블록을 대상으로 순차적으로 객체검출프로세스를 진행하여, 상기 사람을 식별할 수 있다. 이 때, 상기 객체검출프로세스는 후술하도록 한다.

또한, 후술하는 바와 같이, 상기 촬영이미지 내에서 위험객체(테트라포트)나 위험지대(갯벌)이 차지하는 비율을 기반으로 블록의 크기를 정할 수 있다. 이와 관련하여 후술하도록 한다.

도 4는 본 발명의 일 실시예에 따라 제1 블록크기를 생성하는 예시도이다.

상기 촬영이미지 내에서 위험객체나 위험지대가 차지하는 비율이 너무 넓은데, 식별하고자 하는 객체의 크기만으로 블록의 크기를 정하면, 중요하지 않은 부분의 검색이 이루어져 리소스의 낭비를 일으킬 우려가 있다.

이를 위하여, 제1 블록크기를 적절하게 조절할 필요가 있다.

이를 위하여, 상기 프로세서(110)는, 식별하고자 하는 객체의 제1 크기를 수신하고, 상기 제1 크기와 상기 카메라의 앵글을 기반으로 상기 촬영이미지에서 상기 객체가 존재하는 경우의 제2 크기를 도출하고, 상기 제2 크기를 포함하는 최소한의 정사각형태의 제2 블록크기를 도출하고, 상기 카메라의 앵글에 기반하여, 상기 앵글에서 기설정된 위험객체 및 위험지대가 차지하는 비율을 도출하고, 상기 제2 블록크기 및 상기 비율을 기반으로 상기 제1 블록크기를 설정할 수 있다.

이 때, 상기 제2 블록크기에 상기 비율의 역수를 곱한 값으로 상기 제1 블록크기를 설정할 수 있다.

또한, 상기 프로세서(110)는, 식별된 사람이 위치한 제1 블록의 위험도가 기설정된 임계위험도를 초과하는 경우, 상기 사람이 위험한 상황인 것으로 판단할 수 있다.

이 때, 제1 블록의 위험도는, 상기 제1 블록 내부에 포함된 기설정된 위험객체 및 위험지대와 상기 대상연안의 날씨, 상기 사람이 식별된 시간대, 상기 제1 블록에서의 기설정된 시간동안의 제1 사람식별횟수를 기반으로 산출될 수 있다.

보다 상세하게 살펴보면, 상기 제1 블록의 위험도는 아래 수학식 1에 의하여 산출될 수 있다.

[수학식 1]

이 때, RoR(Rate of Risk)는 상기 위험도를 의미하고, NoAPD(Number of Average Person Discrimination)는 상기 복수개의 블록 중 사람이 1번 이상 식별된 제2 블록에서 기설정된 제1 기간동안 식별된 사람수의 평균값을 의미하고, NoPD(Number of Person Discrimination)는 상기 제1 블록에서 기설정된 제1 기간동안 식별된 사람수를 의미하고, PoRO(Proportion of Risk Object)는 상기 제1 블록에서 상기 위험객체 및 상기 위험지대가 차지하는 비율을 의미하고, FoT(Factor of Time)는 시간대별로 0 내지 5로 기할당된 시간위험계수 중 상기 사람이 식별된 시간대에 해당하는 시간위험계수를 의미하고, FoW(Factor of Weather)는 날씨별로 0 내지 5로 기할당된 날씨위험계수 중 상기 대상연안의 날씨에 해당하는 날씨위험계수를 의미할 수 있다.

이 때, 상기 날씨위험계수 및 상기 시간위험계수는 도 5에 도시된 바와 같이 운영자에 의하여 임의로 설정될 수 있다.

도 6은 본 발명의 일 실시예에 따라 사람을 식별하는 예시도이다.

상술한 바와 같이 사람의 형상을 가진 단순한 물체가 식별된 경우 오경보가 발생할 우려가 있기 때문에, 실제 사람인지 확인하기 위하여 움직임을 기반으로 확인할 필요가 있다.

이를 위하여, 상술한 바와 같이 상기 프로세서(110)는 상기 객체검출프로세스를 통하여 사람을 식별하는데, 상기 객체검출프로세스는, 상기 블록에서 사람의 외형과 매칭되는 제1 사람객체를 추출하고, 상기 제1 사람객체가 포함되는 제3 블록을 생성하고, 상기 제3 블록의 중심을 기준으로 가상의 가로선을 생성하여 상단부와 하단부를 구분하고, 상기 상단부의 중심을 기준으로 가상의 세로선을 생성하고, 상기 상단부에서 상기 제1 사람객체의 가장 좌측점을 제1 포인트로 설정하고, 상기 제1 포인트와 상기 세로선이 수직하는 점을 상부기준포인트로 설정하고, 상기 제1 포인트 및 상기 상부기준포인트가 설정된 시점을 제1 시점으로 설정하고, 상기 제1 포인트와 상기 상부기준포인트를 연결하는 제1 기준선을 생성하고, 상기 제1 시점에서 기설정된 시간간격이 경과된 제2 시점에 상기 제1 포인트와 상기 상부기준포인트을 연결하는 제1 변화선을 생성하고, 상기 상부기준포인트를 기준으로 상기 제1 기준선과 상기 제1 변화선의 제1 각도를 도출하고, 상기 상단부에서 상기 제1 사람객체의 가장 우측점을 제2 포인트로 설정하고, 상기 제1 시점에 상기 제2 포인트와 상기 상부기준포인트를 연결하는 제2 기준선을 생성하고, 상기 제2 시점에 상기 제2 포인트와 상기 상부기준포인트를 연결하는 제2 변화선을 생성하고, 상기 상부기준포인트를 기준으로 상기 제2 기준선과 상기 제2 변화선의 제2 각도를 도출하고, 상기 제1 각도와 상기 제2 각도의 차이를 기반으로 상단변화량을 추출하고, 상기 하단부의 중심을 기준으로 가상의 세로선을 생성하고, 상기 하단부에서 상기 제1 사람객체의 가장 좌측점을 제3 포인트로 설정하고, 상기 제3 포인트와 상기 세로선이 수직하는 점을 하부기준포인트로 설정하고, 상기 제1 시점에 상기 제3 포인트와 상기 하부기준포인트를 연결하는 제3 기준선을 생성하고, 상기 제2 시점에 상기 제3 포인트와 상기 하부기준포인트을 연결하는 제3 변화선을 생성하고, 상기 하부기준포인트를 기준으로 상기 제3 기준선과 상기 제3 변화선의 제3 각도를 도출하고, 상기 하단부에서 상기 제1 사람객체의 가장 우측점을 제4 포인트로 설정하고, 상기 제1 시점에 상기 제4 포인트와 상기 하부기준포인트를 연결하는 제4 기준선을 생성하고, 상기 제2 시점에 상기 제4 포인트와 상기 하부기준포인트를 연결하는 제4 변화선을 생성하고, 상기 하부기준포인트를 기준으로 상기 제4 기준선과 상기 제4 변화선의 제4 각도를 도출하고, 상기 제3 각도와 상기 제4 각도의 차이를 기반으로 하단변화량을 추출하고, 상기 상단변화량이 기설정된 기준상단변화량과 기설정된 오차범위내에 포함되고, 상기 하단변화량이 기설정된 기준하단변화량과 상기 오차범위내에 포함되는 경우, 상기 제1 사람객체를 사람으로 식별할 수 있다.

이 때, 상기 기준상단변화량 및 상기 기준하단변화량은 사람이 움직였을때의 상단변화량 및 하단변화량의 평균값으로 설정될 수 있다.

또한, 상기 오차범위는 운영자에 의하여 임의로 설정될 수 있으며, 예를 들면 10%로 설정될 수도 있다.

이는, 단순한 움직임을 가지고 사람으로 판단하는 것이 아니라, 사람이 이동하거나 행동할 때, 좌우가 상호 연관성을 가지고 움직이는 것에 착안한 것으로써, 실제 사람의 움직임일때 사람으로 식별하여 정확성을 향상시킬 수 있다.

상술한 객체검출프로세스는, 건물내부에서 사람을 식별하여, 화재가 발생한 경우, 사람이 어느 위치에 있는지 확인하는 기술에도 적용할 수 있고, 산업지역에서 사람들이 안전장비를 착용하였는지 확인하는 기술에도 적용할 수 잇다.

도 7을 참조하여 보다 상세하게 살펴보면, 인공지능 기반의 건물 화재 안전 솔루션 시스템을 예로 들면, 전자 장치에 있어서, 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 건물의 출입구에 설치되는 카메라로부터 촬영이미지를 수신하고, 상기 촬영이미지에서 사람을 식별하여, 상기 건물에 출입하는 사람의 수를 카운팅하고, 화재 등과 같은 비상상황이 발생한 경우, 상기 건물에 남아 있는 인원수를 체크할 수 있다.

이 때, 상기 촬영이미지에서 사람을 식별하는 구성으로는, 상술한 객체식별프로세스를 통하여 사람을 식별할 수 있다.

또한, 인공지능모듈을 통하여, 상기 식별된 사람의 얼굴부분을 따로 분석하여, 신원확인이 가능하도록 할 수 있다.

이 때, 신원확인을 위한 DB는 해당 건물에 출입이 가능한 사람인지 여부를 정확하게 판단하기 위하여, 입사자, 퇴사자에 대한 정보가 지속적으로 업데이트 될 수 있다.

또한, 화재 등이 발생한 경우에도 본 시스템이 원활하게 동작하기 위하여, 시스템과 카메라를 연결하는 케이블 또는 무선연결을 위한 안테나 등은 난연 소재의 케이블 및 소재로 형성되도록 함이 바람직하다.

또한, 화재 등 비상상황에서 전력공급이 원활하지 않을 수 있으므로, 본 시스템은 UPS(Uninterruptible Power Supply system) 즉, 무정전 전원장치를 포함하여, 독립적인 전원으로 동작하도록 구성될 수도 있다.

또 다른 실시예로, 도 8을 참조하여 인공지능 기반의 산업 안전 관리 시스템을 예로 들면, 전자 장치에 있어서, 메모리(memory) 및 상기 메모리와 연결된 프로세서(processor)를 포함하고, 상기 프로세서는, 산업단지 내에 설치되는 카메라로부터 촬영이미지를 수신하고, 인공지능모듈을 통하여, 상기 촬영이미지에서 사람을 식별하고, 상기 카메라의 앵글을 기반으로 위험객체 및 위험지대가 차지하는 비율을 통해, 상기 카메라가 설치된 산업단지의 위험도를 산출하고, 상기 위험도가 높은 장소에 사람이 식별되는 경우, 운영자(관리자, 관리소장 등등)에게 경고메시지를 제공할 수 있다.

이 때, 상기 촬영이미지에서 사람을 식별하는 구성으로는, 상술한 객체검출프로세스를 통하여 사람을 식별할 수 있다.

또한, 인공지능모듈을 통하여 식별된 사람의 복장을 분석하여, 상기 카메라가 설치된 산업단지 내에서 필수적으로 착용해야 하는 복장 또는 장비(X반도, 하이바, 고글)가 착용되어 있는지를 확인할 수 있으며, 착용이 미비한 경우, 상기 운영자에게 경고메시지를 제공할 수도 있다.

도 9는 본 발명의 일 실시예에 따른 연안 사람 식별 및 재난 사전 경보 방법의 흐름도이다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 연안 사람 식별 및 재난 사전 경보 방법은 대상연안에 설치된 카메라로부터 촬영이미지를 수신할 수 있다(S101).

또한, 본 발명의 일 실시예에 따른 연안 사람 식별 및 재난 사전 경보 방법은 인공지능모듈을 통하여 상기 촬영이미지에서 사람을 식별할 수 있다(S103).

또한, 본 발명의 일 실시예에 따른 연안 사람 식별 및 재난 사전 경보 방법은 상기 사람이 식별된 위치 및 시간에 기반하는 위험도에 기반하여, 상기 사람이 위험한 상황인지 여부를 판단할 수 있다(S105).

또한, 본 발명의 일 실시예에 따른 연안 사람 식별 및 재난 사전 경보 방법은 상기 사람이 위험한 상황이라고 판단되는 경우, 기설치된 디스플레이에 상기 카메라의 촬영이미지에 상기 사람의 위치를 시각적으로 표시하여 출력하고, 상기 전자 장치(100)를 운영하는 운영자가 사용하는 운영자단말로 사람이 위험한 상황에 있음을 나타내는 정보를 송신할 수 있다(S107).

또한, 본 발명의 일 실시예에 따른 연안 사람 식별 및 재난 사전 경보 방법은 도 1 내지 도 8에 개시된 연안 사람 식별 및 재난 사전 경보 장치(100)와 동일하게 구성될 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (1)

1. 전자 장치에 있어서,
   메모리(memory); 및
   상기 메모리와 연결된 프로세서(processor); 를 포함하고,
   상기 프로세서는:
   건물의 출입구에 설치된 카메라로부터 촬영이미지를 수신하고,
   인공지능모듈을 통하여 상기 촬영이미지에서 사람을 식별하고,
   상기 사람이 식별된 위치 및 시간에 기반하는 위험도에 기반하여, 상기 사람이 위험한 상황인지 여부를 판단하고,
   상기 사람이 위험한 상황이라고 판단되는 경우, 기설치된 디스플레이에 상기 카메라의 촬영이미지에 상기 사람의 위치를 시각적으로 표시하여 출력하고,
   상기 전자 장치를 운영하는 운영자가 사용하는 운영자단말로 사람이 위험한 상황에 있음을 나타내는 정보를 송신하고,
   상기 프로세서는:
   날씨정보를 기반으로 안개 등 시야확보가 어려운 날씨이거나, 야간에는 상기 카메라가 열화상카메라로 동작하도록 제어하고,
   상기 촬영이미지를 기설정된 제1 블록크기의 복수개의 블록으로 구분하고,
   인공지능모듈을 통하여 상기 복수개의 블록을 대상으로 순차적으로 객체검출프로세스를 진행하여, 상기 사람을 식별하고,
   식별하고자 하는 객체의 제1 크기를 수신하고,
   상기 제1 크기와 상기 카메라의 앵글을 기반으로 상기 촬영이미지에서 상기 객체가 존재하는 경우의 제2 크기를 도출하고,
   상기 제2 크기를 포함하는 최소한의 정사각형태의 제2 블록크기를 도출하고,
   상기 카메라의 앵글에 기반하여, 상기 앵글에서 기설정된 위험객체 및 위험지대가 차지하는 비율을 도출하고,
   상기 제2 블록크기 및 상기 비율을 기반으로 상기 제1 블록크기를 설정하고,
   상기 프로세서는:
   식별된 사람이 위치한 제1 블록의 위험도가 기설정된 임계위험도를 초과하는 경우, 상기 사람이 위험한 상황인 것으로 판단하되,
   제1 블록의 위험도는, 상기 제1 블록 내부에 포함된 기설정된 위험객체 및 위험지대와 날씨, 상기 사람이 식별된 시간대, 상기 제1 블록에서의 기설정된 시간동안의 제1 사람식별횟수를 기반으로 산출되고,
   상기 제1 블록의 위험도는 아래 수학식에 의하여 산출되고,
   [수학식]
   
   RoR(Rate of Risk)는 상기 위험도를 의미하고, NoAPD(Number of Average Person Discrimination)는 상기 복수개의 블록 중 사람이 1번 이상 식별된 제2 블록에서 기설정된 제1 기간동안 식별된 사람수의 평균값을 의미하고, NoPD(Number of Person Discrimination)는 상기 제1 블록에서 기설정된 제1 기간동안 식별된 사람수를 의미하고, PoRO(Proportion of Risk Object)는 상기 제1 블록에서 상기 위험객체 및 상기 위험지대가 차지하는 비율을 의미하고, FoT(Factor of Time)는 시간대별로 0 내지 5로 기할당된 시간위험계수 중 상기 사람이 식별된 시간대에 해당하는 시간위험계수를 의미하고, FoW(Factor of Weather)는 날씨별로 0 내지 5로 기할당된 날씨위험계수 중 상기 날씨에 해당하는 날씨위험계수를 의미하고,
   상기 프로세서는, 상기 객체검출프로세스에 기반하여:
   상기 건물에 출입하는 사람의 수를 카운팅하고,
   화재를 포함하는 비상상황이 발생한 경우, 상기 건물에 남아 있는 인원수를 체크하되,
   상기 전자 장치와 상기 카메라는 난연 소재의 케이블을 통해 연결되거나, 상기 전자 장치에 설치된 난연 소재의 무선 안테나를 통해 연결되고,
   상기 전자 장치는 상기 비상상황에서 전력공급이 원활하기 위해, UPS(Uninterruptible Power Supply system)를 포함하는 무정전 전원장치에 기반하여 동작하는 것을 특징으로 하는, 전자 장치.