KR102492066B1

KR102492066B1 - 이동식 예방 경계 시스템

Info

Publication number: KR102492066B1
Application number: KR1020220092289A
Authority: KR
Inventors: 임성호; 임태용
Original assignee: 주식회사 디안스
Priority date: 2022-07-26
Filing date: 2022-07-26
Publication date: 2023-01-27

Abstract

본 발명은 이동식 예방 경계 시스템에 관한 것으로, 전기선과 통신선 유선 설비 없이 전력소비와 통신 데이터를 최소화 하여 어디든지 이동 설치가 쉽고, 경계인력이나 순찰인력, 감시자 없이 침입자를 자동으로 탐지하며, 침입자의 침입 사실을 사용자에게 실시간 다중으로 알리고, 영상 녹화와 함께, 조명 및 경고 방송 등을 통해 침입자를 침입 전에 자동 퇴치하는 것이 가능하여 위험 및 침입을 예방하는 이동식 예방 경계 시스템에 관한 것이다. 본 발명에 따른 이동식 예방 경계 시스템은, 무인 감시 장치, 상기 무인 감시 장치와 연결된 서버 및 상기 서버와 연결된 사용자단말기를 포함한다.

Description

이동식 예방 경계 시스템{MOBILE PREVENTIVE WARNING SYSTEM}

본 발명은 이동식 예방 경계 시스템에 관한 것으로, 더욱 상세하게는 전기선과 통신선 유선 설비 없이 전력소비와 통신 데이터를 최소화 하여 어디든지 이동 설치가 쉽고, 경계인력이나 순찰인력, 감시자 없이 침입자를 자동으로 탐지하며, 침입자의 침입 사실을 사용자에게 실시간 다중으로 알리고, 영상 녹화와 함께, 조명 및 경고 방송 등을 통해 침입자를 침입 전에 자동 퇴치하는 것이 가능하여 위험 및 침입을 예방하는 이동식 예방 경계 시스템에 관한 것이다.

국경선 침범, 중요시설 침입, 문화재 도난 및 방화, 교량 투신자살, 산불 방화 등 침입으로 인해 다양한 사건, 살인, 강도, 도난, 방화, 교량에서 투신자살 등이 발생 한다. 그러나 침입과 도난, 방화, 교량에서 투신자살을 막기 위해 열악한 옥외환경에서 사람이 경계와 순찰하고 CCTV로 감시해도 은밀 침입자를 100% 탐지하고 침입을 예방할 수 없었다. 또한 기존 CCTV 등 감시시스템은 전기 선로와 통신 선로 유선 설비를 해야 하고 감시인력 없이 운용할 수 없었다. 그리고 평시에는 주둔지에서 운용하다가 훈련 시나 전쟁 시 이동하여 운용할 수 없었다.

또한 종래의 센서나 인공지능 CCTV 등은 기상 상황이 좋지 않을 때 오탐지나 오경보가 많아 “양치기 소년”이 되고, “소 잃고 외양간 고치는” 사후조치만 가능하고 정확하게 침입자만 탐지가 불가능하여 미리 예방할 수 없었다.

그리고 기존에는 국경선, 중요시설 등에 감시시스템을 설치하려면 감시시스템이 전기 소비전력과 영상데이터 전송으로 인해 전기 선로와 통신 선로 없이는 불가능하고, 무선통신으로 사용 시에도 영상보안 문제로 사용이 제한되고 설치비용이 많이 들며 케이블 매설 등으로 인해 원거리 및 장소에 관계없이 설치는 불가능 하였다.

종래의 경계 시스템은 통신 케이블, 센서, 카메라, 녹화장치 등을 포함하고 있어 전력 소모가 많아 전기선 설치 없이 운용이 어려운데 산 정상, 강변, 해변가, 교량 등을 감시해야 하는 경우엔 전기선을 설치하기 어렵고 설치한다고 해도 설치비용이 많이 드는 문제점이 있었다.

또한, 종래의 경계 시스템은 365일 24시간 녹화하는 시스템을 기본으로 하는데 이 경우 전송해야 할 영상 데이터의 양이 많아 통신선이 반드시 설치돼야 한다. 그러나 산 정상, 강변, 해변가, 교량 등을 감시해야 하는 경우엔 통신선을 설치하기 어렵고 설치한다고 해도 설치비용이 많이 들며, 무선으로 설치 운용 시에는 영상보안 문제점이 있었다.

또한, 종래의 경계 시스템은 기 정해진 관제실 PC에서만 침입 사실을 알 수 있고 관제실 밖이나 이동 중이거나 여러 관계자에게 침입 사실 알림이 불가능한 문제점이 있었다.

또한, 종래의 경계 시스템은 오탐지 및 오경보가 많아 CCTV를 통해서 침입자를 확인해야 하므로 영상 전송이 필수적이고, 침입 시 자동으로 경고하여 침입을 예방할 수 없고, 침입영상을 보고 침입자의 침입으로부터 한참 뒤에야 현장에 출동할 수밖에 없어 침입자의 출현부터 퇴치까지의 기간이 매우 길 수밖에 없는 문제점이 있었다.

또한, 종래의 경계 시스템은 오탐지 및 오경보가 많아 CCTV 감시인력 없이도 자동으로 침입자에게 경고조명과 경고방송, 자동 사격, 자동 폭발 등을 통해서 침입자를 퇴치하여 침입을 예방할 수 없는 문제점이 있었다.

나아가, 종래의 경계 시스템은 전력소모가 매우 크므로 훈련시나 전쟁시에 휴대해서 이동 설치할 수 없는 단점이 있었다.

따라서 본 명세서에서는, 침입자 발생 전에는 대기 전력으로 운용하여 소비전력을 줄이며, 탐지 시에는 영상을 전송하지 않고 단순 녹화만 하여 통신량을 줄이며, 침입자 탐지 시에만 알림을 위한 신호를 WiFi, LoRa 등 무선 통신망을 통해 송신하여 데이터통신량과 소비전력을 줄이고 작은 비용으로 전기 선로와 통신 선로 유선 설비 없이 무선으로 작은 소비전력과 통신량으로 장소에 관계없이 어디든지 이동 설치하여 침입을 예방할 수 있는 이동식 예방 경계 시스템을 개시한다.

또한 본 명세서에서는 안개, 강풍, 강설, 강우 등 악천후 기상과 숲속에서도 오탐지와 오경보 없고 카메라 침입영상 없어도 침입자를 정확하고 신뢰성 있게 확신할 수 있는 융복합 탐지기술을 이용하여 침입자 발생 시 자동 경고조명, 자동 경고방송, 자동 사격, 자동 폭발 등을 통해 사람이 경계, 순찰 또는 CCTV 모니터링을 하지 않더라도 평시는 물론 훈련 시와 전쟁 시에도 이동 설치하여 위험 및 침입을 예방할 수 있는 이동식 예방 경계 시스템을 개시한다.

또한 본 명세서에서는 침입자 탐지 시 스마트폰 등 사용자단말기로 앱 푸쉬 알림, 문자메시지, 전화 등 다양한 방법을 통해 다중으로 여러 사람에게 알림 정보를 제공하여 침입 사실을 100% 알게 함으로서 위험 및 침입을 사전에 대비할 수 있는 이동식 예방 경계 시스템을 개시한다.

대한민국 등록특허공보 제10-2063458호 (2020년01월08일 공고)

상술한 문제점을 해결하기 위한 본 발명의 목적은 오탐지 및 오경보 없이 침입자만 탐지하고 침입 시에만 영상전송 없이 영상이 녹화되도록 하며, 종래 구비되던 카메라 영상데이터를 전송하지 않음으로써 데이터 전송량 및 전력소모를 줄이고, 태양전지 모듈 또는 이동용 배터리를 구비함으로써 전기선 및 통신선의 유선 설치 없이 운용이 가능한 이동식 예방 경계 시스템을 제공하는 것이다.

본 발명의 다른 목적은 침입자가 출현하면 무선 네트워크를 통해 스마트폰 등 사용자단말기로 침입자의 침입 사실을 여러 관계자에게 다중으로 실시간 전송할 수 있는 이동식 예방 경계 시스템을 제공하는 것이다.

본 발명의 다른 목적은 침입자가 출현하면 조명을 밝히고 경고 방송, 자동 사격, 폭발 등을 출력함으로써 침입 전에 미리 침입자 퇴치가 가능한 이동식 예방 경계 시스템을 제공하는 것이다.

상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 이동식 예방 경계 시스템은, 무인 감시 장치, 상기 무인 감시 장치와 연결된 서버 및 상기 서버와 연결된 사용자단말기를 포함하며, 상기 무인 감시 장치는, 물체를 감지하고 상기 물체가 침입자인지 여부를 판단하며, 상기 물체가 침입자로 판단되는 경우 침입 사실 정보를 생성하는 센서부, 상기 물체가 침입자로 판단되는 경우, 상기 물체에 빛을 조사하는 라이트부, 상기 물체가 침입자로 판단되는 경우, 상기 물체에 경고 방송을 출력하는 스피커부, 상기 물체가 포함된 영상을 촬영하는 카메라부, 상기 물체가 침입자로 판단되는 경우, 상기 물체에 빛을 조사하고 경고 방송을 출력하도록 상기 라이트부 및 상기 스피커부를 제어하는 장치제어부 및 상기 물체가 침입자로 판단되면, 상기 침입 사실 정보를 상기 서버로 송신하는 통신부를 포함한다.

상기 서버는, 상기 통신부로부터 침입 사실 정보를 수신하면, 상기 침입 사실 정보를 기 등록된 상기 사용자단말기로 푸쉬알림, 전화 또는 문자메시지의 형태로 송신한다.

상기 이동식 예방 경계 시스템은, 복수 개의 사용자단말기를 포함하며, 상기 복수 개의 사용자단말기는, 특정 권한이 설정된 사용자단말기를 적어도 하나 포함하고, 상기 특정 권한이 설정된 사용자단말기는, 상기 서버에 접속하여, 다른 복수 개의 사용자단말기의 정보를 상기 서버에 등록하고, 상기 특정 권한이 설정된 사용자단말기가 상기 서버에 접속하여 상기 복수 개의 사용자단말기의 정보를 등록할 때, 상기 복수 개의 사용자단말기로 상기 침입 사실 정보를 푸쉬알림, 전화(ARS), 문자메시지, 이메일 또는 팩스의 형태로 송신되도록 설정하며, 상기 특정 권한이 설정된 사용자단말기는, 상기 서버에 다른 복수 개의 사용자단말기의 정보를 등록할 때, 송신될 문자메시지의 내용을 입력 또는 전화(ARS) 음성 안내 시 발화(發話)될 음성의 내용을 입력하는 것을 특징으로 한다.

상기 특정 권한이 설정된 사용자단말기는, 서버에 접속하여 상기 무인 감시 장치의 동작 스케줄을 설정하며, 상기 동작 스케줄은, 상기 무인 감시 장치의 요일별, 시간별 동작 스케줄 및 상기 무인 감시 장치가 동작할 빛 조사 여부, 경고 방송 출력 여부, 녹화 여부 및 침입 사실 알림 여부를 포함하고, 상기 사용자단말기는, 상기 서버에 접속하여 상기 무인 감시 장치의 경계 모드를 전환할 수 있고, 상기 무인 감시 장치의 경계 모드는, 상기 무인 감시 장치의 빛 조사 여부, 경고 방송 출력 여부, 녹화 여부 및 침입 사실 알림 여부에 따른 동작이 서로 다르게 설정된 것을 특징으로 한다.

상기 센서부는, 상기 물체의 크기와 동작을 감지하는 레이더 센서, 상기 물체의 온도 및 온도의 변화를 감지하는 열적외선 센서, 상기 물체의 종류에 따른 동작 패턴에 대한 정보가 저장된 데이터베이스부 및 상기 레이더 센서에 의해 감지된 정보와 상기 데이터베이스부에 저장된 동작 패턴에 대한 정보를 비교하여 물체의 종류를 식별하는 센서제어부를 포함하며, 상기 데이터베이스부에는, 상기 센서부에 의해 감지된 물체를 침입자로 판단하기 위한 기준 정보가 저장되고, 상기 센서제어부는, 상기 레이더 센서와 상기 열적외선 센서에 의해 감지된 정보를 상기 데이터베이스부에 저장된 기준 정보와 비교하여 상기 센서부에 의해 감지된 물체가 침입자인지 여부를 판단하는 것을 특징으로 한다.

본 발명인 이동식 예방 경계 시스템에 따르면, 침입자를 자동으로 탐지하고 침입 시에만 영상이 녹화됨과 함께 녹화 영상의 송신이 아닌 침입 사실만을 송신함으로써 데이터 전송량 및 전력소모를 줄이고 태양전지 모듈 또는 이동용 배터리를 구비함으로써 전력선 및 통신선의 설치 없이 운용이 가능한 효과가 있다.

본 발명인 이동식 예방 경계 시스템에 따르면, 침입자가 출현하면 무선 네트워크를 통해 영상 전송 없이 사용자의 단말기나 스마트폰으로 다양하게 여러 관계자에게 다중으로 침입 사실이 실시간 전송이 가능한 효과가 있다.

본 발명인 이동식 예방 경계 시스템에 따르면, 침입자가 출현하면 조명을 밝히고 경고 방송을 출력을 하고 자동 사격과 자동 폭발을 함으로써 침입 전에 미리 침입자 퇴치가 가능한 효과가 있다.

도 1은 본 발명에 따른 이동식 예방 경계 시스템의 각 구성을 보여주는 블록도이다.
도 2는 본 발명에 따른 무인 감시 장치의 각 구성을 보여주는 블록도이다.
도 3은 본 발명에 따른 서버에 사용자단말기를 등록하는 모습을 보여주는 도면이다.
도 4는 본 발명에 따른 서버에 무인 감시 장치의 동작 스케줄을 등록하는 모습을 보여주는 도면이다.
도 5는 본 발명에 따른 사용자단말기가 침입 사실 정보를 문자메시지의 형태로 수신한 모습을 보여주는 도면이다.
도 6은 본 발명에 따른 사용자단말기가 침입 사실 정보를 푸쉬알림의 형태로 수신한 모습을 보여주는 도면이다.
도 7은 본 발명에 따른 사용자단말기가 무인 감시 장치의 동작을 제어하는 화면을 보여주는 도면이다.
도 8 내지 도 11은 본 발명의 일 실시예에 따른 센서부의 각 구성을 보여주는 블록도이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.

그리고 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.

본 명세서에서 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다” 및/또는 “포함하는” 은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하, 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명하고자 한다.

도 1은 본 발명에 따른 이동식 예방 경계 시스템(1000)의 각 구성을 보여주는 블록도이다.

본 발명에 따른 이동식 예방 경계 시스템(1000)(이하, ‘시스템’이라 함)은, 도 1을 참조하면, 무인 감시 장치(100), 서버(200) 및 사용자단말기(300)를 포함한다. 무인 감시 장치(100), 서버(200) 및 사용자단말기(300)는 서로 유무선 통신망을 통해 연결되며, 바람직하게는 무선 통신망을 통해 연결될 수 있다.

무인 감시 장치(100)는 예방 경계 구역에 설치되어 감시하고자 하는 특정구역에 침입자가 침입하였는지 여부를 판단한다. 즉 무인 감시 장치(100)는 예방 경계 구역인 어느 특정구역에 침입하는 침입자를 감지한다. 이때 무인 감시 장치(100)는, 특정구역에 나타난 물체가 동물인지 또는 사람인지 판단하며, 특정구역에 나타난 물체가 사람일 경우 그 물체를 침입자로 판단한다. 무인 감시 장치(100)는 특정구역에 나타난 물체가 침입자인 것으로 판단한 경우, 그 침입 사실에 대한 정보, 즉 침입 사실 정보를 생성하여 서버(200)로 송신하는 한편, 침입자를 향해 조명을 밝히고, 경고 방송, 자동 사격, 폭발 등을 출력함으로써 침입자를 퇴치할 수 있다.

무인 감시 장치(100)로부터 침입 사실 정보를 수신한 서버(200)는, 그 침입 사실 정보를 유무선 통신망을 통해 스마트폰 등 사용자단말기(300)로 송신한다. 서버(200)가 사용자단말기(300)로 송신하는 침입 사실 정보는, 녹화영상이 아닌 단지 침입자의 침입 사실만을 포함한다. 침입 사실 정보는 서버(200)에서 사용자단말기(300)를 향한 단방향으로 송신된다. 이는 통신 시 데이터량을 줄이며, 배터리 소모량도 줄이기 위함이다.

도 2는 본 발명에 따른 무인 감시 장치(100)의 각 구성을 보여주는 블록도이다.

본 발명에 따른 무인 감시 장치(100)는, 도 2를 참조하면, 센서부(110), 라이트부(120), 스피커부(130), 카메라부(140), 장치제어부(150) 및/또는 통신부(160)를 포함한다.

센서부(110)는 물체를 감지하고 감지된 물체가 침입자인지 여부를 판단하며, 감지된 물체가 침입자로 판단되는 경우 침입 사실 정보를 생성한다. 센서부(110)는, 일 실시예로서, 마이크로웨이브와 열적외선을 이용하여 물체의 크기, 움직임 등을 감지할 수 있으나, 이에 한정되는 것은 아니다. 센서부(110)의 다른 실시예들은 후술하도록 한다.

라이트부(120)는 센서부(110)에 의해 감지된 물체가 침입자로 판단되는 경우, 침입자에게 고휘도의 빛을 조사함으로써 침입자를 1차적으로 퇴치하고, 스피커부(130)는 센서부(110)에 의해 감지된 물체가 침입자로 판단되는 경우, 침입자에게 기 녹음된 경고 방송을 출력함으로써 침입자를 2차적으로 퇴치한다.

또는 라이트부(120)과 스피커부(130)은 동시에 작동할 수도 있다. 즉 센서부(110)가 침입자를 감지한 경우 침입자에게 심리적 패닉으로 침입자를 퇴치하기 위해 동시에 라이트부(120)에 의해 조명이 켜지고 스피커부(130)에 의해 경보방송이 출력될 수도 있다. 또한 라이트부(120) 및 스피커부(130)가 동작할 때 카메라부(140)가 영상을 촬영하여 저장하고, 통신부(160)가 서버(200) 및/또는 사용자단말기(300)로 침입자 발생 사실을 송신할 수 있다.

즉, 센서부(110)에 의해 감지된 물체가 침입자로 판단되는 경우, 장치제어부(150)의 제어에 따라, 라이트부(120)와 스피커부(130)는 동시에 침입자에게 빛을 조사하고 경고 방송을 출력할 수 있다. 나아가, 이와 동시에 통신부(160)는 사용자단말기(300)로 센서부(110)가 생성한 침입 사실 정보를 송신하여 사용자에게 침입자가 감지된 사실, 즉 침입 사실을 알릴 수 있다.

카메라부(140)는 감시하고자 하는 구역을 촬영할 수 있으며, 침입자가 출현하면 침입자를 촬영한다. 한편, 카메라부(140)가 촬영한 영상은 침입 사실 정보에는 포함되지 않으며, 따라서 특정구역 내 물체가 감지되고, 감지된 물체가 침입자인 것으로 판단된 경우, 침입자 발생 사실만이 서버(200) 및 사용자단말기(300)로 송신되고, 카메라부(140)가 촬영한 영상은 서버(200) 및 사용자단말기(300)로 송신되지 않는다. 이는, 전술한 바와 같이, 통신 시 데이터량과 배터리 소모량을 줄이기 위함이다.

장치제어부(150)는 기 저장된 알고리즘에 따라 센서부(110), 라이트부(120), 스피커부(130), 카메라부(140) 및/또는 통신부(160)의 동작을 제어한다.

장치제어부(150)는, 센서부(110)에 의해 물체가 침입자로 판단됐을 때 라이트부(120)를 제어하여 그 물체에 빛을 조사하며, 스피커부(130)를 제어하여 경고 방송을 출력하며, 카메라부(140)를 제어하여 그 물체를 촬영하고, 통신부(160)를 제어하여 센서부(110)가 생성한 침입 사실 정보를 서버(200)로 송신한다.

구체적으로, 장치제어부(150)는 센서부(110)에 의해 감지된 물체가 침입자로 판단되는 경우, 1차적으로 해당 물체에 빛을 조사하도록 라이트부(120)를 제어한다. 장치제어부(150)는 라이트부(120)에 의한 빛 조사에도 불구하고 감시 구역 내에서 해당 물체가 계속 감지되는 경우, 2차적으로 해당 물체에 경고 방송을 출력하도록 스피커부(130)를 제어한다. 또는 전술한 바와 같이 장치제어부(150)은 라이트부(120)와 스피커부(130)가 동시에 동작하도록 제어할 수 있다.

장치제어부(150)는, 통신부(160)를 통해 전술한 라이트부(120) 및 스피커부(130)의 제어 시 각각 침입 사실 정보를 서버(200)로 송신하며 이때 침입 사실 정보에는 라이트부(120)의 제어 사실 정보와 스피커부(130)의 제어 사실 정보가 포함될 수 있다.

장치제어부(150)는 스피커부(130)에 의한 경고 방송에도 불구하고 해당 물체가 감시 구역 내에서 계속 감지되는 경우, 3차적으로 침입자 발생에 대한 침입 사실 정보를 서버(200)로 송신하도록 통신부(160)를 제어할 수 있다. 이때, 침입 사실 정보에는 상기 1차 및 2차 조치가 행해졌음에도 불구하고 침입자가 퇴치되지 않은 상황에 대한 정보가 포함되고, 더 강력한 조치가 필요함을 알리는 정보가 포함될 수 있다. 또는 전술한 바와 같이 장치제어부(150)는, 라이트부(120)와 스피커부(130)의 동작과 동시에 통신부(160)가 침입 사실 정보를 서버(200)와 사용자단말기(300)로 송신하도록 제어할 수 있다.

통신부(160)는 LTE 통신 규격, WiFi 통신 규격 및/또는 LoRA 통신 규격에 따라 LTE 네트워크, WiFi 네트워크 및/또는 LoRA 네트워크를 통해 침입 사실 정보를 서버(200) 및/또는 사용자단말기(300)로 송신할 수 있다. 일 실시예로서, 통신부(160)는 센서부(110)가 생성한 침입 사실 정보를 서버(200)로 송신하고, 서버(200)는 수신한 칩입 사실 정보를 기 등록된 복수 개의 사용자단말기(300)로 푸쉬알림, 전화 또는 문자메시지의 형태로 송신한다.

한편, 무인 감시 장치(100)는, 전력공급부(미도시)를 더 포함할 수 있다. 전력공급부는 무인 감시 장치(100)에 전력(전기 에너지)을 공급한다. 전력공급부는 바람의 에너지를 이용하여 전기를 생성하는 풍력 발전부(미도시), 태양광의 빛 에너지를 이용하여 전기를 생성하는 태양전지 모듈(미도시) 및/또는 이동용 배터리(미도시)를 포함한다. 태양전지 모듈과 풍력 발전부는 무인 감시 장치(100)의 운용에 필요한 전력을 자체적으로 생성하고 공급한다. 이로 인해 전기선이나 통신선의 연결이 필요치 않다. 예를 들어, 태양전지 모듈은 100W 전력을 갖고, 이동용 배터리는 60Ah 용량을 가질 수 있다. 이로써, 전기선이나 통신선의 설치를 위한 기반 공사가 불필요하며, 선의 노후화에 따른 사후 유지관리 비용을 절감할 수 있다.

도 3은 본 발명에 따른 서버(200)에 사용자단말기(300)를 등록하는 모습을 보여주는 도면이다. 도 4는 본 발명에 따른 서버(200)에 무인 감시 장치(100)의 동작 스케줄을 설정하는 모습을 보여주는 도면이다. 도 5는 본 발명에 따른 사용자단말기(300)가 침입 사실 정보를 문자메시지의 형태로 수신한 모습을 보여주는 도면이다. 도 6은 본 발명에 따른 사용자단말기(300)가 침입 사실 정보를 푸쉬알림의 형태로 수신한 모습을 보여주는 도면이다. 도 7은 본 발명에 따른 사용자단말기(300)가 무인 감시 장치(100)의 동작을 제어하는 화면을 보여주는 도면이다.

본 발명에 따른 서버(200)에는, 도 3을 참조하면, 복수 개의 사용자단말기(300)의 정보가 등록될 수 있다. 이때 복수 개의 사용자단말기(300) 중 특정 권한이 설정된 사용자단말기(300)가 서버(200)에 접속하여 다른 복수 개의 사용자단말기(300)의 정보를 서버(200)에 등록할 수 있다.

특정 권한이 설정된 사용자단말기(300)는 고유의 회원번호를 구비할 수 있다. 서버(200)는, 전술한 바와 같이, 기 등록된 사용자단말기(300)로 침입 사실 정보를 푸쉬알림, 전화(ARS) 또는 문자메시지의 형태로 송신할 뿐만 아니라 이메일이나 팩스로도 그 침입 사실 정보를 송신할 수 있다. 특정 권한이 설정된 사용자단말기(300)는 다른 복수 개의 사용자단말기(300)의 전화번호를 추가 수신자설정란에 기재한 후, 추가로 ARS, SMS, MMS 등을 설정할 수도 있다. 또한 사용자단말기(300)는 서버(200)에 접속하여 사용자단말기(300)에서의 알림여부를 선택할 수 있고, 시간 대에 따른 알림여부를 설정할 수도 있다.

특정 권한이 설정된 사용자단말기(300)는 서버(200)에 다른 복수 개의 사용자단말기(300)를 등록할 때 문자메시지의 내용을 기 입력할 수도 있고, ARS 음성 안내 시 발화(發話)될 음성의 내용을 기 입력할 수도 있다.

특정 권한이 설정된 사용자단말기(300)는, 도 4를 참조하면, 무인 감시 장치(100)의 동작 스케줄을 설정할 수도 있다. 이때 특정 권한이 설정된 사용자단말기(300)는, 무인 감시 장치(100)의 요일별, 시간별 동작 스케줄을 설정할 수 있고, 무인 감시 장치(100)가 동작할 세부 정보, 즉, 빛(조명) 조사 여부, 경고 방송 출력 여부, 녹화 여부, 침입 사실 알림 여부 등을 스케줄별로 다르게 설정할 수 있다.

본 발명에 따른 복수 개의 사용자단말기(300)는, 도 5를 참조하면, 침입 사실 정보를 문자메시지의 형태로 수신할 수 있다. 또한 복수 개의 사용자단말기(300)는, 도 6을 참조하면, 침입 사실 정보를 푸쉬알림의 형태로도 수신할 수 있다.

한편, 사용자단말기(300)는, 도 7을 참조하면, 무인 감시 장치(100)의 경계 모드를 전환할 수 있다. 이 경우, 경계 모드 전환을 위한 제어 정보는 사용자단말기(300)로부터 서버(200)를 거쳐 무인 감시 장치(100)로 송신된다. 구체적으로, 사용자는 사용자단말기(300)를 통해, 경계 모드를 N지키미 경비, S지키미 경비 등의 모드로 선택할 수 있다. 각 모드는 무인 감시 장치(100)의 빛(조명) 조사 여부, 경고 방송 출력 여부, 녹화 여부, 침입 사실 알림 여부 등이 다르게 설정된 것일 수 있다.

도 8은 본 발명의 일 실시예에 따른 센서부(110)의 각 구성을 보여주는 블록도이다.

본 발명의 일 실시예에 따른 센서부(110)는, 도 8을 참조하면, 레이더 센서(111), 열적외선 센서(112), 데이터베이스부(113) 및/또는 센서제어부(114)를 포함한다.

레이더 센서(111)는 특정구역 내 진입한 물체의 크기와 동작을 감지한다.

레이더 센서(111)는 마이크로웨이브를 이용하여 물체의 크기와 동작을 감지한다. 레이더 센서(111)는 전파를 방사하고 물체로부터 반사되어 온 전파를 처리함으로써 물체의 크기, 동작 및 동작 패턴을 감지한다.

열적외선 센서(112)는 특정구역 내 진입한 물체의 온도 및 온도의 변화를 감지한다.

열적외선 센서(112)는 물체가 방출하는 열적외선을 이용하여 물체의 온도 및 온도의 변화를 감지하고 이를 통해 물체의 동작 및 동작 패턴을 감지한다.

데이터베이스부(113)에는 물체의 종류에 따른 물체의 크기 및/또는 동작 패턴에 대한 정보가 저장된다. 그리고 데이터베이스부(113)에는 센서부(110)에 의해 감지된 물체를 침입자로 판단하기 위한 기준 정보가 저장된다. 이때, 침입자로 판단하기 위한 기준 정보는 물체의 종류 정보, 물체의 크기 정보 및/또는 물체의 속도 정보를 포함한다.

센서제어부(114)는 레이더 센서(111)에 의해 감지된 정보와 데이터베이스부(113)에 저장된 동작 패턴에 대한 정보를 비교하여 물체의 종류를 식별한다. 그리고 센서제어부(114)는 레이더 센서(111)와 열적외선 센서(112)에 의해 감지된 정보를 데이터베이스부(113)에 저장된 기준 정보와 비교하여 센서부(110)에 의해 감지된 물체가 침입자인지 여부를 판단한다. 센서제어부(114)는 레이더 센서(111)에 의해 감지된 정보뿐만 아니라 열적외선 센서(112)에 의해 감지된 정보를 함께 이용하여 물체를 탐지하기 때문에, 일정한 크기의 열이 나지 않는 숲 속의 나무가 움직이더라도 이를 침입자로 판단하지 않는다.

센서제어부(114)는 먼저, 물체의 종류를 식별한 뒤 이를 기준으로 감지된 물체가 침입자에 해당하는지 여부를 판단할 수 있다. 구체적으로, 센서제어부(114)는 레이더 센서(111)에 의해 감지된 물체의 동작 패턴 정보를 데이터베이스부(113)에 저장된 물체의 종류에 따른 물체의 동작 패턴 정보와 비교하여 감지된 물체의 종류를 식별한다. 그리고 센서제어부(114)는 데이터베이스부(113)에 저장된 침입자로 분류된 물체의 종류 정보를 기초로, 식별된 물체의 종류가 침입자로 분류된 물체에 해당하는지 판단함으로써, 물체가 침입자에 해당하는지 여부를 1차적으로 판단한다.

이후, 센서제어부(114)는 열적외선 센서(112)에 의해 감지된 물체의 동작 패턴 정보를 데이터베이스부(113)에 저장된 물체의 종류에 따른 동작 패턴 정보와 비교하여 감지된 물체의 종류를 다시 식별한다. 그리고 센서제어부(114)는 데이터베이스부(113)에 저장된 침입자로 분류된 물체의 종류 정보를 기초로, 식별된 물체의 종류가 침입자로 분류된 물체에 해당하는지 판단함으로써, 물체가 침입자에 해당하는지 여부를 2차적으로 판단한다.

센서제어부(114)는 상기 1차 판단 결과와 2차 판단 결과를 상호 검증하여, 두 결과 모두 감지된 물체를 침입자로 판단한 경우에만 감지된 물체를 침입자로 판단한다. 또는 센서제어부(114)는 상기 1차 판단 결과 및 2차 판단 결과 중 어느 하나라도 감지된 물체를 침입자로 판단한 경우에는 감지된 물체를 침입자로 판단할 수 있다. 또는 센서제어부(114)는 1차 판단과 2차 판단을 동시에 수행하여 감지된 물체를 침입자로 판단할 수도 있다.

또는 센서제어부(114)는 물체의 종류가 아닌 물체의 크기와 속도를 기준으로 해당 물체가 침입자인지 여부를 판단할 수 있다. 예를 들어, 가로 0.75m, 세로 0.75m 이상의 물체가 초당 0.25m/s로 이상의 속도로 움직이면 센서제어부(114)는 해당 물체를 침입자로 판단할 수 있다.

구체적으로 센서제어부(114)는 레이더 센서(111)에 의해 감지된 물체의 크기와 속도 정보를 데이터베이스부(113)에 저장된 침입자로 판단될 물체의 크기 및 속도 정보와 비교하여 감지된 물체가 침입자에 해당하는지 여부를 1차적으로 판단한다.

이후, 센서제어부(114)는 열적외선 센서(112)에 의해 감지된 물체의 크기와 속도 정보를 데이터베이스부(113)에 저장된 침입자로 판단될 물체의 크기 및 속도 정보와 비교하여 감지된 물체가 침입자에 해당하는지 여부를 2차적으로 판단한다.

센서제어부(114)는 상기 1차 판단 결과와 2차 판단 결과를 상호 검증하여, 두 결과 모두 감지된 물체를 침입자로 판단한 경우에만 감지된 물체를 침입자로 판단한다. 이때 센서제어부(114)는 1차 판단 결과와 2차 판단 결과를 동시에 상호 검증할 수 있다.

또는 센서제어부(114)는 상기 1차 판단 결과 및 2차 판단 결과 중 어느 하나라도 감지된 물체를 침입자로 판단한 경우에는 감지된 물체를 침입자로 판단할 수 있다.

나아가, 센서제어부(114)는 물체의 종류를 기준으로 한 판단 결과와, 물체의 크기 및 속도 정보를 기준으로 한 판단 결과를 상호 검증하여, 두 결과 모두 감지된 물체를 침입자로 판단한 경우에만 감지된 물체를 침입자로 판단할 수 있다. 또는 센서제어부(114)는 상기 두 판단 결과 중 어느 하나라도 감지된 물체를 침입자로 판단한 경우에는 감지된 물체를 침입자로 판단할 수 있다.

센서제어부(114)는 감지된 물체를 침입자로 판단한 경우, 전술한 침입 사실 정보를 생성한다. 센서제어부(114)는 생성한 침입 사실 정보를 장치제어부(150) 및 통신부(160)로 송신한다. 침입 사실 정보를 수신한 장치제어부(150)는, 전술한 바와 같이 라이트부(120)와 스피커부(130)의 동작을 제어한다. 침입 사실 정보를 수신한 통신부(160)는, 전술한 바와 같이 그 침입 사실 정보를 서버(200)로 송신하며, 서버(200)는 수신한 침입 사실 정보를 기 등록된 복수 개의 사용자단말기(300)로 송신한다.

한편, 일반적으로 영상 감시 시스템은 사람의 침입을 감지하기 위한 시스템이므로, 사람의 침입에 한해서만 알람 이벤트를 발생할 수 있어야 한다. 이에 일정 감시 영역인 특정구역에 탐지대상인 물체가 감지되었을 때 그 물체가 사람인지 또는 동물인지를 식별할 수 있는 기술이 필요하며, 그 물체가 사람인지 또는 동물인지를 식별할 수 있는 기술에 대해 이하에서 더욱 상세히 설명한다.

1. 제1 실시예

도 9는 본 발명의 일 실시예에 따른 센서부(110)의 각 구성을 보여주는 도면이다.

본 발명에 따른 센서부(110)는, 도 9를 참조하면, 물체가 발산하는 적외선을 감지하는 PIR 센서(115)(Passive Infrared Sensor), 물체가 포함된 영상을 촬영하는 카메라 센서(116) 및/또는 물체와의 거리를 연산하는 마이크로파 도플러 센서(117, microwave sensor with Doppler effect, 이하, ‘도플러 센서’라고도 함)를 더 포함한다.

본 발명에 따른 센서부(110)는 오탐지/오경보를 없애고 탐지 신뢰성을 높이기 위해 특성이 서로 다른 이종 센서, 일 실시예로서 PIR 센서(115) 및 마이크로파 도플로 센서(117)를 융복합하여 사용한다. 이때 각 센서들은 탐지 환경에 적합하도록 탐지 폭 2도 또는 20cm인 센서, 탐지 폭이 80~90도인 센서 및/또는 지주 흔들림에도 오탐지/오경보가 없고 탐지거리가 100m이고 적외선 통과시 탐지되는 센서를 포함할 수 있다.

센서제어부(114)는 PIR 센서(115), 카메라 센서(116) 및/또는 마이크로파 도플러 센서(117)가 수신한 정보에 기초하여 감지된 물체가 사람인지 동물인지 여부를 판단한다.

센서제어부(114)의 물체가 사람인지 동물인지 여부의 판단은 여러 가지 방법이 있을 수 있고, 이러한 방법들을 이하에서 설명한다. 본 발명에 따른 무인 감시 장치(100)는, 아래에서 설명할 여러 가지 방법을 독립적으로 사용하여 감지된 물체가 사람인지 또는 동물인지 판단할 수 있는 것은 물론, 여러 방법을 함께 사용하여 감지된 물체가 사람인지 또는 동물인지 판단할 수 있다.

센서제어부(114)는, 일 실시예로서, PIR 센서(115)가 감지한 적외선을 통해 생성한 적외선 신호를 기초로 특정구역에 진입한 물체를 감지한다. 센서제어부(114)는, 일 실시예로서, 특정구역에 진입한 물체가 감지되면 카메라 센서(116)와 도플러 센서(117)의 전원 및 동작을 on 시킬 수 있다. 센서제어부(114)는, 일 실시예로서, 카메라 센서(116)에 의해 촬영된 영상을 분석하여 PIR 센서(115)에 의해 감지된 물체의 세로 길이 등 세부 구성을 파악한다. 센서제어부(114)는, 일 실시예로서, 도플러 센서(117)가 연산한 물체와의 거리를 통해 감지된 물체의 위치를 파악한다. 센서제어부(114)는, 일 실시예로서, 감지된 물체와의 거리와 감지된 물체의 세로 길이를 기초로 감지된 물체가 사람인지 또는 동물인지 파악할 수 있다.

PIR 센서(115)는 인체 감지 센서로서, 사람 또는 동물에서 나오는 적외선을 감지하는 기능을 한다. 생명체는 일정 온도의 열을 가지고 있으므로 적외선이 나오며, PIR 센서(115)는 적외선과 움직임이 감지되면 신호를 보내주는 방식이다.

카메라 센서(116)는 특정구역 부근으로 접근하는 사람 또는 동물을 인지하여 구분하기 위한 것으로서, 일 실시예로서, 딥러닝 기술을 이용하여 사람 또는 동물을 구분할 수 있다.

그리고 마이크로파 도플러 센서(117)는 특정구역 부근으로 접근하는 사람 또는 동물과의 상대운동을 인지하여 거리를 측정하기 위해 사용된다.

본 발명에 따른 무인 감시 장치(100)는, 일 실시예로서, 2대의 카메라 센서(116)를 이용한 스테레오 비전(Stereo Vision) 방식 또는 구조광(Structured Light)을 이용한 삼각 측량법(Triangulation) 방식을 이용하여 물체의 깊이 정보(물체와 카메라 사이의 거리 정보)를 얻을 수 있다. 다만, 이러한 방식들은 물체와 카메라 사이의 거리가 멀어질수록 깊이 정보의 정확도가 떨어지는 단점이 있다. 한편, ToF(Time of Flight) 센서를 적용한 3차원 영상 장치는 물체에 빛을 조사하고, 반사되어 되돌아온 빛을 이용하여 물체까지의 거리를 계산할 수 있다. 구체적으로, ToF 센서는 조사된 빛이 되돌아오기까지의 시간 차이와 빛의 속도를 이용하여 물체까지의 거리를 계산할 수 있다. ToF 센서는 빛을 직접 조사하기 때문에 모든 픽셀에서 깊이 값을 측정할 수 있고, 깊이 영상(depth image)을 실시간으로 획득할 수 있다. 이러한 ToF 센서 방식은 고속 동작이 가능하고, 스테레오 비전 방식에 비해 조명 변화에 의한 잡음이 적고, 후처리 알고리즘의 연산량을 줄일 수 있는 장점이 있다.

2. 제2 실시예

도 10은 본 발명의 일 실시예에 따른 센서부(110)의 각 구성을 보여주는 도면이다.

본 발명에 따른 카메라 센서(116)는, 도 10을 참조하면, ToF 카메라(1161)를 포함할 수 있다. 이는 동물 및 사람의 인식률을 향상시키기 위한 것이다.

ToF 카메라(1161)는 근적외선, 초음파, 레이저 등을 이용하여 물체와의 거리(distance)를 측정하는 구성으로 IR 라이트(미도시)와 ToF 센서(미도시)로 구성될 수 있다.

ToF 센서의 1픽셀은 in phase receptor 와 out phase receptor로 구성되며, IR 라이트가 매우 빠른속도로 ON/OFF 를 일정한 간격으로 반복한다. IR 라이트가 켜져있는 시간동안은 in phase receptor 가 수신을 하며, 꺼져있는 시간 동안은 out phase receptor 가 동작한다. in phase receptor 와 out phase receptor의 빛을 수신 시간이 달라지며 이것으로 물체와의 거리를 측정할 수 있다.

센서제어부(114)는 ToF 카메라(1161)의 거리 이미지(distance image)를 수신하고, 거리 이미지 내 물체를 타겟 대상으로 하여, 그 타겟 대상에서 외곽선 및 중심축을 추출한다. 이때 외곽선은 그 타겟 대상의 전체가 포함되도록 생성되는 직사각형의 각 변을 포함할 수 있다. 또한 이때 중심축은 그 타겟 대상의 중심에서 직사각형의 각 변을 향해 연장된 가로축 및 세로축을 포함한다. 즉 가로축은 타겟 대상의 가로길이를 의미하고, 세로축은 타겟 대상의 세로길이를 의미한다. 센서제어부(114)는 중심축에서 타겟 대상의 세로길이를 포함하는 수직정보(Y)와 타겟 대상의 가로길이를 포함하는 수평정보(X)를 추출하고, Y/X가 설정값(예를 들어 1.5)보다 크면 사람으로, 작으면 동물로 판단한다. 또는 중심축으로부터 추출된 수직정보(Y)와 수평정보(X)가 기 저장된 동물의 수직정보(Y)와 수평정보(X) 대비 근접한 정보이면 동물인 것으로 판단할 수도 있다. 센서제어부(114)는 Y/X 연산을 통해 물체가 사람인 것으로 판단되면 침입 사실 정보를 생성한다.

이때 타겟 대상은 ToF 카메라(1161)의 촬영 각도 내의 미리 저장된 배경 이미지를 제외한 신규로 확보된 물체의 이미지이다. 배경 이미지는 ToF 카메라(1161)의 촬영 각도 내에서 상시적으로 촬영되는 이미지를 의미하는 것으로, 건물 등과 같이 고정된 이미지이거나 나무 등과 같이 외부요인(바람)에 의해 움직이는 이미지일 수 있다.

따라서 본 발명의 일 실시예에서 구분하고자 하는 물체, 즉 타겟 대상은 배경 이미지를 제외하고, ToF 카메라(1161)의 촬영 각도 내에서 신규로 확보된 물체 이미지를 의미하며, 센서제어부(114)의 사람 판단 신호는 물체 이미지 발생 시점으로부터 설정 시간이 경과된 후 재 확보된 물체 이미지를 대상으로 외곽선 및 중심축을 추출하고, 중심축에서 수직정보(Y)와 수평정보(X)를 추출하고, Y/X가 설정값보다 높게 나타났을 경우 발생된다.

센서제어부(114)는 ToF 카메라(1161)로부터 물체가 포함된 거리 이미지를 수신하면, 그 수신된 시간을 기준으로 시간을 카운트 하고, 설정 시간(예컨대, 1초)이 경과되면 물체 이미지를 재 확보 한다. 그리고 이렇게 재 확보된 물체 이미지를 대상으로 외곽선 및 중심축을 추출하고, 중심축에서 수직정보(Y)와 수평정보(X)를 추출하고, Y/X가 설정값보다 크게 나타나면 사람인 것으로 판단하여 침입 사실 정보를 생성한다.

이하에서 물체 이미지를 대상으로 외곽선 및 중심축을 추출하고, 중심축에서 수직정보(Y)와 수평정보(X)를 추출하고, Y/X와 설정값과의 비교를 통해 동물인지 사람인지를 판단하는 과정을 사람 판단 알고리즘이라고 한다.

ToF 카메라(1161)로부터 물체 이미지가 입력된 상태는 ToF 카메라(1161)의 화각 내에 최초로 감지된 상태일 수 있어서 물체의 일부분만이 촬영된 것일 수 있다. 따라서 1초의 시간을 두고 물체 이미지를 재 확보하는 이유는 ToF 카메라(1161)의 화각 내에 물체가 온전히 담겨질 수 있다는 판단에 기인한다. 그리고 물체 이미지가 입력됨과 동시에 사람 판단 알고리즘을 실행하면 데이터 처리에 부담이 있을 수 있다. 따라서 본 발명의 일 실시예에서는 ToF 카메라(1161)로부터 물체 이미지가 입력되면, 입력된 시간을 기준으로 시간을 카운트 하고, 설정 시간(예컨대, 1초)이 경과되면 물체 이미지를 재 확보 한 후 재 확보된 물체 이미지를 대상으로 감지된 물체가 사람인지 또는 동물인지를 판단한다.

한편, 1초 후에도 ToF 카메라(1161)에는 물체의 일부분만이 지속적으로 촬영되고, 물체의 전체 형상이 촬영되지 않을 수 있다. 이때에는 ToF 카메라(1161)에 틸팅 수단을 구비하고, 물체 이미지가 최초로 발견된 방향으로 ToF 카메라(1161)를 틸팅하는 방법으로 해결할 수 있다. 최초 물체 이미지의 확보 이후 ToF 카메라(1161)의 틸팅으로 물체 이미지의 전체가 확보되면 사람 판단 알고리즘을 실행한다. 물체 이미지의 전체가 확보되는 것을 인지하려면 ToF 카메라(1161)의 화각 내에 물체 이미지의 외곽선이 연결된 상태로 모두 추출되면 물체 이미지의 전체가 확보된 것으로 판단할 수 있다.

다른 실시예로서, 센서제어부(114)의 사람 판단 신호는 물체 이미지 발생 시점으로부터 설정 시간(예컨대, 5초) 동안 물체 이미지의 외곽선 및 중심축 추출, 그리고 중심축에서 수직정보(Y)와 수평정보(X)를 추출하여 Y/X가 설정값보다 크게 나타난 비율이 높으면 발생된다. ToF 카메라(1161)로부터 물체 이미지가 확보되면 센서제어부(114)의 사람 판단 알고리즘은 ToF 카메라(1161)의 촬영 시점과 동기화 된다.

즉, 센서제어부(114)는 물체 이미지 발생 시점으로부터 설정 시간 동안 ToF 카메라(1161)와 연동하여 설정 시간 동안 실시간으로 물체의 Y/X 값을 체크하고, Y/X 값이 설정값 보다 크게 나타난 비율이 높으면 감지된 물체가 사람인 것으로 판단한다. 이와 같은 방식은 전자의 방식 대비 사람 판단 정밀도가 높다. 또한 센서제어부(114)의 사람 판단 알고리즘은 전자의 방식과 후자의 방식을 조합할 수도 있다.

정리하면, 센서부(110)는, 물체와의 거리(distance)를 측정하며 상기 물체가 포함된 거리 이미지(distance image)를 생성하는 ToF 카메라(1161)를 더 포함한다. 센서제어부(114)는, ToF 카메라(1161)가 생성한 거리 이미지를 수신한다. 그리고 일 실시예로서 ToF 카메라(1161)로부터 거리 이미지를 수신할 때, 수신된 시간을 기준으로 시간을 카운트하고, 설정 시간이 경과되면 거리 이미지를 재 확보하며, 재 확보된 거리 이미지를 대상으로 외곽선 및 중심축을 추출하고, 중심축에서 물체의 수직정보와 수평정보를 추출하며, 수직정보/수평정보가 설정값보다 크면 상기 물체가 사람인 것으로 판단하여 침입 사실 정보를 생성한다.

3. 제3 실시예

도 11은 본 발명의 일 실시예에 따른 센서부(110)의 각 구성을 보여주는 도면이다.

본 발명의 일 실시예에 따른 센서부(110)는, 도 11을 참조하면, 초음파 센서(118)를 더 포함할 수 있다.

PIR 센서(115)는, 사람에게서 발생되는 적외선을 감지함으로써 사람인지 사물인지 구분하고, 사람의 이동 시에 발생되는 적외선 변화를 감지함으로써 사람의 접근을 감지한다.

초음파 센서(118)는, 송신부(미도시)와 수신부(미도시)를 포함하며, 송신부를 통해 PIR 센서(115)가 감지한 물체를 향해 초음파를 방출하고, 방출된 초음파가 물체에 반사되어 되돌아올 시, 되돌아온 신호를 수신부가 감지함에 따라 물체의 접근을 더 정확히 감지한다.

센서제어부(114)는, 마이크로 프로세서를 갖추고 있는 것으로, PIR 센서(115)와 초음파 센서(118)로부터 감지신호가 입력되면, 물체 감지 신호를 출력하고, 이후, 물체가 사람인지 또는 동물인지 판단한 후, 사람일 경우 침입 사실 정보를 생성한다.

본 발명에 따른 센서제어부(114)는, 거리 측정부(미도시)를 더 포함할 수 있다.

거리 측정부는, 일종의 연산 프로그램으로서, 초음파 센서(118)의 송신부와 수신부로부터 신호가 입력되면, 입력된 신호를 근거로 초음파 센서(118)와 감지된 물체 간의 거리를 측정한다.

특히, 송신부로부터 방출된 초음파가 사람이나 동물에게 반사되어 수신부로 수신될 시에, 송신부의 초음파 방출시점과 수신부의 초음파 수신시점 및, 이들 간의 시간차를 미리 저장된 연산로직으로 처리하여 초음파 센서(118)와 감지된 물체 간 거리를 측정한다. 즉, 초음파 센서(118)는, 센서부(110)와 사람 간의 거리 또는 동물 간의 거리를 측정한다. 이러한 초음파 센서(118)를 통한 거리 측정은, 이미 공지된 기술이므로, 그에 대한 상세한 설명은 생략하기로 한다.

한편, 센서부(110)에는, 더 상세히는 데이터베이스부(113)에는, 초음파 센서(118)와 감지물체간 거리별, 감지물체 키높이가 저장되어 있다. 이때 감지물체 키높이는, 전술한 수직정보(Y)에 대응될 수 있다. 다만, 감지물체간 거리별로 동일한 물체일지라도 그 감지물체의 키높이가 변화한다.

센서제어부(114)의 초음파 센서(118)와 감지물체간 거리별, 감지물체 키높이는, 초음파 센서(118)와 감지물체 간의 거리에 대응한 감지물체의 키높이 예측값으로서, 여러 번의 시험 결과를 통해 얻어진 시험 데이터일 수 있다.

한편, 센서제어부(114)는, PIR 센서(115)와 초음파 센서(118)로부터 물체 감지 신호가 입력되더라도, 침입 사실 정보를 무조건 출력하지 않는다.

대신에, 거리 측정부에 의해 측정된 초음파 센서(118)와 감지물체 간의 거리와, 이 거리에 대응하는 메모리부의 감지물체 키높이를 근거로 감지물체가 사람인지 또는 동물인지 식별한 다음, 이를 통해 침입 사실 정보의 생성 여부를 결정한다.

이를 상세하게 설명하면, 초음파 센서(118)로부터 감지 신호가 입력되면, 센서제어부(114)의 거리 측정부는 초음파 센서(118)와 감지물체 간의 거리를 측정한다.

그리고 초음파 센서(118)와 감지물체 간의 거리 측정이 완료되면, 센서제어부(114)는, 초음파 센서(118)와 감지물체 간의 거리에 대응한 감지물체 키높이값을 데이터베이스부(113)에서 검출한다.

그리고 감지물체 키높이의 검출이 완료되면, 센서제어부(114)는, 검출된 감지물체 키높이가 그 거리에 따라 미리 설정된 기준 키높이, 예를 들면, 거리가 10m일 때 키높이가 50㎝ 이상인지를 판단한다.

판단 결과, 검출된 감지물체 키높이가, 측정된 거리에 따른 기준 키높이, 즉, 50㎝ 이상이면, 센서제어부(114)는, 초음파 센서(118)에 의해 감지된 물체가 사람인 것으로 인식한다.

그리고 인식에 따라 침입 사실 정보를 출력하여 스피커부(130) 또는 라이트부(120)를 온(ON)시킨다. 이로써, 사람의 침입을 경고할 수 있게 한다.

반대로, 판단 결과, 검출된 감지물체 키높이가, 측정된 거리에 따른 기준 키높이, 즉, 50㎝ 미만이면, 센서제어부(114)는, 초음파 센서(118)에 의해 감지된 물체가 동물인 것으로 인식한다. 그리고 인식에 따라 침입 사실 정보를 출력하지 않아 피커부 또는 라이트부(120)를 오프(OFF)된 상태로 유지시킨다. 이로써, 동물로 인한 스피커부(130), 라이트부(120) 및 통신부(160)의 작동을 원천적으로 방지한다. 그 결과, 동물의 접근으로 인한 보안무인 감시 장치(100)의 오작동을 원천적으로 차단한다.

한편, 센서제어부(114)에 내장된 기준 키높이는, 사용자의 선택에 따라 얼마든지 변경이 가능하도록 구성된다.

정리하면, 센서부(110)는, 초음파를 물체에 방출하며, 물체에 반사되어 되돌아온 초음파를 수신하여 물체와의 거리를 측정하는 초음파 센서(118)를 더 포함한다. 센서제어부(114)는, 초음파 센서(118)를 통해 측정된 물체와의 거리와 그 물체의 키높이를 비교하며, 물체의 키높이가 거리에 따라 미리 설정된 기준 키높이 이상일 경우, 그 물체가 사람인 것으로 판단하고 침입 사실 정보를 생성한다.

4. 제4 실시예

본 발명에 따른 무인 감시 장치(100)는, 일 실시예로서, 사람과 동물의 감각 인지 범위가 서로 상이한 점을 이용하여, 스피커부(130)를 통해 사람 또는 동물의 청각을 자극한 후 이에 대한 탐지대상, 즉 PIR 센서(115)에 의해 감지된 물체의 반응을 탐지함으로써, 탐지대상이 사람인지 또는 동물인지를 식별하도록 할 수 있도록 한다.

스피커부(130)는 자극신호 출력부(미도시)를 포함하여, 사람과 동물의 청각을 자극시키기 위한 청각신호를 물체를 향해 제공한다.

자극신호 출력부는 사람과 동물의 감각을 선택적으로 자극시키기 위한 자극신호를 발생한다. 기본적으로 동물의 감각 인지 범위는 사람에 비해 발달되어 있다. 일례로, 사람은 20Hz~20kHz의 가청주파수 대역을 가지는데 반해, 고양이와 같은 동물은 60Hz~60kHz의 가청주파수 대역을 가진다. 이에 자극신호 출력부는 자극신호를 소리로 생성하고, 소리의 주파수 대역을 임의로 조정함으로써, 사람의 청각만을 자극하거나, 동물의 청각만을 자극해줄 수도 있다. 자극신호 출력부는 생성한 자극신호를 PIR 센서(115)에 의해 감지된 물체에 출력하여 제공한다. 즉, 자극신호 출력부는 동물의 청각만을 자극하고자 할 때에는 주파수 20kHz 이상의 초음파 대역의 소리를 물체에 제공하고, 사람의 청각만을 자극하고자 할 때에는 주파수 20Hz~60Hz의 대역의 소리를 물체에 제공한다.

또한, 자극신호 출력부는 특정구역을 능동적으로 가변하기 위해, 자극신호의 출력방향 및 출력세기를 임의로 조정해줄 수도 있다. 이러한 경우, 자극신호 출력부는 위상가변 방식으로 자극신호의 출력방향 및 출력세기를 제어하는 지향성 음파(또는 초음파) 발생기로 구현될 수 있다.

센서제어부(114)는 이미지 처리 방식 또는 거리 측정 방식을 이용하여 물체가 자극신호에 반응하는지 검출한다.

센서제어부(114)는 센서부(110)가 포함하는 전술한 각 센서들 중 적어도 하나를 이용하여 물체를 감지한 후, 이미지 처리 알고리즘을 통해 물체의 움직임 패턴(예들 들어, 물체의 위치, 움직임 속도, 움직임 방향 등)을 추적함으로써, 물체가 현재 발생된 자극신호에 반응하는지 확인할 수 있다.

물체의 움직임 패턴을 추적하기 위한 이미지 처리 알고리즘은 공지된 기술을 따른다.

반면, 센서제어부(114)가 거리 측정 방식으로 물체의 반응 검출 동작을 수행하는 경우, 센서제어부(114)는 센서들을 통해 물체와 센서제어부(114)간 거리를 측정하고, 물체와 센서들과의 거리를 계속하여 추적함으로써, 물체가 현재 발생된 자극신호에 반응하는지 감지할 수 있다. 즉, 물체가 자극신호에 반응하여 급격하게 움직이는 지를 확인함으로써, 물체가 현재 발생된 자극신호에 반응하는지 용이하게 확인할 수 있다.

센서제어부(114)는 자극신호의 종류와 센서제어부(114)의 검출 결과를 고려하여, 물체가 사람인지 동물인지를 식별한다. 즉, 자극신호 출력부를 통해 발생된 자극신호가 사람의 감각을 자극하기 위한 것인지, 동물의 감각을 자극하기 위한 것인지 확인한 후, 물체의 반응 여부를 파악하고, 물체가 사람의 감각을 자극하기 위한 자극신호에 선택적으로 반응하면 그 물체가 사람이라고 판단하여 침입 사실 정보를 생성하고, 물체가 동물의 감각을 자극하기 위한 자극신호에 선택적으로 반응하면, 그 물체가 동물이라고 판단하여 침입 사실 정보를 생성하지 않는다.

정리하면, 센서부(110)의 PIR 센서(115)를 통해 물체가 감지되었음을 통보받으면, 스피커부(130)는 우선 물체가 사람인지를 확인하기 위해 사람의 감각만을 자극하기 위한 제1 자극신호를 발생하여 출력한다.

그리고 센서제어부(114)는 물체가 제1 자극신호에 반응하는지를 탐지하여, 물체가 제1 자극신호에 반응하여 제1 자극신호를 회피하거나 제거하기 위해 움직이면 물체가 사람이라고 판단하고, 물체가 제1 자극신호에 아무런 반응을 하지 않으면, 물체가 동물이라고 추정한다.

그리고 스피커부(130)는 물체가 동물인지를 확인하기 위해 동물의 감각만을 자극하기 위한 제2 자극신호를 발생하여 출력한다. 그리고 센서제어부(114)는 물체가 제2 자극신호에 반응하는지를 탐지하여, 물체가 제2 자극신호에 반응하여 급격한 움직임을 발생하면 물체가 동물이라고 판단하고, 물체가 제2 자극신호에 아무런 반응을 하지 않으면 물체가 사람이라고 판단한다.

정리하면, 스피커부(130)는, 사람과 동물의 청각을 선택적으로 자극하는 자극신호를 발생시키는 자극신호 출력부를 포함한다. 자극신호 출력부는, 동물의 청각만을 자극하고자 할 때에는 주파수 20kHz 이상의 초음파 대역의 소리를 물체를 향해 출력하고, 사람의 청각만을 자극하고자 할 때에는 주파수 20Hz~60Hz 대역의 소리를 물체를 향해 출력할 수 있다. 센서제어부(114)는, 자극신호 출력부가 주파수 20Hz~60Hz 대역의 소리를 물체를 향해 출력한 후, 센서부(110)의 센서들을 통해 주파수 20Hz~60Hz 대역의 소리가 출력된 물체의 반응을 감지하며, 주파수 20Hz~60Hz 대역의 소리가 출력된 물체가 그 소리에 반응하면, 그 물체가 사람인 것으로 판단하고 침입 사실 정보를 생성한다.

5. 제5 실시예

한편, 본 발명에 따른 센서제어부(114)는, 일 실시예로서, PIR 센서(115)가 감지한 물체가 사람인지 또는 동물인지 판단할 때 전술한 마이크로파 도플러 센서(117)를 이용할 수 있다.

도플러 센서(117)는 송신 신호를 연속적으로 송신하도록 제어한다. 이후, 도플러 센서(117)는 송신 신호가 감지 대상에 반사되어 입력되는 수신 신호를 수신한다. 센서제어부(114)는, 송신 신호와 수신 신호를 믹싱하여 감지 대상인 물체의 주파수 파형을 생성한다. 그리고 센서제어부(114)는, 생성한 주파수 파형을 데이터베이스부(113)에 저장한다. 센서제어부(114)는 전술한 과정을 반복 수행하여 데이터베이스부(113)에 저장된 복수 개의 주파수 파형을 감지 대상이 사람인지 동물인지에 따라 분류하여 데이터베이스부(113)를 구축할 수 있다. 이후, 센서제어부(114)는, PIR 센서(115)가 물체를 감지한 후, 도플러 센서(117)를 통해 수행하여 생성되는 주파수 파형을 데이터베이스부(113)에 저장되어 있는 주파수 파형과 대비하여 감지 대상이 사람인지 동물인지 식별할 수 있다. 이하에서 더욱 상세히 설명하면 다음과 같다.

본 발명에 따른 도플러 센서(117)의 송신 신호와 수신 신호의 사용 주파수는 10.525GHz를 이용하고 획득된 신호는 FMCW(Frequency Modulated Continuous Wave) 변조를 통하여 연속적인 시간에 따른 주파수 변화를 그래프화 한다.

이때, 송신 신호가 도플러 센서(117)에서 송신되어 감지 대상에 반사된 수신 신호가 도플러 센서(117)로 입력되는 사이에 걸리는 시간은 2R/c로써 여기서 R은 도플러 센서(117)와 감지 대상 사이의 거리이며, c는 광속으로 3*108m/s이다.

그리고, 이를 통하여 송신 신호와 수신 신호를 믹싱할 때, 시간 지연에 의해 발생하는 주파수 변화(ft)와 도플러 효과에 의하여 발생하는 주파수 변화(fv)의 합과 차를 통하여 감지 대상의 거리(R)와 속도 (vr)정보를 생성하고, 송신 신호와 수신 신호가 혼합된 주파수 파형을 생성한다.

그리고 송신 신호와 수신 신호를 믹싱할 때, 시간 지연에 의해 발생하는 주파수 변화(ft)와 도플러 효과에 의하여 발생하는 주파수 변화(fv)의 합과 차를 통하여 감지된 물체의 거리(R)와 속도 (vr)정보를 생성한다.

이때 도플러 효과에 의하여 발생하는 주파수 변화(doppler frequency) 값 fv 가 60~150Hz 범위에서 수렴 감지될 시 이는 사람의 흉상부위로 구분하여 정보를 저장하고 감지 대상의 거리(R)와 속도(vr) 정보를 획득할 시 속도(vr)는 1~10Km/h의 범위를 사람의 이동 속도로 한정하여 이를 통해 0~200Hz 범주 외 측정된 수치의 도플러 주파수 fv 는 노이즈로 처리한다. 이와 같이 사람의 흉상부위의 도플러 주파수 변화 값을 실제 측정 값을 통해 사람으로 구분될 수 있는 정보를 한정함으로써 정확도를 향상시킬 수 있도록 하고 이를 통해 오인식률을 개선할 수 있게 된다.

그리고 감지 대상의 거리에 따른 각각의 송신 신호와 수신 신호의 진폭(Amplitude), 너비(Duration), 첨두치(Peak level), 극성(Polarity), 상승 시간(Rise time)이 주파수 파형과 함께 저장되고, 주파수 파형과 함께 감지 대상이 사람인지 동물인지에 따라 분류되어 데이터베이스부(113)에 저장되며, 물체가 감지되면 전술한 과정이 수행되어 해당 감지 대상 거리에 따른 송신 신호와 수신 신호의 진폭(Amplitude), 너비(Duration), 첨두치(Peak level), 극성(Polarity), 상승 시간(Rise time) 및 주파수 파형을 데이터베이스부(113)의 분류되어 있는 각각의 데이터와 대비하여 감지 대상이 사람인지 동물인지 판단한다. 이때 주파수 대역 출력 시 각 진폭의 첨두치가 주파수 11Hz에서 142, 18Hz에서 77.9, 26Hz에서 65.5, 29Hz에서 74.6의 값을 가질 때 이를 사람의 기준 패턴 정보로 구분되어 저장될 수 있다.

진폭(Amplitude), 너비(Duration), 첨두치(Peak level), 극성(Polarity), 상승 시간(Rise time) 및 주파수 파형을 데이터베이스부(113)의 분류되어 있는 각각의 데이터는 감지 대상의 움직임이 사람인지 동물인지에 따라 분류될 수 있을 정도로 독특한 신호 파형의 시퀀스를 생성하고 이를 통하여 데이터베이스부(113)를 구축할 수 있다.

이에 더하여 심장과 호흡 시 발생하는 주파수에 마이크로웨이브를 방사하여 두 파의 상호 간섭 유도에 따른 파형을 통해 맥박수를 획득하여 저장할 수 있고, 저장한 정보를 바탕으로 사람의 맥박범위를 1분에 60~100회로 한정하여 비교할 수 있도록 하여 식별 대상이 사람인지의 여부를 구분할 수 있게 하여 결과의 오차를 최소화할 수 있도록 한다.

또한, 데이터베이스부(113) 구축 후에도 감지 대상이 누적될수록 상기의 데이터들이 메모리에 저장되고 이를 데이터베이스부(113)에 업데이트하여 사람과 동물을 식별하는 데에 신뢰성 향상의 효과가 있다.

정리하면, 센서제어부(114)는, 마이크로파 도플러 센서(117)의 송신 신호 및 수신 신호를 믹싱하여 물체의 주파수 파형을 생성하고, 생성한 물체의 주파수 파형을 데이터베이스에 저장하며, 마이크로파 도플러 센서(117)를 통해 생성되는 주파수 파형을, 데이터베이스에 저장되어 있는 주파수 파형과 대비하여 감지 대상 물체가 사람인지 판단한다. 센서제어부(114)는, 생성한 주파수 파형을 데이터베이스에 저장되어 있는 주파수 파형과 대비할 때, 물체와의 거리에 따른 송신 신호 및 수신 신호의 진폭(Amplitude), 너비(Duration), 첨두치(Peak level), 극성(Polarity) 및 상승 시간(Rise time)을 각각 대비하여 그 물체가 사람인 것을 판단한 후, 그 물체가 사람인 것으로 판단되면 침입 사실 정보를 생성한다.

6. 제6 실시예

본 발명에 따른 도플러 센서(117)를 더욱 상세히 설명하면 다음과 같다. 본 발명에 따른 도플러 센서(117)는, 먼저 감시하여야 할 구역을 향하도록 설치된 집광렌즈(미도시)와 집광렌즈에 의해 집광된 열 적외선의 파장을 걸러주는 열필터(미도시)를 포함할 수 있으며, 도플러 센서(117)는 열필터를 통한 적외선 에너지를 받아 신호를 발생할 수 있다. 도플러 센서(117)는, 계속하여 검출신호의 고주파 잡음을 제거하는 로우패스필터(LPF; Low pass Filter, 미도시)와 연결되고 신호를 증폭하는 증폭기(미도시)를 더 포함한다.

증폭기를 통한 신호는 아날로그 신호를 디지털화 하는 변환기(미도시)를 거치도록 한 후 마이콤(미도시)과 연결되며. 마이콤은 증폭기를 통과한 신호를 샘플잉홀드(Sampling/Hold) 회로(미도시)가 샘플링하도록 시간을 설정하고 주변온도에 따라 달라지는 열 에너지 분포 량의 변화량에 의한 한계범위(Threshold)를 설정할 수 있으며, TTL신호(Transistor Transistor Logic Pulse)가 정해진 계수를 초과하면 출력신호를 발생시킨다.

그리고 도플러 센서(117)는, 증폭기를 통해 입력되는 아날로그 신호 값이 마이콤에 의해 설정된 값을 초과하면 양(+)의 파형(positive pulse)이 발생하는 미분기(미도시)를 포함하고, 미분기에 의한 양(+)의 파형을 TTL신호로 변환하는 TTL 변환회로를 더 포함한다.

따라서 도플러 센서(117)는, 움직이는 물체가 특정구역 내로 들어오면 물체가 발산하는 열 적외선을 집광렌즈(미도시)를 통해 집광한 후 적외선 파장 열필터를 거쳐 검출한다.

도플러 센서(117)에서 검출되는 신호는 로우패스필터에 의하여 고주파 잡음이 제거된 다음 증폭기에 의하여 증폭되고 그 후 마이콤에서 설정한 샘플링(Sampling) 시간으로 샘플링홀드회로가 샘플링한 다음, 변환기(A/D Converter)에 의해 디지털 데이타(Digital Data)로 변환된다.

이것이 배경 열 분포 계수 Q0가 되는 것으로, 이러한 Q0는 배경 열 분포에 타 물체의 침입이 없는 한 일정범위에서 유지되나 사람이 특정구역에 침입하면 사람 열에너지가 배경 열에너지에 추가되어 진다.

이와 같은 열에너지 분포 량의 변화량은 주변온도에 따라 많이 달라지므로 따라서 한계범위설정도 주변온도에 따라 적당히 설정되어야 하며 이와 같은 조정은 마이콤이 처리하도록 한다.

이때, 도플러 센서(117)의 신호(아날로그)q는 특정구역 내에 사람의 침입으로 상승한다.

q의 상승이 qth의 값을 추월 증가하기 시작하면 시간 미분기가 작동하기 시작한다.

q가 시간에 따라 증가하면 시간 미분기에서 양(+)의 파형(Positive Pulse)가 생기며 이 펄스는 TTL 변환회로에 의하여 TTL 신호로 변환되어 마이콤에 입력된다.

마이콤은 이 펄스로 설정된 계수만큼 카운트하여 이 계수 이상 카운트 되면 오보가 아닌 사람의 출현으로 간주된다.

동시에 마이콤이 설정한 샘플링 타임마다 새로운 열 분포 계수 Qi가 계산되며 이 Qi는 이전의 열분포계수 Qi-1과 비교하여 증감을 계산한다.

ΔQ=(Qi - Qi-1)SR이 성립되면 Q의 변화가 없는 것으로 간주된다. 여기서 R은 오차의 Margin이다.

특정구역 내에 사람의 출현으로 인하여 q(t)가 상승, 한계범위레벨 qth를 초과 계속 상승 열 분포 계수가 새로 운 배경 열 QA가 도1의 증폭기, 샘플링 홀드회로, 변환기의 신호통로로 마이콤 계산 설정된다.

이 과정에서 마이콤은 미분기로 부터 발생되어 마이콤으로 입력된 TTL신호의 정해진 계산을 통과하였으므로 오보가 아니고 사람의 출현으로 간주되어 이 시간부터 출력신호를 내준다.

사람이 감시 지역에서 빠져나가면 새로운 Q값이 감소하기 시작하고 q신호가 qth, 한계범위로 계속 감소하면 미분기에서 음(-)의 파형(Negative pulse)가 발생하며 이 음(-)의 파형(Negative pulse)은 다시 TTL 신호로 변환되어 마이콤에 입력되며, 마이콤은 정해진 수만큼 계수 하여 사람이 특정구역에서 벗어나게 됨을 인식하며 이때 출력신호를 정지시켜준다.

이 방법은 타이머를 사용하지 않고 열 분포 계수의 계속적인 연산과 미분기에서 유도한 TTL 신호를 계수 사람의 입출 시점을 검출하여 자동 ON, OFF 하는 것이다.

본 발명에서 중요한 핵심 기술이라 할 수 있는 사람와 동물을 판별 할 수 있는 판단 논리 정수를 도출하기 위한 예로써, 다음과 같은 변수(Parameter)를 가정할 수 있다.

Vpp(감지전압; peak-to-peak Sensing Voltage)는 감지 생물체의 체온 및 체적(Volume)에 비례한다. 즉 사람의 체적은 대체적으로 동물의 체적보다 크므로 정지상태의 사람으로부터 방사되는 열적외선 에너지는 동물로부터 방사되는 열 적외선 에너지 보다 크므로 사람의 감지로 검출된 Vpp는 동물의 감지로부터 검출된 V'pp보다 크다.

V'pp는 동물을 감지했을 때의 감지전압이며, 차단전압 VT(Threshold Voltage)를 V'pp보다 높게 잡아주면 동물에 의한 오보를 제거 할 수 있다.

움직이는 사람 또는 동물로부터 방사되는 열 적외선 에너지 감지신호는 그 움직이는 생물체의 속도에 따라 그림1에서 표시한 α값이 변한다. α는 열 감지 신호의 증가율을 나타내며 dv/dt를 표시한다.

즉 빨리 움직이는 생물체로부터 감지된 열 감지 신호는 빠른 신호 증가율을 표시하게 될 것이다.

또한 차단 전압에 의하여 도출된 시간(Time)인 Tt의 값에 의하여 속도를 차별 할 수 있다.

즉 Tt는 빨리 움직이는 생물체로부터 VT에 의하여 계산된 시간이며 T't는 느리게 움직이는 물체의 열 적외선 에너지 감지신호가 미리 설정된 차단 전압 VT에 의하여 계산된 시간이다. Tt는 T't보다 작으므로 움직이는 물체의 속도를 구분 할 수 있다.

이와 같이 특정구역에 침입한 생물체의 사람과 동물 구별은 검출된 열 적외선 에너지 신호의 파형을 분석하여 상기한 Vpp, α, Tt의 값 등에 의해서 구별할 수 있다.

즉 일반적으로 동물의 움직임은 사람보다 빠르다고 가정 할 수 있으며 열 적외선 감지 신호는 사람의 것보다 작다고 가정 할 수 있다. 또한 낙엽 등, 기타 주변 잡물의 자연이동에 의한 오보는 전술한 동물에 의한 오보방지에 의해 모두 처리된다.

7. 제7 실시예

한편, 본 발명에 따른 센서부(110)는, 전술한 바와 같이 특정구역을 향해 배치되어 특정구역에 접근한 물체를 감지할 수 있다.

본 발명에 따른 센서부(110)는 일 실시예로서, 2개의 PIR 센서(115)를 구비할 수 있으며, 이 2개의 PIR 센서(115)들은 각각이 서로 다른 방향을 향하도록 배치되며 특정구역에서는 각각의 PIR 센서(115)들이 바라보고 있는 특정구역들이 중첩되도록 방향이 설정될 수 있다.

이때, 특정구역 내 진입하는 물체가 특정구역 근방을 지나갈 때, 제1 PIR 센서(115)의 감시영역인 제1 특정구역의 외부로 지나가면, 센서부(110)에서는 어떠한 감지 신호도 출력하지 않는다.

한편, 다른 물체 특정구역 근방을 지나갈 때, 제1 특정구역을 통과하게 되면, 센서부(110)에서는 제1 PIR 센서(115)에서만 물체의 움직임을 감지하게 되어 대응하는 신호(즉, 제1 감지 신호)를 출력하게 된다. 이 경우는, 정상적인 물체가 단순히 특정구역을 지나치는 것으로 판단될 수 있어서, 어떠한 경보도 출력되지 않는다. 이때의 정상적인 물체는 동물로 간주될 수 있다.

만일, 또 다른 물체가 특정구역을 향해 접근할 때, 제1 특정구역을 통과한 후 제2 특정구역에서도 움직임이 감지될 수 있다. 따라서 제1 PIR 센서(115)에서 제1 감지 신호가 출력된 후에 이어서 제2 PIR 센서(115)에서 물체의 움직임에 대응하는 신호(즉, 제2 감지신호)가 출력될 것이다. 이 경우 그 물체는 사람으로 판단되어, 센서제어부(114)는 침입 사실 정보를 생성한다.

한편, 동물은, 일반적으로, 사람이 별로 다니지 않는 길 또는 방향을 통해 특정구역에 접근할 것이다. 따라서 이러한 접근 방식은, 동물이 제2 특정구역에 먼저 감지되고 이어서 제1 특정구역에서 감지되도록 할 것이다. 제2 특정구역의 밖에 있는 동물은 제2 PIR 센서(115)에 의해 감지되지 않을 것이다.

제2 특정구역에 들어온 동물은 오직 제2 PIR 센서(115)에서만 감지되고, 이때는 제2 감지 신호만 출력될 것이다. 이 경우, 동물이 감시 지점으로 접근하지 않도록, 전술한 바와 같이, 스피커부(130)에 의한 초음파 경보가 출력될 수 있다.

한편, 동물이 특정구역에 도달하면, 동물은 제2 PIR 센서(115)뿐만 아니라 제1 PIR 센서(115)에도 동시에 감지될 것이므로, 제1 감지 신호와 제2 감지 신호가 동시에 출력될 것이다.

제1 PIR 센서(115)와 제2 PIR 센서(115)는, 특정구역 내 소정의 감시영역에서 움직이는 물체가 감지되면 대응하는 신호를 생성할 수 있다. 예를 들면, 제1 PIR 센서(115)와 제2 PIR 센서(115)는 동물의 몸에서 방출되는 적외선을 감지하는 센서를 포함할 수 있으며, 적외선이 감지되면 출력하는 신호 파형(이하, 각각, 제1 감지 신호 및 제2 감지 신호)을 로우(low)에서 하이(high)로 또는 하이에서 로우로 전환하도록 동작할 수 있다.

또한, 일 실시예에서, 제1 PIR 센서(115)와 제2 PIR 센서(115)는, 물체의 움직임이 감지되는 경우에, 소정지연 시간의 하이와 소정 블록시간의 로우로 구성된 사이클이 반복되는 형태로 신호를 출력할 수 있다. 예를 들면, 물체의 움직임이 감지되지 않는 경우에는 로우 파형을 출력하고(또는, 신호 출력이 없음), 감시영역에서 물체가 움직이고 있는 동안에는 2.5초 동안 연속으로 하이를 출력하고 그 다음 0.5초 동안 로우로 전환되고(이것을 1 사이클로 정의함), 그 후 다시 하이로 전환되어 2.5초 동안 연속으로 유지되고 다시 로우로 전환되어 0.5초 동안 유지하는, 사이클 단위로 감지 신호를 출력할 수 있다.

여기서, 물체의 움직임을 감지하여 하이를 출력하는 시간을 지연 시간이라고 정의하고, 물체의 움직임이 감지되고 있더라도 로우로 전환되어 유지하는 시간을 블록시간이라고 정의한다. 1 사이클을 구성하는 지연 시간과 블록시간은 임의로 설계 및 변경될 수 있다.

물체의 움직임이 감지되어 하이가 출력되는 도중에 물체의 움직임이 감지되지 않으면, 제1 및/또는 제2 PIR 센서(115)는 즉시 로우로 전환될 수 있다.

본 발명에서, 제1 PIR 센서(115)와 제2 PIR 센서(115)는 서로 다른 방향을 바라보도록 또는 서로 다르게 설정된 감시영역을 바라보도록 배치될 수 있다. 특히, 본 발명의 제1 PIR 센서(115)와 제2 PIR 센서(115)는, 감시영역이 일부 중첩하도록 설정되는 것이 바람직하며, 그 중첩된 영역은 물체가 접근할 가능성이 높은 지점(즉, 특정구역)을 포함하는 것이 바람직하다. 따라서, 특정구역에서 사람과 동물은 반드시 제1 PIR 센서(115)와 제2 PIR 센서(115)에 동시에 감지될 것이다.

스피커부(130)는, 전술한 바와 같이, 사람이 들을 수 있는 주파수 대역의 소리와 동물이 들을 수 있는 주파수 대역의 소리를 출력할 수 있다.

스피커부(130)는, 가청 경보 방송으로서 출력하거나 또는 동물을 막을 수 있는 경고음을 동물이 들을 수 있는 주파수 대역의 음향으로 출력할 수도 있다.

센서제어부(114)는, 제1 및/또는 제2 감지 신호에 근거하여 사람과 동물을 구분하여 감지하고, 센서제어부(114)는 감지된 대상에 적합한 경보를 출력하도록 스피커부(130)를 제어할 수 있다.

예를 들면, 센서제어부(114) 및/또는 센서제어부(114)는, 제2 특정구역에서 움직이는 물체가 감지되어 제2 감지 신호가 발생한 경우에는 동물이 감시 지점에 접근하고 있는 것으로 간주하고, 초음파 경보를 출력하도록 스피커부(130)의 동작을 제어할 수 있다.

또한, 특정구역 내에서 움직이는 물체가 감지되어 제1 감지 신호와 제2 감지 신호가 동시에 발생한 경우에는 사람이 감시 지점에 접근하고 있는 것으로 간주하여, 침입 사실 정보를 생성할 수 있다.

8. 제8 실시예

도 12는 본 발명의 일 실시예에 따른 센서부(110)의 각 구성을 보여주는 도면이다.

본 발명에 따른 카메라 센서(116)는, 일 실시예로서 도 12를 참조하면, 전술한 ToF 카메라(1161)와 함께 열상 카메라(1162)를 더 포함하여 PIR 센서(115)에 의해 감지된 물체가 사람으로 판단되었을 때, 그 사람의 영상을 더욱 정확히 촬영할 수 있다.

본 발명에 따른 센서부(110)가 포함하는 카메라 센서(116)는, ToF 카메라(1161) 및 열상 카메라(1162)를 포함할 수 있다. 이때 ToF 카메라(1161)는 제1 카메라일 수 있고, 열상 카메라(1162)는 제2 카메라일 수 있다. 또한 제1 카메라 및 제2 카메라는 동일 장면을 상이한 방향에서 촬영하여 영상 정보를 제공하는 서로 다른 특성의 카메라일 수 있다. 제1 카메라 및 제2 카메라는 팬틸트줌(PTZ) 기능을 구비하고, 함께 패닝 및 틸팅되면서 각각의 줌 배율로 동일 지점의 영상을 획득할 수 있다.

제1 카메라는, 촬영된 장면 내 각 물체 간의 거리정보 및/또는 카메라로부터 각 물체까지의 거리 정보를 제공하는 거리 영상(깊이 영상)인 제1 영상을 생성할 수 있다. 제1 카메라는 주변 환경 또는 장면(공간)을 촬영하고, 장면 내에 존재하는 다양한 물체(예를 들어, 벽, 장애물 등의 정적 물체나 사람, 동물 등의 동적 물체)를 포함하여 장면의 깊이 정보를 실시간으로 획득하는 깊이 카메라로 구현될 수 있다.

제2 카메라는, 상세하게는, 열상 카메라(1162)일 수 있으며, 물체가 발산하는 복사 에너지(열에너지)를 감지하여 전자파의 일종인 적외선 파장 형태로 검출하고, 열에너지의 강도를 측정하여 강도에 따라 각각 다른 색상을 나타내는 열 영상인 제2 영상을 생성할 수 있다.

제1 카메라는 직하 방식(탑-뷰(Top-view) 방식)으로 위에서 아래를 바라보도록 배치되어 탑-뷰 영상을 획득하는 ToF 카메라(1161)일 수 있고, 제2 카메라는 제1 카메라의 화각 영역을 사선에서 촬영하도록 배치되어 사이드-뷰 영상을 획득하는 열상 카메라(1162)일 수 있다.

센서제어부(114)는 ToF 카메라(1161)로부터의 거리 영상과 열상 카메라(1162)로부터의 열 영상에 대해 노이즈 제거 등 영상 신호 처리할 수 있다.

센서제어부(114)는 거리 영상에서 사람 또는 사람 유사 물체의 적어도 일부를 검출한다. 센서제어부(114)는 사람으로 예측되는 영역에서 신체 일부(예를 들어, 얼굴, 목, 손, 발 등)에 해당하는 영역을 추출한다. ToF 카메라(1161)와 열상 카메라(1162)는 교정(Calibration)되어, 센서제어부(114)는 거리 영상에서 검출된 영역들에 대응하는 후보 영역을 열 영상에서 검출하고, 열상 카메라(1162)를 통해서 후보 영역의 온도를 검출함으로써 검출된 물체가 사람인지 혹은 사람과 유사한 사물인지를 판별할 수 있다.

센서제어부(114)는 교정부(미도시), 검출부(미도시) 및 계수부(미도시)를 포함한다.

교정부는 교정(calibration) 수행에 의해, ToF 카메라(1161) 및 열상 카메라(1162) 간의 상관 관계를 산출한다. 교정부는 ToF 카메라(1161)와 열상 카메라(1162) 간의 위치 관계를 나타내는 상관 관계를 산출한다. 교정부는 ToF 카메라(1161)가 획득한 거리 영상과 열상 카메라(1162)가 획득한 열 영상 간의 대응점 매칭에 의해 ToF 카메라(1161)와 열상 카메라(1162) 간의 병진(t) 및 회전량(R)에 관한 변환 행렬, 열상 카메라(1162)의 투영 행렬(P, projection metrix)을 상관 관계로서 산출할 수 있다.

검출부는 상관 관계를 이용하여 ToF 카메라(1161)가 획득한 거리 영상에서 물체를 검출하고, 검출한 물체에 대응하는 적어도 하나의 후보 영역을 열상 카메라(1162)가 획득한 열 영상에서 검출한다.

검출부는 거리 영상에서 PIR 센서(115)로부터 특정구역 내 진입이 감지된 사람이 존재하는 영역을 검출하고, 검출된 영역에서 머리 영역 및 그 외 신체 부분을 검출할 수 있다. 검출부는 거리 영상에서 검출된 영역에 대응하는 후보영역을 열 영상에서 검출할 수 있다.

계수부는 적어도 하나의 후보 영역의 온도를 기초로 거리 영상에서 검출된 물체가 사람인지 여부를 다시 판단한다. 계수부는 후보 영역에서 체온이 감지되면 사람으로 판별하고, 그렇지 않은 경우 사물로 판단한다. 계수부는 사람에 대해서만 계수함으로써 계수 정확도를 높일 수 있다.

계수부는 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하고, 선택된 온도 감지 영역의 온도가 기준 온도 범위에 속하는 경우 그 물체를 사람으로 판단할 수 있다. 계수부는 다수의 후보 영역 중 적어도 하나의 온도 감지 영역으로 선택하고, 적어도 하나의 후보 영역 내의 적어도 일부가 기준 온도 범위에 속하면 그 물체를 사람으로 판단할 수 있다. 계수부는 선택된 온도 감지 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 그 물체를 사람으로 판단할 수 있다.

기준 온도 범위는 통상적인 사람의 체온인 35~41도 범위에서 의류 및 머리카락에 의한 열손실 및 열상 카메라(1162)의 오차 범위를 고려하여 25~41도로 설정될 수 있다. 기준 비율은 50% 이상으로 설정되어, 온도 감지 영역 전체에서 기준 온도 범위를 만족하는 영역이 50% 이상이면 물체가 사람으로 판단될 수 있다. 기준 온도 범위 및 기준 비율은 카메라의 설치 위치를 고려하여 사용자에 의해 가변적으로 설정될 수 있다.

검출부는 스켈레톤(Skeleton) 기법에 의해 거리 영상에서 골격 정보를 획득한다. 검출부는 골격(Skeleton) 정보를 이용하여 머리, 손, 다리, 발 등의 신체 부위에 대응하는 적어도 하나의 국소 특징 영역을 검출할 수 있다.

검출부는 ToF 카메라(1161)와 열상 카메라(1162) 간의 상관 관계를 이용하여 열 영상에서 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출할 수 있다.

또한 사람의 체온은 옷이나 작업복을 통해서도 복사가 이루어지므로, 신체의 일부에 대한 열 영상 분석이 아닌, 골격 정보를 그대로 활용하여 전체적인 사람의 열 영상을 분석할 수도 있다. 또한, 머리 외에 팔, 다리 등을 포함하는 전체적인 골격 정보가 아니라, 머리와 어깨의 골격 정보만을 추출하여 해당 열 영상을 분석할 수도 있다.

9. 제9 실시예

본 발명에 따른 카메라 센서(116)는, 일 실시예로서, 소정 주파수의 광을 조사한 후, 광이 대상물에 반사되어 비춰지는 모습을 카메라로 촬영하게 되는데, 이 때 소정 주파수의 광은 적외선일 수 있고, 이 중 특히 근적외선일 수 있다.

센서제어부(114)는, 카메라 센서(116)로부터 수신한 촬영된 영상을 이진화하여 이진화 영상을 획득할 수 있다. 이진화(binarization) 영상의 모든 픽셀은 오직 흑과 백으로만 표시된다. 이를 위한 기준으로 소정 임계값을 기초로 낮은 값을 가지는 픽셀은 흑으로, 높은 값을 가지는 픽셀은 백으로 표현할 수 있다. 소정 임계값은, 모든 픽셀들의 밝기 값의 평균을 이용하거나 iterative selection, tow peak 방법 등 여러 가지 방법을 사용할 수 있다. 또는 사용자가 직접 임계값을 정하여 사용할 수도 있다.

또한, 센서제어부(114)는, 이진화 영상에 대해 침식(erosion)과 팽창(dilation) 연산을 수행하여 이진화 영상의 노이즈를 제거한다. 즉, 침식 연산을 통해 피사체 영역에 대해 배경 영역을 확장시키고 피사체의 크기를 축소하여 피사체 영역 주변의 노이즈 성분을 제거 혹은 축소한다. 그리고 작아진 피사체 이미지의 크기를 복원하기 위해 팽창 연산을 통해 피사체의 크기를 확장하고 배경은 축소한다.

이러한 과정을 통해 얻어진 대상물, 즉 물체는 주변에 비하여 높은 휘도를 가진 영역으로 표시된다. 이를 토대로 하여 사람 또는 동물을 검출할 수 있다.

센서제어부(114)는, 촬영된 영상 내에 위험 요소가 될 대상물로서, 주변과 구별되는 고휘도로 표시되는 대상물이 존재하는 것으로 감지되면, 그 부분을 추출한다. 이렇게 추출된 영역을 이하에서는 대상물 영역이라 칭하기로 한다.

본 발명의 일 실시예로서, 대상물 영역은 직사각형의 형태로 추출될 수 있다. 고휘도의 픽셀과 저휘도의 픽셀이 서로 근접해 있는 지점이 대상물의 형상을 나타내는 경계선으로 파악될 것이다. 여기에서 이러한 경계선과 접하는 세로 및 가로선들 중 최외곽 직선들끼리 접한 지점을 네 꼭지점으로 하는 직사각형을 대상물 영역으로 추출하거나, 또는 이 직사각형 영역보다 상하, 좌우로 약간의 여유 공간을 더 포함하는 직사각형을 대상물 영역으로 추출할 수도 있다. 이에 따라 센서제어부(114)는, 카메라 센서(116)가 촬영한 영상을 기초로 이진화 영상을 획득함에 따라 PIR 센서(115)가 감지한 물체를 분석하는 것을 더욱 용이하게 할 수 있다.

10. 제10 실시예

본 발명에 따른 무인 감시 장치(100)는, 일 실시예로서, 특정구역에서 감지된 물체가 동물일 때, 그 동물이 어느 종의 동물인 지 판단할 수 있다.

카메라 센서(116)는, 전술한 바와 같이, 특정구역 즉 사람 또는 동물이 출몰하는 지역에 설치되어 출몰하는 해당 동물을 촬영하여 영상을 획득한다.

특히, 본 발명에 따른 카메라 센서(116)는 복수의 카메라가 상이한 방향으로 구비되어 사각지대 없이 360도 방향에서 출몰할 수 있는 동물을 촬영할 수 있다.

센서제어부(114)는 카메라 센서(116)가 획득한 동물 영상을 수신하여, 해당 영상을 분석하여 동물 출몰 여부를 판단한다.

센서제어부(114)는 카메라 센서(116)가 계속해서 영상을 촬영하면서 물체의 움직임이 포착된 경우 이벤트가 발생한 것으로 판단하여 카메라 센서(116)로부터 이벤트 발생영상을 수신한다.

센서제어부(114)는 수신한 이벤트 발생영상에 대해 딥러닝을 통해 영상 속에서 동물들의 특징값을 추출하여 포착된 움직이는 물체가 동물 인지 여부를 판단한다.

데이터베이스부(113)에는 멧돼지, 고라니 등 동물과 관련된 생김새, 크기, 움직임, 4족 보행, 먹이감을 발견했을 때의 특징적인 행동, 특히 특정 농작물을 대해 보이는 행동패턴, 즉 발의 움직임, 주둥이의 움직임 등이 저장되어 있다.

또한 데이터베이스부(113)에는 센서제어부(114)가 이벤트 발생영상에서 동물 여부를 판단하기 위해 사용하는 딥러닝 알고리즘이 저장되어 있다.

카메라 센서(116)는 특정구역에 설치되어 촬영한다. 이때, 카메라 센서(116)는 복수의 카메라가 사각지대 없이 촬영할 수 있도록 상이한 방향을 촬영하는 것이 바람직하고, 더 나아가 야간에도 동물의 출몰을 촬영하기 위한 적외선 촬영이 가능한 것이 바람직하다.

카메라 센서(116)는 자체적으로 촬영한 영상에서 이동물체의 움직임을 포착한 경우 이벤트가 발생한 것으로 판단한다.

카메라 센서(116)는 계속해서 영상을 촬영하면서 물체의 움직임이 포착된 경우 이벤트가 발생한 것으로 판단하여 촬영한 영상을 센서제어부(114)로 송신한다.

센서제어부(114)는 카메라 센서(116)로부터 수신한 이벤트 발생영상을 분석하여 동물 여부를 판단한다. 보다 구체적으로 센서제어부(114)는 데이터베이스부(113)에 저장된 동물의 각종 특징들을 기초로 데이터베이스부(113)에 저장된 딥러닝 알고리즘을 이용하여 이벤트 발생 영상 속 움직이는 물체가 사람인지, 동물인지, 또는 바람에 의해 움직임이 발생한 단순한 물체인지 판단한다.

센서제어부(114)는 카메라 센서(116)로부터 실시간으로 이벤트 발생영상을 전달받고, 이벤트 발생영상에서 딥러닝 CNN(Convolution Neural Network) 기법을 사용하여 특징값을 추출하고, 데이터베이스부(113)에 저장된 동물의 특징들과 비교하여 동물 존재 유무를 검지한다.

센서제어부(114)는, 일 실시예로서, 딥러닝의 CNN 기법에서 모바일넷(mobilenet)을 사용한 SSD(Single-Shot Detector) 모델을 기반으로 동물 여부를 검출할 수 있다.

본 발명은 종래 알렉스넷 모델보다 객체 검출속도가 빠른 모바일넷을 사용한 SSD 모델을 사용하여 센서제어부(114)에서 동시에 처리할 수 있는 이벤트 발생영상의 개수를 증가시킬 수 있고, 카메라 센서(116)의 복수의 카메라가 촬영한 다양한 각도의 영상을 모두 학습시켜 동물의 검출 정확도를 향상시킬 수 있다.

모바일 넷을 사용한 SSD 모델은 채널 방향과 너비/높이(width/height) 방향의 컨볼루션을 분리하는 DSC(Depthwise Separable Convolution) 포함하고, 종래 standard convolution 사용하는 네트워크 약 1/8 정도로 연산량 감소시킬 수 있다.

센서제어부(114)는 모바일넷을 사용한 SSD 모델을 기반으로 동물 이미지만 학습시키고, 이에 따라 이벤트 발생영상에서 동물을 검출할 수 있다.

센서제어부(114)는 모바일넷을 사용한 SSD 모델을 기반으로 이벤트 발생 영상에서 동물을 검출하고, 동물이 검출되면, 동물의 위치와 영역을 획득하며, 해당 위치영역에 대한 색상 히스토그램을 생성한다.

여기서, 색상 히스토그램은 주간에는 이벤트 발생영상으로부터 추출된 프레임의 RGB를 포함하는 컬러 이미지이지만, 야간에는 색상 구분이 어려워 그레이(Grey) 계열의 이미지를 이루어 생성된 히스토그램의 색상이 달라질 수 있음을 의미한다.

또한, 센서제어부(114)는 동물이 검출되면, 검출된 동물 영역의 히스토그램, 동물 영역의 위치 및 동물 영역의 크기를 기반으로 구성된 특징값을 추출하며 각각의 검출영상에서 검출영역의 특징값을 비교하여 동물 존재 유무를 검지한다.

센서제어부(114)는 다음 이벤트 발생영상의 입력시 전술한 방법으로 특징값을 구성하며, 여상의 현재 프레임과 다음 프레임의 특징값을 비교하여 히스토그램 유사도를 산출한다.

센서제어부(114)는 전술한 바와 같은 데이터베이스부(113)에 저장된 동물에 대한 정보를 가지고 고양이, 강아지, 닭, 소, 돼지 등과 같은 애완동물 또는 가축과 구별하여 동물 여부를 좀 더 정확하게 판단할 수 있다.

센서제어부(114)는, 동물 여부 판단에 따라 움직이는 물체가 동물인 경우와 동물이 아닌 경우 영상의 특징을 데이터베이스부(113)에 저장하고, 데이터베이스부(113)에 저장된 딥러닝 알고리즘의 학습을 통해 동물 판단을 위한 알고리즘을 지속적으로 업데이트함으로써 동물 여부의 판단 정확도를 향상시킬 수 있다.

11. 제11 실시예

한편, 본 발명에 따른 센서제어부(114)는, 다른 일 실시예로서, PIR 센서(115)가 감지한 동물이 어느 동물인지 판단할 수 있다. 상세하게는 다음과 같다.

본 발명에 따른 센서제어부(114)는, 일 실시예로서, 카메라 센서(116)가 촬영한 동물의 안면이 포함된 제1 이미지를 획득할 수 있다. 센서제어부(114)는 제1 이미지로부터 촬영한 동물의 종에 대한 제1 정보 및 제1 이미지 내의 관심 영역을 포함하는 제2 이미지를 획득할 수 있다. 센서제어부(114)는 획득한 제1 정보 및 제2 이미지를, 전술한, 데이터베이스부(113)에 송신할 수 있다. 센서제어부(114)는 데이터베이스부(113)에 송신한 제1 정보 및 제2 이미지에 기초하여 데이터베이스부(113)로부터 촬영한 동물의 개체 정보를 수신할 수 있다. 여기서 동물의 개체 정보는 동물의 종, 성별, 특이점 중 적어도 어느 하나를 포함할 수 있다. 또한, 동물의 개체 정보는 동물의 주인의 이름, 연락처, 주소 중 적어도 어느 하나를 포함할 수도 있다. 이러한 동물의 개체 정보는 촬영한 동물의 주인을 확인하는데 사용될 수 있다. 전술한 동물의 개체 정보는 예시일 뿐이며, 본 개시는 이에 제한되지 않는다.

다음으로, 본 발명에 따른 데이터베이스부(113)는 센서제어부(114)로부터 제1 정보 및 제2 이미지를 수신할 수 있다. 데이터베이스부(113)는 제1 정보 및 제2 이미지에 기초하여 데이터베이스부(113)의 메모리에 저장된 제1 비문 이미지를 검색할 수 있다. 데이터베이스부(113)는 검색한 비문 이미지에 맵핑(mapping)된 개체 정보를 획득할 수 있다. 데이터베이스부(113)는 맵핑된 개체 정보를 센서제어부(114)에 송신할 수 있다. 전술한 데이터베이스부(113)가 제1 정보 및 제2 이미지에 기초하여 동물의 개체 정보를 센서제어부(114)에 송신하는 방법은 예시일 뿐이며, 본 개시는 이제 제한되지 않는다.

센서부(110)는 영상 정보의 입력을 위하여, 하나 또는 복수의 카메라 센서(116)를 구비할 수 있다. 카메라 센서(116)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 처리된 화상 프레임은 메모리에 저장될 수 있다.

한편, 센서제어부(114)에 구비되는 복수의 카메라 센서(116)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라 센서(116)를 통하여, 센서제어부(114)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다.

본 발명에 따른 카메라 센서(116)는 동물의 안면이 포함된 제1 이미지를 획득할 수 있다. 여기서 제1 이미지는 영상 이미지 또는 프리뷰 이미지일 수 있다. 전술한 제1 이미지는 예시일 뿐이며, 본 개시는 이제 제한되지 않는다.

제1 이미지는 카메라 센서(116)가 촬영한 동물의 종에 대한 제1 정보를 획득하기 위해 이용될 수 있다. 또한, 제1 이미지는 촬영된 동물의 코를 포함하는 제1 영역 내에서 관심 영역을 포함하는 제2 이미지를 추출하기 위해 이용될 수 있다.

카메라 센서(116)가 획득한 제1 이미지는 메모리에 저장될 수 있다. 또한, 제1 이미지는 데이터베이스부(113)에 전송될 수도 있다.

본 발명에 따른 센서제어부(114)는 메모리에 저장된 컴퓨터 프로그램을 판독하여 제1 이미지로 부터 카메라 센서(116)가 촬영한 동물의 종에 대한 제1 정보 및 제1 이미지 내에서 관심 영역을 포함하는 제2 이미지를 추출할 수 있다.

본 발명에 따른 센서제어부(114)는 신경망의 학습을 위한 계산을 수행할 수 있다. 센서제어부(114)는 딥러닝(DN: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피쳐(feature) 추출, 오차계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.

센서제어부(114)의 CPU, GPU, 및 TPU 중 적어도 하나가 모델의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPU가 함께 모델의 학습, 모델을 이용하여 촬영한 동물의 종에 대한 제1 정보의 획득 및 제1 이미지 내에서 관심 영역을 포함하는 제2 이미지의 추출에 대한 연산을 처리할 수 있다. 또한, 본 발명에 따른 일 실시예로서, 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 모델의 학습, 모델을 통한 제1 정보의 획득 및 제2 이미지의 추출 중 적어도 하나에 대한 연산을 처리할 수 있다. 또한, 본 발명의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPU 또는 TPU 실행가능 프로그램일 수 있다.

본 발명에 따른 일 실시예로서, 센서제어부(114)는 CPU, GPU, 및 TPU 중 적어도 하나를 이용하여 모델을 분산하여 처리할 수 있다. 또한 본 발명에 따른 일 실시예로서, 센서제어부(114)는 다른 컴퓨팅 장치와 함께 모델을 분산하여 처리할 수 있다.

본 발명에 따른 센서제어부(114)는 카메라 센서(116)로부터 촬영된 동물의 안면이 포함된 제1 이미지를 획득할 수 있다.

구체적으로, 센서제어부(114)는 이미지 촬영 명령에 기초하여 카메라 센서(116)로부터 촬영된 동물의 안면이 포함된 제1 이미지를 획득할 수 있다. 여기서 제1 이미지는 영상 이미지 또는 프리뷰 이미지일 수도 있다.

다음으로, 센서제어부(114)는 제1 이미지를 사전 학습된 종 분류 모델에 입력하여 촬영된 동물의 종에 대한 제1 정보를 획득할 수 있다.

본 명세서에 걸쳐, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 신경망을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다. 딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크 (CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등 을 포함할 수 있다.

컨벌루셔널 뉴럴 네트워크는 딥 뉴럴 네트워크의 일종으로서, 컨벌루셔널 레이어를 포함하는 신경망을 포함한다. 컨벌루셔널 뉴럴 네트워크는 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptorns)의 한 종류이다. CNN은 하나 또는 여러 개의 컨벌루셔널 레이어와 이와 결합된 인공 신경망 계층들로 구성될 수 있다. CNN은 가중치와 풀링 레이어(pooling layer)들을 추가로 활용할 수 있다.

이러한 구조 덕분에 CNN은 2 차원 구조의 입력 데이터를 충분히 활용할 수 있다. 컨벌루셔널 뉴럴 네트워크는 이미지에서 오브젝트를 인식하기 위하여 사용될 수 있다. 컨벌루셔널 뉴럴 네트워크는 이미지 데이터를 차원을 가진 행렬로 나타내어 처리할 수 있다. 예를 들어 RGB(red-green-blue)로 인코딩 된 이미지 데이터의 경우, R, G, B 색상별로 각각 2차원(예를 들어, 2 차원 이미지 인 경우) 행렬로 나타내 질 수 있다. 즉, 이미지 데이터의 각 픽셀의 색상 값이 행렬의 성분이 될 수 있으며 행렬의 크기는 이미지의 크기와 같을 수 있다. 따라서 이미지 데이터는 3개의 2차원 행렬로(3차원의 데이터 어레이)로 나타내질 수 있다.

컨벌루셔널 뉴럴 네트워크에서 컨벌루셔널 필터를 이동해가며 컨벌루셔널 필터와 이미지의 각 위치에서의 행렬 성분끼리 곱하는 것으로 컨벌루셔널 과정(컨벌루셔널 레이어의 입출력)을 수행할 수 있다. 컨벌루셔널 필터는 n*n 형태의 행렬로 구성될 수 있다. 컨벌루셔널 필터는 일반적으로 이미지의 전체 픽셀의 수보다 작은 고정된 형태의 필터로 구성될 수 있다. 즉, m*m 이미지를 컨벌루셔널 레이어(예를 들어, 컨벌루셔널 필터의 사이즈가 n*n인 컨벌루셔널 레이어)입력시키는 경우, 이미지의 각 픽셀을 포함하는 n*n 픽셀을 나타내는 행렬이 컨벌루셔널 필터와 성분 곱 (즉, 행렬의 각 성분끼리의 곱) 될 수 있다. 컨벌루셔널 필터와의 곱에 의하여 이미지에서 컨벌루셔널 필터와 매칭되는 성분이 추출될 수 있다. 예를 들어, 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터는 [[0,1,0], [0,1,0], [0,1,0]] 와 같이 구성될 수 있다. 이미지에서 상하 직선 성분을 추출하기 위한 3*3 컨벌루셔널 필터가 입력 이미지에 적용되면 이미지에서 컨벌루셔널 필터와 매칭되는 상하 직선 성분이 추출되어 출력될 수 있다. 컨벌루셔널 레이어는 이미지를 나타낸 각각의 채널에 대한 각각의 행렬(즉, R, G, B 코딩 이미지의 경우, R, G, B 색상)에 컨벌루셔널 필터를 적용할 수 있다. 컨벌루셔널 레이어는 입력 이미지에 컨벌루셔널 필터를 적용하여 입력 이미지에서 컨벌루셔널 필터와 매칭되는 피쳐를 추출할 수 있다. 컨벌루셔널 필터의 필터 값(즉, 행렬의 각 성분의 값)은 컨벌루셔널 뉴럴 네트워크의 학습 과정에서 역전파에 의하여 업데이트 될 수 있다.

컨벌루셔널 레이어의 출력에는 서브샘플링 레이어가 연결되어 컨벌루셔널 레이어의 출력을 단순화하여 메모리 사용량과 연산량을 줄일 수 있다. 예를 들어, 2*2 맥스 풀링 필터를 가지는 풀링 레이어에 컨벌루셔널 레이어의 출력을 입력시키는 경우, 이미지의 각 픽셀에서 2*2 패치마다 각 패치에 포함되는 최대값을 출력하여 이미지를 압축할 수 있다. 전술한 풀링은 패치에서 최소값을 출력하거나, 패치의 평균값을 출력하는 방식일 수도 있으며 임의의 풀링 방식이 본 개시에 포함될 수 있다.

컨벌루셔널 뉴럴 네트워크는 하나 이상의 컨벌루셔널 레이어, 서브 샘플링 레이어를 포함할 수 있다. 컨벌루셔널 뉴럴 네트워크는 컨벌루셔널 과정과 서브샘플링 과정(예를 들어, 전술한 맥스 풀링 등)을 반복적으로 수행하여 이미지에서 피쳐를 추출할 수 있다. 반복적인 컨벌루션널 과정과 서브샘플링 과정을 통해 뉴럴 네트워크는 이미지의 글로벌 피쳐를 추출할 수 있다.

컨벌루셔널 레이어 또는 서브샘플링 레이어의 출력은 풀 커넥티드 레이어(fully connected layer)에 입력될 수 있다. 풀 커넥티드 레이어는 하나의 레이어에 있는 모든 뉴런과 이웃한 레이어에 있는 모든 뉴런이 연결되는 레이어이다. 풀 커넥티드 레이어는 뉴럴 네트워크에서 각 레이어의 모든 노드가 다른 레이어의 모든 노드에 연결된 구조를 의미할 수 있다.

본 발명에 따른 일 실시예로서, 이미지 데이터의 세그먼테이션(segmentation)을 수행하기 위하여 뉴럴 네트워크는 디컨벌루셔널 뉴럴 네트워크(DCNN: deconvolutional neural network)를 포함할 수 있다. 디컨벌루셔널 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크를 역방향으로 계산시킨 것과 유사한 동작을 수행한다. 디컨벌루셔널 뉴럴네트워크는 컨벌루셔널 뉴럴 네트워크에서 추출된 피쳐를 원본 데이터와 관련된 피쳐맵으로 출력할 수 있다.

본 발명에 따른 일 실시예로서, 사전 학습된 종 분류 모델은 컨벌루셔널 뉴럴 네트워크에 해당하며, 센서제어부(114)는 상술한 컨벌루션 뉴럴 네트워크를 이용하여 촬영된 동물의 종을 인식할 수 있다.

사전 학습된 종 분류 모델은 사전 학습된 네트워크 함수로서 이는 교사 학습(supervised learning), 비 교사 학습(unsupervised learning) 및 반교사학습(semi supervised learning) 중 적어도 하나의 방식으로 학습될 수 있다.

네트워크 함수의 학습은 출력의 오류를 최소화하기 위한 것이다. 네트워크 함수의 학습에서 반복적으로 학습 데이터를 네트워크 함수에 입력시킨다. 네트워크 함수의 학습에서 학습 데이터에 대한 네트워크 함수의 출력과 타겟의 에러를 계산한다. 네트워크 함수의 학습에서 에러를 줄이기 위한 방향으로 네트워크 함수의 에러를 네트워크 함수의 출력 레이어에서부터 입력 레이어 방향으로 역전파하여 네트워크 함수의 각 노드의 가중치를 업데이트 할 수 있다.

본 발명에 따른 일 실시예로서, 종 분류 모델은 전술한 네트워크 함수일 수 있다.

본 발명에 따른 일 실시예로서, 종 분류 모델을 학습시키기 위한 제1 학습 데이터는 동물의 안면이 포함된 이미지 데이터를 학습 데이터의 입력으로 하고, 동물의 안면이 포함된 이미지 데이터에 동물의 종에 대한 제1 분류 클래스를 라벨로 하여 생성될 수 있다.

본 발명에 따른 일 실시예로서, 종 분류 모델은 제1 학습 데이터를 포함하는 제1 학습 데이터 세트를 이용하여 동물의 안면과 매칭되는 동물의 종에 대한 분류를 학습하고, 제1 이미지에 기초하여 동물의 종에 대한 제1 정보가 획득되도록 생성될 수 있다.

여기서 종 분류 모델은 외부 서버(200) 또는 다른 컴퓨팅 장치로부터 생성될 수 있다. 그리고, 외부 서버(200) 또는 다른 컴퓨팅 장치는 웹 크롤링(Web Crawling)을 수행하여 동물의 안면이 포함된 이미지 데이터를 획득할 수 있다. 이미지 데이터는 종 분류 모델을 학습시키기 위한 제1 학습 데이터 세트에 이용될 수 있다. 또한, 외부 서버(200) 또는 다른 컴퓨팅 장치는 센서제어부(114) 또는 다른 사용자 단말기로부터 동물 안면이 포함된 이미지 데이터를 획득할 수 있다. 전술한 이미지 데이터를 획득하는 방법은 예시일 뿐, 본 개시는 이제 제한되지 않는다.

본 발명의 일 실시예에 따른 센서제어부(114)는 외부에서 생성된 종 분류 모델을 획득하여 메모리에 저장할 수 있다. 한편, 본 개시의 다른 몇몇 실시예에 따르면, 센서제어부(114)가 종 분류 모델을 생성할 수도 있다.

예를 들어, 개의 종에 따라 눈, 코, 입 및 귀 각각의 크기, 모양 및 위치가 상이할 수 있다. 이러한 개의 종에 따른 특징에 기초하여 개의 종을 구별할 수 있다. 외부 서버(200) 또는 다른 컴퓨팅 장치는 전술한 방법으로 동물의 안면이 포함된 이미지 데이터를 획득할 수 있다. 외부 서버(200) 또는 다른 컴퓨팅 장치는 획득한 이미지 데이터에 동물의 종을 구별할 수 있는 특징에 기초하여 동물의 종에 정보를 라벨링하여 제1 학습 데이터를 생성할 수 있다. 외부 서버(200) 또는 다른 컴퓨팅 장치는 제1 학습 데이터를 포함하는 제1 학습 데이터 세트를 이용하여 네트워크 함수에 동물의 안면과 매칭되는 동물의 종에 대한 분류를 학습시켜 종 분류 모델을 생성할 수 있다. 한편, 전술한 종 분류 모델을 생성하는 방법은 예시일 뿐이며, 본 개시는 이에 제한되지 않고 센서제어부(114)가 직접 종 분류 모델을 생성할 수도 있다.

본 발명의 일 실시예에 따른 센서제어부(114)는 생성된 종 분류 모델을 제1 이미지에 입력하여 제1 이미지에 포함된 동물의 종에 대한 정보를 획득할 수 있다.

구체적으로 센서제어부(114)는 종 분류 모델에 동물의 안면이 포함된 제1 이미지를 입력하여 연산할 수 있다. 센서제어부(114)는 종 분류 모델을 이용하여 동물의 종에 대한 제1 분류 클래스 각각에 대한 컨피던스 스코어(confidence score)를 출력 노드에서 출력할 수 있다. 센서제어부(114)는 출력된 컨피던스 스코어에 기초하여 컨피던스 스코어 중 가장 높은 값을 가지는 제1 분류 클래스를 제1 정보로 획득할 수 있다. 전술한 제1 정보를 획득하는 방법은 예시일 뿐이며, 본 개시는 이에 제한되지 않는다.

예를 들어, 센서제어부(114)는 종 분류 모델에 동물이 촬영된 이미지를 입력하여 컨피던스 스코어를 연산할 수 있다. 센서제어부(114)는 눈, 코, 입 및 귀 각각의 모양, 크기 및 위치 등과 같은 특징에 기초하여 이미지에 포함된 동물(예를 들어, 개)의 종류 별로 분류된 제1 분류 클래스 각각의 컨피던스 스코어를 종 분류모델을 이용하여 연산할 수 있다.

센서제어부(114)에서 종 분류 모델에 입력된 이미지가 비글의 이미지인 경우, 연산된 컨피던스 스코어 중 비글에 대한 컨피던스 스코어가 가장 높은 값을 가질 수 있다. 이 경우, 센서제어부(114)는 제1 이미지로부터 촬영된 동물의 종을 비글로 인식하여 제1 정보를 획득할 수 있다. 전술한 제1 정보를 획득하는 방법은 예시일 뿐이며, 이에 한정되지 않는다.

센서제어부(114)는 동물의 종에 대한 제1 정보를 획득한 경우, 제1 이미지 내에서 촬영된 동물의 코를 포함하는 제1 영역의 위치를 인식할 수 있다.

본 발명에 따른 일 실시예로서, 센서제어부(114)는 제1 이미지를 사전 학습된 코 영역 인식 모델에 입력하여 제1 이미지 내에서 촬영된 동물의 코를 포함하는 제1 영역의 위치를 인식할 수 있다. 코 인식 모델은 YOLO(You Only Look Once) 알고리즘을 이용하는 모델일 수 있다.

여기서 코 영역 인식 모델은 외부 서버(200) 또는 다른 컴퓨팅 장치로부터 생성될 수 있다. 코 영역 인식 모델을 학습시키기 위한 이미지 데이터는 전술한 종 분류 모델을 학습시키기 위한 이미지 데이터를 이용할 수 있다.

또한, 외부 서버(200) 또는 다른 컴퓨팅 장치는 전술한 이미지 데이터를 획득하기 위한 방법으로 코 영역을 학습시키기 위한 이미지 데이터를 획득할 수 있다. 전술한 코 영역 인식 모델을 학습시키기 위한 이미지 데이터를 획득하는 방법은 예시일 뿐, 본 개시는 이제 제한되지 않는다.

센서제어부(114)는 외부에서 생성된 코 영역 인식 모델을 획득하여 메모리에 저장할 수 있다. 한편, 본 개시의 다른 몇몇 실시예에 따르면, 센서제어부(114)가 코 영역 인식 모델을 생성할 수도 있다.

코 영역 인식 모델은 동물의 안면이 포함된 이미지 데이터를 포함하는 제2 학습 데이터 세트 및 바운딩 박스(bounding box)에 대한 좌표를 이용하여 동물의 안면의 이미지와 매칭되는 코 영역의 위치를 학습할 수 있다.

예를 들어 외부 서버(200) 또는 다른 컴퓨팅 장치는 동물의 안면이 포함된 이미지 데이터에서 코를 포함하는 제1 영역의 위치에 대한 제2 정보를 라벨링하여 제2 학습 데이터를 생성할 수 있다. 여기서 제2 정보는 동물의 안면 이미지 내에서 다른 객체(예를 들어, 눈, 입, 귀 등)와 식별하기 위한 동물의 코의 모양, 위치 및 크기에 대한 정보를 포함할 수 있다. 라벨링된 학습 데이터는 사용자가 직접 동물 안면이 포함된 이미지의 내에서 제2 정보를 라벨링한 것일 수 있다. 라벨링된 학습 데이터는 다른 네트워크 함수 모델을 이용하여 동물 안면이 포함된 이미지 데이터에 제2 정보를 라벨링한 것일 수 있다. 예를 들어 동물 안면이 포함된 이미지 내에서 코를 포함하는 제1 영역의 위치에 제2 정보를 라벨링할 수 있다. 외부 서버(200) 또는 다른 컴퓨팅 장치는 라벨링된 제2 학습 데이터 세트에 포함된 제2 학습 데이터 각각을 코 영역 인식 모델을 이용하여 연산하여 코를 포함하는 제1 영역의 위치에 대한 제2 정보를 획득할 수 있다.

외부 서버(200) 또는 다른 컴퓨팅 장치는 코 영역 인식 모델을 이용하여 연산하여 획득한 제1 영역의 위치에 대한 정보와 제2 학습 데이터의 라벨링 된 제2 정보를 비교하여 오차를 계산할 수 있다. 외부 서버(200) 또는 다른 컴퓨팅 장치는 영역이 겹쳐지는 정도에 기초하여 오차를 연산할 수 있다. 외부 서버(200) 또는 다른 컴퓨팅 장치는 학습 데이터의 라벨링된 제2 정보의 바운딩 박스와 코 영역 인식 모델을 이용하여 연산하여 획득한 제1 영역의 위치에 대한 정보의 바운딩 박스의 영역이 겹쳐지는 정도에 기초하여 오차를 연산할 수 있다. 오차는, 라벨링된 제2 정보의 바운딩 박스와 코 영역 인식 모델을 이용하여 연산한 제1 영역의 위치에 대한 정보의 바운딩 박스의 교집합을 합집합으로 나눈 것일 수 있다. 외부 서버(200) 또는 다른 컴퓨팅 장치는 역방향인, 코 영역 인식 모델의 출력 레이어에서 입력 레이어 방향으로 계산된 오차를 역전파할 수 있다. 외부 서버(200) 또는 다른 컴퓨팅 장치는 출력 레이어에서 입력 레이어 방향으로 오차를 역전파하여 역전파에 따라 각 레이어의 각 노드들의 연결 가중치를 업데이트할 수 있다. 업데이트 되는 각 노드의 연결 가중치는 학습률(learning rate)에 따라 변화량이 결정될 수 있다. 입력 데이터인 제1 이미지 대한 코 영역 인식 모델의 계산과 에러의 역전파는 학습 사이클을 구성할 수 있다. 학습률은 네트워크 함수의 학습 사이클의 반복 횟수에 따라 상이하게 적용될 수 있다. 예를 들어, 네트워크 함수의 학습 초기에는 높은 학습률을 사용하여 네트워크 함수가 빠르게 일정 수준의 성능을 확보하도록 하여 효율성을 높일 수 있다. 예를 들어, 네트워크 함수의 학습 후기에는 낮은 학습률을 사용하여 정확도를 높일 수 있다. 예를 들어, 외부 서버(200) 또는 다른 컴퓨팅 장치는 코 영역 인식 모델의 학습에 대한 학습률을 0.001에서 0.1로 에폭 마다 상승시킬 수 있다. 예를 들어, 외부 서버(200) 또는 다른 컴퓨팅 장치는 코 영역 인식 모델의 학습에 대하여 마지막 30 에폭 동안의 학습률을 0.0001로 하여 코 영역 인식 모델을 학습시킬 수 있다. 외부 서버(200) 또는 다른 컴퓨팅 장치는 코 영역 인식 모델의 학습에서 과적합 (overfitting)을 방지하기 위하여 히든 노드의 출력의 일부가 다음 히든 노드에 전달되지 못하도록 드롭 아웃(drop out)을 설정할 수 있다. 예를 들어, 센서제어부(114)는 코 영역 인식 모델의 드롭 아웃률을 0.5로 설정하여 코 영역 인식 모델의 학습을 수행할 수 있다. 전술한 코 영역 인식 모델을 생성하는 방법에 대한 기재는 예시일 뿐이며 본 개시는 이에 제한되지 않는다. 전술한 외부 서버(200) 또는 다른 컴퓨팅 장치가 코 영역 인식 모델을 생성하는 방법으로 센서제어부(114)는 코 영역 인식 모델을 생성할 수도 있다.

센서제어부(114)는 상술한 코 인식 모델인 YOLO 알고리즘에 제1 이미지, 제1 이미지에 포함된 동물의 종에 대한 제1 정보 및 제2 분류 클래스 각각에 대한 스코어링 값에 기초하여 코를 포함하는 제1 영역의 위치에 대한 제2 정보를 결정할 수 있다. 제2 분류 클래스는 코 영역을 포함하는 제1 영역의 위치를 인식하기 위한 것일 수 있다.

본 발명의 일 실시예에 따르면, 센서제어부(114)는 동물의 눈과 동물의 입의 위치에 기초하여 동물의 코를 포함하는 제1 영역의 위치를 인식할 수도 있다.

구체적으로, 센서제어부(114)는 제1 이미지 내에서 동물의 눈을 포함하는 제2 영역의 위치 및 동물의 입을 포함하는 제 3 영역을 인식할 수 있다.

예를 들어, 센서제어부(114)는 동물의 눈을 포함하는 제2 영역의 위치와 동물의 입을 포함하는 제 3 영역의 위치를 메모리에 저장된 눈 영역 인식 모델 및 입 영역 인식 모델을 이용하여 인식할 수 있다. 여기서, 눈 영역 인식 모델(또는 입 영역 인식 모델)은 상술한 코 영역 인식 모델과 같은 방식으로 눈 영역(또는 입 영역)을 인식할 수 있으므로, 이에 대한 자세한 설명은 생략한다. 다만, 이에 한정되는 것은 아니고 센서제어부(114)는 다양한 방법으로, 동물의 눈을 포함하는 제2 영역의 위치 및 동물의 입을 포함하는 제 3 영역의 위치를 인식할 수 있다.

그리고 센서제어부(114)는 제2 영역의 위치 및 제 3 영역의 위치에 기초하여 제1 이미지 내에서 촬영된 동물의 코를 포함하는 제1 영역의 위치를 인식할 있다.

구체적으로, 데이터베이스부(113)에는 눈의 위치 및 입의 위치에 기초하여 코의 위치를 인식하는 코 위치 인식 모델이 저장될 수 있다. 따라서 센서제어부(114)는 획득한 제2 영역의 위치, 및 제 3 영역의 위치를 데이터베이스부(113)에 저장된 코 위치 인식 모델에 입력하여 동물의 코를 포함하는 제1 영역의 위치를 인식할 수 있다. 이 경우, 코 위치 인식 모델은 동물의 종에 대한 정보도 추가로 입력 받아 코 위치를 인식할 수도 있다.

전술한 동물의 코를 포함하는 제1 영역의 위치를 인식하는 방법은 예시일 뿐, 본 개시는 이에 제한되지 않는다.

한편, 제1 이미지 내에서 동물의 코를 포함하는 제1 영역의 위치를 인식한 경우, 센서제어부(114)는 사전 설정된 조건을 만족되는지 여부를 결정할 수 있다.

본 발명의 일 실시예에 따른 센서제어부(114)는 제1 영역 내에서 동물의 우측 콧구멍(nostril) 및 좌측 콧구멍을 인식할 수 있다.

구체적으로, 센서제어부(114)는 특징점 추출(feature extraction) 알고리즘을 이용하여 제1 영역 내에서 동물의 우측 콧구멍 및 좌측 콧구멍을 인식할 수 있다.

예를 들어, 제1 이미지의 제1 영역 내에서 콧구멍이 위치하는 영역이 가장 어두울 수 있다. 따라서, 제1 영역 내의 이미지 상에서 콧구멍이 위치하는 영역의 픽셀들의 명도 값과 콧구멍의 가장자리에 위치하는 코 영역 픽셀들의 명도 값의 차이가 최대값을 가질 수 있다. 이 때 명도 값은 제1 이미지 데이터의 화소 깊이에 따라 달라질 수 있다. 센서제어부(114)는 제1 영역의 이미지의 픽셀들의 명도 값을 추출하고, 인접하는 영역들 사이의 픽셀들의 명도 값의 차이가 최대값을 가지는 영역을 콧구멍의 가장자리로 인식할 수 있다. 그리고 센서제어부(114)는 명도 값의 차이가 최대값을 가지는 영역의 픽셀들을 콧구멍의 특징점들로 추출할 수 있다. 전술한 콧구멍을 인식하는 방법은 예시일 뿐이며, 본 개시는 이에 제한되지 않는다.

한편, 카메라 센서(116)가 동물의 안면을 정면보다 우측면(또는 좌측면)에서 촬영한 경우에는, 동물의 콧구멍의 중심으로부터 좌측에 존재하는 특징점에서의 콧구멍의 곡률과 우측에 존재하는 특징점에서의 콧구멍의 곡률은 메모리에 저장된 좌측 및 우측에 존재하는 특징점의 곡률 보다 작을 수 있다. 그리고 콧구멍의 상측에 존재하는 특징점에서의 곡률과 콧구멍의 하측에 존재하는 특징점에서의 곡률은 메모리에 저장된 상측 및 하측에 존재하는 특징점의 곡률 보다 클 수 있다. 이 경우, 센서제어부(114)는 동물이 촬영된 포즈가 우측(또는 좌측)이라고 인식할 수 있다.

한편, 센서제어부(114)는 사전 설정된 조건이 만족되는 경우에 제1 영역 내에서 관심 영역(Region Of Interest)을 결정할 수 있다.

본 발명의 일 실시예에 따른 제1 영역 내에서 관심 영역은 동물의 코에서 발견할 수 있는 고유한 무늬인 비문이 포함된 영역일 수 있다. 동물이 코를 벌렁거리는 경우에 동물의 콧구멍의 바깥쪽의 코의 크기 확장되거나 축소되고, 동물의 콧구멍의 바깥쪽에 위치하는 비문의 모양이 변형될 수 있다. 그러나 동물이 코를 벌렁거리는 경우에 좌/우 콧구멍 사이는 콧구멍의 바깥쪽보다 크기의 변화가 적고, 좌/우 콧구멍 사이에 위치하는 비문의 모양도 역시 콧구멍의 바깥쪽에 위치하는 비문의 모양보다 변형이 작게 일어날 수 있다. 따라서, 좌/우 콧구멍 사이를 관심 영역으로 결정하는 것이 바람직하다.

센서제어부(114)는 사전 설정된 조건이 만족되는 경우에 우측 콧구멍 및 좌측 콧구멍 간의 거리를 산출할 수 있다.

예를 들어, 센서제어부(114)는 제1 영역 내의 이미지 상에서 좌/우측 콧구멍의 특징점을 추출하여 좌/우측 콧구멍을 인식할 수 있다. 그리고 센서제어부(114) 우측 콧구멍 및 좌측 콧구멍 간의 거리를 산출할 수 있다.

다음으로, 센서제어부(114)는 콧구멍 간의 거리에 기초하여 관심 영역의 크기 및 위치를 결정할 수 있다.

센서제어부(114)는 산출된 좌/우측 콧구멍 간의 거리가 길면 관심 영역의 크기를 크게 결정할 수 있다. 반면에 센서제어부(114)는 산출된 좌/우측 콧구멍 간의 거리가 짧으면 관심 영역의 크기를 작게 결정할 수 있다. 그리고 센서제어부(114)는 좌/우측 콧구멍의 간의 거리의 중심이 되는 위치를 관심 영역의 위치로 결정할 수 있다. 전술한 바와 같이 좌/우측 콧구멍의 간의 거리의 중심이 되는 위치가 콧구멍의 움직임에 따라 모양의 변화가 가장 적은 위치이기 때문이다.

또한, 본 발명에 따른 센서제어부(114)는 사전 설정된 조건이 만족되지 않는 경우에 제1 이미지를 정면화(Frontalization)하여 사전 설정된 조건을 만족하도록할 수 있다.

구체적으로, 센서제어부(114)는 제1 영역 내의 이미지 상에서 좌/우측 콧구멍의 특징점을 추출할 수 있다. 메모리에는 동물의 안면을 정면으로 촬영된 이미지에 기초하여 좌/우측 콧구멍들의 특징점들의 위치에 관한 정보가 저장될 수 있다. 센서제어부(114)는 메모리에 저장된 콧구멍들의 특징점들의 위치에 관한 정보에 기초하여 제1 영역 내의 이미지 상에서 추출한 콧구멍들의 특징점들을 저장된 특징점들에 매칭되도록 제1 이미지를 보정할 수 있다. 예를 들어, 사용자가 동물을 우측에서 촬영한 경우에, 제1 이미지 상에서 우측 콧구멍이 위치하는 영역의 이미지는 실제 동물의 우측 콧구멍의 위치하는 영역보다 넓게 획득되고, 반면에 좌측 콧구멍이 위치하는 영역의 이미지는 실제 동물의 좌측 콧구멍이 위치하는 영역보다 좁게 획득된다. 센서제어부(114)는 제1 이미지 상에서 동물의 안면이 우측에서 촬영된 것을 판단할 수 있다. 센서제어부(114)는 제1 이미지의 우측에 위치하는 픽셀들의 크기를 보다 감소시키거나 좌측으로 위치를 이동시키는 보정을 할 수 있다.

그리고 제1 이미지의 좌측에 위치하는 픽셀들의 크기를 보다 증가시키거나 우측으로 이동시키는 보정을 할 수 있다. 센서제어부(114)는 보정된 제1 이미지 상에서 좌/우측 콧구멍의 특징점을 다시 추출할 수 있다. 센서제어부(114)는 다시 추출된 좌/우측 콧구멍들의 특징점과 저장된 특징점들에 매칭되면 사전 설정된 조건이 만족하는 것을 인식할 수 있다. 전술한, 제1 이미지를 보정하여 정면화하는 방법은 예시일 뿐이며, 본 개시는 이에 제한되지 않는다.

한편, 센서제어부(114)는 관심 영역이 결정된 경우, 제1 이미지 내에서 관심 영역을 포함하는 제2 이미지를 추출할 수 있다.

본 발명에 따른 센서제어부(114)는 제1 이미지 내에서 관심 영역을 포함하는 제2 이미지 데이터를 생성할 수 있다. 제2 이미지는 서버(200)에 전송되고 촬영한 동물의 개체 정보를 획득하는데 이용될 수 있다.

센서제어부(114)는 수신된 제1 정보 및 제2 이미지에 기초하여 카메라 센서(116)가 촬영한 동물의 개체 정보를 획득하고 이를 데이터베이스부(113)로 송신할 수 있다.

여기서 동물의 개체 정보는 동물의 종, 성별, 특이점 중 적어도 어느 하나를 포함할 수 있다. 또한, 동물의 개체 정보는 동물의 소유자의 이름, 연락처, 주소 중 적어도 어느 하나를 포함할 수 있다. 이러한 동물의 개체 정보는 촬영한 동물의 소유자를 확인하는데 사용될 수 있다. 전술한 동물의 개체 정보는 예시일 뿐이며, 본 개시는 이에 제한되지 않는다.

12. 제12 실시예

한편, 전술한 바와 같이, 본 발명에 따른 센서부(110)는 PIR 센서(115)를 통해 특정구역 내 진입한 물체를 감지할 수 있다. PIR 센서(115)는 현재 무인 침입탐지 무인 감시 장치(100) 구축에 이용되는 보안용 센서들 가운데 방범 구역도 넓고 일반적이어서 가장 많이 활용된다.

PIR 센서(115)는 주변 환경과 원적외선을 발생하는 물체 (사람, 동물 등)과의 원적외선 차이를 감지하며, 이를 이용하여 사람 또는 동물 등의 움직임 검출이 가능하다. PIR 센서(115)는 적외선 흡수 시 물질 내의 분극(polarization) 변화로 전하가 유기되어 기전력이 발생하는 초전효과를 이용한 센서이다.

현재, 시중에서 판매 중인 대부분의 PIR 센서(115) 기반 침입탐지 무인 감시 장치(100)는 디지털 타입 PIR를 사용한다. 디지털 PIR는 정해놓은 임계치를 넘으면 디지털 논리값 HIGH 값 1을 출력하며 이 경우 사람으로 감지한다. 그렇지 않은 경우, LOW 값 0을 출력하며 사람으로 감지하지 않는다.

이러한 기존의 디지털 PIR를 사용하는 경우, 사람과 동물의 구분이 불가능하여, 실제로 대다수 경비업체에서 동물 침입을 도둑으로 오인하여 출동하는 경우들이 빈번하게 발생한다.

따라서 본 발명에서는 PIR 센서(115) 신호를 디지털논리 값으로 변환하지 않고, 아날로그 신호 값을 그대로 입력 받아 사용하여 사람과 동물을 판별하고 화재를 감지하는 방법을 제안한다. PIR 센서(115)로부터 수신한 1차원 신호를 센서제어부(114)가 2차원 신호로 변환하고, 딥러닝 알고리즘을 통해 미리 학습을 시킨 후에 학습 데이터를 기반으로 실제 센서에서 입력되는 데이터를 판단하여 분류할 수 있게 된다. 학습 및 분류에 사용하는 딥러닝 모델은 CNN(Convolutional Neural Network) 구조 모델을 사용할 수 있다.

PIR 센서(115)는 초전형 소자에 적외선(열선)을 모아주기 위해 렌즈가 필요하다. 일반적으로 빛을 모으기 위해서는 볼록렌즈를 사용하지만, 적외선 감지기용으로는 이보다 매우 얇은 프레넬 렌즈를 사용한다. 또한, 프레넬 렌즈는 사용 용도에 따라 다양한 형태가 있다. 그중에서 감지 영역, 고정형태, 감지 범위에 따라 분류가 된다. 이를테면 감지 영역에 따라 단, 중, 장거리형으로 구분되고, 고정형태에 따라 벽부형, 천정형으로 구분된다.

PIR 센서(115)의 감지 영역은 두 가지 영역으로 나눠진다. 이때 두 가지 영역은 감지 영역과 비감지 영역으로 나눌 수 있으며, 감지 영역은 사람을 확실하게 감지할 수 있는 거리를 말하고, 비감지 영역은 사람을 감지하지 못하지만, 사람보다 높은 온도의 물체가 움직이면 감지 될 수 있는 영역을 말한다. 일반적으로 PIR 센서(115)의 감지 거리는 감지 영역까지의 거리를 의미한다. 다만, 설치 시에는 비감지 영역까지 고려해야 한다.

한편, 종래 기술에서는 PIR 센서(115)로부터 입력되는 신호분석을 위해 MFCC를 이용하였다. 침입 상황일 때 PIR 신호에서 평균 에너지법(Average Magnitude)으로 감지된 시점을 찾고, 그 구간의 신호 범위를 추출한다. 여기서 추출된 신호를 MFCC 신호처리 방법을 사용하여 주파수 성분에 대한 특징을 데이터로 변환한다. 이후 데이터를 인공 신경 회로망을 통해 분류 작업을 시행한다. 여기서 MFCC는 주로 음성신호를 처리할 때 사용된다. 과정은 크게 6개의 과정으로 구성될 수 있다.

MFCC의 처리 과정을 소개하면 먼저 Pre-emphasis 단계는 고대역 통과 필터 특성을 갖는다. 1KHz 이상의 스펙트럼에서 예민한 청각 무인 감시 장치(100)를 보상하는 데 사용한다. 이것은 음성 고주파를 강조 시켜주는 역할과 노이즈를 제거하는 역할을 한다. 다음 Windowing 단계는 일정한 간격의 데이터를 샘플링할 때 발생하는 불연속성을 보완해주는 단계로, 해밍 윈도우 기법이 주로 사용된다. 해밍 윈도우 기법은 비주기성을 줄이고, 누설 주파수를 줄여준다. 그 다음 FFT(Fast Fourier Transform)을 수행한다. 여기서 입력되는 데이터를 주파수 영역으로 변환하고 그 후 값들을 Mel Filtering을 통해 FFT를 지난 신호에 가중치를 부여해준다.

Log 단계에서는 사람의 귀는 소리의 크기를 로그함수로 듣기 때문에 로그화 과정을 거친다. 마지막으로 DCT(Discrete Cosine Transform) 단계는 필터 뱅크 출력의 상관관계를 없애고, 파라미터들의 특징을 모아준다. 그리고 DCT의 결과값은 실수이기 때문에 상호 독립적이고 계산상 효율적이다. 추출된 MFCC 특징 벡터 값을 판단을 위해서 역전파 알고리즘(Backpropagation Algorithm)을 이용한 신경회로망(Neural Network)을 통해 신호 패턴을 분류한다.

전술한 바와 같이 종래의 MFCC를 이용한 PIR 센서(115) 기반 침입감지 과정과 전체적인 흐름은 같지만 본 발명에 따른 센서제어부(114)은 MFCC의 과정을 간략하게 변형하여 결과의 효율을 높일 수 있다. 이때의 간략화는 전술한 Pre-emphasis와 Windowing의 단계를 생략한 것이다. Pre-emphasis와 Windowing의 단계는 주로 음성신호의 노이즈 제거, 고주파 성분 강조의 역할인데 노이즈가 크지 않고 고주파의 성분을 강조할 필요가 없는 PIR 신호처리에는 필요 없어 생략할 수 있다. 이후 FFT 단계는 주파수 영역의 신호를 파악하는 단계로 그대로 사용한다. 그리고 Mel Filtering 단계는 주파수 대역이 조금 변하여 해당 대역에 맞춰 변경할 수 있다. 이후 Log단계, DCT 단계는 수정해도 정확도엔 변화가 없어 수정하지 않고 그대로 사용한다.

기존 MFCC와 본 발명에 따른 간략화된 MFCC는 1D 신호를 2D 신호로 변경하고 딥러닝 기법 중 CNN을 통해 예측하고 분류하는 과정에서 차이가 있다.

본 발명에 따른 간략화된 MFCC는 먼저, 센서제어부(114)가 PIR 센서(115)로부터 아날로그 형태인 TXT 파일을 데이터로서 수신한다. 이후, 수신한 TXT 데이터를 WAV 파일로 변환하는 단계를 거치는데 이는 데이터를 분석하는 데 있어 사용하는 Librosa라는 라이브러리가 음성 데이터 분석에 특화되어 있어 데이터 분석의 편의성과 효율성을 위해 WAV파일로 변환한다. 그리고 1D 신호를 2D 신호로 변경해주는 작업을 수행한다. 여기서 2D 신호로 변경한 이유는 WAV 파일의 1D 신호로만 처리하기에는 신호의 파형이 비슷하거나 판단이 불분명한 경우들이 있어서, 분류성능을 높이기 위해 2D 신호로 변환한다. 이렇게 변환된 신호를 CNN을 통해 판별하게 된다. 판단을 위해 미리 학습했던 데이터를 통해서 판단하고 분류할 수 있게 된다.

이렇게 여러 형태로 변형한 데이터들을 2D 신호로 변경하여 CNN 알고리즘을 통해 학습을 미리 시킨다. 사용된 CNN 알고리즘에는 Convolution 과정과 Pooling 과정을 통해서 각각의 Layer를 복합적으로 구성하여 알고리즘을 만든다. 이들을 Convolution Layer, Pooling Layer라 하며 CNN 알고리즘에는 반드시 들어있는 구조이다. 그리고 레이어의 마지막은 Fully Connected Layer가 오고 예측을 위해 Activation Function(활성화 함수)을 사용하여 출력하게 된다.

본 발명에서도 이와 같은 CNN 알고리즘을 사용하여 분류할 수 있고, 종래의 CNN 알고리즘과 다른 점은 하나 이상의 모델 Block 들을 변형하는 하이퍼 파라미터(Hyper parameter)를 사용자에 맞추어 세팅하여 사용한다는 것이다. 하이퍼 파라미터의 필터의 수, 패딩(Padding)의 유형, 학습률(Learning Rate) 등을 코드 내에서 변형하고, 해당 내용에 맞게 변형하여 테스트를 진행할 수 있다.

이후, 여러 가지로 Augmentation을 진행한 파일들을 토대로 모델을 학습하고 10번의 반복 과정을 통해 과정마다 학습 결과를 모델 파일로 만들어 미리 저장해 둔다. 모델 파일로 만드는 이유는 처음에는 학습 도중에 생길 어떤 문제로 작업이 중단되어도 그 저장된 모델로 중단된 이후부터 다시 학습을 시작할 수 있으므로 사용되었는데, 본 발명에서는 학습 이후 테스트를 위해 저장하여 사용한다.

이렇게 만들어진 모델을 Epoch 당 정확도로 모델의 학습이 잘 이루어졌는지 판단할 수 있다. 보통 모델의 경우 1로 가까워질수록 학습이 잘 되었다고 판단한다.

이때 만일 데이터를 테스트하기 위해서는 학습에서와 비슷하게 진행하지만, Augmentation 과정이 없이 바로 WAV 파일을 2D로 변형하여 미리 학습한 모델을 배경으로 예측을 진행할 수 있다.

본 발명에 따른 사용자단말기(300)는 키보드, 마우스, 터치패드, 터치 스크린 등의 입력수단과, 디스플레이 화면을 구비한 데스크탑 PC, 노트북 PC, 태블릿 PC, 스마트폰 등의 단말기로서, 이에 한정되는 것은 아니고, 통신망을 통해 서버(200)에 접속할 수 있으며, 검색 정보 및 선택 정보의 입력과, 검색된 결과 정보를 디스플레이할 수 있는 애플리케이션 프로그램의 설치가 가능한 디지털 정보의 처리가 가능한 구성이면 모두 포함될 수 있다. 본 발명에 따른 사용자단말기(300)는 서버(200)에 통신망을 통해 접속하여 정보를 송수신하는 구성요소로서, 예를 들면 스마트폰(smartphone), 태블릿 PC(tablet personalcomputer), 이동 전화기(mobile phone), 영상 전화기, 데스크탑 PC(desktoppersonal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD) 등), 무인단말기(kiosk) 또는 스마트 와치(smart watch)) 중 적어도 하나를 포함할 수 있다.

본 발명에 따른 사용자단말기(300)와 서버(200)는 각각이 구비한 통신부(160) 및 통신망을 통해 통신할 수 있다. 통신망은 단말들 및 서버(200)들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결구조를 의미하는 것으로, 이러한 통신망의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다. 사용자단말기(300)와 서버(200)가 각각 구비한 통신부(160)는, 전술한 통신망을 통한 유무선 데이터 통신을 수행할 수 있도록 상기 통신망을 위해 구비된 전자 부품을 포함할 수 있다.

본 발명에 따른 데이터베이스부(113)는 데이터베이스 관리 시스템(이하, DBMS)을 포함할 수 있다. DBMS는 다수의 사용자들이 데이터베이스 내의 데이터에 접근할 수 있도록 해주는 소프트웨어 도구의 집합이다. DBMS는 IMS, CODASYL DB, DB2, ORACLE, INFORMIX, SYBASE, INGRES, MS-SQL, Objectivity, O2, Versanat, Ontos, Gemstone, Unisql, Object Store, Starburst, Postgres, Tibero, MySQL 또는 MS-access등을 포함할 수 있다. DBMS는 특정 명령어의 입력에 따라 해당하는 특정 데이터에 접근하는 것이 가능하다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.

본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.

100 : 무인 감시 장치
110 : 센서부
111 : 레이더 센서
112 : 열적외선 센서
113 : 데이터베이스부
114 : 센서제어부
115 : PIR 센서
116 : 카메라 센서
1161 : ToF 카메라
1162 : 열상 카메라
117 : 마이크로파 도플러 센서
118 : 초음파 센서
120 : 라이트부
130 : 스피커부
140 : 카메라부
150 : 장치제어부
160 ; 통신부
200 : 서버
300 : 사용자단말기
1000 : 이동식 예방 경계 시스템

Claims

무인 감시 장치, 상기 무인 감시 장치와 연결된 서버 및 상기 서버와 연결된 사용자단말기를 포함하는 이동식 예방 경계 시스템에 있어서,
상기 무인 감시 장치는,
물체를 감지하고 상기 물체가 사람인지 또는 동물인지 여부를 판단하며, 상기 물체가 사람인 것으로 판단한 경우 상기 물체를 침입자로 판단하여 침입 사실 정보를 생성하는 센서부;
상기 물체가 침입자로 판단되는 경우, 상기 물체에 빛을 조사하는 라이트부;
상기 물체가 침입자로 판단되는 경우, 상기 물체에 경고 방송을 출력하는 스피커부;
상기 물체가 포함된 영상을 촬영하는 카메라부;
상기 물체가 침입자로 판단되는 경우, 상기 물체에 빛을 조사하고 경고 방송을 출력하도록 상기 라이트부 및 상기 스피커부를 제어하는 장치제어부; 및
상기 물체가 침입자로 판단되면, 상기 침입 사실 정보를 상기 서버로 송신하는 통신부;
를 포함하되,
상기 센서부는,
상기 물체가 발산하는 적외선을 감지하는 PIR 센서;
상기 물체가 포함된 영상을 촬영하는 카메라 센서;
상기 물체와의 거리를 연산하는 마이크로파 도플러 센서;
상기 물체에 대한 정보가 저장된 데이터베이스부; 및
상기 PIR 센서, 상기 카메라부 및 상기 마이크로파 도플러 센서가 수신한 정보와 상기 데이터베이스부에 저장된 정보에 기초하여 상기 물체가 사람인지 또는 동물인지 여부를 판단하는 센서제어부;
를 포함하며,
상기 센서제어부는,
상기 PIR 센서가 감지한 적외선 신호를 기초로 특정구역에 진입한 물체를 감지하고, 상기 물체가 감지되면 상기 카메라 센서와 상기 마이크로파 도플러 센서의 전원 및 동작을 on 시키며, 상기 카메라 센서에 의해 촬영된 영상을 분석하여 상기 물체의 세로 길이를 파악하고, 상기 마이크로파 도플러 센서가 연산한 물체와의 거리를 통해 상기 물체의 위치를 파악하며, 상기 물체와의 거리와 상기 물체의 세로 길이를 기초로 감지된 물체가 사람인지 또는 동물인지 여부를 판단하고,
상기 센서부는,
초음파를 상기 물체에 방출하며, 상기 물체에 반사되어 되돌아온 초음파를 수신하여 상기 물체와의 거리를 측정하는 초음파 센서를 더 포함하며,
상기 센서제어부는,
상기 초음파 센서를 통해 측정된 상기 물체와의 거리와 상기 물체의 세로 길이를 비교하고, 상기 물체의 세로 길이가 거리에 따라 미리 설정된 기준 세로 길이 이상일 경우, 상기 물체가 사람인 것으로 판단하며,
상기 센서부는,
상기 물체와의 거리를 측정하며 상기 물체가 포함된 거리 이미지를 생성하는 ToF 카메라를 더 포함하며,
상기 센서제어부는,
상기 ToF 카메라가 생성한 상기 거리 이미지를 수신하며, 상기 ToF 카메라로부터 상기 거리 이미지를 수신할 때, 수신된 시간을 기준으로 시간을 카운트하고, 설정 시간이 경과되면 거리 이미지를 재 확보하고,
상기 재 확보된 거리 이미지를 대상으로 외곽선 및 중심축을 추출하고, 상기 중심축에서 상기 물체의 수직정보와 수평정보를 추출하며, 수직정보/수평정보가 설정값보다 크면 상기 물체가 사람인 것으로 판단하며,
상기 스피커부는,
사람과 동물의 청각을 선택적으로 자극하는 자극신호를 발생시키며, 동물의 청각만을 자극하고자 할 때에는 주파수 20kHz 이상의 초음파 대역의 소리를 상기 물체를 향해 출력하고, 사람의 청각만을 자극하고자 할 때에는 주파수 20Hz~60Hz 대역의 소리를 상기 물체를 향해 출력하며,
상기 센서제어부는,
상기 스피커부가 주파수 20Hz~60Hz 대역의 소리를 상기 물체를 향해 출력한 후, 상기 주파수 20Hz~60Hz 대역의 소리가 출력된 상기 물체의 반응을 감지하며, 상기 주파수 20Hz~60Hz 대역의 소리가 출력된 상기 물체가 상기 소리에 반응하면, 상기 물체가 사람인 것으로 판단하는 것을 특징으로 하는, 이동식 예방 경계 시스템.
청구항 1에 있어서,
상기 서버는,
상기 통신부로부터 침입 사실 정보를 수신하면, 상기 침입 사실 정보를 기 등록된 상기 사용자단말기로 푸쉬알림, 전화 또는 문자메시지의 형태로 송신하는 것을 특징으로 하는, 이동식 예방 경계 시스템.
청구항 2에 있어서,
상기 이동식 예방 경계 시스템은,
복수 개의 사용자단말기를 포함하며,
상기 복수 개의 사용자단말기는, 특정 권한이 설정된 사용자단말기를 적어도 하나 포함하고,
상기 특정 권한이 설정된 사용자단말기는,
상기 서버에 접속하여, 다른 복수 개의 사용자단말기의 정보를 상기 서버에 등록하고,
상기 특정 권한이 설정된 사용자단말기가 상기 서버에 접속하여 상기 복수 개의 사용자단말기의 정보를 등록할 때, 상기 복수 개의 사용자단말기로 상기 침입 사실 정보를 푸쉬알림, 전화(ARS), 문자메시지, 이메일 또는 팩스의 형태로 송신되도록 설정하며,
상기 특정 권한이 설정된 사용자단말기는,
상기 서버에 다른 복수 개의 사용자단말기의 정보를 등록할 때, 송신될 문자메시지의 내용을 입력 또는 전화(ARS) 음성 안내 시 발화(發話)될 음성의 내용을 입력하는 것을 특징으로 하는, 이동식 예방 경계 시스템.
청구항 3에 있어서,
상기 특정 권한이 설정된 사용자단말기는, 서버에 접속하여 상기 무인 감시 장치의 동작 스케줄을 설정하며,
상기 동작 스케줄은,
상기 무인 감시 장치의 요일별, 시간별 동작 스케줄 및 상기 무인 감시 장치가 동작할 빛 조사 여부, 경고 방송 출력 여부, 녹화 여부 및 침입 사실 알림 여부를 포함하고,
상기 사용자단말기는,
상기 서버에 접속하여 상기 무인 감시 장치의 경계 모드를 전환할 수 있고,
상기 무인 감시 장치의 경계 모드는,
상기 무인 감시 장치의 빛 조사 여부, 경고 방송 출력 여부, 녹화 여부 및 침입 사실 알림 여부에 따른 동작이 서로 다르게 설정된 것을 특징으로 하는, 이동식 예방 경계 시스템.
청구항 1에 있어서,
상기 센서부는,
상기 물체의 크기와 동작을 감지하는 레이더 센서; 및
상기 물체의 온도 및 온도의 변화를 감지하는 열적외선 센서;
를 더 포함하며,
상기 데이터베이스부에는, 상기 물체의 종류에 따른 동작 패턴에 대한 정보가 저장되고,
상기 센서제어부는,
상기 레이더 센서에 의해 감지된 정보와 상기 데이터베이스부에 저장된 동작 패턴에 대한 정보를 비교하여 물체의 종류를 식별하고,
상기 데이터베이스부에는, 상기 센서부에 의해 감지된 물체를 침입자로 판단하기 위한 기준 정보가 저장되고,
상기 센서제어부는, 상기 레이더 센서와 상기 열적외선 센서에 의해 감지된 정보를 상기 데이터베이스부에 저장된 기준 정보와 비교하여 상기 센서부에 의해 감지된 물체가 침입자인지 여부를 판단하는 것을 특징으로 하는, 이동식 예방 경계 시스템.