KR20190036443A - 출입문용 감시 시스템 및 이의 동작 방법 - Google Patents

출입문용 감시 시스템 및 이의 동작 방법 Download PDF

Info

Publication number
KR20190036443A
KR20190036443A KR1020180040108A KR20180040108A KR20190036443A KR 20190036443 A KR20190036443 A KR 20190036443A KR 1020180040108 A KR1020180040108 A KR 1020180040108A KR 20180040108 A KR20180040108 A KR 20180040108A KR 20190036443 A KR20190036443 A KR 20190036443A
Authority
KR
South Korea
Prior art keywords
image
unit
door
cloud server
user
Prior art date
Application number
KR1020180040108A
Other languages
English (en)
Other versions
KR102006933B1 (ko
Inventor
최유강
박준모
Original Assignee
최유강
박준모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최유강, 박준모 filed Critical 최유강
Publication of KR20190036443A publication Critical patent/KR20190036443A/ko
Application granted granted Critical
Publication of KR102006933B1 publication Critical patent/KR102006933B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/1966—Wireless systems, other than telephone systems, used to communicate with a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/08—Mechanical actuation by opening, e.g. of door, of window, of drawer, of shutter, of curtain, of blind
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/008—Alarm setting and unsetting, i.e. arming or disarming of the security system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

도어 앞의 영역에서 발생하는 움직임을 감지하는 모션 센서와, 모션 센서에 의해 움직임이 감지되면 도어 앞을 촬영하는 영상획득부와, 제어부의 제어 명령에 따라 영상획득부에서 촬영된 영상을 클라우드 서버로 송신하는 무선통신부를 포함하는 도어캠 단말 장치; 도어캠 단말 장치에서 촬영된 영상을 수신하여 방문자 유무를 판단하고, 방문자가 있는 것으로 판단되는 경우에만 PUSH 서버로 푸쉬 메시지 전송 요청을 송신하는, 클라우드 서버; 클라우드 서버로부터 푸쉬 메시지 전송 요청을 수신하여, 사용자 단말로 푸쉬 메시지를 전송하는, PUSH 서버; 및 PUSH 서버로부터 푸쉬 메시지를 수신하여, 클라우드 서버로부터 도어캠 단말 장치에서 촬영된 영상을 수신하고, 사용자에 의해, 촬영된 영상에 대한 사용자 메타 정보를 입력 받는, 사용자 단말을 포함하되, 클라우드 서버는, 영상획득부에서 촬영된 영상을 유의미한 이벤트 이미지와 무의미한 이벤트 이미지로 분류하는 이미지 분석부와, 사용자 단말로부터 수신한 메타 정보와 이미지 정보를 포함하는 학습 데이터를 딥러닝 기법을 이용하여 학습하는 이미지 학습부를 포함하되, 이미지 분석부는, 딥러닝 이미지 분류 기술을 이용하여 촬영된 영상의 물체가 사람인지 여부를 판단하는 사람인식부, 전경 및 배경 분류 기술을 이용하여 촬영된 영상에서 물체가 존재하는 시간이 미리 설정한 시간보다 짧은지 여부를 판단하는 상황인식부, 및 촬영된 영상에서 추출된 얼굴 이미지가 사용자에 의해 데이터베이스에 미리 저장된 얼굴 이미지와 일치하는지 여부를 판단하는 얼굴 인식부를 포함하며, 이미지 학습부는 사용자 메타 정보와 이미지 정보를 포함하는 학습 데이터를 이용한 학습 결과를 이미지 분석부로 피드백 하는 것을 특징으로 하는 출입문용 감시 시스템이 개시된다.

Description

출입문용 감시 시스템 및 이의 동작 방법{A DOOR MONITORING SYSTEM AND A PROCESS THEREOF}
본 발명은 출입문용 감시 시스템 및 이의 동작 방법에 관한 것이다.
일반적으로, 아파트, 사무실 또는 주택에서 누가 현관에 방문했을 때 종래 홈 네트워크 시스템은 실내에 사람이 있을 때에만 비디오폰으로 외부에 누가 왔는지 확인해 볼 수 있었으나, 외출 중인 경우와 같이 실내에 없을 때는 누가 방문했는지 확인할 수 없고, 침입 또는 귀중품이 분실되어도 귀가한 후에나 도난 사실을 확인할 수 있었다.
이러한 문제점을 해결하기 위하여, 한국공개특허 제10-2012-0039236호는 유무선 접속허브를 이용하는 영상전송 단말기 및 그를 포함하는 원격감시 시스템을 제안한 바 있다. 상기 원격감시 시스템은 움직임을 감지하는 동작감지센서와 온/ 오프동작에 대한 원격신호가 입력되는 리모트 컨트롤부를 포함하는 센서부와; 상기 센서부의 동작감지센서에 의한 동작감지신호유무 및 상기 센서부의 리모트 컨트롤부에 입력되는 온/오프원격신호에 대응되어 동작이 감지된 지점과 원격신호가 송신된 지점의 영상정보를 생성하기 위하여 카메라 촬영에 대한 온/오프 동작을 수행하는 카메라부와; 상기 카메라부에서 영상정보가 생성되면 상기 생성된 영상정보를 디지털영상신호로 변환하여 메모리에 저장하는 코덱 변환부와; 상기 코덱 변환부로부터 디지털영상신호를 수신하여 외부에 전송하기 위하여 유무선 데이터통신망에 동시에 연결되는 유무선 접속허브; 및 상기 센서부, 카메라부, 코덱 변환부, 및 유무선 접속허브의 각 동작을 제어하는 제어부를 포함한다. 그러나, 이와 같이 움직임 센서를 이용한 도어캠 시스템은 방문의사 없이 단순히 카메라 앞을 지나치는 사람, 동물의 움직임 등에도 반응하며 때로는 센서 자체의 오작동으로 인해 의도하지 않은 이벤트가 다수 발생하여 신뢰도가 떨어진다는 단점이 있다.
상기 종래 기술 이외에도 얼굴 인식 또는 사람 인식 기술은 도어캠 등 실생활에서 널리 사용되고 있으나, 정확한 인식을 위해서는 배경과 조명이 일정하고, 얼굴 전면이 이미지의 중앙에 위치해있어야 하는 등 환경적 제약 조건이 있다. 특히, 방문의도를 가진 자와 방문의도가 없는 자가 수시로 지나다니는 현관 앞이라는 특수한 배경에서, 도어캠을 이용하는 출입문용 감시 시스템의 사람 인식의 정확도를 높이기 위한 연구 및 노력이 계속되고 있다.
본 발명이 해결하고자 하는 기술적 과제는, 오경보율을 현저히 낮출 수 있는 출입문용 감시 시스템을 제공하고자 한다.
상기와 같은 과제를 해결하고자, 본 발명의 일 실시형태에 따른 출입문용 감시 시스템은, 도어 앞의 영역에서 발생하는 움직임을 감지하는 모션 센서와, 상기 모션 센서에 의해 움직임이 감지되면 상기 도어 앞을 촬영하는 영상획득부와, 제어부의 제어 명령에 따라 상기 영상획득부에서 촬영된 영상을 클라우드 서버로 송신하는 무선통신부를 포함하는 도어캠 단말 장치; 상기 도어캠 단말 장치에서 촬영된 영상을 수신하여 방문자 유무를 판단하고, 방문자가 있는 것으로 판단되는 경우에만 PUSH 서버로 푸쉬 메시지 전송 요청을 송신하는, 상기 클라우드 서버; 상기 클라우드 서버로부터 상기 푸쉬 메시지 전송 요청을 수신하여, 사용자 단말로 푸쉬 메시지를 전송하는, 상기 PUSH 서버; 및 상기 PUSH 서버로부터 상기 푸쉬 메시지를 수신하여, 상기 클라우드 서버로부터 상기 도어캠 단말 장치에서 촬영된 영상을 수신하고, 사용자에 의해 상기 촬영된 영상에 대한 사용자 메타 정보를 입력 받는, 상기 사용자 단말을 포함하되, 상기 클라우드 서버는, 상기 영상획득부에서 촬영된 영상을 유의미한 이벤트 이미지와 무의미한 이벤트 이미지로 분류하는 이미지 분석부와, 상기 사용자 단말로부터 수신한 메타 정보와 이미지 정보를 포함하는 학습 데이터를 딥러닝 기법을 이용하여 학습하는 이미지 학습부를 포함하되, 상기 이미지 분석부는, 딥러닝 이미지 분류 기술을 이용하여 상기 촬영된 영상의 물체가 사람인지 여부를 판단하는 사람인식부, 전경 및 배경 분류 기술을 이용하여 상기 촬영된 영상에서 물체가 존재하는 시간이 미리 설정한 시간보다 짧은지 여부를 판단하는 상황인식부, 및 상기 촬영된 영상에서 추출된 얼굴 이미지가 상기 사용자에 의해 데이터베이스에 미리 저장된 얼굴 이미지와 일치하는지 여부를 판단하는 얼굴 인식부를 포함하며, 상기 이미지 학습부는 상기 사용자 메타 정보와 이미지 정보를 포함하는 학습 데이터를 이용한 학습 결과를 상기 이미지 분석부로 피드백한다.
또한, 일 실시예에 따르면, 상기 클라우드 서버는, 상기 영상획득부에서 촬영된 영상의 객체가 사람이 아닌 것으로 상기 사람인식부에서 판단되는 경우, 또는 상기 영상획득부에서 촬영된 영상에서 객체가 존재하는 시간이 미리 설정한 시간보다 짧은 것으로 상기 상황인식부에서 판단되는 경우, 또는 상기 영상획득부에서 촬영된 영상에서 추출된 얼굴 이미지가 상기 사용자에 의해 데이터베이스에 미리 저장된 얼굴 이미지와 일치하는 경우에는 상기 사용자 단말로 상기 푸쉬 메시지를 전송하지 않는 것이 바람직하다.
또한, 일 실시예에 따르면, 상기 모션 센서는, TX모듈에서 복사된 적외선을 수광하는 RX모듈과, 수광된 신호를 증폭시키는 증폭부와, 증폭된 광신호를 설정값과 비교 판단하는 수광량 판별부와, 차광 시간을 판단하는 차광시간 비교부와 감지 신호를 전송하는 신호전송부를 포함하는 적외선 감지 센서인 것이 바람직하다.
본 발명의 다른 실시형태에 따르면, 출입문용 감시 시스템의 동작 방법은 모션 센서와 영상획득부와 제어부와 무선통신부를 포함하는 도어캠 단말 장치, 이미지 분석부와 이미지 학습부를 포함하는 클라우드 서버, 푸쉬 서버, 및 사용자 단말을 포함하여 이루어지는 출입문용 감시 시스템의 동작 방법으로서, 상기 모션 센서가 도어 앞의 영역에서 발생하는 움직임을 감지하는 단계; 상기 모션 센서에 의해 상기 움직임이 감지되면, 상기 제어부의 제어 명령에 의해, 상기 영상획득부가 상기 도어 앞을 촬영하여 영상을 획득하는 단계; 상기 영상획득부에서 획득된 영상을 상기 클라우드 서버로 전송하는 단계; 상기 클라우드 서버의 이미지 분석부가, 상기 영상획득부로부터 수신한 이미지를 분석하여 방문자 유무를 판단하는 단계; 상기 방문자 유무의 판단 결과에 기초하여, 상기 클라우드 서버가 PUSH 서버로 푸쉬 메시지 요청의 전송 여부를 결정하는 단계; 상기 PUSH 서버가, 상기 푸쉬 메시지 요청을 수신하여 상기 사용자 단말로 푸쉬 메시지를 전송하는 단계; 상기 사용자 단말이, 상기 푸쉬 메시지를 수신하여 상기 클라우드 서버로부터 상기 영상획득부에서 촬영된 영상을 수신하고, 사용자에 의해 상기 촬영된 영상에 대해 사용자 메타 정보를 입력 받는 단계; 상기 사용자 단말이, 상기 사용자 메타 정보와 이미지 정보를 상기 클라우드 서버로 전송하는 단계; 상기 클라우드 서버의 상기 이미지 학습부가 상기 사용자 메타 정보와 상기 이미지 정보를 포함하는 학습 데이터를 딥러닝 기법에 따라 학습하는 단계; 및 상기 이미지 학습부가 학습 결과를 상기 이미지 분석부로 피드백 하는 단계를 포함한다.
상기와 같은 본 발명에 따르면, 출입문 감시 시스템에서 오경보를 발생시킬 확률을 현저히 낮추고, 꼭 필요한 경우에만 사용자에게 푸쉬 메시지를 보내 출입문 감시 시스템의 신뢰도와 활용도를 향상시킬 수 있다.
또한, 사용자로부터 인증된 양질의 학습 데이터를 기반으로 딥러닝 기법을 이용하여 방문자를 분석하므로, 출입문용 감시 시스템의 오경보율을 현저히 낮추고, 사람 인식의 정확도를 높일 수 있다.
도 1 은 본 발명의 일 실시예에 따른 출입문 감시 시스템을 도시한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 도어캠 단말 장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 도어캠 단말 장치의 외측 구성도이다.
도 4는 본 발명에 따른 출입문 감시 시스템의 동작 방법을 주체별로 구분하여 설명하기 위한 도이다.
도 5는 사용자가 사용자 단말을 이용하여 메타 정보를 생성하는 예를 설명하기 위한 도이다.
도 6 은 클라우드 서버의 구성도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 ““포함””한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.
이하, 도 1 내지 도 6을 통하여, 본 발명에 따른 출입문 감시 시스템 및 그 동작 방법에 대해 구체적으로 설명한다.
출입문 감시 시스템
도 1 은 본 발명에 따른 도어캠 단말 장치를 포함하는 출입문 감시 시스템(1)의 구성도이다. 일 실시예에 따르면, 도어캠 단말 장치를 포함하는 출입문 감시 시스템(1)은 도어캠 단말 장치(10), 클라우드 서버(20), PUSH 서버(30), 및 사용자 단말(40)을 포함하여 이루어질 수 있다. 여기서, PUSH 서버는 최근 인터넷 상에서 사용되고 있는 PUSH 기술에 따라 서버 동작을 수행할 수 있는 서버를 일컫는다. 또한, 본 발명에 따른 출입문 감시 시스템(1)은 각 단말 장치와 서버 간의 유/무선 통신을 가능하게 하는 통신망(50)을 더 포함할 수 있다.
도어캠 단말 장치(10)는 도어 밖의 영상을 획득하여 클라우드 서버(20)로 전송한다. 클라우드 서버(20)는 도어캠 단말 장치(10)로부터 수신한 영상을 이용하여 영상에서의 객체가 방문자인지 여부를 판단하고, 방문자라고 판단되는 경우에는 외부의 PUSH 서버(30)로 '푸쉬 메시지 전송 요청'을 송신한다. 반면, 클라우드 서버(20)가 도어캠 단말 장치(10)로부터 수신한 영상에서의 객체가 방문자가 아닌 것 판단하면, 외부의 PUSH 서버(30)는 아무런 동작을 수행하지 않을 수 있다. PUSH 서버(30)가 클라우드 서버(20)로부터 '푸쉬 메시지 전송 요청'을 수신하면, PUSH 서버(30)는 사용자 단말(40)로 푸쉬 메시지를 전송한다. 사용자 단말(40)이 PUSH 서버(30)로부터 푸쉬 메시지를 수신하면, 사용자 단말(40)에 설치된 애플리케이션이 실행되어, 사용자 단말(40)은 도어캠 단말 장치(10)에서 획득한 영상을 수신하여 디스플레이 할 수 있다. 이 때, 사용자는 사용자 단말(40)을 통해 도어캠 단말장치(10)와 양방향 음성 또는 화상 통신을 수행할 수 있다.
도어캠 단말 장치
다음으로, 도 2를 참조하여 본 발명의 일 실시예에 따른 도어캠 단말 장치(10)의 구성에 대해 설명한다. 일 예로, 본 발명에 따른 도어캠 단말 장치(10)는 모션 센서(110), 영상획득부(120), 제어부(130), 및 무선통신부(140)를 포함하여 이루어질 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
모션 센서(110)는 도어캠 단말 장치(10) 전면(예를 들어, 현관 앞)에서의 물체의 움직임 및/또는 물체의 위치를 감지하기 위해 사용되는 일종의 동작 인식 센서로서, 적외선 감지센서일 수 있다. 적외선 감지센서는 TX모듈에서 복사된 적외선을 수광하는 RX모듈과, 수광된 신호를 증폭시키는 증폭부와, 증폭된 광신호를 설정값과 비교 판단하는 수광량 판별부와, 차광 시간을 판단하는 차광시간 비교부와 감지 신호를 전송하는 신호전송부를 포함하여 이루어질 수 있다. 증폭부는 광전변환부를 구비하는 RX모듈이 수신한 적외선 파형을 증폭하여 수광량 판별부로 출력하고, 수광량 판별부는 증폭부에서 출력되는 증폭된 수광신호값을 미리 설정한 설정값과 비교하여 수광신호값이 설정값보다 적으면 적외선이 수광 전에 차광된 것으로 판단하고, 차광 신호를 차광시간 비교부로 전송한다. 차광시간 비교부는 차광여부를 판단하기 위해 미리 차광시간을 설정하여 저장한 뒤 차광이 진행된 시간을 카운트하여 차광시간이 설정된 시간보다 길 경우 감지 신호를 제어부(130)로 전송한다. 즉, 모션센서(110)는 도어 앞에서 움직임이 감지되면 감지 신호를 제어부(130)로 출력하게 된다.
영상획득부(120)는 도어 앞의 소정 영역에 대한 영상을 촬영하는 것으로, 모션 센서(110)의 감지 신호에 따라 동작 여부가 결정될 수 있다. 즉, 모션 센서(110)에서 물체의 움직임이 감지되면, 제어부(130)의 제어 명령에 따라, 영상획득부(120)가 영상 촬영을 개시할 수 있다. 또는 모션 센서(110)에서 물체의 움직임이 감지되지 않는 시간이 미리 설정된 소정 시간 이상인 경우에는 영상획득부(120)가 영상 촬영을 중지하도록 제어 설정할 수 있다.
제어부(130)의 제어에 의해, 영상획득부(120)에서 획득된 영상은 메모리부(180)에 저장되거나, 무선통신부(150)를 통해 외부의 단말 또는 서버(20)로 전송될 수 있다.
무선통신부(150)는 도어캠 단말 장치(10)와 무선 통신 시스템 사이 또는 도어캠 단말 장치(10)와 서버(20,30) 사이 또는 도어캠 단말 장치(10)와 사용자 단말(40)이 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함한다. 예를 들어, 무선통신부(150)는 무선 인터넷부 및/또는 근거리통신부 등을 포함할 수 있다. 무선 인터넷부는 무선인터넷 접속을 위한 모듈로서, 도어캠 단말 장치(10)에 내장되거나 외장될 수 있다. 무선인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 근거리통신부는 근거리통신을 위한 모듈로서, 근거리통신(short range communication) 기술에 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
한편, 본 발명에 따른 도어캠 단말 장치(10)는 LED부(150), 입/출력부(160), 전원공급부(170), 및 메모리부(180)를 더 포함할 수 있다. LED부(150)는 광을 조사함으로써 도어캠 단말 장치(10)가 동작 중인 것을 방문자 등에게 알려줄 수 있다. 이를 위해, 사용자 설정을 통해 소정 주기로 LED부(150)가 광을 조사하도록 할 수 있다. 입/출력부(160)는, 디스플레이부(162), 키패드부(164), 마이크로폰(166), 및 스피커(168)를 포함하여 이루어질 수 있다. 디스플레이부(162)는 실내에 위치하는 사람과의 화상 통화(인터폰) 또는 외부 단말을 이용하는 사용자와의 화상 통화 시에 화상 통화 대상자의 단말에서 촬영되는 영상을 디스플레이 할 수 있다. 키패드부(164)는 조작부로서 기능할 수 있으며, 마이크로폰(166)과 스피커(168)를 통해서 인터폰의 동작을 수행하도록 하는 인터폰조작부, 또는 비밀번호의 입력에 의해 도어의 개폐를 수행하도록 동작시키는 비밀번호입력조작부를 포함할 수 있다. 인터폰은 인터폰조작부의 조작에 의해 마이크로폰(166)과 스피커(168)를 통해서 도어 외부에 위치하는 사람이 실내에 위치하는 사람과 통화가 가능하도록 한다.
전원공급부(170)는 배터리를 통해서 도어캠 단말 장치(10)의 동작에 필요한 전원을 공급하되, 배터리의 전원이 모두 소모되면, 무선전력전송(wireless power transfer) 등에 의해 외부 전원을 공급받아 동작에 필요한 전원을 공급할 수 있다.
메모리부(180)는 제어부(130)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 정지 영상, 동영상, 음성 등)을 저장할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 도어캠 단말 장치(10)의 외측 구성을 보여주는 도이다. 도 2와 도3 의 동일한 참조 번호는 동일한 구성에 대응된다. 예를 들어, 도어캠 단말 장치(10)의 외측에는 단말 장치(10)의 상부에서 하부에 이르기까지 LED부(150), 카메라(120), 마이크로폰(166), 스피커(168), 모션센서(110)가 일렬로 배치될 수 있다. 다만, 이는 예시일 뿐이므로 본 발명이 이에 한정되는 것은 아니다.
출입문 감시 시스템의 동작 방법
도 4는 본 발명에 따른 출입문 감시 시스템의 동작 방법을 주체별로 구분하여 도시한 것이다. 우선, 도어캠 단말 장치(10)가 이벤트 발생을 감지하면(S100), 영상을 획득하여, 획득된 영상을 클라우드 서버(20)로 전송한다(S110). 예를 들어, 도 2 와 관련하여 상술한 바와 같이, 도어캠 단말 장치(10)는 모션 센서를 이용하여 움직임 이벤트 발생을 감지하고, 움직임 이벤트가 감지되면 영상획득부에서 영상을 촬영하여 촬영된 영상을 클라우드 서버(20)로 전송할 수 있다. 다음으로, 클라우드 서버(20)는 도어캠 단말 장치(10)로부터 영상을 수신하여 이미지 분석을 수행한다(S120). 이미지 분석이 완료되면, 분석된 이미지에 기초하여 방문자 여부를 판단하고(S130), 방문자가 있는 것으로 판단되면 사용자 단말(40)로 영상을 전송한다. 이러한 과정에서, 클라우드 서버(20)는 사용자 단말(40)로 전송하고자 하는 이미지(예를 들어, 유의미한 이벤트 이미지)를 내부의 메모리부에 저장할 수도 있다. 한편, 도 2와 관련하여 상술한 바와 같이, 별도의 PUSH 서버가 존재하여, PUSH 서버가 클라우드 서버(20)로부터 푸쉬 메시지 전송 요청을 수신하여 사용자 단말(40)로 푸쉬 메시지를 전송하면, 사용자 단말(40)이 클라우드 서버(20)로부터 이미지를 수신하는 것도 가능하다. 사용자 단말(40)은 수신한 영상을 애플리케이션 등을 통해 사용자에게 디스플레이하고, 사용자는 수신한 영상(모션감지시 촬영된 영상)에 대해 메타 정보를 생성할 수 있다. 사용자에 의해 생성된 메타 정보는 클라우드 서버(20)로 전송되고, 학습서버는 수집된 이미지와 메타 정보를 이용하여 이미지 학습을 수행한다(S160). 학습 데이터는 클라우드 서버(20) 내의 메모리에 저장될 수 있다. 이미지 학습 결과는 이미지 분석 단계(S120)로 피드백 되어 분석 정확도를 증가시킬 수 있다.
도 5 는 사용자가 사용자 단말을 이용하여 메타 정보를 생성하는 예를 도시한다. 모션감지시 촬영된 사진은 앱 등을 통해 사용자 단말(40)에 디스플레이 되며, 사용자는 촬영된 사진을 직접 평가할 수 있다. 예를 들어, 사용자는 촬영된 영상의 오브젝트에 대해 방문자로 인증(positive)하거나, 인증 거부(negative)하는 방식으로 메타 정보를 생성할 수 있다. 이미지를 확인한 후에 방문자인 경우에는 'positive'로 평가하고, 방문자가 아닌 경우(예를 들어, 사람이 아닌 경우, 또는 사람이지만 방문 의사가 없이 단순히 스쳐 지나가는 경우 등)에는 'negative'로 평가할 수 있다. 또한, 메타 정보에는 오브젝트의 위치 정보 등이 더 포함될 수 있다. 이렇게 생성된 메타 정보는 클라우드 서버로 전송된다.
클라우드 서버
도 6은 클라우드 서버(20)의 구성도이다. 클라우드 서버(20)는, 도어캠 단말 장치로부터 수신한 영상을 유의미한 이벤트 이미지와 무의미한 이벤트 이미지로 분류하는 이미지 분석부(210), 유의미한 이벤트 이미지를 사용자 단말(40)로 송신하거나, 사용자 단말(40)로부터 메타 정보 및/또는 이미지 정보를 수신하는 서버 송수신부(220), 및 도어캠 단말 장치에서 획득된 영상과, 사용자 단말로부터 수신한 메타 정보와 이미지 정보를 포함하는 학습 데이터를 딥러닝 기법을 이용하여 학습하는 이미지 학습부(230)를 포함하여 이루어질 수 있다. 또한, 클라우드 서버(20)는 유의미한 이벤트 이미지와, 사용자 단말로부터 수신한 메타 정보 및/또는 이미지 정보를 저장하는 서버 저장부(240)를 더 포함할 수 있다.
이미지 분석부(210)는, 딥러닝 이미지 분류 기술을 이용하여, 촬영된 영상의 객체가 사람인지 여부를 판단하는 사람인식부와, 전경 및 배경 분류 기술을 이용하여, 촬영된 영상에서 객체가 존재하는 시간이 미리 설정한 시간보다 짧은지 여부를 판단하는 상황인식부와, 촬영된 영상에서 추출된 얼굴 이미지가 사용자에 의해 데이터베이스에 미리 저장된 얼굴 이미지와 일치하는지 여부를 판단하는 얼굴 인식부를 포함하여 구성될 수 있다. 즉, 이미지 분석부(210)는 사람인식, 상황인식, 얼굴인식 등의 기법을 적절히 조합 활용하여 이벤트 이미지를 유의미한 이벤트 이미지와 무의미한 이벤트 이미지로 분석할 수 있다. 예를 들어, 도어 앞에서 촬영된 이미지에서의 객체가 방문자인 경우에는 이벤트 이미지를 유의미한 이벤트 이미지로 분류할 수 있으며, 도어 앞에서 촬영된 이미지에서의 객체가 사람이 아닌 경우 또는 도어 앞에서 촬영된 이미지에서의 객체가 소정 시간 이하의 시간 동안 스쳐 지나간 경우(즉, 방문자가 아닌 경우)에는, 이벤트 이미지를 무의미한 이벤트 이미지로 분류할 수 있다. 또는, 도어캠 단말 장치에서 촬영된 영상에서 추출된 얼굴 이미지가 사용자에 의해 데이터베이스에 미리 저장된 얼굴 이미지와 일치하는 경우에는, 방문자가 사용자에 의해 미리 인증된 인물로 판단하여 무의미한 이벤트 이미지로 분류하고, 별도의 푸쉬 메시지 전송 요청을 하지 않는다.
이미지 학습부(230)는 사용자 단말로부터 수신한 메타 정보와 이미지 정보를 포함하는 학습 데이터를 딥러닝 기법을 이용하여 학습한다. 딥러닝을 이용한 사람 인식 기법이나 얼굴 인식 기법은 수많은 트레이닝 이미지 세트로 학습을 시켜야만 정확도가 높아지는데, 예를 들어, ImageNetTM data set를 적절히 활용함으로써 학습 효과를 높일 수 있으나, 현관(도어) 앞이라는 특수한 배경에서의 사람 인식의 정확도를 높이기 위해서는 양질의 학습용 데이터가 필요하다. 따라서, 본 발명에서는 도어 앞에서 찍힌 영상을 포함하는 학습 데이터를 계속적으로 반영하여 딥러닝 기법에 따라 이미지 분석을 수행함으로써 사람 인식의 정확도와 신뢰도를 현저히 높일 수 있게 된다.
이상에서 본 발명에 따른 실시 예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

Claims (4)

  1. 출입문용 감시 시스템으로서,
    도어 앞의 영역에서 발생하는 움직임을 감지하는 모션 센서와, 상기 모션 센서에 의해 움직임이 감지되면 상기 도어 앞을 촬영하는 영상획득부와, 제어부의 제어 명령에 따라 상기 영상획득부에서 촬영된 영상을 클라우드 서버로 송신하는 무선통신부를 포함하는 도어캠 단말 장치;
    상기 도어캠 단말 장치에서 촬영된 영상을 수신하여 방문자 여부를 판단하고, 방문자가 있는 것으로 판단되는 경우에만 PUSH 서버로 푸쉬 메시지 전송 요청을 송신하는, 상기 클라우드 서버;
    상기 클라우드 서버로부터 상기 푸쉬 메시지 전송 요청을 수신하여, 사용자 단말로 푸쉬 메시지를 전송하는, 상기 PUSH 서버; 및
    상기 PUSH 서버로부터 상기 푸쉬 메시지를 수신하여, 상기 클라우드 서버로부터 상기 도어캠 단말 장치에서 촬영된 영상을 수신하고, 상기 촬영된 영상에 대한 사용자 메타 정보를 입력 받는, 상기 사용자 단말을 포함하되,
    상기 클라우드 서버는, 상기 영상획득부에서 촬영된 영상을 유의미한 이벤트 이미지와 무의미한 이벤트 이미지로 분류하는 이미지 분석부와, 상기 사용자 단말로부터 수신한 메타 정보와 이미지 정보를 포함하는 학습 데이터를 딥러닝 기법을 이용하여 학습하는 이미지 학습부를 포함하되,
    상기 이미지 분석부는, 딥러닝 이미지 분류 기술을 이용하여 상기 촬영된 영상의 객체가 사람인지 여부를 판단하는 사람인식부, 전경 및 배경 분류 기술을 이용하여 상기 촬영된 영상에서 객체가 존재하는 시간이 미리 설정한 시간보다 짧은지 여부를 판단하는 상황인식부, 및 상기 촬영된 영상에서 추출된 얼굴 이미지가 상기 사용자에 의해 데이터베이스에 미리 저장된 얼굴 이미지와 일치하는지 여부를 판단하는 얼굴 인식부를 포함하며,
    상기 이미지 학습부는 상기 사용자 메타 정보와 이미지 정보를 포함하는 학습 데이터를 이용한 학습 결과를 상기 이미지 분석부로 피드백 하는 것을 특징으로 하는 출입문용 감시 시스템.
  2. 제1항에 있어서, 상기 클라우드 서버는,
    상기 영상획득부에서 촬영된 영상의 객체가 사람이 아닌 것으로 상기 사람인식부에서 판단되는 경우, 또는 상기 영상획득부에서 촬영된 영상에서 객체가 존재하는 시간이 미리 설정한 시간보다 짧은 것으로 상기 상황인식부에서 판단되는 경우, 또는 상기 영상획득부에서 촬영된 영상에서 추출된 얼굴 이미지가 상기 사용자에 의해 데이터베이스에 미리 저장된 얼굴 이미지와 일치하는 경우에는 상기 사용자 단말로 상기 푸쉬 메시지를 전송하지 않는 것을 특징으로 하는 출입문용 감시 시스템.
  3. 제 1 항에 있어서, 상기 모션 센서는,
    TX모듈에서 복사된 적외선을 수광하는 RX모듈과, 수광된 신호를 증폭시키는 증폭부와, 증폭된 광신호를 설정값과 비교 판단하는 수광량 판별부와, 차광 시간을 판단하는 차광시간 비교부와 감지 신호를 전송하는 신호전송부를 포함하는 적외선 감지 센서인 것을 특징으로 하는 출입문용 감시 시스템.
  4. 모션 센서와 영상획득부와 제어부와 무선통신부를 포함하는 도어캠 단말 장치, 이미지 분석부와 이미지 학습부를 포함하는 클라우드 서버, 푸쉬 서버, 및 사용자 단말을 포함하여 이루어지는 출입문용 감시 시스템의 동작 방법으로서,
    상기 모션 센서가 도어 앞의 영역에서 발생하는 움직임을 감지하는 단계;
    상기 모션 센서에 의해 상기 움직임이 감지되면, 상기 제어부의 제어 명령에 의해, 상기 영상획득부가 상기 도어 앞을 촬영하여 영상을 획득하는 단계;
    상기 영상획득부에서 획득된 영상을 상기 클라우드 서버로 전송하는 단계;
    상기 클라우드 서버의 이미지 분석부가, 상기 영상획득부로부터 수신한 이미지를 분석하여 방문자 여부를 판단하는 단계;
    상기 방문자 여부의 판단 결과에 기초하여, 상기 클라우드 서버가 PUSH 서버로 푸쉬 메시지 요청의 전송 여부를 결정하는 단계;
    상기 PUSH 서버가, 상기 푸쉬 메시지 요청을 수신하면 상기 사용자 단말로 푸쉬 메시지를 전송하는 단계;
    상기 사용자 단말이, 상기 푸쉬 메시지를 수신하여 상기 클라우드 서버로부터 상기 영상획득부에서 촬영된 영상을 수신하고, 사용자에 의해 상기 촬영된 영상에 대해 사용자 메타 정보를 입력 받는 단계;
    상기 사용자 단말이, 상기 사용자 메타 정보와 이미지 정보를 상기 클라우드 서버로 전송하는 단계;
    상기 클라우드 서버의 상기 이미지 학습부가 상기 사용자 메타 정보와 상기 이미지 정보를 포함하는 학습 데이터를 딥러닝 기법에 따라 학습하는 단계; 및
    상기 이미지 학습부가 학습 결과를 상기 이미지 분석부로 피드백 하는 단계를 포함하는 출입문용 감시 시스템의 동작 방법.
KR1020180040108A 2017-09-27 2018-04-06 출입문용 감시 시스템 및 이의 동작 방법 KR102006933B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170125125 2017-09-27
KR20170125125 2017-09-27

Publications (2)

Publication Number Publication Date
KR20190036443A true KR20190036443A (ko) 2019-04-04
KR102006933B1 KR102006933B1 (ko) 2019-10-01

Family

ID=66105783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180040108A KR102006933B1 (ko) 2017-09-27 2018-04-06 출입문용 감시 시스템 및 이의 동작 방법

Country Status (1)

Country Link
KR (1) KR102006933B1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110037005A (zh) * 2019-05-23 2019-07-23 北京中电慧声科技有限公司 一种基于mesh组网的驱、诱鸟系统及方法
KR102115297B1 (ko) * 2020-02-11 2020-05-26 (주)철과비젼 스마트 자동 샤워부스 장치 및 샤워부스 시스템, 그리고 이의 제어 방법
KR102157963B1 (ko) * 2019-06-10 2020-09-18 이영욱 스마트 사인보드 장치
CN113642461A (zh) * 2021-08-13 2021-11-12 辽宁华盾安全技术有限责任公司 一种基于深度学习的电梯开关门状态识别方法及装置
KR102329347B1 (ko) * 2021-02-23 2021-11-22 김중백 스마트 인공지능 자동 안고지기문
KR102342352B1 (ko) * 2020-08-26 2021-12-22 (주) 시티캅 듀얼분석모드를 이용한 cctv 기반의 인공지능 감지시스템
KR102347120B1 (ko) 2020-09-17 2022-01-05 주식회사 올리브앤도브 케이블 분리 방지 기능을 갖는 도어캠
KR102347121B1 (ko) 2020-09-17 2022-01-05 주식회사 올리브앤도브 도어 고정용 브라켓을 갖는 도어캠
KR102347122B1 (ko) 2020-09-17 2022-01-05 주식회사 올리브앤도브 사생활 침해 방지 기능을 갖는 도어캠
KR102364425B1 (ko) 2020-09-17 2022-02-18 주식회사 올리브앤도브 케이블 수납 기능을 갖는 도어캠
KR20220037289A (ko) 2020-09-17 2022-03-24 주식회사 올리브앤도브 동작 감지 센서를 갖는 도어캠
KR20220057723A (ko) 2020-10-30 2022-05-09 주식회사 올리브앤도브 케이블 손상 방지 기능을 갖는 도어캠
KR20220057724A (ko) 2020-10-30 2022-05-09 주식회사 올리브앤도브 이격 방지 기능을 갖는 도어캠
WO2023122563A1 (en) * 2021-12-22 2023-06-29 Skybell Technologies Ip, Llc Local ai inference

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110092923A (ko) * 2010-02-11 2011-08-18 한국수자원공사 패턴인식을 통한 출입통제시스템
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110092923A (ko) * 2010-02-11 2011-08-18 한국수자원공사 패턴인식을 통한 출입통제시스템
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110037005B (zh) * 2019-05-23 2023-10-31 北京中电慧声科技有限公司 一种基于mesh组网的驱、诱鸟系统及方法
CN110037005A (zh) * 2019-05-23 2019-07-23 北京中电慧声科技有限公司 一种基于mesh组网的驱、诱鸟系统及方法
KR102157963B1 (ko) * 2019-06-10 2020-09-18 이영욱 스마트 사인보드 장치
KR102115297B1 (ko) * 2020-02-11 2020-05-26 (주)철과비젼 스마트 자동 샤워부스 장치 및 샤워부스 시스템, 그리고 이의 제어 방법
KR102342352B1 (ko) * 2020-08-26 2021-12-22 (주) 시티캅 듀얼분석모드를 이용한 cctv 기반의 인공지능 감지시스템
KR102364425B1 (ko) 2020-09-17 2022-02-18 주식회사 올리브앤도브 케이블 수납 기능을 갖는 도어캠
KR102347120B1 (ko) 2020-09-17 2022-01-05 주식회사 올리브앤도브 케이블 분리 방지 기능을 갖는 도어캠
KR102347121B1 (ko) 2020-09-17 2022-01-05 주식회사 올리브앤도브 도어 고정용 브라켓을 갖는 도어캠
KR102347122B1 (ko) 2020-09-17 2022-01-05 주식회사 올리브앤도브 사생활 침해 방지 기능을 갖는 도어캠
KR20220037289A (ko) 2020-09-17 2022-03-24 주식회사 올리브앤도브 동작 감지 센서를 갖는 도어캠
KR20220057723A (ko) 2020-10-30 2022-05-09 주식회사 올리브앤도브 케이블 손상 방지 기능을 갖는 도어캠
KR20220057724A (ko) 2020-10-30 2022-05-09 주식회사 올리브앤도브 이격 방지 기능을 갖는 도어캠
KR102329347B1 (ko) * 2021-02-23 2021-11-22 김중백 스마트 인공지능 자동 안고지기문
CN113642461A (zh) * 2021-08-13 2021-11-12 辽宁华盾安全技术有限责任公司 一种基于深度学习的电梯开关门状态识别方法及装置
WO2023122563A1 (en) * 2021-12-22 2023-06-29 Skybell Technologies Ip, Llc Local ai inference

Also Published As

Publication number Publication date
KR102006933B1 (ko) 2019-10-01

Similar Documents

Publication Publication Date Title
KR20190036443A (ko) 출입문용 감시 시스템 및 이의 동작 방법
AU2019295856B2 (en) Object tracking using disparate monitoring systems
KR101387628B1 (ko) 출입 통제 통합 영상 저장 장치
US11676463B2 (en) Doorbell system and security method thereof
KR101495204B1 (ko) 다목적 경보 장치 기반의 스마트폰을 이용한 창문 감시 방법 및 창문 감시 시스템
AU2019288483B2 (en) Device location network
KR20100091758A (ko) 감시기능을 구비하는 이동통신 단말기 및 그 감시방법
TWI607336B (zh) 區域的監控方法
KR20150041939A (ko) 실시간 이벤트 감지를 통한 도어 감시시스템 및 그 방법
KR102054930B1 (ko) 영상 공유 방법 및 이를 위한 장치
KR20170121934A (ko) 스마트 도어벨 및 이를 포함한 주택 보안 시스템
CN113838478B (zh) 异常事件检测方法、装置和电子设备
US11077826B2 (en) Method of processing ambient radio frequency data for activity recognition
US20230252874A1 (en) Shadow-based fall detection
US20220382383A1 (en) Monitoring System and Method Having Gesture Detection
US20210274133A1 (en) Pre-generating video event notifications
CN115083132A (zh) 一种降低消防报警误报率的研判方法
KR20150137539A (ko) 통신 단말기를 이용한 도어락 제어 장치 및 방법
KR20150136226A (ko) 출입자 관리 시스템 및 이의 제어 방법
WO2016032235A1 (ko) 월패드의 영상 움직임 감지를 이용한 댁내외 모니터링 시스템 및 방법
JP4540456B2 (ja) 不審者検出装置
KR20160102914A (ko) 스마트폰을 이용한 무선 보안 시스템
KR20190114717A (ko) 도어벨, 이를 구비한 보안 시스템 및 그 동작 방법
KR101482646B1 (ko) 스마트 기기 연동형 지능형 방범보안 시스템
CN111311786A (zh) 智能门锁系统及其智能门锁控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant