KR101894399B1 - 개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법 - Google Patents

개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법 Download PDF

Info

Publication number
KR101894399B1
KR101894399B1 KR1020170111168A KR20170111168A KR101894399B1 KR 101894399 B1 KR101894399 B1 KR 101894399B1 KR 1020170111168 A KR1020170111168 A KR 1020170111168A KR 20170111168 A KR20170111168 A KR 20170111168A KR 101894399 B1 KR101894399 B1 KR 101894399B1
Authority
KR
South Korea
Prior art keywords
image
server
monitoring
monitoring area
information
Prior art date
Application number
KR1020170111168A
Other languages
English (en)
Inventor
로버트 유지 웨슬리
Original Assignee
첵트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 첵트 엘엘씨 filed Critical 첵트 엘엘씨
Application granted granted Critical
Publication of KR101894399B1 publication Critical patent/KR101894399B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법을 개시한다. 즉, 본 발명은 프라이버시 모드가 설정된 모니터링 영역 내에서 객체의 움직임이 감지되는 경우, 서버에서 상기 감지된 객체의 움직임에 대한 메타데이터를 모니터링 센터에 제공하고, 상기 모니터링 센터에서는 모니터링 영역과 관련한 영상 대신 미리 설정된 배경 위에 메타데이터에 대응하는 아바타를 표시함으로써, 개인 정보 보호를 강화하며, 전체 시스템에 대한 신뢰성을 높일 수 있다.

Description

개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법{MONITORING SYSTEM HAVING PERSONAL INFORMATION PROTECTION FUNCTION AND METHOD THEREOF}
본 발명은 개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법에 관한 것으로, 특히 프라이버시 모드가 설정된 모니터링 영역 내에서 객체의 움직임이 감지되는 경우, 서버에서 상기 감지된 객체의 움직임에 대한 메타데이터를 모니터링 센터에 제공하고, 상기 모니터링 센터에서 메타데이터를 근거로 단말에 해당 모니터링 영역에 대한 실시간 영상 수신을 위한 요청을 전송하고, 상기 단말에서 상기 모니터링 센터로부터 전송되는 요청에 따라 경찰서 등에 신고하거나 상기 서버에 프라이버시 모드의 일시 정지를 요청하는 개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법에 관한 것이다.
치안이나 안전을 목적으로 CCTV/DVR 영상 감시 시스템이 보급 및 설치되고 있다.
이러한 CCTV/DVR 영상 감시 시스템은 개인 정보 보호를 위해서 프라이버시 모드(privacy mode) 기능을 제공하고 있으며, 상기 프라이버시 모드가 설정된 상태에서 획득되는 영상 내에서 사람이 포함된 경우, 해당 영상 내의 사람에 대한 마스킹 처리만을 수행하여, 여전히 해당 프라이버시 모드에 따른 획득된 영상에 대한 개인 정보를 보호하는데 부족한 점이 존재하고 있다.
한국공개특허 제10-2014-0012474호 [명칭: 얼굴인식 기반의 개인정보보호 장치 및 방법]
본 발명의 목적은 프라이버시 모드가 설정된 모니터링 영역 내에서 객체의 움직임이 감지되는 경우, 서버에서 상기 감지된 객체의 움직임에 대한 메타데이터를 모니터링 센터에 제공하고, 상기 모니터링 센터에서는 모니터링 영역과 관련한 영상 대신 미리 설정된 배경 위에 메타데이터에 대응하는 아바타를 표시하는 개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 다른 목적은 프라이버시 모드가 설정된 상태에서 모니터링 센터에서 서버로부터 제공되는 메타데이터를 근거로 단말에 해당 모니터링 영역에 대한 실시간 영상 수신을 위한 요청을 전송하고, 상기 단말에서 상기 모니터링 센터로부터 전송되는 요청을 근거로 상기 단말을 통해 해당 모니터링 영역을 확인한 후, 외부 침입 등이 의심될 때 직접 경찰서에 신고하거나 또는, 서버에 상기 모니터링 영역에 대한 프라이버시 모드의 일시 정지를 요청하고, 상기 서버에서 일시 정지 요청에 따라 해당 모니터링 영역과 관련한 영상을 상기 모니터링 센터에 제공하는 개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 개인 정보 보호 기능을 포함한 모니터링 방법은 개인 정보 보호 기능을 포함한 모니터링 방법에 있어서, 서버에 의해, 영상 획득 장치로부터 전송되는 모니터링 영역과 관련한 영상을 수신할 때, 상기 모니터링 영역에 대한 프라이버시 모드가 설정된 상태인지 여부를 판단하는 단계; 상기 판단 결과, 상기 모니터링 영역에 대한 프라이버시 모드가 설정된 상태일 때, 상기 서버에 의해, 상기 영상 내에서 객체의 움직임이 감지되는지 여부를 식별하는 단계; 상기 식별 결과, 상기 영상 내에서 객체의 움직임이 감지될 때, 상기 서버에 의해, 상기 영상 내에서 객체의 움직임과 관련한 메타데이터를 모니터링 센터에 전송하는 단계; 상기 모니터링 센터에 의해, 상기 메타데이터를 근거로 미리 설정된 배경색 또는 배경 이미지 상에 상기 메타데이터에 대응하는 하나 이상의 아바타를 표시하는 단계; 및 상기 모니터링 센터에 의해, 상기 메타데이터를 근거로 상기 모니터링 영역에 대한 영상 확인을 위한 영상 수신 요청 정보를 단말에 전송하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 개인 정보 보호 기능을 포함한 모니터링 시스템은 개인 정보 보호 기능을 포함한 모니터링 시스템에 있어서, 모니터링 영역과 관련한 영상을 획득하고, 상기 획득된 영상을 전송하는 영상 획득 장치; 상기 영상 획득 장치로부터 전송되는 영상을 수신할 때 상기 모니터링 영역에 대한 프라이버시 모드가 설정된 상태인지 여부를 판단하고, 상기 모니터링 영역에 대한 프라이버시 모드가 설정된 상태에서 상기 영상 내에서 객체의 움직임이 감지될 때 상기 영상 내에서 객체의 움직임과 관련한 메타데이터를 전송하는 서버; 상기 메타데이터를 근거로 미리 설정된 배경색 또는 배경 이미지 상에 상기 메타데이터에 대응하는 하나 이상의 아바타를 표시하고, 상기 메타데이터를 근거로 상기 모니터링 영역에 대한 영상 확인을 위한 영상 수신 요청 정보를 전송하는 모니터링 센터; 및 상기 영상 수신 요청 정보를 근거로 상기 서버와 연동하여 상기 영상 획득 장치를 통해 획득된 상기 모니터링 영역에 대한 영상을 확인고, 프라이버시 모드의 설정을 일시 정지하기 위한 프라이버시 모드의 일시 정지 요청 정보를 상기 서버에 전송하는 단말을 포함할 수 있다.
본 발명은 프라이버시 모드가 설정된 모니터링 영역 내에서 객체의 움직임이 감지되는 경우, 서버에서 상기 감지된 객체의 움직임에 대한 메타데이터를 모니터링 센터에 제공하고, 상기 모니터링 센터에서는 모니터링 영역과 관련한 영상 대신 미리 설정된 배경 위에 메타데이터에 대응하는 아바타를 표시함으로써, 개인 정보 보호를 강화하며, 전체 시스템에 대한 신뢰성을 높일 수 있는 효과가 있다.
또한, 본 발명은 프라이버시 모드가 설정된 상태에서 모니터링 센터에서 서버로부터 제공되는 메타데이터를 근거로 단말에 해당 모니터링 영역에 대한 실시간 영상 수신을 위한 요청을 전송하고, 상기 단말에서 상기 모니터링 센터로부터 전송되는 요청을 근거로 상기 단말을 통해 해당 모니터링 영역을 확인한 후, 외부 침입 등이 의심될 때 직접 경찰서에 신고하거나 또는, 서버에 상기 모니터링 영역에 대한 프라이버시 모드의 일시 정지를 요청하고, 상기 서버에서 일시 정지 요청에 따라 해당 모니터링 영역과 관련한 영상을 상기 모니터링 센터에 제공함으로써, 단말의 사용자가 지속적으로 개인의 프라이버시가 보호되고 있음을 인지함에 따른 사용상의 편의성을 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 개인 정보 보호 기능을 포함한 모니터링 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 개인 정보 보호 기능을 포함한 모니터링 방법을 나타낸 흐름도이다.
도 3 내지 도 4는 본 발명의 실시예에 따른 모니터링 센터에 표시되는 화면을 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 개인 정보 보호 기능을 포함한 모니터링 시스템(10)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 개인 정보 보호 기능을 포함한 모니터링 시스템(10)은 영상 획득 장치(100), 서버(200), 모니터링 센터(300) 및 단말(400)로 구성된다. 도 1에 도시된 모니터링 시스템(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 모니터링 시스템(10)이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 모니터링 시스템(10)이 구현될 수도 있다.
상기 영상 획득 장치(100)는 상기 단말(400)과 관련하여 미리 설정된 모니터링 영역에 설치된다.
또한, 상기 영상 획득 장치(100)는 IP 카메라/IP 엔코더, 네트워크 카메라 등일 수 있다.
또한, 상기 영상 획득 장치(100)는 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 상기 처리된 화상 프레임은 상기 영상 획득 장치(100)에 연결된 표시부(미도시)에 표시되거나 또는, 상기 서버(200)에 전송된다.
이와 같이, 상기 영상 획득 장치(100)는 상기 영상 획득 장치(100)가 설치된 지역(또는 영역)에 대한 영상 정보를 획득(또는 촬영)하고, 상기 획득된 영상 정보(또는 영상/모니터링 영역과 관련한 영상)을 상기 서버(200)에 전송한다.
상기 서버(200), 상기 모니터링 센터, 상기 단말(400)은 통신 기능을 수행하는 통신부(미도시), 정보 저장 기능을 수행하는 저장부(또는 메모리)(미도시), 정보를 디스플레이하는 표시부(미도시), 정보에 대응하는 음성 정보를 출력하는 음성 출력부(미도시), 구성 요소들을 제어하거나 정보에 따른 기능을 수행하는 제어부(미도시)를 각각 포함할 수 있다.
또한, 상기 서버(200)는 상기 영상 획득 장치(100)로부터 전송되는 영상을 수신한다.
또한, 상기 서버(200)는 해당 영상과 관련한 모니터링 영역에 대한 프라이버시 모드 설정 여부를 판단한다.
즉, 상기 서버(200)는 해당 영상과 관련한 모니터링 영역에 대해서 상기 단말(400)에 의해 프라이버시 모드가 설정된 상태인지 여부를 판단한다.
상기 판단 결과, 해당 영상과 관련한 모니터링 영역에 대해서 프라이버시 모드가 설정된 상태가 아닌 경우, 상기 서버(200)는 해당 영상(또는 해당 모니터링 영역과 관련한 영상)을 모니터링 센터(300)에 전송한다.
또한, 상기 판단 결과, 해당 영상과 관련한 모니터링 영역에 대해서 프라이버시 모드가 설정된 상태인 경우, 상기 서버(200)는 해당 영상(또는 해당 모니터링 영역과 관련한 영상) 내에서 객체(또는 사람)의 움직임이 감지되는지 여부를 식별한다.
이때, 상기 서버(200)는 상기 모니터링 영역과 관련한 도어의 온/오프 상태에 대한 감지 정보 등을 근거로 상기 모니터링 영역 내에서의 외부 침입 여부를 식별할 수도 있다.
또한, 상기 서버(200)는 상기 영상 내에서의 객체의 등장 방향이나 객체의 움직임이 해당 모니터링 영역에 대해서 기존에 학습된 것과 다른 상태인지 여부를 식별할 수도 있다.
또한, 상기 서버(200)는 상기 영상 내에서의 손전등과 같은 조명이 움직이는 상태에 의해 외부 침입 여부를 식별할 수도 있다.
상기 식별 결과, 해당 영상 내에서 객체의 움직임이 감지되지 않는 경우, 상기 서버(200)는 해당 영상 내에서 객체의 움직임이 감지되지 않음을 나타내는 메타데이터(또는 해당 영상 내에 객체가 존재하지 않음을 나타내는 메타데이터)를 상기 모니터링 센터(300)에 전송한다.
또한, 상기 식별 결과, 해당 영상 내에서 객체의 움직임이 감지되는 경우, 상기 서버(200)는 해당 영상 내에서 객체의 움직임과 관련한 메타데이터를 상기 모니터링 센터(300)에 전송한다. 여기서, 상기 영상 내에서 객체의 움직임과 관련한 메타데이터는 딥 러닝에 따른 정지 영상 분석을 통해 영상 내에서의 객체의 수, 딥 러닝에 따른 정지 영상 분석을 통해 영상 내에서의 객체의 위치 정보(또는 좌표 정보), 딥 러닝에 따른 정지 영상 분석을 통해 객체의 종류, 딥 러닝에 따른 정지 영상 분석을 통해 객체의 형상, 딥 러닝에 따른 정지 영상 분석을 통해 객체의 색상, 딥 러닝에 따른 정지 영상 분석을 통해 객체가 들고 있는 물건(또는 다른 객체)의 종류나 색상, 앞서 정지 영상 분석에 따른 분석 정보를 기반으로 하는 상황 인지 정보 등을 포함한다. 이때, 상기 상황 인지 정보는 권총을 든 사람이 문을 발로 차고 있는 경우, 사람들이 싸우고 있는 경우 등을 포함한다.
또한, 상기 영상(예를 들어 정지 영상, 동영상 등 포함) 내에서 객체를 검출하는 경우, 상기 서버(200)는 상기 영상 내에서의 객체의 수, 영상 내에서의 객체의 위치 정보, 객체의 이동 속도 및/또는 이동 패턴 이외에도 상기 영상 내에서의 객체 검출, 검출된 객체 추적, 객체의 넘어짐 감지, 객체의 배회, 검출된 객체가 물건을 두고 가거나 물건을 가져가는 것, 객체간 싸움, 객체의 종류, 객체를 구성하는 색상 등과 같은 객체의 현재 상황과 관련한 정보를 포함하는 상기 영상 내에서의 객체의 움직임과 관련한 메타데이터를 생성(또는 관리)할 수 있다.
또한, 상기 모니터링 센터(300)로 전송한 상기 영상 내에서 객체의 움직임과 관련한 메타데이터를 근거로 상기 단말(400)에서 해당 모니터링 영역에 대한 프라이버시 모드의 일시 정지를 요청하고자 하는 경우, 상기 서버(200)는 상기 단말(400)로부터 전송되는 프라이버시 모드의 일시 정지 요청 정보를 수신한다. 여기서, 상기 프라이버시 모드의 일시 정지 요청 정보는 미리 설정된 시간(예를 들어 30분, 1시간, 2시간 등 포함) 동안 앞서 설정된 프라이버시 모드를 해제하여 정상 모드를 유지하며, 상기 미리 설정된 시간이 경과한 경우 자동으로 상기 정상 모드에서 상기 프라이버시 모드로 전환하기 위한 정보, 단말(400)의 식별 정보, 상기 단말(400)과 관련한 모니터링 영역에 대한 정보, 상기 모니터링 영역과 관련한 영상 획득 장치(100)에 대한 정보 등을 포함한다. 또한, 상기 단말(400)의 식별 정보는 MDN(Mobile Directory Number), 모바일 IP, 모바일 MAC, Sim(subscriber identity module: 가입자 식별 모듈) 카드 고유정보, 시리얼번호 등을 포함한다.
또한, 상기 서버(200)는 상기 수신된 프라이버시 모드의 일시 정지 요청 정보를 근거로 상기 영상 획득 장치(100)로부터 제공되는 해당 모니터링 영역과 관련한 영상을 상기 모니터링 센터(300)에 전송한다.
또한, 상기 서버(200)는 상기 모니터링 센터(300)로부터 전송되는 상기 모니터링 영역과 관련한 불법 침입으로 판단된 시점 전/후 각각의 5분간의 동영상, 상기 모니터링 영역에서의 불법 침입으로 판단된 시점의 응급 상황 발생 시각 정보, 상기 경찰서 서버에 불법 침입에 대한 응급 상황 발생 정보를 제공한 시점의 시각 정보(또는 응급 상황 발생 신고 시각 정보) 등을 포함하는 로그 정보를 수신한다.
또한, 상기 서버(200)는 상기 수신된 로그 정보를 상기 모니터링 영역 및/또는 상기 단말(400)의 식별 정보와 연동하여 저장한다.
또한, 상기 서버(200)는 상기 영상 획득 장치(100)로부터 제공되는 영상을 해당 서버(200)에 접속한 관리자, 상기 단말(100), 상기 모니터링 센터(300) 등에 제공하는 경우, 해당 영상을 확인하는 모든 디바이스나 사용자에 대한 정보를 로그로 기록하고, 상기 기록된 로그를 상기 단말(100)에 제공한다.
이와 같이, 상기 로그를 최종 사용자인 상기 단말(100)에 제공함에 따라, 프라이버시 모드가 인에이블 상태 또는 디스에이블 상태에서도 최종 사용자는 개인 정보를 보호받고 있다는 느낌을 가질 수 있다.
상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 해당 영상 내에서 객체의 움직임이 감지되지 않음을 나타내는 메타데이터(또는 해당 영상 내에 객체가 존재하지 않음을 나타내는 메타데이터)를 수신한다.
또한, 상기 모니터링 센터(300)는 상기 수신된 해당 영상 내에서 객체의 움직임이 감지되지 않음을 나타내는 메타데이터를 표시한다. 이때, 상기 모니터링 센터(300)는 상기 메타데이터를 근거로 상기 모니터링과 관련한 영상 대신에 미리 설정된 배경색(예를 들어 블랙 색상, 화이트 색상 등 포함) 또는 미리 설정된 배경 이미지를 표시한다.
또한, 상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 해당 영상 내에서 객체의 움직임과 관련한 메타데이터를 수신한다.
또한, 상기 모니터링 센터(300)는 상기 수신된 해당 영상 내에서 객체의 움직임과 관련한 메타데이터를 표시한다. 이때, 상기 모니터링 센터(300)는 미리 설정된 배경색(예를 들어 블랙 색상, 화이트 색상 등 포함) 또는 미리 설정된 배경 이미지 상에 상기 영상 내에서 객체의 움직임과 관련한 메타데이터에 대응하는 하나 이상의 아바타 또는 이모티콘을 표시한다. 여기서, 상기 모니터링 센터(300)는 상기 객체의 움직임과 관련한 메타데이터를 근거로 객체의 이동 속도 및/또는 이동 패턴, 객체의 현재 상황 정보 등을 추가로 표시할 수도 있다.
또한, 상기 모니터링 센터(300)는 상기 수신된 해당 영상 내에서 객체의 움직임과 관련한 메타데이터를 근거로 객체 위치별 아바타, 메타데이터에 따른 객체 종류나 상태, 객체의 행동에 설명(예를 들어 '파란 옷을 입은 사람이 30초간 배회하고 있다', '노란 머리를 한 사람과 검은 머리를 한 사람이 싸우고 있다' 등 포함) 등을 표시할 수도 있다.
또한, 상기 모니터링 센터(300)(또는 상기 모니터링 센터(300)의 관리자/오퍼레이터)는 해당 영상 내에서 객체의 움직임과 관련한 메타데이터를 근거로 해당 모니터링 영역에 대한 영상 수신(또는 영상 확인)을 위한 영상 수신 요청 정보를 상기 단말(400)에 전송한다.
또한, 상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 해당 모니터링 영역과 관련한 영상을 수신한다.
또한, 상기 모니터링 센터(300)는 상기 수신된 해당 모니터링 영역과 관련한 영상을 표시한다.
또한, 상기 모니터링 센터(300)에 표시되는 영상 내에서 침입자가 있는 것으로 판단되는 경우, 상기 모니터링 센터(300)는 미리 등록된 경찰서 등의 상기 관리 서버에 응급 상황 발생에 대한 정보(또는 응급 상황 발생 정보)를 제공한다. 여기서, 상기 응급 상황 발생에 대한 정보(또는 응급 상황 발생 정보)는 상기 응급 상황과 관련한 응급 상황 발생 시점을 기준으로 해당 응급 상황 발생 전/후의 미리 설정된 개수만큼의 스냅샷 또는 미리 설정된 시간 동안의 동영상, 응급 상황 발생 시각 정보, 응급 상황 발생 신고 시각 정보, 응급 상황이 발생한 곳의 주소, 응급 상황이 발생한 곳의 비상연락처 정보, 응급 상황이 발생한 곳의 응급 상황 담당자의 비상연락처 정보 등을 포함한다.
상기 단말(400)은 상기 모니터링 영역과 관련한 단말일 수 있다.
또한, 상기 단말(400)은 상기 모니터링 영역에 대해서 개인 정보 보호를 위한 프라이버시 모드 여부를 설정한다.
이때, 상기 프라이버시 모드가 설정된 상태가 아닌 경우, 상기 영상 획득 장치(100)를 통해 획득되는 영상이 상기 서버(200)를 경유하여 상기 모니터링 센터(300)에 제공될 수 있다.
또한, 상기 프라이버시 모드가 설정된 상태인 경우, 상기 서버(200)는 상기 영상 획득 장치(100)를 통해 획득된 영상에서 객체의 유무에 따른 메타데이터를 생성하고, 상기 생성된 메타데이터를 상기 모니터링 센터(300)에 제공할 수 있다.
또한, 상기 단말(400)은 상기 모니터링 센터(300)로부터 전송되는 영상 수신 요청 정보를 수신한다.
또한, 상기 단말(400)은 상기 서버(200)와 연동하여 상기 영상 획득 장치(100)를 통해 획득된(또는 촬영된) 해당 모니터링 영역에 대한 영상을 확인한다.
또한, 상기 단말(400)에서의 상기 모니터링 영역에 대한 영상 확인에 의해, 해당 모니터링 영역에 침입자가 있는 것으로 판단되는 경우, 상기 단말(400)은 경찰서 등의 관리 서버(미도시)에 직접 신고한다.
또한, 상기 단말(400)에서의 상기 모니터링 영역에 대한 영상 확인에 의해, 해당 모니터링 영역에 침입자가 있는 것으로 판단되는 경우, 상기 단말(400)은 상기 서버(200)에 프라이버시 모드의 일시 정지 요청 정보를 전송한다. 여기서, 상기 프라이버시 모드의 일시 정지 요청 정보는 미리 설정된 시간(예를 들어 30분, 1시간, 2시간 등 포함) 동안 앞서 설정된 프라이버시 모드를 해제하여 정상 모드를 유지하며, 상기 미리 설정된 시간이 경과한 경우 자동으로 상기 정상 모드에서 상기 프라이버시 모드로 전환하기 위한 정보, 단말(400)의 식별 정보, 상기 단말(400)과 관련한 모니터링 영역에 대한 정보, 상기 모니터링 영역과 관련한 영상 획득 장치(100)에 대한 정보 등을 포함한다.
또한, 상기 모니터링 센터(300)로부터 전송되는 영상 수신 요청 정보를 수신하는 경우, 상기 단말(400)은 상기 서버(200)에 프라이버시 모드의 일시 정지 요청 정보를 전송할 수도 있다.
또한, 상기 단말(400)은 상기 서버(200)로부터 전송되는 로그(또는 로그 정보)를 수신하고, 상기 수신된 로그를 표시한다.
이와 같이, 프라이버시 모드가 설정된 모니터링 영역 내에서 객체의 움직임이 감지되는 경우, 서버에서 상기 감지된 객체의 움직임에 대한 메타데이터를 모니터링 센터에 제공하고, 상기 모니터링 센터에서는 모니터링 영역과 관련한 영상 대신 미리 설정된 배경 위에 메타데이터에 대응하는 아바타를 표시할 수 있다.
또한, 이와 같이, 프라이버시 모드가 설정된 상태에서 모니터링 센터에서 서버로부터 제공되는 메타데이터를 근거로 단말에 해당 모니터링 영역에 대한 실시간 영상 수신을 위한 요청을 전송하고, 상기 단말에서 상기 모니터링 센터로부터 전송되는 요청을 근거로 상기 단말을 통해 해당 모니터링 영역을 확인한 후, 외부 침입 등이 의심될 때 직접 경찰서에 신고하거나 또는, 서버에 상기 모니터링 영역에 대한 프라이버시 모드의 일시 정지를 요청하고, 상기 서버에서 일시 정지 요청에 따라 해당 모니터링 영역과 관련한 영상을 상기 모니터링 센터에 제공할 수 있다.
이하에서는, 본 발명에 따른 개인 정보 보호 기능을 포함한 모니터링 방법을 도 1 내지 도 4를 참조하여 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 개인 정보 보호 기능을 포함한 모니터링 방법을 나타낸 흐름도이다.
먼저, 영상 획득 장치(100)는 단말(400)과 관련하여 미리 설정된 모니터링 영역과 관련한 영상을 획득한다. 여기서, 상기 영상 획득 장치(100)는 IP 카메라/IP 엔코더, 네트워크 카메라 등일 수 있다.
또한, 상기 영상 획득 장치(100)는 상기 획득된 영상(또는 상기 획득된 모니터링 영역과 관련한 영상)을 서버(200)에 전송한다.
일 예로, 상기 영상 획득 장치(100)는 제 1 샵(shop)에 설치된 네트워크 카메라를 통해 촬영되는 제 1 영상을 상기 서버(200)에 전송한다(S210).
이후, 상기 서버(200)는 상기 영상 획득 장치(100)로부터 전송되는 영상을 수신한다.
또한, 상기 서버(200)는 해당 영상과 관련한 모니터링 영역에 대한 프라이버시 모드 설정 여부를 판단한다.
즉, 상기 서버(200)는 해당 영상과 관련한 모니터링 영역에 대해서 상기 단말(400)에 의해 프라이버시 모드가 설정된 상태인지 여부를 판단한다.
일 예로, 상기 서버(200)는 상기 영상 획득 장치(100)로부터 전송되는 제 1 영상을 수신한다.
또한, 상기 서버(200)는 상기 제 1 샵에 대해서 상기 단말(400)에 의해 프라이버시 모드가 설정된 상태인지 여부를 판단한다(S220).
상기 판단 결과, 해당 영상과 관련한 모니터링 영역에 대해서 프라이버시 모드가 설정된 상태가 아닌 경우, 상기 서버(200)는 해당 영상(또는 해당 모니터링 영역과 관련한 영상)을 모니터링 센터(300)에 전송한다.
또한, 상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 영상을 수신하고, 상기 수신된 영상을 표시한다.
일 예로, 상기 판단 결과, 상기 제 1 샵에 대해서 상기 단말(400)에 의해 프라이버시 모드가 설정된 상태가 아닐 때, 상기 서버(200)는 상기 제 1 영상을 상기 모니터링 센터(300)에 전송한다.
또한, 상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 제 1 영상을 수신하고, 상기 수신된 제 1 영상을 표시한다(S230).
또한, 상기 판단 결과, 해당 영상과 관련한 모니터링 영역에 대해서 프라이버시 모드가 설정된 상태인 경우, 상기 서버(200)는 해당 영상(또는 해당 모니터링 영역과 관련한 영상) 내에서 객체(또는 사람)의 움직임이 감지되는지 여부를 식별한다.
일 예로, 상기 판단 결과, 상기 제 1 샵에 대해서 상기 단말(400)에 의해 프라이버시 모드가 설정된 상태일 때, 상기 서버(200)는 상기 제 1 영상 내에서 객체의 움직임이 감지되는지 여부를 식별한다(S240).
상기 식별 결과, 해당 영상 내에서 객체의 움직임이 감지되지 않는 경우, 상기 서버(200)는 해당 영상 내에서 객체의 움직임이 감지되지 않음을 나타내는 메타데이터(또는 해당 영상 내에 객체가 존재하지 않음을 나타내는 메타데이터)를 상기 모니터링 센터(300)에 전송한다.
또한, 상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 해당 영상 내에서 객체의 움직임이 감지되지 않음을 나타내는 메타데이터(또는 해당 영상 내에 객체가 존재하지 않음을 나타내는 메타데이터)를 수신하고, 상기 수신된 해당 영상 내에서 객체의 움직임이 감지되지 않음을 나타내는 메타데이터를 표시한다. 이때, 상기 모니터링 센터(300)는 상기 메타데이터를 근거로 상기 모니터링과 관련한 영상 대신에 미리 설정된 배경색(예를 들어 블랙 색상, 화이트 색상 등 포함) 또는 미리 설정된 배경 이미지를 표시한다.
일 예로, 상기 식별 결과, 상기 제 1 영상 내에서 객체의 움직임이 감지되지 않을 때, 상기 서버(200)는 제 1 영상 내에서 객체의 움직임이 감지되지 않음을 나타내는 제 1 메타데이터를 상기 모니터링 센터(300)에 전송한다.
또한, 상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 제 1 영상 내에서 객체의 움직임이 감지되지 않음을 나타내는 제 1 메타데이터를 수신한다.
또한, 도 3에 도시된 바와 같이, 상기 모니터링 센터(300)는 상기 수신된 제 1 메타데이터를 근거로 상기 제 1 샵과 관련한 영상 대신에 미리 설정된 흰색의 배경 색상만(사선으로 표시)을 모니터링 화면에 표시한다. 여기서, 상기 모니터링 화면은 상기 영상 획득 장치(100)를 통해 획득된 영상을 표시하는 영역(사선으로 표시), 상기 영상 획득 장치(100)가 설치된 위치를 표시하는 영역, 발생한 이벤트 리스트를 표시하는 영역, 상기 이벤트 리스트 중 어느 하나가 선택되는 경우 해당 이벤트와 관련한 스냅샷을 표시하는 영역 등으로 구성한다(S250).
또한, 상기 식별 결과, 해당 영상 내에서 객체의 움직임이 감지되는 경우, 상기 서버(200)는 해당 영상 내에서 객체의 움직임과 관련한 메타데이터를 상기 모니터링 센터(300)에 전송한다. 여기서, 상기 영상 내에서 객체의 움직임과 관련한 메타데이터는 딥 러닝에 따른 정지 영상 분석을 통해 영상 내에서의 객체의 수, 딥 러닝에 따른 정지 영상 분석을 통해 영상 내에서의 객체의 위치 정보(또는 좌표 정보), 딥 러닝에 따른 정지 영상 분석을 통해 객체의 종류, 딥 러닝에 따른 정지 영상 분석을 통해 객체의 형상, 딥 러닝에 따른 정지 영상 분석을 통해 객체의 색상, 딥 러닝에 따른 정지 영상 분석을 통해 객체가 들고 있는 물건(또는 다른 객체)의 종류나 색상, 앞서 정지 영상 분석에 따른 분석 정보를 기반으로 하는 상황 인지 정보 등을 포함한다. 이때, 상기 상황 인지 정보는 권총을 든 사람이 문을 발로 차고 있는 경우, 사람들이 싸우고 있는 경우 등을 포함한다.
또한, 상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 해당 영상 내에서 객체의 움직임과 관련한 메타데이터를 수신하고, 상기 수신된 해당 영상 내에서 객체의 움직임과 관련한 메타데이터를 표시한다. 이때, 상기 모니터링 센터(300)는 미리 설정된 배경색(예를 들어 블랙 색상, 화이트 색상 등 포함) 또는 미리 설정된 배경 이미지 상에 상기 영상 내에서 객체의 움직임과 관련한 메타데이터에 대응하는 하나 이상의 아바타를 표시한다.
일 예로, 상기 식별 결과, 상기 제 1 영상 내에서 2명의 사람의 움직임이 감지될 때, 상기 서버(200)는 상기 제 1 영상 내에서의 객체의 수(예를 들어 2명), 상기 제 1 영상 내에서의 각 개체의 위치 정보 등을 포함하는 제 2 메타데이터를 상기 모니터링 센터(300)에 전송한다.
또한, 상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 제 1 영상 내에서 객체의 움직임이 감지됨에 따른 제 2 메타데이터를 수신한다.
또한, 도 4에 도시된 바와 같이, 상기 모니터링 센터(300)는 상기 수신된 제 2 메타데이터를 근거로 상기 제 1 샵과 관련한 영상 대신에 미리 설정된 흰색의 배경 색상 위에, 2명의 사람에 대응하는 제 1 아바타와 제 2 아바타를 모니터링 화면에 표시한다. 여기서, 상기 모니터링 화면은 상기 영상 획득 장치(100)를 통해 획득된 영상을 표시하는 영역(사선으로 표시), 상기 영상 획득 장치(100)가 설치된 위치를 표시하는 영역, 발생한 이벤트 리스트를 표시하는 영역, 상기 이벤트 리스트 중 어느 하나가 선택되는 경우 해당 이벤트와 관련한 스냅샷을 표시하는 영역 등으로 구성한다(S260).
이후, 상기 모니터링 센터(300)(또는 상기 모니터링 센터(300)의 관리자/오퍼레이터)는 해당 영상 내에서 객체의 움직임과 관련한 메타데이터를 근거로 해당 모니터링 영역에 대한 영상 수신(또는 영상 확인)을 위한 영상 수신 요청 정보를 상기 단말(400)에 전송한다.
일 예로, 상기 모니터링 센터(300)의 오퍼레이터는 상기 표시되는 제 1 아바타와 제 2 아바타를 확인하고, 상기 제 1 영상과 관련한 상기 제 1 샵에 침입자가 존재하는지 여부를 정확하게 판단하기 위해서 해당 제 1 샵 내의 영상을 확인할 수 있도록 임시적으로 상기 제 1 샵에 대한 프라이버시 모드의 해제를 요청하는 제 1 영상 수신 요청 정보를 상기 단말(400)에 전송한다(S270).
이후, 상기 단말(400)은 상기 모니터링 센터(300)로부터 전송되는 영상 수신 요청 정보를 수신한다.
또한, 상기 단말(400)은 상기 서버(200)와 연동하여 상기 영상 획득 장치(100)를 통해 획득된(또는 촬영된) 해당 모니터링 영역에 대한 영상을 확인한다.
또한, 상기 단말(400)에서의 상기 모니터링 영역에 대한 영상 확인에 의해, 해당 모니터링 영역에 침입자가 있는 것으로 판단되는 경우, 상기 단말(400)은 경찰서 등의 관리 서버(미도시)에 직접 신고하거나 또는, 상기 서버(200)에 프라이버시 모드의 일시 정지 요청 정보를 전송한다. 여기서, 상기 프라이버시 모드의 일시 정지 요청 정보는 미리 설정된 시간(예를 들어 30분, 1시간, 2시간 등 포함) 동안 앞서 설정된 프라이버시 모드를 해제하여 정상 모드를 유지하며, 상기 미리 설정된 시간이 경과한 경우 자동으로 상기 정상 모드에서 상기 프라이버시 모드로 전환하기 위한 정보, 단말(400)의 식별 정보, 상기 단말(400)과 관련한 모니터링 영역에 대한 정보, 상기 모니터링 영역과 관련한 영상 획득 장치(100)에 대한 정보 등을 포함한다.
일 예로, 상기 단말(400)은 상기 모니터링 센터(300)로부터 전송되는 제 1 영상 수신 요청 정보를 수신하고, 상기 서버(200)와 연동하여 상기 영상 획득 장치(100)를 통해 획득되는 제 1 샵에 대한 실시간 영상을 확인한다.
또한, 상기 실시간으로 확인되는 제 1 샵에 대한 영상 내에서 침입자가 확인될 때, 상기 단말(400)은 앞서 설정된 프라이버시 모드를 1시간 동안 일시 정지하기 위한 프라이버시 모드의 일시 정지 요청 정보를 상기 서버(200)에 전송한다(S280).
이후, 상기 서버(200)는 상기 단말(400)로부터 전송되는 프라이버시 모드의 일시 정지 요청 정보를 수신한다.
또한, 상기 서버(200)는 상기 수신된 프라이버시 모드의 일시 정지 요청 정보를 근거로 해당 모니터링 영역과 관련한 영상을 상기 모니터링 센터(300)에 전송한다.
일 예로, 상기 서버(200)는 상기 단말(400)로부터 전송되는 프라이버시 모드의 일시 정지 요청 정보를 수신하고, 상기 수신된 프라이버시 모드의 일시 정지 요청 정보를 근거로 상기 영상 획득 장치(100)를 통해 실시간으로 획득되는 제 1 샵과 관련한 실시간 영상을 상기 모니터링 센터(300)에 전송한다(S290).
이후, 상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 해당 모니터링 영역과 관련한 영상을 수신한다.
또한, 상기 모니터링 센터(300)는 상기 수신된 해당 모니터링 영역과 관련한 영상을 표시한다.
또한, 상기 모니터링 센터(300)에 표시되는 영상 내에서 침입자가 있는 것으로 판단되는 경우, 상기 모니터링 센터(300)는 미리 등록된 경찰서 등의 상기 관리 서버에 응급 상황 발생에 대한 정보(또는 응급 상황 발생 정보)를 제공한다. 여기서, 상기 응급 상황 발생에 대한 정보(또는 응급 상황 발생 정보)는 상기 응급 상황과 관련한 응급 상황 발생 시점을 기준으로 해당 응급 상황 발생 전/후의 미리 설정된 개수만큼의 스냅샷 또는 미리 설정된 시간 동안의 동영상, 응급 상황 발생 시각 정보, 응급 상황 발생 신고 시각 정보, 응급 상황이 발생한 곳의 주소, 응급 상황이 발생한 곳의 비상연락처 정보, 응급 상황이 발생한 곳의 응급 상황 담당자의 비상연락처 정보 등을 포함한다.
일 예로, 상기 모니터링 센터(300)는 상기 서버(200)로부터 전송되는 제 1 샵과 관련한 실시간 영상을 수신하고, 상기 수신된 제 1 샵과 관련한 실시간 영상을 표시한다.
또한, 상기 모니터링 센터(300)의 오퍼레이터는 상기 실시간 영상 내에서의 2명의 침입자를 확인하고, 미리 등록된 경찰서 서버에 불법 침입에 대한 응급 상황 발생 정보를 제공한다.
또한, 상기 모니터링 센터(300)는 상기 제 1 샵에서의 불법 침입으로 판단된 시점 전/후 각각의 5분간의 동영상, 상기 제 1 샵에서의 불법 침입으로 판단된 시점의 응급 상황 발생 시각 정보, 상기 경찰서 서버에 불법 침입에 대한 응급 상황 발생 정보를 제공한 시점의 시각 정보(또는 응급 상황 발생 신고 시각 정보) 등을 포함하는 로그 정보를 서버(200)에 제공하고, 상기 서버(200)에서는 해당 로그 정보를 상기 제 1 샵(또는 상기 단말(400))과 연동하여 저장한다(S300).
본 발명의 실시예는 앞서 설명된 바와 같이, 프라이버시 모드가 설정된 모니터링 영역 내에서 객체의 움직임이 감지되는 경우, 서버에서 상기 감지된 객체의 움직임에 대한 메타데이터를 모니터링 센터에 제공하고, 상기 모니터링 센터에서는 모니터링 영역과 관련한 영상 대신 미리 설정된 배경 위에 메타데이터에 대응하는 아바타를 표시하여, 개인 정보 보호를 강화하며, 전체 시스템에 대한 신뢰성을 높일 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 프라이버시 모드가 설정된 상태에서 모니터링 센터에서 서버로부터 제공되는 메타데이터를 근거로 단말에 해당 모니터링 영역에 대한 실시간 영상 수신을 위한 요청을 전송하고, 상기 단말에서 상기 모니터링 센터로부터 전송되는 요청을 근거로 상기 단말을 통해 해당 모니터링 영역을 확인한 후, 외부 침입 등이 의심될 때 직접 경찰서에 신고하거나 또는, 서버에 상기 모니터링 영역에 대한 프라이버시 모드의 일시 정지를 요청하고, 상기 서버에서 일시 정지 요청에 따라 해당 모니터링 영역과 관련한 영상을 상기 모니터링 센터에 제공하여, 단말의 사용자가 지속적으로 개인의 프라이버시가 보호되고 있음을 인지함에 따른 사용상의 편의성을 높일 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 프라이버시 모드가 설정된 모니터링 영역 내에서 객체의 움직임이 감지되는 경우, 서버에서 상기 감지된 객체의 움직임에 대한 메타데이터를 모니터링 센터에 제공하고, 상기 모니터링 센터에서는 모니터링 영역과 관련한 영상 대신 미리 설정된 배경 위에 메타데이터에 대응하는 아바타를 표시함으로써, 개인 정보 보호를 강화하며, 전체 시스템에 대한 신뢰성을 높일 수 있는 것으로, 네트워크 카메라 분야, 객체 감지 분야, 영상 분야, 서버 분야, 보안 감시 분야 등에서 광범위하게 이용될 수 있다.

Claims (5)

  1. 개인 정보 보호 기능을 포함한 모니터링 방법에 있어서,
    서버에 의해, 영상 획득 장치로부터 전송되는 모니터링 영역과 관련한 영상을 수신할 때, 상기 모니터링 영역에 대한 프라이버시 모드가 설정된 상태인지 여부를 판단하는 단계;
    상기 판단 결과, 상기 모니터링 영역에 대한 프라이버시 모드가 설정된 상태일 때, 상기 서버에 의해, 상기 영상 내에서 객체의 움직임이 감지되는지 여부를 식별하는 단계;
    상기 식별 결과, 상기 영상 내에서 객체의 움직임이 감지될 때, 상기 서버에 의해, 상기 영상을 전송하는 대신에 상기 영상 내에서 객체의 움직임과 관련한 메타데이터를 모니터링 센터에 전송하는 단계;
    상기 모니터링 센터에 의해, 상기 메타데이터를 근거로 미리 설정된 배경색 또는 배경 이미지 상에 상기 메타데이터에 대응하는 하나 이상의 아바타를 표시하는 단계; 및
    상기 모니터링 센터에 의해, 상기 메타데이터를 근거로 상기 모니터링 영역에 대한 영상 확인을 위한 영상 수신 요청 정보를 단말에 전송하는 단계를 포함하며,
    상기 영상 내에서 객체의 움직임과 관련한 메타데이터는,
    딥 러닝에 따른 정지 영상 분석을 통해 상기 영상 내에서의 객체의 수, 상기 영상 내에서의 객체의 위치 정보, 상기 객체의 종류, 상기 객체의 형상, 상기 객체의 색상, 상기 객체가 들고 있는 물건의 종류나 색상 및 상기 정지 영상 분석에 따른 분석 정보를 기반으로 하는 상황 인지 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 개인 정보 보호 기능을 포함한 모니터링 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 단말에 의해, 상기 영상 수신 요청 정보를 근거로 상기 서버와 연동하여 상기 영상 획득 장치를 통해 획득된 상기 모니터링 영역에 대한 영상을 확인하는 단계;
    상기 단말에 의해, 프라이버시 모드의 설정을 일시 정지하기 위한 프라이버시 모드의 일시 정지 요청 정보를 상기 서버에 전송하는 단계;
    상기 서버에 의해, 상기 프라이버시 모드의 일시 정지 요청 정보를 근거로 상기 모니터링 영역과 관련한 영상을 상기 모니터링 센터에 전송하는 단계;
    상기 모니터링 센터에 의해, 상기 서버로부터 전송되는 상기 모니터링 영역과 관련한 영상을 표시하는 단계; 및
    상기 모니터링 센터에 의해, 상기 모니터링 영역과 관련한 영상 내에서 침입자가 있는 것으로 판단될 때, 미리 등록된 경찰서 서버에 응급 상황 발생에 대한 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 개인 정보 보호 기능을 포함한 모니터링 방법.
  4. 개인 정보 보호 기능을 포함한 모니터링 시스템에 있어서,
    모니터링 영역과 관련한 영상을 획득하고, 상기 획득된 영상을 전송하는 영상 획득 장치;
    상기 영상 획득 장치로부터 전송되는 영상을 수신할 때 상기 모니터링 영역에 대한 프라이버시 모드가 설정된 상태인지 여부를 판단하고, 상기 모니터링 영역에 대한 프라이버시 모드가 설정된 상태에서 상기 영상 내에서 객체의 움직임이 감지될 때 상기 영상을 전송하는 대신에 상기 영상 내에서 객체의 움직임과 관련한 메타데이터를 전송하는 서버;
    상기 메타데이터를 근거로 미리 설정된 배경색 또는 배경 이미지 상에 상기 메타데이터에 대응하는 하나 이상의 아바타를 표시하고, 상기 메타데이터를 근거로 상기 모니터링 영역에 대한 영상 확인을 위한 영상 수신 요청 정보를 전송하는 모니터링 센터; 및
    상기 영상 수신 요청 정보를 근거로 상기 서버와 연동하여 상기 영상 획득 장치를 통해 획득된 상기 모니터링 영역에 대한 영상을 확인하고, 프라이버시 모드의 설정을 일시 정지하기 위한 프라이버시 모드의 일시 정지 요청 정보를 상기 서버에 전송하는 단말을 포함하며,
    상기 영상 내에서 객체의 움직임과 관련한 메타데이터는,
    딥 러닝에 따른 정지 영상 분석을 통해 상기 영상 내에서의 객체의 수, 상기 영상 내에서의 객체의 위치 정보, 상기 객체의 종류, 상기 객체의 형상, 상기 객체의 색상, 상기 객체가 들고 있는 물건의 종류나 색상 및 상기 정지 영상 분석에 따른 분석 정보를 기반으로 하는 상황 인지 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 개인 정보 보호 기능을 포함한 모니터링 시스템.
  5. 제 4 항에 있어서,
    상기 서버는,
    상기 프라이버시 모드의 일시 정지 요청 정보를 근거로 상기 모니터링 영역과 관련한 영상을 상기 모니터링 센터에 전송하며,
    상기 모니터링 센터는,
    상기 서버로부터 전송되는 상기 모니터링 영역과 관련한 영상을 표시하고, 상기 모니터링 영역과 관련한 영상 내에서 침입자가 있는 것으로 판단될 때 미리 등록된 경찰서 서버에 응급 상황 발생에 대한 정보를 제공하는 것을 특징으로 하는 개인 정보 보호 기능을 포함한 모니터링 시스템.
KR1020170111168A 2017-08-22 2017-08-31 개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법 KR101894399B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/683,480 US10419728B2 (en) 2017-08-22 2017-08-22 Monitoring system having personal information protection function and method thereof
US15/683,480 2017-08-22

Publications (1)

Publication Number Publication Date
KR101894399B1 true KR101894399B1 (ko) 2018-09-04

Family

ID=63598293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170111168A KR101894399B1 (ko) 2017-08-22 2017-08-31 개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법

Country Status (4)

Country Link
US (1) US10419728B2 (ko)
JP (1) JP6726716B2 (ko)
KR (1) KR101894399B1 (ko)
CA (1) CA2983316C (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614054A (zh) * 2018-12-20 2019-04-12 广州鼎甲计算机科技有限公司 数据的读取方法和系统
KR20200088236A (ko) * 2019-01-14 2020-07-22 성신여자대학교 연구 산학협력단 추적 가능한 비식별화 방법, 장치 및 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7073120B2 (ja) * 2018-01-26 2022-05-23 キヤノン株式会社 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム
US11014001B2 (en) * 2018-03-05 2021-05-25 Sony Interactive Entertainment LLC Building virtual reality (VR) gaming environments using real-world virtual reality maps
DE102019213487A1 (de) * 2019-09-05 2021-03-11 Robert Bosch Gmbh Notfallbereitschaftsanlage zur Überwachung eines Überwachungsbereichs und Durchführung von Notfallmaßnahmen und Verfahren zur Überwachung eines Überwachungsbereichs und zur Durchführung von Notfallmaßnahmen mit einer Notfallbereitschaftsanlage

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071335A (ko) * 2009-12-21 2011-06-29 주식회사 가온웍스 촬상장치를 이용한 영상보안장치 및 그 제어방법
KR20130110978A (ko) * 2012-03-30 2013-10-10 (주)씽크포비엘 사생활 보호 기능을 구비한 영상 감시 방법 및 시스템
KR20140012474A (ko) 2012-07-20 2014-02-03 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
KR20140022670A (ko) * 2012-08-14 2014-02-25 주식회사 바른기술 배경 영상을 제외한 단순화된 움직임 정보를 전송하고 아바타를 이용하여 디스플레이하는 장치와 그 방법
KR20140075068A (ko) * 2012-12-10 2014-06-19 한국전자통신연구원 화상 통화 영상 변조 장치 및 그 방법
KR101458136B1 (ko) * 2014-02-28 2014-11-05 김호 영상 처리 방법, 이를 실행하는 영상 처리 서버, 감시 서버, 영상 처리 시스템 및 이를 저장한 기록 매체
KR20160012362A (ko) * 2014-07-23 2016-02-03 서울특별시 방범 시스템 및 그 제어 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061076A (ja) * 2001-08-10 2003-02-28 Sogo Keibi Hosho Co Ltd 監視装置、監視方法およびその方法をコンピュータに実行させるプログラム
JP3918530B2 (ja) * 2001-11-28 2007-05-23 カシオ計算機株式会社 画像出力装置、画像出力処理プログラム、及び画像出力方法
JP4414803B2 (ja) * 2004-03-30 2010-02-10 株式会社日立製作所 監視システム
JP2010028265A (ja) * 2008-07-16 2010-02-04 Mitsubishi Electric Corp 監視システムおよび監視モニタ装置
JP6024999B2 (ja) * 2014-11-26 2016-11-16 パナソニックＩｐマネジメント株式会社 撮像装置、録画装置および映像出力制御装置
US10297126B2 (en) * 2015-09-16 2019-05-21 Sensormatic Electronics, LLC Privacy masking video content of alarm exceptions and mask verification
KR102361088B1 (ko) * 2015-11-27 2022-02-09 한화테크윈 주식회사 영상 공유 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071335A (ko) * 2009-12-21 2011-06-29 주식회사 가온웍스 촬상장치를 이용한 영상보안장치 및 그 제어방법
KR20130110978A (ko) * 2012-03-30 2013-10-10 (주)씽크포비엘 사생활 보호 기능을 구비한 영상 감시 방법 및 시스템
KR20140012474A (ko) 2012-07-20 2014-02-03 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
KR20140022670A (ko) * 2012-08-14 2014-02-25 주식회사 바른기술 배경 영상을 제외한 단순화된 움직임 정보를 전송하고 아바타를 이용하여 디스플레이하는 장치와 그 방법
KR20140075068A (ko) * 2012-12-10 2014-06-19 한국전자통신연구원 화상 통화 영상 변조 장치 및 그 방법
KR101458136B1 (ko) * 2014-02-28 2014-11-05 김호 영상 처리 방법, 이를 실행하는 영상 처리 서버, 감시 서버, 영상 처리 시스템 및 이를 저장한 기록 매체
KR20160012362A (ko) * 2014-07-23 2016-02-03 서울특별시 방범 시스템 및 그 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614054A (zh) * 2018-12-20 2019-04-12 广州鼎甲计算机科技有限公司 数据的读取方法和系统
CN109614054B (zh) * 2018-12-20 2019-12-13 广州鼎甲计算机科技有限公司 数据的读取方法和系统
KR20200088236A (ko) * 2019-01-14 2020-07-22 성신여자대학교 연구 산학협력단 추적 가능한 비식별화 방법, 장치 및 시스템
KR102328199B1 (ko) * 2019-01-14 2021-11-18 성신여자대학교 연구 산학협력단 추적 가능한 비식별화 방법, 장치 및 시스템

Also Published As

Publication number Publication date
JP2019041383A (ja) 2019-03-14
JP6726716B2 (ja) 2020-07-22
CA2983316A1 (en) 2019-02-22
US20190068924A1 (en) 2019-02-28
CA2983316C (en) 2021-06-01
US10419728B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
KR101894399B1 (ko) 개인 정보 보호 기능을 포함한 모니터링 시스템 및 그 방법
CN109145560B (zh) 访问监控设备的方法及装置
EP3229214A1 (en) System and method for tracking unauthorized intruders using drones integrated with a security system
KR100962529B1 (ko) 객체 추적 방법
KR101467352B1 (ko) 위치기반 통합관제시스템
KR20110060342A (ko) 위치기반 서비스를 이용한 ｃｃｔｖ 카메라 장치와 안전관제 센터 서버, 그를 포함한 지능형 보안 시스템 및 그 방법
KR102264275B1 (ko) 폭력행위 관리시스템 및 방법
KR101381924B1 (ko) 카메라 감시 장치를 이용한 보안 감시 시스템 및 방법
KR20110086254A (ko) 웹카메라를 이용한 침입감지정보 실시간 전송 시스템
KR20080044812A (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
CN110557603A (zh) 移动目标的监控方法、装置和可读存储介质
KR20150041939A (ko) 실시간 이벤트 감지를 통한 도어 감시시스템 및 그 방법
KR101477913B1 (ko) 와이파이를 통한 이벤트 알림 기능을 갖는 차량용 영상운행기록 시스템
KR101778863B1 (ko) 홈 네트워크를 이용한 세대 방범시스템
EP3444750A1 (en) Cloud based systems and methods for locating a peace breaker
KR101634622B1 (ko) 위치정보 및 cctv를 이용한 통합관제시스템
JP3650612B2 (ja) 来訪者監視装置
KR101458365B1 (ko) 영상기기 보이스 알람 시스템 및 그 운용방법
KR101369288B1 (ko) 단말기를 이용한 엘리베이터 안전 서비스 시스템 및 방법
KR102008239B1 (ko) 스마트 방범 시스템
KR101269081B1 (ko) 영상분석을 이용한 폭력방지 시스템
KR20040085754A (ko) 영상정보를 이용하여 보안 서비스를 제공하기 위한 시스템및 방법
KR200388526Y1 (ko) 카메라를 이용한 보안장치

Legal Events

Date Code Title Description
GRNT Written decision to grant