KR102416991B1 - Gnss를 이용한 영상 감시 시스템 및 감시제어방법 - Google Patents

Gnss를 이용한 영상 감시 시스템 및 감시제어방법 Download PDF

Info

Publication number
KR102416991B1
KR102416991B1 KR1020210186557A KR20210186557A KR102416991B1 KR 102416991 B1 KR102416991 B1 KR 102416991B1 KR 1020210186557 A KR1020210186557 A KR 1020210186557A KR 20210186557 A KR20210186557 A KR 20210186557A KR 102416991 B1 KR102416991 B1 KR 102416991B1
Authority
KR
South Korea
Prior art keywords
control unit
subject
cctv
terminal
control center
Prior art date
Application number
KR1020210186557A
Other languages
English (en)
Inventor
홍두영
Original Assignee
(주)와이즈콘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)와이즈콘 filed Critical (주)와이즈콘
Application granted granted Critical
Publication of KR102416991B1 publication Critical patent/KR102416991B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명의 일실시예에 따른 영상 감시 시스템은 임의의 위치에 설치된 CCTV 장치; 상기 CCTV 장치에 연결되고, 상기 CCTV 장치로부터 획득한 CCTV 영상으로부터 피사체의 GNSS 좌표정보를 검출하는 단말기; 및 상기 단말기에 유선 네트워크 또는 무선 네트워크로 연결된 관제센터;를 포함하고, 상기 단말기의 제어부는 심층 신경망의 입력층과 제 1 은닉층을 분리하여 포함하고, 상기 관리센터의 중앙 제어부는 상기 심층 신경망을 이루는 다수의 은닉층과 출력층을 분리하여 포함하는 것을 특징으로 한다.

Description

GNSS를 이용한 영상 감시 시스템 및 감시제어방법{Video monitoring system using GNSS and method of controlling the same}
본 발명은 종래의 표출을 통해 감시하는 방법에서 영상과 피사체의 GNSS 좌표 제공을 추가하고, 관제실에 GNSS정보를 화면상에 표현하여 관제실에서 확인할 수 있으며, 더 나아가 드론 및 자율 주행차 등에 융복합되는 시스템에 제공하여 사고 및 재난 현장에 더욱 신속하게 대응할 수 있는 것으로, 특히 고정형 또는 회전형 CCTV, 이동체(차량, 선박, 드론, 벌룬 등)의 카메라에 촬상되는 피사체의 GNSS 좌표를 검출하고 해당 CCTV 영상과 함께 전달하여 감시하는 GNSS를 이용한 영상 감시 시스템 및 감시제어방법에 관한 것이다.
종래에 절도, 방화, 사기 등의 범죄 또는 사람, 재산 혹은 공공질서에 대한 범죄를 근절하기 위해, 거리에 구비된 CCTV를 이용한 감시가 보편화되고 있다. 또한, CCTV(Closed Circuit Television)를 이용한 감시는 범죄 탐지에 널리 활용되며 종종 언론을 통해 대중에게 공개된다.
그러나, CCTV 카메라를 이용한 감시는 사건 현장의 정확한 위치를 촬상된 CCTV 영상을 통해 바로 확인할 수 없고, CCTV 카메라가 설치된 위치를 확인하여 감시자의 추정으로 사건 현장의 위치를 대략적으로 추정해야하는 문제점이 있다.
이에 따라 사건 현장에 출동하는 경찰관 또는 소방관은 사건 현장의 정확한 위치 정보를 받지 못해 출동과 사고 수습에 어려움이 있다.
또한, CCTV 영상에는 개인정보의 침해에 해당하는 요소, 예를 들어 자동차 번호, 취약한 상황에 있는 사람들의 얼굴, 일부 끔찍한 사고 장면 등이 포함되어, 불특정 다수를 대상으로 CCTV 영상을 수집하는 과정에서 발생할 수 있는 사생활 침해 및 영상정보의 오남용에 대한 문제도 끊이지 않고 제기되고 있다.
특허문헌 : 등록특허공보 제 10-1648188호
본 발명은 상기 문제점을 해소하기 위하여 안출된 것으로, 본 발명의 목적은
고정형 또는 회전형 CCTV, 이동체(차량, 선박, 드론, 벌룬 등)의 카메라에 촬상되는 피사체의 GNSS 좌표를 검출하고 해당 영상에 대한 개인정보를 보호하여 처리하는 GNSS를 이용한 영상 감시 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 고정형 또는 회전형 CCTV, 이동체(차량, 선박, 드론, 벌룬 등)의 카메라에 촬상되는 피사체의 GNSS 좌표를 검출하고 해당 영상에 대한 개인정보를 보호하여 처리하는 감시제어방법을 제공하는 데 있다.
본 발명의 일실시예에 따른 영상 감시 시스템은 임의의 위치에 설치된 CCTV 장치; 상기 CCTV 장치에 연결되고, 상기 CCTV 장치로부터 획득한 CCTV 영상으로부터 피사체의 GNSS(Global Navigation Satellite System) 좌표정보를 검출하는 단말기; 및 상기 단말기에 유선 네트워크 또는 무선 네트워크로 연결된 관제센터;를 포함하고, 상기 단말기의 제어부는 심층 신경망의 입력층(input layer)과 제 1 은닉층(hidden layer 1)을 분리하여 포함하고, 상기 관리센터의 중앙 제어부는 상기 심층 신경망을 이루는 다수의 은닉층(hidden layer 2,..., hidden layer N)과 출력층(output layer)을 분리하여 포함하는 것을 특징으로 한다.
본 발명의 일실시예에 따른 영상 감시 시스템에서 상기 심층 신경망은 CNN(Convolutional Neural Network)인 것을 특징으로 한다.
본 발명의 일실시예에 따른 영상 감시 시스템에서 상기 GNSS 좌표정보는 상기 CCTV 장치의 GNSS 좌표를 기준으로 나타낸 GNSS 좌표정보이고, 1) hddd.ddddd°포맷, 2) hddd°mm.mmm' 포맷 및 3) hddd°mm'ss.s" 포맷 중 어느 하나의 포맷을 가지며, 상기 포맷의 h는 방위이며, d는 도(Degree) 단위를 나타내며, m은 분(') 단위를 나타내며, s는 초(") 단위를 나타낸 것을 특징으로 한다.
또는, 본 발명의 다른 실시예에 따른 감시제어방법은 (ㄱ) 단말기의 제어부가 CCTV 장치로부터 CCTV 영상을 획득하는 단계; (ㄴ) 상기 단말기의 제어부가 상기 CCTV 장치의 GNSS 좌표를 기준으로 피사체의 GNSS 좌표정보를 계산하는 단계; (ㄷ) 상기 단말기의 제어부가 상기 CCTV 영상을 왜곡한 특징맵을 추출하는 단계; (ㄹ) 상기 단말기의 제어부가 상기 특징맵과 상기 피사체의 GNSS 좌표정보를 관제센터로 송신하는 단계; (ㅁ) 상기 관제센터의 중앙 제어부가 다수의 은닉층(hidden layer 2,..., hidden layer N)과 출력층(output layer)을 이용하여 상기 특징맵을 학습하는 단계; (ㅂ) 상기 관제센터의 중앙 제어부가 상기 특징맵에 해당하는 영상의 현장상황을 분류 판단하는 단계; 및 (ㅅ) 상기 관제센터의 중앙 제어부가 상기 분류 판단의 결과에 따라 상기 특징맵과 상기 피사체의 GNSS 좌표정보를 다른 서버로 전송하는 단계;를 포함한다.
본 발명의 다른 실시예에 따른 감시제어방법에서 상기 (ㄴ) 단계는 상기 CCTV 영상으로부터 피사체의 제 1 방위각(α) 및 제 2 방위각(β)을 검출하고, 상기 제 2 방위각(β)과 상기 피사체의 기준거리를 이용하여 상기 CCTV 장치로부터 상기 피사체 까지의 거리를 추정하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 감시제어방법에서 상기 피사체의 GNSS 좌표정보는 1) hddd.ddddd°포맷, 2) hddd°mm.mmm' 포맷 및 3) hddd°mm'ss.s" 포맷 중 어느 하나의 포맷을 가지며, 상기 포맷의 h는 방위이며, d는 도(Degree) 단위를 나타내며, m은 분(') 단위를 나타내며, s는 초(") 단위를 나타낸 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 감시제어방법에서 상기 단말기의 제어부는 심층 신경망의 입력층(input layer)과 제 1 은닉층(hidden layer 1)을 분리하여 포함하고, 상기 관리센터의 중앙 제어부는 상기 다수의 은닉층(hidden layer 2,..., hidden layer N)과 출력층(output layer)을 분리하여 포함하며, 상기 입력층(input layer) 부터 상기 출력층(output layer) 까지 CNN(Convolutional Neural Network)을 이루는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 감시제어방법에서 상기 (ㅁ) 단계는 (ㅁ-1) 상기 관제센터의 중앙 제어부가 제 2 은닉층(hidden layer 2)에서 특징맵을 활성화 함수(Activation function)에 대입하여 연산하는 단계; (ㅁ-2) 상기 관제센터의 중앙 제어부가 상기 활성화 함수를 이용하여 출력된 출력값에 대해 풀링(pooling) 연산을 실행하는 단계; (ㅁ-3) 상기 관제센터의 중앙 제어부가 상기 풀링 연산의 결과값과 미리 설정한 목표 출력값을 이용하여 손실값을 연산하는 단계; (ㅁ-4) 상기 관제센터의 중앙 제어부가 상기 손실값을 이용해 매개변수에 대한 수정값을 획득하는 단계; 및 (ㅁ-5) 상기 관제센터의 중앙 제어부가 상기 (ㅁ-1)단계부터 상기 (ㅁ-4)단계까지를 설정된 횟수로 재수행하는 단계;를 더 포함하는 것을 특징으로 한다.
본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.
이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고, 사전적인 의미로 해석되어서는 아니 되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야만 한다.
본 발명의 일실시예에 따른 감시 시스템은 고정형 또는 회전형 CCTV, 이동체(차량, 선박, 드론, 벌룬 등)의 카메라에 촬상되는 피사체의 GNSS 좌표를 검출하고, 해당 영상에 대한 개인정보를 보호하면서 현장상황을 학습 분석하여 전송하므로, 개인정보의 노출과 침해를 원천적으로 방지하며 현장 출동의 신속성과 감시의 효율성을 향상시킬 수 있는 효과가 있다.
본 발명의 다른 실시예에 따른 감시제어방법은 고정형 또는 회전형 CCTV, 이동체(차량, 선박, 드론, 벌룬 등)의 카메라에 촬상되는 피사체의 GNSS 좌표를 용이하게 검출하고, 심층 신경망을 통해 시-공간 분할로 학습하는 스플릿 학습으로 해당 영상에 대한 개인정보를 보호하면서 현장상황을 학습 분석하여 전송하므로, 개인정보의 노출과 침해를 원천적으로 방지하며 현장 출동의 신속성과 감시의 효율성을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 영상 감시 시스템의 구성도.
도 2는 본 발명의 일실시예에 따른 영상 감시 시스템을 이용한 감시를 나타낸 예시도.
도 3은 본 발명의 일실시예에 따른 영상 감시 시스템을 구성하는 단말기와 관리센터의 구성도.
도 4는 본 발명의 다른 실시예에 따른 감시제어방법을 설명하기 위한 흐름도.
도 5a와 도 5b는 본 발명의 다른 실시예에 따른 감시제어방법에 따라 CCTV 영상을 처리하는 과정을 나타낸 예시도들.
도 6은 본 발명의 다른 실시예에 따른 감시제어방법에 따라 적용되는 필터의 예시도.
도 7은 본 발명의 다른 실시예에 따른 감시제어방법에 따라 풀링 연산과정을 나타낸 예시도.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되는 이하의 상세한 설명과 바람직한 실시예로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 도 1은 본 발명의 일실시예에 따른 영상 감시 시스템의 구성도이고, 도 2는 본 발명의 일실시예에 따른 영상 감시 시스템을 이용한 감시를 나타낸 예시도이며, 도 3은 본 발명의 일실시예에 따른 영상 감시 시스템을 구성하는 단말기와 관리센터의 구성도이다.
본 발명의 일실시예에 따른 영상 감시 시스템은 도 1에 도시된 바와 같이 임의의 위치에 설치된 CCTV 장치(100), CCTV 장치(100)에 연결되고 인공위성(300)으로부터 GNSS(Global Navigation Satellite System) 정보를 수신하는 단말기(200) 및 단말기(200)에 유,무선으로 연결된 관제센터(400)를 포함한다.
CCTV 장치(100)는 줌 기능과 회전기능을 갖는 카메라를 포함하고 감시지역에서 임의의 건축물, 지지대 등에 설치된 장치로서, 카메라를 통해 촬상된 영상들을 실시간으로 단말기(200)로 전송할 수 있다. 이러한 CCTV 장치(100)는 GNSS 좌표의 기준점으로 기능하고, 이러한 GNSS 좌표는 인공위성(300)으로부터 수신한 GNSS 정보를 이용하여 설정될 수 있다.
단말기(200)는 제어부(210)를 포함하고, 단말기(200)의 제어부(210)가 연결된 CCTV 장치(100)로부터 수신한 CCTV 영상에 대해 CCTV 장치(100)로부터 피사체(10) 까지의 거리, 피사체(10)의 제 1 방위각(α) 및 제 2 방위각(β)을 검출하고, 이를 이용하여 피사체의 GNSS 좌표 정보를 검출하며, 이러한 피사체의 GNSS 좌표 정보를 해당 CCTV 영상과 함께 관리센터(400)로 전송한다.
이때, 단말기(200)의 제어부(210)는 개인정보를 보호하기 위해 해당 CCTV 영상에 대해 왜곡 처리한 특징맵을 관리센터(400)로 전송한다.
이러한 단말기(200)의 제어부(210)는 도 3에 도시된 바와 같이 내부에 심층 신경망(Deep Neural Network)의 일부 구조를 구비하고, 관제센터(400)의 중앙 제어부(410)가 심층 신경망의 나머지 구조를 구비한다. 즉, 단말기(200)의 제어부(210)는 심층 신경망의 입력층(input layer: 211)과 제 1 은닉층(hidden layer 1: 212)을 분리하여 포함하고, 관리센터(400)의 중앙 제어부(410)가 다수의 은닉층(hidden layer 2,..., hidden layer N: 412,413,41N)과 출력층(output layer: 419)을 분리하여 포함하여, 하나의 심층 신경망으로 예컨대 CNN(Convolutional Neural Network)을 구성할 수 있다.
관제센터(400)는 단말기(200)에 유선 네트워크 또는 무선 네트워크로 연결되고, 중앙 제어부(410)가 단말기(200)로부터 수신한 피사체의 GNSS 좌표 정보와 해당 CCTV 영상의 특징맵을 다수의 은닉층(412,413,41N)과 출력층(419)에 입력하여 학습, 즉 심층 신경망을 통해 시-공간 분할(Spatio-temporal)로 학습하는 스플릿 학습(split learning)으로 현장상황을 분석할 수 있다. 이러한 분석으로 중앙 제어부(410)는 해당 CCTV 영상의 현장상황을 예컨대 범죄현장, 사고현장, 화재현장 등으로 분류하여 판단할 수 있다.
여기서, 관제센터(400)와 단말기(200) 사이의 무선 네트워크는 예를 들어, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지 않는다.
이러한 관제센터(400)의 중앙 제어부(410)는 분석 판단한 해당 CCTV 영상의 현장상황에 따라 경찰청 서버 또는 소방서 서버로 수신한 피사체의 GNSS 좌표 정보와 함께 해당 CCTV 영상의 특징맵을 전송할 수 있다. 이에 따라 해당 CCTV 영상의 특징맵과 GNSS 좌표 정보를 함께 보냄으로써, 해당 CCTV 영상의 개인정보를 보호하면서 현장의 정확한 위치를 쉽게 확인할 수 있다.
이와 같이 구성된 본 발명의 일실시예에 따른 영상 감시 시스템은 고정형 또는 회전형 CCTV, 이동체(차량, 선박, 드론, 벌룬 등)의 카메라에 촬상되는 피사체의 GNSS 좌표를 검출하고, 해당 영상에 대한 개인정보를 보호하면서 현장상황을 학습 분석하여 전송하므로, 개인정보의 노출과 침해를 원천적으로 방지하며 현장 출동의 신속성과 감시의 효율성을 향상시킬 수 있다.
이하, 본 발명의 다른 실시예에 따른 감시제어방법에 대해 도 4 내지 도 7을 참조하여 설명한다. 도 4는 본 발명의 다른 실시예에 따른 감시제어방법을 설명하기 위한 흐름도이고, 도 5a와 도 5b는 본 발명의 다른 실시예에 따른 감시제어방법에 따라 CCTV 영상을 처리하는 과정을 나타낸 예시도들이며, 도 6은 본 발명의 다른 실시예에 따른 감시제어방법에 따라 적용되는 필터의 예시도이며, 도 7은 본 발명의 다른 실시예에 따른 감시제어방법에 따라 풀링 연산과정을 나타낸 예시도이다.
본 발명의 다른 실시예에 따른 감시제어방법은 도 4에 도시된 바와 같이 먼저 단말기(200)의 제어부(210)가 CCTV 장치(100)로부터 CCTV 영상을 획득한다(S410).
구체적으로, 단말기(200)의 제어부(210)가 CCTV 장치(100)로 감시요청신호를 전달함에 따라, 도 1과 도 2에 도시된 바와 같이 CCTV 장치(100)로부터 실시간으로 CCTV 영상(500)을 수신하고, 이러한 CCTV 영상(500)을 분석한다.
이에 따라, 단말기(200)의 제어부(210)는 CCTV 영상(500)을 분석하여 CCTV 장치(100)로부터 제 1 피사체(10) 까지의 거리(L1)를 추정한다(S420).
즉, 단말기(200)의 제어부(210)는 CCTV 영상(500)을 분석하여 CCTV 장치(100)로부터 제 1 피사체(10) 까지의 거리(L1), 제 1 피사체(10)의 제 1 방위각(α) 및 제 2 방위각(β)을 검출한다.
제 1 피사체(10)의 제 1 방위각(α)과 제 2 방위각(β)은 CCTV 장치(100)의 회전각과 화각(Angle of view) 정보를 수신하여 검출할 수 있고, CCTV 장치(100)로부터 제 1 피사체(10) 까지의 거리(L1)는 CCTV 영상(500)의 줌배율과 CCTV 영상(500)의 픽셀 사이즈를 통해 도출된 제 1 피사체(10)의 기준거리(L3) 및 제 2 방위각(β)에 관한 아래의 [수학식 1]을 이용하여 검출할 수 있다.
Figure 112021149593581-pat00001
이때, 단말기(200)의 제어부(210)는 제 1 피사체(10) 까지의 거리(L1)와 마찬가지로 CCTV 영상(500)을 분석하여 제 2 피사체(20)의 제 2 방위각(γ) 및 CCTV 장치(100)로부터 제 2 피사체(20) 까지의 거리(L2)를 검출할 수도 있다.
이렇게 검출된 제 1 피사체(10) 까지의 거리(L1), 제 1 피사체(10)의 제 2 방위각(β)을 이용하여, 단말기(200)의 제어부(210)는 CCTV 장치(100)의 GNSS 좌표를 기준으로 제 1 피사체(10)의 GNSS 좌표정보를 계산한다(S430).
즉, 단말기(200)의 제어부(210)는 제 2 방위각(β)을 이용하여 위도와 경도의 방위를 검출하고 제 1 피사체(10) 까지의 거리(L1)를 이용하여 GNSS 좌표 위치를 검출할 수 있다.
이렇게 검출된 제 1 피사체(10)의 GNSS 좌표정보에 따라, 단말기(200)의 제어부(210)는 제 1 피사체(10)의 GNSS 좌표를 1) hddd.ddddd°포맷, 2) hddd°mm.mmm' 포맷 및 3) hddd°mm'ss.s" 포맷 중 어느 하나의 포맷(format)으로 저장한다.
여기서, 1) hddd.ddddd°포맷은 [도] 포맷이라 하고, 도(°) 단위 정수 이하를 소수로 표현한 포맷으로 소수 여섯째 자리에서 반올림해 소수 다섯째 자리까지 표기한 포맷이다. 약자 중 h는 반구(Hemisphere)를 뜻하는 것으로 북ㆍ남위 또는 동ㆍ서경을 표현한 것이고, d는 도(Degree)를 뜻한다. 예컨대, 경기도 지역에서 위도 0.00001° 차이는 약 1.1m 거리에 해당하고, 경도 0.00001° 차이는 약 0.9m 거리에 해당한다.
2) hddd°mm.mmm' 포맷은 [도/분] 포맷이라 하고, 도(°) 단위 소수를 대신해 분(') 단위를 사용한 포맷으로 1°의 각도를 60 등분하여 1분의 각도가 된다. 분 단위 정수 이하는 소수로 표현하되 소수 넷째 자리에서 반올림해 소수 셋째 자리까지 표기한 포맷이다. 약자 중 m은 분(Minute)을 뜻한다. 예컨대, 경기도 지역에서 위도 0.001' 차이는 약 1.8m 거리에 해당하고, 경도 0.001' 차이는 약 1.5m 거리에 해당한다.
3) hddd°mm'ss.s" 포맷은 [도/분/초] 포맷이라 하고, 분 단위 소수를 대신해 초(") 단위를 사용한 경우로 1분의 각도를 60 등분한 1초의 각도로 표기한 포맷이다. 이러한 포맷은 초 단위 정수 이하는 소수로 표현하되 소수 둘째 자리에서 반올림해 소수 첫째 자리까지 표기한다. 약자 중 s는 초(Second)를 뜻한다. 예컨대, 경기도 지역에서 위도 0.1" 차이는 약 3.1m 거리에 해당하고, 경도 0.1" 차이는 약 2.5m 거리에 해당한다.
제 1 피사체(10)의 GNSS 좌표를 상술한 포맷들 중 어느 하나의 포맷으로 저장한 후, 제어부(210)는 CCTV 영상(500)에서 개인정보를 포함하지 않고 유추할 수 없도록 왜곡한 특징맵을 추출한다(S440).
구체적으로, 특징맵의 추출과정은 제어부(210)가 입력층(211)에 도 5a에 도시된 바와 같은 영상 이미지를 입력하고, 제 1 은닉층(212)을 거치면서 도 5b에 도시된 바와 같이 제 1 피사체(10)의 영역 테두리(510) 외부의 배경 영역(A)에 대해 도 6에 도시된 필터를 이용한 컨벌루션(convolution) 연산을 실행하는 과정을 포함할 수 있다.
이때, 필터를 이용한 컨벌루션 연산은 아래의 [수학식 2]를 이용하여 실행할 수 있다.
Figure 112021149593581-pat00002
Figure 112021149593581-pat00003
여기에서, l은 층(layer)을 의미하고, sizel은 층의 사이즈를 의미하며, In은 입력층(211)에 입력되는 데이터(data)의 수를 의미하고, Ia는 라벨(label)의 수를 의미하며, O는 출력 컨볼루션층(Output Convolution Layer)을 의미하고, w는 가중치를 의미하며, b는 특징맵(300)의 편향 바이어스(bias)를 의미한다.
이러한 컨벌루션 연산을 통해 왜곡 처리된 특징맵은 도 5b에 도시된 바와 같이 제 1 피사체(10)의 영역 테두리(510)를 기준으로 배경 영역(A)에 촬상된 자동차 번호판, 불특정 다수의 안면 등과 같은 개인정보를 포함하지 않고 유추할 수 없도록 왜곡된 이미지 형태를 갖는다.
특징맵을 추출한 후, 제어부(210)는 유선 네트워크 또는 무선 네트워크를 이용하여 특징맵과 해당 제 1 피사체(10)의 GNSS 좌표정보를 관제센터(400)로 송신한다(S450).
이에 관제센터(400)의 중앙 제어부(410)는 제 2 은닉층(412)에서 특징맵을 활성화 함수(Activation function)에 대입하여 연산한다(S461).
여기서, 활성화 함수는 Sigmoid 함수 또는 ReLu 함수를 이용할 수 있다.
활성화 함수를 이용하여 출력된 출력값에 대해, 중앙 제어부(410)는 획득한 출력값을 이용하여 풀링(pooling) 연산을 실행한다(S462).
구체적으로, 풀링 연산은 영상 데이터의 차원의 크기를 축소하기 위한 것으로, 데이터에서 세로 및 가로 방향 공간의 크기를 줄이는 연산이다. 이러한 풀링 연산은 다양한 파라미터, 예를 들어 평균, 중간값, 최댓값, 최소값 등을 이용할 수 있고, 여기서는 최댓값을 이용한 최댓값 풀링 연산을 적용한다. 즉, 도 7에 도시된 바와 같이 최댓값 풀링 연산(max polling)을 이용하여 이미지의 제한 영역에서 최댓값을 추출하고, 데이터의 잡음을 제거할 수 있으며, 데이터가 줄어드는 과정에서 오버 피팅(over fitting)을 방지할 수 있다.
이러한 최댓값 풀링 연산은 아래의 [수학식 3]을 이용하여 실행될 수 있다.
Figure 112021149593581-pat00004
Figure 112021149593581-pat00005
여기서, x는 풀링 연산을 위해 입력되는 행렬을 의미하고, l은 풀링 연산의 해당층을 의미하며, i는 입력되는 행렬의 행을 의미하며, j는 입력되는 행렬의 열을 의미하며, sizel은 풀링 연산의 해당층 사이즈를 의미하며, Im은 풀링 연산의 해당층에 입력되는 데이터(data)의 수를 의미하고, Ia는 라벨(label)의 수를 의미한다.
풀링 연산을 실행한 후, 중앙 제어부(410)는 풀링 연산값과 미리 설정한 목표 출력값을 이용하여 손실값을 연산한다(S463).
구체적으로, 손실값 연산은 아래의 [수학식 4]의 MSLE, [수학식 5]의 RMSLE 또는 [수학식 6]의 sMAPE를 이용하여 연산할 수 있고, 미리 설정한 목표 출력값은 GT(Ground Truth)일 수 있다.
이때, GT는 예컨대 도 5a의 원본 영상 이미지 데이터를 중앙 제어부(410)의 은닉층(Hidden Layer)에서 컨벌루션 연산을 수행한 컨벌루션 연산값을 기초로 최댓값 풀링 연산(Max Pooling)을 수행한 값일 수도 있다.
Figure 112021149593581-pat00006
Figure 112021149593581-pat00007
Figure 112021149593581-pat00008
여기서,
Figure 112021149593581-pat00009
는 풀링 연산 단계(S462)의 풀링 연산값을 의미하고,
Figure 112021149593581-pat00010
는 미리 설정한 목표 출력값을 의미한다.
손실값을 연산한 후, 중앙 제어부(410)는 연산된 손실값을 이용해 매개변수에 대한 수정값을 획득한다(S464).
이때, 매개변수는 w인 가중치를 의미할 수 있고, 중앙 제어부(410)는 획득한 매개 변수에 대한 수정값을 이용하여 매개 변수를 업데이트할 수 있다.
이렇게 업데이트된 매개 변수를 이용하여, 중앙 제어부(410)는 상술한 특징맵을 활성화 함수에 대입하여 연산하는 단계(S461)부터 매개변수의 수정값을 획득하는 단계(S464)까지를 설정된 횟수로 재수행할 수 있다(S465).
이러한 재수행 과정이 1번 완료되면 epoch 1번 학습 완료한 것이고, 재수행 과정이 50번 반복적으로 수행되면 epoch 50으로 학습 완료한 것이다.
이러한 설정 횟수의 재수행 과정후에, 중앙 제어부(410)는 특징맵에 해당하는 영상의 현장상황을 예컨대 범죄현장, 사고현장, 화재현장 등으로 분류하여 판단할 수 있다.
이에 따라, 중앙 제어부(410)는 판단결과에 따라 해당 피사체의 GNSS 좌표 정보와 함께 특징맵을 해당 서버로 전송한다(S466).
예를 들어, 중앙 제어부(410)가 특징맵에 해당하는 영상의 현장상황을 범죄현장으로 분류하여 판단하면, 특징맵과 해당 피사체의 GNSS 좌표 정보를 경찰청 서버로 전송하여, 해당하는 영상의 현장 위치를 정확하게 알려주고 개인정보의 노출이 없이 해당 피사체의 영상 만을 확인할 수 있게 한다.
또한, 중앙 제어부(410)가 특징맵에 해당하는 영상의 현장상황을 화재현장으로 분류하여 판단하면, 특징맵과 해당 피사체의 GNSS 좌표 정보를 소방서 서버와 응급구조대 서버로 전송하여, 해당하는 영상의 현장 위치를 정확하게 알려주고 개인정보의 노출이 없이 해당 피사체의 영상 만을 확인할 수 있게 한다.
이와 같은 과정을 포함한 본 발명의 다른 실시예에 따른 감시제어방법은 고정형 또는 회전형 CCTV, 이동체(차량, 선박, 드론, 벌룬 등)의 카메라에 촬상되는 피사체의 GNSS 좌표를 용이하게 검출하고, 해당 영상에 대한 개인정보를 보호하면서 현장상황을 학습 분석하여 전송하므로, 개인정보의 노출과 침해를 원천적으로 방지하며 현장 출동의 신속성과 감시의 효율성을 향상시킬 수 있다.
본 발명의 기술사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 전술한 실시예들은 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다.
또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위 내에서 다양한 실시가 가능함을 이해할 수 있을 것이다.
10: 제 1 피사체 20: 제 2 피사체
100: CCTV 장치 200: 단말기
210: 제어부 211: 입력층
212: 제 1 은닉층 300: 인공위성
400: 관제센터 410: 중앙 제어부
412,413,41N: 은닉층 419: 출력층

Claims (8)

  1. 임의의 위치에 설치된 CCTV 장치;
    상기 CCTV 장치에 연결되고, 상기 CCTV 장치로부터 획득한 CCTV 영상으로부터 피사체의 GNSS(Global Navigation Satellite System) 좌표정보를 검출하는 단말기; 및
    상기 단말기에 유선 네트워크 또는 무선 네트워크로 연결된 관제센터;
    를 포함하고,
    상기 단말기의 제어부는 심층 신경망의 입력층(input layer)과 제 1 은닉층(hidden layer 1)을 분리하여 포함하고, 상기 관제센터의 중앙 제어부는 상기 심층 신경망을 이루는 다수의 은닉층(hidden layer 2,..., hidden layer N)과 출력층(output layer)을 분리하여 포함하고,
    상기 단말기의 제어부가 상기 CCTV 영상을 왜곡한 특징맵을 추출하고, 상기 특징맵과 상기 피사체의 GNSS 좌표정보를 관제센터로 송신하고,
    상기 관제센터의 중앙 제어부가 상기 단말기로부터 수신한 피사체의 GNSS 좌표 정보와 해당 CCTV 영상의 특징맵을 다수의 은닉층과 출력층에 입력하여 심층 신경망을 통해 시-공간 분할(Spatio-temporal)로 학습하는 스플릿학습(split learning)으로 현장상황을 분석하고,
    상기 관제센터의 중앙 제어부가 상기 특징맵에 해당하는 영상의 현장상황을 분류 판단하고, 상기 분류 판단의 결과에 따라 상기 특징맵과 상기 피사체의 GNSS 좌표정보를 다른 서버로 전송하는 것을 특징으로 하는 영상 감시 시스템.
  2. 제 1 항에 있어서,
    상기 심층 신경망은 CNN(Convolutional Neural Network)인 것을 특징으로 하는 영상 감시 시스템.
  3. 제 1 항에 있어서,
    상기 GNSS 좌표정보는 상기 CCTV 장치의 GNSS 좌표를 기준으로 나타낸 GNSS 좌표정보이고, 1) hddd.ddddd°포맷, 2) hddd°mm.mmm' 포맷 및 3) hddd°mm'ss.s" 포맷 중 어느 하나의 포맷을 가지며, 상기 포맷의 h는 방위이며, d는 도(Degree) 단위를 나타내며, m은 분(') 단위를 나타내며, s는 초(") 단위를 나타낸 것을 특징으로 하는 영상 감시 시스템.
  4. (ㄱ) 단말기의 제어부가 CCTV 장치로부터 CCTV 영상을 획득하는 단계;
    (ㄴ) 상기 단말기의 제어부가 상기 CCTV 장치의 GNSS 좌표를 기준으로 피사체의 GNSS 좌표정보를 계산하는 단계;
    (ㄷ) 상기 단말기의 제어부가 상기 CCTV 영상을 왜곡한 특징맵을 추출하는 단계;
    (ㄹ) 상기 단말기의 제어부가 상기 특징맵과 상기 피사체의 GNSS 좌표정보를 관제센터로 송신하는 단계;
    (ㅁ) 상기 관제센터의 중앙 제어부가 다수의 은닉층(hidden layer 2,..., hidden layer N)과 출력층(output layer)을 이용하여 상기 특징맵을 학습하는 단계;
    (ㅂ) 상기 관제센터의 중앙 제어부가 상기 특징맵에 해당하는 영상의 현장상황을 분류 판단하는 단계; 및
    (ㅅ) 상기 관제센터의 중앙 제어부가 상기 분류 판단의 결과에 따라 상기 특징맵과 상기 피사체의 GNSS 좌표정보를 다른 서버로 전송하는 단계;
    를 포함하고,
    상기 단말기의 제어부는 심층 신경망의 입력층(input layer)과 제 1 은닉층(hidden layer 1)을 분리하여 포함하고, 상기 관제센터의 중앙 제어부는 상기 다수의 은닉층(hidden layer 2,..., hidden layer N)과 출력층(output layer)을 분리하여 포함하고,
    상기 관제센터는 상기 단말기에 유선 네트워크 또는 무선 네트워크로 연결되고,
    상기 관제센터의 중앙 제어부가 상기 단말기로부터 수신한 피사체의 GNSS 좌표 정보와 해당 CCTV 영상의 특징맵을 다수의 은닉층과 출력층에 입력하여 심층 신경망을 통해 시-공간 분할(Spatio-temporal)로 학습하는 스플릿학습(split learning)으로 현장상황을 분석하는 것을 특징으로 하는 감시제어방법.
  5. 제 4 항에 있어서,
    상기 (ㄴ) 단계는
    상기 CCTV 영상으로부터 피사체의 제 1 방위각(α) 및 제 2 방위각(β)을 검출하고, 상기 제 2 방위각(β)과 상기 피사체의 기준거리를 이용하여 상기 CCTV 장치로부터 상기 피사체 까지의 거리를 추정하는 단계를 더 포함하는 것을 특징으로 하는 감시제어방법.
  6. 제 4 항에 있어서,
    상기 피사체의 GNSS 좌표정보는 1) hddd.ddddd°포맷, 2) hddd°mm.mmm' 포맷 및 3) hddd°mm'ss.s" 포맷 중 어느 하나의 포맷을 가지며, 상기 포맷의 h는 방위이며, d는 도(Degree) 단위를 나타내며, m은 분(') 단위를 나타내며, s는 초(") 단위를 나타낸 것을 특징으로 하는 감시제어방법.
  7. 제 4 항에 있어서,
    상기 입력층(input layer) 부터 상기 출력층(output layer) 까지 CNN(Convolutional Neural Network)을 이루는 것을 특징으로 하는 감시제어방법.
  8. 제 7 항에 있어서,
    상기 (ㅁ) 단계는
    (ㅁ-1) 상기 관제센터의 중앙 제어부가 제 2 은닉층(hidden layer 2)에서 특징맵을 활성화 함수(Activation function)에 대입하여 연산하는 단계;
    (ㅁ-2) 상기 관제센터의 중앙 제어부가 상기 활성화 함수를 이용하여 출력된 출력값에 대해 풀링(pooling) 연산을 실행하는 단계;
    (ㅁ-3) 상기 관제센터의 중앙 제어부가 상기 풀링 연산의 결과값과 미리 설정한 목표 출력값을 이용하여 손실값을 연산하는 단계;
    (ㅁ-4) 상기 관제센터의 중앙 제어부가 상기 손실값을 이용해 매개변수에 대한 수정값을 획득하는 단계; 및
    (ㅁ-5) 상기 관제센터의 중앙 제어부가 상기 (ㅁ-1)단계부터 상기 (ㅁ-4)단계까지를 설정된 횟수로 재수행하는 단계;
    를 더 포함하는 것을 특징으로 하는 감시제어방법.
KR1020210186557A 2021-11-19 2021-12-23 Gnss를 이용한 영상 감시 시스템 및 감시제어방법 KR102416991B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210160679 2021-11-19
KR20210160679 2021-11-19

Publications (1)

Publication Number Publication Date
KR102416991B1 true KR102416991B1 (ko) 2022-07-05

Family

ID=82402236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210186557A KR102416991B1 (ko) 2021-11-19 2021-12-23 Gnss를 이용한 영상 감시 시스템 및 감시제어방법

Country Status (1)

Country Link
KR (1) KR102416991B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648188B1 (ko) 2015-02-13 2016-08-16 경일대학교산학협력단 개별 객체 프라이버시 보호를 위한 영상 처리 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
KR20160123410A (ko) * 2015-04-15 2016-10-26 이정일 능동형 상황 감지 시스템
KR20200040165A (ko) * 2019-01-21 2020-04-17 주식회사 디퍼아이 분산처리용 인공신경망 연산 가속화 장치, 이를 이용한 인공신경망 가속화 시스템, 및 그 인공신경망의 가속화 방법
KR20200111104A (ko) * 2019-03-18 2020-09-28 한화테크윈 주식회사 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648188B1 (ko) 2015-02-13 2016-08-16 경일대학교산학협력단 개별 객체 프라이버시 보호를 위한 영상 처리 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
KR20160123410A (ko) * 2015-04-15 2016-10-26 이정일 능동형 상황 감지 시스템
KR20200040165A (ko) * 2019-01-21 2020-04-17 주식회사 디퍼아이 분산처리용 인공신경망 연산 가속화 장치, 이를 이용한 인공신경망 가속화 시스템, 및 그 인공신경망의 가속화 방법
KR20200111104A (ko) * 2019-03-18 2020-09-28 한화테크윈 주식회사 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법

Similar Documents

Publication Publication Date Title
JP6741107B2 (ja) 交通状況のリアルタイム検出
JP4470992B2 (ja) 映像管理システム
US9465987B1 (en) Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms
KR101696801B1 (ko) 사물 인터넷(IoT) 카메라 기반의 통합 영상 감시 시스템
DK2815389T3 (en) SYSTEMS AND PROCEDURES FOR PROVIDING EMERGENCY RESOURCES
DE112018006501T5 (de) Verfahren, vorrichtung und system zum adaptiven trainieren von maschinenlernmodellen über erfasste ereigniskontextsensorvorkommnisse und assoziiertes lokalisiertes und wiedergewonnenes digitales audio- und/oder video-imaging
EP3361412B1 (en) Black ice detection system, program, and method
JP2016181239A (ja) 地域監視サーバ、提供端末及びそのシステム
JP2007219948A (ja) ユーザ異常検出装置、及びユーザ異常検出方法
KR102397837B1 (ko) 엣지 컴퓨팅 기반 보안 감시 서비스 제공 장치, 시스템 및 그 동작 방법
CN108932273B (zh) 图片筛选方法及装置
CN111914592B (zh) 多相机联合取证方法、装置及系统
KR102107957B1 (ko) 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법
US11740315B2 (en) Mobile body detection device, mobile body detection method, and mobile body detection program
KR101780929B1 (ko) 움직이는 물체를 추적하는 영상감시 시스템
KR101372327B1 (ko) 스쿨존 안전관리 시스템 및 그 제공방법
KR20190050113A (ko) 이동 물체 자동 추적 영상 감시 시스템
KR101420006B1 (ko) 분산처리 기반 카메라 영상 서비스 시스템 및 방법
WO2020210960A1 (zh) 交通道路的数字化全景重建的方法和系统
KR102416991B1 (ko) Gnss를 이용한 영상 감시 시스템 및 감시제어방법
CN107045805B (zh) 一种用于小型航空器和空飘物的监测方法及系统
US10979675B2 (en) Video monitoring apparatus for displaying event information
JP7363838B2 (ja) 異常挙動通知装置、異常挙動通知システム、異常挙動通知方法、およびプログラム
KR20220000216A (ko) 딥러닝 분산 처리 기반 지능형 보안 감시 서비스 제공 장치
US11854266B2 (en) Automated surveillance system and method therefor

Legal Events

Date Code Title Description
GRNT Written decision to grant