KR20220133719A - 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체 - Google Patents

드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체 Download PDF

Info

Publication number
KR20220133719A
KR20220133719A KR1020210051194A KR20210051194A KR20220133719A KR 20220133719 A KR20220133719 A KR 20220133719A KR 1020210051194 A KR1020210051194 A KR 1020210051194A KR 20210051194 A KR20210051194 A KR 20210051194A KR 20220133719 A KR20220133719 A KR 20220133719A
Authority
KR
South Korea
Prior art keywords
image
masking
information
area
present
Prior art date
Application number
KR1020210051194A
Other languages
English (en)
Other versions
KR102496689B1 (ko
Inventor
김도엽
Original Assignee
주식회사 뷰메진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뷰메진 filed Critical 주식회사 뷰메진
Priority to PCT/KR2021/005561 priority Critical patent/WO2022203113A1/ko
Publication of KR20220133719A publication Critical patent/KR20220133719A/ko
Application granted granted Critical
Publication of KR102496689B1 publication Critical patent/KR102496689B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체에 관한 것이다. 본 발명의 일 실시예에 따른 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법은 드론에 장착되는 카메라에 의해서 촬영되는 영상을 획득하는 영상 획득 단계, 영상에 대하여 객체 탐지 또는 영역 분할을 수행하여 특정 객체 또는 특정 영역에 관한 정보를 출력하는 영상 분석 단계, 정보를 이용하여 적어도 하나의 마스킹 영역을 검출하고, 영상에서 적어도 하나의 마스킹 영역을 마스킹 처리하는 마스킹 처리 단계 및 적어도 하나의 마스킹 영역을 마스킹 처리한 마스킹 영상을 지정된 서버 또는 인가된 사용자의 단말기에 전송하는 영상 전송 단계를 포함한다.

Description

드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체{AUTOMOATIC IMAGE MASKING METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR PRIVACY PROTECTION AND INFORMATION SECURITY FROM DRONES}
본 발명은 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체에 관한 것으로서, 보다 상세하게는 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체에 관한 것이다.
최근, 드론(Drone)은 그 성능이 발전함에 따라 다양한 응용 분야에서 활용되고 있다. 특히, 드론은 공중에서 자유롭게 비행하면서 높은 고도에서 광범위한 영역의 촬영이 가능하고, 사람의 접근이 제한되는 영역에 대한 영상도 얻을 수 있어서, 감시, 정찰, 방송 등 그 사용 영역이 확대되고 있는 추세이다.
한편, 드론의 사용 범위가 넓어짐에 따라 드론에 의해 촬영되는 영상에 사생활 정보 또는 보안 정보가 예기치 않게 포함될 가능성이 있으며, 이에 따라 사생활 침해, 보안 정보 노출 등의 문제가 발생할 수 있다.
이러한 문제를 해결하기 위하여 드론으로부터의 사생활 보호를 위한 기술이 알려져 있다.
예를 들어, 특허문헌 1에는 드론이 사생활 보호 영역으로 침투하는 경우에 GPS 교란 및 방해 전파 발생으로 착륙을 유도하거나 강제 착륙시키는 방법이 개시되어 있다. 특허문헌 1에서는 드론이 특정 영역에 접근 자체를 할 수 없도록 제어함으로써 사생활 보호가 가능하지만, 사생활 보호를 위한 영역이 미리 특정되어야 하고, 동적으로 변하는 환경에서 사생활 보호 내지 정보 보안에는 적용이 어려운 문제가 있다.
따라서, 드론으로 취득하는 영상에서 사생활 및 보안 정보가 사용자 등에게 노출되지 않고 사생활 보호 및 정보 보안을 할 수 있는 기술의 개발이 여전히 요구되는 실정이다.
등록특허공보 제10-1779938호(2017. 9. 13)
본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 드론으로부터의 사생활 보호 및 정보 보안을 위해 자동으로 영상을 분석하고 마스킹하는 방법 및 시스템을 제공하는 것에 그 목적이 있다.
또한, 본 발명은 사생활 정보 및 보안 정보의 노출을 차단하기 위해 드론 내에서 영상 분석 및 마스킹 처리할 수 있는 방법 및 시스템을 제공하는 것에 그 목적이 있다.
본 발명의 일 실시예에 따른 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법은 드론에 장착되는 카메라에 의해서 촬영되는 영상을 획득하는 영상 획득 단계, 영상에 대하여 객체 탐지 또는 영역 분할을 수행하여 특정 객체 또는 특정 영역에 관한 정보를 출력하는 영상 분석 단계, 정보를 이용하여 적어도 하나의 마스킹 영역을 검출하고, 영상에서 적어도 하나의 마스킹 영역을 마스킹 처리하는 마스킹 처리 단계 및 적어도 하나의 마스킹 영역을 마스킹 처리한 마스킹 영상을 지정된 서버 또는 인가된 사용자의 단말기에 전송하는 영상 전송 단계를 포함한다.
본 발명의 일 실시예에 따른 영상의 자동 마스킹 방법은 영상 전송 단계 이전에 마스킹 영상을 저장하는 영상 저장 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 영상 분석 단계에서의 객체 탐지는 영상에 포함되는 객체를 인식하고, 객체를 감싸는 박스 영역에 대한 정보를 출력하는 방식으로 수행될 수 있다.
본 발명의 일 실시예에 따르면, 영상 분석 단계에서의 영역 분할은 영상을 픽셀 단위로 분석하고, 각각의 픽셀이 속하는 분류에 대한 정보를 출력하는 방식으로 수행될 수 있다.
본 발명의 일 실시예에 따르면, 영상 분석 단계는 딥러닝을 기반으로 이루어질 수 있다.
본 발명의 일 실시예에 따르면, 마스킹 처리 단계는 적어도 하나의 마스킹 영역에 대한 모자이크 처리, 색 또는 패턴의 합성, 블러링 처리 또는 완전한 제거 중 적어도 하나의 방식으로 수행될 수 있다.
본 발명의 일 실시예에 따른 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 시스템은 드론에 장착되는 카메라에 의해서 촬영되는 영상을 획득하는 영상 획득부, 영상에 대하여 객체 탐지 또는 영역 분할을 수행하여 특정 객체 또는 특정 영역에 관한 정보를 출력하는 영상 분석부 및 영상 분석부에서 출력하는 정보를 이용하여 적어도 하나의 마스킹 영역을 검출하고, 영상에서 적어도 하나의 마스킹 영역을 마스킹 처리하는 마스킹 처리부를 포함한다.
본 발명의 일 실시예에 따르면, 드론으로 촬영한 영상에서 특정 객체 또는 특정 영역을 파악하고 이에 대하여 마스킹 처리함으로써, 사생활 정보 및 보안 정보의 노출을 효과적으로 차단할 수 있다.
또한, 사용자의 사후 개입 없이, 드론 내에서 촬영 영상의 분석 및 마스킹 처리를 수행하고 마스킹 처리된 영상만 저장 및 전송하도록 하여, 원본 영상이 노출되지 않아 사생활 보호 및 정보 보안의 효과를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따라 드론으로부터의 사생활 보호 및 정보 보안을 위한 전체 시스템을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템의 구성을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상의 자동 마스킹 방법을 순차적으로 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따라 객체 탐지 또는 영역 분할이 수행되는 모습을 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따라 마스킹 처리된 모습을 예시적으로 나타내는 도면이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있을 정도로 상세하게 설명한다.
본 발명을 명확하게 설명하기 위하여 본 발명과 관계없는 부분의 설명은 생략하였으며, 명세서 전체를 통하여 동일한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 사상 및 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있으며, 개별 구성요소의 위치 또는 배치도 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있는 것으로 이해되어야 한다.
따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
전체 시스템
도 1은 본 발명의 일 실시예에 따라 드론으로부터의 사생활 보호 및 정보 보안을 위한 전체 시스템을 개략적으로 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예 따르면, 드론으로부터의 사생활 보호 및 정보 보안을 위한 전체 시스템은 드론(10), 서버(20) 및 통신망(30)을 포함할 수 있다.
드론(10)은 사용자의 조작에 의해 비행하거나 자율 비행할 수 있는 무인항공기로, 본 실시예에 따르면 드론(10)에는 카메라가 장착되어 비행 중 영상을 촬영할 수 있다.
상술한 바와 같이, 드론(10)에 의해 촬영되는 영상에는 사생활 정보 또는 보안 정보가 포함되거나 포함될 수 있으며, 이로 인해 사생활 침해, 보안 정보 노출 등의 문제가 발생할 수 있다. 본 발명에서는 이러한 문제를 해결하기 위하여 드론(10)이 영상의 자동 마스킹 시스템을 포함할 수 있다. 본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템은 드론(10)에서 촬영한 영상을 획득, 분석하여 사생활 침해 또는 보안 정보 노출의 위험이 있는 객체 또는 영역에 대하여 마스킹 처리를 하는 기능을 수행할 수 있다. 영상의 자동 마스킹 시스템의 구체적인 구성은 뒤에서 다시 설명하기로 한다.
서버(20)는 드론(10)의 영상의 자동 마스킹 시스템으로부터 영상 데이터를 수신, 저장하는 기능을 수행할 수 있다. 또한, 서버(20)는 드론(10)에서 영상 취득, 분석, 처리 등의 기능을 수행하기 위하여 필요한 설정이나 사전 정보의 제공을 수행할 수 있다. 서버(20)는 사생활 보호 및 정보 보안을 위하여 지정된 서버일 수 있으며, 사용자의 설정에 따라 추가로 인가된 사용자의 단말기가 포함될 수 있다.
통신망(30)은 드론(10)과 서버(20) 사이의 통신을 수행하는 기능을 수행할 수 있다. 예를 들어, 통신망(30)을 통하여 드론(10)에서 서버(30)로 영상을 전송할 수 있다.
통신망(30)은 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 예를 들면, 통신망(30)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE, Long Term Evolution) 통신, 5G 통신, 블루투스 통신(저전력 블루투스(BLE; Bluetooth Low Energy) 통신 포함), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다. 다른 예를 들면, 통신망(30)은 광 통신망으로서, 라이파이(LiFi, Light Fidelity) 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
영상의 자동 마스킹 시스템
도 2는 본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템의 구성을 개략적으로 나타내는 도면으로, 이하에서는 도 2를 참조하여 드론(10)에 포함되는 영상의 자동 마스킹 시스템(100)의 구성과 각 구성요소의 기능에 대하여 상세히 설명한다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템(100)은 영상 획득부(110), 영상 분석부(120), 마스킹 처리부(130), 영상 저장부(140), 데이터베이스부(150), 통신부(160) 및 제어부(170)를 포함하여 구성될 수 있다.
본 발명의 일 실시예에 따르면, 영상 획득부(110), 영상 분석부(120), 마스킹 처리부(130), 영상 저장부(140), 데이터베이스부(150), 통신부(160) 및 제어부(170)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 영상의 자동 마스킹 시스템(100)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 영상의 자동 마스킹 시스템(100)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 영상의 자동 마스킹 시스템(100)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고 영상의 자동 마스킹 시스템(100)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 외부 시스템(미도시) 내에서 실현되거나 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.
본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템(100)의 영상 획득부(110)는 드론(10)에 장착되는 카메라에 의해서 촬영되는 영상을 획득하는 기능을 수행한다. 본 실시예에서는 영상 획득부(110)에서 실시간 동영상을 획득하는 것을 전제로 하고 있으나, 영상 획득부(110)에서 획득하는 영상은 동영상뿐만 아니라 스틸 이미지일 수도 있다. 영상 획득부(110)에서 획득한 영상 데이터는 영상 분석부(120)에 전달될 수 있다.
본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템(100)의 영상 분석부(120)는 영상 획득부(110)에서 획득한 영상을 분석하여 특정 객체 또는 특정 영역에 관한 정보를 출력하는 기능을 수행한다. 구체적으로, 영상 획득부(110)에서 획득한 영상에 대하여 객체 탐지 또는 영역 분할을 수행하여 특정 객체 및/또는 특정 영역을 식별하고, 그에 대한 정보를 출력할 수 있다. 영상 획득부(110)에서 획득하는 영상이 동영상일 경우 각 프레임마다 특정 객체 및/또는 특정 영역을 식별하고 출력할 수 있다.
본 발명의 일 실시예에 따르면, 객체 탐지는 영상에 포함되는 객체, 예를 들어 사람, 사람의 얼굴, 차량 등을 인식하고, 그 객체를 감싸는 박스 영역에 대한 정보를 출력하는 방식으로 수행될 수 있다. 여기서, 박스 영역에 대한 정보에는 영상의 각 프레임에서 박스를 한정하기 위해 필요한 좌(left), 우(right), 상(top), 하(bottom)의 픽셀 좌표가 포함될 수 있으며, 박스가 회전된 형태인 경우 각도 값이 포함될 수 있다.
본 발명의 일 실시예에 따르면, 영역 분할은 영상을 영상의 구성 요소인 픽셀 단위로 분석하고, 각각의 픽셀이 속하는 분류(예를 들어, 도로, 건물 등)에 대한 정보를 출력하는 방식으로 수행될 수 있다.
본 발명의 일 실시예에 따르면, 객체 탐지 및 영역 분할에는 공지의 머신 러닝(machine learning), 더욱 구체적으로는 딥러닝(deep learning)이 사용될 수 있다. 예를 들어, 합성곱 신경망 알고리즘(Convolutional Neural Networks; CNN)을 기반으로 영상에서의 객체 탐지 및 영역 분할을 수행할 수 있다. 다만, 본 발명에서 사용될 수 있는 기술이 반드시 이에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있다.
본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템(100)의 마스킹 처리부(130)는 영상 분석부(120)에서 출력하는 정보를 이용하여 적어도 하나의 마스킹 영역을 검출하고, 적어도 하나의 마스킹 영역을 마스킹 처리를 하는 기능을 수행한다.
본 발명의 일 실시예에 따르면, 적어도 하나의 마스킹 영역은 사생활 정보 또는 보안 정보가 포함되는 특정 객체, 특정 영역 또는 특정 영역에 포함되는 특정 객체로, 예를 들어, 사람 또는 사람의 얼굴, 차량 또는 차량 번호판, 도로, 건물 등이 포함될 수 있다. 마스킹 영역을 검출하는 기준은 사용자에 의해 사전에 설정될 수 있고, 또는 서버를 통하여 실시간으로 전달될 수도 있다. 영상의 하나의 프레임에는 복수개의 마스킹 영역이 포함될 수 있다.
본 발명의 일 실시예에 따르면, 마스킹 처리는 마스킹 영역의 이미지를 사람이 알아볼 수 없게 처리하는 것으로, 예를 들어 블러링 처리, 모자이크 처리, 색 또는 패턴의 합성, 완전한 제거 등의 방식으로 수행될 수 있다. 마스킹 처리 방식은 사전에 설정될 수 있으며, 서버(20)를 통해 실시간으로 변경될 수도 있을 것이다.
본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템(100)의 영상 저장부(140)는 마스킹 처리부(130)에서 적어도 하나의 마스킹 영역에 대하여 마스킹 처리한 마스킹 영상을 저장하는 기능을 수행할 수 있다. 본 실시예에서는 사생활 보호 및 정보 보안을 위해 마스킹 처리된 영상만을 저장할 수 있는 것으로 설명하였으나, 필요에 따라 마스킹 처리되지 않은 원본 영상을 함께 저장하도록 설정하는 것도 가능할 것이다.
본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템(100)의 데이터베이스부(150)는 영상의 자동 마스킹 시스템(100)을 운영하는 데에 필요한 데이터를 저장하는 기능을 수행할 수 있다. 데이터베이스부(150)에 저장되는 데이터로는, 예를 들어 영상 획득부(110)에 입력되는 영상, 영상 분석부(120)에서 출력되는 정보, 마스킹 처리부(130)에서 검출한 적어도 하나의 마스킹 영역의 정보, 마스킹 처리된 영상 등이 있을 수 있다.
본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템(100)의 통신부(160)는 영상 획득부(110), 영상 분석부(120), 마스킹 처리부(130), 영상 저장부(140) 및 데이터베이스부(150)로부터의/로의 데이터 송수신이 가능하도록 기능할 수 있으며, 또한 영상의 자동 마스킹 시스템(100)이 외부 통신망(30)과 통신할 수 있도록 기능할 수 있다.
본 발명의 일 실시예에 따른 영상의 자동 마스킹 시스템(100)의 제어부(170)는 영상 획득부(110), 영상 분석부(120), 마스킹 처리부(130), 영상 저장부(140), 데이터베이스부(150) 및 통신부(160) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(170) 영상의 자동 마스킹 시스템(100)의 외부로부터의/로의 데이터 흐름 또는 영상의 자동 마스킹 시스템(100)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 영상 획득부(110), 영상 분석부(120), 마스킹 처리부(130), 영상 저장부(140), 데이터베이스부(150) 및 통신부(160)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
영상의 자동 마스킹 방법
도 3은 본 발명의 일 실시예에 따른 영상의 자동 마스킹 방법을 순차적으로 나타내는 순서도로, 이하에서는 이를 참조하여 본 발명의 일 실시예에 따른 영상의 자동 마스킹 방법을 상세하게 설명한다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 드론으로부터의 사생활 보호및 정보 보안을 위한 영상의 자동 마스킹 방법은, 영상 획득 단계(S110), 영상 분석 단계(S120), 마스킹 처리 단계(S130), 영상 저장 단계(S140) 및 영상 전송 단계(S150)를 포함할 수 있다.
먼저, 영상 획득 단계(S110)에서는 드론에 장착되는 카메라에 의해서 촬영되는 영상을 영상 획득부(110)를 통해 획득한다. 드론에 의해서 촬영되는 영상은 동영상 또는 스틸 이미지일 수 있으며, 영상에는 사생활 침해 또는 보안 정보 노출의 위험이 있는 정보가 포함될 수 있다.
이어서, 영상 분석 단계(S120)에서는 영상 획득 단계(S110)에서 획득한 영상에 대하여 객체 탐지 또는 영역 분할을 수행하여 특정 객체 또는 특정 영역에 관한 정보를 출력한다. 여기서, 객체 탐지는 영상에 포함되는 객체를 인식하고, 그 객체를 감싸는 박스 영역에 대한 정보를 출력하는 방식으로 수행될 수 있으며, 영역 분할은 영상을 픽셀 단위로 분석하고, 각각의 픽셀이 속하는 분류에 대한 정보를 출력하는 방식으로 수행될 수 있다.
도 4는 본 발명의 일 실시예에 따라 객체 탐지 또는 영역 분할이 수행되는 모습을 예시적으로 나타내는 도면이다. 구체적으로, 도 4의 (a), (b) 및 (c)는 영상에 대하여 객체 탐지가 수행되는 모습을 나타내며, 도 4의 (d)는 영상에 대하여 영역 분할이 수행되는 모습을 나타내고, 도 4의 (e)는 영상에 대하여 객체 탐지와 영역 분할이 함께 수행되는 모습을 나타낸다.
객체 탐지 기술을 적용하면, 영상에 포함되는 특정 객체, 예를 들어 사람, 사람의 얼굴, 차량을 인식 수 있으며, 각각의 객체를 감싸는 박스 영역에 대한 정보를 출력할 수 있다(도 4의 (a), (b) 및 (c) 참조). 본 실시예에서는 특정 객체를 감싸는 박스의 안쪽 영역에 대한 정보를 출력하는 것을 예시하고 있으나, 반대로 특정 객체를 감싸는 박스의 바깥쪽 영역에 대한 정보를 출력하는 것도 가능할 것이다. 또한, 객체 탐지 대상으로는 사람, 사람의 얼굴, 차량 이외에 차량 번호판, 건물의 간판 등 사생활 보호 또는 정보 보안이 필요한 대상이면 어떠한 것도 가능할 것이다.
영역 분할 기술을 적용하면, 영상에 포함되는 특정 영역, 예를 들어 도로 영역과 나머지 영역을 분할, 분류할 수 있다(도 4의 (d) 참조). 영역 분할이 적용되는 대상으로는 도로 이외에도 주변과 구획되는 주거 지역, 군사 보호 구역 등도 가능할 것이다.
또는, 영역 분할 기술과 객체 탐지 기술을 함께 적용하여, 영상의 특정 영역 내의 특정 객체, 예를 들어 도로 상의 차량만을 인식하여, 해당 객체를 감싸는 박스 영역에 대한 정보를 출력할 수도 있다(도 4의 (e) 참조).
이러한 영상 분석 단계는 상술한 영상의 자동 마스킹 시스템(100)의 영상 분석부(120)에서 수행될 수 있으며, 머신 러닝, 더욱 구체적으로는 딥러닝 알고리즘을 기반으로 이루어질 수 있다.
다음으로, 마스킹 처리 단계(S130)에서는 영상 분석 단계(S120)에서 출력하는 정보를 이용하여 적어도 하나의 마스킹 영역을 검출하고, 적어도 하나의 마스킹 영역을 마스킹 처리를 한다. 이는 상술한 영상의 자동 마스킹 시스템(100)의 마스킹 처리부(130)를 통해 수행될 수 있다.
도 5는 본 발명의 일 실시예에 따라 마스킹 처리된 모습을 예시적으로 나타내는 도면이다.
도 5의 (a), (b) 및 (c)에 도시된 바와 같이, 특정 객체, 예를 들어 사람, 사람의 얼굴, 차량을 마스킹 영역으로 검출하여 마스킹 처리를 수행할 수 있으며, 도 5의 (d)에 도시된 바와 같이, 특정 영역, 예를 들어 도로 이외의 영역을 마스킹 영역으로 검출하여 마스킹 처리를 수행할 수 있다. 또는, 도 5의 (e)에 도시된 바와 같이, 특정 영역 내의 특정 객체, 예를 들어 도로 상의 차량 이외의 영역을 마스킹 영역으로 검출하여 마스킹 처리를 수행할 수도 있다.
마스킹 처리는 마스킹 영역에 대하여 패턴 또는 색을 합성하는 방식(도 5의 (a) 및 (b) 참조), 흐리게 하여 식별하기 어렵도록 블러링 처리하는 방식(도 5의 (c) 참조), 완전히 제거하는 방식(도 5의 (d) 참조) 또는 모자이크 처리하는 방식(도 5의 (e) 참조)으로 수행될 수 있다.
끝으로, 영상 전송 단계(S150)에서는 적어도 하나의 마스킹 영역을 마스킹 처리한 영상, 즉 마스킹 영상을 통신망을 통해 지정된 서버 또는 인가된 사용자의 단말기에 전송한다. 본 실시예에서는 사생활 보호 및 정보 보안을 위하여 마스킹 영상만을 전송하는 것으로 설명하고 있으나, 원본 영상이 반드시 필요한 경우에는 마스킹 영상과 함께 원본 영상을 전송하는 것도 가능할 것이다. 이러한 영상의 전송은 영상의 자동 마스킹 시스템(100)의 통신부(160)를 통해 수행될 수 있다.
한편, 영상 전송 단계(S150) 이전에, 마스킹 영상을 저장하는 영상 저장 단계(S140)를 더 포함할 수 있다. 적어도 하나의 마스킹 영역을 마스킹 처리한 영상을 저장한 후, 저장된 마스킹 영상을 통신망을 통해 지정된 서버 등에 전송할 수 있다. 영상의 저장은 상술한 영상의 자동 마스킹 시스템(100)의 영상 저장부(140)를 통해 수행될 수 있으며, 필요한 경우에는 마스킹 영상을 저장하면서 원본 영상을 함께 저장하도록 설정하는 것도 가능할 것이다.
이처럼, 본 발명에서는 드론에서 촬영되는 영상에 대하여 객체 탐지 또는 영역 분할을 수행하고, 특정 객체 및 특정 영역에 대하여 자동으로 마스킹 처리함으로써, 드론으로부터의 사생활 보호 및 정보 보안을 담보할 수 있다. 특히, 드론에 포함되는 영상의 자동 마스킹 시스템에 의해서 영상의 분석, 마스킹 처리, 저장, 전송의 일련의 과정이 수행됨으로써, 작업의 효율성을 높이고 원본 영상이 노출되지 않도록 하여, 사생활 보호 및 정보 보안의 효과를 높일 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명을 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예에 의해 설명하였으나, 상기 실시예는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 앞서 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
10: 드론
20: 서버
30: 통신망
100: 영상의 자동 마스킹 시스템
110: 영상 획득부
120: 영상 분석부
130: 마스킹 처리부
140: 영상 저장부
150: 데이터베이스부
160: 통신부
170: 제어부

Claims (8)

  1. 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법으로서,
    드론에 장착되는 카메라에 의해서 촬영되는 영상을 획득하는 영상 획득 단계,
    상기 영상에 대하여 객체 탐지 또는 영역 분할을 수행하여 특정 객체 또는 특정 영역에 관한 정보를 출력하는 영상 분석 단계,
    상기 영상 분석 단계에서 출력하는 정보를 이용하여 적어도 하나의 마스킹 영역을 검출하고, 상기 영상에서 상기 적어도 하나의 마스킹 영역을 마스킹 처리하는 마스킹 처리 단계 및
    상기 적어도 하나의 마스킹 영역을 마스킹 처리한 마스킹 영상을 지정된 서버 또는 인가된 사용자의 단말기에 전송하는 영상 전송 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 영상 전송 단계 이전에 마스킹 영상을 저장하는 영상 저장 단계를 더 포함하는
    방법.
  3. 제1항에 있어서,
    상기 영상 분석 단계에서의 상기 객체 탐지는 영상에 포함되는 객체를 인식하고, 상기 객체를 감싸는 박스 영역에 대한 정보를 출력하는 방식으로 수행되는, 방법.
  4. 제1항에 있어서,
    상기 영상 분석 단계에서의 상기 영역 분할은 영상을 픽셀 단위로 분석하고, 각각의 픽셀이 속하는 분류에 대한 정보를 출력하는 방식으로 수행되는, 방법.
  5. 제1항에 있어서,
    상기 영상 분석 단계는 딥러닝을 기반으로 이루어지는, 방법.
  6. 제1항에 있어서,
    상기 마스킹 처리 단계는, 상기 적어도 하나의 마스킹 영역에 대한 모자이크 처리, 색 또는 패턴의 합성, 블러링 처리 및 완전한 제거 중 적어도 하나의 방식으로 수행되는, 방법.
  7. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  8. 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 시스템으로서,
    드론에 장착되는 카메라에 의해서 촬영되는 영상을 획득하는 영상 획득부,
    상기 영상에 대하여 객체 탐지 또는 영역 분할을 수행하여 특정 객체 또는 특정 영역에 관한 정보를 출력하는 영상 분석부 및
    상기 영상 분석부에서 출력하는 상기 정보를 이용하여 적어도 하나의 마스킹 영역을 검출하고, 상기 영상에서 상기 적어도 하나의 마스킹 영역을 마스킹 처리하는 마스킹 처리부를 포함하는
    시스템.
KR1020210051194A 2021-03-25 2021-04-20 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체 KR102496689B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2021/005561 WO2022203113A1 (ko) 2021-03-25 2021-05-03 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210038828 2021-03-25
KR20210038828 2021-03-25

Publications (2)

Publication Number Publication Date
KR20220133719A true KR20220133719A (ko) 2022-10-05
KR102496689B1 KR102496689B1 (ko) 2023-02-07

Family

ID=83596543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210051194A KR102496689B1 (ko) 2021-03-25 2021-04-20 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체

Country Status (1)

Country Link
KR (1) KR102496689B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101779938B1 (ko) 2016-02-29 2017-09-19 국민대학교산학협력단 사생활 보호를 위한 드론 보안 장치 및 그의 제어 방법
KR20200053751A (ko) * 2018-11-09 2020-05-19 전자부품연구원 얼굴 마스킹 장치 및 방법
KR20200091715A (ko) * 2019-01-23 2020-07-31 한국전자통신연구원 마스킹 영역 처리 시스템 및 방법
KR102182805B1 (ko) * 2019-12-19 2020-11-25 주식회사 포드림 무인 비행체의 불법촬영으로부터 개인정보를 보호하기 위한 방법, 장치 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101779938B1 (ko) 2016-02-29 2017-09-19 국민대학교산학협력단 사생활 보호를 위한 드론 보안 장치 및 그의 제어 방법
KR20200053751A (ko) * 2018-11-09 2020-05-19 전자부품연구원 얼굴 마스킹 장치 및 방법
KR20200091715A (ko) * 2019-01-23 2020-07-31 한국전자통신연구원 마스킹 영역 처리 시스템 및 방법
KR102182805B1 (ko) * 2019-12-19 2020-11-25 주식회사 포드림 무인 비행체의 불법촬영으로부터 개인정보를 보호하기 위한 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR102496689B1 (ko) 2023-02-07

Similar Documents

Publication Publication Date Title
US10728436B2 (en) Optical detection apparatus and methods
US20170213091A1 (en) Video processing
KR101394242B1 (ko) 영상 감시 장치 및 영상 감시 방법
US20190171897A1 (en) System and method for automatically improving gathering of data using a data gathering device
KR102051032B1 (ko) 객체 탐지 장치 및 제어 방법
KR101853903B1 (ko) Cctv, 드론 및 광펜스를 포함한 침입 감지 방법 및 시스템
EP3506226B1 (en) System and method for dynamically masking video and images captured a drone device camera
JP2018137730A (ja) プライバシーマスクされた画像を符号化すること
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
US20220075392A1 (en) Reconnaissance unmanned aerial vehicle and surveillance flight method thereof
US11443518B2 (en) Uncrewed aerial vehicle shared environment privacy and security
KR102496689B1 (ko) 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체
Kumar et al. Border surveillance system using computer vision
CN112800918A (zh) 一种非法运动目标的身份识别方法及装置
Dawdi et al. Locating victims in hot environments using combined thermal and optical imaging
WO2022203113A1 (ko) 드론으로부터의 사생활 보호 및 정보 보안을 위한 영상의 자동 마스킹 방법, 시스템 및 비일시성 판독 가능 기록 매체
KR102308700B1 (ko) 제한구역 내에서 비행이 허가된 드론인지 여부를 추적할 수 있는 추적 드론 및 그 동작 방법
US20210092277A1 (en) Apparatus and method for detecting unmanned aerial vehicle
KR102183689B1 (ko) 실시간 영상의 객체 마스킹 처리 시스템 및 이를 이용한 마스킹 처리 방법
Sung et al. Onboard pattern recognition for autonomous UAV landing
CN112802058A (zh) 一种非法运动目标的跟踪方法及装置
Quan et al. Identification of drone thermal signature by convolutional neural network
KR20210001255A (ko) 기계학습에 기반한 비감시 영역 추정 방법 및 장치
US11915477B2 (en) Video processing system and video processing method using split learning
WO2020000311A1 (zh) 图像处理方法、装置、设备以及无人机

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant