KR102202577B1 - 딥러닝 기반 개인정보 비식별화 방법 및 장치 - Google Patents

딥러닝 기반 개인정보 비식별화 방법 및 장치 Download PDF

Info

Publication number
KR102202577B1
KR102202577B1 KR1020190162456A KR20190162456A KR102202577B1 KR 102202577 B1 KR102202577 B1 KR 102202577B1 KR 1020190162456 A KR1020190162456 A KR 1020190162456A KR 20190162456 A KR20190162456 A KR 20190162456A KR 102202577 B1 KR102202577 B1 KR 102202577B1
Authority
KR
South Korea
Prior art keywords
detection area
detection
specific object
region
area
Prior art date
Application number
KR1020190162456A
Other languages
English (en)
Inventor
남영진
류내원
Original Assignee
네오컨버전스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네오컨버전스 주식회사 filed Critical 네오컨버전스 주식회사
Priority to KR1020190162456A priority Critical patent/KR102202577B1/ko
Application granted granted Critical
Publication of KR102202577B1 publication Critical patent/KR102202577B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반 개인정보 비식별화 방법 및 장치에 관한 것이다.
본 발명의 일 실시예에 따른 딥러닝 기반 개인정보 비식별화 방법은 딥러닝 기반 개인정보 비식별화 장치가 딥러닝 기반 개인정보 비식별화 방법에 있어서, 원본 동영상을 포맷에 따라 원본 영상과 오디오로 디멀티플렉싱을 수행하는 단계, 원본 영상에서 특정객체를 검출하고, 특정객체의 비식별화를 수행하여 비식별화 영상을 생성하는 단계, 비식별화 영상과 오디오의 멀티플렉싱을 수행하는 단계를 포함한다.

Description

딥러닝 기반 개인정보 비식별화 방법 및 장치{METHOD AND APPARATUS FOR DE-IDENTIFICATIONING PERSONAL DATA BASED ON DEEP LEARNING}
본 발명은 딥러닝 기반 개인정보 비식별화 방법 및 장치에 관한 것이다.
인공지능(artificial intelligence)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
최근에 인공지능, 빅데이터, IoT 등 IT 융합기술 발전으로 영상 데이터 이용 수요가 급증하고 있는 상황에서 많은 디지털 영상 기기, CCTV 및 차량용 블랙박스 등의 증가로 개인정보가 포함된 영상 데이터 비식별화 되지 않은 상태에서 유출되어 개인정보 침해 가능성 심화되고 있다.
또한, 빅데이터 학습 또는 활용을 위한 개인정보 유출위험에 안전한 영상 데이터 확보 어려움이 있고, 프라이버시 침해 및 개인정보 관련 법이나 규정에 저촉되는 문제가 발행할 가능성이 증가하고 있다.
그러나, 종래에는 개인정보 등에 문제가 없는 영상 데이터를 직접 확인하거나 확보하기가 어려움이 있었다.
대한민국 공개특허 제10-2019-0110498호
본 발명이 이루고자 하는 기술적인 과제는 딥러닝 분석 및 학습을 통해 동영상과 같은 영상 데이터에 포함된 개인정보를 명확히 인식하여 추출하고, 정확히 마스킹하는 딥러닝 기반 개인정보 비식별화 방법 및 장치를 제공하는데 있다.
본 발명의 일 실시예에 따른 딥러닝 기반 개인정보 비식별화 방법은 딥러닝 기반 개인정보 비식별화 장치가 딥러닝 기반 개인정보 비식별화 방법에 있어서, 원본 동영상을 포맷에 따라 원본 영상과 오디오로 디멀티플렉싱을 수행하는 단계, 상기 원본 영상에서 특정객체를 검출하고, 상기 특정객체의 비식별화를 수행하여 비식별화 영상을 생성하는 단계, 상기 비식별화 영상과 상기 오디오의 멀티플렉싱을 수행하는 단계를 포함한다.
상기 원본 영상에서 상기 특정객체를 검출하고, 상기 특정객체의 비식별화를 수행하여 상기 비식별화 영상을 생성하는 단계는, 상기 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하는 단계, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하는 단계, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하는 단계, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하는 단계, 상기 미검출프레임에서 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하는 단계를 포함한다.
상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있는지 확인하는 단계는, 임의의 동영상의 프레임에서 제1검출영역 타입과 제2검출영역 타입이 동일 타입이면 상기 제1검출영역과 상기 제2검출영역의 인터섹션 오버 유니언을 계산하여 상기 제1검출영역과 상기 제2검출영역의 상기 연관성을 확인하는 것을 특징으로 한다.
상기 인터섹션 오버 유니언이 기 설정된 특정값 이상이면 상기 제1검출영역과 상기 제2검출영역이 연관성이 있다고 판단하고, 상기 인터섹션 오버 유니언이 상기 기 설정된 특정값 미만이면 상기 제1검출영역과 상기 제2검출영역이 상기 연관성이 없다고 판단하는 것을 특징으로 한다.
상기 원본 영상에서 상기 특정객체를 검출하고, 상기 특정객체의 비식별화를 수행하여 상기 비식별화 영상을 생성하는 단계는, 상기 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하는 단계, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하는 단계, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하는 단계, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하는 단계, 제1검출영역 시작점과 제2검출영역 시작점을 확인하는 단계, 제1검출영역 크기와 제2검출영역 크기를 확인하는 단계, 상기 제1검출영역 시작점과 상기 제2검출영역 시작점의 시작점 이동률과 상기 제1검출영역 크기와 상기 제2검출영역 크기의 크기 변화율을 확인하는 단계, 상기 시작점 이동률과 상기 크기 변화율을 이용하여 프레임간 변화량을 계산하는 단계, 상기 프레임간 변화량을 이용하여 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하는 단계를 포함한다.
상기 프레임간 변화량을 이용하여 상기 특정객체의 상기 추정영역을 계산하는 것은, 상기 프레임간 변화량을 이용하여 각각의 상기 미검출프레임에서 상기 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 상기 특정객체의 상기 추정영역을 계산하는 것을 특징으로 한다.
상기 프레임간 변화량은, 상기 시작점 이동률과 상기 크기 변화율을 제2검출영역 프레임 번호에서 제1검출영역 프레임 번호를 뺀 값으로 계산한 프레임 번호차이로 나누어서 계산하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 딥러닝 기반 개인정보 비식별화 장치는 원본 동영상을 포맷에 따라 원본 영상과 오디오로 디멀티플렉싱을 수행하는 디멀티플렉싱부, 상기 원본 영상에서 특정객체를 검출하고, 상기 특정객체의 비식별화를 수행하여 비식별화 영상을 생성하는 비식별화 제어부, 상기 비식별화 영상과 상기 오디오의 멀티플렉싱을 수행하는 멀티플렉싱부를 포함한다.
본 발명의 다른 실시예에 따른 딥러닝 기반 개인정보 비식별화 장치는 원본 동영상을 포맷에 따라 원본 영상과 오디오로 디멀티플렉싱을 수행하는 디멀티플렉싱부, 상기 원본 영상에서 특정객체를 검출하고, 상기 특정객체의 비식별화를 수행하여 비식별화 영상을 생성하는 비식별화 제어부, 상기 비식별화 영상과 상기 오디오의 멀티플렉싱을 수행하는 멀티플렉싱부를 포함하되, 상기 비식별화 제어부는, 상기 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하고, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 상기 미검출프레임에서 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하도록 제어하는 것을 특징으로 한다.
상기 비식별화 제어부는 임의의 동영상의 프레임에서 제1검출영역 타입과 제2검출영역 타입이 동일 타입이면 상기 제1검출영역과 상기 제2검출영역의 인터섹션 오버 유니언을 계산하여 상기 제1검출영역과 상기 제2검출영역의 상기 연관성을 확인하는 것을 특징으로 한다.
본 발명의 또 다른 실시예에 따른 딥러닝 기반 개인정보 비식별화 장치는 원본 동영상을 포맷에 따라 원본 영상과 오디오로 디멀티플렉싱을 수행하는 디멀티플렉싱부, 상기 원본 영상에서 특정객체를 검출하고, 상기 특정객체의 비식별화를 수행하여 비식별화 영상을 생성하는 비식별화 제어부, 상기 비식별화 영상과 상기 오디오의 멀티플렉싱을 수행하는 멀티플렉싱부를 포함하되, 상기 비식별화 제어부는, 상기 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하고, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 제1검출영역 시작점과 제2검출영역 시작점을 확인하고, 제1검출영역 크기와 제2검출영역 크기를 확인하고, 상기 제1검출영역 시작점과 상기 제2검출영역 시작점의 시작점 이동률과 상기 제1검출영역 크기와 상기 제2검출영역 크기의 크기 변화율을 확인하고, 상기 시작점 이동률과 상기 크기 변화율을 이용하여 프레임간 변화량을 계산하고, 상기 프레임간 변화량을 이용하여 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하도록 제어하는 것을 특징으로 한다.
상기 비식별화 제어부는 상기 프레임간 변화량을 이용하여 각각의 상기 미검출프레임에서 상기 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 상기 특정객체의 상기 추정영역을 계산하는 것을 특징으로 한다.
본 발명의 실시예에 따른 딥러닝 기반 개인정보 비식별화 방법 및 장치에 의하면 다음과 같은 효과가 있다.
첫째, 본 발명은 딥러닝 분석 및 학습을 통해 영상에 포함된 개인정보를 명확히 인식하고, 개인정보를 추출하여, 개인정보를 정확히 마스킹하여 개인정보 등을 비식별화할 수 있다.
둘째, 본 발명은 딥러닝 분석 및 학습을 통해 영상에 포함된 개인정보를 연속적으로 명확히 인식하고, 정확히 마스킹하여 개인정보 등을 비식별화할 수 있다.
셋째, 본 발명은 여러 가지 비디오, 이미지 소스를 통하여 수집된 영상 데이터에서 개인을 식별할 수 있는 다양한 오브젝트 들을 검출하여 이를 삭제 혹은 수정된 형태의 이미지로 변환, 저장 및 송출하는 지능형 영상 비식별화 솔루션을 제공할 수 있다.
넷째, 본 발명은 다양한 환경에서 기하급수적으로 증가하는 영상 데이터를 높은 신뢰도와 정밀도가 구현되게 개인정보를 비식별화하여 법이나 규정에 문제가 없는 영상 데이터를 생성할 수 있다.
다섯째, 본 발명은 개인정보가 포함된 특정객체가 검출된 프레임의 검출영역 정보를 이용하여 특정객체를 검출하지 못한 프레임 내에 추정영역을 예측하여 동영상 내에서 사람 및 얼굴 객체 등의 개인정보를 연속적 추적하고 마스킹하여 개인정보 등을 비식별화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 개인정보 비식별화 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 개인정보 비식별화 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 원본 영상에서 특정객체를 검출하고, 특정객체의 비식별화를 수행하여 비식별화 영상을 생성하는 방법을 설명하기 위한 흐름도이다.
도 4(a) ~ 도 4(c)는 본 발명의 일 실시예에 따른 제1검출영역과 제2검출영역의 연관성을 확인하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 미검출프레임에서 특정객체의 추정영역을 계산하고, 추정영역을 마스킹하는 방법을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
또한, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 이외의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.
본 발명에서 “검출영역”은 동영상, 원본 영상, 이미지 소스와 같은 영상 데이터에서 개인정보 등의 오브젝트를 포함하는 특정영역이 검출되는 영역을 의미한다. 검출영역은 오브젝트가 포함되어 오브젝트가 검출되는 특정영역으로, 본 발명은 개인정보 등의 오브젝트가 포함되는 검출영역을 검출하고 비식별화하기 위해서 마스킹을 수행한다.
좀 더 상세히 설명하면 본 발명에서 “검출영역”은 동영상, 원본 영상, 이미지 소스와 같은 영상 데이터의 각 프레임에서 개인정보 등의 오브젝트를 포함하는 특정영역 중에서 검출되는 영역을 의미한다.
본 발명에서 “검출영역프레임”은 영상 데이터의 각 프레임 중에서 검출영역을 포함하는 프레임의 의미한다.
본 발명에서 “추정영역”은 동영상, 원본 영상, 이미지 소스와 같은 영상 데이터에서 개인정보 등의 오브젝트를 포함하는 특정영역이 있지만 검출되지 않은 영역으로, 개인정보 등의 오브젝트를 포함하는 특정영역이 있다고 추정되는 영역을 의미한다. 추정영역은 오브젝트가 포함되어 오브젝트가 검출되지 않는 특정영역으로, 본 발명은 개인정보 등의 오브젝트가 포함되는 추정영역을 계산하고 비식별화하기 위해서 마스킹을 수행한다.
좀 더 상세히 설명하면 본 발명에서 “추정영역”은 동영상, 원본 영상, 이미지 소스와 같은 영상 데이터의 각 프레임에서 개인정보 등의 오브젝트를 포함하는 특정영역 중에서 검출되지 않아 검출영역을 이용하여 계산된 영역을 의미한다.
본 발명에서 “미검출프레임”은 영상 데이터의 각 프레임 중에서 개인정보 등의 오브젝트를 포함하는 특정영역이 있지만 검출되지 않은 영역인 추정영역을 포함하는 프레임을 의미한다.
이하, 본 발명을 보다 구체적으로 설명하기 위하여 본 발명에 따른 실시예들을 첨부 도면을 참조하면서 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 개인정보 비식별화 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 딥러닝 기반 개인정보 비식별화 장치(이하, “장치”라 한다.)는 입력부(10), 디멀티플렉싱부(20), 비식별화 제어부(30), 멀티플렉싱부(40), 출력부(50), 메모리(60), 표시부(70)를 포함한다. 이러한 구성요소는 하나 이상의 통신버스 또는 신호선을 통하여 통신한다.
입력부(10)는 원본 동영상을 수신하여 디멀티플렉싱부(20)로 전송하는 부분이다. 입력부(10)는 다양한 포맷의 원본 동영상(예를 들어, 파일 원본 동영상, IP 원본 동영상, HDMI 원본 동영상)을 수신하여 디멀티플렉싱부(20)로 전송한다.
예를 들어, 입력부(10)는 파일 형태의 파일 원본 동영상, IP(Internet Protocol) 형태의 IP 원본 동영상, HDMI 형태의 HDMI 원본 동영상을 수신하면, 파일 원본 동영상, IP 원본 동영상은 디멀티플렉싱부(20)의 디먹서(21)로 전송하고, HDMI 원본 동영상은 디멀티플렉싱부(20)의 HDMI 캡쳐(23)로 전송할 수 있다.
또한, 입력부(10)는 사용자와 장치 사이의 명령신호를 입력하는 인터페이스를 제공한다. 즉, 입력부(10)는 사용자가 장치에 입력신호와 같은 명령신호 등을 입력할 수 있고, 사용자가 입력부(10)를 통해서 입력신호를 입력하면, 장치는 다양한 종류의 사용자 입력신호를 검출하고 비식별화 제어부(30)의 제어에 의해서 사용자의 명령을 수행한다.
예를 들어, 사용자는 입력부(10)를 통해서 기 설정된 명령 등의 명령신호를 입력할 수 있다.
다만, 터치스크린과 같은 일부 실시예에서는 표시부(70)와 입력부(10)가 일체로 될 수 있고, 분리될 수도 있다.
디멀티플렉싱부(20)는 원본 동영상을 포맷에 따라 원본 영상과 오디오로 디멀티플렉싱을 수행하는 부분이다. 여기서, 디멀티플렉싱부(20)는 파일 크기, 전송속도, 해상도, 비디오 정보, 오디오 정보 등 입력된 데이터의 정보를 분석할 수 있다.
디멀티플렉싱부(20)는 디먹서(21), 비디오 디코더(22), HDMI 캡쳐(23), YUV 프레임 추출부(24), PCM 추출부(25)를 포함할 수 있다.
디먹서(21)는 입력부(10)로부터 파일 원본 동영상 및/또는 IP 원본 동영상을 수신하여 원본 영상과 오디오로 디멀티플렉싱을 수행하여, 원본 영상은 비디오 디코더(22)로 전송하고, 오디오는 멀티플렉싱부(40)로 전송한다. 여기서, 원본 영상은 비디오 패킷 형태의 원본 영상이 가능하다. 또한, 디먹서(21)는 오디오를 멀티플렉싱부(40)의 먹서(43)로 전송할 수 있다.
비디오 디코더(22)는 디먹서(21)로부터 원본 영상을 프레임 데이터로 비식별화 제어부(30)로 전송한다.
HDMI 캡쳐(23)는 입력부(10)로부터 HDMI 원본 동영상을 수신하여 HDMI 캡쳐(23)를 수행하고, YUV 프레임 추출부(24)는 YUV 프레임을 추출하여 비식별화 제어부(30)에 전송하고, PCM 추출부(25)는 PCM을 추출하여 멀티플렉싱부(40)로 전송한다. 특히, PCM 추출부(25)는 PCM 데이터를 멀티플렉싱부(40)의 오디오 인코더(42)로 전송할 수 있다.
비식별화 제어부(30)는 본 발명에 따른 장치를 제어하는 부분이다. 또한, 비식별화 제어부(30)는 장치의 각 구성요소를 제어하는 부분이다.
또한, 비식별화 제어부(30)는 원본 영상에서 특정객체를 검출하고, 특정객체의 비식별화를 수행하여 비식별화 영상을 생성하는 부분이다.
비식별화 제어부(30)는 특정객체를 추출하는 특정객체 추출부, 특정객체를 추적하는 특정객체 추적부, 특정객체는 비식별화하는 비식별화부, 메타데이터를 추출하는 메타데이터 추출부를 포함할 수 있다.
비식별화 제어부(30)는 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 제1검출영역과 제2검출영역의 연관성이 있는지 확인하고, 제1검출영역과 제2검출영역의 연관성이 있으면, 제1검출영역이 포함된 제1검출영역프레임과 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 미검출프레임에서 특정객체의 추정영역을 계산하고, 추정영역을 마스킹하도록 제어할 수 있다.
또한, 비식별화 제어부(30)는 임의의 동영상의 프레임에서 제1검출영역 타입과 제2검출영역 타입이 동일 타입이면 제1검출영역과 제2검출영역의 인터섹션 오버 유니언을 계산하여 제1검출영역과 제2검출영역의 연관성을 확인할 수 있다.
또한, 비식별화 제어부(30)는 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 제1검출영역과 제2검출영역의 연관성이 있는지 확인하고, 제1검출영역과 제2검출영역의 연관성이 있으면, 제1검출영역이 포함된 제1검출영역프레임과 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 제1검출영역 시작점과 제2검출영역 시작점을 확인하고, 제1검출영역 크기와 제2검출영역 크기를 확인하고, 제1검출영역 시작점과 제2검출영역 시작점의 시작점 이동률과 제1검출영역 크기와 제2검출영역 크기의 크기 변화율을 확인하고, 시작점 이동률과 크기 변화율을 이용하여 프레임간 변화량을 계산하고, 프레임간 변화량을 이용하여 특정객체의 추정영역을 계산하고, 추정영역을 마스킹하도록 제어할 수 있다.
또한, 비식별화 제어부(30)는 프레임간 변화량을 이용하여 각각의 미검출프레임에서 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 특정객체의 추정영역을 계산할 수 있다.
멀티플렉싱부(40)는 비식별화 영상과 오디오의 멀티플렉싱을 수행하는 부분이다.
멀티플렉싱부(40)는 비디오 인코더(41), 오디오 인코더(42), 먹서(43), IP 스트리머(44)를 포함할 수 있다.
비디오 인코더(41)는 비식별화 제어부(30)로부터 프레임 데이터 형태의 비식별화 영상을 비디오 패킷 형태의 비식별화 영상으로 인코딩한다.
오디오 인코더(42)는 PCM 추출부(25)로부터 PCM 데이터를 수신하여 오디오 패킷 형태의 오디오로 인코딩하여 먹서(43)로 전송한다.
먹서(43)는 비디오 인코더(41)로부터 인코딩된 비식별화 영상을 수신하고, 오디오 인코더(42)로부터 인코딩된 오디오를 수신하여 멀티플렉싱을 수행하여 파일 형태의 비식별화 신호를 출력부(50)로 전송한다.
IP 스트리머(44)는 스트리밍 형태의 IP 형태의 비식별화 신호를 출력한다.
출력부(50)는 비식별화 영상을 포함하는 비식별화 동영상(또는 비식별화 신호)을 출력한다. 출력부(50)는 파일 형태의 비식별화 신호과 IP 형태의 비식별화 신호를 출력한다. 여기서, 비식별화 신호는 비식별화 동영상이 가능하다.
메모리(60)는 동영상(원본 동영상, 비식별화 동영상), 영상 데이터, 특정객체 관련 정보, 메타데이터, 분석 데이터, 기 설정된 명령 등의 명령신호, 명령어 등의 다양한 데이터 저장하는 부분이다.
예를 들어, 메모리(60)는 검출영역 정보, 검출영역 간의 연관성 확인을 위한 정보, 검출영역 프레임 정보, 미검출프레임 정보, 추정영역 정보, 검출영역 시작점 정보, 검출영역 크기 정보, 프레임 번호, 시작점 이동률 정보, 크기 변화율 정보, 프레임간 변화량 정보 등을 저장할 수 있다.
표시부(70)는 사용자와 장치 사이의 시각적인 출력을 위한 인터페이스를 제공한다. 표시부(70)는 동영상, 영상 데이터, 비식별화 동영상, 비식별화 영상 데이터 등을 사용자가 식별할 수 있도록 표시하는 부분이다.
또한, 표시부(70)는 다양한 방식의 제어 사용자 인터페이스, 메타데이터 등의 정보를 표시할 수 있다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 개인정보 비식별화 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 장치는 원본 동영상을 수신한다(S201).
장치는 원본 동영상을 포맷에 따라 원본 영상과 오디오로 디멀티플렉싱을 수행한다(S202).
장치는 원본 영상에서 특정객체를 검출하고, 특정객체의 비식별화를 수행하여 비식별화 영상을 생성한다(S203).
장치는 비식별화 영상과 오디오의 멀티플렉싱을 수행한다(S204).
장치는 비식별화 영상을 포함하는 비식별화 동영상(또는 비식별화 신호)을 출력한다(S205).
도 3은 본 발명의 일 실시예에 따른 원본 영상에서 특정객체를 검출하고, 특정객체의 비식별화를 수행하여 비식별화 영상을 생성하는 방법을 설명하기 위한 흐름도이다. 도 4(a) ~ 도 4(c)는 본 발명의 일 실시예에 따른 제1검출영역과 제2검출영역의 연관성을 확인하는 방법을 설명하기 위한 도면이다.
이하의 설명에서, 장치는 내부에 포함된 비식별화 제어부(30)의 제어에 의해서 동작이 수행되는 것이라고 설명될 수 있다.
도 3, 도 4(a) ~ 도 4(c)를 참조하면, 장치는 동영상(또는 원본 영상)의 모든 프레임에서 기 설정된 명령에 따라 특정객체의 검출을 수행한다(S301). 여기서, 특정객체는 동영상, 원본 영상, 이미지 소스를 통하여 수집된 영상 데이터에서 개인정보(또는 개인)를 식별할 수 있는 다양한 객체가 가능하다. 예를 들어, 특정객체는 사람의 얼굴, 개인의 신분 정보 등이 가능하다.
또한, 본 발명에서 기 설정된 명령은 특정객체를 미리 설정할 수 있으며, 기 설정된 명령은 특정객체를 포함하는 특정영역을 검출하라는 명령이 가능하다.
장치는 특정객체의 제1검출영역(411)을 검출하고, 제1검출영역(411)을 마스킹한다(S302). 예를 들어, 장치는 동영상(또는 영상 데이터)의 각 프레임 중에서 첫번째 프레임(프레임#1(410))에서 특정객체의 제1검출영역(411)을 검출할 수 있다.
장치는 개인정보 등의 오브젝트가 포함되는 제1검출영역(411)을 검출하고 비식별화(De-identification)하기 위해서 제1검출영역(411) 마스킹을 수행한다.
장치는 특정객체의 제2검출영역(414)을 검출하고, 제2검출영역(414)을 마스킹한다(S303). 예를 들어, 장치는 동영상(또는 영상 데이터)의 각 프레임 중에서 네번째 프레임(프레임#4)에서 특정객체의 제2검출영역(414)을 검출할 수 있다.
장치는 개인정보 등의 오브젝트가 포함되는 제2검출영역(414)을 검출하고 비식별화하기 위해서 제2검출영역(414) 마스킹을 수행한다.
장치는 제1검출영역(411)과 제2검출영역(414)의 연관성이 있는지 확인한다(S304).
예를 들어, 장치는 임의의 동영상(또는 원본 영상)의 프레임에서 제1검출영역(411) 타입과 제2검출영역(414) 타입이 동일 타입이면 제1검출영역(411)과 제2검출영역(414)의 인터섹션 오버 유니언(Intersection over union, “IOU”라 한다.)을 계산하여 제1검출영역(411)과 제2검출영역(414)의 연관성을 확인할 수 있다.
예를 들어, 장치는 임의의 동영상의 프레임에서 제1검출영역(411) 타입과 제2검출영역(414) 타입이 동일 타입이면 제1검출영역(411)과 제2검출영역(414)의 인터섹션 오버 유니언(IOU)을 계산하고, 인터섹션 오버 유니언(IOU)이 기 설정된 특정값(또는 특정크기) 이상이면 두 영역(예를 들어, 제1검출영역(411)과 제2검출영역(414))이 연관성이 있다고 판단하고, 인터섹션 오버 유니언(IOU)이 기 설정된 특정값(또는 특정크기) 미만이면 두 영역이 연관성이 없다고 판단할 수 있다. 여기서, 기 설정된 특정값은 사용자가 설정가능한데, 예를 들어, 기 설정된 특정값은 0.3 ~ 1.0 사이의 값 중에서 설정될 수 있다.
도 4(a)를 참조하면, 프레임#1(410)에서 제1검출영역(411)이 검출되고, 프레임#4에서 제2검출영역(414)이 검출되면, 제1검출영역(411)과 제2검출영역(414)의 연관성을 확인한다. 제1검출영역(411)과 제2검출영역(414)의 연관성이 있으면, 제1검출영역(411)이 포함된 프레임#1(410)과 제2검출영역(414)이 포함된 프레임#4 사이의 프레임#2에서 제1추정영역(412)과 프레임#3에서 제2추정영역(413)을 계산할 수 있다.
도 4(b), 도 4(c)를 참조하여 인터섹션 오버 유니언(IOU)을 계산하는 방법을 설명하면, 장치는 제1검출영역(411)과 제2검출영역(414)간의 중첩영역(또는 교집합영역)의 넓이(450)를 제1검출영역(411)과 제2검출영역(414)의 모든 영역(또는 합집합영역)의 넓이(460)를 나누어서 계산한다. 이렇게 계산된 인터섹션 오버 유니언(IOU)이 기 설정된 특정값 이상이면 제1검출영역(411)과 제2검출영역(414)이 연관성이 있다고 판단한다.
장치는 제1검출영역(411)과 제2검출영역(414)의 연관성이 있으면, 제1검출영역(411)이 포함된 제1검출영역프레임(예를 들어, 프레임#1(410))과 제2검출영역(414)이 포함된 제2검출영역프레임(예를 들어, 프레임#4) 사이의 미검출프레임을 확인한다(S305).
장치는 제1검출영역(411)과 제2검출영역(414)의 연관성이 없으면, 단계 S302를 수행한다.
도 4(a)를 참조하면, 프레임#1(410)에서 제1검출영역(411)이 검출되고, 프레임#4에서 제2검출영역(414)이 검출되면, 미검출프레임은 프레임#2, 프레임#3이 가능하다.
장치는 각각의 미검출프레임에서 특정객체의 추정영역을 계산하고, 추정영역을 마스킹한다(S306).
예를 들어, 장치는 미검출프레임인 프레임#2에서 제1추정영역(412)을 계산하고, 미검출프레임인 프레임#3에서 제2추정영역(413)을 계산할 수 있다. 장치는 개인정보 등의 오브젝트가 포함되는 제1추정영역(412)과 제2추정영역(413)을 비식별화하기 위해서 마스킹을 수행한다.
도 5는 본 발명의 일 실시예에 따른 미검출프레임에서 특정객체의 추정영역을 계산하고, 추정영역을 마스킹하는 방법을 설명하기 위한 도면이다.
이하의 설명에서, 장치는 내부에 포함된 비식별화 제어부(30)의 제어에 의해서 동작이 수행되는 것이라고 설명될 수 있다.
도 4(a), 도 5를 참조하면, 장치는 제1검출영역(411)의 시작점인 제1검출영역 시작점(411-1)과 제2검출영역(414)의 시작점인 제2검출영역 시작점(414-1)을 확인한다(S501).
장치는 제1검출영역(411)의 크기인 제1검출영역 크기와 제2검출영역(414)의 크기인 제2검출영역 크기를 확인한다(S502).
장치는 제1검출영역 시작점(411-1)과 제2검출영역 시작점(414-1)의 시작점 이동률과 제1검출영역 크기와 제2검출영역 크기의 크기 변화율을 확인한다(S503).
장치는 시작점 이동률과 크기 변화율을 제2검출영역(414) 프레임 번호에서 제1검출영역(411) 프레임 번호를 뺀 값으로 계산한 프레임 번호차이로 나누어서 프레임간 변화량을 계산한다(S504). 이는 장치 시작점 이동률과 크기 변화율을 이용하여 프레임간 변화량을 계산한다.
예를 들어, 제2검출영역(414) 프레임 번호가 “4”이고, 제1검출영역(411) 프레임 번호가 “1”이면, 프레임 번호차이는 “3”이다.
장치는 프레임간 변화량을 이용하여 각각의 미검출프레임에서 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 특정객체의 추정영역을 계산하고, 추정영역을 마스킹한다(S505).
예를 들어, 장치는 프레임간 변화량을 이용하여 각각의 미검출프레임인 프레임#2에서 제1추정영역 시작점(412-1)과 제1추정영역(412) 크기를 계산하여 제1추정영역(412)을 계산하고, 프레임#3에서 제2추정영역 시작점(413-1)과 제2추정영역(413) 크기를 계산하여 제2추정영역(413)을 계산한다.
장치는 개인정보 등의 오브젝트가 포함되는 제1추정영역(412)과 제2추정영역(413)을 비식별화하기 위해서 마스킹을 수행한다.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 기록매체에 기록될 수 있다. 컴퓨터 판독 가능 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램(프로그램 명령)은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CDROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명을 도면에 도시한 실시예를 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 발명의 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가능하다는 것을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 권리범위는 특허청구범위의 기술적 사상에 의해 결정되어야 한다.
10: 입력부
20: 디멀티플렉싱부
21: 디먹서
22: 비디오 디코더
23: HDMI 캡쳐
24: YUV 프레임 추출부
25: PCM 추출부
30: 비식별화 제어부
40: 멀티플렉싱부
41: 비디오 인코더
42: 오디오 인코더
43: 먹서
44: IP 스트리머
50: 출력부
60: 메모리
70: 표시부

Claims (12)

  1. 딥러닝 기반 개인정보 비식별화 장치가 딥러닝 기반 개인정보 비식별화 방법에 있어서,
    원본 동영상을 포맷에 따라 원본 영상과 오디오로 디멀티플렉싱을 수행하는 단계,
    상기 원본 영상에서 특정객체를 검출하고, 상기 특정객체의 비식별화를 수행하여 비식별화 영상을 생성하는 단계,
    상기 비식별화 영상과 상기 오디오의 멀티플렉싱을 수행하는 단계를 포함하되,
    상기 원본 영상에서 상기 특정객체를 검출하고, 상기 특정객체의 비식별화를 수행하여 상기 비식별화 영상을 생성하는 단계는,
    상기 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하는 단계,
    상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하는 단계,
    상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하는 단계,
    상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하는 단계,
    제1검출영역 시작점과 제2검출영역 시작점을 확인하는 단계,
    제1검출영역 크기와 제2검출영역 크기를 확인하는 단계,
    상기 제1검출영역 시작점과 상기 제2검출영역 시작점의 시작점 이동률과 상기 제1검출영역 크기와 상기 제2검출영역 크기의 크기 변화율을 확인하는 단계,
    상기 시작점 이동률과 상기 크기 변화율을 이용하여 프레임간 변화량을 계산하는 단계,
    상기 프레임간 변화량을 이용하여 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하는 단계를 포함하며,
    상기 프레임간 변화량을 이용하여 상기 특정객체의 상기 추정영역을 계산하는 것은,
    상기 프레임간 변화량을 이용하여 각각의 상기 미검출프레임에서 상기 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 상기 특정객체의 상기 추정영역을 계산하는 것을 특징으로 하는 딥러닝 기반 개인정보 비식별화 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 프레임간 변화량은,
    상기 시작점 이동률과 상기 크기 변화율을 제2검출영역 프레임 번호에서 제1검출영역 프레임 번호를 뺀 값으로 계산한 프레임 번호차이로 나누어서 계산하는 것을 특징으로 하는 딥러닝 기반 개인정보 비식별화 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 원본 동영상을 포맷에 따라 원본 영상과 오디오로 디멀티플렉싱을 수행하는 디멀티플렉싱부,
    상기 원본 영상에서 특정객체를 검출하고, 상기 특정객체의 비식별화를 수행하여 비식별화 영상을 생성하는 비식별화 제어부,
    상기 비식별화 영상과 상기 오디오의 멀티플렉싱을 수행하는 멀티플렉싱부를 포함하되,
    상기 비식별화 제어부는,
    상기 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하고, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 제1검출영역 시작점과 제2검출영역 시작점을 확인하고, 제1검출영역 크기와 제2검출영역 크기를 확인하고, 상기 제1검출영역 시작점과 상기 제2검출영역 시작점의 시작점 이동률과 상기 제1검출영역 크기와 상기 제2검출영역 크기의 크기 변화율을 확인하고, 상기 시작점 이동률과 상기 크기 변화율을 이용하여 프레임간 변화량을 계산하고, 상기 프레임간 변화량을 이용하여 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하도록 제어하는 것을 특징으로 하며,
    상기 비식별화 제어부는 상기 프레임간 변화량을 이용하여 각각의 상기 미검출프레임에서 상기 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 상기 특정객체의 상기 추정영역을 계산하는 것을 특징으로 하는 딥러닝 기반 개인정보 비식별화 장치.
  12. 삭제
KR1020190162456A 2019-12-09 2019-12-09 딥러닝 기반 개인정보 비식별화 방법 및 장치 KR102202577B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190162456A KR102202577B1 (ko) 2019-12-09 2019-12-09 딥러닝 기반 개인정보 비식별화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190162456A KR102202577B1 (ko) 2019-12-09 2019-12-09 딥러닝 기반 개인정보 비식별화 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102202577B1 true KR102202577B1 (ko) 2021-01-14

Family

ID=74141241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190162456A KR102202577B1 (ko) 2019-12-09 2019-12-09 딥러닝 기반 개인정보 비식별화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102202577B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102473801B1 (ko) * 2021-07-07 2022-12-05 주식회사 딥핑소스 공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020062557A (ko) * 2001-01-20 2002-07-26 삼성전자 주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
KR20070092442A (ko) * 2006-03-10 2007-09-13 주식회사 대우일렉트로닉스 지상파/위성 디엠비 패킷간의 통신 서비스 방법 및 그시스템
KR101972918B1 (ko) * 2018-12-20 2019-08-20 주식회사 로민 영상 마스킹 장치 및 영상 마스킹 방법
KR20190110498A (ko) 2019-09-10 2019-09-30 엘지전자 주식회사 영상 파일에서 불특정 인물의 얼굴 영역을 비식별화 처리하는 인공 지능 서버 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020062557A (ko) * 2001-01-20 2002-07-26 삼성전자 주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
KR20070092442A (ko) * 2006-03-10 2007-09-13 주식회사 대우일렉트로닉스 지상파/위성 디엠비 패킷간의 통신 서비스 방법 및 그시스템
KR101972918B1 (ko) * 2018-12-20 2019-08-20 주식회사 로민 영상 마스킹 장치 및 영상 마스킹 방법
KR20190110498A (ko) 2019-09-10 2019-09-30 엘지전자 주식회사 영상 파일에서 불특정 인물의 얼굴 영역을 비식별화 처리하는 인공 지능 서버 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102473801B1 (ko) * 2021-07-07 2022-12-05 주식회사 딥핑소스 공간 내에서 오브젝트들을 익명화하여 추적하는 방법 및 이를 이용한 익명화 추적 장치

Similar Documents

Publication Publication Date Title
KR102147187B1 (ko) 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치
US10062406B2 (en) Video masking processing method and apparatus
US11323407B2 (en) Methods, systems, apparatuses, and devices for facilitating managing digital content captured using multiple content capturing devices
KR101458136B1 (ko) 영상 처리 방법, 이를 실행하는 영상 처리 서버, 감시 서버, 영상 처리 시스템 및 이를 저장한 기록 매체
KR101378493B1 (ko) 영상 데이터에 동기화된 텍스트 데이터 설정 방법 및 장치
MY200157A (en) Method, apparatus, and system for controlling intelligent device, and storage medium
US20110135152A1 (en) Information processing apparatus, information processing method, and program
KR102202577B1 (ko) 딥러닝 기반 개인정보 비식별화 방법 및 장치
KR20210066390A (ko) 개인정보 비식별화 방법 및 시스템
CN114022668A (zh) 一种文本对齐语音的方法、装置、设备及介质
KR20200042979A (ko) 영상정보기기에서의 개인정보의 비식별화 방법 및 시스템
US10122964B2 (en) Communication system
KR20150096204A (ko) 멀티미디어 분류, 분석, 그리고 태깅을 위한 대본과 영상 동기화 장치 및 방법
US11557303B2 (en) Frictionless handoff of audio content playing using overlaid ultrasonic codes
KR102299565B1 (ko) 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치
US20230103060A1 (en) Context-based speaker counter for a speaker diarization system
WO2013077508A1 (ko) 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR102059358B1 (ko) 이벤트 감지 시스템 및 이벤트 감지를 위한 장치
KR20230030907A (ko) 가짜 영상 탐지 방법 및 이를 수행하기 위한 장치
Sun et al. ZoomP3: Privacy-Preserving Publishing of Online Video Conference Recordings
US20240056761A1 (en) Three-dimensional (3d) sound rendering with multi-channel audio based on mono audio input
KR20200042192A (ko) 얼굴 인식 방법 및 장치
KR20200035585A (ko) 스마트 안경 솔루션
KR102492444B1 (ko) 영상 처리 기반 온라인 강의의 판서 콘텐츠 제공 방법, 장치 및 시스템
KR20220077180A (ko) 음성 데이터 기반 이미지 프레임 생성방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant