WO2021112273A1 - 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치 - Google Patents

딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2021112273A1
WO2021112273A1 PCT/KR2019/016894 KR2019016894W WO2021112273A1 WO 2021112273 A1 WO2021112273 A1 WO 2021112273A1 KR 2019016894 W KR2019016894 W KR 2019016894W WO 2021112273 A1 WO2021112273 A1 WO 2021112273A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection area
detection
area
frame
personal information
Prior art date
Application number
PCT/KR2019/016894
Other languages
English (en)
French (fr)
Inventor
남영진
양용석
Original Assignee
네오컨버전스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네오컨버전스 주식회사 filed Critical 네오컨버전스 주식회사
Publication of WO2021112273A1 publication Critical patent/WO2021112273A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Definitions

  • the present invention relates to a method and apparatus for continuously de-identifying personal information in a deep learning-based video.
  • AI Artificial intelligence
  • the technical task to be achieved by the present invention is a method for continuously de-identifying personal information in a deep learning-based video that clearly recognizes and accurately masks personal information included in image data such as a video through deep learning analysis and learning, and to provide the device.
  • a device for continuously de-identifying personal information in a deep learning-based video is continuously personal in a deep learning-based video
  • a method for de-identifying information comprising: detecting a first detection area of a specific object and masking the first detection area; detecting a second detection area of the specific object; and masking the second detection area; checking whether there is a correlation between the first detection region and the second detection region; if there is a correlation between the first detection region and the second detection region, a first detection region including the first detection region checking an undetected frame between a frame and a second detection area frame including the second detection area; calculating an estimated area of the specific object in the undetected frame; and masking the estimated area.
  • the step of determining whether the first detection area and the second detection area are related may include: if the first detection area type and the second detection area type are the same type in a frame of an arbitrary video, the first detection area and the second detection area type and checking the correlation between the first detection area and the second detection area by calculating an intersection over union of two detection areas.
  • intersection over union is equal to or greater than a predetermined specific value, it is determined that the first detection area and the second detection area are related, and if the intersection over union is less than the predetermined specific value, the first detection area and the It is characterized in that it is determined that the second detection area does not have the correlation.
  • a device for continuously de-identifying personal information in a deep learning-based video is continuously personal in a deep learning-based video
  • a method for de-identifying information comprising: detecting a first detection area of a specific object and masking the first detection area; detecting a second detection area of the specific object; and masking the second detection area checking whether there is a correlation between the first detection region and the second detection region; if there is a correlation between the first detection region and the second detection region, a first detection region including the first detection region checking an undetected frame between a frame and a second detection area frame including the second detection area, checking a first detection area starting point and a second detection area starting point, a first detection area size and a second detection area confirming the size of an area; confirming the starting point movement rate between the first detection area starting point and the second detection area starting point and the size change rate between the first detection area size and the second detection area size; the
  • Calculating the estimated area of the specific object using the inter-frame variation includes calculating the estimated area start point and the estimated area size of the specific object in each of the undetected frames using the inter-frame variation, and It is characterized in that the estimated area of the object is calculated.
  • the amount of change between frames is calculated by dividing the starting point movement rate and the size change rate by a frame number difference calculated by subtracting the first detection area frame number from the second detection area frame number.
  • An apparatus for continuously de-identifying personal information in a deep learning-based video detects a memory for storing a preset command, a first detection area of a specific object, and masks the first detection area and detecting a second detection area of the specific object, masking the second detection area, checking whether the first detection area and the second detection area are related, and the first detection area and the second detection area If there is the correlation of regions, an undetected frame between the first detection region frame including the first detection region and the second detection region frame including the second detection region is identified, and in the undetected frame, the specific and a controller for calculating an estimated area of the object and controlling the masking of the estimated area.
  • the controller calculates an intersection over union of the first detection region and the second detection region, and the first detection region and the second detection region It is characterized in that the correlation of the second detection region is checked.
  • An apparatus for continuously de-identifying personal information in a deep learning-based video detects a memory for storing a preset command, a first detection area of a specific object, and masks the first detection area and detecting a second detection area of the specific object, masking the second detection area, checking whether the first detection area and the second detection area are related, and the first detection area and the second detection area If there is the correlation of regions, an undetected frame between the first detection region frame including the first detection region and the second detection region frame including the second detection region is checked, and the first detection region start point and the second detection region frame are identified.
  • a second detection area start point is identified, a first detection area size and a second detection area size are checked, and a movement rate of a starting point between the first detection area start point and the second detection area start point, the first detection area size, and the second Check the size change rate of the detection area size, calculate the inter-frame change amount using the starting point movement rate and the size change rate, calculate the estimated area of the specific object using the inter-frame change amount, and mask the estimated area Includes a control unit to control.
  • the control unit calculates the estimated area of the specific object by calculating the estimated area starting point and the estimated area size of the specific object in each of the undetected frames by using the inter-frame variation amount.
  • the present invention can continuously and clearly recognize personal information included in an image through deep learning analysis and learning, and accurately mask to de-identify personal information.
  • the present invention is an intelligent image de-identification solution that detects various objects that can identify individuals from image data collected through various video and image sources, and converts them into deleted or modified images, stores and transmits them. can provide
  • the present invention can generate image data free from problems in laws or regulations by de-identifying personal information so that high reliability and precision are realized in image data that increases exponentially in various environments.
  • the present invention predicts an estimated area within a frame in which a specific object is not detected using the detection area information of a frame in which a specific object containing personal information is detected to continuously track personal information such as people and face objects in a video. and masking to de-identify personal information.
  • FIG. 1 is a block diagram illustrating an apparatus for continuously de-identifying personal information in a deep learning-based video according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method for continuously de-identifying personal information in a deep learning-based video according to an embodiment of the present invention.
  • 3(a) to 3(c) are diagrams for explaining a method of confirming the correlation between a first detection area and a second detection area according to an embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a method of calculating an estimated area of a specific object in an undetected frame and masking the estimated area according to an embodiment of the present invention.
  • detection area means an area in which a specific area including an object such as personal information is detected in image data such as a moving picture or an image source.
  • the detection region is a specific region in which an object is included and an object is detected, and the present invention performs masking in order to detect and de-identify a detection region including an object such as personal information.
  • the term “detection area” refers to an area detected among a specific area including an object such as personal information in each frame of image data such as a moving picture or an image source.
  • detection area frame means a frame including a detection area among each frame of image data.
  • the “estimated area” is an area in which there is a specific area including an object such as personal information in image data such as a moving picture or an image source, but is not detected, and is an area estimated to have a specific area including an object such as personal information.
  • the estimated area is a specific area in which an object is not detected because an object is included, and the present invention performs masking in order to calculate and de-identify the estimated area including the object such as personal information.
  • estimate area means an area calculated using a detection area because it is not detected among a specific area including an object such as personal information in each frame of image data such as a moving picture or an image source.
  • the term “undetected frame” refers to a frame including an estimated region that is an undetected region although there is a specific region including an object such as personal information among each frame of image data.
  • FIG. 1 is a block diagram illustrating an apparatus for continuously de-identifying personal information in a deep learning-based video according to an embodiment of the present invention.
  • an apparatus for continuously de-identifying personal information in a deep learning-based video includes a memory 10 and a controller 20. , a display unit 30 , an input unit 40 , and a transceiver 50 . These components communicate via one or more communication buses or signal lines.
  • the memory 10 is a part for storing various data such as a video, image data, a command signal such as a preset command, and a command.
  • the memory 10 may store detection region information, information for confirming the correlation between detection regions, detection region frame information, undetected frame information, estimated region information, detection region start point information, detection region size information, frame number, and start point. It is possible to store movement rate information, size change rate information, inter-frame change amount information, and the like.
  • the control unit 20 is a part that controls the device according to the present invention. In addition, the control unit 20 is a part that controls each component of the device.
  • the control unit 20 detects the first detection area of the specific object, masks the first detection area, detects the second detection area of the specific object, masks the second detection area, and performs the first detection area and the second detection area. It is checked whether there is a correlation between the detection regions, and if there is a correlation between the first detection region and the second detection region, there is a difference between the first detection region frame including the first detection region and the second detection region frame including the second detection region. It is possible to check the undetected frame, calculate an estimated area of a specific object in the undetected frame, and control to mask the estimated area.
  • the controller 20 calculates the intersection over union of the first detection region and the second detection region to obtain the first detection region and the second detection region. The correlation between the second detection regions may be confirmed.
  • control unit 20 detects the first detection area of the specific object, masks the first detection area, detects the second detection area of the specific object, masks the second detection area, and It is checked whether the second detection area is related, and if there is a correlation between the first detection area and the second detection area, the first detection area frame including the first detection area and the second detection area frame including the second detection area check an undetected frame between, check a first detection area start point and a second detection area start point, check a first detection area size and a second detection area size, check a first detection area start point and a second detection area start point Check the rate of change of the starting point movement rate and the size of the first detection region and the size of the second detection region of and masking the estimation region can be performed.
  • controller 20 may calculate the estimated area of the specific object by calculating the estimated area starting point and the estimated area size of the specific object in each undetected frame using the inter-frame variation.
  • the display unit 30 provides an interface for visual output between the user and the device.
  • the display unit 30 is a part that displays moving images, image data, de-identified moving images, de-identified image data, etc. so that the user can identify them.
  • the input unit 40 provides an interface for inputting a command signal between the user and the device. That is, the input unit 40 allows the user to input a command signal such as an input signal to the device, and when the user inputs the input signal through the input unit 40 , the device detects various types of user input signals and the control unit The user's command is executed under the control of (20).
  • the user may input a command signal such as a preset command through the input unit 40 .
  • the display unit 30 and the input unit 40 may be integrated or separated.
  • the transceiver 50 is a part that transmits and receives data using a signal such as electromagnetic waves.
  • the transceiver 50 converts an electric signal into an electromagnetic wave and communicates with a communication network and other communication devices through the electromagnetic wave.
  • the transceiver 50 is, for example, an antenna system, an RF transceiver, one or more amplifiers, a tuner, one or more oscillators, a digital signal processor, a CODEC chipset, a Subscriber Identity Module (SIM) card, a memory 10, etc.
  • SIM Subscriber Identity Module
  • the transceiver 50 may receive or transmit a moving image, an unidentified moving image, etc. from an external server according to the control of the controller 20 .
  • FIG. 2 is a flowchart illustrating a method for continuously de-identifying personal information in a deep learning-based video according to an embodiment of the present invention.
  • 3(a) to 3(c) are diagrams for explaining a method of confirming the correlation between a first detection area and a second detection area according to an embodiment of the present invention.
  • the device may be described as that an operation is performed under the control of the controller 20 included therein.
  • the device detects a specific object in all frames of a moving picture according to a preset command (S201).
  • the specific object may be a variety of objects that can identify personal information (or individuals) from video data collected through video and image sources.
  • a specific object may include a person's face, personal identification information, and the like.
  • a preset command may set a specific object in advance, and the preset command may command to detect a specific region including the specific object.
  • the device detects the first detection area 311 of the specific object, and masks the first detection area 311 ( S202 ). For example, the device may detect the first detection area 311 of the specific object in the first frame (frame #1 ( 310 )) among each frame of the moving picture (or image data).
  • the device performs masking of the first detection area 311 in order to detect and de-identify the first detection area 311 including an object such as personal information.
  • the device detects the second detection area 314 of the specific object, and masks the second detection area 314 ( S203 ). For example, the device may detect the second detection area 314 of the specific object in a fourth frame (frame #4) among each frame of a moving picture (or image data).
  • the device performs masking of the second detection area 314 in order to detect and de-identify the second detection area 314 including an object such as personal information.
  • the device checks whether there is a correlation between the first detection area 311 and the second detection area 314 ( S204 ).
  • the device may perform an interface between the first detection area 311 and the second detection area 314 .
  • the correlation between the first detection area 311 and the second detection area 314 may be checked by calculating a section over union (referred to as “IOU”).
  • the device may perform an interface between the first detection area 311 and the second detection area 314 .
  • a section over union (IOU) is calculated, and if the intersection over union (IOU) is equal to or greater than a predetermined specific value (or a specific size), two areas (eg, the first detection area 311 and the second detection area 314 ) )) is determined to be related, and if the Intersection Over Union (IOU) is less than a preset specific value (or specific size), it may be determined that the two regions are not related.
  • the preset specific value may be set by the user. For example, the preset specific value may be set among values between 0.3 and 1.0.
  • the first detection area 311 when the first detection area 311 is detected in the frame #1 310 and the second detection area 314 is detected in the frame #4, the first detection area 311 and The correlation of the second detection region 314 is checked. If the first detection area 311 and the second detection area 314 are related, frame #1 310 including the first detection area 311 and frame #4 including the second detection area 314 The first estimation region 312 in frame #2 and the second estimation region 313 in frame #3 may be calculated.
  • the apparatus provides an overlapping area ( ) between the first detection area 311 and the second detection area 314 .
  • the area 350 of the intersection area) is calculated by dividing the area 360 of all areas (or the intersection area) of the first detection area 311 and the second detection area 314 .
  • the calculated intersection over union (IOU) is equal to or greater than a predetermined specific value, it is determined that the first detection area 311 and the second detection area 314 are related.
  • the device may generate a first detection region frame including the first detection region 311 (eg, frame #1 310 ).
  • An undetected frame between the second detection area frames (eg, frame #4) including the second detection area 314 is checked ( S205 ).
  • the device performs step S202.
  • the apparatus calculates an estimated area of a specific object in each undetected frame and masks the estimated area (S206).
  • the device may calculate the first estimated region 312 from the undetected frame, frame #2, and the second estimated region 313 from the undetected frame, frame #3.
  • the device performs masking in order to de-identify the first estimation region 312 and the second estimation region 313 including objects such as personal information.
  • FIG. 4 is a diagram for explaining a method of calculating an estimated area of a specific object in an undetected frame and masking the estimated area according to an embodiment of the present invention.
  • the device may be described as that an operation is performed under the control of the controller 20 included therein.
  • the device has a first detection area starting point 311-1 that is a starting point of the first detection area 311 and a second detection area starting point that is a starting point of the second detection area 314 . (314-1) is checked (S401).
  • the device checks the size of the first detection area, which is the size of the first detection area 311 , and the size of the second detection area, which is the size of the second detection area 314 ( S402 ).
  • the apparatus checks the starting point movement rates of the first detection area starting point 311-1 and the second detection area starting point 314-1 and the size change rate of the first detection area size and the second detection area size (S403).
  • the device calculates the amount of change between frames by dividing the starting point movement rate and the size change rate by the frame number difference calculated by subtracting the frame number of the first detection area 311 from the frame number of the second detection area 314 (S404). It calculates the amount of change between frames by using the device starting point movement rate and the size change rate.
  • the frame number difference is "3".
  • the apparatus calculates the estimated area of the specific object by calculating the estimated area start point and the estimated area size of the specific object in each undetected frame using the inter-frame variation amount, and masks the estimated area (S405).
  • the apparatus calculates the size of the first estimated area starting point 312-1 and the first estimated area 312 in each undetected frame, frame #2, using the inter-frame variation to calculate the first estimated area 312 . ) and calculates the second estimation region 313 by calculating the start point 313-1 of the second estimation region and the size of the second estimation region 313 in frame #3.
  • the device performs masking in order to de-identify the first estimation region 312 and the second estimation region 313 including objects such as personal information.
  • the method according to the embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Programs (program instructions) recorded on the recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.
  • Examples of the computer readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CDROMs and DVDs, and magneto-optical disks such as floppy disks.
  • Hardware devices specially configured to store and execute program instructions, such as magneto-optical media, ROM, RAM, flash memory, and the like are included.
  • Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법은 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치가 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법에 있어서, 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하는 단계, 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하는 단계, 제1검출영역과 제2검출영역의 연관성이 있는지 확인하는 단계, 제1검출영역과 제2검출영역의 연관성이 있으면, 제1검출영역이 포함된 제1검출영역프레임과 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하는 단계, 미검출프레임에서 특정객체의 추정영역을 계산하고, 추정영역을 마스킹하는 단계를 포함한다.

Description

딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치
본 발명은 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치에 관한 것이다.
인공지능(artificial intelligence)은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미한다.
최근에 인공지능, 빅데이터, IoT 등 IT 융합기술 발전으로 영상 데이터 이용 수요가 급증하고 있는 상황에서 많은 디지털 영상 기기, CCTV 및 차량용 블랙박스 등의 증가로 개인정보가 포함된 영상 데이터 비식별화 되지 않은 상태에서 유출되어 개인정보 침해 가능성 심화되고 있다.
또한, 빅데이터 학습 또는 활용을 위한 개인정보 유출위험에 안전한 영상 데이터 확보 어려움이 있고, 프라이버시 침해 및 개인정보 관련 법이나 규정에 저촉되는 문제가 발행할 가능성이 증가하고 있다.
그러나, 종래에는 개인정보 등에 문제가 없는 영상 데이터를 직접 확인하거나 확보하기가 어려움이 있었다.
본 발명이 이루고자 하는 기술적인 과제는 딥러닝 분석 및 학습을 통해 동영상과 같은 영상 데이터에 포함된 개인정보를 명확히 인식하고 정확히 마스킹하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치를 제공하는데 있다.
본 발명의 일 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법은 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치가 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법에 있어서, 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하는 단계, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하는 단계, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하는 단계, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하는 단계, 상기 미검출프레임에서 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하는 단계를 포함한다.
상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있는지 확인하는 단계는, 임의의 동영상의 프레임에서 제1검출영역 타입과 제2검출영역 타입이 동일 타입이면 상기 제1검출영역과 상기 제2검출영역의 인터섹션 오버 유니언을 계산하여 상기 제1검출영역과 상기 제2검출영역의 상기 연관성을 확인하는 것을 특징으로 한다.
상기 인터섹션 오버 유니언이 기 설정된 특정값 이상이면 상기 제1검출영역과 상기 제2검출영역이 연관성이 있다고 판단하고, 상기 인터섹션 오버 유니언이 상기 기 설정된 특정값 미만이면 상기 제1검출영역과 상기 제2검출영역이 상기 연관성이 없다고 판단하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법은 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치가 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법에 있어서, 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하는 단계, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하는 단계, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하는 단계, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하는 단계, 제1검출영역 시작점과 제2검출영역 시작점을 확인하는 단계, 제1검출영역 크기와 제2검출영역 크기를 확인하는 단계, 상기 제1검출영역 시작점과 상기 제2검출영역 시작점의 시작점 이동률과 상기 제1검출영역 크기와 상기 제2검출영역 크기의 크기 변화율을 확인하는 단계, 상기 시작점 이동률과 상기 크기 변화율을 이용하여 프레임간 변화량을 계산하는 단계, 상기 프레임간 변화량을 이용하여 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하는 단계를 포함한다.
상기 프레임간 변화량을 이용하여 상기 특정객체의 상기 추정영역을 계산하는 것은, 상기 프레임간 변화량을 이용하여 각각의 상기 미검출프레임에서 상기 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 상기 특정객체의 상기 추정영역을 계산하는 것을 특징으로 한다.
상기 프레임간 변화량은, 상기 시작점 이동률과 상기 크기 변화율을 제2검출영역 프레임 번호에서 제1검출영역 프레임 번호를 뺀 값으로 계산한 프레임 번호차이로 나누어서 계산하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치는 기 설정된 명령을 저장하는 메모리, 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하고, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 상기 미검출프레임에서 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하도록 제어하는 제어부를 포함한다.
상기 제어부는 임의의 동영상의 프레임에서 제1검출영역 타입과 제2검출영역 타입이 동일 타입이면 상기 제1검출영역과 상기 제2검출영역의 인터섹션 오버 유니언을 계산하여 상기 제1검출영역과 상기 제2검출영역의 상기 연관성을 확인하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치는 기 설정된 명령을 저장하는 메모리, 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하고, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 제1검출영역 시작점과 제2검출영역 시작점을 확인하고, 제1검출영역 크기와 제2검출영역 크기를 확인하고, 상기 제1검출영역 시작점과 상기 제2검출영역 시작점의 시작점 이동률과 상기 제1검출영역 크기와 상기 제2검출영역 크기의 크기 변화율을 확인하고, 상기 시작점 이동률과 상기 크기 변화율을 이용하여 프레임간 변화량을 계산하고, 상기 프레임간 변화량을 이용하여 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하도록 제어하는 제어부를 포함한다.
상기 제어부는 상기 프레임간 변화량을 이용하여 각각의 상기 미검출프레임에서 상기 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 상기 특정객체의 상기 추정영역을 계산하는 것을 특징으로 한다.
본 발명의 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치에 의하면 다음과 같은 효과가 있다.
첫째, 본 발명은 딥러닝 분석 및 학습을 통해 영상에 포함된 개인정보를 연속적으로 명확히 인식하고, 정확히 마스킹하여 개인정보 등을 비식별화할 수 있다.
둘째, 본 발명은 여러 가지 비디오, 이미지 소스를 통하여 수집된 영상 데이터에서 개인을 식별할 수 있는 다양한 오브젝트 들을 검출하여 이를 삭제 혹은 수정된 형태의 이미지로 변환, 저장 및 송출하는 지능형 영상 비식별화 솔루션을 제공할 수 있다.
셋째, 본 발명은 다양한 환경에서 기하급수적으로 증가하는 영상 데이터를 높은 신뢰도와 정밀도가 구현되게 개인정보를 비식별화하여 법이나 규정에 문제가 없는 영상 데이터를 생성할 수 있다.
넷째, 본 발명은 개인정보가 포함된 특정객체가 검출된 프레임의 검출영역 정보를 이용하여 특정객체를 검출하지 못한 프레임 내에 추정영역을 예측하여 동영상 내에서 사람 및 얼굴 객체 등의 개인정보를 연속적 추적하고 마스킹하여 개인정보 등을 비식별화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법을 설명하기 위한 흐름도이다.
도 3(a) ~ 도 3(c)는 본 발명의 일 실시예에 따른 제1검출영역과 제2검출영역의 연관성을 확인하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 미검출프레임에서 특정객체의 추정영역을 계산하고, 추정영역을 마스킹하는 방법을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
또한, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 이외의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.
본 발명에서 “검출영역”은 동영상, 이미지 소스와 같은 영상 데이터에서 개인정보 등의 오브젝트를 포함하는 특정영역이 검출되는 영역을 의미한다. 검출영역은 오브젝트가 포함되어 오브젝트가 검출되는 특정영역으로, 본 발명은 개인정보 등의 오브젝트가 포함되는 검출영역을 검출하고 비식별화하기 위해서 마스킹을 수행한다.
좀 더 상세히 설명하면 본 발명에서 “검출영역”은 동영상, 이미지 소스와 같은 영상 데이터의 각 프레임에서 개인정보 등의 오브젝트를 포함하는 특정영역 중에서 검출되는 영역을 의미한다.
본 발명에서 “검출영역프레임”은 영상 데이터의 각 프레임 중에서 검출영역을 포함하는 프레임의 의미한다.
본 발명에서 “추정영역”은 동영상, 이미지 소스와 같은 영상 데이터에서 개인정보 등의 오브젝트를 포함하는 특정영역이 있지만 검출되지 않은 영역으로, 개인정보 등의 오브젝트를 포함하는 특정영역이 있다고 추정되는 영역을 의미한다. 추정영역은 오브젝트가 포함되어 오브젝트가 검출되지 않는 특정영역으로, 본 발명은 개인정보 등의 오브젝트가 포함되는 추정영역을 계산하고 비식별화하기 위해서 마스킹을 수행한다.
좀 더 상세히 설명하면 본 발명에서 “추정영역”은 동영상, 이미지 소스와 같은 영상 데이터의 각 프레임에서 개인정보 등의 오브젝트를 포함하는 특정영역 중에서 검출되지 않아 검출영역을 이용하여 계산된 영역을 의미한다.
본 발명에서 “미검출프레임”은 영상 데이터의 각 프레임 중에서 개인정보 등의 오브젝트를 포함하는 특정영역이 있지만 검출되지 않은 영역인 추정영역을 포함하는 프레임을 의미한다.
이하, 본 발명을 보다 구체적으로 설명하기 위하여 본 발명에 따른 실시예들을 첨부 도면을 참조하면서 보다 상세하게 설명하고자 한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치(이하, “장치”라 한다.)는 메모리(10), 제어부(20), 표시부(30), 입력부(40), 송수신부(50)를 포함한다. 이러한 구성요소는 하나 이상의 통신버스 또는 신호선을 통하여 통신한다.
메모리(10)는 동영상, 영상 데이터, 기 설정된 명령 등의 명령신호, 명령어 등의 다양한 데이터 저장하는 부분이다.
예를 들어, 메모리(10)는 검출영역 정보, 검출영역 간의 연관성 확인을 위한 정보, 검출영역 프레임 정보, 미검출프레임 정보, 추정영역 정보, 검출영역 시작점 정보, 검출영역 크기 정보, 프레임 번호, 시작점 이동률 정보, 크기 변화율 정보, 프레임간 변화량 정보 등을 저장할 수 있다.
제어부(20)는 본 발명에 따른 장치를 제어하는 부분이다. 또한, 제어부(20)는 장치의 각 구성요소를 제어하는 부분이다.
제어부(20)는 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 제1검출영역과 제2검출영역의 연관성이 있는지 확인하고, 제1검출영역과 제2검출영역의 연관성이 있으면, 제1검출영역이 포함된 제1검출영역프레임과 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 미검출프레임에서 특정객체의 추정영역을 계산하고, 추정영역을 마스킹하도록 제어할 수 있다.
또한, 제어부(20)는 임의의 동영상의 프레임에서 제1검출영역 타입과 제2검출영역 타입이 동일 타입이면 제1검출영역과 제2검출영역의 인터섹션 오버 유니언을 계산하여 제1검출영역과 제2검출영역의 연관성을 확인할 수 있다.
또한, 제어부(20)는 특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 제1검출영역과 제2검출영역의 연관성이 있는지 확인하고, 제1검출영역과 제2검출영역의 연관성이 있으면, 제1검출영역이 포함된 제1검출영역프레임과 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 제1검출영역 시작점과 제2검출영역 시작점을 확인하고, 제1검출영역 크기와 제2검출영역 크기를 확인하고, 제1검출영역 시작점과 제2검출영역 시작점의 시작점 이동률과 제1검출영역 크기와 제2검출영역 크기의 크기 변화율을 확인하고, 시작점 이동률과 크기 변화율을 이용하여 프레임간 변화량을 계산하고, 프레임간 변화량을 이용하여 특정객체의 추정영역을 계산하고, 추정영역을 마스킹하도록 제어할 수 있다.
또한, 제어부(20)는 프레임간 변화량을 이용하여 각각의 미검출프레임에서 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 특정객체의 추정영역을 계산할 수 있다.
표시부(30)는 사용자와 장치 사이의 시각적인 출력을 위한 인터페이스를 제공한다. 표시부(30)는 동영상, 영상 데이터, 비식별화된 동영상, 비식별화된 영상 데이터 등을 사용자가 식별할 수 있도록 표시하는 부분이다.
입력부(40)는 사용자와 장치 사이의 명령신호를 입력하는 인터페이스를 제공한다. 즉, 입력부(40)는 사용자가 장치에 입력신호와 같은 명령신호 등을 입력할 수 있고, 사용자가 입력부(40)를 통해서 입력신호를 입력하면, 장치는 다양한 종류의 사용자 입력신호를 검출하고 제어부(20)의 제어에 의해서 사용자의 명령을 수행한다.
예를 들어, 사용자는 입력부(40)를 통해서 기 설정된 명령 등의 명령신호를 입력할 수 있다.
다만, 터치스크린과 같은 일부 실시예에서는 표시부(30)와 입력부(40)가 일체로 될 수 있고, 분리될 수도 있다.
송수신부(50)는 전자파와 같은 신호로 데이터를 송수신하는 부분이다. 송수신부(50)는 전기신호를 전자파로 변환하며 이 전자파를 통하여 통신 네트워크 및 다른 통신장치와 통신한다. 송수신부(50)는 예를 들어, 안테나 시스템, RF 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 오실레이터, 디지털 신호 처리기, CODEC 칩셋, 가입자 식별모듈(Subscriber Identity Module, SIM) 카드, 메모리(10) 등을 포함하지만 이에 한정되지 않고, 이러한 기능을 수행하기 위한 주지의 회로를 포함할 수 있다.
예를 들어, 송수신부(50)는 제어부(20)의 제어에 따라서 동영상, 비식별화된 동영상 등을 외부의 서버로부터 수신하거나 송신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법을 설명하기 위한 흐름도이다. 도 3(a) ~ 도 3(c)는 본 발명의 일 실시예에 따른 제1검출영역과 제2검출영역의 연관성을 확인하는 방법을 설명하기 위한 도면이다.
이하의 설명에서, 장치는 내부에 포함된 제어부(20)의 제어에 의해서 동작이 수행되는 것이라고 설명될 수 있다.
도 2, 도 3(a) ~ 도 3(c)를 참조하면, 장치는 동영상의 모든 프레임에서 기 설정된 명령에 따라 특정객체의 검출을 수행한다(S201). 여기서, 특정객체는 동영상, 이미지 소스를 통하여 수집된 영상 데이터에서 개인정보(또는 개인)를 식별할 수 있는 다양한 객체가 가능하다. 예를 들어, 특정객체는 사람의 얼굴, 개인의 신분 정보 등이 가능하다.
또한, 본 발명에서 기 설정된 명령은 특정객체를 미리 설정할 수 있으며, 기 설정된 명령은 특정객체를 포함하는 특정영역을 검출하라는 명령이 가능하다.
장치는 특정객체의 제1검출영역(311)을 검출하고, 제1검출영역(311)을 마스킹한다(S202). 예를 들어, 장치는 동영상(또는 영상 데이터)의 각 프레임 중에서 첫번째 프레임(프레임#1(310))에서 특정객체의 제1검출영역(311)을 검출할 수 있다.
장치는 개인정보 등의 오브젝트가 포함되는 제1검출영역(311)을 검출하고 비식별화(De-identification)하기 위해서 제1검출영역(311) 마스킹을 수행한다.
장치는 특정객체의 제2검출영역(314)을 검출하고, 제2검출영역(314)을 마스킹한다(S203). 예를 들어, 장치는 동영상(또는 영상 데이터)의 각 프레임 중에서 네번째 프레임(프레임#4)에서 특정객체의 제2검출영역(314)을 검출할 수 있다.
장치는 개인정보 등의 오브젝트가 포함되는 제2검출영역(314)을 검출하고 비식별화하기 위해서 제2검출영역(314) 마스킹을 수행한다.
장치는 제1검출영역(311)과 제2검출영역(314)의 연관성이 있는지 확인한다(S204).
예를 들어, 장치는 임의의 동영상의 프레임에서 제1검출영역(311) 타입과 제2검출영역(314) 타입이 동일 타입이면 제1검출영역(311)과 제2검출영역(314)의 인터섹션 오버 유니언(Intersection over union, “IOU”라 한다.)을 계산하여 제1검출영역(311)과 제2검출영역(314)의 연관성을 확인할 수 있다.
예를 들어, 장치는 임의의 동영상의 프레임에서 제1검출영역(311) 타입과 제2검출영역(314) 타입이 동일 타입이면 제1검출영역(311)과 제2검출영역(314)의 인터섹션 오버 유니언(IOU)을 계산하고, 인터섹션 오버 유니언(IOU)이 기 설정된 특정값(또는 특정크기) 이상이면 두 영역(예를 들어, 제1검출영역(311)과 제2검출영역(314))이 연관성이 있다고 판단하고, 인터섹션 오버 유니언(IOU)이 기 설정된 특정값(또는 특정크기) 미만이면 두 영역이 연관성이 없다고 판단할 수 있다. 여기서, 기 설정된 특정값은 사용자가 설정가능한데, 예를 들어, 기 설정된 특정값은 0.3 ~ 1.0 사이의 값 중에서 설정될 수 있다.
도 3(a)를 참조하면, 프레임#1(310)에서 제1검출영역(311)이 검출되고, 프레임#4에서 제2검출영역(314)이 검출되면, 제1검출영역(311)과 제2검출영역(314)의 연관성을 확인한다. 제1검출영역(311)과 제2검출영역(314)의 연관성이 있으면, 제1검출영역(311)이 포함된 프레임#1(310)과 제2검출영역(314)이 포함된 프레임#4 사이의 프레임#2에서 제1추정영역(312)과 프레임#3에서 제2추정영역(313)을 계산할 수 있다.
도 3(b), 도 3(c)를 참조하여 인터섹션 오버 유니언(IOU)을 계산하는 방법을 설명하면, 장치는 제1검출영역(311)과 제2검출영역(314)간의 중첩영역(또는 교집합영역)의 넓이(350)를 제1검출영역(311)과 제2검출영역(314)의 모든 영역(또는 합집합영역)의 넓이(360)를 나누어서 계산한다. 이렇게 계산된 인터섹션 오버 유니언(IOU)이 기 설정된 특정값 이상이면 제1검출영역(311)과 제2검출영역(314)이 연관성이 있다고 판단한다.
장치는 제1검출영역(311)과 제2검출영역(314)의 연관성이 있으면, 제1검출영역(311)이 포함된 제1검출영역프레임(예를 들어, 프레임#1(310))과 제2검출영역(314)이 포함된 제2검출영역프레임(예를 들어, 프레임#4) 사이의 미검출프레임을 확인한다(S205).
장치는 제1검출영역(311)과 제2검출영역(314)의 연관성이 없으면, 단계 S202를 수행한다.
도 3(a)를 참조하면, 프레임#1(310)에서 제1검출영역(311)이 검출되고, 프레임#4에서 제2검출영역(314)이 검출되면, 미검출프레임은 프레임#2, 프레임#3이 가능하다.
장치는 각각의 미검출프레임에서 특정객체의 추정영역을 계산하고, 추정영역을 마스킹한다(S206).
예를 들어, 장치는 미검출프레임인 프레임#2에서 제1추정영역(312)을 계산하고, 미검출프레임인 프레임#3에서 제2추정영역(313)을 계산할 수 있다. 장치는 개인정보 등의 오브젝트가 포함되는 제1추정영역(312)과 제2추정영역(313)을 비식별화하기 위해서 마스킹을 수행한다.
도 4는 본 발명의 일 실시예에 따른 미검출프레임에서 특정객체의 추정영역을 계산하고, 추정영역을 마스킹하는 방법을 설명하기 위한 도면이다.
이하의 설명에서, 장치는 내부에 포함된 제어부(20)의 제어에 의해서 동작이 수행되는 것이라고 설명될 수 있다.
도 3(a), 도 4를 참조하면, 장치는 제1검출영역(311)의 시작점인 제1검출영역 시작점(311-1)과 제2검출영역(314)의 시작점인 제2검출영역 시작점(314-1)을 확인한다(S401).
장치는 제1검출영역(311)의 크기인 제1검출영역 크기와 제2검출영역(314)의 크기인 제2검출영역 크기를 확인한다(S402).
장치는 제1검출영역 시작점(311-1)과 제2검출영역 시작점(314-1)의 시작점 이동률과 제1검출영역 크기와 제2검출영역 크기의 크기 변화율을 확인한다(S403).
장치는 시작점 이동률과 크기 변화율을 제2검출영역(314) 프레임 번호에서 제1검출영역(311) 프레임 번호를 뺀 값으로 계산한 프레임 번호차이로 나누어서 프레임간 변화량을 계산한다(S404). 이는 장치 시작점 이동률과 크기 변화율을 이용하여 프레임간 변화량을 계산한다.
예를 들어, 제2검출영역(314) 프레임 번호가 “4”이고, 제1검출영역(311) 프레임 번호가 “1”이면, 프레임 번호차이는 “3”이다.
장치는 프레임간 변화량을 이용하여 각각의 미검출프레임에서 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 특정객체의 추정영역을 계산하고, 추정영역을 마스킹한다(S405).
예를 들어, 장치는 프레임간 변화량을 이용하여 각각의 미검출프레임인 프레임#2에서 제1추정영역 시작점(312-1)과 제1추정영역(312) 크기를 계산하여 제1추정영역(312)을 계산하고, 프레임#3에서 제2추정영역 시작점(313-1)과 제2추정영역(313) 크기를 계산하여 제2추정영역(313)을 계산한다.
장치는 개인정보 등의 오브젝트가 포함되는 제1추정영역(312)과 제2추정영역(313)을 비식별화하기 위해서 마스킹을 수행한다.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 기록매체에 기록될 수 있다. 컴퓨터 판독 가능 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램(프로그램 명령)은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CDROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명을 도면에 도시한 실시예를 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 발명의 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가능하다는 것을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 권리범위는 특허청구범위의 기술적 사상에 의해 결정되어야 한다.

Claims (10)

  1. 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치가 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법에 있어서,
    특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하는 단계,
    상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하는 단계,
    상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하는 단계,
    상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하는 단계,
    상기 미검출프레임에서 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하는 단계를 포함하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법.
  2. 제1항에 있어서,
    상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있는지 확인하는 단계는,
    임의의 동영상의 프레임에서 제1검출영역 타입과 제2검출영역 타입이 동일 타입이면 상기 제1검출영역과 상기 제2검출영역의 인터섹션 오버 유니언을 계산하여 상기 제1검출영역과 상기 제2검출영역의 상기 연관성을 확인하는 것을 특징으로 하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법.
  3. 제1항에 있어서,
    상기 인터섹션 오버 유니언이 기 설정된 특정값 이상이면 상기 제1검출영역과 상기 제2검출영역이 연관성이 있다고 판단하고, 상기 인터섹션 오버 유니언이 상기 기 설정된 특정값 미만이면 상기 제1검출영역과 상기 제2검출영역이 상기 연관성이 없다고 판단하는 것을 특징으로 하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법.
  4. 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치가 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법에 있어서,
    특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하는 단계,
    상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하는 단계,
    상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하는 단계,
    상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하는 단계,
    제1검출영역 시작점과 제2검출영역 시작점을 확인하는 단계,
    제1검출영역 크기와 제2검출영역 크기를 확인하는 단계,
    상기 제1검출영역 시작점과 상기 제2검출영역 시작점의 시작점 이동률과 상기 제1검출영역 크기와 상기 제2검출영역 크기의 크기 변화율을 확인하는 단계,
    상기 시작점 이동률과 상기 크기 변화율을 이용하여 프레임간 변화량을 계산하는 단계,
    상기 프레임간 변화량을 이용하여 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하는 단계를 포함하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법.
  5. 제4항에 있어서,
    상기 프레임간 변화량을 이용하여 상기 특정객체의 상기 추정영역을 계산하는 것은,
    상기 프레임간 변화량을 이용하여 각각의 상기 미검출프레임에서 상기 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 상기 특정객체의 상기 추정영역을 계산하는 것을 특징으로 하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법.
  6. 제4항에 있어서,
    상기 프레임간 변화량은,
    상기 시작점 이동률과 상기 크기 변화율을 제2검출영역 프레임 번호에서 제1검출영역 프레임 번호를 뺀 값으로 계산한 프레임 번호차이로 나누어서 계산하는 것을 특징으로 하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법.
  7. 기 설정된 명령을 저장하는 메모리,
    특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하고, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 상기 미검출프레임에서 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하도록 제어하는 제어부를 포함하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치.
  8. 제7항에 있어서,
    상기 제어부는 임의의 동영상의 프레임에서 제1검출영역 타입과 제2검출영역 타입이 동일 타입이면 상기 제1검출영역과 상기 제2검출영역의 인터섹션 오버 유니언을 계산하여 상기 제1검출영역과 상기 제2검출영역의 상기 연관성을 확인하는 것을 특징으로 하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치.
  9. 기 설정된 명령을 저장하는 메모리,
    특정객체의 제1검출영역을 검출하고, 제1검출영역을 마스킹하고, 상기 특정객체의 제2검출영역을 검출하고, 제2검출영역을 마스킹하고, 상기 제1검출영역과 상기 제2검출영역의 연관성이 있는지 확인하고, 상기 제1검출영역과 상기 제2검출영역의 상기 연관성이 있으면, 상기 제1검출영역이 포함된 제1검출영역프레임과 상기 제2검출영역이 포함된 제2검출영역프레임 사이의 미검출프레임을 확인하고, 제1검출영역 시작점과 제2검출영역 시작점을 확인하고, 제1검출영역 크기와 제2검출영역 크기를 확인하고, 상기 제1검출영역 시작점과 상기 제2검출영역 시작점의 시작점 이동률과 상기 제1검출영역 크기와 상기 제2검출영역 크기의 크기 변화율을 확인하고, 상기 시작점 이동률과 상기 크기 변화율을 이용하여 프레임간 변화량을 계산하고, 상기 프레임간 변화량을 이용하여 상기 특정객체의 추정영역을 계산하고, 상기 추정영역을 마스킹하도록 제어하는 제어부를 포함하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치.
  10. 제9항에 있어서,
    상기 제어부는 상기 프레임간 변화량을 이용하여 각각의 상기 미검출프레임에서 상기 특정객체의 추정영역 시작점과 추정영역 크기를 계산하여, 상기 특정객체의 상기 추정영역을 계산하는 것을 특징으로 하는 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 장치.
PCT/KR2019/016894 2019-12-03 2019-12-03 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치 WO2021112273A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0158779 2019-12-03
KR1020190158779A KR102147187B1 (ko) 2019-12-03 2019-12-03 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2021112273A1 true WO2021112273A1 (ko) 2021-06-10

Family

ID=72235247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/016894 WO2021112273A1 (ko) 2019-12-03 2019-12-03 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102147187B1 (ko)
WO (1) WO2021112273A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230153903A (ko) 2022-04-29 2023-11-07 (주)가이온 무인이동체 영상 전주기 프라이버시 마스킹 시스템 및 방법
CN114721404B (zh) * 2022-06-08 2022-09-13 超节点创新科技(深圳)有限公司 避障方法、机器人和存储介质
KR102593676B1 (ko) 2023-06-30 2023-10-25 (주)하늘소프트 역방향 추적을 이용한 객체 검출 성능 향상 방법 및이를 위한 객체 추적 장치
KR102622523B1 (ko) * 2023-07-21 2024-01-09 주식회사 포딕스시스템 동영상 내 객체 자동 마스킹 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120007850A (ko) * 2010-07-15 2012-01-25 중앙대학교 산학협력단 부분 템플릿 매칭 기반의 객체 식별 장치 및 방법
KR101378295B1 (ko) * 2009-12-18 2014-03-27 한국전자통신연구원 영상의 프라이버시 마스킹 방법 및 장치
KR101881391B1 (ko) * 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 객체의 특성 정보를 반영하여 프라이버시 마스킹을 수행하는 영상 마스킹 장치
JP2019004441A (ja) * 2017-06-14 2019-01-10 エフエックスギア インコーポレイテッド 視点基盤のオブジェクトピッキングシステム及びその方法
KR101972918B1 (ko) * 2018-12-20 2019-08-20 주식회사 로민 영상 마스킹 장치 및 영상 마스킹 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190110498A (ko) 2019-09-10 2019-09-30 엘지전자 주식회사 영상 파일에서 불특정 인물의 얼굴 영역을 비식별화 처리하는 인공 지능 서버 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101378295B1 (ko) * 2009-12-18 2014-03-27 한국전자통신연구원 영상의 프라이버시 마스킹 방법 및 장치
KR20120007850A (ko) * 2010-07-15 2012-01-25 중앙대학교 산학협력단 부분 템플릿 매칭 기반의 객체 식별 장치 및 방법
JP2019004441A (ja) * 2017-06-14 2019-01-10 エフエックスギア インコーポレイテッド 視点基盤のオブジェクトピッキングシステム及びその方法
KR101881391B1 (ko) * 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 객체의 특성 정보를 반영하여 프라이버시 마스킹을 수행하는 영상 마스킹 장치
KR101972918B1 (ko) * 2018-12-20 2019-08-20 주식회사 로민 영상 마스킹 장치 및 영상 마스킹 방법

Also Published As

Publication number Publication date
KR102147187B1 (ko) 2020-08-24

Similar Documents

Publication Publication Date Title
WO2021112273A1 (ko) 딥러닝 기반 동영상에서 연속적으로 개인정보를 비식별화하기 위한 방법 및 장치
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2016060453A1 (ko) 차량 번호 입력 장치 및 그 방법
WO2020196977A1 (ko) 사용자 페르소나를 고려한 대화형 에이전트 장치 및 방법
WO2017115905A1 (ko) 인체 포즈 인지 시스템 및 방법
WO2021020866A1 (ko) 원격 모니터링을 위한 영상 분석 시스템 및 방법
WO2015102126A1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
WO2022039318A1 (ko) 비식별화 영상 데이터를 이용한 인공지능 학습 방법 및 시스템
WO2014092380A1 (ko) 차량용 블랙박스 시스템 및 그 운용방법
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2012081887A2 (en) Method and apparatus for providing advertisement service in mobile communication system
WO2018117398A1 (ko) 홍채인식과 얼굴인식을 복합적으로 활용하는 차량 보안 방법 및 시스템
WO2011055930A2 (ko) 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
WO2014035212A1 (en) Apparatus and method for managing health data
WO2020080571A1 (ko) 영상정보기기에서의 개인정보의 비식별화 방법 및 시스템
WO2015102476A1 (ko) 이동형 3d 멀티디스플레이 기반의 실감형 교육 서비스 제공 차량
WO2024005474A1 (ko) 적정 거리 표시를 제공하는 증강현실 서비스 장치 및 방법
WO2017222228A1 (ko) 영상 컨텐츠의 화면전환 인식 방법 및 이를 운용하는 서버
WO2013077546A1 (ko) 입체 영상의 장면 전환 검출 장치 및 방법
WO2022131720A1 (ko) 건축물 이미지를 생성하는 장치 및 방법
WO2022014831A1 (ko) 오브젝트 검출 방법 및 장치
WO2019199035A1 (ko) 시선 추적 시스템 및 방법
WO2021033814A1 (ko) 레이더 기반 비 웨어러블 방식의 제스처 인식 서비스 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19954869

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19954869

Country of ref document: EP

Kind code of ref document: A1