WO2023140519A1 - 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템 - Google Patents

얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템 Download PDF

Info

Publication number
WO2023140519A1
WO2023140519A1 PCT/KR2022/021268 KR2022021268W WO2023140519A1 WO 2023140519 A1 WO2023140519 A1 WO 2023140519A1 KR 2022021268 W KR2022021268 W KR 2022021268W WO 2023140519 A1 WO2023140519 A1 WO 2023140519A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
feature vector
facial feature
face image
facial
Prior art date
Application number
PCT/KR2022/021268
Other languages
English (en)
French (fr)
Inventor
채정훈
Original Assignee
(주)에이아이매틱스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에이아이매틱스 filed Critical (주)에이아이매틱스
Publication of WO2023140519A1 publication Critical patent/WO2023140519A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Definitions

  • the present invention relates to a database construction technology for machine learning, and more particularly, to a machine learning database construction system using face privacy technology that removes only personal characteristic information of a face and maintains other information such as facial expression to enable use of face information.
  • Supervised learning is a method of learning so that the error between the predicted value of the learning model and the correct value is minimized by informing the learning model of the correct answer in the state where correct answer data (input data and a pair of corresponding labels) already exist.
  • Unsupervised learning is a method of learning through the process of analyzing and classifying similarities and hidden characteristics between data without correct answer data (only input data exists).
  • Reinforcement learning is a method of learning through the process of assigning rewards and punishments to model decisions in the environment without correct answer data.
  • securing good-quality training data can be very important.
  • pre-processing to protect personal information may be very important in order to secure a face image including a human face and use it as learning data.
  • a face image includes a lot of information that can be used in various fields, if it is used as it is, there is a high possibility of invading personal privacy, so the use of the face image may be significantly limited.
  • a face image is mosaic- or blur-processed and used, but in this case, it may be difficult to achieve the desired purpose because a lot of useful data in addition to personal characteristic information is lost.
  • An embodiment of the present invention is to provide a machine learning database construction system using face privacy technology that can improve the usability of face information by preserving facial states such as facial expression state, eye closed state, and speech state while protecting personal information of face images.
  • An embodiment of the present invention is to provide a machine learning database construction system using face privacy technology that can effectively secure various face images from which personal characteristics are removed by encrypting facial image data into facial feature vectors and converting them into corresponding facial feature vectors that unidirectionally correspond to the facial feature vectors.
  • a machine learning database construction system using facial privacy protection technology includes a face recognition unit receiving an image frame and detecting a face region including at least a face; a face preprocessor performing a preprocessing operation on a face image including the face region; a facial feature vector generating unit generating a facial feature vector by encoding the face image based on a deep neural network-based network model; and a facial feature vector converting unit generating a corresponding facial feature vector in which the face feature vector is unidirectionally mapped and individual identifiable elements are removed.
  • the system may further include a face image restoration unit that restores the face image using the face feature vector.
  • the face image restoration unit may restrictly initiate a restoration operation of the face image according to authorized authority in a state in which external access is blocked.
  • the face image restoration unit may restore a corresponding face image from which personally identifiable elements are removed from the face image by using the corresponding face feature vector.
  • the system may further include a corresponding face image generator configured to generate at least one corresponding face image to which the at least one corresponding facial feature vector is applied while corresponding to the single face image using a single face image and at least one corresponding facial feature vector.
  • a corresponding face image generator configured to generate at least one corresponding face image to which the at least one corresponding facial feature vector is applied while corresponding to the single face image using a single face image and at least one corresponding facial feature vector.
  • the corresponding face image generating unit may generate the at least one corresponding face image by applying the facial feature vector converted by the facial feature vector conversion unit to the corresponding facial feature vector.
  • the facial feature vector generation unit may generate and provide a list of similar facial feature vectors based on a degree of similarity between the specific face image and the facial feature vector.
  • the facial feature vector conversion unit may generate the corresponding facial feature vector by applying an irreversible and undecodable unidirectional function to the facial feature vector.
  • the disclosed technology may have the following effects. However, it does not mean that a specific embodiment must include all of the following effects or only the following effects, so it should not be understood that the scope of rights of the disclosed technology is limited thereby.
  • the machine learning database construction system using facial privacy protection technology protects personal information of face images and preserves facial states such as facial expression state, eye closed state, and speech state, thereby improving the usability of face information.
  • a machine learning database construction system using facial personal information protection technology encrypts facial image data into facial feature vectors and converts them into corresponding facial feature vectors that unidirectionally correspond to the facial feature vectors, thereby effectively obtaining various face images from which personal characteristics are removed.
  • FIG. 1 is a diagram illustrating a database construction system according to the present invention.
  • FIG. 2 is a diagram explaining the system configuration of the database construction apparatus of FIG. 1;
  • FIG. 3 is a diagram explaining the functional configuration of the database construction apparatus of FIG. 1 .
  • FIG. 4 is a flowchart illustrating a method for constructing a machine learning database using face privacy protection technology according to the present invention.
  • FIG. 5 is a diagram illustrating a face recognition and pre-processing process according to the present invention.
  • FIG. 6 is a diagram explaining a facial feature vector generation process according to the present invention.
  • FIG. 7 is a diagram explaining characteristics of facial feature vectors according to the present invention.
  • FIG. 8 is a diagram illustrating a process of generating a face feature vector for converting personal characteristics according to the present invention.
  • FIG. 9 is a diagram illustrating a process of generating a face with personal characteristics conversion according to the present invention.
  • FIG. 10 is a diagram illustrating the overall concept of a database construction system according to the present invention.
  • first and second are used to distinguish one component from another, and the scope of rights should not be limited by these terms.
  • a first element may be termed a second element, and similarly, a second element may be termed a first element.
  • each step the identification code (eg, a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step is context-specific. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • the identification code eg, a, b, c, etc.
  • the present invention can be implemented as computer readable code on a computer readable recording medium
  • the computer readable recording medium includes all types of recording devices storing data that can be read by a computer system.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices.
  • the computer-readable recording medium may be distributed to computer systems connected through a network, so that computer-readable codes may be stored and executed in a distributed manner.
  • FIG. 1 is a diagram illustrating a database construction system according to the present invention.
  • a database construction system 100 may be implemented by including a user terminal 110 , a database construction apparatus 130 and a database 150 .
  • the user terminal 110 may correspond to a terminal device operated by a user.
  • a user may be understood as one or more users, and a plurality of users may be divided into one or more user groups.
  • Each of one or more users may correspond to one or more user terminals 110 . That is, the first user may correspond to the first user terminal, the second user may correspond to the second user terminal, ..., the nth user (where n is a natural number) may correspond to the nth user terminal.
  • the user terminal 110 may correspond to a computing device capable of performing user actions including creation, modification, and deletion of learning data.
  • the user terminal 110 may be implemented as a smart phone, laptop, or computer that is connected to and operable with the database construction device 130, and may be implemented as a variety of devices including, but not necessarily limited to, a tablet PC and the like.
  • the user terminal 110 may install and execute a dedicated program or application for interworking with the database building device 130 .
  • the user terminal 110 may transmit predetermined facial image data to the database building device 130 to generate learning data, and may access the learning database built by the database building device 130. This process may be performed through an interface provided through a dedicated program or application.
  • the user terminal 110 may be connected to the database building device 130 through a network, and a plurality of user terminals 110 may be connected to the database building device 130 at the same time.
  • the database construction device 130 may be implemented as a server corresponding to a computer or program that performs the machine learning database construction method using face personal information protection technology according to the present invention.
  • the database building device 130 may be connected to the user terminal 110 and a wired network or a wireless network such as Bluetooth, WiFi, LTE, and the like, and may transmit and receive data with the user terminal 110 through the network.
  • the database building device 130 may be implemented to operate in connection with an independent external system (not shown in FIG. 1) to collect learning data or provide learning data.
  • the database building device 130 may be implemented as a cloud server, and may satisfy various needs of users regarding the construction and utilization of a learning database through a cloud service.
  • the database 150 may correspond to a storage device for storing various information necessary for the operation of the database building device 130 .
  • the database 150 may store facial image data collected from various sources or store information about a learning algorithm and a learning model for building a machine learning model, but is not necessarily limited thereto, and may store information collected or processed in various forms in the process of performing the machine learning database construction method using the face personal information protection technology according to the present invention.
  • the database 150 is shown as a device independent of the database building device 130, but is not necessarily limited thereto, and is included in the database building device 130 as a logical storage device. Of course, it can be implemented.
  • FIG. 2 is a diagram explaining the system configuration of the database construction apparatus of FIG. 1;
  • the database construction apparatus 130 may include a processor 210, a memory 230, a user input/output unit 250, and a network input/output unit 270.
  • the processor 210 may execute a machine learning database construction procedure according to an embodiment of the present invention, manage the memory 230 read or written in this process, and schedule synchronization time between volatile memory and non-volatile memory in the memory 230.
  • the processor 210 can control the overall operation of the database building device 130, and is electrically connected to the memory 230, the user input/output unit 250, and the network input/output unit 270 to control data flow between them.
  • the processor 210 may be implemented as a Central Processing Unit (CPU) of the database building device 130 .
  • CPU Central Processing Unit
  • the memory 230 may include a secondary storage device implemented as a non-volatile memory such as a solid state disk (SSD) or a hard disk drive (HDD) and used to store all data necessary for the database building device 130, and may include a main memory device implemented as a volatile memory such as random access memory (RAM). Also, the memory 230 may store a set of instructions for executing the database construction method according to the present invention by being executed by the electrically connected processor 210 .
  • SSD solid state disk
  • HDD hard disk drive
  • RAM random access memory
  • the user input/output unit 250 includes an environment for receiving a user input and an environment for outputting specific information to the user, and may include, for example, an input device including an adapter such as a touch pad, a touch screen, an on-screen keyboard, or a pointing device, and an output device including an adapter such as a monitor or a touch screen.
  • the user input/output unit 250 may correspond to a computing device connected through a remote connection, and in such a case, the database building device 130 may be implemented as an independent server.
  • the network input/output unit 270 provides a communication environment to be connected to the user terminal 110 through a network, and may include, for example, adapters for communication such as a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and a value added network (VAN).
  • the network input/output unit 270 may be implemented to provide a short-range communication function such as WiFi or Bluetooth or a 4G or higher wireless communication function for wireless transmission of learning data.
  • FIG. 3 is a diagram explaining the functional configuration of the database construction apparatus of FIG. 1 .
  • the database construction apparatus 130 may include a face recognition unit 310, a face preprocessor 320, a facial feature vector generator 330, a facial feature vector converter 340, a face image restorer 350, a corresponding face image generator 360, and a controller (not shown in FIG. 3).
  • the face recognition unit 310 may receive an image frame and detect a face region including at least a face. That is, the face recognition unit 310 may perform an operation of detecting a position where a face exists in each image frame in an image including a human face and providing corresponding information.
  • the face recognition unit 310 may perform a pre-processing operation on the image frame in order to increase the accuracy of face recognition. For example, the face recognition unit 310 may perform a preprocessing operation such as removing noise, applying a specific filter, or adjusting the scale of an image frame.
  • the face recognition unit 310 may detect a face region using a face detection algorithm, and in particular, detect a face region through a deep neural network-based network model.
  • the face detection model may generate, as outputs, a bounding box (BB), semantic segmentation, and facial landmarks for the face area.
  • the face recognition unit 310 may selectively use at least one of various network models according to a method of obtaining a face image or a purpose of use.
  • the face recognition unit 310 may detect a face area for each image frame and generate a partial image frame including the face area.
  • the face recognition unit 310 may select frames in which a face region is detected from among image frames and extract partial image frames from the corresponding frames.
  • the face preprocessing unit 320 may perform a preprocessing operation on a face image including a face region. That is, a face image may correspond to a set of partial image frames including a face region within an image frame.
  • the face preprocessor 320 may perform a preprocessing operation based on the face recognition result of the face recognition unit 310 for each frame of the face image. For example, preprocessing operations may include cropping, resizing, rotating, affine transformation, and perspective transformation.
  • the face pre-processing unit 320 may constantly adjust the size, resolution, tilt, and the like of the face image through a pre-processing operation.
  • the facial feature vector generation unit 330 may generate a facial feature vector by encoding a face image based on a deep neural network-based network model.
  • a facial feature vector may be generated based on information about features included in a face, and a predetermined feature vector generation model may be used for this purpose. That is, the feature vector generation model may be built in advance as a deep neural network-based network model, receive a face image as an input, and generate a face feature vector corresponding to the face image as an output.
  • the feature values of the facial feature vector may be expressed as values of a constant length having the same data format.
  • the face feature vector may be expressed as a 16-bit integer type or a 32-bit real number (floating point) feature value.
  • the facial feature vector generator 330 may generate and provide a list of similar facial feature vectors based on the degree of similarity between the specific face image and the facial feature vector.
  • the facial feature vector generator 330 may selectively generate a facial feature vector for the face image or search for facial feature vectors similar to the face image. That is, the similarity between face data can be expressed as a distance between facial feature vectors representing respective facial features. The smaller the distance value, the more similar it is, and when the distance value is within a certain reference value, it can be determined as the same face.
  • the facial feature vector generation unit 330 may generate a facial feature vector of a specific face image and then generate a list of similar facial feature vectors according to the degree of similarity with the facial feature vector.
  • the similar facial feature vector may correspond to a facial feature vector whose distance value from the reference facial feature vector is within a predetermined reference value.
  • the facial feature vector conversion unit 340 may generate a corresponding facial feature vector in which the facial feature vector is unidirectionally mapped and individual identifiable elements are removed.
  • the corresponding facial feature vector may correspond to facial feature information of a face from which personal feature information is removed (or converted) from the face image. That is, the facial feature vector conversion unit 340 may generate a corresponding facial feature vector by removing (or changing) personally identifiable elements from the facial feature vector.
  • a network model based on a deep neural network, a static function, or the like may be used to generate the corresponding facial feature vector.
  • the facial feature vector converter 340 may generate a corresponding facial feature vector by applying an irreversible and non-decodable unidirectional function to the facial feature vector.
  • the unidirectional function used may have characteristics of being irreversible and undecodable, and accordingly, it may be impossible to restore the original facial feature vector based on the corresponding facial feature vector.
  • one-way functions may include hash functions, one-way encoding functions, and the like.
  • a one-way function can be implemented to always produce the same output when using the same facial feature vector as an input.
  • the corresponding facial feature vector generated by the facial feature vector conversion unit 340 can be used to determine whether the face is similar to a face in another image frame, while it is not possible to identify whose face it actually is based on the result of personal feature information being removed.
  • the face image reconstructor 350 may reconstruct a face image using a face feature vector.
  • the face image restoration unit 350 may be implemented by including a face image generation module that generates a face image based on a face feature vector.
  • the face image generation module may perform a restoration operation of generating a face image frame corresponding to the face feature vector.
  • the face image restoration unit 350 may restrictly initiate a restoration operation on the face image according to the approved authority in a state in which external access is blocked. That is, the face image restoration unit 350 may control the face image generating module in a closed state, and upon receiving a restoration request from the outside, it may check the authority of the corresponding restoration request to determine whether the corresponding authority is an approved authority.
  • the face image restoration unit 350 may restrictly generate a restored face image by controlling the operation of the face image generation module in response to a restoration request having an approved authority, and accordingly, personal information may be encrypted by storing only a face feature vector.
  • the face image restoration unit 350 may restore a corresponding face image from which personally identifiable elements are removed from the face image by using the corresponding face feature vector.
  • the face image reconstructor 350 may generate a face image including personal feature information based on the facial feature vector, and may generate a corresponding face image in which the personal feature information is removed or converted based on the corresponding face feature vector.
  • Corresponding face images reconstructed based on corresponding facial feature vectors cannot be used to identify individuals, but can be used for situation analysis in images because they contain feature information about facial expressions or states. Accordingly, when a plurality of corresponding facial feature vectors are generated based on one facial feature vector, corresponding face images may be generated for each corresponding facial feature vector, and the corresponding corresponding face images may be expressed with the same expression or state for different faces.
  • the corresponding face image generator 360 may generate at least one corresponding face image to which at least one corresponding facial feature vector is applied while corresponding to the single face image by using the single face image and the at least one corresponding facial feature vector.
  • the corresponding face image generation unit 360 may construct and utilize a network model based on a deep neural network in advance. That is, the corresponding network model may receive a face image and a corresponding facial feature vector as inputs, remove the original face feature vector from the face image, and then generate a virtual face image as an output as a result of applying the corresponding facial feature vector instead.
  • a virtual face to which facial conditions such as facial expressions, excluding personal characteristic information, etc. are identically applied to the original face can be generated, and accordingly, personal information can be protected and utilization of face information can be maximized.
  • the corresponding face image generator 360 may generate at least one corresponding face image by applying the facial feature vector converted by the facial feature vector converter 340 to the corresponding facial feature vector. That is, the facial feature vector conversion unit 340 may generate a plurality of corresponding facial feature vectors using a plurality of algorithms or a network model based on a deep neural network, and the corresponding facial feature vectors are applied to a face image and used to generate various face images of a virtual face, thereby effectively constructing a database of face images.
  • the control unit controls the overall operation of the database building device 130, and can manage the control flow or data flow between the face recognition unit 310, the face preprocessing unit 320, the facial feature vector generator 330, the facial feature vector converter 340, the face image restorer 350, and the corresponding face image generator 360.
  • FIG. 4 is a flowchart illustrating a method for constructing a machine learning database using face privacy protection technology according to the present invention.
  • the database construction apparatus 130 may receive an image frame through the face recognition unit 310 and detect a face region including at least a face (step S410).
  • the database building apparatus 130 may perform a preprocessing operation on a face image including a face region through the face preprocessor 320 (step S430).
  • the database construction apparatus 130 may generate facial feature vectors by encoding a face image based on a deep neural network-based network model through the facial feature vector generator 330 (step S450).
  • the database construction apparatus 130 may generate a corresponding facial feature vector that unidirectionally corresponds to the facial feature vector and removes personally identifiable elements through the facial feature vector converter 340 (step S470).
  • FIG. 5 is a diagram illustrating a face recognition and pre-processing process according to the present invention.
  • the database construction apparatus 130 configures a deep neural network-based network model, receives an image frame as an input, and recognizes a position of a face within the image frame.
  • the recognition result may include information such as bounding box, semantic segmentation, and facial landmark.
  • the database building device 130 may perform face pre-processing based on the face position recognition result.
  • the preprocessing process may include Crop, Resize, Rotate, Affine Transformation, and Perspective Transformation.
  • FIG. 6 is a diagram explaining a facial feature vector generation process according to the present invention.
  • the database construction apparatus 130 may construct a deep neural network-based network model, receive a face image 610 as an input, and generate a facial feature vector 630 as an output.
  • the network model may encode (or encrypt) the face image 610 and convert it into a feature value having a predetermined length.
  • the converted face feature vector 630 may correspond to encrypted information and may be restored through a separate face image restoration process, but the personal feature information included in the face image 610 may be effectively protected by restricting the execution of the corresponding process.
  • FIG. 7 is a diagram explaining characteristics of facial feature vectors according to the present invention.
  • the database construction apparatus 130 may encode a face image to generate a facial feature vector corresponding to the face image.
  • facial feature vectors of the same person may show a small difference due to similarity, and may indicate a large difference from the facial feature vectors of other people.
  • the database construction device 130 may determine whether the two faces are the same person by analyzing the similarity of the facial feature vectors, and may additionally receive a face image and search the database 150 for a face image or facial feature vector identical to the corresponding face image, and provide the result.
  • the database construction apparatus 130 can effectively prevent another person's face image from being exposed to a third party by using a facial feature vector instead of a face image.
  • FIG. 8 is a diagram illustrating a process of generating a face feature vector for converting personal characteristics according to the present invention.
  • the database construction apparatus 130 may receive a facial feature vector as an input and generate a corresponding facial feature vector of a face whose unidirectional corresponding characteristic is changed.
  • a network model based on a deep neural network or a static function may be used to generate corresponding facial feature vectors.
  • the corresponding facial feature vector may be generated based on the facial feature vector, but it may be impossible to restore or specify the original facial feature vector based on the generated corresponding facial feature vector.
  • the database building device 130 can effectively protect personal information through one-way conversion.
  • the corresponding facial feature vector may also be consistently output with the same value.
  • the database construction apparatus 130 cannot identify who the generated face is, but can identify whether it is the same person as a face in another image frame.
  • the database construction apparatus 130 can restore a face using a face image generator implemented independently and a facial feature vector, and the face image generator used at this time is implemented not to be disclosed to the outside and stores only the original facial feature vector. It may be possible to encrypt personal information.
  • FIG. 9 is a diagram illustrating a process of generating a face with personal characteristics conversion according to the present invention.
  • the database construction apparatus 130 constructs a deep neural network-based network model, receives a facial image and a facial feature vector as inputs, removes the existing feature vector of the face, and generates a virtual face reflecting the input facial feature vector.
  • the generated virtual face may maintain the same face state such as facial expression in addition to the existing feature vector.
  • a face image of a virtual person different from the original person may be generated.
  • the facial expression or the state of wearing glasses may remain the same.
  • the virtual person created as a result of applying the same corresponding facial feature vector in frames 1 and 2 may also be the same.
  • FIG. 10 is a diagram illustrating the overall concept of the database construction system according to the present invention.
  • the database construction apparatus 130 may receive image data including a human face as an input and obtain a face image of a face region through face recognition.
  • the database construction device 130 may generate an original facial feature vector including personal characteristic information from a face image, and may store and utilize the original facial feature vector in a database (DB) as needed.
  • DB database
  • the face feature vector may correspond to encrypted information and may be limitedly restored through a separate face image generator, so that personal information may be effectively protected in the process of using the face feature vector later.
  • the database construction apparatus 130 may generate a corresponding facial feature vector that unidirectionally corresponds to the facial feature vector.
  • the corresponding face feature vector may include face information from which personal feature information is removed, and may be stored in a database (DB) and utilized as needed. That is, the database construction apparatus 130 can generate a virtual face image from which personal feature information is removed from the original face image using the corresponding face feature vector, and can effectively generate various feature-converted face images from one original face image by utilizing various corresponding face feature vectors previously built through the database DB.
  • DB database
  • the database construction apparatus 130 may generate image data in which personal characteristics of an original person are converted by applying a virtual feature-converted face image to original image data.
  • the database construction apparatus 130 can effectively build a machine learning database by generating and storing an image in which facial characteristics are changed from facial feature vectors whose characteristics are changed.
  • the database construction apparatus 130 may encrypt personal information by storing original facial feature vectors, and may retrieve and provide a record most similar to a facial feature vector extracted from a face image of a specific person.
  • processor 230 memory
  • face image restoration unit 360 corresponding face image generation unit

Abstract

본 발명은 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템에 관한 것으로, 영상 프레임을 입력받아 적어도 얼굴을 포함하는 얼굴 영역을 검출하는 얼굴 인식부; 상기 얼굴 영역을 포함하는 얼굴 영상에 대한 전처리 동작을 수행하는 얼굴 전처리부; 심층신경망 기반의 네트워크 모델을 기초로 상기 얼굴 영상을 인코딩하여 얼굴 특징 벡터를 생성하는 얼굴 특징 벡터 생성부; 및 상기 얼굴 특징 벡터에 단방향 대응되고 개인 식별 가능한 요소가 제거된 대응 얼굴 특징 벡터를 생성하는 얼굴 특징 벡터 변환부;를 포함한다.

Description

얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템
본 발명은 기계학습을 위한 데이터베이스 구축 기술에 관한 것으로, 보다 상세하게는 얼굴의 개인 특성 정보만을 제거하고 그 외 표정 등의 정보는 유지하여 얼굴 정보를 활용 가능하게 하는 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템에 관한 것이다.
기계학습의 학습 방법은 크게 지도학습, 비지도학습, 강화학습의 세가지 방법으로 분류된다. 지도학습은 정답 데이터(입력 데이터와 그에 대응하는 라벨 한 쌍)가 이미 존재하는 상태에서 학습 모델에게 정답을 알려주어 학습 모델의 예측값과 정답값의 오차가 최소가 되도록 학습하는 방식이다. 비지도학습은 정답 데이터가 존재하지 않고(입력 데이터만 존재) 데이터 간의 유사성과 숨겨진 특성을 분석하여 분류하는 과정을 통해 학습하는 방식이다. 강화학습은 정답 데이터가 존재하지 않고 환경에서의 모델의 결정에 상과 벌을 부여하는 과정을 통해 학습하는 방식이다.
기계학습에 있어 양질의 학습 데이터를 확보하는 것은 매우 중요할 수 있다. 특히, 얼굴 인식 분야에서 사람의 얼굴이 포함된 얼굴 영상을 확보하는 것뿐 아니라 이를 학습 데이터로 사용하기 위하여 개인 정보를 보호하기 위한 전처리가 매우 중요할 수 있다.
즉, 얼굴 영상에는 다양한 분야에서 활용 가능한 많은 정보가 포함되어 있는 반면, 이를 그대로 사용하는 경우 개인 프라이버시를 침해할 가능성이 높기 때문에 얼굴 영상의 활용도가 상당 부분 제한될 수 있다. 일반적으로 얼굴 영상을 모자이크 또는 블러(blur) 처리하여 사용하고 있으나, 이 경우 개인 특성 정보 외에도 많은 유용한 데이터들이 손실되기 때문에 원하는 목적을 달성하기 어려울 수 있다.
[선행기술문헌]
[특허문헌]
한국공개특허 제10-1487461호 (2015.01.22)
본 발명의 일 실시예는 얼굴 영상의 개인정보를 보호하면서 얼굴 표정 상태, 눈 감음 상태 및 발화 상태 등의 얼굴 상태를 보전하여 얼굴 정보의 활용성을 향상시킬 수 있는 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템을 제공하고자 한다.
본 발명의 일 실시예는 얼굴 영상 데이터를 얼굴 특징 벡터로 암호화하고 얼굴 특징 벡터에 단방향으로 대응하는 대응 얼굴 특징 벡터로 변환하여 개인 특성이 제거된 다양한 얼굴 영상을 효과적으로 확보할 수 있는 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템을 제공하고자 한다.
실시예들 중에서, 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템은 영상 프레임을 입력받아 적어도 얼굴을 포함하는 얼굴 영역을 검출하는 얼굴 인식부; 상기 얼굴 영역을 포함하는 얼굴 영상에 대한 전처리 동작을 수행하는 얼굴 전처리부; 심층신경망 기반의 네트워크 모델을 기초로 상기 얼굴 영상을 인코딩하여 얼굴 특징 벡터를 생성하는 얼굴 특징 벡터 생성부; 및 상기 얼굴 특징 벡터에 단방향 대응되고 개인 식별 가능한 요소가 제거된 대응 얼굴 특징 벡터를 생성하는 얼굴 특징 벡터 변환부;를 포함한다.
상기 시스템은 상기 얼굴 특징 벡터를 이용하여 상기 얼굴 영상을 복원하는 얼굴 영상 복원부;를 더 포함할 수 있다.
상기 얼굴 영상 복원부는 외부로부터의 접근이 차단된 상태에서 승인된 권한에 의해 상기 얼굴 영상에 관한 복원 동작을 제한적으로 개시할 수 있다.
상기 얼굴 영상 복원부는 상기 대응 얼굴 특징 벡터를 이용하여 상기 얼굴 영상에서 개인 식별 가능한 요소가 제거된 대응 얼굴 영상으로 복원할 수 있다.
상기 시스템은 단일 얼굴 영상과 적어도 하나의 대응 얼굴 특징 벡터를 이용하여 상기 단일 얼굴 영상에 대응되면서 상기 적어도 하나의 대응 얼굴 특징 벡터가 적용된 적어도 하나의 대응 얼굴 영상을 생성하는 대응 얼굴 영상 생성부;를 더 포함할 수 있다.
상기 대응 얼굴 영상 생성부는 얼굴 특징 벡터 변환부에서 변환된 얼굴 특징 벡터를 상기 대응 얼굴 특징 벡터에 적용하여 상기 적어도 하나의 대응 얼굴 영상을 생성할 수 있다.
상기 얼굴 특징 벡터 생성부는 특정 얼굴 영상을 입력으로 수신한 경우 상기 특정 얼굴 영상의 얼굴 특징 벡터와의 유사도를 기준으로 유사 얼굴 특징 벡터들에 관한 리스트를 생성하여 제공할 수 있다.
상기 얼굴 특징 벡터 변환부는 상기 얼굴 특징 벡터에 비가역적이고 복호화 불가능한 단방향 함수를 적용하여 상기 대응 얼굴 특징 벡터를 생성할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템은 얼굴 영상의 개인정보를 보호하면서 얼굴 표정 상태, 눈 감음 상태 및 발화 상태 등의 얼굴 상태를 보전하여 얼굴 정보의 활용성을 향상시킬 수 있다.
본 발명의 일 실시예에 따른 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템은 얼굴 영상 데이터를 얼굴 특징 벡터로 암호화하고 얼굴 특징 벡터에 단방향으로 대응하는 대응 얼굴 특징 벡터로 변환하여 개인 특성이 제거된 다양한 얼굴 영상을 효과적으로 확보할 수 있다.
도 1은 본 발명에 따른 데이터베이스 구축 시스템을 설명하는 도면이다.
도 2는 도 1의 데이터베이스 구축 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 데이터베이스 구축 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 방법을 설명하는 순서도이다.
도 5는 본 발명에 따른 얼굴 인식 및 전처리 과정을 설명하는 도면이다.
도 6은 본 발명에 따른 얼굴 특징 벡터 생성 과정을 설명하는 도면이다.
도 7은 본 발명에 따른 얼굴 특징 벡터의 특성을 설명하는 도면이다.
도 8은 본 발명에 따른 개인 특성 변환 얼굴 특징 벡터 생성 과정을 설명하는 도면이다.
도 9는 본 발명에 따른 개인 특성 변환 얼굴 생성 과정을 설명하는 도면이다.
도 10은 본 발명에 따른 데이터베이스 구축 시스템의 전체적인 개념을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 데이터베이스 구축 시스템을 설명하는 도면이다.
도 1을 참조하면, 데이터베이스 구축 시스템(100)은 사용자 단말(110), 데이터베이스 구축 장치(130) 및 데이터베이스(150)를 포함하여 구현될 수 있다.
사용자 단말(110)은 사용자에 의해 운용되는 단말 장치에 해당할 수 있다. 본 발명의 실시예에서 사용자는 하나 이상의 사용자로 이해될 수 있으며, 복수의 사용자들은 하나 이상의 사용자 그룹으로 구분될 수 있다. 하나 이상의 사용자들 각각은 하나 이상의 사용자 단말(110)에 대응될 수 있다. 즉, 제1 사용자는 제1 사용자 단말, 제2 사용자는 제2 사용자 단말, ..., 제n(상기 n은 자연수) 사용자는 제n 사용자 단말에 대응될 수 있다.
또한, 사용자 단말(110)은 데이터베이스 구축 시스템(100)을 구성하는 하나의 장치로서 학습 데이터의 생성, 수정 및 삭제를 포함하는 사용자 행위를 수행할 수 있는 컴퓨팅 장치에 해당할 수 있다. 예를 들어, 사용자 단말(110)은 데이터베이스 구축 장치(130)와 연결되어 동작 가능한 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 포함하여 다양한 디바이스로도 구현될 수 있다.
또한, 사용자 단말(110)은 데이터베이스 구축 장치(130)와 연동하기 위한 전용 프로그램 또는 어플리케이션을 설치하여 실행할 수 있다. 예를 들어, 사용자 단말(110)은 학습 데이터 생성을 위해 데이터베이스 구축 장치(130)에게 소정의 얼굴 영상 데이터를 전송할 수 있으며, 데이터베이스 구축 장치(130)에 의해 구축된 학습 데이터베이스에 접근할 수 있다. 해당 과정은 전용 프로그램 또는 어플리케이션을 통해 제공되는 인터페이스를 통해 이루어질 수 있다.
한편, 사용자 단말(110)은 데이터베이스 구축 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 데이터베이스 구축 장치(130)와 동시에 연결될 수도 있다.
데이터베이스 구축 장치(130)는 본 발명에 따른 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 방법을 수행하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 또한, 데이터베이스 구축 장치(130)는 사용자 단말(110)과 유선 네트워크 또는 블루투스, WiFi, LTE 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 송·수신할 수 있다.
또한, 데이터베이스 구축 장치(130)는 학습 데이터를 수집하거나 또는 학습 데이터를 제공하기 위하여 독립된 외부 시스템(도 1에 미도시함)과 연결되어 동작하도록 구현될 수 있다. 일 실시예에서, 데이터베이스 구축 장치(130)는 클라우드 서버로 구현될 수 있으며, 클라우드 서비스를 통해 학습 데이터베이스의 구축과 활용에 관한 사용자들의 다양한 니즈(needs)를 충족시킬 수 있다.
데이터베이스(150)는 데이터베이스 구축 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 다양한 출처로부터 수집한 얼굴 영상 데이터를 저장하거나 또는 기계학습 모델 구축을 위한 학습 알고리즘과 학습 모델에 관한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 데이터베이스 구축 장치(130)가 본 발명에 따른 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 방법을 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
또한, 도 1에서, 데이터베이스(150)는 데이터베이스 구축 장치(130)와 독립적인 장치로서 도시되어 있으나, 반드시 이에 한정되지 않고, 논리적인 저장장치로서 데이터베이스 구축 장치(130)에 포함되어 구현될 수 있음은 물론이다.
도 2는 도 1의 데이터베이스 구축 장치의 시스템 구성을 설명하는 도면이다.
도 2를 참조하면, 데이터베이스 구축 장치(130)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함할 수 있다.
프로세서(210)는 본 발명의 실시예에 따른 기계학습 데이터베이스 구축 프로시저를 실행할 수 있고, 이러한 과정에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄 할 수 있다. 프로세서(210)는 데이터베이스 구축 장치(130)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 데이터베이스 구축 장치(130)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Disk) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 데이터베이스 구축 장치(130)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다. 또한, 메모리(230)는 전기적으로 연결된 프로세서(210)에 의해 실행됨으로써 본 발명에 따른 데이터베이스 구축 방법을 실행하는 명령들의 집합을 저장할 수 있다.
사용자 입출력부(250)은 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함하고, 예를 들어, 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치 스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)은 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 데이터베이스 구축 장치(130)는 독립적인 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 사용자 단말(110)과 연결되기 위한 통신 환경을 제공하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다. 또한, 네트워크 입출력부(270)는 학습 데이터의 무선 전송을 위해 WiFi, 블루투스 등의 근거리 통신 기능이나 4G 이상의 무선 통신 기능을 제공하도록 구현될 수 있다.
도 3은 도 1의 데이터베이스 구축 장치의 기능적 구성을 설명하는 도면이다.
도 3을 참조하면, 데이터베이스 구축 장치(130)는 얼굴 인식부(310), 얼굴 전처리부(320), 얼굴 특징 벡터 생성부(330), 얼굴 특징 벡터 변환부(340), 얼굴 영상 복원부(350), 대응 얼굴 영상 생성부(360) 및 제어부(도 3에 미도시함)를 포함할 수 있다.
얼굴 인식부(310)는 영상 프레임을 입력받아 적어도 얼굴을 포함하는 얼굴 영역을 검출할 수 있다. 즉, 얼굴 인식부(310)는 사람의 얼굴이 포함된 영상에서 각 영상 프레임마다 얼굴이 존재하는 위치를 검출하여 해당 정보를 제공하는 동작을 수행할 수 있다. 얼굴 인식부(310)는 얼굴 인식의 정확도를 높이기 위하여 영상 프레임에 대해 전처리 동작을 수행할 수 있다. 예를 들어, 얼굴 인식부(310)는 영상 프레임에 대해 노이즈를 제거하거나 특정 필터(filter)를 적용하거나 스케일을 조정하는 등의 전처리 동작을 수행할 수 있다.
또한, 얼굴 인식부(310)는 얼굴 검출 알고리즘을 활용하여 얼굴 영역을 검출할 수 있고, 특히 심층신경망 기반의 네트워크 모델을 통해 얼굴 영역을 검출할 수 있다. 예를 들어, 얼굴 검출 모델은 얼굴 영역에 대한 바운딩 박스(Bounding Box, BB), 분할 영상(Semantic Segmentation) 및 얼굴 랜드마크(facial landmark) 등을 출력으로 생성할 수 있다. 얼굴 인식부(310)는 얼굴 영상의 획득 방법이나 사용 목적에 따라 다양한 네트워크 모델들 중 적어도 하나를 선택적으로 사용할 수 있다.
한편, 얼굴 인식부(310)는 영상 프레임마다 얼굴 영역을 검출하고 얼굴 영역을 포함하는 부분 영상 프레임을 생성할 수 있다. 얼굴 인식부(310)는 영상 프레임들 중에서 얼굴 영역이 검출된 프레임들을 선별하고, 해당 프레임들에 대해 부분 영상 프레임을 추출할 수 있다.
얼굴 전처리부(320)는 얼굴 영역을 포함하는 얼굴 영상에 대한 전처리 동작을 수행할 수 있다. 즉, 얼굴 영상은 영상 프레임 내에서 얼굴 영역을 포함하는 부분 영상 프레임들의 집합에 해당할 수 있다. 얼굴 전처리부(320)는 얼굴 영상의 각 프레임마다 얼굴 인식부(310)의 얼굴 인식 결과를 기초로 전처리 동작을 수행할 수 있다. 예를 들어, 전처리 동작에는 잘라내기(Crop), 크기 조정(Resize), 회전(Rotate), 아핀 변환(Affine Transformation), 원근 변환(Perspective Transformation) 등이 포함될 수 있다. 얼굴 전처리부(320)는 전처리 동작을 통해 얼굴 영상의 크기, 해상도, 기울기 등을 일정하게 조정할 수 있다.
얼굴 특징 벡터 생성부(330)는 심층신경망 기반의 네트워크 모델을 기초로 얼굴 영상을 인코딩(encoding)하여 얼굴 특징 벡터를 생성할 수 있다. 얼굴 특징 벡터는 얼굴에 포함된 특징들에 관한 정보를 기초로 생성될 수 있으며, 이를 위해 소정의 특징 벡터 생성 모델이 사용될 수 있다. 즉, 특징 벡터 생성 모델은 심층신경망 기반의 네트워크 모델로서 사전에 구축될 수 있으며, 얼굴 영상을 입력으로 수신하여 얼굴 영상에 대응되는 얼굴 특징 벡터를 출력으로 생성할 수 있다. 이때, 얼굴 특징 벡터의 특징값은 같은 데이터 포맷을 갖는 일정한 길이의 값들로 표현될 수 있다. 예를 들어, 얼굴 특징 벡터는 16-bit 정수형 또는 32-bit 실수형(floating point) 특징값으로 표현될 수 있다.
일 실시예에서, 얼굴 특징 벡터 생성부(330)는 특정 얼굴 영상을 입력으로 수신한 경우 특정 얼굴 영상의 얼굴 특징 벡터와의 유사도를 기준으로 유사 얼굴 특징 벡터들에 관한 리스트를 생성하여 제공할 수 있다. 얼굴 특징 벡터 생성부(330)는 선택적으로 얼굴 영상에 관한 얼굴 특징 벡터를 생성하거나 또는 얼굴 영상과 유사한 얼굴 특징 벡터들을 검색할 수 있다. 즉, 얼굴 데이터 간의 유사성은 각각의 얼굴 특징을 나타내는 얼굴 특징 벡터 간의 거리로 나타낼 수 있으며 거리값이 작을수록 유사하고 거리값이 일정한 기준값 이내인 경우 동일한 얼굴로 판단될 수 있다. 얼굴 특징 벡터 생성부(330)는 특정 얼굴 영상의 얼굴 특징 벡터를 생성한 다음 얼굴 특징 벡터와의 유사도에 따라 유사 얼굴 특징 벡터들에 대한 리스트를 생성할 수 있다. 이때, 유사 얼굴 특징 벡터는 기준이 되는 얼굴 특징 벡터와의 거리값이 기 설정된 기준값 이내인 얼굴 특징 벡터에 해당할 수 있다.
얼굴 특징 벡터 변환부(340)는 얼굴 특징 벡터에 단방향 대응되고 개인 식별 가능한 요소가 제거된 대응 얼굴 특징 벡터를 생성할 수 있다. 여기에서, 대응 얼굴 특징 벡터는 얼굴 영상에서 개인 특성 정보가 제거된(또는 변환된) 얼굴의 얼굴 특징 정보에 해당할 수 있다. 즉, 얼굴 특징 벡터 변환부(340)는 얼굴 특징 벡터에서 개인 식별 가능한 요소들을 제거하여(또는 변경하여) 대응 얼굴 특징 벡터를 생성할 수 있다. 이때, 대응 얼굴 특징 벡터의 생성에는 심층신경망 기반의 네트워크 모델, 정적 함수 등이 사용될 수 있다.
일 실시예에서, 얼굴 특징 벡터 변환부(340)는 얼굴 특징 벡터에 비가역적이고 복호화 불가능한 단방향 함수를 적용하여 대응 얼굴 특징 벡터를 생성할 수 있다. 이때, 사용되는 단방향 함수는 비가역적(irreversible)이고 복호화 불가능(undecodable)한 특성을 가질 수 있으며, 이에 따라 대응 얼굴 특징 벡터를 기초로 원래의 얼굴 특징 벡터를 복원하는 것은 불가능할 수 있다. 예를 들어, 단방향 함수에는 해시 함수, 단방향 인코딩 함수 등이 포함될 수 있다. 또한, 단방향 함수는 동일한 얼굴 특징 벡터를 입력으로 사용하는 경우 항상 동일한 출력을 생성하도록 구현될 수 있다. 얼굴 특징 벡터 변환부(340)에 의해 생성된 대응 얼굴 특징 벡터는 개인의 특성 정보가 제거된 결과 이를 기초로 실제 누구의 얼굴인지를 식별할 수 없는 반면 다른 영상 프레임에서의 얼굴과 유사한지 여부를 결정하는데 사용될 수 있다.
얼굴 영상 복원부(350)는 얼굴 특징 벡터를 이용하여 얼굴 영상을 복원할 수 있다. 예를 들어, 얼굴 영상 복원부(350)는 얼굴 특징 벡터를 기초로 얼굴 영상을 생성하는 얼굴 영상 생성모듈을 포함하여 구현될 수 있다. 얼굴 영상 생성모듈은 얼굴 특징 벡터에 대응되는 얼굴 영상 프레임을 생성하는 복원 동작을 수행할 수 있다.
일 실시예에서, 얼굴 영상 복원부(350)는 외부로부터의 접근이 차단된 상태에서 승인된 권한에 의해 얼굴 영상에 관한 복원 동작을 제한적으로 개시할 수 있다. 즉, 얼굴 영상 복원부(350)는 얼굴 영상 생성모듈을 비공개 상태로 제어할 수 있으며, 외부로부터 복원 요청을 수신한 경우 해당 복원 요청의 권한을 검사하여 해당 권한이 승인된 권한인지를 결정할 수 있다. 얼굴 영상 복원부(350)는 승인된 권한을 갖는 복원 요청에 대해서만 응답하여 얼굴 영상 생성모듈의 동작을 제어함으로써 복원된 얼굴 영상을 제한적으로 생성할 수 있으며, 이에 따라 얼굴 특징 벡터만을 저장하여 개인정보를 암호화할 수 있다.
일 실시예에서, 얼굴 영상 복원부(350)는 대응 얼굴 특징 벡터를 이용하여 얼굴 영상에서 개인 식별 가능한 요소가 제거된 대응 얼굴 영상으로 복원할 수 있다. 얼굴 영상 복원부(350)는 얼굴 특징 벡터를 기초로 개인 특성 정보를 포함하는 얼굴 영상을 생성할 수 있고, 대응 얼굴 특징 벡터를 기초로 개인 특성 정보가 제거되거나 또는 변환된 대응 얼굴 영상을 생성할 수 있다. 대응 얼굴 특징 벡터에 기반하여 복원된 대응 얼굴 영상의 경우 개인을 식별하는데 활용될 수 없는 반면 얼굴 표정이나 상태에 관한 특징 정보를 포함하고 있어 영상내 상황 분석 등에 활용될 수 있다. 이에 따라, 하나의 얼굴 특징 벡터에 기반하여 다수의 대응 얼굴 특징 벡터들이 생성된 경우 각 대응 얼굴 특징 벡터들마다 대응 얼굴 영상이 각각 생성될 수 있으며, 해당 대응 얼굴 영상들은 서로 다른 얼굴에 대해 동일한 표정이나 상태 등으로 표현될 수 있다.
대응 얼굴 영상 생성부(360)는 단일 얼굴 영상과 적어도 하나의 대응 얼굴 특징 벡터를 이용하여 단일 얼굴 영상에 대응되면서 적어도 하나의 대응 얼굴 특징 벡터가 적용된 적어도 하나의 대응 얼굴 영상을 생성할 수 있다. 이를 위해, 대응 얼굴 영상 생성부(360)는 심층신경망 기반의 네트워크 모델을 사전에 구축하여 활용할 수 있다. 즉, 해당 네트워크 모델은 얼굴 영상과 대응 얼굴 특징 벡터를 입력으로 수신하여 얼굴 영상에서 원래의 얼굴 특징 벡터를 제거한 후 대응 얼굴 특징 벡터를 대신 적용한 결과로서 가상의 얼굴 영상을 출력으로 생성할 수 있다. 이를 통해, 원래의 얼굴에 대해 개인 특성 정보를 제외한 표정 등의 얼굴 상태가 동일하게 적용된 가상의 얼굴이 생성될 수 있으며, 이에 따라 개인 정보를 보호함과 동시에 얼굴 정보의 활용을 극대화시킬 수 있다.
일 실시예에서, 대응 얼굴 영상 생성부(360)는 얼굴 특징 벡터 변환부 (340)에서 변환된 얼굴 특징 벡터를 대응 얼굴 특징 벡터에 적용하여 적어도 하나의 대응 얼굴 영상을 생성할 수 있다. 즉, 얼굴 특징 벡터 변환부(340)는 복수개의 알고리즘 혹은 심층신경망 기반의 네트워크 모델을 사용하여 복수개의 대응 얼굴 특징 벡터를 생성할 수 있으며, 대응 얼굴 특징 벡터들은 얼굴 영상에 적용되어 가상의 얼굴에 관한 다양한 얼굴 영상들을 생성하는데 활용됨으로써 얼굴 영상에 관한 데이터베이스 구축을 효과적으로 수행할 수 있다.
제어부(도 3에 미도시함)는 데이터베이스 구축 장치(130)의 전체적인 동작을 제어하고, 얼굴 인식부(310), 얼굴 전처리부(320), 얼굴 특징 벡터 생성부(330), 얼굴 특징 벡터 변환부(340), 얼굴 영상 복원부(350) 및 대응 얼굴 영상 생성부(360) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 4는 본 발명에 따른 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 방법을 설명하는 순서도이다.
도 4를 참조하면, 데이터베이스 구축 장치(130)는 얼굴 인식부(310)를 통해 영상 프레임을 입력받아 적어도 얼굴을 포함하는 얼굴 영역을 검출할 수 있다(단계 S410). 데이터베이스 구축 장치(130)는 얼굴 전처리부(320)를 통해 얼굴 영역을 포함하는 얼굴 영상에 대한 전처리 동작을 수행할 수 있다(단계 S430).
또한, 데이터베이스 구축 장치(130)는 얼굴 특징 벡터 생성부(330)를 통해 심층신경망 기반의 네트워크 모델을 기초로 얼굴 영상을 인코딩하여 얼굴 특징 벡터를 생성할 수 있다(단계 S450). 데이터베이스 구축 장치(130)는 얼굴 특징 벡터 변환부(340)를 통해 얼굴 특징 벡터에 단방향 대응되고 개인 식별 가능한 요소가 제거된 대응 얼굴 특징 벡터를 생성할 수 있다(단계 S470).
도 5는 본 발명에 따른 얼굴 인식 및 전처리 과정을 설명하는 도면이다.
도 5를 참조하면, 데이터베이스 구축 장치(130)는 심층신경망 기반의 네트워크 모델을 구성하여 영상 프레임을 입력으로 수신하여 영상 프레임 내에서 얼굴의 위치를 인식할 수 있다. 이때, 인식 결과에는 Bounding box, Semantic segmentation, Facial landmark 등의 정보가 포함될 수 있다.
또한, 데이터베이스 구축 장치(130)는 얼굴 위치 인식 결과를 기반으로 얼굴의 전처리 작업을 진행할 수 있다. 예를 들어, 전처리 과정에는 Crop, Resize, Rotate, Affine Transformation, Perspective Transformation 등이 포함될 수 있다.
도 6은 본 발명에 따른 얼굴 특징 벡터 생성 과정을 설명하는 도면이다.
도 6을 참조하면, 데이터베이스 구축 장치(130)는 심층신경망 기반의 네트워크 모델을 구성하여 얼굴 영상(610)을 입력으로 수신하여 얼굴 특징 벡터(630)를 출력으로 생성할 수 있다. 이때, 네트워크 모델은 얼굴 영상(610)을 부호화(또는 암호화) 하여 소정의 길이를 갖는 특징값으로 변환할 수 있다. 변환된 얼굴 특징 벡터(630)는 암호화된 정보에 해당할 수 있으며, 별도의 얼굴 영상 복원 과정을 통해 복원될 수 있으나 해당 과정의 실행을 제한함으로써 얼굴 영상(610)에 포함된 개인 특성 정보를 효과적으로 보호할 수 있다.
도 7은 본 발명에 따른 얼굴 특징 벡터의 특성을 설명하는 도면이다.
도 7을 참조하면, 데이터베이스 구축 장치(130)는 얼굴 영상을 인코딩하여 얼굴 영상에 대응되는 얼굴 특징 벡터를 생성할 수 있다. 이때, 동일인에 대한 얼굴 영상들이 각각 서로 다른 시점에 촬영된 영상이라 하더라도 동일인의 얼굴 특징 벡터들은 유사성이 존재하여 작은 차이를 나타낼 수 있고, 다른 사람의 얼굴 특징 벡터와는 큰 차이를 나타낼 수 있다.
즉, 데이터베이스 구축 장치(130)는 얼굴 특징 벡터의 유사성을 분석하여 두 얼굴이 동일인물인지 여부를 판별할 수 있으며, 추가적으로 얼굴 영상을 입력받아 해당 얼굴 영상과 동일한 얼굴 영상 또는 얼굴 특징 벡터를 데이터베이스(150)에서 조회하여 그 결과를 제공할 수 있다. 특히, 데이터베이스 구축 장치(130)는 얼굴 영상 대신 얼굴 특징 벡터를 활용함으로써 다른 사람의 얼굴 영상이 제3자에게 노출되는 것을 효과적으로 예방할 수 있다.
도 8은 본 발명에 따른 개인 특성 변환 얼굴 특징 벡터 생성 과정을 설명하는 도면이다.
도 8을 참조하면, 데이터베이스 구축 장치(130)는 얼굴 특징 벡터를 입력으로 수신하여 단방향으로 대응하는 특성이 변화된 얼굴의 대응 얼굴 특징 벡터를 생성할 수 있다. 대응 얼굴 특징 벡터의 생성에는 심층신경망 기반의 네트워크 모델 또는 정적 함수 등이 사용될 수 있다. 대응 얼굴 특징 벡터는 얼굴 특징 벡터에 기반하여 생성될 수 있으나, 생성된 대응 얼굴 특징 벡터를 기초로 본래의 얼굴 특징 벡터를 복원하거나 혹은 특정하는 것은 불가능할 수 있다. 결과적으로, 데이터베이스 구축 장치(130)는 단방향 변환을 통해 개인 정보를 효과적으로 보호할 수 있다.
또한, 동일 인물의 얼굴 특징 벡터를 입력으로 사용하는 경우 대응 얼굴 특징 벡터 또한 일관되게 동일한 값으로 출력될 수 있다. 이를 통해, 데이터베이스 구축 장치(130)는 생성된 얼굴이 누구인지 식별할 수 없지만 다른 영상 프레임에서의 얼굴과 동일 인물인지 여부에 대해서는 식별할 수 있다.
한편, 데이터베이스 구축 장치(130)는 독립적으로 구현되는 얼굴영상생성기와 얼굴 특징 벡터를 사용하여 얼굴을 복원할 수 있으며, 이때 사용되는 얼굴영상생성기는 외부에 공개되지 않도록 구현되어 원본 얼굴 특징 벡터만을 저장함으로써 개인 정보를 암호화하는 것이 가능할 수 있다.
도 9는 본 발명에 따른 개인 특성 변환 얼굴 생성 과정을 설명하는 도면이다.
도 9를 참조하면, 데이터베이스 구축 장치(130)는 심층신경망 기반의 네트워크 모델을 구축한 후 얼굴 영상과 얼굴 특징 벡터를 입력으로 수신한 다음 얼굴의 기존 특징 벡터를 제거하고 입력된 얼굴 특징 벡터가 반영된 가상의 얼굴을 생성할 수 있다. 이때, 생성된 가상의 얼굴은 기존 특징 벡터 이외에 얼굴 표정과 같은 얼굴 상태가 동일하게 유지될 수 있다. 이를 통해 개인정보를 보호함과 동시에 얼굴 정보의 활용이 가능할 수 있다.
도 9에서, 원본 얼굴 영상에 대해 대응 얼굴 특징 벡터를 적용한 결과 원래의 인물과 다른 가상의 인물에 대한 얼굴 영상이 생성될 수 있다. 다만, 개인 특성 정보만 변경된 결과 얼굴 표정이나 안경 쓴 상태 등은 그대로 유지될 수 있다. 또한, 프레임 1 및 2에서 동일한 대응 얼굴 특징 벡터가 적용된 결과 생성된 가상의 인물 역시 동일할 수 있다.
도 10은 본 발명에 따른 데이터베이스 구축 시스템의 전체적인 개념을 설명하는 도면이다.
도 10을 참조하면, 데이터베이스 구축 장치(130)는 사람의 얼굴이 포함된 영상 데이터를 입력으로 수신하여 얼굴 인식을 통해 얼굴 영역에 관한 얼굴 영상을 획득할 수 있다. 데이터베이스 구축 장치(130)는 얼굴 영상으로부터 개인 특성 정보가 포함된 원본 얼굴 특징 벡터를 생성할 수 있고, 필요에 따라 데이터베이스(DB)에 저장하여 활용할 수 있다. 이때, 얼굴 특징 벡터는 암호화된 정보에 해당할 수 있으며, 별도의 얼굴 영상 생성기를 통해 제한적으로 복원될 수 있으므로 이후 얼굴 특징 벡터의 활용 과정에서 개인 정보를 효과적으로 보호할 수 있다.
또한, 데이터베이스 구축 장치(130)는 얼굴 특징 벡터에 단방향으로 대응되는 대응 얼굴 특성 벡터를 생성할 수 있다. 대응 얼굴 특성 벡터는 개인 특성 정보가 제거된 얼굴 정보를 포함할 수 있으며, 필요에 따라 데이터베이스(DB)에 저장하여 활용할 수 있다. 즉, 데이터베이스 구축 장치(130)는 대응 얼굴 특성 벡터를 이용하여 원본 얼굴 영상에서 개인 특성 정보가 제거된 가상의 얼굴 영상을 생성할 수 있으며, 데이터베이스(DB)를 통해 기 구축된 다양한 대응 얼굴 특성 벡터들을 활용하여 하나의 원본 얼굴 영상으로부터 다양한 특성 변환 얼굴 영상들을 효과적으로 생성할 수 있다.
또한, 데이터베이스 구축 장치(130)는 가상의 특성 변환 얼굴 영상을 원래의 영상 데이터에 적용함으로써 원래의 인물의 개인 특성이 변환된 영상 데이터를 생성할 수도 있다.
본 발명에 따른 데이터베이스 구축 장치(130)는 특성이 변화된 얼굴 특징 벡터로부터 얼굴의 특성을 변화시킨 영상을 생성하고 저장하여 기계학습 데이터베이스를 효과적으로 구축할 수 있다. 특히, 데이터베이스 구축 장치(130)는 원본 얼굴 특징 벡터를 저장하여 개인 정보를 암호화할 수 있으며, 특정인의 얼굴 영상으로부터 추출된 얼굴 특징 벡터와 가장 유사한 기록을 조회하여 제공할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
[부호의 설명]
100: 데이터베이스 구축 시스템
110: 사용자 단말 130: 데이터베이스 구축 장치
150: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 얼굴 인식부 320: 얼굴 전처리부
330: 얼굴 특징 벡터 생성부 340: 얼굴 특징 벡터 변환부
350: 얼굴 영상 복원부 360: 대응 얼굴 영상 생성부

Claims (8)

  1. 영상 프레임을 입력받아 적어도 얼굴을 포함하는 얼굴 영역을 검출하는 얼굴 인식부;
    상기 얼굴 영역을 포함하는 얼굴 영상에 대한 전처리 동작을 수행하는 얼굴 전처리부;
    심층신경망 기반의 네트워크 모델을 기초로 상기 얼굴 영상을 인코딩하여 얼굴 특징 벡터를 생성하는 얼굴 특징 벡터 생성부; 및
    상기 얼굴 특징 벡터에 단방향 대응되고 개인 식별 가능한 요소가 제거된 대응 얼굴 특징 벡터를 생성하는 얼굴 특징 벡터 변환부;를 포함하는 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템.
  2. 제1항에 있어서,
    상기 얼굴 특징 벡터를 이용하여 상기 얼굴 영상을 복원하는 얼굴 영상 복원부;를 더 포함하는 것을 특징으로 하는 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템.
  3. 제2항에 있어서, 상기 얼굴 영상 복원부는
    외부로부터의 접근이 차단된 상태에서 승인된 권한에 의해 상기 얼굴 영상에 관한 복원 동작을 제한적으로 개시하는 것을 특징으로 하는 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템.
  4. 제2항에 있어서, 상기 얼굴 영상 복원부는
    상기 대응 얼굴 특징 벡터를 이용하여 상기 얼굴 영상에서 개인 식별 가능한 요소가 제거된 대응 얼굴 영상으로 복원하는 것을 특징으로 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템.
  5. 제1항에 있어서,
    단일 얼굴 영상과 적어도 하나의 대응 얼굴 특징 벡터를 이용하여 상기 단일 얼굴 영상에 대응되면서 상기 적어도 하나의 대응 얼굴 특징 벡터가 적용된 적어도 하나의 대응 얼굴 영상을 생성하는 대응 얼굴 영상 생성부;를 더 포함하는 것을 특징으로 하는 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템.
  6. 제5항에 있어서, 상기 대응 얼굴 영상 생성부는
    상기 얼굴 특징 벡터 변환부에서 변환된 얼굴 특징 벡터를 상기 대응 얼굴 특징 벡터에 적용하여 상기 적어도 하나의 대응 얼굴 영상을 생성하는 것을 특징으로 하는 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템.
  7. 제1항에 있어서, 상기 얼굴 특징 벡터 생성부는
    특정 얼굴 영상을 입력으로 수신한 경우 상기 특정 얼굴 영상의 얼굴 특징 벡터와의 유사도를 기준으로 유사 얼굴 특징 벡터들에 관한 리스트를 생성하여 제공하는 것을 특징으로 하는 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템.
  8. 제1항에 있어서, 상기 얼굴 특징 벡터 변환부는
    상기 얼굴 특징 벡터에 비가역적이고 복호화 불가능한 단방향 함수를 적용하여 상기 대응 얼굴 특징 벡터를 생성하는 것을 특징으로 하는 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템.
PCT/KR2022/021268 2022-01-20 2022-12-26 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템 WO2023140519A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0008736 2022-01-20
KR1020220008736A KR102500252B1 (ko) 2022-01-20 2022-01-20 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템

Publications (1)

Publication Number Publication Date
WO2023140519A1 true WO2023140519A1 (ko) 2023-07-27

Family

ID=85327716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/021268 WO2023140519A1 (ko) 2022-01-20 2022-12-26 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템

Country Status (2)

Country Link
KR (1) KR102500252B1 (ko)
WO (1) WO2023140519A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100134079A (ko) * 2008-03-31 2010-12-22 구글 인코포레이티드 이미지 내의 자동 얼굴 검출 및 식별 마스킹, 및 그 응용
KR20170050465A (ko) * 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법
KR101904924B1 (ko) * 2017-03-31 2018-10-05 제주대학교 산학협력단 얼굴 영상 가상화 장치
KR102189405B1 (ko) * 2020-04-10 2020-12-11 주식회사 센스비전 실시간 영상에서 안면을 인식하는 시스템
US20210176239A1 (en) * 2019-12-09 2021-06-10 Evan Chase Rose Facial Recognition, Image Analysis, and Decentralized Learning Framework Using Adaptive Security Protocols in Distributed Terminal Network

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101487461B1 (ko) 2014-06-26 2015-01-28 우원소프트 주식회사 개인영상 정보보호 기능이 탑재된 얼굴인식 보안 관제 시스템
KR102184493B1 (ko) * 2018-12-31 2020-11-30 주식회사 포스코아이씨티 Ai 기반의 얼굴인식 시스템
KR102137329B1 (ko) * 2018-12-24 2020-07-23 주식회사 포스코아이씨티 딥러닝 기반의 얼굴인식모델을 이용하여 특징벡터를 추출하는 얼굴인식시스템
KR20210129398A (ko) * 2020-04-20 2021-10-28 주식회사딜루션 딥러닝을 이용하는 얼굴 인식 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100134079A (ko) * 2008-03-31 2010-12-22 구글 인코포레이티드 이미지 내의 자동 얼굴 검출 및 식별 마스킹, 및 그 응용
KR20170050465A (ko) * 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법
KR101904924B1 (ko) * 2017-03-31 2018-10-05 제주대학교 산학협력단 얼굴 영상 가상화 장치
US20210176239A1 (en) * 2019-12-09 2021-06-10 Evan Chase Rose Facial Recognition, Image Analysis, and Decentralized Learning Framework Using Adaptive Security Protocols in Distributed Terminal Network
KR102189405B1 (ko) * 2020-04-10 2020-12-11 주식회사 센스비전 실시간 영상에서 안면을 인식하는 시스템

Also Published As

Publication number Publication date
KR102500252B1 (ko) 2023-02-17

Similar Documents

Publication Publication Date Title
WO2020022703A1 (en) Method for concealing data and data obfuscation device using the same
WO2017213398A1 (en) Learning model for salient facial region detection
WO2023282520A1 (ko) 목소리 개인정보 보호 기술을 이용한 학습 데이터베이스 구축 방법 및 시스템
WO2022124701A1 (en) Method for producing labeled image from original image while preventing private information leakage of original image and server using the same
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2022086147A1 (en) Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same
EP4232992A1 (en) Method for training and testing obfuscation network capable of processing data to be obfuscated for privacy, and training device and testing device using the same
WO2023128345A1 (ko) 동형 암호화된 이미지를 이용한 개인 식별 방법 및 시스템
WO2023096445A1 (en) Method for generating obfuscated image to be used in training learning network and labeling device using the same
WO2021040287A1 (ko) 사람 재식별 장치 및 방법
WO2016200058A1 (ko) 바이너리 병합 장치, 방법 및 컴퓨터 프로그램
WO2023167466A1 (ko) 음성 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템
CN113139527B (zh) 视频隐私保护方法、装置、设备及存储介质
WO2022220354A1 (ko) 어군 생태계의 이상 여부를 감지하기 위한 어군 생태계 모니터링 시스템 장치 및 그 동작 방법
WO2020067615A1 (ko) 익명화 성능을 향상시키기 위한 영상 익명화 장치의 제어 방법 및 이를 위한 장치
WO2023140519A1 (ko) 얼굴 개인정보 보호 기술을 이용한 기계학습 데이터베이스 구축 시스템
WO2020050456A1 (ko) 설비 데이터의 이상 정도 평가 방법
WO2019017720A1 (ko) 사생활 보호를 위한 카메라 시스템 및 그 방법
WO2022045485A1 (ko) 랜드마크를 함께 생성하는 발화 동영상 생성 장치 및 방법
WO2021221256A1 (ko) 전자 장치 및 그의 제어 방법
WO2023210884A1 (ko) 비지역적 평균 기반의 노이즈 제거 장치 및 방법
WO2023096444A1 (en) Learning method and learning device for training obfuscation network capable of obfuscating original data for privacy and testing method and testing device using the same
JP7048147B2 (ja) 捜索システム、捜索装置、端末装置、捜索方法、及びプログラム
WO2019225799A1 (ko) 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
WO2021230470A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22922376

Country of ref document: EP

Kind code of ref document: A1