KR20200036656A - 얼굴 이미지 비식별화 장치 및 방법 - Google Patents

얼굴 이미지 비식별화 장치 및 방법 Download PDF

Info

Publication number
KR20200036656A
KR20200036656A KR1020180116572A KR20180116572A KR20200036656A KR 20200036656 A KR20200036656 A KR 20200036656A KR 1020180116572 A KR1020180116572 A KR 1020180116572A KR 20180116572 A KR20180116572 A KR 20180116572A KR 20200036656 A KR20200036656 A KR 20200036656A
Authority
KR
South Korea
Prior art keywords
image
emoji
face image
face
deep learning
Prior art date
Application number
KR1020180116572A
Other languages
English (en)
Other versions
KR102503939B1 (ko
Inventor
한종욱
김건우
박소희
오선호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180116572A priority Critical patent/KR102503939B1/ko
Priority to US16/574,531 priority patent/US10949650B2/en
Publication of KR20200036656A publication Critical patent/KR20200036656A/ko
Application granted granted Critical
Publication of KR102503939B1 publication Critical patent/KR102503939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T3/0056—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

얼굴 이미지 비식별화 장치 및 방법이 개시된다. 얼굴 이미지 비식별화 장치는, 데이터 베이스에 저장되어 있는 얼굴 이미지를 이용하여, 상기 얼굴 이미지에 대응하는 얼굴 특징 정보를 포함하는 제1 이모지 이미지를 생성하는 이모지 생성기, 그리고 상기 제1 이모지 이미지를 상기 얼굴 이미지에 대체하여 상기 데이터 베이스에 삽입하는 영상 삽입부를 포함할 수 있다.

Description

얼굴 이미지 비식별화 장치 및 방법{FACE IMAGE DE-IDENTIFICATION APPARATUS AND METHOD}
본 발명은 얼굴 이미지 비식별화 장치 및 방법에 관한 것이다.
최근 지능형 영상감시기술 분야에서 딥러닝 기술의 활용이 급증하고 있으며, 일부 응용에서는 인간의 인식 능력을 뛰어넘는 성공적인 기술 개발이 이루어지고 있다. 딥러닝에 기반한 얼굴 인식기술을 개발하기 위해서는 방대한 학습 데이터베이스(DB, Data Base)가 필요하나, 구축된 학습 DB가 외부로 노출될 경우 사생활 침해 문제가 발생할 수 있다. 이로 인해, 학습 DB 확보 자체가 어려운 상황이다. 이에 따라, 학습 DB용으로 수집된 영상들이 외부로 유추될 경우에도 개인정보(identity)가 노출되지 않으며 동시에 학습용 DB로도 사용될 수 있게 하는 보호기술이 요구되고 있다.
얼굴 이미지의 노출 시 발생될 수 있는 사생활 침해 문제를 해결하기 위해, 영상정보에 대한 마스킹 기술이나 암호화 기술 등이 사용되고 있다. 이러한 기존 기술들이 얼굴 학습 DB에 적용된다고 하더라도, 얼굴 학습을 위해서는 언마스킹 또는 복호화 과정 수행을 통해 원 얼굴 이미지를 사용하게 되므로, 근본적으로 안전한 대책이라고 볼 수 없다. 또한 학습이 이루어질 때 마다 언마스킹 하거나 복호화하여야 하므로 방대한 얼굴 이미지를 실시간으로 디코딩하기 위해 장시간의 처리 시간이 소요된다. 따라서 이러한 기술들은 현실적으로 학습 DB에 적용하는데 한계를 갖는 기술들이다.
딥러닝 얼굴인식 기술을 위한 학습 DB에 대한 보호 대책을 마련하기 위해서는 학습 DB로 사용되는 얼굴 이미지에 대한 얼굴의 특징 정보들을 유지하면서 외부로 유출되더라도 사람 얼굴을 인지(identity)하지 못하게 하는 얼굴 보호 기술이 필요하다. 즉, 초기 학습 DB 구축시 일회에 한하여 얼굴을 디코딩하고 이후에는 변환된 얼굴 이미지 그대로를 학습용 얼굴 이미지로 사용할 수 있는 기술이 필요하다.
본 발명이 해결하고자 하는 과제는 학습용 얼굴 이미지를 보호할 수 있는 얼굴 이미지 비식별화 장치 및 방법을 제공하는 것이다.
본 발명의 실시예에 따르면, 얼굴 이미지 비식별화 장치가 제공된다. 상기 얼굴 이미지 비식별화 장치는 데이터 베이스에 저장되어 있는 얼굴 이미지를 이용하여, 상기 얼굴 이미지에 대응하는 얼굴 특징 정보를 포함하는 제1 이모지 이미지를 생성하는 이모지 생성기, 그리고 상기 제1 이모지 이미지를 상기 얼굴 이미지에 대체하여 상기 데이터 베이스에 삽입하는 영상 삽입부를 포함할 수 있다.
상기 이모지 생성기는 상기 얼굴 이미지를 이용하여 상기 제1 이모지 이미지를 생성하는 이모지 변환 딥러닝 모델을 포함할 수 있다.
상기 이모지 변환 딥러닝 모델은 기준용 얼굴 이미지에 대해서 이모지 변환 딥러닝 네트워크를 적용하여 제2 이모지 이미지를 생성하고, 상기 제2 이모지 이미지에 대응하는 얼굴 특징정보와 상기 기준용 얼굴 이미지에 대응하는 얼굴 특징 정보간의 유사도가 소정의 임계값보다 높도록 상기 이모지 딥러닝 네트워크를 학습시킴으로써, 구성될 수 있다.
상기 이모지 변환 딥러닝 네트워크는 GAN(Generative Adversarial Network)의 생성망(Generator)일 수 있다.
상기 얼굴 이미지 비식별화 장치는, 상기 데이터 베이스로부터 원본 이미지를 추출하는 영상 추출부, 상기 원본 이미지에서 사람에 대한 이미지를 검출하는 객체 검출부, 그리고 상기 사람에 대한 이미지에서 상기 얼굴 이미지를 검출하는 얼굴 이미지 검출부를 더 포함할 수 있다.
상기 기준용 얼굴 이미지는 외부에서 공개되어 있는 얼굴 이미지일 수 있다.
본 발명의 다른 실시예에 따르면, 얼굴 이미지 비식별화 장치가 얼굴 이미지를 비식별화하는 방법이 제공된다. 상기 방법은, 상기 얼굴 이미지에 대응하는 얼굴 특징 정보를 포함하는 제1 이모지 이미지를 생성하는 이모지 변환 딥러닝 모델을 구성하는 단계, 상기 얼굴 이미지에 상기 이모지 변환 딥러닝 모델을 적용하여, 상기 제1 이모지 이미지를 생성하는 단계, 그리고 상기 얼굴 이미지를 상기 제1 이모지 이미지로 대체하는 단계를 포함할 수 있다.
상기 이모지 변환 딥러닝 모델을 구성하는 단계는, 기준용 얼굴 이미지에 대해서 이모지 변환 딥러닝 네트워크를 적용하여 제2 이모지 이미지를 생성하는 단계, 상기 제2 이모지 이미지에 대응하는 얼굴 특징 정보를 추출하는 단계, 상기 기준용 얼굴 이미지에 대응하는 얼굴 특징 정보를 추출하는 단계, 상기 제2 이모지 이미지의 얼굴 특징 정보와 상기 기준용 얼굴 이미지의 얼굴 특징 정보간의 유사도를 계산하는 단계, 그리고 상기 유사도가 소정의 임계값보다 높을 때까지 상기 이모지 변환 딥러닝 네트워크를 학습시키는 단계를 포함할 수 있다.
상기 이모지 변환 딥러닝 네트워크는 GAN(Generative Adversarial Network)의 생성망(Generator)일 수 있다.
상기 유사도를 계산하는 단계는 GAN(Generative Adversarial Network)의 판별망(Discriminator)을 적용하여 상기 유사도를 계산하는 단계를 포함할 수 있다.
상기 방법은, 데이트 베이스로부터 원본 이미지를 추출하는 단계, 상기 원본 이미지에서 사람에 대한 이미지를 검출하는 단계, 그리고 상기 사람에 대한 이미지에서 상기 얼굴 이미지를 검출하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 얼굴 이미지를 비식별화하는 얼굴 이미지 비식별화 장치가 제공된다. 상기 얼굴 이미지 비식별화 장치는, 상기 얼굴 이미지에 대해서 이모지 변환 딥러닝 모델을 적용하여 이모지 이미지를 생성하며, 상기 얼굴 이미지의 얼굴 특징 정보와 상기 이모지 이미지의 얼굴 특징 정보간의 유사도가 소정의 임계값보다 높도록 미리 학습되어 있는 상기 이모지 변환 딥러닝 모델을 포함하는 이모지 생성부, 그리고 상기 이모지 이미지를 상기 얼굴 이미지로 대체하여 데이터 베이스에 삽입하는 영상 삽입부를 포함할 수 있다.
상기 이모지 변환 딥러닝 모델은 GAN(Generative Adversarial Network)의 생성망(Generator)일 수 있다.
상기 이모지 변환 딥러닝 모델은 상기 얼굴 이미지에 포함되어 있는 얼굴의 정체성이 사람의 시각적으로는 파악되지 않도록, 미리 학습되어 있을 수 있다.
본 발명의 실시예에 따르면 얼굴 이미지를 얼굴 특징 정보를 포함하는 이모지 이미지로 변경함으로써, 학습 영상 DB의 외부 유출 시에도 학습용 얼굴 이미지를 보호할 수 있다.
본 발명의 실시예에 따르면 이모지 이미지가 얼굴 특징 정보는 그대로 유지하고 있으므로, 딥러닝 기반 얼굴인식기술 개발을 위한 학습 및 검증용 DB로 사용될 수 있다.
도 1은 본 발명의 실시예에 따른 얼굴 이미지 비식별화 장치와 학습 영상 DB와의 관계를 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 얼굴 이미지 비식별화 장치를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 이모지 생성부가 이모지 변환 딥러닝 모델을 구성하는 방법을 나타내는 플로우차트이다.
도 4는 본 발명의 실시예에 따른 컴퓨터 시스템을 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 실시예에 따른 얼굴 이미지 비식별화 장치는 사람의 시각적으로는 신원(identity)을 확인할 수 없지만 학습용으로는 활용하기 위해, 얼굴 특징 정보를 유지하는 이모지(emoji)를 생성하여, 학습용 얼굴 이미지를 보호할 수 있다. 이러한 얼굴 이미지 비식별화 장치에 대해서 아래에서 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 얼굴 이미지 비식별화 장치와 학습 영상 DB와의 관계를 나타내는 블록도이다.
학습 영상 DB(Data Base)(100)는 딥러닝에 사용되는 영상에 대한 데이터를 저장하는 데이터 베이스이다. 학습 영상 DB(100)는 얼굴 이미지를 포함하는 복수의 영상을 저장하고 있다.
얼굴 이미지 비식별화 장치(200)는 학습 영상 DB(100)로부터 원본 이미지를 추출하고 추출된 원본 이미지로부터 사람을 추출하고 추출된 사람으로부터 개인정보를 포함하는 얼굴 영역만을 검출하여, 얼굴 이미지를 추출한다. 그리고 얼굴 이미지 비식별화 장치(200)는 추출한 얼굴 이미지를 이용하여 얼굴을 대체할 이모지 이미지를 생성하고 생성한 이모지 이미지를 학습 영상 DB(100)에 삽입한다.
도 2는 본 발명의 실시예에 따른 얼굴 이미지 비식별화 장치(200)를 나타내는 블록도이다.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 얼굴 이미지 비식별화 장치(200)는 영상 추출부(210), 객체 검출부(220), 얼굴 이미지 검출부(230), 이모지 생성부(240), 그리고 영상 삽입부(250)를 포함한다.
영상 추출부(210)는 학습 영상 DB(100)로부터 원본 이미지를 추출한다. 여기서 원본 이미지는 사람의 얼굴에 대한 이미지를 포함하는 영상 데이터이다.
객체 검출부(220)는 영상 추출부(210)가 추출한 원본 이미지에서 객체인 사람에 대한 이미지만을 검출한다. 즉, 객체 검출부(220)는 원본 이미지에서 사람 이미지 부분만을 검출한다. 객체 검출부(220)가 사람을 검출하는 방법은 본 발명이 속하는 기술분야에서 통상 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다.
얼굴 이미지 검출부(230)는 객체 검출부(220)가 검출한 사람 이미지에서 얼굴에 대한 이미지만을 검출한다. 즉, 얼굴 이미지 검출부(230)는 사람 이미지에서 얼굴 이미지 부분만을 검출한다. 얼굴 이미지 검출부(230)가 얼굴 이미지를 검출하는 방법은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다.
한편, 학습 영상 DB(100)가 얼굴 이미지 자체만을 저장하고 있는 경우에는 영상 추출부(210)는 학습 영상 DB(100)에서 직접 얼굴 이미지를 추출할 수 있다. 이런 경우 객체 검출부(220) 및 얼굴 이미지 검출부(230)는 생략될 수 있다.
이모지 생성부(240)는 얼굴 이미지 검출부(230)가 추출한 얼굴 이미지를 이용하여, 얼굴을 대체할 이모지(emoji) 이미지를 생성한다. 이모지 생성부(240)는 사람의 시각적으로는 얼굴 이미지의 중요 얼굴 특징만이 강조되는 형태로 이모지 이미지를 생성한다. 그리고 이모지 생성부(240)는 얼굴인식기 관점에서는 얼굴 이미지가 갖는 얼굴 특징 정보(눈, 코, 입의 위치, 이들 서로간의 간격 등)를 최대한 갖게 하여 얼굴인식기를 통해서는 얼굴 이미지와 생성된 이미지가 동일한 얼굴로 인식되도록, 이모지 이미지를 생성한다. 이러한 이모지 생성부(240)는 딥러닝 네트워크를 기반으로 구현되며, 이에 대해서는 아래의 도 3에서 더욱 상세하게 설명한다.
영상 삽입부(250)는 이모지 생성부(240)가 생성한 이모지 이미지를 입력 받으며, 입력 받은 이모지 이미지를 학습 영상 DB(100)의 원본 이미지에 삽입한다.
이와 같이 이모지 이미지가 삽입된 학습 영상 DB(100)는 사람의 실제 얼굴 이미지 대신에 이모지 이미지가 대체되므로, 학습 영상 DB(100)의 외부 유출 시에 사생활 침해 문제가 발생되지 않는다. 그리고 삽입된 이모지 이미지는 얼굴 특징정보는 그대로 유지하고 있으므로, 딥러닝 기반 얼굴인식기술 개발을 위한 학습 및 검증용 DB로 사용될 수 있다. 즉, 본 발명의 실시예에 따른 이모지 이미지는 사람의 얼굴 특징정보는 그대로 유지하면서 사람의 시각적으로는 신원(identity)을 확인할 수 없으므로, 얼굴인식 기반 딥러닝 영상인식기술에 유용하게 사용될 수 있다.
상기에서 설명한 바와 같이, 본 발명의 실시예에 따른 이모지 생성부(240)는 딥러닝 네트워크를 기반으로 미리 구현된다. 이모지 생성부(240)는 n개의 기준용 얼굴 이미지에 대하여 얼굴 이미지의 특징정보와 생성된 이모지 이미지의 특징 정보가 근사값을 가지도록 딥러닝 네트워크를 적응적으로 학습시킨다. 여기서, n개의 기준용 얼굴 이미지는 외부에서 이미 공개된 얼굴 이미지로서 비밀성이 필요 없는 이미지이다. 이모지 생성부(240)는 n개의 기준용 얼굴 이미지를 순차적으로 미리 학습시켜 기준용 얼굴 이미지와 유사성을 갖는 이모지 이미지를 생성할 수 있다. 즉, 이모지 생성부(240)는 사람의 시각적으로는 이모지 이미지로부터 정확한 원래의 얼굴 이미지를 연상할 수 없으나 얼굴인식기를 통해서는 동일한 얼굴로 인식되도록, 이모지 변환 딥러닝 모델을 미리 구성할 수 있다.
이모지 생성부(240)가 이모지 변환 딥러닝 모델을 구성하는 방법에 대해서 아래의 도 3을 참조하여 상세하게 설명한다.
도 3은 본 발명의 실시예에 따른 이모지 생성부(240)가 이모지 변환 딥러닝 모델을 구성하는 방법을 나타내는 플로우차트이다.
먼저, 이모지 생성부(240)는 n개의 기준용 얼굴 이미지를 입력 받는다(S310). 여기서, n개의 기준용 얼굴 이미지는 외부에서 이미 공개된 얼굴 이미지로서 비밀성이 필요 없는 이미지이며, 이러한 n개의 기준용 얼굴 이미지를 통해 이모지 변환 딥러닝 모델이 미리 구축될 수 있다.
이모지 생성부(240)는 S310 단계에서 입력 받은 n개의 기준용 얼굴 이미지 중 1번째 기준용 얼굴이미지에 대해서, 이모지 변환 딥러닝 네트워크를 적용하여 이모지 이미지를 생성한다(S320). 여기서 이모지 변환 딥러닝 네트워크는 GAN(Generative Adversarial Network)의 구성 요소인 생성망(Generator)일 수 있다. GAN은 생성망(Generator)과 판별망(Discriminator)으로 구성되는데, 생성망(Generaotor)은 진짜와 유사한 가짜 이미지를 생성한다. 이러한 생성망(Generator)이 기준용 얼굴용 얼굴이미지를 입력 받아 이모지 이미지를 출력한다.
이모지 생성부(240)는 S320 단계에서 생성한 이모지 이미지에서 얼굴 특징 정보(f2)를 추출한다(S330). 얼굴 특징 정보는 얼굴을 판별하는데 사용되는 정보로서 눈, 코, 입의 위치, 그리고 이들 서로간의 간격 등이 될 수 있다. 얼굴 특징 정보를 추출하는 방법은 본 발명이 속하는 기술분야에 통상의 지식을 가진 자라면 알 수 있는 바 구체적인 설명은 생략한다.
이모지 생성부(240)는 1번째 기준용 얼굴 이미지에서 얼굴 특징 정보(f1)를 추출한다(S340). 즉, 이모지 생성부(240)는 실제 얼굴 이미지인 기준용 얼굴 이미지에서 얼굴 특징 정보를 추출한다. 기준용 얼굴 이미지에서 추출된 얼굴 특징 정보와 이모지 이미지에서 추출된 얼굴 특징 정보는 그 대상(예를 들면, 눈간의 간격)은 동일하나 값은 다를 수 있다.
이모지 생성부(240)는 S340 단계에서 추출한 얼굴 특징 정보(f1)와 S330 단계에서 추출한 얼굴 특징 정보(f2)를 비교하여 유사도를 계산하고 유사도가 소정의 임계값보다 높은지를 판단한다(S350). 유사도를 계산하는 방법은 본 발명이 속하는 기술분야에 통상의 지식을 가진 자라면 알 수 있는바 구체적인 설명은 생략한다. 두 얼굴 특징 정보를 비교하여 유사도를 계산하는 방법 중 하나로서 상기에서 설명한 GAN의 판별망(Discriminator)이 사용될 수 있다.
이모지 생성부(240)는 S350 단계에서 유사도가 소정의 임계값보다 낮은 경우, 상기 S320 단계, S330 단계, 그리고 S350 단계를 반복한다.
그리고 이모지 생성부(240)는 n개의 기준용 얼굴 이미지 모두에 대해서 상기 S320 단계, S330 단계, S340 단계, 그리고 S350 단계를 수행한다(S360). 이모지 생성부(240)는 n번째 학습용 이미지까지 상기 상기 S320 단계, S330 단계, S340 단계, 그리고 S350 단계를 수행한 경우, 최종적으로 이모지 변환 딥러닝 모델 구성을 완료한다(S370).
이와 같이 구성된 이모지 변환 딥러닝 모델은 이모지 생성부(240)에 적용되며, 이모지 생성부(240)는 얼굴 특징 정보는 그대로 유지하면서도 사람의 시각적으로는 얼굴을 구분할 수 없는 이모지 이미지를 생성한다.
도 4는 본 발명의 실시예에 따른 컴퓨터 시스템(400)을 나타내는 도면이다.
본 발명의 실시예에 따른 얼굴 이미지 비식별화 장치(200)는 도 4과 같은 컴퓨터 시스템(400)으로 구현될 수 있다. 그리고 이미지 비식별화 장치(200)의 각 구성 요소도 도 4와 같은 컴퓨터 시스템(400)으로 구현될 수 있다.
컴퓨터 시스템(400)은 버스(420)를 통해 통신하는 프로세서(410), 메모리(430), 사용자 인터페이스 입력 장치(440), 사용자 인터페이스 출력 장치(450), 그리고 저장 장치(460) 중 적어도 하나를 포함할 수 있다.
프로세서(410)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(430) 또는 저장 장치(460)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 프로세서(410)는 상기 도 1 내지 도 3에서 설명한 기능들 및 방법을 구현하도록 구성될 수 있다.
메모리(430) 및 저장 장치(460)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(430)는 ROM(read only memory)(431) 및 RAM(random access memory)(432)를 포함할 수 있다. 본 발명의 실시예에서 메모리(430)는 프로세서(410)의 내부 또는 외부에 위치할 수 있고, 메모리(430)는 이미 알려진 다양한 수단을 통해 프로세서(410)와 연결될 수 있다.
따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 본 발명의 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 데이터 베이스에 저장되어 있는 얼굴 이미지를 이용하여, 상기 얼굴 이미지에 대응하는 얼굴 특징 정보를 포함하는 제1 이모지 이미지를 생성하는 이모지 생성기, 그리고
    상기 제1 이모지 이미지를 상기 얼굴 이미지에 대체하여 상기 데이터 베이스에 삽입하는 영상 삽입부를 포함하는 얼굴 이미지 비식별화 장치.
  2. 제1항에 있어서,
    상기 이모지 생성기는 상기 얼굴 이미지를 이용하여 상기 제1 이모지 이미지를 생성하는 이모지 변환 딥러닝 모델을 포함하는 얼굴 이미지 비식별화 장치.
  3. 제2항에 있어서,
    상기 이모지 변환 딥러닝 모델은 기준용 얼굴 이미지에 대해서 이모지 변환 딥러닝 네트워크를 적용하여 제2 이모지 이미지를 생성하고, 상기 제2 이모지 이미지에 대응하는 얼굴 특징정보와 상기 기준용 얼굴 이미지에 대응하는 얼굴 특징 정보간의 유사도가 소정의 임계값보다 높도록 상기 이모지 딥러닝 네트워크를 학습시킴으로써, 구성되는 얼굴 이미지 비식별화 장치.
  4. 제3항에 있어서,
    상기 이모지 변환 딥러닝 네트워크는 GAN(Generative Adversarial Network)의 생성망(Generator)인 얼굴 이미지 비식별화 장치.
  5. 제1항에 있어서,
    상기 데이터 베이스로부터 원본 이미지를 추출하는 영상 추출부,
    상기 원본 이미지에서 사람에 대한 이미지를 검출하는 객체 검출부, 그리고
    상기 사람에 대한 이미지에서 상기 얼굴 이미지를 검출하는 얼굴 이미지 검출부를 더 포함하는 얼굴 이미지 비식별화 장치.
  6. 제3항에 있어서,
    상기 기준용 얼굴 이미지는 외부에서 공개되어 있는 얼굴 이미지인 얼굴 이미지 비식별화 장치.
  7. 얼굴 이미지 비식별화 장치가 얼굴 이미지를 비식별화하는 방법으로서,
    상기 얼굴 이미지에 대응하는 얼굴 특징 정보를 포함하는 제1 이모지 이미지를 생성하는 이모지 변환 딥러닝 모델을 구성하는 단계,
    상기 얼굴 이미지에 상기 이모지 변환 딥러닝 모델을 적용하여, 상기 제1 이모지 이미지를 생성하는 단계, 그리고
    상기 얼굴 이미지를 상기 제1 이모지 이미지로 대체하는 단계를 포함하는 방법.
  8. 제7항에 있어서,
    상기 이모지 변환 딥러닝 모델을 구성하는 단계는,
    기준용 얼굴 이미지에 대해서 이모지 변환 딥러닝 네트워크를 적용하여 제2 이모지 이미지를 생성하는 단계,
    상기 제2 이모지 이미지에 대응하는 얼굴 특징 정보를 추출하는 단계,
    상기 기준용 얼굴 이미지에 대응하는 얼굴 특징 정보를 추출하는 단계,
    상기 제2 이모지 이미지의 얼굴 특징 정보와 상기 기준용 얼굴 이미지의 얼굴 특징 정보간의 유사도를 계산하는 단계, 그리고
    상기 유사도가 소정의 임계값보다 높을 때까지 상기 이모지 변환 딥러닝 네트워크를 학습시키는 단계를 포함하는 방법.
  9. 제8항에 있어서,
    상기 이모지 변환 딥러닝 네트워크는 GAN(Generative Adversarial Network)의 생성망(Generator)인 방법.
  10. 제8항에 있어서,
    상기 유사도를 계산하는 단계는 GAN(Generative Adversarial Network)의 판별망(Discriminator)을 적용하여 상기 유사도를 계산하는 단계를 포함하는 방법.
  11. 제7항에 있어서,
    데이트 베이스로부터 원본 이미지를 추출하는 단계,
    상기 원본 이미지에서 사람에 대한 이미지를 검출하는 단계, 그리고
    상기 사람에 대한 이미지에서 상기 얼굴 이미지를 검출하는 단계를 더 포함하는 방법.
  12. 얼굴 이미지를 비식별화하는 얼굴 이미지 비식별화 장치로서,
    상기 얼굴 이미지에 대해서 이모지 변환 딥러닝 모델을 적용하여 이모지 이미지를 생성하며, 상기 얼굴 이미지의 얼굴 특징 정보와 상기 이모지 이미지의 얼굴 특징 정보간의 유사도가 소정의 임계값보다 높도록 미리 학습되어 있는 상기 이모지 변환 딥러닝 모델을 포함하는 이모지 생성부, 그리고
    상기 이모지 이미지를 상기 얼굴 이미지로 대체하여 데이터 베이스에 삽입하는 영상 삽입부를 포함하는 얼굴 이미지 비식별화 장치.
  13. 제12항에 있어서,
    상기 이모지 변환 딥러닝 모델은 GAN(Generative Adversarial Network)의 생성망(Generator)인 얼굴 이미지 비식별화 장치.
  14. 제12항에 있어서,
    상기 이모지 변환 딥러닝 모델은 상기 얼굴 이미지에 포함되어 있는 얼굴의 정체성이 사람의 시각적으로는 파악되지 않도록, 미리 학습되어 있는 얼굴 이미지 비색별화 장치.
KR1020180116572A 2018-09-28 2018-09-28 얼굴 이미지 비식별화 장치 및 방법 KR102503939B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180116572A KR102503939B1 (ko) 2018-09-28 2018-09-28 얼굴 이미지 비식별화 장치 및 방법
US16/574,531 US10949650B2 (en) 2018-09-28 2019-09-18 Face image de-identification apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180116572A KR102503939B1 (ko) 2018-09-28 2018-09-28 얼굴 이미지 비식별화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200036656A true KR20200036656A (ko) 2020-04-07
KR102503939B1 KR102503939B1 (ko) 2023-02-28

Family

ID=69945347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180116572A KR102503939B1 (ko) 2018-09-28 2018-09-28 얼굴 이미지 비식별화 장치 및 방법

Country Status (2)

Country Link
US (1) US10949650B2 (ko)
KR (1) KR102503939B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102324179B1 (ko) * 2021-05-31 2021-11-11 주식회사 위키포키 영유아 기관정보 통합 서비스 제공 시스템
KR20220026845A (ko) * 2020-08-26 2022-03-07 (주)어셈블써클 의료 영상의 가명화 방법 및 장치
KR102411943B1 (ko) * 2020-12-28 2022-06-23 주식회사 파인더스에이아이 얼굴 비식별화 시스템 및 방법
KR102420890B1 (ko) * 2022-01-11 2022-07-14 장경애 영상에 포함된 객체의 비식별화를 위한 서비스 제공 장치 및 방법
KR102520839B1 (ko) * 2022-08-29 2023-04-11 안재관 인공지능 알고리즘에 기초하여 헤어 가상 피팅 서비스를 제공하는 방법 및 장치
WO2023080266A1 (ko) * 2021-11-03 2023-05-11 주식회사 클레온 딥러닝 네트워크를 이용한 얼굴 변환 방법 및 장치
WO2023113183A1 (ko) * 2021-12-14 2023-06-22 주식회사 우경정보기술 아동 대상의 교육 문화 개선을 위한 에듀테크 기술을 활용한 아동 행동 분석 장치 및 방법
KR20240003529A (ko) 2022-07-01 2024-01-09 주식회사 코어트러스트 개인정보 비식별화 방법, 장치 및 프로그램

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260545B (zh) * 2020-01-20 2023-06-20 北京百度网讯科技有限公司 生成图像的方法和装置
CN111310743B (zh) * 2020-05-11 2020-08-25 腾讯科技（深圳）有限公司 人脸识别方法、装置、电子设备及可读存储介质
WO2022260485A1 (en) * 2021-06-11 2022-12-15 Samsung Electronics Co., Ltd. Methods and systems for generating one or more emoticons for one or more users
EP4281848A1 (en) 2021-06-11 2023-11-29 Samsung Electronics Co., Ltd. Methods and systems for generating one or more emoticons for one or more users
CN113989103B (zh) * 2021-10-25 2024-04-26 北京字节跳动网络技术有限公司 模型训练方法、图像处理方法、装置、电子设备及介质
KR102541131B1 (ko) * 2021-11-15 2023-06-08 세종대학교산학협력단 멀티 모델을 이용한 cctv 영상의 강건한 얼굴 비식별화 방법 및 시스템
KR20230172395A (ko) 2022-06-15 2023-12-22 고려대학교 산학협력단 이미지 인페인팅을 이용한 얼굴 비식별화 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160086304A1 (en) * 2014-09-22 2016-03-24 Ming Chuan University Method for estimating a 3d vector angle from a 2d face image, method for creating face replacement database, and method for replacing face image
US20180239975A1 (en) * 2015-08-31 2018-08-23 Sri International Method and system for monitoring driving behaviors

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8831379B2 (en) * 2008-04-04 2014-09-09 Microsoft Corporation Cartoon personalization
JP2010086178A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 画像合成装置およびその制御方法
KR20110071213A (ko) 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법
US9245369B2 (en) 2010-07-06 2016-01-26 Electronics And Telecommunications Research Institute Method and apparatus for generating an avatar
US9331970B2 (en) 2012-12-05 2016-05-03 Facebook, Inc. Replacing typed emoticon with user photo
US9081800B2 (en) * 2013-03-01 2015-07-14 Adobe Systems Incorporated Object detection via visual search
US20170076209A1 (en) * 2015-09-14 2017-03-16 Wellaware Holdings, Inc. Managing Performance of Systems at Industrial Sites
WO2017088340A1 (zh) * 2015-11-25 2017-06-01 腾讯科技（深圳）有限公司 图像信息处理方法、装置和计算机存储介质
US20170178287A1 (en) * 2015-12-21 2017-06-22 Glen J. Anderson Identity obfuscation
KR101904924B1 (ko) 2017-03-31 2018-10-05 제주대학교 산학협력단 얼굴 영상 가상화 장치
KR101881391B1 (ko) 2018-03-09 2018-07-25 한화에어로스페이스 주식회사 객체의 특성 정보를 반영하여 프라이버시 마스킹을 수행하는 영상 마스킹 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160086304A1 (en) * 2014-09-22 2016-03-24 Ming Chuan University Method for estimating a 3d vector angle from a 2d face image, method for creating face replacement database, and method for replacing face image
US20180239975A1 (en) * 2015-08-31 2018-08-23 Sri International Method and system for monitoring driving behaviors

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220026845A (ko) * 2020-08-26 2022-03-07 (주)어셈블써클 의료 영상의 가명화 방법 및 장치
KR102411943B1 (ko) * 2020-12-28 2022-06-23 주식회사 파인더스에이아이 얼굴 비식별화 시스템 및 방법
KR102324179B1 (ko) * 2021-05-31 2021-11-11 주식회사 위키포키 영유아 기관정보 통합 서비스 제공 시스템
WO2023080266A1 (ko) * 2021-11-03 2023-05-11 주식회사 클레온 딥러닝 네트워크를 이용한 얼굴 변환 방법 및 장치
WO2023113183A1 (ko) * 2021-12-14 2023-06-22 주식회사 우경정보기술 아동 대상의 교육 문화 개선을 위한 에듀테크 기술을 활용한 아동 행동 분석 장치 및 방법
KR102420890B1 (ko) * 2022-01-11 2022-07-14 장경애 영상에 포함된 객체의 비식별화를 위한 서비스 제공 장치 및 방법
KR20240003529A (ko) 2022-07-01 2024-01-09 주식회사 코어트러스트 개인정보 비식별화 방법, 장치 및 프로그램
KR102520839B1 (ko) * 2022-08-29 2023-04-11 안재관 인공지능 알고리즘에 기초하여 헤어 가상 피팅 서비스를 제공하는 방법 및 장치

Also Published As

Publication number Publication date
KR102503939B1 (ko) 2023-02-28
US10949650B2 (en) 2021-03-16
US20200104574A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
KR102503939B1 (ko) 얼굴 이미지 비식별화 장치 및 방법
US11615176B2 (en) Registration and verification of biometric modalities using encryption techniques in a deep neural network
WO2021068616A1 (zh) 身份验证方法、装置、计算机设备和存储介质
KR100927596B1 (ko) 데이터 보호형 패턴 인식 방법 및 장치
KR102070636B1 (ko) 컴퓨팅 장치, 생물학적 특징 인식 방법 및 생물학적 특징 템플릿 등록 방법
KR20150099129A (ko) 국소 특징 기반 적응형 결정 트리를 이용한 얼굴 표정 인식 방법 및 장치
KR20080022729A (ko) 생체 인식 방법 및 이를 위한 장치
Maiorana et al. User adaptive fuzzy commitment for signature template protection and renewability
KR20190017975A (ko) 생물학적 특징 인식 장치와 방법 및 생물학적 특징 템플릿 등록 방법
CN105471867A (zh) 并入随机动作的增强身份识别的系统和方法
Melzi et al. An overview of privacy-enhancing technologies in biometric recognition
Naveen et al. Face recognition and authentication using LBP and BSIF mask detection and elimination
CN112600886B (zh) 端云结合的隐私保护方法、装置以及设备
Dhruva et al. Novel algorithm for image processing based hand gesture recognition and its application in security
Ibsen et al. Impact of facial tattoos and paintings on face recognition systems
Toygar et al. On the use of ear and profile faces for distinguishing identical twins and nontwins
CN105960649B (zh) 用于保护对消息的访问的方法和装置
Liu et al. Biohashing for human acoustic signature based on random projection
Bhargav-Spantzel et al. Biometrics-based identifiers for digital identity management
KR101567686B1 (ko) 인증 방법 및 이를 이용한 인증 장치
Moujahdi et al. On the security of face recognition terminals at modern airports
JP2019095872A (ja) 捜索システム、捜索装置、端末装置、捜索方法、及びプログラム
Vorakulpipat et al. Interacting face detection-based access control with various authentication factors
Vorobyeva et al. Benefits and issues of biometric technologies. Are biometrics worth using?
KR102530141B1 (ko) 인공지능 기반 얼굴 매칭률 산출을 이용하여 얼굴 인증을 하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant