KR102619059B1 - 동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법 - Google Patents

동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법 Download PDF

Info

Publication number
KR102619059B1
KR102619059B1 KR1020220158785A KR20220158785A KR102619059B1 KR 102619059 B1 KR102619059 B1 KR 102619059B1 KR 1020220158785 A KR1020220158785 A KR 1020220158785A KR 20220158785 A KR20220158785 A KR 20220158785A KR 102619059 B1 KR102619059 B1 KR 102619059B1
Authority
KR
South Korea
Prior art keywords
data
encryption
module
encrypted
image data
Prior art date
Application number
KR1020220158785A
Other languages
English (en)
Inventor
이병진
최지수
박준형
Original Assignee
이병진
최지수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이병진, 최지수 filed Critical 이병진
Priority to KR1020220158785A priority Critical patent/KR102619059B1/ko
Application granted granted Critical
Publication of KR102619059B1 publication Critical patent/KR102619059B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법은 입력 데이터를 암호화하므로 음성인식이나 동영상 기반의 이미지 인식에서 사용자의 프라이버시를 데이터 수집 단계부터 처리단계까지 전과정에서 보호할 수 있다. 또한, 모델을 암호화 및 경량화 하므로 산업에서 소형 단말기에 인공지능 모델을 탑재할 때 기업의 노하우가 담긴 모델 구조를 노출시키지 않을 수 있다. 또한, 실시예는 데이터의 암호화 및 경량화에 관한 정보처리 기법에 관한 것으로 특정 하드웨어에 대한 종속성을 없앨 수 있도록 한다. 또한, 실시예를 통해 동형암호로 암호화된 사용자 데이터를 서버가 복호화를 거치지 않고 처리할 수 있도록 하여 원본 데이터 유출 문제를 해결할 수 있도록 한다.

Description

동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법{A HOMOMORPHIC ENCRYPTION-BASED ENCRYPTED DATA DE-IDENTIFICATION SYSTEM AND A MACHINE LEARNING-BASED FACIAL DE-IDENTIFICATION METHOD APPLYING FULL HOMOMORPHISM}
본 개시는 동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템 및 방법에 관한 것으로 구체적으로, 완전동형암호(Fully Homomorphic Encryption)를 이용해 암호화된 데이터에 대해 별도의 복호화 없이 컴퓨팅 연산 또는 인공지능 알고리즘을 수행하는 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 시스템 및 방법에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
동형암호(Homomorphic Encryption, HE)는 데이터를　암호화된 상태에서 연산할 수 있는 암호화 방법이다. 동형암호를 이용하면, 암호문들을 이용한 연산의 결과는 새로운 암호문이 되며, 이를 복호화하여 얻은 평문은 암호화하기 전 원래 데이터의 연산 결과와 같다. 도 1은 종래 기술에 따른 동형암호가 사용되는 메커니즘을 나타낸 도면이다. 도 1에 도시된 바와 같이, 동형암호에서는 메시지를 평문상에서 연산한 결과값과 암호화된 메시지에 대해서 동형암호 연산을 한 후 복호화한 결과값이 같다는 것을 확인할 수 있다.
동형암호는 개인정보를 안전하게 보호한 채로 외부매체에 저장 및 계산하는 목적으로 사용할 수 있다. 동형암호를 이용하면 데이터를 암호화한 채로 상업용 클라우드 서비스에 외주를 맡겨 암호화된 채로 데이터 처리를 할 수 있다. 또한, 의료분야와 같이 개인정보 보호에 대한 규제가 심한 분야에서 동형암호를 사용함으로써 데이터 공유를 막는 장벽을 극복하고 새로운 서비스를 개척할 수 있다. 예를 들어 예측분석의료는 개인의료데이터 보호가 문제가 되어 응용하기 어려웠으나, 동형암호를 이용하여 예측분석의료 서비스를 제공한다면 프라이버시 보존에 대한 염려를 불식시킬 수 있다.
한편, 안면 비식별화 솔루션은 이미지 또는 영상에서 찍힌 개인의 안면을 비식별화여 개인정보를 보호하기 위한 솔루션이다. 개인정보를 보호하기 위한 솔루션이므로 원본 영상 데이터가 유출되지 않도록 보호하는 것이 매우 중요하다. 대부분의 솔루션은 비식별화 처리가 필요한 영상을 서버로 전송하면 해당 서버가 비식별화 처리를 하여 완료된 결과물을 클라이언트에게 돌려준다. 이 경우, 원본 동영상을 서버에 올린 서비스 사용자는 원본 동영상이 유출되지 않도록 처리 후 삭제가 되었는지, 복사된 원본이 남았는지 알 수 없는 문제가 있다. 또한, 제공자 입장에서도 원본을 처리 후 삭제되면 서비스 적인 측면에서도 비식별화 처리를 되돌리거나 특정 인물은 비식별화 처리하지 않는 등 부가적인 서비스를 제공하기 어려워진다. 뿐만 아니라, 원본을 남기는 경우에는 사용자의 원본 영상을 책임지고 유출되지 않도록 관리해야 하는 의무가 생긴다.
1. 한국 특허등록 제10-2404763호 (2022.05.27) 2. 한국 특허등록 제10-2403471호 (2022.05.25)
실시예에 따른 동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법은 동형암호 메커니즘을 이용하여, 암호화된 상태의 데이터에 대해 다양한 연산을 수행할 수 있도록 한다. 또한, 실시예에서는 동형암호를 통해 암호화된 사용자 데이터를 서버가 복호화를 거치지 않고 처리할 수 있도록 하여 원본 데이터 유출 문제를 해결할 수 있도록 한다.
특히, 실시예에서는 동형암호화 된 데이터에 대하여 레티나 페이스(retina face recognition)알고리즘을 수행하고 안면인식 된 영상 속 데이터를 비식별화 할 수 있도록 한다.
또한, 실시예에서는 이미지데이터, 영상 데이터에 대해 안면 인식과 비식별화를 수행하는 비식별화 처리 방법을 제공한다. 또한, 동형암호 기술을 활용하여 안면 인식을 할 때 암호화된 이미지 및 영상 데이터를 인식하고, 비식별화 처리할 수 있도록 한다.
또한, 실시예에서는 완전동형암호를 통해 인공지능 모델의 구조와 가중치 파일을 암호화하고 암호화된 모델 채로 암호화된 입력데이터를 처리할 수 있도록 함으로써, 기존의 인공지능 모델을 동형암호가 적용되어도 경량화 및 최적화할 수 있도록 한다.
실시예에 따른 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법은 (A) 데이터 수집 모듈에서 사용자의 이미지 데이터를 획득하는 단계; (B) 암호화 모듈에서 상기 이미지 데이터를 동형 암호화하는 단계; (C) 통신모듈에서 동형 암호화된 이미지 데이터 및 상기 이미지 데이터를 동형 암호화하기 위해 사용된 동형 암호화 연산 파라미터를 송신하는 단계; (D) 추론모듈에서 상기 통신모듈로부터 수신한 상기 동형 암호화된 이미지 데이터와 미리 저장된 평문 또는 상기 파라미터를 기초로 동형 암호화된 머신러닝 기반 모델을 추론하는 단계; (E) 결과 수집 모듈에서, 상기 추론과정에서 계산된 동형 암호화된 식별 결과를 수신하는 단계; 및 (F)비식별화 모듈에서 상기 동형 암호화된 식별 결과를 복호화하여, 이미지 데이터에서 안면 비식별화 하는 단계; 를 포함한다.
다른 실시예에 따른 동형암호 기반의 암호화 데이터 비식별화 시스템은 사용자 단말로부터 사용자의 이미지 데이터를 수집하는 데이터 수집 모듈; 이미지 데이터를 동형 암호화하는 암호화 모듈; 동형 암호화된 이미지 데이터 및 상기 이미지 데이터를 동형 암호화하기 위해 사용된 동형 암호화 연산 파라미터를 송신하는 통신모듈; 통신모듈로부터 수신한 상기 동형 암호화된 이미지 데이터와 미리 저장된 평문 또는 상기 파라미터를 기초로 동형 암호화된 머신러닝 기반 모델을 추론하는 추론 모듈; 추론과정에서 계산된 동형 암호화된 식별 결과를 수신하는 결과 수집 모듈; 및 동형 암호화된 식별 결과를 복호화하여, 이미지 데이터에서 안면 비식별화 하는 비식별화 모듈; 을 포함한다.
이상에서와 같은 동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법은 입력 데이터를 암호화하므로 음성인식이나 동영상 기반의 이미지 인식에서 사용자의 프라이버시를 데이터 수집 단계부터 처리단계까지 전과정에서 보호할 수 있다. 실시예를 통해, 개인 정보 보호 머신 러닝(PPML, Privacy-Preserving Machine Learning) 산업영역에서 동형암호화를 적용시켜 사용자 데이터를 암호화된 채로 머신러닝 알고리즘에 적용할 수 있다.
또한, 모델을 암호화 및 경량화 하므로 산업에서 소형 단말기에 인공지능 모델을 탑재할 때 기업의 노하우가 담긴 모델 구조를 노출시키지 않을 수 있다. 또한, 실시예는 데이터의 암호화 및 경량화에 관한 정보처리 기법에 관한 것으로 특정 하드웨어에 대한 종속성을 없앨 수 있도록 한다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 종래 기술에 따른 동형암호가 사용되는 메커니즘을 나타낸 도면
도 2는 실시예에 따른 동형암호 기반의 암호화 데이터 비식별화 시스템 구성을 나타낸 도면
도 3은 실시예에 따른 비식별화 서버의 데이터 처리 구성을 나타낸 도면
도 4는 실시예에 따른 비식별화 모듈에서 수행하는 난독화 과정을 설명하기 위한 도면
도 5은 실시예의 배경기술인 동형암호화 메커니즘을 설명하기 위한 도면
도 6은 실시예에 따른 이미지 복호화 과정을 나타낸 도면
도 7은 실시예에 따른 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법의 데이터 처리 과정을 나타낸 도면
도 8은 실시예에 따른 안면 비식별화를 제공하는 소프트웨어의 동작 흐름도
도 9는 실시예에 따른 모델 추론과정을 나타낸 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 2는 실시예에 따른 동형암호 기반의 암호화 데이터 비식별화 시스템 구성을 나타낸 도면이다.
도 2를 참조하면, 실시예에 따른 동형암호 기반의 암호화 데이터 비식별화 시스템은 사용자 단말(100) 및 비식별화 서버(200)를 포함하여 구성될 수 있다. 사용자 단말(100)은 이미지 데이터 및 지문 등의 생체 데이터를 사용자로부터 입력 받아 입력된 이미지 데이터 및 생체 데이터를 비식별화 서버(200)로 전송한다. 서버(200)는 완전동형암호(Fully Homomorphic Encryption)를 이용해 암호화된 데이터에 대해 별도의 복호화 없이 컴퓨팅 연산 또는 인공지능 알고리즘을 처리하고, 이를 통해 완전동형화를 적용한 머신러닝 기반의 안면 비식별화를 수행할 수 있도록 한다.
실시예에서 제공하는 비식별화(de-identification)는　누군가의 정체성이 공개되지 않도록 예방하기 위해 사용되는 데이터 처리 과정이다. 이를테면 임상실험 등 참여자의 개인정보가 요구되는 인체 실험 중에 생성된 자료는 연구 참여자들의 사생활을 보호하기 위해 수집된 데이터를 비식별화 할 수 있다. 식별에 관한 메타데이터나 일반 데이터에 적용할 경우 이러한 과정은 데이터 익명화라고도 한다. 공통적인 전략에는 인명 등 개인 식별자를 삭제하거나 마스킹하는 과정, 그리고 출생일 등의 준식별자를 누락시키거나 일반화하는 과정이 포함된다. 개인정보의 일부 또는 전부를 삭제 또는 대체하거나 다른 정보와 쉽게 결합하지 못하도록 하여　특정 개인을 알아볼 수 없도록 하는 일련의 조치를 의미한다. 비식별화 조치를 하면 개인정보 침해가능성을 최소화하면서 빅데이터 활용 시　안전하게 개인정보를 이용할 수 있도록 한다.
실시예에 따른 동형암호 기반의 암호화 데이터 비식별화 시스템 및 방법은
동형암호 메커니즘을 이용하여, 암호화된 상태의 데이터에 대해 다양한 연산을 수행할 수 있도록 한다. 특히, 실시예에서는 동형암호화 된 데이터에 대하여 레티나 페이스 (retina face recognition)알고리즘을 수행하고 안면인식 된 영상 속 데이터를 비식별화 할 수 있도록 한다.
또한, 실시예에서는 이미지데이터, 영상 데이터에 대해 안면 인식과 비식별화를 수행하는 비식별화 처리 방법을 제공한다. 또한, 동형암호 기술을 활용하여 안면 인식을 할 때 암호화된 이미지 및 영상 데이터를 인식하고, 비식별화 처리할 수 있도록 한다.
또한, 실시예에서는 완전동형암호를 통해 인공지능 모델의 구조와 가중치 파일을 암호화하고 암호화된 모델 채로 암호화된 입력데이터를 처리할 수 있도록 함으로써, 기존의 인공지능 모델을 동형암호가 적용되어도 경량화 및 최적화할 수 있도록 한다.
도 3은 실시예에 따른 비식별화 서버(200)의 데이터 처리 구성을 나타낸 도면이다. 도 3을 참조하면, 실시예에 따른 비식별화 서버(200)는 데이터 수집모듈(210), 암호화 모듈(220), 통신모듈(230), 추론 모듈(240), 결과 수집 모듈(250), 비식별화 모듈(260) 및 모델 전환 모듈(270)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
데이터 수집 모듈(210)은 사용자 단말로부터 사용자의 이미지 데이터를 수집한다. 암호화 모듈(220)은 이미지 데이터를 동형 암호화한다. 동형암호는 암호화의 한가지 형태로, 복호화 혹은 비밀키 접근이 필요없이 암호화된 데이터를 이용해 연산할 수 있는 추가적인 기능을 제공한다. 그 연산결과는 여전히 암호화된 상태이다. 동형암호는 대칭키암호나 공개키암호의 확장된 형태로 이해할 수 있다. 동형암호(Homomorphic Encryption, HE)는 데이터를 암호화된 상태에서 연산할 수 있는 암호화 방법으로, 암호문들을 이용한 연산의 결과는 새로운 암호문이 되며, 이를 복호화하여 얻은 평문은 암호화하기 전 원래 데이터의 연산 결과와 같다.
실시예에서 암호화 모듈(220)은 동형암호 이외의 카메라 센서 또는 휴리스틱 가명화(Heuristic Pseudonymization), 암호화(Encryption)교환 방법(Swapping)을 포함하는 비식별화 연산으로 개인정보 비식별화를 수행할 수 있다. 실시예에서 휴리스틱 가명화는 식별자에 해당하는 값들을 몇 가지 정해진 규칙으로 대체하거나 사람의 판단에 따라 가공하여　자세한 개인정보를 숨기는 것으로, 실시예에서는 암호화된 이미지의 파일명칭, 일련번호, 이미지 제공자 개인 정보 등을 숨길 수 있도록 한다. 암호화(Encryption)는 정보 가공 시 일정한 규칙의 알고리즘을 적용하여 암호화함으로써 개인정보를 대체하는 것이다. 실시예에서는 이미지를 제공한 사용자의 주민등록번호, 여권번호, 의료보험번호, 외국인등록번호, 사용자 ID, 신용카드번호, 생체 정보 등을 암호화할 수 있다. 또한, 암호화 모듈(220)은 교환 방법(Swapping)을 통해, 이미지를 제공한 사용자 정보를 비식별화 할 수 있다. 실시예에 따른 교환 방법은 기존의 데이터베이스의 레코드를 사전에 정해진 외부의 변수(항목)값과 연계하여 교환하는 것으로, 실시예에서는 사용자 ID, 요양기관번호, 기관번호, 나이, 성별, 신체정보(신장, 혈액형 등), 소득,　휴대전화번호, 주소 등의 개인 정보를 사전에 정해진 외부의 변수(항목)값과 연계하여 교환할 수 있다.
또한, 실시예에서 암호화 모듈(220)은 완전동형암호를 통해 인공지능 모델의 구조와 가중치 파일을 암호화하고 암호화된 모델 채로 암호화된 입력데이터를 처리할 수 있도록 함으로써, 기존의 인공지능 모델을 동형암호가 적용되어도 경량화 및 최적화할 수 있도록 한다. 또한, 실시예에서 암호화 모듈(220)은 모델 파라미터 및 가중치를 변환할 수 있다.
통신모듈(230)은 동형 암호화된 이미지 데이터 및 이미지 데이터를 동형 암호화하기 위해 사용된 동형 암호화 연산 파라미터를 송신한다.
추론 모듈(240)은 통신모듈(230)로부터 수신한 동형 암호화된 이미지 데이터와 미리 저장된 평문 또는 파라미터를 기초로 동형 암호화된 머신러닝 기반 모델을 추론한다. 실시예에서 추론 모듈(240)은 미리 연산된 결과를 저장하는 캐시 메모리를 포함한다.
결과 수집 모듈(250)은 추론과정에서 계산된 동형 암호화된 식별 결과를 수신한다. 실시예에서 결과 수집 모듈(250)은 추론 모듈(240)에서의 데이터 획득 및 추론 단계에서 사용되는 데이터는 연산에 용이하도록, 정수로 근사된 데이터를 이용하고, 근사된 데이터에 완전동형화를 적용할 수 있다.
비식별화 모듈(260)은 동형 암호화된 식별 결과를 복호화하여, 이미지 데이터에서 안면 비식별화를 수행한다. 실시예에서 비식별화 모듈(260)은 사용자 단말로부터 수신한 이미지 데이터를 난독화 한 후, 동형 암호화가 적용된 안면 인식 모델을 통해 이미지 데이터의 안면 인식을 수행한다. 실시예에서 비식별화 모듈(260)은 레티나 페이스(retina face recognition)알고리즘을 통해, 안면인식 된 영상 속 데이터를 비식별화 할 수 있다.
도 4는 실시예에 따른 비식별화 모듈에서 수행하는 난독화 과정을 설명하기 위한 도면이다. 도 4는 비식별화 모듈(260)이 수행하는 난독화 정책 중 하나인 픽셀 명암 난독화가 수행되는 예를 나타낸 것으로, 도 4에 도시된 바와 같이, 실시예에서는 난독화 매핑 함수를 통해 이미지 데이터의 픽셀을 난독화 한 뒤, 난독화 된 이미지를 완전동형 암호화할 수 있다.
도 5은 실시예의 배경기술인 동형암호화 메커니즘을 설명하기 위한 도면이다. 도 5를 참조하면, 동형암호의 핵심은 암호문간의 연산이 평문간의 연산과 결과가 같음이다. 동형암호를 만족하는 필요 조건이 가산과 곱 연산의 결과가 같은 것이기 때문에, 실시예에서는 도 5에 제시된 모델 전환 모듈(270)을 포함하여 안면 인식 모델이 가산과 곱 연산 이외의 연산을 요구할 경우 모델의 구조를 일부 변경하고 해당 연산에 사용되는 가중치 값을 변경된 구조에 맞게 수정하여 다양한 안면인식 머신러닝 모델이 사용될 수 있도록 한다. 또한, 실시예에서는 난독화 이후 동형 암호화된 입력 데이터를 도 5에 도시된 바와 같이, 모델 전환 모듈(270)에서 생성한 변경된 동형암호를 적용가능한 안면인식 모델을 통해 추론을 할 수 있다. 추론 결과는 실시예에 따른 이미지 복호화 과정을 나타낸 도 6에 도시된 바와 같이, 동형암호화 된 채로 결과가 출력되며 해당 결과를 복호화 하면 이미지속에서 등장 인물의 안면 위치를 파악할 수 있다.
실시예에 따른 추론 모듈은 모델 구조를 분석하고, 분석 결과에 따라 모델 구조를 변경한다. 이후, 변경된 모델 구조에 따라 가중치를 수정하여 근사치를 산출할 수 있다.
이하에서는 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법에 대해서 차례로 설명한다. 실시예에 따른 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법의 작용(기능)은 동형암호 기반의 암호화 데이터 비식별화 시스템의 기능과 본질적으로 같은 것이므로 도 1 내지 도 6과 중복되는 설명은 생략하도록 한다.
도 7은 실시예에 따른 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법의 데이터 처리 과정을 나타낸 도면이다.
도 7을 참조하면, S100 단계에서는 데이터 수집 모듈에서 사용자의 이미지 데이터를 획득한다. S200 단계에서는 암호화 모듈에서 상기 이미지 데이터를 동형 암호화한다. 실시예에서 S200 단계에서는 암호화 모듈의 동형암호 이외의 카메라 센서 또는 휴리스틱 가명화(Heuristic Pseudonymization), 암호화(Encryption)교환 방법(Swapping)을 포함하는 개인정보 비식별화 연산으로 개인정보 비식별화를 수행할 수 있다. 휴리스틱 가명화는 식별자에 해당하는 값들을 몇 가지 정해진 규칙으로 대체하거나 사람의 판단에 따라 가공하여　자세한 개인정보를 숨기는 것으로, 실시예에서는 암호화된 이미지의 파일명칭, 일련번호, 이미지 제공자 개인 정보 등을 숨길 수 있도록 한다. 암호화(Encryption)는 정보 가공 시 일정한 규칙의 알고리즘을 적용하여 암호화함으로써 개인정보를 대체하는 것이다. 실시예에서는 이미지를 제공한 사용자의 주민등록번호, 여권번호, 의료보험번호, 외국인등록번호, 사용자 ID, 신용카드번호, 생체 정보 등을 암호화할 수 있다. 또한, 암호화 모듈(220)은 교환 방법(Swapping)을 통해, 이미지를 제공한 사용자 정보를 비식별화 할 수 있다. 실시예에 따른 교환 방법은 기존의 데이터베이스의 레코드를 사전에 정해진 외부의 변수(항목)값과 연계하여 교환하는 것으로, 실시예에서는 사용자 ID, 요양기관번호, 기관번호, 나이, 성별, 신체정보(신장, 혈액형 등), 소득,　휴대전화번호, 주소 등의 개인 정보를 사전에 정해진 외부의 변수(항목)값과 연계하여 교환할 수 있다.
또한, S200 단계에서는 완전동형암호를 통해 인공지능 모델의 구조와 가중치 파일을 암호화하고 암호화된 모델 채로 암호화된 입력데이터를 처리할 수 있도록 함으로써, 기존의 인공지능 모델을 동형암호가 적용되어도 경량화 및 최적화할 수 있도록 한다. 또한, 실시예에서 S200 단계에서는 모델 파라미터 및 가중치를 변환할 수 있다.
S300 단계에서는 통신모듈에서 동형 암호화된 이미지 데이터 및 상기 이미지 데이터를 동형 암호화하기 위해 사용된 동형 암호화 연산 파라미터를 송신한다. S400 단계에서는 추론모듈에서 통신모듈로부터 수신한 동형 암호화된 이미지 데이터와 미리 저장된 평문 또는 파라미터를 기초로 동형 암호화된 머신러닝 기반 모델을 추론한다. S400 단계에서는 추론 모듈에서의 데이터 획득 및 추론 단계에서 사용되는 데이터는 연산에 용이하도록, 정수로 근사된 데이터를 이용하고, 근사된 데이터에 완전동형화를 적용하는 S500 단계에서는 결과 수집 모듈에서, 추론과정에서 계산된 동형 암호화된 식별 결과를 수신한다. S600 단계에서는 비식별화 모듈에서 동형 암호화된 식별 결과를 복호화하여, 이미지 데이터에서 안면 비식별화 한다. S600 단계에서는 사용자 단말로부터 수신한 이미지 데이터를 난독화 한 후, 동형 암호화가 적용된 안면 인식 모델을 통해 이미지 데이터의 안면 인식을 수행할 수 있다. 실시예에서 비식별화 모듈(260)은 레티나 페이스(retina face recognition)알고리즘을 통해, 안면인식 된 영상 속 데이터를 비식별화 할 수 있다.
또한, 실시예에서는 모델 전환을 통해, 안면 인식 모델이 가산과 곱 연산 이외의 연산을 요구할 경우 모델의 구조를 일부 변경하고 해당 연산에 사용되는 가중치 값을 변경된 구조에 맞게 수정하여 다양한 안면인식 머신러닝 모델이 사용될 수 있도록 한다. 또한, 실시예에서는 난독화 이후 동형 암호화된 입력 데이터를 모델 전환모듈(270)에서 생성한 변경된 동형암호를 적용가능한 안면인식 모델을 통해 추론을 할 수 있다. 추론 결과는 동형암호화 된 채로 결과가 출력되며 해당 결과를 복호화 하면 이미지속에서 등장 인물의 안면 위치를 파악할 수 있다.
도 8은 실시예에 따른 안면 비식별화를 제공하는 소프트웨어의 동작 흐름도이다. 도 8을 참조하면, 실시예에서는 비식별화를 진행하고자 하는 원본 이미지 데이터를 취득 후 난독화를 위한 난독화 정책을 생성한다. 구체적으로, S710 단계에서 이미지 데이터를 취득하고, S720 단계에서 난독화 맵을 생성하고, S730 단계에서는 생성된 난독화 맵에 따라 난독화를 수행한다. 난독화란 프로그래밍 언어로 작성된 코드나 데이터에 대해 가독성을 낮추어 읽기 어렵게 만드는 작업이다. 실시예에서는 프로그램에서 사용된 아이디어나 알고리즘 등을 숨겨 코드와 데이터의 가독성을 낮출 수 있다. 이후, S740 단계에서는 데이터를 동형암호화 하고, S750 단계에서는 모델 파라미터 및 가중치를 변환한다. S760 단계에서는 안면 인식 후 S770 단계에서는 안면 데이터를 비식별화 한다.
도 9는 실시예에 따른 모델 추론과정을 나타낸 도면이다. 도 9를 참조하면, 실시예에 따른 추론 모듈은 S410 단계에서 모델 구조를 분석하고, S420 단계에서 분석 결과에 따라 모델 구조를 변경한다. S430 단계에서는 변경된 모델 구조에 따라 가중치를 수정하여 S440 단계에서는 근사치를 산출한다. 실시예에서는 안면 인식 모델이 가산과 곱 연산 이외의 연산을 요구할 경우 모델의 구조를 일부 변경하고 해당 연산에 사용되는 가중치 값을 변경된 구조에 맞게 수정하여 다양한 안면인식 머신러닝 모델이 사용될 수 있도록 한다. 또한, 실시예에서는 난독화 이후 동형 암호화된 입력 데이터를 변경된 동형암호를 적용가능한 안면인식 모델을 통해 추론을 할 수 있다. 추론 결과는 동형암호화 된 채로 결과가 출력되며 해당 결과를 복호화 하면 이미지속에서 등장 인물의 안면 위치를 파악할 수 있다.
이상에서와 같은 동형암호 기반의 암호화 데이터 비식별화 시스템 및 방법은 입력 데이터를 암호화하므로 음성인식이나 동영상 기반의 이미지 인식에서 사용자의 프라이버시를 데이터 수집 단계부터 처리단계까지 전과정에서 보호할 수 있다. 또한, 모델을 암호화 및 경량화 하므로 산업에서 소형 단말기에 인공지능 모델을 탑재할 때 기업의 노하우가 담긴 모델 구조를 노출시키지 않을 수 있다. 또한, 실시예는 데이터의 암호화 및 경량화에 관한 정보처리 기법에 관한 것으로 특정 하드웨어에 대한 종속성을 없앨 수 있도록 한다. 또한, 실시예를 통해 동형암호로 암호화된 사용자 데이터를 서버가 복호화를 거치지 않고 처리할 수 있도록 하여 원본 데이터 유출 문제를 해결할 수 있도록 한다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.

Claims (9)

  1. 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법에 있어서,
    (A) 데이터 수집 모듈에서 사용자의 이미지 데이터를 획득하는 단계;
    (B) 암호화 모듈에서 상기 이미지 데이터를 동형 암호화하는 단계;
    (C) 통신모듈에서 동형 암호화된 이미지 데이터 및 상기 이미지 데이터를 동형 암호화하기 위해 사용된 동형 암호화 연산 파라미터를 송신하는 단계;
    (D) 추론모듈에서 상기 통신모듈로부터 수신한 상기 동형 암호화된 이미지 데이터와 미리 저장된 평문 또는 상기 파라미터를 기초로 동형 암호화된 머신러닝 기반 모델을 추론하고, 상기 머신러닝 기반 모델에서 동형 암호화된 식별 결과를 산출하는 단계;
    (E) 결과 수집 모듈에서, 상기 머신러닝 기반 모델에 의해 계산된 동형 암호화된 식별 결과를 수신하는 단계; 및
    (F)비식별화 모듈에서 상기 동형 암호화된 식별 결과를 복호화하여, 이미지 데이터에서 안면 비식별화 하는 단계; 를 포함하고
    상기 (B)의 단계; 는
    암호화 모듈에서 암호화된 이미지의 파일명칭, 일련번호, 이미지 제공자 개인 정보를 숨기는 단계;
    암호화 모듈에서 이미지를 제공한 사용자의 주민등록번호, 여권번호, 의료보험번호, 외국인등록번호, 사용자 ID, 신용카드번호, 생체 정보를 암호화하는 단계;
    암호화 모듈에서 암호화(Encryption)교환 방법(Swapping)을 통해, 이미지를 제공한 사용자 정보를 비식별화 하기 위해, 사용자 아이디, 요양기관번호, 기관번호, 나이, 성별, 신체정보를 포함하는 데이터베이스의 레코드를 사전에 정해진 외부의 변수값과 연계하여 교환하는 단계; 및
    암호화 모듈에서 완전동형암호를 통해 인공지능 모델의 구조와 가중치 파일을 암호화하고, 인공지능 모델 파라미터 및 가중치를 변환하는 단계; 를 포함하고,
    상기 (E)의 단계; 는
    추론 모듈에서의 데이터 획득 및 추론 단계에서 사용되는 데이터는 연산에 용이하도록, 정수로 근사된 데이터를 이용하고, 근사된 데이터에 완전동형화를 적용하고,
    상기 (F)의 단계; 는
    사용자 단말로부터 수신한 이미지 데이터를 난독화 한 후, 동형 암호화가 적용된 안면 인식 모델을 통해 상기 이미지 데이터의 안면 인식을 수행하는 것을 특징으로 하는 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 동형암호 기반의 암호화 데이터 비식별화 시스템에 있어서,
    사용자 단말로부터 사용자의 이미지 데이터를 수집하는 데이터 수집 모듈;
    상기 이미지 데이터를 동형 암호화하는 암호화 모듈;
    동형 암호화된 이미지 데이터 및 상기 이미지 데이터를 동형 암호화하기 위해 사용된 동형 암호화 연산 파라미터를 송신하는 통신모듈;
    상기 통신모듈로부터 수신한 상기 동형 암호화된 이미지 데이터와 미리 저장된 평문 또는 상기 파라미터를 기초로 동형 암호화된 머신러닝 기반 모델을 추론하고, 미리 연산된 결과를 저장하는 캐시 메모리를 포함하는 추론 모듈;
    상기 머신러닝 기반 모델은 동형 암호화된 식별 결과를 산출하면, 상기 머신러닝 기반 모델에 의해 계산된 동형 암호화된 식별 결과를 수신하는 결과 수집 모듈; 및
    상기 동형 암호화된 식별 결과를 복호화하여, 이미지 데이터에서 안면 비식별화 하는 비식별화 모듈;
    상기 암호화 모듈은
    암호화된 이미지의 파일명칭, 일련번호, 이미지 제공자 개인 정보를 숨기고, 이미지를 제공한 사용자의 주민등록번호, 여권번호, 의료보험번호, 외국인등록번호, 사용자 ID, 신용카드번호, 생체 정보를 암호화하고,
    암호화(Encryption)교환 방법(Swapping)을 통해, 이미지를 제공한 사용자 정보를 비식별화 하기 위해, 사용자 아이디, 요양기관번호, 기관번호, 나이, 성별, 신체정보를 포함하는 데이터베이스의 레코드를 사전에 정해진 외부의 변수값과 연계하여 교환하고, 완전동형암호를 통해 인공지능 모델의 구조와 가중치 파일을 암호화하고, 인공지능 모델의 파라미터 및 가중치를 변환하고,
    상기 비식별화 모듈; 은
    사용자 단말로부터 수신한 이미지 데이터를 난독화 한 후, 동형 암호화가 적용된 안면 인식 모델을 통해 상기 이미지 데이터의 안면 인식을 수행하고
    상기 결과수집 모듈; 은
    추론 모듈에서의 데이터 획득 및 추론 단계에서 사용되는 데이터는 연산에 용이하도록 정수로 근사된 데이터를 이용하고, 근사된 데이터에 완전동형화를 적용하는 것을 특징으로 하는 동형암호 기반의 암호화 데이터 비식별화 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
KR1020220158785A 2022-11-23 2022-11-23 동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법 KR102619059B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220158785A KR102619059B1 (ko) 2022-11-23 2022-11-23 동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220158785A KR102619059B1 (ko) 2022-11-23 2022-11-23 동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법

Publications (1)

Publication Number Publication Date
KR102619059B1 true KR102619059B1 (ko) 2024-01-02

Family

ID=89512020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220158785A KR102619059B1 (ko) 2022-11-23 2022-11-23 동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법

Country Status (1)

Country Link
KR (1) KR102619059B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150045477A (ko) * 2012-08-15 2015-04-28 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 디지털 미디어 개인정보 보호
KR102403471B1 (ko) 2021-12-30 2022-05-30 주식회사 디사일로 동형 암호화된 음성을 이용한 개인 식별 방법 및 시스템
KR102404763B1 (ko) 2021-12-30 2022-06-02 주식회사 디사일로 동형 암호화된 이미지를 이용한 개인 식별 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150045477A (ko) * 2012-08-15 2015-04-28 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 디지털 미디어 개인정보 보호
KR102403471B1 (ko) 2021-12-30 2022-05-30 주식회사 디사일로 동형 암호화된 음성을 이용한 개인 식별 방법 및 시스템
KR102404763B1 (ko) 2021-12-30 2022-06-02 주식회사 디사일로 동형 암호화된 이미지를 이용한 개인 식별 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김상현, 동형암호를 이용한 프라이버시 보존 데이터 분석의 법제도적 문제, 서울대학교 융합과학기술대학원, 이학석사 학위논문 (2020.02.)* *
천정희 외 2명, 개인정보가 보호되는 동형암호기반 금융데이터분석, 금융정보연구, 2018년 2월 제7권 제1호 (2018.02.)* *

Similar Documents

Publication Publication Date Title
US11157646B2 (en) Systems and methods for processing and handling privacy-sensitive image data
Mohsin et al. Real-time medical systems based on human biometric steganography: A systematic review
US5790668A (en) Method and apparatus for securely handling data in a database of biometrics and associated data
Nelson Practical implications of sharing data: a primer on data privacy, anonymization, and de-identification
CN113536359B (zh) 基于区块链的个人健康记录隐私保护和访问系统及方法
JP4747749B2 (ja) ドキュメント管理システムおよび情報処理装置
Dagadu et al. Context-based watermarking cum chaotic encryption for medical images in telemedicine applications
CN112017761B (zh) 一种电子医学影像中嵌入医疗信息的系统及方法
CA3180722A1 (en) Privacy-preserving image distribution
McAteer et al. Integration of biometrics and steganography: a comprehensive review
CN110647659B (zh) 摄像系统以及视频处理方法
RU2725182C2 (ru) Система для биометрической аутентификации на основании венозных сетей, а также уникальное и нефальсифицируемое кодирование древовидных структур и соответствующий способ
Tripathi et al. Security in digital healthcare system
KR102619059B1 (ko) 동형암호 기반의 데이터 암호화 및 동형암호화된 데이터의 비식별화 시스템과 완전동형화를 적용한 머신러닝 기반의 안면 비식별화 방법
CN115879126B (zh) 基于安全云存储的医疗信息共享方法、电子设备及存储介质
JP4822842B2 (ja) 匿名化識別情報生成システム、及び、プログラム。
Shchegoleva et al. New Technologies for Storing and Transferring Personal Data
Aparna et al. An iris biometric-based dual encryption technique for medical image in e-healthcare application
Natu et al. Privacy issues in medical image analysis
CN116595587A (zh) 一种基于保密业务的文档隐写方法及文档管理方法
Rajendran et al. An update on medical data steganography and encryption
CN114157473A (zh) 生物特征技术共享及验证方法、系统、设备和介质
Sharma et al. Security analysis for machine learning and image processing related information systems
JP2004362123A (ja) 機密情報保護システム及び機密情報保護方法
JPH1173103A (ja) 暗号化制御方法及びプログラムを記録した機械読み取り可能な記録媒体

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant