KR20200072586A

KR20200072586A - 딥러닝 기반의 이미지 개인정보 가공장치 시스템, 장치 및 그 방법

Info

Publication number: KR20200072586A
Application number: KR1020180152503A
Authority: KR
Inventors: 강명주; 곽지훈; 서현; 김현욱; 정승원; 노형민
Original assignee: 서울대학교산학협력단
Priority date: 2018-11-30
Filing date: 2018-11-30
Publication date: 2020-06-23
Also published as: KR102126795B1

Abstract

본 발명은 딥러닝을 위하여 입력 데이터로 수집된 데이터 중 사용자의 얼굴과 같은 이미지 개인정보는 사생활 침해가 발생할 수 있는 문제와 직결되므로, 이러한 이미지 개인정보를 딥러닝 프로세스의 분산을 통해 적은 연산 자원 상황에서도 효율적으로 가공하여 식별력을 저하시키는 기술에 관한 것으로, 데이터 생성부, 레이어 연산부, 역산 데이터 획득부, 비식별화 이미지 생성부, 손실율 계산부, 식별 가능 판단부를 포함할 수 있으며, 슈퍼 컴퓨터 수준의 연산능력을 보유하지 못한 개인 휴대용 단말 및 퍼스널 컴퓨터에서도 상대적으로 적은 연산 능력으로도 이미지에 대한 비식별화가 가능하게 되어 개인정보 유출 가능성 없이 다양한 기기에서 다양한 목적으로 딥러닝 학습 뿐만 아니라 빅데이터 전송 및 가공이 가능할 수 있다는 효과를 제공할 수 있다.

Description

딥러닝 기반의 이미지 개인정보 가공장치 및 그 방법{Deep learning-based image on personal information image processing apparatus and method therefor}

본 발명은 딥러닝(deep learning)을 위하여 입력 데이터로 수집된 데이터 중에서 사용자의 얼굴과 같은 이미지 개인정보는 사생활 침해가 발생할 수 있는 문제와 직결되므로, 딥러닝 프로세스의 분산을 통해 이미지 개인정보를 적은 연산 자원 상황에서도 효율적으로 가공하여 식별력을 저하시키는 기술에 관한 것이다.

딥러닝은 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야이며, 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의될 수 있다.

딥 러닝 구조는 인공신경망(ANN, artificial neural networks)에 기반하여 설계된 개념이다. 인공신경망은 가상의 뉴런을 수학적으로 모델링한 후 시뮬레이션 하여 인간의 뇌와 같은 학습 능력을 갖게 하고자 하는 알고리즘으로서, 주로 패턴인식에 많이 사용된다. 딥 러닝에서 이용하는 인공신경망 모델은 선형 맞춤 (linear fitting)과 비선형 변환 (nonlinear transformation or activation)을 반복해 쌓아 올린 구조를 가진다.

딥러닝에서 사용하는 신경망 모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망 (Deep Belief Network, DBN), 심층 Q-네트워크(Deep Q-Networks) 등을 들 수 있다.

딥 러닝의 트레이닝 과정에서는 수많은 입력 데이터를 가지고 인공신경망 모델의 파라미터를 최적화하게 되며, 이러한 딥러닝의 트레이닝 과정에서는 (Error-backpropagation 알고리즘), 경사하강법(Gradient Decent 기법) 등이 이용될 수 있다.

딥 러닝에서는 학습 데이터의 수가 많을수록 보다 정확한 예측이 가능한 모델이 형성되므로 딥 러닝의 트레이닝 과정에서는 많은 수의 학습 데이터가 필요하므로 방대한 데이터를 수집하고 수집된 데이터를 전 처리하여 입력데이터로 변환하는 빅데이터 가공 방식이 필요로 된다.

방대한 입력 데이터를 수집하기 위해서는 빅데이터의 성격상 데이터의 양이 방대할 뿐만 아니라, 대부분의 빅데이터에는 개인 신상에 대한 정보가 필연적으로 포함될 수 밖에 없는 바, 개인 신상 정보의 유출에 따른 법적 분쟁이 발생할 소지가 다분하기 때문에, 빅데이터의 조직 간의 교류나 유통에는 한계가 있었다.

이에 따라, 빅데이터의 수집이 가능한 조직의 입장 에서는, 개인 신상정보 유출에 따른 법적 분쟁의 발생을 피하기 위해, 빅데이터 자체를 사업적 목적으로 가공하여 유통하기보다는, 특정 목적에 필요한 정보만을 대상으로 이를 군집화(clustering) 작업이나 통계분석 작업을 통해 통계적 정보 수준으로 가공하여 제공하고 있는 실정이므로, 빅데이터의 활용을 필요로 하는 조직의 입장에 서는 조직의 독특한 사업 환경에 꼭 필요로 하는 분석 자료를 획득하기가 어렵다는 문제점이 있었다.

이러한 상황에서 통계 결과 데이터가 아닌 통계 분석용으로서의 빅데이터 자체를 사업적 목적으로 가공하여 유통하기 위하여, 마스킹, 치환, 반식별화, 유형화 등을 통해 개인 속성을 비식별화하는 방법이 일각에서 적용되고 있다.

마스킹은, 대상정보를 마스킹 또는 삭제하는 것이고( 예; 670101-10491910 → ************** ), 치환은 대상 정보에 대응하여 생성된 정보로 치환하는 것이며(예; 670101-10491910 → ID2311331), 반식별화는 대상 정보의 일부만 나타내도록 반식별화 하는 것이고(예; 670101-10491910 → 67-1), 유형화는 대상정보를 유형화시켜 구분하는 방식(예; 670101-10491910 → 남자)이다.

그러나, 개인 정보를 마스킹, 치환, 반식별화, 유형화 등에 의해 비식별화 한다 하더라도, 조합(Mash-Up)이나 개인의 특정 정보 및 그 조합을 통한 역추적 등을 통해 개인정보의 유출 위험이 존재한다는 단점이 있었으며, 또한 이러한 비식별화 작업에는 별도의 연산자원이 필요하므로, 방대한 빅데이터를 대상으로 비식별화 작업을 수행하기 위해서는 막대한 연산 자원이 요구될 수 밖에 없는 문제점이 존재한다.

본 발명은 종래의 기술에서 발생하던 개인정보의 유출 위험 및 이러한 유출을 방지하기 위한 비식별화를 위해 막대한 연산 자원이 요구되는 문제를 해결하기 위하여 다수의 레이어를 포함하는 전체 신경망에서 수행단계를 크게 2단계로 나누어, 적은 연산능력으로도 비식별화가 가능하도록 최소한의 비식별화에 필요한 레이어 연산만을 이미지 가공장치에서 일부 수행하고, 나머지는 상대적으로 높은 연산능력을 가지는 서버에서 수행하게 함으로써 이미지 개인정보를 딥러닝 프로세스의 분산을 통해 적은 연산 자원 상황에서도 효율적으로 가공하여 식별력을 저하시키는 것에 그 목적이 있다.

본 발명의 실시 예에 따르면 딥러닝 기반의 개인정보 가공장치는 프로세서에 의하여 동작하는 순차적으로 위치한 다수의 레이어(Li, i = 1, 2, 3...n) 를 가지는 신경망을 이용하여, 인물 식별이 가능한 식별 가능 이미지를 포함한 개인정보를 이용하여 적어도 하나의 입력 데이터를 생성하는 데이터 생성부; 상기 입력데이터를 상기 신경망의 Li 레이어에 통과시켜 연산을 수행하여 연산 결과 데이터를 획득하는 레이어 연산부; 상기 획득한 연산 결과 데이터를 대상으로 상기 Li 레이어의 연산을 역으로 수행하여 역산 데이터를 획득하는 역산 데이터 획득부; 상기 획득한 역산 데이터를 이용하여 상기 식별가능 이미지 중 일부분이 누락된 비식별화 이미지를 생성하는 비식별화 이미지 생성부; 상기 식별 가능 이미지와 상기 비식별화 이미지를 대비하여 손실율을 계산하는 손실율 계산부; 및 상기 계산된 손실율과 미리 설정된 기준 값을 비교하여, 상기 손실율이 상기 기준 값 이하인 경우 식별 가능 수준으로 판단하여 상기 연산 결과 데이터를 상기 레이어 연산부의 Li+1 레이어에 전송 후 입력 데이터로 사용하여 다음 단계의 연산결과 데이터를 산출하고, 상기 손실율이 상기 기준 값 이상인 경우 식별 불가 수준으로 판단하여 해당 연산 결과 데이터 및 수행 레이어 정보를 전송하는 식별 가능 판단부를 포함하고, 상기 식별 가능 판단부는, 상기 다음 단계의 연산 결과 데이터의 산출을 상기 손실율이 상기 기준 값에 도달할 때까지 반복할 수 있다.

본 발명의 일 실시 예에 따르면 상기 송신된 연산 결과 데이터 및 수행 레이어 정보는 서버가 수신하며, 상기 서버는 수행 레이어 정보에 기초해 상기 연산 결과 데이터를 상기 신경망에 포함된 다수의 레이어 중 아직 수행되지 않은 적어도 하나의 레이어에 순차적으로 거치게 함으로써 나머지 딥러닝 연산을 수행할 수 있다.

본 발명의 일 실시 예에 따르면 상기 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함하고, 상기 다수의 레이어를 통해 합성곱 연산을 수행하는 딥러닝 모델일 수 있다.

본 발명의 일 실시 예에 따르면 상기 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함한 상기 다수의 레이어를 통해 MLP 연산을 수행하는 딥러닝 모델일 수 있다.

본 발명의 일 실시 예에 따르면 상기 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함한 상기 다수의 레이어를 통해 Pooling 연산을 수행할 수 있다.

본 발명의 일 실시 예에 따르면 상기 손실율 계산부는, 상기 손실율을 산출하기 위하여 MSE, PSNR, Image correlation의 방법 중 적어도 하나를 사용할 수 있다.

본 발명의 일 실시 예에 따르면 상기 식별 가능 판단부는, 상기 손실율을 산출하기 위하여 Image correlation를 사용하며, 상기 Image correlation의 값과 미리 설정된 기준 값인 0.002를 대비하여 식별 가능 여부를 판단할 수 있다.

본 발명의 일 실시 예에 따르면 상기 식별 불가 수준으로 판단되는 Li 레이어의 i값을 산출하고, 상기 신경망에 포함된 다수의 레이어 중 L1부터 Li 레이어까지는 상기 개인정보 가공장치에서 연산을 수행하며, Li+1 부터 Ln 레이어까지는 상기 서버에서 연산을 수행함으로써 상대적으로 적은 물리적 연산능력으로 비식별화 및 딥러닝 연산이 가능할 수 있다.

본 발명의 실시 예에 따르면 딥러닝 기반의 개인정보 가공방법은 프로세서에 의하여 동작하는 순차적으로 위치한 다수의 레이어(Li, i = 1, 2, 3...n) 를 가지는 신경망을 이용하여, 인물 식별이 가능한 식별 가능 이미지를 포함한 개인정보를 이용하여 적어도 하나의 입력 데이터를 생성하는 단계; 상기 입력데이터를 상기 신경망의 Li 레이어에 통과시켜 연산을 수행하여 연산 결과 데이터를 획득하는 단계; 상기 획득한 연산 결과 데이터를 대상으로 상기 Li 레이어의 연산을 역으로 수행하여 역산 데이터를 획득하는 단계; 상기 획득한 역산 데이터를 이용하여 상기 식별가능 이미지 중 일부분이 누락된 비식별화 이미지를 생성하는 단계; 상기 식별 가능 이미지와 상기 비식별화 이미지를 대비하여 손실율을 계산하는 단계; 및 상기 계산된 손실율과 미리 설정된 기준 값을 비교하여, 상기 손실율이 상기 기준 값 이하인 경우 식별 가능 수준으로 판단하여 상기 연산 결과 데이터를 상기 레이어 연산부의 Li+1 레이어에 전송 후 입력 데이터로 사용하여 다음 단계의 연산결과 데이터를 산출하고, 상기 손실율이 상기 기준 값 이상인 경우 식별 불가 수준으로 판단하여 해당 연산 결과 데이터 및 수행 레이어 정보를 전송하는 단계를 포함하고, 상기 식별 가능 수준으로 판단하는 단계는, 상기 다음 단계의 연산 결과 데이터의 산출을 상기 손실율이 상기 기준 값에 도달할 때까지 반복할 수 있다.

본 발명의 일 실시 예에 따르면 상기 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함한 상기 다수의 레이어를 통해 MLP 연산을 수행할 수 있다.

본 발명의 일 실시 예에 따르면 상기 손실율을 계산하는 단계는, 상기 손실율을 산출하기 위하여 MSE, PSNR, Image correlation의 방법 중 적어도 하나를 사용할 수 있다.

본 발명의 일 실시 예에 따르면 상기 계산된 손실율과 미리 설정된 기준 값을 비교하는 단계는, 상기 손실율을 산출하기 위하여 Image correlation를 사용하며, 상기 Image correlation의 값과 미리 설정된 기준 값인 0.002를 대비하여 식별 가능 여부를 판단할 수 있다.

본 발명에 따르면 비식별화를 위하여 막대한 연산자원이 필요한 문제점을 해결하고, 적은 연산능력으로도 비식별화가 가능하도록 최소한의 비식별화에 필요한 레이어 연산만을 이미지 가공장치에서 일부 수행하고, 나머지는 높은 연산능력을 가지는 서버에서 수행하게 함으로써 슈퍼 컴퓨터 수준의 연산능력을 보유하지 못한 개인 휴대용 단말 및 퍼스널 컴퓨터에서도 상대적으로 적은 연산 능력으로도 이미지에 대한 비식별화가 가능하게 되어 개인정보 유출 가능성 없이 다양한 기기에서 다양한 목적으로 딥러닝 학습 뿐만 아니라 빅데이터 전송 및 가공이 가능할 수 있다는 효과를 제공할 수 있다.

도 1은 본 발명의 실시 예에 따른 딥러닝 기반의 개인정보 가공장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 딥러닝 기반의 개인정보 가공 시스템의 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 MLP 연산을 나타낸 도면이다.
도 4는 본 발명의 일 실시 예에 따른 합성곱 연산을 나타낸 도면이다.
도 5는 본 발명의 제1 실시 예에 따른 Pooling 연산을 나타낸 도면이다.
도 6은 본 발명의 제2 실시 예에 따른 Pooling 연산을 나타낸 도면이다.
도 7는 본 발명의 일 실시 예에 따라 각 레이어 별로 생성된 비식별화 이미지 및 이에 따라 계산된 손실율과 식별 불가한 이미지를 나타낸 도면이다.
도 8은 본 발명의 일 실시 예에 따른 딥러닝 기반의 개인정보 가공방법의 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 딥러닝 기반의 개인정보 가공장치 및 그 방법에 대하여 설명한다.

도 1은 본 발명의 실시 예에 따른 딥러닝 기반의 개인정보 가공장치(1000)의 구성도이다.

도 1을 참조하면 딥러닝 기반의 개인정보 가공장치(1000)는 데이터 생성부(100), 레이어 연산부(200), 역산 데이터 획득부(300), 비식별화 이미지 생성부(400), 손실율 계산부(500), 식별 가능 판단부(600)를 포함할 수 있다.

본 발명의 실시 예에 따르면 딥러닝 기반의 개인정보 가공장치(1000)는 프로세서에 의하여 동작하는 순차적으로 위치한 다수의 레이어(Li, i = 1, 2, 3...n) 를 가지는 신경망을 이용하여 각 레이어 연산을 수행할 수 있다.

데이터 생성부(100)는 인물 식별이 가능한 식별 가능 이미지를 포함한 개인정보를 이용하여 적어도 하나의 입력 데이터를 생성할 수 있다.

여기서 식별 가능 이미지란 개인에 대한 식별이 가능할 정도로 얼굴이나 신체 외형이 선명하게 드러나 있는 이미지를 의미할 수 있으며, 아무런 비식별화 가공 없이 서버로 전송될 경우 개인정보 침해의 위험성이 존재하는 이미지라면 형식과 해상도, 크기에 제한없이 사용될 수 있다.

여기서 식별이 가능한 정도는 사람 마다 다를 수 있으므로 일정한 기준으로 특정되지 아니하며, 특정인으로 구분이 되지 않는 정도라면 제한없이 사용될 수 있다.

본 발명의 일 실시 예에 따르면 개인정보를 입력 데이터로 사용하기 위하여 전처리(preprocess) 단계를 거칠 수 있으며, 전처리 단계를 통해 특정 파일 형식 또는 특정 해상도 , 특정 크기 등으로 이미지를 규격화 할 수 있으며, 메타 데이터를 생성하여 해당 정보의 특성 데이터를 생성할 수도 있다.

레이어 연산부(200)는 입력데이터를 신경망의 Li 레이어에 통과시켜 연산을 수행하여 연산 결과 데이터를 획득할 수 있다.

본 발명의 일 실시 예에 따르면 딥러닝 기반의 개인정보 가공장치(1000)는 다수의 레이어를 포함한 신경망을 이용하여, 입력 데이터를 L1, L2, L3, L4…… Ln등의 레이어에 순차적으로 통과시켜 딥러닝 연산을 수행할 수 있다.

본 발명의 일 실시 예에 따르면 입력 데이터를 Li 레이어에 통과시킨 다음 바로 연산 결과 데이터를 바로 Li+1 레이어에 바로 통과시키는 것이 아닌 역산을 위해 역산 데이터 획득부(300)에 송신할 수 있다.

본 발명의 일 실시 예에 따르면 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함할 수 있으며, 상기 다수의 레이어를 통해 합성곱 연산을 수행하는 딥러닝 모델일 수 있다.

본 발명의 또다른 일 실시 예에 따르면 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함할 수 있으며, 다수의 레이어를 통해 MLP 연산을 수행하는 딥러닝 모델일 수 있다.

본 발명의 또 다른 일 실시 예에 따르면 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함할 수 있으며, 다수의 레이어를 통해 Pooling 연산을 수행하는 딥러닝 모델일 수 있다.

합성곱 연산을 사용하는 본 발명의 일 실시 예에 따르면 입력 데이터를 Forward CNN하여 연산 결과 데이터를 획득할 수 있다.

여기서 Forward CNN은 일반적인 컨볼루션 연산을 의미할 수 있다.

MLP 연산을 사용하는 본 발명의 일 실시 예에 따르면 입력 데이터를 Forward MLP하여 연산 결과 데이터를 획득할 수 있다.

여기서 Forward MLP는 액티베이션(activation) 함수를 이용한 연산일 수 있으며, 액티베이션 함수로는 Sigmoid, Tanh, Relu 등의 함수가 사용될 수 있다.

Pooling 연산을 사용하는 본 발명의 일 실시 예에 따르면 Max-Pooling 또는 Average-pooling 등 resolution을 줄이기 위한 연산을 이용하여 연산 결과 데이터를 획득할 수 있다.

상술한 합성곱(Convolution) 연산, MLP(multi-layer perceptron) 연산, Pooling 연산에 대해서는 도 3 내지 6을 참조하며 더 자세하게 설명한다.

역산 데이터 획득부(300)는 획득한 연산 결과 데이터를 대상으로 Li 레이어의 연산을 역으로 수행하여 역산 데이터를 획득할 수 있다.

여기서 연산을 역으로 수행하는 것은 레이어 연산부(200)에서 수행된 연산을 반대로 수행하는 것을 의미한다.

합성곱 연산을 사용하는 본 발명의 일 실시 예에 따르면 입력 데이터를 Inverse CNN하여 연산 결과 데이터를 획득할 수 있다.

여기서 Inverse CNN는 컨볼루션 연산을 반대로 하는 연산으로, 연산적으로 Kernel의 Transpose를 곱하는 것을 의미할 수 있다.

MLP 연산을 사용하는 본 발명의 일 실시 예에 따르면 입력 데이터를 Inverse MLP하여 연산 결과 데이터를 획득할 수 있다.

여기서 Inverse MLP는 액티베이션 함수의 역함수와 W 의 inverse를 곱해주는 것을 의미할 수 있다.

Pooling 연산을 사용하는 본 발명의 일 실시 예에 따르면 입력 데이터를 Un-Pooling하여 연산 결과 데이터를 획득할 수 있다.

여기서 Un-Pooling은 resolution을 높이기 위하여 사용되며, Pooling 연산을 역으로 수행하여 모두 같은 값으로 채워 넣는 방법도 사용될 수 있으며, Max-pooling 할 때 위치를 저장해 두었다가 그 위치만 채워 넣는 방법도 사용될 수 있다.

비식별화 이미지 생성부(400)는 획득한 역산 데이터를 이용하여 식별가능 이미지 중 일부분이 누락된 비식별화 이미지를 생성할 수 있다.

본 발명의 일 실시 예에 따르면 입력 데이터를 레이어 연산 하는 과정에서 일정 정보가 누락되기 때문에 연산 결과 데이터를 역산하여 획득된 역산 데이터 또한 원래 학습 데이터에 비하여 누락된 정보가 존재할 수 있다.

따라서 역산 데이터를 이용하여 생성한 이미지는 식별 가능 이미지 대비 누락된 부분이 존재할 수 밖에 없으며, 이러한 누락된 부분이 존재하는 이미지를 비식별화 이미지로 정의할 수 있다.

손실율 계산부(500)는 식별 가능 이미지와 비식별화 이미지를 대비하여 손실율을 계산할 수 있다.

본 발명의 일 실시 예에 따르면 손실율 계산부(500)는 식별 가능 이미지와 비식별화 이미지를 대비하여 누락 부분을 파악하여 이를 통해 손실율을 계산할 수 있다.

본 발명의 일 실시 예에 따르면 손실율은 MSE(mean square error), PSNR(Peak signal-to-noise ratio), Image correlation의 방법 중 적어도 하나를 사용하여 산출할 수 있다.

본 발명의 MSE(mean square error)를 이용하여 손실률을 계산하는 일 실시 예에 따르면 수학식 1과 같은 수식을 이용하여 손실률을 산출할 수 있다.

[수학식 1]

본 발명의 PSNR(Peak signal-to-noise ratio)를 이용하여 손실률을 계산하는 일 실시 예에 따르면 수학식 2과 같은 수식을 이용하여 손실률을 산출할 수 있다.

[수학식 2]

본 발명의 Image correlation를 이용하여 손실률을 계산하는 일 실시 예에 따르면 원본 이미지와 복원된 이미지의 correlation을 계산하여 얼마나 상관관계가 있는지 측정할 수 있다.

식별 가능 판단부(600)는 계산된 손실율과 미리 설정된 기준 값을 비교하여, 손실율이 기준 값 이하인 경우 식별 가능 수준으로 판단하여 연산 결과 데이터를 레이어 연산부의 Li+1 레이어에 전송 후 입력 데이터로 사용하여 다음 단계의 연산결과 데이터를 산출할 수 있다.

여기서 미리 설정된 기준 값은 손실률 계산 방법에 따라 다르게 설정될 수 있으며, 인물 식별이 불가능할 정도의 손실이 존재한다고 판단된다면 특정 값에 제한 없이 사용될 수 있다.

또한 상기 실시 예에 따르면 손실율이 기준 값 이상인 경우 식별 불가 수준으로 판단하여 해당 연산 결과 데이터 및 수행 레이어 정보를 전송할 수 있다.

본 발명의 일 실시 예에 따르면 식별 가능 판단부(600)는 다음 단계의 연산 결과 데이터의 산출을 손실율이 기준 값에 도달할 때까지 반복할 수 있다.

본 발명의 일 실시 예에 따르면 손실율 계산부는 손실율을 산출하기 위하여 MSE, PSNR, Image correlation의 방법 중 적어도 하나를 사용할 수 있다.

본 발명의 일 실시 예에 따르면 식별 가능 판단부는 손실율을 산출하기 위해 Image correlation를 사용한 경우, 기준 값을 0.002로 설정하고 이와 손실률을 대비하여 식별 가능 여부를 판단할 수 있다.

상기 실시 예는 도 7을 참조하여 더 자세히 설명하도록 한다.

도 2는 본 발명의 일 실시 예에 따른 딥러닝 기반의 개인정보 가공 시스템의 구성도이다.

도 2를 참조하면 딥러닝 기반의 개인정보 가공 시스템은 딥러닝 기반의 개인정보 가공장치(1000), 서버(2000)를 포함할 수 있다.

본 발명의 일 실시 예에 따르면 식별 불가 수준으로 판단되는 Li 레이어의 i값을 산출할 수 있으며, 신경망에 포함된 다수의 레이어 중 L1부터 Li 레이어까지는 개인정보 가공장치(1000)에서 연산을 수행할 수 있으며, Li+1 부터 Ln 레이어까지는 서버(2000)에서 연산을 수행함으로써 상대적으로 적은 물리적 연산능력으로 비식별화 및 딥러닝 연산을 할 수 있다.

상기 실시 예에 따른 시나리오는 아래와 같다.

만약 개인정보 가공장치(1000)의 레이어 연산부(200)에서 L3 레이어를 통과시켜 연산 결과 데이터를 획득한 경우, L3 레이어의 연산 결과 데이터를 역산한 역산 데이터를 이용하여 생성된 비식별화 이미지와 식별 가능 이미지를 대비하여 손실률을 산출할 수 있다.

이때 산출된 손실률이 미리 설정된 기준 값 이하인 경우에는 L3 레이어의 연산 결과 데이터를 레이어 연산부(200)로 전송하여 L4 레이어의 입력 데이터로 사용함으로써 식별 가능 여부를 다시 판단할 수 있다.

반면에 산출된 손실률이 미리 설정된 기준 값 이상인 경우에는 L3 레이어의 연산 결과 데이터 및 수행 레이어 정보를 서버(2000)에 전송하고 L4 레이어부터 Ln 레이어까지의 연산을 서버에서 수행할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 MLP 연산을 나타낸 도면이다.

도 3을 참조하면 MLP 연산에 대한 데이터 흐름이 나타나 있으며, MLP 연산은 정방향 레이어 연산인 Forward MLP과 역방향 역산인 Inverse MLP으로 구별될 수 있다.

본 발명에 의한 Forward MLP 연산에서는 Li+1 레이어의 j값은 아래 수학식 3과 같이 계산될 수 있다.

[수학식 3]

,

본 발명에 의한 Inverse MLP 연산은 아래 수학식 4와 같이 연산 될 수 있다.

[수학식 4]

도 4는 본 발명의 일 실시 예에 따른 합성곱 연산을 나타낸 도면이다.

도 3을 참조하면 합성곱 연산에 대한 데이터 흐름이 나타나 있으며, 합성곱 연산은 정방향 레이어 연산인 Forward CNN과 역방향 역산인 Inverse CNN으로 구별될 수 있다.

본 발명에 의한 Forward CNN 연산에서는 Li+1 레이어의 j값은 아래 수학식 5과 같이 계산될 수 있다.

[수학식 5]

본 발명에 의한 Inverse CNN 연산은 Forward CNN 연산의 역산으로 연산적으로 Kernel의 Transpose를 곱하는 방법으로 산출될 수 있다.

도 5는 본 발명의 제1 실시 예에 따른 Pooling 연산을 나타낸 도면이다.

도 5을 참조하면 본 발명의 제1 실시 예에 따른 Pooling 연산은 Max-pooling 연산 시에 다수의 데이터 중 임의의 데이터 값을 저장하고 나머지는 삭제하여 연산을 수행할 수 있고, Un-Pooling 연산시에는 삭제된 부분에 저장된 데이터 값을 할당하는 연산을 수행할 수 있다.

도 6은 본 발명의 제2 실시 예에 따른 Pooling 연산을 나타낸 도면이다.

도 6을 참조하면 본 발명의 제2 실시 예에 따른 Pooling 연산은 Max-pooling 연산 시에 다수의 데이터 중 임의의 데이터 값 및 위치를 저장하고 나머지는 삭제하여 연산을 수행할 수 있고, Un-Pooling 연산시에는 저장된 임의의 데이터 값 및 위치를 저장을 제외한 삭제된 부분에 0을 할당하는 연산을 수행할 수 있다.

도 7는 본 발명의 일 실시 예에 따라 각 레이어 별로 생성된 비식별화 이미지 및 이에 따라 계산된 손실율과 식별 불가한 이미지를 나타낸 도면이다.

도 7을 참조하면 각 레이어를 순차적으로 거쳤을 때의 각 레이어 별 역산에 따라 생성된 비식별화 이미지가 나타나 있으며, 이러한 비식별화 이미지 중 인물의 식별이 불가능한 레이어에서의 손실률을 미리 설정된 기준 값으로 정할 수 있다.

손실률을 Image correlation로 구하는 본 발명의 일 실시 예에 따르면 미리 설정된 기준 값을 0.002로 잡아 손실률을 대비하여 식별 가능 여부를 판단할 수 있다.

도 8은 본 발명의 일 실시 예에 따른 딥러닝 기반의 개인정보 가공방법의 흐름도이다.

입력 데이터를 생성할 수 있다(810).

본 발명의 일 실시 예에 따르면 인물 식별이 가능한 식별 가능 이미지를 포함한 개인정보를 이용하여 적어도 하나의 입력 데이터를 생성할 수 있다.

연산 결과 데이터를 획득할 수 있다(820).

본 발명의 일 실시 예에 따르면 입력 데이터를 신경망의 Li 레이어에 통과시켜 연산을 수행하여 연산 결과 데이터를 획득할 수 있다.

본 발명의 일 실시 예에 따르면 다수의 레이어를 포함한 신경망을 이용하여, 입력 데이터를 L1, L2, L3, L4…… Ln등의 레이어에 순차적으로 통과시켜 딥러닝 연산을 수행할 수 있다.

본 발명의 일 실시 예에 따르면 입력 데이터를 Li 레이어에 통과시킨 다음 바로 연산 결과 데이터를 바로 Li+1 레이어에 바로 통과시키는 것이 아닌 역산을 위해 송신할 수 있다.

역산 데이터를 획득할 수 있다(830).

본 발명의 일 실시 에에 따르면 획득한 연산 결과 데이터를 대상으로 Li 레이어의 연산을 역으로 수행하여 역산 데이터를 획득할 수 있다.

여기서 연산을 역으로 수행하는 것은 각 레이어에서 수행된 연산을 반대로 수행하는 것을 의미한다.

비식별화 이미지를 생성할 수 있다(840).

본 발명의 일 실시 예에 따르면 획득한 역산 데이터를 이용하여 식별가능 이미지 중 일부분이 누락된 비식별화 이미지를 생성할 수 있다.

비식별화 이미지와 대비하여 손실율을 계산할 수 있다(850).

본 발명의 일 실시 예에 따르면 식별 가능 이미지와 비식별화 이미지를 대비하여 손실율을 계산할 수 있다.

본 발명의 일 실시 예에 따르면 식별 가능 이미지와 비식별화 이미지를 대비하여 누락 부분을 파악하여 이를 통해 손실율을 계산할 수 있다.

식별 가능 수준을 판단할 수 있다(860).

본 발명의 일 실시 예에 따르면 계산된 손실율과 미리 설정된 기준 값을 비교하여, 손실율이 기준 값 이하인 경우 식별 가능 수준으로 판단하여 연산 결과 데이터를 레이어 연산부의 Li+1 레이어에 전송 후 입력 데이터로 사용하여 다음 단계의 연산결과 데이터를 산출할 수 있다.

연산 결과 데이터 및 수행 레이어 정보를 송신할 수 있다(870).

본 발명의 일 실시 예에 따르면 손실율이 기준 값 이상인 경우 식별 불가 수준으로 판단하여 해당 연산 결과 데이터 및 수행 레이어 정보를 전송할 수 있다.

나머지 딥 러닝 연산을 수행할 수 있다(880).

본 발명의 일 실시 예에 따르면 송신된 연산 결과 데이터 및 수행 레이어 정보는 서버(2000)가 수신하며, 서버(2000)는 수행 레이어 정보에 기초해 연산 결과 데이터를 상기 신경망에 포함된 다수의 레이어 중 아직 수행되지 않은 적어도 하나의 레이어에 순차적으로 거치게 함으로써 나머지 딥러닝 연산을 수행할 수 있다.

딥러닝 연산의 결과 값을 산출할 수 있다(890).

본 발명의 일 실시 예에 따르면 다수의 레이어 중 L1부터 Li 레이어까지는 개인정보 가공장치(1000)에서 연산을 수행할 수 있으며, Li+1 부터 Ln 레이어까지는 서버(2000)에서 연산을 수행함으로써 상대적으로 적은 물리적 연산능력으로 비식별화 및 딥러닝 연산을 할 수 있다.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100 : 데이터 생성부 200 : 레이어 연산부
300 : 역산 데이터 획득부 400 : 비식별화 이미지 생성부
500 : 손실율 계산부 600 : 식별 가능 판단부
1000 : 개인정보 가공장치 2000 : 서버

Claims

프로세서에 의하여 동작하는 순차적으로 위치한 다수의 레이어(Li, i = 1, 2, 3...n) 를 가지는 신경망을 이용하여,
인물 식별이 가능한 식별 가능 이미지를 포함한 개인정보를 이용하여 적어도 하나의 입력 데이터를 생성하는 데이터 생성부;
상기 입력데이터를 상기 신경망의 Li 레이어에 통과시켜 연산을 수행하여 연산 결과 데이터를 획득하는 레이어 연산부;
상기 획득한 연산 결과 데이터를 대상으로 상기 Li 레이어의 연산을 역으로 수행하여 역산 데이터를 획득하는 역산 데이터 획득부;
상기 획득한 역산 데이터를 이용하여 상기 식별가능 이미지 중 일부분이 누락된 비식별화 이미지를 생성하는 비식별화 이미지 생성부;
상기 식별 가능 이미지와 상기 비식별화 이미지를 대비하여 손실율을 계산하는 손실율 계산부; 및
상기 계산된 손실율과 미리 설정된 기준 값을 비교하여, 상기 손실율이 상기 기준 값 이하인 경우 식별 가능 수준으로 판단하여 상기 연산 결과 데이터를 상기 레이어 연산부의 Li+1 레이어에 전송 후 입력 데이터로 사용하여 다음 단계의 연산결과 데이터를 산출하고, 상기 손실율이 상기 기준 값 이상인 경우 식별 불가 수준으로 판단하여 해당 연산 결과 데이터 및 수행 레이어 정보를 전송하는 식별 가능 판단부를 포함하고,
상기 식별 가능 판단부는,
상기 다음 단계의 연산 결과 데이터의 산출을 상기 손실율이 상기 기준 값에 도달할 때까지 반복하는 것을 특징으로 하는 딥러닝 기반의 개인정보 가공장치.
제 1 항에 있어서,
상기 송신된 연산 결과 데이터 및 수행 레이어 정보는 서버가 수신하며, 상기 서버는 수행 레이어 정보에 기초해 상기 연산 결과 데이터를 상기 신경망에 포함된 다수의 레이어 중 아직 수행되지 않은 적어도 하나의 레이어에 순차적으로 거치게 함으로써 나머지 딥러닝 연산을 수행하는 것을 특징으로 하는 딥러닝 기반의 개인정보 가공장치.
제 1 항에 있어서,
상기 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함하고, 상기 다수의 레이어를 통해 합성곱 연산을 수행하는 딥러닝 모델인 것을 특징으로 하는 딥러닝 기반의 개인정보 가공장치.
제 1 항에 있어서,
상기 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함한 상기 다수의 레이어를 통해 MLP 연산을 수행하는 딥러닝 모델인 것을 특징으로 하는 딥러닝 기반의 개인정보 가공장치.
제 1 항에 있어서,
상기 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함한 상기 다수의 레이어를 통해 Pooling 연산을 수행하는 딥러닝 모델인 것을 특징으로 하는 딥러닝 기반의 개인정보 가공장치.
제 1 항에 있어서 상기 손실율 계산부는,
상기 손실율을 산출하기 위하여 MSE, PSNR, Image correlation의 방법 중 적어도 하나를 사용하는 것을 특징으로 하는 딥러닝 기반의 개인정보 가공장치.
제 6 항에 있어서 상기 식별 가능 판단부는,
상기 손실율을 산출하기 위하여 Image correlation를 사용하며, 상기 Image correlation의 값과 미리 설정된 기준 값인 0.002를 대비하여 식별 가능 여부를 판단하는 것을 특징으로 하는 딥러닝 기반의 개인정보 가공장치.
제 2 항에 있어서,
상기 식별 불가 수준으로 판단되는 Li 레이어의 i값을 산출하고, 상기 신경망에 포함된 다수의 레이어 중 L1부터 Li 레이어까지는 상기 개인정보 가공장치에서 연산을 수행하며, Li+1 부터 Ln 레이어까지는 상기 서버에서 연산을 수행함으로써 상대적으로 적은 물리적 연산능력으로 비식별화 및 딥러닝 연산이 가능한 것을 특징으로 하는 딥러닝 기반의 개인정보 가공장치.
프로세서에 의하여 동작하는 순차적으로 위치한 다수의 레이어(Li, i = 1, 2, 3...n) 를 가지는 신경망을 이용하여,
인물 식별이 가능한 식별 가능 이미지를 포함한 개인정보를 이용하여 적어도 하나의 입력 데이터를 생성하는 단계;
상기 입력데이터를 상기 신경망의 Li 레이어에 통과시켜 연산을 수행하여 연산 결과 데이터를 획득하는 단계;
상기 획득한 연산 결과 데이터를 대상으로 상기 Li 레이어의 연산을 역으로 수행하여 역산 데이터를 획득하는 단계;
상기 획득한 역산 데이터를 이용하여 상기 식별가능 이미지 중 일부분이 누락된 비식별화 이미지를 생성하는 단계;
상기 식별 가능 이미지와 상기 비식별화 이미지를 대비하여 손실율을 계산하는 단계; 및
상기 계산된 손실율과 미리 설정된 기준 값을 비교하여, 상기 손실율이 상기 기준 값 이하인 경우 식별 가능 수준으로 판단하여 상기 연산 결과 데이터를 상기 레이어 연산부의 Li+1 레이어에 전송 후 입력 데이터로 사용하여 다음 단계의 연산결과 데이터를 산출하고, 상기 손실율이 상기 기준 값 이상인 경우 식별 불가 수준으로 판단하여 해당 연산 결과 데이터 및 수행 레이어 정보를 전송하는 단계를 포함하고,
상기 식별 가능 수준으로 판단하는 단계는,
상기 다음 단계의 연산 결과 데이터의 산출을 상기 손실율이 상기 기준 값에 도달할 때까지 반복하는 것을 특징으로 하는 딥러닝 기반의 개인정보 가공방법.
제 9 항에 있어서,
상기 송신된 연산 결과 데이터 및 수행 레이어 정보는 서버가 수신하며, 상기 서버는 수행 레이어 정보에 기초해 상기 연산 결과 데이터를 상기 신경망에 포함된 다수의 레이어 중 아직 수행되지 않은 적어도 하나의 레이어에 순차적으로 거치게 함으로써 나머지 딥러닝 연산을 수행하는 것을 특징으로 하는 딥러닝 기반의 개인정보 가공방법.
제 9 항에 있어서,
상기 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함하고, 상기 다수의 레이어를 통해 합성곱 연산을 수행하는 딥러닝 모델인 것을 특징으로 하는 딥러닝 기반의 개인정보 가공방법.
제 9 항에 있어서,
상기 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함한 상기 다수의 레이어를 통해 MLP 연산을 수행하는 딥러닝 모델인 것을 특징으로 하는 딥러닝 기반의 개인정보 가공방법.
제 9 항에 있어서,
상기 신경망은 다수의 레이어(Li, i = 1, 2, 3...)를 포함한 상기 다수의 레이어를 통해 Pooling 연산을 수행하는 딥러닝 모델인 것을 특징으로 하는 딥러닝 기반의 개인정보 가공방법.
제 9 항에 있어서 상기 손실율을 계산하는 단계는,
상기 손실율을 산출하기 위하여 MSE, PSNR, Image correlation의 방법 중 적어도 하나를 사용하는 것을 특징으로 하는 딥러닝 기반의 개인정보 가공방법.
제 14 항에 있어서 상기 계산된 손실율과 미리 설정된 기준 값을 비교하는 단계는,
상기 손실율을 산출하기 위하여 Image correlation를 사용하며, 상기 Image correlation의 값과 미리 설정된 기준 값인 0.002를 대비하여 식별 가능 여부를 판단하는 것을 특징으로 하는 딥러닝 기반의 개인정보 가공방법.
제 10 항에 있어서,
상기 식별 불가 수준으로 판단되는 Li 레이어의 i값을 산출하고, 상기 신경망에 포함된 다수의 레이어 중 L1부터 Li 레이어까지는 상기 개인정보 가공장치에서 연산을 수행하며, Li+1 부터 Ln 레이어까지는 상기 서버에서 연산을 수행함으로써 상대적으로 적은 물리적 연산능력으로 비식별화 및 딥러닝 연산이 가능한 것을 특징으로 하는 딥러닝 기반의 개인정보 가공방법.