KR20220162521A - 전력 분야 이미지 인식 모델에 대한 회피 공격에 대응하기 위한 동적 오토인코터 기반 이미지 데이터 처리 장치 및 처리 방법 - Google Patents

Abstract

본 발명의 동적 오토인코터 기반의 이미지 데이터 처리 장치는, 수집한 이미지를 복원하기 위해 하기 오토인코더에 맞춰 포맷을 변경하는 전처리부; 상기 이미지의 특징을 추출하는 인코딩 블록과, 추출된 상기 특징을 이용하여 상기 이미지에 대한 원본을 복원하는 디코딩 불록을 구비하는 오토인코더; 악의적 이미지 데이터 생성을 위한 쿼리 관찰을 방지하기 위해, 상기 오토인코더에서 복원한 이미지를 학습 데이터로 사용하여 상기 오토인코더를 추가 학습시키는 추가 학습부; 및 상기 오토인코더에서 복원한 이미지에 포함된 전력 설비들을 인식하는 이미지 인식부를 포함할 수 있다.

Description

전력 분야 이미지 인식 모델에 대한 회피 공격에 대응하기 위한 동적 오토인코터 기반 이미지 데이터 처리 장치 및 처리 방법{DYNAMIC AUTO-ENCODER-BASED IMAGE DATA PROCESSING APPARATUS AND METHOD FOR COUNTERING EVASION ATTACKS AGAINST IMAGE RECOGNITION MEDELS IN THE POWER FIELD}

본 발명은 전력 설비를 진단하기 위해 촬영된 이미지 데이터를 처리하는 장치로서, 촬영된 이미지 데이터에 대하여 잡음 제거 등을 수행하는 이미지 인식 모델 또는 장애 감지/처리 알고리즘을 무력화하려는 악의적 의도로 주입된 적대적 이미지 요소에 대응할 수 있는 동적 오토인코터 기반의 이미지 데이터 처리 장치에 관한 것이다.

사회 다양한 분야에서 감시나 분석 등의 용도로 이용되는 CCTV 등에 의한 이미지들이 증가하고 있으나, AI 이미지 분석 기술이 발달함에 따라, 산업 전반적으로 다양한 용도로 이미지들이 생성되어 이용되고 있다. 특히, 단순히 이미지를 분석하는 것을 넘어 사람의 안전을 위한 분야에서도 사용되고 있다.

한편, 현재 대부분의 국가가 실시간으로 배전 계통의 상황을 계측하고 모니터링 하는 능력이 부족한 상황이다. 최근 증가하는 분산 전원 및 전기자동차는 배전 계통의 운영 복잡성을 더욱 높이고 실시간 모니터링 기술에 대한 요구를 증가시키고 있다.

예컨대, 현재 전력 설비를 점검하기 위해 사람이나 드론을 활용하여 사진을 찍어 사람이 직접 판단할 수 있다. 이러한 방식은 사람이 다수의 전력 설비를 일일이 확인하기 때문에, 시간이 많이 소요된다. 또한, 사람이 판단하기 때문에 실수가 있을 수 있다는 문제점이 있다. 이러한 문제점을 해결하기 위해 이미지를 자동으로 분석하여 판단할 수 있는 딥러닝 모델이 사용될 수 있다.

딥러닝 모델은 전통적인 프로그램처럼 규칙과 이미지를 입력하여 판단 결과를 나오게 하는 것이 아닌, 이미지와 판단 결과를 주면 자동으로 이미지와 결과 사이의 패턴을 찾아 새로운 이미지를 처리한다. 전력 설비를 진단함에 있어 현재까지 모아놓은 전력 설비 이미지 이미지를 이용해 이미지 인식 모델을 학습시켜 사용하면 전력 설비를 빠르고 정확하게 판단하는 것이 가능하다.

도 1은 적대적 데이터 생성 원리를 나타낸 개요도이다.

도 2는 타겟이미지(위)와 베이스이미지의 모양을 갖는 적대적 이미지(아래)를 예시한다.

이미지를 처리하는 딥러닝 모델의 경우 이미지를 그냥 처리하는 것이 아닌 이미지의 RGB값을 수치화 하여 모델 내부에 있는 수많은 함수를 거쳐 계산한 값을 사용하여 레이블을 판단하게 된다. 이러한 특성을 사용한 회피 공격(Evasion Attack)의 위험이 있다.

회피 공격의 경우 도 1과 같이 타겟 이미지와 베이스 이미지를 선택하고 베이스 이미지의 RGB값을 최소한으로 조작해 모델 내부의 함수를 거친 출력값이 타겟 이미지의 출력값과 비슷해지도록 수정하여 적대적 데이터(adversarial data)를 생성한다. 이 적대적 데이터는 도 2와 같이 사람의 눈에는 베이스 이미지와 같아 보이지만 딥러닝 모델의 결과값으로 타겟 이미지와 같이 보인다.

예컨대, 상술한 방식으로, 전력 분야에서 드론을 이용하여 촬영된 설비 점검용 이미지들을 전송하는데 적대적 이미지를 삽입시키거나, CCTV 화면을 이용한 전력 설비의 자동 화재 감시에 있어서, 화재 발생 오감지를 유발하는 적대적 이미지를 제공하는 형태의 위험성이 존재할 수 있다.

대한민국 등록공보 10-1878710호

본 발명은 이미지 인식 모델의 장애 감지 알고리즘을 무력화하려는 의도로 주입된 악의적인 이미지 데이터에 대응할 수 있는 동적 오토인코터 기반의 이미지 데이터 처리 장치 및 처리방법을 제공하고자 한다.

본 발명의 일 측면에 따른 동적 오토인코터 기반의 이미지 데이터 처리 장치는, 수집한 이미지를 복원하기 위해 하기 오토인코더에 맞춰 포맷을 변경하는 전처리부; 상기 이미지의 특징을 추출하는 인코딩 블록과, 추출된 상기 특징을 이용하여 상기 이미지에 대한 원본을 복원하는 디코딩 불록을 구비하는 오토인코더; 악의적 이미지 데이터 생성을 위한 쿼리 관찰을 방지하기 위해, 상기 오토인코더에서 복원한 이미지를 학습 데이터로 사용하여 상기 오토인코더를 추가 학습시키는 추가 학습부; 및 상기 오토인코더에서 복원한 이미지에 포함된 전력 설비들을 인식하는 이미지 인식부를 포함할 수 있다.

여기서, 상기 인코딩 블록은, 상기 이미지를 입력받는 입력 레이어; 상기 이미지에 들어있는 특징들 및 각 특징별 파라미터를 출력하는 출력 레이어; 및 상기 입력 레이어와 상기 출력 레이어를 연계하는 히든 레이어를 구비하고,

상기 디코딩 블록은, 상기 특징들 및 각 특징별 파라미터를 입력받는 입력 레이어; 상기 특징들 및 각 특징별 파라미터를 이용하여 복원 이미지를 생성하는 출력 레이어; 및 상기 입력 레이어와 상기 출력 레이어를 연계하는 히든 레이어를 구비할 수 있다.

여기서, 상기 인코딩 블록 및 상기 디코딩 블록은, 서로 대칭적인 구성을 가지는 CNN(Convolution Neural Network)으로 이루어질 수 있다.

여기서, 상기 추가 학습부는, 이전에 실운용 중에 처리를 수행한 이미지들 중에서 선택된 추가 학습용 셈플 이미지들 및 각 셈플 이미지에 대한 처리 수행 결과를 이용하여 추가 학습을 수행할 수 있다.

여기서, 상기 추가 학습부는, 상기 추가 학습용 셈플 이미지들을 선택함에 있어 난수를 적용하여 선택할 수 있다.

여기서, 상기 추가 학습부는, 난수적 요소를 반영하여 상기 추가 학습을 수행할 수 있다.

본 발명의 다른 측면에 따른 동적 오토인코터 기반의 이미지 데이터 처리 방법은, 이미지를 수집하는 단계; 수집한 이미지를 복원하는 오토인코더에 맞춰 포맷을 변경하는 전처리 단계; 상기 오토인코더에서 상기 이미지의 특징을 추출하는 단계; 상기 오토인코더에서 추출된 상기 특징을 이용하여 상기 이미지에 대한 원본을 복원하는 단계; 복원한 상기 원본에 포함된 전력 설비들을 인식하는 단계; 및 악의적 이미지 데이터 생성을 위한 쿼리 관찰을 방지하기 위해, 상기 오토인코더에서 복원한 이미지를 학습 데이터로 사용하여 상기 오토인코더를 추가 학습시키는 단계를 포함할 수 있다.

여기서, 상기 전처리 단계에서는, 다양한 크기의 이미지를 일정한 크기의 numpy 배열로 변환할 수 있다.

여기서, 상기 오토인코더를 추가 학습시키는 단계에서는, 이전에 실운용 중에 처리를 수행한 이미지들 중에서 선택된 추가 학습용 셈플 이미지들 및 각 셈플 이미지에 대한 처리 수행 결과를 이용하여 추가 학습을 수행할 수 있다.

여기서, 상기 오토인코더를 추가 학습시키는 단계에서는, 상기 추가 학습용 셈플 이미지들을 선택함에 있어 난수를 적용하여 선택할 수 있다.

여기서, 상기 오토인코더를 추가 학습시키는 단계에서는, 난수적 요소를 반영하여 상기 추가 학습을 수행할 수 있다.

상술한 구성의 본 발명의 사상에 따른 동적 오토인코터 기반의 이미지 데이터 처리 장치 및/또는 처리 방법을 실시하면, 이미지 인식 모델의 장애 감지 알고리즘을 무력화하려는 의도로 주입된 악의적인 이미지 데이터에 대응할 수 있는 이점이 있다.

보다 구체적으로 본 발명의 동적 오토인코터 기반의 이미지 데이터 처리 장치 및/또는 처리 방법은, 오토인코더를 통해 입력받은 이미지를 복원하고, 복원된 이미지를 사용하여 오토인코더를 추가 학습하여 내부의 파라미터 값을 갱신하는 과정을 통해 적대적 데이터의 생성을 방해하여 전력설비를 진단하기 위한 딥러닝 모델의 서비스 과정에서 발생가능한 회피 공격을 방지할 수 있는 이점이 있다.

본 발명의 동적 오토인코터 기반의 이미지 데이터 처리 장치 및/또는 처리 방법은, 비슷한 이미지를 활용한 스테가노그래피를 막을 수 있고, 이미지 파일에 삽입된 악성코드를 무력화시킬 수 있는 이점이 있다.

도 1은 적대적 데이터 생성 원리를 나타낸 개요도.
도 2는 타겟이미지(위)와 베이스이미지의 모양을 갖는 적대적 이미지를 예시한 화면.
도 3은 본 발명의 사상에 따른 동적 오토인코터 기반의 이미지 데이터 처리 장치의 일 실시예를 도시한 블록도.
도 4는 도 3의 전처리부가 수행하는 전처리 과정을 도시한 개념도.
도 5의 (a)는 적대적 이미지를 위한 Gradient Descent 알고리즘을 설명하기 위한 그래프이며, 도 5의 (b)는 쿼리 관찰을 이용하여 적대적 이미지를 생성하는 과정을 나타낸 개념도.
도 6은 상술한 동적 오토인코더(DADR)를 적용하여 회피 공격 보안 위협을 방어하는 모습을 도시한 개념도.
도 7은 본 발명의 사상에 따른 동적 오토인코터 기반의 이미지 데이터 처리 방법의 일 실시예를 도시한 흐름도.

본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지 않을 수 있다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.

또한, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

본 발명은 전력 설비 진단을 자동으로 수행하는 이미지 인식 모델의 서비스 과정에서 발생 가능한 회피 공격을 방어하는 방안으로, 이미지의 특징 값을 학습하고 원본 이미지를 복구하는 기능을 갖는 오토인코더를 사용하여 적대적 이미지를 복구하는 방안을 제시한다.

그런데, 적대적 이미지를 생성하기 위해서 공격자는 딥러닝 모델에 쿼리를 전송하여 결과값을 타겟이미지의 결과값과 비슷해지도록 계산하는 과정을 약 1,000번 정도 진행한다. 이러한 공격이 가능한 이유는 모델의 입력값에 대한 출력값이 일정한 내부 파라미터를 거치기 때문에(같은 값을 입력하면 같은 출력값이 나옴) 데이터의 변화량에 따른 특징값의 변화를 계산할 수 있다. 이러한 보안 위협을 방어하기 위해서 모델 내부의 파라미터를 주기적으로 바꿔야 할 필요가 있으며, 본 발명에서는 모델 내부 파라미터의 주기적 변경 기능을 가진 재학습을 제시한다.

도 3은 본 발명의 사상에 따른 동적 오토인코터 기반의 이미지 데이터 처리 장치의 일 실시예를 도시한 블록도이다.

도시한 동적 오토인코터 기반의 이미지 데이터 처리 장치는, 이미지 센터(10)에서 수집한 이미지를 복원하기 위해 하기 오토인코더에 맞춰 포맷을 변경하는 전처리부(120); 상기 이미지의 특징을 추출하는 인코딩 블록(220)과, 추출된 상기 특징을 이용하여 상기 이미지에 대한 원본을 복원하는 디코딩 불록(240)을 구비하는 오토인코더(200); 악의적 이미지 데이터 생성을 위한 쿼리 관찰을 방지하기 위해, 상기 오토인코더(200)에서 복원한 이미지를 학습 데이터로 사용하여 상기 오토인코더(200)를 추가 학습시키는 추가 학습부(290); 및 상기 오토인코더(200)에서 복원한 이미지에 포함된 전력 설비들을 인식하는 이미지 인식부(400)를 포함할 수 있다.

도 3에 도시한 본 발명의 동적 오토인코터 기반의 이미지 데이터 처리 장치는, 수집한 이미지를 일정한 포맷으로 변환하는 전처리부(120), 이미지를 복원하는 오토인코더(200), 복원된 이미지의 결과값을 출력하는 이미지 인식 모델을 구비한 이미지 인식부(400)로 이루어져 있다.

상기 오토인코더(200)는 상기 전처리부(120)에서 변환된 이미지를 전달받는 수신부(미도시)와, 이미지의 특징을 추출하는 인코딩 블록(220)과, 특징값을 사용하여 이미지를 복원하는 디코딩 블록(240)과, , 디코딩 블록(240)에서 출력된 이미지를 사용하여 오토인코더(240)를 추가로 학습하는 추가 학습부(290)로 구분할 수 있다.

도시한 바와 같이, 상기 인코딩 블록(220)은, 상기 이미지를 입력받는 입력 레이어(222); 상기 이미지에 들어있는 특징들 및 각 특징별 파라미터를 출력하는 출력 레이어(226); 및 상기 입력 레이어(222)와 상기 출력 레이어(226)를 연계하는 히든 레이어(224)를 구비할 수 있다.

마찬가지로, 상기 디코딩 블록(240)은, 상기 특징들 및 각 특징별 파라미터를 입력받는 입력 레이어(242); 상기 특징들 및 각 특징별 파라미터를 이용하여 복원 이미지를 생성하는 출력 레이어(246); 및 상기 입력 레이어(242)와 상기 출력 레이어(246)를 연계하는 히든 레이어(244)를 구비할 수 있다.

학습 데이터 셋에 있는 이미지 조작 방법으로 만들어진 적대적 이미지는 오토인코더로 사용하여 원래의 특징값으로 복원한다. 오토인코더를 사용하여 해당 모델을 타겟으로 만든 적대적 이미지의 생성을 막을 수 있고, 혹시 있을 정상 이미지에 포함되어 있는 노이즈도 제거할 수 있다.

상기 추가 학습부(290)는, 악의적인 사용자가 회피 공격을 수행하기 위해 적대적 데이터를 생성하는 과정에서, 타겟 이미지와 베이스 이미지의 특징값의 거리 계산을 방해하기 위해 본 발명의 사상에 따른 오토인코더를 통해 복원한 이미지를 사용하여 주기적으로 추가 학습을 진행한다. 이를 통해 적대적 데이터를 생성을 억제하여 회피공격을 방어할 수 있다.

도 4는 도 3의 전처리부가 수행하는 전처리 과정을 도시한 개념도이다.

상기 전처리부(120)에서는 도 4와 같이 이미지 센터에 수집한 이미지를 오토인코더로 복원하기 위해 오토인코더의 입력부에 맞춰 포맷을 변경할 수 있다.

예컨대, 본 발명은 이미지를 처리하는 것이기 때문에 최종 포맷을 3차원 numpy배열로 만들 수 있다. 이때, 3차원 배열은 색의 종류, 가로 픽셀, 세로 픽셀로 이루어져 있으며, 색의 종류는 적, 녹, 청 세가지 RGB값인 3으로 고정하고, 가로 픽셀과 세로 픽셀의 값은 오토인코더의 입력부에 맞춰 고정하고, 최종 포맷은 (3, Z, Z) 형식의 배열로 고정할 수 있다.

도시한 데이터 센터(10)는, 본 발명의 이미지 데이터 처리 장치와는 독립된, 촬영된 이미지들이 저장된 별도의 서버일 수 있다.

도시한 입력부(110)는, 상기 데이터 센터(10)에서 필요한 이미지들을 서지 정보에 따라 선별하여 획득한 후, 상기 전처리부(120)로 제공할 수 있다.

도시한 동적 오토인코터 기반의 이미지 데이터 처리 장치는, 전력 설비 진단을 자동으로 수행하는 이미지 인식 모델의 서비스 과정에서 발생 가능한 회피 공격을 방어하는 방안으로, 이미지의 특징 값을 학습하고 원본 이미지를 복구하는 기능을 갖는 오토인코더(200)를 사용하여 적대적 이미지를 복원한다.

그러면, 다음 이미지 인식부(400)에서는 오인을 유발하도록 생성된 해당 이미지에 대하여 오인하지 않고 정상적인 이미지 분석 및/또는 이미지 분류를 수행할 수 있다.

도시한 이미지 인식부(400)는 상기 오토인코더(200)에 의해 적대적 이미지와 잡음이 제거된 복원 이미지를 이용하여, 전력 분야의 소망하는 이미지 처리 업무를 수행한다. 예컨대, 화재 감시 시스템에 적용된 경우라면, 상기 이미지 인식부(400)는 상기 복원 이미지를 분석하여 전력 설비에 대한 화재 발생 여부를 판정하고, 드론 감시 시스템에 적용된 경우라면, 상기 이미지 인식부(400)는 드론이 촬영한 전력 설비의 이상 여부를 판정할 수 있다.

다음, 본 발명의 사상을 구현하는데 중심이 되는 도시한 오토인코더(200)에 대하여 살펴보겠다. 먼저, 적대적 이미지의 생성 과정부터 알아본다.

적대적 이미지를 이용한 회피 공격은, 학습모델의 서비스 과정에서 발생 가능한 보안 위협으로, 입력 데이터의 최소한의 변조로 대상 학습모델의 오 인식을 유발시키는 것이다.

하기 표 1은 적대적 이미지 생성을 수행하는 알고리즘을 예시한 것이다.

도 5의 (a)는 적대적 이미지를 위한 Gradient Descent 알고리즘을 설명하기 위한 그래프이며, 도 5의 (b)는 쿼리 관찰을 이용하여 적대적 이미지를 생성하는 과정을 나타낸 개념도이다.

적대적 이미지 생성에 있어서, 베이스 이미지와 타겟 이미지 선택이 필요하다. 베이스 이미지는 적대적 데이터의 베이스가 되는 이미지이며, 타겟 이미지는 적대적 데이터의 특징 값의 타겟이 되는 이미지이다.

도 5(a) 및 도 5(b)에 의한 적대적 이미지 데이터 생성은, forward-backward-splitting iterative procedure 알고리즘으로서, 여기서, Forward step은 타겟 이미지와의 특징값의 거리를 최소화하며, Backward step은 베이스 이미지와의 이미지값의 거리를 최소화한다.

공격자는 대상 딥러닝 학습 모델에 쿼리를 전송하여 결과값을 타겟 이미지의 결과값과 비슷해지도록 계산하는 도 5(b)의 과정을 약 1,000번 정도 진행하여 적대적 이미지를 생성한다.

본 발명의 사상에 따른 동적 오토인코터 기반의 이미지 데이터 처리 장치는, 전력 설비 진단을 자동으로 수행하는 이미지 인식 모델의 서비스 과정에서 발생 가능한 상술한 회피 공격을 방어하는 방안으로, 이미지의 특징 값을 학습하고 원본 이미지를 복구하는 기능을 갖는 오토인코더(200)를 일종의 필터처럼 사용하여 적대적 이미지를 제거한 원본을 복원한다.

이하, 상기 오토인코더(200)에 대하여 상세히 설명하겠다.

오토인코더는 도 3과 같이 입력받은 이미지의 특징(특징값들 및 각 특징값 파라미터)을 추출하는 인코딩 블록(220)과 추출된 특징을 사용하여 원본을 복원( 원본과 비슷한 이미지 생성)하는 디코딩 블록(240)으로 나눌 수 있다.

오토인코더(200)의 인코딩 블록(220)과 디코딩 블록(240)은 각각 이미지의 입력을 받는 입력 레이어(222, 242)와, 입력받은 이미지를 정해진 식에 의해서 변환되는 하나 이상의 히든레이어(224, 244), 히든 레이어를 거쳐 출력되는 출력 레이어(226, 246))로 구성된다. 즉, 각각 하나의 CNN 모델 구성을 가진는, 뉴럴 네트워크 두개를 뒤집어 붙여놓은 형태의 인공지능 모델로서, 상기 인코딩 블록(220) 및 상기 디코딩 블록(240)은, 서로 대칭적인 구성을 가지는 CNN(Convolution Neural Network)으로 이루어진다.

오토인코더(200)는 인코딩 블록(220)의 입력 레이어(222)에 입력되는 값과, 디코딩 블록(240)의 출력 레이어(246)에서 출력되는 값이 같아지도록 학습하기 때문에, 인코딩 블록(220)의 입력 레이어(222)의 크기와 디코딩 블록(240)의 출력 레이어(246)의 크기는 같아야 한다.

하기 수학식 1은 상기 오토인코더(200)에 적용될 수 있는 손실함수의 일 예이다.

상기 수학식 1을 따를 경우, 인코딩 블록(220)의 입력을 x, 디코딩 블록(240)의 출력을 z라고 했을 때, x와 z의 거리가 작아지도록 학습을 진행한다.

살펴본 바와 같이, 본 발명에서는 오토인코더를 인공지능 서비스 앞에 연결하여 적대적 데이터 생성에 대하여 방어한다.

그런데, 공격자는 본 발명의 사상에 따른 동적 오토인코터 모델 자체에 대하여, 도 5b와 같은 쿼리 관찰을 수행하여, 상기 오토인코더가 제거할 수 없는 적대적 이미지 생성을 시도할 수 있다. 이는 오토인코더의 노이즈를 제거하는 특성을 활용하여 적대적 데이터 생성 억제 가능성을 역으로 이용한 것으로, 오토인코더의 손실 함수가 일정하기 때문에 적대적 데이터 생성이 가능하게 된다.

이러한 오토인코더를 이용한 적대적 데이터에 대응하기 위해, 이미지 처리 모델 앞에 이미지의 노이즈를 제거 할 수 있는 또 다른 오토인코더를 사용하여 이미지 데이터를 변형을 줄 수 있지만, 오토인코더 또한 딥러닝 중 하나로 내부 파라미터가 일정하기 때문에 오토인코더 자체를 변형하는 것이 유리하다. 그렇기 때문에 오토인코더를 사용해 복구한 이미지를 다시 학습데이터로 사용하여 오토인코더의 내부 파라미터의 변형을 줄 수 있는 이른바 동적 오토인코더(DADR : Dynamic Autoencoder for Data Restoration)를 적용하는 것이 바람직하다.

이미지의 노이즈를 제거하는 오토인코더를 사용하여 적대적 데이터 복원함에 있어서, 같은 이미지에 같은 결과값이 나오지 않도록 하는 동적 오토인코더(DADR)는, 사용한 데이터를 다시 학습하여 분류 경계를 계속 수정하는 방식으로 운영된다.

동적 오토인코더(DADR)는, 오토인코더(200)로 복원된 이미지를 이미지를 활용한 모델에 학습시켜야 한다. 이 때 디코딩 블록(240)의 출력 레이어(246)의 크기가 이미지를 활용한 모델의 입력 레이어보다 작을 경우 이미지를 확장시켜야 하기 때문에 이미지의 정확도가 떨어진다. 그렇기 때문에 디코딩 블록(240)의 출력 레이어(246)의 크기는 이미지를 활용한 모델의 입력 레이어의 크기와 같거나 커야한다.

디코딩 블록(240)의 출력 레이어(246)의 크기가 이미지를 활용한 모델의 인코딩 블록(220)의 입력 레이어(222)보다 클 경우, 이미지를 활용한 모델의 입력 레이어에 맞는 전처리부가 하나 더 필요하다.

살펴본 바와 같이 상기 추가 학습부(290)는, 이전에 실운용 중에 처리를 수행한 이미지들 중에서 선택된 추가 학습용 셈플 이미지들 및 각 셈플 이미지에 대한 처리 수행 결과를 이용하여 추가 학습을 수행하여, 인코딩 블록(220) 및/또는 디코딩 블록(240)의 CNN 입력/히든/출력 레이어에 반영할 수 있다.

도 6은 상술한 동적 오토인코더(DADR)를 적용하여 회피 공격 보안 위협을 방어하는 모습을 도시한 개념도이다.

도시한 바와 같이 본 발명의 사상에 따른 서비스를 수행하는 중에 있어, 공격자가 동적 오토인코더에 대한 쿼리 관찰로 적대적 데이터를 생성하더라도, 오토인코더의 특징값들의 분류 경계가 계속 변하여, 적대적 이미지를 유효하게 제거할 수 있다.

한편, 쿼리 관찰을 위한 상기 오토인코더에 대한 쿼리 이미지 입력이 연속되는 경우, 쿼리 이미지 입력들로만 상술한 추가 학습이 수행되면, 경우에 따라서는 공격자가 유효한 적대적 이미지를 생성할 수도 있다.

이를 방지하기 위해서 상기 추가 학습부는 추가 학습을 수행하는데 있어 난수적(randum) 요소를 가미하는 것이 유리하다. 예컨대, 과거 실운용 중에 처리를 수행한 이미지들 중에서 상기 추가 학습용 셈플 이미지들을 선택함에 있어, 기간이나 순서를 이용하지 않고 난수를 적용하여 선택할 수 있다. 또는, 상기 추가 학습부는, 선택된 추가 학습용 셈플 이미지들 뿐만 아니라 난수적 요소를 반영하여 상기 추가 학습을 수행할 수 있다.

도 7은 본 발명의 사상에 따른 동적 오토인코터 기반의 이미지 데이터 처리 방법의 일 실시예를 도시한 흐름도이다.

처리 대상 이미지를 수집하는 단계(S105); 수집한 이미지를 복원하는 오토인코더에 맞춰 포맷을 변경하는 전처리 단계(S110); 상기 오토인코더에서 상기 이미지의 특징을 추출하는 단계(S120); 상기 오토인코더에서 추출된 상기 특징을 이용하여 상기 이미지에 대한 원본을 복원하는 단계(S140); 복원한 상기 원본에 포함된 전력 설비들을 인식하는 단계(S180); 및 악의적 이미지 데이터 생성을 위한 쿼리 관찰을 방지하기 위해, 상기 오토인코더에서 복원한 이미지를 학습 데이터로 사용하여 상기 오토인코더를 추가 학습시키는 단계(S200)를 포함할 수 있다.

도시한 동적 오토인코터 기반의 이미지 데이터 처리 방법의 대부분의 과정들은 도 3에 도시한 오토인코더(200)에서 수행될 수 있다.

다만, 도시한 이미지를 수집하는 단계(S105)는 도 3의 데이터 센터(10) 및/또는 입력부(110)에서 수행될 수 있으며, 본 발명의 사상에 따른 상기 오토인코더를 추가 학습시키는 단계(S200)는 추가 학습부(290)에서 수행될 수 있다.

한편, 상기 복원한 상기 원본에 포함된 전력 설비들을 인식하는 단계(S180)는 설비 감시나 화재 식별 등 전력 분야의 본래의 목적에 따른 이미지 인식/처리를 수행하는 이미지 인식 모듈(400)에서 수행될 수 있다.

상기 전처리 단계(S110)에서는, 다양한 크기의 이미지를 일정한 크기의 numpy 배열로 변환하는 등 다양한 전처리 과정을 수행할 수 있다.

상기 오토인코더의 추가 학습 단계(S200)는, 오토인코더의 내부 함수의 변화를 주기 위해 일련의 과정이 끝난 후 오토인코더를 사용하여 복원한 이미지를 학습 데이터로 사용하여 오토인코더를 추가 학습한다.

한편, 상기 추가 학습 단계(S200)는, 오토인코더의 이미지 잡음 제거 성능 자체를 높이려는 목적으로 수행될 수도 있다. 이 경우, 이미지를 활용한 모델 테스트 과정에서 오토인코더를 사용하여 복원한 이미지 데이터를 사용하여 테스트를 진행할 수 있다.

상기 오토인코더를 추가 학습시키는 단계(S200)에서는, 이전에 실운용 중에 처리를 수행한 이미지들 중에서 선택된 추가 학습용 셈플 이미지들 및 각 셈플 이미지에 대한 처리 수행 결과를 이용하여 추가 학습을 수행하여 그 결과를 CNN 입력/히든/출력 레이어에 반영할 수 있다.

이 때, 본 발명의 오토인코더 자체에 대한 쿼리 관찰을 이용하여 적대적 이미지를 생성하는 것을 차단하기 위해서, 상기 S200 단계를 수행함에 있어서, 상기 추가 학습용 셈플 이미지들을 선택함에 있어 난수를 적용하여 선택하거나, 및/또는, 난수적 요소를 반영하여 상기 추가 학습을 수행할 수 있다.

다음, 본 발명의 사상에 따른 회피 공격에 대응하기 위한 동적 오토인코터 기반 이미지 데이터 처리 방법의 효과를 살펴보기 위한 테스트 수행 결과를 기술한다.

테스트 수행 결과, 블랙박스환경(인공지능 내부의 파라미터값을 모르는 환경)에서의 이미지 설명 모델을 타겟으로 타겟 모델을 대상으로 모델 추출 공격을 사용해 화이트박스 환경의 카피모델을 생성한 후, 카피모델을 타겟으로 하는 공사현장 사진을 사용한 64장의 적대적 데이터를 생성해 타겟 모델에 회피 공격을 수행하여 12.5%의 성공률을 보였지만, 방어기법을 적용한 블랙박스 모델에서 동일한 공격을 진행하였을 때 성공률 0%로 모든 공격 방어에 성공하였다.

오토인코더를 통해 입력받은 이미지를 복원하고, 복원된 이미지를 사용하여 오토인코더를 추가 학습하여 내부의 파라미터 값을 갱신한다. 이러한 과정을 통해 적대적 데이터의 생성을 방해하여 전력설비를 진단하기 위한 딥러닝 모델의 서비스 과정에서 발생가능한 회피 공격을 방지할 수 있었다.

또한, 이미지를 컴퓨터로 인식하기 위한 RGB값을 변조하여 공격하는 것을 복원 가능하므로 이와 비슷한 이미지를 활용한 스테가노그래피를 막을 수 있고, 이미지 파일에 삽입된 악성코드를 무력화시킬 수 있음을 알 수 있었다.

해당 방어 기법은 이미지와 같이 조금 변조되더라도 충분히 활용 가능한 음성을 활용한 인공지능 모델에서도 방어기법으로 사용될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 이미지 센터 120 : 전처리부
200 : 오토인코더 220 : 인코딩 블록
240 : 디코딩 블록 290 : 추가 학습부
400 : 이미지 인식부 222, 242 : 입력 레이어
224, 244 : 히든 레이어 226, 246 : 출력 레이어

Claims (11)

1. 수집한 이미지를 복원하기 위해 하기 오토인코더에 맞춰 포맷을 변경하는 전처리부;
   상기 이미지의 특징을 추출하는 인코딩 블록과, 추출된 상기 특징을 이용하여 상기 이미지에 대한 원본을 복원하는 디코딩 불록을 구비하는 오토인코더;
   악의적 이미지 데이터 생성을 위한 쿼리 관찰을 방지하기 위해, 상기 오토인코더에서 복원한 이미지를 학습 데이터로 사용하여 상기 오토인코더를 추가 학습시키는 추가 학습부; 및
   상기 오토인코더에서 복원한 이미지에 포함된 전력 설비들을 인식하는 이미지 인식부
   를 포함하는 동적 오토인코터 기반의 이미지 데이터 처리 장치.
   
2. 제1항에 있어서,
   상기 인코딩 블록은,
   상기 이미지를 입력받는 입력 레이어;
   상기 이미지에 들어있는 특징들 및 각 특징별 파라미터를 출력하는 출력 레이어; 및
   상기 입력 레이어와 상기 출력 레이어를 연계하는 히든 레이어
   를 구비하고,
   상기 디코딩 블록은,
   상기 특징들 및 각 특징별 파라미터를 입력받는 입력 레이어;
   상기 특징들 및 각 특징별 파라미터를 이용하여 복원 이미지를 생성하는 출력 레이어;
   상기 입력 레이어와 상기 출력 레이어를 연계하는 히든 레이어
   를 구비하는 동적 오토인코터 기반의 이미지 데이터 처리 장치.
   
3. 제1항에 있어서,
   상기 인코딩 블록 및 상기 디코딩 블록은,
   서로 대칭적인 구성을 가지는 CNN(Convolution Neural Network)으로 이루어진 동적 오토인코터 기반의 이미지 데이터 처리 장치.
   
4. 제1항에 있어서,
   상기 추가 학습부는,
   이전에 실운용 중에 처리를 수행한 이미지들 중에서 선택된 추가 학습용 셈플 이미지들 및 각 셈플 이미지에 대한 처리 수행 결과를 이용하여 추가 학습을 수행하는 동적 오토인코터 기반의 이미지 데이터 처리 장치.
   
5. 제4항에 있어서,
   상기 추가 학습부는,
   상기 추가 학습용 셈플 이미지들을 선택함에 있어 난수를 적용하여 선택하는 동적 오토인코터 기반의 이미지 데이터 처리 장치.
   
6. 제4항에 있어서,
   상기 추가 학습부는,
   난수적 요소를 반영하여 상기 추가 학습을 수행하는 동적 오토인코터 기반의 이미지 데이터 처리 장치.
   
7. 이미지를 수집하는 단계;
   수집한 이미지를 복원하는 오토인코더에 맞춰 포맷을 변경하는 전처리 단계;
   상기 오토인코더에서 상기 이미지의 특징을 추출하는 단계;
   상기 오토인코더에서 추출된 상기 특징을 이용하여 상기 이미지에 대한 원본을 복원하는 단계;
   복원한 상기 원본에 포함된 전력 설비들을 인식하는 단계; 및
   악의적 이미지 데이터 생성을 위한 쿼리 관찰을 방지하기 위해, 상기 오토인코더에서 복원한 이미지를 학습 데이터로 사용하여 상기 오토인코더를 추가 학습시키는 단계
   를 포함하는 동적 오토인코터 기반의 이미지 데이터 처리 방법.
   
8. 제7항에 있어서,
   상기 전처리 단계에서는,
   다양한 크기의 이미지를 일정한 크기의 numpy 배열로 변환하는 동적 오토인코터 기반의 이미지 데이터 처리 방법.
   
9. 제7항에 있어서,
   상기 오토인코더를 추가 학습시키는 단계에서는,
   이전에 실운용 중에 처리를 수행한 이미지들 중에서 선택된 추가 학습용 셈플 이미지들 및 각 셈플 이미지에 대한 처리 수행 결과를 이용하여 추가 학습을 수행하는 동적 오토인코터 기반의 이미지 데이터 처리 방법.
   
10. 제9항에 있어서,
    상기 오토인코더를 추가 학습시키는 단계에서는,
    상기 추가 학습용 셈플 이미지들을 선택함에 있어 난수를 적용하여 선택하는 동적 오토인코터 기반의 이미지 데이터 처리 방법.
    
11. 제9항에 있어서,
    상기 오토인코더를 추가 학습시키는 단계에서는,
    난수적 요소를 반영하여 상기 추가 학습을 수행하는 동적 오토인코터 기반의 이미지 데이터 처리 방법.
    
    
    
    
    
    
    
    
    
    
    
    

Images