KR20230067422A - 적대적 변형된 이미지 탐지 방법 및 적대적 변형된 이미지 탐지 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 - Google Patents

적대적 변형된 이미지 탐지 방법 및 적대적 변형된 이미지 탐지 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20230067422A
KR20230067422A KR1020210177695A KR20210177695A KR20230067422A KR 20230067422 A KR20230067422 A KR 20230067422A KR 1020210177695 A KR1020210177695 A KR 1020210177695A KR 20210177695 A KR20210177695 A KR 20210177695A KR 20230067422 A KR20230067422 A KR 20230067422A
Authority
KR
South Korea
Prior art keywords
image
value
color information
information entropy
modified
Prior art date
Application number
KR1020210177695A
Other languages
English (en)
Other versions
KR102663350B1 (ko
Inventor
최대선
류권상
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to PCT/KR2022/013748 priority Critical patent/WO2023080426A1/ko
Publication of KR20230067422A publication Critical patent/KR20230067422A/ko
Application granted granted Critical
Publication of KR102663350B1 publication Critical patent/KR102663350B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0042—Fragile watermarking, e.g. so as to detect tampering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0092—Payload characteristic determination in a watermarking scheme, e.g. number of bits to be embedded

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

개시된 발명의 일 실시예에 따른 적대적 변형된 이미지 탐지 방법은, 입력부에 의하여, 검사 대상 이미지를 입력 받는 단계; 픽셀 색상 정보 추출부에 의하여, 상기 검사 대상 이미지의 각 픽셀 별로 상기 검사 대상 이미지의 비트 뎁스(Bit Depth) 값 범위 내의 정수인 고유 정수 중 하나의 정수 값인 색상 정보 값을 추출하는 단계; 및 정보 엔트로피 계산부에 의하여, 상기 검사 대상 이미지의 각 픽셀 별 색상 정보 값들을 기초로 상기 검사 대상 이미지의 색상 정보 엔트로피 값을 계산하는 단계를 포함할 수 있다.

Description

적대적 변형된 이미지 탐지 방법 및 적대적 변형된 이미지 탐지 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램{ADVERSARIAL PERTURBATION IMAGE DETECTION METHOD AND COMPUTER PROGRAM STORED IN A RECORDING MEDIUM TO EXECUTE THE METHOD}
본 발명은 이미지 분석이나 기계 학습 등에 이용되는 이미지가 적대적으로 변형된 이미지인지 판단할 수 있는 적대적 변형된 이미지 탐지 방법에 관한 것이다.
적대적 변형된 이미지란 이미지 분류를 위한 심층 신경망(Deep Neural Network)이 원래 클래스가 아닌 다른 클래스로 오인식하도록 입력 이미지에 사람이 인식할 수 없는 적대적 변형(Adversarial perturbation)을 추가하여 생성된 이미지를 의미하며, 적대적 예제(Adversarial Example)라 부르기도 한다.
대표적인 적대적 예제 탐지 방법인 Feature Squeezing 기법은 입력 이미지에 대한 DNN 모델의 출력 값과 비트 뎁스 줄이기(Bit depth reduction), median smoothing, non-local smoothing이 각각 적용된 입력 이미지에 대한 DNN 모델의 출력 값의 차이를 이용하여 적대적 예제를 탐지한다.
하지만, Feature Squeezing과 같이 입력 이미지를 변조하여 DNN 모델의 출력 값의 차이를 이용하는 방식은, 각 이미지 변조 방법이 적대적 예제에 포함한 적대적 변형을 제거하는 방법이 아니라 완화시키는 방법이기 때문에, 많이 변조된 적대적 예제의 경우 비트 뎁스 줄이기, median smoothing, non-local smoothing으로 적대적 변형을 완화하더라도 DNN 모델이 적대적 변형의 영향을 받아 변조 전과 후 DNN 모델의 출력 값의 차이가 크지 않아 적대적 예제를 잘 탐지하지 못한다는 문제가 있다.
또한, 추론 단계에서 방어자는 DNN 모델에 입력되는 데이터가 정상인지 공격인지 알 수 없기 때문에 모든 입력 데이터에 대해 정상인지 공격인지 검사해야 하므로, DNN 모델의 출력 결과를 이용하는 방법은 적대적 공격을 잘 탐지하지 못할 뿐만 아니라 공격 데이터 탐지 시간도 오래 걸린다는 문제가 있다.
본 발명은 DNN 모델의 출력 값을 활용하지 않고도 적대적 예제를 탐지할 수 있어서 적대적 공격 여부의 탐지 성능이 더 뛰어난 적대적 변형된 이미지 탐지 방법 및 컴퓨터 프로그램을 제공하기 위한 것이다.
또한, 본 발명은 DNN 모델의 출력 값을 활용하는 방식보다 더 빠른 속도로 검사 대상 이미지를 정상 이미지 또는 적대적 공격 이미지로 자동으로 분류할 수 있는 적대적 변형된 이미지 탐지 방법 및 컴퓨터 프로그램을 제공하기 위한 것이다.
또한, 본 발명은 다양한 적대적 공격으로 생성된 적대적 예제 탐지뿐만 아니라 GAN (Generative Adversarial Network)로 생성된 딥페이크(DeepFake) 영상 검출에 활용할 수 있는 적대적 변형된 이미지 탐지 방법 및 컴퓨터 프로그램을 제공하기 위한 것이다.
개시된 발명의 일 측면에 따른 적대적 변형된 이미지 탐지 방법은, 입력부에 의하여, 검사 대상 이미지를 입력 받는 단계; 픽셀 색상 정보 추출부에 의하여, 상기 검사 대상 이미지의 각 픽셀 별로 상기 검사 대상 이미지의 비트 뎁스(Bit Depth) 값 범위 내의 값 중 하나의 정수 값인 색상 정보 값을 추출하는 단계; 및 정보 엔트로피 계산부에 의하여, 상기 검사 대상 이미지의 각 픽셀 별 색상 정보 값들을 기초로 상기 검사 대상 이미지의 색상 정보 엔트로피 값을 계산하는 단계를 포함할 수 있다.
또한, 적대적 변형 이미지 결정부에 의해, 상기 검사 대상 이미지의 색상 정보 엔트로피 값과 기준 엔트로피 값을 비교하는 단계; 및 상기 적대적 변형 이미지 결정부에 의해, 상기 검사 대상 이미지의 색상 정보 엔트로피 값이 상기 기준 엔트로피 값 이상이면 상기 검사 대상 이미지를 적대적 변형 이미지로 분류하는 단계를 더 포함할 수 있다.
또한, 상기 검사 대상 이미지의 색상 정보 엔트로피 값을 계산하는 단계는, 상기 정보 엔트로피 계산부에 의하여, 상기 검사 대상 이미지에서 동일한 고유 정수를 색상 정보 값으로 가지는 픽셀들의 개수인 동일 색상 픽셀 수를 각각의 고유 정수마다 도출하고, 각각의 상기 고유 정수의 동일 색상 픽셀 수를 상기 검사 대상 이미지의 픽셀 개수로 나누어 각 고유 정수의 0 이상 1 미만의 범위에 속하는 동일 색상 픽셀 비율을 계산하는 단계; 및 상기 정보 엔트로피 계산부에 의하여, 상기 검사 대상 이미지의 각 고유 정수의 동일 색상 픽셀 비율에 각각 로그 함수를 취해서 도출된 로그 함수 적용 값들을 기초로 상기 검사 대상 이미지의 색상 정보 엔트로피 값을 계산하는 단계를 포함할 수 있다.
또한, 변형 이미지 생성부에 의해, 상기 검사 대상 이미지의 비트 뎁스 값을 미리 정해진 비트 값으로 감소시켜서 변형 이미지를 생성하는 단계; 및 상기 정보 엔트로피 계산부에 의하여, 상기 변형 이미지의 각 픽셀 별 상기 색상 정보 값들을 기초로 상기 변형 이미지의 색상 정보 엔트로피 값을 계산하는 단계를 더 포함할 수 있다.
또한, 적대적 변형 이미지 결정부에 의해, 상기 검사 대상 이미지의 색상 정보 엔트로피 값과 상기 변형 이미지의 색상 정보 엔트로피 값의 차이를 계산하는 단계; 및 상기 적대적 변형 이미지 결정부에 의해, 상기 검사 대상 이미지의 색상 정보 엔트로피 값과 상기 변형 이미지의 색상 정보 엔트로피 값의 차이가 기준 차이 값 이상이면 상기 검사 대상 이미지를 적대적 변형 이미지로 분류하는 단계를 더 포함할 수 있다.
또한, 상기 변형 이미지의 색상 정보 엔트로피 값을 계산하는 단계는, 상기 정보 엔트로피 계산부에 의하여, 상기 변형 이미지에서 동일한 고유 정수를 색상 정보 값으로 가지는 픽셀들의 개수인 동일 색상 픽셀 수를 각각의 고유 정수마다 도출하고, 각각의 상기 고유 정수의 동일 색상 픽셀 수를 상기 변형 이미지의 픽셀 개수로 나누어 각 고유 정수의 0 이상 1 미만의 범위에 속하는 동일 색상 픽셀 비율을 계산하는 단계; 및 상기 정보 엔트로피 계산부에 의하여, 상기 변형 이미지의 각 고유 정수의 동일 색상 픽셀 비율에 각각 로그 함수를 취해서 도출된 로그 함수 적용 값들을 기초로 상기 변형 이미지의 색상 정보 엔트로피 값을 계산하는 단계를 포함할 수 있다.
또한, 상기 입력부에 의해, 복수의 정상 이미지를 입력 받는 단계; 상기 정보 엔트로피 계산부에 의하여, 상기 정상 이미지의 각 픽셀 별 색상 정보 값들을 기초로 상기 정상 이미지의 색상 정보 엔트로피 값을 계산하는 단계; 상기 변형 이미지 생성부에 의해, 상기 정상 이미지의 비트 뎁스 값을 미리 정해진 비트 값으로 감소시켜서 변형 정상 이미지를 생성하는 단계; 상기 정보 엔트로피 계산부에 의하여, 상기 변형 정상 이미지의 각 픽셀 별 상기 색상 정보 값들을 기초로 상기 변형 정상 이미지의 색상 정보 엔트로피 값을 계산하는 단계; 기준 차이 값 결정부에 의해, 상기 정상 이미지의 색상 정보 엔트로피 값과 상기 변형 정상 이미지의 색상 정보 엔트로피 값의 차이를 계산하는 단계; 및 기준 차이 값 결정부에 의해, 복수의 상기 정상 이미지들의 색상 정보 엔트로피 값의 차이 값들을 크기 순서대로 나열했을 때, 미리 지정된 상위 순번에 해당하는 정상 이미지의 색상 정보 엔트로피 값의 차이를 상기 기준 차이 값으로 결정하는 단계를 더 포함할 수 있다.
또한, 상기 변형 이미지를 생성하는 단계는, 상기 변형 이미지 생성부에 의해, 상기 검사 대상 이미지의 비트 뎁스 값을 1만큼 감소시켜서 상기 변형 이미지를 생성하는 단계를 포함할 수 있다.
또한, 상기 적대적 변형 이미지 결정부에 의해, 이미지 분석 장치에 상기 적대적 변형 이미지가 입력되지 않도록 상기 적대적 변형 이미지로 분류된 이미지를 나머지 상기 검사 대상 이미지와 따로 분리하여 저장하는 단계를 더 포함할 수 있다.
개시된 발명의 일 측면에 따른 컴퓨터 프로그램은, 상기 적대적 변형된 이미지 탐지 방법을 실행시키도록 컴퓨터로 판독 가능한 기록매체에 저장될 수 있다.
개시된 발명의 일 측면에 따르면, DNN 모델의 출력 값을 활용하지 않고도 적대적 예제를 탐지할 수 있어서 적대적 공격 여부의 탐지 성능이 더 뛰어날 수 있다.
또한, 본 발명의 실시예에 의하면, DNN 모델의 출력 값을 활용하는 방식보다 더 빠른 속도로 검사 대상 이미지를 정상 이미지 또는 적대적 공격 이미지로 자동으로 분류할 수 있다.
또한 본 발명의 실시예에 의하면, 다양한 적대적 공격으로 생성된 적대적 예제 탐지뿐만 아니라 GAN (Generative Adversarial Network)로 생성된 딥페이크(DeepFake) 영상 검출에 활용할 수 있다.
도 1은 일 실시예에 따른 적대적 변형 이미지 탐지 시스템의 제어 블록도이다.
도 2는 적대적 변형 이미지의 생성 과정을 도시한 도면이다.
도 3은 일 실시예에 따른 변형 이미지를 설명하기 위한 도면이다.
도 4는 정상 이미지와 적대적 변형 이미지의 동일 색상 픽셀 비율 분포를 설명하기 위한 도면이다.
도 5는 정상 이미지와 적대적 변형 이미지의 동일 색상 픽셀 비율 분포를 설명하기 위한 또다른 도면이다.
도 6은 일 실시예에 따라 적대적 변형 이미지로 결정된 검사 대상 이미지를 따로 분류하는 과정을 도시한 도면이다.
도 7은 일 실시예에 따른 기준 차이 값을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 적대적 변형된 이미지 탐지 방법의 순서도이다.
도 9는 일 실시예에 따른 정상 이미지와 적대적 변형 이미지의 평균적인 색상 정보 엔트로피를 나타낸 그래프이다.
도 10은 변형 이미지의 비트 뎁스 값에 따른 분류 정확도를 나타낸 그래프이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '~부'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '~부'가 하나의 구성요소로 구현되거나, 하나의 '~부'가 복수의 구성요소들을 포함하는 것도 가능하다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 개시된 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 적대적 변형 이미지 탐지 시스템의 제어 블록도이며, 도 2는 적대적 변형 이미지의 생성 과정을 도시한 도면이다.
도 1을 참조하면, 적대적 변형 이미지 탐지 시스템(100)은 입력된 검사 대상 이미지(200)가 정상 이미지(500)인지, 적대적 변형 이미지(400)인지 판단하고 검사 대상 이미지(200)를 분류할 수 있다.
검사 대상 이미지(200)는 이미지 데이터의 형태로 이미지 분석 장치(600)에 입력되기 전에 적대적 공격이 있는 이미지인지 여부가 판단되는 이미지일 수 있다.
이미지 분석 장치(600)는 입력된 이미지에 포함된 객체를 인식하거나 분석하는 장치일 수 있으나 이에 한정되는 것은 아니며, 입력된 이미지를 다른 방식으로 이용하는 장치일 수도 있다. 예를 들어, 이미지 분석 장치(600)는 입력된 이미지를 기계 학습(Machine Learning) 방식을 통한 인공지능 모델을 학습에 이용할 수도 있다. 기계 학습이란 다수의 파라미터로 구성된 모델을 이용하며, 주어진 데이터로 파라미터를 최적화하는 것을 의미할 수 있다. 반대로, 이미지 분석 장치(600)는 이미 학습된 인공지능 모델을 이용하여 입력된 이미지를 분석하는 장치일 수도 있다.
본 발명의 실시예에 따른 적대적 변형 이미지 탐지 시스템(100)은 따로 마련된 적대적 변형 이미지 탐지 장치에 마련된 시스템일 수도 있고, 서버에 마련된 시스템일 수도 있다.
도 2를 참고하면, 적대적 변형 이미지(400)의 생성 과정의 한 예시를 확인할 수 있다.
이미지를 분석하거나 탐지하는 기술 중에서는 이웃 픽셀 간에 유사한 값을 가지는 이미지의 특성을 활용한 탐지 기법(예를 들어, Steganalysis 기반 탐지 기술)이 있다.
이러한 이웃 픽셀 간에 유사한 값을 가지는 이미지의 특성을 활용한 탐지 기법은 탐지 대상 이미지에 노이즈가 추가되어 있는 경우 탐지 성능이 떨어지게 된다.
구체적으로, 이웃 픽셀 간에 유사한 값을 가지는 이미지의 특성을 활용한 탐지 기법은 각 픽셀의 8방향 인접 픽셀 중 2방향 이상 값의 차이가 크면 경계로 판단하는데, 이미지 내 객체의 경계 부분에 노이즈가 있으면 이러한 탐지를 회피할 수 있게 된다.
정상 이미지(500)에 노이즈(Perturbation)가 추가되는 방식으로 적대적 변형 이미지(400)가 생성될 수 있다.
이렇게 생성된 적대적 변형 이미지(400)는 이웃 픽셀 간에 유사한 값을 가지는 이미지의 특성을 활용한 탐지 기법에 의해서는 객체의 경계를 경계로 인식 못하게 될 수 있다. 적대적 변형 이미지(400)가 이미지 분석 장치(600)에 입력되면 성능 좋은 이미지 분석 장치(600)라 해도 탐지 성능이 떨어지게 되고, 만약 해당 이미지가 기계학습에 이용될 경우 생성되는 인공지능 모델의 성능이 떨어진다는 문제가 발생할 수 있다. 따라서 이미지 분석 장치(600)에 분석 대상 이미지가 입력되기 전에 미리 해당 이미지의 적대적 변형 여부를 탐지하는 것이 필요하다.
다시 도 1을 참고하면, 적대적 변형 이미지 탐지 시스템(100)은 입력부(110), 픽셀 색상 정보 추출부(120), 정보 엔트로피 계산부(130), 적대적 변형 이미지 결정부(140), 변형 이미지 생성부(150), 기준 차이 값 결정부(160)를 포함할 수 있다.
입력부(110)는 검사 대상 이미지(200)를 입력 받을 수 있다. 입력부(110)가 검사 대상 이미지(200)를 입력 받는 방식은 입력부(110)에 마련된 통신 모듈이 시스템 외부의 다른 구성으로부터 검사 대상 이미지(200)를 수신하는 것일 수 있으나, 입력부(110)가 검사 대상 이미지(200)를 입력 받는 방식이 이에 한정되는 것은 아니다.
적대적 변형 이미지 탐지 시스템(100)은 입력된 검사 대상 이미지(200)의 각 픽셀들의 색상 정보를 기초로 해당 검사 대상 이미지(200)가 노이즈 추가된 적대적 변형 이미지(400)인지 판단할 수 있다.
이미지의 비트 뎁스(Bit Depth) 값은 한 픽셀 당 표현할 수 있는 색상 정보의 수일 수 있다. 예를 들어 어느 이미지의 비트 뎁스 값이 8비트이면, 한 픽셀이 표현 가능한 색상은 적색, 녹색, 청색에 대해서 각각 256개일 수 있다. 예를 들어, 한 픽셀의 색상이 청색이라면, 해당 픽셀은 가장 밝은 청색부터 가장 어두운 청색까지 총 256개의 청색 중 하나의 청색을 표현할 수 있다.
즉, 어느 이미지의 비트 뎁스 값이 8비트이면, 해당 이미지의 각 픽셀들은 적색, 녹색, 청색의 모든 색상에 대해서 256개의 색상 정보 중 하나의 색상 정보를 가질 수 있다. 예를 들어, 어느 한 픽셀의 색상 정보(R, G, B) 값은 (20, 254, 132)일 수 있다.
픽셀 색상 정보 추출부(120)는 검사 대상 이미지(200)의 각 픽셀 별로 색상 정보 값을 추출할 수 있다.
색상 정보 값은 검사 대상 이미지(200)의 각 픽셀별로 하나씩 대응되는 정수 값일 수 있다.
구체적으로, 색상 정보 값은 고유 정수 중 하나의 정수 값일 수 있다.
고유 정수는 검사 대상 이미지(200)의 비트 뎁스 값 범위 내의 정수들일 수 있다.
예를 들어, 검사 대상 이미지(200)의 비트 뎁스 값이 8비트이면, 해당 이미지의 고유 정수는 0 내지 255 사이에 있는 총 256개의 모든 정수 값들일 수 있다. 이때, 각 픽셀의 색상 정보 값은 0 내지 255 중에 하나의 정수 값일 수 있다.
정보 엔트로피 또는 섀넌 엔트로피는 어떤 메시지에 포함된 정보의 평균값이다. 구체적으로 정보 엔트로피는 발생 가능한 사건이나 메시지의 확률분포의 음의 로그 값으로 정의될 수 있다.
정보 엔트로피 계산부(130)는 동일 색상 픽셀 수를 각각의 고유 정수마다 도출할 수 있다.
동일 색상 픽셀 수는 검사 대상 이미지(200)에서 동일한 고유 정수를 색상 정보 값으로 가지는 픽셀들의 개수일 수 있다. 예를 들어, 비트 뎁스 값이 8비트인 어느 한 검사 대상 이미지(200)에서 255를 색상 정보 값으로 가지는 픽셀의 개수가 4이면 고유 정수인 255에 대한 동일 색상 픽셀 수는 4일 수 있다.
정보 엔트로피 계산부(130)는 각각의 고유 정수의 동일 색상 픽셀 수를 검사 대상 이미지(200)의 픽셀 개수로 나누어 각 고유 정수의 0 이상 1 미만의 범위에 속하는 동일 색상 픽셀 비율을 계산할 수 있다. 예를 들어, 이미지의 크기가 가로 224, 세로 224, 색상 채널 3개(224x224x3)이고 비트 뎁스 값이 8비트인 어느 한 검사 대상 이미지(200)에서 고유 정수인 255에 대한 동일 색상 픽셀 수는 4이면, 고유 정수인 255에 대한 동일 색상 픽셀 비율은 4/(224x224x3)일 수 있다.
정보 엔트로피 계산부(130)는 검사 대상 이미지(200)의 각 고유 정수의 동일 색상 픽셀 비율에 각각 로그 함수를 취해서 도출된 로그 함수 적용 값들을 기초로 검사 대상 이미지(200)의 색상 정보 엔트로피 값을 계산할 수 있다.
[방정식 1]
Figure pat00001
구체적으로, [방정식 1]을 참조하면, sum(pk)는 검사 대상 이미지(200)의 픽셀 개수이고, pki는 고유 정수 i에 대한 동일 색상 픽셀 비율이고 S는 검사 대상 이미지(200)의 색상 정보 엔트로피일 수 있다.
정보 엔트로피 계산부(130)는 도출된 각각의 고유 정수에 대한 로그 함수 적용 값들을 전부 더한 값의 절대값을 해당 검사 대상 이미지(200)의 색상 정보 엔트로피로 결정할 수 있다.
예를 들어, 픽셀 개수가 10000인 어느 한 검사 대상 이미지(200)에서 고유 정수인 0, 1, 2 및 255에 대한 동일 색상 픽셀 수가 각각 3, 5, 1 및 4이면, 고유 정수인 0, 1, 2 및 255에 대한 동일 색상 픽셀 비율은 0.0003, 0.0005, 0.0001 및 0.0004일 수 있다. 이러한 각각의 동일 색상 픽셀 비율에 로그 함수를 취하여 도출된 로그 함수 적용 값들을 전부 더한 값의 절대값이 해당 검사 대상 이미지(200)의 색상 정보 엔트로피일 수 있다.
적대적 변형 이미지(400)는 정상적인 이미지에 노이즈가 추가되어 생성된다. 이때, 적대적 변형 이미지(400)의 각 픽셀들은 원본의 정상적인 이미지의 각 픽셀들의 색상 정보 값과 다르게 변경된 색상 정보를 가지게 된다.
특히, 적대적 변형 이미지(400)는 픽셀 별 색상 정보 값들 분포의 연속성이 정상적인 이미지보다 상대적으로 없게 된다. 즉, 적대적 변형 이미지(400)는 특정한 색상 정보 값들을 가지는 픽셀이 다른 색상 정보 값들을 가지는 픽셀에 비해 매우 적을 수 있다.
정리하면, 적대적 변형 이미지(400)는 특정한 고유 정수들의 동일 색상 픽셀 수가 다른 고유 정수의 동일 색상 픽셀 수에 비해 훨씬 작을 수 있으며, 해당 고유 정수들의 동일 색상 픽셀 비율 또한 다른 고유 정수들의 동일 색상 픽셀 비율 보다 0에 가까울 수 있다. 0에 가까운 양수일수록 로그 함수를 취했을 때 로그 함수 적용 값들이 증가하므로, 적대적 변형 이미지(400)는 정상 이미지(500)에 비하여 색상 정보 엔트로피 값이 클 수 있다.
적대적 변형 이미지 결정부(140)는 검사 대상 이미지(200)의 색상 정보 엔트로피 값과 기준 엔트로피 값을 비교할 수 있다. 기준 엔트로피 값은 검사 대상 이미지(200)의 색상 정보 엔트로피 값이 적대적 변형 이미지(400)의 색상 정보 엔트로피 값에 해당하는지 판단하는데 기준이 되는 색상 정보 엔트로피 값일 수 있다.
적대적 변형 이미지 결정부(140)는 검사 대상 이미지(200)의 색상 정보 엔트로피 값이 기준 엔트로피 값 이상이면 검사 대상 이미지(200)를 적대적 변형 이미지(400)로 분류할 수 있다.
입력부(110), 픽셀 색상 정보 추출부(120), 정보 엔트로피 계산부(130), 적대적 변형 이미지 결정부(140), 변형 이미지 생성부(150), 기준 차이 값 결정부(160)는 적대적 변형 이미지 탐지 시스템(100)에 포함된 복수개의 프로세서 중 어느 하나의 프로세서를 포함할 수 있다. 또한, 지금까지 설명된 본 발명의 실시예 및 앞으로 설명할 실시예에 따른 적대적 변형된 이미지 탐지 방법은, 프로세서에 의해 구동될 수 있는 프로그램의 형태로 구현될 수 있다.
여기서 프로그램은, 프로그램 명령, 데이터 파일 및 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 프로그램은 기계어 코드나 고급 언어 코드를 이용하여 설계 및 제작된 것일 수 있다. 프로그램은 상술한 부호 수정을 위한 방법을 구현하기 위하여 특별히 설계된 것일 수도 있고, 컴퓨터 소프트웨어 분야에서 통상의 기술자에게 기 공지되어 사용 가능한 각종 함수나 정의를 이용하여 구현된 것일 수도 있다. 전술한 정보 표시 방법을 구현하기 위한 프로그램은, 프로세서에 의해 판독 가능한 기록매체에 기록될 수 있다. 이때, 기록매체는 메모리일 수 있다.
메모리는 전술한 동작 및 후술하는 동작을 수행하는 프로그램을 저장할 수 있으며, 메모리는 저장된 프로그램을 실행시킬 수 있다. 프로세서와 메모리가 복수인 경우에, 이들이 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리된 위치에 마련되는 것도 가능하다. 메모리는 데이터를 일시적으로 기억하기 위한 S램(Static Random Access Memory, S-RAM), D랩(Dynamic Random Access Memory) 등의 휘발성 메모리를 포함할 수 있다. 또한, 메모리는 제어 프로그램 및 제어 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등의 비휘발성 메모리를 포함할 수 있다.
프로세서는 각종 논리 회로와 연산 회로를 포함할 수 있으며, 메모리로부터 제공된 프로그램에 따라 데이터를 처리하고, 처리 결과에 따라 제어 신호를 생성할 수 있다.
보통 적대적 변형 이미지(400)의 색상 정보 엔트로피 값이 정상 이미지(500)의 색상 정보 엔트로피 값보다 더 크게 나오는 것이 일반적이긴 하지만, 반드시 정상 이미지(500)보다 적대적 변형 이미지(400)의 색상 정보 엔트로피 값이 큰 것은 아니다. 예를 들어, 정상 이미지(500)의 픽셀들의 색상 정보 값들에 의해 정상 이미지(500)의 색상 정보 엔트로피 값이 다른 정상 이미지(500)의 색상 정보 엔트로피 값들에 비해 상대적으로 클 수도 있다. 이러한 경우를 감안하면, 단순히 색상 정보 엔트로피 값의 크기만으로는 적대적 변형 이미지(400)를 완벽하게 분류할 수 없다는 문제가 있다. 따라서 입력되는 검사 대항 이미지의 색상 정보 엔트로피의 크기에 관계없이 적대적 변형 이미지(400)를 탐지하는 방법이 필요하다.
도 3은 일 실시예에 따른 변형 이미지를 설명하기 위한 도면이다.
도 3을 참조하면, 검사 대상 이미지(200)의 비트 뎁스 값을 변경하여 변형 이미지(300)를 생성할 수 있다. 여기서 변형 이미지(300)는 적대적 변형 이미지(400)와 전혀 관계없이 원본 이미지의 비트 뎁스 값을 달리하여 표현된 이미지일 수 있다.
검사 대상 이미지(200)의 비트 뎁스 값이 작아지면 작아질수록 이미지의 하나 하나의 픽셀에서 표현 가능한 색상의 수가 적어지는 것을 확인할 수 있다.
변형 이미지 생성부(150)는 검사 대상 이미지(200)의 비트 뎁스 값을 미리 정해진 비트 값으로 감소시켜서 변형 이미지(300)를 생성할 수 있다.
미리 정해진 비트 값은 사용자가 적대적 이미지 탐지 실험을 통하여 도출한 최적의 비트 값일 수 있다.
변형 이미지(300)의 비트 뎁스 값은 검사 대상 이미지(200)의 비트 뎁스 값보다 작다. 예를 들어, 검사 대상 이미지(200)의 비트 뎁스 값은 8비트이고, 해당 검사 대상 이미지(200)의 변형 이미지(300)의 비트 뎁스 값은 6비트일 수 있다.
이때, 해당 검사 대상 이미지(200)의 각 픽셀의 색상 정보 값은 0 내지 255 중에 하나의 정수 값이지만, 변형 이미지(300)의 각 픽셀의 색상 정보 값은 0 내지 63 중에 하나의 정수일 수 있다.
변형 이미지(300)의 고유 정수 값들 또한 검사 대상 이미지(200)와 다를 수 있다. 즉, 검사 대상 이미지(200)의 비트 뎁스 값은 8비트이고, 해당 검사 대상 이미지(200)의 변형 이미지(300)의 비트 뎁스 값은 6비트이면 변형 이미지(300)의 고유 정수 값은 0 내지 63 중에 하나의 정수일 수 있다.
각 고유 정수 별 동일 색상 픽셀 수도 변형 이미지(300)에서는 검사 대상 이미지(200)와 다를 수 있다. 이때, 검사 대상 이미지(200)에서 인접해 있는 복수의 고유 정수의 동일 색상 픽셀 수가 합쳐진 값이 하나의 고유 정수의 동일 색상 픽셀 수가 될 수 있다.
예를 들어, 검사 대상 이미지(200)의 비트 뎁스 값은 8비트이고 해당 검사 대상 이미지(200)의 변형 이미지(300)의 비트 뎁스 값은 6비트이면, 검사 대상 이미지(200)의 고유 정수 값 0, 1, 2 및 3 각각의 동일 색상 픽셀 수가 합쳐진 값이 변형 이미지(300)의 고유 정수 값 0의 동일 색상 픽셀 수일 수 있다. 즉, 검사 대상 이미지(200)의 고유 정수 값 0의 동일 색상 픽셀 수가 3이고, 고유 정수 값 1의 동일 색상 픽셀 수가 5이고, 고유 정수 값 2의 동일 색상 픽셀 수가 1이고, 고유 정수 값 3의 동일 색상 픽셀 수가 3이면, 변형 이미지(300)의 고유 정수 값 0의 동일 색상 픽셀 수는 네 값을 전부 더한 12일 수 있다.
이처럼 변형 이미지(300)는, 검사 대상 이미지(200)와 각 픽셀 별 색상 정보 값들이 다르고, 고유 정수들의 개수들도 다르고, 각각의 고유 정수들의 동일 색상 픽셀 수도 다르며, 각각의 고유 정수들의 동일 색상 픽셀 비율도 달라지므로, 원본의 검사 대상 이미지(200)의 색상 정보 엔트로피 값과 전혀 다른 색상 정보 엔트로피 값이 계산될 수 있다.
즉, 정보 엔트로피 계산부(130)는 변형 이미지(300)의 각 픽셀 별 색상 정보 값들을 기초로 변형 이미지(300)의 색상 정보 엔트로피 값을 계산할 수 있다.
구체적으로, 정보 엔트로피 계산부(130)는 변형 이미지(300)에서 동일한 고유 정수를 색상 정보 값으로 가지는 픽셀들의 개수인 동일 색상 픽셀 수를 각각의 고유 정수마다 도출할 수 있다.
이후, 정보 엔트로피 계산부(130)는 각각의 고유 정수의 동일 색상 픽셀 수를 변형 이미지(300)의 픽셀 개수로 나누어 각 고유 정수의 0 이상 1 미만의 범위에 속하는 동일 색상 픽셀 비율을 계산할 수 있다.
마지막으로, 정보 엔트로피 계산부(130)는 변형 이미지(300)의 각 고유 정수의 동일 색상 픽셀 비율에 각각 로그 함수를 취해서 도출된 로그 함수 적용 값들을 기초로 변형 이미지(300)의 색상 정보 엔트로피 값을 계산할 수 있다.
한편, 전술한 예에서는 검사 대상 이미지(200)의 비트 뎁스 값은 8비트이고 해당 검사 대상 이미지(200)의 변형 이미지(300)의 비트 뎁스 값은 6비트인 경우를 예시로 들었으나, 검사 대상 이미지(200)와 변형 이미지(300)의 비트 뎁스 값의 차이가 반드시 2비트 차이여야 하는 것은 아니다.
예를 들어, 오히려 검사 대상 이미지(200)와 변형 이미지(300)의 비트 뎁스 값의 차이가 1비트 차이일 때, 적대적 변형 이미지(400)를 잘 탐지할 수 있을 수도 있다.
즉, 이때 변형 이미지 생성부(150)는 검사 대상 이미지(200)의 비트 뎁스 값을 1만큼 감소시켜서 변형 이미지(300)를 생성할 수 있다.
도 4는 정상 이미지와 적대적 변형 이미지의 동일 색상 픽셀 비율 분포를 설명하기 위한 도면이며, 도 5는 정상 이미지와 적대적 변형 이미지의 동일 색상 픽셀 비율 분포를 설명하기 위한 또다른 도면이다.
도 4 및 도 5를 참조하면, 정상 이미지(500)와 각각의 적대적 변형 이미지(400) 및 정상 이미지(500)의 변형 이미지(300)와 적대적 변형 이미지(400)의 변형 이미지(300)에 대한 동일 색상 픽셀 비율 분포를 대략적으로 확인할 수 있다.
각각의 그래프는 가로축이 해당 이미지에 대한 각 고유 정수들을 해당 이미지의 비트 뎁스 값으로 나눈 값이고, 세로축이 각각의 고유 정수에 대한 동일 색상 픽셀 수일 수 있다.
비트 뎁스가 감소하기 전의 정상 이미지(500)의 동일 색상 픽셀 비율의 분포를 확인해보면, 중간중간에 동일 색상 픽셀 수가 비는 고유 정수 없이 동일 색상 픽셀 수가 분포하는 것을 확인할 수 있다.
따라서, 정상 이미지(500)가 검사 대상 이미지(200)일 경우, 변형 이미지(300)의 동일 색상 픽셀 비율 분포는 변형되기 전과 별 차이가 없음을 확인할 수 있다. 즉, 변경 전의 정상 이미지(500)의 색상 정보 엔트로피 값은 비트 뎁스가 감소한 정상 이미지(500)의 색상 정보 엔트로피 값과 크게 차이가 나지 않을 수 있다.
반면에, 비트 뎁스가 감소하기 전의 적대적 변형 이미지(400)의 동일 색상 픽셀 비율의 분포를 확인해보면, 중간중간에 동일 색상 픽셀 수가 비는 고유 정수들이 존재하듯이 동일 색상 픽셀 수가 분포하는 것을 확인할 수 있다.
적대적 변형 이미지(400)의 비트 뎁스를 감소시키면 중간중간에 동일 색상 픽셀 수가 비는 고유 정수들이 사라질 수 있다.
예를 들어, 적대적 변형 이미지(400)의 비트 뎁스 값은 8비트이고 해당 이미지의 변형 이미지(300)의 비트 뎁스 값은 7비트일 때, 적대적 변형 이미지(400)의 고유 정수 값 0의 동일 색상 픽셀 수가 2000이고, 고유 정수 값 1의 동일 색상 픽셀 수가 1이고, 고유 정수 값 2의 동일 색상 픽셀 수가 1900이고, 고유 정수 값 3의 동일 색상 픽셀 수가 2이면, 변형 이미지(300)의 고유 정수 값 0의 동일 색상 픽셀 수는 2001이고, 변형 이미지(300)의 고유 정수 값 1의 동일 색상 픽셀 수는 1902일 수 있다.
즉, 변경 전의 적대적 변형 이미지(400)의 경우, 고유 정수 값 1과 3의 동일 색상 픽셀 수가 지나치게 적어서 동일 색상 픽셀 비율의 분포를 확인해보면 중간중간에 동일 색상 픽셀 수가 비는 고유 정수가 존재하지만, 변경 후의 적대적 변형 이미지(400)의 경우, 그렇게 비는 고유 정수의 동일 색상 픽셀 수는 인접한 다른 고유 정수의 동일 색상 픽셀 수와 합쳐지므로 중간중간에 동일 색상 픽셀 수가 비는 고유 정수들이 사라질 수 있다.
이렇게 지나치게 작은 동일 색상 픽셀 수들이 사라지게 되므로, 비트 뎁스가 감소한 적대적 변형 이미지(400)의 경우 비트 뎁스 감소 전의 적대적 변형 이미지(400)와 확연히 차이나는 색상 정보 엔트로피 값을 가질 수 있다.
적대적 변형 이미지 결정부(140)는 검사 대상 이미지(200)의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이를 계산할 수 있다. 이때, 변형 이미지(300)의 색상 정보 엔트로피 값에서 검사 대상 이미지(200)의 색상 정보 엔트로피 값을 빼서 차이를 계산할 수 있다.
적대적 변형 이미지 결정부(140)는 검사 대상 이미지(200)의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이가 기준 차이 값 이상이면 검사 대상 이미지(200)를 적대적 변형 이미지(400)로 분류할 수 있다.
도 6은 일 실시예에 따라 적대적 변형 이미지로 결정된 검사 대상 이미지를 따로 분류하는 과정을 도시한 도면이다.
도 6을 참조하면, 검사 대상 이미지(200)의 비트 뎁스를 감소시켜서 변형 이미지(300)를 생성하고, 생성된 변형 이미지(300)와 검사 대상 이미지(200)의 색상 정보 엔트로피를 비교하여 적대적 변형 이미지(400)를 탐지하는 과정을 확인할 수 있다.
또한, 검사 대상 이미지(200) 중에서 적대적 변형 이미지(400)로 결정된 이미지는 이미지 분석 장치(600)에 입력되지 않는다는 것을 확인할 수 있다.
적대적 변형 이미지 결정부(140)는 이미지 분석 장치(600)에 적대적 변형 이미지(400)가 입력되지 않도록 적대적 변형 이미지(400)로 분류된 이미지를 나머지 검사 대상 이미지(200)와 따로 분리하여 저장할 수 있다.
도 7은 일 실시예에 따른 기준 차이 값을 설명하기 위한 도면이다.
기준 차이 값은 검사 대상 이미지(200)가 적대적 변형 이미지(400)인지 여부를 판단하는데 기준이 되는 검사 대상 이미지(200)의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이일 수 있다.
도 7을 참조하면, 기준 차이 값은 복수의 정상 이미지들(Legitimate)의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이를 기초로 결정될 수 있음을 확인할 수 있다.
구체적으로, 정상으로 이미 판별이 된 복수의 이미지들을 기초로 계산된 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이들을 계산해서 크기 순서대로 나열하고, 사용자가 원하는 분류 정확도에 따라 사용자가 지정한 상위권 비율에 있는 차이 값을 기준 차이 값으로 정할 수 있다.
도시된 그래프를 참조하면, 정상 이미지(500)들의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이는 서로 크게 차이 안 나며, 어떠한 특정한 정상 이미지(500)의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이가 기준 차이 값(threshold)으로 결정될 수 있음을 확인할 수 있다.
입력부(110)는 복수의 정상 이미지(500)를 입력 받을 수 있다. 입력되는 복수의 정상 이미지(500)는 서로 다른 이미지이므로 각각의 색상 정보 엔트로피는 다를 수 있다.
정보 엔트로피 계산부(130)는 입력된 정상 이미지(500)의 각 픽셀 별 색상 정보 값들을 기초로 정상 이미지(500)의 색상 정보 엔트로피 값을 계산할 수 있다.
변형 이미지 생성부(150)는 정상 이미지(500)의 비트 뎁스 값을 미리 정해진 비트 값으로 감소시켜서 변형 정상 이미지를 생성할 수 있다.
정보 엔트로피 계산부(130)는 변형 정상 이미지의 각 픽셀 별 색상 정보 값들을 기초로 변형 정상 이미지의 색상 정보 엔트로피 값을 계산할 수 있다.
기준 차이 값 결정부(160)는 정상 이미지(500)의 색상 정보 엔트로피 값과 변형 정상 이미지의 색상 정보 엔트로피 값의 차이를 계산할 수 있다.
기준 차이 값 결정부(160)는 복수의 정상 이미지(500)들의 색상 정보 엔트로피 값의 차이 값들을 크기 순서대로 나열했을 때, 미리 지정된 상위 순번에 해당하는 정상 이미지(500)의 색상 정보 엔트로피 값의 차이를 기준 차이 값(threshold)으로 결정할 수 있다.
어떠한 방식의 적대적 변형 이미지(FGSM(0.01), FGSM(0.03), BIM(0.01), BIM(0.03), CW_Next, CW_LL)(400)들이라 하더라도, 색상 정보 엔트로피 값과 비트 뎁스 값이 감소한 적대적 변형 이미지(400)의 색상 정보 엔트로피 값의 차이는 일반적으로 기준 차이 값(threshold) 보다 큰 것을 확인할 수 있다.
이상에서 설명된 구성요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 8은 일 실시예에 따른 적대적 변형된 이미지 탐지 방법의 순서도이다. 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성이 추가되거나 삭제될 수 있음은 물론이다.
도 8을 참조하면, 입력부(110)는 검사 대상 이미지(200)를 입력 받을 수 있다(1001).
픽셀 색상 정보 추출부(120)는 검사 대상 이미지(200)의 각 픽셀 별로 검사 대상 이미지(200)의 비트 뎁스 값 범위 내의 정수인 고유 정수 중 하나의 정수 값인 검사 대상 이미지(200)의 색상 정보 값을 추출할 수 있다(1002).
변형 이미지 생성부(150)는 검사 대상 이미지(200)의 비트 뎁스 값을 미리 정해진 비트 값으로 감소시켜서 변형 이미지(300)를 생성할 수 있다(1003).
픽셀 색상 정보 추출부(120)는 변형 이미지(300)의 각 픽셀 별로 변형 이미지(300)의 고유 정수 중 하나의 정수 값인 변형 이미지(300)의 색상 정보 값을 추출할 수 있다(1004).
정보 엔트로피 계산부(130)는 검사 대상 이미지(200)의 각 픽셀 별 색상 정보 값들을 기초로 검사 대상 이미지(200)의 색상 정보 엔트로피 값을 계산할 수 있다(1005). 또한, 정보 엔트로피 계산부(130)는 변형 이미지(300)의 각 픽셀 별 색상 정보 값들을 기초로 변형 이미지(300)의 색상 정보 엔트로피 값을 계산할 수 있다.
이때, 적대적 변형 이미지 결정부(140)는 검사 대상 이미지(200)의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이를 계산할 수 있다.
적대적 변형 이미지 결정부(140)는 검사 대상 이미지(200)의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이가 기준 차이 값 이상인지 판단할 수 있다(1006).
검사 대상 이미지(200)의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이가 기준 차이 값 미만이면(1006의 '아니오'), 적대적 변형 이미지 결정부(140)는 검사 대상 이미지(200)를 정상 이미지(500)로 판단할 수 있다(1007).
검사 대상 이미지(200)의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이가 기준 차이 값 이상이면(1006의 '예'), 적대적 변형 이미지 결정부(140)는 검사 대상 이미지(200)를 적대적 변형 이미지(400)로 판단할 수 있다(1008).
본 발명의 실시예에 따른 적대적 변형된 이미지 탐지 방법의 성능을 검증하기 위하여, 복수의 실험용 이미지 중에서 적대적으로 변형된 이미지를 탐지하는 실험을 진행하였다.
도 9는 일 실시예에 따른 정상 이미지와 적대적 변형 이미지의 평균적인 색상 정보 엔트로피를 나타낸 그래프이며, 도 10은 변형 이미지의 비트 뎁스 값에 따른 분류 정확도를 나타낸 그래프이다.
도 9를 참조하면, 비트 뎁스를 감소시키기 전의 이미지들(Original)의 경우, 정상 이미지(Legitimate)(500)의 평균적인 색상 정보 엔트로피 값이 적대적 변형 이미지(FGSM(0.01), FGSM(0.03), BIM(0.01), BIM(0.03), CW_Next, CW_LL)(400)의 평균적인 색상 정보 엔트로피보다 상대적으로 작은 것을 확인할 수 있다. 따라서 단순히 어떤 검사 대상 이미지(200)의 색상 정보 엔트로피 값의 크기도 해당 이미지가 적대적 변형 이미지(400)인지 판단하는 기준이 될 수 있다.
한편, 비트 뎁스를 감소시키기 전의 이미지들(Original)과 비트 뎁스를 감소시킨 이미지들(bit_depth=7, bit_depth=6, bit_depth=5)의 평균적인 색상 정보 엔트로피 값을 비교하면 비트 뎁스를 감소시키기 전의 이미지에 비해 비트 뎁스를 감소시킨 이미지의 평균적인 색상 정보 엔트로피 값이 더 작은 것을 확인할 수 있다.
이때, 정상 이미지(Legitimate)(500)와 정상 이미지(500)의 비트 뎁스를 감소시킨 이미지 간의 평균적인 색상 정보 엔트로피 값의 차이보다, 적대적 변형 이미지(400)와 적대적 변형 이미지(400)의 비트 뎁스를 감소시킨 이미지 간의 평균적인 색상 정보 엔트로피 값의 차이가 더 큰 것을 확인할 수 있다.
이를 통해 검사 대상 이미지(200)의 색상 정보 엔트로피 값과 변형 이미지(300)의 색상 정보 엔트로피 값의 차이를 기초로 해당 검사 대상 이미지(200)가 적대적 변형 이미지(400)인지 여부를 판단할 수 있음을 확인할 수 있다.
도 10을 참조하면, 8비트의 비트 뎁스 값을 가진 검사 대상 이미지(200)를 어느 정도로 비트 뎁스 값을 감소시켰는지에 따른 적대적 변형 이미지(400)에 대한 탐지율(Detection Rate)을 확인할 수 있다.
검사 대상 이미지(200)가 8비트의 비트 뎁스 값을 가질 경우, 검사 대상 이미지(200)를 7비트로 감소시켜서 변형 이미지(300)를 생성하는 것(bit_depth=7)이 가장 탐지율이 높은 것을 확인할 수 있다.
따라서, 변형 이미지(300)를 생성할 경우, 검사 대상 이미지(200)의 비트 뎁스 값을 1만큼 감소시켜서 생성하는 것이 가장 최적의 분류 성능을 나타내는 것을 확인할 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 적대적 변형 이미지 탐지 시스템
110: 입력부
120: 픽셀 색상 정보 추출부
130: 정보 엔트로피 계산부
140: 적대적 변형 이미지 결정부
150: 변형 이미지 생성부
160: 기준 차이 값 결정부
200: 검사 대상 이미지
300: 변형 이미지
400: 적대적 변형 이미지
500: 정상 이미지
600: 이미지 분석 장치

Claims (10)

  1. 입력부에 의하여, 검사 대상 이미지를 입력 받는 단계;
    픽셀 색상 정보 추출부에 의하여, 상기 검사 대상 이미지의 각 픽셀 별로 상기 검사 대상 이미지의 비트 뎁스(Bit Depth) 값 범위 내의 정수인 고유 정수 중 하나의 정수 값인 색상 정보 값을 추출하는 단계; 및
    정보 엔트로피 계산부에 의하여, 상기 검사 대상 이미지의 각 픽셀 별 색상 정보 값들을 기초로 상기 검사 대상 이미지의 색상 정보 엔트로피 값을 계산하는 단계를 포함하는 적대적 변형된 이미지 탐지 방법.
  2. 제1항에 있어서,
    적대적 변형 이미지 결정부에 의해, 상기 검사 대상 이미지의 색상 정보 엔트로피 값과 기준 엔트로피 값을 비교하는 단계; 및
    상기 적대적 변형 이미지 결정부에 의해, 상기 검사 대상 이미지의 색상 정보 엔트로피 값이 상기 기준 엔트로피 값 이상이면 상기 검사 대상 이미지를 적대적 변형 이미지로 분류하는 단계를 더 포함하는, 적대적 변형된 이미지 탐지 방법.
  3. 제1항에 있어서,
    상기 검사 대상 이미지의 색상 정보 엔트로피 값을 계산하는 단계는,
    상기 정보 엔트로피 계산부에 의하여, 상기 검사 대상 이미지에서 동일한 고유 정수를 색상 정보 값으로 가지는 픽셀들의 개수인 동일 색상 픽셀 수를 각각의 고유 정수마다 도출하고, 각각의 상기 고유 정수의 동일 색상 픽셀 수를 상기 검사 대상 이미지의 픽셀 개수로 나누어 각 고유 정수의 0 이상 1 미만의 범위에 속하는 동일 색상 픽셀 비율을 계산하는 단계; 및
    상기 정보 엔트로피 계산부에 의하여, 상기 검사 대상 이미지의 각 고유 정수의 동일 색상 픽셀 비율에 각각 로그 함수를 취해서 도출된 로그 함수 적용 값들을 기초로 상기 검사 대상 이미지의 색상 정보 엔트로피 값을 계산하는 단계를 포함하는, 적대적 변형된 이미지 탐지 방법.
  4. 제1항에 있어서,
    변형 이미지 생성부에 의해, 상기 검사 대상 이미지의 비트 뎁스 값을 미리 정해진 비트 값으로 감소시켜서 변형 이미지를 생성하는 단계; 및
    상기 정보 엔트로피 계산부에 의하여, 상기 변형 이미지의 각 픽셀 별 상기 색상 정보 값들을 기초로 상기 변형 이미지의 색상 정보 엔트로피 값을 계산하는 단계를 더 포함하는, 적대적 변형된 이미지 탐지 방법.
  5. 제4항에 있어서,
    적대적 변형 이미지 결정부에 의해, 상기 검사 대상 이미지의 색상 정보 엔트로피 값과 상기 변형 이미지의 색상 정보 엔트로피 값의 차이를 계산하는 단계; 및
    상기 적대적 변형 이미지 결정부에 의해, 상기 검사 대상 이미지의 색상 정보 엔트로피 값과 상기 변형 이미지의 색상 정보 엔트로피 값의 차이가 기준 차이 값 이상이면 상기 검사 대상 이미지를 적대적 변형 이미지로 분류하는 단계를 더 포함하는, 적대적 변형된 이미지 탐지 방법.
  6. 제5항에 있어서,
    상기 변형 이미지의 색상 정보 엔트로피 값을 계산하는 단계는,
    상기 정보 엔트로피 계산부에 의하여, 상기 변형 이미지에서 동일한 고유 정수를 색상 정보 값으로 가지는 픽셀들의 개수인 동일 색상 픽셀 수를 각각의 고유 정수마다 도출하고, 각각의 상기 고유 정수의 동일 색상 픽셀 수를 상기 변형 이미지의 픽셀 개수로 나누어 각 고유 정수의 0 이상 1 미만의 범위에 속하는 동일 색상 픽셀 비율을 계산하는 단계; 및
    상기 정보 엔트로피 계산부에 의하여, 상기 변형 이미지의 각 고유 정수의 동일 색상 픽셀 비율에 각각 로그 함수를 취해서 도출된 로그 함수 적용 값들을 기초로 상기 변형 이미지의 색상 정보 엔트로피 값을 계산하는 단계를 포함하는, 적대적 변형된 이미지 탐지 방법.
  7. 제5항에 있어서,
    상기 입력부에 의해, 복수의 정상 이미지를 입력 받는 단계;
    상기 정보 엔트로피 계산부에 의하여, 상기 정상 이미지의 각 픽셀 별 색상 정보 값들을 기초로 상기 정상 이미지의 색상 정보 엔트로피 값을 계산하는 단계;
    상기 변형 이미지 생성부에 의해, 상기 정상 이미지의 비트 뎁스 값을 미리 정해진 비트 값으로 감소시켜서 변형 정상 이미지를 생성하는 단계;
    상기 정보 엔트로피 계산부에 의하여, 상기 변형 정상 이미지의 각 픽셀 별 상기 색상 정보 값들을 기초로 상기 변형 정상 이미지의 색상 정보 엔트로피 값을 계산하는 단계;
    기준 차이 값 결정부에 의해, 상기 정상 이미지의 색상 정보 엔트로피 값과 상기 변형 정상 이미지의 색상 정보 엔트로피 값의 차이를 계산하는 단계; 및
    기준 차이 값 결정부에 의해, 복수의 상기 정상 이미지들의 색상 정보 엔트로피 값의 차이 값들을 크기 순서대로 나열했을 때, 미리 지정된 상위 순번에 해당하는 정상 이미지의 색상 정보 엔트로피 값의 차이를 상기 기준 차이 값으로 결정하는 단계를 더 포함하는 적대적 변형된 이미지 탐지 방법.
  8. 제5항에 있어서,
    상기 변형 이미지를 생성하는 단계는,
    상기 변형 이미지 생성부에 의해, 상기 검사 대상 이미지의 비트 뎁스 값을 1만큼 감소시켜서 상기 변형 이미지를 생성하는 단계를 포함하는, 적대적 변형된 이미지 탐지 방법.
  9. 제2항에 있어서,
    상기 적대적 변형 이미지 결정부에 의해, 이미지 분석 장치에 상기 적대적 변형 이미지가 입력되지 않도록 상기 적대적 변형 이미지로 분류된 이미지를 나머지 상기 검사 대상 이미지와 따로 분리하여 저장하는 단계를 더 포함하는 적대적 변형된 이미지 탐지 방법.
  10. 제1항 내지 제9항 중 어느 한 항의 적대적 변형된 이미지 탐지 방법을 실행시키도록 컴퓨터로 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020210177695A 2021-11-08 2021-12-13 적대적 변형된 이미지 탐지 방법 및 적대적 변형된 이미지 탐지 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 KR102663350B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/013748 WO2023080426A1 (ko) 2021-11-08 2022-09-15 적대적 변형된 이미지 탐지 방법 및 적대적 변형된 이미지 탐지 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210152016 2021-11-08
KR1020210152016 2021-11-08

Publications (2)

Publication Number Publication Date
KR20230067422A true KR20230067422A (ko) 2023-05-16
KR102663350B1 KR102663350B1 (ko) 2024-05-07

Family

ID=86546227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210177695A KR102663350B1 (ko) 2021-11-08 2021-12-13 적대적 변형된 이미지 탐지 방법 및 적대적 변형된 이미지 탐지 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR102663350B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071483A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 비트 심도 감소를 이용한 깊이 영상 처리 장치 및 방법
KR20110132770A (ko) * 2010-06-03 2011-12-09 한국과학기술원 디지털 포렌직 기술을 이용한 보안 인쇄물 위조식별 시스템 및 그 방법
KR101608703B1 (ko) * 2014-12-22 2016-04-05 경북대학교 산학협력단 동영상 유해성 판단 시스템
KR101993266B1 (ko) * 2018-12-19 2019-06-26 주식회사 로민 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법
KR102149184B1 (ko) * 2019-04-29 2020-08-28 연세대학교 산학협력단 처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법
JP2021086188A (ja) * 2019-11-25 2021-06-03 キヤノン株式会社 画像処理システム、画像処理方法、及びプログラム
KR20210069388A (ko) * 2019-12-03 2021-06-11 주식회사 포스코아이씨티 딥러닝 기반의 얼굴인식모델을 이용하여 실물이미지를 판단할 수 있는 안면인식시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071483A (ko) * 2009-12-21 2011-06-29 삼성전자주식회사 비트 심도 감소를 이용한 깊이 영상 처리 장치 및 방법
KR20110132770A (ko) * 2010-06-03 2011-12-09 한국과학기술원 디지털 포렌직 기술을 이용한 보안 인쇄물 위조식별 시스템 및 그 방법
KR101608703B1 (ko) * 2014-12-22 2016-04-05 경북대학교 산학협력단 동영상 유해성 판단 시스템
KR101993266B1 (ko) * 2018-12-19 2019-06-26 주식회사 로민 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법
KR102149184B1 (ko) * 2019-04-29 2020-08-28 연세대학교 산학협력단 처음 보는 클래스의 설명 가능한 이미지를 생성하는 장치 및 방법
JP2021086188A (ja) * 2019-11-25 2021-06-03 キヤノン株式会社 画像処理システム、画像処理方法、及びプログラム
KR20210069388A (ko) * 2019-12-03 2021-06-11 주식회사 포스코아이씨티 딥러닝 기반의 얼굴인식모델을 이용하여 실물이미지를 판단할 수 있는 안면인식시스템

Also Published As

Publication number Publication date
KR102663350B1 (ko) 2024-05-07

Similar Documents

Publication Publication Date Title
CN110728290B (zh) 检测数据模型安全性的方法及装置
BR112016028586B1 (pt) Meio de armazenamento de computador e método implementado por computador para análise de importância de vídeo baseado em regras
CN109977952B (zh) 基于局部最大值的候选目标检测方法
CN111881289B (zh) 分类模型的训练方法、数据风险类别的检测方法及装置
KR20150051711A (ko) 유해 콘텐츠 영상 차단을 위한 피부 영역 추출 장치 및 방법
CN111124888A (zh) 录制脚本的生成方法和装置及电子装置
JP2017004123A (ja) 判定装置、判定方法および判定プログラム
CN112001983B (zh) 生成遮挡图像的方法、装置、计算机设备和存储介质
CN110390344B (zh) 备选框更新方法及装置
CN110060278A (zh) 基于背景减法的运动目标的检测方法及装置
CN111803956B (zh) 游戏外挂行为的确定方法、装置、电子设备及存储介质
US11527091B2 (en) Analyzing apparatus, control method, and program
CN112819056A (zh) 群控账号挖掘方法、装置、设备及存储介质
KR20230067422A (ko) 적대적 변형된 이미지 탐지 방법 및 적대적 변형된 이미지 탐지 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램
CN116484390A (zh) 一种基于元数据和动态插桩技术的堆漏洞攻击检测方法、设备及介质
US20220215228A1 (en) Detection method, computer-readable recording medium storing detection program, and detection device
US20220406082A1 (en) Image processing apparatus, image processing method, and storage medium
KR102413043B1 (ko) 영상 컨텐츠의 샷 분할 방법 및 장치
US10529453B2 (en) Tool that analyzes image data and generates and displays a confidence indicator along with a cancer score
JP2004038980A (ja) 画像を解析する方法、しきい値を生成する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するコンピュータ可読媒体および該方法を実行するように適応した装置
CN113537253B (zh) 一种红外图像目标检测方法、装置、计算设备及存储介质
US8351729B2 (en) Apparatus, method, and program for image correction
Zhang et al. Benchmarking state-of-the-art visual saliency models for image quality assessment
CN112000856A (zh) 因果关系的确定方法、装置、设备及可读存储介质
KR20220009662A (ko) 신경망 모델 학습 방법 및 이를 제공하는 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant