KR20200068607A - 이미지 조작 공격을 디노이징하기 위한 이미지 보정 방법 및 이를 수행하는 장치들 - Google Patents

이미지 조작 공격을 디노이징하기 위한 이미지 보정 방법 및 이를 수행하는 장치들 Download PDF

Info

Publication number
KR20200068607A
KR20200068607A KR1020190160785A KR20190160785A KR20200068607A KR 20200068607 A KR20200068607 A KR 20200068607A KR 1020190160785 A KR1020190160785 A KR 1020190160785A KR 20190160785 A KR20190160785 A KR 20190160785A KR 20200068607 A KR20200068607 A KR 20200068607A
Authority
KR
South Korea
Prior art keywords
image
damaged
pixel
correcting
processor
Prior art date
Application number
KR1020190160785A
Other languages
English (en)
Inventor
김기천
정택현
진정하
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Publication of KR20200068607A publication Critical patent/KR20200068607A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

이미지 보정 방법 및 이를 수행하는 장치들이 개시된다. 일 실시예에 따른 이미지 보정 방법은 이미지가 임의 조작되는 이미지 조작 공격을 받은 피해 이미지를 획득하는 단계와, 미디언 필터 방식이 적용된 인공 신경망을 이용하여 상기 피해 이미지를 구성하는 복수의 픽셀들 중에서 상기 이미지 조작 공격을 받은 피해 픽셀을 보정하는 단계를 포함한다.

Description

이미지 조작 공격을 디노이징하기 위한 이미지 보정 방법 및 이를 수행하는 장치들{METHOD OF CORRECTING AN IMAGE FOR DENOISING IMAGE MANIPULATION ATTACK AND APPARATUSES PERFORMING THE SAME}
아래 실시예들은 이미지 조작 공격을 디노이징하기 위한 이미지 보정 방법 및 이를 수행하는 장치들에 관한 것이다.
최근에는 이미지를 분류(또는 인식 및 추론)하기 위한 많은 이미지 분류 기법이 있다. 예를 들어, 최근에는 인공 신경망 기반의 이미지 분류 기법을 활용한 상용 프로그램이 많이 개발되고 있다. 이미지 분류 기법은 대부분 컨볼루션 신경망(convolution neural network; CNN) 기반의 이미지 분류 기술을 사용할 수 있다.
최근에는 이미지가 정확하게 분류되지 않게 하는 이미지 조작 공격이 발생되고 있다. 예를 들어, 이미지 조작 공격은 인공 신경망이 이미지 분류를 부정확하게 수행하도록 이미지를 임의로 조작하는(또는 변조하는) 다양한 사이버 공격일 수 있다. 이미지 조작 공격은 임의의 공격자가 수행할 수 있다.
공격자가 신경망의 이미지 분류 동작 원리를 이해하는 경우, 공격자는 이미지 조작 공격을 통해 신경망이 이미지를 부정확하게 분류하도록 이미지를 변형할 수 있다.
실시예들은 미디언 필터 방식이 적용된 인공 신경망을 이용하여 이미지 조작 공격을 받은 피해 이미지를 보정함으로써, 피해 이미지에서 이미지 조작 공격을 디노이징(denoising 또는 제거)하는 기술을 제공할 수 있다.
일 실시예에 따른 이미지 보정 방법은 이미지가 임의 조작되는 이미지 조작 공격을 받은 피해 이미지를 획득하는 단계와, 미디언 필터 방식이 적용된 인공 신경망을 이용하여 상기 피해 이미지를 구성하는 복수의 픽셀들 중에서 상기 이미지 조작 공격을 받은 피해 픽셀을 보정하는 단계를 포함한다.
상기 피해 픽셀의 보정은 상기 인공 신경망의 입력 레이어에서 수행될 수 있다.
상기 보정하는 단계는 상기 피해 픽셀의 주변에 위치한 복수의 주변 픽셀들의 픽셀 값에 기초하여 상기 피해 픽셀의 픽셀 값을 보정하는 단계를 포함할 수 있다.
상기 피해 픽셀의 픽셀 값을 보정하는 단계는 상기 피해 픽셀의 픽셀 값을 상기 복수의 주변 픽셀들의 평균 픽셀 값으로 보정하여 상기 피해 픽셀에 대한 이미지 조작 공격을 디노이징(denoising)하는 단계를 포함할 수 있다.
상기 이미지 보정 방법은 상기 보정 결과에 기초하여 상기 피해 이미지에 포함된 객체를 인식하는 단계와, 상기 인식 결과에 기초하여 상기 피해 이미지를 분류하는 단계를 더 포함할 수 있다.
일 실시예에 따른 이미지 보정 장치는 인스트럭션들을 포함하는 메모리와, 상기 인스트럭션들을 실행하기 위한 프로세서를 포함하고, 상기 프로세서는 이미지가 임의 조작되는 이미지 조작 공격을 받은 피해 이미지를 획득하고, 미디언 필터 방식이 적용된 인공 신경망을 이용하여 상기 피해 이미지를 구성하는 복수의 픽셀들 중에서 상기 이미지 조작 공격을 받은 피해 픽셀을 보정할 수 있다.
상기 피해 픽셀의 보정은 상기 인공 신경망의 입력 레이어에서 수행될 수 있다.
상기 프로세서는 상기 피해 픽셀의 주변에 위치한 복수의 주변 픽셀들의 픽셀 값에 기초하여 상기 피해 픽셀의 픽셀 값을 보정할 수 있다.
상기 프로세서는 상기 피해 픽셀의 픽셀 값을 상기 복수의 주변 픽셀들의 평균 픽셀 값으로 보정하여 상기 피해 픽셀에 대한 이미지 조작 공격을 디노이징(denoising)할 수 있다.
상기 프로세서는 상기 보정 결과에 기초하여 상기 피해 이미지에 포함된 객체를 인식하고, 상기 인식 결과에 기초하여 상기 피해 이미지를 분류할 수 있다.
도 1은 일 실시예에 따른 이미지 보정 시스템의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 이미지 보정 장치의 개략적인 블록도를 나타낸다.
도 3a는 도 1에 도시된 이미지 제공 장치로부터 전송된 원본 이미지 및 원본 이미지에 이미지 조작 공격이 수행된 피해 이미지를 설명하기 위한 일 예를 나타낸다.
도 3b는 도 3a에 도시된 원본 이미지에 수행된 이미지 조작 공격을 설명하기 위한 일 예를 나타낸다.
도 4는 도 3a에 도시된 원본 이미지 및 피해 이미지에 대한 이미지 분류 결과를 설명하기 위한 일 예를 나타낸다.
도 5a는 피해 이미지 및 피해 이미지에 이미지 보정이 수행된 보정 이미지를 설명하기 위한 일 예를 나타낸다.
도 5b는 도 5a에 도시된 피해 이미지 및 보정 이미지에 대한 분류 결과를 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 이미지 보정 시스템의 개략적인 블록도를 나타낸다.
이미지 보정 시스템(10)은 이미지 제공 장치(100) 및 이미지 보정 장치(300)를 포함한다.
이미지 제공 장치(100)는 이미지를 이미지 보정 장치(300)에 제공할 수 있다. 이때, 이미지는 객체가 포함된 이미지일 수 있다.
이미지 제공 장치(100)로부터 전송된 이미지는 이미지 보정 장치(300)에 수신되기 전에 공격자로부터 이미지 조작 공격을 받을 수 있다. 이에, 이미지 제공 장치(100)로부터 전송된 이미지는 이미지가 임의 조작되는 이미지 조작 공격을 받은 피해 이미지로 변조될 수 있다.
이미지 보정 장치(300)는 미디언 필터 방식이 적용된 인공 신경망을 이용하여 이미지 조작 공격을 받은 피해 이미지를 보정함으로써, 피해 이미지에서 이미지 조작 공격을 디노이징(denoising 또는 제거)할 수 있다. 이때, 미디언 필터 방식은 OpenCV 기술을 활용하여 픽셀 기반의 미디언 필터 방식으로 디노이징 기술을 인공 신경망에 적용하는 방식일 수 있다.
이에, 이미지 보정 장치(300)는 의료 소프트웨어 등 이미지 분류 오류시 큰 사고로 직결되는 다양한 분야에서 이미지 조작 공격을 받은 피해 이미지에 대한 이미지 분류가 정확하게 수행되게 할 수 있다.
이미지 보정 장치(300)는 이미지에 대한 cost와 gradient를 계산하여 더욱 수학적이고 정교하게 디노이징을 구현하거나 기계학습을 접목하는 경우에 보정 성능(또는 공격 방어 성능) 및 노이즈 복원률을 더 높은 수준으로 향상시킬 수 있다.
도 2는 도 1에 도시된 이미지 보정 장치의 개략적인 블록도를 나타낸다.
이미지 보정 장치(300)는 메모리(310) 및 프로세서(330)를 포함할 수 있다.
메모리(310)는 프로세서(330)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 프로세서(330)의 동작 및/또는 프로세서(330)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
프로세서(330)는 메모리(310)에 저장된 데이터를 처리할 수 있다. 프로세서(330)는 메모리(310)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(330)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
프로세서(330)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(330)는 공격 방어 장치(300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(330)는 메모리(310)의 동작을 제어할 수 있다.
프로세서(330)는 이미지 제공 장치(100)로부터 전송된 이미지(또는 원본 이미지)가 임의 조작되는 이미지 조작 공격을 받은 피해 이미지를 획득할 수 있다. 이때, 원본 이미지는 복수의 픽셀들로 구성될 수 있다. 복수의 픽셀들 각각은 고유의 픽셀 값이 설정될 수 있다. 이미지 조작 공격은 복수의 픽셀들 중에서 적어도 하나의 픽셀의 픽셀 값을 조작하는 픽셀 값 조작 공격일 수 있다. 피해 이미지는 원본 이미지의 고유의 픽셀 값이 변형된 이미지일 수 있다.
프로세서(330)는 미디언 필터 방식이 적용된 인공 신경망을 이용하여 피해 이미지를 구성하는 복수의 픽셀들 중에서 이미지 조작 공격을 받은 피해 픽셀을 보정할 수 있다. 이때, 피해 픽셀의 보정은 인공 신경망의 입력 레이어에서 수행될 수 있다. 입력 레이어는 이미지 조작 공격을 높은 수준으로 디노이징하기 위한 이미지 보정 전담 레이어일 수 있다.
예를 들어, 프로세서(330)는 미디언 필터 방식을 통해 피해 픽셀의 주변에 위치한 복수의 주변 픽셀들의 픽셀 값에 기초하여 피해 픽셀의 픽셀 값을 보정할 수 있다. 이때, 미디언 필터 장식은 피해 픽셀 인근의 픽셀들에 대한 평균 픽셀 값을 계산하여 피해 픽셀에 반영하는 필터 방식일 수 있다.
구체적으로, 프로세서(330)는 피해 픽셀의 픽셀 값을 복수의 주변 픽셀들의 평균 픽셀 값으로 보정하여 피해 픽셀에 대한 이미지 조작 공격을 디노이징할 수 있다.
프로세서(330)는 보정 결과에 기초하여 피해 이미지에 포함된 객체를 인식할 수 있다.
프로세서(330)는 인식 결과에 기초하여 원본 이미지에 대한 분류 결과와 유사하게(또는 동일하게) 피해 이미지를 오류없이 정확하게 분류할 수 있다.
상술한 객체 인식 및 이미지 분류 동작은 인공 신경망의 중간 및 출력 레이어에서 수행될 수 있다. 이때, 출력 레이어는 피해 이미지에 대한 분류 결과를 출력할 수 있다.
도 3a는 도 1에 도시된 이미지 제공 장치로부터 전송된 원본 이미지 및 원본 이미지에 이미지 조작 공격이 수행된 피해 이미지를 설명하기 위한 일 예를 나타내고, 도 3b는 도 3a에 도시된 원본 이미지에 수행된 이미지 조작 공격을 설명하기 위한 일 예를 나타낸다.
도 3a를 참조하면, 원본 이미지의 복수의 픽셀들은 도 3과 같이 고유의 픽셀 값이 설정될 수 있다. 예를 들어, 원본 이미지의 복수의 픽셀들은 3 X 3 구조로, 총 9개의 픽셀일 수 있다. 제1 픽셀의 픽셀 값은 5이고, 제2 픽셀의 픽셀 값은 3이고, 제3 픽셀의 픽셀 값은 4이고, 제4 픽셀의 픽셀 값은 3이고, 제5 픽셀의 픽셀 값은 3일 수 있다. 제6 픽셀의 픽셀 값은 8이고, 제7 픽셀의 픽셀 값은 3이고, 제8 픽셀의 픽셀 값은 11이고, 제9 픽셀의 픽셀 값은 16일 수 있다.
공격자는 부정확한 이미지 분류가 수행되도록 원본 이미지의 복수의 픽셀들 중에서 적어도 하나의 픽셀에 이미지 조작 공격을 수행할 수 있다. 예를 들어, 공격자는 제1 내지 제9 픽셀 중에서 제5 픽셀 및 제6 픽셀에 이미지 조작 공격을 수행할 수 있다. 제5 픽셀 및 제6 픽셀은 이미지 조작 공격을 받은 피해 픽셀일 수 있다. 이때, 제5 픽셀은 픽셀 값이 3에서 10으로 변경될 수 있다. 제6 픽셀은 픽셀 값이 8에서 10으로 변경될 수 있다.
도 3b를 참조하면, 공격자는 공격 코드를 통해 원본 이미지 곳곳에 큰 표시가 나지 않도록 원본 이미지의 픽셀을 변조하여 원본 이미지를 피해 이미지로 변조할 수 있다. 공격 코드는 python 등의 다양한 프로그램을 통해 작성될 수 있다.
예를 들어, 공격자는 인공 신경망이 수행한(또는 추론한) 이미지 분류 결과와 공격자가 목표로 하는 이미지에 대한 특징(feature)의 수치가 얼마나 차이가 있는지 이미지에 대한 cost와 gradient를 계산할 수 있다. 공격자는 계산 결과에 기반한 공격 코드를 도 3b와 같이 작성하여 원하는 결과가 될 때까지 GPU 연산을 통해 반복적으로 원본 이미지의 픽셀을 변조할 수 있다. 이때, 공격자는 원본 이미지에 너무 많은 변화가 발생되지 않도록 최대 변경 기준을 설정할 수 있다. 최대 변경 기준은 육안으로 이미지에 대한 변화가 구별되지 않게 하기 위한 기준일 수 있다. 예를 들어, 최대 변경 기분은 0.01일 수 있다.
도 4는 도 3a에 도시된 원본 이미지 및 피해 이미지에 대한 분류 결과를 설명하기 위한 일 예를 나타낸다.
프로세서(330)는 인공 신경망을 이용하여 원본 이미지의 객체를 인식함으로써, 원본 이미지를 분류할 수 있다. 예를 들어, 프로세서(330)는 원본 이미지의 복수의 픽셀들을 여러 가지 경우의 수의 타일로 만들 수 있다. 프로세서(330)는 샘플링 작업을 거쳐 원본 이미지의 객체 특징을 인식 및 학습하여 원본 이미지의 객체를 인식할 수 있다. 프로세서(330)는 원본 이미지의 객체 인식에 기초하여 원본 이미지를 분류할 수 있다.
도 4와 같이 원본 이미지의 객체가 whippet인 경우, 프로세서(330)는 94.65%의 정확도로 원본 이미지의 객체를 whippet으로 인식할 수 있다. 프로세서(330)는 인식 결과에 기초하여 원본 이미지를 whippet으로 분류할 수 있다.
상술한 바와 같이 원본 이미지를 whippet으로 분류하지만, 이에 한정하는 것은 아니다. 예를 들어, 프로세서(330)는 원본 이미지를 개 및/또는 동물 등 객체 인식 결과에 대응하는 다양한 방식으로 분류할 수 있다.
인공 신경망에 미디언 필터 방식이 적용되지 않은 경우, 프로세서(330)는 인공 신경망을 이용하여 원본 이미지가 변조된 피해 이미지의 객체를 부정확하게 인식하여 피해 이미지를 원본 이미지와 다르게 분류할 수 있다. 예를 들어, 프로세서(330)는 96.93%의 정확도로 피해 이미지의 whippet 객체를 hammer로 부정확하게 인식할 수 있다. 프로세서(330)는 인식 결과에 기초하여 피해 이미지를 원본 이미지와 다르게 hammer로 분류할 수 있다.
상술한 인공 신경망은 상용에서 실제로 많이 사용되고 있는 인공 신경망 라이브러리인 keras 및 tensorflow를 통해 구현된 CNN일 수 있다. CNN은 이미지 분류가 정확하게 수행되도록 학습된 CNN일 수 있다.
도 5a는 피해 이미지 및 피해 이미지에 이미지 보정이 수행된 보정 이미지를 설명하기 위한 일 예를 나타내고, 도 5b는 도 5a에 도시된 피해 이미지 및 보정 이미지에 대한 이미지 분류 결과를 나타낸다.
도 5a를 참조하면, 피해 이미지는 도 3a의 원본 이미지와 같이 whippet 객체를 포함한 이미지일 수 있다. 피해 이미지는 도 5a와 같이 총 9개의 픽셀로 구성될 수 있다. 총 9개의 픽셀 중에서 제5 픽셀은 이미지 조작 공격이 수행된 픽셀일 수 있다. 제1 픽셀의 픽셀 값은 5이고, 제2 픽셀의 픽셀 값은 3이고, 제3 픽셀의 픽셀 값은 4이고, 제4 픽셀의 픽셀 값은 3이고, 제5 픽셀의 픽셀 값은 10일 수 있다. 제6 픽셀의 픽셀 값은 5이고, 제7 픽셀의 픽셀 값은 3이고, 제8 픽셀의 픽셀 값은 4이고, 제9 픽셀의 픽셀 값은 5일 수 있다.
프로세서(330)는 미디언 필터 방식이 적용된 인공 신경망을 이용하여 피해 이미지를 보정함으로써, 피해 이미지를 보정 이미지로 변조할 수 있다. 이때, 프로세서(330)는 미디언 필터 방식의 구현을 위해 phthon 3.6 환경에서 OpenCV 라이브러리를 이용한 CPU 및/또는 GPU 연산을 통해 디노이징을 수행할 수 있다.
예를 들어, 프로세서(330)는 피해 이미지의 제5 픽셀의 픽셀 값을 제5 픽셀의 주변에 위치한 제1 픽셀 내지 제4 픽셀, 제6 픽셀 내지 제9 픽셀의 평균 픽셀 값으로 보정할 수 있다. 이에, 제5 픽셀의 픽셀 값은 10에서 4로 변경될 수 있다.
도 5b를 참조하면, 프로세서(330)는 96.93%의 정확도로 도 5a의 피해 이미지의 whippet 객체를 hammer로 부정확하게 인식할 수 있다.
하지만, 프로세서(330)는 피해 이미지에 디노이징을 수행하여 84.98%의 정확도로 보정 이미지의 객체를 whippet로 정확하게 인식할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (10)

  1. 이미지가 임의 조작되는 이미지 조작 공격을 받은 피해 이미지를 획득하는 단계; 및
    미디언 필터 방식이 적용된 인공 신경망을 이용하여 상기 피해 이미지를 구성하는 복수의 픽셀들 중에서 상기 이미지 조작 공격을 받은 피해 픽셀을 보정하는 단계
    를 포함하는 이미지 보정 방법.
  2. 제1항에 있어서,
    상기 피해 픽셀의 보정은 상기 인공 신경망의 입력 레이어에서 수행되는 이미지 보정 방법.
  3. 제1항에 있어서,
    상기 보정하는 단계는,
    상기 피해 픽셀의 주변에 위치한 복수의 주변 픽셀들의 픽셀 값에 기초하여 상기 피해 픽셀의 픽셀 값을 보정하는 단계
    를 포함하는 이미지 보정 방법.
  4. 제3항에 있어서,
    상기 피해 픽셀의 픽셀 값을 보정하는 단계는,
    상기 피해 픽셀의 픽셀 값을 상기 복수의 주변 픽셀들의 평균 픽셀 값으로 보정하여 상기 피해 픽셀에 대한 이미지 조작 공격을 디노이징(denoising)하는 단계
    를 포함하는 이미지 보정 방법.
  5. 제1항에 있어서,
    상기 보정 결과에 기초하여 상기 피해 이미지에 포함된 객체를 인식하는 단계; 및
    상기 인식 결과에 기초하여 상기 피해 이미지를 분류하는 단계
    를 더 포함하는 이미지 보정 방법.
  6. 인스트럭션들을 포함하는 메모리; 및
    상기 인스트럭션들을 실행하기 위한 프로세서
    를 포함하고,
    상기 프로세서는,
    이미지가 임의 조작되는 이미지 조작 공격을 받은 피해 이미지를 획득하고, 미디언 필터 방식이 적용된 인공 신경망을 이용하여 상기 피해 이미지를 구성하는 복수의 픽셀들 중에서 상기 이미지 조작 공격을 받은 피해 픽셀을 보정하는 이미지 보정 장치.
  7. 제6항에 있어서,
    상기 피해 픽셀의 보정은 상기 인공 신경망의 입력 레이어에서 수행되는 이미지 보정 장치.
  8. 제6항에 있어서,
    상기 프로세서는,
    상기 피해 픽셀의 주변에 위치한 복수의 주변 픽셀들의 픽셀 값에 기초하여 상기 피해 픽셀의 픽셀 값을 보정하는 이미지 보정 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 피해 픽셀의 픽셀 값을 상기 복수의 주변 픽셀들의 평균 픽셀 값으로 보정하여 상기 피해 픽셀에 대한 이미지 조작 공격을 디노이징(denoising)하는 이미지 보정 장치.
  10. 제6항에 있어서,
    상기 프로세서는,
    상기 보정 결과에 기초하여 상기 피해 이미지에 포함된 객체를 인식하고, 상기 인식 결과에 기초하여 상기 피해 이미지를 분류하는 이미지 보정 장치.
KR1020190160785A 2018-12-05 2019-12-05 이미지 조작 공격을 디노이징하기 위한 이미지 보정 방법 및 이를 수행하는 장치들 KR20200068607A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180155423 2018-12-05
KR1020180155423 2018-12-05

Publications (1)

Publication Number Publication Date
KR20200068607A true KR20200068607A (ko) 2020-06-15

Family

ID=71081572

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190160785A KR20200068607A (ko) 2018-12-05 2019-12-05 이미지 조작 공격을 디노이징하기 위한 이미지 보정 방법 및 이를 수행하는 장치들

Country Status (1)

Country Link
KR (1) KR20200068607A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222960A (zh) * 2021-05-27 2021-08-06 哈尔滨工程大学 基于特征去噪的深度神经网络对抗防御方法、系统、存储介质及设备
CN113891051A (zh) * 2020-07-03 2022-01-04 三星电子株式会社 包括神经网络处理器的图像处理设备和操作的方法
KR20220030635A (ko) * 2020-09-03 2022-03-11 부산대학교 산학협력단 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113891051A (zh) * 2020-07-03 2022-01-04 三星电子株式会社 包括神经网络处理器的图像处理设备和操作的方法
KR20220030635A (ko) * 2020-09-03 2022-03-11 부산대학교 산학협력단 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법
CN113222960A (zh) * 2021-05-27 2021-08-06 哈尔滨工程大学 基于特征去噪的深度神经网络对抗防御方法、系统、存储介质及设备
CN113222960B (zh) * 2021-05-27 2022-06-03 哈尔滨工程大学 基于特征去噪的深度神经网络对抗防御方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
KR20200068607A (ko) 이미지 조작 공격을 디노이징하기 위한 이미지 보정 방법 및 이를 수행하는 장치들
US11055632B2 (en) Method and device for improving the robustness against “adversarial examples”
KR101938945B1 (ko) Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템
JP6099793B2 (ja) １つ以上の画像処理アルゴリズムの自動選択のための方法およびシステム
KR20170038622A (ko) 영상으로부터 객체를 분할하는 방법 및 장치
US10789551B2 (en) Method for training and testing data embedding network to generate marked data by integrating original data with mark data, and training device and testing device using the same
KR102395452B1 (ko) 개인 정보 보호를 위하여 원본 데이터를 비식별 처리한 변조 데이터를 인식하기 위한 사용자 러닝 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치
JP7191139B2 (ja) 生体を検知するための方法及び装置
CN113424203A (zh) 图像处理设备及其操作方法
CN110618854B (zh) 基于深度学习与内存镜像分析的虚机行为分析系统
KR20190107984A (ko) 샘플링 및 적응적으로 변경되는 임계치에 기초하여 뉴럴 네트워크를 학습하는데 이용되는 하드 네거티브 샘플을 추출하는 영상 학습 장치 및 상기 장치가 수행하는 방법
KR20200093418A (ko) 기능적 안전성을 위해 극한 상황에서 폴트 톨러런스 및 플럭츄에이션 로버스트를 향상시키도록 테스트 패턴을 이용해 cnn의 파라미터의 무결성을 검증하기 위한 방법 및 장치
US11507670B2 (en) Method for testing an artificial intelligence model using a substitute model
CN113111776A (zh) 对抗样本的生成方法、装置、设备及存储介质
CN111985537A (zh) 一种目标图像识别方法、终端、系统和存储介质
US20230162530A1 (en) Facial recognition adversarial patch adjustment
US11967124B2 (en) Method and apparatus for classification using neural network
KR20220089602A (ko) 무보정 광각 이미지 기반 가변 합성곱 신경망 학습 방법 및 장치
Waghela et al. Robust image classification: Defensive strategies against FGSM and PGD adversarial attacks
Li et al. Temporal-distributed backdoor attack against video based action recognition
CN115398424A (zh) 使用神经网络使函数模糊从输入代码创建安全变换代码的系统、方法和存储介质
CN116152542A (zh) 图像分类模型的训练方法、装置、设备及存储介质
KR102301295B1 (ko) 모델 추출 공격에 대한 인공신경망 워터마킹의 안전성 평가 방법
KR101853211B1 (ko) 모바일 gpu 환경에서 차영상 정보를 이용한 sift 알고리즘의 복잡도 감소 기법
KR101600183B1 (ko) 이미지로부터 깊이 정보를 추출하는 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application