KR102140340B1

KR102140340B1 - 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법

Info

Publication number: KR102140340B1
Application number: KR1020180124376A
Authority: KR
Inventors: 김현기; 이록규
Original assignee: 엔에이치엔 주식회사
Priority date: 2018-10-18
Filing date: 2018-10-18
Publication date: 2020-07-31
Also published as: KR20200046181A; JP6965320B2; US20200126209A1; US11861816B2; JP2020064637A

Abstract

실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템은, 이미지에 위변조 조작여부를 판별하기 위한 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템으로서, 상기 이미지를 고역 통과 필터롤 통과시켜 위변조 조작의 특징을 확대하는 보정 특징 전처리부; 상기 특징이 확대된 이미지에서 기 학습된 컨볼루션 뉴럴 네트워크를 통해 이미지 보정 특징 정보를 추출하는 보정 특징 추출부; 상기 이미지 보정 특징 정보를 정제하는 특징 정제부; 및 상기 특징 정제부에서 정제된 이미지 보정 특징 정보를 기초로 상기 이미지의 위변조 조작여부를 판별하는 보정 구별부;를 포함한다.

Description

컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법 {Deep-running-based image correction detection system and method for providing non-correction detection service using the same}

본 발명은 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템 및 이를 이용하여 무보정 탐지 서비스를 제공하는 방법에 관한 것이다. 보다 상세하게는 딥러닝을 기반으로 이미지의 보정 여부를 정확하게 판정하는 보정 탐지 시스템과, 이러한 시스템을 이용하여 무보정 여부를 탐지해주는 서비스를 제공하는 방법에 관한 것이다.

디지털 카메라 및 모바일 폰의 발전으로 누구나 고화질의 디지털 이미지를 생성할 수 있게 되었으며, 특히 소셜 네트워크 서비스 (Social Network Services, SNS)의 영향으로 이미지를 업로드하고공유하여 타인에게 사진을유통할 수 있다.

또한, 어도비 포토샵 (Adobe PhotoShop) 과같은 정교한 이미지 편집 소프 트웨어와 소셜 네트워크 서비스 자체 이미지 편집기능, 그리고 다수 이미지 편집 어플리케이션 (application)의 보급으로 인해 원본 이미지를 쉽게 수정할 수 있게 되었다. 특히, 블러링 (blurring), 메디안 필터링 (median filtering), 가우시안 노이즈 (Gaussian noise), 리샘플링 (resampling), 절삭 (cropping), 색상변조와 같은 이미지 리터칭 기법으로 실제 이미지와 다르게 특정 요소를 감추거나, 복사-붙여넣기(copy-move), 스플라이싱 (splicing)의 방법으로 새로운요소를 추가하는 등의 이미지 위변조가 일어날 수 있으며, 전문가의 도움없이는 이미지의 무결성을 파악하기 어려워 뉴스 및 소셜네트워크에 해당 위변조된 이미지가 원본 이미지처럼 유통될 수 있고 위변조 흔적을 누락하여 위조된 이미지가 법원의 증거로 인정될 수 있는 심각한 사례가 발생할 수 있다.

이미지 편집 소프트웨어의 빠른 확산으로 누구나 쉽게 영상을 제작, 유통할 수 있으며 특히 이미지의 위변조 또한 간단하고 정교하게 이루어지고 있다. 이러한 이미지 위변조를 탐지하는 기술은 이전부터 지속적으로 연구되어 왔지만 특정 파일 포맷, 조작, 압축 퀄리티 등 매우 제한적인 환경에서만 동작하는 단점이있다.

이러한 이미지 위변조를 탐지하기위해 이미지 포렌식 기법이 연구되어왔다

종래의 기술들은 패턴 변화를 분석하여 색상변조를 탐지하는 기법과, 이미지의 리샘플링 흔적을 분석하는 기법 등이 지속적으로 연구해왔다.

그러나 이러한 기법들은 각기 다른 조작과 파일 포맷 및 특정 환경에서만 동작하여 더 다양한 조작 및 포맷에 모두 적용하기 어려운 제약이있다.

한편, 딥 러닝 기술 중 컨볼루션 뉴럴 네트워크는 컴퓨터 비전 문제를 해결하는데 탁월한 성능을 보였고, 이 컨볼루션 뉴럴 네트워크를 이용하여 다양한 이미지 조작을 탐지하려는 연구가 진행되었다.

자세히, 컨볼루션 뉴럴 네트워크 (convolutional neural network, CNN) 은 물체의인식, 구별 등 컴퓨터 비전 문제를 해결하는데 탁월한 성능을 보였다.

그러나 컨볼루션 뉴럴 네트워크를 그대로 이미지 포렌식에 적용할 경우 좋은 학습 성능을 보이지 않아, 선행기술 1은 컨볼루션 뉴럴 네트워크 사용 이전 전처리 과정을 수행할 필요성을 파악하였다.

특히, 선행기술 1은 컨볼루션 뉴럴 네트워크 앞단에 특화된 레이어를 설계하여 기존 선행기술들에 비해 압도적인 이미지 조작 검출 성능을 보였다

도 1은 선행기술 1의 딥러닝 뉴럴 네트워크 구조로, 컨볼루션 뉴럴 네트워크의 맨 처음 레이어에 이미지 포렌식 기법에 특화된 바야르 필터(bayar filter) 를 포함하는 것을 특징으로 한다. 이 바야르 필터는 컨볼루션 뉴럴 네트워크가 어떠한 전처리 과정 (pre-processing) 이나 특징 추출 (feature extraction)없이 레이어 구조만으로 이미지 변화에 보다 더 적응하여 학습할 수 있게 하는 역할을 하여, 이미지 조작 검출 성능을 향상시켰다.

자세히, 바야르 필터는, 상기 수학식 1과 같이 이 필터에서는 중앙 가중치 (weight) 값을 -1 로 고정하고 이웃 가중치 값들의 합이 1이 되도록 강제하며 학습이 진행한다. 여기서, l, m은 픽셀의 좌표를 의미한다.

이러한 바야르 필터를 이용한 선행기술 1의 뉴럴 네트워크는 무압축 이미지에서의 블러, 노이즈, 메디안, 리사이징과 같은 변화들을 매우 잘 검출하였다.

그러나 선행기술 1은 압축된 이미지에서는 조작된 흔적들이 압축 과정에서 생기는 데이터 손실로 인해 추적하기 어려운 단점이 있다.

또한, 선행기술 1은 그레이스케일 이미지에 특화되어, 컬러 이미지에서의 조작된 흔적은 잘 검출하지 못하는 단점이 있다.

즉, 선행기술 1은 무압축 이미지만을 대상으로하여 이미지가 생성되고 유통되는 과정에서 필수적으로 겪는 압축에 대한 고려를 하지 않아 실제 대부분의 이미지가 압축되어 있는 점과, 대부분의 디지털 이미지는 컬러 이미지인 점을 고려할 때, 실제 기술 사용에는 어려운 문제가 있다.

(선행기술 1) Belhassen Bayar and Matthew C Stamm. “A deep learning approach to universal image manipulation detection using a new convolutional layer. In Proceedings of the 4th ACM Workshop on Information Hiding and Multimedia Security”

현재 대부분의 디지털 이미지는 제이팩(JPEG) 포맷과 같은 압축 포맷을 통해 저장되고 있으며, 압축된 이미지에서는 조작된 흔적들이 압축 과정에서 생기는 데이터 손실로 인해 추적하기 어려워진다.

특히, 이미지 위변조는 제이팩 압축 포맷으로 저장된 이미지를 포토샵과 같은 소프트웨어에서 정교하게 조작한 뒤 이미지를 재저장(re-save) 하는 과정을 거치기 때문에 재압축 즉, 이중 제이펙 압축이 필연적으로 일어나게 되어, 조작된 흔적들이 더욱 데이터 손실되는 문제가 있다.

따라서, 본 발명은, 압축된 환경에서 이미지 조작을 탐지할 수 있는 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은, 컬러 이미지에 대한 이미지 조작도 정밀하게 탐지할 수 있는 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은, 상기 정밀한 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 이용하여 무보정 탐지 서비스를 제공하는 방법을 제공하는 것을 목적으로 한다.

이때, 상기 이미지를 일정 크기의 규격으로 이미지 블록화하는 이미지 블록부를 더 포함할 수 있다.

또한, 상기 보정 특징 추출부는, 복수의 컨볼루션 레이어(convolutional layer) 및 복수의 풀링 레이어(max pooling layer)를 포함할 수 있다.

이때, 상기 컨볼루션 레이어는, 3×3이하의 크기이며, 스트라이드는 1일 수 있다.

또한, 상기 보정 특징 추출부는, 기 학습된 VGG19 컨볼루션 뉴럴 네트워크 모델이며, 상기 컨볼루션 뉴럴 네트워크의 가중치는 상기 이미지에 따라서 변경 학습될 수 있다.

또한, 상기 보정 구별부는, 상기 이미지에서 조작 가능성이 있는 픽셀들을 검출하고, 상기 픽셀들의 보정 가능성 확률값을 산출하고, 위변조 가능성이 높은 픽셀들을 확률값에 따라 서로 다른 색으로 표시한 위변조 확인 맵을 출력할 수 있다.

또한, 상기 위변조 조작여부를 판별하기 위해 입력된 이미지는 컬러 이미지일 수 있다.

실시예에 따른 무보정 탐지 서비스를 제공하는 방법은, 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 사용하여 무보정 탐지 서비스를 제공하는 방법으로서, 사용자로부터 위변조를 판별할 입력 이미지를 수신하는 단계; 상기 입력된 이미지를 일정 규격으로 블록화하여 이미지 블록을 생성하는 단계; 상기 이미지 블록을 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템에 입력하고, 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템으로부터 위변조 확인 맵을 출력하는 단계; 및 상기 위변조 확인 맵과 상기 입력 이미지를 딥러닝하여 위변조 여부를 예 또는 아니요의 레이블로 출력하는 단계;를 포함한다.

이때, 위변조 여부가 예로 판별되면, 위변조 가능성이 높은 영역을 하이라이트 하는 입력 이미지를 생성하는 단계와, 상기 생성된 입력 이미지를 사용자에게 제공하는 단계를 더 포함할 수 있다.

또한, 위변조 여부가 아니요로 판별되면, 상기 입력 이미지에 보정이 없다는 확인 도장을 합성하여 상기 사용자에게 제공하는 단계를 더 포함할 수 있다.

실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조 탐지는. 다양한 압축 환경에서 일어나는 이미지 조작을 탐지하는 합성곱 뉴럴 네트워크와 압축을 고려한 마르코프 특성 기반의 뉴럴 네트워크를 결합하여 이미지 조작을 압축된 환경에서도 잘 탐지할 수 있다.

또한, 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조 탐지는. 다양한 압축 환경에서 일어나는 이미지 조작을 탐지할 수 있을 뿐만 아니라, 컬러 이미지의 위변조를 빠르고 강하게 탐지할 수 잇다.

또한, 실시예에 따른 무보정 탐지 서비스를 제공하는 방법은, 컬러 이미지이며 압축된 이미지인 경우에도 정밀하게 보정 여부를 판별할 수 있으며, 판별된 결과를 사용자가 직관적으로 인식할 수 있게 제공할 수 있는 장점이 있다.

도 1은 선행기술 1의 컨볼루션 뉴럴 네트워크 구조를 나타낸다.
도 2는 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 구조도를 나타낸다.
도 3은 본 발명의 제 1 실시예에 따른 특화된 컨볼루션 뉴럴 네트워크의 세부 구조도이다.
도 4는 본 발명의 제 1 실시예에 따른 마르코프 네트워크의 세부 구조도이다.
도 5는 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템에 의해 위변조된 이미지를 탐지한 실험 결과를 나타낸다.
도 6a 내지 도 6d들은 각기 다른 환경에서 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 탐지 정확도와 선행기술 1의 탐지 정확도를 비교하여 나타낸 그래프들이다.
도 7은 본 발명의 제 2 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 블록도이다.
도 8는 본 발명의 제 2 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 세부 구조도이다.
도 9a 내지 도 9c는 각기 다른 리사이즈 비율의 이미지들에 대해 각기 다른 뉴럴 네트워크 시스템들이 이미지 조작 탐지 정확도를 비교한 그래프들이다.
도 10은 본 발명의 실시예에 따른 무보정 탐지 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 11a는 본 발명의 실시예에 따른 무보정 탐지 서비스가 이미지의 보정이 없을 때에 무보정 확인 도장을 이미지 상에 찍어주는 서비스를 나타낸다.
도 11b는 본 발명의 실시예에 따른 무보정 탐지 서비스가 이미지의 보정이 검출됐을때 보정 의심 영역을 부각하여 알려주는 서비스를 나타낸다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

<단말기>

실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 뉴럴 네트워크 구조는, 컴퓨터 언어를 통해 작성된다. 따라서, 단말기는 메모리에 설치되어 램을 통해 프로세서가 상기 컴퓨터 언어를 독출함으로써, 프로세서를 통해 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지가 수행될 수 있다. 마찬가지로, 실시예에 따른 무보정 탐지 서비스를 제공하는 방법 또한 프로세서에서 무보정 탐지 프로그램 실행을 통해 구현될 수 있다.

따라서, 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 구동하는 주체는 단말기의 프로세서이다.

실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 단말기는, 데이터를 처리하는 프로세서와, 이미지 딥러닝을 수행하기 위한 이미지 딥러닝 구동 프로그램을 저장하는 메모리를 포함할 수 있으며, 프로세서가 상기 이미니 딥러닝 구동 프로그램을 독출하여, 구축된 뉴럴 네트워크 시스템에 따라서 하기 기술하는 이미지 딥러닝을 수행하게 된다.

실시예에 따라서 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템은, 전체 유닛들을 제어하는 메인 프로세서와, 이미지 딥러닝에 따라 뉴럴 네트워크 구동시 필요한 연산을 처리하는 그래픽 처리장치(Graphics Processing Unit, GPU)를 포함하도록 구성될 수 있다.

그리고 실시예에 따른 단말기는, 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지 프로그램이 설치된 서버 컴퓨터, 컴퓨터, 스마트 폰, 디지털방송용 단말, 휴대폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device) 등이 포함될 수 있다.

실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지 프로그램과 무보정 탐지 서비스를 제공하기 위한 프로그램은 네트워크를 통해 제공되며, 단말기와 서버의 데이터 교환을 통해 단말기를 통해 최종 서비스가 제공될 수 있다.

<제 1 실시예 - 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템>

도 2는 본 발명의 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템의 구조도를 나타낸다.

도 2를 참조하면, 제 1 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10)은, 이중 뉴럴 네트워크 (two stream network) 구조로, 다양한 압축 환경에서 일어 나는 이미지 조작에 대하여 각 조작을 탐지하도록 이미지 포렌식 기법에 특화된 컨볼루션 뉴럴 네트워크(100)와, 이미지의 압축 여부를 고려한 마르코프 특성(Markov characteristics) 기반의 뉴럴 네트워크(200)와, 뉴럴 네트워크에서 추출된 이미지 보정 특징을 정제하고 조작여부를 판별하는 보정 특징 정제부(310) 및 보정 구별부(320)를 포함한다.

1. 이중 뉴럴 네트워크 네트워크 구조 및 입력 데이터

실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10)의 이중 뉴럴 네트워크(two stream neural network)의 구조는 도 2와 같다.

자세히, 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10)은, 이미지 조작을 탐지하는 특화된 컨볼루션 뉴럴 네트워크(100)(constrained convolutional neural network)과 압축을 고려한 마르코프 특성(Markov statistics) 기반의 뉴럴 네트워크(200)를 결합한 이중 네트워크 구조이다.

이러한 이중 뉴럴 네트워크 구조는, 기존의 컨볼루션 뉴럴 네트워크를 디지털 이미지 포렌식 기법에 바로 적용하기 어려웠던 문제점들을 해결하기 위해, 픽셀 도메인에 서만 고려하였던 기존 연구와 달리 주파수 도메인에서도 이미지의 조작 여부를 고려할 수 있어, 적어도 일회 이상 압축된 이미지의 조작여부 검출에 특화될 수 있다.

실시예에서 이미지 조작을 검출할 입력 이미지 대상은, 제이펙 압축된 이미지 내에 정상 이미지 블록과 위변조된 이미지 블록을 구별하여 탐지하는 것이다. 실제로 이미지 위변조가 일어나는 상황은 제이펙 압축된 이미지를 편집소프트웨어를 통해 불러온 뒤, 이미지에 국부 조작하여 재 저장하고 유통시키는 것이며 특히 이미지를 재 저장할 때 역시 제이펙 압축을 거치게 되므로 조작된 영역과 정상인 영역은 모두 이중 압축되어 있어 두 영역을 구별하는 것이 필요하다. 앞서 언급한 이미지 위변조의 종류중 복사-붙여넣기와 스플라이 싱은 조작시 필연적으로 흔적을 감추기 위해 블러링 또는 메디안 필터링을 진행하며, 붙여 넣어진 객체의 자연스러움을위해 리샘플링 또한 생기게 된다. 따라서, 이하에서는 제이펙 압축되 이미지에서 이미지 조작을 검출하는 것을 대상으로 한정하여 설명한다.

2. 특화된 컨볼루션 뉴럴 네트워크(100)

도 2 내지 도 3을 참조하면, 실시예에 따른 특화된 컨볼루션 뉴럴 네트워크(100)는, 이미지 블록부(110), 보정 특징 전처리부(120), 보정 특징 추출부(130), 제 1 특징 정제부(140)를 포함할 수 있다.

자세히, 이미지 블록부(110)는, 컨벌루션 뉴럴 네트워크에 이미지를 입력하기 적합한 사이즈로 입력 이미지를 블록화시킬 수 있다. 예를 들어, 이미지 블록부(110)는, 이미지 블록이 64x64가 되도록 이미지를 자를 수 있다.

다음으로, 블록화된 이미지 블록은, 보정 특징 전처리부(120)에 입력된다.

자세히, 보정 특징 전처리부(120)는, 특화된 컨볼루션 레이어(constrained convolution layer)를 포함한다. 이러한 특화된 컨볼루션 레이어는, 선행기술 1의 바야르 필터와 동일하게 수학식 1과 같이 동작할 수 있다.

다음으로, 보정 특징 전처리부(120)에서 처리되어 출력된 전처리 이미지는, 보정 특징 추출부(130)에 입력될 수 있다.

보정 특징 추출부(130)는, 복수의 레이어를 포함하며, 각각의 레이어는, 컨볼루션 레이어(convolutional layer), 배치 정규화 (batch normalization), 정류된 선형 유닛 (ReLU) 함수, 맥스 풀링(max pooling layer)를 포함할 수 있다.

자세히, 도 3을 참조하면, 제 1 레이어(131)와, 제 2 레이어(132)와, 제 3 레이어(133)를 포함하며, 각각 컨벌루션 레이어(135), 배치 정규화(136), 정류된 선형 유닛함수(137)을 포함하며, 제 1 레이어(131)와 제 2 레이어(132)는 맥스 풀링 레이어(138)를 더 포함하는 것을 알 수 있다.

즉, 특징 추출부(130)는 복수의 컨볼루션 레이어를 포함하여 구성되는데, 이와 같이 복수의 레이어를 쌓기 위하여, 특징 추출부(130)에 포함되는 컨볼루션 레이어는 모두 5×5이하인 것이 바람직하다.

특히, 2번째 이후에 쌓이는 컨볼루션 레이어는, 3×3이하인 것이 바람직하다. 또한, 각각의 컨볼루션 레이어의 스트라이드 (stride)는 조작의 흔적을 놓칠 수 있으므로 1로 고정되며, 풀링 레이어 (pooling layer)만 2 이상의 정수로 설정될 수 있다.

자세히, 컨볼루션 레이어를 작은 필터 사이즈를 사용하는 이유로는 첫째로 여러 개의 정류된 선형 유닛 (rectified linear unit, ReLU) 함수를 사용할 수 있기 때문이다. 이는 큰 필터를 사용하는 하나의 레이어 대신 작은 필터를 사용하는 여러 레이어로 대체할 수 있게 한다. 둘째로는 학습해야할 가중치 (weight)의 수를많이 줄이는 역할을 한다. 선행기술 1처럼, 7×7 컨볼루션 레이어 하나를 사용하는 것보다는 실시예처럼 3×3 컨볼루션 레이어 3개를 사용할 경우 가중치의 수가 적게 됨이 명백하며, 학습될 가중치가 적다는 것은 정규화 측면에서 큰 이점을 가질 수 있다.

또한, 배치 정규화 (batch normalization)을 사용하여 제안하는 네트워크의 과적합 (over-fitting)을 방지했다.

이와 같은 특징 추출부(130)를 통해 추출된 보정 특징은, 제 1 특징 정제부(140)로 전달될 수 있다.

제 1 특징 정제부(140)는, 적어도 하나 이상의 완전 연결층(fully connected layer)을 포함하여, 추출된 이미지 보정 특징들을 정제하고 구별하도록 학습될 수 있다.

실시예에서 제 1 특징 정제부(140)는, 2개의 완전 연결층(141, 142) 과 각각의 완전 연결층 출력단에는 정류된 선형 유닛함수로 구성될 수 있다.

제 1 특징 정제부(140)에서 정제된 보정 특징은, 마르코브 특성 기반 네트워크(200)에서 추출된 보정 특징과 함께, 통합 특징 정제부(310)로 전달된다.

3. 마르코브 특성(Markov statistics) 기반 네트워크

실시예에 따른 마르코브 특성 기반 네트워크(200)는, 단일 제이펙 (single-JPEG) 압축과 이중 제이펙 (double-JPEG) 압축을 구분하고, 이중 제이팩 압축시 이미지 변형을 여부를 검출할 수 있다.

이러한 마르코브 특성 기반 네트워크(200)는, 주파수 도메인에서도 이미지의 조작 여부를 고려하여, 제이팩 포맷 압축 이미지에서의 이미지 변형을 효과적으로 탐지할 수 있다.

도 2 및 도 4를 참조하면, 실시예에 따른 마르코브 특성 기반 네트워크(200)는, 도메인 변환부(210), 픽셀차 산출부(220), 임계값 함수(230), 매트릭스 변환부(240) 및 제 2 특징 정제부(250)를 포함한다.

자세히, 도메인 변환부(210)는, 이미지 블록부(110)에서 블록화된 이미지 블록을 이산 코사인 변환 (DCT) 하여 주파수 도메인에서의 데이터로 처리하게 된다. 자세히, 도메인 변환부(210)는, 네트워크는 입력된 이미지 블록을 8×8 블록마다 이산 코사인 변환 (DCT) 하여 주파수 도메인에서의 데이터로 처리하게 된다.

그리고 픽셀차 산출부(220)는, 이산 코사인 변환이 된 블록 Bx,y에 대하여 하기 수학식 2와 같이 각각 수평, 수직 방향으로 이웃 픽셀과의 차이를 구한 배열 Bh, Bv들을 구할 수 있다.

다음으로, 임계값 함수(230)는, 배열값들을 임계값 범위 [-4, 4] 안으로 매핑시킨다.

다음으로, 매트릭스 변환부(240)는, 해당 블록의 값으로 하기 수학식 3과 같이 수평방향의 블록 Bh의 9×9 전이 확률 행렬 (TPM)을 구하며 수평, 수직에 대한 두 전이 확률 행렬을 [1, 9×9×2] 일차원 벡터로 결합한다.

이후 결합된 일차원 벡터는, 제 2 특징 정제부(250)로 전달되고, 제 2 특징 전달부는 완전 연결층(fully connected layer)으로 구성될 수 있다.

이러한 마르코브 특성 기반 네트워크(200)는, 이미지 포렌식 기법에 이중 네트워크 망에 적합하게 변형된 네트워크로, 단일, 이중 제이팩 압축된 이미지를 주파수 도메인으로 변환하여 분석함으로써, 압축된 이미지에서의 이미지 변형을 정밀하게 탐지할 수 있다.

4. 통합 특징 정제부(310) 및 보정 구별부(320)

마지막으로는 특화된 컨볼루션 뉴럴 네트워크(100)와, 마르코브 특성(Markov statistics) 기반 네트워크에서 출력된 각각의 보정 특징 정보는, 통합 특징 정제부(310)로 전달된다.

통합 특징 정제부(310)는, 완전 연결층(311, 312)으로 구성되며, 상기 특징 정보들을 결합하여 최종적으로 분류를 위한 학습을 시도한다.

실시예에 따른 통합 특징 정제부(310)는, 이미지 포렌식을 위해 미세한 특성의 데이터 손실을 막기 위해 평균으로 결하는 방법보다 두 완결층의 벡터들을 그대로 결합하여 분류기로 전달하는 구조를 갖는다.

이와 같이 통합 특징 정제부(310)에서 결합된 보정 특징 정보는, 보정 구별부(320)로 전달된다.

보정 구별부(320)는, 보정 가능성이 있는 픽셀들을 검출하고, 상기 픽셀들의 보정 가능성 확률값을 산출하고, 이를 위변조 확인 맵으로 추출할 수 있다. 즉, 도 5와 같이 위변조 가능성이 높은 픽셀들을 확률값에 따라 서로다른 색으로 표시한 위변조 확인 맵을 출력할 수 있다.

이러한 보정 구별부(320)는, 소프트맥스(softmax) 함수와, 기존에 널리 쓰이던 확률적 구배강하 (stochastic gradient descent) 보다 더 빠르게 국소 최소치 (local minima)에서 벗어날 수 있는 아담 옵티마이저 (Adam optimizer)를 포함한다.

자세히, 도 5를 참조하면, 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10)은, 원본 이미지에서 위변조된 이미지(그림 (a)) 가 입력되었을 때, 위변조된 영역을 그림 (b)와 같이 픽셀별로 변조 확률값도 나타내어 탐지한 결과를 출력할 수 있다.

이와 같이 설계된 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지는. 다양한 압축 환경에서 일어나는 이미지 조작을 탐지하는 합성곱 뉴럴 네트워크와 압축을 고려한 마르코프 특성 기반의 뉴럴 네트워크(200)를 결합하여 이미지 조작을 압축된 환경에서도 잘 탐지할 수 있다.

자세히, 표 1은, 선행기술 1의 딥러닝 네트워크(bayas)와, 본 실시예 1의 네트워크의 이미지 위변조 별 탐지율을 나타낸 표이다.

표 1을 보면 알 수 있듯이, 두가지 네트워크가, 총 네 가지의 이미지 변형유형 (가우시안 블러링, 가우시안 노이즈, 메디안 필터링, 리샘플링)에 대하여 이중 압축된 이미지에서도 해당 변형을 탐지하는 실험을 진행하였다.

, 모든 변형과 다양한 압축 퀄리티 (Q1 = 70, 90 / Q2 = 60, 70, 80, 90) 에 대하여 실시예 1의 네트워크는 선행기술 1의 Bayar 기법 보다 모두 우위를 기록한 것을 표 1을 통해 확인할 수 있다.

또한, 도 6a 내지 도 6d를 참조하면, 실시예 1의 네트워크가 각 이미지 변형 유형 별로 매 학습구간마다 항상 선행기술 1보다 높은 탐지율을 기록하는 것을 탐지 정확도 그래프를 통해 확인할 수 있다.

<제 2 실시예 - 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템>

이하, 제 2 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(20)을 설명하며, 제 1 실시예와 중복되는 설명은 생략할 수 있다.

도 7을 참조하면, 제 2 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(20)은, 이미지 블록화부(410), 보정 특징 전처리부(420), 보정 특징 추출부(430), 보정 특징 정제부(441) 및 보정 구별부(442)를 포함한다.

자세히, 도 7 내지 도 8을 참조하면, 이미지 블록화부(410)는, 입력된 이미지의 크기를 컨벌루션 뉴럴 네트워크에 입력하기 적합한 크기로 조절할 수 있다.

본 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(20)은, 컬러 이미지를 분석하기 적합하여, 입력된 이미지는 컬러 이미지이며 컬러별 레이어를 다르게 구성해 복수의 레이어로 구성될 수 있다.

실시예에서 이미지 블록화부(410)는, 이미지 블록이 256x256x3이 되도록 이미지를 자를 수 있다.

다음으로 블록화된 이미지는 보정 특징 전처리부(420)에 전달될 수 있다.

보정 특징 전처리부(420)는, 고역 통과 필터(High-pass filter)를 사용하여 이미지의 보정 특징 확대화할 수 있다.

자세히, 보정 특징 전처리부(420)는, 고역 통과 필터를 포함하여, 리사이즈 트레이스 특징(resize trace feature)을 부각할 수 있다.

이러한 보정 특징 전 처리부는, 이미지 내의 숨겨진 stego 정보들을 찾는 방법을 이미지 포렌식 기법과 유사하다고 판단되어 착안한 것이다.

리사이즈 특징이 부각된 이미지 블록은, 이미지 보정 특징 추출부(430)에 입력될 수 있다.

상기 보정 특징 추출부(430)는, 미리 훈련된 딥러닝 컨볼루션 뉴럴 네트워크 모델 을 사용하여 이미지 보정 특징을 추출할 수 있다.

자세히, 보정 특징 추출부(430)는, 복수의 컨볼루션 레이어(convolutional layer), 배치 정규화 (batch normalization), 정류된 선형 유닛 (ReLU) 함수, 복수의 맥스 풀링(max pooling layer)를 포함할 수 있다.

실시예에 따른 보정 특징 추출부(430)는, 기 학습된 VGG19 컨볼루션 뉴럴 네트워크 모델일 수 있다. 예를 들어, 보정 특징 추출부(430)는 2개의 컨벌루션 레이어, 풀링 레이어, 2개의 컨벌루션 레이어, 풀링 레이어, 4개의 컨벌루션 레이어, 풀링 레이어 및 2개의 컨벌루션 레이어가 순차적으로 적층된 구조를 가질 수 있다.

이때, 보정 특징 추출부(430)는, 기 학습된 컨볼루션 뉴럴 네트워크 모델이면서, 입력 이미지 별로 가중치가 변화되는 모델일 수 있다.

자세히, 실시예에 따른 기 학습된 VGG19 컨볼루션 뉴럴 네트워크에 가중치(w)를 이미지 별로 변형되어 위변조 특징(VGG feature)을 추출하도록 학습시킬 수 있다.

또한, 보정 특징 추출부(430)에 포함된 복수의 컨볼루션 레이어는, 복수의 레이어로 쌓이므로 컨볼루션 레이어는 모두 3×3이하의 크기인 것이 바람직하다. 또한, 각각의 컨볼루션 레이어의 스트라이드 (stride)는 조작의 흔적을 놓칠 수 있으므로 1로 고정되며, 풀링 레이어 (pooling layer)만 2 이상의 정수로 설정될 수 있다.

그리고 보정 특징 추출부(430)에서 추출된 보정 특징 정보는, 특징 정제부에 입력된다.

특징 정제부(441)는, 완전 연결 접속층 (Fully-connected Layer)를 사용하여 추출된 이미지 보정 특징들을 정제하고 구별하도록 학습될 수 있다.

자세히, 특징 정제부(441)는, 적어도 하나 이상의 완전 연결층(fully connected layer)을 포함하여, 추출된 이미지 보정 특징들을 정제하고 구별하도록 학습될 수 있다.

실시예에서 특징 정제부(441)는, 2개의 완전 연결층 (fully connected layer)과 각각의 완전 연결층 출력단에는 정류된 선형 유닛함수로 구성될 수 있다.

이와 같이 특징 정제부(441)에서 결합된 보정 특징 정보는, 보정 구별부(442)로 전달된다.

보정 구별부(442)는, 보정 가능성이 있는 픽셀들을 검출하고, 상기 픽셀들의 보정 가능성 확률값을 산출할 수 있다.

그리고 보정 구별부(442)는, 소프트맥스(Softmax) 함수를 통해 이미지 블록의 보정 여부 를 0~1 사이의 확률로 나타낼 수 있다.

자세히, 이러한 보정 구별부(442)는, 소프트맥스 (softmax) 함수와, 기존에 널리 쓰이던 확률적 구배강하 (stochastic gradient descent) 보다 더 빠르게 국소 최소치 (local minima)에서 벗어날 수 있는 아담 옵티마이저 (Adam optimizer)를 포함할 수 있다.

이와 같이 설계된 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지는. 다양한 압축 환경에서 일어나는 이미지 조작을 탐지할 수 있을 뿐만 아니라, 컬러 이미지의 위변조를 빠르고 강하게 탐지할 수 잇다.

이하, 본 실시예에 따른 네트워크의 성능을 확인하기 위해 선행기술 1과 리사이즈 비율을 달리한 이미지를 입력하며, 위변조 추출 정확도를 산출하였다.

도 9a 내지 도 9c를 보면, 모든 리사이즈 비율에서 본 실시예에 따른 네트워크가, 선행기술 1의 네트워크에 비해 빠르게 학습되어 동작하는 것을 확인할 수 있으며, 그 정확도 또한 높은 것을 확인할 수 있다.

<무보정 탐지 서비스>

이하, 전술한 실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10, 20)을 사용하여 무보정 탐지 서비스를 제공하는 방법을 상세히 설명한다.

이러한 서비스는, 사용자의 단말기를 통해 제공할 수 있으며, 보정 탐지는 무보정 탐지 서비스 제공서버에서 이루어질 수 있다.

즉, 사용자는 단말기를 통해 서비스 제공서버에 접속하여, 확인하고자 하는 이미지를 업로드한 후 서비스 제공서버에서 확인된 이미지를 수신하는 방식으로 서비스를 제공받을 수 있다.

도 10을 참조하면, 먼저, 사용자는 단말기를 통해 위변조가 의심되는 입력 이미지(I)를 입력할 수 있다.

자세히, 사용자는, 단말기에 저장된 이미지를 서비스 제공서버에 송신하여, 위변조 확인을 요청할 수 있다.

서비스 제공서버는, 입력받은 입력 이미지를 블록화하여 이미지 블록(IB)으로 생성하고, 생성된 이미지 블록(IB)을 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10, 20)에 입력할 수 있다.

실시예에 따른 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템(10, 20)은, 입력된 이미지 블록(IB)을 딥러닝하여, 이미지에서 보정이 의심되는 픽셀과 상기 픽셀의 위변조 확률 값을 표시한 위변조 확인 맵(PM)을 추출할 수 있다.

서비스 제공서버는, 위변조 확인 맵(PM)을 다시 컨볼루션 뉴럴 네트워크(30)를 통해 딥러닝하여, 위변조 여부를 예/아니요의 레이블로 출력할 수 있다.

이때, 상기 컨볼루션 네트워크는, 위변조 여부가 예로 판별되면, 위변조 확률이 높은 픽셀들의 위치 및 배열들로부터 어떠한 위변조 유형이 있었는지와, 위변조 가능성이 높은 영역을 하이라이트 하는 입력 이미지를 생성할 수 있다.

좀더 자세히, 도 11a를 참조하면, 서비스 제공서버는, 위변조 여부가 아니요로 판별되면, 입력 이미지(I)에 보정이 없다는 확인 도장(Y)을 합성하여, 사용자에게 제공할 수 있다.

또한, 도 11b를 참조하면, 서비스 제공서버는, 위변조 여부가 예로 판별되면, 입력 이미지(I)에서 위변조 가능성이 높은 영역을 하이라이트(N) 하고, 위변조 유형 정보를 추가로 나타낼 수 있다.

이와 같은 무보정 탐지 서비스를 제공하는 방법은, 컬러 이미지이며 압축된 이미지인 경우에도 정밀하게 보정 여부를 판별할 수 있으며, 판별된 결과를 사용자가 직관적으로 인식할 수 있게 제공할 수 있는 장점이 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims

이미지에 위변조 조작여부를 판별하기 위한 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템으로서,
상기 이미지를 고역 통과 필터롤 통과시켜 위변조 조작의 특징을 확대하는 보정 특징 전처리부;
상기 특징이 확대된 이미지에서 기 학습된 컨볼루션 뉴럴 네트워크를 통해 이미지 보정 특징 정보를 추출하는 보정 특징 추출부;
상기 이미지 보정 특징 정보를 정제하는 특징 정제부; 및
상기 특징 정제부에서 정제된 이미지 보정 특징 정보를 기초로 상기 이미지의 위변조 조작여부를 판별하는 보정 구별부;를 포함하는
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템.
제 1 항에 있어서,
상기 이미지를 일정 크기의 규격으로 이미지 블록화하는 이미지 블록부를 더 포함하는
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템.
제 1 항에 있어서,
상기 보정 특징 추출부는,
복수의 컨볼루션 레이어(convolutional layer) 및 복수의 풀링 레이어(max pooling layer)포함하는
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템.
제 3 항에 있어서,
상기 컨볼루션 레이어는, 3×3이하의 크기이며, 스트라이드는 1인
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템.
제 3 항에 있어서,
상기 보정 특징 추출부는,
기 학습된 VGG19 컨볼루션 뉴럴 네트워크 모델이며, 상기 컨볼루션 뉴럴 네트워크의 가중치는 상기 이미지에 따라서 변경 학습되는
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템.
제 1 항에 있어서,
상기 보정 구별부는,
상기 이미지에서 조작 가능성이 있는 픽셀들을 검출하고, 상기 픽셀들의 보정 가능성 확률값을 산출하고, 위변조 가능성이 높은 픽셀들을 확률값에 따라 서로 다른 색으로 표시한 위변조 확인 맵을 출력하는
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템.
제 1 항에 있어서,
상기 위변조 조작여부를 판별하기 위해 입력된 이미지는 컬러 이미지인
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템.
컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템을 사용하여 무보정 탐지 서비스를 제공하는 방법으로서,
사용자로부터 위변조를 판별할 입력 이미지를 수신하는 단계;
상기 입력된 이미지를 일정 규격으로 블록화하여 이미지 블록을 생성하는 단계;
상기 이미지 블록을 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템에 입력하고, 상기 컨볼루션 뉴럴 네트워크를 통해 이미지 위변조를 탐지하는 시스템으로부터 위변조 확인 맵을 출력하는 단계; 및
상기 위변조 확인 맵과 상기 입력 이미지를 딥러닝하여 위변조 여부를 예 또는 아니요의 레이블로 출력하는 단계;를 포함하는
무보정 탐지 서비스를 제공하는 방법.
제 8 항에 있어서,
위변조 여부가 예로 판별되면, 위변조 가능성이 높은 영역을 하이라이트 하는 입력 이미지를 생성하는 단계와, 상기 생성된 입력 이미지를 사용자에게 제공하는 단계를 더 포함하는
무보정 탐지 서비스를 제공하는 방법.
제 8 항에 있어서,
위변조 여부가 아니요로 판별되면, 상기 입력 이미지에 보정이 없다는 확인 도장을 합성하여 상기 사용자에게 제공하는 단계를 더 포함하는
무보정 탐지 서비스를 제공하는 방법.