KR102377056B1 - 이미지 위조 탐지 장치 및 방법 - Google Patents

Abstract

이미지 위조 탐지 장치 및 방법이 개시된다. 이에 의하면, 제1색상 모델에 의한 제1색상 이미지를 입력 받고, 상기 제1색상 이미지를 상기 제1색상 모델과 다른 복수개의 제2색상 모델 각각에 의한 복수개의 제2색상 이미지로 변환하고, 상기 복수개의 제2색상 이미지를 구성하는 복수개의 색상 채널 이미지를 추출하고, 상기 복수개의 색상 채널 이미지에 대해 특징점 추출 알고리즘을 적용하여 각각에 대응하는 복수개의 제1행렬을 획득하고, 상기 복수개의 제1행렬을 비트평면병합에 의해 병합하여 하나의 제2행렬을 획득하고 상기 하나의 제2행렬을 구성하는 비트값들을 하나의 픽셀값으로 하는 병합 이미지를 생성한 후 상기 병합 이미지에 대한 히스토그램을 생성한다.

Description

이미지 위조 탐지 장치 및 방법{THE APPARATUS AND METHOD OF DETECTING A IMAGE FORGERY}

본 발명은 이미지 위조 탐지 장치 및 방법에 관한 것으로서, 보다 구체적으로 위조된 모조 이미지에 대하여 변조 및 위조 여부를 탐지할 수 있는 이미지 위조 탐지 장치 및 방법에 관한 것이다.

이미지 재색(recoloring)은 역사적인 흑백 이미지(grayscale images)를 채색하는데 사용된다. 재색은 사실적인 색상들에 의해 흑백 이미지에 새로운 생명을 불어넣을 수 있다. 흑백 이미지를 채색하는 다양한 기법들이 존재한다. 이러한 기법들 대부분은 컨볼루션 신경망(Convolutional Neural Network: CNN)에 의존한다. 채색 기법은 전송 기반 기법, 스크리블 기반 기법 및 자동 기법의 세 가지 범주로 분류될 수 있다. 전송 기반 기법에서는 동일한 유형의 참조 이미지를 사용하여 흑백 이미지를 채색한다. 스크리블 기반 방법은 이미지의 다양한 개체들에 적합한 색상을 수동으로 채운다. 이 경우, 많은 낙서는 이미지의 품질을 결정한다. 자동화 기법에서는, 일반적으로 대용량 이미지 데이터베이스가 흑백 이미지를 채색하기 위한 훈련에 사용된다. 채색을 위해 딥 러닝 기법들이 주로 사용된다.

도 1은 자동 기법을 사용하여 흑백 이미지를 채색한 경우를 도시한 도면이다.

도 1에서는, 자동 기법을 사용한 흑백 이미지의 채색된 버전을 볼 수 있다. 이 경우, (a)는 자연 색상 이미지(110)이고, (b)는 흑백 이미지(120)이며, (c)는 채색된 이미지(130)이다. 도 1에 도시된 바와 같은 이미지들에서, 채색된 이미지(130)와 자연 색상 이미지(110)를 육안으로 구별하는 것이 어렵다는 것을 알 수 있다.

채색에는 주목할 만한 장점이 있다. 그러나, 채색은 가짜 이미지(모조 이미지)를 생성하는데 사용될 수도 있다. 따라서, 채색 기법들의 잘못된 사용을 방지하기 위하여, 채색된 이미지에 대한 법의학적 분석이 필요하다.

채색된 이미지를 탐지하기 위한 몇 가지 기법이 존재한다. 이미지의 법의학적 분석을 위한 대부분의 기법들은 통계적 불일치에 기반하고 있다.

논문 "Fake colorized image detection"(Y. Guo, X. Cao, W. Zhang, and R. Wang, IEEE Trans. Inf. Forensics Secur., vol.13, no.8, pp. 1932-1944, 2018)에 의하면, 채색된 이미지의 탐지는 서로 다른 색상 채널들의 통계적 불일치를 사용하여 수행된다. HSV(Hue, Saturation, Value) 색상 모델의 이미지 색조(hue) 및 채도(saturation) 채널이 사용된다. 또한, 어둡고 밝은 채널의 통계적 불일치도 해당 논문에서 논의된다.

그러나, 이미지 처리 기술의 발달로 위조 이미지(forgery image)나 모조 이미지(faked image)를 판단하는 것이 점점 어려워지고 있다.

또한, 탐지 회피를 위한 악성코드 기법들이 광범위하게 사용되고 있으며, 그 중에서 이미지와 같은 멀티미디어 데이터에 악성코드를 숨김으로써 백신이나 안티-멀웨어 툴과 같은 상용 안티바이러스 프로그램의 사용을 무력화시킬 수 있다.

따라서, 디지털 이미지에 대해서 채색 기법을 이용하여 위조 및 모조 이미지를 생성하는 경우, 이를 정확하게 판단할 수 있는 신뢰성 있는 방법이 필요하다.

논문 1: Fake colorized image detection (Y. Guo, X. Cao, W. Zhang, and R. Wang, IEEE Trans. Inf. Forensics Secur., vol.13, no.8, pp. 1932-1944, 2018).

본 발명이 해결하고자 하는 과제는, 위조된 모조 이미지에 대하여 변조 및 위조 여부를 탐지할 수 있고 나아가 이미지에서 위조된 내용(비트값)까지 탐지할 수 있는 이미지 위조 탐지 장치 및 방법을 제공하는 것이다.

또한, 본 발명이 해결하고자 하는 과제는, 채색된 이미지에 대해서 특징점을 추출하고 추출된 값을 이용하여 채색되었는지 여부를 탐지함으로써, 자연 색상 이미지와 채색된 이미지를 구별할 수 있는 이미지 위조 탐지 장치 및 방법을 제공하는 것이다.

본 발명의 일 실시 예에 의한 이미지 위조 탐지 장치에 의하면, 제1색상 모델에 의한 제1색상 이미지를 입력 받는 입력부; 와, 상기 제1색상 이미지를, 상기 제1색상 모델과 다른 복수개의 제2색상 모델 각각에 의한 복수개의 제2색상 이미지로 변환하는 변환부; 와, 상기 복수개의 제2색상 이미지를 구성하는 복수개의 색상 채널 이미지를 추출하는 추출부; 와, 상기 복수개의 색상 채널 이미지에 대해 특징점 추출 알고리즘을 적용하여 각각에 대응하는 복수개의 제1행렬을 획득하는 비교부; 및 상기 복수개의 제1행렬을 비트평면병합에 의해 병합하여 하나의 제2행렬을 획득하고, 상기 하나의 제2행렬을 구성하는 비트값들을 하나의 픽셀값으로 하는 병합 이미지를 생성한 후, 상기 병합 이미지에 대한 히스토그램을 생성하는 연산부를 포함할 수 있다.

상기 이미지 위조 탐지 장치에 있어서, 상기 특징점 추출 알고리즘은, 로컬 이진 패턴(Local Binary Pattern: LBP) 또는 2차 로컬 이진 패턴인 것을 특징으로 한다.

상기 이미지 위조 탐지 장치에 있어서, 상기 비교부는, 상기 색상 채널 이미지를 구성하는 복수개의 제1픽셀 각각에 대해서, 하나의 행 및 하나의 열마다 이동해가면서 상기 제1픽셀의 값을 중심픽셀의 값과 비교하고 비교 결과에 따라 상기 제1픽셀의 값을 제1비트값으로 변환하고, 복수개의 제1비트값으로 구성되는 상기 제1행렬을 획득할 수 있다.

상기 이미지 위조 탐지 장치에 있어서, 상기 비교부는, 상기 제1픽셀의 값이 상기 중심픽셀의 값보다 작으면 상기 제1비트값은 0으로 설정하고, 상기 제1픽셀의 값이 상기 중심픽셀의 값보다 크거나 같으면 상기 제1비트값은 1로 설정하는 것을 특징으로 한다.

상기 이미지 위조 탐지 장치에 있어서, 상기 연산부는, 상기 복수개의 제1행렬에 대하여 동일한 위치에 존재하는 상기 복수개의 제1비트값들을 합산하여 제2비트값을 생성하고, 복수개의 제2비트값으로 구성되는 상기 하나의 제2행렬을 획득하는 것을 특징으로 한다.

상기 이미지 위조 탐지 장치에 있어서, 상기 연산부는, 상기 복수개의 제2비트값을 십진값으로 변환하고, 상기 십진값을 상기 하나의 픽셀값으로 설정하는 것을 특징으로 한다.

상기 이미지 위조 탐지 장치에 있어서, 상기 제1색상 모델은 RGB 색상 모델이고, 상기 제2색상 모델은, YCbCr 색상 모델, YUV 색상 모델, HSV 색상 모델 및 Gray 색상 모델 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.

상기 이미지 위조 탐지 장치에 있어서, 상기 히스토그램의 패턴을 분석하여 상기 병합 이미지의 특성을 분석하고, 이에 기초하여 상기 제1색상 이미지가 자연 색상 이미지인지 아니면 채색된 이미지인지 여부를 판단하는 제어부를 더 포함하는 것을 특징으로 한다.

또한, 본 발명의 일 실시 예에 의한 이미지 위조 탐지 방법에 의하면, 제1색상 모델에 의한 제1색상 이미지를 입력 받는 단계; 와, 상기 제1색상 이미지를, 상기 제1색상 모델과 다른 복수개의 제2색상 모델 각각에 의한 복수개의 제2색상 이미지로 변환하는 단계; 와, 상기 복수개의 제2색상 이미지를 구성하는 복수개의 색상 채널 이미지를 추출하는 단계; 와, 상기 복수개의 색상 채널 이미지에 대해 특징점 추출 알고리즘을 적용하여 각각에 대응하는 복수개의 제1행렬을 획득하는 단계; 와, 상기 복수개의 제1행렬을 비트평면병합에 의해 병합하여 하나의 제2행렬을 획득하는 단계; 와, 상기 하나의 제2행렬을 구성하는 비트값들을 하나의 픽셀값으로 하는 병합 이미지를 생성하는 단계; 및 상기 병합 이미지에 대한 히스토그램을 생성하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 위조된 모조 이미지에 대하여 변조 및 위조 여부를 탐지할 수 있고 나아가 이미지에서 위조된 내용(비트값)까지 탐지할 수 있다.

또한, 본 발명의 실시예에 따르면, 자연 색상 이미지와 채색된 이미지를 구별할 수 있다.

나아가, 본 발명의 실시예에 따르면, 이미지를 이용하여 악성코드 배포 또는 랜섬웨어 공격과 같이 악의적으로 사용되는 문제를 방지할 수 있다.

도 1은 자동 기법을 사용하여 흑백 이미지를 채색한 경우를 도시한 도면이다.
도 2는 본 발명에 따른 이미지 위조 탐지 방법의 전 과정을 대략적으로 도시한 도면이다.
도 3은 본 발명에 따른 이미지 위조 탐지 방법에 의해 획득한 정규화된 히스토그램을 도시한 도면이다.
도 4는 본 발명에 따른 이미지 위조 탐지 방법에 의해 로컬 이진 패턴 연산자를 사용하는 일 예를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 이미지 위조 탐지 과정을 도시한 도면이다.
도 6은 본 발명에 따른 이미지 위조 탐지 방법에 의해 서로 다른 색상 채널의 비트 평면 병합을 실시하는 일 예를 설명하기 위한 도면이다.
도 7은 본 발명에 따른 이미지 위조 탐지 방법에 의해 생성된 이미지 히스토그램을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 이미지 위조 탐지 장치의 구성을 도시한 블록도이다.
도 9는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.

또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.

또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.

또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.

또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.

본 발명에서는, 자동 기법을 사용하여 생성된 채색 이미지들을 고려하여 채색 이미지들에 대한 탐지 기법을 논의한다. 제안된 방법은 다양한 크기의 이미지들을 처리할 수 있으며, 또한 색상 모델을 훈련시키기 위해 대용량 데이터베이스를 활용할 수 있다.

본 발명에 따른 이미지 위조 탐지 장치 및 방법에서는, 강력한 내부 통계적 특징들을 추출하기 위하여, 다색 모델 이진 패턴(Polycolor Model Binary Pattern: PMBP) 기법을 제안한다.

다색 모델 이진 패턴은 색상 이미지에 대해서 다양한 색상 모델을 적용하여 행렬을 획득하고, 획득된 행렬의 비트값을 연산하여 이미지 히스토그램을 생성한다.

여기서, 다양한 색상 모델은 Gray 색상 모델, RGB 색상 모델, HSV 색상 모델 및 YCbCr 색상 모델 등을 포함할 수 있다.

Gray 색상 모델은 색(color) 정보는 사용하지 않고 밝기 정보만으로 영상을 표현한다. 검정색 0부터 흰색 255까지 총 256단계의 밝기값(intensity)으로 영상 픽셀값을 표현한다.

RGB 색상 모델은 가장 기본적인 색상 모델로서, 색(color)을 Red, Green, Blue의 3가지 성분의 조합으로 표현한다. RGB 색상 모델에서 검은색은 R=G=B=0, 흰색은 R=G=B=255, 빨강색은 R=255, G=B=0, 노란색은 R=G=255, B=0으로 표현된다. R=G=B인 경우는 무채색인 Gray 색상이 된다. R, G, B 각각은 0 ~ 255 사이의 값을 가질 수 있기 때문에 RGB 색상 모델을 사용하면 총 256*256*256 = 16,777,216가지의 색을 표현할 수 있다.

HSV 색상 모델은 Hue(색조), Saturation(채도), Value(명도)의 3가지 성분으로 색을 표현한다. Hue는 색조(ex: 붉은색 계열인지 푸른색 계열인지 등)를, Saturation은 그 색이 얼마나 선명한 색인지를, Value는 밝기(intensity)를 나타낸다. HSV 색상 모델은 색을 가장 직관적으로 표현할 수 있는 모델이다. 영상처리 또는 영상인식에서 HSV 색상 모델을 사용하는 경우, H, S, V 각각은 0 ~ 255 사이의 값으로 표현된다. H 값은 색의 종류를 나타내기 때문에 크기는 의미가 없으며 단순한 인덱스(index)를 나타낸다. S 값은 0이면 무채색(gray 색), 255이면 가장 선명한 색을 나타낸다. V 값은 작을수록 어둡고 클수록 밝은 색이라는 것을 나타낸다.

YCbCr 색상 모델은 RGB 색에서 밝기 성분(Y)과 색차 정보(Cb, Cr)를 분리하여 표현하는 색상 모델이다. Y, Cb, Cr은 각각 0 ~ 255 사이의 값을 가지며, Y가 커지면 이미지는 전체적으로 밝아지고 Y가 작아지면 전체적으로 어두워진다. YCbCr 색상 모델은 MPEG에서 사용되는 색상 모델로서, 사람의 눈이 밝기차에는 민감하지만 색차에는 상대적으로 둔감하다는 점을 이용해서 Y에는 많은 비트 수(해상도)를 할당하고 Cb와 Cr에는 낮은 비트 수를 할당하는 방식으로 영상을 압축한다. 따라서 영상 데이터를 처리하는 경우 YCbCr 색상 모델을 사용하면, 별도의 색상 변환을 하지 않아도 되는 장점을 갖는다. YCbCr 색상 모델은 YUV 색상 모델로도 불린다.

제안된 PMBP 기법은 압축되지 않은 이미지뿐만 아니라 압축률이 높은 이미지에 대해서도 신뢰성 있는 결과를 제공한다. 또한, 제안된 탐지 기법은 3가지 채색 기법에 모두 적용될 수 있다. 채색 기법들은 딥 네트워크와 완전 자동화에 기초하고 있다.

제안된 기법의 성능을 평가하기 위하여, 3개의 이미지 데이터베이스가 사용되었다. 선형 판별 분석 분류자는 추출된 특징들을 분류하기 위하여 사용되며, 공분산 행렬의 역수는 무어-펜로즈 의사 역행렬(Moore-Penrose Pseudo Inverse Matrix: MPPM)을 사용하여 계산된다.

이하, 본 발명에 따른 이미지 위조 탐지 장치 및 방법에 대해 상세히 설명한다.

도 2는 본 발명에 따른 이미지 위조 탐지 방법의 전 과정을 대략적으로 도시한 도면이다.

색상 이미지(color image)를 입력 받는다(S210).

이 경우, 색상 이미지는 압축 이미지 또는 비압축 이미지 모두 가능하다. 또한, 색상 이미지는 크기에 상관없이 다양한 크기를 가질 수 있다.

색상 이미지로부터 흑백 이미지를 얻는다(S220).

흑백 이미지에 대하여 채색 기법을 사용하여 채색된 이미지(colorized image)를 얻는다(S230). 일 실시 예에 의하면, 채색 기법은 가장 최근의 채색 접근 방식으로 C1, C2 및 C3 등으로 지칭될 수 있다. 이 경우, 채색 기법 C1, C2 및 C3 각각에 의해 채색된 이미지들이 생성될 수 있다. 채색된 이미지들은 본 발명에서 제안하는 PMBP 알고리즘의 입력으로 사용된다.

채색된 이미지들에 대해 PMBP 알고리즘을 적용하여 이미지의 채색 여부를 탐지한다(S240).

구체적으로, PMBP 알고리즘은 히스토그램 패턴 차이 및 통계적 불일치를 이용하여 채색 여부를 탐지할 수 있다. 이 경우, 로컬 이진 패턴(Local Binary Pattern: LBP)이나 2차 LBP와 같은 특징점 추출 알고리즘을 사용할 수 있다.

이러한 과정에 의해, 이미지에 대하여 채색 여부를 탐지할 수 있다.

한편, 도 2에서는 채색된 이미지를 입력 받아서 채색 여부를 탐지하는 것을 기본으로 하고 있으나, 본 발명은 주위에 있는 일반적인 색상 또는 흑백 이미지에도 확장하여 적용 가능하다.

도 3은 본 발명에 따른 이미지 위조 탐지 방법에 의해 획득한 정규화된 히스토그램을 도시한 도면이다.

도 3에서는, 자연 색상 이미지와 다양한 채색 접근법을 사용하여 채색된 이미지 각각에 대한 정규화된 이미지 히스토그램을 도출하였다.

이미지 히스토그램은 이미지에서 각 픽셀값들이 분포하고 있는 정도를 표시한 그래프로서, 가로축은 픽셀값을 세로축은 이미지 픽셀수를 나타낸다. 이미지 히스토그램으로부터 이미지의 대비(Contrast), 밝기(Brightness), 색상 분포 등과 같은 이미지의 특성을 분석할 수 있다.

앞서 언급한 논문“Fake colorized image detection”(Y. Guo, X. Cao, W. Zhang, and R. Wang, IEEE Trans. Inf. Forensics Secur., vol.13, no.8, pp. 1932-1944, 2018)에 의해, 어두운 색상 채널의 히스토그램은 채색된 색상 이미지와 자연 색상 이미지를 탐지하기 위한 신뢰성 있는 정보를 제공한다는 것이 밝혀졌다.

본 발명에서는, 각각 C1, C2 및 C3 라고 지칭되는 3가지 최신 채색 접근법이 고려되었다. 도 3을 참조하면, 자연 색상 이미지 및 채색 기법 C1, C2 및 C3를 사용하여 채색된 흑백 이미지로 구성되는 10,000개 이미지의 정규화된 히스토그램이 도시되어 있다. 이 경우, 자연 색상 이미지에 대한 정규화된 히스토그램(310), 채색 기법 C1에 의한 채색 이미지에 대한 정규화된 히스토그램(320), 채색 기법 C2에 의한 채색 이미지에 대한 정규화된 히스토그램(330), 채색 기법 C3에 의한 채색 이미지에 대한 정규화된 히스토그램(340) 각각은 상이한 패턴을 가진다. 특히, 자연 색상 이미지에 대한 정규화된 히스토그램(310)과 채색 이미지에 대한 정규화된 히스토그램(320, 330, 340) 각각의 패턴에는 차이가 있음이 명백하다.

본 발명에서는 히스토그램 패턴 차이와 통계적 불일치를 강조하기 위하여, PMBP 알고리즘을 제안한다. 이 경우, 이진 패턴에 기반하고 있는 로컬 이진 패턴(LBP)이나 2차 LBP와 같은 특징점 추출 알고리즘을 사용할 수 있다. 이하, 본 발명에서 사용하는 특징점 추출 알고리즘에 대해 설명한다.

도 4는 본 발명에 따른 이미지 위조 탐지 방법에 의해 로컬 이진 패턴 연산자를 사용하는 일 예를 설명하기 위한 도면이다.

구체적으로, 도 4는 로컬 이진 패턴(LBP) 연산자를 사용하여 중심 픽셀값을 획득하는 방법을 예를 들어 설명한다.

로컬 이진 패턴(LBP)은 얼굴 인식, 의료 이미지 처리, 텍스처 분류, 객체 분류 등과 같은 다양한 응용 분야에서 최적의 결과를 제공할 수 있다. 특히, LBP 연산자는 계산복잡도가 매우 낮은 특징 추출에 널리 사용된다.

LBP 방법은 전체 이미지에 대해서 왼쪽에서 오른쪽으로, 위에서 아래로 적용된다. 이미지의 결과적 크기를 얻기 위해서, 처음에는 이미지의 경계 행렬이 복제된다. 결과 이미지의 히스토그램은 특징 벡터 출력으로 간주된다.

이하, 표준 LBP 연산자에 기초하여 논의한다. 일반적으로, 이미지에 대해 도 4에 도시된 바와 같은 3×3 픽셀 차원의 제1윈도우(400)가 선택된다. 중심 픽셀값은 가장 가까운 이웃 픽셀값과 비교된다. 이 경우, 다음 [수학식 1]에 의해 이웃 픽셀값이 대체된다.

[수학식 1]

여기서, A(0) 값은 3x3 블럭에서 중심 픽셀값을 의미한다.

만일, 이웃 픽셀값이 중심 픽셀값보다 작은 경우, 이웃 픽셀값은 0으로 대체되고, 그렇지 않으면 1로 대체된다. 이에 의해, LBP 연산자를 적용한 제2윈도우(410)가 얻어진다.

제2윈도우(410)에서, 중심 픽셀을 기준으로 이웃 픽셀들을 시계 방향으로 이동해가면서 각각의 이웃 픽셀의 비트값을 순차적으로 나열한다. 이에 의해, 도 4에 도시된 바와 같이, LBP는 이진수 01000110을 제공한다. 이 경우, 시작점에 대응하는 픽셀 비트값은 최대 유효 비트(Most Significant Bit: MSB)가 되고, 종료점에 대응하는 픽셀 비트값은 최소 유효 비트(Least Significant Bit: LSB)가 된다.

이진수는 다음 [수학식 2]에 의해 동일한 값의 십진수인 70으로 변환된 후, 중심 픽셀에 할당된다. 다음 [수학식 2]는 이진수를 십진수로 변환하는 식이다.

[수학식 2]

한편, 도 4에서는 LBP 연산자를 사용하여 중심 픽셀값을 획득하는 방법을 설명했지만, 본 발명에서는 2차 LBP가 사용될 수도 있다. 2차 LBP(LBP2 라고도 함)는 LBP를 확장한 것이다.

β=LBP(M)으로 표시되는 LBP(여기서, β는 원 이미지 M의 LBP 이미지)를 적용하여, 이미지 M과 이의 LBP 이미지를 찾을 수 있다고 가정한다. 또한, 2차 LBP 이미지인 β²은 β에 LBP를 적용하여 계산될 수 있다. 다음 [수학식 3]은 2차 LBP 이미지를 구하는 식을 나타낸다.

[수학식 3]

2차 LBP는 이미지의 고차원적 통계를 제공하고 검출 정확도를 높일 수 있다. 이에 의해, 2차 LBP는 이미지 위조 탐지에 있어서 신뢰성 있는 결과를 제공할 수 있다.

도 5는 본 발명에 따른 이미지 위조 탐지 과정을 도시한 도면이다.

다양한 응용 분야에서 좋은 이미지를 얻기 위하여, RGB, YUV, YCbCr, HSV 및 CMYK와 같은 많은 색상 모델이 존재한다. 일반적으로 좋은 결과를 얻기 위하여, 서로 다른 색상 채널로부터 추출된 LBP 특징들이 결합된다. 그러나, 이는 특징 벡터의 크기를 증가시킨다는 문제점을 가진다.

본 발명에서 제안하는 다색 모델 이진 패턴(PMBP)에서는, 특징 벡터의 크기를 증가시키지 않으면서도 다양한 색상 채널들이 사용된다. 이에 의하면, 입력된 색상 이미지에 대해서 다른 색상 모델 YCbCr, YUV, HSV 등을 적용하여 8 비트값을 생성한다. 이 값을 하나의 픽셀값으로 해서 새로운 이미지를 생성하고, 생성된 새로운 이미지에 대한 히스토그램 값을 계산한다. 이하, PMBP 과정에 대해 상세히 설명한다.

색상 이미지가 입력된다(S501).

입력되는 색상 이미지는 압축 여부 및 크기에 관계없이 다양한 형태를 가질 수 있다.

RGB 색상 공간 이미지를 YCbCr 색상 공간 이미지로 변환한다(S502).

YCbCr 색상 모델 구성 요소 들에서, Y, Cb 및 Cr 값들은 [수학식 4]에 기재된 행렬을 사용하여 계산될 수 있다.

[수학식 4]

Y 채널, Cb 채널, Cr 채널을 각각 추출한다(S503).

RGB 색상 공간 이미지를 YUV 색상 공간 이미지로 변환한다(S504).

YUV 색상 모델의 구성 요소 들에서, Y, U 및 V 값들은 [수학식 5]에 기재된 행렬을 사용하여 계산될 수 있다.

[수학식 5]

U 채널, V 채널을 각각 추출한다(S505).

RGB 색상 공간 이미지를 HSV 색상 공간 이미지로 변환한다(S506).

HSV 색상 모델의 구성 요소 들에서, H, S 및 V 값은 다음 [수학식 6] 내지 [수학식 11]을 사용하여 계산될 수 있다.

[수학식 6]

[수학식 7]

[수학식 8]

[수학식 9]

[수학식 10]

[수학식 11]

H 채널, S 채널을 각각 추출한다(S507).

RGB 색상 공간 이미지를 흑백 이미지로 변환한다(S508).

RGB 색상 이미지는 다음 [수학식 12]를 사용하여 흑백 이미지로 변환될 수 있다.

[수학식 12]

G(Gray) 채널을 추출한다(S509).

8개의 채널 이미지(Y, Cb, Cr, U, V, H, S, G) 각각에서, 하나의 행 및 하나의 열마다 이동해가면서 각각의 이미지 픽셀값을 비교한다(S510).

차이값이 음수이면 0을 할당하고, 그렇지 않으면 1을 할당한다(S511).

모든 8개의 이미지들에 적용하여, 0 값 또는 1 값을 포함하는 8개의 행렬을 얻는다(S512).

동일한 위치에서 8개의 행렬의 각 비트를 합친다(S513).

구체적으로, 8개의 행렬 각각에서 동일한 위치에 존재하는 비트값들을 합하는 연산을 수행한다.

각 위치에서 8 비트값을 포함하는 하나의 행렬을 얻는다(S514).

이 경우, 입력된 색상 이미지에 대해서 다양한 색상 모델을 적용하여 8 비트값을 생성할 수 있다.

8 비트값을 십진값으로 변환한다(S515).

이미지의 히스토그램을 계산한다(S516).

즉, 생성한 8 비트값을 하나의 픽셀값으로 해서 새로운 이미지를 생성하고, 생성된 새로운 이미지에 대한 히스토그램 값을 계산할 수 있다.

도 6은 본 발명에 따른 이미지 위조 탐지 방법에 의해 서로 다른 색상 채널의 비트 평면 병합을 실시하는 일 예를 설명하기 위한 도면이다.

본 발명에서 제안된 접근법은 비트 평면 병합과 관련이 있다. 도 6에 도시된 바와 같이, 비트 평면 병합은 결과 이미지의 각 공간 위치에서 8개의 서로 다른 이미지의 단일 비트를 연결하여 이루어진다.

대응하는 흑백 이미지에 대해 최소 유효 비트(LSB)가 선택되고, YCbCr 색상 모델의 Y 구성 요소로부터 최대 유효 비트(MSB)가 선택된다. 이와 유사하게, YUV 색상 공간 및 HSV 색상 공간으로부터 다른 비트들이 선택된다.

제안된 방법은 YUV 색상 공간에서 U 구성 요소 및 V 구성 요소를 선택하고, HSV 색상 공간에서 H 구성 요소 및 S 구성 요소를 선택한다. LSB는 흑백 이미지에 상응하는 RGB 이미지에서 선택한다.

각 색상 채널의 비트는 하나의 행 및 열 씩 이동하여 각 채널의 차이를 계산하여 선택한 다음, 차이가 음수이면 0을 할당하고 그렇지 않으면 1을 할당한다.

도 7은 본 발명에 따른 이미지 위조 탐지 방법에 의해 생성된 이미지 히스토그램을 설명하기 위한 도면이다.

구체적으로, 도 7은 이미지(710), LBP 이미지(720), LBP2 이미지(730), PMBP 이미지(740)와 각각의 히스토그램, 즉 이미지 히스토그램(715), LBP 히스토그램(725), LBP2 히스토그램(735) 및 PMBP 히스토그램(745)을 도시한다. 도 7을 참조하면, PMBP 이미지(740) 및 PMBP 히스토그램(745)은 LBP 이미지(720)와 LBP2 이미지(730) 및 각각의 히스토그램(725, 735)과 비교할 때 더 두드러진 정보를 제공한다는 것을 알 수 있다.

한편, LBP 히스토그램(725), LBP2 히스토그램(735) 및 PMBP 히스토그램(745)은 특징 벡터로서, 실험 분석에 활용될 수 있다. 일 실시 예에 의하면, LBP, LBP2, PMBP의 특징 벡터의 크기는 각각 768, 768, 256일 수 있다. LBP 및 LBP2에 대해서는 YCbCr 색상 모델이 고려되고, Y 채널, Cb 채널 및 Cr 채널의 LBP 및 LBP2 히스토그램이 결합될 수 있다.

도 8은 본 발명에 따른 이미지 위조 탐지 장치의 구성을 도시한 블록도이다.

본 발명에 따른 이미지 위조 탐지 장치(800)는 입력부(810), 변환부(820), 추출부(830), 비교부(840) 및 연산부(850)를 포함하여 구성될 수 있다.

입력부(810)는 제1색상 모델에 의한 제1색상 이미지를 입력 받을 수 있다.

변환부(820)는 제1색상 이미지를 복수개의 제2색상 모델 각각에 의한 복수개의 제2색상 이미지로 변환할 수 있다. 여기서, 제2색상 모델은 제1색상 모델과 다른 색상 모델로 정의될 수 있다.

일 실시 예에 의하면, 제1색상 모델은 RGB 색상 모델일 수 있다. 또한, 제2색상 모델은, YCbCr 색상 모델, YUV 색상 모델, HSV 색상 모델 및 Gray 색상 모델 중 적어도 하나 이상을 포함할 수 있다.

추출부(830)는 복수개의 제2색상 이미지를 구성하는 복수개의 색상 채널 이미지를 추출할 수 있다.

비교부(840)는 복수개의 색상 채널 이미지에 대해 특징점 추출 알고리즘을 적용하여 각각에 대응하는 복수개의 제1행렬을 획득할 수 있다. 일 실시 예에 의하면, 특징점 추출 알고리즘은 로컬 이진 패턴(LBP) 또는 2차 로컬 이진 패턴일 수 있다.

구체적으로, 비교부(840)는 색상 채널 이미지를 구성하는 복수개의 제1픽셀 각각에 대해서, 하나의 행 및 하나의 열마다 이동해가면서 상기 제1픽셀의 값을 중심픽셀의 값과 비교하고, 비교 결과에 따라 상기 제1픽셀의 값을 제1비트값으로 변환한 후, 복수개의 제1비트값으로 구성되는 제1행렬을 획득할 수 있다.

이 경우, 비교부(840)는 제1픽셀의 값이 중심픽셀의 값보다 작으면 제1비트값은 0으로 설정하고, 제1픽셀의 값이 중심픽셀의 값보다 크거나 같으면 제1비트값은 1로 설정할 수 있다.

연산부(850)는 복수개의 제1행렬을 비트평면병합에 의해 병합하여 하나의 제2행렬을 획득하고, 상기 하나의 제2행렬을 구성하는 비트값들을 하나의 픽셀값으로 하는 병합 이미지를 생성한 후, 상기 병합 이미지에 대한 히스토그램을 생성할 수 있다.

이 경우, 연산부(850)는 복수개의 제1행렬에 대하여 동일한 위치에 존재하는 복수개의 제1비트값들을 합산하여 제2비트값을 생성하고, 복수개의 제2비트값으로 구성되는 하나의 제2행렬을 획득할 수 있다.

또한, 연산부(850)는 복수개의 제2비트값을 십진값으로 변환하고, 상기 십진값을 하나의 픽셀값으로 설정할 수 있다.

본 발명에 따른 이미지 위조 탐지 장치(800)는 제어부(미도시)를 더 포함할 수 있다. 제어부(미도시)는 연산부(850)가 생성한 히스토그램의 패턴을 분석하여 병합 이미지의 특성을 분석하고, 이에 기초하여 제1색상 이미지가 자연 색상 이미지인지 아니면 채색된 이미지인지 여부를 판단할 수 있다.

제어부(미도시)는 자연 색상 및 채색 이미지 탐지를 위해 LDA 분류기를 사용할 수 있다.

SVM(Support Vector Machine) 및 LDA(Linear Discriminant Analysis) 이진 분류기는 지도형 기계학습에서 두 가지 클래스 분류에 널리 적용된다. SVM은 일반적으로 가우시안 또는 RBF(Radial Basis Function) 커널을 사용한다. 최적의 하이퍼 파라미터 선택에는 많은 시간이 소비된다.

본 발명에서는 LDA 분류기를 사용한다. LDA 분류기는 노이즈에 대한 단순성과 강인성으로 인해 효과적이다. 실험 결과에 의하면, LDA 분류기는 본 발명에 적용되는데 적합하다. 공분산 역행렬의 LDA 분류기 변형은 무어-펜로즈 유사 역행렬(MPPM)을 이용하여 계산될 수 있다. 무어-펜로즈 유사 역행렬(MPPM)은 다음과 같이 정의될 수 있다. 이 경우, M이 크기 i×j의 행렬이라고 가정하며, G는 아래 [수학식 13]에 의한 네 가지 조건을 충족하는 경우에만 j×i 크기 M 인 고유한 MPPM이다.

[수학식 13]

MPPM은 항상 존재하며 주어진 매트릭스에 대해 고유하다. 실험 분석에서 두 클래스의 이미지 중 절반은 훈련 데이터 세트로 임의로 선택되고, 나머지 절반은 테스트 데이터 세트로 선택된다. 실험 결과, 분류 오차(Pe)가 백분율인 Receiver Operator Characteristic(ROC) 곡선으로 채색된 이미지와 자연 색상 이미지 간의 분류가 표시된다. ROC 곡선은 감도와 1- 특이성 사이에서 구성된다. 백분율로 표시된 분류 오차(Pe)는 다음 [수학식 14]와 같이 정의할 수 있다.

[수학식 14]

한편, 본 발명에 따른 이미지 위조 탐지 방법에 의하면, 제1색상 모델에 의한 제1색상 이미지를 입력 받는 단계; 와, 상기 제1색상 이미지를, 상기 제1색상 모델과 다른 복수개의 제2색상 모델 각각에 의한 복수개의 제2색상 이미지로 변환하는 단계; 와, 상기 복수개의 제2색상 이미지를 구성하는 복수개의 색상 채널 이미지를 추출하는 단계; 와, 상기 복수개의 색상 채널 이미지에 대해 특징점 추출 알고리즘을 적용하여 각각에 대응하는 복수개의 제1행렬을 획득하는 단계; 와, 상기 복수개의 제1행렬을 비트평면병합에 의해 병합하여 하나의 제2행렬을 획득하는 단계; 와, 상기 하나의 제2행렬을 구성하는 비트값들을 하나의 픽셀값으로 하는 병합 이미지를 생성하는 단계; 및 상기 병합 이미지에 대한 히스토그램을 생성하는 단계를 포함할 수 있다.

도 9는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.

도 9의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치 이미지 위조 탐지 장치(800) 일 수 있다.

도 9의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.

프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.

메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.

송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.

앞서 설명한 바와 같이, 본 발명에서는 다중 색상 공간을 사용하여 이미지로부터 특징을 추출하기 위해 다색 모델 이진 패턴 기법을 제안하였다. 자연 색상 및 채색 이미지 탐지를 위해 LDA 분류기를 사용하였다. 실험 결과, 3가지의 최신 채색 방법에 대한 기술의 견고성이 평가되었으며, 결과는 기존 탐지 기술보다 신뢰성이 있었다.

나아가, 본 발명은 위조된 이미지에 대해서 변형 여부를 확인할 수 있는 것으로, 더 나아가 위조된 이미지에 악성코드가 삽입되어 있을 경우, 추출까지도 가능하다.

상기와 같은 본 발명은 이미지에 국한되어 적용되는 것은 아니다. 따라서, 본 발명은 동영상, 오디오 등과 같은 멀티미디어 데이터에도 확장되어 적용 가능하며, 실시간 스트리밍 서비스 등과 같은 응용 분야에서도 활용될 수 있다.

또한, 본 발명은 이미지를 포함하는 동영상 데이터에 대해서 조작 및 권한 여부를 확인하는데 적용될 수 있다.

한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

800: 이미지 위조 탐지 장치 810: 입력부
820: 변환부 830: 추출부
840: 비교부 850: 연산부

Claims (10)

1. 이미지 위조 탐지 장치에 있어서,
   제1색상 모델에 의한 제1색상 이미지를 입력 받는 입력부;
   상기 제1색상 이미지를, 상기 제1색상 모델과 다른 복수개의 제2색상 모델 각각에 의한 복수개의 제2색상 이미지로 변환하는 변환부;
   상기 복수개의 제2색상 이미지를 구성하는 복수개의 색상 채널 이미지를 추출하는 추출부;
   상기 복수개의 색상 채널 이미지에 대해 특징점 추출 알고리즘을 적용하여 각각에 대응하는 복수개의 제1행렬을 획득하는 비교부;
   상기 복수개의 제1행렬을 비트평면병합에 의해 병합하여 하나의 제2행렬을 획득하고, 상기 하나의 제2행렬을 구성하는 비트값들을 하나의 픽셀값으로 하는 병합 이미지를 생성한 후, 상기 병합 이미지에 대한 히스토그램을 생성하는 연산부; 및
   상기 히스토그램의 패턴을 분석하여 상기 병합 이미지의 특성을 분석하고, 이에 기초하여 상기 제1색상 이미지가 자연 색상 이미지인지 아니면 채색된 이미지인지 여부를 판단하는 제어부;를 포함하는, 이미지 위조 탐지 장치.
2. 제1항에 있어서,
   상기 특징점 추출 알고리즘은,
   로컬 이진 패턴(Local Binary Pattern: LBP) 또는 2차 로컬 이진 패턴인 것을 특징으로 하는, 이미지 위조 탐지 장치.
3. 제2항에 있어서,
   상기 비교부는,
   상기 색상 채널 이미지를 구성하는 복수개의 제1픽셀 각각에 대해서, 하나의 행 및 하나의 열마다 이동해가면서 상기 제1픽셀의 값을 중심픽셀의 값과 비교하고 비교 결과에 따라 상기 제1픽셀의 값을 제1비트값으로 변환하고, 복수개의 제1비트값으로 구성되는 상기 제1행렬을 획득하는, 이미지 위조 탐지 장치.
4. 제3항에 있어서,
   상기 비교부는,
   상기 제1픽셀의 값이 상기 중심픽셀의 값보다 작으면 상기 제1비트값은 0으로 설정하고,
   상기 제1픽셀의 값이 상기 중심픽셀의 값보다 크거나 같으면 상기 제1비트값은 1로 설정하는 것을 특징으로 하는, 이미지 위조 탐지 장치.
5. 제3항에 있어서,
   상기 연산부는,
   상기 복수개의 제1행렬에 대하여 동일한 위치에 존재하는 상기 복수개의 제1비트값들을 합산하여 제2비트값을 생성하고, 복수개의 제2비트값으로 구성되는 상기 하나의 제2행렬을 획득하는 것을 특징으로 하는, 이미지 위조 탐지 장치.
6. 제5항에 있어서,
   상기 연산부는,
   상기 복수개의 제2비트값을 십진값으로 변환하고, 상기 십진값을 상기 하나의 픽셀값으로 설정하는 것을 특징으로 하는, 이미지 위조 탐지 장치.
7. 제1항 내지 제6항 중 어느 하나의 항에 있어서,
   상기 제1색상 모델은 RGB 색상 모델이고,
   상기 제2색상 모델은, YCbCr 색상 모델, YUV 색상 모델, HSV 색상 모델 및 Gray 색상 모델 중 적어도 하나 이상을 포함하는 것을 특징으로 하는, 이미지 위조 탐지 장치.
8. 삭제
9. 제1항에 있어서,
   상기 제1색상 이미지는,
   정지영상, 동영상, 스트리밍 영상 및 멀티미디어 데이터 중 어느 하나로부터 추출되는 것을 특징으로 하는, 이미지 위조 탐지 장치.
10. 이미지 위조 탐지 방법에 있어서,
    제1색상 모델에 의한 제1색상 이미지를 입력 받는 단계;
    상기 제1색상 이미지를, 상기 제1색상 모델과 다른 복수개의 제2색상 모델 각각에 의한 복수개의 제2색상 이미지로 변환하는 단계;
    상기 복수개의 제2색상 이미지를 구성하는 복수개의 색상 채널 이미지를 추출하는 단계;
    상기 복수개의 색상 채널 이미지에 대해 특징점 추출 알고리즘을 적용하여 각각에 대응하는 복수개의 제1행렬을 획득하는 단계;
    상기 복수개의 제1행렬을 비트평면병합에 의해 병합하여 하나의 제2행렬을 획득하는 단계;
    상기 하나의 제2행렬을 구성하는 비트값들을 하나의 픽셀값으로 하는 병합 이미지를 생성하는 단계;
    상기 병합 이미지에 대한 히스토그램을 생성하는 단계; 및
    상기 히스토그램의 패턴을 분석하여 상기 병합 이미지의 특성을 분석하고, 이에 기초하여 상기 제1색상 이미지가 자연 색상 이미지인지 아니면 채색된 이미지인지 여부를 판단하는 단계; 를 포함하는, 이미지 위조 탐지 방법.

Images