KR101993266B1

KR101993266B1 - 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법

Info

Publication number: KR101993266B1
Application number: KR1020180164833A
Authority: KR
Inventors: 임비
Original assignee: 주식회사 로민
Priority date: 2018-12-19
Filing date: 2018-12-19
Publication date: 2019-06-26

Abstract

본 발명은 합성곱 신경망(CNN)의 모델이 가변성을 갖도록 구성되어 점차 고도화 및 정밀화되는 인공지능 기술에 의한 다양한 공격 알고리즘들에 스스로 대응하여 학습이 가능하여 다양한 공격 알고리즘들에 대항 영상 위변조를 정확하게 검출할 수 있으며, 종래에 인간의 경험 및 실험에 의해 엔지니어링 된 고정된 방식의 공격알고리즘만 한정하여 위변조를 검출할 수 있는 문제점을 획기적으로 해결할 수 있는 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법에 관한 것이다.

Description

영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법{method for designing and learning varying model and method for detecting video forgeries therewith}

본 발명은 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법에 관한 것으로서, 상세하게로는 합성곱 신경망(CNN)의 모델이 가변성을 갖도록 구성되어 점차 고도화 및 정밀화되는 인공지능 기술에 의한 다양한 공격 알고리즘들에 스스로 대응하여 학습이 가능하여 다양한 공격 알고리즘들에 대항 영상 위변조를 정확하게 검출할 수 있는 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법에 관한 것이다.

최근 들어 카메라 보급이 대중화되고, 통신 인프라가 확장됨에 따라 하루에도 방대한 양의 디지털 콘텐츠들이 생산되고 있다. 특히 SNS(Social Network System) 산업이 이 발달로 인해 디지털 콘텐츠의 생산량 및 확산(전파) 속도가 기하급수적으로 증가하고 있다.

이러한 디지털 콘텐츠는 열람자에게 쉽고 빠르게 정보를 전달할 수 있는 장점을 가지나, 확산이 빠르면서 접근이 용이하며 간단한 프로그램을 통해 위변조가 가능하기 때문에 다양한 사람들에 의해 위변조가 빈번하게 이루어지고 있다. 특히 이러한 디지털 콘텐츠의 위변조는 1)증거용으로 사용될 경우, 사건의 본질을 흩트려 놓을 수 있으며, 2)거짓뉴스로 활용되는 경우, 특정대상에게 심대한 피해를 줄 수 있고, 3)지적재산권인 경우, 원작자에게 경제적 및 심리적으로 막대한 피해를 유발할 수 있는 등의 문제점을 발생시킨다.

특히 최근 들어 인공지능 기술이 발달함에 따라 종래에서와 같이 영상 위변조가 프로그램을 통한 인간에 의해 조작되는 것이 아니라, 인공지능 기술을 이용하여 영상을 위변조 시키는 기술이 널리 사용되고 있다.

이에 따라 디지털 콘텐츠의 위변조를 정확하고 빠르게 검출하여 이로 인한 피해를 사전에 예방하되, 고정된 위변조 방식에만 대응 가능한 것이 아니라, 인공지능 기술을 이용한 가변적인 위변조 방식에 대응 가능한 영상 위변조 검출 기술에 대한 연구가 시급한 실정이다.

도 1은 국내등록특허 제10-1725041호(발명의 명칭 : 위조 영상 검출 방법 및 그 장치)에 개시된 위조 영상 검출 장치를 나타내는 블록도이다.

도 1의 위조 영상 검출 장치(이하 종래기술이라고 함)(100)는 확인 대상 영상의 에지 점(edge point)을 검출하는 에지 검출부(111)와, 에지 검출부(111)가 검출한 확인 대상 영상의 에지 점의 블러 지수를 측정하는 블러 지수 측정부(113)와, 블러 지수 측정부(113)가 측정한 블러 지수를 이용하여 블러 지수 함수를 모델링 하며 모델링된 블러 지수 함수를 바탕으로 통계적 파라메터를 추정하는 통계적 파라메터 검출부(115)와, 통계적 파라메터 검출부(115)가 추정한 통계적 파라메터를 군집화한 후 이를 이용하여 확인 대상 영상의 위조 영역을 결정하는 위조 영역 판단부(117)로 이루어진다.

이때 블러 지수는 에지 표본을 이용하는 비용 함수를 최소로 만드는 값을 의미한다.

이와 같이 구성되는 종래기술(100)은 확인 대상 영상의 모든 에지 점에 대해 블러 지수를 측정함으로써 블러링 되지 않은 확인 대상 영상의 배경 영역의 블러 지수는 검출되지 않도록 하여 보다 정확한 위조 영역을 판단할 수 있는 장점을 갖는다.

이러한 종래기술(100)은 동일 사진 내의 일부 영윽을 복사하여 붙여넣기 또는 서로 다른 이미지 영역을 잘라 붙여넣기와 같은 고정된 위변조 방식에는 유용하나, 최근 위협으로 떠오르는 인공지능 기술에 의한 가변된 위변조 방식에는 대응하지 못하는 구조적 한계를 갖는다. 이때 작업자에 의해 이루어지는 것이 아닌 알고리즘에 의한 위변조는 그 형태 및 특징을 예측하기 힘들기 때문에 고정된 위변조 방식에만 대응 가능한 종래기술(100)로는 알고리즘에 의한 위변조에 대한 대응이 떨어지는 단점을 갖는다.

또한 종래기술(100)은 에지의 블러 지수의 통계적 특성을 기반으로 위변조를 판별하도록 구성되었기 때문에 영상 조작자가 눈에 인식되지 않는 변화를 랜덤하게 발생시켜 픽셀값의 통계적 특성을 변화시키는 경우, 위변조를 정확하게 판별하지 못하는 문제점이 발생한다.

즉, 인공지능을 통한 영상 위변조는 점차 다양화, 고도화 및 정밀화 되어 그 형태 및 특징을 예측하기 힘들 것으로 예측되나, 종래의 위변조 검출방식은 단순히 인간의 경험 및 실험에 근거한 엔지니어링을 기반으로 이루어지기 때문에 인공지능 기술에 의한 영상 위변조를 정확하게 검출할 수 없는 단점을 갖는다.

본 발명은 이러한 문제를 해결하기 위한 것으로, 본 발명의 해결과제는 합성곱 신경망을 이용하여 필터를 스스로 학습하도록 구성됨으로써 점차 고도화 및 정밀화되는 인공지능 기술에 의한 공격알고리즘들에 대응하여 위변조를 정확하고 신속하게 검출할 수 있는 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출장치를 제공하기 위한 것이다.

또한 본 발명의 다른 해결과제는 종래에 인간의 경험 및 실험에 의해 엔지니어링 된 고정된 방식의 공격알고리즘만 한정하여 위변조를 검출할 수 있는 문제점을 획기적으로 해결할 수 있는 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출장치를 제공하기 위한 것이다.

상기 과제를 해결하기 위한 본 발명의 해결수단은 합성곱 신경망(CNN)을 학습 및 테스트하는 학습 및 테스트단계; 위변조 검사대상인 영상을 입력받는 영상입력단계; 상기 학습 및 테스트단계에 의해 학습된 합성곱 신경망(CNN)들을 이용하여 상기 영상입력단계를 통해 입력된 영상으로부터 특징(Feature)을 추출한 후, 추출된 특징(Feature)을 분석하여 입력영상의 위변조 상태가 ‘real’인지 ‘fake’인지를 분류하는 특징추출 및 분류단계를 포함하고, 상기 학습 및 테스트단계는 학습단계와, 테스트단계를 포함하고, 상기 학습단계는 상기 합성곱 신경망(CNN)의 출력과 정답 벡터의 크로스 엔트로피(cross-entropy)를 통해 손실1(Loss1)을 산출하며, 다음의 수학식 1을 통해 손실2(Loss2)를 산출하며, 산출된 손실1(Loss1)과 손실2(Loss2)를 합산하여 손실(Loss)을 산출하는 단계312(S312); 상기 단계312(S312)에 의해 산출된 손실(Loss) 및 gradient descent 방식을 이용하여 파라미터를 업데이트 하는 단계314(S314)를 포함하고, 상기 테스트단계는 학습된 파라미터를 고정시킨 상태에서 학습에 사용되지 않은 입력에 대하여 결과를 얻어 학습된 파라미터를 테스트하는 것이다.

삭제

또한 본 발명에서 상기 학습단계는 단계311(S311)과, 단계313(S313)을 더 포함하고, 상기 단계311(S311)은 상기 단계312(S312) 이전에 진행되며, 위변조 영상들을 공격 알고리즘별로 분류하기 위한 set들 각각에 식별번호(k)가 부여된다고 할 때, k번재 영상 set을 입력받으면, 입력된 영상의 set 식별번호(k)가 1을 초과하는지를 판단하며, 만약 입력된 영상의 set 식별번호(k)가 1을 초과하면 상기 단계312(S312)를 진행하되, 만약 입력된 영상의 set 식별번호(k)가 1이면 상기 단계313(S313)을 진행하고, 상기 단계313(S313)은 상기 단계311(S311)에서 입력된 영상의 set 식별번호(k)가 1일 때 진행되며, 상기 합성곱 신경망(CNN)의 출력과 정답 벡터의 크로스 엔트로피(cross-entropy)를 통해 손실(Loss)을 산출하고, 상기 단계314(S314)는 상기 단계312(S312) 또는 상기 단계313(S313)에 의해 산출된 손실(Loss) 및 gradient descent 방식을 이용하여 파라미터를 업데이트 하는 것이 바람직하다.

또한 본 발명의 다른 해결수단은 서로 다른 개별 파라미터를 갖는 합성곱 신경망(CNN)들을 학습 및 테스트하는 학습 및 테스트단계; 위변조 검사대상인 영상을 입력받는 영상입력단계; 상기 학습 및 테스트단계에 의해 학습된 서로 다른 개별 파라미터를 갖는 합성곱 신경망(CNN)들 각각을 이용하여 전처리된 영상으로부터 특징(Feature)들을 추출한 후, 추출된 특징(Feature)들 각각 분석하여 각 특징에 의한 입력영상의 위변조 상태가 ‘real’인지 ‘fake’인지를 분류하는 특징추출 및 분류단계; 상기 특징추출 및 분류단계에 의해 분류된 출력값들을 분석 및 활용하여 입력영상의 위변조 여부를 최종 결정하는 최종판별단계를 포함하고, 상기 학습 및 테스트단계는 학습단계와, 테스트단계를 포함하고, 상기 학습단계는 서로 다른 개별 파라미터를 갖는 합성곱 신경망(CNN)들 각각에 부여된 식별번호인 ‘m’을 ‘0’으로 설정하는 단계111(S111); 입력된 영상의 위변조에 적용된 공격 알고리즘이 기존 학습에 사용된 적이 있는 공격 알고리즘인지를 판단하는 단계112(S112); 상기 단계112(S112)에 의해 입력영상에 적용된 공격 알고리즘이 기존에 사용된 적이 있는 공격 알고리즘인 경우 진행되며, 해당 공격 알고리즘이 적용된 합성곱 신경망(CNN)의 식별번호(i)를 검출한 후, 검출된 i번째 합성곱 신경망(CNN)을 선택하는 단계113(S113); 상기 단계112(S112)에 의해 입력영상에 적용된 공격 알고리즘이 기존에 사용된 적이 없는 공격 알고리즘인 경우 진행되며, 이전 합성곱 신경망(CNN)의 식별번호가 m까지 부여되었을 때, 이전 합성곱 신경망(CNN)의 식별번호(m)에 1을 합산하여 ‘m+1’의 식별번호를 부여받은 합성곱 신경망(CNN)을 생성하며, m+1의 생성된 합성곱 신경망(CNN)의 파라미터를 초기화하는 단계114(S114); 상기 단계114(S114)에 의해 생성된 m+1의 합성곱 신경망(CNN)을 선택하는 단계115(S115); 합성곱 신경망(CNN)의 식별번호인 m에 1을 합산하는 단계116(S116); 상기 단계113(S113) 또는 상기 단계115(S115)에 의해 선택된 합성곱 신경망의 파라미터를 gradient descent 방식을 이용하여 업데이트 하는 단계117(S117)을 포함하고, 상기 테스트단계는 학습된 파라미터를 고정시킨 상태에서 학습에 사용되지 않은 입력에 대하여 결과를 얻어 학습된 파라미터를 테스트하는 것이다.

또한 본 발명에서 상기 최종판별단계는 상기 특징추출 및 분류단계에 의해 검출된 출력값들 중 최대값 또는 최소값이 제1 임계치보다 크거나 또는 작은 경우 입력영상을 ‘fake’로 최종결정하거나 또는 상기 특징추출 및 분류단계에 의해 검출된 출력값들의 평균값을 산출한 후 산출된 평균값이 제2 임계치보다 크거나 또는 작은 경우 입력영상을 ‘fake’로 최종결정하는 것이 바람직하다.

삭제

상기 과제와 해결수단을 갖는 본 발명에 따르면 합성곱 신경망을 이용하여 필터를 스스로 학습하도록 구성됨으로써 점차 고도화 및 정밀화되는 인공지능 기술에 의한 공격알고리즘들에 대응하여 위변조를 정확하고 신속하게 검출할 수 있게 된다.

또한 본 발명에 의하면 종래에 인간의 경험 및 실험에 의해 엔지니어링 된 고정된 방식의 공격 알고리즘만 한정하여 위변조를 검출할 수 있는 문제점을 획기적으로 해결할 수 있다.

도 1은 국내등록특허 제10-1725041호(발명의 명칭 : 위조 영상 검출 방법 및 그 장치)에 개시된 위조 영상 검출 장치를 나타내는 블록도이다.
도 2는 본 발명의 일실시예인 영상 위변조 검출장치를 나타내는 블록도이다.
도 3은 도 2의 전처리모듈을 설명하기 위한 블록도이다.
도 4는 도 2의 특징추출 및 분류부를 나타내는 블록도이다.
도 5는 도 2의 영상 위변조 검출장치의 동작과정을 설명하기 위한 플로차트이다.
도 6은 도 5의 특징추출 및 분류단계를 나타내는 플로차트이다.
도 7은 도 5의 학습 및 테스트단계를 나타내는 플로차트이다.
도 8은 도 7의 학습단계를 나타내는 플로차트이다.
도 9는 도 5의 제2 실시예를 나타내는 플로차트이다.
도 10은 도 9의 학습 및 테스트단계를 설명하기 위한 플로차트이다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 설명한다.

도 2는 본 발명의 일실시예인 영상 위변조 검출장치를 나타내는 블록도이다.

본 발명의 일실시예인 영상 위변조 검출장치(1)는 인공지능을 통해 학습된 합성곱 신경망(CNN, Convolution Neural Network)을 이용하여 다양한 공격 알고리즘들에 대응하여 입력영상의 위변조 여부를 정확하고 신속하게 검출함과 동시에 학습 시 공지된 공격 알고리즘들이 아닌 새로운 공격 알고리즘이 적용될 때 합성곱 신경망(CNN)의 개별 파라미터가 자체적으로 업데이트 가능한 가변성을 갖도록 구성됨으로써 인공지능을 통해 진화하는 고도화 및 정밀화된 공격 알고리즘에 대해서 지속적으로 대응 가능하기 위한 것이다.

또한 영상 위변조 검출장치(1)는 도 2에 도시된 바와 같이, 제어부(3)와, 메모리(4), 영상입력부(5), 특징 추출 및 분류부(7-1), ..., (7-N)들, 최종판별부(9)로 이루어진다.

제어부(3)는 영상 위변조 검출장치(1)의 O.S(Operating System)이며, 제어대상(4), (5), (7-1), ..., (7-N), (9)들을 관리 및 제어한다.

또한 제어부(3)는 영상입력부(5)를 통해 입력된 입력영상을 특징추출 및 분류부(7-1), ..., (7-N)들 각각으로 입력한다.

메모리(4)에는 후술되는 도 7과 8의 학습 및 테스트단계(S10)에 의해 학습되는 합성곱 신경망(CNN)들이 저장된다.

이때 합성곱 신경망(CNN)들은 서로 다른 개별 파라미터를 가지며, 후술되는 특징추출 및 분류부(7-1), ..., (7-N)들 각각에 적용된다. 즉 본 발명의 특징추출 및 분류부(7-1), ..., (7-N)들은 서로 다른 개별 파라미터를 갖는 합성곱 신경망(CNN)들 각각을 이용하여 입력영상으로부터 특징을 추출하며, 위변조 상태를 분류하게 된다.

다시 말하면, 합성곱 신경망(CNN)들은 서로 다른 개별 파라미터들을 학습함에 따라 특징추출 및 분류부(7-1), ..., (7-N)들에는 서로 다른 개별 파라미터를 갖는 합성곱 신경망(CNN)들 각각을 이용하여 입력영상의 위변조를 검출한다.

영상입력부(5)는 위변조 검사 대상인 입력영상을 외부로부터 입력받는다.

이때 입력영상은 위변조 여부를 판별할 다수의 프레임들로 구성된 연속된 이미지들의 집합이며, 만약 입력영상이 압축된 경우, 압축된 스트림의 복호화가 수행된 후의 RGB, YCbCr, Grayscale 등의 값으로 저장된 이미지 데이터를 사용한다.

또한 입력영상부(5)는 전처리모듈(50)을 포함한다.

도 3은 도 2의 전처리모듈을 설명하기 위한 블록도이다.

전처리모듈(50)은 입력영상의 위변조 검출이 용이하게 이루어지도록 전처리 작업을 수행한다.

또한 전처리모듈(50)은 도 3에 도시된 바와 같이, 위치 및 방향 전처리모듈(51)과, 크기 전처리모듈(52), 밝기 전처리모듈(53), 기타 전처리모듈(54)로 이루어진다.

위치 및 방향 전처리모듈(51)은 입력영상에서 관심 영역에 해당하는 부분을 추출하여 아핀변환(Affine transform)을 거쳐 정사각형 형태로 만든다. 이때 위치 및 방향 전처리모듈(61)은 경우에 따라 출력이 입력과 동일하게 구성될 수 있음은 당연하다.

크기 전처리모듈(52)은 입력영상을 도 2의 특징추출 및 분류부(7)의 연산처리에 적합한 크기로 입력영상을 변경한다. 이때 크기 전처리모듈(52)은 보간법을 사용하여 영상의 크기를 적절한 범위로 줄이거나 또는 증가시키며, 경우에 따라 출력은 입력과 동일할 수 있다.

밝기 전처리모듈(53)은 입력영상에서 일정한 값을 R, G, B 픽셀에서 뺀 뒤 나누어 전체 픽셀의 밝기값이 기 설정된 범위를 갖도록 한다.

기타 전처리모듈(54)은 입력영상에서 기 설정된 카테고리들에 대한 값을 기 설정된 범위로 변경시키는 전처리를 수행한다.

이러한 전처리모듈(50)에 의해 전처리된 영상은 제어부(3)의 제어에 따라 특징추출 및 분류부(7-1), ..., (7-N)들로 각각 입력된다.

특징추출 및 분류부(7-1), ..., (7-N)들은 서로 다른 개별 파라미터를 갖는 합성곱 신경망(CNN)들이 각각 적용되며, 입력영상을 자신에게 적용된 합성곱 신경망(CNN)의 입력값으로 하여 입력영상으로부터 특징(Feature)들을 각각 추출한다. 이때 특징은 필터와 비선형 레이어, 깊이를 포함하는 다양한 형태일 수 있으며, 필터와 비선형 레이어의 파라미터는 초기에 랜덤하게 주어지며 후술되는 도 7과 8의 학습단계(S11)에 의해 산출된 gradient를 통해 학습 및 업데이트 된다.

또한 특징추출 및 분류부(7-1), ..., (7-N)들은 추출된 특징을 활용하여 입력영상의 위변조 상태를 원본(real) 인지 또는 위변조(fake) 인지를 분류한다.

다시 말하면, 특징추출 및 분류부(7-1), ..., (7-N)들은 서로 다른 개별 파라미터를 갖는(서로 다른 식별번호(N)가 부여된) 합성곱 신경망(CNN)들을 이용하여 입력된 전처리영상으로부터 특징들을 각각 추출하며, 자신에 의해 추출된 특징을 분석하여 해당 영상의 위변조 상태를 ‘real’ or ‘fake’로 분류하여 출력한다.

도 4는 도 2의 특징추출 및 분류부를 나타내는 블록도이다.

특징추출 및 분류부(7)는 도 4에 도시된 바와 같이, 특징추출모듈(71)과, 분류모듈(73)로 이루어진다.

특징추출모듈(71)은 메모리(4)에 저장된 합성곱 신경망(CNN)들 중 자신에게 적용된 합성곱 신경망(CNN)을 이용하여 입력된 영상으로부터 특징(feature)을 추출한다. 이때 합성곱 신경망(CNN)은 콘볼루션 계층(fully-connected)으로 구성되는 인공신경망(neurual network)의 구조로 이루어진다.

분류모듈(73)은 해당 합성곱 신경망(CNN)을 이용하여 특징추출모듈(71)에 의해 추출된 특징을 분류시키는 작업을 수행한다.

이때 분류모듈(73)의 파라미터 또한 최초 랜덤하게 주어지며 후술되는 도 7과 8의 학습단계(S11)에서 경사/기울기(gradient)에 의해 학습 및 업데이트 된다.

또한 분류모듈(73)의 출력은 1개 또는 2개의 수들로 이루어진다.

이때 1)분류모듈(73)의 출력이 2개의 수들로 이루어지는 경우, 두 숫자의 합은 1이 되며 그 출력의 숫자는 각각 입력영상이 real 및 fake라고 판단되는 정도를 나타내고, 2)분류모듈(73)의 출력이 1개인 경우, 그 출력의 숫자는 입력영상이 ‘real’인지 또는 ‘fake’인지를 판단하는 정도를 나타낸다.

다시 도 2로 돌아가서 최종판별부(9)를 살펴보면, 최종판별부(9)는 특징추출 및 분류부(7-1), ..., (7-N)들에 의해 검출된 위변조 상태 출력값(real or fake)들을 분석 및 활용하여 입력영상의 위변조 여부를 최종 결정하며, 상세하게로는 1)검출된 위변조 상태 출력값들 중 최대값 또는 최소값이 제1 임계치보다 크거나 또는 작은 경우 입력영상을 ‘fake’로 최종 결정하거나 또는 2)검출된 위변조 상태 출력값들의 평균값을 산출한 후 산출된 평균값이 제2 임계치보다 크거나 또는 작은 경우 입력영상을 ‘fake’로 최종 결정한다.

도 5는 도 2의 영상 위변조 검출장치의 동작과정을 설명하기 위한 플로차트이다.

본 발명의 영상 위변조 검출방법(S1)은 도 5에 도시된 바와 같이, 학습 및 테스트 단계(S10)와, 영상입력단계(S20), 특징추출 및 분류단계(S30-1), ..., (S30-N)들, 최종판별단계(S40), 출력단계(S50)로 이루어진다.

학습 및 테스트 단계(S10)는 특징추출 및 분류단계(S30-1), ..., (30-N)들 각각에 활용되는 합성곱 신경망(CNN)을 학습 및 테스트 시키는 단계이며, 이러한 학습 및 테스트 단계(S10)는 후술되는 도 7과 8에서 상세하게 설명하기로 한다.

영상입력단계(S20)는 위변조 검사 대상인 입력영상을 외부로부터 입력받는 단계이다.

이때 영상입력단계(S20)는 입력된 영상의 위변조 검출이 용이하게 이루어지도록 전처리 작업을 수행하며, 상세하게로는 1)입력영상의 위치 및 방향을 기 설정된 위치 및 방향으로 변경되도록 입력영상을 전처리하며, 2)입력영상의 크기를 보간법을 이용하여 기 설정된 크기로 줄이거나 또는 증가시키는 전처리를 수행하며, 3)입력영상에서 일정한 값을 R, G, B 픽셀에서 뺀 뒤 나누어 전체 픽셀의 밝기값이 기 설정된 범위를 갖도록 처리한다.

또한 영상입력단계(S20)에 의해 전처리된 영상은 특징추출 및 분류단계(S30-1), ..., (S30-N)들 각각으로 입력된다.

특징추출 및 분류단계(S30-1), ..., (S30-N)들은 학습 및 테스트단계(S10)에 의해 기 학습된 서로 다른 개별 파라미터를 갖는 합성곱 신경망(CNN, Convolution Neural Network)들 각각을 이용하여 입력된 전처리영상으로부터 특징(Feature)들을 추출하는 단계이다.

이때 특징(Feature)은 필터와 비선형 레이어, 깊이를 포함하는 다양한 형태일 수 있으며, 필터와 비선형 레이어의 파라미터는 초기에 랜덤하게 주어지며 후술되는 도 7과 8의 학습단계(S11)에서 경사/기울기(gradient)를 통해 학습 및 업데이트 된다.

또한 특징추출 및 분류단계(S30-1), ..., (S30-N)들 각각은 자신에게 적용된 합성곱 신경망(CNN)을 이용하여 추출된 특징을 분석하여 입력영상의 위변조 상태가 ‘real’ 인지 ‘fake’인지를 분류한 분류값을 출력한다.

도 6은 도 5의 특징추출 및 분류단계를 나타내는 플로차트이다.

특징추출 및 분류단계(S30)는 도 6에 도시된 바와 같이 특징추출단계(S31)와, 분류단계(S33)로 이루어진다.

특징추출단계(S31)는 학습 및 테스트단계(S10)에 의해 기 학습된 합성곱 신경망(CNN)들 중 자신에게 적용되는 합성곱 신경망(CNN)을 이용하여 입력된 전처리 영상으로부터 특징(feature)을 추출하는 단계이다.

분류단계(S33)는 합성곱 신경망(CNN)을 이용하여 특징추출단계(S31)에 의해 추출된 특징을 분석하여 입력영상의 위변조 상태가 ‘real’ 인지 ‘fake’인지를 분류하는 단계이다.

이때 분류단계(S33)의 파라미터 또한 최초 랜덤하게 주어지며 후술되는 도 7과 8의 학습단계(S11)에서 경사/기울기(gradient)에 의해 학습 및 업데이트 된다.

또한 분류단계(S33)의 출력은 1개 또는 2개의 수들로 이루어진다.

이때 1)분류단계(S33)의 출력이 2개의 수들로 이루어지는 경우, 두 숫자의 합은 1이 되며 그 출력의 숫자는 각각 입력영상이 real 및 fake라고 판단되는 정도를 나타내고, 2)분류단계(S43)의 출력이 1개인 경우, 그 출력의 숫자는 입력영상이 ‘real’인지 또는 ‘fake’인지를 판단하는 정도를 나타낸다.

최종판별단계(S40)는 특징추출 및 분류단계(S30-1), ..., (S30-N)들에 의해 검출된 위변조 상태 출력값(real or fake)들을 분석 및 활용하여 입력영상의 위변조 여부를 최종 결정하는 단계이며, 상세하게로는 1)검출된 위변조 상태 출력값들 중 최대값 또는 최소값이 제1 임계치보다 크거나 또는 작은 경우 입력영상을 ‘fake’로 최종 결정하거나 또는 2)검출된 위변조 상태 출력값들의 평균값을 산출한 후 산출된 평균값이 제2 임계치보다 크거나 또는 작은 경우 입력영상을 ‘fake‘로 최종 결정한다.

출력단계(S50)는 최종판별단계(S40)에 의해 최종 결정된 위변조 상태를 외부로 출력하는 단계이다.

도 7은 도 5의 학습 및 테스트단계를 나타내는 플로차트이다.

학습 및 테스트단계(S10)는 도 7에 도시된 바와 같이, 학습단계(S11)와, 테스트단계(S12)로 이루어진다.

학습단계(S11)는 합성곱 신경망(CNN)을 학습시키는 단계이며, 상세하게로는 합성곱 신경망(CNN)의 파라미터를 업데이트하기 위하여 분류단계(S33)의 출력과 실제 정답의 크로스-엔트로피(cross-entropy)를 계산하여 경사/기울기(gradient)를 합성곱 신경망(CNN)에 전달하여 합성곱 신경망(CNN)을 학습시킨다. 이때 합성곱 신경망(CNN)으로 전달된 경사/기울기(gradient)는 해당 합성곱 신경망(CNN)의 개별 파라미터에 반영되고, 이를 사용하여 SGD, ADAM, RMSProp 등의 공지된 알고리즘에 개별 파라미터를 업데이트 한다.

다시 말하면, 학습단계(S11)는 최초 학습 시, 손실함수(loss function)에 의해 손실(loss)의 계산과, 손실(loss)에 대한 각 파라미터의 경사/기울기(gradient)를 산출한 후 산출된 경사/기울기(gradient)를 활용하여 각 파라미터를 업그레이드 한다.

또한 학습단계(S11)는 추가 학습 시, 다음의 도 8의 순서에 따라 모델이 순차적으로 확장되게 된다.

도 8은 도 7의 학습단계를 나타내는 플로차트이다.

학습단계(S11)는 도 8에 도시된 바와 같이, 카운팅 번호인 ‘합성곱 신경망(CNN)의 식별번호인 ‘m’을 ‘0’으로 설정(S111)한 후, 영상이 입력되면 입력영상의 위변조에 적용된 공격 알고리즘이 기존 학습에 사용된 적이 있는 공격 알고리즘인지를 판단한다(S112).

이때 단계112(S112)는 1)만약 입력영상에 적용된 공격 알고리즘이 기존에 사용된 적이 있는 공격 알고리즘이면, 단계113(S113)을 진행하되, 2)만약 입력영상에 적용된 공격 알고리즘이 기존에 사용된 적이 없는 공격 알고리즘이면, 단계114(S114)를 진행한다.

단계113(S113)은 단계(S112)에 의해 입력영상에 적용된 공격 알고리즘이 기존에 사용된 적이 있는 공격 알고리즘인 경우 진행된다.

또한 단계113(S113)은 해당 공격 알고리즘이 사용된 합성곱 신경망(CNN)의 식별번호(i)를 검출한 후, 검출된 i번째 합성곱 신경망(CNN)을 선택한다.

단계114(S114)는 단계(S112)에 의해 입력영상에 적용된 공격 알고리즘이 기존에 사용된 적이 없는 공격 알고리즘인 경우 진행된다.

또한 단계114(S114)는 이전 합성곱 신경망(CNN)의 식별번호가 m까지 부여되었을 때, 이전 합성곱 신경망의 식별번호(m)에 1을 합산하여 식별번호 ‘m+1’을 부여받은 합성곱 신경망(CNN)을 생성하며, m+1의 합성곱 신경망(CNN)의 파라미터를 초기화 한다.

단계115(S115)는 단계114(S114)에 의해 생성된 m+1의 합성곱 신경망(CNN)을 선택한다.

단계116(S116)은 합성곱 신경망(CNN)의 식별번호인 ‘m’에 1을 합산한다.

단계117(S117)은 단계113(S113) 또는 단계116(S116)에 의해 선택된 합성곱 신경망(CNN)을 공지된 gradient descent 방식을 이용하여 파라미터를 업데이트한다. 이때 gradient descent는 공지된 바와 같이, 전송경로(forward path)를 활용하여 손실(loss) 및 역방향(back-propagation)에 의한 경사/기울기(gradient)를 산출한 후, 산출된 경사/기울기(gradient)를 해당 합성곱 신경망(CNN)으로 전달하여 파라미터를 업데이트 하게 된다.

단계118(S118)은 개별 파라미터의 업데이트가 완료된 합성곱 신경망(CNN)을 출력하는 단계이다.

다시 도 7로 돌아가서 테스트단계(S13)를 살펴보면, 테스트단계(S13)는 학습된 파라미터를 고정시킨 상태에서 학습에 사용되지 않은 입력에 대하여 결과를 얻어 학습된 파라미터를 테스트하는 단계이다.

도 9는 도 5의 제2 실시예를 나타내는 플로차트이다.

도 9는 영상 위변조 검출방법의 제2 실시예이고, 영상 위변조 검출방법(S300)은 학습 및 테스트단계(S310)와, 영상입력단계(S320), 특징추출 및 분류단계(S330), 출력단계(S340)로 이루어진다. 즉 영상 위변조 검출방법(S300)은 전술하였던 도 5 내지 8의 영상 위변조 검출방법(S1)에서 서로 다른 공격 알고리즘에 대해 각각 대응하기 위한 모델을 복수개를 생성해야함에 따라 효율성이 떨어지는 문제점을 해결하기 위하여 한 개의 모델만을 이용하여 영상 위변조를 검출하도록 한 것이다.

학습 및 테스트 단계(S310)는 특징추출 및 분류단계(S330)에 활용되는 합성곱 신경망(CNN)을 학습 및 테스트 시키는 단계이며, 도면에는 도시되지 않았지만 학습단계 및 테스트단계로 이루어지고, 상세하게로는 학습단계가 합성곱 신경망(CNN)의 파라미터를 업데이트하기 위하여 특징추출 및 분류단계(S330)의 출력과 실제 정답의 크로스-엔트로피(cross-entropy)를 계산하여 경사/기울기(gradient)를 합성곱 신경망(CNN)에 전달하여 합성곱 신경망(CNN)을 학습시킨다. 이때 합성곱 신경망(CNN)으로 전달된 경사/기울기(gradient)는 해당 합성곱 신경망(CNN)의 개별 파라미터에 반영되고, 이를 사용하여 SGD, ADAM, RMSProp 등의 공지된 알고리즘에 개별 파라미터를 업데이트 한다.

다시 말하면, 학습 및 테스트단계(S310)는 최초 학습 시, 손실함수(loss function)에 의해 손실(loss)의 계산과, 손실(loss)에 대한 각 파라미터의 경사/기울기(gradient)를 산출한 후 산출된 경사/기울기(gradient)를 활용하여 각 파라미터를 업그레이드 한다.

또한 이러한 학습 및 테스트단계(S310)는 후술되는 도 10에서 더욱 상세하게 설명하기로 한다.

영상입력단계(S320)는 위변조 검사 대상인 입력영상을 외부로부터 입력받는 단계이다.

이때 영상입력단계(S320)는 입력된 영상의 위변조 검출이 용이하게 이루어지도록 전처리 작업을 수행하며, 상세하게로는 1)입력영상의 위치 및 방향을 기 설정된 위치 및 방향으로 변경되도록 입력영상을 전처리하며, 2)입력영상의 크기를 보간법을 이용하여 기 설정된 크기로 줄이거나 또는 증가시키는 전처리를 수행하며, 3)입력영상에서 일정한 값을 R, G, B 픽셀에서 뺀 뒤 나누어 전체 픽셀의 밝기값이 기 설정된 범위를 갖도록 처리한다.

또한 영상입력단계(S320)에 의해 전처리된 영상은 특징추출 및 분류단계(S330)로 입력된다.

특징추출 및 분류단계(330)는 학습 및 테스트단계(S310)에 의해 기 학습된 합성곱 신경망(CNN)을 이용하여 입력된 전처리영상으로부터 특징(Feature)을 추출하는 단계이다.

이때 특징(Feature)은 필터와 비선형 레이어, 깊이를 포함하는 다양한 형태일 수 있으며, 필터와 비선형 레이어의 파라미터는 초기에 랜덤하게 주어지며 후술되는 도 10의 학습 및 테스트단계(S310)의 학습단계에서 경사/기울기(gradient)를 통해 학습 및 업데이트 된다.

또한 특징추출 및 분류단계(S330)는 합성곱 신경망(CNN)을 이용하여 추출된 특징을 분석하여 입력영상의 위변조 상태가 ‘real’ 인지 ‘fake’인지를 분류한 분류값을 출력한다.

또한 특징추출 및 분류단계(S330)의 출력은 1개 또는 2개의 수들로 이루어진다.

이때 1)특징추출 및 분류단계(S330)의 출력이 2개의 수들로 이루어지는 경우, 두 숫자의 합은 1이 되며 그 출력의 숫자는 각각 입력영상이 real 및 fake라고 판단되는 정도를 나타내고, 2)특징추출 및 분류단계(S330)의 출력이 1개인 경우, 그 출력의 숫자는 입력영상이 ‘real’인지 또는 ‘fake’인지를 판단하는 정도를 나타낸다.

출력단계(S340)는 특징추출 및 분류단계(S340)에 의해 결정된 위변조 상태를 외부로 출력하는 단계이다.

도 10은 도 9의 학습 및 테스트단계를 설명하기 위한 플로차트이다.

학습 및 테스트단계(S310)는 도 10에 도시된 바와 같이, k번째 영상 set을 입력받으면, 입력순서(k)가 1을 초과하는지를 판단한다(S311). 이때 k는 서로 다른 공격알고리즘으로 위변조된 영상들을 공격알고리즘별로 set로 분류하였을 때, 각 set에 부여되는 식별번호로 정의된다.

이때 단계311(S311)은 1)만약 입력영상의 영상set 번호(k)가 ‘1’을 초과하면, 단계312(S312)를 진행하되, 2)만약 입력영상의 영상set 번호(k)가 ‘1’이면, 단계313(S313)을 진행한다.

단계312(S312)는 단계311(S311)에 의해 입력영상의 영상set 번호(k)가 ‘1’을 초과할 때 진행된다.

일반적으로, 본 발명의 학습 및 테스트단계(S310)는 단일 모델만을 이용하기 때문에 새로운 공격 알고리즘의 위변조 영상이 입력되어 학습되는 경우, 이전에 학습된 파라미터와는 크게 달라질 수 있고, 이에 따라 이전 학습된 데이터에는 잘 동작하는 모델이 되어버리는 문제점이 발생하게 된다. 이에 따라 본 발명에서는 새로운 데이터를 학습하면서도 이전 데이터에 대한 성능을 유지하기 위하여 새로운 모델의 파라미터와 이전 파라미터의 차이가 증가하는 것에 대한 패널티를 부여하는 방식을 적용하였고, 이러한 패널티는 후술되는 단계312(S132)의 수학식 1의 Loss2로 정의하였다.

또한 단계312(S312)는 전술하였던 바와 같이 합성곱 신경망(CNN)의 출력과 정답 벡터의 크로스 엔트로피(cross-entropy)를 통해 손실1(Loss1)을 산출한다.

또한 단계312(S312)는 다음의 수학식 1을 통해 손실2(Loss2)를 산출한다.

이때 θ는 k번째 영상 set에서 학습 중인 상태의 CNN의 파라미터이며,

는 (k-1)번째 영상 set까지 학습된 파라미터이고,

는 이전에 학습한 것에 대한 가중치를 나타내고, f는 파라미터를 정의역으로 하고 실수 집합을 공역으로 하는 임의의 함수이다.

또한 단계312(S312)는 산출된 손실1(Loss1)과 손실2(Loss2)를 합산하여 손실(Loss)을 산출한다.

단계313(S313)은 단계311(S311)에 의해 입력영상의 입력순서(k)가 ‘1’일 때 진행된다.

또한 단계313(S313)은 손실(Loss)을 산출한다. 이때 손실(Loss)은 전술하였던 바와 같이 합성곱 신경망(CNN)의 출력과 정답 벡터의 크로스 엔트로피(cross-entropy)를 통해 손실(Loss)을 산출한다.

단계314(S314)는 해당 합성곱 신경망(CNN)을 공지된 gradient descent 방식을 이용하여 파라미터를 업데이트한다. 이때 gradient descent는 공지된 바와 같이, 전송경로(forward path)를 활용하여 손실(loss) 및 역방향(back-propagation)에 의한 경사/기울기(gradient)를 산출한 후, 산출된 경사/기울기(gradient)를 해당 합성곱 신경망(CNN)으로 전달하여 파라미터를 업데이트 하게 된다.

단계315(S315)는 개별 파라미터의 업데이트가 완료된 합성곱 신경망(CNN)을 출력하는 단계이다.

이와 같이 본 발명의 실시예들인 영상 위변조 검출방법(S1), (S300)들은 합성곱 신경망을 이용하여 필터를 스스로 학습하도록 구성됨으로써 점차 고도화 및 정밀화되는 인공지능 기술에 의한 공격알고리즘들에 대응하여 위변조를 정확하고 신속하게 검출할 수 있게 된다.

또한 본 발명의 영상 위변조 검출방법(S1), (S300)들은 종래에 인간의 경험 및 실험에 의해 엔지니어링 된 고정된 방식의 공격알고리즘만 한정하여 위변조를 검출할 수 있는 문제점을 획기적으로 해결할 수 있다.

1:영상 위변조 검출장치 3:제어부 4:메모리
5:영상 입력부 6:전처리부
7-1, ..., 7-N:특징추출 및 분류부들 9:최종판별부
61:위치 및 방향 처리모듈 63:크기 처리모듈 65:밝기 처리모듈
71:특징추출모듈 73:분류모듈
S1:영상 위변조 검출단계 S10:학습 및 테스트단계
S11:학습단계 S13:테스트단계 S20:영상입력단계
S30:전처리단계 S40-1, ..., S40-N:특징추출 및 분류단계들
S41:특징추출단계 S43:분류단계 S50:최종판별단계
S60:출력단계

Claims

합성곱 신경망(CNN)을 학습 및 테스트하는 학습 및 테스트단계;
위변조 검사대상인 영상을 입력받는 영상입력단계;
상기 학습 및 테스트단계에 의해 학습된 합성곱 신경망(CNN)들을 이용하여 상기 영상입력단계를 통해 입력된 영상으로부터 특징(Feature)을 추출한 후, 추출된 특징(Feature)을 분석하여 입력영상의 위변조 상태가 ‘real’인지 ‘fake’인지를 분류하는 특징추출 및 분류단계를 포함하고,
상기 학습 및 테스트단계는 학습단계와, 테스트단계를 포함하고,
상기 학습단계는
상기 합성곱 신경망(CNN)의 출력과 정답 벡터의 크로스 엔트로피(cross-entropy)를 통해 손실1(Loss1)을 산출하며, 다음의 수학식 1을 통해 손실2(Loss2)를 산출하며, 산출된 손실1(Loss1)과 손실2(Loss2)를 합산하여 손실(Loss)을 산출하는 단계312(S312);
상기 단계312(S312)에 의해 산출된 손실(Loss) 및 gradient descent 방식을 이용하여 파라미터를 업데이트 하는 단계314(S314)를 포함하고,
상기 테스트단계는 학습된 파라미터를 고정시킨 상태에서 학습에 사용되지 않은 입력에 대하여 결과를 얻어 학습된 파라미터를 테스트하는 것을 특징으로 하는 영상위변조 검출방법.
[수학식 1]

이때 θ : k번째 영상 set에서 학습 중인 상태의 CNN의 파라미터,

:(k-1)번째 영상 set까지 학습된 파라미터,

:이전에 학습한 것에 대한 가중치,
f: 파라미터를 정의역으로 하고 실수 집합을 공역으로 하는 임의의 함수
삭제
청구항 제1항에 있어서, 상기 학습단계는 단계311(S311)과, 단계313(S313)을 더 포함하고,
상기 단계311(S311)은
상기 단계312(S312) 이전에 진행되며, 위변조 영상들을 공격 알고리즘별로 분류하기 위한 set들 각각에 식별번호(k)가 부여된다고 할 때, k번재 영상 set을 입력받으면, 입력된 영상의 set 식별번호(k)가 1을 초과하는지를 판단하며, 만약 입력된 영상의 set 식별번호(k)가 1을 초과하면 상기 단계312(S312)를 진행하되, 만약 입력된 영상의 set 식별번호(k)가 1이면 상기 단계313(S313)을 진행하고,
상기 단계313(S313)은
상기 단계311(S311)에서 입력된 영상의 set 식별번호(k)가 1일 때 진행되며, 상기 합성곱 신경망(CNN)의 출력과 정답 벡터의 크로스 엔트로피(cross-entropy)를 통해 손실(Loss)을 산출하고,
상기 단계314(S314)는 상기 단계312(S312) 또는 상기 단계313(S313)에 의해 산출된 손실(Loss) 및 gradient descent 방식을 이용하여 파라미터를 업데이트 하는 것을 특징으로 하는 영상위변조 검출방법.
서로 다른 개별 파라미터를 갖는 합성곱 신경망(CNN)들을 학습 및 테스트하는 학습 및 테스트단계;
위변조 검사대상인 영상을 입력받는 영상입력단계;
상기 학습 및 테스트단계에 의해 학습된 서로 다른 개별 파라미터를 갖는 합성곱 신경망(CNN)들 각각을 이용하여 전처리된 영상으로부터 특징(Feature)들을 추출한 후, 추출된 특징(Feature)들 각각 분석하여 각 특징에 의한 입력영상의 위변조 상태가 ‘real’인지 ‘fake’인지를 분류하는 특징추출 및 분류단계;
상기 특징추출 및 분류단계에 의해 분류된 출력값들을 분석 및 활용하여 입력영상의 위변조 여부를 최종 결정하는 최종판별단계를 포함하고,
상기 학습 및 테스트단계는 학습단계와, 테스트단계를 포함하고,
상기 학습단계는
서로 다른 개별 파라미터를 갖는 합성곱 신경망(CNN)들 각각에 부여된 식별번호인 ‘m’을 ‘0’으로 설정하는 단계111(S111);
입력된 영상의 위변조에 적용된 공격 알고리즘이 기존 학습에 사용된 적이 있는 공격 알고리즘인지를 판단하는 단계112(S112);
상기 단계112(S112)에 의해 입력영상에 적용된 공격 알고리즘이 기존에 사용된 적이 있는 공격 알고리즘인 경우 진행되며, 해당 공격 알고리즘이 적용된 합성곱 신경망(CNN)의 식별번호(i)를 검출한 후, 검출된 i번째 합성곱 신경망(CNN)을 선택하는 단계113(S113);
상기 단계112(S112)에 의해 입력영상에 적용된 공격 알고리즘이 기존에 사용된 적이 없는 공격 알고리즘인 경우 진행되며, 이전 합성곱 신경망(CNN)의 식별번호가 m까지 부여되었을 때, 이전 합성곱 신경망(CNN)의 식별번호(m)에 1을 합산하여 ‘m+1’의 식별번호를 부여받은 합성곱 신경망(CNN)을 생성하며, m+1의 생성된 합성곱 신경망(CNN)의 파라미터를 초기화하는 단계114(S114);
상기 단계114(S114)에 의해 생성된 m+1의 합성곱 신경망(CNN)을 선택하는 단계115(S115);
합성곱 신경망(CNN)의 식별번호인 m에 1을 합산하는 단계116(S116);
상기 단계113(S113) 또는 상기 단계115(S115)에 의해 선택된 합성곱 신경망의 파라미터를 gradient descent 방식을 이용하여 업데이트 하는 단계117(S117)을 포함하고,
상기 테스트단계는 학습된 파라미터를 고정시킨 상태에서 학습에 사용되지 않은 입력에 대하여 결과를 얻어 학습된 파라미터를 테스트하는 것을 특징으로 하는 영상위변조 검출방법.
청구항 제4항에 있어서, 상기 최종판별단계는
상기 특징추출 및 분류단계에 의해 검출된 출력값들 중 최대값 또는 최소값이 제1 임계치보다 크거나 또는 작은 경우 입력영상을 ‘fake’로 최종결정하거나 또는 상기 특징추출 및 분류단계에 의해 검출된 출력값들의 평균값을 산출한 후 산출된 평균값이 제2 임계치보다 크거나 또는 작은 경우 입력영상을 ‘fake’로 최종결정하는 것을 특징으로 하는 영상위변조 검출방법.
삭제
삭제