KR100536443B1

KR100536443B1 - 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지장치 및 방법

Info

Publication number: KR100536443B1
Application number: KR10-2004-0009222A
Authority: KR
Inventors: 박남철
Original assignee: (주)유리엘시스템
Priority date: 2004-02-12
Filing date: 2004-02-12
Publication date: 2005-12-16
Also published as: KR20050081007A

Abstract

본 발명은 워터마크를 이용한 디지털 동영상의 위변조 방지 장치 및 방법에 관한 것으로, 사용자가 입력한 마스크 윈도우를 저장하는 마스크 윈도우 생성 및 저장부와, 디지털 동영상 데이터를 다수의 블록으로 분할하고 그 블록에 포함된 색상 데이터의 최하위비트를 추출하며, 상기 분할된 블록의 마스크 윈도우에서의 참조위치를 암호화하여 변경하는 룩업테이블을 이용하여 상기 추출된 최하위비트를 해당 마스크 윈도우의 키 값으로 치환한 후, 그 결과를 그 이전 처리 과정의 데이터와 논리 조합하여 워터마크를 삽입하는 워터마크 삽입부와, 워터마크가 삽입된 디지털 동영상을 입력받아 다수의 블록으로 분할하고 그 블록에서 색상 데이터의 최하위비트를 추출하며, 상기 마스크 윈도우의 위치를 역변환하여 참조하는 역변환 룩업테이블을 생성함과 아울러 이전 처리 과정의 데이터를 저장하고, 상기 역변환 룩업테이블을 참조하여 추출한 마스크 키 값과 이전 처리 데이터와 연산하여 워터마크를 추출하는 워터마크 추출부와, 상기 워터마크 추출부에서 추출한 워터마크와 상기 추출된 워터마크와 현재 처리중인 데이터를 비교하여 위변조를 판정하는 동영상 데이터 위변조 판정부로 구성된다. 이와 같은 구성에 의하여 본 발명은 워터 마크의 삽입과 추출과정이 비교적 간단하면서도, 그 삽입 추출과정의 노출을 방지하여, 처리속도를 높이고 위변조 여부 판단의 신뢰성을 향상시키는 효과가 있다.

Description

워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치 및 방법{falsification check apparatus for digital moving picture using water mark and method thereof}

본 발명은 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치 및 방법에 관한 것으로, 특히 이중보안을 통해 강인성을 높이며 처리과정을 단순화할 수 있는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치 및 방법에 관한 것이다.

최근 인터넷과 멀티미디어 기술의 발달에 따라 디지털 동영상을 제공하는 서비스 또는 시스템도 함께 발달하고 있다.

이와 같은 디지털 동영상의 발전과 함께 동영상 편집 툴도 발전하여 쉽게 원래의 디지털 동영상을 위변조하는 것도 가능하게 되었다.

즉, 현재의 디지털 미디어 처리 기술의 발전은 응용의 편리성 및 다양화 등의 장점이 있지만 데이터의 불법적인 위변조와 같은 보안 문제가 대두되었다.

특히 이와 같은 데이터의 불법적인 위변조 방법에 의해 DVR(Digital Video Recorder)을 이용하는 보안 시스템의 촬상 결과물이 위변조 된다면 보안 시스템 전체의 신뢰성을 저하시킬 수 있다.

이와 같은 디지털 동영상의 위변조를 방지하기 위해 워터 마킹 기술이 개발되었으며, 워터 마킹 기술은 멀티미디어 데이터에 사용자가 정의한 정보를 가시적으로 인지할 수 없도록 특정한 마크를 삽입한 후, 별도로 제작된 마크 추출기에 의하여 원 영상의 위변조 유무를 확인하는 기술이다.

종래 워터 마킹 기술은 공간 영역에서 동일 프레임 내에 인접한 화소의 특정 데이터 비트를 상대적으로 비교하여 영상 자체의 화소 값을 변경하는 방법을 사용하였다.

상기와 같은 개념의 종래 워터 마킹 방법은 영상의 한 프레임 데이터에서 임의의 마스크 데이터에 의한 1대 1의 대응변형으로 데이터를 처리하였다.

이와 같은 처리에 의하여 종래 워터 마킹 방법은 단순한 대응 변환으로 인하여 화소의 변경 방식의 노출이 용이하여 그 보안성이 저하될 뿐만 아니라 디지털 동영상에 있어서 특정 프레임의 소실되는 경우, 그 소실의 여부를 확인할 수 없는 문제점이 있었다.

즉, 화소의 변경 방식이 노출되면 원래 영상 데이터를 위변조한 후, 동일한 변경방식을 사용하여 워터마크를 삽입할 수 있으며, 이는 영상의 위변조를 판별할 수 없게 되는 보안상의 문제점이 있었다.

또한 특정한 프레임 전체가 소실되어도 그 소실의 여부를 확인할 수 없는 문제점을 가지고 있었다.

또한 워터마크를 추출하는 과정에서 별도의 원영상이 필요하며, 데이터의 처리량이 많고 처리과정 또한 복잡하여, 워터마크의 삽입과 추출 속도가 저하되는 문제점이 있었다.

상기와 같은 문제점을 감안한 본 발명은 워터마크의 은닉방식이 노출되는 것을 방지할 수 있으며, 워터마크의 삽입과 추출과정이 상대적으로 간단한 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치 및 방법을 제공함에 그 목적이 있다.

또한, 본 발명의 다른 목적은 비가시적으로 삽입된 워터마크가 불법적인 위변조 과정에서 쉽게 제거될 수 있어, 영상의 위변조 여부를 용이하게 검출할 수 있는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치 및 방법을 제공함에 그 목적이 있다.

그리고 본 발명의 또 다른 목적은 프레임의 관계 및 화소 RGB 데이터의 최하위 비트에 워터마크를 삽입함과 아울러 참조위치 변환 테이블을 사용하는 이중 보안장치에 의해 강인성을 향상시킬 수 있는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치 및 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명은 사용자가 입력부를 통해 입력한 데이터를 이용하여 마스크 윈도우를 생성하고, 그 마스크 윈도우를 저장하는 마스크 윈도우 생성 및 저장부와, 워터마크가 삽입되지 않은 디지털 동영상을 입력받아 다수의 블록으로 분할하고 그 분할한 블록에 포함된 색상 데이터의 최하위비트 만을 추출하며, 상기 분할된 블록의 마스크 윈도우에서의 참조위치를 암호화하여 변경하는 룩업테이블을 참조하여, 각 블록의 최하위비트를 그 마스크 윈도우의 키 값으로 치환한 후, 그 결과를 그 이전 처리 과정의 최하위비트 데이터와 논리 조합하여 워터마크를 삽입하는 워터마크 삽입부와, 워터마크가 삽입된 디지털 동영상을 입력받아 다수의 블록으로 분할하고 그 분할한 블록에 포함된 색상 데이터의 최하위비트를 추출하며, 상기 마스크 윈도우의 위치를 역변환하여 참조하는 역변환 룩업테이블을 생성함과 아울러 이전 처리 과정의 색상 데이터 최하위비트를 저장하여, 현재 처리 블록의 원래 위치에 해당하는 마스크 키 값을 추출하고, 그 마스크 윈도우 키가 지정하는 색상 데이터와 이전 처리 과정의 색상 데이터의 최하위비트를 논리 조합하여 워터마크를 추출하는 워터마크 추출부와, 상기 워터마크 추출부에서 추출한 워터마크와 상기 워터마크 추출부에서 각 블록에서 추출한 최하위비트 데이터를 비교하여 그 값의 동일 유무에 따라 위변조를 판정하는 동영상 데이터 위변조 판정부로 구성함에 그 특징이 있다.

상기와 같이 구성되는 본 발명의 실시 예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 본 발명에 따르는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치의 일실시 구성도로서, 이에 도시한 바와 같이 사용자 입력부(310)를 통해 입력한 데이터를 이용하여 마스크 윈도우를 생성하고, 저장하는 마스크 윈도우 생성 및 저장부(300)와; 디지털 동영상이 입력되면, 이를 소정 크기의 매크로 블록으로 분할하고, 그 매크로 블록에 포함된 화소의 최하위비트 데이터를 추출 및 저장함과 아울러 처리 영상의 프레임에 따라 상기 마스크 윈도우 또는 그 마스크 윈도우를 이용한 위치변환 룩업 테이블을 이용하여 각 프레임간의 연관성을 고려한 워터마크를 삽입하는 워터마크 삽입부(100)와; 워터마크가 삽입된 동영상 데이터를 입력받아 매크로 블록으로 분할하고, 그 분할된 매크로 블록 내에 위치하는 화소들의 최하위 비트를 검출한 후, 상기 마스크 윈도우를 참조하여 첫 번째 프레임의 워터마크를 추출함과 아울러 이후의 프레임들의 화소는 역변환 룩업 테이블을 이용하여 변환한 비트열의 값과 이전 처리 과정의 최하위비트의 값을 논리 연산한 결과를 출력하는 워터마크 검출부(200)와; 상기 워터마크 검출부(200)의 출력과 상기 검출된 화소들의 최하위 비트를 비교하여 변조유무를 판단하는 위변조 판정부(400)로 구성된다.

도 2는 상기 워터마크 삽입부의 상세 구성도로서, 이에 도시한 바와 같이 동영상 데이터를 입력받아 소정 크기의 매크로 블록으로 분할하는 윈도우 분할부(110)와; 상기 윈도우 분할부(110)에서 분할된 매크로 블록 내에 위치하는 화소들의 최하위 비트를 추출하는 최하위비트 추출부(120)와; 상기 추출된 최하위비트가 첫 번째 프레임인지를 판정하는 프레임 판정 분기부(130)와; 상기 프레임 판정 분기부(130)의 판정결과 첫 번째 프레임의 데이터이면, 상기 마스크 윈도우 생성 및 저장부(300)의 마스크 윈도우를 참조하여 그 추출된 첫 번째 프레임의 화소 최하위비트의 데이터 값을 변경하는 마크 삽입부(150)와; 상기 마스크 윈도우 생성 및 저장부(300)의 값을 참조하여 위치변환 룩업테이블을 생성하는 위치변환 룩업테이블 생성부(140)와; 상기 위치변환 룩업테이블을 참조하여 첫 번째 프레임이 아닌 다른 프레임에 속한 매크로 블록에서 추출한 최하위 비트 데이터의 값을 변경하는 데이터 치환부(160)와; 상기 마크 삽입부(150)의 출력 또는 이전 처리 프레임의 데이터의 최하위비트를 저장하는 최하위비트 저장부(170)와; 상기 데이터 치환부(160)의 출력과 최하위비트 저장부(170)에 저장된 이전 프레임의 워터마크가 삽입된 데이터의 최하위비트를 조합하여 현재 처리 되는 프레임의 각 매크로 블록의 최하위비트에 워터마크를 삽입하여 출력하는 연산부(180)로 구성된다.

도 3은 상기 워터마크 추출부의 상세 구성도로서, 이에 도시한 바와 같이 워터마크가 삽입된 동영상 데이터를 입력받아 소정 크기의 매크로 블록으로 분할하는 윈도우 분할부(210)와; 상기 분할된 매크로 블록에 포함된 화소들의 최하위비트를 추출하는 최하위비트 추출부(220)와; 상기 추출된 화소들의 최하위비트를 저장하는 최하위비트 저장부(230)와; 현재 처리중인 데이터가 첫 번째 프레임의 데이터인지 판정하는 프레임 판정 분기부(240)와; 마스크 윈도우 생성 및 저장부(300)의 마스크 윈도우를 참조하여 위치역변환 룩업테이블을 생성하는 위치역변환 룩업테이블 생성부(250)와; 상기 프레임 판정 분기부(240)의 판정결과 현재 처리되는 데이터가 첫 번째 프레임의 데이터이면 마스크 윈도우를 참조하여 그 데이터로부터 마크를 추출하는 마크 추출부(260)와; 상기 프레임 판정 분기부(240)의 판정결과가 현재 처리되는 데이터가 첫 프레임의 데이터가 아닌 경우 상기 위치역변환 룩업테이블에 따라 해당 마스크 윈도우의 키 값을 추출하는 데이터 추출부(270)와; 상기 최하위비트 저장부(230)에 저장된 데이터와 데이터 추출부(270)에서 추출된 데이터를 논리 연산하여 워터마크를 추출하는 연산부(280)와; 상기 마크 추출부(260) 또는 연산부(280)의 출력과 상기 최하위비트 추출부(220)의 추출결과를 비교하여 영상이 위변조 되었는지 판정하는 위변조 판정부(400)로 구성된다.

도 4와 도 5는 각각 본 발명에 따라 디지털 동영상에 워터마크를 삽입하는 과정과 삽입된 워터마크를 추출하는 과정의 순서도로서, 이를 참조하여 본 발명의 작용과 효과를 보다 상세히 설명하면 다음과 같다.

먼저, S410단계에서와 같이 디지털 동영상이 입력되면, S420단계에서와 같이 워터마크 삽입부(100)의 윈도우 분할부(110)는 입력된 디지털 동영상을 소정 크기의 매크로 블록으로 분할한다.

도 6은 입력된 디지털 동영상의 한 프레임, 분할된 매크로 블록, 그 분할된 매크로 블록에 포함된 화소의 데이터 및 본 발명에서 사용하는 마스크 윈도우의 예를 나타낸 관계도이다.

이에 도시한 바와 같이 원래 입력된 디지털 동영상의 한 프레임의 화소수가 720X480인 경우, 그 프레임의 전체 화소수는 345,600개이며, 이를 분할한 매크로 블록은 화소수가 16X16개가 되도록 분할한다.

즉, 256개의 화소를 포함하는 매크로 블록으로 한 프레임을 분할하여 1350개의 매크로 블록 영역으로 나눈다.

상기 하나의 매크로 블록에 포함되는 화소는 256개이며, 각 화소는 색상의 표시를 위해 RGB 데이터를 가진다.

도 6에 도시한 RGB 데이터는 하나의 예이며, 각각 8비트의 데이터로 구성된다. 이때 그 8비트의 최하위비트는 그 값이 변경되어도 화소를 통해 표시되는 색상의 변화가 적어 표시되는 디지털 동영상에 거의 영향을 주지 않는 값이다.

또한, 사용자는 입력부(310)를 통해 0 또는 1을 입력하고, 이를 입력받은 마스크 윈도우 생성 및 저장부(300)는 45X30의 마스크 윈도우를 생성하고 저장한다.

상기 마스크 윈도우에 입력되는 0 또는 1의 수는 모두 상기 한 프레임을 분할한 매크로 블록의 수와 동일한 1350개가 된다.

그 다음, S430단계에서와 같이 상기 최하위비트 추출부(120)는 상기 설명한 각 매크로 블록에 포함되는 화소의 최하위비트를 추출한다.

그 다음, S440단계에서는 상기 프레임 판정 분기부(130)에서 현재 처리되는 데이터가 첫 번째 프레임의 데이터인가를 판정한다.

이와 같이 첫 번째 프레임의 데이터인지 첫 번째 프레임이 아닌지 구분하는 이유는 첫 번째 프레임은 참조할 이전의 프레임이 없기 때문이며 두 번째 프레임은 첫 번째 프레임을 참조하고, 이후의 프레임은 그 이전의 프레임을 참조하여 워터마크를 삽입하게 된다.

상기 현재 처리되는 데이터가 첫 번째 프레임으로 판정되면, S450단계와 같이 추출한 최하위비트 데이터를 마스크 윈도우를 참조하여 변환한다.

즉, 첫 번째 프레임에서 추출한 최하위비트 데이터는 그 값에 관계없이 해당 마스크 윈도우의 키 값에 따라 RGB 데이터의 최하위 비트를 변경한다.

상기 도 6에서 첫 번째 매크로 블록(B1)의 마스크 윈도우의 마스크 키 값은 '1'이고, 두 번째 매크로 블록(B2)의 마스크 윈도우의 마스크 키 값은 '0'이다.

이때 첫 번째 프레임의 매크로 블록(B1)에서 추출된 최하위비트는 그 값을 무시하고, RGB 데이터의 최하위비트를 각각 0, 1, 0으로 치환한다.

또한, 첫 번째 프레임의 매크로 블록(B2)에서 추출된 최하위비트는 그 값을 무시하고, RGB 각 색원소의 최하위비트를 각각 1, 0, 1로 변경한다.

이와 같은 변경의 예는 본 발명을 설명하기 위한 예이며, 마스크 키 값에 따라 각 블록에서 추출된 최하위 비트의 값을 일정하게 변경하는 것이면 본 발명의 기술적 사상에서 벗어나지 않는다.

이와 같은 과정을 도 7의 예시도에 도시하였다.

상기 도 7의 과정은 해당 최하위비트 데이터가 첫 번째 프레임의 영상데이터에서 추출한 RGB 데이터의 최하위비트인 경우에 해당한다.

이와 같은 과정을 통해 첫 프레임의 각 블록의 최하위비트에 마크를 삽입할 수 있다.

그 다음, 위치변환 룩업테이블 생성부(140)에서는 상기 마스크 윈도우 생성 및 저장부(300)에 저장된 마스크 윈도우를 참조하여 참조 위치변환 룩업테이블(LOOK-UP TABLE)을 생성한다.

도 8은 상기 마스크 윈도우의 일부를 나타낸 예시도이고, 도 9는 그 마스크 윈도우를 이용하여 참조 위치 변환 룩업테이블을 생성하는 과정을 나타낸 예시도이다.

상기 도 8의 예에서는 마스크 윈도우는 16X16내에 마스크 키 값이'1'인 키가 61개가 있고, '0'인 키가 195개가 위치한다.

상기 값의 분포는 사용자가 입력한 마스크 윈도우에 의해 변경될 수 있는 것이며, 아래의 예에서는 키 값이 '1'인 것을 사용하여 참조 위치 변환 룩업테이블을 생성하는 예를 들어 설명하겠으나, 키 값이'0'인 것을 사용하여도 본 발명에 적용하는 룩업테이블을 생성할 수 있다.

상기 예에서 키 값이 '1'인 키의 수는 모두 61개이며, 이를 이용하여 위치변환을 위한 순서쌍을 획득한다.

즉, 원래의 위치와 변경된 위치의 값의 범위는 1부터 256이 되며, 변경위치의 값은 아래의 수학식 1에 의해 정의된다.

변경된 위치 = (원래의 위치+(K-1))

여기서 K는 0 또는 1의 선택된 키 값을 가지는 키의 총 수이며, 상기 예의 키 값이 1인 키의 수인 61이 된다.

상기 수학식 1의 결과는 제한인 256보다 큰 값이 나올 수 있으며, 이때에는 수학식 2를 참조하여 변경된 위치를 구한다.

변경된 위치=256-(원래의 위치+(K-1))

이와 같이 원래의 위치를 이용하여 변경위치를 구하고, 이를 이용하여 변환에 필요한 (원래 위치, 변경 위치)로 표현되는 변환 순서쌍을 얻을 수 있다.

이를 개략적으로 나열하면 (1, 61), (2,62), (3,63), ...., (196,256), (197,1), ..., (255,59), (256, 60)으로 표현할 수 있다.

이는 상기 위치변환 룩업테이블 생성부(140)에서 생성한 룩업테이블이며, 마스크 윈도우를 설정하기 위한 사용자의 입력이 초기화 되거나, 변경될 때 상기와 같은 연산을 통해 룩업테이블을 생성한다.

그 다음, S460단계에서는 데이터 치환부(160)에서 상기 룩업테이블이 지정하는 변경위치의 마스크 윈도우를 참조하여 첫 프레임이 아닌 프레임의 매크로 블록에서 추출한 데이터의 최하위 비트의 값을 치환 변경한다.

즉, 두 번째 프레임의 첫 번째 매크로 블록(B1)의 위치는 상기 수학식1에서 원래위치가 1이며, 변경위치는 61에 해당한다. 즉, 변환 순서쌍 (1, 61)에 해당한다.

이처럼 두 번째 프레임부터 디지털 동영상의 마지막 프레임까지는 상기 위치변환 룩업테이블 생성부(140)에서 생성한 룩업테이블을 참조하여, 추출된 최하위비트 데이터를 마스크 윈도우의 값으로 치환한다.

상기의 치환은 해당 변경위치의 마스크 키 값에 의해 결정된다.

상기 원래위치가 1이며, 변경위치가 61인 경우에는 상기 도 8에서의 마스크 윈도우의 61번째 마스크 키의 값이 '0'이므로 상기 설정과 같이 RGB 데이터의 최하위 비트를 각각 1,0,1로 치환한다.

상기 마크 삽입부(150)를 통해 마크가 삽입된 첫 번째 프레임의 최하위 비트 데이터 또는 데이터 치환부(160)를 통해 위치변환 룩업테이블이 지정하는 위치의 마스크 윈도우의 키 값을 참조하여 값이 치환된 두 번째 프레임 이상의 최하위비트 데이터는 최하위비트 저장부(170)에 저장된다.

이와 같이 최하위비트를 저장하는 이유는 각 프레임간의 관계에 따르는 워터마크를 삽입하기 위함이며, 이와 같이 프레임간의 관계를 고려한 워터마크를 삽입함으로써 얻어지는 효과는 특정 프레임이 소실되는 것을 워터마크를 추출하여 확인할 수 있어 보다 향상된 강인성을 부여할 수 있게 된다.

또한, 최하위비트의 데이터에만 워터마크를 삽입하여 데이터의 처리량을 줄임으로써, 워터마크의 삽입과 추출의 시간을 단축할 수 있게 된다.

그 다음, S470단계와 같이 연산부(180)는 상기 데이터 치환부(160)를 통해 치환된 데이터 현재 처리 중인 프레임의 데이터와 최하위비트 저장부(170)에 저장된 이전 프레임의 최하위비트를 연산하여 현재 처리 중인 프레임의 매크로 블록 최하위비트에 워터마크를 삽입한다.

이때 첫 번째 프레임은 이전에 저장된 최하위비트의 데이터가 존재하지 않으므로, 상기 마크 삽입부(150)의 결과가 그대로 출력된다.

도 10은 상기 연산부(180)의 작용을 나타낸 예시도로서, 이에 도시한 바와 같이 상기 최하위비트 저장부(170)에 저장된 이전(N-1) 프레임의 RGB 데이터의 최하위비트의 데이터 1, 1, 0과 현재(N) 프레임의 RGB 데이터를 해시(HASH) 함수에 의해 조합하여 워터마크를 삽입하는 과정을 나타낸다.

상기 해시 함수의 예로 간단한 배타적 논리합(XOR)을 예로 들었으나, 보다 강인성을 높이기 위해서는 보다 복잡한 연산을 수행하도록 구성할 수 있다.

이와 같이 연산부(180)를 통해 각 프레임에 포함되는 RGB 데이터의 최하위 비트에 워터마크가 삽입된 디지털 동영상을 획득할 수 있게 된다.

상기 디지털 동영상에 삽입된 워터마크는 각 프레임 간의 상호 관계를 참조할 뿐만 아니라 마스크 윈도우와 그 마스크 윈도우의 다른 위치를 참조하는 참조 위치변경 룩업테이블을 사용하여 그 워터마크의 삽입방식의 노출을 방지할 수 있게 됨과 아울러 특정 프레임 전체가 소실된 경우에도 그 소실된 프레임을 확인할 수 있게 된다.

이상에서는 디지털 동영상에 워터마크를 삽입하는 과정을 상세히 설명하였으며, 본 발명에 따라 워터마크가 삽입된 디지털 동영상에서 워터마크를 추출하여 동영상이 위변조 되었는지 확인하는 장치 및 그 방법을 이하에서 상세히 설명한다.

도 5는 워터마크가 삽입된 디지털 동영상에서 워터마크를 추출하여 위변조 여부를 판정하는 과정의 순서도이다.

이를 참조하면, 먼저 S510단계와 같이 워터마크가 삽입된 디지털 동영상 데이터가 워터마크 추출부(200)의 윈도우 분할부(210)로 입력되면, 그 윈도우 분할부(210)는 S520단계에서와 같이 그 워터마크가 삽입된 디지털 동영상의 프레임을 다수의 매크로 블록으로 분할한다.

이때 매크로 블록의 크기와 수는 상기 워터마크 삽입부(100)의 윈도우 분할부(110)에서 분할한 것과 동일하다.

그 다음, S530단계와 같이 최하위비트 추출부(220)는 상기 매크로 블록에 포함된 화소들의 RGB데이터의 최하위비트를 추출한다.

상기 최하위비트 추출부(220)에서 추출된 최하위 비트는 S540단계와 같이 최하위비트 저장부(230)에 순차 저장된다.

또한, S550단계와 같이 프레임 판정 분기부(240)에서는 현재의 처리과정이 첫 번째 프레임인가를 판정한다.

이때, 상기 S550단계의 판정 결과 첫 번째 프레임이면, S560단계와 같이 마크 추출부(260)를 통해 상기 마스크 윈도우 생성 및 저장부(300)에서 생성한 마스크 윈도우를 참조하여 삽입된 마크를 추출한다.

이때의 추출방법은 특정 매크로 블록의 최하위비트의 값과, 그 매크로 블록에 해당하는 마스크 키 값을 비교하여 마스크 키 값에 따르는 최하위 비트의 값이 설정 값과 동일한 가를 판정한다.

이때 값이 동일하지 않으면 첫 번째 프레임이 위변조된 것으로 판정한다.

그 다음, 상기 S550단계의 판단결과 현재 처리되는 프레임이 첫 번째 프레임이 아니면 S570단계와 같이 위치 역변환 룩업테이블 생성부(250)에서 생성한 위치 역변환 룩업테이블에서, S580단계와 같이 데이터 추출부(270)에서 현재 처리되는 프레임의 특정 매크로 블록의 역변환위치 해당하는 마스크 키 값을 추출한다.

상기 위치 역변환 룩업테이블 생성부(250)는 역시 마스크 윈도우 생성 및 저장부(300)의 마스크 윈도우를 참조하여 역변환 룩업테이블을 생성하는 것이며, 상기 위치변환 룩업테이블 생성부(140)와는 역의 관계를 가지며, 아래의 수학식 3으로 표현할 수 있다.

역변환위치(원래 위치)=변환위치+((256-K)+1)

이때, 상기 역변환위치의 값은 1~256이며, 256을 초과할 수 없기 때문에 그 역변환위치가 256을 넘으면, 그 결과 값인 역변환위치에서 256을 감한다.

이와 같은 식을 이용하면 워터마크 삽입을 위한 변환 순서쌍의 형성을 역으로 수행하게 되며, 그 원래의 위치의 마스크 키 값을 추출할 수 있게 된다.

즉, 상기 원위치가 1인 경우 변환위치는 61이 되며, 상기 K는 도 8에서 61개 이었으므로, 이를 대입하면 257이 되며, 이 값은 256을 초과하는 것이므로, 256을 감하면 그 결과는 1이 된다.

이는 역변환위치가 워터마크 삽입 과정을 거치기 이전의 원위치와 동일한 값이 되는 것이며, 참조위치를 다시 원래의 위치로 되돌리는 역할을 한다.

그 다음, S590단계와 같이 연산부(280)는 상기 추출된 마스크 키 값에 따른 RGB 데이터의 최하위 비트와 상기 최하위비트 저장부(230)에 저장된 이전 처리 과정의 최하위비트 데이터를 해시 함수를 통해 연산하여 워터마크를 추출하게 된다.

그 다음, S600단계에서는 상기 동영상 데이터 위변조 판정부(400)에서 상기 연산부(280)의 처리결과와 상기 최하위비트 추출부(220)에서 추출된 결과를 비교하여 그 값이 동일하면 위변조 되지 않은 것으로 판단하며, 동일하지 않으면 위변조 된 것으로 판단한다.

도 11은 상기 S590단계를 수행하는 연산부(280)와 S600단계를 수행하는 동영상 데이터 위변조 판정부(400)의 동작을 나타낸 예시도이다.

상기 S590단계의 연산부(280)는 상기 위치 역변환 룩업테이블에서 검출한 원래 위치의 마스크 키 값이 1인 경우, 그 마스크 키 값에 따라 설정된 RGB 데이터의 최하위 비트를 0,1,0으로 설정한 후, 이전 처리과정에서 저장된 RGB데이터의 최하위 비트인 1,0,0을 해시 함수에 의해 연산한다.

상기 해시 함수의 예로 워터마크 삽입부(100)의 동작과 동일하게 배타적 논리합 연산을 사용하였으며, 상기 설명한 바와 같이 강인성의 향상을 위해 보다 복잡한 논리 연산을 사용하는 것이 가능하다.

이와 같이 처리된 결과의 RGB 데이터의 최하위 비트는 각각 1,0,0이며, 이는 S600단계에서와 같이 동영상 위변조 판정부(400)에 입력된다.

상기 동영상 위변조 판정부(400)는 상기의 결과가 현재 처리과정에서 검출된 RGB 데이터의 최하위비트와 동일한지를 판단하며, 동일한 경우에는 위변조가 일어나지 않은 것으로, 동일하지 않은 경우에는 위변조 된 것으로 판정한다.

상기와 같이 본 발명은 위변조의 판정을 위한 워터마크 추출과정에서 별도의 원래영상의 입력이 필요 없으며, 그 워터마크 추출과정에서도 이전의 프레임을 참조하도록 구성되기 때문에 특정 프레임 전체의 소실을 확인할 수 있게 된다.

이상에서는 본 발명을 특정의 바람직한 실시 예들을 들어 도시하고 설명하였으나, 본 발명은 상기한 실시 예들에 한정되지 않으며 본 발명의 개념을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능하다.

상기한 바와 같이 본 발명은 워터 마크의 삽입과 추출과정이 비교적 간단하면서도, 그 삽입 추출과정의 노출을 방지하여, 보다 빠른 처리가 가능하며 위변조 여부의 판단에 대한 신뢰성을 향상시키는 효과가 있다.

또한, 본 발명은 인접한 프레임과의 데이터 연관성을 가지는 워터마크를 삽입하여 동영상 스트리밍 전송에 있어서 발생할 수 있는 프레임의 소실을 확인할 수 있는 효과가 있다.

그리고 본 발명은 사용자가 직접 입력하여 생성한 마스크 윈도우의 특정 위치를 변경하여 참조하는 참조 위치변환 룩업테이블을 사용하여 워터마크를 삽입하며, 워터마크를 추출하는 경우에는 위치역변환 룩업테이블을 사용하여 워터마크를 추출하여 보안성을 향상시키는 효과가 있다.

도 1은 본 발명에 따르는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치의 블록도.

도 2는 도 1에 있어서, 워터마크 삽입부의 상세 구성도.

도 3은 도 1에 있어서, 워터마크 추출부의 상세 구성도.

도 4는 본 발명에 따르는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 방법에 있어서, 워터마크를 삽입하는 과정의 순서도.

도 5는 본 발명에 따르는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 방법에 있어서, 워터마크를 추출하는 과정의 순서도.

도 6은 입력된 디지털 동영상의 한 프레임, 분할된 매크로 블록, 그 분할된 매크로 블록에 포함된 화소의 데이터 및 본 발명에서 사용하는 마스크 윈도우의 예를 나타낸 관계도.

도 7은 마스크 윈도우 키 값에 따라 치환되는 데이터의 예를 나타낸 예시도.

도 8은 마스크 윈도우의 일부를 나타낸 예시도.

도 9는 마스크 윈도우를 이용하여 참조 위치 변환 룩업테이블을 생성하는 과정을 나타낸 예시도.

도 10은 워터마크 삽입부에서 동영상 데이터에 워터마크를 삽입하는 과정을 나타낸 예시도.

도 11은 워터마크의 추출 및 위변조 여부를 판정하는 과정의 예시도.

*도면의 주요 부분에 대한 부호의 설명*

100:워터마크 삽입부 110:윈도우 분할부

120:최하위비트 추출부 130:프레임 판정 분기부

140:위치변환 룩업테이블 생성부 150:마크 삽입부

160:데이터 치환부 170:최하위비트 저장부

180:연산부 200:워터마크 추출부

210:윈도우 분할부 220:최하위비트 추출부

230:최하위비트 저장부 240:프레임 판정 분기부

250:위치 역변환 룩업테이블 생성부 260:마크 추출부

270:데이터 추출부 280:연산부

300:마스크 윈도우 생성 및 저장부 400:위변조 판정부

Claims

사용자가 입력부를 통해 입력한 데이터를 이용하여 마스크 윈도우를 생성하고, 그 마스크 윈도우를 저장하는 마스크 윈도우 생성 및 저장부와,

워터마크가 삽입되지 않은 디지털 동영상을 입력받아 다수의 블록으로 분할하고, 그 분할한 블록에 포함된 색상 데이터의 최하위비트 만을 추출하며, 상기 분할된 블록의 마스크 윈도우에서의 참조위치를 암호화하여 변경하는 룩업테이블에 따라 추출된 최하위비트를 지정된 마스크 키 값으로 치환한 후, 그 결과를 그 이전 과정에서 처리된 프레임의 각 블록에 포함된 색상 데이터의 최하위비트와 논리 연산하여 현재 처리중인 프레임을 분할한 블록에 포함된 색상 데이터의 최하위비트에 워터마크를 삽입하는 워터마크 삽입부와,

워터마크가 삽입된 디지털 동영상을 입력받아 다수의 블록으로 분할하고 그 분할한 블록에 포함된 색상 데이터의 최하위비트를 추출하며, 상기 마스크 윈도우의 위치를 역변환하여 참조하는 역변환 룩업테이블을 생성함과 아울러 이전 처리 과정의 프레임을 분할한 블록의 색상 데이터 최하위비트를 저장하여, 상기 역변환 룩업테이블에 따라 원래위치의 마스크 키 값을 추출하여, 그 마스크 키 값의 데이터와 이전 과정에서 처리된 프레임의 블록에 포함된 색상 데이터의 최하위비트를 논리 조합하여 워터마크를 추출하는 워터마크 추출부와,

상기 워터마크 추출부에서 추출한 워터마크와 현재 처리중인 프레임의 최하위비트 데이터를 비교하여 위변조를 판정하는 동영상 데이터 위변조 판정부로 구성하여 된 것을 특징으로 하는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치.
제 1항에 있어서, 워터마크 삽입부는 동영상 데이터를 입력받아 소정 크기의 블록으로 분할하는 윈도우 분할부와;

상기 윈도우 분할부에서 분할된 블록 내에 위치하는 색상 데이터의 최하위 비트를 추출하는 최하위비트 추출부와;

상기 추출된 최하위비트가 첫 번째 프레임인지를 판정하는 프레임 판정 분기부와;

상기 프레임 판정 분기부의 판정결과 첫 번째 프레임의 데이터이면, 상기 마스크 윈도우를 참조하여 그 추출된 첫 번째 프레임을 분할한 블록에 포함된 색상 데이터 최하위비트의 데이터 값을 치환하는 마크 삽입부와;

상기 특정 블록의 데이터를 암호화된 위치의 마스크 윈도우 키 값을 참조하도록 참조 위치를 변경하는 위치변환 룩업테이블을 생성하는 위치변환 룩업테이블 생성부와;

상기 위치변환 룩업테이블을 참조하여 첫 번째 프레임의 데이터가 아닌 다른 프레임에서 추출한 최하위비트 데이터의 값을 해당 마스크 윈도우 키 값에 따라 치환하는 데이터 치환부와;

상기 마크 삽입부의 출력 또는 데이터 치환부의 데이터를 저장하여, 이전 프레임에서 추출한 색상 데이터의 최하위비트를 저장하는 최하위비트 저장부와;

상기 데이터 치환부의 출력과 최하위비트 저장부에 저장된 이전 프레임의 색상 데이터 최하위비트를 논리 연산하여 워터마크를 각 프레임의 블록에 포함된 색상 데이터 최하위비트에 삽입하여 출력하는 연산부로 구성하여 된 것을 특징으로 하는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치.
제 1항에 있어서, 상기 워터마크 추출부는 워터마크가 삽입된 동영상 데이터를 입력받아 소정 크기의 블록으로 분할하는 윈도우 분할부와;

상기 분할된 블록에 포함된 색상 데이터의 최하위비트를 추출하는 최하위비트 추출부와;

상기 추출된 최하위비트를 저장하는 최하위비트 저장부와;

현재 처리중인 데이터가 첫 번째 프레임의 데이터인지 판정하는 프레임 판정 분기부와;

현재 처리중인 프레임을 분할한 블록의 원래 위치의 마스크 윈도우 키를 지정하는 위치역변환 룩업테이블을 생성하는 위치역변환 룩업테이블 생성부와;

상기 프레임 판정 분기부의 판정결과 현재 처리되는 데이터가 첫 번째 프레임의 데이터이면 마스크 윈도우를 참조하여 각 블록의 최하위비트와 해당 마스크 키 값에 따르는 데이터열을 비교하여 마크를 추출하는 마크 추출부와;

상기 프레임 판정 분기부의 판정결과가 현재 처리되는 데이터가 첫 프레임의 데이터가 아닌 경우 상기 위치역변환 룩업테이블을 참조하여 현재 처리되는 프레임의 특정 블록에 해당하는 마스크 키 값을 추출하는 데이터 추출부와;

상기 최하위비트 저장부에 저장된 데이터와 데이터 추출부에서 추출된 데이터를 논리 연산하여 워터마크를 추출하는 연산부로 구성하여 된 것을 특징으로 하는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 장치.
사용자의 입력에 따라 마스크 윈도우를 생성 및 저장하는 마스크 윈도우 생성단계와;

디지털 동영상 데이터의 프레임들을 다수의 블록으로 분할하는 과정과, 그 분할된 블록의 색상 데이터 최하위비트를 추출하는 과정과, 첫 번째 프레임에 속하는 색상 데이터 최하위비트들은 각 블록의 위치에 따라 상기 마스크 윈도우의 지정된 키 값을 이용하여 그 값을 치환하여 마크를 삽입하는 과정과, 상기 첫 번째 프레임이 아닌 다른 프레임에서 추출한 최하위비트들은 그 최하위비트가 속하는 블록의 위치에 따라 마스크 윈도우의 다른 위치를 참조하도록 생성된 위치변환 룩업테이블을 참조하여 변환된 위치의 마스크 키 값에 따라 그 값을 치환하는 과정과, 상기 마스크 윈도우를 참조하여 치환된 이전 프레임의 데이터를 저장하고, 현재 처리되는 프레임의 데이터와 논리 연산을 통해 워터마크를 삽입하는 과정을 포함하는 워터마크 삽입 단계와;

워터마크가 삽입된 디지털 동영상 데이터의 프레임들을 다수의 블록으로 분할하는 과정과, 그 분할된 블록에 포함된 화소들의 최하위비트를 추출하는 과정과, 첫 번째 프레임에 속하는 최하위비트들은 각 블록의 위치에 따라 상기 마스크 윈도우의 지정된 키 값과 비교하여, 위변조 되었는지 판단하는 과정과, 이전에 처리된 프레임의 최하위비트들을 저장하는 과정과, 상기 첫 번째 프레임에 속하지 않는 최하위비트들은 위치 역변환 룩업테이블을 참조하여, 그 역변환된 위치의 마스크 윈도우의 키 값을 추출하는 과정과, 상기 추출된 마스크 윈도우의 키 값에 따르는 데이터와 상기 저장한 이전 과정에서 처리된 프레임의 데이터를 논리 연산하여 워터마크를 추출하는 과정과, 상기 추출된 워터마크와 현재 처리 되는 프레임의 최하위비트 데이터를 비교하여 위변조 여부를 판정하는 과정을 포함하는 워터마크 추출단계로 이루어진 것을 특징으로 하는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 방법.
제 4항에 있어서, 상기 위치변환 룩업테이블은 특정 블록의 위치에 해당하는 마스크 윈도우의 키 값이 아닌 다른 위치의 마스크 윈도우의 키 값을 참조하도록, 그 위치를 변경하는 것이며,

위치 역변환 룩업테이블은 상기 위치변환 룩업테이블에 의해 변경된 위치의 마스크 윈도우의 키 값을 참조한 블록의 원래 위치에 따르는 마스크 윈도우 키 값을 참조하도록 위치를 변경하는 것을 특징으로 하는 워터마크를 이용한 디지털 동영상 데이터의 위변조 방지 방법.