KR20070029022A

KR20070029022A - 디지털 영상의 신뢰성 인증용 워터마크의 삽입/검출 기법

Info

Publication number: KR20070029022A
Application number: KR1020050083895A
Authority: KR
Inventors: 김진헌
Original assignee: 김진헌
Priority date: 2005-09-08
Filing date: 2005-09-08
Publication date: 2007-03-13

Abstract

본 발명은 JPEG/MPEG 디지털 영상의 위/변조 판별을 위한 신뢰성 인증용 워터마크 기법이다. 영상의 신뢰성 인증을 위해서는 네 가지의 필요조건이 있다. 첫 번째는 정확한 위/변조 위치를 파악하기 위해 JPEG/MPEG 영상 전역에 걸쳐서 워터마크가 삽입되어 있어야 한다. 두 번째는 암호 코드 해독 등의 공격을 원천 봉쇄하기 위해서 부가적인 코드(예 : 암호화 코드)를 JPEG/MPEG의 헤더 또는 JPEG/MPEG파일이 아닌 다른 파일에 첨가하고 있지 않아야 한다. 세 번째는 현재 많이 보급되어 있는 솔루션과 워터마크 기법이 호환되어 워터마크를 삽입한 영상이 어느 솔루션에서도 정상적으로 재생 또는 출력되어야 한다. 네 번째는 실시간으로 워터마킹(워터마크 삽입 또는 워터마크 검출) 처리가 가능하도록 워터마킹 알고리즘이 JPEG/MPEG의 하나의 모듈처럼 동작해야 한다. 본 발명은 상기 언급한 필요조건을 모두 만족하는 워터마크 기법이다. 또한 본 발명은 워터마크가 삽입된 영상의 위/변조 위치를 검출할 때 원본 영상이 불필요한 블라인드(blind) 워터마크 기법이다. 본 발명의 구성은 JPEG/MPEG 영상과 DCT(Discrete Cosine Transform) 계수(coefficient)에 대한 룩업 테이블, 워터마크 이미지와 링크 정보로 이루어진다.

워터 마크, 룩업 테이블, 순차 연결, 평탄 영역, 비 평탄 영역, 링크 정보

Description

디지털 영상의 신뢰성 인증용 워터마크의 삽입/검출 기법 {Method of insert or extract watermark for evidence original Digital picture/video on JPEG/MPEG}

도 1은 본 발명의 실시 예에 따른 JPEG 기반의 순차 연결 워터마크 삽입 기법의 기본적인 수행절차를 보여주는 블록도.

도 2는 본 발명의 실시 예에 따른 순차 연결 워터마크 삽입 기법의 삽입 비트 결정 절차 사례.

도 3은 본 발명의 실시 예에 따른 MPEG2 기반의 순차 연결 워터마크 삽입 블록도

도 4는 본 발명의 실시 예에 따른 MPEG2 영상에서 순차 연결식 추출 블록도.

도 5는 본 발명의 실시 예에 따른 가상 공격(영상 위/변조)시나리오 블록도.

도 6은 본 발명의 실시 예에 따른 위/변조 영상과 검출된 워터마크

발명이 속하는 기술 분야는 원본 영상의 진위 여부를 판별하기 위해 사람의 시각 구조를 고려하여 삽입할 수 있는 최소량의 워터마크를 삽입하는 프래절(fragile) 워터마크 분야이다. 본 발명의 워터마크 이미지 삽입 방법은 영상의 JPEG 또는 MPEG 압축 방법을 활용하여 부호화 과정 중에 삽입된다. 본 발명은 원본 영상과 워터마크 영상의 화질의 PSNR(Peak Signal Noise Ratio)수치가 40dB 이상을 유지하는 화질 열화가 거의 없는 워터마킹 기술 분야이다. 일반적인 솔루션에서는 워터마크 삽입 영상이 복호되고 검증 툴에서는 워터마크 삽입 영상과 워터마크 이미지가 복 호되는 기술 분야이다. 발명이 속하는 분야의 종래기술은 워터마크를 이용해서 저작권 인증 시스템 또는 방송 모니터링 시스템 또는 복제 허용 회수 제한 시스템 또는 디지털 인증서의 신뢰성 보장 시스템 등이 있다.

본 발명에서 이루고자 하는 기술적 과제는 정확한 위/변조 위치를 파악하기 위해 JPEG/MPEG 영상 전역에 걸쳐서 워터마크가 삽입되어 있어야 한다.

또한, 본 발명에서 이루고자 하는 기술적 과제는 암호 코드 해독 등의 공격을 원천 봉쇄하기 위해서 JPEG/MPEG의 헤더 또는 JPEG/MPEG파일이 아닌 다른 파일에 부가적인 코드(예 : 암호화 코드)를 첨가하고 있지 않아야 한다.

또한, 본 발명에서 이루고자 하는 기술적 과제는 현재 많이 보급되어 있는 솔루션과 워터마크 기법이 호환되어 워터마크를 삽입한 영상이 어느 솔루션에서도 정상적으로 재생 또는 출력되어야 한다.

또한, 본 발명에서 이루고자 하는 기술적 과제는 실시간으로 워터마킹(워터마크 삽입 또는 워터마크 검출) 처리가 가능하도록 워터마킹 알고리즘이 멀티미디어 표준 으로 가장 많이 사용하고 있는 JPEG/MPEG의 하나의 모듈처럼 동작해야 한다.

상기 기술적 과제의 대전제가 되는 목표는 DVR(Digital Video Recorder) 등의 보안 솔루션에서 주로 활용하는 JPEG/MPEG 파일을 법정에서 증거 자료로 활용될 수 있을 정도로 신뢰성을 인증해주는 워터마킹 기법을 개발하는 것이다.

본 발명의 워터마킹(워터마크의 삽입 또는 워터마크의 검출)기법은 DCT 계수를 이용한 것이다. JPEG이나 MPEG의 압축 또는 부호화(Encoding)에서는 공간적인 중복성을 제거하기 위해서 주로 DCT(Discrete Cosine Transform)와 양자화(Quantization)를 활용한다. 본 발명은 DCT와 양자화 과정 이후에 워터마크 삽입 과정이 있다. 본 발명에서 워터마크를 삽입하는 방법은 우선 화질 열화를 고려한다. 고려하는 방법으로 첫 번째는 DC계수를 워터마크 삽입 대상에서 제외하는 것이다. 두 번째는 AC 계수 중에 수치가 낮은 계수에는 삽입하지 않는 것이다. 상기 방법은 경험적인 방법으로도 증명한 내용이다. 상기 화질 열화를 피하는 방법 중 두 번째를 위해서 임 계치를 설정하고 임계치 이하의 계수에는 삽입하지 않는다. 워터마크를 삽입하는 방법은 DCT블록의 AC계수 중에서 임계치보다 높은 계수에 룩업 테이블과 워터마크 이미지와 링크 정보를 XOR(Exclusive-OR)한 값을 삽입한다. 본 발명에서 언급한 링크 정보는 화질 열화 문제와 관련이 있다. 링크 정보를 언급하기 이전에 영상에서의 평탄 영역(Flat Region)과 비 평탄 영역(Non Flat Region)에 대해서 먼저 정의하겠다. 본 발명에서 정의한 평탄 영역은 하나의 DCT블록에 존재하는 모든 AC계수(8*8 블록에서는 63개)가 임계치를 넘지 못하는 영역이다. 이와는 반대로 하나 이상의 AC계수가 임계치를 넘는 블록은 비 평탄 영역이라고 정의한다. 워터마크를 삽입하는 관점에서 본다면, 화질 열화를 고려했을 때 평탄 영역은 워터마크를 삽입하지 않은 블록이고 비 평탄 영역은 워터마크를 삽입한 블록이다. 본 발명에서 정의한 링크 정보의 목적은 영상의 모든 영역에서 신뢰성을 인증하는 것이다. 본 발명에서 정의한 링크 정보의 개념은 평탄 영역을 순차적으로 링크시켜서 비 평탄 영역과 연결시킬 때 필요한 정보를 가지고 있는 공간이다. 링크 정보를 활용한 효과는 화질 열화를 최소로 줄이면서 영상의 모든 블록이 (평탄 영역까지) 신뢰성 인증 가능한 영역이 되는 것이다. 본 워터마킹 모듈의 룩업 테이블과 워터마크 데이터는 필요에 따라 데이터를 변경하도록 할 수 있다. 이 값들은 인증을 하기위한 비밀 키와 같은 역할을 한다. 본 발명의 실시 예에서 룩업 테이블은 참조 값과 방향성 정보로 이루어진다. 룩업 테이블(LUT)은 LSB 8비트를 입력으로 하여 256만을 갖게 하였다. 룩업 테이블이 크면 클수록 인증의 신뢰도가 높아지며, 최대 4095개 까지 늘릴 수 있다. 여기서 4095개는 MPEG2의 계수범위인 -2047 ~ +2047을 포용하는 개수를 말한다. 먼저 룩업 테이블(LUT)은 입력 데이터 중 하위 8비트에 해당하는 테이블 값을 넘겨준다. 이 때 룩업 테이블 출력 비트의 반대되는 값은 룩업 테이블의 구성상 +1 또는 -1에 위치하게 한다. 워터마크를 삽입하는 과정에서 현재 데이터를 유지할 것인가 아니면 룩업 테이블 값이 반대되는 데이터로 결정할 것인가는 룩업테이블의 값뿐만 아니라 워터마크 데이터와 링크 버퍼 데이터의 값에 의해 결정된다. 만약 입력 데이터가 평탄영역의 데이터라면 링크 버퍼를 갱신하게 된다. 룩업 테이블(LUT) 방향성 정보를 만들 때 먼저 N을 빼 주는 쪽으로 설정하는 것이 열화 정도의 영향에 좋다.

이하, 자세한 설명은 본 발명의 구성 및 실시 예를 첨부한 도면을 참조하면서 설명하기로 한다.

도 1은 JPEG 기반의 워터마크 삽입 과정 블록도를 나타낸 그림이다. 도 1을 참조해서 워터마크 삽입 기법에 대해서 설명하면, DCT(Discrete Cosine Transform :　이산 여현 변환)와 양자화(Quantization)를 거친 계수가 임계치 이하일 경우, 즉 평탄 영역일 경우에는 룩업 테이블 값이 링크 버퍼에 저장된다. 비 평탄 영역일 경우에는 링크 버퍼와 워터마크 데이터가 XOR한 값이 룩업 테이블과 동일한 값을 취하도록 DCT 계수를 변경하는 방법으로 삽입된다. 본 발명의 실시 예에서는 룩업 테이블을 2차원 배열로 구성하여 참조 방향과 해당 계수에 대한 출력치를 별도로 관리하였다. 물론 상기 언급하였듯이 룩업 테이블과 워터마크 이미지는 제작자 임의대로 설정해서 활용할 수 있다.

도 2는 워터마크로 삽입 될 비트를 결정하는 사례이다. DCT 블록의 첫 번째 비트는 DC 계수이므로 비교 대상에서 제외시킨다. AC계수를 해당하는 룩업 테이블 값으로 변경시킨 뒤 계수에 해당하는 룩업테이블 출력치와 워터마킹 데이터와 링크 버퍼를 XOR(Exclusive-OR)한 값을 워터마크 삽입 비트로 결정한다. 평탄 영역일 경우에는 결정된 워터마크 삽입 비트를 링크 버퍼 정보로 저장하고 비 평탄 영역일 경우에는 결정된 워터마크 삽입 비트를 삽입한다.

도 3은 MPEG2 인코딩 과정에서 순차 연결 워터마크 삽입 기법을 보여주는 블록도이다. MPEG2 인코딩 과정이 JPEG 압축과정과 가장 크게 다른 점은 시간적 중복성을 제거하는 모듈이 추가적으로 존재한다는 것이다. 원본 영상을 DCT와 양자화 과정을 거친 이후에 시간적 중복성을 제거하기 위해서 역 양자화와 역 DCT과정을 거쳐 시간상의 다른 영상을 비교해서 중복되는 부분을 제거한 뒤 다시 DCT와 양자화를 거치는 것이다. 워터마크를 삽입하는 과정은 양자화 과정이 끝나고 가변길이 부호화 하기 이전에 일어나므로 상기 시간적 중복성을 제거하기 위한 과정으로부터 크게 영향 받지 않는다.

도 4는 MPEG2 디코딩 과정에서 순차 연결식 추출 기법을 보여주는 블록도이다. JPEG 역시 MPEG2와 동일하다. 도 4를 참조해서 설명하면 링크버퍼와 룩업 테이블을 사용하는 방법은 동일하고 삽입 때와 다른 점은 워터마크 이미지가 필요 없다는 점이다. 워터마크가 삽입된 동영상이라면 워터마크 이미지가 나올 것이고 삽입되지 않은 영상이라면 워터마크 이미지가 안 나올 것이다. 검출된 워터마크 이미지를 비교해서 원본 영상 비트 스트림에 워터 마크가 삽입되었었는지를 판별할 수 있다.

도 5는 가상 공격(영상 위/변조)시나리오 블록도이다. 본 발명이 속하는 워터마킹 분야가 프래절(Fragile)워터마크이므로 기하학적 변형 같은 아주 약한 공격에도 쉽게 워터마크가 깨져버린다. 워터마크가 깨진 영상은 법정에서 증거 자료로 활용될 수 없다. 이 점을 역이용하여 워터마크를 유지하면서 영상을 변경하려고 할 수 있다. 본 발명은 상기 내용을 가상 공격 시나리오라 정의하고, 가상 공격 시나리오 과정을 도 5에 블록도를 통해 보였다. 도 5를 참조해서 설명하면 워터마크를 유지하면서 영상의 일부분을 수정하고자 하기 위해 수정 대상이 되는 워터마크 삽입된 비트스트림과 수정 영상을 합성하였다.

도 6은 상기 도면들을 참조해서 만든 영상(위/변조 영상)과 검출된 워터마크를 나타내는 그림이다. 도 6을 참조해서 설명하면 흰색과 검은색은 삽입한 워터마크 이미지이고, 파란 색은 평탄 영역, 빨간 색은 수정이 확실한 영역, 자주색은 ‘수정이 있었을 수도 있다‘라고 추측하는 영역이다. 평탄 영역을 수정하였을 경우 평탄 영역 자체에는 워터마크 정보를 삽입하지 않았으므로 추측하는 영역이라고 할 수 있다. 물론 추측 영역이라도 있으면 그 위치 영상은 신뢰할 수 없음을 의미한다.

상기 설명은 본 발명의 바람직한 실시 예의 하나로 실제에서는 적용되는 상황에 따라 내용을 유지하면서 변경이 가능하다.

Claims

JPEG/MPEG 디지털 영상의 위/변조 위치 검출용 및 신뢰성 인증용 워터마크를 삽입 또는 검출하기 위한 시스템에 있어서,

상기 위의 과정으로부터 출력된 계수를 룩업테이블을 이용하는 단계;

상기 평탄 영역과 비 평탄 영역을 임계치를 두어 분리해내는 단계;

상기 평탄 영역을 비 평탄 영역과 순차적으로 링크시키는 단계;

상기 워터마크 영상 데이터와 링크 버퍼 및 룩업 테이블을 비교해서 디지털 영상 데이터의 워터마크 데이터 삽입 방법
디지털 영상 데이터의 워터마크 데이터를 삽입하기 위한 시스템에 있어서,

상기 제작자가 임의로 임계치를 설정하여 워터마크의 삽입 강도를 유연하게 결정할 수 있는 구조를 특징으로 하는 워터마크 데이터 삽입 방법
디지털 영상데이터의 워터마크 데이터를 삽입하기 위한 시스템에 있어서,

상기 룩업테이블은 제작자가 임의대로 결정한 방향성 정보와 값을 가지는 M차원 테이블을 특징으로 하는 디지털 영상데이터의 워터마크 데이터 삽입 방법
디지털 영상데이터의 워터마크 데이터를 삽입하기 위한 시스템에 있어서,

상기 링크 버퍼는 워터마크를 삽입할 수 있는 비 평탄 영역이 나올 때 까지 계속 링크하여 인증가능 영역을 영상의 모든 영역으로 넓히는 것을 특징으로 하는 디지털 영상데이터의 워터마크 데이터 삽입 방법
디지털 영상데이터의 워터마크 데이터를 삽입 및 검출하기 위한 시스템에 있어서,

영상의 전 영역에 걸쳐서 계수 블록 크기로 원본 영상의 위변조 여부를 검출하기 위해 평탄 영역에는 다음 영역으로 링크를 걸고 비 평탄 영역에는 워터마크를 삽입하는 것을 특징으로 하는 디지털 영상데이터의 워터마크 데이터 삽입 방법
디지털 영상데이터의 워터마크 데이터를 삽입하기 위한 시스템에 있어서,

상기 링크 버퍼와 룩업 테이블 및 워터마크 이미지를 통해 삽입할 비트를 추 정하는 연산을 특징으로 하는 워터마크 데이터 삽입 방법
디지털 영상데이터의 워터마크 데이터를 검출하기 위한 시스템에 있어서,

상기 링크 버퍼를 이용함으로써 화질 열화 정도를 최소화하면서 영상의 모든 영역이 인증이 가능하도록 인증 가능 영역을 확대하는 것을 특징으로 하는 워터마크 추출 방법