KR101310140B1 - 가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법 - Google Patents

Abstract

본 발명은 JPEG 영상 압축 포맷에 워터마킹 알고리즘을 적용하여 화질의 손상 없이 무결성을 인증함으로써, 이미지 콘텐츠의 신뢰성과 실용성을 동시에 보존할 수 있는 영상의 무결성 여부를 인증하는 방법에 관한 것으로, (a) 원본 영상에 대한 색공간 변환, 이산 코사인 변환(이하, 'DCT'라 함) 및 양자화 과정을 거쳐 양자화 DCT 계수를 추출하는 단계; (b) 추출된 상기 양자화 DCT 계수를 이용하여 인증코드를 생성하고, 생성된 인증코드를 상기 양자화 DCT 계수에 삽입하여 워터마킹하는 단계; (c) 워터마킹 양자화 DCT 계수를 엔트로피 코딩하여 압축 영상을 생성하는 단계; (d) 상기 압축 영상을 엔트로피 디코딩하여 상기 워터마킹 양자화 DCT 계수를 복원하는 단계; (e) 복원된 상기 워터마킹 양자화 DCT 계수로부터 인증코드를 추출하여 상기 양자화 DCT 계수를 복원하는 단계; (f) 복원된 상기 양자화 DCT 계수를 역양자화, 역 DCT 및 색공간 변화를 거쳐 원본 영상을 복원하는 단계; (g) 복원된 상기 원본 영상에서 인증코드를 재생성하는 단계; 및 (h) 상기 (e) 단계에서 추출된 인증코드와 상기 (g) 단계에서 재생성된 인증코드를 비교하여 영상의 무결성을 확인하는 단계;로 이루어지는 것을 특징으로 한다.

Description

가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법{Integrity checking Process of Image using Reversible Watermarking Process Tecjnique}

본 발명은 영상의 무결성 인증 방법에 관한 것으로, 더욱 상세하게는 JPEG 영상 압축 포맷에 워터마킹 알고리즘을 적용하여 화질의 손상 없이 무결성을 인증함으로써, 이미지 콘텐츠의 신뢰성과 실용성을 동시에 보존할 수 있는 영상의 무결성 여부를 인증하는 방법에 관한 것이다.

하드웨어 및 소프트웨어의 발달로 인해 동영상, 사진, 음악, 출판문서 등의 멀티미디어 콘텐츠 생산과 보급이 확대되었고, 관련 서비스가 등장하면서 매년 그 시장 규모가 커지고 있다. 멀티미디어 콘텐츠는 전자적으로 저장, 유통되는 디지털 데이터의 특성상 콘텐츠의 복제와 변형이 쉽고, 위변조와 불법적인 유통 문제가 발생하기 쉽다. 따라서 콘텐츠 시장의 규모가 커지고, 멀티미디어 데이터를 조작할 수 있는 고성능 하드웨어의 보급이 가속화되면서 멀티미디어 콘텐츠에 적용 가능한 보안 기술의 중요도는 날이 갈수록 높아지고 있다.

특히, 의료, 군사, 예술 등 많은 분야에서는 멀티미디어 데이터의 신뢰성과 보안성 등이 중요한 기준으로 요구된다. 감시카메라 영상이나 차량의 블랙박스 영상의 경우 조작으로 인해 인적, 물적 피해를 유발하거나 법적 증거자료로서의 기능을 잃을 수 있다. 의료용 영상의 경우 환자의 건강이나 생명과 직결될 수 있는 분야이므로 이러한 영상 데이터들은 높은 신뢰성이 요구된다.

디지털 워터마킹 알고리즘은 크게 강인성 워터마킹(Robust Watermarking) 알고리즘과 연성 워터마킹(Fragile Watermarking) 알고리즘의 두 종류로 분류된다. 강인성 워터마킹 알고리즘의 대부분은 영상 변형이나 왜곡 등으로 인해 영상이 공격을 받더라도 최대한으로 워터마크 데이터를 보호할 수 있는 방향으로 설계되었기 때문에 데이터의 은닉이나 보존을 위한 워터마킹 분야에 적절하다. 영상 인증이나 무결성 보장을 위해 사용되는 워터마킹 알고리즘은 연성 워터마킹 알고리즘이 적합하다. 연성 워터마킹 알고리즘은 공격에 의해 쉽게 워터마크 데이터가 손상되어 영상의 원본 여부 인증에 유용하기 때문이다.

가역 워터마킹은 연성 워터마킹 기술의 하나로, 영상에 삽입한 워터마크를 제거하여 원본 영상을 일부 복원 또는 완전 복원이 가능하다. 기존의 영상 인증을 위하여 연구된 가역 워터마킹 기술들은 주로 압축이 적용되지 않은 이미지에 대해 워터마크를 삽입하고 검출하는 방식이었는데, 이러한 방식은 이미지의 압축 과정에서 워터마크가 쉽게 손상되는 단점이 있어 영상을 압축하여 저장하는 영상 포맷에 대해서는 적용하기 어려워 실용성이 떨어지는 문제가 있었다.

영상 인증 기술과 관련한 선행기술에 있어서, 참고문헌[1]과 참고문헌[2]에서는 의료용 영상에서 원본 여부를 검증하기 위한 인증 데이터나 환자 정보를 기록하기 위한 방법으로 LSB에 데이터를 삽입하는 방법을 제안하였다. LSB 기반 워터마킹 알고리즘의 단점으로는 보안이 취약하다는 점이다. 픽셀 데이터의 LSB값을 단순히 워터마크 데이터로 치환하는 경우 LSB 데이터를 위조된 다른 영상에 복사하는 것만으로 쉽게 위변조가 가능하기 때문이다.

참고문헌[3]에서는 디지털 영상에서의 인증과 변형 검출 및 저작권 보호를 목적으로 하는 DWT기반 다중 워터마킹 기술을 제안하였다. 영상의 변형 위치 검출을 위해 저주파 영역인 LL밴드의 LSB에 워터마크 정보를 삽입하고, 저작권 보호를 위해 고주파 부분의 웨이블릿 계수를 교환하여 워터마크 정보를 삽입하였다.

참고문헌[4]에서는 영상의 위변조 탐지 및 복구를 위한 계층적 데이터 은닉 기법을 제안하였다. 하지만 이들 방법들은 워터마크를 삽입한 후 원본을 복구할 수 없는 비가역적 워터마킹 알고리즘이기 때문에 영상의 품질이 중요한 분야에서는 그 활용도가 떨어진다.

참고문헌[5]에서는 영상의 히스토그램 보정을 이용하여 DCT 변환 영역 중 고주파 영역의 계수 조정을 통해 워터마크를 삽입하는 방식을 제안하였는데, 삽입 과정에서 명도 히스토그램에 대한 조정 과정을 거쳐 영상 전체에 대한 손실이 일어나고, 삽입한 워터마크를 삭제하고 원본을 복원하기 어려워 워터마킹 알고리즘의 가역성이 떨어지는 단점이 있다.

멀티미디어 콘텐츠는 필연적으로 데이터의 양이 크기 때문에 JPEG 압축 등 처리 과정을 포함하게 되고, 이와 같은 처리 과정은 워터마크의 측면에서 공격으로 간주되고, 이들 공격에 강인성을 확보한 영상 인증 기술들에 대한 연구가 참고문헌[6] 내지[8] 등에서 계속 진행되고 있다.

영상의 품질이 중요한 이슈가 되는 이미지 콘텐츠를 위한 워터마킹 기술로는 주로 가역 워터마킹 기술이 이용된다. 가역 워터마킹 기술은 콘텐츠에 대한 원본 여부 인증이나 은닉 정보 추출 과정을 거친 후 콘텐츠의 원본 화질을 일부 또는 전부 복원할 수 있다. 가역 워터마킹에 대한 연구들은 지각적 투명성 및 완전한 가역성을 보장하기 위해 각기 다른 영상의 특징을 이용하여 메시지를 삽입한다.

이와 관련하여, 참고문헌[9]에서는 무손실 압축 기법을 사용하여 비트평면을 압축한 후 빈 공간에 메시지를 삽입하였으며, 참고문헌[10]에서는 주파수 영역에서의 변환 계수에 데이터를 삽입하였다.

참고문헌[11]에서는 JPEG 압축 과정 중 무손실 처리과정 상의 데이터에 워터마크를 삽입하는 가역 워터마킹 알고리즘을 제안하였는데, 삽입 과정에서 발생하는 화질 저하를 줄이기 위해 양자화 테이블에의 삽입 영역을 제한하여 워터마크를 삽입하는 방식을 사용하였다. 그러나 그레이(gray) 영상의 단일 채널에 대해 워터마크를 삽입하는 방법으로, 컬러 영상에 그대로 적용하기에 무리가 있다.

참고문헌[12]에서는 영상의 점진적 차이값 히스토그램을 이용하여 데이터를 삽입하는 가역 워터마킹 알고리즘을 제안하였다. 하지만 차이값 히스토그램을 이용하는 방법은 삽입시 발생하는 오버플로우 문제에 대한 대안으로 부가적인 데이터의 은닉 또는 별도 전송을 필요로 한다.

한편, 일반적인 JPEG 압축 알고리즘은 도 1에 도시된 바와 같이, 크게 손실 압축 과정과 비손실 압축 과정의 2단계로 이루어진다. 손실 압축 과정은 색공간 변환, 이산 코사인 변환, 양자화 과정 등으로 구성되며 데이터 손실이 발생한다. 비손실 압축 과정은 run-length encoding과 huffman coding이 포함된 엔트로피 부호화 단계로 구성되며 데이터 손실이 없다.

구체적으로 살펴보면, 손실 압축 단계에서는 우선 각 픽셀의 RGB 데이터를 YCbCr 데이터로 변환한다. YCbCr 색공간은 NTSC나 PAL 방식의 컬러텔레비전 전송에 사용되는 색공간과 유사하다. Y 성분은 픽셀의 휘도 정보를 가지고 있으며, Cb와 Cr 성분은 색상 정보를 가지고 있다. 사람의 눈이 색상 성분보다 휘도 성분에 더 민감하기 때문에 색상 정보를 더 많이 압축하기 위해서 YCbCr 색공간으로 변환한다. 색공간 변환 시 실수 연산이 일어나기 때문에 정보가 완전히 보전되지 않는다. 따라서 이후의 양자화 과정을 거치지 않더라도 원본과 완전히 일치하지는 않는다. JPEG 압축 알고리즘에서는 크로마 서브샘플링 과정을 통해 Cb와 Cr 성분의 수를 줄여 압축률을 높이는 과정이 있는데, 이 과정에서 워터마크 삽입시의 저장용량과 워터마크 삽입 영상의 화질 보존이 어려운 점이 있다.

색공간 변환 후, 전체 영상을 8x8 사이즈의 블록 단위로 나누고, 각각의 블록에 대해 이차원 이산 코사인 변환(DCT : Descrete Cosine Transform)을 이용해 주파수 공간으로 변환한다. 사람의 눈은 고주파의 명도 변화에서는 그 구별능력이 떨어진다. 이 사실에 근거하여 주파수 영역의 각 성분에 대해 도 2에 도시된 바와 같은 특정한 양자화 테이블로 나누고 정수 몫만을 취함으로써 고주파 성분 정보의 많은 부분을 버릴 수 있다. 전체 JPEG 압축 단계 중 이 단계에서 가장 많은 데이터 손실이 발생한다. 이 단계를 거치면 대부분의 고주파 성분들은 0 또는 0에 근접한 양수 혹은 음수가 된다.

그리고, 비손실 압축 단계에서는 JPEG 압축의 기본 단위인 8x8 크기의 DCT 블록의 격자 성분들에 대해 zig-zag 정렬을 통해 저주파 성분에서 고주파 성분 순으로 정렬한 뒤 반복되는 0에 대해 run-length encoding을 적용하고, 그 결과에 대해 huffman coding을 수행한다. huffman coding 대신에 arithmetic coding도 가능하다.

- 선행기술 참고문헌 -

[1] X. Q. Zhou, H. K. Huang, S. L. Lou, "Authenticity and integrity of digital mammography images," IEEE Trans. Medical Imaging, Vol. 20, No. 8, pp. 784-791, 2001.

[2] A. U. Rajendra, D. Anand, B. P. Subbanna, U. C. Niranjan, "Compact storage of medical images with patient information," IEEE Trans. Information Technology in Biomedicine, Vol. 5, No. 4, pp. 320-323, 2001.

[3] 강태환, 장호현, 김동서, 주낙근, "이미지 인등과 변형 검출을 위한 DWT기반 다중워터마킹", 한국콘텐츠학회 추계종합학술대회 논문집, Vol. 3, No. 2, pp. 480-484, 2005.

[4] P. L. Lin, C. K. Hsieh, P. W. Huang, "A hierarchical digital watermarking method for image tamper detection and recovery," Pattern Recognition, Vol. 38, No. 12, pp. 2519-2529, 2005.

[5] 김효철, "히스토그램 보정을 이용한 고신뢰성 영상 인증 기법," Journal of Korea Multimedia Society, Vol. 13, No. 7, pp. 1088-1094, 2010.

[6] A. Shiozaki, M. Iwata, A. Ogihara, "Reversible Watermarking Method for JPEG Image," IEICE Trans. on Information and Systems, Vol. E91-D, No. 7, pp. 2068-2071, 2008.

[7] X. Shi, F. Liu, D. Gong, and J. Jing, “An Authentication Watermark Algorithm for JPEG images," Proc. of the International Conference on Availability, Reliability and Security, pp. 584-588, 2009.

[8] X. Wang, J. Wang, and H. Peng, "A Semi-fragile Image Watermarking Resisting to JPEG Compression," Proc. of the International Conference on Management of e-Commerce and e-Government, pp. 498-502, 2009.

[9] M. U. Celik, G. Sharma, A. M. Tekalp and E. Saber, "Lossless generalized-LSB data embedding," IEEE Trans. on Image Processing, Vol. 14, No. 2, pp. 253-266, 2005.

[10] S. Lee, C. D. Yoo and T. Kalker, "Reversible image watermarking based on integer-to-integer wavelet transform," IEEE Trans. on Information Forensics and Security, Vol. 2, No. 3, pp. 321-330, 2007.

[11] 최학남, 김종원, 최종욱, 김학일, "JPEG 압축 영역에서의 리버서블 워터마킹", 정보처리학회논문지, Vol. 17, pp. 121-130, 2007.

[12] 여동규, 이해연, "차이값 히스토그램 기반 가역 워터마킹을 이용한 블록 단위 영상 인증 알고리즘", 정보처리학회논문지, 2011 (in press).

본 발명에서는 JPEG 압축과정 중 양자화가 끝난 데이터에 특정한 워터마크를 삽입하는 방법을 제공하며, 수정 및 위조 공격의 최종 단계에서 발생하는 이미지 재저장시의 손상을 공격의 주요한 근거로 가정하고 이미지의 변형을 탐지함으로써, 영상의 무결성을 인증하는 방법을 제공하는 것을 목적으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명의 가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법은, (a) 원본 영상에 대한 색공간 변환, 이산 코사인 변환(이하, 'DCT'라 함) 및 양자화 과정을 거쳐 양자화 DCT 계수를 추출하는 단계; (b) 추출된 상기 양자화 DCT 계수를 이용하여 인증코드를 생성하고, 생성된 인증코드를 상기 양자화 DCT 계수에 삽입하여 워터마킹하는 단계; (c) 워터마킹 양자화 DCT 계수를 엔트로피 코딩하여 압축 영상을 생성하는 단계; (d) 상기 압축 영상을 엔트로피 디코딩하여 상기 워터마킹 양자화 DCT 계수를 복원하는 단계; (e) 복원된 상기 워터마킹 양자화 DCT 계수로부터 인증코드를 추출하여 상기 양자화 DCT 계수를 복원하는 단계; (f) 복원된 상기 양자화 DCT 계수를 역양자화, 역 DCT 및 색공간 변화를 거쳐 원본 영상을 복원하는 단계; (g) 복원된 상기 원본 영상에서 인증코드를 재생성하는 단계; 및 (h) 상기 (e) 단계에서 추출된 인증코드와 상기 (g) 단계에서 재생성된 인증코드를 비교하여 영상의 무결성을 확인하는 단계;로 이루어지는 것을 특징으로 한다.

여기서, 상기 (b) 단계의 인증코드 생성은, 상기 (a) 단계를 통하여 양자화된 DCT 계수를 얻고, 얻은 상기 양자화 DCT 계수에서 zig-zag 순으로 n개의 최상위 값을 선택하여 생성하는 것을 특징으로 하고, 상기 (b) 단계의 인증코드 삽입은, 상기 양자화 DCT 계수 중 양수 값들을 쉬프팅시키고, 0과 쉬프팅된 양수 값 사이에 인증코드를 삽입하는 것을 특징으로 하며, 상기 (g) 단계의 인증코드 재생성은, 상기 (f) 단계에서 복원된 상기 원본 영상을 DCT 변환 및 양자화하여 양자화 DCT 계수를 추출하여 생성하는 것을 특징으로 한다.

삭제

본 발명의 워터마킹 알고리즘은 JPEG 이미지 압축 표준을 기반으로 JPEG 압축 과정에서 삽입하여 활용할 수 있어 높은 활용도가 기대된다.

또한, 수정 후 재저장 공격에 민감하여 이미지의 원본성 및 무결성을 확실하게 판단해 낼 수 있다.

또한, 샘플링된 이미지 블록의 DCT 계수를 인증코드로 사용하여 인증코드 삽입 위치에 따라 이미지 손상시에 부분적인 복원이 가능하다. 삽입된 워터마크를 제거하여 워터마크가 삽입되지 않고 압축된 JPEG 이미지 수준의 화질을 복원할 수 있다.

도 1은 JPEG 파일의 일반적인 압축 과정을 나타낸 도면,
도 2는 JPEG 압축 과정에 사용되는 표준 양자화 테이블을 나타낸 도면,
도 3은 본 발명의 실시예에 따른 JPEG 파일의 압축 과정을 나타낸 도면,
도 4는 본 발명의 실시예에 따른 인증코드 생성 및 삽입 과정은 나타낸 도면,
도 5는 본 발명의 실시예에 따른 히스토그램 쉬프팅을 통한 워터마크 삽입 과정을 나타낸 도면,
도 6은 본 발명의 실시예에 따른 이미지 인증 및 워터마크 제거를 통한 이미지 복원 과정을 나타낸 도면,
도 7은 본 발명의 실시예에 따른 히스토그램 복원 과정을 나타낸 도면,
도 8은 본 발명의 실시예에 따른 JPEG 압축 영상을 예시한 도면, 및
도 9는 도 8의 JPEG 압축 영상에 대한 워터마크 삽입 영상과 미삽입 영상의 차이를 보인 도면이다.

JPEG 압축 알고리즘은 전 세계적으로 가장 많이 쓰이는 영상 압축 알고리즘 중의 하나이다. 본 발명에서는 JPEG 표준을 따르는 영상 압축 알고리즘에 적용할 수 있는 워터마킹 기법을 제안한다. 본 발명의 워터마킹 기법은 연성 워터마킹 알고리즘으로, 영상에 대한 수정에 민감하여 워터마크가 쉽게 손상된다. 따라서 영상에 대한 수정 등의 공격이 발생되는 경우에 영상의 변형 여부를 탐지할 수 있다. JPEG 압축표준에서 압축률은 DCT 계수의 양자화 시에 사용하는 양자화 테이블의 배수에 의해 결정되고, 이로 인하여 영상을 일부 수정 후 재저장 또는 압축비율 변경 후 재저장하게 되면 양자화된 DCT 계수 데이터에 삽입한 워터마크 데이터가 손상된다. 본 발명에서는 수정 및 위조 공격의 최종 단계에서 발생하는 이미지 재저장시의 손상을 공격의 주요한 근거로 가정하고 이미지의 변형을 탐지하게 된다.

본 발명의 알고리즘에 의해 생성된 JPEG 파일은 JPEG 압축 포맷과 호환되고, 워터마크 삽입시에 이미지의 화질 저하나 변형이 크지 않다. 따라서 본 발명의 알고리즘을 통해 생성되는 JPEG 이미지는 일반적인 이미지 뷰어로 영상을 확인하거나 출력할 수 있다.

또한, 본 발명의 JPEG 압축 알고리즘은 손실 압축 과정 후에 비손실 압축 과정을 거친다. 다시 말해 인코딩 과정에서 데이터 손실이 일어나는 손실 압축 과정을 거친 후의 데이터는 비손실 압축과정을 거쳐 디코딩 과정의 엔트로피 디코딩 과정까지 보존된다. 따라서 JPEG 압축과정 중 양자화가 끝난 데이터에 특정한 워터마크를 삽입하면 영상 압축과 동시에 삽입된 워터마크를 보존하는 것이 가능하다는 점에 착안하여 워터마크 삽입방식을 설계하였다.

본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 바람직한 실시예들에 의해 명확해질 것이다. 이하 첨부된 도면을 참조하여, 인증 코드를 생성하고 워터마크를 삽입하면서 JPEG 영상 파일을 압축하는 과정과, JPEG 영상 파일을 복원하면서 워터마크를 추출하고 복원 영상을 인증하는 과정을 구분하여 살펴보기로 한다.

[인증코드 생성 및 삽입]

도 3은 본 발명의 실시예에 따른 JPEG 파일의 압축 과정을 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 인증코드 생성 및 삽입 과정은 나타낸 도면이며, 도 5는 본 발명의 실시예에 따른 히스토그램 쉬프팅을 통한 워터마크 삽입 과정을 나타내내 도면이다.

JPEG 압축 방식의 기본 블록 사이즈는 8x8픽셀이고, 본 발명의 실시예에 따른 영상 인증 방식은 16x16픽셀 크기의 블록단위로 이루어진다. 인증률을 높이고 오탐지 확률을 최소화 하기 위해서 충분한 길이의 인증코드를 사용해야 하는데, 64비트 길이의 인증코드를 사용할 경우 생성될 수 있는 인증코드의 종류는 2⁶⁴가지이므로 우연에 의해 오탐지될 확률은 1/2⁶⁴, 즉 5.42101E-20로 현실적으로 거의 발생하지 않는다고 볼 수 있다. 그러나 64비트 길이의 인증코드를 8x8 블록에 삽입할 경우 화질의 열화가 심하다는 것을 실험을 통하여 확인하였다. 따라서 본 발명에서는 16x16 블록단위로 인증코드를 생성한 후, 4개의 8x8 서브블록에 16비트씩 분할하여 삽입하는 방식을 사용한다.

인증코드를 생성하고 및 워터마크를 삽입하는 전체 과정은 도 3에 나타나 있다. 도시된 바와 같이, DCT와 양자화를 거친 DCT 블록 데이터는 이전 단계에서 손실이 모두 일어난 상태이므로, 양자화된 DCT 블록(이하, QDCT 블록) 데이터의 히스토그램을 기반으로 인증코드를 삽입한다. 인증코드는 손실 압축 과정에서 16x16 픽셀 단위의 영상 블록에 대해 DCT 변환을 통하여 생성한다. DCT변환을 이용해 생성된 인증코드는 영상 일부의 손실이 일어날 경우 손실 영상에 대한 부분적인 복원에 활용할 수도 있다. 인증코드 생성 방식은 참고문헌[12]의 인증코드 생성방식을 적용한다.

먼저, 인증코드 생성과정을 구체적으로 살펴보면, 인증코드는 16x16 블록을 8x8 그레이 이미지 블록으로 다운샘플링한 후 이산 코사인 변환을 통해 DCT 계수 블록을 생성한 다음, 이를 양자화 하여 양자화된 DCT 계수를 얻어내고, 이에 대해 zig-zag 순으로 최상위 8개 값을 64비트 인증코드로 사용한다. 인증코드 생성을 위한 DCT 계수 블록 양자화에 사용되는 양자화 테이블은 JPEG 압축단계에서 Y 채널의 DCT 계수 양자화에 이용되는 luminance quantization table을 사용한다. 만일 이미지의 일부가 공격을 통해 손상되었을 경우, 인증코드가 다른 블록에 보존된 상태라면 손상된 부분을 일부 복원하는데 인증코드를 이용할 수 있다.

그리고 인증코드를 삽입하는 과정을 구체적으로 살펴보면, 인증코드는 16x16 블록에 대해 생성되었고, JPEG 영상 압축은 8x8 블록 단위로 진행된다. 따라서 8x8 픽셀 크기의 블록 4개를 병합하여 하나의 인증 단위로 사용한다. 64비트의 인증코드 데이터를 4개의 16비트 데이터로 분할하여 16x16 블록을 구성하는 4개의 8x8 블록에 각각 삽입한다. 인증코드 데이터 삽입 방식은 양자화된 QDCT 블록 데이터에 히스토그램 쉬프팅 방식으로 삽입된다. 인증코드 분할과 히스토그램 쉬프팅에 의한 인증코드 삽입 방식은 도 4 및 도 5에 나타나 있다.

구체적으로 살펴보면, QDCT 블록 데이터에는 인증코드를 삽입하기에 충분한 수의 0이 존재한다. QDCT 블록 데이터를 구성하는 계수값 중 양수 값들을 쉬프팅 한 후, 원래 0과 1이 있던 자리에 워터마크 비트 패턴을 삽입한다. 양자화 테이블을 구성하는 상수가 양자화 과정에서 화질 저하에 미치는 영향을 고려하여 Y, Cb, Cr 채널의 QDCT 블록 데이터에 각각 8, 4, 4개의 비트 패턴을 삽입한다. 삽입시에 쉬프팅으로 인한 화질 저하를 최소화하기 위해 인증코드 데이터 삽입이 종료되는 위치까지의 양수 값들만 쉬프팅한다. 인증코드의 삽입은 다음의 규칙을 따른다.

1) QDCT 계수를 zig-zag 순서로 진행하며 삽입을 수행한다.

2) DC 성분은 삽입과 쉬프팅에서 제외한다.

3) 양수값은 우측으로 쉬프팅, 0 값을 수정하여 워터마크 비트패턴을 삽입하고, 음수값은 그대로 둔다.

4) 삽입이 종료된 이후의 양수 값들은 쉬프팅하지 않는다.

QDCT 계수 데이터는 양자화 테이블 특성상 zig-zag 순서의 앞쪽에 올수록 화질에 미치는 영향이 적다. 따라서 인증코드 데이터는 삽입시에 zig-zag 순서에 따라 전방에서 후방 순으로 삽입된다. DC 성분은 화질 저하에 미치는 영향이 크고, 또 0이 발생할 확률이 적기 때문에 DC 성분은 제외하고 쉬프팅이나 삽입이 이루어진다. 인증코드 데이터는 0과 1의 비트패턴 형태로 QDCT 계수 데이터의 0 자리에 삽입되고, 삽입이 끝날 때 까지 발견되는 양수만 우측으로 쉬프트 하게 되고, 삽입되지 않는 위치의 계수값들은 그대로 둔다. 그러므로 원래의 QDCT 값에서 ‘워터마크 삽입이 왼료되는 지점까지의 양수 성분’과 ‘워터마크 삽입 위치 중 1이 삽입되는 위치의 값’만 변경되므로 인증코드 삽입과정이 화질 저하에 미치는 영향은 미미하다.

이러한 인증코드 삽입과정은 수식 1을 따라 진행된다. ZQDCT는 zig-zag 순서로 배열된 QDCT이다.

[수식 1]

JPEG 이미지 압축 과정에서 QDCT 블록 데이터는 일반적인 압축비에서 최대 255를 넘지 않는 계수값이 발생한다. 또한 QDCT 블록 데이터는 엔트로피 인코딩 과정을 거친 후 파일로 저장하게 될 때 저장 비트수 기준 8비트를 초과하는 데이터를 허용하기 때문에 일반적인 이미지 워터마크 삽입 알고리즘에서 발생하는 오버플로우 문제는 발생하지 않는다. 따라서 오버플로우 맵과 같은 부가적인 정보의 저장 또는 전달이 필요하지 않다.

[워터마크 추출, 영상 복원 및 인증]

도 6은 본 발명의 실시예에 따른 이미지 인증 및 워터마크 제거를 통한 이미지 복원 과정을 나타낸 도면이고, 도 7은 본 발명의 실시예에 따른 히스토그램 복원 과정을 나타내내 도면이다.

본 발명의 알고리즘의 목적은 JPEG 포맷에서의 이미지 원본성을 보장하기 위한 알고리즘으로, JPEG 포맷의 이미지를 재저장하게 되면 수정 프로그램에 따라 압축 과정에서 사용하는 양자화 테이블이나 프로그램에 따른 압축률의 차이 등으로 기존의 DCT 계수 데이터가 변경되어 인증이 불가능해진다. 이러한 이미지 재저장 과정은 어떠한 공격 시나리오에서든 반드시 거쳐야 하므로 이미지의 원본성이 훼손된 중요한 증거라고 간주할 수 있다. 본 발명의 알고리즘에서 삽입된 워터마크는 재저장시에 이미지 전체 부분에 걸쳐 손상되게 되므로 콘텐츠의 변조 및 위조 여부를 민감하게 판단할 수 있다.

이미지의 인증 과정은 JPEG 디코딩 과정을 그대로 이용하되, 인증코드를 추출하는 부분과 비교용 인증코드를 재생성하는 부분, 그리고 QDCT 블록 데이터에서 인증코드를 제거하여 영상의 화질을 일반적인 JPEG 인코딩 이미지의 수준으로 복원하는 부분이 추가된다.

JPEG 디코딩 과정은 인코딩 과정의 역순으로 진행되고, 비손실 압축의 복원 과정인 엔트로피 디코딩 과정을 거치면 워터마크가 삽입된 8x8 픽셀 크기의 QDCT 블록 데이터를 취득할 수 있다. 인증코드 데이터는 Y 채널에서 8비트, Cb와 Cr 채널에서 각각 4비트씩 총 16비트 데이터를 추출한다. 16x16 픽셀 크기의 인증블록을 구성하는 4개의 8x8 픽셀 블록에서 추출된 16비트 데이터를 조합하여 64비트 인증코드를 복원한다. 이미지 인증 및 이미지 품질 복원 과정은 도 6에 나타나 있다. 인증코드의 검출은 수식 2에 제시된 것과 같이 양자화 계수값에 추출된다.

[수식 2]

이미지의 원본성 입증을 위해 인코딩 과정에서의 인증코드 생성방식과 같은 방식의 인증코드 생성과정을 거쳐 비교용 인증코드를 재생성한다. RGB 영상으로 복원된 16x16 블록의 이미지에 대해 DCT 변환, 양자화 등의 과정을 거쳐 재생성된 비교용 인증코드와 추출된 인증코드를 비교하여 이미지 인증을 수행한다.

인증코드가 삽입된 QDCT 계수 데이터는 양수 값들을 히스토그램 상에서 역쉬프팅 하는 것으로 원래의 데이터를 복원할 수 있다. 따라서 삽입된 워터마크를 추출하는 과정과 동시에 워터마크가 삽입되지 않은 이미지를 복원할 수 있다. 워터마크 삽입 과정에서 생성되는 인증코드는 삽입되지 않고 인코딩된 이미지를 기준으로 생성되므로, 복원된 이미지를 이용해 삽입과 동일한 과정으로 인증코드를 생성할 수 있고, 이를 추출된 인증코드와 비교하는 것으로 이미지 인증을 수행할 수 있다. 정상적으로 워터마크가 삽입되어 인코딩된 이미지는 추출된 인증코드와 재생성된 인증코드가 완전히 같아야 한다. 하지만 수정이나 압축 비율 변경 등의 공격을 통해 이미지가 변경되면 추출된 인증코드와 재생성된 인증코드가 달라지고, 따라서 이미지의 공격 여부를 판단할 수 있게 된다.

본 발명에서의 알고리즘은 가역 워터마킹 기반으로 개발되어 워터마크가 삽입된 JPEG 이미지에서 인증코드를 제거하여 워터마크가 삽입되지 않고 압축된 JPEG 이미지 수준의 화질로 복원할 수 있다. QDCT 블록 데이터에서 최상위 DC 성분을 제외한 나머지 성분들을 zig-zag 순으로 진행하면서 차례대로 조사하여, 삽입된 비트열 데이터가 채널당 삽입 개수만큼 추출될 때까지 출현하는 양수를 도 7에 도시된 바와 같이 역 쉬프팅하여 워터마크 삽입 전의 QDCT 블록 데이터로 복원한다. 엔트로피 디코딩과 인증 단계 이후의 역 양자화 과정과 역 이산 코사인 변환 등의 과정에서 복원된 QDCT 블록 데이터를 사용하여 워터마크가 삽입되지 않고 인코딩된 JPEG 이미지 수준의 화질을 복원한다. 영상 복원은 수식 3을 따라 진행된다.

[수식 3]

이하에서는, 본 발명의 알고리즘의 성능을 살펴본다. 도 8은 본 발명의 실시예에 따른 JPEG 압축 영상을 예시한 도면이고, 도 9는 도 8의 JPEG 압축 영상에 대한 워터마크 삽입 영상과 미삽입 영상의 차이를 나타낸 도면이다.

본 발명에서 제안한 알고리즘의 성능 실험을 위해 USC-SIPI(University of Southern California-Signal & Image Processing Institute) 이미지 데이터베이스의 8비트 컬러 512x512 사이즈 영상 8개를 사용하였으며 JPEG 포맷으로 압축된 이미지를 도 8에 나타내었고, 워터마크 삽입영상과 미삽입 영상의 차영상을 도 9에 나타내었다. 압축 영상과 워터마크 삽입 영상의 품질은 수식 4와 수식 5를 통해 계산된 PSNR(dB)로 측정하였다.

[수식 4]

[수식 5]

여기서, 변수 M과 N은 각각 이미지의 너비와 높이를 나타내고, p(i,j)는 원본 영상, p’(i,j)는 열화된 영상을 나타낸다. 워터마크가 삽입된 영상과 삽입되지 않은 영상은 실제로 아주 미세한 차이를 보이며, 육안으로 확인하기 어려운 정도의 화질 저하가 나타난다. 도 9에 제시된 차영상은 노이즈 발생 위치 확인을 위해 노이즈 픽셀 밝기를 조정하였다. 또한 가역 워터마킹 알고리즘을 사용하여 일반적으로 JPEG 알고리즘을 사용하여 압축된 이미지 수준의 품질을 복원할 수 있다. 이미지의 JPEG 압축과 워터마크 삽입시의 화질 차이를 표 1에 나타내었다.

워터마크 삽입 압축 영상과 미삽입 압축 영상의 PSNR 비교(단위:dB)

이미지	삽입 영상	미삽입 영상	차이
Airplane	34.33	37.68	3.35
Baboon	30.31	31.64	1.33
House	32.95	35.66	2.71
Lena	33.75	36.34	2.59
Pepper	33.02	35.16	2.14
Sailboat	31.82	33.55	1.73
Splash	35.18	38.42	3.24
Tiffany	33.68	36.13	2.45
평균	33.13	35.57	2.44

표 1에서 알 수 있는 바와 같이, 미삽입 이미지의 JPEG 압축시의 영상 품질은 원본대비 80~85%의 품질을 유지한다. 삽입 이미지에 대해 8비트 3채널 컬러이미지에서 8x8픽셀당 16비트 데이터를 삽입하였고, 더 많은 용량의 데이터를 삽입할 수 있으나 삽입 이미지의 화질이 저하되게 된다. 워터마크 삽입시에 일어나는 압축영상의 화질 저하는 PSNR을 기준으로 평균적으로 2.44dB로 크게 저하되지 않는다.

본 발명의 알고리즘은 JPEG 이미지 압축 방식에서 사용하기 위한 워터마크 삽입 방식으로, 워터마크 데이터를 삽입한 후의 영상 압축률 또한 성능평가의 척도가 될 수 있다. 압축률은 원본 이미지의 비트맵 포맷 파일과 변환된 JPEG 포맷 파일의 헤더 정보를 포함한 용량을 비교하였다.

워터마크 삽입 압축 영상과 미삽입 압축 영상의 원본대비 압축률 비교

이미지	삽입 영상	미삽입 영상	차이
Airplane	92.27%	93.77%	1.50%
Baboon	84.79%	86.69%	1.90%
House	90.26%	91.84%	1.58%
Lena	92.11%	93.77%	1.66%
Pepper	91.18%	92.90%	1.72%
Sailboat	89.37%	91.07%	1.70%
Splash	93.19%	94.59%	1.40%
Tiffany	92.00%	93.55%	1.55%
평균	90.65%	92.27%	1.63%

표 2에서와 같이, 미삽입 이미지의 JPEG 압축률은 원본대비 92.27%의 압축률을 보인다. 또한 본 발명의 실시예에 따라 워터마크를 삽입한 이미지의 경우 평균적으로 90.65%의 압축률을 보여, 압축 성능이 크게 저하되지 않음을 확인할 수 있다. 워터마크 삽입 과정에서 양자화된 DCT 계수 데이터에 포함되는 0의 개수가 적어지므로 비손실 압축 과정 중 run-length encoding 코딩의 특징에 의해 압축 성능 또한 삽입 데이터의 용량이 커질수록 저하될 수 있다.

살펴본 바와 같이, 본 발명의 실시예에 따른 워터마킹 알고리즘은 JPEG 이미지 압축 표준을 기반으로 JPEG 압축 과정에서 삽입하여 활용할 수 있어 높은 활용도가 기대된다. 또한 수정 후 재저장 공격에 민감하여 이미지의 원본성 및 무결성을 확실하게 판단해 낼 수 있다. 또한 샘플링된 이미지 블록의 DCT 계수를 인증코드로 사용하여 인증코드 삽입 위치에 따라 이미지 손상시에 부분적인 복원이 가능하다. 삽입된 워터마크를 제거하여 워터마크가 삽입되지 않고 압축된 JPEG 이미지 수준의 화질을 복원할 수 있다.

이상에서 본 발명에 있어서 실시예를 참고로 설명되었으나, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.

Claims (5)

1. (a) 원본 영상에 대한 색공간 변환, 이산 코사인 변환(이하, 'DCT'라 함) 및 양자화 과정을 거쳐 양자화 DCT 계수를 추출하는 단계;
   (b) 추출된 상기 양자화 DCT 계수를 이용하여 인증코드를 생성하고, 생성된 인증코드를 상기 양자화 DCT 계수에 삽입하여 워터마킹하는 단계;
   (c) 워터마킹 양자화 DCT 계수를 엔트로피 코딩하여 압축 영상을 생성하는 단계;
   (d) 상기 압축 영상을 엔트로피 디코딩하여 상기 워터마킹 양자화 DCT 계수를 복원하는 단계;
   (e) 복원된 상기 워터마킹 양자화 DCT 계수로부터 인증코드를 추출하여 상기 양자화 DCT 계수를 복원하는 단계;
   (f) 복원된 상기 양자화 DCT 계수를 역양자화, 역 DCT 및 색공간 변화를 거쳐 원본 영상을 복원하는 단계;
   (g) 복원된 상기 원본 영상에서 인증코드를 재생성하는 단계; 및
   (h) 상기 (e) 단계에서 추출된 인증코드와 상기 (g) 단계에서 재생성된 인증코드를 비교하여 영상의 무결성을 확인하는 단계;로 이루어지는 것을 특징으로 하는 가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법.
2. 제1항에 있어서, 상기 (b) 단계의 인증코드 생성은,
   상기 (a) 단계를 통하여 양자화된 DCT 계수를 얻고, 얻은 양자화 DCT 계수에서 zig-zag 순으로 n개의 최상위 값을 선택하여 생성하는 것을 특징으로 하는 가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법.
3. 제1항에 있어서, 상기 (b) 단계의 인증코드 삽입은,
   상기 양자화 DCT 계수 중 양수 값들을 쉬프팅시키고, 0과 쉬프팅된 양수 값 사이에 인증코드를 삽입하는 것을 특징으로 하는 가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법.
4. 제1항에 있어서, 상기 (g) 단계의 인증코드 재생성은,
   상기 (f) 단계에서 복원된 상기 원본 영상을 DCT 변환 및 양자화하여 양자화 DCT 계수를 추출하여 생성하는 것을 특징으로 하는 가역 워터마킹 기술을 이용한 영상의 무결성 인증 방법.
5. 삭제

Images