KR101026081B1

KR101026081B1 - 가역 워터마크 삽입, 추출 및 원본 영상 복원 방법

Info

Publication number: KR101026081B1
Application number: KR1020100005871A
Authority: KR
Inventors: 이해연
Original assignee: 금오공과대학교 산학협력단
Priority date: 2010-01-22
Filing date: 2010-01-22
Publication date: 2011-03-31

Abstract

추정 오차 확장 및 오류 예측 보정으로 통하여 고 삽입률, 고 비 인지성, 및 저 계산 복잡도를 갖는 가역 워터마킹용 히스토그램 변환 방법을 기반으로 한 가역 워터마크 삽입 및 원본 영상 복원 방법이 제공된다. 원본 영상의 각 픽셀의 밝기값과 삽입 반복 횟수의 비교 결과에 따라 상기 각 픽셀의 밝기값을 조정하는 방식으로 상기 원본 영상에 대한 예측 보정을 수행하여 오류 예측 보정된 영상을 생성하고 예측 보정이 이루어진 픽셀 오류 위치 정보 맵에 표시한다. 상기 오류 예측 보정된 영상에 있어서 원본 픽셀 값과 추정 픽셀 값 사이의 추정 오차를 계산하고, 추정 오차 히스토그램을 생성한다. 상기 추정 오차 히스토그램의 최대치에 해당하는 최대점을 검색하고, 상기 최대점보다 큰 히스토그램 위치 값을 갖는 픽셀을 쉬프트하여 워터마크 삽입 공간을 생성한다. 추정 오차가 히스토그램의 최대치에 해당하는 픽셀을 검색하여 워터마크의 값에 따라 추정 오차 값을 조정함으로써 메시지가 삽입된 차이값 영상의 밝기값을 얻는다. 상기 오류 예측 보정된 영상의 밝기값과 상기 추정 픽셀값을 갖는 영상의 밝기값의 비교 결과에 따라 상기 추정 픽셀값을 갖는 영상의 밝기값과 상기 메시지가 삽입된 차이값 영상의 밝기값을 연산하여 워터마크가 삽입된 영상을 생성한다.

Description

가역 워터마크 삽입, 추출 및 원본 영상 복원 방법{Reversible watermark inserting and original image restoring methods}

본 발명은 가역 워터마크 삽입, 추출 및 원본 영상 복원 방법에 관한 것으로, 보다 상세하게는 추정 오차 확장 및 오류 예측 보정을 통하여 가역적으로 워터마크를 원본 영상에 삽입하고, 추출한 후에 원본 영상을 복원하는 방법에 관한 것이다.

컴퓨터 기술의 발달로 디지털 콘텐츠가 범람함에 따라서, 이에 대한 지적 재산권 보호가 사회적인 이슈로 대두되고 있다. 암호화 기술은 디지털 콘텐츠를 보호하기 위한 방법 중에 하나이지만, 콘텐츠가 복호화된 후에는 불법적인 유통을 차단할 수가 없다. 반면에 디지털 워터마킹 기술은 콘텐츠 자체에 지적 재산권 보호를 위한 정보를 직접적으로 삽입하고, 불법적인 유통은 콘텐츠에 삽입된 정보를 검출함으로써 효과적으로 보호할 수 있다.

기존의 디지털 워터마킹 기술은 그 요구에 따라서 강인한 워터마킹, 연성 워터마킹, 반연성 워터마킹 등으로 구분할 수 있다. 그러나 이들 워터마킹 기술은 원본 콘텐츠의 품질을 희생하여 워터마크를 삽입하였다. 즉 원본 콘텐츠의 복원이 불가능한 문제점이 있다. 그러나 의료, 군사, 예술 작품 분야에서는 원본 콘텐츠 품질을 중요시하고, 추가적으로 지적 재산권에 대한 보호의 필요성이 증대되고 있다. 이에 따라 최근 워터마킹 기술은 원본 품질의 복원이 가능한 가역 워터마킹(reversible watermarking)에 대한 연구가 진행되고 있다.

가역 워터마킹의 주요한 요구사항은 높은 삽입 용량과 완벽한 가역성이다. 또한, 워터마크 검출 후에 원본이 복원 가능함에도 불구하고, 워터마크 삽입 후에 높은 영상의 품질, 즉 지각적인 투명성을 요구한다. 스테가노그라피(steganography)의 요구사항과 유사하게, 워터마크의 삽입을 인지하지 못하게 하여, 삽입된 워터마크에 대한 공격 가능성을 방지한다. 최근에는 상대적으로 자원 및 계산능력이 제한된 모바일 휴대 장치들의 다양화로 워터마킹의 계산 복잡도가 높지 않아야 한다. 이와 같은 가역 워터마킹 기술에 대해 이하에 간략히 정리하도록 하겠다.

기존 가역 워터마킹 기술들은 메시지를 삽입하는 방법이나 사용하는 도메인에 따라서 영상의 특정영역을 압축, 변환 도메인에서 삽입, 차이 값을 확장, 히스토그램 변환하는 4가지로 분류할 수 있다. 물론, 블록 단위 히스토그램 유사성을 통한 방법도 있으나 그 효율성이 부족하여 제외하였다.

압축방법을 활용한 종래의 워터마킹 기술은 워터마크를 삽입할 수 있는 공간을 확보하기 위하여 영상의 특정영역을 압축하고, 그 차이 부분에 워터마크를 삽입한다. Fridrich et al.은 공간 도메인 상에서 지정된 비트 평면을 JBIG 무손실 압축 기법을 이용하여 압축하고, 빈 공간에 메시지를 삽입하였다. 가역 워터마킹의 요구사항인 비지각성을 위하여 하위 비트평면에 워터마크를 삽입해야 하지만, 하위 비트평면은 잡음과 같은 특성이 있어서 압축 효율이 떨어지기 때문에 삽입할 수 있는 워터마크의 삽입량이 적다. 또는 압축효율이 높지 않을 경우 부가적인 정보로 인하여 삽입을 할 수 없는 경우도 발생한다.

Celik et al.은 최하위비트(Least Significant Bit, LSB)에 워터마크를 삽입하는 일반화된 알고리즘을 제안하였다. 압축의 효율을 향상하여 삽입 용량을 증대시키기 위하여 예측 기반 조건부 엔트로피 코딩 방법인 CALIC 무손실 압축 알고리즘을 적용하였다. 그러나 영상의 특정 비트평면을 압축하는 방법은 영상의 구조적인 특성과 사용된 압축 알고리즘의 성능에 따라서 결과가 다르며, 압축 성능이 높지 않아서 높은 삽입 용량을 달성하기 어렵다.

종래의 변환 도메인 워터마킹 기술은 비 인지성을 위하여 많이 사용된다. 공간 도메인에서 한 픽셀의 수정은 인지성에 직접적으로 연관되지만, 변환 도메인에서 한 계수 값은 다수의 픽셀에 연관되어 인지성에 크게 영향을 주지 않는다. 즉, 변환 도메인 상에서 하나의 계수 값을 크게 변경하여도, 공간 도메인 상에서 다수의 픽셀에 분할되어 작게 영향을 미치므로 인지되지 않는다. 가역 워터마킹도 이산코사인변환(discrete cosine transform) 도메인이나 이산 웨이블릿 변환(discrete wavelet transform) 도메인에서 워터마크의 삽입 및 검출에 대한 연구가 진행되어 왔다.

Yang et al.은 블록 단위의 정수형 이산코사인변환 후에 여러 AC 계수를 선택하여 메시지를 삽입하였다. Xuan et al.은 영상을 이산 웨이블릿 변환 후 고주파 서브밴드에서 정수 웨이블릿 계수의 가운데 비트평면에 메시지 비트를 삽입했다. Lee et al.은 영상의 블록에 정수 대 정수 웨이블릿 변환을 적용하여 각 블록의 고주파 웨이블릿 계수에 메시지 비트를 삽입했다. 이들 변환 도메인 방법들은 변환 영역에서 이루어지기 때문에 계산 복잡도가 높아서, 자원이나 계산 성능에 대한 요구가 높다는 단점을 가진다.

종래의 차이 값 확장방법에서는 영상에 존재하는 데이터 사이의 지역적 유사성(locality)에 기반하여 그 차이 값을 확장시키고, 확장으로 인하여 생성된 공간(비트)에 워터마크를 삽입하는 방법이다. 대표적인 차이 값 확장방법은 Tian에 의하여 제안되었다. 영상 픽셀들 사이의 차이 값과 평균값을 이용하여 특성값을 계산하고 이를 확장하고 생성된 공간에 메시지를 삽입하였다. 그러나 이 방법은 각 픽셀에 대하여 확장성, 변경성 등의 부가 정보가 필요하고 워터마크와 함께 삽입해야 하기 때문에 삽입 용량에 제한이 있다.

Alattar는 인접 픽셀들의 세 쌍(triplets)과 네 쌍(quads)을 이용하여 컬러 영상을 위한 차이 값 확장 방법과 Tian의 차이 값 확장방법을 정수형 웨이블릿 변환을 통하여 일반화된 차이 값 확장방법을 제안하였다. Kamstra and Heijmans는 어느 위치가 확장 가능한지 예측하는 기법을 적용하여 Tian 방법의 삽입 용량을 향상시켰다. Thodi and Rodriguez는 인접한 픽셀들 사이의 차이 값 확장이 아닌 공간적 유사도를 활용한 추정 오차를 확장하는 방법을 제안하였다. 일반적으로 차이 값 확장방법의 경우 비트 쉬프팅을 통해서 이루어지는데, 이는 각 픽셀 값의 차이를 2배 확장하는 것과 유사한 형태로서, 워터마크 삽입 후의 영상의 품질이 저하가 된다.

종래의 히스토그램 변환 방법에서는 공간 영역에서 영상에 대한 히스토그램을 계산하고, 히스토그램에 대한 변환을 통하여 워터마크를 삽입할 공간을 생성한다. 이러한 히스토그램 변환 방법은 공간 영역에서 처리되기 때문에 다른 종래 방법들에 비하여 계산 복잡도가 낮다. 히스토그램은 원 영상의 픽셀 값을 활용하거나 차분 영상의 히스토그램을 이용하였다. Ni et al.은 픽셀 값 히스토그램의 최소점과 최대점을 이용하는데 삽입 용량은 최대(peak)점에 해당하는 픽셀의 빈도 수에 의해 정해진다. Hwang et al. 및 Kuo et al.은 Ni의 방법을 확장하여 최소점과 최대점에 대한 정보를 저장하는 위치 정보 맵을 이용하였다.

Lee et al.은 차이 값 영상의 히스토그램을 이용하여 차이 값이 -1 과 +1 인 위치에 데이터를 삽입하였다. Lin et al.은 영상을 서로 겹치지 않는 블록으로 나누고 각 블록간의 차분 영상을 생성한 후, 각각의 차분 영상에 대한 히스토그램을 수정하여 메시지를 삽입하였다. Tsai et al.은 각 블록에서 기준 픽셀과 나머지 픽셀과의 차이 값으로 구성된 차분 영상을 이용하였다. 비록 Lin et al. 방법과 Tsai et al. 방법이 기존 히스토그램 기반의 방법보다 높은 삽입 용량을 얻어내긴 했지만, 모든 블록들의 최대치에 대한 정보를 워터마크와 함께 전송해야 한다. 따라서 삽입 용량을 증가시킬수록 부가 정보의 양도 증가하여 유효삽입 용량은 상대적으로 줄어든다.

Kim et al.은 영상의 공간적 유사성을 활용하기 위하여 영상을 샘플링하고, 기준 샘플 영상과 나머지 샘플 영상들 사이의 차이 값 히스토그램을 생성한 후, 히스토그램 쉬프팅을 통하여 메시지를 삽입하였다. 삽입 용량을 증가시키기 위하여 영상의 지역성(locality)을 활용하였다. 일반적인 영상의 경우 지역성이 높아서 고주파 성분보다는 저주파 성분이 더 많은 영상에 대해 높은 삽입 용량을 나타냈다. 또한, 차이 값 히스토그램의 특성상 최대점이 0인 경우가 많아서, 최대점 위치를 0으로 고정시켰기 때문에 최대점 및 최소점의 위치에 대한 오버헤드 정보가 필요하지 않으며, 샘플링 간격과 삽입레벨 정보를 위한 12 비트 정도의 오버헤드만을 필요로 한다. 하지만, 응용 프로그램에서 요구되는 삽입 용량을 충족하기 위하여 높은 삽입 레벨을 지정하거나 삽입된 영상에 재삽입을 하는 경우 지역성이 낮아지므로, 삽입 용량 및 화질이 급격히 저하된다.

본 발명은 종래의 문제점을 해결하기 위한 것으로, 추정 오차 확장 및 오류 예측 보정으로 통하여 고 삽입률, 고 비 인지성, 및 저 계산 복잡도를 갖는 가역 워터마킹용 히스토그램 변환 방법을 기반으로 한 가역 워터마크 삽입, 추출 및 원본 영상 복원 방법을 제공함에 그 목적이 있다.

상기한 목적을 달성하기 위하여, 본 발명에 따른 가역 워터마크 삽입 방법 (i) 원본 영상의 각 픽셀의 밝기값과 삽입 반복 횟수의 비교 결과에 따라 상기 각 픽셀의 밝기값을 조정하는 방식으로 상기 원본 영상에 대한 예측 보정을 수행하여 오류 예측 보정된 영상을 생성하고 예측 보정이 이루어진 픽셀 오류 위치 정보 맵에 표시하는 단계; (ii) 상기 오류 예측 보정된 영상에 있어서 원본 픽셀 값과 추정 픽셀 값 사이의 추정 오차를 계산하고, 추정 오차 히스토그램을 생성하는 단계; (iii) 상기 추정 오차 히스토그램의 최대치에 해당하는 최대점을 검색하고, 상기 최대점보다 큰 히스토그램 위치 값을 갖는 픽셀을 쉬프트하여 워터마크 삽입 공간을 생성하는 단계; (iv) 추정 오차가 히스토그램의 최대치에 해당하는 픽셀을 검색하여 워터마크의 값에 따라 추정 오차 값을 조정함으로써 메시지가 삽입된 차이값 영상의 밝기값을 얻는 단계; 및 (v) 상기 오류 예측 보정된 영상의 밝기값과 상기 추정 픽셀값을 갖는 영상의 밝기값의 비교 결과에 따라 상기 추정 픽셀값을 갖는 영상의 밝기값과 상기 메시지가 삽입된 차이값 영상의 밝기값을 연산하여 워터마크가 삽입된 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 워터마크 추출 및 원본 영상 복원 방법은 (a) 워터마크가 삽입된 영상에 있어서 원본 픽셀 값과 추정 픽셀 값 사이의 추정 오차를 계산하고, 추정 오차 히스토그램을 생성하는 단계; (b) 워터마크 삽입 과정에서 사용된 추정 오차 히스토그램 최대치의 위치에 대한 정보를 활용하여 상기 워터마크가 삽입된 영상에 삽입된 상기 워터마크를 추출하는 단계; (c) 히스토그램 쉬프팅을 통하여 차이 값 히스토그램을 워터마크 삽입전의 히스토그램으로 복원하여 삽입된 워터마크가 제거된 차이값 영상을 얻는 단계; (d) 워터마크가 삽입된 영상의 밝기값 및 추정 픽셀값을 갖는 영상의 밝기값에 따라 추정 픽셀값을 갖는 영상 및 상기 복원된 워터마크 삽입 이전의 차이 값 영상를 기초로 하여 오류 예측 보정된 영상을 복원하는 단계; 및 (e) 오류 위치 정보 맵 및 상기 오류 예측 보정된 영상의 밝기값에 따라 상기 오류 예측 보정된 영상 및 상기 삽입 반복 횟수를 기초로 하여 원본 영상을 복원하는 단계를 포함하는 것을 특징으로 한다.

디지털 콘텐츠의 범람으로 지적 재산권 보호가 사회적인 이슈로 대두되고 있으며 워터마킹 기술은 기반 기술로서 필수적이다. 그러나 기존 워터마킹 기술들은 워터마크의 삽입으로 인하여 원본 영상의 품질을 저하시켰고, 원본 품질을 중요하게 생각하는 의료, 군사 및 예술 분야에 있어서 도입이 어려웠다. 따라서 원본 품질을 복원할 수 있는 가역 워터마킹에 대한 연구가 활성화되고 있다.

본 발명에서는 디지털 콘텐츠에 워터마크를 삽입하기 위하여 히스토그램 변형방법에 기반하는 가역 워터마킹 알고리즘을 제안하였다. 기존의 원본 히스토그램이나 인접 픽셀 간의 차이 값에 대한 히스토그램이 아닌 원본 픽셀 값과 추정된 픽셀 값 사이의 차이 값에 대한 히스토그램을 계산하고, 이의 변환을 통하여 워터마크를 삽입 및 검출을 수행하였다. 기존 히스토그램 계산 방법에 비하여, 제안된 히스토그램 계산 방법은 최대치가 클 확률이 높아서, 높은 비 인지성 및 삽입 용량의 달성이 가능하였다. 또한, 오류 예측 보정 기법을 통하여 효과적으로 오버플로우 및 언더플로우를 해결할 수 있는 방법을 적용하였고, 흰 바탕에 검은 반점이 섞인(salt-and-pepper) 잡음을 방지하였다. 특히 위치 정보 맵을 워터마크의 일부분으로 사용하였음에도 불구하고, 제안한 알고리즘이 기존의 가역 워터마킹 방법들보다 삽입 용량 대비 품질 면에서 좋은 성능을 보였다.

본 발명에 따른 알고리즘은 공간도메인에서 동작하여 낮은 계산량이 있으며, 높은 비 인지성 및 삽입 용량이 있기 때문에 의료, 군사, 및 예술 분야에서 효과적으로 도입될 수 있다. 또한, 콘텐츠의 인증이나 위조 여부를 확인할 수 있는 방법으로도 활용이 가능하다.

도 1 및 도 2는 본 발명의 실시예에 따른 Lena 영상에 대한 영상 히스토그램과 차이 값 영상에 대한 히스토그램을 나타낸 도면들,
도 3 및 도 4는 본 발명의 실시예에 따른 고정된 픽셀의 위치를 지정하고 추정 오차를 계산하는 방법을 설명하는 도면들,
도 5 및 도 6은 본 발명의 실시예에 따른 Lena 영상에 대하여 수학식 1 및 2에 나타난 추정 오차 계산 방법으로 계산한 추정 오차 히스토그램을 나타낸 도면들,
도 7은 본 발명의 실시예에 따른 추정 오차 확장 및 오류 예측 보정을 통한 가역 워터마크 삽입 방법을 설명하는 도면,
도 8은 본 발명의 실시예에 따른 추정 오차 확장 및 오류 예측 보정을 통한 워터마크 검출 과정을 설명하는 도면,
도 9에서 도 16은 본 발명의 실시예에 따른 성능 분석을 위한 실험 영상의 예를 나타낸 도면들,
도 17은 본 발명의 실시예에 따른 반복 횟수에 따른 삽입 용량 변화를 나타낸 도면,
도 18은 본 발명의 실시예에 따른 반복 횟수에 따른 영상 품질 변화를 나타낸도면,
도 19에서 도 30은 각각 Lena, Baboon, Boat, Airplane, Splash 영상에 대하여 삽입 용량에 따른 영상의 화질을 나타낸 도면들, 및
도 31은 기존 가역 워터마크 알고리즘과의 삽입 용량 및 영상 품질 비교 분석 결과를 나타낸 도면이다.

본 발명에서는 추정 오차 확장 및 오류 예측 보정을 통한 고용량 가역 워터마킹 기술을 제안한다. 보간 기법을 사용하여 픽셀의 값을 추정하고, 추정값과 원본값의 차이에 대한 히스토그램을 계산한 후에 이를 확장하여 워터마크 메시지를 삽입한다. 기존의 인접 픽셀 사이의 차이 값에 대한 히스토그램에 기반하는 방법적 유사성이 있지만, 추정치를 활용함으로써 메시지가 삽입되는 히스토그램 값의 집중도를 높여서 높은 삽입 용량을 달성하였다. 또한, 삽입 후에 발생할 수 있는 오버플로우 및 언더플로우 문제는 오류 예측 기법을 통하여, 위치 정보 및 JBIG 압축을 통하여 해결하였다. 마지막으로, 삽입된 워터마크는 추정치와 원본값의 차이에 대한 히스토그램을 통해 추출하고, 원본 콘텐츠는 히스토그램 복원 후에 예측되었던 오류를 보정하여 복원한다. 제안하는 가역 워터마킹 알고리즘의 성능은 다양한 실험 영상을 활용하여 기존 히스토그램 기반 알고리즘과 비교 분석을 통하여 검증하였다.

상기한 바와 같이 가역 워터마킹을 위한 다양한 방법들이 존재하지만, 삽입률, 비 인지성, 계산 복잡도 등에 있어서 장단점이 존재한다. 본 발명에서는 높은 삽입률, 높은 비 인지성, 낮은 계산 복잡도를 갖는 가역 워터마킹을 위하여 히스토그램 변환 방법에 기반하는 알고리즘을 제안한다. 히스토그램 변환 방법은 공간도메인에서 처리되므로, 낮은 계산 복잡도를 갖으며, 삽입 과정은 히스토그램 쉬프팅을 통해 이루어지므로, +1/-1의 오차만 발생하므로, 높은 비 인지성을 갖는다. 다만, 높은 삽입률을 위하여 히스토그램의 최대치에 해당하는 픽셀이 많아지도록 히스토그램의 처리가 중요하다. 이를 위하여 제안하는 알고리즘에서는 기존의 영상 히스토그램이나 차이 값 히스토그램이 아닌, 추정 오차를 활용하는 히스토그램을 도입하였다. 또한 히스토그램에서 발생할 수 있는 오버플로우 및 언더플로우 문제도 오류 예측 보정을 통하여 해결하였다.

추정 오차 계산

히스토그램 변환 방법에서는 히스토그램을 계산하고, 워터마크를 삽입하기 위하여 최대치를 검출하고, 이를 중심으로 히스토그램을 수정하여 빈 공간을 확보한 후에 삽입하고자 하는 메시지의 값에 따라서 히스토그램의 최대치를 분산시키는, 즉 최대치에 해당하는 픽셀의 밝기값을 분산시킴으로써 워터마크를 삽입한다. 따라서, 높은 워터마크 삽입 용량을 얻기 위해서는 히스토그램의 최대치가 크도록 해야 한다.

초기 히스토그램 변환 방법에서는 원본 영상의 픽셀 밝기값을 활용하여 히스토그램을 계산하였다. 그러나 동일한 밝기값을 갖는 픽셀의 개수는 제한되어 히스토그램 최대치에 제약이 있고, 높은 삽입 용량을 달성하기 위하여 반복적인 삽입을 수행해야 했다. 그러나 반복적인 삽입이 많아질수록 원본 영상의 왜곡이 심해지고 오버헤드 정보의 양과 알고리즘의 복잡도가 증가한다.

최근에는 인접한 픽셀의 차이 값을 활용한 히스토그램을 계산하는 방법이 이용된다. 인접한 픽셀의 차이 값을 활용할 경우 픽셀의 지역성에 의하여 같은 히스토그램 값을 갖을 확률이 높아지므로, 하나의 최대점만 사용해도 높은 삽입 용량을 얻을 수 있다. 도 1 및 도 2에는 Lena 영상에 대한 영상 히스토그램과 차이 값 영상에 대한 히스토그램이 도시되어 있다. 영상 히스토그램의 최대치는 2,751인데 반하여, 열 방향 인접 픽셀 간의 차이 값 히스토그램의 최대치는 23,867로 나타났고, 최대점의 값이 다른 것을 확인할 수 있다. 쉽게 생각하면, 알고리즘을 1회 수행하면, 영상 히스토그램의 경우 최대 2,751 비트만 삽입가능한데, 차이 값 히스토그램의 경우 최대 23,867 비트의 삽입이 가능한 것을 의미한다. 또한 차이 값 히스토그램을 이용한 방법은 인접한 픽셀간의 변화가 작다는 영상 데이터의 지역성 특징으로 인하여 차이 값들이 0 주변으로 몰려있기 때문에 최대점의 위치를 고정시켜서 처리할 수 있으므로 삽입위치 정보에 대한 오버헤드를 제거할 수 있다.

히스토그램 변환 방법에서는 최대치가 높은 히스토그램을 생성하는 것이 높은 비 인지성과 삽입 용량을 달성하는데 있어서 필수적이다. 본 발명에서는 보간 방법을 사용하여 픽셀 값을 추정하고, 원본 픽셀 값과 추정 픽셀 값과의 차이 값을 계산하여 히스토그램을 계산한다. 픽셀 값을 추정함에 있어서 중요한 사항은 워터마크의 삽입 및 검출 과정에서 추정치가 변경하면 안되므로, 고정된 픽셀의 위치를 지정해야 한다. 도 3 및 도 4에는 고정된 픽셀의 위치를 지정하는 방법의 예로서 고정된 픽셀의 위치(음영 부분)를 지정하는 방법 및 추정 오차 계산 픽셀을 나타내 도면들이다. 여기서 P(i, j)는 영상의 (i, j)에서 픽셀 값을 나타낸다.

도 3은 열 방향으로 P(i, j), P(i+2, j) 픽셀의 위치는 고정하고, P(i+1, j)에 해당하는 픽셀을 P(i, j), P(i+2, j) 픽셀로부터 추정한다. 도 4는 행 및 열 방향으로 P(i, j), P(i+2, j), P(i, j+2), P(i+2, j+2) 픽셀의 위치를 고정하고, P(i+1, j), P(i, j+1), P(i+1, j+1)에 해당하는 픽셀을 P(i, j), P(i+2, j), P(i, j+2), P(i+2, j+2) 픽셀로부터 추정한다. 추정 오차를 이용한 히스토그램 계산에 있어서 고정된 픽셀의 위치는 제외된다. 따라서, 도 3의 경우 고정 픽셀의 수가 도 4의 경우보다 높으므로 알고리즘의 1회 수행시에 삽입되는 워터마크의 양은 제한되어 있고, 인접한 픽셀에 대한 고려가 낮아서 삽입률이 낮다. 이와 같이 인접 픽셀과의 차이 값이 아닌 추정 오차를 활용할 경우 인접한 픽셀 간의 유사성을 높게 유지할 수 있고, 워터마크 삽입에 있어서 방향성을 유지할 수 있으므로, 동일한 워터마크 삽입량에도 불구하고 높은 영상 품질의 유지가 가능하다.

도 3에서 추정 오차 Pe(i+1, j)는 다음 수학식 1과 같이 계산된다.

도 4에서 추정 오차는 픽셀의 위치에 따라서 다음 수학식 2와 같이 계산된다.

여기서 i 와 j는 픽셀의 위치에 해당하고, 영상 크기 M, N에 의하여 제한되고, P(i, j)는 영상의 (i, j)에서 픽셀 값이고, i 및 j는 영상의 열 및 행이고, P_e(i+1, j), P_e(i, j+1), P_e(i+1, j+1)은 픽셀의 위치에 따른 원본 픽셀 값과 추정 픽셀 값 사이의 추정 오차이다. 상기 수학식 1 및 2는 Bilinear 보간의 특정한 경우에 해당된다. 차후에는 Bicubic 보간 등의 확장된 보간 기법에 대한 고려도 필요하다.

도 5 및 도 6에는 본 발명의 실시예에 따른 Lena 영상에 대하여 수학식 1 및 2에 나타난 추정 오차 계산 방법으로 계산한 추정 오차 히스토그램을 나타내었다. 수학식 1에 의하여 계산된 추정 오차 히스토그램에서의 최대치는 30,816이고, 수학식 2에 의하여 계산된 추정 오차 히스토그램에서의 최대치는 32,767이다. 즉 제안한 추정 오차 히스토그램이 기존의 원본 히스토그램이나 차이 값 히스토그램에 비하여 높은 최대치를 갖는 것을 확인할 수 있고, 높은 삽입 용량을 달성할 수 있다.

오류 예측 보정

히스토그램 변환 방법 및 차이 값 확장을 통한 가역 워터마킹에서는 오버플로우 및 언더플로우 현상이 발생할 수 있다. 이와 같은 현상이 발생하면 salt-and-pepper 잡음이 나타나고, 비 인지성이 급격히 저하되며, 원본 영상을 복원할 수 없을 수도 있다. 예를 들어 8비트 회색조 영상의 경우 픽셀 값은 0에서 255의 값을 갖는다. 만약에 255 밝기값을 갖는 픽셀을 우측 쉬프트하면 256이 되고, 0 밝기값을 갖는 픽셀을 좌측 쉬프트하면 -1이 되므로 오버플로우 및 언더플로우가 발생한다.

Honsinger et al.은 모듈로-256 덧셈 방법을 통하여 255를 초과하는 픽셀은 0으로, 0 미만으로 감소하는 픽셀은 255로 돌아가도록 하여 오버플로우 및 언더플로우를 해결했지만, 흰 바탕에 검은 반점이 섞인(salt-and-pepper) 잡음이 심각하게 발생하게 된다. Fridrich et al.은 순환-모듈로 방법을 통하여 모듈로 연산의 간격을 0~255까지의 하나의 구간이 아니라, 여러 개의 구간으로 나누는 방법을 제안하였다[5]. 예를 들어 64 순환-모듈로는 64개씩 4개 구간으로 나누어서 픽셀 값들은 0↔1↔…↔63↔0, 64↔65↔…↔127↔64, 128↔129↔…↔191↔128, 192↔193↔…↔255↔192의 패턴으로 증감하는 것이다. 순환-모듈로 방법도 흰 바탕에 검은 반점이 섞인(salt-and-pepper) 잡음이 줄어들지만, 변화 순환 크기만큼 줄였을 뿐이며 완전한 해결책이 되진 못한다. 또한 삽입된 메시지를 추출한 후 원 영상으로 복원할 때 모듈로 연산이 적용된 픽셀인지 아닌지를 구분해야만 한다. 기존 연구들에서는 일반적인 영상의 경우 인접한 픽셀 간의 차이가 크게 나지 않는다는 특성을 이용하여 임계값을 설정하고, 그 값 이상으로 차이가 있는 픽셀에 대하여 모듈로 연산이 적용되었다고 판단하였지만, 이 가정이 항상 올바른 것은 아니다.

오버플로우 및 언더플로우 문제를 해결하기 위한 또 다른 방법은 위치 정보 맵을 이용하는 방법이다. 맵을 이용하는 방법은 완전한 가역성을 보장한다. 위치 정보 맵에 오버플로우 및 언더플로우가 발생한 또는 발생할 픽셀의 위치를 표시하여 삽입 과정에서 제외시키거나, 복원할 때 보정하는 방법이다. 삽입 과정에서 제외하면 삽입 용량이 줄어들며, 보정 방법을 사용하면 흰 바탕에 검은 반점이 섞인(salt-and-pepper) 잡음이 발생한다.

본 발명에서는 완벽한 가역성을 위하여 위치 정보 맵을 이용하는 방식으로 오버플로우 및 언더플로우 문제를 해결하였다. 기존 방법들과의 차이점은 오버플로우 및 언더플로우가 발생할 픽셀을 삽입 과정에서 제외하지 않고, 미리 오류가 발생할 범위를 예측하여 선 보상을 통하여 밝기값을 조정하여 오류가 발생하지 않도록 하였다. 예측 보상이 발생한 픽셀을 위치 정보 맵에 표시하였고, 검출 및 복원과정에서 위치 정보 맵의 값을 참고하여 선 보상이 발생한 픽셀을 원본 밝기값으로 복원하였다.

본 발명의 알고리즘에서 오류가 발생할 범위는 삽입횟수에 따라서 달라진다. 높은 삽입률을 달성하기 위해서는 반복적인 알고리즘의 처리가 필요하고, 반복 횟수에 따라서 오버플로우 및 언더플로우가 발생할 픽셀의 값이 결정된다. 만일 삽입 과정이 R회 반복적인 수행이 필요하면 225-R 초과의 밝기값을 갖는 픽셀들이 오버플로우가 발생할 확률이 있고, 이들 픽셀에 R을 감산함으로써 선 보상이 가능하고, 오버플로우가 발생하지 않는다. R 미만의 밝기값을 갖는 픽셀들은 언더플로우가 발생할 확률이 있고, 이들 픽셀에 R을 가산함으로써 선 보상이 가능하고, 언더플로우가 발생하지 않는다. 검출 및 복원과정에서는 영상을 복원한 후에 보상된 R 값을 위치 정보 맵에 지정된 픽셀들에 합산함으로써 원본 영상으로의 복원이 가능하다. 이와 같은 예측 보상 방법의 추가적인 장점은 기존 픽셀의 밝기값에 R 정도의 차이 값만 발생시키고, R의 값은 높지 않다. 그로 인하여 흰 바탕에 검은 반점이 섞인(salt-and-pepper) 잡음 현상이 발생하지 않는다.

기존 알고리즘들의 경우 워터마킹된 영상과는 별도로 부가적으로 위치 정보 맵을 전송하였지만, 이는 워터마킹 시스템 및 알고리즘의 효율성 및 실용성을 저하시킨다. 제안하는 알고리즘에서는 워터마크 삽입 과정에서 위치 정보 맵을 워터마크의 일부로 간주하여 영상에 직접 삽입한다. 위치 정보 맵의 경우 용량을 줄이기 위하여 무손실 영상 압축에서 좋은 성능을 보여주는 JBIG1 압축 기법을 이용하였다. JBIG1 압축은 팩시밀리 응용과 같은 2 단계(bi-level) 영상에서 좋은 성능을 보여주는데 이를 위한 표준이 ITU-T T.85 서브셋이다. 실험에서 사용한 영상들의 오류 위치 정보 맵의 경우 973 비트로 압축되어 원본 영상의 크기에 대비하여 평균 99.95%의 높은 압축효율을 보였다. 이와 같이 오류 예측 보정을 통하여 제안하는 알고리즘은 오버플로우 및 언더플로우 현상이 발생하지 않으며, 워터마크 삽입 후에도 영상의 비 인지성(품질)을 향상하였다.

본 발명의 실시예에 따른 추정 오차 확장 및 오류 예측 보정을 통한 가역 워터마크 삽입 방법을 도 7을 참조하여 설명한다.

본 발명에 따른 가역 워터마킹 알고리즘에서 워터마크는 추정 오차에 대한 히스토그램을 변경하여 삽입되며, 삽입되는 메시지는 균등 분포로 가정한다. 기존 워터마킹 알고리즘의 경우 삽입하는 워터마크를 암호화하였고, 이를 통하여 삽입하는 메시지를 난수화한다. 강인한 워터마킹, 연성 워터마킹, 스테가노그라피 연구에 있어서 암호화가 의미가 있으나, 가역 워터마킹에서 관심이 되는 삽입 용량, 영상 품질 등과는 크게 관련이 없어서 해당 과정은 배제하였다.

본 발명의 실시예에 따른 추정 오차 확장 및 오류 예측 보정을 통한 가역 워터마크 삽입 방법은 도 7에 도시되어 있다. 본 발명의 알고리즘에서는 요구되는 워터마크의 용량 및 영상의 품질에 따라서 삽입 과정에서 반복 횟수 R을 증가함으로써 높은 삽입률을 달성할 수 있다. 메시지(워터마크) 삽입 과정은 5개 단계로 구분할 수 있고 각 단계별로 자세히 설명하도록 하겠다.

(제1 단계) 오류 예측 보정: 원본 영상 I가 입력되면, 삽입 과정을 반복하고자 하는 횟수 R을 고려하여 오버플로우 및 언더플로우의 발생 가능성을 고려하여 예측 보정을 수행한다. 오버플로우 및 언더플로우 예측 보정에서는 다음 수학식 3과 같이 공간 도메인 상에서 픽셀의 밝기 값이 255-R 보다 큰 경우 해당 픽셀의 밝기 값에서 R을 차감하고, 밝기 값이 R보다 작은 경우 해당 픽셀의 밝기 값에 R을 가감한 후, 오류 위치 정보 맵에 보정 여부를 표시한다. 오류 예측 보정의 역할에 대해서는 이하에서 자세히 설명한다.

여기서 0≤i<M, 0≤j< N 이고, M 및 N은 영상의 크기이고, I_c(i, j)은 상기 오류 예측 보정된 영상의 밝기값, I(i, j)은 각 픽셀의 밝기값, R은 삽입 반복 횟수이다.

오류 예측 보정된 영상 I_c와 오류 위치 정보 맵 O_m이 생성된다. 효율적인 워터마킹 시스템의 구축을 위하여 오류 위치 위치 정보 맵은 JBIG 압축을 수행하여 워터마크의 일부로 영상에 삽입된다.

(제2 단계) 추정 오차 히스토그램 계산: 히스토그램의 최대치에 해당하는 픽셀의 수를 증가하기 위하여 오류 예측 보정된 영상 I_c에 대하여 이하에서 설명한 추정 오차 계산에 의하여 원본 픽셀 값과 추정 픽셀 값 사이의 오차를 계산하고, 이에 대한 히스토그램 H을 생성한다. 여기서, 추정 픽셀 값을 갖는 영상을 I_p라고 하고, 원본 픽셀의 밝기 값 및 추정된 밝기 값 사이의 차이의 절대치를 나타내는 영상을 D(i, j)라고 하자. 추정 오차의 히스토그램은 기존 가역 워터마킹의 원본 히스토그램이나 차이 값 히스토그램에 비하여 높은 최대치를 갖는다.

(제3 단계) 히스토그램 쉬프팅 및 워터마크 삽입: 추정 오차 히스토그램 H에 워터마크를 삽입하기 위해서는 최대치에 해당하는 최대점(위치 MAX_i)을 검색하고, 상기 위치 MAX_i보다 큰 히스토그램 위치 값을 갖는 픽셀을 다음 수학식 4와 같이 쉬프트시켜 삽입 공간을 생성한다.

여기서, 상기 H는 추정 오차 히스토그램이고, H_s는 상기 최대점보다 큰 히스토그램 위치 값을 갖는 픽셀이고, 상기 MAX_i는 최대점이다. 차이 값 히스토그램과 유사하게 R = 1인 경우 히스토그램의 0 위치에서 최대치가 존재할 확률이 높지만, 영상의 특성과 반복 횟수 R의 횟수에 따라 다른 위치에 최대치가 존재할 수 있으므로, 최대치에 대한 정보는 부가적으로 검출 과정으로 전송한다.

(제4 단계) 메시지가 삽입된 차이값 영상의 밝기값 획득: 히스토그램 쉬프팅을 통하여 워터마크의 삽입공간을 생성한 후에, 워터마크의 삽입을 위하여 추정 오차가 히스토그램의 최대치 MAX_i에 해당하는 픽셀을 검색하여 워터마크의 값이 0인 경우 추정 오차값을 유지하고, 워터마크의 값이 1인 경우 추정 오차 값을 +1 증가시키는 방식으로 메시지가 삽입된 차이값 영상의 밝기 값을 얻는다. 히스토그램 쉬프팅과 워터마크 삽입 과정은 다음 수학식 5와 같이 모델링된다.

여기서, D_s(i, j)는 상기 메시지가 삽입된 차이값 영상이고, D(i, j)는 원본 픽셀의 밝기값과 추정된 밝기값 사이의 차이에 대한 절대치 영상이며, 0≤i<M, 0≤j< N 이고, M 및 N은 영상의 크기를 나타낸다. 워터마크 W는 0 또는 1의 값을 갖으며, n은 워터마크 위치를 나타내는 색인 값이다. 이와 같은 워터마크 삽입 과정을 지정된 반복 횟수 R에 따라서 반복하여 워터마크를 삽입한다.

(제5 단계) 워터마크 삽입 영상 생성: 상기의 히스토그램 쉬프팅 과정을 통하여 메시지가 삽입된 차이 값 영상 D_s(i, j)를 계산한 후에, 워터마크가 삽입된 영상 I_w를 생성하기 위하여 차이 값에 따라서 영상의 픽셀 값을 수정해야 한다. 차이 값 영상을 계산할 때 절대값 연산을 통하여 계산하였으므로, 차이 값을 확장할 때 방향성을 고려해야 한다. 이와 같은 과정은 다음과 같이 모델링된다.

여기서, 상기 I_w(i, j)는 상기 워터마크가 삽입된 영상의 밝기값이고, 상기 I_p(i, j)는 상기 추정 픽셀값을 갖는 영상의 밝기값이고, 상기 D_s(i, j)는 상기 메시지가 삽입된 차이값 영상의 밝기값이고, 상기 I_c(i, j)은 상기 오류 예측 보정된 영상의 밝기값이며, 오류 예측 보정이 수행된 영상 I_c가 아니라, 추정 픽셀 값을 갖는 영상 I_p를 사용한다.

본 발명의 실시예에 따른 추정 오차 확장 및 오류 예측 보정을 통한 원본 영상 복원 방법을 도 8을 참조하여 설명한다.

본 발명의 실시예에 따른 추정 오차 확장 및 오류 예측 보정을 통한 원본 영상 복원 방법이 도 8에 도시되어 있다. 원본 영상 복원 방법은 5개 단계로 구분할 수 있고, 각 단계별로 자세히 설명하도록 하겠다. 워터마크의 검출을 위해서는 반복 횟수 R과 각 반복에 있어서의 히스토그램 최대치의 위치에 대한 정보 MAX_i를 부가적으로 필요하다. 이들 정보의 경우 몇 비트 이내의 용량에 해당하며 워터마크 삽입과정에서 LSB 비트평면 압축 기법 등을 통하여 영상에 삽입하여 전송이 가능하다.

(제1 단계) 추정 오차 히스토그램 계산: 워터마크가 삽입된 영상 I_w가 입력되면, 삽입 과정에서와 유사하게 상기에서 설명한 추정 오차 계산에 의하여 원본 픽셀 값과 추정 픽셀 값 사이의 오차를 계산하고, 이에 대한 추정 오차 히스토그램 H을 생성한다. 여기서, 추정 픽셀 값을 갖는 영상을 I_p라고 하고, 원본 픽셀의 밝기값과 추정된 밝기값 사이의 차이의 절대치를 나타내는 영상을 D(i, j)라고 하자.

(제2 단계) 워터마크 추출: 워터마크 삽입 과정에서 사용된 히스토그램 최대치의 위치에 대한 정보 MAX_i를 활용하여 삽입된 워터마크를 추출한다. 워터마크 추출의 과정은 다음 수학식 7과 같이 모델링된다.

여기서 0≤i<M, 0≤j< N 이고, M 및 N은 영상의 크기이고, W는 워터마크로서 0 또는 1의 값을 갖으며, n은 워터마크 위치를 나타내는 색인 값이고,D(i, j)는 원본 픽셀의 밝기값과 추정된 밝기값 사이의 차이에 대한 절대치 영상이다.

(제3 단계) 히스토그램 쉬프팅: 워터마크 추출 과정이 끝나면, 다음 수학식 8과 같이 히스토그램 쉬프팅의 과정을 통하여 차이 값 히스토그램을 워터마크 삽입 전의 히스토그램으로 복원하여 삽입된 워터마크가 제거된 차이값 영상을 얻는다.

여기서, 상기 H_o는 상기 워터마크 삽입 전의 히스토그램이고, 상기 H는 차이값히스토그램이고, 상기 MAX_i는 추정 오차 히스토그램 최대치의 위치에 대한 정보이다. 이와 같은 히스토그램 쉬프팅 과정은 다음과 원본 픽셀의 밝기값과 추정된 밝기값 사이의 차이 값을 조정하는 것과 동일한 의미를 갖는다. D₀(i, j)는 삽입된 워터마크가 제거된 차이 값 영상은 다음 수학식 9로 구해진다.

여기서 D₀(i, j)는 삽입된 워터마크가 제거된 차이 값 영상이고, 상기 D(i, j)는 원본 픽셀의 밝기값과 추정된 밝기값 사이의 차이에 대한 절대치 영상이고, 상기 MAX_i는 추정 오차 히스토그램 최대치의 위치에 대한 정보이다.

워터마크 삽입 이전의 차이 값 영상 D₀(i, j)가 복원되면, 워터마크가 삽입되지 않은 영상 I_c의 복원이 가능하다. 삽입 과정과 유사하게 워터마크가 삽입되지 않은 영상의 복원 과정은 다음 수학식 10과 같이 모델링된다.

여기서 0≤i<M, 0≤j< N 이고, M 및 N은 영상의 크기이고, I_p는 추정 픽셀 값을 갖는 영상이고, I_w는 워터마크가 삽입된 영상이고, I_c(i, j)은 상기 오류 예측 보정된 영상의 밝기값이고, I_p(i, j)은 추정 픽셀값을 갖는 영상의 밝기값이고, R은 삽입 반복 횟수이고, I_w(i, j)은 워터마크가 삽입된 영상의 밝기값이다.

(제4 단계) 오류 예측 보정: 상기의 과정을 통하여 복원된 영상은 원본 영상이 아닌 오류 예측 보정된 영상 I_c이다. 워터마크 삽입 및 오류 예측 보정 이전의 영상 I를 계산하기 위해서 반복 횟수 R과 오류 위치 정보 맵 I_m이 필요하다. 오류 위치 정보 맵은 워터마크의 일부분으로 삽입되어 전송되었고, 반복 횟수 R은 부가적 정보로 전송되었으므로, 원본 영상은 다음의 연산, 즉 수학식 11을 통하여 복원이 가능하다.

여기서, 상기 I(i, j)은 워터마크 삽입 및 오류 예측 보정 이전의 영상의 밝기값, I_c(i, j)은 오류 예측 보정된 영상의 밝기값, R은 삽입 반복 횟수, O_m은 상기 오류 위치 정보 맵이고, 0≤i<M, 0≤j< N, 및 M 및 N은 영상의 크기이다. 오류 위치 정보 맵에 오류 발생할 확률이 있는 것으로 표시가 되었던 픽셀은 반복 횟수만큼 밝기값을 증가시키거나, 값을 감소시키고, 그 외의 픽셀들은 그대로 유지함으로써 원본 영상 I의 완벽한 복원이 가능하다.

실험 결과

도 9에서 도 16은 성능 분석을 위한 실험 영상의 예를 나타낸 도면들이다. 본 발명에서는 도 9 내지 도 16에 나타난 것과 같이 USC-SIPI 이미지 데이터베이스에서 널리 사용되는 8 비트 회색조 512ㅧ512 영상 8장을 사용하여 실험을 수행하였다. 워터마크의 삽입량은 알고리즘의 반복 횟수에 따라서 결정되므로, 1~9회까지 증가시켜가며 삽입 용량, 영상 품질 등의 분석을 수행하였다.

삽입하는 워터마크는 균등 분포에 기반하여 0과 1이 고르게 분포하도록 생성하였고, 암호화는 수행하지 않았다. 삽입 용량과 영상의 품질의 계산을 위해서 삽입 용량은 유효삽입 용량 즉 오버헤드 정보를 차감한 용량을 활용하였으며, 영상 품질은 다음과 같이 PSNR 값을 통하여 측정하였다.

M 및 N은 영상의 크기를 나타낸다. p_(i,j)는 원본 영상의 픽셀 값, p'_(i,j)는 워터마크가 삽입된 영상의 픽셀 값이고, n은 한 픽셀을 표현할 때 필요한 비트의 수이다.

반복 횟수에 따른 삽입 용량 및 영상 품질 분석

본 발명의 알고리즘의 성능을 분석하기 위하여 반복 횟수 R을 점진적으로 증가시키면서, 삽입 용량과 영상 품질을 측정하였다. 추정 오차는 상기한 수학식 2로 계산하였다. 삽입 용량은 1 픽셀 당 삽입가능한 비트 용량(bpp)으로 계산하였고, 영상 품질은 PSNR(dB)로 측정하였다.

도 17에는 본 발명의 실시예에 따른 반복 횟수 R에 따른 삽입 용량 변화가 도시되어 있다. 반복 횟수가 증가하면 삽입 용량이 점진적으로 증가하는 것을 확인할 수 있다. 그러나 반복 횟수가 증가할수록 예측 오차의 정확도가 점진적으로 감소하고, 추정 오차 히스토그램의 최대치가 감소함에 따라서, 삽입 용량이 점진적으로 감소하는 것을 확인할 수 있다. Splash, Airplane, Lena, Boat 영상과 같이 영상의 변화가 작은 영상의 경우 추정 정확도가 높으므로 높은 삽입 용량을 갖는 것을 확인할 수 있다. 그러나 Baboon, Bridge, Tank, Aerial 영상과 같이 잡음 성분이 많은 영상의 경우 추정 정확도가 낮으므로 삽입 용량도 저하가 있음을 확인할 수 있다. 그러나 이들 삽입 용량은 기존 알고리즘에 비하여 높은 수치값이다.

도 18에는 본 발명의 실시예에 따른 반복 횟수 R에 따른 영상 품질 변화가 도시되어 있다. 반복 횟수가 증가하면 영상 품질이 점진적으로 감소하는 것을 확인할 수 있다. 반복 횟수가 증가할수록 삽입 용량이 점진적으로 증가하기 때문에, 이에 따라서 영상 품질도 점진적으로 감소하는 것을 확인할 수 있다. Kim et al. 알고리즘 등의 차이 값을 활용한 영상에서는 영상 특성에 따라서 감소 비율이 다양했으나, 제안한 알고리즘의 경우 추정 오차를 활용하기 때문에 영상 특성에 무관하게 모든 영상에서 점진적인 감소현상을 보이고 있음을 알 수 있다.

도 19 내지 도 30에는 각각 Lena, Baboon, Boat, Airplane, Splash 영상에 대하여 삽입 용량에 따른 영상의 화질을 보여주고 있다. 높은 삽입 용량에도 불구하고 영상의 품질을 유지할 수 있으며, 워터마크 검출시에 원본 영상의 복원이 가능하다.

삽입 용량과 영상 품질 비교 분석

본 발명에 따른 시스템의 성능을 분석하기 위하여 상기한 특정 영역 압축방법에 해당하는 RS 방법 및 G-LSB 방법, 차이 값 확장방법에 해당하는 DE 방법, 히스토그램 변환 방법에 해당하는 Kim et al. 방법과 삽입 용량, 영상 품질 등에서 비교 분석을 수행하였다. 대표적인 영상에 대하여 비교 분석을 수행한 결과, 즉 기존 가역 워터마크 알고리즘과의 삽입 용량 및 영상 품질 비교 분석 결과가 도 31에 도시되어 있다.

DE 방법과 G-LSB 방법이 영상의 품질에 따른 삽입 용량이 상대적으로 높게 나타났음에 비하여 RS 방법은 다른 방법들에 비해 낮은 삽입 용량을 가진다. 히스토그램 변환 방법인 Kim et al.의 방법의 경우 다른 알고리즘들에 비하여 높은 비 인지성 및 삽입 용량을 보이고 있다. 그러나 제안한 알고리즘에 비하여는 낮은 성능이 있다. 이와 같은 비교 분석의 결과로 볼 때, 본 발명에서 제안한 알고리즘이 기존의 가역 워터마킹 방법들에 비하여 낮은 왜곡(높은 영상 품질)을 유지하면서 높은 삽입 용량을 얻을 수 있음을 확인할 수 있다.

Claims

(i) 원본 영상의 각 픽셀의 밝기값과 삽입 반복 횟수의 비교 결과에 따라 상기 각 픽셀의 밝기값을 조정하는 방식으로 상기 원본 영상에 대한 예측 보정을 수행하여 오류 예측 보정된 영상을 생성하고 예측 보정이 이루어진 픽셀 오류 위치 정보 맵에 표시하는 단계;
(ii) 상기 오류 예측 보정된 영상에 있어서 원본 픽셀 값과 추정 픽셀 값 사이의 추정 오차를 계산하고, 추정 오차 히스토그램을 생성하는 단계;
(iii) 상기 추정 오차 히스토그램의 최대치에 해당하는 최대점을 검색하고, 상기 최대점보다 큰 히스토그램 위치 값을 갖는 픽셀을 쉬프트하여 워터마크 삽입 공간을 생성하는 단계;
(iv) 추정 오차가 히스토그램의 최대치에 해당하는 픽셀을 검색하여 워터마크의 값에 따라 추정 오차 값을 조정함으로써 메시지가 삽입된 차이값 영상의 밝기값을 얻는 단계; 및
(v) 상기 오류 예측 보정된 영상의 밝기값과 상기 추정 픽셀값을 갖는 영상의 밝기값의 비교 결과에 따라 상기 추정 픽셀값을 갖는 영상의 밝기값과 상기 메시지가 삽입된 차이값 영상의 밝기값을 연산하여 워터마크가 삽입된 영상을 생성하는 단계를 포함하는 가역 워터마크 삽입 방법.
제1 항에 있어서, 단계 (i)에서 상기 오류 예측 보정된 영상의 밝기값은 수학식:
에 의해 구해지고, 여기서 I_c(i, j)은 상기 오류 예측 보정된 영상의 밝기값, I(i, j)은 각 픽셀의 밝기값, R은 삽입 반복 횟수, 0≤i<M, 0≤j< N, 및 M 및 N은 영상의 크기를 나타내는 가역 워터마크 삽입 방법.
제1 항에 있어서, 단계 (ii)에서 상기 원본 픽셀 값과 추정 픽셀 값 사이의 추정 오차는 수학식:
에 의해 구해지고, P(i, j)는 영상의 (i, j)에서 픽셀 값이고, i 및 j는 영상의 열 및 행이고, P_e(i+1, j), P_e(i, j+1), P_e(i+1, j+1)은 픽셀의 위치에 따른 원본 픽셀 값과 추정 픽셀 값 사이의 추정 오차인 가역 워터마크 삽입 방법.
제1 항에 있어서, 단계 (iii)에서, 상기 최대점보다 큰 히스토그램 위치 값을 갖는 픽셀을 수학식:
에 의해 구하고, 상기 H는 추정 오차히스토그램이고, H_s는 상기 최대점보다 큰 히스토그램 위치 값을 갖는 픽셀이고, 상기 MAX_i는 최대점인 가역 워터마크 삽입 방법.
제1 항에 있어서, 단계 (iv)에서 상기 메시지가 삽입된 차이값 영상을 수학식:
에 의해 구하며, 여기서 D_s(i, j)는 상기 메시지가 삽입된 차이값 영상이고, D(i, j)는 원본 픽셀의 밝기값과 추정된 밝기값 사이의 차이에 대한 절대치 영상이며, 0≤i<M, 0≤j< N 이고, M 및 N은 영상의 크기이고, W는 워터마크로서 0 또는 1의 값을 갖으며, n은 워터마크 위치를 나타내는 색인 값인 가역 워터마크 삽입 방법.
제1 항에 있어서, 상기 워터마크가 삽입된 영상의 밝기값은 수학식:
에 의해 구해지며, 상기 I_w(i, j)는 상기 워터마크가 삽입된 영상의 밝기값이고, 상기 I_p(i, j)는 상기 추정 픽셀값을 갖는 영상의 밝기값이고, 상기 D_s(i, j)는 상기 메시지가 삽입된 차이값 영상의 밝기값이고, 상기 I_c(i, j)은 상기 오류 예측 보정된 영상의 밝기값인 가역 워터마크 삽입 방법.
(a) 워터마크가 삽입된 영상에 있어서 원본 픽셀 값과 추정 픽셀 값 사이의 추정 오차를 계산하고, 추정 오차 히스토그램을 생성하는 단계;
(b) 워터마크 삽입 과정에서 사용된 추정 오차 히스토그램 최대치의 위치에 대한 정보를 활용하여 상기 워터마크가 삽입된 영상에 삽입된 상기 워터마크를 추출하는 단계;
(c) 히스토그램 쉬프팅을 통하여 차이 값 히스토그램을 워터마크 삽입전의 히스토그램으로 복원하여 삽입된 워터마크가 제거된 차이값 영상을 얻는 단계;
(d) 워터마크가 삽입된 영상의 밝기값 및 추정 픽셀값을 갖는 영상의 밝기값에 따라 추정 픽셀값을 갖는 영상 및 상기 복원된 워터마크 삽입 이전의 차이 값 영상를 기초로 하여 오류 예측 보정된 영상을 복원하는 단계; 및
(e) 오류 위치 정보 맵 및 상기 오류 예측 보정된 영상의 밝기값에 따라 상기 오류 예측 보정된 영상 및 상기 삽입 반복 횟수를 기초로 하여 원본 영상을 복원하는 단계를 포함하는 원본 영상 복원 방법.
제7 항에 있어서, 단계 (b)에서 상기 워터마크 추출은 수학식
으로 모델링되며, W는 워터마크로서 0 또는 1의 값을 갖으며, n은 워터마크 위치를 나타내는 색인 값이고, 0≤i<M, 0≤j< N 이고, M 및 N은 영상의 크기이고, D(i, j)는 원본 픽셀의 밝기값과 추정된 밝기값 사이의 차이에 대한 절대치 영상인 원본 영상 복원 방법.
제7 항에 있어서, 단계 (c)에서 상기 히스토그램 쉬프팅은 수학식:
에 의해 이루어지며, 상기 H_o는 상기 워터마크 삽입전의 히스토그램이고, 상기 H는 차이값 히스토그램이고, 상기 MAX_i는 추정 오차 히스토그램 최대치의 위치에 대한 정보인 원본 영상 복원 방법.
제7 항에 있어서, 단계 (c)에서 상기 히스토그램 쉬프팅은 원본 픽셀의 밝기값과 추정된 밝기값 사이의 차이 값을 조정하는 것으로 이루어지며, 상기 삽입된 워터마크가 제거된 차이값 영상은 수학식:
에 의해 구해지면, 여기서 D₀(i, j)는 삽입된 워터마크가 제거된 차이 값 영상이고, 상기 D(i, j)는 원본 픽셀의 밝기값과 추정된 밝기값 사이의 차이에 대한 절대치 영상이고, 상기 MAX_i는 추정 오차 히스토그램 최대치의 위치에 대한 정보인 원본 영상 복원 방법.
제7 항에 있어서, 단계 (d)에서, 상기 오류 예측 보정된 영상의 밝기값은 수학식:
에 의해 구해지며, 여기서 I_c(i, j)은 상기 오류 예측 보정된 영상의 밝기값, I_p(i, j)은 추정 픽셀값을 갖는 영상의 밝기값, R은 삽입 반복 횟수, 0≤i<M, 0≤j< N, 및 M 및 N은 영상의 크기이고, I_w(i, j)은 워터마크가 삽입된 영상의 밝기값인 원본 영상 복원 방법.
제7 항에 있어서, 단계 (e)에서 상기 원본 영상의 밝기값은 수학식:
에 의해 구해지며, 상기 I(i, j)은 워터마크 삽입 및 오류 예측 보정 이전의 영상의 밝기값, 상기 I_c(i, j)은 오류 예측 보정된 영상의 밝기값, R은 삽입 반복 횟수, 상기 O_m은 상기 오류 위치 정보 맵이고, 0≤i<M, 0≤j< N, 및 M 및 N은 영상의 크기인 원본 영상 복원 방법.