KR100977712B1 - 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치및 방법 - Google Patents

구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치및 방법 Download PDF

Info

Publication number
KR100977712B1
KR100977712B1 KR1020080071986A KR20080071986A KR100977712B1 KR 100977712 B1 KR100977712 B1 KR 100977712B1 KR 1020080071986 A KR1020080071986 A KR 1020080071986A KR 20080071986 A KR20080071986 A KR 20080071986A KR 100977712 B1 KR100977712 B1 KR 100977712B1
Authority
KR
South Korea
Prior art keywords
watermark
unit
image
sub
pattern
Prior art date
Application number
KR1020080071986A
Other languages
English (en)
Other versions
KR20100010972A (ko
Inventor
배기혁
김현태
조인제
Original Assignee
주식회사 씨케이앤비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨케이앤비 filed Critical 주식회사 씨케이앤비
Priority to KR1020080071986A priority Critical patent/KR100977712B1/ko
Priority to PCT/KR2009/003690 priority patent/WO2010011035A2/ko
Priority to JP2011519976A priority patent/JP5539348B2/ja
Priority to US13/055,649 priority patent/US8488837B2/en
Publication of KR20100010972A publication Critical patent/KR20100010972A/ko
Application granted granted Critical
Publication of KR100977712B1 publication Critical patent/KR100977712B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 구조적 멀티패턴 워터마크 생성 장치 및 방법과, 이를 이용한 워터마크 삽입 장치 및 방법, 워터마크 검출 장치 및 방법에 관한 것으로서, 입력되는 사용자 은닉 정보를 복수 개로 분할하고, 복수 개로 분할된 데이터들을 메시지 인코딩(Message Encoding)하며, 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조하고, 영상의 2차원 이동에 대응하기 위한 동기화 신호를 생성하며, 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 동기화 신호를 이용하여 복수 개의 서브 기저 패턴을 생성하고, 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크인 구조적 멀티패턴 워터마크를 생성함으로써, 워터마크의 정보 은닉량을 증가시키고, 워터마크의 구조적인 특징으로 인해 영상의 2차원적 이동뿐만 아니라 일반적인 기하학적 변형에도 강인하게 대응할 수 있다.
워터마크, 정보 은닉량, 강인성, 기하학적 변형,

Description

구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를 이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치 및 방법{ Apparatus and Method for Creating Constructive Muli-Pattern Watermark, Apparatus and Method for Embedding Watermark by Using The Same, Apparatus and Method for Extracting Watermark by Using The Same }
본 발명은 디지털 영상 처리에 관한 것으로서, 보다 상세하게는 구조적 멀티패턴 워터마크 생성 장치 및 방법과, 이를 이용한 워터마크 삽입 장치 및 방법, 워터마크 검출 장치 및 방법에 관한 것이다.
디지털 워터마킹(Digital Watermarking)이란, 텍스트, 동영상, 정지 영상, 오디오 등의 멀티미디어 콘텐츠에 시각적 또는 청각적으로 인식할 수 없는 신호 형태로 소정의 정보를 삽입하여 은닉하고, 은닉된 정보를 추출하여 저작권, 영상에 대한 인증 및 동영상의 모니터링을 위한 부가 정보로 사용하는 기술을 말한다.
이와 같은 디지털 워터마킹 기술은 다음과 같은 서로 상반된 특징(Trade-Off)을 가진다.
1. 비가시성(Invisibility) : 인간의 시각으로 원본 영상과 워터마크가 삽입된 영상을 구별할 수 없어야 함.
2. 강인성(Robustness) : 다양한 영상 처리, 노이즈(Noise), 영상 압축, 기하학적 변형(Geometrical Transform), 디지털-아날로그 변환 등과 같은 멀티미디어 콘텐츠의 변형이 있어도 워터마크를 추출할 수 있어야 함.
3. 정보 은닉량(Payload) : 동일한 멀티미디어 콘텐츠에 대하여 가능한 많은 정보를 삽입할 수 있어야 함.
여기서, 워터마크의 강인성을 높이기 위해서는 비가시성을 낮추거나 정보 은닉량을 줄여야 한다. 반면에, 워터마크의 정보 은닉량을 높이기 위해서는 강인성을 낮추거나 비가시성을 낮추어야 한다.
따라서, 워터마크의 정보 은닉량을 높이면서 동시에 워터마크의 강인성을 높일 수 있는 디지털 워터마킹 기술이 요구된다.
한편, 워터마크의 강인성 측면에서 영상의 기하학적인 변형에 대응하기 위한 다양한 방법이 제시되었는데, 대부분 회전(Rotation), 영상 크기 변환(Scaling) 및 영상의 2차원적 이동(Cropping or Shift) 등과 같은 제한적인 변형에 대해서만 대응할 수 있었다.
그러나, 실제적으로는 이러한 제한적인 변형뿐만 아니라 일반적인 기하학적 변형에 모두 대응할 수 있는 방법이 요구된다.
본 발명의 목적은 워터마크의 정보 은닉량을 높이면서 동시에 워터마크의 강인성을 높일 수 있는 구조적 멀티패턴 워터마크 생성 장치 및 방법과, 이를 이용한 워터마크 삽입 장치 및 방법, 워터마크 검출 장치 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은 영상의 2차원적 이동뿐만 아니라 일반적인 기하학적 변형에도 대응할 수 있는 구조적 멀티패턴 워터마크 생성 장치 및 방법과, 이를 이용한 워터마크 삽입 장치 및 방법, 워터마크 검출 장치 및 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 워터마크의 검출 속도를 향상시키는 구조적 멀티패턴 워터마크 생성 장치 및 방법과, 이를 이용한 워터마크 삽입 장치 및 방법, 워터마크 검출 장치 및 방법을 제공하는 데 있다.
상기 문제점을 해결하기 위한 본 발명의 구조적 멀티패턴 워터마크 생성 장치의 바람직한 실시예는, 입력되는 사용자 은닉 정보를 복수 개로 분할하여 출력하는 데이터 분할부와, 상기 복수 개로 분할된 데이터들을 메시지 인코딩(Message Encoding)하는 인코더와, 상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조하는 변조기와, 영상의 2차원 이동에 대응하기 위한 동기화 신호를 생성하는 동기신호 생성부와, 상기 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 상기 동기화 신호를 이용하여 복수 개의 서브 기저 패턴을 생성하는 서브 기저 패턴 생성부와, 상기 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 단위 워터마크 생성부를 포함하여 이루어진다.
여기서, 상기 인코더는, 오류 정정 코드를 이용하여 상기 복수 개로 분할된 데이터들을 메시지 인코딩하는 것을 특징으로 한다.
삭제
삭제
또한, 상기 데이터 분할부는, 상기 입력되는 사용자 은닉 정보를 4N(여기서, N은 자연수)개로 분할하되, 바람직하게는 4개로 분할하여 출력하는 것을 특징으로 하며, 이때 상기 단위 워터마크 생성부는, 4개의 서브 기저 패턴을 각각 0°, 90°, 180°, 270° 회전된 형태로 해당 영역에 삽입하여 단위 워터마크를 생성할 수 있고, 또한 상기 4개의 서브 기저 패턴을 각각 제자리, 좌우 대칭, 상하 대칭, 좌우상하 대칭된 형태로 해당 영역에 삽입하여 단위 워터마크를 생성할 수도 있다.
한편, 본 발명의 구조적 멀티패턴 워터마크 생성 방법의 바람직한 실시예는, 데이터 분할부가 입력되는 사용자 은닉 정보를 복수 개로 분할하여 출력하는 단계와, 인코더가 상기 복수 개로 분할된 데이터들을 메시지 인코딩(Message Encoding)하는 단계와, 변조기가 상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조하는 단계와, 동기신호 생성부가 영상의 2차원 이동에 대응하기 위한 동기 화 신호를 생성하는 단계와, 서브 기저 패턴 생성부가 상기 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 상기 동기화 신호를 이용하여 복수 개의 서브 기저 패턴을 생성하는 단계와, 단위 워터마크 생성부가 상기 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 단계를 포함하여 이루어진다.
한편, 본 발명의 구조적 멀티패턴 워터마크 삽입 장치의 바람직한 실시예는, 입력되는 원 영상(Original Image)에서 로 데이터(Raw Data)를 추출하는 로 데이터 추출부와, 상기 추출한 로 데이터의 컬러 공간을 YUV 공간으로 변환하고, 상기 YUV 컬러 공간에서 Y 성분을 추출하는 YUV 공간 변환부와, 입력되는 사용자 은닉 정보를 복수 개로 분할하여 복수 개의 서브 기저 패턴을 생성하고, 상기 복수 개의 서브 기저 패턴으로 하나의 단위 워터마크인 구조적 멀티패턴 워터마크를 생성하는 구조적 멀티패턴 워터마크 생성기와, 상기 구조적 멀티패턴 워터마크를 상기 추출한 Y 성분에 삽입하기 위한 워터마크 삽입 강도를 결정한 후, 상기 결정된 워터마크 삽입 강도를 적용하여 Y 성분에 삽입하는 워터마크 삽입기를 포함하여 이루어진다.
삭제
또한, 상기 구조적 멀티패턴 워터마크 생성기는, 입력되는 사용자 은닉 정보를 복수 개로 분할하여 출력하는 데이터 분할부와, 상기 복수 개로 분할된 데이터 들을 메시지 인코딩(Message Encoding)하는 인코더와, 상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조하는 변조부와, 영상의 2차원 이동에 대응하기 위한 동기화 신호를 생성하는 동기신호 생성부와, 상기 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 상기 동기화 신호를 이용하여 복수 개의 서브 기저 패턴을 생성하는 서브 기저 패턴 생성부와, 상기 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 단위 워터마크 생성부를 포함하여 이루어지는 것을 특징으로 한다.
또한, 상기 워터마크 삽입기는, 하기의 수학식 1을 이용하여 상기 구조적 멀티패턴 워터마크를 상기 추출한 Y 성분에 삽입하는 것을 특징으로 한다.
(수학식 1)
Figure 112008053126616-pat00001
여기서, I'n ,m : 워터마킹된 콘텐츠, In ,m : 오리지널 콘텐츠, wn ,m : 워터마크, αr: 로컬 워터마크 삽입 강도, S0, S1 : 고정 계수 값을 나타낸다.
삭제
삭제
한편, 본 발명의 구조적 멀티패턴 워터마크의 삽입 방법의 바람직한 실시예는, 데이터 추출부가 입력되는 원 영상(Original Image)에서 로 데이터(Raw Data)를 추출하는 단계와, YUV 공간 변환부가 상기 추출한 로 데이터의 컬러 공간을 YUV 공간으로 변환한 후, 상기 YUV 컬러 공간에서 Y 성분을 추출하는 단계와, 구조적 멀티패턴 워터마크 생성기가 입력되는 사용자 은닉 정보를 복수 개로 분할하여 복수 개의 서브 기저 패턴을 생성하고, 상기 복수 개의 서브 기저 패턴으로 하나의 단위 워터마크인 구조적 멀티패턴 워터마크를 생성하는 단계와, 워터마크 삽입기가 상기 생성된 구조적 멀티패턴 워터마크를 상기 추출한 Y 성분에 삽입하기 위한 워터마크 삽입 강도를 결정한 후, 상기 결정된 워터마크 삽입 강도를 적용하여 Y 성분에 삽입하는 단계를 포함하여 이루어진다.
삭제
또한, 상기 구조적 멀티패턴 워터마크를 생성하는 단계는, 데이터 분할부가 입력되는 사용자 은닉 정보를 복수 개로 분할하여 출력하는 단계와, 인코더가 상기 복수 개로 분할된 데이터들을 메시지 인코딩(Message Encoding)하는 단계와, 변조부가 상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조하는 단계 와, 동기신호 생성부가 영상의 2차원 이동에 대응하기 위한 동기화 신호를 생성하는 단계와, 서브 기저 패턴 생성부가 상기 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 상기 동기화 신호를 이용하여 복수 개의 서브 기저 패턴을 생성하는 단계와, 단위 워터마크 생성부가 상기 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
또한, 상기 워터마크 삽입 강도를 결정한 후, 상기 결정된 워터마크 삽입 강도를 적용하여 Y 성분에 삽입하는 단계는, 상기 추출한 Y 성분을 확률적 모델 방법으로 모델링(Modeling)하는 단계와, 상기 모델링의 ML(Maximun Likelihood) 또는 MAP(Maximum A Posteriori) 추정 방법에 의해 MWMS(Maximum Watermark Strength) 값을 구하는 단계와, 상기 추출한 Y 성분의 영상을 m×m 사이즈로 분할한 후, 분할된 영상별로 평탄 영역, 에지 영역, 복잡 영역의 해당 비율에 따라 로컬 워터마크 삽입 강도를 구하는 단계와, 상기 MWMS(Maximum Watermark Strength) 및 로컬 워터마크 삽입 강도 값을 이용하여 상기 구조적 멀티패턴 워터마크를 상기 Y 성분에 삽입하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
또한, 상기 구조적 멀티패턴 워터마크를 상기 Y 성분에 삽입하는 단계는, 하기의 수학식 2를 이용하는 것을 특징으로 한다.
(수학식 2)
Figure 112008053126616-pat00002
여기서, I'n ,m : 워터마킹된 콘텐츠, In ,m : 오리지널 콘텐츠, wn ,m : 워터마크, αr: 로컬 워터마크 삽입 강도, S0, S1 : 고정 계수 값을 나타낸다.
한편, 구조적 멀티패턴 워터마크의 검출 장치의 바람직한 실시예는, 구조적 멀티패턴 워터마크가 삽입된 영상에서 로 데이터(Raw Data)를 추출하는 로 데이터 추출부와, 상기 추출한 로 데이터의 컬러 공간을 YUV 공간으로 변환한 후, 상기 YUV 컬러 공간에서 Y 성분을 추출하는 YUV 공간 변환부와, 상기 추출한 Y 성분에서 워터마크의 검출 강도를 예측한 후, 상기 워터마크의 검출 강도를 적용하여 상기 Y 성분에서 구조적 멀티패턴 워터마크를 검출하는 워터마크 검출기와, 상기 영상의 2차원적 이동에 대한 동기화를 수행하여 영상의 2차원적 이동을 복구하는 2차원 이동 복구부와, 상기 2차원적 이동이 복구된 워터마크 신호에서 메시지 코드를 추출하는 메시지 코드 추출부와, 상기 추출한 메시지 코드에서 사용자 은닉 정보를 추출하는 사용자 은닉 정보 추출부를 포함하여 이루어진다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
또한, 상기 영상의 기하학적 변형 정도를 예측하는 기하학적 변형 예측부와, 상기 예측된 기하학적 변형 정도를 이용하여 상기 영상의 기하학적 변형을 복구하는 기하학적 변형 복구부를 더 포함하여 이루어지는 것을 특징으로 한다.
여기서, 상기 기하학적 변형 예측부는, 상기 검출된 구조적 멀티패턴 워터마크의 자기 상관 패턴(Auto Correlation Pattern)을 측정한 후, 자기 상관도가 주기적으로 높은 좌표값을 추출하여 영상의 기하학적 변형 정도를 예측하는 것을 특징으로 한다.
또한, 상기 기하학적 변형 복구부는, 상기 자기 상관도가 주기적으로 높은 좌표값을 이용하여 영상의 기하학적 변형에 대한 역변환 계수를 구한 후, 상기 역변환 계수를 이용하여 영상의 기하학적 변형을 복구하는 것을 특징으로 한다.
또한, 상기 기하학적 변형 복구부는, 상기 자기 상관도가 주기적으로 높은 좌표값 중에서 피크치가 가장 큰 4개의 좌표 그룹을 선정한 후, 상기 4개의 좌표 그룹이 하기의 조건 중 어느 하나에 해당하면, 영상의 기하학적 변형에 대한 복구를 포기하는 것을 특징으로 한다.
(1) 4개 좌표 간의 각 직선 거리가 원 영상에서 4개 좌표 간의 각 직선 거리의 1/2 미만인 경우
(2) 4개 좌표 중 3개 좌표를 연결하여 형성되는 내각이 75°~ 105°를 초과하는 경우
(3) 4개 좌표 중 3개 좌표를 연결하여 형성되는 두 직선의 길이 비율이 1:2 를 초과하는 경우
삭제
한편, 본 발명의 구조적 멀티패턴 워터마크의 검출 방법의 바람직한 실시예는, 로 데이터 추출부가 구조적 멀티패턴 워터마크가 삽입된 영상에서 로 데이터(Raw Data)를 추출하는 단계와, YUV 공간 변환부가 상기 추출한 로 데이터의 컬러 공간을 YUV 공간으로 변환한 후, 상기 YUV 컬러 공간에서 Y 성분을 추출하는 단계와, 워터마크 검출기가 상기 추출한 Y 성분에서 워터마크의 검출 강도를 예측한 후, 상기 워터마크의 검출 강도를 적용하여 상기 Y 성분에서 구조적 멀티패턴 워터마크를 검출하는 단계와, 2차원 이동 복구부가 상기 영상의 2차원적 이동에 대한 동기화를 수행하여 영상의 2차원적 이동을 복구하는 단계와, 메시지 코드 추출부가 상기 2차원적 이동이 복구된 워터마크 신호에서 메시지 코드를 추출하는 단계와, 사용자 은닉 정보 추출부가 상기 추출한 메시지 코드에서 사용자 은닉 정보를 추출하는 단계를 포함하여 이루어진다.
삭제
또한, 상기 메시지 코드를 추출하는 단계에서, 상기 메시지 코드 추출부가 메시지 코드를 추출하지 못하는 경우, 기하학적 변형 예측부가 상기 영상의 기하학적 변형 정도를 예측하는 단계와, 기하학적 변형 복구부가 상기 예측된 기하학적 변형 정도를 이용하여 상기 영상의 기하학적 변형을 복구하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.
또한, 상기 영상의 기하학적 변형 정도를 예측하는 단계는, 상기 검출된 구조적 멀티패턴 워터마크의 자기 상관 패턴(Auto Correlation Pattern)을 측정하는 단계와, 상기 측정한 자기 상관도가 주기적으로 높은 좌표값을 추출하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
또한, 상기 영상의 기하학적 변형을 복구하는 단계는, 상기 자기 상관도가 주기적으로 높은 좌표값을 이용하여 영상의 기하학적 변형에 대한 역변환 계수를 구하는 단계와, 상기 역변환 계수를 이용하여 영상의 기하학적 변형을 복구하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
삭제
본 발명의 실시예에 의하면, 사용자 은닉 정보를 복수 개로 분할하여 구조적 멀티패턴 워터마크를 형성함으로써, 워터마크의 정보 은닉량을 증가시켜 다양한 정 보를 삽입할 수 있다.
그리고, 구조적 멀티패턴 워터마크의 구조적인 특징으로 인해 영상의 2차원적 이동뿐만 아니라 일반적인 기하학적 변형에도 강인하게 대응할 수 있다.
또한, 구조적 멀티패턴 워터마크의 구조적인 특징으로 인해 다양한 영상의 변형 또는 편집에도 워터마크를 빠른 속도로 검출할 수 있다.
이하, 도 1 내지 도 9를 참조하여 본 발명의 구조적 멀티패턴 워터마크 생성 장치 및 방법과, 이를 이용한 워터마크 삽입 장치 및 방법, 워터마크 검출 장치 및 방법의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 구조적 멀티패턴 워터마크 생성 장치의 구성을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 구조적 멀티패턴 워터마크 발생 장치(100)는 데이터 분할부(Data Partitioner)(110), 인코더(Encoder)(120), 변조기(Modulator)(130), 동기신호 생성부(140), 서브 기저 패턴 생성부(150), 단위 워터마크 생성부(160)를 포함하여 이루어진다.
상기 데이터 분할부(Data Partitioner)(110)는 입력되는 사용자 은닉 정보를 일정한 개수로 분할하여 출력한다. 여기서, 사용자 은닉 정보로는 컨텐츠 소유자 정보(예를 들면, 성함, 이메일 주소, 연락처 등), 고유 번호, 제작 날짜 등의 컨텐츠 저작권 정보가 포함된다.
즉, 상기 데이터 분할부(110)는 입력되는 사용자 은닉 정보를 4N(여기서, N은 자연수)개로 분할하여 출력하되, 바람직하게는 사용자 은닉 정보를 4개로 분할하여 출력한다.
예를 들어, 사용자 은닉 정보가 28bit 크기의 데이터라고 할 때, 데이터 분할부(110)는 상기 사용자 은닉 정보를 7bit 크기의 데이터 4개로 분할하여 출력한다. 이때, 상기 데이터 분할부(110)는 분할된 데이터를 동시에 출력할 수도 있고, 시간 간격을 두고 순차적으로 출력할 수도 있다.
상기 인코더(Encoder)(120)는 상기 데이터 분할부(110)에서 분할된 데이터들을 오류 정정 코드를 이용하여 메시지 인코딩(Message Encoding)한다. 여기서, 상기 오류 정정 코드로는 RS(Reed-Solomon) 코드 또는 LDPC(Low Density Parity Check) 코드 등을 사용할 수 있다.
상기 인코더(120)에서 오류 정정 코드를 이용하여 메시지 인코딩하는 이유 는, 상기 분할된 데이터가 왜곡되거나 변형되더라도 원 데이터를 복구할 수 있도록 하기 위함이다.
한편, 상기 데이터 분할부(110)가 분할된 데이터를 동시에 출력하는 경우, 상기 인코더(120)는 복수 개의 인코더를 병렬로 구성하여 상기 분할된 데이터를 동시에 메시지 인코딩할 수 있다.
반면에, 상기 데이터 분할부(110)가 분할된 데이터를 순차적으로 출력하는 경우, 상기 인코더(120)는 하나의 인코더로 구성하고, 입력되는 데이터를 순차적으로 메시지 인코딩할 수 있다.
상기 변조기(Modulator)(130)는 상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조한다. 이때, 상기 변조기(130)는 대역 확산(Spread Spectrum) 방식을 이용한 M-ary 변조 또는 Binary 변조 방식을 사용하여 상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조한다.
일반적으로 사용자 은닉 정보로서 문자열(예를 들면, "www.cknb.co.kr")이나 비트열(예를 들면, "10101100") 등 다양한 포맷을 가지는 정보가 워터마크로 삽입되는데, 이 경우 워터마크 검수시에는 워터마크 신호에 대한 전반적인 bit 단위의 오류 확률보다는 삽입된 전체 코드 워드(Code Word) 단위의 오류 확률이 훨씬 의미가 있고 중요하다.
예를 들어, www.cknb.co.kr를 이용하여 총 1024 bit 크기의 워터마크 신호가 생성된 경우, 그 중에서 100 bit가 잘못 검출되었다고 할 때, 맨 앞 부분에서 100 bit가 연속적으로 잘못 검출되면 "ww"라는 글자가 깨져서 워터마크가 검출되지 않지만, 100bit 가 랜덤하게 잘못 검출되면 하나의 코드 워드가 완전히 깨어지지 않아 워터마크를 검출할 수 있게 된다. 이와 같이 워터마크 검출 유무는 워터마크 신호에 대한 전반적인 bit 오류로 판단되는 것이 아니라, 코드 워드 단위의 오류 여부로 판단된다.
따라서, 본 발명에서는 워터마크 검출시 강인성을 높이기 위해, 대역 확산(Spread Spectrum) 방식을 이용한 M-ary 변조 또는 Binary 변조 방식을 사용함으로써, 심볼(Symbol) 단위로 오류 확률을 낮추어 준다.
한편, 상기 인코더(120)를 복수 개의 인코더들이 병렬로 연결된 것으로 구성한 경우, 상기 변조기(130)도 복수 개의 변조기들이 병렬로 연결된 것으로 구성할 수 있다. 이때, 상기 복수 개의 변조기들은 상기 메시지 인코딩된 데이터를 동시에 영상 신호 형태로 변조한다.
반면에, 상기 인코더(120)를 하나의 인코더로 구성한 경우, 상기 변조기(130)도 하나의 변조기로 구성할 수 있으며, 이때 상기 변조기(130)는 메시지 인코딩된 데이터들을 순차적으로 영상 신호 형태로 변조한다
상기 동기신호 생성부(140)는 영상의 2차원적인 이동(예를 들면, Cropping, Shift등)에 대응하기 위해 동기화 신호를 생성한다.
이때, 상기 동기신호 생성부(140)는 동기화 신호키를 이용하여 동기화 신호를 생성하는데, 상기 동기화 신호키는 동기화 신호를 생성함에 있어서, 씨드(Seed) 값 즉, 초기값의 역할을 한다.
상기 서브 기저 패턴 생성부(150)는 상기 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 상기 동기화 신호를 이용하여 복수 개의 서브 기저 패턴을 생성한다.
예를 들어, 상기 데이터 분할부(110)에서 사용자 은닉 정보를 4개의 데이터로 분할한 경우, 상기 변조기(130)에서는 총 4개의 메시지 신호를 출력하게 되는데, 상기 서브 기저 패턴 생성부(150)는 상기 4개의 메시지 신호와 상기 동기화 신호를 이용하여 총 4개의 서브 기저 패턴을 생성한다.
즉, 상기 서브 기저 패턴 생성부(150)는 서로 다른 정보가 포함된 4개의 메시지 신호 각각을 1개의 동기화 신호와 합성하여, 단위 워터마크를 형성하게 될 4개의 서브 기저 패턴을 생성한다. 여기서, 상기 각 서브 기저 패턴은 N×N 크기를 가진다.
한편, 상기 변조기(130)를 복수 개의 변조기들이 병렬로 연결된 것으로 구성한 경우, 상기 서브 기저 패턴 생성부(150)도 복수 개의 서브 기저 패턴 생성부들을 병렬로 연결하여 구성할 수 있다. 이때, 상기 복수 개의 서브 기저 패턴 생성부들은 각각 메시지 신호 및 동기화 신호를 이용하여 동시에 서브 기저 패턴을 생성한다.
반면에, 상기 변조기(130)를 하나의 변조기로 구성한 경우, 상기 서브 기저 패턴 생성부(150)도 하나의 서브 기저 패턴 생성부로 구성할 수 있으며, 이때 상기 서브 기저 패턴 생성부(150)는 복수 개의 메시지 신호 및 동기화 신호를 이용하여 순차적으로 복수 개의 서브 기저 패턴을 생성한다.
상기 단위 워터마크 생성부(160)는 상기 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성한다.
예를 들어, 상기 데이터 분할부(110)에서 사용자 은닉 정보를 4개의 데이터로 분할한 경우, 상기 서브 기저 패턴 생성부(150)는 4개의 서브 기저 패턴을 생성하게 되는데, 상기 단위 워터마크 생성부(160)는 4개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성한다. 여기서, 상기 각 서브 기저 패턴이 N×N의 크기를 갖는다면, 상기 단위 워터마크는 2N×2N의 크기를 갖게 된다.
이때, 상기 단위 워터마크 생성부(160)가 상기 4개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 방법에는 다음의 두 가지 방법이 있다.
도 2는 4개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 제1 실시예를 나타낸 도면이다.
도 2를 참조하면, 4개의 서브 기저 패턴(A1, A2, A3, A4)이 하나의 단위 워터마크를 형성하는데, 이때 제1 서브 기저 패턴(A1) 내지 제4 서브 기저 패턴(A4)은 각각 0°, 90°, 180°, 270° 회전된 형태로 삽입된다.
도 3은 4개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 제2 실시예를 나타낸 도면이다.
도 3을 참조하면, 4개의 서브 기저 패턴(A1, A2, A3, A4)이 하나의 단위 워 터마크를 형성하는데, 이때 제1 서브 기저 패턴(A1) 내지 제4 서브 기저 패턴(A4)은 각각 제자리, 좌우 대칭, 상하 대칭, 좌우상하 대칭된 형태로 삽입된다.
이와 같이, 제1 서브 기저 패턴(A1) 내지 제4 서브 기저 패턴(A4)을 각각 0°, 90°, 180°, 270° 회전된 형태로 삽입하거나, 제자리, 좌우 대칭, 상하 대칭, 좌우상하 대칭된 형태로 삽입하여 단위 워터마크를 형성하는 이유는, 강인성을 유지하면서 워터마크 검출시 검출 속도를 향상시키기 위함이다.
본 발명의 실시예에 의하면, 사용자 은닉 정보를 복수 개로 분할하여 복수 개의 서브 기저 패턴을 형성하고, 복수 개의 서브 기저 패턴으로 하나의 단위 워터마크를 형성하게 되는데, 이때 형성되는 단위 워터마크를 '구조적 멀티패턴 워터마크'라고 정의한다.
본 발명의 '구조적 멀티패턴 워터마크'에 의하면, 기존 방식에 의한 동일한 크기의 단위 워터마크에 비해 사용자 은닉 정보량을 증가시킬 수 있다.
예를 들어, 기존 방식에 의한 2N×2N 크기의 단위 워터마크에 비하여, 본 발명에 의해 형성된 2N×2N 크기의 '구조적 멀티패턴 워터마크'는 N×N 크기의 4개의 서브 기저 패턴을 이용하여 사용자 은닉 정보량을 기존 방식에 비해 최대 4배 증가시킬 수 있다.
또한, 본 발명의 '구조적 멀티패턴 워터마크'에 의하면, 4개의 서브 기저 패턴들이 각각 0°, 90°, 180°, 270° 회전된 형태로 삽입되거나, 제자리, 좌우 대칭, 상하 대칭, 좌우상하 대칭된 형태로 삽입되어 단위 워터마크를 형성하기 때문 에, 단위 워터마크의 구조적 특성상 멀티미디어 콘텐츠에 대해 다양한 편집 및 기하학적 변형이 발생한 경우에도 강인하게 대응할 수 있으며, 워터마크 검출시 검출 속도를 고속화할 수 있다.
도 4는 본 발명의 구조적 멀티패턴 워터마크 생성 방법을 나타낸 순서도이다.
도 4를 참조하면, 먼저 데이터 분할부(110)가 입력되는 사용자 은닉 정보를 일정한 개수로 분할하여 출력한다(S 100).
여기서, 상기 데이터 분할부(110)는 입력되는 사용자 은닉 정보를 N×N(여기서, N은 정수)의 개수로 분할하여 출력하며, 바람직하게는 사용자 은닉 정보를 4개로 분할하여 출력한다.
다음으로, 인코더(Encoder)(120)가 상기 데이터 분할부(110)에서 분할된 데이터들을 오류 수정 코드를 이용하여 메시지 인코딩(Message Encoding)한다(S 110).
여기서, 상기 오류 수정 코드로는 RS(Reed-Solomon) 코드 또는 LDPC(Low Density Parity Check) 코드 등을 사용할 수 있다.
이어서, 변조기(Modulator)(130)가 상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조한다(S 120).
이때, 상기 변조기(130)는 대역 확산(Spread Spectrum) 방식을 이용한 M-ary 변조 또는 Binary 변조 방식을 사용하여 상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조한다.
연이어, 동기신호 생성부(140)가 영상의 2차원적인 이동(예를 들면, Cropping, Shift 등)에 대응하기 위한 동기화 신호를 생성한다(S 130).
이때, 상기 동기신호 생성부(140)는 씨드(Seed) 역할을 하는 동기화 신호키를 이용하여 동기화 신호를 생성한다.
다음으로, 서브 기저 패턴 생성부(150)가 상기 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 상기 동기화 신호를 이용하여 복수 개의 서브 기저 패턴을 생성한다(S 140).
즉, 상기 서브 기저 패턴 생성부(150)는 서로 다른 사용자 은닉 정보가 포함된 복수 개의 메시지 신호 각각을 1개의 동기화 신호와 합성하여, 단위 워터마크를 형성하게 될 복수 개의 서브 기저 패턴을 생성한다.
이어서, 단위 워터마크 생성부(160)가 상기 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크인 '구조적 멀티패턴 워터마크'를 생성한다(S 150).
이때, 복수 개의 서브 기저 패턴들은 각각 0°, 90°, 180°, 270° 등의 회전된 형태로 삽입되거나, 제자리, 좌우 대칭, 상하 대칭, 좌우상하 대칭 등의 형태로 삽입되어 '구조적 멀티패턴 워터마크'를 형성한다.
도 5는 본 발명의 구조적 멀티패턴 워터마크를 이용한 워터마크 삽입 장치의 구성을 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 워터마크 삽입 장치(200)는 로 데이터(Raw Data) 추출부(210), YUV 공간 변환부(220), 구조적 멀티패턴 워터마크 생성기(230), 워터마크 삽입기(240), 데이터 포맷 변환부(250)를 포함하여 이루어진다.
상기 로 데이터(Raw Data) 추출부(210)는 입력되는 원 영상(Original Image)에서 로 데이터(Raw Data)를 추출한다.
상기 원 영상에서 로 데이터(Raw Data)를 추출하는 이유는, 일반적으로 멀티미디어 콘텐츠는 특정 포맷으로 인코딩되어 있으므로, 특정 포맷에 의존적이지 않은 비 압축 영역에서 워터마크를 삽입하기 위함이다.
상기 YUV 공간 변환부(220)는 상기 추출한 로 데이터(Raw Data)의 컬러 공간을 YUV 컬러 공간으로 변환하고, YUV 컬러 공간에서 Y 성분(Luminance)을 추출한다.
멀티미디어 콘텐츠는 통상 RGB, YIQ, YUV, YCrCb, HSV 등 다양한 컬러 공간으로 표현된다. 여기서 휘도(Luminance) 성분은 모든 영상이 공통으로 갖고 있는 성분으로, 이를 이용하기 위하여 로 데이터(Raw Data)의 컬러 공간을 YUV 컬러 공간으로 변환하고, 변환한 YUV 컬러 공간에서 Y 성분(Luminance)을 추출한다.
또한, 인간의 눈은 색차 변화에 대해서 보다는 휘도 변화에 훨씬 덜 민감하기 때문에, 워터마크로서 휘도 성분을 이용하는 것이 바람직하다. 휘도 성분을 이용하는 것의 또 다른 장점은 색차 성분보다 영상의 변환에 불변한다는 것이다.
상기 구조적 멀티패턴 워터마크 생성기(230)는 입력되는 사용자 은닉 정보를 복수 개로 분할하여 복수 개의 서브 기저 패턴을 생성하고, 복수 개의 서브 기저 패턴으로 하나의 단위 워터마크인 구조적 멀티패턴 워터마크를 생성한다. 이에 대한 자세한 설명은 앞서 기술한 바와 같다.
상기 워터마크 삽입기(240)는 상기 생성된 구조적 멀티패턴 워터마크를 원 영상에 삽입하기 위한 적응적 워터마크 삽입 강도를 결정한 후, 상기 추출한 Y 성분에 상기 적응적 워터마크 삽입 강도를 적용하여 구조적 멀티패턴 워터마크를 삽입한다.
이때, 상기 워터마크 삽입기(240)는 영상 픽셀 공간(spatial Domain)에서 워터마크를 삽입하기 위하여, 원 영상의 Y 성분을 확률적 모델 방법으로 모델링 한 후, ML(Maximun Likelihood) 또는 MAP(Maximum A Posteriori) 추정 방법에 의해 최적의 MWMS(Maximum Watermark Strength) 값을 구한다.
상기 MWMS는 영상의 복잡도에 따라 0 ~ 1 사이의 값으로 정규화되는데, MWMS가 0에 가까운 값을 가질수록 영상이 복잡한 영역으로 노이즈(Noise)가 보이기 어렵고, MWMS가 1에 가까운 값을 가질수록 영상이 평탄한 영역으로 약간의 노이즈에도 영상의 차이를 느끼기 쉽다.
수학식 1은 MWMS(Maximum Watermark Strength)를 이용한 워터마크 삽입식을 나타낸 것이다.
Figure 112008053126616-pat00004
여기서, I'n ,m : 워터마킹된 콘텐츠, In ,m : 오리지널 콘텐츠, wn ,m : 워터마크, α: 글로벌 워터마크 삽입 강도를 나타낸다. 이때, 워터마크 삽입 강도는 워터마크의 강인성 및 비가시성을 조절하는 핵심 요소가 된다.
수학식 1을 사용하면, 원 영상에 워터마크가 적응적으로 삽입되기는 하지만, 워터마크 삽입 강도 값인 α값이 고정 상수이기 때문에, 복잡한 영역이 많은 영상과 평탄 영역이 많은 영상의 경우를 비교하면, 오히려 평탄 영역이 많은 영상의 워터마크 삽입 강도가 상대적으로 높은 역전 현상이 일어난다.
즉, 복잡한 영역이 많은 영상과 평탄 영역이 많은 영상에서 MWMS를 비교하면, 정규화되기 전 MWMS는 복잡한 영역이 많은 영상이 평탄한 영역이 많은 영상보다 작지만, 정규화된 MWMS는 평탄한 영역이 많은 영상이 복잡한 영역이 많은 영상보다 작게 된다.
이 경우, 실제 워터마크 삽입 단계에서 복잡한 영역이 많은 영상의 워터마크 삽입 강도가 평탄한 영역이 많은 영상의 워터마크 삽입 강도보다 작아지는 역전 현상이 일어나, 복잡한 영역이 많은 영상에서는 화질은 좋지만 강인성이 떨어지게 되고, 평탄한 영역이 많은 영상에서는 강인성은 좋지만 화질이 떨어지는 현상이 일어나게 된다.
따라서, 워터마크 삽입 강도 값인 α값을 각 영상의 전체적인 복잡도에 따라 적응적으로 조절해야할 필요가 있다. 이를 위해 본 발명에서는, 수학식 2에 나타낸 바와 같이 영역별로 적응적인 α값을 계산한다.
Figure 112008053126616-pat00005
여기서, I'n ,m : 워터마킹된 콘텐츠, In ,m : 오리지널 콘텐츠, wn ,m : 워터마크, αr: 로컬 워터마크 삽입 강도, S0, S1 : 고정 계수 값을 나타낸다.
즉, 본 발명에서는 m×m 사이즈로 영상을 분할하고, 분할된 영상별로 평탄 영역, 에지 영역, 복잡 영역의 해당 비율에 따라 m×m 영역에 맞는 αr값을 계산한다.
한편, 상기 워터마크 삽입기(240)는 단위 워터마크인 구조적 멀티패턴 워터마크를 Y 성분에 삽입할 때, 전체 영상 사이즈로 타일링(Tiling)하여 삽입한다.
상기 데이터 포맷 변환부(250)는 구조적 멀티패턴 워터마크가 삽입된 Y 성분을 원 영상의 로 데이터(Raw Data)에 적용한 후, 원래의 입력 영상 포맷으로 변환한다.
이때, 상기 데이터 포맷 변환부(250)는 원 영상의 데이터 포맷과 동일하게 변환하거나 사용자가 의도하는 다른 형식의 데이터 포맷으로 변환할 수 있다.
도 6은 본 발명의 구조적 멀티패턴 워터마크를 이용한 워터마크 삽입 방법을 나타낸 순서도이다.
도 6을 참조하면, 먼저 로 데이터(Raw Data) 추출부(210)가 입력되는 원 영상(Original Image)에서 로 데이터(Raw Data)를 추출한다(S 200).
다음으로, YUV 공간 변환부(220)가 상기 추출한 로 데이터(Raw Data)의 컬러 공간을 YUV 컬러 공간으로 변환하고, YUV 컬러 공간에서 Y 성분(Luminance)을 추출한다(S 210).
이어서, 구조적 멀티패턴 워터마크 생성기(230)가 입력되는 사용자 은닉 정보를 복수 개로 분할하여 복수 개의 서브 기저 패턴을 생성하고, 복수 개의 서브 기저 패턴으로 하나의 단위 워터마크인 구조적 멀티패턴 워터마크를 생성한다(S 220).
연이어, 워터마크 삽입기(240)가 상기 생성된 구조적 멀티패턴 워터마크를 원 영상에 삽입하기 위한 적응적 워터마크 삽입 강도를 결정한다(S 230).
이때, 상기 워터마크 삽입기(240)는 m×m 사이즈로 영상을 분할하고, 분할된 영상별로 평탄 영역, 에지 영역, 복잡 영역의 해당 비율에 따라 m×m 영역에 맞는 적응적인 워터마크 삽입 강도 값을 계산한다.
다음으로, 상기 워터마크 삽입기(240)는 상기 적응적 워터마크 삽입 강도를 이용하여 상기 구조적 멀티패턴 워터마크를 상기 추출한 Y 성분(Luminance)에 삽입한다(S 240).
즉, 상기 워터마크 삽입기(240)는 수학식 2에 의해 원 영상의 Y 성 분(Luminance)에 구조적 멀티패턴 워터마크를 삽입한다. 이때, 상기 워터마크 삽입기(240)는 단위 워터마크인 구조적 멀티패턴 워터마크를 전체 영상 사이즈로 타일링(Tiling)하여 Y 성분(Luminance)에 삽입한다.
이어서, 데이터 포맷 변환부(250)가 상기 구조적 멀티패턴 워터마크가 삽입된 Y 성분을 원 영상의 로 데이터(Raw Data)에 적용한 후(S 250), 원래의 입력 영상 포맷으로 변환한다(S 260).
도 7은 본 발명의 구조적 멀티패턴 워터마크가 적용된 워터마크 검출 장치의 구성을 나타낸 블록도이다.
도 7을 참조하면, 본 발명의 워터마크 검출 장치(300)는 로 데이터(Raw Data) 추출부(310), YUV 공간 변환부(320), 워터마크 검출기(330), 2차원 이동 복구부(340), 메시지 코드 추출부(350), 기하학적 변형 예측부(360), 기하학적 변형 복구부(370), 사용자 은닉 정보 추출부(380)를 포함하여 이루어진다.
상기 로 데이터(Raw Data) 추출부(310)는 구조적 멀티패턴 워터마크가 삽입된 영상에서 로 데이터(Raw Data)를 추출한다. 이처럼 특정 포맷에 의존적이지 않은 비 압축 영역에서 워터마크를 검출하기 위함이다.
상기 YUV 공간 변환부(320)는 상기 추출한 로 데이터(Raw Data)의 컬러 공간을 YUV 컬러 공간으로 변환하고, YUV 컬러 공간에서 Y 성분(Luminance)을 추출한다.
상기 워터마크 검출기(330)는 상기 추출한 Y 성분에서 구조적 멀티패턴 워터마크를 검출하기 위한 워터마크의 검출 강도를 예측하고, 상기 워터마크의 검출 강도를 적용하여 구조적 멀티패턴 워터마크를 검출한다.
상기 워터마크 검출기(330)는 워터마크의 검출 강도를 예측할 때 변형된 Wiener Filter를 사용한다. 상기 Wiener Filter에서 사용되는 필터 계수 값은 각각의 픽셀에 대하여 적응적으로 변형되어 다양한 영상 변형에 의해 왜곡된 워터마크 신호의 강도를 정밀하게 예측할 수 있다.
즉, 본 발명에서는 수학식 3에 나타낸 바와 같이, 변형된 Wiener Filter 식을 사용하여 워터마크의 검출 강도를 예측한다.
Figure 112008053756075-pat00022
여기서, h(n1, n2)는 변형된 Wiener Filter를 나타내고, σ2 f는 원 영상의 국부 분산을 나타내며, σ2 v는 워터마크 신호의 국부 분산을 나타내고, M은 필터 크기를 나타낸다.
이때, 상기 수학식 2의 워터마크 삽입 강도 계산식을 이용하여 워터마크 신호의 국부 분산을 예측하고, 원 영상의 (n1, n2) 좌표에 해당하는 국부 분산 값을 계산하여, 수학식 4와 같은 필터를 구성하면 워터마크 삽입기에서 삽입한 워터마크 신호를 예측해 낼 수 있다.
상기 2차원 이동 복구부(340)는 영상의 2차원적 이동에 대한 동기화를 수행함으로써 영상의 2차원적인 이동을 복구한다.
상기 2차원 이동 복구부(340)는 2차원적 이동에 대한 동기화를 수행하기 위해 전처리 과정으로 워터마크 신호의 폴딩(Folding) 기법을 사용하는데, 상기 검출된 워터마크 신호를 워터마크 단위로 중첩하고, 수학식 4에 의해 예측된 워터마크의 동기 신호와 기준 동기 신호 간의 상관도(Cross Correlation)를 측정하여 영상의 2차원적인 이동을 복구한다.
워터마크 삽입 과정에서 단위 워터마크인 구조적 멀티패턴 워터마크를 전체 영상 사이즈로 타일링(Tiling) 하여 삽입하였으므로, 워터마크 신호의 폴딩(Folding) 기법을 사용할 경우, 영상의 2차원적인 이동이 없다면 예측된 워터마크 신호에서 워터마크 신호가 아닌 신호(즉, 오류 신호)는 안정화(Saturation)되고, 예측된 워터마크 신호의 중첩은 신호 강도를 극대화할 수 있다.
즉, 워터마크 신호가 아닌 오류 신호는 일반적인 가우시안 랜덤 분포를 가지므로, 각 위치당 오류 신호의 중첩은 결국 오류 신호의 평균값으로 안정화되어 제 거되는데 반하여, 예측된 워터마크 신호는 동일한 위치에서 동일한 신호가 중첩되므로 신호 강도가 점점 강해지게 된다.
상기 2차원 이동 복구부(340)는 상기 폴딩 기법에 의해 예측된 워터마크 신호 중 예측된 동기 신호와 기준 동기 신호 간의 상관도를 측정한 후, 상관도가 가장 높은 위치를 기준으로 메시지 코드를 추출한다.
여기서, 상기 예측된 동기 신호와 기준 동기 신호의 간의 상관도를 측정하는 경우, 공간 영역(Spatial Domain)에서 컨볼루션(Convolution) 형태의 계산을 수행해야 하므로 계산량이 많게 된다.
따라서, 본 발명에서는 퓨리에 변환(Fourier Transform)을 이용하여 주파수 영역(Frequency Domain)에서 곱셈 형태의 계산으로 치환함으로써 계산량을 줄이도록 한다.
상기 메시지 코드 추출부(350)는 복구된 워터마크 신호에서 메시지 코드를 추출한다. 이때, 상기 메시지 코드 추출부(350)는 대역 확산 기법을 이용한 M-ary 또는 Binary 복조 방식 및 유사도 측정을 통해 상기 복구된 워터마크 신호에서 메시지 코드를 추출한다.
M-ary 복조 방식의 경우, 상관 디코더(Correlation Decoder)를 이용하여 M 개의 테스트 셋 신호 중에서 비교 신호와 가장 큰 유사도를 갖는 신호의 심볼(Symbol)을 선택하는 ML(Maximum Likelihood) 방식이다.
이 경우, 상관도 값(Correlation Value)은 직접적인 Likelihood 값을 나타내 지는 않으나, 실제 Likelihood 값과 비례 관계에 있으므로 가장 큰 값을 갖는 것은 서로 등가가 된다.
한편, 영상에 의도적인 기하학적 변형이 가해진 경우, 상기 메시지 코드 추출부(350)에서 메시지 코드를 추출하지 못할 수도 있다. 이때는 기하학적 변형 정도를 예측하고, 예측된 기하학적 변형을 복구하는 작업을 수행해야 한다.
따라서, 본 발명에서는 기하학적 변형 예측부(360)를 통해 영상의 기하학적 변형 정도를 예측하고, 기하학적 변형 복구부(370)를 통해 예측된 기하학적 변형을 복구한다.
상기 기하학적 변형 예측부(360)는 2차원 공간에서 자기 상관도 값이 워터마크 삽입시 기본 단위인 구조적 멀티패턴 워터마크의 사이즈(예를 들어, 2N×2N)를 주기로 매우 높다는 점과, 상기 구조적 멀티패턴 워터마크가 기하학적 변형에 따라 동일하게 변경되어 원래의 사이즈 및 위치 등을 분석할 수 있다는 점을 이용하여 기하학적인 변형을 예측한다.
이때, 상기 기하학적 변형 예측부(360)는 워터마크 신호의 자기 상관도를 계산하기 위해, 공간 영역(Spatial Domain)에서 컨볼루션(Convolution) 형태의 계산을 주파수 영역(Frequency Domain)에서 곱셈 형태의 계산으로 치환함으로써 계산량을 줄인다.
구체적으로 상기 기하학적 변형 예측부(360)는 워터마크 신호의 주기적 특성을 이용하여 자기 상관 패턴(Auto Correlation Pattern)을 측정한 후, 자기 상관도 가 높은 좌표값을 추출한다.
도 8은 워터마크 신호의 자기 상관 패턴을 나타낸 그래프이다. 도 8을 참조하면, 일정한 주기로 자기 상관도 값이 매우 높은 것을 알 수 있다. 이때, 상기 기하학적 변형 예측부(360)는 자기 상관도 값이 매우 높은 피크들의 위치를 검출해낸다.
상기 기하학적 변형 복구부(370)는 상기 예측된 기하학적 변형에 대한 역변환을 수행하여 원래의 영상으로 복원한다.
즉, 상기 기하학적 변형 복구부(370)는 상기 검출된 픽셀 위치들을 이용하여 기하학적 변형에 대한 역변환 계수(Reverse Affine Parameter)를 생성한 후, 생성된 역변환 계수를 이용하여 원래의 영상을 복원한다.
수학식 4는 일반적인 어파인 변환(Affine Transform)을 나타낸 식이다.
Figure 112008053126616-pat00007
여기서, (x,y)는 원 영상의 위치를 나타내고, (x', y')는 변형된 영상의 위치를 나타내며, a, b, c, d는 로테이션 각도를 나타내는 어파인 파라미터(Affine Parameter)이고, e, f는 선형이동 거리를 나타내는 어파인 파라미터이다. 한편, 수학식 4에서 e, f는 유사도 측정을 통해 알 수 있는 파라미터이므로 여기서는 생 략하기로 한다.
이때, 두 개의 쌍을 이루는 좌표들 즉, (x1, y1), (x'1, y'1) 및 (x2, y2), (x'2, y'2)을 수학식 3에 적용하고 역 매트릭스(Inverse Matrix)를 사용함으로써, 영상을 복원하기 위한 역변환 계수(Reverse Affine Parameter)를 구할 수 있다. 이를 수학식 5에 나타내었다.
Figure 112008053126616-pat00008
여기서, 상기 기하학적 변형 복구부(370)는 수학식 5에 의해 구한 역변환 계수들을 이용하여 원래의 영상을 복구한다. 상기 기하학적 변형 복구부(370)에 의해 복구된 영상은 워터마크 검출기(330)로 입력되어 워터마크 검출 감도 예측, 메시지 코드 추출, 사용자 은닉 정보 추출 등을 재귀적으로 수행하게 된다.
한편, 상기 기하학적 변형 복구부(370)는 상기 기하학적 변형 예측부(360)가 검출한 픽셀들의 위치 중에서 피크치(Peak Value)가 큰 4개의 좌표 그룹(즉, 워터마크가 2N×2N 단위로 주기적으로 삽입되므로 도 8과 같이 여러 개의 4개 좌표 그룹이 만들어짐)을 대상으로 다음의 조건을 만족하는지 판단하여, 하기 조건을 만족하면 영상 변형으로 인해 영상의 상업적 질이 열화 되었다고 가정하여 영상 복원을 포기한다.
이때, 2차원 공간에서 자기 상관도 값은 워터마크의 기본 단위를 주기로 높 게 나타나기 때문에, 4개의 좌표는 단위 워터마크를 이루는 각 꼭지점들의 좌표로 상정할 수 있다. 예를 들어 단위 워터마크의 크기가 32×32라고 하면, 4개 좌표는 (0,0), (0, 32), (32, 0), (32, 32)가 된다.
i) 4개 좌표 간의 각 직선 거리가 원 영상에서 4개 좌표 간의 각 직선 거리의 1/2 미만인 경우
- 영상의 기하학적 변형으로 영상의 전체 스케일이 원 영상의 1/2 미만으로 줄어든 경우로, 이때는 영상의 상업적 질이 열화 된 것으로 판단하여 영상 복원을 포기한다.
ii) 4개 좌표 중 3개 좌표를 연결하여 형성되는 내각이 75°~ 105°를 초과하는 경우
- 일반적으로 영상의 기하학적 변형이 없는 경우 4개 좌표 중 3개 좌표를 연결하여 형성되는 내각은 90°이다. 그런데, 그 내각이 75°~ 105°를 초과한다면 영상의 상업적 질이 열화 된 것으로 판단하여 영상 복원을 포기한다.
iii) 4개 좌표 중 3개 좌표를 연결하여 형성되는 두 직선의 길이 비율이 1:2를 초과하는 경우
- 일반적으로 영상의 기하학적 변형이 없는 경우 4개 좌표 중 3개 좌표를 연결하여 형성되는 두 직선의 길이 비율은 1:1이 된다. 그러나, 영상의 기하학적 변형으로 두 직선의 길이 비율이 1:2를 초과한다면, 영상의 상업적 질이 열화 된 것으로 판단하여 영상 복원을 포기한다.
상기 사용자 은닉 정보 추출부(380)는 상기 추출한 메시지 코드에서 사용자 은닉 정보를 추출한다. 여기서, 상기 사용자 은닉 정보 추출부(380)는 오류 정정 코드를 이용하여 복구 가능한 오류를 복구함으로써 사용자 은닉 정보를 추출하게 된다.
이때, 오류 정정 코드의 복호화를 위해 GMD(Generalized Minimum Distance) 디코더를 사용한다. 이는 부호 복호를 위해 경판정(Hard-Decision) 된 데이터를 이용하는 것보다 연판정(Soft-Decision) 된 데이터를 이용하는 것이 AWGN(Additive White Gaussian Noise) 채널에서 약 2~3 dB 정도의 부호화 이득(Coding Gain)을 얻을 수 있기 때문이다.
또한, 본 발명에서는 워터마크 삽입 과정에서 구조적 멀티패턴 워터마크를 단위 워터마크로 하였기 때문에, 워터마크의 구조적 특성상 영상의 플립(Flip), 미러(Mirror), 90°, 180°, 270°등과 같은 단순 변형에는 불변한 좌표계를 사용할 수 있어 사용자 은닉 정보를 고속으로 추출할 수 있게 된다.
도 9는 본 발명의 구조적 멀티패턴 워터마크가 적용된 워터마크의 검출 방법을 나타낸 순서도이다.
도 9를 참조하면, 먼저 로 데이터(Raw Data) 추출부(310)가 구조적 멀티패턴 워터마크가 삽입된 영상에서 로 데이터(Raw Data)를 추출한다(S 300).
다음으로, YUV 공간 변환부(320)가 상기 추출한 로 데이터(Raw Data)의 컬러 공간을 YUV 컬러 공간으로 변환하고, YUV 컬러 공간에서 Y 성분(Luminance)을 추출 한다(S 310).
이어서, 워터마크 검출기(330)가 상기 추출한 Y 성분에서 구조적 멀티패턴 워터마크를 검출하기 위한 워터마크의 검출 강도를 예측한다(S 320).
이때, 상기 워터마크 검출기(330)는 변형된 Wiener Filter를 사용하여 워터마크의 검출 강도를 예측하는데, 전처리 과정으로 Cross-Shaped Filter 또는 Squared Filter 등과 같은 예측 필터(Prediction Filter)를 영상에 먼저 적용할 수 있다.
연이어, 상기 워터마크 검출기(330)는 상기 예측한 워터마크의 검출 강도를 적용하여 영상에서 구조적 멀티패턴 워터마크를 검출한다(S 330).
그 후, 2차원 이동 복구부(340)가 영상의 2차원적 이동에 대한 동기화를 수행하여 영상의 2차원적인 이동을 복구한다(S 340).
즉, 2차원 이동 복구부(340)는 워터마크 신호의 폴딩(Folding) 기법을 사용하여 상기 검출된 워터마크 신호를 워터마크 단위로 중첩하고, 상기 중첩에 의해 예측된 워터마크 신호 중 동기 신호와 기준 동기 신호 간의 상관도(Cross Correlation)를 측정하며, 상관도가 가장 높은 신호를 기준으로 동기화를 수행함으로써 영상의 2차원적인 변형을 복구한다.
다음으로, 메시지 코드 추출부(350)가 상기 2차원적 이동이 복구된 워터마크 신호에서 메시지 코드를 추출한다(S 350). 이때, 상기 메시지 코드 추출부(350)는 대역 확산 기법을 이용한 M-ary 또는 Binary 복조 방식 및 유사도 측정을 통해 상기 복구된 워터마크 신호에서 메시지 코드를 추출한다.
이어서, 사용자 은닉 정보 추출부(360)는 상기 단계 S 350에서, 상기 메시지 코드 추출부(350)가 메시지 코드를 성공적으로 추출하는지를 확인하여(S 360), 메시지 코드를 성공적으로 추출하는 경우, 상기 추출한 메시지 코드에서 사용자 은닉 정보를 추출한다(S 370).
한편, 상기 단계 S 350에서, 상기 메시지 코드 추출부(350)가 메시지 코드를 성공적으로 추출하지 못한 경우, 기하학적 변형 예측부(360)는 영상의 기하학적 변형 정도를 예측한다(S 380).
이때, 상기 기하학적 변형 예측부(360)는 워터마크 신호의 주기적 특성을 이용하여 자기 상관 패턴(Auto Correlation Pattern)을 측정한 후, 자기 상관도가 높은 좌표값을 추출함으로써, 영상의 기하학적 변형 정도를 예측하게 된다.
이어서, 기하학적 변형 복구부(370)는 상기 기하학적 변형 예측부(360)에 의해 검출된 좌표값을 이용하여 기하학적 변형에 대한 역변환 계수(Reverse Affine Parameter)를 생성한 후, 생성된 역변환 계수를 이용하여 원래의 영상을 복원한다(S 390).
이때, 상기 기하학적 변형 복구부(370)는 상기 기하학적 변형 예측부(360)가 검출한 픽셀들의 좌표 중에서 피크치(Peak Value)가 큰 4개의 좌표를 대상으로 다음의 조건을 만족하는지 판단하여, 하기 조건을 만족하면 영상 변형으로 인해 영상의 상업적 질이 열화 되었다고 가정하여 영상 복원을 포기한다.
i) 4개 좌표 간의 각 직선 거리가 원 영상에서 4개 좌표 간의 각 직선 거리의 1/2 미만인 경우
ii) 4개 좌표 중 3개 좌표를 연결하여 형성되는 내각이 75°~ 105°를 초과하는 경우
iii) 4개 좌표 중 3개 좌표를 연결하여 형성되는 두 직선의 길이 비율이 1:2를 초과하는 경우
한편, 상기 기하학적 변형 복구부(370)에 의해 복구된 영상은 워터마크 검출 감도 예측(S 320)에서 사용자 은닉 정보 추출(S 370) 과정을 재귀적으로 수행하게 된다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 구조적 멀티패턴 워터마크 생성 장치의 구성을 나타낸 블록도.
도 2는 4개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 제1 실시예를 나타낸 도면.
도 3은 4개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 제2 실시예를 나타낸 도면.
도 4는 본 발명의 구조적 멀티패턴 워터마크 생성 방법을 나타낸 순서도.
도 5는 본 발명의 구조적 멀티패턴 워터마크를 이용한 워터마크 삽입 장치의 구성을 나타낸 블록도.
도 6은 본 발명의 구조적 멀티패턴 워터마크를 이용한 워터마크 삽입 방법을 나타낸 순서도.
도 7은 본 발명의 구조적 멀티패턴 워터마크가 적용된 워터마크 검출 장치의 구성을 나타낸 블록도.
도 8은 워터마크 신호의 자기 상관 패턴을 나타낸 그래프.
도 9는 본 발명의 구조적 멀티패턴 워터마크가 적용된 워터마크의 검출 방법을 나타낸 순서도.
* 도면의 주요 부분에 대한 부호의 설명 *
100 : 구조적 멀티패턴 워터마크 생성 장치 110 : 데이터 분할부
120 : 인코더 130 : 변조기
140 : 동기 신호 생성부 150 : 서브 기저 패턴 생성부
160 : 단위 워터마크 생성부 200 : 워터마크 삽입 장치
210 : Raw Data 추출부 220 : YUV 공간 변환부
230 : 구조적 멀티패턴 워터마크 생성기 240 : 워터마크 삽입기
250 : 데이터 포맷 변환부 300 : 워터마크 검출 장치
310 : Raw Data 추출부 320 : YUV 공간 변환부
330 : 워터마크 검출기 340 : 2차원 이동 복구부
350 : 메시지 코드 추출부 360 : 기하학적 변형 예측부
370 : 기하학적 변형 복구부 380 : 사용자 은닉정보 추출부

Claims (55)

  1. 입력되는 사용자 은닉 정보를 복수 개로 분할하여 출력하는 데이터 분할부;
    상기 복수 개로 분할된 데이터들을 메시지 인코딩(Message Encoding)하는 인코더;
    상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조하는 변조기;
    영상의 2차원 이동에 대응하기 위한 동기화 신호를 생성하는 동기신호 생성부;
    상기 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 상기 동기화 신호를 이용하여 상기 복수 개의 메시지 신호에 각각 대응하는 복수 개의 서브 기저 패턴을 생성하는 서브 기저 패턴 생성부; 및
    상기 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 단위 워터마크 생성부를 포함하여 이루어지는 구조적 멀티패턴 워터마크 생성 장치.
  2. 제1항에 있어서,
    상기 인코더는,
    오류 정정 코드를 이용하여 상기 복수 개로 분할된 데이터들을 메시지 인코딩하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 생성 장치.
  3. 제1항에 있어서,
    상기 데이터 분할부는,
    상기 입력되는 사용자 은닉 정보를 4N(여기서, N 은 자연수)개로 분할하여 출력하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 생성 장치.
  4. 제3항에 있어서,
    상기 데이터 분할부는,
    상기 입력되는 사용자 은닉 정보를 4개로 분할하여 출력하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 생성 장치.
  5. 제4항에 있어서,
    상기 단위 워터마크 생성부는,
    상기 4개의 서브 기저 패턴을 각각 0°, 90°, 180°, 270° 회전된 형태로 해당 영역에 삽입하여 단위 워터마크를 생성하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 생성 장치.
  6. 제4항에 있어서,
    상기 단위 워터마크 생성부는,
    상기 4개의 서브 기저 패턴을 각각 제자리, 좌우 대칭, 상하 대칭, 좌우상하 대칭된 형태로 해당 영역에 삽입하여 단위 워터마크를 생성하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 생성 장치.
  7. 데이터 분할부가 입력되는 사용자 은닉 정보를 복수 개로 분할하여 출력하는 단계;
    인코더가 상기 복수 개로 분할된 데이터들을 메시지 인코딩(Message Encoding)하는 단계;
    변조기가 상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조하는 단계;
    동기신호 생성부가 영상의 2차원 이동에 대응하기 위한 동기화 신호를 생성하는 단계;
    서브 기저 패턴 생성부가 상기 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 상기 동기화 신호를 이용하여 상기 복수 개의 메시지 신호에 각각 대응하는 복수 개의 서브 기저 패턴을 생성하는 단계; 및
    단위 워터마크 생성부가 상기 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 단계를 포함하여 이루어지는 구조적 멀티패턴 워터마크 생성 방법.
  8. 제7항에 있어서,
    상기 데이터 분할부는,
    상기 입력되는 사용자 은닉 정보를 4N(여기서, N 은 자연수)개로 분할하여 출력하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 생성 방법.
  9. 제8항에 있어서,
    상기 데이터 분할부는 상기 사용자 은닉 정보를 4개로 분할하여 출력하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 생성 방법.
  10. 제9항에 있어서,
    상기 단위 워터마크를 생성하는 단계는,
    상기 단위 워터마크 생성부가 4개의 서브 기저 패턴을 각각 0°, 90°, 180°, 270° 회전된 형태로 해당 영역에 삽입하여 단위 워터마크를 생성하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 생성 방법.
  11. 제9항에 있어서,
    상기 단위 워터마크를 생성하는 단계는,
    상기 단위 워터마크 생성부가 4개의 서브 기저 패턴을 각각 제자리, 좌우 대칭, 상하 대칭, 좌우상하 대칭된 형태로 해당 영역에 삽입하여 단위 워터마크를 생성하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 생성 방법.
  12. 입력되는 원 영상(Original Image)에서 로 데이터(Raw Data)를 추출하는 로 데이터 추출부;
    상기 추출한 로 데이터의 컬러 공간을 YUV 공간으로 변환하고, 상기 YUV 컬러 공간에서 Y 성분을 추출하는 YUV 공간 변환부;
    입력되는 사용자 은닉 정보를 복수 개로 분할하여 복수 개의 서브 기저 패턴을 생성하고, 상기 복수 개의 서브 기저 패턴으로 하나의 단위 워터마크인 구조적 멀티패턴 워터마크를 생성하는 구조적 멀티패턴 워터마크 생성기; 및
    상기 구조적 멀티패턴 워터마크를 상기 추출한 Y 성분에 삽입하기 위한 워터마크 삽입 강도를 결정한 후, 상기 결정된 워터마크 삽입 강도를 적용하여 Y 성분에 삽입하는 워터마크 삽입기를 포함하여 이루어지는 구조적 멀티패턴 워터마크 삽입 장치.
  13. 제12항에 있어서,
    상기 구조적 멀티패턴 워터마크 생성기는,
    입력되는 사용자 은닉 정보를 복수 개로 분할하여 출력하는 데이터 분할부;
    상기 복수 개로 분할된 데이터들을 메시지 인코딩(Message Encoding)하는 인코더;
    상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조하는 변조부;
    영상의 2차원 이동에 대응하기 위한 동기화 신호를 생성하는 동기신호 생성부;
    상기 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 상기 동기화 신호를 이용하여 상기 복수 개의 메시지 신호에 각각 대응하는 복수 개의 서브 기저 패턴을 생성하는 서브 기저 패턴 생성부; 및
    상기 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 단위 워터마크 생성부를 포함하여 이루어지는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 장치.
  14. 제13항에 있어서,
    상기 데이터 분할부는,
    상기 입력되는 사용자 은닉 정보를 4개로 분할하여 출력하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 장치.
  15. 제14항에 있어서,
    상기 단위 워터마크 생성부는,
    4개의 서브 기저 패턴을 각각 0°, 90°, 180°, 270° 회전된 형태로 해당 영역에 삽입하여 단위 워터마크를 생성하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 장치.
  16. 제14항에 있어서,
    상기 단위 워터마크 생성부는,
    4개의 서브 기저 패턴을 각각 제자리, 좌우 대칭, 상하 대칭, 좌우상하 대칭된 형태로 해당 영역에 삽입하여 단위 워터마크를 생성하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 장치.
  17. 제12항에 있어서,
    상기 워터마크 삽입기는,
    하기의 수학식 1을 이용하여 상기 구조적 멀티패턴 워터마크를 상기 추출한 Y 성분에 삽입하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 장치.
    (수학식 1)
    Figure 112008053756075-pat00009
    여기서, I'n,m : 워터마킹된 콘텐츠, In,m : 오리지널 콘텐츠, wn,m : 워터마크, αr: 로컬 워터마크 삽입 강도, S0, S1 : 고정 계수 값을 나타낸다.
  18. 데이터 추출부가 입력되는 원 영상(Original Image)에서 로 데이터(Raw Data)를 추출하는 단계;
    YUV 공간 변환부가 상기 추출한 로 데이터의 컬러 공간을 YUV 공간으로 변환한 후, 상기 YUV 컬러 공간에서 Y 성분을 추출하는 단계;
    구조적 멀티패턴 워터마크 생성기가 입력되는 사용자 은닉 정보를 복수 개로 분할하여 복수 개의 서브 기저 패턴을 생성하고, 상기 복수 개의 서브 기저 패턴으로 하나의 단위 워터마크인 구조적 멀티패턴 워터마크를 생성하는 단계; 및
    워터마크 삽입기가 상기 생성된 구조적 멀티패턴 워터마크를 상기 추출한 Y 성분에 삽입하기 위한 워터마크 삽입 강도를 결정한 후, 상기 결정된 워터마크 삽입 강도를 적용하여 Y 성분에 삽입하는 단계를 포함하여 이루어지는 구조적 멀티패턴 워터마크 삽입 방법.
  19. 제18항에 있어서,
    상기 구조적 멀티패턴 워터마크를 생성하는 단계는,
    데이터 분할부가 입력되는 사용자 은닉 정보를 복수 개로 분할하여 출력하는 단계;
    인코더가 상기 복수 개로 분할된 데이터들을 메시지 인코딩(Message Encoding)하는 단계;
    변조부가 상기 메시지 인코딩된 복수 개의 데이터를 영상 신호 형태로 변조하는 단계;
    동기신호 생성부가 영상의 2차원 이동에 대응하기 위한 동기화 신호를 생성하는 단계;
    서브 기저 패턴 생성부가 상기 영상 신호 형태로 변조된 복수 개의 메시지 신호 및 상기 동기화 신호를 이용하여 상기 복수 개의 메시지 신호에 각각 대응하는 복수 개의 서브 기저 패턴을 생성하는 단계; 및
    단위 워터마크 생성부가 상기 복수 개의 서브 기저 패턴을 이용하여 하나의 단위 워터마크를 생성하는 단계를 포함하여 이루어지는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 방법.
  20. 제19항에 있어서,
    상기 데이터 분할부는 상기 사용자 은닉 정보를 4개로 분할하여 출력하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 방법.
  21. 제20항에 있어서,
    상기 단위 워터마크를 생성하는 단계는,
    상기 단위 워터마크 생성부가 4개의 서브 기저 패턴을 각각 0°, 90°, 180°, 270° 회전된 형태로 해당 영역에 삽입하여 단위 워터마크를 생성하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 방법.
  22. 제20항에 있어서,
    상기 단위 워터마크를 생성하는 단계는,
    상기 단위 워터마크 생성부가 4개의 서브 기저 패턴을 각각 제자리, 좌우 대칭, 상하 대칭, 좌우상하 대칭된 형태로 해당 영역에 삽입하여 단위 워터마크를 생성하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 방법.
  23. 제18항에 있어서,
    상기 워터마크 삽입 강도를 결정한 후, 상기 결정된 워터마크 삽입 강도를 적용하여 Y 성분에 삽입하는 단계는,
    상기 추출한 Y 성분을 확률적 모델 방법으로 모델링(Modeling)하는 단계;
    상기 모델링의 ML(Maximun Likelihood) 또는 MAP(Maximum A Posteriori) 추정 방법에 의해 MWMS(Maximum Watermark Strength) 값을 구하는 단계;
    상기 추출한 Y 성분의 영상을 m×m 사이즈로 분할한 후, 분할된 영상별로 평탄 영역, 에지 영역, 복잡 영역의 해당 비율에 따라 로컬 워터마크 삽입 강도를 구하는 단계; 및
    상기 MWMS(Maximum Watermark Strength) 및 로컬 워터마크 삽입 강도 값을 이용하여 상기 구조적 멀티패턴 워터마크를 상기 Y 성분에 삽입하는 단계를 포함하여 이루어지는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 방법.
  24. 제23항에 있어서,
    상기 구조적 멀티패턴 워터마크를 상기 Y 성분에 삽입하는 단계는,
    하기의 수학식 2를 이용하는 것을 특징으로 하는 구조적 멀티패턴 워터마크 삽입 방법.
    (수학식 2)
    Figure 112008053756075-pat00010
    여기서, I'n,m : 워터마킹된 콘텐츠, In,m : 오리지널 콘텐츠, wn,m : 워터마크, αr: 로컬 워터마크 삽입 강도, S0, S1 : 고정 계수 값을 나타낸다.
  25. 구조적 멀티패턴 워터마크가 삽입된 영상에서 로 데이터(Raw Data)를 추출하는 로 데이터 추출부;
    상기 추출한 로 데이터의 컬러 공간을 YUV 공간으로 변환한 후, 상기 YUV 컬러 공간에서 Y 성분을 추출하는 YUV 공간 변환부;
    상기 추출한 Y 성분에서 워터마크의 검출 강도를 예측한 후, 상기 워터마크의 검출 강도를 적용하여 상기 Y 성분에서 구조적 멀티패턴 워터마크를 검출하는 워터마크 검출기;
    상기 영상의 2차원적 이동에 대한 동기화를 수행하여 영상의 2차원적 이동을 복구하는 2차원 이동 복구부;
    상기 2차원적 이동이 복구된 워터마크 신호에서 메시지 코드를 추출하는 메시지 코드 추출부; 및
    상기 추출한 메시지 코드에서 사용자 은닉 정보를 추출하는 사용자 은닉 정보 추출부를 포함하여 이루어지는 구조적 멀티패턴 워터마크의 검출 장치.
  26. 제25항에 있어서,
    상기 영상의 기하학적 변형 정도를 예측하는 기하학적 변형 예측부; 및
    상기 예측된 기하학적 변형 정도를 이용하여 상기 영상의 기하학적 변형을 복구하는 기하학적 변형 복구부를 더 포함하여 이루어지는 것을 특징으로 하는 구조적 멀티패턴 워터마크의 검출 장치.
  27. 제26항에 있어서,
    상기 기하학적 변형 예측부는,
    상기 검출된 구조적 멀티패턴 워터마크의 자기 상관 패턴(Auto Correlation Pattern)을 측정한 후, 자기 상관도가 주기적으로 높은 좌표값을 추출하여 영상의 기하학적 변형 정도를 예측하는 것을 특징으로 하는 구조적 멀티패턴 워터마크의 검출 장치.
  28. 제27항에 있어서,
    상기 기하학적 변형 복구부는,
    상기 자기 상관도가 주기적으로 높은 좌표값을 이용하여 영상의 기하학적 변형에 대한 역변환 계수를 구한 후, 상기 역변환 계수를 이용하여 영상의 기하학적 변형을 복구하는 것을 특징으로 하는 구조적 멀티패턴 워터마크의 검출 장치.
  29. 제28항에 있어서,
    상기 기하학적 변형 복구부는,
    상기 자기 상관도가 주기적으로 높은 좌표값 중에서 피크치가 가장 큰 4개의 좌표 그룹을 선정한 후, 상기 4개의 좌표 그룹이 하기의 조건 중 어느 하나에 해당하면, 영상의 기하학적 변형에 대한 복구를 포기하는 것을 특징으로 하는 구조적 멀티패턴 워터마크의 검출 장치.
    (1) 4개 좌표 간의 각 직선 거리가 원 영상에서 4개 좌표 간의 각 직선 거리의 1/2 미만인 경우
    (2) 4개 좌표 중 3개 좌표를 연결하여 형성되는 내각이 75°~ 105°를 초과하는 경우
    (3) 4개 좌표 중 3개 좌표를 연결하여 형성되는 두 직선의 길이 비율이 1:2를 초과하는 경우
  30. 로 데이터 추출부가 구조적 멀티패턴 워터마크가 삽입된 영상에서 로 데이터(Raw Data)를 추출하는 단계;
    YUV 공간 변환부가 상기 추출한 로 데이터의 컬러 공간을 YUV 공간으로 변환한 후, 상기 YUV 컬러 공간에서 Y 성분을 추출하는 단계;
    워터마크 검출기가 상기 추출한 Y 성분에서 워터마크의 검출 강도를 예측한 후, 상기 워터마크의 검출 강도를 적용하여 상기 Y 성분에서 구조적 멀티패턴 워터마크를 검출하는 단계;
    2차원 이동 복구부가 상기 영상의 2차원적 이동에 대한 동기화를 수행하여 영상의 2차원적 이동을 복구하는 단계;
    메시지 코드 추출부가 상기 2차원적 이동이 복구된 워터마크 신호에서 메시지 코드를 추출하는 단계; 및
    사용자 은닉 정보 추출부가 상기 추출한 메시지 코드에서 사용자 은닉 정보를 추출하는 단계를 포함하여 이루어지는 구조적 멀티패턴 워터마크의 검출 방법.
  31. 제30항에 있어서,
    상기 메시지 코드를 추출하는 단계에서, 상기 메시지 코드 추출부가 메시지 코드를 추출하지 못하는 경우,
    기하학적 변형 예측부가 상기 영상의 기하학적 변형 정도를 예측하는 단계; 및
    기하학적 변형 복구부가 상기 예측된 기하학적 변형 정도를 이용하여 상기 영상의 기하학적 변형을 복구하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 구조적 멀티패턴 워터마크의 검출 방법.
  32. 제31항에 있어서,
    상기 영상의 기하학적 변형 정도를 예측하는 단계는,
    상기 검출된 구조적 멀티패턴 워터마크의 자기 상관 패턴(Auto Correlation Pattern)을 측정하는 단계; 및
    상기 측정한 자기 상관도가 주기적으로 높은 좌표값을 추출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 구조적 멀티패턴 워터마크의 검출 방법.
  33. 제32항에 있어서,
    상기 영상의 기하학적 변형을 복구하는 단계는,
    상기 자기 상관도가 주기적으로 높은 좌표값을 이용하여 영상의 기하학적 변형에 대한 역변환 계수를 구하는 단계; 및
    상기 역변환 계수를 이용하여 영상의 기하학적 변형을 복구하는 단계를 포함하여 이루어지는 것을 특징으로 하는 구조적 멀티패턴 워터마크의 검출 방법.
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
KR1020080071986A 2008-07-24 2008-07-24 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치및 방법 KR100977712B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080071986A KR100977712B1 (ko) 2008-07-24 2008-07-24 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치및 방법
PCT/KR2009/003690 WO2010011035A2 (ko) 2008-07-24 2009-07-07 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를 이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치 및 방법
JP2011519976A JP5539348B2 (ja) 2008-07-24 2009-07-07 構造的マルチパターン透かし生成装置及び方法と、これを用いた透かし埋め込み装置及び方法、並びに透かし検出装置及び方法
US13/055,649 US8488837B2 (en) 2008-07-24 2009-07-07 Apparatus and method for generating constructively multi-patterned watermark, and apparatus and method for inserting and detecting the watermark using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080071986A KR100977712B1 (ko) 2008-07-24 2008-07-24 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치및 방법

Publications (2)

Publication Number Publication Date
KR20100010972A KR20100010972A (ko) 2010-02-03
KR100977712B1 true KR100977712B1 (ko) 2010-08-24

Family

ID=41570696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080071986A KR100977712B1 (ko) 2008-07-24 2008-07-24 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치및 방법

Country Status (4)

Country Link
US (1) US8488837B2 (ko)
JP (1) JP5539348B2 (ko)
KR (1) KR100977712B1 (ko)
WO (1) WO2010011035A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363577B1 (ko) * 2012-08-23 2014-02-17 한국과학기술원 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938618B (zh) * 2010-08-17 2012-08-15 山东省计算中心 一种通用的视频数字水印方法
KR101418394B1 (ko) * 2010-10-26 2014-07-09 한국전자통신연구원 시간축 변조 및 오류정정부호를 이용한 비디오 워터마킹 삽입 및 검출 장치 및 방법
KR101315894B1 (ko) * 2012-06-13 2013-10-08 한국공항공사 항공 감시용 ｕａｔ 단말기의 메세지 오류 정정 방법
US8874924B2 (en) 2012-11-07 2014-10-28 The Nielsen Company (Us), Llc Methods and apparatus to identify media
JP6216516B2 (ja) * 2013-02-25 2017-10-18 株式会社日立ソリューションズ 電子透かし埋め込み方法および電子透かし検出方法
US9716807B2 (en) 2014-10-13 2017-07-25 Digimarc Corporation Methods for estimating watermark signal strength, an embedding process using the same, and related arrangements
KR101512739B1 (ko) 2014-11-14 2015-04-16 동국대학교 산학협력단 오류 정정 부호를 이용한 데이터 은닉 장치 및 방법
CN110087098B (zh) 2018-01-26 2021-12-03 阿里巴巴（中国）有限公司 水印处理方法及装置
KR101976098B1 (ko) * 2018-11-02 2019-05-29 주식회사 블록젠 은닉 정보를 동영상 데이터에 삽입하는 방법
KR102260493B1 (ko) * 2019-11-15 2021-06-03 주식회사 씨케이앤비 정품 인증 콘텐츠 생성 장치 및 이를 이용하는 통합 인증 시스템
US11321797B2 (en) * 2020-08-25 2022-05-03 Kyndryl, Inc. Wearable watermarks

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000068877A (ko) * 1997-09-02 2000-11-25 요트.게.아. 롤페즈 정보신호의 워터마킹
KR20010091403A (ko) * 2000-03-15 2001-10-23 김민수 대역 분할 방식을 이용한 디지털 정지영상의 저작자증명을 위한 비가시성 디지털 직인 삽입 방법
JP2002223348A (ja) 2001-01-25 2002-08-09 Oki Electric Ind Co Ltd 電子透かし埋込み装置、改竄検出装置、及び記録媒体
KR20080002244A (ko) * 2006-06-30 2008-01-04 포스데이타 주식회사 워터마킹 방법, 워터마크 확인 방법, 워터마킹 장치 및워터마크 확인 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101767A (ja) * 2003-09-22 2005-04-14 Fuji Xerox Co Ltd 画像処理装置
KR20050078767A (ko) 2004-02-02 2005-08-08 삼성전자주식회사 디지털 영상 워터마킹 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000068877A (ko) * 1997-09-02 2000-11-25 요트.게.아. 롤페즈 정보신호의 워터마킹
KR20010091403A (ko) * 2000-03-15 2001-10-23 김민수 대역 분할 방식을 이용한 디지털 정지영상의 저작자증명을 위한 비가시성 디지털 직인 삽입 방법
JP2002223348A (ja) 2001-01-25 2002-08-09 Oki Electric Ind Co Ltd 電子透かし埋込み装置、改竄検出装置、及び記録媒体
KR20080002244A (ko) * 2006-06-30 2008-01-04 포스데이타 주식회사 워터마킹 방법, 워터마크 확인 방법, 워터마킹 장치 및워터마크 확인 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101363577B1 (ko) * 2012-08-23 2014-02-17 한국과학기술원 재표본화 공격에 대한 디지털 워터마크 검출 성능 향상 장치 및 그 방법

Also Published As

Publication number Publication date
WO2010011035A3 (ko) 2010-04-22
US20110123065A1 (en) 2011-05-26
JP2011529288A (ja) 2011-12-01
JP5539348B2 (ja) 2014-07-02
KR20100010972A (ko) 2010-02-03
WO2010011035A2 (ko) 2010-01-28
US8488837B2 (en) 2013-07-16

Similar Documents

Publication Publication Date Title
KR100977712B1 (ko) 구조적 멀티패턴 워터마크 생성 장치 및 방법과 이를이용한 워터마크 삽입 장치 및 방법과 워터마크 검출 장치및 방법
US7664288B2 (en) Digital watermarking method robust against local and global geometric distortions and projective transforms
Voloshynovskiy et al. Multibit digital watermarking robust against local nonlinear geometrical distortions
KR100841848B1 (ko) 전자 워터마크 검출 방법, 장치 및 프로그램을 기록한 기록 매체
US9773290B2 (en) Content watermarking
JP2004140764A (ja) 画像処理装置及び画像処理方法
Qiao et al. Robust steganography resisting JPEG compression by improving selection of cover element
US6975745B2 (en) Synchronizing watermark detectors in geometrically distorted signals
CN101504760A (zh) 一种数字图像隐密信息检测与定位的方法
CN104766269A (zh) 基于jnd亮度模型的扩展变换抖动调制水印方法
WO2004095828A1 (ja) 透かし情報埋め込み装置及び方法、透かし情報検出装置及び方法、透かし入り文書
JP2003143388A (ja) 画像処理方法およびその装置ならびに印刷物
US20080209220A1 (en) Method of Quantization-Watermarking
Chen et al. Ergodic chaotic parameter modulation with application to digital image watermarking
JP2004147253A (ja) 画像処理装置及び画像処理方法
US11423506B2 (en) Video frame to frame difference watermarking with drm metadata
Keskinarkaus et al. Wavelet domain print-scan and JPEG resilient data hiding method
KR100945726B1 (ko) 국부적 자기상관 함수 기반의 워터마킹 장치 및 그 방법
Delannay et al. Relevant modeling and comparison of geometric distortions in watermarking systems
Dehghan et al. Robust image watermarking in the wavelet domain for copyright protection
Nguyen A watermark algorithm against de-synchronization attacks
US7330560B2 (en) Insertion and extraction of a message in an image
Leng et al. High payload data hiding based on just noticeable distortion profile and LSB substitution
Liang et al. Ridgelet-based robust and perceptual watermarking for images
Yamamoto et al. Method of spread spectrum watermarking using quantization index modulation for cropped images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130819

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150727

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160613

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180731

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190731

Year of fee payment: 10