KR101785194B1 - Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치 - Google Patents

Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치 Download PDF

Info

Publication number
KR101785194B1
KR101785194B1 KR1020160023929A KR20160023929A KR101785194B1 KR 101785194 B1 KR101785194 B1 KR 101785194B1 KR 1020160023929 A KR1020160023929 A KR 1020160023929A KR 20160023929 A KR20160023929 A KR 20160023929A KR 101785194 B1 KR101785194 B1 KR 101785194B1
Authority
KR
South Korea
Prior art keywords
watermark
template
image
message
embedding area
Prior art date
Application number
KR1020160023929A
Other languages
English (en)
Other versions
KR20170101428A (ko
Inventor
이흥규
김욱형
남승훈
강지현
허종욱
장한얼
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160023929A priority Critical patent/KR101785194B1/ko
Priority to US15/244,004 priority patent/US10049422B2/en
Publication of KR20170101428A publication Critical patent/KR20170101428A/ko
Application granted granted Critical
Publication of KR101785194B1 publication Critical patent/KR101785194B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G06T1/0064—Geometric transfor invariant watermarking, e.g. affine transform invariant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • H04N13/0018—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0052—Embedding of the watermark in the frequency domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0061—Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

DIBR 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 템플릿 기반 워터마크 삽입 방법은 영상의 공간 도메인에서 템플릿 워터마크 삽입 영역과 메시지 워터마크 삽입 영역을 결정하는 단계; 상기 결정된 템플릿 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 적어도 하나의 템플릿 워터마크를 삽입하고, 상기 결정된 메시지 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 메시지 워터마크를 삽입하는 단계; 및 상기 템플릿 워터마크가 삽입된 상기 템플릿 워터마크 삽입 영역을 공간 도메인으로 변환하고, 상기 메시지 워터마크가 삽입된 상기 메시지 워터마크 삽입 영역을 공간 도메인으로 변환하는 단계를 포함한다.

Description

DIBR 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치 {Template Based Watermarking Method for Depth-Image-Based Rendering Based 3D Images and Apparatus Therefor}
본 발명은 템플릿 기반 워터마킹 기술에 관한 것으로, 보다 상세하게는 DIBR(Depth-Image-Based Rendering) 변환에 강인하고, DIBR 3차원(3D) 영상의 저작권 보호를 위한 템플릿 기반의 워터마킹 방법 및 장치에 관한 것이다.
최근 수년간 3D 관련 기술이 크게 발전했다. 3D 디스플레이는 가장 큰 몰입감을 가진 출력장치 중 하나로 다양한 어플리케이션들이 개발되고 있다. 두 장의 영상(또는 이미지)를 이용한 스테레오스코픽(stereoscopic) 방식을 이용한 3D 디스플레이는 영화관 및 가정용 TV로 이미 보편화 되었다. 최근에는 UHD와의 결합으로 사실감이 더해지고, 소형 디스플레이의 발전으로 인해 HMD가 보편화되는 등 3D 디스플레이 관련 기술들이 꾸준히 발전 하고 있으며 앞으로도 3D 디스플레이 시장의 크기가 더 커져갈 것으로 예상된다.
이 과정에서 DIBR이 중요한 롤(role)을 맡고 있다. DIBR은 도 1에 도시된 바와 같이, 중앙 영상과 깊이 영상(depth image)(또는 뎁스 영상)를 이용해서 여러 가상의 시점을 가진 영상을 만들어 내는 방법이다. 이 방법은 모든 시점의 영상을 가지고 있는 스테레오스코픽 방식에 비해 용량이 작아 저장과 전송이 용이하고 사용자의 편의에 따라 깊이 인자(baseline distance) 값을 조정할 수 있다는 장점이 있다. 이러한 장점들 때문에 사용자의 위치에 따라 다양한 시점을 보여주는 멀티뷰(multi-view), 3D 안경없이 입체영상을 볼 수 있는 오토스테레오스코픽(autostereoscopic), 기존에 촬영된 2D 영상을 3D 영상으로 변환시키는 2D to 3D conversion 등에 다양하게 활용된다.
DIBR 관련 기술이 발전해감에 따라 DIBR 콘텐츠의 저작권을 보호하기 위한 기술의 필요성이 대두 되었으며, 콘텐츠를 보호하는 가장 대표적인 방법으로 워터마킹 기술이 있지만 기존의 2D 영상에 사용되던 워터마킹 기술은 DIBR에 적용 하기 힘든 문제점이 있다.
도 2에 도시된 바와 같이, 콘텐츠 사용자가 DIBR을 이용하여 콘텐츠 프로바이더(contents provider)가 제공한 영상을 새로운 시점을 가진 여러 합성 영상(synthesized image)로 만들어낼 수 있다.
이러한 DIBR 시스템에서 콘텐츠 프로바이더는 워터마크를 중앙 영상에 만 삽입할 수 있고, 콘텐츠 사용자가 새로 생성한 합성 영상에는 콘텐츠 프로바이더가 워터마크를 삽입할 수 없기 때문에, DIBR은 중앙 영상에 가해지는 하나의 공격으로 여겨질 수 있다.
하지만, DIBR은 모든 픽셀이 다른 크기로 가로 이동하는 비선형(non-linear) 형태의 기하학적 왜곡(geometric distortion)이기 때문에 기존의 2D 워터마크를 사용했을 경우 워터마크 검출이 어렵고 따라서 사용자가 합성한 영상들의 저작권까지 보호하기 힘들다.
이를 해결하기 위해 몇 가지 DIBR 워터마킹 기술들이 제안된 바 있다.
일 예의 기술로, 깊이 영상을 이용하여 중앙 영상 픽셀의 이동 정도를 미리 예측하여 워터마크를 삽입하였다. 따라서, 중앙 영상에 3 개의 워터마크 즉, 중앙 영상 워터마크, 좌안 영상 워터마크, 우안 영상 워터마크가 모두 삽입된다. 이 방법은 DIBR 후에도 워터마크의 검출이 용이하고, 가장 흔하게 일어나는 왜곡인 jpeg 노이즈 추가(noise add) 이후에도 높은 검출율을 보인다.
하지만, 깊이 맵(depth map)을 이용하여 픽셀의 이동 정도를 예측하기 때문에 깊이 맵이 전처리(pre-processing) 등에 의해 변형되거나, 깊이 인자 값을 변경하는 경우 취약함을 보인다. 또한 여러 시점을 생성해야 하는 MVD(Multi-view Video plus Depth)나 깊이 맵이 존재하지 않는 2D to 3D conversion에 사용하기 적합 하지 않다.
다른 일 예의 기술로, DT-CWT(Dual-tree complex wavelet transform) 도메인에 양자화(quantization) 기법을 이용하여 워터마크를 삽입하였다. 이 방법은 여러 방향을 가지는 DT-CWT 계수 중 DIBR 변환 후에 가장 변화가 작은 방향을 가지는 DT-CWT 계수를 이용한다. 또한 가로 방향 이동만 존재하는 DIBR의 특성을 이용하여 로우(row) 단위로 양자화함으로써 DIBR에 강인성을 가지게 설계하였다. 이 방법 또한 DIBR 및 jpeg 압축 및 크기 변화(scaling)에 강인한 결과를 보이고, 뿐만 아니라 깊이 맵 전처리, 깊이 인자 값 조정(baseline distance adjust)에도 강인하므로 MVD 및 2D to 3D conversion에 사용하기 적합하다.
하지만, 삽입할 수 있는 bit수가 제한되어 있으며 잡음(noise) 추가에 취약하며 잘라내기(crop)와 같은 기하학적 왜곡에 약하다는 단점이 존재한다.
또 다른 일 예의 기술로, SIFT(Scale invariant feature transform) 매칭을 이용한 워터마킹 기법이 있으며, 이 기술은 SIFT로 중앙 영상과 합성 영상의 영상의 공통된 부분을 찾아 워터마크를 삽입하는 것으로, 매칭 기법을 이용하기 때문에 DIBR에 강인한 결과를 보이며, 높은 PSNR을 가진다. 뿐만 아니라 JPEG 압축 및 미디언 필터링(median filtering)에도 높은 강인성(robustness)을 가진다.
하지만, SIFT 매칭 과정에서 따로 저장해 놓은 암호해독기(descriptor)가 필요하기 때문에 블라인드 검출(blind detection)이 어려워 설용성이 떨어진다.
따라서, 기존 방법들에 대한 단점을 보완할 수 있는 워터마킹 방법의 필요성이 대두된다.
본 발명의 실시예들은, DIBR(Depth-Image-Based Rendering) 변환에 강인하고, DIBR 3차원(3D) 영상의 저작권 보호를 위한 템플릿 기반의 워터마킹 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 템플릿 기반 워터마크 삽입 방법은 영상의 공간 도메인에서 템플릿 워터마크 삽입 영역과 메시지 워터마크 삽입 영역을 결정하는 단계; 상기 결정된 템플릿 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 적어도 하나의 템플릿 워터마크를 삽입하고, 상기 결정된 메시지 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 메시지 워터마크를 삽입하는 단계; 및 상기 템플릿 워터마크가 삽입된 상기 템플릿 워터마크 삽입 영역을 공간 도메인으로 변환하고, 상기 메시지 워터마크가 삽입된 상기 메시지 워터마크 삽입 영역을 공간 도메인으로 변환하는 단계를 포함한다.
나아가, 본 발명의 일 실시예에 따른 템플릿 기반 워터마크 삽입 방법은 상기 결정된 템플릿 워터마크 삽입 영역을 미리 결정된 제1 사이즈를 가지는 복수의 제1 블록들로 분할하고, 상기 결정된 메시지 워터마크 삽입 영역을 미리 결정된 제2 사이즈를 가지는 복수의 제2 블록들로 분할하는 단계를 더 포함하고, 상기 삽입하는 단계는 주파수 도메인으로 변환된 상기 제1 블록들에 상기 템플릿 워터마크를 삽입하고, 주파수 도메인으로 변환된 상기 제2 블록들에 상기 메시지 워터마크를 삽입할 수 있다.
상기 삽입하는 단계는 IAQIM(improved angle quantization index modulation) 기법을 이용하여 주파수 도메인으로 변환된 상기 템플릿 워터마크 삽입 영역에 상기 템플릿 워터마크를 삽입할 수 있다.
상기 삽입하는 단계는 주파수 도메인으로 변환된 상기 제2 블록들 각각에 포함된 컬럼들 각각에 상기 메시지 워터마크를 동일하게 삽입할 수 있다.
상기 분할하는 단계는 상기 결정된 템플릿 워터마크 삽입 영역을 미리 결정된 블록 사이즈보다 작은 사이즈의 상기 제1 블록들로 분할할 수 있다.
상기 결정하는 단계는 상기 영상의 공간 도메인에서 일정 폭을 가지고 일정 간격 이격된 복수의 가로 라인 영역들과 상기 일정 폭을 가지는 세로 라인 영역을 상기 템플릿 워터마크 삽입 영역으로 결정하고, 상기 결정된 템플릿 워터마크 삽입 영역을 제외한 나머지 영역을 상기 메시지 워터마크 삽입 영역으로 결정할 수 있다.
본 발명의 일 실시예에 따른 템플릿 기반 워터마크 추출 방법은 워터마크를 추출하기 위한 워터마크 추출 영상에 대하여, 미리 결정된 적어도 하나 이상의 스케일링 팩터(scaling factor) 각각을 이용하여 상기 워터마크 추출 영상을 리스케일링하는 단계; 상기 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상에 기초하여 미리 설정된 적어도 하나의 템플릿 워터마크가 삽입된 템플릿 워터마크 삽입 영역을 검출하는 단계; 상기 스케일링 팩터와 상기 검출된 템플릿 워터마크 삽입 영역에 기초하여 상기 워터마크 추출 영상의 기하학적 특성을 원본 영상의 기하학적 특성에 대응되게 동기시키는 단계; 및 상기 동기된 워터마크 추출 영상의 미리 설정된 메시지 워터마크 삽입 영역으로부터 메시지 워터마크를 추출하는 단계를 포함한다.
상기 템플릿 워터마크 삽입 영역을 검출하는 단계는 상기 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상을 공간 도메인에서 주파수 도메인으로 변환하는 단계; 주파수 도메인으로 변환된 상기 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상에 대하여, 미리 설정된 템플릿 추출 조건을 만족하는 카운트 값을 계산하는 단계; 상기 스케일링 팩터들 각각에 대해 계산된 카운트 값들 중 최고 값을 가지는 스케일링 팩터를 선택하는 단계; 및 상기 선택된 스케일링 팩터에 의해 리스케일링되고 주파수 도메인으로 변환된 워터마크 추출 영상으로부터 상기 템플릿 워터마크 삽입 영역을 검출하는 단계를 포함할 수 있다.
상기 동기시키는 단계는 상기 선택된 스케일링 팩터를 이용하여 상기 원본 영상의 사이즈에 대응되게 상기 워터마크 추출 영상의 사이즈를 리스케일링함으로써, 리스케일링 워터마크 추출 영상을 생성하고, 상기 생성된 리스케일링 워터마크 추출 영상의 템플릿 워터마크 삽입 영역이 상기 원본 영상의 템플릿 워터마크 삽입 영역에 대응되게 상기 리스케일링 워터마크 추출 영상을 이동시킴으로써, 상기 동기된 워터마크 추출 영상으로 복원할 수 있다.
상기 템플릿 워터마크 삽입 영역을 검출하는 단계는 IAQIM(improved angle quantization index modulation) 기법을 이용하여 상기 선택된 스케일링 팩터에 의해 리스케일링되고 주파수 도메인으로 변환된 워터마크 추출 영상으로부터 적어도 하나의 템플릿 워터마크를 추출하고, 상기 추출된 템플릿 워터마크에 기초하여 상기 템플릿 워터마크 삽입 영역을 검출할 수 있다.
상기 메시지 워터마크를 추출하는 단계는 상기 메시지 워터마크 삽입 영역을 미리 결정된 사이즈를 가지는 복수의 블록들로 분할하고, 상기 분할된 복수의 블록들 각각을 공간 도메인에서 주파수 도메인으로 변환하며, 주파수 도메인으로 변환된 상기 블록들 각각과 미리 설정된 원본 메시지 워터마크의 상관 관계에 기초하여 상기 메시지 워터마크를 추출할 수 있다.
본 발명의 일 실시예에 따른 템플릿 기반 워터마크 삽입 장치는 영상의 공간 도메인에서 템플릿 워터마크 삽입 영역과 메시지 워터마크 삽입 영역을 결정하는 결정부; 상기 결정된 템플릿 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 적어도 하나의 템플릿 워터마크를 삽입하고, 상기 결정된 메시지 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 메시지 워터마크를 삽입하는 삽입부; 및 상기 템플릿 워터마크가 삽입된 상기 템플릿 워터마크 삽입 영역을 공간 도메인으로 변환하고, 상기 메시지 워터마크가 삽입된 상기 메시지 워터마크 삽입 영역을 공간 도메인으로 변환하는 변환부를 포함한다.
본 발명의 일 실시예에 따른 템플릿 기반 워터마크 검출 장치는 워터마크를 추출하기 위한 워터마크 추출 영상에 대하여, 미리 결정된 적어도 하나 이상의 스케일링 팩터(scaling factor) 각각을 이용하여 상기 워터마크 추출 영상을 리스케일링하는 리스케일링부; 상기 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상에 기초하여 미리 설정된 적어도 하나의 템플릿 워터마크가 삽입된 템플릿 워터마크 삽입 영역을 검출하는 검출부; 상기 스케일링 팩터와 상기 검출된 템플릿 워터마크 삽입 영역에 기초하여 상기 워터마크 추출 영상의 기하학적 특성을 원본 영상의 기하학적 특성에 대응되게 동기시키는 동기부; 및 상기 동기된 워터마크 추출 영상의 미리 설정된 메시지 워터마크 삽입 영역으로부터 메시지 워터마크를 추출하는 추출부를 포함한다.
본 발명의 실시예들에 따르면, DIBR에 적용 가능한 템플릿 워터마킹 기법을 제공함으로써, DIBR 변환에 강인하고, 이를 통해 DIBR 3D 영상의 저작권을 보호할 수 있다.
따라서, 불법에 의해 피해를 받는 DIBR 3D 영상을 탐지함으로써 피해액을 줄일 수 있고, 저작권자의 권리를 보호해줌으로써, 질이 좋은 콘텐츠를 생산 가능하게 만들어 줄 수 있다.
특히, 3D 영상의 경우 2D 영상보다 제작 단가가 높기 때문에 저작권 보호에 따른 효과가 클 수 있다.
또한, 본 발명의 실시예에 따르면, 기존의 2D 워터마킹 기법들과 다르게 1D 신호를 이용하여 워터마킹함으로써, 높은 강인성을 가질 수 있고, 높은 영상 품질, 높은 데이터 삽입량, 각종 공격에 충분한 강인성을 보장하며, 중앙 영상, 좌안 영상, 우안 영상 각각이 불법 유출되어도 저작권을 보호할 수 있다.
도 1은 DIBR 시스템의 전체적인 과정을 설명하기 위한 예시도를 나타낸 것이다.
도 2는 DIBR 콘텐츠가 콘텐츠 사용자에 의해 불법 유포되는 과정을 설명하기 위한 예시도를 나타낸 것이다.
도 3은 깊이 영상 전처리를 수행하지 않는 경우의 영상과 깊이 영상 전처리를 수행하는 경우의 영상을 비교한 예시도를 나타낸 것이다.
도 4는 템플릿 워터마크 삽입 영역과 메시지 워터마크 삽입 영역의 일 예를 나타낸 것이다.
도 5는 템플릿 워터마크의 삽입 과정을 나타낸 일 실시예의 동작 흐름도를 나타낸 것이다.
도 6은 메시지 워터마크의 삽입 과정을 나타낸 일 실시예의 동작 흐름도를 나타낸 것이다.
도 7은 k=4인 경우 템플릿 임베딩을 위한 수정된 IAQIM에 대한 예시도를 나타낸 것이다.
도 8은 템플릿 워터마크의 추출 과정을 나타낸 일 실시예의 동작 흐름도를 나타낸 것이다.
도 9는 패스트 템플릿 추출 알고리즘에 대한 예시도를 나타낸 것이다.
도 10은 메시지 워터마크의 추출 과정을 나타낸 일 실시예의 동작 흐름도를 나타낸 것이다.
도 11은 본 발명의 일 실시예에 따른 템플릿 기반 워터마크 삽입 장치에 대한 구성을 나타낸 것이다.
도 12는 본 발명의 일 실시예에 따른 템플릿 기반 워터마크 추출 장치에 대한 구성을 나타낸 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 실시예들은, DIBR(Depth-Image-Based Rendering) 변환에 강인하고, DIBR 3차원(3D) 영상의 저작권 보호를 위한 템플릿 기반의 워터마킹 기술을 제공하는 것을 그 요지로 한다.
여기서, 본 발명의 실시예들은, 템플릿 워터마크와 메시지 워터마크의 2가지 워터마크를 삽입할 수 있으며, 템플릿 워터마크는 작은 블록에 삽입될 수 있고, 메시지 워터마크는 DCT나 DFT 등의 변환 도메인에 열(column) 단위로 동일한 워터마크를 삽입할 수 있다.
템플릿 워터마크는 미리 설정된 크기 이하의 작은 블록에 삽입되기 때문에 템플릿 워터마크가 살아남을 확률이 높아지고, DIBR의 특성에 의하여 픽셀이 가로로만 이동하기 때문에 변환 도메인의 선형성에 의해 메시지 워터마크가 살아남을 수 있다.
따라서, 본 발명의 실시예에 따른 워터마킹 기술은 영상 품질, 정보 삽입량, 강인성 방면에서 기존의 DIBR 워터마킹 기법들보다 매우 우수한 성능을 가질 수 있다.
본 발명은 템플릿 기반의 블라인드 워터마킹 기법을 제안한다. 템플릿은 DFT 도메인의 위상(phase)에 QIM(quantization index modulation) 기법을 이용하여 삽입될 수 있다. 템플릿은 가장 흔히 일어나는 기하학적 왜곡인 크기 변화 및 잘라내기(crop) 공격을 받았을 경우 원본 영상과 같은 사이즈와 위치로 영상을 되돌려주는 동기 역할을 하도록 설계될 수 있다. 사용자 정보 등의 의미있는 메시지는 DCT 도메인에 삽입될 수 있다. DCT가 가지는 선형성을 이용하여 1D-DCT 도메인에 열(column) 단위로 동일한 워터마크를 삽입함으로써, DIBR에 강인하다. 또한, 노이즈 추가나 jpeg과 같은 일반적인 신호 왜곡에 강인할 수 있고, DIBR과 관련된 깊이 맵 전처리, 깊이 인자 값 조정에도 높은 검출율을 보일 수 있다. 나아가, 크기 변화와 잘라내기에도 강인성을 보인다.
이하, DIBR과 IAQIM(improved angle quantization index modulation)에 대해 설명하고, DFT와 1D-DCT의 특성을 이용한 워터마킹 기법의 메인 특성을 기술하며, 본 발명의 워터마킹 임베딩과 디코딩 기법에 대해 설명한다.
1. DIBR과 IAQIM
DIBR은 한 장의 컬러 영상(중앙 영상)와 한 장의 그레이맵 영상(깊이 영상)를 이용하여 두 장의 컬러 영상(좌안 및 우안) 또는 그 이상의 가상의 시점을 가진 영상을 생성해 내는 방법으로, 사용자의 편의에 맞게 시점을 합성해낼 수 있다는 장점으로 인하여 다양한 어플리케이션에서 중요한 역할을 맡고 있다.
IAQIM은 QIM의 일종으로 기존의 QIM 방식들이 가졌던 증폭 공격(gain attack)의 취약점을 보완하고, 차선 양자화 문제(sub-optimal quantization problem)를 해결하여 임베딩 왜곡(embedding distortion)을 최소화한다.
DIBR의 전체 과정은 도 1에 도시된 바와 같이, 깊이 맵 전처리, 픽셀 위치 와핑(pixel location warping), 및 홀-필링(hole-filling)의 3단계로 이루어진다.
첫번째 단계인 깊이 맵 전처리는, 홀의 개수를 줄여 렌더링된 영상의 질을 높이는 과정이다. DIBR은 새로운 시점을 만들어내는 과정이므로 픽셀 정보가 존재하지 않는 구간이 생기고, 이를 홀(hole)이라고 하며, 홀은 영상 질을 떨어뜨리는 주범이 된다.
홀은 깊이의 차이가 급격히 일어나는 부분에서 특히 많이 발생하므로 깊이 맵 스무딩(smoothing) 등의 전처리 과정을 수행함으로써, 홀의 개수가 줄여 영상 질을 높일 수 있다. 예를 들어, 도 3a에 도시된 바와 같이 깊이 맵 전처리 전의 영상에 대하여, 도 3b에 도시된 바와 같이 깊이 맵 전처리 과정을 수행함으로써, 홀의 개수를 줄여 영상 질을 높일 수 있다. 하지만, 물체의 가로 길이가 달라지는 등의 단점이 존재할 수 있다.
두번째 단계인 픽셀 위치 와핑은, 사용자가 입체감을 느끼게 하기 위하여 픽셀 위치를 좌/우로 이동시키는 것이다. 픽셀 위치 와핑은 아래 <수학식 1>에 의해 이루어질 수 있다.
[수학식 1]
Figure 112016019489002-pat00001
여기서, xC는 중앙 영상(또는 중앙 이미지)의 x축의 픽셀 좌표 위치를 의미하고, xL과 xR은 xC에 대응되는 좌안과 우안 영상의 x축의 픽셀 좌표 위치를 의미하며, tx는 깊이 인자 값을 의미하고, f는 카메라의 초점 길이(focal-length)를 의미하며, Z는 깊이 영상의 픽셀 값으로 깊이(또는 뎁스) 정보를 나타낼 수 있다.
이 때, tx의 값이 클수록 센터에서 멀리 떨어진 시점으로 영상이 합성될 수 있다.
와핑 도중에 동일한 위치에 2개 이상의 픽셀이 겹쳐서 이동 되는 경우가 발생할 수 있는데, 이런 경우에는 시차역전 즉, 멀리 있는 물체가 가까이 있는 물체를 뚫고 보여지는 것이 발생되지 않게 Z 값이 높은 픽셀을 선택한다.
마지막 단계인 홀 필링은, 픽셀 위치 와핑 후에 생기는 홀에 정보를 만들어 넣는 것으로, 홀 필링 방법으로는 보간법(interpolation), 복원법(inpainting) 등의 방법이 있을 수 있다.
DIBR은 가로로만 픽셀 이동이 일어나고, 이동 정도는 깊이에 의해 결정된다. m×n의 블록을 DIBR 했을 때, 아래 <수학식 2>와 같이 근사화시켜 모델링할 수 있다.
[수학식 2]
Figure 112016019489002-pat00002
여기서, D는 DIBR 공격을 의미하고, d()는 [0, v] 내의 정수를 생성하는 픽셀 위치 와핑 함수를 의미하며, I:j는 j번째 로우(row)를 의미하고, I(i, j)는 (i, j)에서의 픽셀 세기(intensity)를 의미하며, v는 블록 내부 깊이의 분산(variance)에 비례하는 값을 의미할 수 있다.
로우 단위의 DIBR 공격을 블록 전체 단위로 확장하면 아래 <수학식 3>과 같이 정의될 수 있다.
[수학식 3]
이러한 DIBR 과정은 특정한 규칙을 가지고 이동하는 트랜슬레이션(translation)과 다르게, 불규칙하게 픽셀이 이동하므로 영상 내용이 변형됐다고 봐도 무방하다. 따라서 워터마크가 삽입되는 변환된 도메인의 계수 또한 변형되며, 이는 DIBR 전 계수와 DIBR 후 계수의 PSNR로 확인할 수 있다.
아래 표 1은 워터마크가 삽입되는 대표적인 변환된 도메인의 DIBR 전후 계수들의 PSNR을 구한 것이다.
Figure 112016019489002-pat00004
표 1에서 사용된 깊이 인자 값은 영상 폭의 5%이며, 초점 길이는 1로서, PSNR이 낮을 수록 해당하는 변환된 도메인의 계수가 많이 변형 되었다는 것을 의미한다. 이러한 이유로 기존의 2D 워터마크는 DIBR에 적용할 수 없다.
그러나, 영상을 작은 블록들로 나누면, 변형되지 않는 블록이 존재하는데, 이는 오브젝트별로 비슷한 깊이 값을 가지기 때문이다. 이 때, 블록 안의 모든 깊이가 같은 경우 상술한 수학식 2의 v값은 0이 되고, 이 경우에는 블록 전체에 대해 이동(또는 트랜슬레이션)이 일어날 뿐, 영상 변형이 일어나지는 않는다. 그리고, 블록 사이즈가 작을수록 변형이 일어나지 않는 블록의 비율은 늘어나며, 아래 표 2는 이와 같은 결과를 나타내고 있다.
Figure 112016019489002-pat00005
여기서, 표 2는 약 3000장의 영상을 DIBR한 후 변형되지 않은 블록의 평균 퍼센트(percentage)를 측정한 것으로, 표 2를 통해 알 수 있듯이 블록 사이즈가 작을수록 변형되지 않은 블록(distortionless block)의 비율이 커지는 것을 알 수 있다.
본 발명은 이러한 DIBR의 특성을 이용하여 템플릿 기반 DIBR 워터마킹 기법을 제공한다. 본 발명의 실시예에 따른 워터마킹 기법은 템플릿과 메시지 워터마크를 포함한다.
DIBR 템플릿에 대해 설명하면, 템플릿은 기하학적 불변량(geometric invariant) 워터마크와 더불어 기하학적 왜곡에 강인성을 제공하는 대표적인 기법 중 하나이다. 기존의 템플릿들은 일반적으로 선형 왜곡에 강인하도록 설계되었지만, 상술한 표 1에 나타낸 바와 같이 DIBR에 의해 변환된 도메인의 계수가 변형되기 때문에 DIBR에 적용하기 어렵다.
본 발명은 DIBR에 강인하기 위하여, DIBR이 가로 이동만 일어난다는 점과 블록 사이즈가 작으면 블록이 변형되지 않을 확률이 높다는 점을 이용한다. 이 때, 템플릿 디코딩은 로우(또는 열) 단위의 다수결 기법을 통해 이루어지고, 블록 사이즈는 DIBR 공격에 충분히 강인할 수 있는 사이즈일 수 있다.
데이터 페이로드(data payload)를 위한 메시지 워터마크에 대해 설명하면, 기존의 2D 워터마킹 기법은 상술한 표 1에 나타낸 바와 같이, DIBR에 의해 계수가 변형되므로, DIBR에 취약하다. 본 발명은 DIBR이 가로 이동만 존재한다는 점을 이용하여 DIBR에 강인한 워터마크를 제공하기 위한 것이다. 본 발명은 기존 기술과 달린 1D 즉, 컬럼(또는 행) 단위로 워터마크를 삽입한다.
또한, 한 블록 내부의 모든 컬럼에는 동일한 워터마크를 삽입하는 방식으로, 아래 <수학식 4>는 m×n 블록에 워터마크를 삽입하는 수학식을 나타낸 것이다. 이 때, 워터마크 삽입은 스프레드-스펙트럼(spread-spectrum) 방식을 이용할 수 있다.
[수학식 4]
Figure 112016019489002-pat00006
여기서, Ii:는 i번째 컬럼을 의미하고,
Figure 112016019489002-pat00007
는 워터마크를 의미하며, I'i :는 워터마크가 삽입된 i번째 컬럼을 의미하는 것으로, 수학식 4를 통해 알 수 있듯이, i번째 컬럼의 DCT 도메인에 워터마크 W를 삽입하는 것이며, 이러한 과정이 모든 컬럼에 대해 반복 수행된다.
DIBR 공격은 변환된 도메인이 아닌 공간 도메인에서 발생하는데, 상기 수학식 4를 공간 도메인으로 변환하면 선형성에 의하여 아래 <수학식 5>와 같이 표현할 수 있다.
[수학식 5]
Figure 112016019489002-pat00008
여기서,
Figure 112016019489002-pat00009
는 공간 도메인으로 변환된 워터마크를 의미한다.
워터마크 신호 V는 영상의 컬럼에 모두 동일하게 삽입되는데, 이는 각 수평축(horizontal axis)(또는 가로축)에 따라 vj라는 동일한 성분을 가지고 있기 때문에 영상 전체에 삽입된 V는 아래 <수학식 6>과 같은 DIBR 불변성(invariance)을 가질 수 있다.
[수학식 6]
Figure 112016019489002-pat00010
여기서, D()는 DIBR 공격을 의미한다.
1D DCT를 사용하면, DIBR 공격에 대한 I'i :은 아래 <수학식 7>과 같이 두 개의 항목으로 나눠질 수 있다.
[수학식 7]
Figure 112016019489002-pat00011
상기 수학식 7을 통해 알 수 있듯이, 영상에 임베드된 워터마크 신호는 DIBR 공격에 강인할 수 있다. 이와 같이, 본 발명은 메시지 워터마크의 불변성에 따라 DIBR 공격에 강인한 워터마크를 제공할 수 있다.
이하, 본 발명의 템플릿을 삽입하는 과정과 메시지 워터마크를 삽입하는 과정에 대해 설명한다.
본 발명에서의 템플릿과 메시지 워터마크는 도 4에 도시된 바와 같이, 서로 다른 영역에 삽입하는 것으로, 1D-DCT 도메인에 메시지 워터마크를 삽입하고, 2D-DFT 도메인에 템플릿을 삽입하는데, 이에 대해 상세히 설명한다.
1. 영역 분할(partitioning area)
템플릿과 메시지 워터마크는 서로 간섭을 일으키지 않게 하기 위하여, 도 4에 도시된 바와 같이, 삽입 구역 또는 영역을 분할하여 삽입한다. 템플릿은 가로 방향으로 두 줄, 세로 방향으로 한 줄이 삽입된다.
이 때, 가로 방향으로 두 줄을 삽입하는 이유는 두 줄 사이의 거리를 이용하여 스케일링 팩터(scaling factor)를 추정하기 위한 것이다. 물론, 템플릿이 가로 방향으로 두 줄, 세로 방향으로 한 줄이 삽입되는 것으로 한정되지 않으며, 상황에 따른 템플릿이 삽입되는 가로 방향의 영역 수와 세로 방향의 영역 수는 달라질 수 있다.
이러한 템플릿의 삽입 위치는 아래 <수학식 8>과 같이 정의될 수 있다.
[수학식 8]
Figure 112016019489002-pat00012
여기서, t0는 세로 방향으로 삽입되는 템플릿을 의미하고, t1과 t2는 가로 방향으로 삽입되는 2 개의 템플릿을 의미하며, d는 템플릿의 폭을 의미하고, g는 t1과 t2 사이의 거리를 의미하며, a1과 a2는 사용자에 의해 설정된(또는 지정된) 임의의 값으로, 영상의 가장 자리를 피해서 임의의 값이 설정될 수 있다.
이 때, g, a1, a2는 워터마크 추출 과정에서 기하학적 스펙(specification)을 추정하는 단서가 될 수 있다.
메시지 워터마크는 나머지 영역 또는 나머지 위치에 삽입되며, 남은 부분을 (w-d)×(h-2d)의 영상으로 합칠 수 있고, 이를 메시지 워터마킹에 이용한다.
각각의 워터마크가 모두 삽입된 후 조각난 영역들을 합쳐서 다시 영상으로 머징(merging)한다.
2. 템플릿 임베딩(template embedding)
본 발명에서의 템플릿의 도 4에 도시된 바와 같이, 템플릿 삽입 영역에 임베딩된다. 이 때, 본 발명에서는 크기 변화와 차선의 양자화 문제에 대하여 강인한 특성을 갖기 위하여, IAQIM 기법을 이용하여 템플릿을 임베딩할 수 있는데, 이는 IAQIM 기법이 기존의 QIM 방법들이 가지는 크기 변화에 대한 취약점과 차선의 양자화 문제를 해결하였기 때문이다.
템플릿은 영상 가장 왼쪽(세로 템플릿의 경우에는 위쪽)부터 시작하여 1 픽셀씩 미리 설정된 사이즈의 윈도우 예를 들어, g×g의 윈도우를 오른쪽(세로 템플릿의 경우에는 아래쪽)으로 이동시켜 가며 삽입한다.
이 때, 템플릿은 긍정 오류(false-positive)를 줄이기 위하여, 한 블록당 3개가 삽입될 수 있다.
템플릿 삽입에는 다음과 같은 기호(notation) tij=ti(1:d, j:j+d-1)이 사용될 수 있다. 여기서, i는 0, 1, 2일 수 있고, j는 0, 1, 2, ..., end일 수 있다. 이 때, 사용되는 t0는 위에서 정의한 t0의 트랜스포즈(transpose)를 사용한다. j의 end는 i가 0인 경우 w-d일 수 있고, i가 1 또는 2인 경우 h-d일 수 있다.
템플릿 임베딩은 도 5에 도시된 바와 같이 다음의 과정에 의해 이루어진다.
(1) 2D-DFT: d×d 사이즈 2D 블록 DFT가 tij에 적용되며, i, j의 초기 값은 0
(2) 앵글 쓰레스홀딩(angle thresholding): 본 발명은 아래 <수학식 9>의 조건을 만족하는 경우 템플릿을 임베딩한다.
[수학식 9]
Figure 112016019489002-pat00013
여기서, T[k, k]는 미리 정의된 중간 주파수 도메인의 DFT 계수들을 의미하고, c는 비밀키에 의해 생성된 템플릿의 값을 의미하며, τ는 문턱값을 의미한다.
해당 조건은 템플릿 임베딩에 의한 큰 왜곡을 방지하기 위한 것으로, 해당 조건이 만족되는 않는 경우 현재 블록에 대한 임베딩 과정을 종료하고 j에 1을 더한 후 상기 단계 (1)부터 다시 반복한다.
(3) 템플릿1 임베딩: 템플릿1은 아래 <수학식 10>과 같이 임베딩된다.
[수학식 10]
Figure 112016019489002-pat00014
여기서, Г는 증폭 팩터를 의미하는 것으로, 해당 팩터는 강인성(robustness)를 향상시키기 위한 것이다.
(4) IAQIM 기법으로 템플릿 2, 3 임베딩:
Figure 112016019489002-pat00015
과
Figure 112016019489002-pat00016
에 IAQIM 기법을 적용하여 bit=1을 삽입한다.
Figure 112016019489002-pat00017
에 삽입되는 것이 템플릿2이고,
Figure 112016019489002-pat00018
에 삽입되는 것이 템플릿3이 된다.
본 발명에서는 디코딩 과정에서 긍정 오류를 줄이기 위하여, 도 7에 도시된 바와 같이 양자화 테이블을 조정할 수 있으며, 따라서, 템플릿을 삽입하기 위한 IAQIM 식은 아래 <수학식 11>과 같을 수 있다.
[수학식 11]
Figure 112016019489002-pat00019
여기서, 템플릿은 bit=1로만 임베딩되므로, bit=0으로 임베딩하는 수학식을 필요하지 않다.
(5) 2D-IDFT: 템플릿이 삽입된 블록을 IDFT한다. 현재 블록에서의 템플릿 임베딩이 끝나면 j에 d를 더한 후 단계 (1)로 돌아가 반복하여 템플릿을 삽입한다.
상술한 단계 (1) 내지 (5)를 i=1, 2, 3에 대해 모두 반복한다. 본 발명에서는 편의상 T[k, k] 변형만 나타냈지만, 실제 영상에서는 T[k, k]=conj(T[d-k, d-k])이므로, T[d-k, d-k])도 T[k, k]와 같이 변형해야 한다는 것을 유의해야 한다.
3. 메시지 임베딩(message embedding)
메시지 워터마크 임베딩은 도 6에 도시된 바와 같이 다음의 과정에 의해 이루어진다.
(1) 서브 블록들(또는 블록들)로 나누기(또는 분할): (w-d)×(h-2d) 영상은 m×n 사이즈의 서브 블록들로 나누어진다. M(=floor((w-d)/m))×N(=floor((h-2d)/n))은 서브 블록들의 수를 의미하고, 각 서브 블록은 Bpq에 의해 정의된다. 단지 하나의 워터마크가 각 블록에 임베드되기 때문에 임베드되는 워터마크의 전체 수는 M×N이 된다.
(2) 컬럼마다 1D-DCT: 각 블록의 모든 컬럼에 대해, 1D-DCT를 이용하여 변환한다.
(3) 데이터 인코딩: 본 발명에서는 워터마크 패턴으로 의사 랜덤(pseudo-random) 시퀀스가 사용된다. 각각의 워터마크 별로 삽입된 비트 수에 따라 적절한 길이의 의사 랜덤 시퀀스 집합을 생성한다. 예를 들어, 각각의 워터마크에 λ개의 비트를 삽입하면 시퀀스
Figure 112016019489002-pat00020
이 된다.
다음으로 보안을 위하여 메시지를 셔플링(shuffling)한 후, 각 서브 블록별로 메시지 및 메시지에 대응하는 워터마크를 할당한다. 예를 들어, 서브 블록 B11과 B12에 각각 0b001(=1)과 0b111(=7)의 3비트 메시지를 삽입하고자 한다면 B11에 삽입될 워터마크는 W1이 되고 B12에 삽입될 워터마크는 W7이 된다.
(4) 워터마크 임베딩: 본 발명에서는 스프레드-스펙트럼 방식을 이용하여 워터마크를 삽입한다. 단계 (3)에서 생성한 워터마크 벡터
Figure 112016019489002-pat00021
를 단계 (2)에서 DCT 변환한 신호
Figure 112016019489002-pat00022
에 삽입함으로써, 워터마크가 삽입된 신호
Figure 112016019489002-pat00023
을 생성한다. 본 발명에서는 신호 S에 대하여, 강인성과 비가시성 모두를 위하여 중간 주파수 값을 선택할 수 있으며, 임베딩 수학식은 아래 <수학식 12>와 같을 수 있다.
[수학식 12]
Figure 112016019489002-pat00024
여기서, α는 워터마크 세기를 의미하며, L은 벡터 길이를 의미한다.
상기 수학식 12는 블록 내의 모든 컬럼에 대해 반복하며, 상기 과정들을 모든 블록에 대해 반복한다.
(5) 1D-IDCT와 서브 블록들 머징: 상기 단계 (1)과 (2)의 역과정을 이용하여 워터마크가 삽입된 영상을 복원한다.
이하, 본 발명의 워터마크 추출 과정에 대해 설명한다. 본 발명의 워터마크 추출 과정은 왜곡된 영상의 기하학적 스펙 예를 들어, 사이즈와 위치 등을 원본 영상의 기하학적 스펙과 동기시키기 위하여 템플릿 추출이 먼저 수행되고, 원본 영상과 동기된 영상을 사용하여 메시지 워터마크를 추출한다.
1. 템플릿 추출과 영상 동기
템플릿 추출(또는 디코딩)은 픽셀마다 이동해가며 모든 스케일링 팩터(scaling factor)에 대해 특정한 방법으로 예를 들어, exhaustive한 방법으로 템플릿이 삽입된 위치를 찾는다.
이 때, 본 발명은 가장 빠르게 추출할 수 있는 템플릿1을 추출하고, 템플릿1이 추출되면 차례대로 템플릿2와 템플릿3을 추출하는 계층적인 구조로 템플릿을 찾을 수 있다.
템플릿 추출 과정은 도 8에 도시된 바와 같이 다음과 같은 과정으로 이루어질 수 있으며, (x, y)=(0, 0)으로부터 템플릿 추출을 시작한다.
(1) 스케일링 팩터 선택: j=1부터 j=end까지 스케일링 팩터 Sf(j)를 바꿔가며 템플릿 추출 과정을 반복한다. 여기서, Sf는 템플릿 추출에 사용되는 스케일링 팩터의 집합이다. 스케일링 팩터의 스텝 사이즈는 연산량과 정확도의 관점에 기초하여 결정될 수 있으며, 연산량과 정확도가 우수한 스텝 사이즈 예를 들어, 0.05를 결정하는 것이 바람직하다.
(2) 영상 리스케일링(rescaling): 선택된 스케일링 팩터로 영상을 리스케일링한다.
(3) 블록 DFT: 2D 블록 DFT가 블록 t에 대해 적용된다. 여기서 사용되는 2D블록 t=imager(xr:xr+d, yr:yr+d)이다. d는 템플릿을 삽입하였을 때 사용된 블록의 사이즈이며, (xr, yr)은 현재의 픽셀 위치 (x, y)를 리스케일링한 것을 의미하고, imager은 리스케일링된 영상을 의미한다.
(4) 템플릿1 추출: 템플릿1은 아래 <수학식 13>에 의해 추출될 수 있다.
[수학식 13]
Figure 112016019489002-pat00025
여기서, 수학식 13의 조건을 만족하는 경우 다음 단계 (5)로 넘어가고, 수학식 13의 조건을 만족하지 못하는 경우에는 단계 (1)로 돌아가 다른 스케일링 팩터에 대해 템플릿 추출 과정을 수행한다.
(5) 템플릿2 추출: IAQIM을 이용하여
Figure 112016019489002-pat00026
에 삽입된 비트(bit)를 확인한다. 이 때,
Figure 112016019489002-pat00027
에 삽입된 비트는 아래 <수학식 14>를 이용하여 확인할 수 있다.
[수학식 14]
Figure 112016019489002-pat00028
QD([T[k-1, k]]=1인 경우, 즉 검출된 비트가 1인 경우에만 다음 단계로 넘어간다.
(6) 템플릿3 추출:
Figure 112016019489002-pat00029
에 대하여, 상기 단계 (5)와 동일한 과정을 수행한다. 즉, IAQIM을 이용하여
Figure 112016019489002-pat00030
에 삽입된 비트를 확인한다.
(7) 플러스 카운트: 해당 (x, y, Sf(j))의 카운트에 1을 더한다. 여기서, (x, y)는 픽셀의 위치를 의미하고, Sf(j)는 스케일링 팩터를 의미한다. 긍정 오류에 의해 카운트가 플러스될 확률은 상기 단계 (4)의 템플릿1이 검출될 확률(2τ/2π)×상기 단계 (5)의 템플릿2가 검출될 확률(1/4)×상기 단계 (6)의 템플릿3이 검출될 확률(1/4)로, (2τ/2π)×1/4×1/4 = τ/(16π)가 된다.
상기 단계 (1) 내지 (7)을 모든 픽셀 (x, y)에 대해 약 w×h번 반복한다. 획득된 카운트는 다음과 같은 특징을 가질 수 있다. (1) 특정 Sf에서만 높은 카운트 값을 가지는 특징과 (2) 해당 Sf의 특정 x와 y에 높은 count를 가지는 특징을 가질 수 있다. (1)의 이유는 공격받은 스케일링 팩터로 리스케일링을 해야만 템플릿이 제대로 검출되기 때문이고, (2)의 이유는 특정 x와 y에 템플릿을 반복해서 삽입했기 때문이다. 이러한 특징들을 이용하여 다음과 같이 영상을 동기할 수 있다.
(1) 모든 Sf에 대하여, sum(count(:, y))를 계산한다.
(2) 모든 Sf에 대하여, 계산된 sum(count(:, y)) 중 가장 큰 값인 max(sum(count(:, y)))을 찾고, 해당 값을 가지는 Sf (j)를 선택한다.
(3) 선택된 Sf에 대하여, 두 개의 가장 큰 카운트의 y 위치를 y1과 y2로 정의하고, y1 - y2 = h라고 한다.
(4) h/g
Figure 112016019489002-pat00031
Sf (j)인 경우, g/h로 영상을 리스케일링한다. 또한 a2 값을 이용하여 영상의 세로 위치를 조정한다. g와 a2는 템플릿 삽입 단계에서 미리 정의된 값이다.
(5) 가로 위치 조정은 sum(count(x - w : x + w, :))과 a1 값을 이용한다. 세로 위치와 다르게 2w 윈도우에 대하여 카운트를 합산하는 이유는 피크 값이 DIBR에 의하여 넓게 분산되기 때문이다. 이 경우, 오차가 발생하지만 메시지 워터마크는 가로 이동에 강인하므로 오차가 있어도 충분히 검출이 가능하다.
본 발명에서의 영상 동기는 워터마크를 검출하고자 하는 영상의 기하학적 특성을 원본 영상의 기하학적 특성에 대응되게 복원하는 것으로, 워터마크를 검출하고자 하는 영상에 대한 스케일링 팩터와 검출된 템플릿 워터마크 삽입 영역, 그리고 원본 영상에서 템플릿 워터마크 삽입 영역을 이용하여 워터마크 검출 영상을 원본 영상의 사이즈로 리스케일링하고, 리스케일링된 워터마크 검출 영상의 템플릿 워터마크 삽입 영역이 원본 영상의 템플릿 워터마크 삽입 영역에 대응되도록 영상을 이동(또는 트랜슬레이션)함으로써, 워터마크 검출 영상의 기하학적 특성 예를 들어, 영상의 사이즈, 워터마크 삽입 영역 등을 원본 영상의 기하학적 특성에 대응되게 동기 또는 복원시킬 수 있다.
2. 빠른 템플릿 추출과 연산량
템플릿은 계층적인 구조를 가진다. 계측적인 구조의 첫 단계인 템플릿1 추출의 연산량을 줄이면 전체 연산량을 크게 줄일 수 있다. 템플릿1의 빠른 추출 방법이 다음 두 특성들(properties)에 의해 구현될 수 있다. 해당 방법을 설명하기에 앞서, 기호(notation)는 아래 <수학식 15>와 같이 정의될 수 있다.
[수학식 15]
Figure 112016019489002-pat00032
상기 수학식 15는 DFT의 매트릭스 형태를 나타낸 것이며, f는 공간 도메인에서의 블록 매트릭스를 의미하고, F는 DFT 계수를 의미하며, [u, v]는 주파수 도메인의 디스크리트(discrete)한 좌표를 의미하고, (u/m, v/n)은 주파수 도메인의 연속 좌표를 의미한다.
M은 DFT 변환 매트릭스로 아래 <수학식 16>과 같이 정의될 수 있다.
[수학식 16]
Figure 112016019489002-pat00033
여기서,
Figure 112016019489002-pat00034
는 변환할 연속 주파수를 의미하고, (m, n)은 매트릭스 사이즈(=블록 사이즈)를 의미한다.
(1) 특성1: 블록 사이즈가 잘라내기(crop) 등에 의해 줄어들어도 같이 주파수에서 위상은 유지된다. 예를 들어, 블록의 우측 아래 부분이 잘려도 같은 주파수에서 위상은 유지되며, 이에 대한 아래 <수학식 17>과 <수학식 18>을 이용하여 설명한다.
[수학식 17]
Figure 112016019489002-pat00035
[수학식 18]
Figure 112016019489002-pat00036
여기서, b는 B(k1, k2)=β를 IDFT한 m×m 블록을 의미하고, bcr은 b의 왼쪽 위 부분에 해당하는 c×c 블록을 의미하며, c는 m보다 작다.
따라서, bcr은
Figure 112016019489002-pat00037
과 같으므로, bcr의 위상은 아래 <수학식 19>와 같이 나타낼 수 있다.
[수학식 19]
Figure 112016019489002-pat00038
상기 수학식 19를 통해 알 수 있듯이, 주파수 (k1, k2)에서 블록 사이즈 c×c의 위상과 주파수 (k1, k2)에서 블록 사이즈가 m×m의 위상이 같은 것을 알 수 있다.
(2) 특성2: 하나의 기본 주파수 성분이 구해지면, 기본 주파수 성분을 이용하여 주변 주파수 성분을 예측(또는 획득)할 수 있으며, 아래 <수학식 20>과 같이 나타낼 수 있다.
[수학식 20]
Figure 112016019489002-pat00039
상기 수학식 20을 통해,
Figure 112016019489002-pat00040
가 되는 것을 알 수 있다. 따라서, F(k1, k2)로부터 주변 주파수의 각도를 용이하게 추정할 수 있다. 여기서, Tf는 Sf에 대해 미리 계산된 값일 수 있다.
이러한 두 특징들은 이상적인 상황에 성립될 수 있으며, 실제 영상에서는 주변 주파수에 의해 간섭(interference)이 발생할 수 있다. 상기 수학식 19에서 잘려나간 부분이 많을수록, 기본 주파수와 추정되는 주변 주파수 간의 거리가 더 멀어질수록, 간섭은 증가한다. 이 때, 간섭에 의해 발생되는 문제는 템플릿을 삽입한 주파수 예를 들어, 기본 주파수의 진폭을 증가시킴으로써 해결될 수 있다.
상술한 두 특성들을 이용한 템플릿 추출은 도 9와 같이 개선될 수 있다.
도 9에서의 ds는 d보다 작은 임의의 값일 수 있다. ds가 작아질수록 연산량이 줄어들지만 강인성 또한 줄어든다. 도 8에 도시된 알고리즘에서, T[k, k]의 연산이 가장 많은 연산량을 차지하며, for 문에서 빠져나와 있는 것을 알 수 있다.
템플릿 추출에서는 DFT 이외의 연산량은 소소하기 때문에 다음과 같이 총 DFT의 연산 횟수로 대략적인 연산량을 추정할 수 있다. 여기서, c×c 블록을 DFT하는 연산량은
Figure 112016019489002-pat00041
로 정의될 수 있다.
(1) 템플릿1 추출: (ds×ds 블록에서 계수 하나의 연산량)×(총 픽셀 개수)= w × h × C(DFTds , ds )/d2s .
(2) 템플릿2 추출: (d×d 블록에서 계수 하나의 연산량)×(템플릿1이 참일 확률)×(총픽셀 개수)×(총 스케일링 팩터 개수)=C(DFTd ,d)/d2 × (2τ/2π) × w × h × length(Sf).
(3) 템플릿3 추출: (d×d 블록에서 계수 하나의 연산량) × (템플렛1이 참일 확률) × (템플릿2가 참일 확률) × (총픽셀 개수) × (총 스케일링 팩터 개수)=C(DFTd,d)/d2 × (2τ/2π) × 1/4 × w × h × length(Sf).
아래 표 3은 도 8의 패스트 알고리즘을 적용하기 전과 후의 DFT 연산량을 나타낸 것이다.
Figure 112016019489002-pat00042
상기 표 3은 τ=π/6, ds=4, d=10, length(Sf)=13인 경우에 대한 연산량을 나타낸 것으로, 패스트 알고리즘에 사용되는 DFT 연산은 w × h 사이즈의 영상을 4 × 4 블록- DFT 1번, 10 × 10 블록-DFT를 2.7한 것과 같은 연산량이다.
또한 모든 픽셀 위치에서 같은 DFT 매트릭스가 사용되기 때문에 이런 DFT 매트릭스를 테이블로 만들어놓으면 매번 높은 연산량을 가진 삼각 함수를 연산할 필요가 없어진다.
3. 1D 변환된 도메인에서 메시지 워터마크 추출
템플릿 추출에서 동기된 영상을 이용하여 메시지 워터마크를 추출한다. 메시지 워터마크의 추출은 도 10에 도시된 바와 같이 다음과 같은 과정에 의해 이루어진다.
(1)~(2) 블록들 분할 및 1D DCT: 메시지 워터마크의 임베딩과 마찬가지로
(w - 2d) × (h - d) 영상을 m × n 사이즈의 블록들(또는 서브 블록들)로 나눈후, 컬럼별로 1D DCT를 수행한다. 이 때, 템플릿이 삽입된 위치는 제외된다.
(3) 상관 관계(Correlation): 1D DFT의 중간 주파수와 워터마크(또는 워터마크 패턴)을 상관 관계하고, 이러한 상관 관계는 아래 <수학식 21>과 같을 수 있다.
[수학식 21]
Figure 112016019489002-pat00043
여기서, 각 기호는 임베딩 과정에서 사용된 기호와 동일하다.
(4) 카운트 플러스: Corr(j)값이 가장 크게 나오는 j를 b로 하고, count(b)에 1을 더한다. 블록의 컬럼 개수는 n개이므로, 한 컬럼씩 이동하면서 상기 단계 (2)~(4) 과정을 n번 반복한다.
(5) 비트 디코딩: 하나의 블록에서 count(b)가 가장 큰 값이 되는 b를 찾는다. 그리고, 찾은 b 값으로 비트를 디코딩 한다. 예를 들어, 시퀀스
Figure 112016019489002-pat00044
일 때 count(3)이 가장 큰 값을 가지면 디코딩된 bit는 3 = 0b0011이 된다.
(6) 비트 언셔플링(bit unshuffling): 여러 블록에서 디코딩된 비트들을 언셔플링하여 원본 메시지 워터마크를 복원한다.
상술한 바와 같이, 본 발명의 실시예에 따른 워터마킹 방법은 DIBR에 적용 가능한 템플릿 워터마킹 기법을 제공함으로써, DIBR 변환에 강인하고, 이를 통해 DIBR 3D 영상의 저작권을 보호할 수 있다.
따라서, 불법에 의해 피해를 받는 DIBR 3D 영상을 탐지함으로써 피해액을 줄일 수 있고, 저작권자의 권리를 보호해줌으로써, 질이 좋은 콘텐츠를 생산 가능하게 만들어 줄 수 있다.
특히, 3D 영상의 경우 2D 영상보다 제작 단가가 높기 때문에 저작권 보호에 따른 효과가 클 수 있다.
또한, 본 발명의 실시예에 따른 워터마킹 방법은 기존의 2D 워터마킹 기법들과 다르게 1D 신호를 이용하여 워터마킹함으로써, 높은 강인성을 가질 수 있고, 높은 영상 품질, 높은 데이터 삽입량, 각종 공격에 충분한 강인성을 보장하며, 중앙 영상, 좌안 영상, 우안 영상 각각이 불법 유출되어도 저작권을 보호할 수 있다.
도 11은 본 발명의 일 실시예에 따른 템플릿 기반 워터마크 삽입 장치에 대한 구성을 나타낸 것으로, 상술한 템플릿 기반 워터마크 삽입 과정을 수행하는 장치의 구성을 나타낸 것이다.
도 11을 참조하면, 본 발명의 실시예에 따른 워터마크 삽입 장치(1100)는 결정부(1110), 분할부(1120), 삽입부(1130) 및 변환부(1140)를 포함한다.
결정부(1110)는 워터마크를 삽입하고자 하는 영상의 공간 도메인에서 템플릿 워터마크 삽입 영역과 메시지 워터마크 삽입 영역을 결정한다.
이 때, 결정부(1110)는 영상의 공간 도메인에서 일정 폭을 가지고 일정 간격 이격된 복수의 가로 라인 영역들과 일정 폭을 가지는 세로 라인 영역을 템플릿 워터마크 삽입 영역으로 결정할 수 있고, 결정된 템플릿 워터마크 삽입 영역을 제외한 나머지 영역을 메시지 워터마크 삽입 영역으로 결정할 수 있다.
분할부(1120)는 결정된 템플릿 워터마크 삽입 영역을 미리 결정된 제1 사이즈를 가지는 복수의 제1 블록들로 분할하고, 결정된 메시지 워터마크 삽입 영역을 미리 결정된 제2 사이즈를 가지는 복수의 제2 블록들로 분할한다.
이 때, 분할부(1120)는 템플릿 워터마크 삽입 영역을 미리 결정된 블록 사이즈보다 작은 사이즈의 제1 블록들로 분할할 수 있다.
삽입부(1130)는 템플릿 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 적어도 하나의 템플릿 워터마크를 삽입하고, 메시지 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 메시지 워터마크를 삽입한다.
이 때, 삽입부(1130)는 IAQIM(improved angle quantization index modulation) 기법을 이용하여 주파수 도메인으로 변환된 템플릿 워터마크 삽입 영역에 템플릿 워터마크를 삽입할 수 있다. 구체적으로, 삽입부는 주파수 도메인으로 변환된 제1 블록들에 템플릿 워터마크를 삽입하고, 주파수 도메인으로 변환된 제2 블록들에 메시지 워터마크를 삽입한다.
나아가, 삽입부(1130)는 주파수 도메인으로 변환된 제2 블록들 각각에 포함된 컬럼들 각각에 메시지 워터마크를 동일하게 삽입한다.
변환부(1140)는 템플릿 워터마크가 삽입된 템플릿 워터마크 삽입 영역을 공간 도메인으로 변환하고, 메시지 워터마크가 삽입된 메시지 워터마크 삽입 영역을 공간 도메인으로 변환함으로써, 템플릿 워터마크와 메시지 워터마크가 삽입된 영상을 생성한다.
본 발명의 템플릿 기반 워터마크 삽입 장치(1100)는 비록 도 11에서 그 설명이 기재되어 있지 않더라도 상술한 템플릿 워터마크 삽입 과정과 메시지 워터마크 삽입 과정에 대한 모든 동작과 기능을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
도 12는 본 발명의 일 실시예에 따른 템플릿 기반 워터마크 추출 장치에 대한 구성을 나타낸 것으로, 상술한 템플릿 기반 워터마크 추출 과정을 수행하는 장치의 구성을 나타낸 것이다.
도 12를 참조하면, 본 발명의 실시예에 따른 워터마크 추출 장치(1200)는 리스케일링부(1210), 검출부(1220), 동기부(1230) 및 추출부(1240)를 포함한다.
리스케일링부(1210)는 워터마크를 추출하기 위한 워터마크 추출 영상에 대하여, 미리 결정된 적어도 하나 이상의 스케일링 팩터(scaling factor) 각각을 이용하여 워터마크 추출 영상을 리스케일링한다.
검출부(1220)는 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상에 기초하여 미리 설정된 적어도 하나의 템플릿 워터마크가 삽입된 템플릿 워터마크 삽입 영역을 검출한다.
이 때, 검출부(1220)는 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상을 공간 도메인에서 주파수 도메인으로 변환하고, 주파수 도메인으로 변환된 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상에 대하여, 미리 설정된 템플릿 추출 조건을 만족하는 카운트 값을 계산하며, 스케일링 팩터들 각각에 대해 계산된 카운트 값들 중 최고 값을 가지는 스케일링 팩터를 선택하고, 선택된 스케일링 팩터에 의해 리스케일링되고 주파수 도메인으로 변환된 워터마크 추출 영상으로부터 템플릿 워터마크 삽입 영역을 검출할 수 있다.
검출부(1220)는 IAQIM(improved angle quantization index modulation) 기법을 이용하여 선택된 스케일링 팩터에 의해 리스케일링되고 주파수 도메인으로 변환된 워터마크 추출 영상으로부터 적어도 하나의 템플릿 워터마크를 추출하고, 추출된 템플릿 워터마크에 기초하여 템플릿 워터마크 삽입 영역을 검출할 수 있다.
동기부(1230)는 스케일링 팩터와 검출된 템플릿 워터마크 삽입 영역에 기초하여 워터마크 추출 영상의 기하학적 특성을 원본 영상의 기하학적 특성에 대응되게 동기시킨다.
이 때, 동기부(1230)는 선택된 스케일링 팩터를 이용하여 원본 영상의 사이즈에 대응되게 워터마크 추출 영상의 사이즈를 리스케일링함으로써, 리스케일링 워터마크 추출 영상을 생성하고, 생성된 리스케일링 워터마크 추출 영상의 템플릿 워터마크 삽입 영역이 원본 영상의 템플릿 워터마크 삽입 영역에 대응되게 리스케일링 워터마크 추출 영상을 이동시킴으로써, 동기된 워터마크 추출 영상으로 복원할 수 있다. 즉, 동기부(1230)는 원본 영상의 기하학적 특성에 맞게 워터마크 추출 영상의 기하학적 특성을 조정한다.
추출부(1240)는 원본 영상의 기하학적 특성에 동기된 워터마크 추출 영상의 미리 설정된 메시지 워터마크 삽입 영역으로부터 메시지 워터마크를 추출한다.
이 때, 추출부(1240)는 메시지 워터마크 삽입 영역을 미리 결정된 사이즈를 가지는 복수의 블록들로 분할하고, 분할된 복수의 블록들 각각을 공간 도메인에서 주파수 도메인으로 변환하며, 주파수 도메인으로 변환된 블록들 각각과 미리 설정된 원본 메시지 워터마크의 상관 관계에 기초하여 메시지 워터마크를 추출할 수 있다.
본 발명의 템플릿 기반 워터마크 추출 장치(1200)는 비록 도 12에서 그 설명이 기재되어 있지 않더라도 상술한 템플릿 워터마크 추출 과정과 메시지 워터마크 추출 과정에 대한 모든 동작과 기능을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (22)

  1. DIBR(Depth-Image-Based Rendering) 3차원 영상의 공간 도메인에서 템플릿 워터마크 삽입 영역과 메시지 워터마크 삽입 영역을 결정하는 단계;
    상기 결정된 템플릿 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 적어도 하나의 템플릿 워터마크를 삽입하고, 상기 결정된 메시지 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 메시지 워터마크를 삽입하는 단계; 및
    상기 템플릿 워터마크가 삽입된 상기 템플릿 워터마크 삽입 영역을 공간 도메인으로 변환하고, 상기 메시지 워터마크가 삽입된 상기 메시지 워터마크 삽입 영역을 공간 도메인으로 변환하는 단계
    를 포함하고,
    상기 결정된 템플릿 워터마크 삽입 영역을 미리 결정된 제1 사이즈를 가지는 복수의 제1 블록들로 분할하고, 상기 결정된 메시지 워터마크 삽입 영역을 미리 결정된 제2 사이즈를 가지는 복수의 제2 블록들로 분할하는 단계
    를 더 포함하며,
    상기 분할하는 단계는
    상기 결정된 템플릿 워터마크 삽입 영역을 미리 결정된 블록 사이즈보다 작은 사이즈의 상기 제1 블록들로 분할하고,
    상기 결정하는 단계는
    스케일링 팩터를 추정할 수 있도록, 복수의 가로 라인 영역들을 상기 템플릿 워터마크 삽입 영역으로 결정하며,
    상기 삽입하는 단계는
    상기 템플릿 워터마크과 상기 메시지 워터마크를 컬럼 또는 행 단위로 삽입하는 템플릿 기반 워터마크 삽입 방법.
  2. 제1항에 있어서,
    상기 삽입하는 단계는
    주파수 도메인으로 변환된 상기 제1 블록들에 상기 템플릿 워터마크를 삽입하고, 주파수 도메인으로 변환된 상기 제2 블록들에 상기 메시지 워터마크를 삽입하는 것을 특징으로 하는 템플릿 기반 워터마크 삽입 방법.
  3. 제1항에 있어서,
    상기 삽입하는 단계는
    IAQIM(improved angle quantization index modulation) 기법을 이용하여 주파수 도메인으로 변환된 상기 템플릿 워터마크 삽입 영역에 상기 템플릿 워터마크를 삽입하는 것을 특징으로 하는 템플릿 기반 워터마크 삽입 방법.
  4. 제2항에 있어서,
    상기 삽입하는 단계는
    주파수 도메인으로 변환된 상기 제2 블록들 각각에 포함된 컬럼들 각각에 상기 메시지 워터마크를 동일하게 삽입하는 것을 특징으로 하는 템플릿 기반 워터마크 삽입 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 결정하는 단계는
    상기 영상의 공간 도메인에서 일정 폭을 가지고 일정 간격 이격된 복수의 가로 라인 영역들과 상기 일정 폭을 가지는 세로 라인 영역을 상기 템플릿 워터마크 삽입 영역으로 결정하고, 상기 결정된 템플릿 워터마크 삽입 영역을 제외한 나머지 영역을 상기 메시지 워터마크 삽입 영역으로 결정하는 것을 특징으로 하는 템플릿 기반 워터마크 삽입 방법.
  7. DIBR(Depth-Image-Based Rendering) 3차원 영상의 워터마크를 추출하기 위한 워터마크 추출 영상에 대하여, 미리 결정된 적어도 하나 이상의 스케일링 팩터(scaling factor) 각각을 이용하여 상기 워터마크 추출 영상을 리스케일링하는 단계;
    상기 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상에 기초하여 미리 설정된 적어도 하나의 템플릿 워터마크가 컬럼 또는 행 단위로 삽입된 복수의 가로 라인 영역들을 포함하는 템플릿 워터마크 삽입 영역을 검출하는 단계;
    상기 스케일링 팩터와 상기 검출된 템플릿 워터마크 삽입 영역에 기초하여 상기 워터마크 추출 영상의 기하학적 특성을 원본 영상의 기하학적 특성에 대응되게 동기시키는 단계; 및
    상기 동기된 워터마크 추출 영상의 미리 설정된 메시지 워터마크 삽입 영역으로부터 컬럼 또는 행 단위로 삽입된 메시지 워터마크를 추출하는 단계
    를 포함하고,
    상기 템플릿 워터마크 삽입 영역을 검출하는 단계는
    상기 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상을 공간 도메인에서 주파수 도메인으로 변환하는 단계;
    주파수 도메인으로 변환된 상기 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상에 대하여, 미리 설정된 템플릿 추출 조건을 만족하는 카운트 값을 계산하는 단계;
    상기 스케일링 팩터들 각각에 대해 계산된 카운트 값들 중 최고 값을 가지는 스케일링 팩터를 선택하는 단계; 및
    상기 선택된 스케일링 팩터에 의해 리스케일링되고 주파수 도메인으로 변환된 워터마크 추출 영상으로부터 상기 템플릿 워터마크 삽입 영역을 검출하는 단계
    를 포함하는 템플릿 기반 워터마크 추출 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 동기시키는 단계는
    상기 선택된 스케일링 팩터를 이용하여 상기 원본 영상의 사이즈에 대응되게 상기 워터마크 추출 영상의 사이즈를 리스케일링함으로써, 리스케일링 워터마크 추출 영상을 생성하고, 상기 생성된 리스케일링 워터마크 추출 영상의 템플릿 워터마크 삽입 영역이 상기 원본 영상의 템플릿 워터마크 삽입 영역에 대응되게 상기 리스케일링 워터마크 추출 영상을 이동시킴으로써, 상기 동기된 워터마크 추출 영상으로 복원하는 것을 특징으로 하는 템플릿 기반 워터마크 추출 방법.
  10. 제7항에 있어서,
    상기 템플릿 워터마크 삽입 영역을 검출하는 단계는
    IAQIM(improved angle quantization index modulation) 기법을 이용하여 상기 선택된 스케일링 팩터에 의해 리스케일링되고 주파수 도메인으로 변환된 워터마크 추출 영상으로부터 적어도 하나의 템플릿 워터마크를 추출하고, 상기 추출된 템플릿 워터마크에 기초하여 상기 템플릿 워터마크 삽입 영역을 검출하는 것을 특징으로 하는 템플릿 기반 워터마크 추출 방법.
  11. 제7항에 있어서,
    상기 메시지 워터마크를 추출하는 단계는
    상기 메시지 워터마크 삽입 영역을 미리 결정된 사이즈를 가지는 복수의 블록들로 분할하고, 상기 분할된 복수의 블록들 각각을 공간 도메인에서 주파수 도메인으로 변환하며, 주파수 도메인으로 변환된 상기 블록들 각각과 미리 설정된 원본 메시지 워터마크의 상관 관계에 기초하여 상기 메시지 워터마크를 추출하는 것을 특징으로 하는 템플릿 기반 워터마크 추출 방법.
  12. DIBR(Depth-Image-Based Rendering) 3차원 영상의 공간 도메인에서 템플릿 워터마크 삽입 영역과 메시지 워터마크 삽입 영역을 결정하는 결정부;
    상기 결정된 템플릿 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 적어도 하나의 템플릿 워터마크를 삽입하고, 상기 결정된 메시지 워터마크 삽입 영역을 주파수 도메인으로 변환하여 미리 설정된 메시지 워터마크를 삽입하는 삽입부; 및
    상기 템플릿 워터마크가 삽입된 상기 템플릿 워터마크 삽입 영역을 공간 도메인으로 변환하고, 상기 메시지 워터마크가 삽입된 상기 메시지 워터마크 삽입 영역을 공간 도메인으로 변환하는 변환부
    를 포함하고,
    상기 결정된 템플릿 워터마크 삽입 영역을 미리 결정된 제1 사이즈를 가지는 복수의 제1 블록들로 분할하고, 상기 결정된 메시지 워터마크 삽입 영역을 미리 결정된 제2 사이즈를 가지는 복수의 제2 블록들로 분할하는 분할부
    를 더 포함하며,
    상기 분할부는
    상기 결정된 템플릿 워터마크 삽입 영역을 미리 결정된 블록 사이즈보다 작은 사이즈의 상기 제1 블록들로 분할하고,
    상기 결정부는
    스케일링 팩터를 추정할 수 있도록, 복수의 가로 라인 영역들을 상기 템플릿 워터마크 삽입 영역으로 결정하며,
    상기 삽입부는
    상기 템플릿 워터마크과 상기 메시지 워터마크를 컬럼 또는 행 단위로 삽입하는 템플릿 기반 워터마크 삽입 장치.
  13. 제12항에 있어서,
    상기 삽입부는
    주파수 도메인으로 변환된 상기 제1 블록들에 상기 템플릿 워터마크를 삽입하고, 주파수 도메인으로 변환된 상기 제2 블록들에 상기 메시지 워터마크를 삽입하는 것을 특징으로 하는 템플릿 기반 워터마크 삽입 장치.
  14. 제12항에 있어서,
    상기 삽입부는
    IAQIM(improved angle quantization index modulation) 기법을 이용하여 주파수 도메인으로 변환된 상기 템플릿 워터마크 삽입 영역에 상기 템플릿 워터마크를 삽입하는 것을 특징으로 하는 템플릿 기반 워터마크 삽입 장치.
  15. 제13항에 있어서,
    상기 삽입부는
    주파수 도메인으로 변환된 상기 제2 블록들 각각에 포함된 컬럼들 각각에 상기 메시지 워터마크를 동일하게 삽입하는 것을 특징으로 하는 템플릿 기반 워터마크 삽입 장치.
  16. 삭제
  17. 제12항에 있어서,
    상기 결정부는
    상기 영상의 공간 도메인에서 일정 폭을 가지고 일정 간격 이격된 복수의 가로 라인 영역들과 상기 일정 폭을 가지는 세로 라인 영역을 상기 템플릿 워터마크 삽입 영역으로 결정하고, 상기 결정된 템플릿 워터마크 삽입 영역을 제외한 나머지 영역을 상기 메시지 워터마크 삽입 영역으로 결정하는 것을 특징으로 하는 템플릿 기반 워터마크 삽입 장치.
  18. DIBR(Depth-Image-Based Rendering) 3차원 영상의 워터마크를 추출하기 위한 워터마크 추출 영상에 대하여, 미리 결정된 적어도 하나 이상의 스케일링 팩터(scaling factor) 각각을 이용하여 상기 워터마크 추출 영상을 리스케일링하는 리스케일링부;
    상기 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상에 기초하여 미리 설정된 적어도 하나의 템플릿 워터마크가 컬럼 또는 행 단위로 삽입된 복수의 가로 라인 영역들을 포함하는 템플릿 워터마크 삽입 영역을 검출하는 검출부;
    상기 스케일링 팩터와 상기 검출된 템플릿 워터마크 삽입 영역에 기초하여 상기 워터마크 추출 영상의 기하학적 특성을 원본 영상의 기하학적 특성에 대응되게 동기시키는 동기부; 및
    상기 동기된 워터마크 추출 영상의 미리 설정된 메시지 워터마크 삽입 영역으로부터 컬럼 또는 행 단위로 삽입된 메시지 워터마크를 추출하는 추출부
    를 포함하고,
    상기 검출부는
    상기 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상을 공간 도메인에서 주파수 도메인으로 변환하고,
    주파수 도메인으로 변환된 상기 스케일링 팩터 각각에 의해 리스케일링된 워터마크 추출 영상에 대하여, 미리 설정된 템플릿 추출 조건을 만족하는 카운트 값을 계산하며,
    상기 스케일링 팩터들 각각에 대해 계산된 카운트 값들 중 최고 값을 가지는 스케일링 팩터를 선택하고,
    상기 선택된 스케일링 팩터에 의해 리스케일링되고 주파수 도메인으로 변환된 워터마크 추출 영상으로부터 상기 템플릿 워터마크 삽입 영역을 검출하는 템플릿 기반 워터마크 추출 장치.
  19. 삭제
  20. 제18항에 있어서,
    상기 동기부는
    상기 선택된 스케일링 팩터를 이용하여 상기 원본 영상의 사이즈에 대응되게 상기 워터마크 추출 영상의 사이즈를 리스케일링함으로써, 리스케일링 워터마크 추출 영상을 생성하고, 상기 생성된 리스케일링 워터마크 추출 영상의 템플릿 워터마크 삽입 영역이 상기 원본 영상의 템플릿 워터마크 삽입 영역에 대응되게 상기 리스케일링 워터마크 추출 영상을 이동시킴으로써, 상기 동기된 워터마크 추출 영상으로 복원하는 것을 특징으로 하는 템플릿 기반 워터마크 추출 장치.
  21. 제18항에 있어서,
    상기 검출부는
    IAQIM(improved angle quantization index modulation) 기법을 이용하여 상기 선택된 스케일링 팩터에 의해 리스케일링되고 주파수 도메인으로 변환된 워터마크 추출 영상으로부터 적어도 하나의 템플릿 워터마크를 추출하고, 상기 추출된 템플릿 워터마크에 기초하여 상기 템플릿 워터마크 삽입 영역을 검출하는 것을 특징으로 하는 템플릿 기반 워터마크 추출 장치.
  22. 삭제
KR1020160023929A 2016-02-29 2016-02-29 Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치 KR101785194B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160023929A KR101785194B1 (ko) 2016-02-29 2016-02-29 Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치
US15/244,004 US10049422B2 (en) 2016-02-29 2016-08-23 Template-based watermarking method for depth-image-based rendering based 3D image and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160023929A KR101785194B1 (ko) 2016-02-29 2016-02-29 Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170101428A KR20170101428A (ko) 2017-09-06
KR101785194B1 true KR101785194B1 (ko) 2017-10-12

Family

ID=59679160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160023929A KR101785194B1 (ko) 2016-02-29 2016-02-29 Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치

Country Status (2)

Country Link
US (1) US10049422B2 (ko)
KR (1) KR101785194B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101959479B1 (ko) * 2017-10-27 2019-03-18 주식회사 두잉랩 워터 마킹 방법 및 검출 방법
CN107911698B (zh) * 2017-11-03 2019-07-05 清华大学深圳研究生院 视频数字水印信息的嵌入方法和检测方法
CN111008923B (zh) * 2018-10-08 2022-10-18 阿里巴巴集团控股有限公司 水印嵌入和水印提取方法、装置和设备
CN112040337B (zh) * 2020-09-01 2022-04-15 腾讯科技（深圳）有限公司 视频的水印添加和提取方法、装置、设备及存储介质
CN113160029B (zh) * 2021-03-31 2022-07-05 海南大学 一种基于感知哈希和数据增强的医学图像数字水印方法
CN115798490B (zh) * 2023-02-07 2023-04-21 西华大学 基于sift变换的音频水印植入方法和装置
CN117241104B (zh) * 2023-11-07 2024-01-16 中南大学 一种dibr-3d视频版权保护的零水印方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361108B1 (ko) 2013-02-05 2014-02-13 한국과학기술원 Ｄｉｂｒ ３ｄ영상 저작권 보호를 위한 워터마킹 시스템 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117474B (zh) * 2009-12-31 2013-05-22 北大方正集团有限公司 一种数字图像中水印嵌入和检测的方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361108B1 (ko) 2013-02-05 2014-02-13 한국과학기술원 Ｄｉｂｒ ３ｄ영상 저작권 보호를 위한 워터마킹 시스템 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yuan-Gen Wang, et al., ‘An improved AQIM watermarking method with minimum distortion angle quantization and amplitude projection strategy’ Information Sciences 316 (2015) 40-53*

Also Published As

Publication number Publication date
US10049422B2 (en) 2018-08-14
KR20170101428A (ko) 2017-09-06
US20170249715A1 (en) 2017-08-31

Similar Documents

Publication Publication Date Title
KR101785194B1 (ko) Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치
Khan et al. A recent survey of reversible watermarking techniques
Asikuzzaman et al. Robust DT CWT-based DIBR 3D video watermarking using chrominance embedding
EP1883895B1 (en) Collusion resistant desynchronization for digital video fingerprinting
US9773290B2 (en) Content watermarking
Wang et al. Watermarking for DIBR 3D images based on SIFT feature points
KR100960828B1 (ko) 워터마크 삽입 영역을 적응적으로 선택하는 비디오시퀀스의 워터마킹 방법, 대응하는 검출 방법, 장치,데이터 반송파 및 컴퓨터 프로그램
KR101361108B1 (ko) Ｄｉｂｒ ３ｄ영상 저작권 보호를 위한 워터마킹 시스템 및 그 방법
KR100556848B1 (ko) 디지털 워터마킹을 이용한 동영상 부호화/복호화 장치 및방법
Hwang et al. Reversible data hiding using least square predictor via the LASSO
Franco-Contreras et al. Virtual view invariant domain for 3D video blind watermarking
Lee et al. Digital blind watermarking based on depth variation prediction map and DWT for DIBR free-viewpoint image
Cui et al. A robust DIBR 3D image watermarking algorithm based on histogram shape
Liu et al. A robust and synthesized-unseen watermarking for the DRM of DIBR-based 3D video
KR101580987B1 (ko) 깊이 및 텍스쳐 영상 기반의 3차원 입체 영상을 위한 워터마킹 방법
KR101860728B1 (ko) 깊이변화지도를 이용한 dibr 공격의 강인성 블라인드 워터마킹 방법
KR101026081B1 (ko) 가역 워터마크 삽입, 추출 및 원본 영상 복원 방법
KR101785195B1 (ko) Dibr 3차원 영상을 위한 특징점 기반 워터마킹 방법 및 장치
Guan et al. A digital blind watermarking scheme based on quantization index modulation in depth map for 3D video
Chen et al. A zero-watermark method based on texture characteristic of image blocks for stereo images
Ahuja et al. Robust Video Watermarking Scheme Based on Intra-Coding Process in MPEG-2 Style.
Shanthakumari et al. Video Steganography using LSB matching revisited algorithm
Avinash et al. A secured five pixel pair differencing algorithm for compressed image steganography
Akhlaghian et al. A new robust video watermarking algorithm against cropping and rotating attacks
KR101321896B1 (ko) 스테레오 영상의 소유권 보호를 위한 폐색 영역 기반 스테레오 영상의 워터마킹 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant