KR100975048B1 - 전자 워터마크 삽입방법 및 장치 및 프로그램 및 전자 워터마크 검출방법 및 장치 및 프로그램 - Google Patents

전자 워터마크 삽입방법 및 장치 및 프로그램 및 전자 워터마크 검출방법 및 장치 및 프로그램 Download PDF

Info

Publication number
KR100975048B1
KR100975048B1 KR20087021845A KR20087021845A KR100975048B1 KR 100975048 B1 KR100975048 B1 KR 100975048B1 KR 20087021845 A KR20087021845 A KR 20087021845A KR 20087021845 A KR20087021845 A KR 20087021845A KR 100975048 B1 KR100975048 B1 KR 100975048B1
Authority
KR
South Korea
Prior art keywords
pattern
dimensional
detection
sequence
complex
Prior art date
Application number
KR20087021845A
Other languages
English (en)
Other versions
KR20080100244A (ko
Inventor
스스무 야마모토
타카오 나카무라
Original Assignee
니폰 덴신 덴와 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰 덴신 덴와 가부시끼가이샤 filed Critical 니폰 덴신 덴와 가부시끼가이샤
Publication of KR20080100244A publication Critical patent/KR20080100244A/ko
Application granted granted Critical
Publication of KR100975048B1 publication Critical patent/KR100975048B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892—Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection

Abstract

N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 삽입정보를 전자 워터마크로서 삽입하는 전자 워터마크 삽입장치와 전자 워터마크를 검출하는 전자 워터마크 검출장치가 개시된다. 전자 워터마크 삽입장치는, 삽입정보에 기초하여 삽입계열을 생성하고, 삽입계열에 기초하여 N-1차원 패턴을 생성하고, N-1차원 패턴상의 값에 따라서 주기신호를 변조함으로써 N차원의 삽입패턴을 생성하고, 상기 삽입패턴을 입력신호에 중첩하여 출력한다. 전자 워터마크 검출장치에서는, 입력신호의 하나의 차원방향에 있어서의 소정의 주기신호 성분을 측정하여, N-1차원 패턴을 구하고, N-1차원 패턴의 값으로부터 검출계열을 구하고, 검출계열과 삽입계열의 상관값의 크기에 기초하여, 삽입되어 있는 전자 워터마크를 검출한다.
Figure R1020087021845
워터마크, 삽입계열, 검출계열, 상관값

Description

전자 워터마크 삽입방법 및 장치 및 프로그램 및 전자 워터마크 검출방법 및 장치 및 프로그램 {Digital watermark embedding method, apparatus, and program, and digital watermark detection method, apparatus, and program}
본 발명은, 전자 워터마크 삽입방법 및 장치 및 프로그램 및 전자 워터마크 검출방법 및 장치 및 프로그램에 관한 것으로, 특히, 영상신호를 비롯한 입력신호에 대해서, 별도의 부(副)정보를 지각되지 않도록 삽입하고, 또, 부정보가 삽입된 신호로부터 이 부정보를 독취하는 전자 워터마크 삽입방법 및 장치 및 프로그램 및 전자 워터마크 검출방법 및 장치 및 프로그램에 관한 것이다.
종래기술로서, 디지털 콘텐츠에 대해서 전자 워터마크(Digital Watermark)를 삽입(embedding)함으로써, 디지털 콘텐츠의 저작권 보호를 수행하는 기술이 있다. 또, 디지털 콘텐츠에 관한 저작권 정보 등의 메타데이터를 참조하는 기술이 있다. 또한, 디지털 콘텐츠를 광고로서의 인쇄물 등의 아날로그 매체를 통한 후에 디지털카메라로 촬영하고, 전자 워터마크를 독취함으로써 광고에 관련한 정보를 취득하는 기술도 있다.
정지화상에 전자 워터마크를 삽입하는 방법으로는, 의사난수(pseudo-random number)에 의해 생성된 삽입계열을 화상의 직교변환영역(예를 들면, 푸리 에(Fourier) 변환영역)의 실수부 및 허수부에 삽입해 두고, 삽입계열과 검출계열의 상관을 이용하여 검출을 수행하는 스펙트럼 확산형 전자 워터마크 방식이 개시되어 있다(예를 들면, 비 특허문헌 1 참조).
영상신호에 있어서도, 일반적으로 영상신호는 정지화상인 프레임 화상을 연속시킨 것으로서 기록되므로, 정지화상을 대상으로 한 전자 워터마크 방식을 응용함으로써, 전자 워터마크를 삽입하는 것이 가능하게 된다. 예를 들면, 상기한 특허문헌 1에 기재된 전자 워터마크 방법을 이용하여, 영상신호의 각 프레임 화상에 공통의 전자 워터마크를 삽입함으로써도 영상신호에 대한 전자 워터마크를 실현할 수 있다.
전자 워터마크가 삽입된 정지화상이 부정하게 이용되는 것과 같은 경우, 화상의 일부분을 잘라내어 이용되어 버리는 경우를 생각할 수 있다. 일부분이 잘라내진 화상의 경우, 원(原)화상을 이용하지 않는 전자 워터마크 검출에 있어서는, 잘라내진 부위가 원래 화상의 어느 부분이었는지는 알 수 없다. 이것은 삽입된 전자 워타마크의 패턴이, 임의의 양, 평행이동하고 있는 것처럼 보이는 것을 의미한다. 즉, 이것은 공간방향으로 전자 워터마크 패턴의 동기가 어긋나 있는 상태를 의미한다. 이것을 '전자 워터마크의 공간동기'라 부르며, 전자 워터마크를 검출할 때에는, 평행이동량을 명확하게 하는 등의 방법으로 공간동기를 맞출 필요가 있다(일반적으로 워터마크의 공간동기에는, 아핀변환(affine transformation) 등의 기하변형에 대한 보정도 포함하는 경우가 있으나, 본 발명에서는 평행이동에 대한 보정을 대상으로 한다).
영상신호는, 일반적으로 시간방향으로 연속하는 복수의 정지화상(프레임)의 집합으로서 다루어진다. 동화상용 전자 워터마크 방식에 있어서는, 이러한 프레임의 집합 중, 일부분의 연속하는 프레임의 집합으로부터도 전자 워터마크를 검출할 수 있을 것이 요망되고 있다. 예를 들면, 배포된 영상 콘텐츠의 한 장면만을 잘라내어 부정하게 이용되어 버리는 것과 같은 경우에도 부정 이용된 장면만으로부터 전자 워터마크를 검출할 수 있음으로써 부정 이용 억제의 효과를 기대할 수 있다. 또, 예를 들면, 영화관 등에서 영사되고 있는 영상 콘텐츠를 비디오카메라로 촬영되는 재촬영 영상으로부터 전자 워터마크를 검출하는 경우에는, 필연적으로 전자 워터마크 삽입 시 영상의 개시점과 촬영된 영상의 개시점은 어긋나 있으며, 이와 같은 경우에도 전자 워터마크를 검출할 수 있을 것이 요망된다. 또, 예를 들면, 영상 콘텐츠의, 바로 지금 표시되고 있는 장면으로부터, 휴대단말 등의 카메라를 이용하여 촬영한 영상으로부터 전자 워터마크를 검출하여 관련정보를 취득하는 것과 같은 애플리케이션도 생각할 수 있다. 이러한 예에서는, 전자 워터마크가 삽입된 영상의 어느 부분이 잘려나가 있는지는 미리 알 수 없기 때문에, 전자 워터마크의 검출에 있어서는 검출 대상의 부위가 전자 워터마크로서 삽입된 신호의 어느 위치에 해당하는지를 알 필요가 있다. 이것을 전자 워터마크의 시간동기라 부르기로 한다.
종래의 전자 워터마크 방식에 있어서의 공간동기, 시간동기 방법은, 크게 다음과 같이 분류할 수 있다.
(1) 망라적 탐색 : 생각할 수 있는 모든 동기변위량에 대해서 각각 전자 워 터마크의 검출을 순차 망라적으로 시험한다.
(2) 동기맞춤용 신호의 삽입 : 동기맞춤용 신호를 전자 워터마크와는 별도로 삽입하고, 그것을 검출함으로써 동기를 맞춘다.
예를 들면, 상기한 특허문헌 1에 기재된 전자 워터마크 방법에서는, 전자 워터마크의 공간적인 평행이동량을 검출하기 위한 신호를 삽입정보와 겹쳐서 삽입해 두고, 이 신호의 동기변위량의 망라적 탐색을, 이산 푸리에 변환을 이용하여 효율적으로 실시함으로써, 공간동기를 맞추고 있다.
특허문헌 1 : 특개 2003-219148호 공보
발명의 개시
발명이 해결하고자 하는 과제
그러나, 종래의 영상용 전자 워터마크 삽입방법에서는, 다음과 같은 과제가 있었다.
·고압축이나 재촬영에 대한 내성의 과제:
예를 들면, MPEG1/2/4, WMV(Windows(등록상표) Media Video), DiVX, H.264/AVC 등과 같은 고압축률의 동화상 비가역 부호화를 적용(고압축)하거나, 스크린이나 디스플레이와 같은 표시 디바이스에 출력된 영상을 다시 비디오카메라나, 휴대전화에 탑재된 카메라 등을 이용하여 촬영(재촬영)하거나 한 경우에는, 검출이 곤란해지는 경우가 있었다.
또, 고압축이나 재촬영에 의해서도 검출 가능하게 하기 위해서는 전자 워터마크를 강하게 삽입할 필요가 생겨, 결과적으로 영상 화질의 저하를 초래하였다.
반대로, 충분한 화질을 유지한 채 고압축이나 재촬영 등에 충분한 내성을 갖게 하기 위해서는, 영상에 삽입되는 정보 길이를 짧게 할 필요가 있었다.
·확산계열 길이의 과제:
문헌 '山本奏, 中村高雄, 高嶋洋一, 片山渟, 北原亮, 宮武隆 '프레임 중첩형 동화상 전자 워터마크의 검출성능 평가에 관한 일 고찰' 정보과학기술 포럼 FIT 2005, J-029, 2005'에는, 스펙트럼 확산과 상관(correlation)계산을 이용한 전자 워터마크 방식에 있어서, 스펙트럼 확산의 확산계열 길이를 길게 함으로써, 전자 워터마크 검출의 신뢰성이 높아지는 것이 기술되어 있다. 전술한 특허문헌 1의 전자 워터마크 방식에 있어서는, 삽입계열을 삽입하는 직교변환영역의 주파수 계수 위치의 수는, 역변환에 의해 실수값을 얻을 수 있기 위한 푸리에 계수의 대칭성 제약에 의해 제약을 받았다. 즉, 대칭 위치의 푸리에 계수는 공액복소수라는 제약에 의해, 삽입계열을 삽입하는 주파수 계수는 실질적으로 전체 주파수 계수의 절반으로 한정되어 있어, 스펙트럼 확산의 확산계열 길이를 길게 하기가 어려웠다.
·동기의 과제:
또, 전자 워터마크의 공간동기, 시간동기를 위한 종래수법에서는, 다음과 같은 문제점이 있었다.
우선, 망라적 탐색에 의한 방법에서는, 모든 동기변위량에 대한 탐색을 수행하는 것은 상당히 시간이 걸리는 처리가 되어 현실적이지 못했다.
또, 동기맞춤용 신호를 삽입하는 방법에서는, 동기맞춤 신호 분만큼 신호에 대한 개변(改變)량을 증가시켜, 전체적으로 신호의 품질을 떨어뜨리고 있었다. 예를 들면, 영상의 경우에 영상의 품질을 열화시키는 것으로 이어졌다. 또, 동기맞춤용 신호 자체가 삽입정보의 검출에 대한 노이즈 성분으로서 기여하여, 검출 기능이 열화할 가능성도 있었다. 또, 특징적인 동기맞춤용 신호는 예측하기 쉬워, 그 자신이 공격의 대상이 되어 전자 워터마크의 시큐리티를 열화시킬 가능성도 있었다.
특히, 영상의 시간동기에 대해서는 다음과 같은 과제가 있었다.
스크린이나 TV 등에 표시된 영상이 비디오카메라나 휴대전화 등의 카메라로 촬영된 경우, 재생 프레임 레이트와 촬영 프레임 레이트는 동기되어 있지 않기 때문에 서브프레임에서의 재샘플링이 발생하여, 한층 동기는 곤란해졌다. 또, 휴대전화 등의 저성능 프로세서를 이용하는 경우는, 촬영의 프레임 레이트가 안정되지 않고 샘플링의 타이밍이 미소하게 어긋나는 경우도 있어, 이것도 또 동기를 곤란하게 하는 한 원인이 되었다.
본 발명은, 상기한 점을 감안하여 이루어진 것으로, 고압축이나 재촬영에 대해서도 내성이 높고, 확산계열 길이를 길게 할 수 있으며, 시간동기·공간동기가 불필요하거나, 혹은, 시간동기·공간동기를 용이하게 취할 수 있는 전자 워터마크 삽입기술, 및 전자 워터마크 검출기술을 제공하는 것을 목적으로 한다.
과제를 해결하기 위한 수단
본 발명은, 삽입계열 생성수단, 배열 생성수단, 변조수단, 기억수단, 삽입패턴 중첩수단을 갖는 전자 워터마크 삽입장치에 있어서, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 삽입정보를 전자 워터마크로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입방법으로, 상기 삽입계열 생성수단이, 상기 삽입정보에 기초하여 삽입계열을 생성하고, 제1 기억수단에 저장하며, 상기 배열 생성수단이, 상기 제1 기억수단의 상기 삽입계열에 기초하여 N-1차원 패턴을 생성하고, 상기 변조수단이, 상기 N-1차원 패턴상의 값에 따라서 주기신호를 변조함으로써 N차원의 삽입패턴을 생성하고, 제2 기억수단에 저장하며, 상기 삽입패턴 중첩수단이, 상기 제2 기억수단에 저장되어 있는 상기 N차원의 삽입패턴을 취득하고, 상기 삽입패턴을 상기 입력신호에 중첩하는 것을 특징으로 하는 전자 워터마크 삽입방법으로 구성할 수 있다.
또, 본 발명은, 삽입계열 생성수단, 배열 생성수단, 변환수단, 기억수단, 삽입패턴 중첩수단, 역변환수단을 갖는 전자 워터마크 삽입장치에 있어서, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 삽입정보를 전자 워터마크로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입방법으로, 상기 삽입계열 생성수단이, 상기 삽입정보에 기초하여 삽입계열을 생성하고, 제1 기억수단에 저장하며, 상기 배열 생성수단이, 상기 제1 기억수단에 저장되어 있는 상기 삽입계열에 기초하여 N-1차원 패턴을 생성하고, 제2 기억수단에 저장하며, 상기 변환수단이, 상기 입력신호를 직교변환하여, 변환 완료 신호를 취득하고, 상기 삽입패턴 중첩수단이, 상기 제2 기억수단에 저장되어 있는 상기 N-1차원 패턴을 상기 변환 완료 신호의 일부의 N-1차 평면에 중첩하여, 역변환 전 신호를 취득하고, 상기 역변환수단이, 상기 역변환 전 신호를 직교 역변환하여, 삽입 완료 신호를 얻는 것을 특징으로 하는 전자 워터마크 삽입방법으로 구성할 수도 있다.
또한 본 발명은, 복조수단, 검출계열 추출수단, 상관값 계산수단, 기억수단을 갖는 전자 워터마크 검출장치에 있어서, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 미리 인간의 지각에 감지되지 않도록 삽입된 전자 워터마크를 검출하는 전자 워터마크 검출방법으로, 상기 복조수단이, 상기 입력신호의 하나의 차원방향에 있어서의 소정의 주기신호 성분을 측정하여, N-1차원 패턴을 구하고, 상기 검출계열 추출수단이, 상기 N-1차원 패턴의 값으로부터 검출계열을 구하여, 기억수단에 저장하고, 상기 상관값 계산수단이, 상기 기억수단에 저장된 상기 검출계열과 삽입계열의 상관값의 크기에 기초하여, 삽입되어 있는 전자 워터마크를 검출하는 것을 특징으로 하는 전자 워터마크 검출방법으로 구성할 수도 있다.
또, 본 발명은, 상기한 각 방법의 실시에 적합한 장치, 및 컴퓨터에 상기 각 방법의 처리 수순을 실행시키는 프로그램으로서 구성할 수도 있다.
발명의 효과
본 발명에 따르면, 고압축의 동화상 비가역 부호화나, 표시 디바이스에 출력된 영상이 재촬영된 영상 등과 같이, 전자 워터마크 삽입 후의 신호에 크게 개변이 가해져 있는 경우에도, 충분한 내성이 있고, 품질 열화를 억제하고, 정보길이가 긴 정보를 전자 워터마크로서 삽입하는 기술을 실현할 수 있다. 또, 동기맞춤이 불필요하거나, 혹은 용이하고 고속으로 동기맞춤이 가능한 전자 워터마크의 검출을 수행하는 기술을 실현할 수 있다. 즉, 본 발명에 따르면, 동기 처리에 의한 처리시간의 증대나 동기신호의 삽입에 의한 신호 열화를 방지하고, 고속으로 내성, 검출성능이 높고 품질 열화가 적은 전자 워터마크 삽입/검출이 가능하다.
도 1a는 본 발명의 실시형태에 있어서의 전자 워터마크 삽입방법의 개요를 나타내는 흐름도이다.
도 1b는 본 발명의 실시형태에 있어서의 전자 워터마크 검출방법의 개요를 나타내는 흐름도이다.
도 2는 본 발명의 실시형태에 있어서의 전자 워터마크 삽입장치와 전자 워터마크 검출장치의 개요구성을 나타내는 도이다.
도 3은 N=2일 때의 변조 후 삽입신호의 예이다.
도 4a는 주기신호의 구성 예 1이다.
도 4b는 주기신호의 구성 예 2이다.
도 4c는 주기신호의 구성 예 3이다.
도 5a는 주기신호의 자기상관함수의 예 1이다.
도 5b는 주기신호의 자기상관함수의 예 2이다.
도 5c는 주기신호의 자기상관함수의 예 3이다.
도 6a는 주기신호에 따른 함수 h0의 복소평면상의 궤적 1이다.
도 6b는 주기신호에 따른 함수 h0의 복소평면상의 궤적 2이다.
도 6c는 주기신호에 따른 함수 h0의 복소평면상의 궤적 3이다.
도 7a는 직교하는 2개의 주기신호 예 1이다.
도 7b는 직교하는 2개의 주기신호 예 2이다.
도 8a는 동기 어긋난 후의 신호 예 1이다.
도 8b는 동기 어긋난 후의 신호 예 2이다.
도 9는 동기 어긋남에 의한 Q(x) 궤적의 예이다.
도 10은 본 발명의 제1 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치의 구성 예이다.
도 11은 본 발명의 제1 실시형태에 있어서의 전자 워터마크 삽입장치의 동작 흐름도이다.
도 12는 본 발명의 제1 실시형태에 있어서의 복소 패턴 생성부의 구성 예이다.
도 13은 본 발명의 제1 실시형태에 있어서의 복소 패턴 생성부의 처리 흐름도이다.
도 14는 본 발명의 제1 실시형태에 있어서의 삽입계열 생성부의 상세한 동작의 흐름도이다.
도 15는 본 발명의 제1 실시형태에 있어서의 심볼의 구성 예이다.
도 16은 본 발명의 제1 실시형태에 있어서의 복소 배열 생성부의 동작 흐름도이다.
도 17은 본 발명의 제1 실시형태에 있어서의 복소 배열의 구성 예이다.
도 18은 본 발명의 제1 실시형태에 있어서의 시간변조부의 구성 예이다.
도 19는 본 발명의 제1 실시형태에 있어서의 시간변조부의 동작 흐름도이다.
도 20은 본 발명의 제1 실시형태에 있어서의 삽입패턴을 시간방향으로 반복 중첩하는 예이다.
도 21은 본 발명의 제1 실시형태에 있어서의 삽입패턴을 종횡으로 타일링(tiling)하여 중첩하는 예이다.
도 22는 본 발명의 제1 실시형태에 있어서의 삽입패턴을 확대하여 중첩하는 예이다.
도 23은 본 발명의 제1 실시형태에 있어서의 전자 워터마크 검출장치의 동작 흐름도이다.
도 24는 본 발명의 제1 실시형태에 있어서의 삽입 완료 신호의 특징량을 산출하여 추출하는 예이다.
도 25는 본 발명의 제1 실시형태에 있어서의 시간복조부의 구성 예이다.
도 26은 본 발명의 제1 실시형태에 있어서의 시간복조부의 동작 흐름도이다.
도 27은 본 발명의 제1 실시형태에 있어서의 시간복조부의 차분·미분을 이용한 구성 예이다.
도 28은 본 발명의 제1 실시형태에 있어서의 검출정보 추출부의 구성 예이다.
도 29는 본 발명의 제1 실시형태에 있어서의 검출정보 추출부의 동작 흐름도이다.
도 30은 본 발명의 제1 실시형태에 있어서의 검출계열 추출부의 상세한 동작의 흐름도이다.
도 31은 본 발명의 제2 실시형태에 있어서의 시간변조부의 구성 예이다.
도 32는 본 발명의 제2 실시형태에 있어서의 시간변조부의 동작 흐름도이다.
도 33은 본 발명의 제2 실시형태에 있어서의 시간복조부의 구성 예이다.
도 34는 본 발명의 제2 실시형태에 있어서의 시간복조부의 동작 흐름도이다.
도 35는 본 발명의 제2 실시형태에 있어서의 시간복조부의 차분·미분을 이용한 구성 예이다.
도 36은 본 발명의 제3 실시형태에 있어서의 복소 패턴 생성부의 구성 예이다.
도 37은 본 발명의 제3 실시형태에 있어서의 복소 패턴 생성부의 동작 흐름도이다.
도 38a는 본 발명의 제3 실시형태에 있어서의 복소 배열 생성부에 있어서의 복소 배열 요소범위의 예 1이다.
도 38b는 상기 복소 배열의 요소범위의 예 2이다.
도 38c는 상기 복소 배열의 요소범위의 예 3이다.
도 38d는 상기 복소 배열의 요소범위의 예 4이다.
도 38e는 상기 복소 배열의 요소범위의 예 5이다.
도 38f는 상기 복소 배열의 요소범위의 예 6이다.
도 39a는 상기 복소 배열의 요소범위의 예 7이다.
도 39b는 상기 복소 배열의 요소범위의 예 8이다.
도 39c는 상기 복소 배열의 요소범위의 예 9이다.
도 39d는 상기 복소 배열의 요소범위의 예 10이다.
도 39e는 상기 복소 배열의 요소범위의 예 11이다.
도 39f는 상기 복소 배열의 요소범위의 예 12이다.
도 40은 본 발명의 제3 실시형태에 있어서의 검출정보 추출부의 구성 예이다.
도 41은 본 발명의 제3 실시형태에 있어서의 검출정보 추출부의 동작 흐름도이다.
도 42는 본 발명의 제4 실시형태에 있어서의 검출정보 추출부의 구성 예이다.
도 43은 본 발명의 제4 실시형태에 있어서의 검출정보 추출부의 동작 흐름도이다.
도 44는 본 발명의 제4 실시형태에 있어서의 비트값 검출방법의 일 예를 설명하기 위한 도이다.
도 45는 본 발명의 제5 실시형태에 있어서의 전자 워터마크 검출장치의 구성 예이다.
도 46은 본 발명의 제5 실시형태에 있어서의 전자 워터마크 검출장치의 동작 흐름도이다.
도 47은 본 발명의 제5 실시형태에 있어서의 동기 검출부의 구성 예이다.
도 48은 본 발명의 제5 실시형태에 있어서의 동기 검출부의 동작 흐름도이다.
도 49는 본 발명의 제5 실시형태에 있어서의 검출정보 추출부의 구성 예이다.
도 50은 본 발명의 제5 실시형태에 있어서의 검출정보 추출부의 다른 구성 예이다.
도 51은 본 발명의 제6 실시형태에 있어서의 시간변조부의 구성 예이다.
도 52는 본 발명의 제7 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치의 구성 예이다.
도 53은 본 발명의 제7 실시형태에 있어서의 전자 워터마크 삽입장치의 동작 흐름도이다.
도 54는 본 발명의 제7 실시형태에 있어서의 복소 패턴 생성부의 구성 예이다.
도 55는 본 발명의 제7 실시형태에 있어서의 복소 패턴 생성부의 동작 흐름도이다.
도 56은 본 발명의 제7 실시형태에 있어서의 전자 워터마크 검출장치의 동작 흐름도이다.
도 57은 본 발명의 제7 실시형태에 있어서의 검출정보 추출부의 구성 예이다.
도 58은 본 발명의 제7 실시형태에 있어서의 동기변위량의 결합 예이다.
도 59는 본 발명의 제8 실시형태에 있어서의 전자 워터마크 삽입장치의 동작 흐름도이다.
도 60은 본 발명의 제8 실시형태에 있어서의 복소 패턴 생성부의 구성 예이다.
도 61은 본 발명의 제8 실시형태에 있어서의 복소 패턴 생성부의 동작 흐름도이다.
도 62는 본 발명의 제8 실시형태에 있어서의 복수의 정보를 시분할로 연속하여 삽입하는 예이다.
도 63은 본 발명의 제8 실시형태에 있어서의 전자 워터마크 검출장치의 구성 예이다.
도 64는 본 발명의 제8 실시형태에 있어서의 전자 워터마크 검출장치의 동작 흐름도이다.
도 65는 본 발명의 제8 실시형태에 있어서의 동기가 어긋난 위치로부터의 동기 패턴의 검출 예이다.
도 66은 본 발명의 제8 실시형태에 있어서의 검출정보 추출부의 구성 예이다.
도 67은 본 발명의 제8 실시형태에 있어서의 검출정보 추출부의 동작 흐름도이다.
도 68은 본 발명의 제9 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치의 구성 예이다.
도 69는 본 발명의 제9 실시형태에 있어서의 전자 워터마크 삽입장치의 동작 흐름도이다.
부호의 설명
102 제1 기억수단
103 제2 기억수단
100 전자 워터마크 삽입장치
110 복소 패턴 생성부
111 삽입계열 생성수단, 삽입계열 생성부
112 배열 생성수단, 복소 배열 생성부
113 N-1차원 역 푸리에 변환부
114 삽입정보 분할부
115 동기계열 생성부
116 복소 배열 생성부
117 삽입계열 생성부
120 배열 생성부
130 변조수단, 시간변조부
131 주기신호 생성부
132 변조부
133 가산부
134 1차원 역 푸리에 변환부
136 변조부
140 삽입패턴 중첩수단, 삽입패턴 중첩부
150 제1 기억부
160 제2 기억부
200 전자 워터마크 검출장치
202 기억수단
210 복조수단, 시간복조부
211 주기신호 생성부
212 복조부
213 복소 패턴 구성부
214 1차원 푸리에 변환부
215 신호 미분부
216 1차원 푸리에 변환부
220 검출정보 추출부
221 검출계열 추출수단, 검출계열 추출부
222 상관값 계산수단, 상관값 계산부
223 최대값 판정부
224 검출정보 재구성부
225 N-1차원 푸리에 변환부
226 복소 상관값 계산부
227 절대값 산출부
250 패턴 기억부
300 전자 워터마크 검출장치
310 시간복조부
320 동기검출부
321 복소 검출계열 추출부
322 복소 상관값 계산부
323 절대값 산출부
324 동기검출 최대값 판정부
325 위상 산출부
330 검출정보 추출부
331 검출계열 추출부
332 상관값 계산부
333 최대값 판정부
334 검출정보 재구성부
340 패턴 기억부
500 전자 워터마크 삽입장치
510 복소 패턴 생성부
511 삽입계열 생성부
512 복소 배열 생성부
520 시간변조부
530 삽입패턴 중첩부
600 전자 워터마크 검출장치
610 시간복조부
620 동기검출부
630 검출정보 추출부
631 검출계열 추출부
632 상관값 계산부
633 최대값 판정부
634 검출정보 재구성부
700 전자 워터마크 검출장치
710 삽입 완료 신호 분할부
720 동기시간 복조부
730 동기검출부
740 동기 완료 신호 분할부
750 시간복조부
760 검출정보 추출부
761 검출계열 추출부
762 상관값 계산부
763 최대값 판정부
764 검출정보 재구성부
765 검출정보 연결부
800 전자 워터마크 삽입장치
810 복소 패턴 생성부
820 삽입패턴 중첩부
830 삽입 전 신호 변환부
840 삽입 완료 신호 역 변환부
850 제1 기억부
904 중간 복소 패턴
911 삽입정보
912 삽입 전 신호
913 삽입계열
914 검출정보
917 동기계열
921 삽입 복소 패턴
922 삽입패턴
923 삽입 완료 신호
961 검출 복소 패턴
1113 검출계열
1114 상관값
1115 검출 복소 배열
1116 복소 상관값
1117 절대값
1118 검출 복소수 계열
1501 검출 복소 패턴
1502 동기변위량
1511 검출 복소 계열
1512 복소 상관값
1513 절대값
1521 검출계열
1522 상관값
3111 삽입정보
3112 삽입 전 신호
3113 삽입 완료 신호
3114 검출정보
3121 삽입 복소 패턴
3122 삽입패턴
3161 검출 복소 패턴
3162 동기변위량
3213 삽입계열
3313 검출계열
3314 상관값
3613 검출계열
3614 상관값
3615 부분 검출정보
3812 검출정보
3813 동기 복소 패턴
3814 동기변위량
3815 검출 복소 패턴
3816 부분 삽입 완료 신호
3817 동기 완료 부분 신호
4021 삽입 복소 패턴
4022 변환 완료 삽입 전 신호
4023 역 변환 전 삽입 완료 신호
발명을 실시하기 위한 최량의 형태
우선, 본 발명의 실시형태의 개요를 설명한다. 도 1a는, 본 발명의 실시형태에 있어서의 전자 워터마크 삽입방법의 개요를 나타내는 흐름도이다.
상기 전자 워터마크 삽입방법은, 삽입계열(embedding sequence) 생성수단, 배열(array) 생성수단, 변조수단, 기억수단, 삽입패턴 중첩수단을 갖는 전자 워터마크 삽입장치에 있어서, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 삽입정보를 전자 워터마크로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입방법이다. 이 방법은, 삽입계열 생성수단이, 삽입정보에 기초하여 삽입계열을 생성하고, 제1 기억수단에 저장하는 삽입계열 생성단계(S1)와, 배열 생성 수단이, 제1 기억수단의 삽입계열에 기초하여 N-1차원 패턴을 생성하는 배열 생성단계(S2)와, 변조수단이, N-1차원 패턴상의 값에 따라서 주기신호를 변조함으로써 N차원의 삽입패턴을 생성하고, 제2 기억수단에 저장하는 변조단계(S3)와, 삽입패턴 중첩수단이, 제2 기억수단에 저장되어 있는 N차원의 삽입패턴을 취득하고, 해당 삽입패턴을 입력신호에 중첩하는 삽입패턴 중첩단계(S4)를 갖고 있다.
도 1b는, 본 발명의 실시형태에 있어서의 전자 워터마크 검출방법의 개요를 나타내는 흐름도이다. 이 전자 워터마크 검출방법은, 복조수단, 검출계열(detection sequence) 추출수단, 상관값(correlation value) 계산수단, 기억수단을 갖는 전자 워터마크 검출장치에 있어서, N 이상의 차원을 갖는 입력신호에 대해서 미리 인간의 지각에 감지되지 않도록 삽입된 전자 워터마크를 검출하는 전자 워터마크 검출방법이다.
이 방법은, 복조수단이, 입력신호의 하나의 차원방향에 있어서의 소정의 주기신호 성분을 측정하여, N-1차원 패턴을 구하는 복조단계(S11)와, 검출계열 추출수단이, N-1차원 패턴의 값으로부터 검출계열을 구하고, 기억수단에 저장하는 검출계열 추출단계(S12)와, 상관값 계산수단이, 기억수단에 저장된 검출계열과 삽입계열의 상관값의 크기에 기초하여, 삽입되어 있는 전자 워터마크를 검출하는 상관값 계산단계(S13)를 갖는다.
도 2는, 본 발명의 실시형태에 있어서의 전자 워터마크 삽입장치와 전자 워터마크 검출장치의 개요 구성을 나타내는 도이다.
본 실시 형태에 있어서의 전자 워터마크 삽입장치는, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 삽입정보를 전자 워터마크로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입장치(100)이며, 삽입정보에 기초하여 삽입계열을 생성하고, 제1 기억수단(102)에 저장하는 삽입계열 생성수단(111)과, 제1 기억수단(102)의 삽입계열에 기초하여 N-1차원 패턴을 생성하는 배열 생성수단(112)과, N-1차원 패턴상의 값의 따라서 주기신호를 변조함으로써 N차원의 삽입패턴을 생성하고, 제2 기억수단(103)에 저장하는 변조수단(130)과, 제2 기억수단(103)에 저장되어 있는 N차원의 삽입패턴을 취득하고, 해당 삽입패턴을 입력신호에 중첩하는 삽입패턴 중첩수단(140)을 갖는다.
또, 본 실시형태의 전자 워터마크 검출장치는, N 이상의 차원을 갖는 입력신호에 대해서 미리 인간의 지각에 감지되지 않도록 삽입된 전자 워터마크를 검출하는 전자 워터마크 검출장치(200)이며, 입력신호의 하나의 차원방향에 있어서의 소정의 주기신호 성분을 측정하여, N-1차원 패턴을 구하는 복조수단(210)과, N-1차원 패턴의 값으로부터 검출계열을 구하고, 기억수단(202)에 저장하는 검출계열 추출수단(221)과, 기억수단(202)에 저장된 검출계열과 삽입계열의 상관값의 크기에 기초하여, 삽입되어 있는 전자 워터마크를 검출하는 상관값 계산수단(222)을 갖는다.
이하, 도면과 함께 본 발명의 실시형태를 상세히 설명한다.
이하에서는, 우선, 본 발명의 원리가 되는 기본개념과 그 예를 나타낸 후, 구체적인 전자 워터마크 삽입장치, 전자 워터마크 검출장치와 그 방법의 실시형태에 대해서 설명한다.
[기본개념]
우선, 본 실시형태의 원리가 되는 기본개념을 이하에 나타낸다.
(1) 복소상관에 의한 전자 워터마크 모델:
복소수열을 이용한 상관 이용형 전자 워터마크에 대해서 이하에 나타낸다.
또한, 이하의 본 명세서 중에서 복소수로 하고 있는 부분은, 동일한 개념으로서 2차원 벡터로 치환할 수 있음은 물론이다.
삽입) 삽입 대상의 신호열 i 및 전자 워터마크 계열 w를 다음과 같이 정한다.
Figure 112008063377312-pct00001
단, C는 복소수 전체의 집합이며, w는 평균 0의 의사난수열이라 한다.
i에 w를 삽입하여, 삽입 완료 신호열 i'를 얻는다.
Figure 112008063377312-pct00002
검출) i'가 동기 어긋남에 의해 △θ만큼 위상이 어긋난 i”를 생각한다.
[수 1]
Figure 112008063377312-pct00003
여기서, j는 허수단위이다.
i”와 w의 상관값을 다음 식과 같이 계산하고, 전자 워터마크의 검출을 수행한다.
Figure 112008063377312-pct00004
여기서, 「w*」은 w 각 요소의 공액복소수를 취하는 수열이며, 「·」는 수열을 벡터로 봤을 때의 내적연산이다. 또한, 이와 같은 복소수열끼리의 상관계산을 복소상관이라 부르기로 한다.
[수 2]
Figure 112008063377312-pct00005
여기서, w*k는 wk의 공액복소수를 나타낸다.
i와 w가 독립이고 L이 충분히 크다면, ∑ikw*k의 기대값은 0이며,
[수 3]
Figure 112008063377312-pct00006
따라서,
·ρ의 절대값이 최대가 되는 삽입값을 구함으로써 위상 어긋남량 Δθ에 관 계없이 검출이 가능하게 된다. 즉, 동기맞춤 없이 검출이 가능하게 된다.
·ρ의 편각을 구함으로써 위상 어긋남량 Δθ가 산출 가능하게 된다.
여기서 wk로서는 다음과 같은 두 가지 선택방법을 생각할 수 있다.
1) 예를 들면 {+1, -1} 중 어느 하나의 값을 취하는 것과 같이 실수만으로부터 선택되는 경우;
2) 예를 들면
[수 4]
Figure 112008063377312-pct00007
중 어느 하나의 값을 취하는 것과 같이 복소수 공간에 퍼져 분포하도록 선택되는 경우;
상기 1)의 경우, 삽입 완료 신호열 i'상에서 워터마크의 패턴 성분 w의 위상이 일치해 있으며, 2)의 경우는, 위상이 확산 되어 있게 된다. 어느 경우에서든,
Figure 112008063377312-pct00008
의 기대값은 0이 되어, 전자 워터마크의 검출이 가능하게 되나, |wk|의 분산을 동등하게 하여 전자 워터마크 성분의 에너지를 일치시킨 조건 하에서 1), 2)를 비교한 경우, 2) 쪽이
Figure 112008063377312-pct00009
의 분산이 작게 된다. 이것은 ρ의 값에 삽입 대상의 신호열 i'가 주는 노이즈 성분의 영향이 작아지는 것을 의미하며, 보다 신뢰성이 높은 검출이 가능하게 된다.
(2) 시간방향 단일주파수 삽입에 의한 시간동기 불필요 전자 워터마크:
동기 어긋남에 의해 Δθ만큼 위상이 어긋나는 전자 워터마크 삽입의 예로서, 시간방향 단일주파수에의 삽입을 수행하는 예를 나타낸다.
구체적으로는, 예를 들면, 영상의 공간방향에서 구성된 복소수 패턴을 시간방향의 단일주파수로 변조하여 삽입하는 예를 나타낸다.
삽입) N차원의 신호열에 N-1차원의 복소수 패턴 P(x)을 삽입한다. 단, x는 N-1차원 공간에서의 위치를 나타내는 벡터로,
Figure 112008063377312-pct00010
라 한다.
N번째의 차원을 시간축으로 생각하고, 시간축 방향의 주기복소함수 f(t)를 마련한다. 예를 들면,
[수 5]
Figure 112008063377312-pct00011
여기서 j는 허수단위, ω는 f(t)의 주기를 나타내는 각속도이다.
P(x)의 실수부, 허수부를 각각 f(t)의 실수부, 허수부로 AM 변조하고 합성한, N차원 실수 신호 W(x,t)를 얻는다.
[수 6]
Figure 112008063377312-pct00012
단, f*(t)는 f(t)의 공액복소수를 취하는 복소함수이다.
N=2일 때의, W(x,t)의 예를 도 3에 나타낸다. 여기서, 굵은 선이 w(x,t)의 값을 나타내며, 위치 x마다 위상이 어긋난 t축 방향의 주기신호로 표현되어 있다.
이와 같은 변조에 의해, P(x)의 복소수값의 편각과 절대값으로, f(t)의 위상과 진폭을 변조하고 있는 것이 된다.
W(x,t)를 삽입 대상의 신호 I(x,t)에 삽입하여, 삽입 완료 신호 I'(x,t)를 얻는다.
Figure 112008063377312-pct00013
검출) I'(x,t)가 동기 어긋남에 의해, Δt만큼 어긋난 신호 I”(x,t)를 생각한다.
[수 7]
Figure 112008063377312-pct00014
예를 들면, 영상신호 등을 생각한 경우, 비디오카메라에 의한 재촬영이나 아날로그 변환 등이 수행되었을 때에도, 통상은 공간상의 위치가 달라져있어도, 시간방향의 동기변위량은 일정하게 된다. (전자 워터마크에 대한 공격으로서 공간위치마다 다른 시간방향 동기 어긋남이 주어진 경우, 화질은 현저하게 열화하여, 영상 콘텐츠로서의 가치가 손상되기 때문에 공격으로서는 성립되지 않는다) 이 때문에, 상기와 같이 시간방향(t방향)의 동기변위량 Δt는, 위치 x에 상관없이 일정하다고 생각할 수 있다.
또, 예를 들면, 화상신호를 생각한 경우, 화상의 평행이동만이 가해져 있는 경우에는, 예를 들어 화상신호가 가로방향의 위치 x가 달라져있어도, 세로방향으로 가해진 평행이동의 크기는 일정하다. 이 경우에도, 상기와 같이 세로방향(t방향)의 동기변위량 Δt는, 가로방향의 위치 x에 상관없이 일정하다고 생각할 수 있다.
현재, 구간 0≤t≤T(T는 f(t)의 주기의 정수배)에서 주어진 I”(x,t)에 대해서, f(t)로 복조하기 위해서 다음과 같은 적분을 계산한다.
[수 8]
Figure 112008063377312-pct00015
여기서,
Figure 112008063377312-pct00016
이다.
단, 하기의 관계를 이용하였다.
[수 9]
Figure 112008063377312-pct00017
이므로,
[수 10]
Figure 112008063377312-pct00018
또한, 여기의 예에서는, 신호 I”(x,t)가 연속신호로서 얻어진 경우를 예로 설명하였으나, 신호 I”(x,t)가 이산신호로서 얻어진 경우도, 적분 대신에 적화(積和)연산(product-sum operation)에 의해 동일한 처리가 가능하다.
즉,
[수 11]
Figure 112008063377312-pct00019
이므로,
Figure 112008063377312-pct00020
단,
Figure 112008063377312-pct00021
이다.
워터마크 계열
Figure 112008063377312-pct00022
과 P(x)와의 선형변환 Trans 및 역변환 Trans-1이 정의되어 있을 때, 전자 워터마크 삽입 시,
Figure 112008063377312-pct00023
로 P(x)를 생성하고, 전자 워터마크 검출 시,
Figure 112008063377312-pct00024
로 하면,
[수 12]
Figure 112008063377312-pct00025
가 얻어진다. 단,
Figure 112008063377312-pct00026
.
선형변환 Trans의 예로서는, 예를 들면, 단순히 w의 각 값을 N-1차원 공간상에 순서대로 나열만 하는 변환이어도 좋으며, w의 각 값을 N-1차원 공간상에 순서대로 나열한 후에 역 푸리에 변환 등의 직교변환을 수행하는 변환이어도 좋다.
앞 절의 논의를 적용하여, 복소상관을 취함으로써,
[수 13]
Figure 112008063377312-pct00027
으로부터 전자 워터마크의 검출, 동기변위량 Δt의 산출이 가능하다.
(3) 차분(미분)상관에 의한 검출:
상기한 검출방식에 있어서, Q(x)를 구하는 계산 대신에, I”(x,t)의 차분 혹은, 미분으로부터 f(t)를 이용하여 복조하도록 해도 좋다.
즉, 예를 들면 신호가 이산적인 경우,
Figure 112008063377312-pct00028
로 하고,
[수 14]
Figure 112008063377312-pct00029
단,
Figure 112008063377312-pct00030
이다.
여기서,
[수 15]
Figure 112008063377312-pct00031
는 이미 알고 있으므로, 동일한 검출이 가능하다.
또, 예를 들면, 신호가 연속적인 경우에는,
[수 16]
미분
Figure 112008063377312-pct00032
을 이용한 동일한 계산에 의해, 동일한 검출이 가능하다.
예를 들면, 영상신호 등을 생각한 경우, 신호의 프레임간의 상관이 크다는 것이 알려져 있다. 2개의 프레임의 시간간격이 짧을수록 프레임간의 상관은 높기 때문에, 상기와 같이 프레임간 차분을 계산하면, 주기신호에 의한 상쇄분 이상으로 원화성분이 크게 캔슬되고, 상기한
Figure 112008063377312-pct00033
항의 절대값이 상당히 작아져, 전자 워터마크의 에너지가 상대적으로 증대하여 검출하기 쉬워진다는 이점이 있다.
(4) 임의의 주기신호를 이용한 경우의 시간동기 불필요 전자 워터마크:
다음으로, 주기신호로서 임의의 함수 f(t)를 이용하고, 이것의 위상을 변화시켜서 전자 워터마크를 삽입하는 경우를 생각한다. 여기에서는 f(t)는 실함수를 생각한다.
삽입) P(x)의 절대값, 편각으로 f(t)의 진폭, 위상을 변조한 N차원 실수 신호 W(x,t)를 얻는다.
예를 들면,
Figure 112008063377312-pct00034
여기서,
[수 17]
Figure 112008063377312-pct00035
T는 f(t)의 주기라 한다.
W(x,t)를 삽입 대상의 신호 I(x,t)에 삽입하고, 삽입 완료 신호 I'(x,t)를 얻는다.
Figure 112008063377312-pct00036
검출) I'(x,t)가 동기 어긋남에 의해, Δt만큼 어긋난 신호 I”(x,t)를 생각한다.
Figure 112008063377312-pct00037
현재, 구간 0≤t≤T에서 주어진 I”(x,t)에 대해서, f(t) 및 f(t)의 위상을 π/4 변위시킨 f(t-π/4)로 복조하기 위한 다음과 같은 적분을 계산한다.
[수 18]
Figure 112008063377312-pct00038
여기서,
Figure 112008063377312-pct00039
라 한다.
이 적분계산은 f()의 자기상관을 구하는 것과 동일한 계산으로 되어 있으며, f(t)의 자기상관함수를 g(t)라 하면,
[수 19]
Figure 112008063377312-pct00040
로 나타낼 수 있다.
현재,
[수 20]
Figure 112008063377312-pct00041
라 하면,
[수 21]
Figure 112008063377312-pct00042
가 되나, 이것으로부터 전술한 정현파를 이용한 예와 동일한 전자 워터마크 검출을 할 수 있기 위해서는, h(x, Δt)의 편각 Arg[h(x,Δt)]이, 삽입된 신호의 위상
[수 22]
Figure 112008063377312-pct00043
에 가까운 값을 취하고 있으면 된다. 즉,
[수 23]
Figure 112008063377312-pct00044
에서 Δφ가 충분히 작은 값을 취하도록 하는 함수 h이면 된다.
이때, 복소상관에 있어서의 곱 연산은 다음과 같이 표현되고,
[수 24]
Figure 112008063377312-pct00045
복소 상관값으로서 이것의 총합을 구하게 되고, 복소 상관값의 편각으로부터 동기변위량 Δt와 Δφ에 따른 오차의 범위에서 구할 수 있다.
단,
[수 25]
Figure 112008063377312-pct00046
라는 것을 이용하였다. 또, 이해를 용이하게 하기 위해서 선형변환 Trans를 생략하고 직접 P(x)로 상관연산을 수행하는 예를 나타내었다.
이상의 논의는, 주기신호가 정현파의 경우에는 Δφ=0이 되는 한편, 정현파 이외의 주기신호의 경우, Δφ≠0이 되어, 동기변위량 Δt의 측정에 오차가 생기는 것을 나타내고 있다.
(5) 주기신호의 예:
주기신호는, 다음의 특징을 갖는 주기함수를 이용하면 좋다.
1) 1주기분 적분한 결과가 0이 된다.
2) 자기상관함수가 예민한 피크를 가지지 않는다.
상기 1)의 조건은 예를 들면,
[수 26]
Figure 112008063377312-pct00047
로 해도 좋다. 여기서 T는 주기함수의 주기이다.
또, 상기 2)의 조건은 예를 들면, '자기상관함수의 정점 부근의 2계 미분값이 정점의 부호와 일치하지 않는다', 라는 조건을 이용해도 좋다.
주기신호의 예를 도 4a∼c에 나타낸다. 도 4a∼c의 주기신호는, (도 4a) (a) 정현파, (도 4b) (b)삼각파, (도 4c) (c)구형파(rectangular wave)이며, 각 신호를 0≤t＜T(T는 신호의 주기)의 범위에서 식으로 나타내면 하기와 같이 된다. 한편, 이들 예에 한정하는 것은 아니며, 상기한 특징을 갖는 임의의 주기신호를 이용해도 좋음은 물론이다.
[수 27]
Figure 112008063377312-pct00048
1)의 조건은, 검출시의 적분 결과 I”(x,t)의 t방향의 직류성분을 캔슬할 수 있음을 나타낸다.
2)의 조건의 의미에 대해서 하기에 설명한다.
도 5a∼c에 도 4a∼c의 각 주기신호의 자기상관함수를 나타낸다. 또한, 도 6a∼c에, 각각의 주기신호의 경우에 복소평면상에서 복소함수 h()가 움직이는 궤적을 나타낸다.
(도 5a, 도 6a) 정현파의 예에서는, 자기상관함수가 매끄럽게 변화하고 있으며, h()의 궤적은 원이 된다. 이것은, Δφ＝0이 되어, 동기변위량 Δt를 높은 정밀도로 구할 수 있음을 의미한다.
(도 5b, 도 6b) 삼각파의 예에서는, 역시 자기상관함수가 매끄럽게 변화하고 있으며, 정점 부근의 2계 미분값이 정점의 부호와는 다르고(부호가 양인 정점 부근의 2계 미분값은 음이며 부호는 일치하지 않는다), 예민한 피크는 가지지 않는 자기상관함수로 되어 있다. 결과, h()의 궤적은 거의 원과 동일해지고, Δφ는 충분히 작은 값이 되어, 역시 동기변위량 Δt를 높은 정밀도로 구할 수 있음을 의미한다.
(도 5c, 도 6c) 구형파의 예에서는, 자기상관함수는 매끄럽다고는 할 수 없으나, 정점 부근의 2계 미분값이 정점의 부호와는 다르고(부호가 양인 정점 부근의 2계 미분값이 0이고 부호는 일치하지 않는다), 역시 예민한 피크는 가지지 않는 자기상관함수로 되어 있다. 결과, h()의 궤적은 원은 아니지만 마름모가 되고, Δφ는 비교적 작은 값이 되어, 동기변위량 Δt를 어느 정도의 정밀도로 구할 수 있음을 의미한다.
일반적으로, 정현파의 값을 계산하는 것보다 구형파나 삼각파의 값을 계산하는 것이 고속으로 처리가 가능하기 때문에, 정현파 대신에 삼각파나 구형파 등의 상기한 조건을 만족하는 다른 주기함수를 이용함으로써, 동기변위량의 약간의 오차를 희생으로 전체적으로 고속의 전자 워터마크 검출이 가능하게 된다. 예를 들면, 휴대전화 등의 휴대단말에서의 전자 워터마크 검출과 같이, 상당히 한정된 계산자원에서 전자 워터마크 검출을 수행하는 경우나, 대량의 전자 워터마크 검출을 수행하는 경우에 고속처리가 요구되는 경우에 특히 유효하다.
(6) 직교하는 2개의 주기함수를 이용한 경우의 시간동기 불필요 전자 워터마 크:
다음으로, 주기신호로서의 동일한 기본주파수를 갖고 직교하는 2개의 주기함수 f1(t), f2(t)를 이용한 경우를 생각한다.
이 경우, 상기한 시간방향 단일주파수 삽입에 의한 시간동기 불필요 전자 워터마크의 설명에 있어서의 주기복소함수 f(t)를 f(t)＝f1(t)＋jf2(t)로 하는 것과 동일하다.
예를 들면, f1(t)으로서 주기 4의 구형파, f2(t)로서 주기 4의 삼각파를 생각하고, 각각, 도 7a,b와 같은 신호로서 정의되는 것을 생각한다.
이때, f1(t), f2(t)는 둘 다 기본주파수 1/4를 가지며, 1주기분의 적분
[수 28]
Figure 112008063377312-pct00049
이 되고, 직교하고 있다. 단, T는 신호주기이며, 이 예에서는 T＝4이다.
이 경우, 예를 들면, 어느 x＝x0에 대해서 P(x0)＝1＋0j이었을 때, 대응하는 W(x0,t)는 도 7a의 f1(t)와 동일하게 된다.
동기 어긋남이 없는 경우, 원화성분을 제외하고 기술하면 도 8a의 신호 G1(t)가 검출시에 얻어진다. 이것과 f1(t), f2(t)와의 상관계산 결과,
[수 29]
Figure 112008063377312-pct00050
이 되고, Q(x0)＝4＋0j가 된다.
동기 어긋남에 의해 위상이 90도 어긋난 경우, 원화성분을 제외하고 기술하면 도 8b와 같은 신호 G2(t)가 검출시에 얻어진다. 이것과 f1(t), f2(t)와의 상관계산 결과
[수 30]
Figure 112008063377312-pct00051
이 되고,
[수 31]
Figure 112008063377312-pct00052
이 된다.
마찬가지로 생각하면, 동기 어긋남의 크기에 따라 Q(x0)은 도 9의 복소평면상을 궤적 1을 따라 변화하게 된다.
또, 예를 들면 어느 x＝x1에 대해서 P(x1)＝0＋1j이었을 때, 대응하는 W(x1,t)는 도 7b의 f2(t)와 동일하게 되고, 동일한 고찰에 의해, 동기 어긋남의 크기에 따라 Q(x1)은 도 9의 복소평면상을 궤적 2를 따라 변환하게 된다.
Q(x)의 편각은 전술한 복소상관값의 계산과 동일한 계산에 의해, 복소상관값의 편각으로부터 동기변위량 Δt를, 계산으로 정해지는 오차 범위에서 구할 수 있다.
이와 같이, 주기신호로서 동일한 기본주파수를 갖고 직교하는 2개의 주기함수 f1(t)f2(t)를 이용한 경우에도, 약간의 오차를 희생으로 하여 전체적으로 동기변위량을 구하는 것이 가능하게 된다.
[제1 실시형태]
도 10은, 본 발명의 제1 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치의 구성을 나타낸다.
<전자 워터마크 삽입장치>
우선, 전자 워터마크 삽입장치에 대해서 설명한다.
전자 워터마크 삽입장치(100)는, 복소 패턴 생성부(110), 시간변조부(130), 삽입패턴 중첩부(140), 제1 기억부(150), 제2 기억부(160)로 구성되고, 삽입정보(911), 삽입 전 신호(912)를 입력하고, 삽입 완료 신호(923)를 출력한다.
이하에, 전자 워터마크 삽입장치(100)의 동작을 설명한다.
도 11은, 본 발명의 제1 실시형태에 있어서의 전자 워터마크 삽입장치의 동작 흐름도이다. 전자 워터마크 삽입장치(100)에 의한 전자 워터마크의 삽입 처리는 이하의 수순으로 실시된다.
단계 100) 복소 패턴 생성부(110)에서, 입력된 삽입정보(911)에 기초하여 삽입 복소 패턴(921)을 생성하고, 메모리 등의 제1 기억부(150)에 저장한다.
삽입 복소 패턴(921)은, 복소수로 구성되는 N-1차원 패턴이며, 삽입정보의 내용을 나타내고 있다. 복소 패턴 생성부(110)의 동작 상세에 대해서는 도 12에서 후술한다.
또한, 후술하는 복소수에의 그 밖의 삽입방법에 나타내는 바와 같이, 시간변조부(130)의 처리에 따라서는, N-1차원 패턴을 실수값의 패턴으로서 구성하는 것도 가능하다.
단계 110) 시간변조부(130)에서, 복소 패턴 생성부(110)에서 생성되고, 제1 기억부(150)에 저장된 삽입 복소 패턴(921)에 기초하여 삽입패턴(922)을 생성하고, 메모리 등의 제2 기억부(160)에 저장한다. 삽입패턴(922)은, 삽입 복소 패턴(921)에 대해서 시간축 방향의 변조를 수행하여, 실수값으로 구성되는 N차원 패턴으로서 생성한 것이다.
시간변조부(130)의 동작 상세에 대해서는 후술한다.
단계 120) 삽입패턴 중첩부(140)에서, 시간변조부(130)에서 생성되고, 제2 기억부(160)에 저장되어 있는 삽입패턴(922)을, 입력된 삽입 전 신호(912)에 중첩하고, 삽입 완료 신호(923)를 출력한다
삽입패턴 중첩부(140)의 동작 상세에 대해서는 후술한다
<전자 워터마크 삽입장치 - 복소 패턴 생성부>
도 12는, 본 발명의 제1 실시형태에 있어서의 복소 패턴 생성부의 구성 예를 나타낸다.
복소 패턴 생성부(110a)는, 삽입계열 생성부(111), 복소 배열 생성부(112)로 구성되며, 삽입정보(911)를 입력하고, 삽입 복소 패턴(921)을 출력한다.
복소 패턴 생성부(110a)에 의한 삽입 복소 패턴의 생성 처리는 이하의 수순으로 실시된다.
도 13은, 본 발명의 제1 실시형태에 있어서의 복소 패턴 생성부의 처리 흐름도이다.
단계 101) 삽입계열 생성부(111)에서, 입력된 삽입정보(911)에 기초하여, 삽입정보를 나타내는 수치의 예인 삽입계열(913)을 생성한다. 삽입계열 생성부(111)의 동작의 상세에 대해서는 후술한다.
단계 102) 복소 배열 생성부(112)에서, 삽입계열 생성부(111)에서 생성된 삽입계열(913)을, N-1차원 복소 배열상의 요소의 실수부 및 허수부에 할당하여, 삽입 복소 패턴(921)을 생성하고, 제1 기억부(150)에 저장한다. 복소 배열 생성부(112)의 상세에 대해서는 후술한다.
<전자 워터마크 삽입장치 - 삽입계열 생성부>
삽입계열 생성부(111)에서는, 다음과 같은 처리에 의해 삽입계열(913)을 생성한다.
삽입계열(913)의 생성은, 예를 들면, 특허문헌 1이나, '中村高雄, 小川宏, 富岡渟樹, 高嶋洋一, "전자 워터마크에 있어서의 평행이동·절취 내성 향상의 일수 법" 1999년 암호와 정보 시큐리티 심포지움, SCIS99-W3-2.1, pp.193-198, 1999'이나, '中村高雄, 片山淳, 山室雅司, 曾根原登 "카메라 휴대전화기를 이용한 아날로그 화상으로부터의 고속 전자 워터마크 검출방식', 신학론 D-Ⅱ, Vol. J87-D-Ⅱ, No.12, pp.2145-2155, 2004'에 나타나 있는 바와 같은 삽입계열의 구성방법과 동일한 방법을 취할 수 있다.
이하에, 삽입정보(911)의 예로서,
·전자 워터마크가 삽입되어 있다 라는 사실만을 나타내는 경우의 예:
·1bit의 정보인 경우의 예:
·nbit의 정보인 경우의 첫 번째 예:
·nbit의 정보인 경우의 두 번째 예:
에 대해서 설명한다. 한편, 이들의 예에 한정하는 것은 아니며, 이 밖의 삽입계열 생성의 방법을 취해도 좋다.
(예1) 삽입정보(911)가 '전자 워터마크가 삽입되어 있다'라는 사실만을 나타내는 경우, 삽입계열(913)은, 예를 들면, 의사난수열을 이용하여 표현된 수치열로서 계산되어도 좋다. 즉, 평균 0의 의사난수열 PN＝{PN1, PN2, …, PNL} (L은 계열의 길이)라 할 때, 삽입 계열 w＝{w1, w2, …, wL}을
Figure 112008063377312-pct00053
과 같이 결정해도 좋다.
또, 의사난수열로서는 예를 들면 M계열이나 GOLD계열을 이용해도 좋다.
(예2) 삽입정보(911)가 1bit의 정보인 경우, 삽입계열(913)은, 예를 들면, 그 1bit의 정보를 의사난수열을 이용하여 스펙트럼 확산한 수치열로서 계산되어도 좋다. 즉, 삽입정보를 b, 평균 0의 의사난수열을 PN＝{PN1, PN2, …, PNL} (L은 계열의 길이)이라 할 때, 삽입계열 w＝{w1, w2, …, wL}을
[수 32]
Figure 112008063377312-pct00054
와 같이 결정해도 좋다.
또, 의사난수열로서는, 예를 들면 , M계열이나 GOLD계열을 이용해도 좋다.
(예3) 삽입정보(911)가 nbit로 구성되는 정보인 경우, 삽입계열(913)은, 예를 들면, 그 nbit의 정보를 mbit마다 분할한 심볼마다 의사난수열을 이용하여 스펙트럼 확산한 수치열을 다중화한 것으로서 계산되어도 좋다. 즉, 하기와 같은 수순으로 수행되어도 좋다.
도 14는, 본 발명의 제1 실시형태에 있어서의 삽입계열 생성부의 상세한 동작의 흐름도이다.
단계 201) nbit의 삽입정보(911)를 복수의 심볼 S1, S2, …, Sk로 분할한다. 이때 모든 심볼이 동일한 mbit씩이어도 좋고, 각 심볼이 다른 비트수 만큼의 정보를 표현하고 있어도 좋다.
여기서, '심볼'이란, 각각 삽입정보 중 일부분의 정보를 나타내고, 실제의 전자 워터마크 삽입의 처리단위가 되는 정보이며, 예를 들면, 삽입정보(911)가 64bit 길이의 2진수 값으로 주어졌을 때, 도 15에 도시한 바와 같이 12bit씩의 정보로 구분하여 12bit의 정보 각각이 심볼이 되도록 되어 있어도 좋다. 혹은 1심볼에서 1bit의 정보를 나타내도록 되어 있어도 좋다. 도 15의 예와 같이 삽입정보(911)의 길이(여기서는 64bit)가 각 심볼의 길이(12bit)로 나누어지지 않는 경우는, 일부 심볼(여기에서는 마지막 심볼)의 일부 bit를 고정 값(여기에서는 값 0)으로 padding하도록 해도 좋다.
단계 202) 단계 201에서 얻어진 각 심볼에 대해서 스펙트럼 확산 처리를 수행하고, 각 심볼에 대응한 확산계열 P1, …, Pk을 생성한다.
스펙트럼 확산의 방법으로써는, 예를 들면 다음과 같은 방법이 있다.
예를 들면, 1심볼이 1bit의 정보를 표현하고 있는 경우에는, 각 심볼 S1, …, Sk에 대해서, 각각 {1, -1}의 값을 취하는 총 k개의 PN계열 PN1=(pn11,pn12,…,), …PNk=(pnk1,pnk2,…)을 생성하고, 심볼 i에 대해서, 심볼의 값이 비트 1을 나타내는 경우는 PNi를, 심볼의 값이 비트 0을 나타내는 경우는 -PNi을 확산계열 Pi로서 이용하도록 해도 좋다.
또, 예를 들면, 1심볼이 12bit의 정보를 표현하고 있는 경우에는, 각 심볼에 대해서 각각 4096개의 PN계열 PN(1,0), …, PN(1,4095), PN(2.0), …, PN(k,4095)를 마련하고, 심볼 i에 대해서, 심볼 i의 값이 12bit로 정수값 x를 나타내는 경우에 PN(i,x)을 확산계열 Pi로서 이용하도록 해도 좋다.
또, PN계열(의사난수열)로서는 예를 들면 M계열이나 GOLD계열을 이용해도 좋다.
단계 203) 확산계열 Pi로부터 삽입계열 w를 하기와 같이 계산한다.
[수 33]
Figure 112008063377312-pct00055
예를 들면, 상기한 단계 202에서 후자의 예인 경우는 이하와 같이 된다.
[수 34]
Figure 112008063377312-pct00056
상기한 식에서,
[수 35]
Figure 112008063377312-pct00057
를 곱하는 것은, 계열 각 요소의 표준편차가 1이 되도록 하기 위함이나, 나중의 계산에서 삽입 강도가 적절이 제어되고 있다면 반드시
[수 36]
Figure 112008063377312-pct00058
를 곱할 필요는 없다.
(예4) 삽입정보(911)가 nbit로 구성되는 정보인 경우, 삽입계열(913)은, 예를 들면, 그 nbit의 정보를 m배의 길이로 의사난수를 이용하여 직접 스펙트럼 확산한 것으로서 계산되어도 좋다. 즉, 하기와 같은 수순으로 수행되어도 좋다.
1) nbit의 삽입정보(911)를 b0, b1, b2, …, bn이라 하고, 각 bit를 m회씩 반복한 계열 S를 얻는다. 단, 각 bit bi는 +1, -1 중 어느 하나의 값을 취하는 것으로 한다.
[수 37]
Figure 112008063377312-pct00059
m개 m개 m개 m개
2) S를 {+1, -1}을 취하는 의사난수열 PN＝{PN1, PN2, …, PNmn}으로 확산하고, 삽입계열 w를 구한다. 즉, w＝{w1, w2, …, wmn}이라 할 때,
Figure 112008063377312-pct00060
(1bit 번째가 b0×PN1, 2bit 번째가 b0×PN2 … 라는 것을 나타낸다. 이하 동일)
Figure 112008063377312-pct00061
이들과 같은 삽입계열의 생성방법에 대해서는 '中村高雄, 片山淳, 山室雅司, 曾根原登 "카메라 휴대전화기를 이용한 아날로그 화상으로부터의 고속 전자 워터마크 검출방식', 신학론 D-Ⅱ, Vol. J87-D-Ⅱ, No.12, pp.2145-2155, 2004'에도 서술되어 있다.
<전자 워터마크 삽입장치 - 복소 배열 생성부>
삽입 복소 패턴 생성부(110a)의 복소 배열 생성부(112)에서는, 다음과 같은 처리에 의해 복소 패턴(921)을 생성한다.
복소 패턴 생성부(110a)의 복소 배열 생성부(112)의 동작을 이하에 나타낸다.
도 16은, 본 발명의 제1 실시형태에 있어서의 복소 배열 생성부의 동작 흐름도이다.
단계 301) 모든 요소의 값이 0인, 크기 M1×M2×…MN-1의 N-1차원 복소수 배열을 마련한다. 단, M1 ,M2,…, MN -1은, 미리 정해진 요소수이다.
단계 302) 삽입계열(913)로부터 순서대로 2개씩 값을 취출하여, 단계 301에서 마련한 배열의 위치(0, 0, …,0)로부터 순서대로, 취출한 값이 그 요소값의 실수부, 허수부가 되도록 배열에 값을 설정한다. 즉, 복소 배열이 A[P1, P2, …, PN - 1](Pn≥0), 삽입계열(913)이 w1, w2, …, wL로 나타나 있을 때,
Figure 112008063377312-pct00062
단, j는 허수단위라 한다.
도 17에 이 상태를 나타낸다. 단, 도 17은 2차원 복소 배열의 경우인 예를 나타내고 있다.
단계 303) 상기한 단계 302에서 생성된 복소 배열을 삽입 복소 패턴(921)으로서 출력한다.
이와 같이, N-1차원의 삽입 복소 패턴(921)을, 의사난수를 이용하여 만들어진 삽입계열(913)에 기초한 복소수의 배열로서 생성함으로써, 삽입 복소 패턴(921)의 각 요소의 값은 복소수 공간에 퍼져 분포하도록 결정된다. 이 결과, 후술하는 시간변조의 결과 얻어지는 삽입패턴(922)에 있어서의 위상이 N-1차원 공간상의 위치에 따라 다르도록 확산되어, 전자 워터마크 검출시에 삽입 전 신호(912)에 기인하여 나타나는 노이즈 성분의 크기가 보다 작아지게 된다.
또, 상기한 단계 302의 수순에 앞서, 삽입계열(913)의 순서를 의사난수를 이용하여, 랜덤한 순서로 바꿔 넣어 놓아도 좋다. 이에 따라, 삽입되어 있는 정보의 부정한 해석이나, 바꿔쓰기 등의 공격을 곤란하게 할 수 있음과 동시에, 인터리브 부호화로서의 효과를 가지며, 삽입 완료 신호(923)에 대한 국소적인 내성의 불균형을 방지하는 것에 기여한다. 그 경우, 순서의 교체에 사용하는 의사난수의 근원 값(a value of a seed)을 전자 워터마크 삽입의 키로서 부여하여, 동일한 키를 전자 워터마크 검출시에 사용하게 된다.
또, 삽입계열(913) 상에서 순서의 교체를 수행하는 대신에, 단계 302에서 얻어진 복소 배열의 요소를 교체하도록 해도 무관하다.
<전자 워터마크 삽입장치 - 시간변조부>
이하에 시간변조부(130)의 동작 상세를 설명한다.
도 18은, 본 발명의 제1 실시형태에 있어서의 시간변조부의 구성 예이다.
시간변조부(130a)는, 주기신호 생성부(131), 변조부(132), 가산부(133)로 구성되며, 삽입 복소 패턴(921)을 입력하고, 삽입패턴(922)을 출력한다.
시간변조부(130a)에 의한 삽입패턴(922)의 생성처리는 이하의 수순으로 실시된다.
도 19는, 본 발명의 제1 실시형태에 있어서의 시간변조부의 동작 흐름도이다.
단계 401) 주기신호 생성부(131)에서, 동일한 기본주파수를 갖고 직교하는 2개의 주기신호를 생성한다. 예를 들면, 하나의 주기신호를 기초로 각각 위상이 90°, 즉 1/4주기분 다르도록 2개의 주기신호를 생성해도 좋다. 생성하는 주기신호의 예에 대해서는 후술한다.
단계 402) 변조부(132)에서, 입력된 삽입 복소 패턴(921)의 실수부, 허수부를 단계 401에서 생성된 2개의 주기신호에 의해 각각 시간방향으로 변조한다. 변조의 구체 예에 대해서는 후술한다.
단계 403) 가산부(133)에서, 변조부(132)에서 변조된 2개의 N차원 신호를 가산하여, 삽입패턴(922)을 취득하고, 제2 기억부(160)에 저장한다.
단계 401에서 생성되는 주기신호의 예를 설명한다.
주기신호 생성부(131)에서 생성되는 주기신호는, 도 4a∼c에 도시한 바와 같이, (도 4a) (a)정현파, (도 4b) (b)삼각파, (도 4c) (c)구형파이며, 각 신호를 0≤t＜T(T는 신호의 주기)의 범위에서 식으로 나타내면 하기와 같이 된다.
[수 38]
Figure 112008063377312-pct00063
이들 주기신호의 상세에 대해서는 이미 서술한 대로이다.
다음으로, 변조부(132)에서의 변조는, N-1차원의 복소 패턴(921)의 각 위치마다의 값의 실수부, 허수부의 값으로, 주기신호 생성부(131)에서 생성된 주기신호를 반송파로서, AM 변조함으로써, N차원의 패턴으로 변환함으로써 수행된다.
즉, 구체적으로는, 예를 들면, 다음과 같이 수행된다.
현재, N-1차원의 복소 패턴이 P(x1, x2, …xN -1)로 나타나 있는 것으로 한다. 이때, P의 실수부, 허수부를 Pr, Pi로 나타내는 것으로 하고,
Figure 112008063377312-pct00064
라 한다. 단, j는 허수단위이다.
주기신호 생성부(131)에서 2개의 주기신호 fr(t), fi(t)가 생성된 것으로 한다. 여기에서는, fr과 fi는 동일한 주기신호를 토대로 위상이 90°다르도록 생성된 경우를 예로 들어,
Figure 112008063377312-pct00065
라 한다. T는 주기신호의 주기이다.
Pr, Pi를 각각 fr(t), fi(t)로 변조하고, 다음 식으로 N차원의 패턴 Wr, Wi을 얻는다.
Figure 112008063377312-pct00066
상기한 단계 403에서, 이 Wr, Wi를 가산하여, 삽입패턴(922)으로서 하기의 N차원 신호 W를 얻는다.
Figure 112008063377312-pct00067
하기에 N＝3의 영상신호에 대해서, 주기신호로서 정현파를 이용한 경우의 예 를 나타낸다.
Figure 112008063377312-pct00068
라 하면,
Figure 112008063377312-pct00069
가 된다. 단, ω는 주기 T에 대응하는 각속도로, ω＝2π/T이다.
이들 계산을, 2개의 주기신호를 나타내는 함수로서 복소함수
Figure 112008063377312-pct00070
를 이용하여 다음과 같이 수행해도 무관함은 물론이다.
[수 39]
Figure 112008063377312-pct00071
단, f(*)(t)는 f(t)의 공액복소수,
[수 40]
Figure 112008063377312-pct00072
은 C의 실수부를 취출하는 연산이다.
<전자 워터마크 삽입장치 - 삽입패턴 중첩부>
이하에, 삽입패턴 중첩부(140)의 동작 상세를 설명한다.
삽입패턴 중첩부(140)에서는, 삽입 전 신호(912)로서 입력된 N차원 신호에 대해서, 시간변조부(130a)에서 생성되어, 제2 기억부(160)에 저장되어 있는 N차원의 삽입패턴(922)을 가산함으로써 중첩하고, 중첩한 결과인 N차원 신호를 삽입 완료 신호(923)로서 출력한다.
삽입 강도) 삽입패턴(922)을 가산할 때, 소정의 강도 파라미터 α에 의해 강조하여 삽입하도록 되어 있어도 좋다. 즉, N차원의 삽입 전 신호(912)를 I(x1, x2, …, xN -1, t), 삽입패턴(922)을 W(x1, x2, …, xN -1, t)라 할 때, 삽입 완료 신호(923) I'(x1, x2, …, xN -1, t)를,
Figure 112008063377312-pct00073
Figure 112008063377312-pct00074
와 같이 구한다.
강도 파라미터 α는, 삽입 전 신호(912) 전체나, 삽입 전 신호(912) 중 연산의 대상이 되는 부위로부터 산출되는 특징량에 따라서 변화하도록 구성되어 있어도 무관하다. 예를 들면, 삽입 전 신호(912)가 영상신호인 경우에, 프레임 화상의 텍스처 영역이나 움직임이 심한 영역 등 가산된 삽입패턴이 눈에 띄기 어려운 부위에 대해서는 강하게(즉, α가 큰 값을 취하도록), 프레임 화상의 평탄한 영역이나, 느릿한 통일적인 움직임 영역 등 눈에 띄기 쉬운 부위에 대해서는 약하게(즉 α가 작은 값을 취하도록) 삽입이 수행되도록 구성되어 있어도 무관하다.
삽입패턴의 반복) 삽입패턴의 중첩시, 삽입 전 신호(912)의 크기가 삽입패턴(922)의 크기보다도 큰 경우는, 삽입패턴(922)을 반복하도록 가산해도 좋다.
삽입 전 신호(912)의 크기가 삽입패턴(922)의 크기보다도 큰 경우의 예로서는, 예를 들면 다음과 같은 것이 있다.
1) 삽입 전 신호(912)가 영상신호인 경우에 있어서, 삽입 전 신호(912)의 시간방향의 길이(프레임 수)가 삽입패턴(922)의 시간방향의 길이보다도 긴 경우, 도 20과 같이, 삽입패턴(922)을 복수회 반복하도록 해도 좋다.
2) 삽입 전 신호(912)가 영상신호인 경우에 있어서, 삽입 전 신호(912)의 프레임 화상의 크기(화각)가 삽입패턴(922)의 크기(화각)보다도 큰 경우, 도 21과 같이, 삽입패턴(922)을 종횡으로 타일형상으로 전면에 깔도록 가산해도 좋다.
삽입패턴의 확대) 또, 삽입패턴의 중첩에 앞서, 삽입패턴(922)을 임의의 크기, 혹은 삽입 전 신호(912)의 크기에 일치하도록 확대하도록 해도 좋다. 도 22에 예를 나타낸다. 도 22에서는, 2배로 확대하는 예와 삽입 전 신호(912)의 크기에 맞춰서 확대하는 예를 나타내었으나, 이 밖의 크기로 확대되어도 좋음은 물론이다.
확대에는 어떠한 알고리즘을 이용해도 무관하다. 도 22와 같이, 확대된 1블록에 하나의 값이 대응하도록 하고, 확대 후의 블록을 모두 같은 값으로 하도록 해도 좋으며, 선형보간(linear interpolation)이나 바이큐빅(bi-cubic) 등 공지의 보간수법을 이용하도록 해도 좋다.
도 22에서는, 삽입 전 신호(912)가 영상신호인 경우에, 프레임 화상을 단위로 공간방향으로 확대하는 예를 나타내고 있으나, 시간방향으로도 확대를 수행하도 록 이루어져 있어도 무관함은 물론이다.
특징량에의 삽입) 또, 삽입 전 신호(912)에 삽입패턴(922)을 중첩할 때, 삽입 전 신호(912)의 신호값에 직접 삽입패턴(922)의 값을 가산하는 대신에, 삽입 전 신호(912)의 소정의 특징량이 삽입패턴(922)의 값, 혹은 그 스칼라 배만큼 변경되도록 삽입 전 신호(912)를 변경함으로써 중첩을 수행해도 좋다.
상기한 특징량의 예로서는, 예를 들면, 삽입 전 신호(912)의 신호값이나, 블록마다의 신호값의 평균값 등이 있다. 삽입 전 신호(912)가 영상신호나 화상신호인 경우에는, 예를 들면, 영상, 화상의 화소의 휘도값이나 색차, RGB의 색 신호값 등을 이용해도 좋다.
<전자 워터마크 검출장치>
도 10에 도시하는 전자 워터마크 검출장치(200)는, 시간복조부(210), 검출정보 추출부(220), 패턴 기억부(250)로 구성되며, 삽입 완료 신호(923)를 입력하고, 검출정보(914)를 출력한다.
이하에, 전자 워터마크 검출장치(200)의 동작을 설명한다.
도 23은, 본 발명의 제1 실시형태에 있어서의 전자 워터마크 검출장치의 동작 흐름도이다.
단계 501) 시간복조부(210)에서, 입력된 삽입 완료 신호(923)에 기초하여 시간축 방향의 복조를 수행하여, 검출 복소 패턴(961)을 취득하고, 패턴 기억부(250)에 저장한다. 검출 복소 패턴(961)은, 복소수로 구성되는 N-1차원 패턴이다. 시간복조부(210)의 동작 상세에 대해서는 후술한다.
또한, 시간복조부(210)에 의한 시간 복조 처리에 앞서, 삽입 완료 신호(923)에 대해서 전처리에 의해 예를 들면 기하 변형 보정, 노이즈 제거, 필터링, 블록 중첩, 블록화 등의 처리를 수행해도 좋다. 이러한 예에 대해서는 후술한다.
단계 502) 검출정보 추출부(220)에서, 시간복조부(210)에서 얻어지고, 패턴 기억부(250)에 저장되어 있는 검출 복소 패턴(961)을 해석하여, 전자 워터마크 삽입장치(100)에서 삽입된 전자 워터마크 정보를 추출하고, 검출정보(914)로서 출력한다.
검출정보 추출부(220)의 동작 상세에 대해서는 후술한다.
또한, 검출정보 추출부(220)에 의한 검출정보 추출 처리에 앞서, 검출 복소 패턴(961)에 대해서 전처리에 의해 예를 들면 N-1차원 공간에서의 기하 변형 보정, 노이즈 제거, 필터링, 블록 중첩, 블록화 등의 처리를 수행해도 좋다. 이러한 예에 대해서는 후술한다.
<삽입 완료 신호에 대한 전처리>
이하에, 전자 워터마크 검출장치(200)에 있어서의 삽입 완료 신호(923)에 대한 전처리의 예를 나타낸다.
기하 변형 보정) 전자 워터마크 삽입장치(100)에서 전자 워터마크가 삽입된 삽입 완료 신호(923)에 대해서, 확대, 축소, 회전, 평행이동, 어스펙트비(aspect ratio) 변경, 사영 변환 등의 기하 변형이 가해진 경우, 그 상태로는 전자 워터마크의 검출이 곤란해지는 경우가 있기 때문에, 이것을 보정하는 전처리를 수행해도 좋다.
기하 변형 보정은, 예를 들면, 문헌 'Csurka, G., Deguillaume, F., Ruanaidh, J.J. K. O, and Pun, T., "A Bayesian Approach to Affine Transformation Resistant Image and Video Watermarking," Information Hiding, Proceedings Lecture Notes in Computer Science 1768, pp. 270-285, Springer-Verlag(2000)'에 나타나 있는 바와 같이, 전자 워터마크의 정보와는 별도로, 기하적인 보정을 수행하기 위한 신호를 신호에 삽입해 두고, 이것을 검출함으로써 신호에 가해진 개변(modification) 정도를 추정하여, 신호에 대해서 추정된 개변의 역변환을 실시함으로써 보정해도 좋다. 또, 예를 들면, 문헌 'Honsinger, C., "Data Embedding using Phase Dispersion, "IEE Seminar on Secure Images and Image Authentication(Ref. No. 2000/039), pp.5/1-5/7(2000)'에 나타나 있는 바와 같이, 전자 워터마크로서 삽입할 정보를 갖는 삽입패턴 그 자체에, 반복을 갖는 주기적인 패턴을 이용하고, 검출시에 자기상관함수로부터 그 주기의 변화를 관측함으로써 확대·축소율을 산출하고, 얻어진 확대·축소율에 기초하여 개변의 역변환을 실시함으로써 보정해도 좋다. 또, 예를 들면, 대상으로 하는 신호가 화상이나 영상인 경우에, 문헌 '片山淳, 中村高雄, 山室雅司, 曾根原登, "전자 워터마크 독취를 위한 i-애플리(i-appli) 고속 코너 검출 알고리즘", 신학론 D-Ⅱ, Vol. J88-D-Ⅱ, No.6, pp.1035-1046, 2005'에 나타나 있는 바와 같은 방법으로 화상 내의 구형영역을 추출하고, 거기에 전자 워터마크가 삽입되어 있는 것으로 하여 기하 보정을 수행하도록 되어 있어도 좋다.
필터 처리) 전자 워터마크가 삽입된 삽입 완료 신호(923)에 대해서, 노이즈 가 부가되어 있는 경우에 노이즈를 제거하는 필터 처리나, 전자 워터마크의 신호성분을 남기면서 원래의 삽입 전 신호의 성분을 제거할 수 있는 것과 같은 필터 처리를 부가해도 좋다.
블록 중첩) 전자 워터마크 삽입장치(100)에 있어서, 삽입 전 신호(912)의 크기가 삽입패턴(922)의 크기보다도 큰 경우에, 삽입패턴 중첩부(140)에서 삽입패턴(922)을 반복하도록 가산되어 있는 경우는, 삽입 완료 신호(923)를 반복된 패턴의 부위마다 잘라 나누고, 그것들을 하나로 중첩 가산하여 하나의 블록으로 모으는 것과 같은 블록 중첩 처리를 실시해도 좋다.
블록화) 전자 워터마크 삽입장치(100)에 있어서, 삽입 전 신호(912)의 크기가 삽입패턴(922)의 크기보다도 큰 경우에, 삽입패턴 중첩부(140)에서, 삽입패턴(922)을 확대하도록 되어 있는 경우는, 삽입 완료 신호(923)를 축소한 후에 전자 워터마크의 검출을 수행하도록 되어 있어도 좋다.
특징량으로부터의 검출) 전자 워터마크 삽입장치(100)에 있어서, 삽입 전 신호(912)에 삽입패턴(922)을 중첩할 때, 삽입 전 신호(912)의 소정의 특징량이 삽입패턴(922)의 값, 혹은 스칼라 배만큼 변경되도록 삽입 전 신호(912)를 변경함으로써 중첩을 수행하도록 되어 있는 경우에는, 삽입 완료 신호(923)로부터 소정의 특징량을 산출한 것에 기초하여 전자 워터마크의 검출을 수행하도록 해도 좋다.
예를 들면, 도 24와 같이, 삽입 완료 신호(923-1)를 블록마다 잘라 나누고, 각 블록의 특징량을 산출하여 특징량의 예를 구성하도록 하고, 이것으로부터 전자 워터마크를 검출하도록 해도 좋다. 특징량의 예로서는, 예를 들면 블록 내의 신호 값의 평균값을 이용해도 좋다. 또, 신호가 영상신호나 화상신호인 경우에는, 예를 들면, 영상, 화상의 화소의 휘도값이나 색차, RGB의 색신호값 등을 이용해도 좋다.
이러한 예로 든 전처리를, 검출정보 추출부(220)에서의 검출정보 추출 처리의 전처리로서, 검출 복소 패턴(961)에 대해서 수행하도록 해도 좋다. 특히, 기하 변형 보정에 대해서, 영상신호에 있어서 N차원째 축이 시간방향인 경우, 삽입 완료 신호(923)에 대한 전처리로서 시간방향의 신축을 보정하고, 검출 복소 패턴(961)에 대한 전처리로서 공간방향의 기하 변형 보정을 수행함으로서, 효율적이면서 정밀하게 공간적인 기하 변형 보정을 수행하는 것이 가능하다.
<전자 워터마크 검출장치 - 시간복조부>
이하에, 시간복조부(210)의 동작 상세를 설명한다.
도 25는, 본 발명의 제1 실시형태에 있어서의 시간복조부의 구성 예를 나타낸다.
도 25에 도시한 시간복조부(210)는, 주기신호 생성부(211), 복조부(212), 복소 패턴 구성부(213)로 구성되며, 삽입 완료 신호(923)를 입력하고, 검출 복소 패턴(961)을 출력한다.
또한, 도 25에 있어서는, 도 18과의 대응 이해를 용이하게 하기 위해, 밑에서 위로 정보가 흐르도록 구성이 기재되어 있다는 것에 주의해야 한다.
시간복조부(210)에 의한 삽입 완료 신호(923)의 복조 처리는 이하의 수순으로 실시된다.
도 26은, 본 발명의 제1 실시형태에 있어서의 시간복조부의 동작 흐름도이 다.
단계 601) 주기신호 생성부(211)에서, 동일한 기본주파수를 갖고 직교하는 2개의 주기신호를 생성한다. 예를 들면, 하나의 주기신호를 기초로 각각 위상이 90°, 즉 1/4주기분 다르도록 2개의 주기신호를 생성해도 좋다. 생성하는 주기신호는 전술한 전자 워터마크 삽입장치(100)에 있어서의 시간변조부(130a)가 구비하는 주기신호 생성부(131)에 대응하는 것이다. 주기신호의 예에 대해서는 이미 서술한 대로이다.
단계 602) 복조부(212)에서, 입력된 삽입 완료 신호(923)의 시간방향 성분을 기초로 단계 601에서 생성된 2개의 주기신호 각각으로 복조하고, 2개의 N-1차원 신호를 얻는다. 복조의 구체 예에 대해서는 후술한다.
단계 603) 복소 패턴 구성부(213)에서, 복조부(212)에서 복조된 2개의 N-1차원 신호가, 각각 실수부, 허수부가 되도록 한 복소수의 N-1차원 패턴인 검출 복소 패턴(961)을 얻는다.
구체적으로는, 2개의 N-1차원 신호를 각각 Qr(x1, x2, …, xN -1), Qi(x1, x2, …, xN -1)라 할 때, 검출 복소 패턴(961)을 Q(x1, x2, …, xN -1)로 하여,
Figure 112008063377312-pct00075
로 구한다. 단, j는 허수단위이다.
여기서, 시간복조의 구체적인 예를 설명한다.
복조부(212)에서의 복조는, N차원의 삽입 완료 신호(923)의, 주기신호 생성부(211)에서 생성된 주기신호의 위상을 구함으로써 수행된다. 특히 하기와 같이 2개의 주기신호에 대해서 그것들의 성분 크기를 구함으로써, 주기신호의 위상을 용이하게 측정할 수 있다.
즉, 구체적으로는 예를 들면 다음과 같이 수행된다.
이하, N차원의 삽입 완료 신호(923)가 I”(x1, x2, …, xN -1, t)로 나타나 있는 것으로 한다.
또, 주기신호 생성부(211)에서 2개의 주기신호 fr(t), fi(t)가 생성된 것으로 한다. 여기에서는, fr과 fi는 동일한 주기신호를 기초로 위상이 90°다르도록 생성된 경우를 예로 들어,
Figure 112008063377312-pct00076
라 한다.
I”를 fr(t), fi(t)로 복조하여, 다음 식으로 2개의 N-1차원 신호 Qr(x1, x2, …, xN -1), Qi(x1, x2, …, xN -1,t)를 얻는다.
[수 41]
Figure 112008063377312-pct00077
여기서, t1, t2는 삽입 완료 신호(923) 중 검출의 대상이 되는 구간의 각각 개시점 및 종료점이다. 예를 들면, 입력된 삽입 완료 신호(923) 모두를 검출 대상으로 하도록, t1＝―∞, t2＝∞로 해도 좋으며, 입력된 삽입 완료 신호(923)의 n주기분을 취출하도록 t1＝0, t2＝nT(단, T는 주기신호 생성부(211)에서 생성되는 주기신호의 주기)로 해도 좋다.
또, 삽입 완료 신호(923)가 이산신호로서 얻어진 경우에는, 다음과 같은 적화연산(product-sum operation)에 의해 2개의 N-1차원 신호 Qr, Qi를 구해도 좋다.
[수 42]
Figure 112008063377312-pct00078
또, 예를 들면, 영상신호 등에 있어서, 휴대전화 등의 저성능 프로세서를 이용하여 재촬영된 영상으로부터 전자 워터마크를 검출하는 경우는, 촬영의 프레임 레이트(frame rate)가 안정되지 않고 샘플링의 타이밍이 미소하게 어긋나는 경우도 있다. 이와 같은 경우는 이산적으로 얻어진 신호 I”(x1, x2, …, xN -1, 1), I”(x1, x2, …, xN -1, 2), …, I”(x1, x2, …, xN -1, n)에 대해서, 각각의 신호의 검출시각 t1, t2, …, tn을 이용하여 다음과 같이 i번째 샘플에 대해 i번째 측정시각에 있어서의 주기함수의 값 f(ti)와의 곱을 토대로 적화연산(product-sum operation)함으로 써, 불안정한 프레임 레이트를 보정하고, 계산 결과의 정밀도를 유지할 수 있다.
[수 43]
Figure 112008063377312-pct00079
또, 스크린이나 TV 등에 표시된 영상이 비디오카메라나 휴대전화 등의 카메라로 촬영된 경우, 재생의 프레임 레이트와 촬영의 프레임 레이트에 관한 정보가 얻어져 있는 경우가 대부분이며, 그것을 이용하여 t1을 구하면, 이산적으로 얻어진 신호 I”(x1, x2, …, xN -1, 1), I”(x1, x2, …, xN -1, 2), …, I”(x1, x2, …, xN -1, n)에 대해서, 다음과 같이 계산할 수 있다.
[수 44]
Figure 112008063377312-pct00080
단, F는 촬영시의 프레임 레이트이다.
다음으로, 차분·미분을 이용한 시간복조에 대해서 설명한다. 상기 대신에, 삽입 완료 신호(923) I”(x1, x2, …, xN -1, t)의 t축 방향의 차분 혹은 미분을 이용하여 복조하도록 해도 좋다. 이와 같은 시간복조부(210)의 구성 예를 도 27에 나타낸다.
도 27에 도시한 시간복조부(210b)는, 도 25의 시간복조부(210a)와 거의 동일한 구성을 갖고 있으며, 삽입 완료 신호(923)가 일단 신호 미분부(215)에 입력된 후에, 복조부(212)에 입력되도록 구성되어 있는 점이 다르다.
신호 미분부(215)에서는, 입력된 삽입 완료 신호(923)에 대해서, N차원째의 축, 즉, t축 방향의 차분 혹은 미분을 계산하고, 복조부(212)로 출력하도록 되어 있다.
예를 들면, 영상신호 등을 생각한 경우, 신호의 프레임간의 상관이 크다는 것이 알려져 있다. 2개의 프레임의 시간간격이 짧을수록 프레임간의 상관은 높기 때문에, 프레임간 차분이나 미분값을 계산하면, 주기신호에 의한 상쇄분 이상으로 원화성분이 크게 캔슬되고, 전자 워터마크의 에너지가 상대적으로 증대하게 되어, 이와 같은 차분값, 미분값으로부터 복조함으로써 전자 워터마크의 검출이 용이해지고, 검출 정밀도가 향상한다는 이점이 있다. 반대로, 보다 약한 전자 워터마크의 삽입이라 하더라도 같은 정도의 검출성능을 유지할 수 있으므로, 신호의 열화가 보다 적은 전자 워터마크의 삽입이 가능하다.
<전자 워터마크 검출장치 - 검출정보 추출부>
다음으로, 검출정보 추출부(220)에 대해서 상세히 설명한다.
도 28은, 본 발명의 제1 실시형태에 있어서의 검출정보 추출부의 구성 예를 나타낸다.
검출정보 추출부(220a)는, 검출계열 추출부(221), 상관값 계산부(222), 최대값 판정부(223), 검출정보 재구성부(224)로 구성되며, 패턴 기억부(250)로부터 검 출 복소 패턴(961)을 입력하고, 검출정보(914)를 출력한다.
또한, 도 28에 있어서는, 도 12와의 대응 이해를 용이하게 하기 위해서, 밑에서 위로 정보가 흐르도록 구성이 기재되어 있다는 것에 주의해야 한다.
검출정보 추출부(220a)에 의한 검출정보 추출 처리는, 이하의 수순으로 실시된다.
도 29는, 본 발명의 제1 실시형태에 있어서의 검출정보 추출부의 동작 흐름도이다.
단계 701) 검출계열 추출부(221)에서, 입력된 검출 복소 패턴(961)으로부터 얻어지는 복소수값으로부터, 실수부, 허수부의 값을 취출하여 나열한 검출계열(1113)을 구성한다. 검출계열 추출부(221)의 동작 상세에 대해서는 후술한다.
단계 702) 상관값 계산부(222)에서, 검출계열 추출부(221)에서 구성된 검출계열(1113)과 상정되는 삽입계열에 기초하여 구성된 삽입계열과의 상관을 계산하여, 상관값(1114)을 구한다.
삽입계열의 종류에 따라서 다른 값이 삽입되어 있는 경우에는, 생각할 수 있는 복수의 삽입계열에 기초하여 구성된 복수의 삽입계열과의 상관을 각각 계산하고, 대응하는 상관값(1114)을 구한다. 상관값 계산부(222)의 동작 상세에 대해서는 후술한다.
단계 703) 최대값 판정부(223)에서, 상관값 계산부(222)에서 얻어진 상관값(1114)이 최대가 되는 것을 찾아내고, 최대가 되는 상관값(1114)에 대응하는 상관값 계산부(222)에서의 상관계산에서 이용된 삽입계열을 결정한다.
또한, 전자 워터마크 삽입장치(100)에 있어서의 삽입계열의 구성방법에 따라서는, 최대값 판정부(223)에 의한 최대값 판정 대신에, 다른 방법으로 판정을 수행하도록 되어 있어도 좋다.
최대값 판정부(223)의 동작 상세 및, 대체되는 다른 방법의 상세에 대해서는 후술한다.
단계 704) 검출정보 재구성부(224)에서, 최대값 판정부(223)에서 결정된 삽입계열에 기초하여, 실제로 삽입되어 있었다고 판단하는 검출정보(914)를 재구성한다. 또한, 검출정보 재구성부(224)의 동작 상세에 대해서는 후술한다.
<전자 워터마크 검출장치 - 검출정보 추출부 - 검출계열 추출부>
다음으로, 상기한 검출계열 추출부(221)의 상세에 대해서 설명한다.
검출계열 추출부(221)는, 전자 워터마크 삽입장치(100)의 복소 패턴 생성부(110a)에 있어서의 복소 배열 생성부(112)에 대응하는 검출 측의 기능을 담당하며, 검출 복소 패턴(961)으로부터 얻어지는 복소수값으로부터 검출계열(1113)을 구성한다.
검출계열 추출부(221)에서의 처리는 이하의 수순으로 실시된다.
도 30은, 본 발명의 제1 실시형태에 있어서의 검출계열 추출부의 상세한 동작 흐름도이다.
단계 801) 검출 복소 패턴(961)으로부터 크기 M1×M2×…MN-1의 N-1차원 복소 배열을 구성하고, 메모리(미도시)에 저장한다. 단, M1, M2, …, MN -1은 전자 워터마 크 삽입장치(100)의 복소 배열 생성부(112)에서 이용한 것과 동일한 요소수이다.
검출 복소 패턴(961)이 이산신호로서 얻어져 있는 경우는 그것을 그대로 N-1차원의 복소 배열이라고 간주한다. 검출 복소 패턴(961)이 연속신호로서 얻어져 있는 경우는, 검출 복소 패턴(961)을 임의의 표본화 수단을 이용하여 표본화한 것을 N-1차원 복소 배열로서 이용한다.
단계 802) 메모리(미도시)로부터 단계 801에서 얻어진 복소 배열로부터 복소수값을 순서대로 하나씩 취출하고, 취출한 복소수값의 실수부, 허수부를 각각 단독의 실수값으로 보고 나열한다. 즉, 복소 배열이 A[P1, P2, …, PN -1](Pn≥0), 검출계열(1113)이 i"1, i"2, …, i"L로 나타나 있을 때,
[수 45]
Figure 112008063377312-pct00081
단,
[수 46]
Figure 112008063377312-pct00082
은, 복소수의 각각 실수부, 허수부를 취출하는 연산이다.
이것은, 전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)의 생성과 대 칭적인 처리이다.
단계 803) 얻어진 i"1, i"2, …, i"L를, 검출계열(1113)로서 출력한다. 또, 전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에 있어서, 복소 배열의 구성에 앞서, 삽입계열(913)의 순서를 의사난수를 이용하여 랜덤한 순서로 교체되어 삽입이 이루어진 경우에는, 해당 단계 803에 앞서, 검출계열(1113)의 순서를, 의사난수를 이용하여, 복소 배열 생성부(112) 때와 역으로 교체함으로써, 삽입계열(913)과 대응하는 순서로 되돌린다. 그 경우, 순서의 교체에 사용하는 의사난수의 근원값(a value of a seed)은, 전자 워터마크 검출의 키로서, 전자 워터마크의 삽입시에 이용된 것과 동일한 키를 부여한다.
또, 전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에 있어서, 삽입계열(913) 상에서 순서의 교체를 수행하는 대신에, 얻어진 복소 배열의 요소를 교체함으로써 수행하고 있는 경우는, 단계 802에 앞서, 단계 801에서 구성한 복소 배열의 요소를 복소 배열 생성부(112) 때와 역으로 교체함으로써 되돌리도록 해도 좋다.
<전자 워터마크 검출장치 - 검출정보 추출부 - 상관값 계산부>
다음으로, 검출정보 추출부(220a)의 상관값 계산부(222)의 동작 상세에 대해서 설명한다.
상관값 계산부(222)에 있어서의 상관값 계산 처리는, 이하의 수순으로 실시된다.
1) 상관값 계산부(222)는, 전자 워터마크 삽입장치(100)의 삽입계열 생성부(111)와 동일한 수순에 의해, 생각할 수 있는 삽입계열 w(1), w(2), …을 생성한다.
여기서, 생각할 수 있는 삽입계열이란 삽입되어 있을 가능성이 있는 모든 삽입계열이며, 삽입계열 생성부(111)에서의 삽입계열의 생성에 따라서, 예를 들면 다음과 같이 정할 수 있다.
(예1) 예를 들면, 삽입계열 생성부(111)의 (예1)과 같이 삽입계열이 생성되어 있는 경우에는, 생각할 수 있는 삽입계열은,
Figure 112008063377312-pct00083
1가지이다.
(예2) 예를 들면 삽입계열 생성부(111)의 (예2)와 같이 삽입계열이 생성되어 있는 경우에는, 생각할 수 있는 삽입계열은,
Figure 112008063377312-pct00084
2가지이다.
(예3) 예를 들면 삽입계열 생성부(111)의 (예3)에서, 각 심볼이 1bit의 정보를 표현하고 있는 예와 같이 삽입계열이 생성되어 있는 경우에는, 생각할 수 있는 삽입계열은 각 심볼 i에 대해서
Figure 112008063377312-pct00085
2가지이다.
또, 삽입계열 생성부(111)의 (예3)에서, 각 심볼이 12비트의 정보를 표현하고 있는 예와 같이 삽입계열이 생성되어 있는 경우에는, 생각할 수 있는 삽입계열은 각 심볼에 대해서,
Figure 112008063377312-pct00086
4096가지이다.
(예4) 예를 들면, 삽입계열 생성부(111)의 (예4)의 예와 같이 삽입계열이 생성되어 있는 경우에는, 단순히 모든 경우를 망라하면 생각할 수 있는 삽입계열은 2n가지가 된다. 나중의 상관계산에서, 검출계열(1113)을 m개씩 분할하고, 하나의 bit bi에 대해서 다음 2가지의 삽입계열과 분할된 검출계열(1113)간의 상관계산을 수행하도록 해도 좋다.
[수 47]
Figure 112008063377312-pct00087
이와 같은 방법은, 전술한 문헌 '中村高雄, 片山淳, 山室雅司, 曾根原登 "카 메라 휴대전화기를 이용한 아날로그 화상으로부터의 고속 전자 워터마크 검출 방식", 신학론 D-Ⅱ, Vol. J87-D-Ⅱ, No.12, pp.2145-2155, 2004'에도 기재되어 있다.
2) 검출계열 추출부(221)에서 얻어진 검출계열(1113)과 상기 1)에서 얻어진 각 삽입계열 w(1), w(2), …과의 상관을 각각 계산한다.
상관계산은, 예를 들면, 특허문헌 1이나, 문헌 '中村高雄, 小川宏, 富岡渟樹, 高嶋洋一, "전자 워터마크에 있어서의 평행이동·절취 내성 향상의 일수법" 1999년 암호와 정보 시큐리티 심포지움, SCIS99-W3-2.1, pp.193-198, 1999'에 나타나 있는 바와 같은 전자 워터마크의 검출에서 수행되는 것과 동일하며, 예를 들면, 다음식과 같은 적화연산(product-sum operation)에 의해 구할 수 있다. 여기서, ρ(j)를 구하고자 하는 상관값, i"＝{i"1, i"2, …, i"L}를 검출계열(1113), w(j)＝{w(j) 1, w(j) 2, …, w(j) L}를 현재 대상으로 하고 있는 삽입계열이라 한다.
[수 48]
Figure 112008063377312-pct00088
단, "·"는 수열을 벡터로 보았을 때의 내적연산이다.
또, 전술한 문헌 '中村高雄, 片山淳, 山室雅司, 曾根原登 "카메라 휴대전화기를 이용한 아날로그 화상으로부터의 고속 전자 워터마크 검출 방식', 신학론 D- Ⅱ, Vol. J87-D-Ⅱ, No.12, pp.2145-2155, 2004'에 있는 것과 같은 검출 신뢰성의 평가기준을 갖추기 위해, 예를 들면, i" 및 w(j)의 각 요소를 미리 평균 0, 분산 1이 되도록 정규화해 두고, 이하와 같이 상관값 계산에서 정수항을 곱하여 연산을 수행해도 무관하다.
[수 49]
Figure 112008063377312-pct00089
<전자 워터마크 검출장치 - 검출정보 추출부 - 최대값 판정부>
다음으로, 검출정보 추출부(220a)의 최대값 판정부(223)에 대해서 상세히 설명한다.
최대값 판정부(223)에 있어서의 처리는 이하의 수순으로 실시된다.
1) 상관값 계산부(222)에서 얻어진 상관값(1114), ρ(1), ρ(2),…으로부터, 값이 최대가 되는 상관값 ρ(j)를 찾아낸다.
[수 50]
Figure 112008063377312-pct00090
단, MAX()는 최대값을 돌려주는(returning) 연산이다.
2) ρ(max)에 대응하는 삽입계열 w(max)를 얻는다.
또, 최대의 상관값 ρ(max)이 소정의 임계값을 초과하고 있는지 어떤지를 판단하고, 소정의 임계값을 초과하지 않는 경우에는 전자 워터마크가 삽입되지 않은 것으로 판단하도록 해도 좋다.
이하에, 최대값 판정부(223)의 대체가 되는 동작에 대해서 설명한다.
최대값 판정부(223)에 의한 최대값 판정 대신에, 상관값 계산부(222)에서 모든 삽입계열 w(1), w(2), …에 대해서 상관을 계산하지 않고, 삽입계열 w(1)부터 순서대로 상관을 계산하여, 얻어진 상관값이 소정의 임계값을 초과하고 있는지 어떤지를 판정하고, 임계값을 초과한 삽입계열을 w(max)로서, 그 시점에서 상관계산을 종료하도록 되어 있어도 좋다.
또, 전자 워터마크 삽입장치(100)에 있어서의 삽입계열이, 예를 들면 삽입계열 생성부(111)의 (예1)에서 나타낸 바와 같은, 1가지 삽입계열만으로 구성되어 삽입되어 있는 경우에는, 상관값은 하나만이 계산되므로, 최대값 판정부(223)에 의한 최대값 판정에는 의미가 없다. 대신에 얻어진 상관값이 소정의 임계값을 초과하고 있는지 어떤지로 판정을 하도록 되어 있어도 좋다.
또, 전자 워터마크 삽입장치(100)에 있어서의 삽입계열이, 예를 들면, 삽입계열 생성부(111)의 (예2)에서 나타낸 바와 같은, 1가지 삽입계열이 양(+) 음(-)의 차이로 삽입되어 있는 경우에는, 부호가 역전한 상관값이 계산되므로, 상관값 계산부(222)에서의 상관계산은 한쪽 삽입계열에 대해서만 수행하고, 최대값 판정부(223)에 의한 최대값 판정 대신에, 얻어진 상관값의 부호로 삽입되어 있던 값을 판정하도록 되어 있어도 좋다. 또, 얻어진 상관값의 절대값이 소정의 임계값을 초과하고 있는지 어떤지로 판정을 하도록 되어 있어도 좋다.
또, 상관값의 크기로 워터마크 검출의 신뢰도를 평가하도록 해도 좋다.
<전자 워터마크 검출장치 - 검출정보 추출부 - 검출정보 재구성부>
다음으로, 검출정보 추출부(220a)의 검출정보 재구성부(224)에 대해서 상세히 설명한다.
검출정보 재구성부(224)에 있어서의 처리는 이하의 수순으로 실시된다.
1) 최대값 판정부(223)에 의해 얻어진 삽입계열 w(max)로부터, 전자 워터마크 삽입장치(100)의 삽입계열 생성부(111)에서의 삽입계열 생성방법에 따라서 대응하는 삽입정보의 값을 검출정보로서 구성한다. 예를 들면, 삽입계열(913)을 스펙트럼 확산하는 형태로 구성되어 있는 경우는, w(max)를 역 스펙트럼 확산하는 형태로 검출정보를 재구성한다.
(예1) 예를 들면, 삽입계열 생성부(111)의 (예1)과 같이 삽입계열이 생성되어 있는 경우에는, 전자 워터마크가 삽입되어 있었는지 아닌지 라는 정보 자체가 검출정보가 된다.
(예2) 예를 들면, 삽입계열 생성부(111)의 (예2)와 같이 삽입계열이 생성되어 있는 경우에는, w(max)＝PN이라면 검출정보는 비트값 1, w(max)＝－PN이라면 검출정보는 비트값 0이 된다.
(예3) 예를 들면, 삽입계열 생성부(111)의 (예3)에서, 각 심볼이 1bit의 정 보를 표현하고 있는 예와 같이 삽입계열이 생성되어 있는 경우에는, 심볼 i에 대해서, w(max)＝PNi라면 심볼값은 1, w(max)＝－PNi라면 심볼값은 0이 된다. 이것을 모든 심볼에 대해서 수행하고, 얻어진 심볼값을 연결함으로써 검출정보를 얻는다.
또, 삽입계열 생성부(111)의 (예3)에서, 각 심볼이 12bit의 정보를 표현하고 있는 예와 같이 삽입계열이 생성되어 있는 경우에는, 심볼 i에 대해서, w(max)＝PN(i,x)라면 심볼값은 x가 된다. 이것을 모든 심볼에 대해서 수행하고, 얻어진 심볼값을 연결함으로써 검출정보를 얻는다.
(예4) 예를 들면, 삽입계열 생성부(111)의 (예4)의 예와 같이 삽입계열이 생성되어 있는 경우에는, 비트 bi에 대해서
Figure 112008063377312-pct00091
라면, 비트값 ＋1,
Figure 112008063377312-pct00092
라면, 비트값 －1이 된다. 이것을 모든 비트에 대해서 수행하고, 얻어진 비트값을 연결함으로써 검출정보(914)를 얻는다.
2) 상기에서 얻어진 검출정보(914)를 출력한다.
<복소수에의 그 밖의 삽입방법>
다음으로, 복소수에의 그 밖의 삽입방법에 대해서 설명한다.
상기한 구성 예에서는, 전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에 있어서, 삽입계열(913)로부터 복소 배열의 요소값을 설정할 때, 삽입계열(913)로부터 취출한 값이 요소값의 실수부, 허수부가 되도록 하였다. 또, 이에 대응하여, 전자 워터마크 검출장치(200)의 검출계열 추출부(221)에 있어서 검출 복소 패턴(961)으로부터 검출계열(1113)을 구성할 때에는, 검출 복소 패턴(961)의 복소수값의 실수부, 허수부의 값을 취출하여 나열함으로써 검출계열(1113)을 구성하도록 하였다.
이들 예에서는, 복소수의 실수부와 허수부를 이용하도록 하였으나, 복소 배열 생성부(112)와 검출계열 추출부(221)의 동작이 대응지어져 있다면, 이것과는 다르게 복소수값을 사용해도 무관하다.
예를 들면, 복소 배열 생성부(112)에 있어서, 삽입계열(913)로부터 취출한 값 w1, w2라 할 때, 이것을 복소 배열의 요소값의 편각과 절대값이 되도록 설정해도 좋다. 이 경우, 검출계열 추출부(221)에 있어서는, 검출 복소 패턴(961)의 복소수값의 편각과 절대값을 이용하여 검출계열(1113)을 구성하면 된다.
또, 예를 들면, 삽입계열(913)로부터 취출한 하나의 값 w1을 하나의 복소수값의 편각에 대응시켜서 삽입해도 좋다. 이때, 복소수값의 절대값은, 예를 들면, 1로 고정해도 좋다. 예를 들면, 삽입계열의 값이 ＋1, －1 중 어느 하나를 취할 때, 복소수값의 편각을 각각 π/4, 3π/4로 하도록 해도 좋다. 이 경우, 검출계열 추출부(221)에 있어서는, 검출 복소 패턴(961)의 복소수값의 편각만을 이용하여 검출계 열(1113)을 구성하면 된다. 이와 같은 구성방법을 취했을 경우, 복소 배열을 복소수의 배열로서 계산하는 대신에, 편각의 값을 나타내는 실수값의 배열로서 구성하고, 이 값을 이용하여 주기변수의 위상을 제어하도록 시간변조부(130)를 구성해도 좋다. 이와 같은 구성방법을 취했을 경우, 복소수의 실수부와 허수부로 값을 설정하도록 한 경우와 비교하여, 삽입계열의 길이는 절반이 된다.
또, 예를 들면, w1, w2에 대해서, 다음과 같은 식에 의해 복소 배열의 요소값 p를 결정하여도 좋다.
Figure 112008063377312-pct00093
여기서, a, b는
[수 51]
Figure 112008063377312-pct00094
가 되는 임의의 복소수이다. 상기한 (w1, w2)로부터 복소수 p로의 변환이 직교변환이 되도록, a, b를 복소평면상에서 직교하는, 즉,
[수 52]
Figure 112008063377312-pct00095
가 되는 복소수로 해도 좋다. 여기서 *는 복소공액을 나타내며,
[수 53]
Figure 112008063377312-pct00096
는, 각각 복소수의 실수부, 허수부를 취출하는 연산이다.
이 경우, 검출계열 추출부(221에 있어서는, 검출 복소 패턴(961)의 복소수 q로부터 상기 변환의 역변환을 이용하여 검출계열(1113)의 값 i"1, i"2를 구하면 된다.
또, 예를 들면, 삽입계열(913)로부터 취출한 하나의 값인 w1의 값에 따라서, QAM 변조와 같이 복소평면상의 점(예를 들면,
[수 54]
Figure 112008063377312-pct00097
의 4점)을 선택하도록 하여, 선택된 점의 복소수값을 이용하도록 해도 좋다.
<제1 실시형태의 특징>
상기한 본 실시형태에는, 이하에 나타내는 특징이 있다.
노이즈 성분의 삭감) 본 실시형태의 전자 워터마크 삽입장치(100) 및 전자 워터마크 검출장치(200)에 따르면, 전자 워터마크의 삽입에 있어서 시간변조부(130)에서 주기신호에 의해 변조하여 삽입된 전자 워터마크에 대해서, 전자 워터마크의 검출에 있어서 시간복조부(210)에서 주기신호와의 적분 계산을 수행하여 검출을 수행한다. 이에 따라, 전자 워터마크에 있어서 노이즈가 되는 삽입 전 신 호(912)나 그 후 가해진 노이즈 성분의 분산이 작아지게 된다.(이것은, 주기신호가 1주기분 적분을 한 값이 0이 되도록 정해져 있는 것에 기인) 특히 영상신호에 있어서는, 근접하는 각 프레임간의 상관이 비교적 높다는 것이 알려져 있으며, 주기신호와 적분 계산에 의해, 주기 내에서 시간방향의 상관이 높은 성분이 제거되고, 결과적으로 삽입 전 신호(912)에 기인하는 분산이 극적으로 작아지게 된다.
전술한 문헌 '山本奏, 中村高雄, 高嶋洋一, 片山渟, 北原亮, 宮武隆 '프레임 중첩형 동화상 전자 워터마크의 검출성능 평가에 관한 일 고찰' 정보과학기술 포럼 FIT 2005, J-029,2005'에 따르면, 스펙트럼 확산과 상관계산을 이용한 전자 워터마크의 경우, 전자 워터마크의 위양성(false positive)의 의미에서의 검출 신뢰성을 나타내는 검출 평가치는, 삽입 전 신호의 분산값이 작을수록 검출 평가치가 커지게 된다. (상기 식(3),(4)에서, 분모의 B, C에 포함되는
[수 55]
Figure 112008063377312-pct00098
가 작을수록 검출 평가치의 기대값 E[ρ]가 커지게 된다) 이것은, 상관값 계산부(222)에서의 상관계산에 있어서, i"에 포함되는 노이즈 성분의 분산이 작을수록 신뢰성이 높은 검출이 가능하게 된다는 것을 의미하고 있으며, 본 발명의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치에서는 검출의 신뢰성이 높다는 것을 나타낸다.
또, N-1차원의 삽입 복소 패턴(921)을, 의사난수를 이용하여 만들어진 삽입 계열(913)에 기초한 복소수 배열로서 생성하고, 그것을 위상이 90°다른 주기신호로 변조함으로써, 삽입패턴(922)의 위상이 N-1차원 공간상에서 확산 되게 되어, 전자 워터마크의 검출시에 삽입 전 신호(912)에 기인하여 나타나는 노이즈 성분의 크기가 보다 작아지게 된다. 결과, 보다 신뢰성이 높은 전자 워터마크의 삽입, 검출이 가능하게 되고, 또 종래와 같은 정도의 신뢰성으로 보다 품질 열화가 적은 전자 워터마크의 삽입, 검출이 가능하게 된다.
스펙트럼 확산계열 길이 증대) 또, 복소수의 N-1차원 패턴으로서 전자 워터마크의 삽입계열을 삽입함으로써, 예를 들면, 전술한 문헌 '中村高雄, 小川宏, 富岡渟樹, 高嶋洋一, "전자 워터마크에 있어서의 평행이동·절취 내성 향상의 일수법" 1999년 암호와 정보 시큐리티 심포지움, SCIS99-W3-2.1, pp.193-198, 1999'과 같은 정지화용 전자 워터마크를 반복하여 각 프레임에 삽입하는 전자 워터마크 방법과 비교하여, 2배의 스펙트럼 확산계열 길이를 이용할 수 있다.
전술한 문헌 '山本奏, 中村高雄, 高嶋洋一, 片山渟, 北原亮, 宮武隆 '프레임 중첩형 동화상 전자 워터마크의 검출성능 평가에 관한 일 고찰' 정보과학기술 포럼 FIT 2005, J-029,2005'에 따르면, 스펙트럼 확산과 상관계산을 이용한 전자 워터마크의 경우, 전자 워터마크의 위양성(false positive)의 의미에서의 검출 신뢰성을 나타내는 검출 평가치는 스펙트럼 확산의 계열 길이의 제곱근에 비례하여 커지게 된다.(상기한 문헌 식 (3),(4)에서 E[ρ]는, 분자
Figure 112008063377312-pct00099
에 비례하고 있다) 이것은, 스펙트럼 확산 계열 길이가 길어지면, 그만큼 신뢰성이 높은 검출이 가능하다는 것 을 의미하고 있으며, 본 발명의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치에서는 종래방식과 비교하여
Figure 112008063377312-pct00100
배의 검출 평가치가 얻어지며, 검출의 신뢰성이 높다는 것을 나타낸다.
또, 종래와 같은 정도의 검출 신뢰성이 필요한 경우라면, 스펙트럼 확산 계열 길이를 2배로 하는 대신에, 각각 별도의 정보를 삽입함으로써, 전체적으로 삽입 정보 길이를 2배로 할 수도 있다.
N차원 방향으로의 변조) 시간변조부(130)에 있어서, N-1차원의 공간에 스펙트럼 확산된 N-1차원의 삽입패턴을, 그것과 직교하는 N차원째의 방향으로 주기신호를 이용하여 변조하고 있으며, N차원째의 방향에 주어지는 동기변위에 대해서 N-1차원의 공간에서는 공통의 영향을 미치도록 하고 있다는 특징을 가진다.
또, N-1차원 패턴의 삽입정보를 N차원 공간으로 넓힌 리던던시성(redundancy)에 의해, 예를 들면, 영상신호의 경우에, 고압축이나 재촬영 등의 개변(modification)에 대해서도 충분한 내성이 있고, 신호의 일부(영상신호의 경우 예를 들면 일부 프레임)를 개변한 경우나, 신호의 일부를 잘라낸 경우(영상신호의 경우, 예를 들면, 일부의 프레임 구간을 뽑아낸 경우)에도 전자 워터마크의 검출이 가능하게 되며, 이들 경우에 대해서도 품질 열화를 억제하고, 정보길이가 긴 정보에 대해서 전자 워터마크의 검출을 할 수 있다.
취약한 프레임 발생의 방지) 또, 시간변조부(130)에서는, 직교하거나 혹은 위상이 다른 2개의 주기신호로 변조한 신호의 합을 삽입패턴으로서 이용하고 있다. 만약 하나의 주기신호만으로 변조한 경우, 예를 들면, 영상신호에의 삽입의 경우에, 삽입패턴의 모든 값이 최저 영상신호 양자화값 미만이 되어 실제로는 전자 워터마크의 삽입이 이루어지지 않는 프레임이 발생할 가능성이 있다. 또, 그와 같은 프레임을 남겨두고, 실제로 워터마크 성분의 진폭이 크고 충분히 삽입되어 있는 프레임을 겨냥하여 개변함으로써 전자 워터마크를 삭제하는 공격도 가능하게 되어 버린다. 본 실시형태의 전자 워터마크 삽입장치와 같이 직교하거나 혹은 위상이 다른 2개의 주기신호로 변조한 신호의 합을 삽입패턴으로서 이용함으로써, 최저 영상신호 양자화값 미만이 되어 실제로는 전자 워터마크의 삽입이 이루어지지 않는 프레임이 발생하는 것을 방지할 수 있고, 전자 워터마크의 전송로로서의 영상신호를 유효하게 이용할 수 있음과 동시에, 전자 워터마크의 진폭이 큰 프레임을 겨냥하여 개변하는 공격에 대한 내성을 증가시킬 수 있다.
차분·미분으로부터의 검출 효과) 또, 시간복조부(210)로서, 도 27의 구성을 이용하면, 차분값, 미분값으로부터 복조함으로써, 주기신호에 의한 상쇄분 이상으로 원화성분이 크게 캔슬되어, 전자 워터마크의 검출이 용이하게 되고, 검출 정밀도가 향상한다는 이점이 있다. 역으로, 보다 약한 전자 워터마크의 삽입이라 하더라도 같은 정도의 검출 성능을 유지할 수 있으므로, 신호의 열화가 보다 적은 전자 워터마크의 삽입이 가능하다.
동기 과제의 해결) 또, 본 실시형태에 있어서의 전자 워터마크 검출장치에서는 이용하고 있지 않으나, 본 실시형태에 있어서의 전자 워터마크 삽입장치에서는, 후술하는 제4 실시형태, 제5 실시형태에서 서술할 전자 워터마크 검출장치를 이용 하고, N-1차원 공간에서 스펙트럼 확산된 삽입계열이 N차원째의 방향에서 동기 어긋남에 대해 공통의 영향을 받는 것을 이용한, 동기맞춤이 불필요하거나 혹은 용이하고 고속으로 동기맞춤이 가능한 전자 워터마크를 삽입할 수 있다는 특징을 가진다.
시간방향 스케일링에 대한 내성) 또, 본 실시형태에 있어서의 전자 워터마크 삽입장치에 있어서, 시간변조부(130)에서 이용하는 주기신호의 주파수로서, 비교적 낮은 주파수를 이용하도록 하면, 예를 들면, 프레임 레이트 변환이나 프레임 드롭, 프레임 삽입 등의 시간방향의 신축을 수반하는 공격에 대해서도, 어느 정도의 내성이 있는 전자 워터마크 검출이 가능하다.
전체 효과) 또, 전체적으로 전자 워터마크의 검출 신뢰도가 높고, 내성이 증가해 있기 때문에, 종래와 같은 정도의 검출 신뢰도나 내성을 얻기 위해서 필요한 전자 워터마크의 삽입 강도가 작아도 되므로, 전자 워터마크에 의한 신호의 품질 열화를 보다 작아지게 할 수 있으며, 예를 들어, 영상신호에의 삽입의 경우에, 전자 워터마크가 삽입된 영상의 화질을 높게 할 수 있다.
[제2 실시형태]
<1차원 FFT 시간변조>
이하에, 제2 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치에 대해서 설명한다.
본 실시형태의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치는, 제1 실시형태의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치의 시간변조, 복조 처리를, 1차원 푸리에 변환 처리로 실현한 예이다.
실시형태의 전자 워터마크 삽입장치는, 제1 실시형태의 전자 워터마크 삽입장치(100)와 동일한 구성을 가지며, 시간변조부(130)만이 다른 구성을 갖고 있다.
또, 본 실시형태의 전자 워터마크 검출장치는, 제1 실시형태의 전자 워터마크 검출장치(200)와 동일한 구성을 가지며, 시간복조부(210)만이 다른 구성을 갖고 있다.
<전자 워터마크 삽입장치 - 시간변조부>
도 31은, 본 발명의 제2 실시형태에 있어서의 전자 워터마크 삽입장치의 시간변조부의 구성 예를 나타낸다. 도 31에 도시한 시간변조부(130b)는, 1차원 역 푸리에 변환부(134)를 갖는다. 1차원 역 푸리에 변환부(134)는, 삽입 복소 패턴(921)이 입력되고, 삽입패턴(922)을 출력한다.
시간변조부(130b)에 의한 삽입패턴(922)의 생성 처리는, 1차원 역 푸리에 변환부(134)에서 이하의 수순으로 실시된다.
도 32는, 본 발명의 제2 실시형태에 있어서의 시간변조부의 동작 흐름도이다.
단계 901) 삽입 복소 패턴(921)의 위치 (x1, x2,…, xN -1)에 대한 P(x1, x2,…, xN -1)를, N차원째 축(예를 들면 시간축)에 있어서의 특정의 주파수에 대한 푸리에 계수라고 본다.
단계 902) 단계 901의 푸리에 계수를 N차원째 축에 대해서 이산 역 푸리에 변환하여, 위치 (x1, x2,…, xN -1)에 대한 1차원 계열을 얻는다.
단계 903) 단계 902의 1차원 계열을 각 위치의 값으로 하는 N차원 패턴을 삽입패턴(922)으로 한다.
구체적으로 식을 이용하여 이하에 설명한다.
삽입 복소 패턴(921)을 P(x1, x2,…, xN -1)라 한다.
P(x1, x2,…, xN -1)를 이용하여 다음과 같이 이산 푸리에 계수 패턴 ξ(x1, x2,…, xN -1, u)을 구성한다.
[수 56]
Figure 112008063377312-pct00101
단, *는 복소공액을 나타내며, u0은 미리 정해진 주파수, U는 주파수 표본의 수라 한다. u＝u0과 u＝U－u0으로 P의 공액복소수를 주는 것은 이산 역 푸리에 변환의 결과 얻어지는 신호가 실수값이 되기 때문이다.
상기한 ξ를, u에 대해서 1차원 이산 역 푸리에 변환하고, 삽입패턴 W(x1, x2,…, xN -1, t)를 얻는다.
<전자 워터마크 검출장치 - 시간복조부>
다음으로, 제2 실시형태에 있어서의 전자 워터마크 검출장치(200)의 시간복 조부(210)에 대해서 설명한다.
도 33은, 본 발명의 제2 실시형태에 있어서의 시간복조부의 구성 예를 나타낸다.
도 33의 시간복조부(210c)는, 1차원 푸리에 변환부(214)를 가지며, 삽입 완료 신호(923)가 입력되고, 검출 복소 패턴(961)을 출력한다.
또한, 도 33에 있어서는 도 31과의 대응을 용이하게 하기 위해, 밑에서 위로 정보가 흐르도록 구성이 기재되어 있다는 것에 주의해야 한다.
시간복조부(210c)에 의한 삽입 완료 신호(923)의 복조 처리는 이하의 수순으로 실시된다.
도 34는, 본 발명의 제2 실시형태에 있어서의 시간 복조부의 동작 흐름도이다.
단계 1001) 입력된 삽입 완료 신호(923)로부터 소정의 구간 T를 취출한다.
단계 1002) 단계 1001의 구간 T를 위치 (x1, x2,…, xN -1)마다 1차원 이산 푸리에 변환하여, 주파수 분해한다.
단계 1003) 단계 1002의 결과로부터, 소정의 주파수의 푸리에 계수를 취출하여, 검출 복소 패턴(961)으로 한다.
구체적으로 식을 이용하여 이하에 설명한다.
삽입 완료 신호(923)를 I"(x1, x2,…, xN -1, t)라 한다.
I"(x1, x2,…, xN -1, t)를 다음과 같이 1차원 이산 푸리에 변환하여, η(x1, x2,…, xN -1, u)를 얻는다.
[수 57]
Figure 112008063377312-pct00102
단, T는 미리 정해진 소정의 표본수(predetermined number of samples)라 한다.
검출 복소 패턴(961)을 Q(x1, x2,…, xN -1)로 나타내는 것으로 하고, η(x1, x2,…, xN -1, u)으로부터 Q(x1, x2,…, xN -1)를
Figure 112008063377312-pct00103
로 구한다. 단, u0은 미리 정해진 주파수라 한다.
여기서, 차분·미분을 이용한 시간복조에 대해서 설명한다.
제1 실시형태에서 나타낸 것과 마찬가지로, 상기 대신에 삽입 완료 신호(923) I"(x1, x2,…, xN -1, t)의 t축 방향의 차분 혹은 미분을 1차원 이산 푸리에 변환하여 복조하도록 해도 좋다. 즉, 예를 들면 차분을 이용한 경우,
[수 58]
Figure 112008063377312-pct00104
단, T는 미리 정해진 소정의 표본수라 한다. 또, Δt는 소정의 표본간격이다. 예를 들면, Δt＝1인 경우, 1 표본간격으로 차분을 산출하는 것을 나타내며, 영상신호를 예로 들면, 인접하는 프레임간의 차분을 계산하는 것을 나타낸다. Δt는 1 이외의 수이어도 무관하다.
이와 같은 시간복조부(210)의 구성 예를 도 35에 나타낸다.
도 35의 시간복조부(210d)는, 도 33의 시간복조부(210c)와 거의 동일한 구성을 갖고 있으며, 삽입 완료 신호(923)가 일단 신호 미분부(215)에 입력된 후에 1차원 푸리에 변환부(216)에 입력되도록 구성되어 있는 점이 다르다.
신호 미분부(215)에서는 입력된 삽입 완료 신호(923)에 대해서, N차원째의 축, 즉, t축 방향의 차분 혹은 미분을 계산하고, 1차원 푸리에 변환부(216)로 출력하도록 되어 있다.
삽입 완료 신호(923) I"(x1, x2,…, xN -1, t)의 t축 방향의 차분 혹은 미분을 1차원 이산 푸리에 변환하고, 복조하도록 하는 것의 효과는, 제1 실시형태에 있어서의 도 27의 시간복조부(210b)에서의 효과와 동일하다.
<제2 실시형태의 특징>
본 실시형태의 특징을 설명한다.
본 실시형태의 전자 워터마크 삽입장치와 전자 워터마크 검출장치는, 제1 실시형태의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치와 동일한 효과를 얻는 전자 워터마크 삽입장치 및 전자 워터마크 검출장치를, 1차원 푸리에 변환을 이용하여 실현한 예이다.
1차원 푸리에 변환을 이용함으로써, 기존의 푸리에 변환장치를 이용하여 용이하게 전자 워터마크 삽입장치 및 전자 워터마크 검출장치를 구성할 수 있다.
또한, 제1 실시형태와 본 실시형태의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치를 조합하여 사용해도 무관하다. 즉, 전자 워터마크 삽입장치의 시간 변조부(130b)를 제1 실시형태의 시간변조부(130a)로 하고, 전자 워터마크 검출장치의 시간복조부(210c)를 본 실시형태의 시간복조부(210d)로서 조합하여 사용해도 좋으며, 전자 워터마크 삽입장치의 시간변조부(130a)를 본 실시형태의 시간 변조부(130b)로 하고, 전자 워터마크 검출장치의 시간복조부(210c)를 본 실시형태에 있어서의 시간복조부(210d)로 해도 좋다.
[제3 실시형태]
<2차원 FFT 계수 삽입>
이하에, 본 발명의 제3 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치에 대해서 설명한다.
본 실시형태는, 제1 실시형태의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치에 있어서, 전자 워터마크 삽입을 직교변환영역에서 수행하도록 한 예이다.
본 실시형태의 전자 워터마크 삽입장치는, 제1 실시형태의 전자 워터마크 삽입장치와 동일한 구성이나, 복소 패턴 생성부만이 다르다.
또, 본 실시형태의 전자 워터마크 검출장치는, 제1 실시형태의 전자 워터마크 검출장치와 동일한 구성이나, 검출정보 추출부만이 다르다.
<전자 워터마크 삽입장치 - 복소 패턴 생성부>
이하에, 본 실시형태에 있어서의 복소 패턴 생성부에 대해서 설명한다.
도 36은, 본 발명의 제3 실시형태에 있어서의 복소 패턴 생성부의 구성을 나타낸다.
도 36에 도시한 복소 패턴 생성부(110b)는, 삽입계열 생성부(111), 복소 배열 생성부(112), N-1차원 역 푸리에 변환부(113)로 구성되고, 도 12의 구성에 N-1차원 역 푸리에 변환부(113)가 추가된 구성이며, 삽입정보(911)가 입력되고, 삽입 복소 패턴(921)을 출력한다.
복소 패턴 생성부(110b)에 의한 삽입 복소 패턴의 생성 처리는 이하 수순으로 실시된다.
도 37은, 본 발명의 제3 실시형태에 있어서의 복소 패턴 생성부의 동작 흐름도이다.
단계 1101) 삽입계열 생성부(111)에서, 입력된 삽입정보(911)에 기초하여, 삽입정보를 나타내는 수치의 예인 삽입계열(913)을 생성한다. 삽입계열 생성부(111)의 동작은, 제1 실시형태와 동일하다.
단계 1102) 복소 배열 생성부(112)에서, 삽입계열 생성부(111)에서 생성된 삽입계열(913)을, N-1차원 복소 배열상의 요소의 실수부 및 허수부에 할당하여, 중간 복소 패턴(904)을 생성한다.
복소 배열 생성부(112)의 동작에 대해서는 후술한다.
단계 1103) N-1차원 역 푸리에 변환부(113)에서, 복소 배열 생성부(112)에서 생성된 중간 복소 패턴(904)에 대해서, N-1차원의 역 푸리에 변환을 수행하고, 마찬가지로 N-1차원의 삽입 복소 패턴(921)을 생성한다. N-1차원 역 푸리에 변환부(113)의 동작 상세에 대해서는 후술한다.
<전자 워터마크 삽입장치 - 복소 패턴 생성부- 복소 배열 생성부>
다음으로, 상기한 단계 1102의 복소 배열 생성부(112)의 동작에 대해서 상세히 설명한다.
복소 배열 생성부(112)의 동작은, 제1 실시형태의 복소 배열 생성부(112)와 동일한 동작이어도 좋으나, 보다 효과적인 전자 워터마크의 삽입을 위해 하기와 같이 처리해도 좋다.
1) 모든 요소의 값이 0인, 크기 M1×M2×…MN-1의 N-1차원 복소수 배열을 마련한다. 단, M1, M2,…, MN -1은, 미리 정해진 요소수이다.
2) 복소 배열 중에서 삽입계열(913)의 할당을 수행할 요소의 범위를 결정한다. 범위의 예에 대해서는 후술한다.
3) 삽입계열(913)로부터 순서대로 2개씩 값을 취출하여, 상기 1)의 배열 중에서 상기 2)에서 정한 범위 내의 요소에 대해서, 순서대로 취출한 값이 그 요소값 의 실수부, 허수부가 되도록 배열에 값을 설정한다.
4) 상기 3)에서 생성된 복소 배열을 중간 복소 패턴(904)으로서 N-1차원 역 푸리에 변환부(113)로 출력한다.
또, 제1 실시형태에 있어서의 복소 배열 생성부(112)와 마찬가지로, 상기 3)에 앞서, 삽입계열(913)의 순서를 의사난수를 이용하여, 랜덤한 순서로 교체해 두어도 좋음은 물론이다.
이와 같은 복소 배열 생성의 처리는, 특허문헌 1에 나타나 있는 워터마크 계수 행렬의 생성과 유사하다. 단, 본 발명에서는, 중간 복소 패턴(904)은 후에 N-1차원 역 푸리에 변환부(113)에서 역 푸리에 변환되는데, 역 푸리에 변환된 결과가 실수값이 될 필요는 없고, 복소수가 되어도 좋으므로, 중간 복소 패턴(904)이, 푸리에 변환 계수의 대칭성을 보유하고 있을 필요는 없다. 즉, 상기 2)의 범위의 모든 요소를 이용하여 삽입계열(913)의 삽입을 수행할 수 있으며, 특허문헌 1과 비교하여, 2배의 길이의 삽입계열(913)을 삽입할 수 있음을 나타낸다.
상기 2)에 있어서의 요소(element)의 범위에 대해서 설명한다.
도 38a∼38f는, 본 발명의 제3 실시형태의 복소 배열 생성부에 있어서의 복소 배열의 요소 범위의 각 예이다. 도 38a, b, c에 복소 배열 생성부(112)에 있어서의 복소 배열의 요소 범위의 예를 나타낸다. N＝3이고 2차원의 복소 배열을 이용한 경우를 예로 나타내고 있다. 도 38a∼38f에 있어서, 정방형 부분이 복소 배열을 나타내고, 빗금친 영역이 삽입계열(913)의 할당을 수행할 요소의 범위를 나타낸다.
복소 배열은, 후에 N-1차원 역 푸리에 변환부(113)에서 역 푸리에 변환되므 로, 삽입패턴에 대한 주파수영역에서의 표현이라고 생각할 수 있다.
현재, 배열의 요소(0, 0)가 DC성분을 나타내므로, 도 38d, e, f와 같이, 복소 배열을 배열의 요소(0. 0)가 중심에 오도록 순회적으로 다시 그림으로써, 삽입계열(913)이 어떠한 주파수대역을 이용하여 삽입되는지를 이해할 수 있다.
도 38d에서는 구형 영역, 도 38e에서는 원형 영역, 도 38f에서는 마름모 영역에서 모두 중주파수 대역으로의 삽입이 된다.
예를 들면, 화상이나 영상에의 전자 워터마크 삽입을 생각한 경우, 고주파수 대역에 삽입된 전자 워터마크는, MPEG2나 H.264 등의 영상부호화에 의해 용이하게 삭제되어 버리는 것이 생각되어 지는 한편, 저주파수 영역에의 삽입은 시각적인 영향이 크기 때문에 중주파수 대역에의 삽입을 예로 들었다.
또, 인간의 시각 특성상, 고주파역에 있어서, 사선방향의 주파수는 종횡방향의 주파수와 비교하여 시각감도가 낮다는 것이 알려져 있으며("宮原誠 '계통적 화상 부호화', IPC, 1990, pp.87"), 종횡과 비교하여 낮은 주파수대에의 삽입을 수행해도 눈에 띄기 어렵다는 특성이 있다. 또, 예를 들면, JPEG나 MPEG 등 화상, 영상 부호화 등에서 사선방향의 양자화 단계는 종횡방향보다도 큼직하게 설정되어 있으므로, 사선방향이 종횡방향과 비교하여 고주파가 부호화에 의해 삭감되기 쉬운 경향이 있다. 도 38c, f와 같이 마름모 영역에의 삽입을 수행함으로써, 이와 같은 상황에서도 화상품질이 높고, 내성이 높은 전자 워터마크 삽입을 수행할 수 있다.
또, 도 39a∼39f는, 본 발명의 제3 실시형태의 복소 배열 생성부에 있어서의 복소 배열의 요소범위의 각 예이다. 영상에의 전자 워터마크 삽입의 경우에, 본 발 명과 같이 시간방향이 장기간인 신호, 즉, 많은 프레임 수를 이용하여, 검출성능이 높은 전자 워터마크 검출을 수행하는 경우에는, 전자 워터마크 삽입의 강도를 작게할 수 있다. 그 결과, 도 39a∼39f에 도시한 바와 같은 저주파수 대역에의 삽입을 수행해도 시각적인 영향을 작에 할 수 있어, 이와 같은 삽입 방법을 취하는 것도 가능하다.
<전자 워터마크 삽입장치 - 복소 패턴 생성부 - N-1차원 역 푸리에 변환부>
다음으로, 복소 패턴 생성부(110b)의 N-1차원 역 푸리에 변환부(113)의 동작에 대해서 상세히 설명한다.
N-1차원 역 푸리에 변환부(113)에 있어서의 푸리에 변환은 이하의 수순으로 수행된다.
1) 복소 배열 생성부(112)에서 생성된 N-1차원 중간 복소 패턴(904)을
Figure 112008063377312-pct00105
라 한다.
2) A(x1, x2,…, xN -1)를 N-1차원의 이산 역 푸리에 변환하여, 삽입 복소 패턴 P(x1, x2,…, xN -1)을 구한다.
[수 59]
Figure 112008063377312-pct00106
단, M1, M2,…, MN -1은 복소 배열 생성부(112)에서 생성된 N-1차원 중간 복소 패턴(904)의 크기(각 차원의 요소수)이다.
<전자 워터마크 검출장치 - 검출정보 추출부>
다음으로, 본 발명의 제3 실시형태에 있어서의 전자 워터마크 검출장치(200)의 검출정보 추출부(220b)에 대해서 설명한다.
도 40은, 본 발명의 제3 실시형태에 있어서의 검출정보 추출부의 구성 예이다.
도 40에 도시한 검출정보 추출부(220b)는, N-1차원 푸리에 변환부(225), 검출계열 추출부(221), 상관값 계산부(222), 최대값 판정부(223), 검출정보 재구성부(224)로 구성되며, 검출 복소 패턴(961)이 입력되고, 검출정보(914)를 출력한다.
또한, 도 40에 있어서는, 도 36과의 대응 이해를 용이하게 하기 위해서, 밑에서 위로 정보가 흐르도록 구성이 기재되어 있다는 것에 주의해야 한다.
검출정보 추출부(220b)에 의한 검출정보 추출 처리는, 이하의 수순으로 실시된다.
도 41은, 본 발명의 제3 실시형태에 있어서의 검출정보 추출부의 동작 흐름도이다.
단계 1201) N-1차원 푸리에 변환부(225)에서, 입력된 검출 복소 패턴(961)에 대해서, N-1차원 푸리에 변환을 수행하여, 마찬가지로 N-1차원 검출 복소 배열(1115)을 생성한다.
N-1차원 푸리에 변환부(225)의 동작 상세에 대해서는 후술한다.
단계 1202) 검출계열 추출부(221)에서, N-1차원 푸리에 변환부(225)에서 생성된 검출 복소 배열(1115)로부터, 요소값의 실수부, 허수부의 값을 취출하여 나열한 검출계열(1113)을 구성한다.
검출계열 추출부(221)의 동작 상세에 대해서는 후술한다.
단계 1203) 상관값 계산부(222)에서, 검출계열 추출부(221)에서 구성된 검출계열(1113)과, 상정되는 삽입계열에 기초하여 구성된 삽입계열과의 상관을 계산하고, 상관값(1114)을 구한다.
상관값 계산부(222)의 동작은, 제1 실시형태와 동일하다.
단계 1204) 최대값 판정부(223)에서, 상관값 계산부(222)에서 얻어진 상관값(1114)이 최대가 되는 것을 찾아내고, 최대가 되는 상관값(1114)에 대응하는 상관값 계산부(222)에서의 상관계산에서 이용된 삽입계열을 결정한다.
최대값 판정부(223)의 동작은, 제1 실시형태와 동일하다. 전자 워터마크 삽입장치(100)에 있어서의 삽입계열의 구성방법에 따라서는, 최대값 판정부(223)에 의한 최대값 판정 대신에, 다른 방법으로 판정을 수행하도록 되어 있어도 좋음은 물론이다.
단계 1205) 검출정보 재구성부(224)에서, 최대값 판정부(223)에서 판정된 삽입계열에 기초하여, 실제로 삽입되어 있었다고 판단하는 검출정보(914)를 재구성한다.
검출정보 재구성부(224)의 동작은 제1 실시형태와 동일하다.
<전자 워터마크 검출장치 - 검출정보 추출부 - N-1차원 역 푸리에 변환부>
다음으로, 상기한 검출정보 추출부(220b)의 N-1차원 푸리에 변환부(225)의 동작 상세에 대해서 설명한다.
N-1차원 푸리에 변환부(225)에 있어서의 푸리에 변환 처리는 이하의 수순으로 수행된다.
1) 입력된 검출 복소 패턴(961)으로부터 크기 M1×M2×…MN-1의 N-1차원 복소 배열을 구성한다. 단, M1, M2,…, MN -1은 전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에서 이용한 것과 동일한 요소수이다.
검출 복소 패턴(961)이 이산 신호로서 얻어져 있는 경우는 그것을 그대로 N-1차원 복소 배열이라고 간주한다. 검출 복소 패턴(961)이 연속 신호로서 얻어져 있는 경우는, 검출 복소 패턴(961)을 임의의 표본화 수단을 이용하여 표본화한 것을 N-1차원 복소 배열로서 이용한다.
2) 상기 1)의 복소 배열을 Q(x1, x2,…, xN -1)라 할 때, 이것을 N-1차원 이산 푸리에 변환하여, A[u1, u2,…, uN-1]를 구한다.
[수 60]
Figure 112008063377312-pct00107
3) 상기 2)에서 구한 A[u1, u2,…, uN-1]를 검출 복소 배열(1115)로서 검출 계열 추출부(221)로 출력한다.
<전자 워터마크 검출장치 - 검출정보 추출부 - 검출계열 추출부>
다음으로, 검출정보 추출부(220b)의 검출계열 추출부(221)의 동작 상세에 대해서 설명한다.
검출계열 추출부(221)의 동작은, 제1 실시형태와 기본적으로는 동일하나, 본 실시형태에 있어서의 복소 배열 생성부(112)의 동작에 맞춰, 하기와 같이 처리해도 좋다.
검출계열 추출부(221)에서의 처리는 이하의 수순으로 실시된다.
1) N-1차원 푸리에 변환부(225)에서 얻어진 검출 복소 배열(1115)로부터, 전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에서 이용한 범위의 요소를 취출하고, 취출한 복소수값의 실수부, 허수부를 각각 단독의 실수값으로서 보고 나열한다. 이것은, 전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에서의 복소 배열의 생성과 대칭적인 처리이다.
2) 얻어진 계열을 i"1, i"2, …, i"L이라 하고, 검출계열(1113)로서 출력한다.
전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에서, 삽입계열(913)의 순서 혹은 복소 배열 요소의 교체가 이루어져 있는 경우에는 그 순서를 되돌리는 점은 제1 실시형태와 동일하다.
<제3 실시형태의 특징>
이하에, 본 실시형태의 특징을 서술한다.
본 실시형태의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치에 따르면, 예를 들어, 특허 문헌 1에 나타나 있는 것과 마찬가지로, 영상신호의 부호화나 노이즈 부가(noise addition)에서도 남기 쉽고, 또한 시각적인 영향이 적은 대역에 전자 워터마크를 삽입할 수 있으므로, 내성이 높고, 화질이 높은 전자 워터마크 삽입이 가능하다.
특히, 주파수영역에서의 삽입 범위를, 마름모 영역에서 수행함으로써, 영상 부호화 등에서의 압축에 의해 로버스트(robust)한 전자 워터마크 삽입이 가능하다.
또, 삽입패턴은 신호 전체에 확산되어 있기 때문에, 특허문헌 1에 나타나 있는 바와 같은 오프셋 탐색방법을 취하면, 삽입 완료 신호로부터 부분적으로 잘라낸 신호로부터도 전자 워터마크 검출이 가능하다.
또한, 본 발명에서는, 특허문헌 1에 나타낸 전자 워터마크 방식과 달리, 중간 복소 패턴(904)은, 특허문헌 1의 단락번호 0197에 기재되어 있는 워터마크 계수 행렬 등과 비교하여, 푸리에 변환 계수의 대칭성을 유지할 필요가 없기 때문에, 2배의 길이의 삽입계열(913)을 삽입할 수 있다. 즉, 2배의 스펙트럼 확산 계열 길이를 이용할 수 있다.
이미 서술한 바와 같이, 스펙트럼 확산 계열 길이가 길어지면, 그만큼 신뢰성이 높은 검출이 가능해지며, 또, 종래와 같은 정도의 검출 신뢰성이라면, 삽입 정보 길이를 2배로 할 수 있고, 또, 종래와 같은 정도의 검출 신뢰성과 정보 길이 라면, 보다 품질 열화가 적은 전자 워터마크 삽입이 가능해지기 때문에, 본 발명에 의해, 신뢰성이 높고, 정보 길이가 길고, 품질 열화가 적은 전자 워터마크 삽입이 가능하게 된다는 것을 나타내고 있다.
또, 본 실시형태와 제2 실시형태의 시간변조부(130b) 또는 시간복조부(210b)를 조합하여 실시하는 것도 가능하다.
또, 본 실시형태와 제2 실시형태의 시간변조부(130) 또는 시간복조부(210b)를 조합하는 경우에는, N-1차원 역 푸리에 변환부(113)의 N-1차원 역 푸리에 변환 처리와 시간변조부(130)의 1차원 역 푸리에 변환 처리를 일괄하여 N차원 역 푸리에 변환 처리로서 실시할 수도 있다. 마찬가지로, N-1차원 푸리에 변환부(225)의 N-1차원 변화 처리와 시간복조부(210)의 1차원 푸리에 변환 처리를 일괄하여 N차원 푸리에 변환 처리로서 실시할 수도 있다.
[제4 실시형태]
<시간동기 불필요 검출>
이하에, 제4 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치에 대해서 설명한다.
본 실시형태는, 전자 워터마크의 삽입이 제1 실시형태에 있어서의 전자 워터마크 삽입장치(100)를 이용하여 수행된 경우에, 전자 워터마크 검출장치에 있어서, 시간축(N번째 차원의 축) 방향에서 동기가 어긋난 신호가 입력된 경우에, 동기맞춤을 수행할 필요없이 전자 워터마크 검출을 수행하는 예이다.
본 실시형태의 전자 워터마크 검출장치는, 제1 실시형태와 전자 워터마크 검 출장치(200)와 동일한 구성을 가지며, 검출정보 추출부(22)만이 다른 구성을 갖고 있다.
또, 시간복조부(210)에 대해서는, 본 발명의 그 밖의 실시형태의 시간복조부를 이용해도 좋다. 예를 들면, 제2 실시형태의 시간복조부(210b, 210c)를 이용해도 무관하다.
또한, 본 실시형태에서는, 제1 실시형태에 있어서의 전자 워터마크 삽입장치(100)를 이용하여 전자 워터마크의 삽입이 수행된 경우를 예로 기재하고 있으나, 다른 실시형태에 있어서의 전자 워터마크 삽입장치를 이용하여 전자 워터마크의 삽입이 수행된 경우의 검출에 대해서도 동일하게 조합하여 적용할 수 있다. 예를 들면, 제3 실시형태에 있어서의 전자 워터마크 삽입장치로 삽입을 수행하고, 제3 실시형태에 있어서의 전자 워터마크 검출장치의 N-1차원 푸리에 변환부(225)를 조합하여 검출을 수행하도록 해도 좋다. 그러한 경우, 개개의 수순에 상응하는 변경이 필요한 경우가 있으나, 그러한 필요한 변경은, 본 실시형태의 설명 및 그것들의 전자 워터마크의 삽입에 대한 설명에 기초하면 명백하다는 것은 당연하다.
<전자 워터마크 검출장치 - 검출정보 추출부>
이하에, 본 실시형태의 전자 워터마크 검출장치에 있어서의 검출정보 추출부의 동작을 설명한다.
도 42는, 본 발명의 제4 실시형태에 있어서의 검출정보 추출부의 구성을 나타낸다. 도 42에 있어서, 도 28 및 도 40과 동일 구성 부분에는 동일 부호를 붙인다.
도 42에 도시한 검출정보 추출부(220c)는, 검출계열 추출부(221), 복소 상관값 계산부(226), 절대값 산출부(227), 최대값 판정부(223), 검출정보 재구성부(224)로 구성되며, 검출 복소 패턴(961)이 입력되고, 검출정보(914)를 출력한다.
검출정보 추출부(220c)에 의한 검출정보 추출 처리는, 이하의 수순으로 실시된다.
도 43은, 본 발명의 제4 실시형태에 있어서의 검출정보 추출부의 동작 흐름도이다.
단계 1301) 검출계열 추출부(221)에서, 입력된 검출 복소 패턴(961)으로부터 얻어지는 복소수값을 나열한 검출 복소수 계열(1118)을 구성한다. 검출계열 추출부(221)의 동작 상세에 대해서는 후술한다.
단계 1302) 복소 상관값 계산부(226)에서, 검출계열 추출부(221)에서 구성된 검출 복소수 계열(1118)과, 상정되는 삽입계열에 기초하여 구성된 복소수 계열과의 복소상관을 계산하고, 복소수로 나타나는 복소 상관값(1116)을 구한다.
삽입계열의 종류에 따라서 다른 값이 삽입되어 있는 경우에는, 생각할 수 있는 복수의 삽입계열에 기초하여 구성된 복수의 복소수 계열과의 복소상관을 각각 계산하고, 대응하는 복소 상관값(1116)을 구한다.
복소 상관값 계산부(226)의 동작 상세에 대해서는 후술한다.
단계 1303) 절대값 산출부(227)에서, 복소 상관값 계산부(226)에서 얻어진 복소 상관값(1116)의 절대값(1117)을 산출한다. 절대값을 산출함으로써, 동기가 어긋난 신호가 입력된 경우에도 동기변위량에 관계없이 검출 복소수 계열과의 상관이 높은 삽입계열을 결정할 수 있다.
단계 1304) 최대값 판정부(223)에서, 절대값 산출부(227)에서 얻어진 절대값(1117)이 최대가 되는 것을 찾아내고, 최대가 되는 절대값에 대응하는 복소 상관값 계산부(226)에서의 상관계산에서 이용된 삽입계열을 결정한다.
또한, 전자 워터마크 삽입장치(100)에 있어서의 삽입계열의 구성방법에 따라서는, 최대값 판정부(223)에 의한 최대값 판정 대신에, 다른 방법으로 판정을 수행하도록 되어 있어도 좋다.
최대값 판정부(223)의 동작 상세 및, 대체되는 다른 방법의 상세에 대해서는 후술한다.
단계 1305) 검출정보 재구성부(224)에서, 최대값 판정부(223)에서 결정된 삽입계열에 기초하여, 실제로 삽입되어 있었다고 판단하는 검출정보(914)를 재구성한다.
검출정보 재구성부(224)의 동작은, 제1 실시형태와 동일하다.
또한, 전자 워터마크의 삽입이, 제3 실시형태에 있어서의 전자 워터마크 삽입장치(100)를 이용하여 수행된 경우에는, 검출계열 추출부(221)에 앞서, 제3 실시형태에 있어서의 N-1차원 푸리에 변환부(225)와 동일한 푸리에 변환 처리가 필요하게 된다.
또, 최대값 판정부(223)에서 삽입계열을 결정한 후, 그 삽입계열을 이용하고, 입력신호를 순차 동기를 변위시킨 신호를 이용하여, 제1 실시형태에 있어서의 검출정보 추출부(220a)와 동일한 처리를 총당적(round-robin fashion)으로 수행하 여, 동기변위량을 측정하고, 검출정보 추출부(220)에서 얻어진 상관값에 기초하여 보다 정확한 검출상관 평가치의 취득을 수행해도 무관하다. 이 경우에서도 모든 생각할 수 있는 삽입계열에 대해 모든 동기변위를 총당적(round-robin fashion)으로 탐색하는 것보다도 훨씬 고속으로 검출이 가능하다는 것은 말할 나위도 없다.
<전자 워터마크 검출장치 - 검출정보 추출부- 검출계열 추출부>
다음으로, 상기한 검출정보 추출부(220c)의 검출계열 추출부(221)의 동작 상세에 대해서 설명한다.
검출계열 추출부(221)는, 검출 복소 패턴(961)으로부터 얻어지는 복소수값으로부터 검출 복소수 계열(1118)을 구성한다.
검출계열 추출부(221)에서의 처리는 이하의 수순으로 실시된다.
1) 검출 복소 패턴(961)으르부터 크기 M1×M2×…MN-1의 N-1차원 복소 배열을 구성한다. 구성의 방법은, 전술한 제1 실시형태에 있어서의 도 30의 단계 801의 처리와 동일하다.
2) 상기 1)에서 얻어진 복소 배열로부터, 순서대로 하나씩 복소수값을 취출하여 나열하고, 이것을 검출 복소수 계열(1118)로 한다. 즉, 복소 배열이 A[P1, P2, …, PN -1](Pn≥0), 검출 복소 계열(1118)이 i"1, i"2, …, i"L로 나타나 있을 때,
Figure 112008063377312-pct00108
3) 얻어진 계열 i"1, i"2, …, i"L을, 검출계열(1115)로서 출력한다.
전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에서, 삽입계열(913)의 순서 혹은 복소 배열의 요소의 교체가 이루어져 있는 경우에는, 그 순서를 되돌리는 점은, 제1 실시형태에 있어서의 검출계열 추출부(221)와 동일하다.
또한, 전자 워터마크 삽입이, 제3 실시형태에 있어서의 전자 워터마크 삽입장치(100)를 이용하여 수행된 경우에는, 상기 2)의 처리에서, 제3 실시형태에 있어서의 전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에서 이용한 범위 내의 요소의 복소수값을 취출하여 나열하도록 한다.
<전자 워터마크 검출장치 - 검출정보 추출부 - 복소 상관값 계산부>
다음으로, 상기 검출정보 추출부(220c)의 복소 상관값 계산부(226)의 동작 상세에 대해서 설명한다.
복소 상관값 계산부(226)에서의 복소 상관값 계산 처리는, 이하의 수순으로 실시된다.
1) 전자 워터마크 삽입장치(100)의 삽입계열 생성부(111)와 동일한 수순에 의해, 생각할 수 있는 삽입계열 w(1), w(2), …을 생성한다. 생성의 방법은, 전술한 제1 실시형태에 있어서의 상관값 계산부(222)와 동일하다.
2) 상기 1)에서 얻어진 삽입계열 w(1), w(2), …로부터, 전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에서 하나의 복소수값의 실수부와 허수부에 할당된 값을 세트로 하여 동일한 복소수열을 구성하고, 이것을 삽입할 복소수 계열 ξ(1), ξ(2), …로 한다. 즉, 도 17과 같이 복소 배열이 구성되어 있다면,
[수 61]
Figure 112008063377312-pct00109
(단, L'＝L/2)라 할 때,
[수 62]
Figure 112008063377312-pct00110
라 한다.
삽입 복소수 계열의 구성방법은, 이 예에 한정되는 것은 아니며, 전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에서의 복소 배열의 구성에 대응하도록 구성되어 있다면 어떠한 구성방법이라도 무관함은 물론이다.
3) 검출계열 추출부(221)에서 얻어진 검출계열(1115)과, 상기 2)에서 얻어진 각 삽입계열 ξ(1), ξ(2), …과의 상관을, 복소상관을 이용하여 각각 계산한다.
상관계산은 다음과 같이 수행한다. ρ(j)를 구하고자 하는 복소 상관값(1116)이라 하면,
[수 63]
Figure 112008063377312-pct00111
여기서, ξ(1)*은, ξ(j) 요소의 공액복소수로 이루어지는 수열을 나타내고, ξk (1)*은 ξk (j)의 공액복소수라 한다. 또, "·"는 수열을 벡터로 보았을 때의 내적연산을 나타낸다.
여기서, ρ(j)는, 복소수가 된다.
또, 전술한 문헌 '中村高雄, 片山淳, 山室雅司, 曾根原登 "카메라 휴대전화기를 이용한 아날로그 화상으로부터의 고속 전자 워터마크 검출 방식', 신학론 D-Ⅱ, Vol. J87-D-Ⅱ, No.12, pp.2145-2155, 2004'에 있는 것과 같은 검출 신뢰성의 평가기준을 갖추기 위해, 예를 들면, i" 및 ξ(j)의 각 요소를 미리 평균 0, 분산의 절대값이 1이 되도록 정규화해 두고, 상관값 계산에서 정수항을 곱하여 연산을 수행해도 좋은 것은, 제1 실시형태에 있어서의 상관값 계산부(222)와 동일하다.
이와 같은 연산에서 동기가 어긋난 입력에 대해서 전자 워터마크의 검출이 가능하다는 것을 이하에 설명한다.
현재, 전자 워터마크 삽입장치에서 삽입된 계열이 w＝{w1, w2, …, wL}이고, 이것을 복소수로 나열한 것이 ξ＝{ξ1, ξ2, …, ξL}라 한다.
전자 워터마크의 삽입에 의해, 삽입 전 신호 및 그 밖의 노이즈 신호가 더해 진 후의 복소 계열을 i'＝{i1, i2, …, iL}라 하면,
Figure 112008063377312-pct00112
또한, 여기에 시간방향의 동기변위가 주어진 후에 얻어지는 계열을 i"라 하면,
Figure 112008063377312-pct00113
상기 식에서 ξ과의 상관을 계산하면,
[수 64]
Figure 112008063377312-pct00114
i와 ξ가 독립이고 L'이 충분히 크다면,
[수 65]
Figure 112008063377312-pct00115
의 기대값은 0이며,
[수 66]
Figure 112008063377312-pct00116
따라서,
[수 67]
Figure 112008063377312-pct00117
한편, 전자 워터마크가 삽입되어 있지 않은 경우는,
[수 68]
Figure 112008063377312-pct00118
이며, 이 기대값은 0이므로 |ρ|는 전자 워터마크가 삽입되어 있는 경우의 기대값
[수 69]
Figure 112008063377312-pct00119
과 비교하여 충분이 작고, 전자 워터마크의 검출이 가능하다.
<전자 워터마크 검출장치 - 검출정보 추출부 - 최대값 판정부>
다음으로, 검출정보 추출부(220c)의 최대값 판정부(223)에 대해서 상세히 설명한다.
최대값 판정부(223)에 있어서의 처리는 이하의 수순으로 실시된다.
1) 절대값 산출부(227)에서 얻어진 절대값(1117)
Figure 112008063377312-pct00120
으로부터, 값이 최대가 되는 절대값 |ρ(j)|를 찾아낸다.
Figure 112008063377312-pct00121
단, MAX()는 최대값을 돌려주는(returning) 연산이다.
2) |ρ(max)|에 대응하는 삽입계열 w(max)를 얻는다.
또, 최대의 상관값 |ρ(max)|이 소정의 임계값을 초과하고 있는지 어떤지를 판단하고, 소정의 임계값을 초과하지 않는 경우에는 전자 워터마크가 삽입되지 않은 것으로 판단하도록 해도 좋다.
이하에, 최대값 판정부(223)의 대체가 되는 동작에 대해서 설명한다.
최대값 판정부(223)에 의한 최대값 판정 대신에, 복소 상관값 계산부(226)에서 모든 삽입계열 w(1), w(2), …에 대응하는 복소 계열에 대해서 복소상관을 계산하지 않고, 삽입계열 w(1)에 대응하는 복소수 계열 ξ(1)로부터 순서대로 복소상관을 계산하고, 얻어진 복소 상관값의 절대값이 소정의 임계값을 초과하고 있는지 어떤지로 판정하여, 임계값을 초과한 삽입계열을 w(max)로서, 그 시점에서 상관계산을 종료하도록 되어 있어도 좋다.
또, 전자 워터마크 삽입장치(100)에 있어서의 삽입계열이, 예를 들면, 삽입계열 생성부(111)의 (예1)에서 나타낸 바와 같은, 1가지 삽입계열만으로 구성되어 삽입되어 있는 경우나, 예를 들면, 삽입계열 생성부(111)의 (예2), (예4)에서 나타낸 바와 같이, 1가지의 삽입 계열의 양(+) 음(-)의 차이를 기초로 구성되어 삽입되어 있는 경우에는, 복소 상관값은 하나만이 계산되므로, 최대값 판정부(223)에 의한 최대값 판정에는 의미가 없다. 대신에 얻어진 절대값이 소정의 임계값을 초과하고 있는지 어떤지로 판정하도록 되어 있어도 좋다.
또, 복소 상관값의 절대값의 크기로 워터마크 검출의 신뢰도를 평가하도록 해도 좋다.
또, 전자 워터마크 삽입장치(100)에 있어서의 삽입계열이, 예를 들면, 삽입계열 생성부(111)의 (예2), (예4)에서 나타낸 바와 같은, 삽입계열의 양음의 차이로 비트값의 0/1를 표현하도록 구성되어 삽입되어 있는 경우에는, 동기 어긋남에 의해 위상이 반파장 어긋난 신호가 입력된 경우와 모든 비트값이 반전한 정보가 삽입되어 있는 경우와의 구별이 되지 않는다. 그와 같은 경우에는, 예를 들면 비트값 중 1비트를 판정용 비트로서 반드시 1(혹은 0)을 취하도록 삽입계열을 구성하여 두고, 그 비트값을 이용하여 비트 반전을 보정하도록 해도 좋다. 또, 비대칭인 오류정정부호를 이용하여 부호화함으로써 판정가능하게 해도 좋다. 또, 본 발명의 전자 워터마크와는 다른 전자 워터마크 신호를 이용하여 판단하도록 해도 좋다. 이러한 에에 한정하는 것은 아니며, 그 밖의 방법으로 비트 반전의 보정을 수행해도 좋음은 물론이다.
또, 삽입계열 생성부(111)의 (예4)에서 나타낸 바와 같은, 삽입계열의 부분열을 이용하여 비트마다 양음의 극성을 기초로 확산되어 있는 경우에는, 이하와 같이 하여 보다 로버스트(robust)한 검출처리를 수행할 수 있다.
검출 복수소열(1118) 중의 a번째의 비트 위치에 대응하는 부분 복소 계열을
[수 70]
Figure 112008063377312-pct00122
라 한다. 또, a번째 비트 위치의 비트값의 확산에 이용한 복소 삽입계열을
[수 71]
Figure 112008063377312-pct00123
라 한다. 그리고, 다음과 같이 각 비트 위치 a마다의 복소 상관값 λ(a)를 산출한다.
[수 72]
Figure 112008063377312-pct00124
다음으로, n개의 복소 상관값 λ(a)의 방향을 일치시킨다. 구체적으로는, 예를 들면 0≤Argλ(a)＜π가 되는 λ(a)에 대해서는 변경을 수행하지 않고, π≤Arg λ(a)＜2π가 되는 λ(a)에 대해서는 ej π를 곱하여 편각을 180도 회전시킨다. 이 변경 처리에 의해, 모든 λ(a)는 복소 평면상의 제1 및 제2사분면 내의 값을 취하게 된다. 또한, 방향의 일치방법은 이 예에 한정하지 않는다. 예를 들면 복소 평면상의 제1 및 제4사분면 내의 값을 취하도록 할 수 있음은 자명하다.
다음으로 상기 변경 처리를 실시한 복소 상관값 λ(a)의 총합 λ을 이하와 같이 구한다.
[수 73]
Figure 112008063377312-pct00125
그리고 복소 평면상에서 원점을 지나 Argλ와 직교하는 직선을 경계선으로 하여 복소 평면을 2개의 영역으로 분할하고, 상기 변경처리 전의 λ(a)가 2개의 영역 중 어디에 속하는지로, a번째 비트위치의 검출 비트값을 정한다. 이 결정방법에서도 상술과 같은 비트 반전의 불확정성이 있으나, 예를 들면 비트값 내의 1비트를 비트 반전 판정용 플래그로서 이용하는 것 등에 의해 불확정성을 해결할 수 있다.
예를 들면 n＝2의 경우에 있어서, 도 44에 도시한 바와 같이, λ(1)은 0≤Argλ(1)＜π이므로 변경을 수행하지 않고, λ(2)는 π≤Argλ(2)＜2π이므로 ej π를 곱하여 편각을 180도 회전시킨다. 그리고, 이들의 총합 λ을 구하고, 복소 평면상에서 원점을 지나 Argλ와 직교하는 직선을 경계선으로 하여 복소 평면을 2개의 영역으로 분할하고, 한쪽 영역의 비트값을 "1"로 하고, 다른쪽 영역을 "0"으로 하여, 변경처리 전의 λ(1), λ(2)가 2개의 영역 중 어디에 속하는지로, 각각의 비트위치의 검출 비트값을 정한다.
상기와 같은 검출방법이 잘 작용하는 이유를 설명한다. 삽입시에는, 각 비트위치용의 복소 삽입계열에 대해서, 비트값에 따라서 ＋1 또는 －1을 곱함으로써 변조되었다. 따라서, 각 비트 위치 a마다의 복소상관값 λ(a)는 삽입되어 있는 비트값이 다르면 위상이 π만큼 어긋난 값을 취하게 된다. 그러나, π의 위상 어긋남을 동일시하면, 모든 λ(a)는 입력신호의 위상 어긋남량 Δθ의 방향에서 일치하게 된다. 동일시의 방법으로는, 상기와 같은 변경처리를 수행하면 된다는 것은 명백하다.
또, 각 비트마다의 복소 삽입계열의 길이 m은 전 복소 삽입계열의 길이 L'보다 짧다. 즉, 각 비트마다의 복소 삽입계열은 확산율이 낮기 때문에, 각 비트마다의 비트값을 검출하면 확산율 m에 의한 이득밖에 얻을 수 없기 때문에 내성이 낮아진다. 그러나, 상기와 같이 π의 위상 어긋남을 동일시하는 변경을 실시하여 모든 λ(a)의 방향을 일치시킨 후에 총합 λ을 구함으로써 전 삽입계열 길이 L'에 상당하는 이득을 얻을 수 있다. 따라서, Argλ와 직교하는 경계선을 이용하여 다시 변경전의 각 λ(a)를 평가하여 검출 비트값을 검출함으로써, 각 비트마다 검출하는 것보 다도 비트 판정 오류가 적어지고, 보다 높은 내성을 실현할 수 있다. 또한, 상기한 λ의 절대값의 크기로 전자 워터마크 검출의 신뢰도를 평가하도록 해도 좋다.
<제4 실시형태의 특징>
다음으로, 본 실시형태의 특징에 대해서 설명한다.
본 실시형태의 전자 워터마크 검출장치에 따르면, 전자 워터마크 검출에 있어서, 전자 워터마크 검출대상 신호의 동기가 어긋나 있을 때에도 전자 워터마크의 검출을 할 수 있다. 즉, N-1차원 공간에서 스펙트럼 확산된 삽입계열은, N차원째 방향에서의 동기 어긋남에 대해서 공통의 영향을 받는 것을 이용하여, N-1차원 공간에서의 확산된 계열의 복소상관값을 이용함으로써, 동기맞춤이 불필요한 전자 워터마크의 검출을 할 수 있다.
예를 들면, 영상신호의 경우에, 시간방향에서 검출을 개시하는 프레임이 어긋나 있는 경우에도 특별한 동기맞춤 방법을 이용하지 않고 전자 워터마크의 검출이 가능하다. 이것은, 예를 들면, 비디오카메라 등을 이용하여 재촬영된 영상으로부터 전자 워터마크를 검출하는 경우나, 비디오테이프 등 아날로그 데이터로 일단 변환된 영상으로부터 전자 워터마크를 검출하는 경우 등, 시간동기가 곤란한 이용상황에서 상당히 유효하다.
스크린이나 TV 등에 표시된 영상이 비디오카메라나 휴대전화 등의 카메라로 촬영된 경우, 재생의 프레임 레이트와 촬영의 프레임 레이트는 동기되어 있지 않기 때문에 서브프레임에서의 재샘플링이 발생하는 경우도 있다. 이것은 결과적으로 서브프레임 레벨(1프레임보다 짧은 간격)로 동기가 어긋나 있는 상태를 나타낸다. 이 와 같은 상황에서도, 시간복조에서 주기신호의 위상을 측정하는 것은 가능하며, 상기에 서술한 바와 같이 동기맞춤이 불필요한 전자 워터마크의 검출이 가능하다.
상기한 전자 워터마크 검출에 의해, 동기가 어긋난 신호에 대한 효율적인 검출이 가능함과 동시에, 특별한 동기맞춤 신호를 추가할 필요가 없기 때문에, 동기맞춤 신호에 의한 신호의 열화나 전자 워터마크의 검출성능의 열화가 없으며, 품질이 높고 검출성능이 높은 전자 워터마크 검출이 가능하게 된다.
[제5 실시형태]
<동기변위량 측정>
이하에, 제5 실시형태에 있어서의 전자 워터마크 검출장치에 대해서 설명한다.
본 실시형태는, 전자 워터마크 삽입이 본 발명의 제1 실시형태에 있어서의 전자 워터마크 삽입장치(100)를 이용하여 수행된 경우에, 전자 워터마크 검출장치에 있어서, 시간축(N번째 차원의 축) 방향에서 동기가 어긋난 신호가 입력된 경우에, 동기의 변위량을 검출하여 전자 워터마크의 검출을 수행하는 예이다.
또한, 본 실시형태에서는, 제1 실시형태에 있어서의 전자 워터마크 삽입장치(100)를 이용하여 전자 워터마크 삽입이 수행된 경우를 예로 기재하고 있으나, 다른 실시형태에 있어서의 전자 워터마크 삽입장치를 이용하여 전자 워터마크 삽입이 수행된 경우의 검출에 대해서도 동일하게 조합하여 적용할 수 있다. 예를 들면, 제3 실시형태에 있어서의 전자 워터마크 삽입장치로 삽입을 수행하고, 제3 실시형태에 있어서의 전자 워터마크 검출장치의 N-1차원 푸리에 변환부(225)를 조합하여 검출을 수행하도록 해도 좋다. 그러한 경우, 개개의 수순에 상응하는 변경이 필요한 경우가 있으나, 그러한 필요한 변경은, 본 실시형태의 설명 및 그것들의 전자 워터마크의 삽입에 대한 설명에 기초하면 명백하다는 것은 당연하다.
<전자 워터마크 검출장치>
본 실시형태에 있어서의 전자 워터마크 검출장치의 구성에 대해서 설명한다.
도 45는, 본 발명의 제5 실시형태에 있어서의 전자 워터마크 검출장치의 구성 예를 나타낸다.
도 45에 도시한 전자 워터마크 검출장치(300)는, 시간복조부(310), 동기검출부(320), 검출정보 추출부(330a), 패턴 기억부(340)로 구성되며, 삽입 완료 신호(923)가 입력되고, 검출정보(914)를 출력한다.
시간복조부(310)에 대해서는, 제1 실시형태에 있어서의 시간복조부(210)와 동일하다. 또, 그 밖의 실시형태의 시간복조부를 이용해도 좋다. 예를 들면, 제2 실시형태의 시간복조부(210c, 210d)를 이용해도 좋다.
또한, 도 45에서는, 도 10과의 대응 이해를 용이하게 하기 위해서, 밑에서 위로 정보가 흐르도록 구성이 기재되어 있다는 것에 주의해야 한다.
전자 워터마크 검출장치(300)에 의한 전자 워터마크의 검출처리는, 이하의 수순으로 실시된다.
도 46은, 본 발명의 제5 실시형태에 있어서의 전자 워터마크 검출장치의 동작 흐름도이다.
단계 1401) 시간복조부(310)에서, 시간축 방향의 복조를 수행하여, 검출 복 소 패턴(1501)을 얻고, 패턴 기억부(340)에 저장한다. 처리의 내용은 제1 실시형태의 전자 워터마크 검출장치(200)의 시간복조부(210)와 동일하다.
또한, 시간복조부(310)에 의한 시간 복조 처리에 앞서, 삽입 완료 신호(923)에 대해서 전처리를 수행해도 좋음은 제1 실시형태의 전자 워터마크 검출장치(200)와 동일하다.
단계 1402) 동기검출부(320)에서, 시간복조부(310)에서 얻어지고, 패턴 기억부(340)에 저장되어 있는 검출 복소 패턴(1501)으로부터, 삽입 완료 신호(923)에 대해서 미리 가해져 있던 시간축(N번째 차원의 축) 방향에서 동기변위의 크기를 검출하고, 동기변위량으로서 출력한다.
동기검출부(320)의 동작 상세에 대해서는 후술한다.
단계 1403) 검출정보 추출부(330a)에서, 시간복조부(310)에서 얻어지고, 패턴 기억부(340)에 저장되어 있는 검출 복소 패턴을 해석하고, 동기검출부(320)에서 얻어진 동기변위량(1502)에 기초하여 전자 워터마크 삽입장치(100)에서 삽입된 전자 워터마크 정보를 추출하여, 검출정보(914)로서 출력한다.
검출정보 추출부(330a)의 동작 상세에 대해서는 후술한다.
<전자 워터마크 검출장치 - 동기검출부>
다음으로, 상기한 동기검출부(320)의 동작 상세를 설명한다.
도 47은, 본 발명의 제5 실시형태에 있어서의 동기검출부의 구성 예를 나타낸다.
동기검출부(320)는, 복소 검출계열 추출부(321), 복소 상관값 계산부(322), 절대값 산출부(323), 동기검출 최대값 판정부(324), 위상 산출부(325)로 구성되며, 검출 복소 패턴(1501)을 패턴 기억부(340)로부터 읽고, 동기 변위량(1502)을 출력한다.
또한, 도 47에서는, 도 45와의 대응 이해를 용이하게 하기 위해, 밑에서 위로 정보가 흐르도록 구성이 기재되어 있다는 것에 주의해야 한다.
동기검출부(320)에 의한 동기 검출 처리는 이하의 수순으로 실시된다.
도 48은, 본 발명의 제5 실시형태에 있어서의 동기검출부의 동작 흐름도이다.
단계 1501) 복소 검출계열 추출부(321)에서, 입력된 검출 복소 패턴(1501)으로부터 얻어지는 복소수값을 나열한 검출 복소수 계열(1511)을 구성한다.
복소 검출계열 추출부(321)의 동작은, 제4 실시형태의 전자 워터마크 검출장치(200)에 있어서의 검출계열 추출부(221)의 동작과 동일하다.
단계 1502) 복소 상관값 계산부(322)에서, 검출계열 추출부(321)에서 구성된 검출 복소수 계열(1511)과, 상정되는 삽입계열에 기초하여 구성된 복소수 계열과의 복소상관을 계산하고, 복소수로 나타나는 복소 상관값(1512)을 구한다.
삽입계열의 종류에 따라서 다른 값이 삽입되어 있는 경우에는, 생각할 수 있는 복수의 삽입계열에 기초하여 구성된 복수의 복소수 계열과의 복소상관을 각각 계산하고, 대응하는 복소 상관값(1512)을 구한다.
또, 전자 워터마크 삽입장치(100)에 있어서의 삽입계열이, 예를 들면, 삽입계열 생성부(111)의 (예3)이나 (예4)에서 나타낸 바와 같은, 복수의 심볼(symbol) 또는 복수의 비트(bit)로 구성되어 있는 경우에는, 일부의 심볼 또는 비트에 대응하는 삽입계열에 기초하여 구성된 복소수 계열과의 복소상관을 계산하도록 해도 좋다. 즉, 복수의 심볼 또는 비트의 일부를 이용하여 동기를 맞추는 것에 상당한다.
복소 상관값 계산부(322)의 동작은, 제4 실시형태의 전자 워터마크 검출장치(200)에 있어서의 복소 상관값 계산부(226)의 동작과 동일하다.
단계 1503) 절대값 산출부(323)에서, 복소 상관값 계산부(322)에서 얻어진 복소 상관값(1512)의 절대값(1513)을 산출한다.
절대값 산출부(323)의 동작은, 제4 실시형태의 전자 워터마크 검출장치(200)에 있어서의 절대값 산출부(227)와 동일한 동작이다.
단계 1504) 동기검출 최대값 판정부(324)에서, 절대값 산출부(323)에서 얻어진 절대값(1513)이 최대가 되는 것을 찾아내고, 최대가 되는 절대값(1513)에 대응하는 복소 상관값(1512)을 결정한다.
또한, 전자 워터마크 삽입장치(100)에 있어서의 삽입계열의 구성방법에 따라서는, 동기검출 최대값 판정부(324)에 의한 최대값 판정 대신에, 다른 방법으로 판정을 수행하도록 되어 있어도 좋다.
동기검출 최대값 판정부(324)의 동작 상세에 대해서는 후술한다. 동기검출 최대값 판정부(324)의 대체가 되는 다른 방법에 대해서는, 제4 실시형태의 전자 워터마크 검출장치(200)에 있어서의 최대값 판정부(223)의 경우와 동일하다.
단계 1505) 위상 산출부(325)에서, 동기검출 최대값 판정부(324)에서 결정된 복소 상관값의 위상을 산출하고, 이를 토대로 동기변위량(1502)을 산출하여 검출정 보 추출부(330)로 출력한다.
위상 산출부(325)의 동작 상세에 대해서는 후술한다.
또한, 전자 워터마크의 삽입이 제3 실시형태에 있어서의 전자 워터마크 삽입장치(100)를 이용하여 수행된 경우에는, 복소 검출계열 추출부(321)의 처리에 앞서, 제3 실시형태에 있어서의 N-1차원 푸리에 변환부(225)와 동일한 푸리에 변환 처리가 필요하게 된다.
<전자 워터마크 검출장치 - 동기검출부 - 동기검출 최대값 판정부>
다음으로, 상기 동기검출부(320)의 동기검출 최대값 판정부(324)의 동작 상세에 대해서 설명한다.
동기검출 최대값 판정부(324)의 동작은, 제4 실시형태에 있어서의 전자 워터마크 검출장치(200)의 최대값 판정부(223)와 거의 동일하나, 결과로서 삽입계열을 얻는 대신에, 절대값이 최대가 되는 복소 상관값을 구하는 점이 다르다.
동기검출 최대값 판정부(324)에 있어서의 처리는 이하의 수순으로 실시된다.
1) 절대값 산출부(323)에서 얻어진 절대값(1513) |ρ(1)|, |ρ(2)|, …으로부터, 값이 최대가 되는 절대값 |ρ(j)|을 찾아낸다.
Figure 112008063377312-pct00126
단, MAX()는 최대값을 돌려주는(returning) 연산이다.
2) |ρ(max)|의 기초가 된 복소 상관값 ρ(max)을 위상 산출부(325)로 출력한 다.
또, 최대의 상관값 |ρ(j)|이 소정의 임계값을 초과하고 있는지 어떤지를 판정하고, 소정의 임계값을 초과하지 않는 경우에는 전자 워터마크가 삽입되지 않은 것으로 판정하도록 해도 좋다.
<전자 워터마크 검출장치 - 동기검출부 - 위상산출부>
다음으로, 상기 동기검출부(320)의 위상산출부(325)의 동작 상세에 대해서 설명한다.
위상산출부(325)에 있어서의 처리는 이하의 수순으로 실시된다.
1) 동기검출 최대값 판정부(324)에서 얻어진 복소 상관값 ρ(max)의 편각 Δθ을 구한다.
Figure 112008063377312-pct00127
단, Arg[]는 복소수의 편각을 구하는 연산이다.
2) Δθ는, 위상의 어긋남량을 나타내므로 이것으로부터 동기변위량(1502) Δt를 다음과 같이 구하고 출력한다.
[수 74]
Figure 112008063377312-pct00128
단, T는 주기신호의 주기이다.
Δθ가 위상의 어긋남량을 나타내는 점에 대해서 이하에 설명한다.
복소 상관값은, 제4 실시형태의 전자 워터마크 검출장치(200)에 있어서의 복소 상관값 계산부(226)에 대한 설명에서 서술한 것과 같이, 다음 식과 같이 얻어지고 있다.
[수 75]
Figure 112008063377312-pct00129
따라서,
Figure 112008063377312-pct00130
이다. 이것은 삽입 완료 신호(923)에 대해서 N차원째 축의 방향(예를 들면 시간방향)에서 주어진 동기변위량에 의존하여 결정되는 위상의 어긋남량을 나타내고 있다.
또한, 전자 워터마크 삽입장치(100)에 있어서의 삽입계열이, 예를 들면 삽입계열 생성부(111)의 (예2), (예4)에서 나타낸 것과 같은, 삽입계열의 양음의 차이로 비트값의 0/1을 표현하도록 구성되어 삽입되어 있는 경우에는, 동기 어긋남에 의해 위상이 반파장 어긋난 신호가 입력된 경우와 모든 비트값이 반전한 정보가 삽입되어 있는 경우와의 구별이 되지 않는다. 즉, 상기에서 얻어진 동기변위량 Δt과 반파장 어긋난
[수 76]
Figure 112008063377312-pct00131
중 어느 쪽이 맞는 동기변위량인지의 구별이 되지 않는다.
그와 같은 경우에는, 예를 들면, 비트값 중 1비트를 판정용 비트로서 반드시 1(혹은 0)을 취하도록 삽입계열을 구성하여 두고, 그 비트값이 올바른 값인 동기변위량이라고 판단해도 좋다. 또, 비대칭인 오류정정부호를 이용하여 부호화함으로써 판정가능하게 해도 좋다. 또, 본 발명의 전자 워터마크와는 다른 전자 워터마크나 신호를 이용하여 판단하도록 해도 좋다. 또, 동기변위량으로 잠정적으로 한쪽 값으로서 판정해두고, 검출정보 추출부(330a)에서의 처리 중에, 상기와 같은 수순으로 비트 반전을 보정하도록 해도 좋다. 이러한 예에 한정하는 것은 아니며, 그 밖의 방법으로 보정을 수행해도 됨은 물론이다.
또, 삽입계열 생성부(111)의 (예4)에서 나타낸 바와 같은, 삽입계열의 부분열을 이용하여 비트마다 양음의 극성으로 확산되어 있는 경우에는, 제4 실시형태의 마지막에 도 44를 참조하여 설명한 비트값 검출방법에서 산출되는 비트 위치마다의 복소 상관값 λ(a)의 총합 λ의 편각 Argλ을 동기변위량 Δθ로 함으로써, 각 비트마다의 복소 상관값에 기초하여 동기변위량을 구하는 것보다도, 보다 확실하고 정밀도가 높은 동기변위량의 측정이 가능하게 된다. 또한, 이 방법에서도 비트 반전의 불확정성이 있으나, 예를 들면 비트값 내의 1비트를 비트 반전 판정용 플래그로서 이용함으로써, 불확정성을 해결할 수 있다.
<전자 워터마크 검출장치 - 검출정보 추출부>
다음으로, 상기한 검출정보 추출부(330a)의 동작 상세를 설명한다.
도 49는, 본 발명의 제5 실시형태에 있어서의 검출정보 추출부의 구성 예를 나타낸다.
검출정보 추출부(330a)는, 제1 실시형태의 검출정보 추출부(220)와 동일한 구성이며, 검출계열 추출부(331), 상관값 계산부(332), 최대값 판정부(333), 검출정보 재구성부(3324)로 구성되며, 제1 실시형태의 검출정보 추출부(220)에 동기변위량(1502)을 입력하도록 되어 있는 점만이 다르다.
또한, 도 49에서는, 도 45와의 대응 이해를 용이하게 하기 위해서, 밑에서 위로 정보가 흐르도록 구성이 기재되어 있다는 것에 주의해야 한다.
검출정보 추출부(330a)에 의한 검출정보 추출 처리는, 검출계열 추출부(331)의 동작 상세를 제외하고, 제1 실시형태의 검출정보 추출부(220)에 있어서의 검출정보 추출처리와 동일하다.
또한, 전자 워터마크의 삽입이 제3 실시형태에 있어서의 전자 워터마크 삽입장치(100)를 이용하여 수행된 경우에는, 검출계열 추출부(331)의 처리에 앞서, 제3 실시형태에 있어서의 N-1차원 푸리에 변환부(225)와 동일한 푸리에 변화처리가 필요하게 된다.
<전자 워터마크 검출장치 - 검출정보 추출부- 검출계열 추출부>
이하에, 검출정보 추출부(330a)의 검출계열 추출부(331)의 동작 상세에 대해서 설명한다.
검출계열 추출부(331)에서의 처리는 이하의 수순으로 실시된다.
1) 검출 복소 패턴(1501)으로부터 크기 M1×M2×…MN-1의 N-1차원 복소 배열을 구성한다. 구성의 방법은, 전술한 제1 실시형태에 있어서의 검출계열 추출부(221)에서의 단계 801)과 동일하다.
2) 상기 1)에서 얻어진 복소 배열로부터, 순서대로 하나씩 복소수값을 취출하여 나열한 복소수열을 얻는다. 즉, 복소 배열이 A[P1, P2, …, PN -1](Pn≥0)로 나타나 있을 때,
Figure 112008063377312-pct00132
또한, 전자 워터마크 삽입장치(100)에 있어서의 삽입시에 이용한 삽입계열(913)의 길이를 L이라 할 때, L'＝L/2이다.
3) 상기 2)에서 얻어진 복소수열의 각 요소의 위상을, 입력된 동기변위량(1502)에 기초하여 역변위시킨다. 즉, 동기변위량(1502)을
[수 77]
Figure 112008063377312-pct00133
이라 할 때,
[수 78]
Figure 112008063377312-pct00134
4) 상기 3)에서 얻어진 복소수열로부터, 순서대로 1개씩 복소수값을 취출하고, 취출한 복소수값의 실수부, 허수부를 각각 단독의 실수값으로 보고 나열한다. 즉, 검출계열(1521)이 i"1, i"2, …, i"L로 나타나 있을 때,
[수 79]
Figure 112008063377312-pct00135
단,
[수 80]
Figure 112008063377312-pct00136
은 복소수의 각각 실수부, 허수부를 취출하는 연산이다.
5) 얻어진 i"1, i"2, …, i"L를, 검출계열(1521)로서 상관값 계산부(332)로 출력한다.
전자 워터마크 삽입장치(100)의 복소 배열 생성부(112)에서, 삽입계열(913)의 순서 혹은 복소 배열의 요소의 교체가 이루어져 있는 경우에는, 그 순서를 되돌리는 점은 제1 실시형태에 있어서의 검출계열 추출부(221)와 동일하다.
또한, 전자 워터마크 삽입이 제3 실시형태에 있어서의 전자 워터마크 삽입장치(100)를 이용하여 수행된 경우에는, 상기 2)에서, 제3 실시형태에 있어서의 전자 워터마크 삽입장치의 복소 배열 생성부(112)에서 이용한 범위 내의 요소의 복소수값을 취출하여 나열하도록 한다.
<검출정보 추출부의 다른 구성 예>
또, 검출정보 추출부(330a)를, 최대값 판정부(333)를 이용하지 않고, 검출계열 추출부(331), 상관값 계산부(332), 검출정보 재구성부(334)만으로 구성하고, 다음과 같은 처리를 시킴으로써 검출정보의 추출을 수행해도 좋다. 이와 같은 구성 예를 도 50에 나타낸다.
도 50에 도시한 검출정보 추출부(330b)에서는, 동기검출부(320)에서 최대의 복소 상관값을 얻은 삽입계열을 가지고 검출정보를 재구성함과 동시에, 동기검출부(320)에서 얻어진 동기변위량(1502)에 기초하여, 해당 검출정보의 신뢰성을 평가하기 위한 상관값을 다시 계산하는 것이다. 이에 따라, 보다 고속으로 전자 워터마크의 검출을 수행할 수 있게 된다.
1) 검출계열 추출부(331)의 처리는, 상술한 처리와 동일하다.
2) 상관값 계산부(332)에서는, 제1 실시형태에 있어서의 상관값 계산부(222)와는 달리, 생각할 수 있는 모든 삽입계열과의 상관값을 게산하는 대신에, 동기검출부(320)에서, 동기검출 최대값 판정부(324)의 처리에서 최대의 절대값을 취한다고 판단된 복소 상관값에 대응하는 삽입계열을 메모리(미도시)에 기억해두고, 상관값 계산부(332)에서 이 삽입계열과만 상관값을 계산한다.
이 상관값이 소정의 임계값보다도 큰지 어떤지로, 신뢰성이 있는 전자 워터마크 검출을 하였는지 어떤지를 판정한다.
3) 검출정보 재구성부(334)에서는, 상기 2)에서 이용한 삽입계열을 이용하여 검출정보의 재구성을 수행하는 점을 제외하고는, 제1 실시형태의 검출정보 재구성부(224)와 동일하다.
<제5 실시형태의 특징>
본 실시형태의 전자 워터마크 검출장치(300)에 따르면, 전자 워터마크 검출에 있어서, 전자 워터마크 검출대상의 신호의 동기가 어긋나 있을 때에도, 전자 워터마크 신호 자신을 이용하여 동기변위량을 검출할 수 있다. 즉, N-1차원 공간에서 스펙트럼 확산된 삽입계열은, N차원째 방향에서의 동기 어긋남에 대해서 공통의 영향을 받는 것을 이용하여, N-1차원 공간에서의 확산된 계열의 복소 상관값을 이용함으로써, 용이하면서 고속으로 동기맞춤이 가능한 전자 워터마크의 검출을 할 수 있다.
예를 들면, 영상신호의 경우에, 시간방향에서 검출을 개시하는 프레임이 어긋나 있는 경우에도 특별한 동기맞춤 방법을 이용하지 않고도 전자 워터마크의 검출이 가능하다. 이것은, 예를 들면, 비디오카메라 등을 이용하여 재촬영된 영상으로부터 전자 워터마크를 검출하는 경우나, 비디오테이프 등 아날로그 데이터로 일단 변환된 영상으로부터 전자 워터마크를 검출하는 경우 등, 시간동기가 곤란한 이용상황에서 상당히 유효하다.
스크린이나 TV 등에 표시된 영상이 비디오카메라나 휴대전화 등의 카메라로 촬영된 경우, 재생의 프레임 레이트와 촬영의 프레임 레이트는 동기되어 있지 않기 때문에 서브프레임에서의 재샘플링이 생기는 경우도 있다. 이것은 결과적으로 서브프레임 레벨(1프레임보다 짧은 간격)로 동기가 어긋나 있는 상태를 나타낸다. 이와 같은 상황에서도, 시간복조에서 주기신호의 위상을 측정하는 것은 가능하며, 상기에 서술한 바와 같이 동기변위량을 검출할 수 있다.
특히, 본 실시형태의 전자 워터마크 검출장치에 따르면, 변위량을 순차 시험해보는 총당(round-robin fashion)적인 수법에 의하지 않고, 계산에 의해 동기변위량을 검출할 수 있으므로, 고속으로 효율적인 전자 워터마크 검출이 가능하게 된다. 또, 특별한 동기맞춤신호를 추가할 필요가 없기 때문에, 동기맞춤 신호에 의한 신호의 열화나 전자 워터마크의 검출성능의 열화가 없으며, 품질이 높고 검출성능이 높은 전자 워터마크 검출이 가능하게 된다.
또, 상술한 검출정보 추출부의 다른 구성 예와 같이 검출정보 추출부(330b)를 구성하면, 더 고속으로 전자 워터마크를 검출하는 것이 가능하게 된다.
[제6 실시형태]
<위상변조>
이하에, 본 발명의 제6 실시형태에 있어서의 전자 워터마크 삽입장치에 대해서 설명한다.
본 실시형태는, 제1 실시형태에 있어서의 전자 워터마크 삽입장치(100)에서, 시간변조부(130)에서의 변조 처리를 주기신호의 지연을 이용하여 수행하는 예를 나타낸다.
본 실시형태에 있어서의 전자 워터마크 삽입장치의 구성은, 제1 실시형태에 있어서의 전자 워터마크 삽입장치(100)와 동일하며, 시간변조부(130)만이 다르다.
또한, 본 실시형태에서는, 제1 실시형태를 토대로 예시하고 있으나, 시간변조부(130) 이외의 구성에 있어서 다른 실시형태의 구성을 이용해도 무관하다. 예를 들면, 복소 패턴 생성부(110)에 있어서, 제3 실시형태의 전자 워터마크 삽입장치에 있어서의 복소 패턴 생성부(110b)를 이용하도록 해도 좋다.
<전자 워터마크 삽입장치 - 시간변조부>
도 51은, 본 발명의 제6 실시형태에 있어서의 시간변조부의 구성 예를 나타낸다.
도 51에 도시한 시간변조부(130c)는, 주기신호 생성부(131), 변조부(136)로 구성되며, 삽입 복소 패턴(921)이 입력되고, 삽입패턴(922)을 출력한다.
시간변조부(130c)에 의한 삽입패턴(922)의 생성처리는 이하의 수순으로 실시된다.
1) 주기신호 생성부(131)에서 주기신호를 생성한다. 생성하는 주기신호는, 제1 실시형태의 시간변조부(130a)의 주기신호 생성부(131)에서의 주기신호의 예와 동일하다.
2) 변조부(136)에서, 입력된 삽입 복소 패턴(921)의 복소수값에 따라서, 상기 1)에서 생성된 주기신호를 다음과 같이 변조하여, N차원의 삽입패턴(922)을 얻는다.
- 복소수값의 절대값에 따라서 주기신호의 진폭을 결정한다.
- 복소수값의 편각에 따라서 주기신호를 지연시킨다, 즉, 위상을 변화시킨다.
다음으로, 상기한 시간변조의 구체 예를 설명한다.
변조부(136)에 있어서의 변조는, N-1차원 복소 패턴(921)의 각 위치마다 복소수값에 따라서, 주기신호 생성부(131)에서 생성된 주기신호를 반송파로서, QAM(직교진폭) 변조함으로써, N차원 패턴으로 변환함으로써 수행된다.
단, 반송파인 주기신호는, 전술한 바와 같이 정현파라고는 한정하지 않는다.
또, 삽입 복소 패턴(921)의 값이 모두 실수값만으로 구성되어 있는 경우에, 그 실수값에 따라서 주기신호의 위상을 변화시키도록 하고, 주기신호의 진폭을 일정하도록 해도 좋다.
구체적으로는 예를 들면 다음과 같이 수행된다.
현재, N-1차원 복소 패턴이 P(x1, x1,…, xN -1)로 나타나 있는 것으로 한다. 이때, P의 실수부, 허수부를 Pr, Pi로 나타내는 것으로 하고,
[수 81]
Figure 112008063377312-pct00137
라 한다. 단, j는 허수단위이며, ω가 주기신호의 기본주파수의 각속도이다.
주기신호 생성부(131)에서 주기신호 f(t)가 생성된 것으로 한다.
B, τ를, f(t)로 변조하고, 다음 식으로 N차원의 패턴 M을 얻는다.
[수 82]
Figure 112008063377312-pct00138
일반적인 QAM 변조와는 달리, 베이스밴드 신호 P는 시간방향이 아니라, 시간방향과 직교하는 N-1차원 방향(예를 들면, 영상신호의 경우의 공간방향)에서 변동하고 있다는 것의 주의해야한다.
이와 같은 시간변조에 의해, N차원의 삽입패턴(922)의 위상이 N-1차원 공간상의 위치에 따라 다르도록 확산되어 있게 되어, 전자 워터마크 검출시에 삽입 전 신호(912)에 기인하여 나타나는 노이즈 성분의 크기가 보다 작아지게 된다.
<제6 실시형태의 특징>
본 실시형태의 전자 워터마크 삽입장치는, 제1 실시형태의 전자 워터마크 삽입장치에 있어서의 시간변조부(130a)의 다른 구성 예를 나타낸 것이며, 제1 실시형태의 전자 워터마크에 있어서의 특징과 동일한 특징을 가진다.
특히, 시간변조부(130c)에 있어서, N-1차원 공간에 스펙트럼 확산된 N-1차원의 삽입패턴을, 그것과 직교하는 N차원째 방향으로 주기신호의 위상과 절대값을 이용하여 변조하고 있으며, N차원째 방향으로 주어지는 동기변위에 대해서 N-1차원 공간에서는 공통의 영향을 미치도록 하고 있다는 특징을 가진다.
또, 시간변조부(130c)에 있어서, 시간방향과 직교하는 N-1차원 방향(예를 들면 영상신호의 경우의 공간방향)에서, 삽입패턴(922)의 위상이 다르도록 함으로써, 예를 들면, 영상신호의 경우에, 최저 영상신호 양자화값 미만이 되어 실제로는 전자 워터마크의 삽입이 이루어지지 않는 프레임이 발생하는 것을 방지할 수 있고, 전자 워터마크의 전송로로서의 영상신호를 유효하게 이용할 수 있음과 동시에, 전자 워터마크의 진폭이 큰 프레임을 겨냥하여 개변하는 공격에 대한 내성을 증가시킬 수 있다.
또, 삽입패턴 N-1차원 공간상에서 위상이 확산되어 있음으로써, 상관계산 결과 중에서 삽입 전 신호에 기인하여 나타나는 노이즈 성분의 크기가 보다 작아지게 되고, 결과, 보다 신뢰성이 높은 전자 워터마크의 삽입, 검출이 가능하게 되고, 또 종래와 같은 정도의 신뢰성으로 보다 품질 열화가 적은 전자 워터마크의 삽입, 검출이 가능하게 된다.
[제7 실시형태]
<시간축 복수 주파수대역 삽입>
이하에, 본 발명의 제7 실시형태에 있어서의 전자 워터마크 삽입장치에 대해서 설명한다.
본 실시형태는, 제1 실시형태에 있어서의 전자 워터마크 삽입장치(100)의 전자 워터마크 삽입을 다른 주기신호에 기초하여 복수 동시에 수행하여, 보다 긴 스펙트럼 확산계열을 이용하여 삽입정보를 삽입하는 예이다.
도 52는, 본 발명의 제7 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치의 구성 예를 나타낸다.
<전자 워터마크 삽입장치>
도 52에 도시한 전자 워터마크 삽입장치(500)는, 복소 패턴 생성부(510), 시간변조부(520), 삽입패턴 중첩부(530)로 구성되고, 삽입정보(3111), 삽입 전 신 호(3112)가 입력되고, 삽입 완료 신호(3113)를 출력한다.
전자 워터마크 삽입장치(500)에 의한 전자 워터마크의 삽입 처리는 이하의 수순으로 실시된다.
도 53은, 본 발명의 제7 실시형태에 있어서의 전자 워터마크 삽입장치의 동작 흐름도이다.
단계 1601) 복소 패턴 생성부(510)에서, 입력된 삽입 정보(3111)에 기초하여, 복수의 삽입 복소 패턴(3121)을 생성한다.
각 삽입 복소 패턴(3121)은, 복소수로 구성되는 N-1차원 패턴이며, 삽입정보의 내용을 나타내고 있다.
복소 패턴 생성부(510)의 동작 상세에 대해서는 후술한다.
단계 1602) 시간변조부(520)에서, 각 복소 패턴 생성부(510)에서 생성된 각 삽입 복소 패턴(3121)에 기초하여 삽입패턴(3122)을 생성한다.
시간변조부(520)의 동작은, 제1 실시형태에 있어서의 시간변조부(130)와 동일하다. 단, 각 시간 변조부(520)에서 생성하는 주기신호는 각각 서로 직교하는 주기함수라 한다. 예를 들면, 각각 기본주파수가 다른 주기함수이어도 좋다.
또, 시간변조부(520)로서, 제1 실시형태 이외의 실시형태에서 나타낸 시간변조부를 이용해도 무관하다. 예를 들면, 제2 실시형태, 혹은 제6 실시형태의 시간 변조부를 이용해도 무관하다.
시간변조부(520)로서, 제2 실시형태의 시간변조부(130b)를 이용하는 경우에는, 복수의 주파수 시간변조의 처리를 한 번의 푸리에 변환으로 실시하는 것도 가 능하다.
단계 1603) 삽입패턴 중첩부(530)에서, 각 시간변조부(520)에서 생성된 각 삽입패턴(3122)을, 입력된 삽입 전 신호(3112)에 중첩하고, 삽입 완료 신호(3113)를 출력한다.
삽입패턴 중첩부(530)의 동작 상세에 대해서는 후술한다.
<전자 워터마크 삽입장치 - 복소 패턴 생성부>
이하에, 상기 복소 패턴 생성부(510)의 동작 상세를 설명한다.
도 54는, 본 발명의 제7 실시형태에 있어서의 복소 패턴 생성부의 구성 예를 나타낸다.
복소 패턴 생성부(510)는, 삽입계열 생성부(511), 복수의 복소 배열 생성부(512)로 구성되며, 삽입정보(3111)가 입력되고, 삽입 복소 패턴(3121)을 출력한다.
복소 패턴 생성부(510)에 의한 삽입 복소 패턴 생성 처리는 이하의 수순으로 실시된다.
도 55는, 본 발명의 제7 실시형태에 있어서의 복소 패턴 생성부의 동작 흐름도이다.
단계 1701) 삽입계열 생성부(511)에서, 입력된 삽입정보(3111)에 기초하여, 삽입정보를 나타내는 수치의 예를 생성하고, 이것을 분할하여 복수의 삽입계열(3211)을 생성한다.
삽입계열 생성부(511)의 동작 상세에 대해서는 후술한다.
단계 1702) 복소 배열 생성부(512)에서, 삽입계열 생성부(511)에서 생성된 각 삽입계열(3213)을, N-1차원 복소 배열상의 요소의 실수부 및 허수부에 할당하여, 삽입 복소 패턴(3121)을 생성한다.
개개의 복소 배열 생성부(512)의 동작은, 제1 실시형태에 있어서의 복소 배열 생성부(112)의 동작과 동일하다.
또, 복소 패턴 생성부(510)를 제3 실시형태에 있어서의 복소 패턴 생성부(110b)에 기초하여 구성하도록 해도 좋다. 즉, 복소 배열 생성부(512)에서 얻어진 패턴을 또, 제3 실시형태에 있어서의 N-1차원 역 푸리에 변환부(113)와 동일한 처리에 의해 푸리에 변환한 결과를 삽입 복소 패턴(3121)으로 해도 좋다.
<전자 워터마크 삽입장치 - 복소 패턴 생성부 - 삽입계열 생성부>
삽입계열 생성부(511)에서는, 제1 실시형태에 있어서의 삽입계열 생성부(111)와 동일한 수순에 의해 삽입계열을 생성한 후, 삽입계열을 복수의 부분으로 분할한다. 예를 들면, 삽입계열 생성부(111)와 동일한 수순에 의해 계열 w＝{w1, w2, …, wnL}이 생성되었을 때, 각 삽입계열(3213) w[1], w[2], …, w[n]을,
[수 83]
Figure 112008063377312-pct00139
이라 한다.
단, n은 분할(division)의 총 수이다.
또한, 여기에서는 삽입계열을 선두에서부터 순서대로 소정의 수씩 분할하는 예를 나타내었으나, 미리 정해진 분할방법으로 분할하면 어떤 식으로 분할해도 좋다. 예를 들면,
[수 84]
Figure 112008063377312-pct00140
와 같이 해도 좋다.
<전자 워터마크 삽입장치 - 삽입패턴 중첩부>
이하에, 삽입패턴 중첩부(530)의 동작 상세를 설명한다.
삽입패턴 중첩부(530)의 동작은, 제1 실시형태에 있어서의 삽입패턴 중첩부(140)와 거의 동일하나, 이하의 점만이 다르다.
삽입패턴 중첩부(530)에서는, 삽입 전 신호(3112)로서 입력된 N차원 신호에 대해서, 각 시간변조부(520)에서 생성된 N차원의 각 삽입패턴(3122)을 가산함으로써 중첩하고, 중첩한 결과의 N차원 신호를 삽입 완료 신호(3113)로서 출력한다. 이때, 복수의 삽입패턴(3122)을 모두 가산하여 중첩한다. 또, 삽입 강도로서 각 삽입패턴(3122)을 다른 강도로 강조하여 중첩해도 무관하다. 예를 들면, 삽입을 수행하는 각 삽입패턴(3122)의 주파수대역에 대한 열화 특성이 다른 경우 등에 각각 삽입 강도를 다르도록 하게 하여, 각 삽입패턴의 검출이 동일한 정밀도로 수행되도록 해도 좋다.
<전자 워터마크 검출장치>
본 실시형태에 있어서의 전자 워터마크 검출장치(600)는, 복수의 동기검출부(620), 검출정보 추출부(630)로 구성되며, 삽입 완료 신호(3113)가 입력되고, 검출정보(3114)를 출력한다.
전자 워터마크 검출장치(600)에 의한 전자 워터마크 검출처리는 이하의 수순으로 실시된다.
도 56은, 본 발명의 제7 실시형태에 있어서의 전자 워터마크 검출장치의 동작 흐름도이다.
단계 1801) 각 시간복조부(610)에서 시간축 방향의 복조를 수행하고, 검출 복소 패턴(3161)을 얻는다. 각 시간복조부(610)에서의 처리 내용은 제1 실시형태의 전자 워터마크 검출장치(200)에 있어서의 시간복조부(210)와 동일하나, 각 시간복조부(610)마다, 전자 워터마크 삽입장치(500)의 시간변조부(520)에서 이용한 주기함수를 각각 이용한다.
또한, 시간복조부(610)에 의한 시간 복조 처리에 앞서, 삽입 완료 신호(3113)에 대해서 전처리를 수행해도 좋음은 제1 실시형태의 전자 워터마크 검출장치(200)와 동일하다.
또, 시간복조부(610)로서, 제1 실시형태 이외의 실시형태에서 나타낸 시간복조부를 이용해도 무관하다. 예를 들면, 제2 실시형태에 있어서의 시간복조부(210c) 를 이용해도 무관하다.
시간복조부(610)로서, 제2 실시형태의 시간복조부(210c)를 이용하는 경우에는, 복수의 주파수의 시간 복조 처리를 한 번의 푸리에 변환으로 실시하는 것도 가능하다.
단계 1802) 각 동기검출부(620)에서, 시간복조부(610)에서 얻어진 각 검출 복소 패턴(3161)으로부터, 각각 삽입 완료 신호(3113)에 대해서 미리 가해져 있던 시간축(N번째 차원의 축)의 방향에서 동기변위의 크기를 검출하고, 동기변위량(3162)으로서 출력한다.
동기검출부(620)의 동작은, 제5 실시형태에 있어서의 전자 워터마크 검출장치(300)의 동기검출부(320)와 동일하다.
단계 1803) 검출정보 추출부(630)에서, 시간복조부(610)에서 얻어진 각 동기변위량(3162)에 기초하여 전자 워터마크 삽입장치(500)에서 삽입된 전자 워터마크 정보를 추출하여, 검출정보(3114)로서 출력한다.
검출정보 추출부(630)의 동작 상세에 대해서는 후술한다.
<전자 워터마크 검출장치 - 검출정보 추출부>
이하에, 검출정보 추출부의 동작을 상세히 설명한다.
도 57은, 본 발명의 제7 실시형태에 있어서의 검출정보 추출부의 구성을 나타낸다.
도 57에 도시한 검출정보 추출부(630)는, 제5 실시형태의 검출정보 추출부(330)와 유사한 구성이며, 검출계열 추출부(631)가, 입력된 각 검출 복소 패 턴(3161) 및 동기변위량(3162)마다 마련되어 있는 점이 다르다.
또한, 도 57에서는, 도 54와의 대응 이해를 용이하게 하기 위해, 밑에서 위로 정보가 흐르도록 구성이 기재되어 있다는 것에 주의해야한다.
검출정보 추출부(630)에 의한 검출정보 추출처리는, 복수의 검출계열 추출부(631)가, 각각 입력된 검출 복소 패턴(3161) 및 동기변위량(3162)에 기초하여 검출계열(3313)을 추출하는 점과, 상관계산부(632)의 동작 상세를 제외하고, 제5 실시형태의 검출정보 추출부(330)에 있어서의 검출정보 추출처리와 동일하다.
또, 제5 실시형태에서 서술한 검출정보 추출부(330)의 다른 구성 예와 같이, 최대값 판정부(633)를 이용하지 않고, 동기검출부(320)에서 최대의 복소 상관값을 얻은 삽입계열을 가지고 검출정보를 재구성함과 동시에, 동기검출부(320)에서 얻어진 동기변위량에 기초하여, 해당 검출정보의 신뢰성을 평가하기 위한 상관값을 다시 계산하도록 해도 좋다.
<전자 워터마크 검출장치 - 검출정보 추출부 - 상관값 계산부>
이하에 상관값 계산부(632)의 동작에 대해서 상세히 설명한다.
상관값 계산부(632)에 있어서의 처리는 이하의 수순으로 실시된다.
1) 검출계열 추출부(631)에 의해 얻어진 각 검출계열(3313) i"[1], i"[2],…을 통합하여, 계열 i"를 얻는다. 즉,
[수 85]
Figure 112008063377312-pct00141
일때
Figure 112008063377312-pct00142
여기서, i"의 위첨자로 기재한 [k]는, k번째의 검출계열 추출부(631)에 의해 k번째의 검출 복소 패턴(3161)으로부터 얻어진 검출계열이라는 것을 나타내며, n은 입력되는 검출 복소 패턴(3161)의 총 수이다. 또한, 여기에서는, 각 검출계열을 단순히 연결하는 예를 나타내었으나, 전자 워터마크 삽입장치(500)의 삽입계열 생성부(511)에 있어서의 삽입계열의 분할방법에 대응하고 있다면, 각 검출계열로부터 미리 정해진 순서로 값을 취출하여 계열을 결합하도록 되어 있어도 무관하다. 예를 들면, 다음과 같이 결합해도 무관하다.
[수 86]
Figure 112008063377312-pct00143
2) 상기 1)에서 얻어진 계열 i"를 토대로, 제5 실시형태의 전자 워터마크 검출장치(300)의 상관값 계산부(332)와 동일한 처리에 의해, 상관값(3314)을 구한다. 단, 상관계산의 대상이 되는 생각할 수 있는 삽입계열은, 전자 워터마크 삽입장치(500)의 삽입계열 생성부(511)에서 생성되어, 분할되기 전의 계열 w＝{w1, w1, …, wnL} 이라는 것에 주의해야 한다.
<동기변위량의 통합에 의한 정밀도 향상>
동기검출부(620)에서, 각 검출 복소 패턴(3161)마다 얻어진 동기변위 량(3162)에 기초하여, 다음과 같은 수순에 의해 보다 정밀도가 높은 동기변위량을 구하도록 해도 좋다.
1) 각 동기변위량(3162)을,
[수 87]
Figure 112008063377312-pct00144
라 한다. 여기서, T1, T2, …는, 각 시간복조부(610)의 주기신호의 주기이다.
2) Δt1, Δt2, …로부터 최대의 것을 하나 선택하여 Δtmax라 한다. 혹은, 주기가 최대인 주기신호에 대응하는 Δti를 선택해도 좋다.
3) 각 i에 대해서 Δti, Ti, Δtmax로부터 다음의 방정식을 생각하여 ni를 구한다.
[수 88]
Figure 112008063377312-pct00145
4) 각 ni에 가장 가까운 정수값을 각각 n'i라 한다.
5) n'i를 이용하여 하기의 Δt'i를 구한다.
[수 89]
Figure 112008063377312-pct00146
이것은, 각 주기신호마다, Δtmax의 위치에 맞춰서, n'i주기째 위치에서의 N차원째 축 방향에서의 변위량을 Δt'i으로서 구한 것이 된다.
도 58에 2개의 주기신호를 이용한 경우의 상기 계산 상태를 나타낸다. 도 58에서는 주기 6의 주기신호 1에 대해서, Δθ1＝5π/3, 주기 4의 주기신호 2에 대해서 Δθ2＝π/2가 얻어져 있으며, 이것이 흰색 원으로 표시되어 있다. 이때 Δt1＝5, Δt2＝1이 된다. 또, Δt2＋T2, Δt2＋2T2의 위치를 검은색 원으로 표시하고 있다. Δtmax로서 Δt1이 선택되고, 상기 수순 3), 4)에 의해 n'2 ＝1이 얻어진다. 이것은, 2개의 검은색 원 중, 좌측 검은색 원의 위치에서, 2개의 주기신호의 각각 위상이 Δθ1,Δθ2의 점이 겹쳐지는 것을 나타낸다. 결과, Δt'2＝Δt2＋n'2 T2＝5가 얻어진다.
또한, Δtmax로서 선택한 주기신호에 대응하는 i에 대해서는, n'i＝1이 된다.
6) 상기와 같이하여 얻은 Δt'1의 평균값을 구하여, 전체로서의 변위량 Δt로 한다.
[수 90]
Figure 112008063377312-pct00147
단, k는 주기신호의 개수이다.
도 58의 예에서는, 각 동기변위량의 검출에 오차가 없는 경우의 예를 나타내었으나, 각 동기변위량의 검출에 오차가 있었던 경우에는, ni이 정수가 되지 않을 가능성이 있다. 상기 수순 4)에서 n'i을 정수로서 구하고, 마지막에 Δt'1의 평균값을 구함으로써, 오차를 고려한 N차원째의 축에 있어서 변위량의 최대우도값(maximum likelihood value)을 구하게 된다.
또, Δt'1의 평균값을 구할 때, 예를 들면, 명백하게 위치가 어긋난 변위량을 무시하도록 해도 좋다. 이에 따라, 예를 들면, 특정의 주기신호에 대응하는 주파수에 대해서 공격이 가해져, 검출 복소 패턴(3161)으로부터 얻어지는 동기변위량의 검출에 실패해버리는 경우를 제거하고 생각할 수 있다.
7) Δt는 실제의 N차원째 방향의 변위량을 정밀하게 구해진 값이므로, 이것으로부터 각 주기신호의 동기변위량
[수 91]
Figure 112008063377312-pct00148
을 다시 구한다.
[수 92]
Figure 112008063377312-pct00149
상기와 같이 각 검출 복소 패턴(3161)마다 얻어진 동기변위량(3162)에 기초하여 N차원째 방향의 변위량을 정밀하게 구하고, 그것을 이용하여 동기변위량을 다시 구함으로써, 보다 정밀도 높은 동기변위량을 산출하는 것이 가능하게 되고, 결과, 전자 워터마크의 검출정밀도를 높일 수 있다.
<제7 실시형태의 특징>
본 실시형태의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치에 따르면, 복수의 주파수대역을 이용함으로써 보다 정보길이가 긴 삽입정보를 전자 워터마크로서 삽입할 수 있다.
또, 각 개개별로 동기맞춤이 수행되어 얻어진 결과의 검출계열을, 최종적으로 전체적 상관값을 계산하여 검출의 신뢰성을 평가함으로써, 개개별로 전자 워터마크를 삽입, 검출을 수행하는 것보다 정확하게 전체 검출결과의 신뢰성을 확실히 할 수 있다.
또, 스펙트럼 확산계열 길이를 보다 길게 할 수 있어, 보다 신뢰성이 높은 전자 워터마크 삽입을 수행할 수 있다. 이에 대해 하기에 설명한다.
전술한 문헌 '山本奏, 中村高雄, 高嶋洋一, 片山渟, 北原亮, 宮武隆 '프레임 중첩형 동화상 전자 워터마크의 검출성능 평가에 관한 일 고찰' 정보과학기술 포럼 FIT 2005, J-029,2005'에 따르면, 스펙트럼 확산과 상관계산을 이용한 전자 워터마 크의 경우, 전자 워터마크의 위양성(false positive)의 의미에서의 검출 신뢰성을 나타내는 검출 평가치는, 스펙트럼 확산의 계열 길이의 제곱근에 비례하여 커지게 된다. 한편, 본 실시형태와 같이 복수의 주파수대역에 중첩하여 전자 워터마크를 삽입할 때, 전체의 신호 열화를 억제하기 위해서는 각 주파수대역마다 워터마크 신호의 에너지를 적게할 필요가 있다. 즉, 신호 열화의 정도를 변화시키지 않고(예를 들면, PSNR 값을 변화시키지 않고) n개의 주파수대역에 다중화하는 경우, 개개의 워터마크 신호의 에너지는 단독 주파수대역에 삽입하는 경우와 비교하여 1/n이 되고, 진폭은
Figure 112008063377312-pct00150
이 된다. 이것은, 개개의 삽입 강도가
Figure 112008063377312-pct00151
이 되는 것과 같다.
전술한 문헌 '山本奏, 中村高雄, 高嶋洋一, 片山渟, 北原亮, 宮武隆 '프레임 중첩형 동화상 전자 워터마크의 검출성능 평가에 관한 일 고찰' 정보과학기술 포럼 FIT 2005, J-029,2005'에 따르면, 삽입 강도가
Figure 112008063377312-pct00152
이 될 때, 워터마크에 있어서 노이즈가 되는 원화성분이 충분히 작다면, 전자 워터마크의 검출 평가치는, 삽입 강도에 관계없이 일정하게 된다(해당 문헌의 도 1에서 α가 커지는 극한, 즉 삽입 강도가 원화성분에 비교하여 충분히 커질 때, E[ρ]는
Figure 112008063377312-pct00153
에 점점 가까워진다). 또, 워터마크에 있어서 노이즈가 되는 원화성분이 충분히 크다면, 전자 워터마크의 검출 평가치는,
Figure 112008063377312-pct00154
이 된다(해당 문헌의 도 1에서 α가 작아지는 극한, 즉 삽입 강도가 원화성분에 비교하여 충분히 작아질 때, E[ρ]는 원점을 지나는 직 선에 가까워진다).
결과적으로, n개의 주파수대역에 다중화하는 경우, 단독 주파수대역에 삽입하는 경우와 비교하여,
- 워터마크에 있어서 노이즈가 되는 원화성분이 충분히 작다면, 전자 워터마크의 검출평가치는, 스펙트럼 확산계열 길이의 제곱근에 비례하여 커지고,
- 워터마크에 있어서 노이즈가 되는 원화성분이 충분히 큰 경우에는, 최악의 경우에도 전자 워터마크의 검출평가치는 변화하지 않게 되어,
전체로서는 검출평가치는 커지게 되고, 결과로서 보다 신뢰도가 높은 검출이 가능하게 된다.
또, 각 검출 복소 패턴(3161)마다 얻어진 동기변위량(3162)에 기초하여 N차원째 방향의 변위량을 정밀하게 구하고, 그것을 이용하여 동기변위량을 다시 구하는 방법을 이용하면, 보다 정밀도 높은 동기변위량을 산출하는 것이 가능하게 되고, 전자 워터마크의 검출정밀도를 높일 수 있으며, 역으로 같은 정도의 검출정밀도라면 전자 워터마크의 삽입을 약하게 할 수 있어, 품질 열화가 적은 전자 워터마크를 실현할 수 있다.
또, 시간복조부(520) 및 시간복조부(610)로서, 본 발명의 제2 실시형태의 시간변조부(130b) 및 시간복조부(210c,210d)를 이용하는 경우에는, 복수의 주파수의 시간변조, 시간복조 처리를 한 번의 푸리에 변환으로 실시할 수 있어, 보다 고속 처리가 가능하게 된다.
[제8 실시형태]
<시간 다중 삽입>
이하에, 본 발명의 제8 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치에 대해서 설명한다.
본 실시형태는, 제5 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치를 이용하여, 입력 전 신호에 대해서 동기 패턴과 그것에 이어지는 복수의 삽입정보에 기초한 삽입 패턴을 삽입하고, 동기의 변위량을 검출하여 다량의 삽입정보를 효율적으로 삽입, 검출하는 예이다.
<전자 워터마크 삽입장치>
본 실시형태에 있어서의 전자 워터마크 삽입장치는, 제1 실시형태에 있어서의 전자 워터마크 삽입장치(100)와 동일한 구성을 갖고 있으며, 복소 패턴 생성부(110)의 동작이 일부 다르다.
본 실시형태에 있어서의 전자 워터마크 삽입장치(100)에 의한 전자 워터마크의 삽입처리는 이하의 수순으로 수행된다.
도 59는, 본 발명의 제8 실시형태에 있어서의 전자 워터마크 삽입장치의 동작 흐름도이다.
단계 1901) 복소 패턴 생성부(110)에서, 입력된 삽입정보(911)에 기초하여 삽입 복소 패턴(921)을 생성한다. 이때, 시간복조부(130)의 주기신호 생성부(131)가 생성하는 주기신호의 1주기마다, 삽입정보에 기초하여 삽입 복소 패턴(921)이 변화하도록 생성한다.
복소 패턴 생성부(110)의 동작 상세에 대해서는 후술한다.
단계 1902) 시간변조부(130)에서, 복소 패턴 생성부(110)에서 생성되어 제1 기억부(150)에 저장되어 있는 복소 패턴(921)에 기초하여 삽입패턴(922)을 생성하고, 제2 기억부(160)에 저장한다.
시간변조부(130)의 동작은, 복소 패턴 생성부(110)가 생성한 삽입 복소 패턴(921)에 따라서, 삽입패턴(922)이 주기마다 변화하는 점을 제외하고, 제1 실시형태에 있어서의 시간변조부(130)의 동작과 동일하다.
또한, 시간변조부(130)에 대해서는, 그 밖의 실시형태의 시간변조부를 이용해도 좋다. 예를 들면, 제2 실시형태의 시간변조부(130b)를 이용해도 무관하며, 제6 실시형태의 시간변조부(130c)를 이용해도 무관하다.
단계 1903) 삽입패턴 중첩부(140)에서, 시간변조부(130)에서 생성되고, 제2 기억부(160)에 저장되어 있는 삽입패턴(922)을, 입력된 삽입 전 신호(912)에 중첩하고, 삽입 완료 신호(923)를 출력한다
삽입패턴 중첩부(140)의 동작은, 제1 실시형태와 동일하다.
<전자 워터마크 삽입장치 - 복소 패턴 생성부>
이하에, 복소 패턴 생성부(110c)의 동작 상세를 설명한다.
도 60은, 본 발명의 제8 실시형태에 있어서의 복소 패턴 생성부의 구성 예를 나타낸다.
복소 패턴 생성부(110c)는, 삽입계열 생성부(117), 복소 배열 생성부(116), 삽입정보 분할부(114), 동기계열 생성부(115)로 구성되며, 삽입정보(911)가 입력되고, 삽입 복소 패턴(921)을 출력한다.
복소 패턴 생성부(110c)에 의한 삽입 복소 패턴의 생성처리는 이하의 수순으로 실시된다.
도 61은, 본 발명의 제8 실시형태에 있어서의 복소 패턴 생성부의 동작 흐름도이다.
단계 2001) 동기계열 생성부(115)에서, 미리 정해진 동기맞춤용 수치의 예인 동기계열(917)을 생성한다.
동기계열 생성부(115)의 동작 상세에 대해서는 후술한다.
단계 2002) 삽입정보 분할부(114)에서, 입력된 삽입정보(911)를 복수의 부분 삽입정보(916)로 분할한다. 분할의 방법은 어떠한 것이어도 무관하다. 예를 들면, 삽입정보(911)의 앞에서부터 순서대로 K비트씩 분할하는 것과 같은 것이어도 좋다.
단계 2003) 삽입계열 생성부(117)에서, 삽입정보 분할부(114)에서 얻어진 부분 삽입정보(916)에 기초하여, 삽입정보를 나타내는 수치의 예인 삽입계열(913)을 생성한다.
삽입계열 생성부(117)의 동작은, 복수의 부분 삽입정보(916) 각각에 대해서 삽입계열(913)을 생성하는 점을 제외하고, 제1 실시형태의 삽입계열 생성부(111)와 동일하다.
단계 2004) 복소 배열 생성부(116)에서, 동기계열 생성부(115)에서 생성된 동기계열(917), 및 삽입계열 생성부(117)에서 생성된 각 삽입계열(913)을, 각각 N-1차원 복소 배열상의 요소의 실수부 및 허수부에 할당하고, 복수의 삽입 복소 패턴(921)을 생성한다.
복소 배열 생성부(116)의 동작 상세에 대해서는 후술한다.
<전자 워터마크 삽입장치 - 복소 패턴 생성부 - 동기계열 생성부>
동기계열 생성부(115)에서는, 다음과 같은 처리에 의해 동기계열(115)을 생성한다.
동기계열(115)은, 전자 워터마크 검출장치에 있어서 동기맞춤에 이용하는 값의 예이며, 다른 삽입계열과 중복하지 않도록 의사난수열을 이용하여 생성한다. 즉, 의사난수열 SPN＝{SPN1, SPN2, …SPNL}(L은 계열의 길이)이라 할 때, 동기계열 s＝{s1, s2, …sL}을
Figure 112008063377312-pct00155
과 같이 결정해도 좋다.
<전자 워터마크 삽입장치 - 복소 패턴 생성부 - 복소 배열 생성부>
복소 배열 생성부(116)의 동작은, 제1 실시형태의 전자 워터마크 삽입장치에 있어서의 복소 배열 생성부(112)와 유사하나, 동기계열(917) 및 복수의 삽입계열(913)의 각각에 대응하는 복소 배열을 구성하고, 그것을 시간변조부(130)의 주기신호 생성부(131)가 생성하는 주기신호의 1주기마다, 삽입 복소 패턴(921)이 순차 교체되도록 생성하는 점이 다르다.
복소 배열 생성부(116)에서는, 다음과 같은 처리에 의해 삽입 복소 패턴(921)을 생성한다.
1) 제1 실시형태의 전자 워터마크 삽입장치(100)에 있어서의 복소 배열 생성 부(112)와 동일한 수순에 의해, 동기계열 생성부(115)에서 생성된 동기계열(917)에 기초하여 삽입 복소 패턴 SP를 생성한다.
2) 제1 실시형태의 전자 워터마크 삽입장치(100)에 있어서의 복소 배열 생성부(112)와 동일한 수순에 의해, 삽입계열 생성부(117)에서 생성된 각 삽입계열(913)에 기초한 삽입 복소 패턴 A1, A2, …Ak을 생성한다. 단, k는 삽입계열 생성부(117)에서 생성된 삽입계열(913)의 수, 즉, 삽입정보 분할부(114)에서의 정보 분할수이다.
3) 시간변조부(130)의 주기신호 생성부(131)가 생성하는 주기신호의 1주기마다, 하기의 순으로 삽입 복소 패턴을 반복 출력한다.
Figure 112008063377312-pct00156
말미의 …는, 전체가 동일하게 반복되는 것을 나타낸다.
여기서, 동기계열(917)에 기초한 삽입 복소 패턴 SP를 2회 반복하여 출력하고 있으나, 이것은 3회 이상 반복하도록 해도 무관하다. 그 경우는, 전자 워터마크 검출장치에 있어서 복수회 반복하고 있다는 것을 상정하여 전자 워터마크의 검출을 수행하도록 하는 것은 당연하다.
이와 같이 생성된 삽입 복소 패턴(921)에 기초하여 삽입패턴이 생성되고, 삽입 전 신호에 중첩됨으로써, 삽입정보를 시분할로 삽입하게 된다.
도 62에, 복수의 정보를 시분할로 연속하여 삽입하는 예를 나타낸다. 도 62에 도시한 바와 같이, 각 삽입 복소 패턴으로부터 생성되는 삽입패턴이 연결되어 삽입 전 신호에 중첩된다.
<전자 워터마크 검출장치>
도 63은, 본 발명의 제8 실시형태에 있어서의 전자 워터마크 검출장치의 구성 예를 나타낸다.
도 63에 도시한 전자 워터마크 검출장치(700)는, 삽입 완료 신호 분할부(710), 동기시간 복조부(720), 동기검출부(730), 동기 완료 신호 분할부(740), 시간복조부(750), 검출정보 추출부(760), 패턴 기억부(770)로 구성되며, 삽입 완료 신호(923)가 입력되고, 검출정보(3812)를 출력한다.
또한, 도 63에서, 도 10과의 대응 이해를 용이하게 하기 위해서, 밑에서 위로 정보가 흐르도록 구성이 기재되어 있다는 것에 주의해야 한다.
전자 워터마크 검출장치(700)에 의한 전자 워터마크의 검출처리는 이하의 수순으로 실시된다.
도 64는, 본 발명의 제8 실시형태에 있어서의 전자 워터마크 검출장치의 동작 흐름도이다.
단계 2101) 삽입 완료 신호 분할부(710)에서, 전자 워터마크 삽입장치(100)의 시간변조부(130)에서의 주기신호의 주기와 같은 길이만큼의 삽입 완료 신호(923)를 입력하고, 부분 삽입 완료 신호(3816)를 얻는다.
단계 2102) 동기시간 복조부(720)에서, 단계 2101에서 분할된 부분 삽입 완료 신호(3816)에 대해서, 제1 실시형태에 있어서의 전자 워터마크 검출장치의 시간복조부(210)와 동일한 수순에 의해 복소 패턴으로 복조하고, 이것을 동기 복소 패 턴(3813)으로 한다.
또한, 동기시간 복조부(720)에 대해서는, 본 발명의 이 밖의 실시형태에 있어서의 시간복조부와 동일한 동작으로 해도 좋다. 예를 들면, 제2 실시형태의 시간복조부(210c)의 동작과 동일하게 해도 무관하다.
단계 2103) 동기검출부(730)에서, 단계 2102에서 얻어진 동기 복소 패턴(3813)에 대해서, 제5 실시형태에 있어서의 전자 워터마크 검출장치(300)의 동기검출부(320)와 동일한 수순에 의해 동기변위량(3814)을 구한다.
동기검출부(730)에서, 동기변위량을 구하지 못한 경우에는, 단계 2101로 돌아가, 1주기분 후의 삽입 완료 신호에 대해서 처리를 반복한다.
동기검출부(730)의 동작 상세에 대해서는 후술한다.
단계 2104) 동기 완료 신호 분할부(740)에서, 단계 2103에서 얻어진 동기변위량(3814) 만큼, 삽입 완료 신호(923)를 시프트(shift)시킨 위치에서부터, 전자 워터마크 삽입장치(100)의 시간변조부(130)에 있어서의 주기신호의 주기와 같은 길이로 삽입 완료 신호(923)를 분할하고, 전자 워터마크 삽입장치(100)의 삽입정보 분할부(114)에서 분할된 삽입정보의 수의 동기 완료 부분신호(3817)를 얻는다.
동기 완료 신호 분할부(740)의 동작 상세에 대해서는 후술한다.
단계 2105) 시간복조부(750)에서, 단계 2104에서 분할된 각 동기 완료 부분 신호(3817)에 대해서, 제1 실시형태에 있어서의 전자 워터마크 검출장치(200)의 시간복조부(210)와 동일한 수순에 의해 복소 패턴으로 복조하고, 이것을 검출 복소 패턴(3815)으로 하여, 패턴 기억부(770)에 저장한다.
또한, 시간복조부(750)에 대해서는, 본 발명의 이 밖의 실시형태에 있어서의시간복조부와 동일한 동작으로 해도 좋다. 예를 들면, 제2 실시형태의 시간복조부(210c)의 동작과 동일하게 해도 무관하다.
단계 2106) 검출정보 추출부(760)에서, 단계 2105에서 얻어진 각 검출 복소 패턴(3815)에 대해서, 제1 실시형태에 있어서의 전자 워터마크 검출장치(200)의 검출정보 추출부(220)와 동일한 수순에 의해 각각의 검출정보를 얻은 후에, 또, 각 검출정보를 연결하여, 전체 검출정보(3812)를 출력한다.
검출정보 추출부(760)의 동작 상세에 대해서는 후술한다.
<전자 워터마크 검출장치 - 동기검출부>
이하에, 동기검출부(730)의 동작 상세를 설명한다.
동기검출부(730)에 있어서의 동작은, 제5 실시형태에 있어서의 전자 워터마크 검출장치(300)의 동기검출부(320)와 동일하나, 이하의 점이 다르다.
제5 실시형태의 복소 상관값 계산부(322)에서, 상정되는 삽입계열에 기초하여 구성된 복소수 계열과의 복소상관을 계산한 것에 대해, 본 실시형태의 복소 상관값 계산부(322)에서는, 전자 워터마크 삽입장치(110c)의 동기계열 생성부(115)에서 생성되는 동기계열(917)에 기초하여 구성된 복소수 계열과의 복소상관을 계산한다.
또, 동기검출 최대값 판정부(324)에서, 절대값(1513)의 값이 소정의 임계값을 초과하지 않은 경우에는 동기 패턴을 검출하지 못한 것으로 판단하고 동기변위량(1502)을 출력하지 않는다.
전술과 같이 삽입 완료 신호 분할부(710)에서 1주기분씩 순차 잘려내진 삽입 완료 신호에 대해서, 동기변위량(3814)이 구해질 때까지 반복 처리를 수행하게 되고, 동기계열이 발견될 때까지 삽입 완료 신호를 순차 스캔하게 된다.
이때, 도 62에서 도시한 바와 같이, 동기계열로 구성된 삽입패턴(도 62의 '동기패턴')은 2회 반복되어 있기 때문에, 미리 동기가 취해지지 않은 어떠한 타이밍에서 처리를 개시해도, 1주기분씩의 처리를 수행하기만 하면 결국 1주기분의 동기 패턴을 순회시킨 것에 해당하므로, 동기 패턴을 검출할 수 있다.
이때, 예를 들면, 영상신호 경우 등에서 1프레임씩 시프트시키면서 동기패턴을 찾을 필요는 없고, 1주기분씩 처리할 수 있으므로, 효율적으로 동기패턴의 탐색이 가능하다.
이 상태를 도 65에 나타낸다.
<전자 워터마크 검출장치 - 동기 완료 신호 분할부>
이하에, 동기 완료 신호 분할부(740)의 동작 상세를 설명한다.
동기 완료 신호 분할부(740)에서는, 동기검출부(730)에서 얻어진 동기변위량(3814)에 기초하여, 동기를 맞춘 위치부터 삽입 완료 신호(923)를 1주기분씩 분할한다.
즉, 동기변위량(3814)
[수 93]
Figure 112008063377312-pct00157
만큼 삽입 완료 신호(923)를 건너뛰어 읽거나, 혹은, T－Δt만큼 삽입 완료 신호(923)를 거슬러 올라가서 분할을 수행하면, 삽입패턴과 동기가 맞는 형태로 1주기분씩 잘라낼 수 있다.
또한, 동기 패턴의 검출 타이밍에 따라서, 동기 완료 신호 분할부(740)에서 분할된 선두의 동기 완료 부분신호(3817)가 동기계열이 삽입된 구간인 경우와, 첫 번째 삽입계열이 삽입된 구간인 경우가 있을 수 있으나, 이에 대해서는 각 구간에 대해 재차 동기계열 혹은 해당하는 삽입계열의 검출을 시행함으로써 용이하게 판단하는 것이 가능하다.
이렇게 하여, 각 삽입계열에 대응하는 구간을 동기 완료 부분신호(3817)로서 잘라낸다.
<전자 워터마크 검출장치 - 검출정보 추출부>
이하에, 검출정보 추출부(760)의 구성 예를 나타낸다.
도 66은, 본 발명의 제8 실시형태에 있어서의 검출정보 추출부의 구성 예이다.
검출정보 추출부(760)는, 검출계열 추출부(761), 상관값 계산부(762), 최대값 판정부(763), 검출정보 재구성부(764), 검출정보 연결부(765)로 구성되며, 검출 복소 패턴(3815)이 입력되고, 검출정보(3812)를 출력한다.
또한, 도 66에 있어서는, 도 60과의 대응 이해를 용이하게 하기 위해, 밑에서 위로 정보가 흐르도록 구성이 기재되어 있다는 것에 주의해야 한다.
검출정보 추출부(760)에 의한 검출정보 추출처리는, 이하의 수순으로 실시된 다.
도 67은, 본 발명의 제8 실시형태에 있어서의 검출정보 추출부의 동작 흐름도이다.
단계 2201) 검출계열 추출부(761), 상관값 계산부(762), 최대값 판정부(763), 검출정보 재구성부(764)의 각 부에 있어서, 제1 실시형태의 전자 워터마크 검출장치(200)에 있어서의 검출정보 추출부(220)의 대응하는 각 부의 동작과 동일한 처리에 의해 부분 검출 정보(3615)를 얻는다.
단, 입력된 각 검출 복소 패턴(3815)마다 각각 처리를 수행하고, 검출정보 재구성부(764)가 복수의 부분 검출 정보(3615)를 출력하는 점이 다르다.
단계 2202) 검출정보 연결부(765)에서, 검출정보 재구성부(764)에서 얻어진 복수의 부분 검출 정보(3615)를 연결하여, 검출정보(3812)를 구성하고, 이것을 출력한다.
복수의 부분 검출 정보(3615)의 연결은, 전자 워터마크 삽입정보 분할부(114)에 있어서의 분할처리의 역처리가 된다. 예를 들면, 삽입정보 분할부(114)에서 삽입정보(911)의 앞에서부터 순서대로 K비트씩 분할하도록 되어 있는 경우는, 부분 검출 정보(3615)를 순서대로 연결하도록 해도 좋다.
<전자 워터마크 검출장치의 그 밖의 구성 예>
상기한 예에 있어서, 동기 완료 신호 분할부(740)에서는, 1주기분씩 삽입 완료 신호를 분할하는 예를 나타내었으나, 전자 워터마크 삽입장치(100)의 복소 배열 생성부(116)에 있어서, 동기계열에 대응하는 삽입 복소 패턴이, 4회 이상 반복하도 록 하여 삽입되어 있는 경우에는, 동기 완료 신호 분할부(740)에 있어서, 복수 주기분씩 삽입 완료 신호를 분할하도록 해도 무관하다.
상기한 예에 있어서, 삽입 완료 신호 분할부(710)에서는, 1주기분씩 삽입 완료 신호(923)를 분할하는 예를 나타내었으나, 전자 워터마크 삽입장치(100)의 복소 배열 생성부(116)에 있어서, 각 삽입계열에 대응하는 삽입 복소 패턴이, 하기의 예와 같이 복수회씩 계속해서 반복하도록 생성되어 있는 경우에는, 삽입 완료 신호 분할부(710)에 있어서, 반복 중의 선두위치를 판단한 후에 복수 주기분씩 삽입 완료 신호를 분할하도록 해도 무관하다.
Figure 112008063377312-pct00158
반복 중의 선두위치를 판단하기 위해서는, 동기변위량(3814)에 의해 1주기의 개시점은 이미 명백하므로, 1주기분으로 잘라낸 구간마다 동기계열 혹은 해당하는 삽입계열의 검출을 시도함으로써 용이하게 판단하는 것이 가능하다.
<제8 실시형태의 특징>
본 실시형태의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치에 따르면, 시분할로 신호의 구간마다 다른 부분 삽입 정보를 삽입함으로써, 다량의 삽입정보를 신호에 삽입하는 것이 가능하게 된다.
전자 워터마크 검출에 있어서는, 1주기 개시점의 동기맞춤을 용이하게 실시할 수 있으므로, 변위량을 순차 시도하는 총당적(round-robin fashion)인 수법, 즉 예를 들면 영상신호의 경우에 동기신호를 1프레임 어긋남마다 매칭하여 탐색하는 것과 같은 수법에 의하지 않고, 효율적이면서 고속으로 동기 맞춤을 수행하여, 전자 워터마크를 검출하는 것이 가능하게 된다.
또, 본 실시형태의 전자 워터마크 삽입장치의 변형 예로서, 동기계열을 각 삽입계열에 중첩하도록 삽입하게 해도 좋다. 즉, 동기계열로부터 생성되는 삽입패턴을 각 삽입계열로부터 생성되는 삽입패턴과 가산하여, 다음과 같이 삽입한다.
Figure 112008063377312-pct00159
이와 같이 삽입을 수행한 경우, 동기계열을 검출할 때의 단계 2101에 있어서, 삽입 완료 신호(923)를 주기신호의 주기와 같은 길이로 분할하지 않고, 동기계열의 검출에 충분한 양의 삽입 완료 신호를 이용하여 정밀하게 동기계열을 검출할 수 있다. 이것으로부터 얻어진 동기변위량에 기초하여 삽입 완료 신호를 분할하여 각 삽입계열을 검출할 수 있음은 이미 설명한 것과 동일하다.
[제9 실시형태]
<직교 변환 영역 삽입>
이하에, 제9 실시형태에 있어서의 전자 워터마크 삽입장치에 대해서 설명한다.
본 실시형태는, 제1 실시형태에 있어서의 전자 워터마크 삽입장치의 다른 구성 예를 나타내는 것이다.
<전자 워터마크 삽입장치>
도 68은, 본 발명의 제9 실시형태에 있어서의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치의 구성 예를 나타낸다.
본 실시형태에 있어서의 전자 워터마크 삽입장치(800)는, 복소 패턴 생성부(810), 삽입패턴 중첩부(820), 삽입 전 신호 변환부(830), 삽입 완료 신호 역변환부(840), 제1 기억부(850)로 구성되며, 삽입정보(911), 삽입 전 신호(912)가 입력되고, 삽입 완료 신호(923)를 출력한다.
이하에, 전자 워터마크 삽입장치(800)의 동작을 설명한다.
전자 워터마크 삽입장치(800)에 의한 전자 워터마크 삽입 처리는 이하의 수순으로 실시된다.
도 69는, 본 발명의 제9 실시형태에 있어서의 전자 워터마크 삽입장치의 동작 흐름도이다.
단계 2301) 복소 패턴 생성부(810)에서, 입력된 삽입정보(911)에 기초하여 삽입 복소 패턴(4021)을 생성하고, 제1 기억부(850)에 저장한다.
복소 패턴 생성부(810)의 처리는, 제1 실시형태의 전자 워터마크 삽입장치(100)에 있어서의 복소 패턴 생성부(110)와 동일하다.
단계 2302) 삽입 전 신호(912)로부터 소정의 구간 T 길이의 신호를 입력한다.
단계 2303) 삽입 전 신호 변환부(830)에서, 단계 2302에서 얻은 구간의 위치 (x1, x2,… xN -1)마다 1차원 이산 푸리에 변환하고, 주파수 분해하여, 변환 완료 삽입 전 신호(4022)를 얻는다.
삽입 전 신호 변환부(830)의 동작 상세에 대해서는 후술한다.
단계 2304) 삽입패턴 중첩부(820)에서, 단계 2303에서 얻어진 변환 완료 삽입 전 신호(4022)에 대해서, 단계 2301에서 얻어진 삽입 복소 패턴(4021)을 중첩하고, 역변환 전 삽입 완료 신호(4023)를 얻는다.
삽입 패턴 중첩부(820)의 동작 상세에 대해서는 후술한다.
단계 2305) 삽입 완료 신호 역 변환부(840)에서, 단계 2304에서 얻어진 역변환 전 삽입 완료 신호(4023)에 대해서, 위치 (x1, x2,… xN -1)마다 1차원 이산 역 푸리에 변환하고, 삽입 완료 신호(923)를 얻는다.
삽입 완료 신호 역 변환부(840)의 동작 상세에 대해서는 후술한다.
단계 2306) 삽입 전 신호(912)를 모두 처리 완료할 때까지 상기한 단계 2302∼2305를 반복한다.
<전자 워터마크 삽입장치 - 삽입 전 신호 변환부>
이하에, 삽입 전 신호 변환부(830)의 동작 상세에 대해서 설명한다.
삽입 전 신호 변환부(830)에서는, 삽입 전 신호(912)로부터 취출된 구간 T의 신호를 1차원 이산 푸리에 변환하고, 주파수 분해한다.
구체적으로 식을 이용하여 이하에 설명한다.
삽입 전 신호(912)를 I(x1, x2,… xN -1, t)라 한다.
I(x1, x2,… xN -1, t)를 다음과 같이 1차원 이산 푸리에 변환하여, η(x1, x2,… xN -1, u)를 얻는다.
[수 94]
Figure 112008063377312-pct00160
단, T는 미리 정해진 소정의 표본수라 한다.
η(x1, x2,… xN -1, u)를 변환 완료 삽입 전 신호(4022)로서 출력한다.
<전자 워터마크 삽입장치 - 삽입패턴 중첩부>
이하에, 삽입패턴 중첩부(820)의 동작 상세를 설명한다.
삽입패턴 중첩부(820)에서는, 삽입 전 신호 변환부(830)에서 얻어진 N차원의 변환 완료 삽입 전 신호(4022)의, 특정의 주파수에 대응하는 N-1차원 평면부분에 대해서, 복소 패턴 생성부(810)에서 생성된 N-1차원의 삽입 복소 패턴(4021)을 가산함으로써 중첩하고, 중첩한 결과의 주파수를 포함하는 전체의 N차원 신호를 역 변환 전 삽입 완료 신호(4023)로서 출력한다.
구체적으로 식을 이용하여 이하에 설명한다.
삽입 전 신호 변환부(830)에서 얻어진 변환 완료 삽입 전 신호(4022)를 η(x1, x2,… xN -1, u), 복소 패턴 생성부(810)에서 얻어진 삽입 복소 패턴(4021)을 P(x1, x2,… xN -1)라 하고, 생성할 역변환 전 삽입 완료 신호(4023)를 η'(x1, x2,… xN-1, u)라 한다.
[수 95]
Figure 112008063377312-pct00161
단, *는 복소공액을 나타내며, u0은 미리 결정된 주파수, U는 주파수 표본의 수라 한다. 즉, 여기에서는, u＝u0과 u＝U－u0이 주파수 u0에 대응하는 N-1차원 평면으로서 선택되어 있는 것이 된다. 또한 u＝u0과 u＝U－u0에서 P의 공액복소수를 주는 것은 이산 역 푸리에 변환의 결과 얻어지는 신호가 실수값이 되기 때문이다.
또한, α는 강도 파라미터이며, 삽입 전 신호(912)의 전체 또는 부위로부터 산출되는 특징량에 따라서 변화하도록 구성되어 있어도 무관하다는 점은, 제1 실시형태에 있어서의 삽입패턴 중첩부(140)의 경우와 동일하다.
또, 삽입 전 신호(912)의 크기가 삽입 복소 패턴(4021)보다도 큰 경우는, 삽입 복소 패턴(4021)을 반복하도록 가산하여도 좋다는 점은, 제1 실시형태에 있어서의 삽입패턴 중첩부(140)의 경우와 동일하다.
또, 삽입 복소 패턴의 중첩에 앞서, 삽입 복소 패턴(4021)을 복수배, 혹은 삽입 전 신호(912)의 크기에 맞도록 확대하도록 하여도 좋은 점도, 제1 실시형태에 있어서의 삽입패턴 중첩부(140)의 경우와 동일하다.
또, 삽입 복소 패턴의 중첩에 앞서, 실제로 중첩을 수행하는 u＝u0 및 u＝U －u0이 되는 변환 완료 삽입 신호(4022)의 부분을 N-1차원의 이산 푸리에 변환으로 변환한 후에 중첩을 수행하고, 또한, N-1차원의 이산 역 푸리에 변환으로 역변환하도록 해도 좋다.
N-1차원의 이산 푸리에 변환을 수행하는 경우, 삽입 전 신호 변환부(830)에서의 1차원 이산 푸리에 변환과 합쳐서, 1회의 N차원 이산 푸리에 변환으로서 처리해도 좋다. 또, 마찬가지로, N-1차원의 이산 역 푸리에 변환을, 후술하는 삽입 완료 신호 역 변환부(840)에서의 1차원 이산 역 푸리에 변환과 합쳐서, 1회의 N차원 이산 역 푸리에 변환으로서 처리해도 좋다. 단, 상기와 같이 1차원 이산 푸리에 변환과 N-1차원 이산 푸리에 변환, 1차원 이산 역 푸리에 변환과 N-1차원 이산 역 푸리에 변환을, 개개별로 실시함으로써, 실제로 중첩을 수행하는 u＝u0 및 u＝U－u0의 N-1차원 평면에 대해서만 N-1차원의 이산 푸리에 변환, 이산 역 푸리에 변환을 수행하면 되므로, 처리를 고속으로 수행할 수 있는 이점이 있다.
<삽입 완료 신호 역 변환부>
이하에 삽입 완료 신호 역 변환부(840)의 동작 상세에 대해서 설명한다.
삽입 완료 신호 역 변환부(840)에서는, 역변환 전 삽입 완료 신호(4023)를 위치(x1, x2,… xN -1)마다 1차원 이산 역 푸리에 변환하여, 삽입 완료 신호(923)를 얻는다.
구체적으로 식을 이용하여 이하에 설명한다.
역변환 전 삽입 완료 신호(4023)를 η'(x1, x2,… xN -1, u)라 한다.
η'(x1, x2,… xN -1, u)를 다음과 같이 1차원 이산 역 푸리에 변환하여, I'(x1, x2,… xN -1, t)를 얻는다.
[수 96]
Figure 112008063377312-pct00162
<제9 실시형태의 특징>
본 실시형태의 전자 워터마크 삽입장치에 따르면, 제1 실시형태의 전자 워터마크 삽입장치와 동일한 특징을 갖는 전자 워터마크를 삽입할 수 있다.
또, 제7 실시형태와 동일한 방법에 의해, 복수 패턴 생성부(810)에서 복수의 복소 패턴을 생성하고, 삽입패턴 중첩부(820)에서, 변환 완료 삽입 전 신호(4022)의 복수의 주파수에 대응하는 N-1차원 평면부분에 각 복소 패턴을 가산하도록 함으로써, 제7 실시형태의 전자 워터마크 삽입장치와 동일한 특징을 갖는 전자 워터마크를 삽입할 수 있다.
[그 밖의 실시형태]
이하에 본 발명의 그 밖의 실시형태로서, 각 실시형태와 조합할 수 있는 구성 예를 나타낸다.
<검출시의 프리 필터(prefilter) 사용>
제1 내지/및 제8의 각 실시형태에 있어서, 주기신호로서 정현파를 이용한 경우, 전자 워터마크가 삽입되어 있는 것은 N차원째 방향(예를 들어 영상신호의 경우 에 시간방향)의 단일주파수가 된다. 그 밖의 주기신호를 이용한 경우에도, 그 기본주파수가 가장 중요하다. 전자 워터마크 검출장치에 의한 검출에 앞서, 삽입 완료 신호에 대해 해당 주파수를 강조하는 필터 처리를 수행함으로써 보다 고정밀도로 전자 워터마크의 검출을 할 수 있도록 하여도 좋다.
필터의 예로서는, FIR 필터나 IIR 필터 등의 디지털 필터를 이용하여 특정의 주파수대역을 강조하는 대역 통과형 필터를 구성해도 좋다. 또, 소정의 임계값을 초과 또는 하회하는 신호값을 해당 임계값으로 억제하는 클리핑 필터(clipping filter)나, 소정의 임계값을 초과 또는 하회하는 신호값을 0으로 간주하는 ε필터 등의 비선형 필터를 이용함으로써, 원화성분 등 전자 워터마크에 있어서의 노이즈 성분을 효율적으로 제거하면서 전자 워터마크 성분을 남기는 것과 같은 필터 처리를 수행해도 좋다.
또, 본 발명의 제7 실시형태에 있어서는, 복수의 주기신호를 이용하여 복수의 주파수대역을 이용하여 전자 워터마크를 삽입하고 있으나, 각각의 주기신호에 대한 시간변조의 처리에 앞서, 각각의 주기신호에 맞춘 특성을 갖는 필터를 각각 이용하여 필터 처리를 수행하도록 해도 좋다.
특히, 본 발명에서는 N차원째 방향의 단일주파수를 이용하여 전자 워터마크의 삽입을 수행하기 때문에, 직선 위상 특성이 없고 위상특성이 나쁜 필터를 사용해도 검출성능에 대한 영향이 없다. 따라서, IIR 필터와 같이 위상특성이 나쁜 대신에 적은 TAP 수로 예민한 주파수 특성을 갖고 고속처리가 가능한 필터를 이용하는 것이 가능하게 되고 고정밀도의 전자 워터마크 검출처리를 고속으로 실행하는 것이 가능하다.
<삽입 완료 신호에 대한 처리>
본 발명의 각 실시형태에 있어서, 예를 들면, 도 10, 도 52, 도 68 등에서는, 전자 워터마크 삽입장치로부터 출력된 삽입 완료 신호를 직접 전자 워터마크 검출장치에 입력하도록 도시되어 있으나, 삽입 완료 신호를 압축(compressing), 부호화(coding), 배신(配信, distributing), 편집(editing), 개변(modifying) 등을 한 후에 전자 워터마크 검출장치에 입력되어도 좋음은 물론이다. 또, 삽입 완료 신호를 자기매체(예를 들면, VTR, DVD, 플로피(등록상표) 디스크, CD, HDD 등)나 그 밖의 매체(필름 등)에 일단 기록하거나, 네트워크를 통해 전송하거나, 광학적인 디바이스를 이용하여 재생(예를 들면 영화로서 스크린에 영사하는 CRT나 액정, 플라즈마 등의 디스플레이로 표시하는 등)한 것을 비디오카메라, 휴대전화의 카메라, 필름을 이용한 카메라 등의 촬영수단을 이용하여 재촬영 하거나해도 무관함은 물론이다.
<시간 변조 처리>
본 발명의 각 실시형태에서, 편의상, '시간변조부' '시간복조부'라 부르고 있으나, 그것이 실제의 신호에 있어서, 반드시 시간축 방향의 변조를 수행하는 것일 필요는 없으며, 원래의 N-1차원과 직교하는 차원이라면 다른 차원방향의 변조이어도 무관하다.
예를 들면, 2차원의 신호로 이루어지는 화상신호에 전자 워터마크를 삽입하는 경우에, 화상의 가로방향으로 정의되는 1차원 복소 배열을 N-1차원 삽입 복소 패턴으로서 구성하고, 이것을 세로방향으로 변조하여 2차원의 삽입패턴을 얻도록 하여도 무관하다. 세로와 가로를 바꿔넣어도 좋음은 물론이다.
또, 예를 들면, 공간방향(X, Y) 2차원과 시간방향 1차원으로 합계 3차원의 영상신호에 전자 워터마크를 삽입하는 경우에, 화상의 가로방향과 시간방향으로 정의되는 2차원 복소 배열을 N-1차원 삽입 복소 패턴으로서 구성하고, 이것을 세로방향으로 변조하여 3차원의 삽입패턴을 얻도록 해도 무관하다. 세로와 가로를 바꿔넣어도 좋음은 물론이다.
또, 본 발명의 각 실시형태에 있어서는, 입력신호인 삽입 전 신호는 N차원의 신호인 경우를 예로 설명하였으나, M(＞N)차원의 입력신호에 대해서, N차원의 삽입을 반복하도록 구성해도 좋다.
예를 들면, 공간방향(X, Y) 2차원과 시간방향 1차원으로 합계 3차원의 영상신호의 입력에 대해서, 영상의 각 프레임 화상마다 2차원의 신호로 보고, 상술과 같이 가로방향의 1차원 복소 배열을 세로방향으로 변조한 2차원 삽입패턴을 구성하여 삽입을 수행하고, 이것을 모든 프레임에 대해 반복 실시함으로써, 전자 워터마크의 삽입을 수행해도 무관하다. 전자 워터마크의 검출시에는, 각 프레임마다 처리를 수행해도 좋으며, 각 프레임 화상을 중첩한 신호에 대해서 처리를 수행해도 무관하다.
<오류정정부호 등의 이용>
본 발명의 각 실시형태에 있어서, 삽입계열 생성부에서의 삽입정보의 처리에 앞서, 오류정정부호를 이용하여 삽입정보를 부호화하여도 좋으며, 역으로, 검출 정보의 출력에 앞서 오류정정부호를 복호하도록 해도 좋다.
<N-1차원의 직교변환>
본 발명의 제3 실시형태에서는, N-1차원 역 푸리에 변환부(113), N-1차원 푸리에 변환부(225)에 있어서의 N-1차원 복소 패턴에 대한 직교변환의 예로서 이산 푸리에 변환을 이용하여 설명하였으나, 이산 푸리에 변환 이외의 복소수로부터 복소수의 변환을 수행하는 직교변환 방법을 이용해도 무관하다.
또한, N차원째 방향의 동기변위를 직교변환된 영역에서 올바르게 처리할 수 있기 위해서는 N차원째 방향의 동기변위에 의해 발생한 계수 ej Δθ가 저장되는 변환이면 좋으며, 직교변환은 선형변환이므로 이 조건은 직교변환인 시점에 이미 만족하고 있다.
<1차원 선형변환>
또, 제2 실시형태에서는, 시간변조부(130b)에 있어서의 1차원 변환의 예로서 이산 푸리에 변환을 이용하여 설명하였으나, 이산 푸리에 변환 이외의 복소수로부터 복소수의 변환을 수행하는 선형변환 방법으로, 하기의 조건을 만족하는 주기함수를 기저에 갖고, 역변환이 존재하는 선형변환 방법이라면 어떠한 것이어도 무관하다.
또, 마찬가지로, 본 발명의 제9 실시형태에서는, 삽입 전 신호 변환부(830) 및 삽입 완료 신호 역 변환부(840)에 있어서의 1차원 변환의 예로서 1차원 이산 푸리에 변환 및 1차원 이산 역 푸리에 변환을 이용하여 설명하였으나, 이산 푸리에 변환 이외의 복소수로부터 복소수의 변환을 수행하는 선형변환 방법으로, 하기의 조건을 만족하는 주기함수를 기저에 갖고, 역변환이 존재하는 선형변환 방법이라면 어떠한 것이어도 무관하다.
조건:
1) 주기분 적분한 결과가 0이 된다.
2) 자기상관함수가 예민한 피크를 갖지 않는다.
이들 조건의 상세에 대해서는 이미 주기신호의 예로서 서술한 대로이다.
예를 들면, 다음과 같은 선형변환이어도 무관하다.
[수 97]
벡터
Figure 112008063377312-pct00163
에서 벡터
Figure 112008063377312-pct00164
의 선형변환을 생각하고, 변환을 나타내는 변환행렬을 A라 한다. 여기서 C는 복소수 전체의 집합을 나타낸다.
[수 98]
Figure 112008063377312-pct00165
여기서,
Figure 112008063377312-pct00166
라 한다.
이때 f(t)를 상기 조건을 만족하는 주기 n의 주기함수로 하고,
[수 99]
Figure 112008063377312-pct00167
가 되는 변환행렬 A로 나타나는 선형변환이어도 좋다. 여기서 j는 허수단위이다.
f(t)는 도 4a∼c에 도시한 바와 같은 (도 4a) (a)정현파, (도 4b) (b)삼각파, (도 4c) (c)구형파이어도 좋다.
<동기맞춤신호로서의 이용>
본 발명의 제5 실시형태에서는, 삽입정보를 나타내는 삽입패턴 자체를 이용하여 시간방향의 동기변위량을 검출하는 방법을 나타내었으나, 본 발명의 동기변위량 검출방법을 임의의 전자 워터마크 방법과 조합하여 이용해도 좋다. 즉, 임의의 전자 워터마크 방법에 의한 전자 워터마크 삽입과 병행하여, 본 발명의 전자 워터마크 삽입방법을 이용하여 전용 동기맞춤신호를 삽입하도록 전자 워터마크 삽입장치를 구성해두고, 본 발명의 동기변위량 검출방법을 이용하여 해당 동기맞춤신호로부터 동기맞춤을 수행한 후에, 임의의 전자 워터마크 검출방법을 이용하여 삽입정보를 검출하여 출력하도록, 전자 워터마크 검출장치를 구성해도 무관하다.
또, 동기계열을 삽입하기 위한 주기신호의 주기를, 삽입계열을 삽입하기 위한 주기신호의 주기의 정수배가 되도록 해도 좋다.
<기타>
본 발명의 실시형태에서 나타낸 구성을 적절히 조합하여 사용해도 무관하다.
또, 상기한 각 실시형태의 전자 워터마크 삽입장치 및 전자 워터마크 검출장치의 각 구성요소의 동작을 프로그램으로서 구축하고, 컴퓨터에 인스톨하여 실행시키거나 또는 네트워크를 통해 유통시키는 것이 가능하다.
또, 구축된 프로그램을 하드디스크나, 플렉시블(flexible) 디스크·CD-ROM 등의 휴대용 기억매체에 저장하고, 컴퓨터에 인스톨하거나 또는 배포하는 것이 가능하다.
이상 설명한 바와 같이, 본 발명의 일 실시형태에 따르면, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 삽입정보를 전자 워터마크로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입장치로, 상기 삽입정보에 기초하여 삽입계열을 생성하고, 제1 기억수단에 저장하는 삽입계열 생성수단과, 상기 제1 기억수단의 상기 삽입계열에 기초하여 N-1차원 패턴을 생성하는 배열 생성수단과, 상기 N-1차원 패턴상의 값에 따라서 주기신호를 변조함으로써 N차원 삽입 패턴을 생성하고, 제2 기억수단에 저장하는 변조수단과, 상기 제2 기억수단에 저장되어 있는 상기 N차원 삽입패턴을 취득하고, 해당 삽입패턴을 상기 입력신호에 중첩하는 삽입패턴 중첩수단을 갖는 것을 특징으로 하는 전자 워터마크 삽입장치가 제공된다.
이 전자 워터마크 삽입장치에 따르면, N-1차원 패턴을 N차원째 방향으로 변조하여 삽입을 수행함으로써, N-1차원 패턴의 삽입정보를 N차원 공간으로 확대한 리던던시성(redundancy)에 의해, 예를 들면 고압축이나 재촬영 등의 개변에 대해서 도 충분한 내성이 있고, 품질 열화를 억제하고, 정보길이가 긴 정보를 전자 워터마크로서 삽입할 수 있다.
또, N-1차원 공간에서 스펙트럼 확산된 삽입계열을 이용하여 N차원째 방향에서의 동기변위량에 관계없이, 동기맞춤 불필요, 혹은 용이하면서 고속으로 동기맞춤이 가능한 전자 워터마크를 삽입할 수 있다.
상기 변조수단은, 상기 N-1차원 패턴상의 위치에 따라 N차원째 방향의 위상이 각각 다르게 N차원 삽입패턴을 생성하도록 구성해도 좋다. 이 구성에 따르면, 주기신호의 위상을 이용하여 전자 워터마크를 삽입함으로써, N-1차원 패턴을 N차원째 방향으로 용이하면서 고속으로 변조가 가능함과 동시에, 주기신호의 위상변위를 이용하여 N차원째 방향에서의 동기변위량에 관계없이, 동기맞춤 불필요, 혹은 용이하면서 고속으로 동기맞춤이 가능한 전자 워터마크를 삽입할 수 있다. 또, 최저 영상신호 양자화값 미만이 되어 실제로는 전자 워터마크의 삽입이 이루어지지 않은 프레임이 발생하는 것을 방지할 수 있고, 전자 워터마크의 전송로로서의 영상신호를 유효하게 이용할 수 있음과 동시에, 전자 워터마크의 진폭이 큰 프레임을 겨냥하여 개변하는 공격에 대한 내성을 증가시킬 수 있다.
또, 삽입패턴의 N-1차원 공간상에서 위상이 확산되어 있음으로써, 상관계산 결과 중에서 삽입 전 신호에 기인하여 나타나는 노이즈 성분의 크기가 보다 작아지게 되어, 결과, 보다 신뢰성이 높은 전자 워터마크의 삽입, 검출이 가능하게 되고, 또 종래와 같은 정도의 신뢰성으로 보다 품질 열화가 적은 전자 워터마크의 삽입, 검출이 가능하게 된다.
또, 동일한 기본주파수를 갖고 직교하는 2개의 주기신호의 합을 이용하여 전자 워터마크를 삽입함으로써, N-1차원 패턴을 N차원째 방향으로 용이하면서 고속으로 변조가 가능함과 동시에, 주기신호의 위상변위를 이용하여 N차원째 방향에서의 동기변위량에 관계없이, 동기맞춤이 불필요하거나 혹은 용이하면서 고속으로 동기맞춤이 가능한 전자 워터마크를 삽입할 수 있다.
또, 주기신호로서 구형파나 삼각파와 같은, 자기상관함수가 예민한 피크를 갖지 않는 특성을 가지며, 정현파와 비교하여 용이하게 계산가능한 주기함수를 이용함으로써, 계산 자원이 부족한 환경에서도 전자 워터마크의 삽입 처리를 보다 고속으로 실현할 수 있다.
또, 변조에 이산 푸리에 변환 등의 선형변환을 이용함으로써, 예를 들면, 고속 푸리에 변환 등을 이용하여 N-1차원 패턴을 N차원 방향으로 용이하고 고속으로 변조가 가능함과 동시에, 이산 푸리에 변환 계수 등의 선형변환 계수를 이용하여 N차원째 방향에서의 동기 어긋남에 관계없이, 동기맞춤이 불필요하거나 혹은 용이하면서 고속으로 동기맞춤이 가능한 전자 워터마크를 삽입할 수 있다.
또, 상기 전자 워터마크 삽입장치에 있어서, 상기 N-1차원 패턴이 복소수 패턴이고, 상기 배열 생성수단은, 상기 삽입계열의 일부를 실수부, 일부를 허수부가 되도록 상기 N-1차원 패턴을 생성하도록 해도 좋다.
이 구성에 따르면, 복소수의 실수부, 허수부를 이용하여 삽입을 수행함과 동시에, 패턴의 대칭성에 관한 제약이 없고, N-1차원의 공간 전체를 이용하여 삽입을 수행할 수 있으며, 스펙트럼 확산계열 길이를 길게 할 수 있어, 검출의 신뢰성이 높고, 또 종래와 같은 정도의 신뢰성으로 보다 긴 삽입정보 길이를 전자 워터마크로서 삽입할 수 있으며, 종래와 같은 정도의 신뢰성과 정보길이로 보다 품질 열화가 적은 전자 워터마크를 삽입할 수 있다.
또, 상기 전자 워터마크 삽입장치에 있어서, 상기 N-1차원 패턴이 복소수 패턴이고, 상기 변조수단은, 상기 N-1차원 패턴상의 복소수의 편각이 변조신호의 위상이 되고, 절대값이 변조신호의 크기가 되도록 상기 주기신호를 변조하도록 해도 좋다.
이 구성에 따르면, N차원째 방향에서의 동기변위량에 관계없이, 동기맞춤이 불필요하거나 혹은 용이하면서 고속으로 동기맞춤이 가능한 전자 워터마크를 삽입할 수 있다. 또, 복소수의 편각이 N차원째 축 방향의 변조신호의 위상이 되기 때문에, 최저의 영상신호 양자화값 미만이 되어 실제로는 전자 워터마크의 삽입이 이루어지지 않은 프레임이 발생하는 것을 방지할 수 있고, 전자 워터마크의 전송로로서의 영상신호를 유효하게 이용할 수 있음과 동시에, 전자 워터마크의 진폭이 큰 프레임을 겨냥햐여 개변하는 공격에 대한 내성을 증가시킬 수 있다.
또, 상기 전자 워터마크 삽입장치에 있어서, 상기 삽입계열 생성수단은, 생성된 상기 삽입계열을 분할하여 복수의 삽입계열을 생성하고, 상기 제1 기억수단에 저장하며, 상기 배열 생성수단은, 상기 제1 기억수단에 저장된 상기 복수의 삽입계열마다 각각 대응하는 N-1차원 패턴을 생성하고, 상기 변조수단은, 상기 N-1차원 패턴마다 각각 대응하는 N차원 삽입패턴을 생성하고, 제2 기억수단에 저장하며, 상기 삽입패턴 중첩수단은, 상기 제2 기억수단에 상기 삽입패턴을 모두 가산한 후에, 상기 입력신호에 중첩하도록 구성해도 좋다.
이 구성에 따르면, 복수의 주기신호를 이용하여 정보를 삽입함으로써, 보다 정보길이가 긴 삽입정보를 전자 워터마크로서 삽입할 수 있으며, 또, 검출결과의 신뢰성을 보다 정확하고 확실히 할 수 있음과 동시에, 스펙트럼 확산계열 길이를 길게 할 수 있으며, 보다 신뢰성이 높은 전자 워터마크 삽입을 수행할 수 있다.
또, 본 발명의 일 실시형태에 따르면, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 삽입정보를 전자 워터마크로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입장치에 있어서, 상기 삽입정보에 기초하여 삽입계열을 생성하고, 제1 기억수단에 저장하는 삽입계열 생성수단과, 상기 제1 기억수단에 저장되어 있는 상기 삽입계열에 기초하여 N-1차원 패턴을 생성하고, 제2 기억수단에 저장하는 배열 생성수단과, 상기 입력신호를 직교변환하여, 변환 완료 신호를 취득하는 변환수단과, 상기 제2 기억수단에 저장되어 있는 상기 N-1차원 패턴을 상기 변환 완료 신호의 일부의 N-1차 평면에 중첩하여, 역변환 전 신호를 얻는 삽입패턴 중첩수단과, 상기 역변환 전 신호를 직교 역변환하여, 삽입 완료 신호를 얻는 역변환수단을 갖는 것을 특징으로 하는 전자 워터마크 삽입장치가 제공된다.
이 전자 워터마크 삽입장치에 따르면, N-1차원 패턴을 N차원째 방향의 신호로서 삽입 전 신호에 중첩하여 삽입을 수행함으로써, N-1차원 패턴의 삽입정보를 N차원 공간으로 확대한 리던던시성(redundancy)에 의해, 예를 들면 고압축이나 재촬영 등의 개변에 대해서도 충분한 내성이 있고, 품질 열화를 억제하고, 정보길이가 긴 정보를 전자 워터마크로서 삽입할 수 있다. 또, 패턴의 대칭성에 관한 제약이 없어 N-1차원의 공간 전체를 이용하여 삽입을 수행할 수 있으며, 스펙트럼 확산계열 길이를 길게 할 수 있어, 검출의 신뢰성이 높고, 또, 종래와 같은 정도의 신뢰성으로 보다 긴 삽입정보 길이를 전자 워터마크로서 삽입할 수 있으며, 종래와 같은 정도의 신뢰성과 정보길이로 보다 품질 열화가 적은 전자 워터마크를 삽입할 수 있다. 또, N-1차원의 공간에서 스펙트럼 확산된 삽입계열을 이용하여 N차원째의 방향에서의 동기변위량에 관계없이, 동기맞춤이 불필요하거나 혹은 용이하고 고속으로 동기맞춤이 가능한 전자 워터마크를 삽입할 수 있다. 또, 최저 영상신호 양자화값 미만이 되어 실제로는 전자 워터마크의 삽입이 이루어지지 않은 프레임이 발생하는 것을 방지할 수 있고, 전자 워터마크의 전송로로서의 영상신호를 유효하게 이용할 수 있음과 동시에, 전자 워터마크의 진폭이 큰 프레임을 겨냥햐여 개변하는 공격에 대한 내성을 증가시킬 수 있다.
상기 전자 워터마크 삽입장치에 있어서, 상기 삽입계열 생성수단은, 복수의 삽입계열을 생성하여 상기 제1 기억수단에 저장하고, 상기 배열 생성수단은, 상기 제1 기억수단에 저장되어 있는 상기 복수의 삽입계열마다 각각 대응하는 N-1차원 패턴을 생성하여, 상기 제2 기억수단에 저장하며, 상기 삽입패턴 중첩수단은, 상기 제2 기억수단에 저장되어 있는 상기 N-1차원 패턴을 상기 변환 완료 신호의 복수의 N-1차원 평면에 각각 중첩하도록 해도 좋다.
이 구성에 따르면, 변환 완료 신호의 복수의 N-1차원 평면에 N-1차원 패턴을 중첩함으로써, 보다 정보길이가 긴 삽입정보를 전자 워터마크로서 삽입할 수 있으며, 또, 검출결과의 신뢰성을 보다 정확하고 확실히 할 수 있음과 동시에, 스펙트 럼 확산계열 길이를 길게 할 수 있으며, 보다 신뢰성이 높은 전자 워터마크 삽입을 수행할 수 있다.
또, 본 발명의 일 실시형태에 따르면, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 미리 인간의 지각에 감지되지 않도록 삽입된 전자 워터마크를 검출하는 전자 워터마크 검출장치로, 상기 입력신호의 하나의 차원방향에 있어서의 소정의 주기신호 성분을 측정하고, N-1차원 패턴을 구하는 복조수단과, 상기 N-1차원 패턴의 값으로부터 검출계열을 구하고, 기억수단에 저장하는 검출계열 추출수단과, 상기 기억수단에 저장된 상기 검출계열과 삽입계열의 상관값의 크기에 기초하여, 삽입되어 있는 전자 워터마크를 검출하는 상관값 계산수단을 갖는 것을 특징으로 하는 전자 워터마크 검출장치가 제공된다.
이 전자 워터마크 검출장치에 따르면, N-1차원 패턴의 삽입정보를 N차원 공간으로 확대한 리던던시성(redundancy)에 의해, 예를 들면 고압축이나 재촬영 등의 개변에 대해서도 충분한 내성이 있고, 품질 열화를 억제하고, 정보길이가 긴 정보를 전자 워터마크 검출할 수 있다. 또, N-1차원의 공간에서 스펙트럼 확산된 삽입계열을 이용하여 N차원째의 방향에서의 동기변위량에 관계없이, 동기맞춤이 불필요하거나 혹은 용이하고 고속으로 동기맞춤이 가능한 전자 워터마크의 검출을 할 수 있다.
또, 복조에 이산 푸리에 변환 등의 선형변환을 이용함으로써, 예를 들면, 고속 푸리에 변환 등을 이용하여 N차원 신호로부터 N-1차원 패턴을 용이하고 고속으로 복조가 가능함과 동시에, 이산 푸리에 변환 계수 등 선형변환 계수를 이용하여 N차원째 방향에서의 동기 어긋남에 관계없이, 동기맞춤이 불필요하거나 혹은 용이하면서 고속으로 동기맞춤이 가능한 전자 워터마크의 검출을 할 수 있다.
상기 복조수단은, 동일한 주파수를 갖는 직교하는 2개의 주기신호를 생성하고, 상기 입력신호와 상기 주기신호와의 상관에 기초하여 N-1차원 패턴을 구하도록 구성해도 좋다.
이 구성에 따르면, N-1차원 패턴을 N차원째 방향으로 용이하면서 고속으로 복조가 가능함과 동시에, 주기신호의 위상변위를 이용하여 N차원째 방향에서의 동기변위량에 관계없이, 동기맞춤이 불필요하거나 혹은 용이하면서 고속으로 동기맞춤이 가능한 전자 워터마크 검출이 가능하다.
또, 주기신호로서 구형파나 삼각파와 같은, 자기상관함수가 예민한 피크를 갖지 않는 특성을 가지며, 정현파와 비교하여 용이하게 계산가능한 주기함수를 이용함으로써, 계산 자원이 부족한 환경에서도 전자 워터마크의 검출처리를 보다 고속으로 실현할 수 있다.
또, 상기 복조수단은, 상기 입력신호를 N차원째 방향의 차분 혹은 미분값에 기초하여 복조를 수행하도록 구성할 수 있다.
이 구성에 따르면, 신호의 차분 혹은 미분을 이용하여 주기신호에 의한 복조를 수행함으로써, 검출 정밀도가 높은 전자 워터마크 검출이 가능하게 됨과 동시에, 같은 정도의 검출성능에서 신호 열화가 적은 전자 워터마크 방식을 가능하게 한다.
상기 전자 워터마크 검출장치에 있어서, 상기 N-1차원 패턴이 복소수 패턴이 고, 상기 검출계열 추출수단은, 상기 N-1차원 패턴의 실수부 및 허수부의 값에 기초하여 상기 검출계열을 구하여, 상기 기억수단에 저장하는 것으로 해도 좋다.
이 구성에 따르면, 복소수의 실수부, 허수부를 이용하여 삽입된 전자 워터마크의 검출에 의해, 패턴의 대칭성에 관한 제약이 없어 N-1차원의 공간 전체를 이용하여 삽입되어 있기 때문에, 스펙트럼 확산계열 길이를 길게 할 수 있어, 검출의 신뢰성이 높고, 또, 종래와 같은 정도의 신뢰성으로 보다 긴 삽입정보를 전자 워터마크로서 검출할 수 있으며, 종래와 같은 정도의 신뢰성과 정보길이로 보다 품질 열화가 적은 전자 워터마크의 검출이 가능하게 된다.
또, 상기 전자 워터마크 검출장치에 있어서, 상기 N-1차원 패턴이 복소수 패턴이고, 상기 상관값 계산수단이, 각 비트마다의 복소 상관값을 구하고, 각 비트마다의 복소 상관값의 방향을 맞춘 후에 그들의 총합을 취하여, 이 총합에 기초하여 삽입되어 있는 전자 워터마크를 검출하는 것으로 해도 좋다. 이 구성에 따르면, 각 비트마다 검출하는 것보다도 비트 판정 오류가 적어지며, 보다 높은 내성을 실현할 수 있다.
또, 상기 전자 워터마크 검출장치에 있어서, 상기 N-1차원 패턴이 복소수 패턴이고, 상기 상관값 계산수단은, 복소 상관값의 절대값에 기초하여 삽입되어 있는 전자 워터마크를 검출하는 것으로 해도 좋다.
이 구성에 따르면, 복소 상관값의 절대값을 이용하여 검출을 수행함으로써, N차원째 방향에서 동기가 어긋난 입력신호에 대해서도 삽입계열과의 상관을 얻을 수 있어, 동기맞춤이 불필요한 전자 워터마크 검출을 할 수 있다.
또, 상기 전자 워터마크 삽입장치에 있어서, 상기 N-1차원 패턴이 복소수 패턴이고, 상기 상관값 계산수단이, 각 비트마다의 복소 상관값을 구하고, 각 비트마다의 복소 상관값의 방향을 맞춘 후에 그들의 총합을 취하고, 이 총합의 편각에 기초하여, 상기 입력신호의 동기변위량을 구하는 동기수단을 갖도록 해도 좋다. 이에 따라, 동기변위량을 측정할 수 있어, 용이하면서 고속인 동기맞춤에 의한 전자 워터마크 검출이 가능하게 된다. 또, 각 비트마다의 복소 상관값에 기초하여 동기변위량을 구하는 것보다도, 보다 확실하고 정밀도가 높은 동기변위량의 측정이 가능하게 된다.
또, 상기 전자 워터마크 삽입장치에 있어서, 상기 N-1차원 패턴이 복소수 패턴이며, 상기 검출계열과 상기 삽입계열의 복소 상관값의 편각에 기초하여, 상기 입력신호의 동기변위량을 구하는 동기수단을 갖는 것으로 해도 좋다.
복소 상관값의 편각을 이용하여 검출을 수행함으로써, N차원째 방향에서 동기가 어긋난 입력신호에 대해서도 삽입계열과의 상관을 얻을 수 있고, 동기변위량을 측정할 수 있어, 용이하면서 고속인 동기맞춤에 의한 전자 워터마크 검출이 가능하게 된다.
상기 전자 워터마크 삽입장치에 있어서, 상기 복조수단은, 복수의 주기신호의 위상을 측정하고, 복수의 N-1차원 패턴을 구하며, 상기 동기수단은, 복수의 N-1차원 패턴마다 각각 동기변위량을 구하며, 상기 검출계열 추출수단은, 상기 복수의 N-1차원 패턴으로부터 각각 대응하는 상기 동기변위량에 기초하여 동기를 보정하여 검출계열을 구하고, 상기 기억수단에 저장하며, 상기 상관값 계산수단은, 상기 복 수의 N-1차원 패턴마다 얻어진 상기 기억수단에 저장되어 있는 상기 검출계열을 결합한 계열과 상기 삽입계열의 상관값을 계산하는 것으로 해도 좋다.
이 구성에 따르면, 복수의 주기신호를 이용하여 삽입된 전자 워터마크를 검출함으로써, 보다 정보 길이가 긴 삽입정보를 전자 워터마크로서 검출할 수 있고, 또, 검출결과의 신뢰성을 보다 정확하고 확실히 할 수 있음과 동시에, 스펙트럼 확산계열 길이를 길게 할 수 있어, 보다 신뢰성이 높은 전자 워터마크의 검출이 가능하게 된다.
또, 상기 동기수단은, 상기 복수의 N-1차원 패턴마다 얻어진 동기변위량을 토대로, N차원째 축방향의 전체 변위량을 구하도록 구성해도 좋다. 이 구성에 따르면, 각 검출 복소 패턴의 동기변위량을 정밀하게 구할 수 있으며, 검출 정밀도가 높고, 또, 같은 정도의 검출정밀도에서 품질 열화가 적은 전자 워터마크 검출이 가능하게 된다.
또, 상기 동기수단은, 미리 삽입된 동기계열을 검출하여, 동기맞춤을 수행하고, 상기 동기변위량에 따라서 입력신호를 재분할하고, 남은 복수의 삽입정보를 검출하는 검출수단을 갖는 것으로 해도 좋다. 이 구성에 따르면, 시간방향으로 분할된 삽입정보를 검출함으로써, 보다 긴 삽입정보를 신호에 삽입할 수 있고, 전자 워터마크의 적용 애플리케이션을 확대할 수 있다.
또, 본 발명의 일 실시형태에 따르면, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 삽입정보를 전자 워터마크로서 인간의 지각에 감지되지 않도록 삽입하기 위한 전자 워터마크 삽입 프로그램으로, 컴퓨터를, 상기 삽입정보에 기초하여 삽입계열을 생성하고, 제1 기억수단에 저장하는 삽입계열 생성수단, 상기 제1 기억수단의 상기 삽입계열에 기초하여 N-1차원 패턴을 생성하는 배열 생성수단, 상기 N-1차원 패턴상의 값에 따라서 주기신호를 변조함으로써 N차원 삽입패턴을 생성하고, 제2 기억수단에 저장하는 변조수단, 상기 제2 기억수단에 저장되어 있는 상기 N차원 삽입패턴을 취득하고, 상기 삽입패턴을 상기 입력신호에 중첩하는 삽입패턴 중첩수단으로서 기능시키는 전자 워터마크 삽입 프로그램이 제공된다.
또, 본 발명의 일 실시형태에 따르면, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 삽입정보를 전자 워터마크로서 인간의 지각에 감지되지 않도록 삽입하기 위한 전자 워터마크 삽입 프로그램으로, 컴퓨터를, 상기 삽입정보에 기초하여 삽입계열을 생성하고, 제1 기억수단에 저장하는 삽입계열 생성수단, 상기 제1 기억수단에 저장되어 있는 상기 삽입계열에 기초하여 N-1차원 패턴을 생성하고, 제2 기억수단에 저장하는 배열 생성수단, 상기 입력신호를 직교변환하여, 변환 완료 신호를 취득하는 변환수단, 상기 제2 기억수단에 저장되어 있는 상기 N-1차원 패턴을 상기 변환 완료 신호의 일부의 N-1차 평면에 중첩하여, 역변환 전 신호를 얻는 삽입패턴 중첩수단, 상기 역변환 전 신호를 직교 역변환하여, 삽입 완료 신호를 얻는 역변환수단으로서 기능시키는 전자 워터마크 삽입 프로그램이 제공된다.
또한, 본 발명의 일 실시형태에 따르면, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 미리 인간의 지각에 감지되지 않도록 삽입된 전자 워터마크를 검출하는 전자 워터마크 프로그램으로, 컴퓨터를, 상기 입력신호의 하나의 차원방향에 있어서의 소정의 주기신호 성분을 측정하고, N-1차원 패턴을 구하는 복 조수단, 상기 N-1차원 패턴의 값으로부터 검출계열을 구하고, 기억수단에 저장하는 검출계열 추출수단, 상기 기억수단에 저장된 상기 검출계열과 삽입계열의 상관값의 크기에 기초하여, 삽입되어 있는 전자 워터마크를 검출하는 상관값 계산수단으로서 기능시키는 전자 워터마크 검출 프로그램이 제공된다.
본 발명은, 정지화상·동화상에 전자 워터마크를 삽입하는 기술, 및 전자 워터마크를 검출하는 기술에 적용 가능하다.
또한, 본 발명은, 상기한 실시형태에 한정되는 것은 아니며, 특허청구 범위내에서 다양한 변경·응용이 가능하다.
본 국제출원은 2006년 3월 7일에 출원된 일본국 특허출원 제2006-061745호에 기초한 우선권을 주장하는 것이며, 그 전 내용을 본 국제출원에 원용한다.

Claims (48)

  1. 삽입계열(embedding sequence) 생성수단, 배열(array) 생성수단, 변조수단, 기억수단, 삽입패턴 중첩수단을 갖는 전자 워터마크 삽입장치에 있어서, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해 삽입정보를 전자 워터마크(digital watermark)로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입방법으로,
    상기 삽입계열 생성수단이, 상기 삽입정보에 기초하여 삽입계열을 생성하여, 제1 기억수단에 저장하며,
    상기 배열 생성수단이, 상기 제1 기억수단의 상기 삽입계열에 기초하여 N-1차원 패턴을 생성하고,
    상기 변조수단이, 상기 N-1차원 패턴상의 값에 따라서 주기신호를 변조함으로써 N차원의 삽입패턴을 생성하여, 제2 기억수단에 저장하며,
    상기 삽입패턴 중첩수단이, 상기 제2 기억수단에 저장되어 있는 상기 N차원의 삽입패턴을 취득하여, 해당 삽입패턴을 상기 입력신호에 중첩하는 것을 특징으로 하는 전자 워터마크 삽입방법.
  2. 제 1항에 있어서,
    상기 변조수단은, 상기 N-1차원 패턴상의 위치에 따라 N차원째 방향의 위상이 각각 다르도록 N차원의 삽입패턴을 생성하는 전자 워터마크 삽입방법.
  3. 제 1항 또는 2항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 배열 생성수단은, 상기 삽입계열의 일부를 실수부, 일부를 허수부가 되도록 상기 N-1차원 패턴을 생성하는 전자 워터마크 삽입방법.
  4. 제 1항 또는 제 2항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 변조수단은, 상기 N-1차원 패턴상의 복소수의 편각이 변조신호의 위상이 되고, 절대값이 변조신호의 크기가 되도록 상기 주기신호를 변조하는 전자 워터마크 삽입방법.
  5. 제 1항 또는 제 2항에 있어서,
    상기 삽입계열 생성수단이, 생성된 상기 삽입계열을 분할하여 복수의 삽입계열을 생성하여, 상기 제1 기억수단에 저장하며,
    상기 배열 생성수단이, 상기 제1 기억수단에 저장된 상기 복수의 삽입계열마다 각각 대응하는 N-1차원 패턴을 생성하고,
    상기 변조수단이, 상기 N-1차원 패턴마다 각각 대응하는 N차원의 삽입패턴을 생성하여, 상기 제2 기억수단에 저장하며,
    상기 삽입패턴 중첩수단이, 상기 제2 기억수단의 상기 삽입패턴을 모두 가산한 후에, 상기 입력신호에 중첩하는 전자 워터마크 삽입방법.
  6. 제3항에 있어서,
    상기 삽입계열 생성수단이, 생성된 상기 삽입계열을 분할하여 복수의 삽입계열을 생성하여, 상기 제1 기억수단에 저장하며,
    상기 배열 생성수단이, 상기 제1 기억수단에 저장된 상기 복수의 삽입계열마다 각각 대응하는 N-1차원 패턴을 생성하고,
    상기 변조수단이, 상기 N-1차원 패턴마다 각각 대응하는 N차원의 삽입패턴을 생성하여, 상기 제2 기억수단에 저장하며,
    상기 삽입패턴 중첩수단이, 상기 제2 기억수단의 상기 삽입패턴을 모두 가산한 후에, 상기 입력신호에 중첩하는 전자 워터마크 삽입방법.
  7. 제4항에 있어서,
    상기 삽입계열 생성수단이, 생성된 상기 삽입계열을 분할하여 복수의 삽입계열을 생성하여, 상기 제1 기억수단에 저장하며,
    상기 배열 생성수단이, 상기 제1 기억수단에 저장된 상기 복수의 삽입계열마다 각각 대응하는 N-1차원 패턴을 생성하고,
    상기 변조수단이, 상기 N-1차원 패턴마다 각각 대응하는 N차원의 삽입패턴을 생성하여, 상기 제2 기억수단에 저장하며,
    상기 삽입패턴 중첩수단이, 상기 제2 기억수단의 상기 삽입패턴을 모두 가산한 후에, 상기 입력신호에 중첩하는 전자 워터마크 삽입방법.
  8. 삽입계열(embedding sequence) 생성수단, 배열(array) 생성수단, 변환수단, 기억수단, 삽입패턴 중첩수단, 역변환수단을 갖는 전자 워터마크(digital watermark) 삽입장치에 있어서, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해 삽입정보를 전자 워터마크로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입방법으로,
    상기 삽입계열 생성수단이, 상기 삽입정보에 기초하여 삽입계열을 생성하여, 제1 기억수단에 저장하며,
    상기 배열 생성수단이, 상기 제1 기억수단에 저장되어 있는 상기 삽입계열에 기초하여 N-1차원 패턴을 생성하여, 제2 기억수단에 저장하며,
    상기 변환수단이, 상기 입력신호를 직교변환하여, 변환 완료 신호를 취득하고,
    상기 삽입패턴 중첩수단이, 상기 제2 기억수단에 저장되어 있는 상기 N-1차원 패턴을 상기 변환 완료 신호의 일부의 N-1차 평면에 중첩하여, 역변환 전 신호를 취득하고,
    상기 역변환수단이, 상기 역변환 전 신호를 직교 역변환하여, 삽입 완료 신호를 얻는 것을 특징으로 하는 전자 워터마크 삽입방법.
  9. 제8항에 있어서,
    상기 삽입계열 생성수단이, 복수의 삽입계열을 생성하여 상기 제1 기억수단에 저장하고,
    상기 배열 생성수단이, 상기 제1 기억수단에 저장되어 있는 상기 복수의 삽입계열마다 각각 대응하는 N-1차원 패턴을 생성하여, 상기 제2 기억수단에 저장하며,
    상기 삽입패턴 중첩수단이, 상기 제2 기억수단에 저장되어 있는 상기 N-1차원 패턴을 상기 변환 완료 신호의 복수의 N-1차원 평면에 각각 중첩하는 전자 워터마크 삽입방법.
  10. 복조수단, 검출계열(detection sequence) 추출수단, 상관값(correlation value) 계산수단, 기억수단을 갖는 전자 워터마크(digital watermark) 검출장치에 있어서, N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해서 미리 인간의 지각에 감지되지 않도록 삽입된 전자 워터마크를 검출하는 전자 워터마크 검출방법으로,
    상기 복조수단이, 상기 입력신호의 하나의 차원방향에 있어서의 주기신호 성분을 측정하여, N-1차원 패턴을 구하고,
    상기 검출계열 추출수단이, 상기 N-1차원 패턴의 값으로부터 검출계열을 구하여, 기억수단에 저장하며,
    상기 상관값 계산수단이, 상기 기억수단에 저장된 상기 검출계열과 삽입계열의 상관값의 크기에 기초하여, 삽입되어 있는 전자 워터마크를 검출하는 것을 특징으로 하는 전자 워터마크 검출방법.
  11. 제10항에 있어서,
    상기 주기신호는,
    1 주기분을 적분한 결과가 0이 되고, 자기상관함수가 예민한 피크를 가지지 않는 주기함수에 기초한 신호인 것을 특징으로 하는 전자 워터마크 검출방법.
  12. 제10항에 있어서,
    상기 주기신호는,
    정현파 신호인 것을 특징으로 하는 전자 워터마크 검출방법.
  13. 제10항에 있어서,
    상기 주기신호는,
    삼각파 또는 구형파(rectangular wave)인 것을 특징으로 하는 전자 워터마크 검출방법.
  14. 제10항에 있어서,
    상기 복조수단이, 동일한 주파수를 갖고 직교하는 2개의 주기신호를 생성하고, 상기 입력신호와 상기 주기신호와의 상관에 기초하여 N-1차원 패턴을 구하는 전자 워터마크 검출방법.
  15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 복조수단이, 상기 입력신호를 N차원째 방향의 차분 혹은 미분값에 기초하여 복조하는 전자 워터마크 검출방법.
  16. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 검출계열 추출수단이, 상기 N-1차원 패턴의 실수부 및 허수부의 값에 기초하여 상기 검출계열을 구하고, 상기 기억수단에 저장하는 전자 워터마크 검출방법.
  17. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 상관값 계산수단이, 각 비트마다의 복소 상관값을 구하고, 각 비트마다의 복소 상관값의 방향을 일치시킨 후에 그들의 총합을 취하여, 이 총합에 기초하여 삽입되어 있는 전자 워터마크를 검출하는 전자 워터마크 검출방법.
  18. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 상관값 계산수단이, 복소 상관값의 절대값에 기초하여 삽입되어 있는 전자 워터마크를 검출하는 전자 워터마크 검출방법.
  19. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 상관값 계산수단이, 각 비트마다의 복소 상관값을 구하고, 각 비트마다의 복소 상관값의 방향을 일치시킨 후에 그들의 총합을 취하며, 동기수단이, 이 총합의 편각에 기초하여, 상기 입력신호의 동기변위량을 구하는 전자 워터마크 검출방법.
  20. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    동기수단이, 상기 검출계열과 상기 삽입계열의 복소 상관값의 편각에 기초하여, 상기 입력신호의 동기변위량을 구하는 전자 워터마크 검출방법.
  21. 제20항에 있어서,
    상기 복조수단이, 복수의 주기신호의 위상을 측정하여, 복수의 N-1차원 패턴을 구하고,
    상기 동기수단이, 복수의 N-1차원 패턴마다 각각 동기변위량을 구하고,
    상기 검출계열 추출수단이, 상기 복수의 N-1차원 패턴을 각각 대응하는 상기 동기변위량에 기초하여 동기를 보정하여 검출계열을 구하고, 상기 기억수단에 저장하며,
    상기 상관값 계산수단이, 상기 복수의 N-1차원 패턴마다 얻어진 상기 기억수단에 저장되어 있는 상기 검출계열을 결합한 계열과 상기 삽입계열의 상관값을 계산하는 전자 워터마크 검출방법.
  22. 제21항에 있어서,
    상기 동기수단은, 상기 복수의 N-1차원 패턴마다 얻어진 동기변위량을 토대로, N차원째 축 방향의 전체 변위량을 구하는 전자 워터마크 검출방법.
  23. 제20항에 있어서,
    상기 동기수단은, 미리 삽입된 동기계열을 검출하여, 동기 맞춤을 수행하고, 상기 동기변위량에 따라서 입력신호를 재분할하여, 남는 복수의 삽입정보를 검출하는 전자 워터마크 검출방법.
  24. N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해 삽입정보(embedding information)를 전자 워터마크(digital watermark)로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입장치로,
    상기 삽입정보에 기초하여 삽입계열(embedding sequence)을 생성하고, 제1 기억수단에 저장하는 삽입계열 생성수단;
    상기 제1 기억수단의 상기 삽입계열에 기초하여 N-1차원 패턴을 생성하는 배열 생성수단;
    상기 N-1차원 패턴상의 값에 따라서 주기신호를 변조함으로써 N차원의 삽입패턴을 생성하고, 제2 기억수단에 저장하는 변조수단;및
    상기 제2 기억수단에 저장되어 있는 상기 N차원의 삽입패턴을 취득하고, 해당 삽입패턴을 상기 입력신호에 중첩하는 삽입패턴 중첩수단;
    을 갖는 것을 특징으로 하는 전자 워터마크 삽입장치.
  25. 제24항에 있어서,
    상기 변조수단은, 상기 N-1차원 패턴상의 위치에 따라 N차원째 방향의 위상이 각각 다르도록 N차원의 삽입패턴을 생성하는 전자 워터마크 삽입장치.
  26. 제24항 또는 제25항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 배열 생성수단은, 상기 삽입계열의 일부를 실수부, 일부를 허수부가 되도록 상기 N-1차원 패턴을 생성하는 전자 워터마크 삽입장치.
  27. 제24항 또는 제25항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 변조수단은, 상기 N-1차원 패턴상의 복소수의 편각이 변조신호의 위상이 되고, 절대값이 변조신호의 크기가 되도록 상기 주기신호를 변조하는 전자 워터마크 삽입장치.
  28. 제24항 또는 제25항에 있어서,
    상기 삽입계열 생성수단은, 생성된 상기 삽입계열을 분할하여 복수의 삽입계열을 생성하고, 상기 제1 기억수단에 저장하며,
    상기 배열 생성수단은, 상기 제1 기억수단에 저장된 상기 복수의 삽입계열마다 각각 대응하는 N-1차원 패턴을 생성하고,
    상기 변조수단은, 상기 N-1차원 패턴마다 각각 대응하는 N차원의 삽입패턴을 생성하고, 상기 제2 기억수단에 저장하며,
    상기 삽입패턴 중첩수단은, 상기 제2 기억수단의 상기 삽입패턴을 모두 가산한 후에, 상기 입력신호에 중첩하는 전자 워터마크 삽입장치.
  29. 제26항에 있어서,
    상기 삽입계열 생성수단은, 생성된 상기 삽입계열을 분할하여 복수의 삽입계열을 생성하고, 상기 제1 기억수단에 저장하며,
    상기 배열 생성수단은, 상기 제1 기억수단에 저장된 상기 복수의 삽입계열마다 각각 대응하는 N-1차원 패턴을 생성하고,
    상기 변조수단은, 상기 N-1차원 패턴마다 각각 대응하는 N차원의 삽입패턴을 생성하고, 상기 제2 기억수단에 저장하며,
    상기 삽입패턴 중첩수단은, 상기 제2 기억수단의 상기 삽입패턴을 모두 가산한 후에, 상기 입력신호에 중첩하는 전자 워터마크 삽입장치.
  30. 제27항에 있어서,
    상기 삽입계열 생성수단은, 생성된 상기 삽입계열을 분할하여 복수의 삽입계열을 생성하고, 상기 제1 기억수단에 저장하며,
    상기 배열 생성수단은, 상기 제1 기억수단에 저장된 상기 복수의 삽입계열마다 각각 대응하는 N-1차원 패턴을 생성하고,
    상기 변조수단은, 상기 N-1차원 패턴마다 각각 대응하는 N차원의 삽입패턴을 생성하고, 상기 제2 기억수단에 저장하며,
    상기 삽입패턴 중첩수단은, 상기 제2 기억수단의 상기 삽입패턴을 모두 가산한 후에, 상기 입력신호에 중첩하는 전자 워터마크 삽입장치.
  31. N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해 삽입정보(embedding information)를 전자 워터마크(digital watermark)로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입장치로,
    상기 삽입정보에 기초하여 삽입계열을 생성하고, 제1 기억수단에 저장하는 삽입계열 생성수단;
    상기 제1 기억수단에 저장되어 있는 상기 삽입계열에 기초하여 N-1차원 패턴을 생성하고, 제2 기억수단에 저장하는 배열 생성수단;
    상기 입력신호를 직교변환하여, 변환 완료 신호를 얻는 변환수단;
    상기 제2 기억수단에 저장되어 있는 상기 N-1차원 패턴을 상기 변환 완료 신호의 일부의 N-1차 평면에 중첩하여, 역변환 전 신호를 얻는 삽입패턴 중첩수단; 및
    상기 역변환 전 신호를 직교 역변환하여, 삽입 완료 신호를 얻는 역변환수단;
    을 갖는 것을 특징으로 하는 전자 워터마크 삽입장치.
  32. 제31항에 있어서,
    상기 삽입계열 생성수단은, 복수의 삽입계열을 생성하여 상기 제1 기억수단에 저장하고,
    상기 배열 생성수단은, 상기 제1 기억수단에 저장되어 있는 상기 복수의 삽입계열마다 각각 대응하는 N-1차원 패턴을 생성하고, 상기 제2 기억수단에 저장하며,
    상기 삽입패턴 중첩수단은, 상기 제2 기억수단에 저장되어 있는 상기 N-1차원 패턴을 상기 변환 완료 신호의 복수의 N-1차원 평면에 각각 중첩하는 전자 워터마크 삽입장치.
  33. N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해 미리 인간의 지각에 감지되지 않도록 삽입된 전자 워터마크(digital watermark)를 검출하는 전자 워터마크 검출장치로,
    상기 입력신호의 하나의 차원방향에 있어서의 주기신호 성분을 측정하여, N-1차원 패턴을 구하는 복조수단;
    상기 N-1차원 패턴의 값으로부터 검출계열을 구하고, 기억수단에 저장하는 검출계열 추출수단; 및
    상기 기억수단에 저장된 상기 검출계열과 삽입계열의 상관값(correlation value)의 크기에 기초하여, 삽입되어 있는 전자 워터마크를 검출하는 상관값 계산수단;
    을 갖는 것을 특징으로 하는 전자 워터마크 검출장치.
  34. 제33항에 있어서,
    상기 주기신호는,
    1 주기분을 적분한 결과가 0이 되고, 자기상관함수가 예민한 피크를 가지지 않는 주기함수에 기초한 신호인 것을 특징으로 하는 전자 워터마크 검출장치.
  35. 제33항에 있어서,
    상기 주기신호는,
    정현파 신호인 것을 특징으로 하는 전자 워터마크 검출장치.
  36. 제33항에 있어서,
    상기 주기신호는,
    삼각파 또는 구형파(rectangular wave)인 것을 특징으로 하는 전자 워터마크 검출장치.
  37. 제33항에 있어서,
    상기 복조수단은, 동일한 주파수를 갖고 직교하는 2개의 주기신호를 생성하고, 상기 입력신호와 상기 주기신호와의 상관에 기초하여 N-1차원 패턴을 구하는 전자 워터마크 검출장치.
  38. 제33항 내지 제37항 중 어느 한 항에 있어서,
    상기 복조수단은, 상기 입력신호를 N차원째 방향의 차분 혹은 미분값에 기초하여 복조를 수행하는 전자 워터마크 검출장치.
  39. 제33항 내지 제37항 중 어느 한 항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 검출계열 추출수단은, 상기 N-1차원 패턴의 실수부 및 허수부의 값에 기초하여 상기 검출계열을 구하고, 상기 기억수단에 저장하는 전자 워터마크 검출장치.
  40. 제33항 내지 제37항 중 어느 한 항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 상관값 계산수단이, 각 비트마다의 복소 상관값을 구하고, 각 비트마다의 복소 상관값의 방향을 일치시킨 후에 그들의 총합을 취하여, 이 총합에 기초하여 삽입되어 있는 전자 워터마크를 검출하는 전자 워터마크 검출장치.
  41. 제33항 내지 제37항 중 어느 한 항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 상관값 계산수단은, 복소 상관값의 절대값에 기초하여 삽입되어 있는 전자 워터마크를 검출하는 전자 워터마크 검출장치.
  42. 제33항 내지 제37항 중 어느 한 항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 상관값 계산수단이, 각 비트마다의 복소 상관값을 구하고, 각 비트마다의 복소 상관값의 방향을 일치시킨 후에 그들의 총합을 취하며,
    이 총합의 편각에 기초하여, 상기 입력신호의 동기변위량을 구하는 동기수단을 갖는 전자 워터마크 검출장치.
  43. 제33항 내지 제37항 중 어느 한 항에 있어서,
    상기 N-1차원 패턴이 복소수 패턴이며,
    상기 검출계열과 상기 삽입계열의 복소 상관값의 편각에 기초하여, 상기 입력신호의 동기변위량을 구하는 동기수단을 갖는 전자 워터마크 검출장치.
  44. 제43항에 있어서,
    상기 복조수단은, 복수의 주기신호의 위상을 측정하여, 복수의 N-1차원 패턴을 구하고,
    상기 동기수단은, 복수의 N-1차원 패턴마다 각각 동기변위량을 구하고,
    상기 검출계열 추출수단은, 상기 복수의 N-1차원 패턴으로부터 각각 대응하는 상기 동기변위량에 기초하여 동기를 보정하여 검출계열을 구하고, 상기 기억수단에 저장하며,
    상기 상관값 계산수단은, 상기 복수의 N-1차원 패턴마다 얻어진 상기 기억수단에 저장되어 있는 상기 검출계열을 결합한 계열과 상기 삽입계열의 상관값을 계산하는 전자 워터마크 검출장치.
  45. 제44항에 있어서,
    상기 동기수단은, 상기 복수의 N-1차원 패턴마다 얻어진 동기변위량을 토대로, N차원째 축 방향의 전체 변위량을 구하는 전자 워터마크 검출장치.
  46. 제44항에 있어서,
    상기 동기수단은, 미리 삽입된 동기계열을 검출하여, 동기 맞춤을 수행하고, 상기 동기변위량에 따라서 입력신호를 재분할하여, 남는 복수의 삽입정보를 검출하는 검출수단을 갖는 전자 워터마크 검출장치.
  47. N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해 삽입정보(embedding information)를 전자 워터마크(digital watermark)로서 인간의 지각에 감지되지 않도록 삽입하는 전자 워터마크 삽입 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 전자 워터마크 삽입 프로그램은 컴퓨터를,
    제24항 또는 제31항에 기재된 전자 워터마크 삽입장치로서 기능시키는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
  48. N(N은 2 이상의 정수) 이상의 차원을 갖는 입력신호에 대해 미리 인간의 지각에 감지되지 않도록 삽입된 전자 워터마크(digital watermark)를 검출하는 전자 워터마크 검출 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    상기 전자 워터마크 삽입 프로그램은 컴퓨터를,
    제33항에 기재된 전자 워터마크 검출장치로서 기능시키는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록매체.
KR20087021845A 2006-03-07 2007-03-01 전자 워터마크 삽입방법 및 장치 및 프로그램 및 전자 워터마크 검출방법 및 장치 및 프로그램 KR100975048B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00061745 2006-03-07
JP2006061745 2006-03-07

Publications (2)

Publication Number Publication Date
KR20080100244A KR20080100244A (ko) 2008-11-14
KR100975048B1 true KR100975048B1 (ko) 2010-08-11

Family

ID=38474834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20087021845A KR100975048B1 (ko) 2006-03-07 2007-03-01 전자 워터마크 삽입방법 및 장치 및 프로그램 및 전자 워터마크 검출방법 및 장치 및 프로그램

Country Status (7)

Country Link
US (3) US8208683B2 (ko)
EP (1) EP1993290A4 (ko)
JP (2) JP4879968B2 (ko)
KR (1) KR100975048B1 (ko)
CN (1) CN101401429B (ko)
TW (1) TW200822754A (ko)
WO (1) WO2007102403A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866475B (zh) * 2005-08-04 2012-11-21 日本电信电话株式会社 电子水印检测方法及装置
JP2009514305A (ja) * 2005-10-26 2009-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 情報信号にデータを埋め込む方法
JP4777278B2 (ja) * 2007-02-28 2011-09-21 キヤノン株式会社 画像処理装置およびその方法
JP4691147B2 (ja) * 2008-08-08 2011-06-01 株式会社東芝 電子透かし検出装置、方法及びプログラム
CA2737610C (en) * 2008-09-26 2016-10-11 Thomson Licensing Collusion resistant watermarking generation method
US8090146B2 (en) * 2009-01-15 2012-01-03 Google Inc. Image watermarking
JP5153723B2 (ja) * 2009-05-29 2013-02-27 日本放送協会 電子透かし検出装置
KR101613945B1 (ko) 2009-10-29 2016-04-20 엘지전자 주식회사 컨텐트에 워터마크(ｗａｔｅｒｍａｒｋ)를 삽입하고 삽입된 워터마크를 검출하는 방법 및 장치
US8908905B2 (en) 2009-10-29 2014-12-09 Lg Electronics Inc. Device and method for embedding watermarks in contents and for detecting embedded watermarks
US8482807B2 (en) * 2009-12-14 2013-07-09 Xerox Corporation Embedding information using modulated periodic line patterns
JP4950316B2 (ja) * 2010-02-26 2012-06-13 楽天株式会社 データ生成装置、データ生成方法、及びデータ生成プログラム
WO2012026039A1 (ja) 2010-08-27 2012-03-01 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
JP5760438B2 (ja) 2010-12-28 2015-08-12 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法及び電子透かし埋め込み用コンピュータプログラムならびに電子透かし検出装置
WO2012127611A1 (ja) * 2011-03-22 2012-09-27 富士通株式会社 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置
US9967600B2 (en) * 2011-05-26 2018-05-08 Nbcuniversal Media, Llc Multi-channel digital content watermark system and method
JP5751071B2 (ja) 2011-07-28 2015-07-22 富士通株式会社 電子透かし埋め込み装置、電子透かし埋め込み方法、及びプログラム
DE102011117659B4 (de) * 2011-11-04 2013-10-31 Eizo Gmbh Verfahren zum Betreiben einer Bildverarbeitungeinrichtung sowie entsprechende Bildverarbeitungeinrichtung
US9363540B2 (en) * 2012-01-12 2016-06-07 Comcast Cable Communications, Llc Methods and systems for content control
JP5731422B2 (ja) * 2012-02-15 2015-06-10 日本電信電話株式会社 電子透かし埋め込み装置、電子透かし検出装置、電子透かし埋め込み方法、電子透かし検出方法及びプログラム
NL2008511C2 (en) * 2012-03-21 2013-09-25 Civolution B V Method and system for embedding and detecting a pattern.
JP5806648B2 (ja) * 2012-07-19 2015-11-10 日本電信電話株式会社 電子透かし埋め込み装置、電子透かし検出装置、及び電子透かし埋め込み方法、電子透かし検出方法、並びにプログラム
US9066082B2 (en) 2013-03-15 2015-06-23 International Business Machines Corporation Forensics in multi-channel media content
US8918326B1 (en) * 2013-12-05 2014-12-23 The Telos Alliance Feedback and simulation regarding detectability of a watermark message
US11962876B2 (en) 2014-01-31 2024-04-16 Digimarc Corporation Recycling methods and systems, and related plastic containers
US20190306385A1 (en) * 2014-01-31 2019-10-03 Digimarc Corporation Concerning digital marking and reading of plastic items, useful in recycling
JP6118295B2 (ja) * 2014-08-27 2017-04-19 日本電信電話株式会社 マーカ埋め込み装置、マーカ検出装置、方法、及びプログラム
US9716807B2 (en) * 2014-10-13 2017-07-25 Digimarc Corporation Methods for estimating watermark signal strength, an embedding process using the same, and related arrangements
US9418395B1 (en) 2014-12-31 2016-08-16 The Nielsen Company (Us), Llc Power efficient detection of watermarks in media signals
GB201519055D0 (en) * 2015-10-28 2015-12-09 Univ Kent Canterbury Apparatus and method for processing the signal in master slave interferometry and apparatus and method for master slave optical coherence tomography with any
JP6724659B2 (ja) * 2016-08-30 2020-07-15 株式会社リコー 撮影装置、方法およびプログラム
CN108665403B (zh) 2017-03-29 2022-06-24 腾讯科技（深圳）有限公司 数字水印嵌入方法、提取方法、装置及数字水印系统
TWI796265B (zh) 2022-07-27 2023-03-11 友達光電股份有限公司 顯示裝置以及影像顯示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09191394A (ja) * 1995-09-28 1997-07-22 Nec Corp 電子的すかし挿入方法
JPH11341452A (ja) 1998-03-24 1999-12-10 Internatl Business Mach Corp <Ibm> 動画像電子透かしシステム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3141963B2 (ja) 1991-09-06 2001-03-07 日本テレビ放送網株式会社 情報信号のエンコーダおよびデコーダ
JP3560441B2 (ja) * 1997-04-07 2004-09-02 日本アイ・ビー・エム株式会社 複数フレーム・データ・ハイディング方法及び検出方法
JP3794646B2 (ja) * 1997-08-26 2006-07-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 内容情報とそれに関する補足情報とを転送するシステム
KR100302436B1 (ko) 1998-03-24 2001-09-26 포만 제프리 엘 동화상 전자 워터마크 시스템
JP4424769B2 (ja) * 1998-09-10 2010-03-03 興和株式会社 電子透かしの埋め込み装置
JP2000287073A (ja) * 1999-01-25 2000-10-13 Nippon Telegr & Teleph Corp <Ntt> 電子透かし埋込方法及び電子透かし検出方法及び電子透かし埋込装置、及び電子透かし検出装置、及び電子透かし埋込プログラムを格納した記憶媒体、及び電子透かし検出プログラムを格納した記憶媒体、及び電子透かしシステム及び集積回路
DE69943294D1 (de) 1999-01-25 2011-05-05 Nippon Telegraph & Telephone Verfahren Gerät und Programmspeichermedium zur digitalen Wasserzeicheneinbettung und -detektierung
JP3745729B2 (ja) 1999-01-25 2006-02-15 日本電信電話株式会社 電子透かし埋め込み方法及び電子透かし検出方法及び電子透かし埋め込み装置、及び電子透かし検出装置、及び電子透かし埋め込みプログラムを格納した記憶媒体、及び電子透かし検出プログラムを格納した記憶媒体、及び電子透かしシステム
IL144837A0 (en) * 1999-02-25 2002-06-30 Macrovision Corp Method and apparatus for enhanced audio/video services with watermarks and associated data
JP3470223B2 (ja) * 1999-11-29 2003-11-25 株式会社サンモアテック 画像加工方法、画像加工装置、記録媒体、及び伝送媒体
JP4218920B2 (ja) 2000-04-07 2009-02-04 キヤノン株式会社 画像処理装置及び画像処理方法並びに記憶媒体
JP2002112210A (ja) 2000-09-28 2002-04-12 Sony Corp 付加情報埋め込み装置及び方法、並びに記憶媒体
US6792130B1 (en) * 2000-12-13 2004-09-14 Eastman Kodak Company System and method for embedding a watermark signal that contains message data in a digital image
KR20030016381A (ko) * 2001-05-08 2003-02-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 워터마킹
JP4064215B2 (ja) * 2002-11-18 2008-03-19 日本放送協会 動画用低ビットレート可逆電子透かし装置およびそのプログラム
JP4258283B2 (ja) 2003-06-18 2009-04-30 三菱電機株式会社 電子透かし埋め込み方法および電子透かし検出方法
JP2005198198A (ja) * 2004-01-09 2005-07-21 Nippon Telegraph & Telephone East Corp 電子透かし画像を用いた情報提供システムおよびその方法、プログラムおよびプログラム記録媒体
JP4303243B2 (ja) * 2004-02-02 2009-07-29 日本電信電話株式会社 電子透かし埋め込み装置、電子透かし検出装置、及びそれらの方法、並びにプログラム
TWI288873B (en) 2004-02-17 2007-10-21 Mitsubishi Electric Corp Method for burying watermarks, method and device for inspecting watermarks
JP2006005527A (ja) 2004-06-16 2006-01-05 Hitachi Ltd 電子透かし埋め込みプログラム
JP4428566B2 (ja) 2004-12-21 2010-03-10 Ｋｄｄｉ株式会社 動画像の電子透かし埋め込みおよび検出方法
CN1719898A (zh) * 2005-05-25 2006-01-11 中山大学 一种保护mpeg－2视频数据的方法
FR2889014A1 (fr) 2005-07-22 2007-01-26 Nextamp Sa Procede et dispositif de tatouage d'horodates, procede et dispositif de decodage d'horodates, applications et produits programmes d'ordinateur correspondants
CN101866475B (zh) 2005-08-04 2012-11-21 日本电信电话株式会社 电子水印检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09191394A (ja) * 1995-09-28 1997-07-22 Nec Corp 電子的すかし挿入方法
JPH11341452A (ja) 1998-03-24 1999-12-10 Internatl Business Mach Corp <Ibm> 動画像電子透かしシステム

Also Published As

Publication number Publication date
TW200822754A (en) 2008-05-16
JP5235224B2 (ja) 2013-07-10
CN101401429A (zh) 2009-04-01
WO2007102403A1 (ja) 2007-09-13
JPWO2007102403A1 (ja) 2009-07-23
EP1993290A1 (en) 2008-11-19
US8620018B2 (en) 2013-12-31
JP4879968B2 (ja) 2012-02-22
US8208683B2 (en) 2012-06-26
US8605939B2 (en) 2013-12-10
JP2011199892A (ja) 2011-10-06
TWI370688B (ko) 2012-08-11
EP1993290A4 (en) 2017-02-22
US20090074242A1 (en) 2009-03-19
CN101401429B (zh) 2012-06-27
KR20080100244A (ko) 2008-11-14
US20120070032A1 (en) 2012-03-22
US20120114168A1 (en) 2012-05-10

Similar Documents

Publication Publication Date Title
KR100975048B1 (ko) 전자 워터마크 삽입방법 및 장치 및 프로그램 및 전자 워터마크 검출방법 및 장치 및 프로그램
JP4809840B2 (ja) 電子透かし埋め込み方法、電子透かし埋め込み装置、及びプログラム
KR100841848B1 (ko) 전자 워터마크 검출 방법, 장치 및 프로그램을 기록한 기록 매체
US20090220070A1 (en) Video Watermarking
JP2009508391A (ja) ビデオ透かし検出
EP1385123A2 (en) Mehtod and apparatus for the detection of a digital watermark
JP2009508392A (ja) ビデオ透かし挿入のための係数選択
US20090226030A1 (en) Coefficient modification for video watermarking
JP5731422B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置、電子透かし埋め込み方法、電子透かし検出方法及びプログラム
JP4393521B2 (ja) 電子透かし埋め込み装置及び検出装置並びに方法及び記録媒体
JP5806648B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置、及び電子透かし埋め込み方法、電子透かし検出方法、並びにプログラム
JP2010141591A (ja) 電子透かし埋め込み方法及び装置、電子透かし検出方法及び装置
Caldelli et al. Coping with local geometric attacks by means of optic-flow-based resynchronization for robust watermarking
Sachnev et al. Enhanced Reversible data hiding scheme
KR20080045163A (ko) 비디오 워터마킹
KR20080043320A (ko) 비디오 워터마크 검출
KR20080043323A (ko) 비디오 워터마킹을 위한 계수 변경
KR20080043321A (ko) 비디오 워터마킹을 위한 계수 선택

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130712

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140703

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150715

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160722

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170728

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 10