KR20060121972A

KR20060121972A - 전자 워터마크 매립 방법, 전자 워터마크 검출 방법, 장치 및 프로그램을 기록한 기록 매체

Info

Publication number: KR20060121972A
Application number: KR20067016568A
Authority: KR
Inventors: 료우스케 후지이; 히로시 이토; 고우이치 마가이; 미츠요시 스즈키; 미노루 와다; 고 오타케; 세이이치 고시
Original assignee: 미쓰비시덴키 가부시키가이샤; 닛폰 호소 교카이
Priority date: 2004-02-17
Filing date: 2005-02-14
Publication date: 2006-11-29
Also published as: JPWO2005079072A1; US20080273741A1; CN100574429C; CN1922883A; JP5528399B2; EP1720354B1; EP1720354A4; EP1720354B8; US7769197B2; TW200534093A; EP1720354A1; TWI288873B; JP2011239433A; WO2005079072A1; KR100841848B1

Abstract

전자 워터마크 매립 대상의 전자 화상을 복수의 화상 영역으로 공간적으로 분할하고, 화소값의 변화가 시각적으로 인식되기 어려운 특성을 갖는 화소를 적응 화소로서 상기 화상 영역마다 추출하여, 전자 워터마크의 매립 비트값에 따라 상기 화상 영역간 및 시간 방향에서 상기 적응 화소의 화소값을 변화시킴과 아울러, 상기 화상 영역간의 경계 및/또는 시간 방향에서 화소값 변화의 천이가 완만해지도록 단계적으로 변화시킴으로써 전자 워터마크 매립 화상을 생성한다.

Description

전자 워터마크 매립 방법, 전자 워터마크 검출 방법, 장치 및 프로그램{ELECTRONIC WATERMARKING METHOD, ELECTRONIC WATERMARK DETECTING METHOD, APPARATUS AND PROGRAM}

본 발명은 디스플레이 등의 표시 화면에 표시한 화상을 재촬영하여 얻어지는 재촬영 화상으로부터 전자 워터마크를 검출할 수 있는 전자 워터마크 매립 방법, 전자 워터마크 검출 방법 및 이들 방법을 사용하는 장치 및 그 프로그램에 관한 것이다.

최근의 텔레비전 카메라의 성능 향상이나 저비용화에 의해, 디스플레이 등의 표시 화면에 표시한 화상이나 영상을 좋은 화질로 재촬영하는 것이 용이하게 되었다. 그러나 이러한 기술 향상은 재촬영한 화상이나 영상 등의 저작물의 부정한 사용의 요인도 되고 있다. 예컨대, 영화관 등에서 상영된 영상을 직접 디지털 카메라로 재촬영하여, DVD(Digital Versatile Disk) 등에 복사한 것을 불법적으로 판매하는 사건도 일어나고 있다.

이러한 재촬영 화상을 대상으로 하는 전자 워터마크 기술로서는, 예컨대, 비 특허문헌 1에 개시된 것이 있다. 이 기술에서는, 전자 워터마크를 매립 대상의 동화상에 대하여 전자 워터마크로서 시간 방향(프레임 방향 또는 필드 방향)으로 휘도 변화를 실시하고 있다.

이에 따라, 저작권 정보를 전자 워터마크로서 매립해 두면, 불법적으로 복사된 재촬영 화상으로부터도 상기 저작권 정보를 추출할 수 있어, 그 저작권을 주장할 수 있다. 이것은 재촬영에 의한 불법 복사를 억제하는 것과도 연결된다.

비특허문헌 1 : J. Haitsma and T. Kalker, "디지털 영화에 대한 워터마킹 기법", ICIP'01-IEEE, 페이지 487∼489

비특허문헌 1에 개시된 재촬영 화상의 전자 워터마크 기술에서는, 동화상에 대하여 시간 방향(프레임 방향 또는 필드 방향)으로 휘도를 변화시킴으로써 재촬영 화상에 대응가능한 전자 워터마크를 매립하고 있다. 그렇지만, 전자 워터마크의 매립 대상의 동화상에 따라서는, 시간 방향으로의 휘도 변화에 의해 발생한 프레임 화상간의 휘도의 차이 등이 재생 중에 명암부로서 눈에 띄게 된다고 하는 문제가 있었다.

또한, 전자 워터마크의 매립량을 증가시키는 방법으로서, 프레임 화상(또는 필드 화상)을 공간적으로 복수의 영역으로 분할하여 분할 영역마다 매립 비트에 대응하는 화소값 변화를 실시하는 것이 생각되지만, 전자 워터마크의 매립 대상의 동화상에 의해 화질이 저하해 버린다고 하는 문제가 있었다.

예컨대, 프레임 화상 등을 복수의 영역으로 공간적으로 분할하여 각 분할 영역마다 휘도 변조를 실시하는 경우, 전자 워터마크의 매립 대상의 화상에 따라서는 휘도 변조에 의해 프레임 화상상의 분할 영역에 명암차가 발생하여, 분할 영역의 경계선이 눈에 띄게될 수 있다.

본 발명은 상술한 바와 같은 문제를 해결하기 위해서 이루어진 것으로, 재촬영 화상에 대응 가능한 전자 워터마크를 화질을 저하시키지 않고 매립할 수 있고, 이 전자 워터마크를 고정밀도로 검출할 수 있는 전자 워터마크의 매립 방법 및 그 검출 방법을 얻는 것을 목적으로 한다.

또한, 본 발명은, 상기 방법을 이용한 전자 워터마크 매립 장치, 전자 워터마크 검출 장치 및 이들을 컴퓨터에서 실현시키는 프로그램을 얻는 것을 목적으로 한다.

본 발명에 따른 전자 워터마크 매립 방법은 전자 워터마크 매립 대상의 전자 화상을 복수의 화상 영역으로 공간적으로 분할하는 분할 처리 단계와, 화소값의 변화가 시각적으로 인식되기 어려운 특성을 갖는 화소를 적응 화소로서 상기 화상 영역마다 추출하는 적응 추출 단계와, 전자 워터마크의 매립 비트값에 따라 상기 화상 영역간 및 시간 방향에서 상기 적응 화소의 화소값을 변화시킴과 아울러, 상기 화상 영역간의 경계 및/또는 시간 방향에서 화소값 변화의 천이가 완만하게 되도록 단계적으로 변화시킴으로써 전자 워터마크 매립 화상을 생성하는 매립 단계를 구비하는 것이다.

이것에 따라, 재촬영 화상에 대한 전자 워터마크의 내성을 유지하면서, 그 매립에 의한 시각적인 방해를 현저히 감소시킬 수 있다고 하는 효과가 있다.

본 발명에 따른 전자 워터마크 검출 방법은 검출 대상 화상의 화상 영역마다 전자 워터마크 매립에 의한 시간 방향에서의 화소값 변화에 대응한 화소값 차분을 Gap값으로서 검출하는 Gap 검출 단계와, 상기 검출 대상 화상에 매립되어야 할 전자 워터마크에 의한 상기 화상 영역간 및 시간 방향에서의 화소값 변화 패턴과 상기 검출 대상 화상의 시간 방향에서의 화소값 변화 패턴과의 상관값을 검출하는 상관 검출 단계와, Gap값 및 상관에 대한 상기 화상 분할 영역마다의 검출 결과로부터 상기 매립 비트를 각각 판정하고, 이들 판정 결과를 상보적으로 판단하여 최종적인 매립 비트를 결정하는 매립 비트 판정 단계를 구비하는 것이다.

이것에 따라, 전자 워터마크의 검출 결과의 신뢰성이나 검출 정밀도를 향상시킬 수 있다고 하는 효과가 있다.

도 1은 본 발명의 실시예 1에 따른 전자 워터마크 매립 장치의 구성을 나타내는 블록도,

도 2는 입력 전자 화상을 공간적으로 분할한 화상 분할 영역을 나타내는 도면,

도 3은 실시예 1에 따른 전자 워터마크 패턴의 일례와 그 시간 변화를 나타내는 도면,

도 4는 공간적인 가드 밴드(guard band)를 포함하는 전자 워터마크 패턴과 시간 방향의 가드 밴드의 구체적인 예를 나타내는 도면,

도 5는 매립 비트마다의 적응 처리와 그 시간 변화를 나타내는 도면,

도 6은 매립 비트마다의 휘도 레벨에서의 적응 처리를 나타내는 도면,

도 7은 실시예 2의 전자 워터마크 매립 장치에 의한 프레임 차분의 산출 방법을 설명하는 도면,

도 8은 매립 비트마다의 프레임 차분을 이용한 적응 처리를 나타내는 도면,

도 9는 실시예 3에 따른 전자 워터마크 매립 장치의 에지 적응 처리를 설명하는 도면,

도 10은 매립 비트마다의 에지 적응 처리를 나타내는 도면,

도 11은 본 발명의 실시예 4에 따른 전자 워터마크 검출 장치의 구성을 나타내는 블록도,

도 12는 전자 워터마크의 매립 주기에 있어서의 Gap 검출 위치를 나타내는 도면,

도 13 Gap값과 매립 비트와의 관계를 나타내는 도면,

도 14는 전자 워터마크의 매립 위상을 나타내는 도면,

도 15는 상관값과 매립 비트와의 관계를 나타내는 도면,

도 16은 Gap 및 상관 검출에 의한 판정값과 매립 비트의 최종 판정값과의 관계를 나타내는 도면,

도 17은 클립 처리(clip processing)를 설명하는 도면,

도 18은 실시예 4에 따른 전자 워터마크 검출 장치의 응용예를 나타내는 도 면이다.

이하, 본 발명을 더욱 상세히 설명하기 위해서, 본 발명을 실시하기 위한 최선의 형태에 대하여, 첨부한 도면에 따라 설명한다.

(실시예 1)

도 1은 본 발명의 실시예 1에 따른 전자 워터마크 매립 장치의 구성을 나타내는 블록도이다. 전자 워터마크 매립 장치(1)는 화상 분할부(2), 적응 추출부(3), 매립 처리부(4) 및 워터마크 정보 생성부(5)로 구성된다. 전자 워터마크 매립 장치(1)는 예컨대, 범용 컴퓨터 등을 이용하여, 본 발명에 따른 전자 워터마크 매립 프로그램을 실행시킴으로써 구현할 수 있다.

즉, 전자 워터마크 매립 프로그램을 컴퓨터에게 실행시켜 상기 구성 요소(2∼5)로서 기능시킴으로써, 전자 워터마크 매립 장치(1)에 의한 특징적인 데이터 처리를 실행할 수 있다. 또, 이하의 설명에 있어서, 전자 워터마크 매립 장치(1)를 구현하는 컴퓨터 자체의 구성 및 그 기본적인 기능에 관해서는, 당업자가 해당 분야의 기술상식에 근거하여 용이하게 인식할 수 있는 것이며, 본 발명의 본질에 직접 관계하는 것이 아니기 때문에 상세한 기재를 생략한다.

화상 분할부(2)는 입력된 전자 화상(도 1에서는, 복수의 프레임으로 이루어지는 동화상으로서 나타낸다. 이하, 입력 전자 화상이라 칭함)(6a)을 복수 영역의 정보로 공간적으로 분할한 전자 화상(6b)을 생성한다. 이후에서는, 도 2에서 나타내는 바와 같이, 화상 분할부(2)가 입력 전자 화상(6a)의 프레임 화상을 4분할하는 경우를 예로 들어 설명한다. 또, 도 2에서는, 분할한 각 영역을 구별하기 위해 각각의 영역에 부호 A, B, C, D를 부여하고 있다.

또한, 후술하겠지만, 화상 분할부(2)는 입력 전자 화상(6a)의 프레임 화상을 분할하는데 있어서, 각 분할 영역의 경계에 가드 밴드(Guard Band)를 설정한다. 즉, 전자 화상(6b)의 프레임 화상은 가드 밴드를 사이에 두고 분할된다.

적응 추출부(3)는 소정의 진폭(변화량)으로 화소값을 변화시키더라도 화질을 저하시키지 않는 화소를 특정하기 위한 적응 조건이 설정되어 있고, 화상 분할부(2)로부터 입력한 전자 화상(6b)의 분할 영역마다 적응 조건에 따른 화소를, 전자 워터마크의 매립 대상 화소(이후, 적응 화소라 칭함)로서 추출한다.

매립 처리부(4)는 적응 추출부(3)가 추출한 전자 화상(6b)의 적응 화소에 대하여, 워터마크 정보 생성부(5)로부터의 전자 워터마크 정보(7)에 따라 공간적 및 시간 방향에서 화소값을 변화시켜 전자 워터마크 매립된 전자 화상(6c)을 생성하여 출력한다.

즉, 전자 워터마크 매립 비트의 값에 따라서, 전자 화상(6b)의 프레임 화상의 분할 영역마다 적응 화소의 화소값을 변화시키는 공간적인 화소값 변화에 덧붙여, 이 공간적인 변화 패턴의 시간 방향(프레임 방향)에서의 변화를 규정하는 것으로 전자 워터마크 매립이 실행된다.

이후의 설명에서는, 매립 처리부(4)가 전자 워터마크 정보(7)에 따라서, 프 레임 화상 내에서 적응 화소의 휘도값을 공간적으로 변화시키고, 또한 이것을 시간 방향(프레임 방향)으로 변화시키는 경우를 예로 들며, 적응 추출부(3)에는, 휘도 레벨에 대한 적응 조건이 설정되어 있는 것으로 한다.

워터마크 정보 생성부(5)는 전자 워터마크를 구성하는 매립 비트에 따라 전자 워터마크 정보(7)를 생성하여 매립 처리부(4)로 출력한다. 전자 워터마크 정보(7)는 매립 비트에 따라서, 전자 화상(6b)의 분할 영역의 화소값을 변화시키는 공간적인 전자 워터마크 패턴 및 그 시간 방향(프레임 방향)의 변화 패턴을 규정하는 정보이다.

예컨대, 전자 워터마크 정보(7)는 매립 처리부(4)가 전자 화상(6b)의 4분할한 영역 중, 두 대각 영역을 이용하여 공간적으로 2비트의 정보를 매립하고, 또한 두 대각 영역마다 시간 방향으로 다른 위상(예컨대, 위상이 90° 어긋나게)에서 휘도 변화를 가하여 2비트의 정보를 매립하도록 설정한다. 이와 같이 하는 것으로, 공간적 및 시간 방향에서의 휘도 변화로 1프레임 화상당 합계 4비트의 전자 워터마크를 매립할 수 있다.

또한, 매립 처리부(4)는 화상 분할부(2)에 의해서 마련된 가드 밴드에서 공간적인 휘도값 변화가 완만해지도록 매립 처리를 실행하고, 또한 동일한 분할 영역에 대하여 시간 방향의 가드 밴드에서 시간 방향(프레임 방향)의 휘도값 변화가 완만해지도록 매립 처리를 실행한다.

도 3은 실시예 l에 따른 전자 워터마크 패턴의 일례와 그 시간 변화를 나타내는 도면으로, 도 3(a)는 공간적인 가드 밴드를 포함하는 전자 워터마크 패턴을 나타내고, 도 3(b)는 시간 방향의 가드 밴드를 포함하는 (a)의 패턴의 시간 변화를 나타내고 있다. 도 3(a)의 예에서는, 도 2에서 나타낸 영역 B, C의 휘도값은 변화시키지 않고(도면 중, 0을 부여한 부분), 영역 A, D의 휘도값을 모두 +1만큼 변화시키고 있다(도면 중, 기호 +를 부여한 부분).

또한, (a)에 있어서, 공간적인 가드 밴드 GB의 폭은 예컨대, 32화소로 한다. 이 폭은 상이한 변화량으로 휘도 변화시킨 영역간의 경계가 시각적으로 인식되지 않는 정도의 것이면 좋고, 본 발명에 따른 전자 워터마크를 매립하는 대상 화상의 화상 특성에 따라 적절히 결정한다. 또한, 영역 B, D간의 가드 밴드 GB의 영역 B쪽의 경계선을 Ba라 칭하고, 영역 D쪽의 경계선을 Bb라 칭한다.

영역 B쪽의 경계선 Ba에서는, 예컨대, 휘도값을 +1 변화시키는 확률을 1/33로 하고, 가드 밴드 GB 내에서 영역 D쪽에 가까워짐에 따라서 해당 확률값을 서서히 상승시킨다. 그리고, 영역 D쪽의 경계선 Bb에서는, 휘도값을 +1 변화시키는 확률을 32/33로 한다. 이와 같이 하는 것으로, 전자 워터마크로서 한쪽의 영역에 설정해야 할 휘도의 변화량으로부터 다른 쪽의 영역에 설정해야 할 휘도의 변화량까지 서서히 변화하는 것이 된다.

또한, 전자 워터마크를 구성하는 비트값에 따라 시간 방향으로 휘도값을 변화시킬 때, (b)에서 나타내는 바와 같이, 예컨대, 영역 A, D에 대하여 휘도 변조의 기점이 되는 프레임으로부터 제 10번째의 프레임까지 휘도값을 +1 변화시키고, 제 10번째 프레임으로부터 제 15번째의 프레임까지의 사이에서 서서히 휘도값의 변화량이 0이 되도록 설정한다.

여기서는, 도면 중의 기간 Bc에서, 휘도값을 +1 변화시킨 상태로부터 변화량이 0이 될 때까지 한 프레임마다 휘도값을 +1 변화시킨 화소가 감소하며, 그 양만큼 변화없는 화소가 증가하도록, 확률 1/6의 비율로 휘도의 변화분을 0으로 하는 화소를 증가시킨다.

이와 같이, 본 발명의 전자 워터마크 매립 장치(1)에서는, 시간 방향에서도 휘도값의 변화를 완만하게 한다(시간 방향의 가드 밴드). 이에 따라, 재촬영 화상에 대한 전자 워터마크를 매립하는 것에 의한 화질 저하를 방지할 수 있다.

도 4는 도 3에서 나타내는 방법으로 매립한 공간적인 가드 밴드를 포함하는 전자 워터마크 매립 베이스(base)와 시간 방향의 가드 밴드의 구체적인 예를 나타내는 도면이다. 또, 휘도값의 변화를 이해하기 쉽게 하기 위해서, 휘도값을 +1 변화시킨 화소를 흑색으로 나타내고, 휘도값을 변화시키지 않은 화소를 백색으로 나타내고 있다.

도 4(a)에 나타내는 바와 같이, 공간적인 휘도 변화에 있어서, 가드 밴드 GB에 의해 영역 A, D와 영역 B, C와의 사이의 경계선이 흐릿해진 상태가 된다. 또한, 시간 방향에서의 휘도값 변화에 있어서도, 도 4(b)에서 나타내는 바와 같이, 시간 방향의 가드 밴드에 의해서 전자 워터마크로서 시간적으로 먼저 설정한 휘도값으로부터 뒤에 설정하는 휘도값에 이르기까지 급격히 변화하는 일 없이, 그 중간 상태가 설정된다.

도 5는 매립 비트마다의 적응 처리와 그 시간 변화를 나타내는 도면이다. 도시한 예에서는, 적응 추출부(3)가 전자 화상(6b)의 분할 영역마다 적응 조건을 만족하는 적응 화소 A, B를 추출한다. 또한, 매립 처리부(4)는 적응 추출부(3)에 의해 전자 화상(6b)의 분할 영역마다 추출된 적응 화소 A, B에 대하여, 워터마크 정보 생성부(5)로부터의 전자 워터마크 정보(7)에 따라서, 도면 중의 매립 주기(30 프레임 주기)로 휘도값을 변화시킨다.

예컨대, 전자 워터마크의 매립 비트가 「00」인 경우, 전자 워터마크 정보(7)에 따라서 처리의 기점이 되는 프레임으로부터 제 15번째의 프레임까지의 적응 화소 A의 휘도값을 +1 변화시키고, 제 16번째로부터 제 30번째의 프레임까지의 적응 화소 B의 휘도값을 -1 변화시킨다. 매립 비트가 「01」인 경우는, 그 역위상의 처리를 실행한다.

또한, 도 2에서 나타낸 분할 영역 중의 두 대각 영역에 대하여 휘도 변화가 역위상이 되도록 하는 경우, 이하와 같은 처리를 실행한다.

우선, 도 2 중의 영역 A, D에 설정해야 할 매립 비트가 「00」인 경우, 도 2 중의 영역 A로부터 추출한 적응 화소 A, B에 대하여 도 5 중의 매립 비트 00에 대응하는 주기로 휘도값을 변화시킨다. 또한, 도 2 중의 영역 D로부터 추출한 적응 화소 A, B에 대해서는, 도 5 중의 매립 비트 01에 대응하는 주기로 휘도값을 변화시킨다.

또한, 도 2 중의 영역 A, D에 설정해야 할 매립 비트가 「01」이면, 반대로 영역 A에 대하여 도 5 중의 매립 비트 01에 대응하는 주기로 휘도값을 변화시키고, 영역 D에 대해서는 도 5 중의 매립 비트 00에 대응하는 주기로 휘도값을 변화시킨다.

또한, 도 2 중의 영역 A, D에 설정해야 할 매립 비트가 「10」이면, 영역 A에 대하여 도 5 중의 매립 비트 10에 대응하는 주기로 휘도값을 변화시키고, 영역 D에 대해서는 도 5 중의 매립 비트 11에 대응하는 주기로 휘도값을 변화시킨다.

도 2 중의 영역 A, D에 설정해야 할 매립 비트가 「11」이면, 영역 A에 대하여 도 5 중의 매립 비트 11에 대응하는 주기로 휘도값을 변화시키고, 영역 D에 대해서는 도 5 중의 매립 비트 10에 대응하는 주기로 휘도값을 변화시킨다. 이들의 처리는 도 2 중의 영역 B, C에 대해서도 마찬가지이다.

또한, 도 2에서 나타낸 분할 영역 중의 두 대각 영역에 대하여 휘도 변화가 동위상이 되도록 하는 경우, 도 2 중의 영역 A, D에 설정해야 할 매립 비트가 「00」이면, 도 2 중의 영역 A, D에 대하여 도 5 중의 매립 비트 00에 대응하는 주기로 휘도 변화 처리를 각각 실행한다. 매립 비트가 「01」, 「10」, 「11」인 경우도 동일한 요령으로 휘도 변화 처리를 실행한다.

다음에, 동작에 대하여 설명한다.

전자 워터마크의 매립 대상인 입력 전자 화상(6a)은 전자 워터마크 매립 장치(1) 내부의 화상 분할부(2)에 입력된다. 화상 분할부(2)는 입력 전자 화상(6a)을 프레임 화상마다 복수 영역으로 공간적으로 분할한 전자 화상(6b)을 생성한다. 또, 상술한 바와 같이, 전자 화상(6b)의 프레임 화상마다의 분할 영역은 도 3 및 도 4에서 나타낸 가드 밴드 GB를 경계로 해서 분할된다.

적응 추출부(3)는 화상 분할부(2)로부터 전자 화상(6b)을 입력하여, 그 프레임 화상의 분할 영역마다 예컨대, 도 6에 나타내는 화소의 휘도 레벨에 대한 적응 조건에 근거하여 적응 화소 A, B를 추출한다.

도 6은 각 매립 비트의 휘도 레벨에서의 적응 처리를 나타내는 도면이며, 각 매립 비트에 대응하는 매립 주기는 도 5에 나타낸 것과 마찬가지인 것으로 한다. 도면에 나타내는 바와 같이, 휘도값이 180 이상인 화소가 적응 화소 B로서 추출된다. 또한, 적응 화소 A로서는, 휘도값이 129 이상의 화소 및 휘도값이 128 이하의 다음 50%에 대응하는 화소가 해당된다. 휘도값 128 이하의 다음 50%란, 휘도값이 128 이하인 화소 중에서 휘도값이 큰 상위 절반까지의 화소를 의미한다.

또, 휘도값 128 이하의 다음 50%에 대응하는 화소는, 휘도값이 l29 이상의 화소수가 적은 화상으로서 전자 워터마크를 검출하는 데 충분한 매립량을 확보할 수가 없는 경우에 적응 화소 A로서 추출하도록 하더라도 좋다.

인간의 시각 특성상, 휘도값이 낮고 어두운 화상일수록, 그 휘도값을 변화시키면, 그 변화가 시각적으로 인식되기 쉽게 된다. 그래서, 상술한 적응 화소를 추출하는 기준 휘도값 128은 화상 중의 휘도를 변화시켰을 때에 그 변화가 시각적으로 인식되지 않는 하한의 휘도값으로서, 베버-페히너(Weber-Fechner)의 법칙 등을 고려한 검토 실험에 의해 결정된다.

적응 추출부(3)는 상술한 휘도 레벨에 대한 적응 조건을 만족하는 적응 화소 A, B를 전자 화상(6b)의 분할 영역마다 추출하고, 이들 화소를 특정하는 정보(화상상의 위치 좌표 등)를 매립 처리부(4)로 출력한다.

매립 처리부(4)는 적응 추출부(3)로부터의 정보에 따라서 전자 화상(6b)의 분할 영역마다 추출된 적응 화소 A, B에 대하여, 워터마크 정보 생성부(5)로부터 의 전자 워터마크 정보(7)에 따라서, 도 5 중의 매립 주기로 휘도 변화 처리를 실행한다.

예컨대, 워터마크 정보 생성부(5)로부터 얻은 매립 비트가 「00」인 경우, 도 5를 이용하여 상술한 바와 같이, 매립 처리부(4)는 처리의 기점이 되는 프레임으로부터 제 15번째의 프레임까지의 적응 화소 A의 휘도값을 +1 변화시키고, 제 16번째로부터 제 30번째의 프레임까지의 적응 화소 B의 휘도값을 -1 변화시킨다.

또, 도 5에서는, 설명을 간단하게 하기 위해 도 3(b)에서 나타낸 기간 Bc(시간 방향의 가드 밴드)를 마련하고 있지 않지만, 시간 방향의 화소값 변조에 의한 시각적인 영향이 있는 경우는, 시간 방향의 가드 밴드를 마련하도록 하더라도 좋다.

또한, 전자 워터마크 매립에 의한 시각적 영향을 고려하면, 휘도값의 변화량은 ±1의 범위인 것이 바람직하다. 그러나, 휘도값이 충분히 높고 휘도 변조에 의한 영향이 시각적으로 인식하기 어려운 적응 화소(예컨대, 휘도값 190 이상)이면, 전자 워터마크 매립에 관한 휘도값의 변화량을 2배(±2)로 하여 전자 워터마크의 매립 강도를 증가하도록 하더라도 좋다.

또한, 휘도값이 129 이상의 화소수가 적은 화상으로서 전자 워터마크를 검출하는 데 충분한 매립량을 확보할 수 없는 경우, 적응 추출부(3)가 휘도값이 128 이하의 화소의 휘도 평균치보다 큰 휘도를 갖는 화소를 추출하도록 하더라도 좋다.

또, 매립 처리부(4)는 상술한 바와 같이, 화상 분할부(2)에 의해 마련된 가드 밴드에서 영역간의 휘도값 변화가 완만해지도록 매립 처리를 실행한다. 또한, 시간 방향의 가드 밴드를 설정하는 경우는, 해당 가드 밴드에서 시간 방향의 휘도값 변화가 완만해지도록 매립 처리를 실행한다.

또한, 영상중의 장면 전환은 프레임이나 필드의 화상 상관이 시간 방향에서 현저히 변화되어, 매립 처리의 동기 기준이 될 수 있는 의미 있는 현상이다. 그래서, 본 실시예에 따른 매립 처리부(4)는 대상 화상의 장면 전환에 동기시켜 전자 워터마크 매립 처리를 실행한다.

이 경우, 매립 처리부(4)는 예컨대, 전자 워터마크의 매립 대상의 화상에 있어서의 프레임의 화상 상관의 시간 방향에서의 변화가 소정의 임계값을 넘는 것을 장면 전환으로서 검출한다. 그리고, 매립 처리부(4)는 검출한 장면 전환 이후의 프레임을 기점으로 해서 상술한 시간 방향에서의 휘도 변화 처리를 실행한다.

이에 따라, 전자 워터마크 매립 처리에 있어서의 시간 방향에서의 휘도 변화 처리가 전자 워터마크 정보(7)에 따른 매립 주기로부터 어긋나는 일이 있더라도, 대상 화상 중의 장면 전환을 기준으로 하여 상기 주기와의 동기를 회복시킬 수 있다. 또한, 본 발명에 따른 전자 워터마크를 검출할 때, 전자 워터마크의 매립 패턴에 있어서의 위상을 적확하게 복원할 수도 있다.

매립 처리부(4)는 상술한 바와 같이, 워터마크 정보 생성부(5)로부터 입력되는 전자 워터마크 정보(7)에 따른 휘도 변화 처리를 완료하면, 이에 따라 얻어진 화상을 전자 워터마크 매립된 화상(6c)으로서 출력한다.

이상과 같이, 본 실시예 1에서는, 대상 화상으로부터 소정의 진폭(변화량)으로 화소값(휘도 등)을 변화시키더라도 화질을 저하시키지 않는 화소를 적응 화소로 서 추출함과 동시에, 공간적 및 시간 방향에서의 화소값 변화에 대하여 그 변화를 완만하게 하는 가드 밴드를 마련했기 때문에, 재촬영 화상에 대한 전자 워터마크의 내성을 유지하면서, 그 매립에 의한 시각적인 방해를 현저히 감소시킬 수 있다.

또, 상기 실시예 1에서는, 전자 워터마크의 매립에 공간적 및 시간 방향에서의 휘도 변화 처리를 실행하는 예를 나타내었지만, 휘도에 한하지 않고, 재촬영 화상에 있어서도 검출할 수 있는 화소값이라면 좋다.

(실시예 2)

상기 실시예 1에서는, 휘도 변화를 실시하더라도 화질이 저하하지 않는 휘도 레벨로서 휘도값 128 이상의 적응 화소를 추출하는 예를 나타내었지만, 이 적응 화소만으로서 매립량이 충분하지 않아 전자 워터마크가 검출될 수 없는 경우가 있다.

여기서, 매립 대상의 화상에 있어서, 원래 프레임 화상(또는 필드 화상)간에서의 화소값 변화가 큰 화소는 일반적으로 움직임이 심한 영상을 구성하는 것이 많아, 화소값 변화에 의한 시각적인 영향이 적을 것이 예상된다.

그래서, 실시예 2에서는, 프레임 차분값(또는, 필드 차분값)으로부터 프레임 화상(또는 필드 화상)간에서의 화소값 변화가 큰 화소를 검출하여, 전자 워터마크를 매립 해야할 적응 화소로서 선택하는 것이다.

또, 실시예 2에 따른 전자 워터마크 매립 장치의 구성은 상기 실시예 1에서 나타낸 것과 기본적으로 동일하지만, 적응 추출부(3) 및 매립 처리부(4)가 대상 화상에 대하여 프레임 차분을 이용한 상기 적응 처리를 실행하는 점에서 다르다.

다음으로, 프레임 차분을 이용한 적응 처리에 대하여 상세히 설명한다.

도 7은 본 발명의 실시예 2에 따른 전자 워터마크 매립 장치의 프레임 차분의 산출 방법을 설명하는 도면이다. 도면에 있어서, 프레임 1, 2는 전자 화상(6b)의 시간적으로 전후하는 프레임 화상을 나타내고 있다. 또한, 프레임 1, 2를 구성하는 화소의 화소값(예컨대, 휘도값)을 각각

,

, …,

및

,

, …,

이라고 하면, 프레임 차분

은 절대값으로서 하기 식(1)을 이용하여 구할 수 있다.

… (1)

도 8은 실시예 2에 따라 각 매립 비트마다의 프레임 차분을 이용한 적응 처리를 나타내는 도면이며, 각 매립 비트(도시된 예에서는 「00」, 「01」)에 대응하는 매립 주기는 도 5에서 나타낸 것과 마찬가지인 것으로 한다. 적응 추출부(3)는 휘도값 180 이상의 화소를 적응 화소 B로서 추출하는 한편, 상기 실시예 1과 다르게, 휘도값이 128 이상의 화소에 부가하여, 휘도값이 128 미만인 화소도 적응 화소 A로서 추출한다.

여기서, 휘도값 128 미만의 다음 50%란, 휘도값이 128 미만인 화소 중에서 휘도값이 큰 상위 절반까지의 화소를 의미한다. 또한, 휘도값 128 미만 나머지란, 휘도값 128 미만의 다음 50%인 화소보다 휘도값이 낮은 화소를 의미한다.

적응 추출부(3)는 상기 실시예 1과 마찬가지의 처리로서, 전자 화상(6b)의 분할 영역마다 도 8에 나타내는 휘도 레벨의 적응 화소 A, B를 추출한다. 또한, 적응 추출부(3)는 상기 식(1)에 따라서 전자 화상(6b)의 시간적으로 전후하는 프레임간에서 화소마다의 프레임 차분을 산출하여, 적응 화소를 특정하는 정보(화상 중 의 위치 좌표 등)와 함께 화소마다의 산출 결과를 매립 처리부(4)로 출력한다.

매립 처리부(4)에서는, 프레임 차분값의 크기와 휘도 레벨에 근거하여 적응 화소의 휘도값에 더해야 할 변화량을 결정하여 매립 처리를 실행한다. 도 8의 예로 설명하면, 매립 처리부(4)는 적응 추출부(3)에 의해 산출된 프레임 차분값이 2 이하인 화소를 프레임간에서의 화소값 변화가 작은(움직임이 작은) 화소라고 인식한다. 이 프레임 차분값에 해당하는 적응 화소에 대해서는, 휘도 변화 처리를 실시하더라도 변화가 시각적으로 인식되지 않는 휘도값 128 이상의 화소만의 휘도값을 변화시킨다.

또한, 프레임 차분값이 3 이상 7 이하이면, 매립 처리부(4)는 프레임간에서의 화소값 변화가 중간 정도인 화소라고 인식하여, 휘도값 128 이상인 적응 화소에 부가하여, 휘도값 128 미만의 다음 50%에 해당하는 적응 화소에도 휘도 변화 처리를 실행한다.

한편, 프레임 차분값이 8 이상이면, 매립 처리부(4)는 프레임간에서의 화소값 변화가 큰(움직임이 심한) 화소라고 인식한다. 이 프레임 차분값에 해당하는 적응 화소에 대해서는, 휘도 변화 처리를 실시하더라도 변화가 시각적으로 인식되기 어려운 것으로 판단하여, 휘도값 128 미만의 적응 화소에 대해서도 휘도 변화 처리를 실행한다.

또, 상술한 프레임 차분값의 임계값은 전자 워터마크 매립된 화상(6c)의 화질에 따라 적절한 값을 매립 처리부(4)에 설정할 수 있도록 구성하더라도 좋다.

이상과 같이, 본 실시예 2에 따르면, 프레임 차분에 따라 전자 워터마크의 매립을 실행하기 때문에, 프레임간에서의 화소값 변화가 크고, 화소값의 변화가 시각적으로 인식되기 어려운 화소를 적응 화소로서 추출할 수 있어, 전자 워터마크의 매립량을 증가시킬 수 있다. 이에 따라, 본 발명에 따른 전자 워터마크의 내성을 향상시킬 수 있다.

상기 실시예 2에서는, 프레임 차분을 이용하는 예를 나타내었지만 필드 차분을 이용하여도 좋다. 이 형태로서도 기본적으로 동일한 구성으로 동일한 효과를 얻을 수 있다.

(실시예 3)

이 실시예 3은 전자 워터마크의 매립량을 증가시키기 위해서, 대상 화상 중 에지 부분의 화소를 매립 대상의 적응 화소로 하는 것이다.

실시예 3에 따른 전자 워터마크 매립 장치의 구성은 상기 실시예 1에서 나타낸 것과 기본적으로 동일하지만, 적응 추출부(3) 및 매립 처리부(4)가 대상 화상에 대하여 에지 적응 처리를 실행하는 점에서 다르다.

다음으로, 에지 적응 처리에 의한 적응 화소의 선정에 대하여 설명한다.

우선, 적응 추출부(3)는 실시예 1 또는 실시예 2에서 나타낸 처리로 전자 워터마크를 매립한 전자 화상(6b)에 대하여, 수직 방향 에지 필터 처리, 고립점 제거 처리 및 3점 NAM 처리를 순서대로 실시하여 에지 부분을 강조한 화상을 구한다.

도 9는 실시예 3에 따른 전자 워터마크 매립 장치의 에지 적응 처리를 설명하는 도면으로, 도 9(a)는 수직 방향 에지 필터 처리, 도 9(b)는 고립점 제거 처 리, 도 9(c)는 3점 NAM 처리를 나타내고 있다. 이 도면을 이용하여 각 처리를 설명한다. 또, 도 9에서는, 처리 대상의 화상(전자 화상(6b))의 화상 사이즈가 720×486 화소인 경우를 예로 하고 있다.

수직 방향 에지 필터 처리에서는, 처리 대상의 화상 중의 주목 화소와 이것에 인접하는 화소로부터 수직 방향의 에지를 강조한다. 구체적으로는, 하기 식(2)에 따라서 주목 화소(좌표

)의 수직 방향의 에지를 강조한 화소값

를 구한다.

… (2)

적응 추출부(3)는 상술한 처리를 실시하여 수직 방향의 에지를 강조한 화상에 대하여, 돌발적인 화소값 변화가 에지로서 인식되지 않도록 고립점 제거 처리를 실행한다. 도시한 예에서는, 주목 화소(화소값

)의 8근방 화소값을 취득하여, 하기 식(3)에 따라서 8근방 중 3번째로 큰 화소값

와 주목 화소의 화소값

에서 최소값을 부여하는 화소를 고립점(화소값

)으로서 제거한다.

… (3)

단,

는, 각 주목 화소 자체를 포함하지 않는 주위의 화소(8근방 화소)에서 3번째로 큰 화소값을 나타내며, 하기 식(4)로 표시된다.

… (4)

함수는 3번째로 큰 값을 돌려주는 함수이다.

계속해서, 적응 추출부(3)는 수직 방향의 에지를 강조하고 고립점 제거 처리를 실시한 화상에 대하여 3점 NAM 처리를 실행한다. 구체적으로는, 하기 식(5)에 따라서 에지 부분의 주목 화소(좌표

)와 이것에 인접하는 2 화소로부터 주목 화소가 에지 부분에 해당하면 큰 값이 되는 에지도(degree of edge)

를 구한다. 이것은 에지 강조 처리이기도 하며,

를 화상으로서 보면 에지 강조 화상이 되는 한편으로,

가 큰 것은 좌표

에 위치하는 주목 화소가 에지 부분으로서의 성질이 강한 것을 나타내는 지표가 된다.

… (5)

적응 추출부(3)는 상술한 바와 같이 하여 에지 적응 처리를 실시한 화상 중의 에지를 구성하는 화소 중 소정의 에지도(

) 이상(예컨대,

)의 화소를 추출하여, 이들을 특정하는 정보(화상 중의 위치 좌표 등)를 구한다.

다음으로, 적응 추출부(3)는 에지 적응 처리를 실시하고 있지 않은 원화상(전자 화상(6b)으로부터 소정의 에지도 레벨에 대한 적응 조건을 만족하는 적응 화소) A, B를 추출하고, 이들 화소를 특정하는 정보(화상상의 위치 좌표 등)를 매립 처리부(4)로 출력한다.

매립 처리부(4)는 적응 추출부(3)로부터의 에지 부분에서 소정의 에지도 이상인 화소나 적응 화소를 특정하는 정보에 따라서 원화상인 전자 화상(6b)의 적응 화소에 대하여, 도 5 중의 매립 주기로 휘도 변화 처리를 실행한다.

도 10은 매립 비트마다의 에지 적응 처리를 나타내는 도면이다. 상기 처리를 도시한 예로 설명하면, 적응 추출부(3)는 에지 적응 처리한 화상으로부터 에지를 구성하는 화소 중 에지도가 10 이상인 것을 추출하여, 이들을 특정하는 정보(위치 좌표)를 구한다. 또한, 원화상인 전자 화상(6b)으로부터 휘도값 128 이상 및 휘도값 l80 이상의 화소를 적응 화소로서 추출하며, 이들을 특정하는 정보(위치 좌표)를 구한다. 이들 정보는 매립 처리부(4)로 출력된다.

다음에, 매립 처리부(4)는 도 10에서 나타내는 바와 같이, 적응 A 또는 적응 B의 적응 처리의 변화량을 증가시킨다. 즉, 적응 A에서는 에지 적응 처리 화상으로부터 선정한 에지 부분에서 에지도 10 이상의 화소로서 휘도값이 128 이상의 적응 화소의 휘도값의 변화를 1 증가시킨다. 적응 B에서는 적응 A의 처리에 부가해서 특히 휘도값이 180 이상의 적응 화소의 휘도값의 변화를 1 증가시킨다. 적응 A의 처리에 의해서 거의 충분히 변화를 부여할 수 있지만, 적응 B의 처리를 추가하면 시각적 방해의 증가 없이 더욱 강고한 변화로 할 수 있어, 검출 결과가 안정하다.

이상과 같이, 본 실시예 3에 따르면, 실시예 1 또는 실시예 2에서 나타낸 처리로 전자 워터마크를 매립한 전자 화상(6c)에 대하여 에지 부분에서 소정의 에지도 이상의 화소를 또한 적응 화소로서 추출하여 전자 워터마크를 매립하기 때문에, 워터마크 매립량을 증가시킬 수 있어, 전자 워터마크의 내성을 향상시킬 수 있다.

또, 상기 실시예 1∼3에서는 다른 적응 처리를 각각 설명했지만, 이들을 조합시킨 적응 처리를 실행하더라도 좋다.

(실시예 4)

도 11은 본 발명의 실시예 4에 따른 전자 워터마크 검출 장치의 구성을 나타내는 블록도이다. 전자 워터마크 검출 장치(8)는 Gap 검출부(9), 상관 검출부(10) 및 매립 비트 판정부(11)로 구성된다. 전자 워터마크 검출 장치(8)는 예컨대, 범용 컴퓨터 등을 이용하여, 본 발명에 따른 전자 워터마크 검출 프로그램을 실행시 킴으로써 구현할 수 있다.

즉, 전자 워터마크 검출 프로그램을 컴퓨터에게 실행시켜 상기 구성 요소(9∼11)로서 기능시킴으로써, 전자 워터마크 검출 장치(8)에 의한 특징적인 데이터 처리를 실행할 수 있다. 또, 이하의 설명에 있어서, 전자 워터마크 검출 장치(8)를 구현하는 컴퓨터 자체의 구성 및 그 기본적인 기능에 대해서는, 상기 실시예 1과 동일한 이유로 상세한 기재를 생략한다.

상기 실시예 1∼3에서 설명한 전자 워터마크 매립 장치(1)에 의해 전자 워터마크가 매립 된 전자 화상(6c)에서, 전자 워터마크 패턴의 시간 방향에서의 변화 패턴의 위상이 반전하는 시점에서 프레임 차분값(또는 필드 차분값)이 급격히 변화한다.

그래서, 전자 화상(6c)에 매립된 전자 워터마크를 인식하고 있으면, 상기 위상 반전 시점에 따라 주기적으로 전자 화상(6c)으로부터 프레임 차분(또는 필드 차분)을 검출하는 것으로, 해당 프레임 차분값(또는 필드 차분값)에 근거하여 본 발명에 따른 전자 워터마크 패턴을 복원할 수 있다.

Gap 검출부(9)에서는, 상술한 바와 같은 주기적인 프레임 차분의 검출에 의해서, 분할 영역마다 전자 화상(6c)으로부터 전자 워터마크 패턴의 시간 방향에서의 변화에 있어서의 화소값의 변화분(이하, Gap이라 칭한다)을 검출한다. 또한, 상관 검출부(10)는 상기 실시예 1∼3에서 설명한 전자 워터마크 매립 장치(1)에 의해 매립된 전자 워터마크 패턴과 전자 화상(6c)과의 시간 방향에서의 화소값 변화에 대하여 분할 영역마다 상관을 검출한다.

매립 비트 판정부(11)는 Gap 검출부(9) 및 상관 검출부(10)가 각각 검출한 Gap 값 및 상관값에 근거하여 전자 화상(6c)에 매립된 비트값을 각각 판정하고, 양 판정 결과를 종합적으로 판단하여 최종적으로 결정한 비트값을 매립 비트로서 출력한다.

다음으로, 동작에 대하여 설명한다.

이후의 설명에서는, 상기 실시예에서 나타낸 전자 워터마크 매립 장치(1)에 의해, 입력 전자 화상(6a)에 전자 워터마크를 매립한 전자 화상(6c)으로부터 상기 전자 워터마크의 매립 비트를 검출하는 것으로 한다.

또한, 전자 화상(6c)으로서는, 전자 워터마크 정보(7)에 따라서, 입력 전자 화상(6a)의 프레임 화상을 4분할한 영역의 두 대각 영역(도 2 중의 영역 A, D 및 영역 B, C)의 적응 화소의 휘도값을 역위상으로 변화시킨 워터마크 패턴을 시간 방향(프레임 방향)으로 변화시킨 것을 사용한다.

또한, 대각 영역 A, D에는, 도 5에서 나타낸 매립 주기로 비트 00이 매립되어 있는 것으로 한다. 즉, 영역 A에 대하여 도 5 중의 매립 비트 00에 대응하는 주기로 휘도 변화시키고, 영역 D에 대하여 도 5 중의 매립 비트 01에 대응하는 주기로 휘도 변화시키고 있다.

전자 워터마크 검출 대상의 동화상인 전자 화상(6c)을 표시 장치(모니터)로 재생시키고, 이것을 비디오 카메라로 재촬영한 것을 전자 워터마크 검출 장치(8)에 입력한다. 전자 화상(6c)은 전자 워터마크 검출 장치(8) 내의 Gap 검출부(9) 및 상관 검출부(10)에 각각 입력된다.

Gap 검출부(9)에서는, 전자 화상(6c)에서의 전자 워터마크 매립 주기에 근거하여 Gap 검출 시기가 설정되어 있고, 이 검출 주기로 전자 화상(6c)의 분할 영역마다 프레임 휘도 차분을 산출(Gap 검출)한다.

도 12는 전자 워터마크의 매립 주기(30 프레임 주기)에 있어서의 Gap 검출 위치를 나타내는 도면이며, 상기 실시예 1에서 나타낸 도 5 중의 매립 주기로 전자 워터마크를 매립한 경우를 예로 하고 있다. 도시된 예에서는, 7번째 프레임이 끝나고 8번째 프레임의 개시 시점을 나타내는 시점 a, 15번째 프레임이 끝나고 16번째 프레임의 개시 시점을 나타내는 시점 b, 22번째 프레임이 끝나고 23번째 프레임의 개시 시점을 나타내는 시점 c, 30번째 프레임의 개시 시점을 나타내는 시점 d에서 Gap을 검출한다.

시점 a, c는 도 5 중의 매립 비트 10, 11에 대한 매립 주기의 위상 변화 위치에 대응하며, 시점 b, d가 도 5 중의 매립 비트 00, 01에 대한 매립 주기의 위상 변화 위치에 대응한다.

Gap 검출부(9)는 상기 실시예 1과 마찬가지로, 프레임 방향의 화상 상관이 현저히 변화하는 전자 화상(6c)의 장면 전환에 동기하여 전자 워터마크가 매립되어 있는 경우, 해당 장면 전환에서 매립 주기의 시점을 파악하여, Gap 검출 처리를 실행한다.

이 경우, Gap 검출부(9)는 예컨대, 전자 워터마크의 검출 대상의 동화상에 있어서의 프레임 방향의 화상 상관의 시간 변화가 소정의 임계값을 넘는 것을 장면 전환으로서 검출한다. 그리고, Gap 검출부(9)는 검출한 장면 전환 이후의 프레임 을 기점으로서 Gap 검출을 실행한다.

또, 장면 전환 후의 수초간(2∼3초)은 전자 화상(6c)으로서 획득해야 하는 재촬영 데이터의 화질이 흐트러진다. 이것은 비디오 카메라의 오토 아이리스 기능 등에 의해서 장면 전환 후의 처음의 30 프레임 정도에서 휘도값이 크게 변화하기 때문이다.

그래서, Gap 검출부(9)에서는, 전자 화상(6c) 중의 장면 전환에 동기하여 Gap 검출을 실행하는데 있어서, 예컨대, 장면 전환 후의 처음의 30 프레임을 이용하지 않고, 휘도값이 안정한 30 프레임 후의 재촬영 데이터를 사용한다.

이에 따라, 전자 워터마크 검출 처리에 있어서의 Gap 검출 처리가, 당초의 검출 주기로부터 어긋나는 일이 있더라도, 대상 화상중의 장면 전환을 기준으로 해서 상기 주기와의 동기를 회복시킬 수 있다.

다음에, Gap 검출 처리의 상세에 대하여 설명한다.

Gap 검출부(9)는 하기 식(6)에 따라서, 입력한 전자 화상(6c)의 워터마크 매립시의 분할 영역마다, Gap 검출 시점 전후(전자 워터마크 패턴의 매립 위상의 변화 전후)의 프레임의 휘도 평균치의 차분을 Gap값으로서 산출한다.

… (6)

여기서,

은

번째 필드의 휘도 평균을 나타낸다. 재촬영 개시 처음의 30 프레임을 무시함으로써,

는

,

, …, 출현하는

은

,

, …이 된다.

상술한 바와 같이, Gap 검출부(9)는 전자 화상(6c)의 워터마크 매립시의 각 분할 영역에 대하여, 전자 워터마크의 매립 비트에 따른 상기 매립 주기마다 각 Gap 검출 시점에서 Gap값을 산출한다. 이들 Gap값의 산출이 종료하면, Gap 검출부(9)는 각 분할 영역 A∼D에 있어서 각 Gap 검출 시점 a∼d에서 얻어지는 Gap값의 평균을 산출한다. 예컨대, 영역 A에 있어서 Gap 검출 시점 a에서 얻어지는 Gap값의 평균은 하기 식(7)로부터 구할 수 있다.

… (7)

단,

은 자연수이며,

,

, …,

은 각 매립 주기 중의 Gap 검출 시점 a에서 각각 산출된 Gap값을 나타내고 있다. 분할 영역 B∼D에 있어서 각 Gap 검출 시점 a∼d에서 얻어지는 Gap값의 평균에 대해서도 동일한 관계식으로부터 산출한다. 또,

중의

는 전자 화상(6c)의 워터마크 매립시의 4분할 영역 중의 영역 A를 나타내며, 아래 첨자

는 Gap 검출시점 a를 나타내고 있다.

Gap 검출부(9)는 전자 화상(6c)의 워터마크 매립시의 4분할 영역에 대하여, 상기 각 Gap 검출시점에서의 Gap값의 평균을 구하면, 대각 영역으로의 휘도 변화가 역위상이므로, 하기 식(8)에 따라서 두 대각 영역(영역 A, D 및 영역 B, C)의 Gap값(

,

)을 산출한다. 단,

는 영역 A, D를 나타내고,

는 영역 B, C를 나타내고 있다.

… (8)

또, 전자 워터마크에 관한 휘도 변화를 대각 영역에서 동위상으로 하면, 화면 전체의 휘도 변동에 의해 주기적으로 밝아지거나 어두워지거나 하는 것이 시각적으로 인식할 수 있게 되어 버리지만, 상술한 바와 같이 휘도 변화를 대각 영역에서 역위상으로 하는 것에 의해, 화면 전체의 휘도의 변동을 상쇄할 수 있다.

이렇게 하여 구해진

,

는 Gap 검출부(9)로부터 매립 비트 판정부(11)로 출력된다. 매립 비트 판정부(11)에서는, Gap 검출부(9)로부터 입력한 Gap값(

,

)을 이용하여, Gap 검출 결과에 따른 매립 비트 판정을 실행한다.

도 13은 Gap값과 매립 비트와의 관계를 나타내는 도면이며, 이 도면의 관계에 따라서 매립 비트 판정부(11)가 매립 비트를 판정한다. 도면 중의 파라미터

는 Gap 검출부(9)가 산출한 Gap값(

,

)을 이용하여 매립 비트 판정부(11)가 구한다.

여기서,

는

이며,

및

중, 값이 크고 유의값의 후보로 될 수 있는 쪽의 절대값을 나타내고 있다. 또한,

는,

및

중, 값이 0에 가까운 것, 즉, 유의값의 후보가 아닌 것이 해당한다.

매립 비트 판정부(11)는

,

가 파라미터

로서 도 13 중의 어떤 관계에 속하는지에 의해 매립 비트를 판정한다.

다음에, 상관 검출에 의한 매립 비트 판정에 대하여 설명한다.

도 14는 전자 워터마크의 매립 위상을 나타내는 도면이며, 도 5에서 나타낸 매립 주기에 있어서의 위상에 대응한다. 상관 검출부(10)에는, 상기 매립 위상을 규정하는 함수

,

가 설정되어 있다. 이에 따라, 검출 대상의 화상에 있어서의 전자 워터마크 패턴의 시간 방향(프레임 방향)의 변화 패턴을 파악하고 있다.

함수

는 도 5 중의 매립 비트 00, 01에 대응하는 매립 주기의 위상을 규정하고, I-phase라 칭하는 것으로 한다. 또한, 함수

는 도 5 중의 매립 비트 10, 11에 대응하는 매립 주기의 위상을 규정한다. 이것을 Q-phase라 칭하는 것으로 한다.

상관 검출부(10)는 입력한 전자 화상(6c)을 이용하여, 하기 식(9)를 이용하여 상관을 산출하는 데에 있어서 사용하는 레퍼런스 화상 데이터 α를 구한다. 이 레퍼런스 화상 데이터 α는 전자 화상(6c)의 상관 검출 개시 필드로부터 검출 대상의 화상의 최종 필드(N 필드)까지의 주목 필드(상관을 검출하는 필드)의 전(前) 60 필드분의 휘도의 평균치를 나타내고 있다. 또한,

는 전자 화상(6c)의 각 필드마다의 휘도 평균치이다.

… (9)

이와 같이, 본 발명에서는, 레퍼런스 화상을 구하는데 있어서, 상관을 검출하는 프레임(또는 필드)의 근방의 프레임(또는 필드)의 휘도 평균치를 사용한다. 이와 같이 한 이유는, 주목 프레임 근방의 프레임이 일반적으로 서로 유사하고, 따라서, 프레임 화상의 휘도 평균치를 취하는 것으로 화상 내용의 차이에 의한 영향이 감소되어, 보다 주목 프레임을 근사하는 레퍼런스 화상을 얻을 수 있기 때문이다.

또한, 상술한 전 60 필드분의 휘도의 평균치의 외에, 하기 식(10), (11) 중 어느 것을 채용하여 레퍼런스 화상 데이터 α를 구하더라도 좋다. 하기 식(10)은 전자 화상(6c)이 N 필드로 구성되어 있는 경우, N 필드까지의 휘도 평균을 구하는 것이고, 하기 식(11)은 주목 필드의 전 28, 후 30 필드의 휘도 평균이다

… (10)

… (11)

계속해서, 상관 검출부(10)는 도 5에서 나타낸 매립 주기에 있어서의 위상을 규정하는 함수

,

와 레퍼런스 화상 데이터 α를 이용하여, 하기 식(12), (13)으로부터 전자 화상(6c)의 워터마크 매립시의 분할 영역마다 매립 위상에 따른 상관값을 산출한다. 단,

는 레퍼런스 화상 데이터 α를 산출 가능한 필드 번호의 초기값이다. 또한,

는 전자 화상(6c)의 각 필드마다의 휘도 평균치이다.

… (12)

… (13)

상술한 바와 같이, 전자 화상(6c)의 워터마크 매립시의 분할 영역 A, B, C, D에 관하여 상관값을 구하면, 상관 검출부(10)는 대각 영역으로의 휘도 변화가 역위상이 되도록 비트 00이 매립되고 있기 때문에, 하기 식(14)에 따라서 두 대각 영역(영역 A, D 및 영역 B, C)에 관한 상관값

,

를 산출한다. 단,

는 영역 A, D를 나타내며,

는 영역 B, C를 나타내고 있다.

… (14)

이렇게 하여, 요구된 상관값

,

는 상관 검출부(10)로부터 매립 비트 판정부(11)로 출력된다. 매립 비트 판정부(11)에서는, 상관값

,

를 이용하여, 상관 검출 결과에 따른 매립 비트 판정을 실행한다.

도 15는 상관값과 매립 비트와의 관계를 나타내는 도면이며, 이 도면의 관계에 따라서 매립 비트 판정부(11)가 매립 비트를 판정한다. 도면 중의 파라미터

, 및

는 상관 검출부(10)가 산출한 상관값

,

를 이용하여, 매립 비트 판정부(11)가 구한다.

여기서,

는

이며,

는

이다. 또한, x는

이며,

및

중, 값이 크고 유의값의 후보가 될 수 있는 쪽의 절대값을 나타내고 있다. z는,

및

매립 비트 판정부(11)는

및

가 파라미터

로서 도 15 중의 어느 관계에 속하는지로 매립 비트를 판정한다.

다음에, 매립 비트 판정부(11)는 Gap 검출에 의해 판정한 매립 비트값과 상관 검출에 의해 판정한 매립 비트값을 종합적으로 판단하여 최종적인 매립 비트값을 판정하여 출력한다.

도 16은 Gap 및 상관 검출에 의한 판정값과 매립 비트의 최종 판정값과의 관계를 나타내는 도면이다. 도면에 나타내는 바와 같이, 본 발명에서는, Gap 및 상관 검출에 의해 상보적으로 매립 비트를 판정한다. 예컨대, 한쪽의 검출 결과로서 매립 비트가 미검출이라고 판정되더라도, 다른 쪽의 검출 결과에서 유의인 매립 비트값이 판정되면, 미검출의 판정 결과에 오류가 있는 것으로 판단할 수 있다.

그래서, 본 발명에서는, 한쪽의 판정 처리를 보충하는 형태로 유의인 값이 판정된 결과를 최종적인 판정 결과로서 채용한다. 이와 같이 함으로써, 전자 워터마크의 검출 결과의 신뢰성이나 검출 정밀도를 향상시킬 수 있다.

또, 상술한 Gap 및 상관 검출에 있어서 검출값의 변동을 억제하기 위해서, Gap 검출부(9) 및 상관 검출부(10)가 검출 결과에 클립 처리를 실시하도록 하더라도 좋다. 예컨대, 도 17에 나타내는 바와 같이 Gap 검출부(9) 및 상관 검출부(10)는 휘도 변화의 Gap 및 상관의 검출값이 아래쪽으로 변동하여 -1보다 작은 값이 된 경우, 미리 설정해 놓은 클립값 -1을 검출값으로서 채용한다. 또한, Gap 및 상관의 검출값이 위쪽으로 변동하여 +1보다 큰 값이 된 경우, 미리 설정해 놓은 클립값 +1을 검출값으로서 채용한다.

이와 같이 검출값에 상하한값을 마련하여 소정 범위 내로 제한하는 것으로, Gap 및 상관의 검출 대상의 화상 내용에 의해 검출 결과에 변동이 발생하더라도 그 영향을 저감할 수 있어, 매립 비트의 판정 처리를 안정하게 실행할 수 있다.

도 18은 본 실시예 4에 따른 전자 워터마크 검출 장치의 응용예를 나타내는 도면이다. 도시된 예에서는, 전자 워터마크 검출 장치(8)를 펜형(pen type) 검출기(12)로서 구성하고 있다. 펜형 검출기(12)의 펜 부분(pen point)에는, CRT나 LCD 등의 모니터 화면(14)에 표시되는 화상을 판독하는 비디오 카메라가 설비되어 있고, 상술한 처리로 전자 워터마크를 검출한다. 검출 결과의 매립 비트는 표시 창(13)에 표시되어, 검출 대상의 화상에 본 발명에 따른 전자 워터마크가 매립 되어 있는 것을 확인할 수 있다.

이 응용예에 있어서는, 본 발명의 전자 워터마크를 매립 대상 화상의 일부 영역에 매립해 놓는다. 그리고, 전자 워터마크의 검출 처리에 있어서, 모니터 화면의 상기 매립 영역의 표시 부분에서 펜 부분을 대고 눌러 검출 대상 화상을 판독한다. 이와 같이 구성하는 것으로, 모니터 화면(14)에 재생된 화상을 촬영하면서, 간단히 전자 워터마크의 검출을 실행할 수 있다.

이상과 같이, 본 실시예 4에 따르면, Gap 및 상관 검출에 의해 상보적으로 매립 비트를 판정하기 때문에, 전자 워터마크의 검출 결과의 신뢰성이나 검출 정밀도를 향상시킬 수 있다.

또, 상기 실시예 4에서는, Gap 검출에 의한 매립 비트의 판정 결과와 상관 검출에 의한 매립 비트의 판정 결과를 상보적으로 판단하여 최종적인 매립 비트의 결정을 행하는 예를 나타내었다. 그러나, 본 발명은, 이러한 구성에 한정되는 것은 아니다.

예컨대, 상관 검출부(10)를 마련하지 않고, Gap 검출부(9)에 의한 Gap 검출 결과만으로 매립 비트 판정부(11)가 매립 비트를 판정하도록 구성하더라도 좋다. 이 구성에서 검출 정밀도를 유지하려면, 검출 대상의 화상에 있어서의 전자 워터마크의 매립 주기와 그 Gap 검출 주기와의 동기를 엄밀히 취할 필요가 있다. 그러나, 상관 검출에 요하는 시간이 생략되기 때문에, 재촬영 화상의 재생 중에 실시간으로 전자 워터마크를 검출하도록 구성할 수 있다.

또한, Gap 검출부(9)를 마련하지 않고, 상관 검출부(10)에 의한 상관 검출 결과만으로부터 매립 비트 판정부(11)가 매립 비트를 판정하도록 구성하더라도 좋다. 이 구성에서는, 상관 검출부(10)가 상술한 바와 같이, 상관값의 산출에 이용하는 레퍼런스 화상 데이터 α를 구하는데 있어서, 상관을 검출하는 프레임(또는 필드)의 근방의 프레임(또는 필드)의 휘도 평균치를 사용한다.

이에 따라, 검출 대상 화상의 화상 내용의 차이에 의한 영향이 감소되어, 보다 주목 프레임을 근사하는 레퍼런스 화상으로 상관값을 산출할 수 있어, 검출 정밀도를 향상시킬 수 있다.

이상과 같이, 본 발명에 따른 전자 워터마크 매립 방법은 디스플레이 등의 표시 화면에 표시한 화상을 재촬영하여 얻어지는 재촬영 화상에 대한 전자 워터마크의 내성을 유지하면서, 그 매립에 의한 시각적인 방해를 각별히 감소시키는 것이며, 동화상의 전자 워터마크 매립 기술에 적합하게 이용 가능하다.

Claims

전자 워터마크 매립 대상의 전자 화상을 복수의 화상 영역으로 공간적으로 분할하는 분할 처리 단계와,

화소값의 변화가 시각적으로 인식되기 어려운 특성을 갖는 화소를 적응 화소로서 상기 화상 영역마다 추출하는 적응 추출 단계와,

전자 워터마크의 매립 비트값에 따라 상기 화상 영역간 및 시간 방향에서 상기 적응 화소의 화소값을 변화시킴과 아울러, 상기 화상 영역간의 경계 및/또는 시간 방향에서 화소값 변화의 천이가 완만해지도록 단계적으로 변화시킴으로써 전자 워터마크 매립 화상을 생성하는 매립 단계

를 구비한 전자 워터마크 매립 방법.
제 1 항에 있어서,

상기 매립 단계에서, 화상 영역간 및/또는 시간 방향에서 서로 다른 위상 극성으로 화소값을 변화시킴으로써 매립 비트를 표현하는 것을 특징으로 하는 전자 워터마크 매립 방법.
제 1 항에 있어서,

상기 적응 추출 단계에서, 전자 워터마크 매립에 따른 휘도 변화가 부가되어도 그 변화가 시각적으로 인식되기 어려운 휘도 레벨의 화소를 적응 화소로서 추출하는 것을 특징으로 하는 전자 워터마크 매립 방법.
제 1 항에 있어서,

상기 적응 추출 단계에서, 전자 워터마크 매립 대상의 전자 화상의 시간 방향에서의 화소값 차분에 근거하여 시간 방향에서 화소값 변화가 큰 화소를 적응 화소로서 추출하는 것을 특징으로 하는 전자 워터마크 매립 방법.
제 1 항에 있어서,

상기 적응 추출 단계에서, 전자 워터마크 매립 대상의 전자 화상 중의 에지 부분으로부터 적응 화소를 추출하는 것을 특징으로 하는 전자 워터마크 매립 방법.
제 1 항에 있어서,

상기 매립 단계에서, 전자 워터마크 매립 대상의 전자 화상 중의 장면 전환에 동기하여 매립 처리를 실행하는 것을 특징으로 하는 전자 워터마크 매립 방법.
전자 워터마크 매립 대상의 전자 화상을 공간적으로 복수의 화상 영역으로 분할하고, 전자 워터마크의 매립 비트값에 따라 상기 화상 영역간 및 시간 방향에서 화소값을 변화시킴으로써 전자 워터마크가 매립된 검출 대상 화상으로부터 상기 매립 비트를 검출하는 전자 워터마크 검출 방법에 있어서,

상기 검출 대상 화상의 화상 영역마다 전자 워터마크 매립에 의한 시간 방향에서의 화소값 변화에 대응한 화소값 차분을 Gap값으로서 검출하는 Gap 검출 단계와,

상기 검출 대상 화상에 매립될 전자 워터마크에 의한 상기 화상 영역간 및 시간 방향에서의 화소값 변화 패턴과 상기 검출 대상 화상의 시간 방향에서의 화소값 변화 패턴과의 상관값을 검출하는 상관 검출 단계와,

상기 Gap값 및 상기 상관값에 관한 상기 화상 분할 영역마다의 검출 결과로부터 상기 매립 비트를 각각 판정하고, 이들 판정 결과를 상보적으로 판단하여 최종적인 매립 비트를 결정하는 매립 비트 판정 단계

를 구비한 것을 특징으로 하는 전자 워터마크 검출 방법.
제 7 항에 있어서,

상기 Gap 검출 단계에서, 검출 대상 화상을 구성하는 시간 방향의 화상 데이터 중, 주목 화상 데이터에 대하여 시간적으로 근방에 위치하는 화상 데이터의 화 소값 평균의 차분을 Gap값으로서 산출하는 것을 특징으로 하는 전자 워터마크 검출 방법.
제 7 항에 있어서,

상기 상관 검출 단계에서, 검출 대상 화상을 구성하는 시간 방향의 화상 데이터 중, 주목 화상 데이터에 대하여 시간적으로 근방에 위치하는 화상 데이터의 화소값 평균을 레퍼런스 화상으로서 순차로 산출하고, 이들 레퍼런스 화상에 있어서의 화소값 변화 패턴과 상기 검출 대상 화상에 매립될 전자 워터마크의 화소값 변화 패턴과의 상관값을 산출하는 것을 특징으로 하는 전자 워터마크 검출 방법.
제 7 항에 있어서,

상기 Gap 검출 단계 및 상기 상관 검출 단계에서, 검출값의 상하한값을 제한하는 클립 처리를 실행하는 것을 특징으로 하는 전자 워터마크 검출 방법.
제 7 항에 있어서,

상기 Gap 검출 단계 및 상기 상관 검출 단계에서, 검출 대상 화상 중의 장면 전환에 동기하여 검출 처리를 실행하는 것을 특징으로 하는 전자 워터마크 검출 방 법.
제 11 항에 있어서,

상기 Gap 검출 단계 및 상기 상관 검출 단계에서, 검출 대상 화상을 구성하는 화상 데이터 중 장면 전환에 기인하는 화상의 흐트러짐을 포함하는 화상 데이터를 검출 처리에 사용하지 않는 것을 특징으로 전자 워터마크 검출 방법.
전자 워터마크 매립 대상의 전자 화상을 복수의 화상 영역으로 공간적으로 분할하는 분할 처리부와,

화소값의 변화가 시각적으로 인식되기 어려운 특성을 갖는 화소를 적응 화소로서 상기 화상 영역마다 추출하는 적응 추출부와,

전자 워터마크의 매립 비트값에 따라서, 상기 화상 영역간 및 시간 방향에서 상기 적응 화소의 화소값을 변화시키는 전자 워터마크 정보를 생성하는 워터마크 정보 생성부와,

상기 전자 워터마크 정보에 근거하여 상기 전자 화상의 화소값을 변화시킴과 아울러, 상기 화상 영역간의 경계 및/또는 시간 방향에서 화소값 변화의 천이가 완만해지도록 단계적으로 변화시킴으로써 전자 워터마크 매립 화상을 생성하는 매립 처리부

를 구비한 전자 워터마크 매립 장치.
전자 워터마크 매립 대상의 전자 화상을 공간적으로 복수의 화상 영역으로 분할하고, 전자 워터마크의 매립 비트값에 따라 상기 화상 영역간 및 시간 방향에서 화소값을 변화시킴으로써 전자 워터마크가 매립된 검출 대상 화상으로부터 상기 매립 비트를 검출하는 전자 워터마크 검출 장치에 있어서,

상기 검출 대상 화상의 화상 영역마다 전자 워터마크 매립에 따른 시간 방향에서의 화소값 변화에 대응한 화소값 차분을 Gap값으로서 검출하는 Gap 검출부와,

상기 검출 대상 화상에 매립될 전자 워터마크에 의한 상기 화상 영역간 및 시간 방향에서의 화소값 변화 패턴과 상기 검출 대상 화상의 시간 방향에서의 화소값 변화 패턴과의 상관값을 검출하는 상관 검출부와,

상기 Gap값 및 상기 상관값에 대한 상기 화상 분할 영역마다의 검출 결과로부터 상기 매립 비트를 각각 판정하고, 이들 판정 결과를 상보적으로 판단하여 최종적인 매립 비트를 결정하는 매립 비트 판정부

를 구비한 것을 특징으로 하는 전자 워터마크 검출 장치.
제 14 항에 있어서,

상기 Gap 검출부는 검출 대상 화상을 구성하는 시간 방향의 화상 데이터 중, 주목 화상 데이터에 대하여 시간적으로 근방에 위치하는 화상 데이터의 화소값 평균의 차분을 Gap값으로서 산출하는 것을 특징으로 하는 전자 워터마크 검출 장치.
제 14 항에 있어서,

상기 상관 검출부는 검출 대상 화상을 구성하는 시간 방향의 화상 데이터 중, 주목 화상 데이터에 대하여 시간적으로 근방에 위치하는 화상 데이터의 화소값 평균을 레퍼런스 화상으로서 순차로 산출하고, 이들 레퍼런스 화상에 있어서의 화소값 변화 패턴과 상기 검출 대상 화상에 매립될 전자 워터마크의 화소값 변화 패턴과의 상관값을 산출하는 것을 특징으로 하는 전자 워터마크 검출 장치.
전자 워터마크 매립 대상의 전자 화상을 복수의 화상 영역으로 공간적으로 분할하는 분할 처리부,

화소값의 변화가 시각적으로 인식되기 어려운 특성을 갖는 화소를 적응 화소로서 상기 화상 영역마다 추출하는 적응 추출부,

전자 워터마크의 매립 비트값에 따라 상기 화상 영역간 및 시간 방향에서 상기 적응 화소의 화소값을 변화시키는 전자 워터마크 정보를 생성하는 워터마크 정보 생성부,

상기 전자 워터마크 정보에 근거하여 상기 전자 화상의 화소값을 변화시킴과 아울러, 상기 화상 영역간의 경계 및/또는 시간 방향에서 화소값 변화의 천이가 완만해지도록 단계적으로 변화시킴으로써 전자 워터마크 매립 화상을 생성하는 매립 처리부

로서 컴퓨터를 기능시키는 프로그램.
전자 워터마크 매립 대상의 전자 화상을 공간적으로 복수의 화상 영역으로 분할하고, 전자 워터마크의 매립 비트값에 따라 상기 화상 영역간 및 시간 방향에서 화소값을 변화시킴으로써 전자 워터마크가 매립된 검출 대상 화상으로부터 상기 매립 비트를 검출하는 전자 워터마크 검출 장치로서 컴퓨터를 기능시키는 프로그램에 있어서,

상기 검출 대상 화상의 화상 영역마다 전자 워터마크 매립에 따른 시간 방향에서의 화소값 변화에 대응한 화소값 차분을 Gap값으로서 검출하는 Gap 검출부,

상기 검출 대상 화상에 매립될 전자 워터마크에 의한 상기 화상 영역간 및 시간 방향에서의 화소값 변화 패턴과 상기 검출 대상 화상의 시간 방향에서의 화소값 변화 패턴과의 상관값을 검출하는 상관 검출부,

상기 Gap값 및 상기 상관값에 대한 상기 화상 분할 영역마다의 검출 결과로부터 상기 매립 비트를 각각 판정하고, 이들 판정 결과를 상보적으로 판단하여 최종적인 매립 비트를 결정하는 매립 비트 판정부

로서 컴퓨터를 기능시키는 프로그램.
제 18 항에 있어서,

상기 Gap 검출부는 검출 대상 화상을 구성하는 시간 방향의 화상 데이터 중, 주목 화상 데이터에 대하여 시간적으로 근방에 위치하는 화상 데이터의 화소값 평균의 차분을 Gap값으로서 산출하는 것을 특징으로 하는 프로그램.
제 18 항에 있어서,

상기 상관 검출부는 검출 대상 화상을 구성하는 시간 방향의 화상 데이터 중, 주목 화상 데이터에 대하여 시간적으로 근방에 위치하는 화상 데이터의 화소값 평균을 레퍼런스 화상으로서 순차로 산출하고, 이들 레퍼런스 화상에 있어서의 화소값 변화 패턴과 상기 검출 대상 화상에 매립될 전자 워터마크의 화소값 변화 패턴과의 상관값을 산출하는 것을 특징으로 하는 프로그램.