KR20000036133A

KR20000036133A - 데이터 은폐 방법 및 데이터 추출 방법

Info

Publication number: KR20000036133A
Application number: KR1019997002169A
Authority: KR
Inventors: 모리모토노리시게; 마에다준지
Original assignee: 포만 제프리 엘; 인터내셔널 비지네스 머신즈 코포레이션
Priority date: 1996-10-15
Filing date: 1997-02-13
Publication date: 2000-06-26
Also published as: DE69738502T2; DE69738502D1; PL332701A1; RU2181930C2; CA2264625C; CZ128999A3; CN1233371A; PL183642B1; HUP0100650A2; TW312770B; HUP0100650A3; WO1998017061A1; MY122045A; CZ290838B6; EP0935392A4; PL183593B1; HK1022066A1; KR100368352B1; EP0935392A1; EP0935392B1

Abstract

본 발명은 복수의 프레임으로 구성된 동화상 내에, 화질의 열화나 압축 효율을 손상하지 않으면서, 동화상 내에 부가 정보를 매립(embedding)하는 데이터 은폐(data hiding) 방법에 관한 것이다. 이 방법은, 정보를 매립하기 위한 다수의 매크로 블럭을 특정하고, 매립할 데이터의 내용을 매크로 블럭의 프레임간 예측 타입에 대응시킨 매립 규칙을 정의해 둠으로써 가능해진다. 이 규칙을 기초로 하여, 매립하고자 하는 데이터에 따라, 매립 처리 대상으로서 특정된 매크로 블럭의 예측 타입을 강제적으로 결정해 간다. 추출은, 매립 규칙과는 반대 관계인 추출 규칙을 정의해 두고, 이것을 참조하여, 추출 처리 대상으로서 특정된 매크로 블럭의 예측 타입으로부터 매립된 비트를 추출한다.

본 방법은, 동화상의 부호에 필수적인 부분인 예측 타입을 사용하여 부가 정보를 매립하기 때문에, 화상의 열화는 거의 발생하지 않고, 또한 부가 정보를 동화상으로부터 제거하기란 어렵다. 또한, 매립할 정보량은 화상의 내용과 거의 독립적이므로, 부가 정보를 효율적으로 매립할 수 있다. 본 발명은 특히 MPEG에 적합한 데이터 은폐 방법이다.

Description

데이터 은폐 방법 및 데이터 추출 방법{DATA HIDING METHOD AND DATA EXTRACTING METHOD}

멀티미디어 사회의 발전에 따라, 많은 디지털화된 화상 정보나 음성 정보가 인터넷 상에서 또는 CD-ROM 소프트웨어로서 사용되고 있다. 이들 디지털 정보는, 누구나 간단히 열화없이 완전한 복사를 작성할 수 있기 때문에, 이들 정보의 부정한 사용이나 그의 저작권 보호가 문제시되어 왔다. 이러한 화상 데이타나 음성 데이터와 같은 미디어 데이터를 제 3 자가 불법으로 복사하는 것을 방지하기 위해서, 원래의 미디어 데이터에 작자의 서명과 같은 별도의 정보를 메시지 데이터로서 은폐하는(hiding) 기술이 주목을 끌고 있다. 디지털화된 화상 데이타 등이 위법으로 복사된 경우,이 복사 중에 은폐된 서명을 확인하여 그 출처를 특정함으로써, 그 복사 행위가 위법인지 여부를 확인할 수 있다. 이러한 은폐 기술을 "데이터 은폐(data hiding)"라고 부르고 있다.

도 1은, 디지털화된 데이터를 디스플레이 상에 표시한 중간조(halp-tone) 화상이다. 도 1(a)에 도시한 디지털화된 화상의 미디어 데이터에는, 도 1(b)에 도시한 바와 같은 「보모」, 「강」, 「원아」 및 「새」 와 같은 사진 설명(메시지)이 은폐되어 있다. 미디어 데이터는, 사진 등을 기초로 하여 화상을 세밀하게 분할하여, 작은 점마다 명암이나 색채를 수치화함으로써 얻어진다. 이 때, 화상의 원래의 수치를 의도적으로 조금만 변화시켜 놓는다. 수치 변화가 극히 작으면, 화상의 교란(disturbance)은 거의 없고, 인간에게는 인지되지 않는다. 이 성질을 잘 사용하면, 원래의 영상에 전혀 다른 정보(메시지 데이터)를 숨길 수 있다. 이 메시지 데이터는 어떠한 정보이어도 상관없는데, 예로서 격자 모양, 자(ruler)와 같은 것, 또는 화상 제작자의 서명 등을 들 수 있다. 미디어 데이터에 은폐된 메시지 데이터는, 특별한 프로그램으로 처리함으로써 추출할 수 있다. 따라서, 이 추출된 메시지 데이터에 근거하여, 미디어 데이터가 변경되어 있는지 여부를 조사할 수 있다.

그런데, 동화상 압축 방법으로 잘 알려져 있는 방법의 하나로서, MPEG(Moving Picture Experts Group)이 있다. MPEG을 사용한 비디오 비트 스트림(미디어 데이터) 내에 어떠한 부가 정보(메시지 데이터)를 포함시킬 경우, 데이터 은폐를 위한 필드를 준비해 두고, 이 필드에 부가 정보를 은폐하는 방법이 일반적으로 사용되고 있다. 그러나, 이러한 방법에서는, 필드를 미디어 데이터로부터 용이하게 분리할 수 있으므로, 은폐된 부가 정보의 검출 및 제거가 용이하다고 하는 문제가 있다.

발명의 개시

상기한 문제점을 감안하여, 본 발명의 목적은 프레임간 예측을 통해서 압축된 동화상에 대하여 부가 정보를 매립(embedding)하기 위한 신규 방법을 제공하는 것이다. 또한, 본 발명의 다른 목적은, 동화상에 부가 정보를 매립하더라도 화질의 열화가 거의 발생하지 않는 방법을 제공하는 것이다. 본 발명의 또 다른 목적은, 동화상 내에 매립된 정보를 제거하기 어렵도록 하는 것이다.

구체적으로는, 제 1 발명은, 다수의 프레임으로 구성된 동화상 내에 정보를 매립하는 데이터 은폐 방법으로서, 정보를 매립하기 위한 적어도 하나의 매립 영역을 프레임 내에서 특정하는 단계와, 매립할 데이터의 내용을 매립 영역의 프레임간 예측 타입에 대응시킨 매립 규칙을 참조하여, 매립할 정보에 따라, 매립 영역의 프레임간 예측의 타입을 결정하는 단계를 갖는 데이터 은폐 방법을 제공한다. 바람직하게는, 이 매립 영역이 존재하는 프레임은 양방향 예측 부호화 프레임이다.

이 경우, 프레임간 예측 타입은, 전방 예측, 후방 예측, 양방향 예측, 및 프레임내 예측으로부터 선택되는 것이 바람직하다. 또한, 매립 규칙은, 한 쪽 비트를 양방향 예측 타입에 대응시킴과 동시에, 다른 쪽 비트를 전방 예측 또는 후방 예측 중의 어느 한 타입에 대응시키는 것이 바람직하다. 또한, 매립 규칙은, 데이터의 매립 금지를 프레임내 예측 타입에 대응시키더라도 무방하다.

또, 이 매립 영역에 관해서, 매립 규칙에 근거하여 결정된 프레임간 예측 타입에서의 예측 오차가 소정의 임계값을 초과할 경우에는, 이 매립 영역에 대한 데이터의 매립을 금지하도록 하는 것이 바람직하다. 매립 규칙에 근거하여, 매립 영역의 예측 타입을 강제적으로 결정하기 때문에, 화질의 열화가 발생할 가능성이 있다. 그래서, 화질의 판단 기준으로서 임계값을 설정해 두고, 매립 규칙을 적용함으로써, 예측 오차가 임계값을 초과하는 곳에는 데이터를 매립하지 않도록 하는 것이 효과적이다.

또한, 양방향 예측 부호화 프레임에서의 전방 예측의 참조 수 또는 후방 예측의 참조 수가, 소정의 수보다 작은 경우에는, 이 프레임 내의 매립 영역으로의 데이터의 매립을 금지할 수 있다. 예컨대, 장면 변화 등이 생기면, 그와 관련한 프레임은 전방 참조 수 또는 후방 참조 수가 현저히 감소한다. 이러한 경우, 매립 규칙을 적용하여 예측 타입을 강제적으로 결정하면, 화질이 현저히 열화될 가능성이 있다. 그래서, 참조 수를 카운트하여, 소정 임계값 이하이면 그 프레임은 데이터 매립의 대상으로 하지 않은 것이 바람직하다. 따라서, 이를 위한 다른 발명으로서, 다수의 프레임으로 구성된 동화상 내에 정보를 매립하는 데이터 은폐 방법이 있는데, 이 방법은 정보를 매립하기 위한 매립 영역을 갖는 프레임에서의 전방 예측의 참조 수 또는 후방 예측의 참조 수를 카운트하는 단계와, 해당 참조 수가 소정의 수보다 많은 경우에는, 매립할 데이터의 내용을 매립 영역의 특성에 대응시킨 매립 규칙을 참조하여, 매립할 정보에 따라, 각각의 매립 영역의 특성을 결정하는 단계와, 해당 참조 수가 소정의 수보다 적은 경우에는, 해당 프레임 내의 매립 영역으로의 데이터의 매립을 금지하는 단계를 포함한다.

제 2 발명은, 화상 내에 용장성을 갖는 정보를 매립하는 데이터 은폐 방법에 관한 것이다. 우선, 화상 내에 동일한 데이터를 매립하기 위해 다수의 매립 영역을 특정한다. 다음에, 매립 규칙을 참조하여, 매립할 정보에 따라, 각각의 매립 영역에 대하여 동일한 데이터를 매립한다. 예컨대, 비트 "1"을 3 개의 매립 영역 내에 매립하는 경우를 생각해 보자. 비트 값과 매립 영역의 특성(예컨대, 예측 타입)을 규정한 매립 규칙을 참조하여, 3 개의 매립 영역을 모두 비트 "1" 값에 대응한 특성으로 한다.

제 3 발명은, 부호화된 동화상 내에 매립된 정보를 추출하는 데이터 추출 방법에 관한 것이다. 정보가 매립된 적어도 하나의 매립 영역을, 프레임 내에서 특정한다. 프레임간 예측 타입과 매립할 데이터의 내용을 대응시킨 추출 규칙을 참조함으로써, 특정된 매립 영역에 매립된 데이터를 추출한다.

이 매립 영역이 존재하는 프레임으로서는 양방향 예측 부호화 프레임으로 하는 것이 바람직하며, 또한 프레임간 예측 타입으로서는 전방 예측, 후방 예측, 양방향 예측 및 프레임내 예측 중에서 선택되는 것이 바람직하다.

또한, 추출 규칙은, 한 쪽 비트를 양방향 예측에 대응시킴과 동시에, 다른 쪽 비트를 전방 예측 또는 후방 예측에 대응시켜도 된다. 또한, 추출 규칙은, 프레임내 예측을 데이터의 매립 금지에 대응시켜도 된다.

제 4 발명은, 화상 내에 매립된, 용장성을 갖는 정보를 추출하는 데이터 추출 방법으로서, 화상 내에 어떤 데이터(예컨대 1 비트의 데이터)가 매립된 다수의 매립 영역을 특정하는 단계와, 매립 영역의 특성을 추출될 데이터에 대응시킨 추출 규칙을 참조하여, 특정된 모든 매립 영역의 특성에 근거하여, 매립된 데이터(상기 1 비트의 데이터)를 추출하는 단계를 포함한다. 여기서, 각각의 매립 영역에서 다른 데이터가 추출된 경우에는, 추출된 데이터마다 상기 매립 영역의 수를 비교하여, 해당 수가 큰 쪽의 데이터를 매립된 정보로서 특정하도록 하여도 된다(소위, 다수결). 예컨대, 동일한 데이터(비트 "l")가 매립되어 있어야 하는 3 개의 매립 영역 A, B, C에서 추출된 데이터가 각각 비트 "1", 비트 "1", 비트 "O"이었다고 하자. 이 경우, 비트 "1"을 추출한 매립 영역의 수는 2이고, 비트 "0"을 추출한 매립 영역의 수는 1이다. 해당 수가 큰 쪽에 관한 비트가 보다 확실하다고 할 수 있으므로, 비트 "1"이 매립되어 있었다고 인식한다. 본래, 비트 "1"이 매립되어 있으면, 3 개의 매립 영역으로부터 추출되어야 할 비트도 "1"이겠지만, 어떤 이유에 의해, 매립된 정보가 변화해 버릴 경우도 있을 수 있다. 또한, 통계적 방법을 사용한 추출도 고려된다. 그래서, 제 4 발명과 같은 화상 내에 매립된 용장성을 갖는 정보를 추출하는 방법이 유효하다.

제 5 의 발명은, 다수의 프레임으로 구성되고, 프레임간 예측을 사용한 동화상 내에 정보를 매립하는 동화상 부호화 시스템에 관한 것이다. 이 시스템은, 전방 예측을 사용하여, 정보를 매립하기 위해서 제 1 프레임 내에서 특정된 매립 영역과 이 매립 영역이 참조하는 제 2 프레임 내의 참조 영역에 기초한 제 1 예측 오차를 구하고, 후방 예측을 사용하여, 매립 영역과 이 매립 영역이 참조하는 제 3 프레임 내의 참조 영역에 기초한 제 2 예측 오차를 구하고, 또한, 양방향 예측을 사용하여, 매립 영역과 이 매립 영역이 참조하는 제 2 프레임 및 제 3 프레임 내의 참조 영역에 기초한 제 3 예측 오차를 구하는 오차 계산 수단과, 매립 영역에 1개의 데이터를 매립할 경우, 매립 영역에서의 프레임간 예측 타입은 전방 예측 또는 후방 예측 중의 어느 하나를 사용하는 것으로 규정함과 동시에, 다른 데이터를 매립할 경우, 상기 프레임간 예측 타입은 양방향 예측을 사용하는 것으로 규정한 매립 규칙을 참조하여, 매립할 정보의 내용에 따라, 매립 영역에서의 프레임간 예측 타입을 결정하고, 또한 해당 결정된 프레임간 예측 타입에 따라, 매립 영역이 참조하는 참조 영역을 특정한다고 하고, 또한 제 1, 제 2 또는 제 3 예측 오차 중의 어느 하나를 특정하는 결정 수단을 갖는다.

여기서, 상기 결정 수단은, 어떤 매립 영역에 관해서, 매립 규칙에 근거하여 결정된 프레임간 예측 타입에서의 예측 오차가 소정의 임계값을 초과할 경우에는, 해당 매립 영역으로의 데이터의 매립을 금지하는 제 1 금지 수단을 포함할 수 있다. 또한, 이 결정 수단은, 양방향 예측 부호화 프레임에서의 전방 예측의 참조 수 또는 후방 예측의 참조 수가 소정의 수보다 작은 경우에는, 해당 프레임 내의 상기 매립 영역으로의 데이터의 매립을 금지하는 제 2 금지 수단을 포함할 수도 있다.

제 6 의 발명은, 부호화된 동화상 내에 매립된 정보를 추출하는 동화상 복호화 시스템에 관한 것이다. 이 시스템은, 정보가 매립된 적어도 하나의 매립 영역을 프레임 내에서 특정하는 특정 수단과, 매립 영역에서의 프레임간 예측의 타입을 매립할 데이터의 내용에 대응시킨 추출 규칙을 참조하여, 매립 영역에서의 프레임간 예측의 타입으로부터, 매립된 정보를 추출하는 추출 수단을 갖는다.

제 7 의 발명은, 컴퓨터를 통해서 다수의 프레임으로 구성된 동화상 내에 정보를 매립하는 데이터 은폐 처리를 실행시키기 위해서, 정보를 매립하는 적어도 하나의 매립 영역을 프레임 내에서 특정하는 단계와, 매립 영역에서의 프레임간 예측의 타입을 매립할 데이터의 내용에 대응시킨 매립 규칙을 참조하여, 매립할 정보에 따라, 매립 영역에서의 상기 프레임간 예측 타입을 결정하는 단계를 갖는 프로그램 기억 매체이다.

제 8 의 발명은, 컴퓨터를 통해서, 부호화된 동화상 내에 매립된 정보를 추출하는 데이터 추출 처리를 실행시키기 위해서, 정보가 매립된 적어도 하나의 매립 영역을 프레임 내에서 특정하는 단계와, 매립 영역에서의 프레임간 예측 타입을 매립할 데이터의 내용에 대응시킨 추출 규칙을 참조하여, 매립 영역에서의 프레임간 예측 타입으로부터, 상기 매립된 정보를 추출하는 단계를 갖는 프로그램 기억 매체이다.

본 발명은, 미디어 데이터 내에 메시지 데이터를 은폐하는 데이터 은폐(data hiding) 방법 및 은폐된 데이터를 추출하는 데이터 추출 방법에 관한 것이다.

도 1은 디지털화된 데이터를 디스플레이 상에 표시한 중간조 화상,

도 2는 MPEG에서의 픽쳐의 배열 상태를 설명하기 위한 도면,

도 3은 B 픽쳐 내에 배치된 매크로 블럭의 상태를 도시한 도면,

도 4는 매크로 블럭의 예측 타입과 예측 오차의 관계를 설명하기 위한 도면,

도 5는 장면 변화가 일어난 경우의 참조 화상을 설명하기 위한 도면,

도 6은 동화상 부호화 시스템의 블럭도,

도 7은 동화상 복호화 시스템의 블럭도.

발명을 실시하기 위한 최선의 형태

(1) 데이터의 매립

우선, MPEG을 사용한 비디오 비트 스트림(미디어 데이터) 내에 어떠한 부가 정보(메시지 데이터)를 매립하는 경우에 대하여 설명한다. MPEG에서는, 과거 재생 화상으로부터의 전방 예측과, 미래 재생 화상으로부터의 후방 예측과, 전방 예측 및 후방 예측을 모두 사용한 양방향 예측이 사용되고 있다. 도 2는 MPEG에서의 픽쳐의 배열 상태를 설명하기 위한 도면이다. 도 2와 같이, 양방향 예측을 실현하기 위해, MPEG에서는 프레임에 I 픽쳐, P 픽쳐 및 B 픽쳐와 같은 3 개의 타입을 규정하고 있다.

여기서, I 픽쳐는 프레임내 부호화(인트라 부호화)된 화상이고, 이 픽쳐내의 모든 매크로 블럭은 인트라 부호화(프레임내 예측 부호화)되어 있다. P 픽쳐는 프레임간 전방 예측 부호화된 화상이지만, 이 픽쳐 내의 일부 매크로 블럭은 인트라 부호화되어 있는 경우도 있다. 또한, B 픽쳐는 프레임간 양방향 예측 부호화된 화상이다. B 픽쳐 내의 매크로 블럭은 기본적으로 전방 예측, 후방 예측, 또는 양방향 예측에 의해 부호화되는데, 인트라 부호화를 포함하는 경우도 있다. 화면 전체를 인트라 부호화하는 화면이 I 픽쳐이고, I 픽쳐 및 P 픽쳐는 원래의 동화상과 같은 순서로 부호화된다. 이에 대하여, B 픽쳐는 I 픽쳐 및 P 픽쳐를 처리한 후에, 이들 사이에 삽입되는 B 픽쳐를 부호화한다.

정보(메시지 데이터)를 매립하는 매립 영역은 B 픽쳐의 매크로 블럭이고, 1개의 매크로 블럭에 대하여 1 비트의 정보를 매립할 수 있다. 따라서, 메시지 데이터가 다중 비트인 경우에는, 그 비트 수에 대응하는 매크로 블럭에 대하여 매립 처리를 할 필요가 있다. 도 3 은 B 픽쳐 내에 배치된 매크로 블럭의 상태를 도시한 도면이다. 매크로 블럭은 부호화되는 단위이다. 각 매크로 블럭에 대하여, 16 화소×16 화소의 휘도 블럭에 대한 움직임 보상을 실행하고, 매크로 블럭 단위의 움직임 보상 프레임간 예측 방식으로 하여, 시간적 화면 상관에 근거하는 정보 압축을 실행한다.

B 픽쳐 내의 매크로 블럭은, 예측 타입으로서, 다음 4가지로 분류할 수 있다.

·인트라 매크로 블럭(프레임내 예측 매크로 블럭)

프레임간 예측을 행하지 않고, 그 화면 자체의 정보만으로 부호화되는 매크로 블럭이다.

·전방 예측 매크로 블럭

과거의 I 픽쳐 또는 P 픽쳐(참조 프레임)를 참조함으로써, 전방 예측 부호화되는 매크로 블럭이다. 구체적으로는, 과거의 참조 프레임 중에서 가장 유사한 16 화소×16 화소의 정방형의 영역을 탐색하여, 그 정방형의 영역과의 차분인 예측 오차(ΔP) 및 공간적인 상대 위치(움직임 벡터)에 관한 정보를 갖고 있다. 여기서 예측 오차 ΔP는 16 화소×16 화소분의 휘도, 색차의 차분으로서 표현된다. 또, 유사한 정방형의 영역을 어떠한 기준으로 선택할지는 부호화기에 따라 정해진다.

·후방 예측 매크로 블럭

표시순으로 미래의 참조 프레임을 참조함으로써, 후방 예측 부호화되는 매크로 블럭이다. 미래의 참조 프레임 중에서 가장 유사한 영역을 탐색하여, 그 영역과의 차분인 예측 오차(ΔN) 및 공간적인 상대 위치(움직임 벡터)에 관한 정보를 갖고 있다.

·양방향 예측 매크로 블럭

과거 및 미래의 참조 프레임을 참조함으로써, 양방향 예측 부호화되는 매크로 블럭이다. 과거의 참조 프레임 중에서 가장 유사한 영역 및 미래의 참조 프레임 중에서 가장 유사한 영역을 탐색하여, 이들 2개의 영역과의 평균(화소마다 평균됨)을 구해 그 평균 간의 차분인 예측 오차((ΔN+ΔP)/2) 및 그들간의 공간적인 상대 위치(2개의 움직임 벡터)에 관한 정보를 갖고 있다.

메시지 데이터를 매립하기 위해서, 우선, 매립 처리를 실시하는 적어도 하나의 매크로 블럭을 B 픽쳐 중에서 특정해야만 한다. 이것은, 예컨대, B 픽쳐의 제 1 라인에서부터 제 3 라인까지 존재하는 각각의 매크로 블럭(매립 영역)으로서 정의해도 되고, 어떤 프레임 내의 모든 매크로 블럭으로서 정의하여도 된다. 이와 같이 포맷으로서 미리 정의해 두는 것 외에도, 위치 계열을 생성하는 알고리즘을 사용하여 결정할 수도 있다. 또, 위치 계열의 생성 알고리즘으로서는, 예컨대, 일본 특허 출원 제 96-159330 호(Docket No. JA996-O44)에 개시되어 있는 알고리즘을 사용할 수 있다.

다음에, 매립 처리의 대상으로서 특정된 매크로 블럭에 대하여, 매립 규칙에 근거하여, 1개의 매크로 블럭에 대해 1 비트의 데이터를 매립하여 간다. 이 매립 규칙은 비트 정보를 매크로 블럭의 예측 타입에 대응시킨 것으로, 예컨대, 다음과 같은 규칙을 들 수 있다.

(매립 규칙)

매립할 비트 정보 매크로 블럭의 프레임간 예측 타입

비트 "1" 양방향 예측 매크로 블럭(B로 표시)

비트 "0" 전방 예측(P로 표시) 또는

후방 예측 매크로 블럭(N으로 표시)

매립 금지 인트라 매크로 블럭

예컨대, 메시지 데이터 「1010」을 매립하는 경우를 생각해 보자. 이 4 비트의 데이터를, 도 3에 도시한 제 1 라인의 좌측 첫번째에서 네번째까지의 4개의 매립 영역(매크로 블럭)에 순서대로 매립한다. 우선, 최초의 데이터는 비트 "1"이기 때문에, 매립 규칙에 따라서, 가장 좌측에 있는 매크로 블럭(제 1 매립 영역)의 예측 타입은 양방향 예측 (B)로 결정된다. 이 경우의 예측 오차는 과거의 참조 프레임 중에서 가장 유사한 영역의 평균과 미래의 참조 프레임 중에서 가장 유사한 영역의 평균 간의 차분으로서 표현된다.

다음의 데이터 비트는 "0"이다. 따라서, 매립 규칙에 따르면, 두번째의 매크로 블럭(제 2 매립 영역)의 예측 타입은 전방 예측 (P) 또는 후방 예측 매크로 블럭 (N) 중의 어느 하나가 된다. 이 경우, 화상의 품질 열화를 억제하기 위해서, 전방 예측에서의 예측 오차와 후방 예측에서의 예측 오차를 비교하여, 그 중 예측 오차가 작은 타입을 선택한다. 도 3의 예에서, 두번째의 매크로 블럭은 전방 예측에서의 예측 오차가 후방 예측에서의 예측 오차보다 작기 때문에, 전방 예측 (P)가 선택되어 있다.

상기와 같은 단계를 제 3 및 제 4 매립 영역에 대해서 마찬가지로 반복 적용한다. 즉, 좌측에서 세번째의 매크로 블럭의 예측 타입은 양방향 예측 (B)가 되고, 네번째의 매크로 블럭의 예측 타입은 후방 예측에서의 예측 오차가 작기 때문에, 후방 예측 (N)으로 결정된다.

이렇게 해서, 제 1 ∼ 제 4 매립 영역의 프레임간 예측 타입을 각각「BPBN」으로 함으로써, 메시지 데이터 「1010」이 이들 영역 내에 매립된다. 또, 어떤 매립 영역에 데이터 비트를 매립하고자 하면, 화질이 현저히 열화되는 경우가 있다. 이 경우에는, 해당 매립 영역으로의 비트의 매립은 실행하지 않고, 그 영역의 예측 타입은 「매립 금지」를 나타내는 인트라로 한다. 이에 대해서는 후술한다.

(2) 데이터의 추출

상기 순서에 의해 매립된 메시지 데이터를 추출하는 방법에 대하여 설명한다. 메시지 데이터를 추출할 경우, 우선, 메시지 데이터가 매립되어 있는 매크로 블럭을 특정하기 위한 정보가 제공되어야 한다. 이러한 정보는 외부로부터 제공되어도 되고, 또 데이터 자체 내에 미리 매립해 두어도 된다. 그 외에도, 매립 영역의 위치가 표준화되어 있는 경우나, 혹은 위치 계열을 생성하는 알고리즘을 알고 있으면, 메시지 데이터를 추출할 수 있다. 또, 위치 계열을 사용한 메시지 데이터의 추출 방법에 관해서는, 예컨대, 전술한 일본 특허 출원 제 96-159330 호에 개시된 기술을 사용할 수 있다.

다음에, 특정된 매립 영역에서의 예측 타입으로부터, 추출 규칙을 참조하여, 그 매립 영역에 매립되어 있는 정보를 추출한다. 이 추출 규칙은 매크로 블럭의 예측 타입을 비트 정보에 대응시킨 것으로, 추출시에 정보로서 제공되어야 한다. 이 규칙은, 예컨대, 다음과 같은 규칙을 들 수 있다. 또, 이 추출 규칙에서 예측 타입을 비트 정보에 대응시키는 것은 전술한 매립 규칙의 대응과 마찬가지인 점에 유의하길 바란다. 또한, 예측 타입이 인트라인 경우에는, 해당 매립 영역에는 「비트는 매립되어 있지 않다」라고 판단한다.

(추출 규칙)

매크로 블럭의 프레임간 예측 타입 정보 추출되는 비트

양방향 예측 매크로 블럭 (B) 비트 "l"

전방 예측(P로 표시) 또는 비트 "0"

후방 예측 매크로 블럭

인트라 매크로 블럭 비트는 매립되지 않음

도 3과 같이 메시지 데이터가 매립되어 있는 경우에 대하여 설명한다. 전제로서, 메시지 데이터가 도 3의 제 1 라인의 좌측 첫번째에서 네번째까지의 매크로 블럭에 매립되어 있음은 이미 알고 있는 것으로 한다. 가장 좌측에 위치하는 매크로 블럭의 예측 타입은 양방향 예측 (B)이므로, 추출 규칙을 참조하여 비트 "1"이 추출된다. 두번째의 매크로 블럭의 예측 타입은 전방 예측 (P)이므로, 추출 규칙에 따라서 비트 "0"이 추출된다. 상기와 같은 단계를 다른 매크로 블럭에 대해서도 마찬가지로 반복 적용함으로써, 순차적으로 비트 "1", "0"이 추출된다. 그 결과, 메시지 데이터 「1010」이 이들 영역 내에서 추출된다.

만약, 가장 우측에 위치하는 매크로 블럭의 예측 타입이 인트라이면, 상기 추출 규칙에 따라 「이 매크로 블럭에는 비트가 매립되어 있지 않다」라고 판단된다. 그 결과, 메시지 데이터는 「101」이 된다.

(3) 화질에 대한 대책(임계값의 도입)

MPEG에서의 매크로 블럭의 예측 타입은 각 픽쳐에 허용되는 범위 내에서, 인코더를 자유롭게 선택할 수 있다. 일반적으로는, 매크로 블럭의 예측 타입은 예측 오차가 가장 작은 타입을 선택하고 있다. 그러나 본 실시예에서의 특징은, 매립 규칙에 따라서 매크로 블럭의 예측 타입을 선택한다는 점이다. 추출 규칙에서의 예측 타입과 비트 정보의 관계는, 매립 규칙이 규정하는 관계와 같기 때문에, 이 추출 규칙을 참조함으로써 매립된 데이터를 정확히 추출할 수 있다.

단, 매립 규칙에 따라서 예측 타입을 결정하면, 화상의 품질 열화를 시각적으로 인식할 수 있을 정도로 예측 오차가 큰 예측 타입을 선택할 가능성이 있다. 예측 오차는 화소마다의 차분 절대값의 합 혹은 자승합이 사용되는 경우가 많은데, MPEG에서는 어떠한 기준을 사용하여야 한다고 규정하고 있지 않기 때문에, 인코더는 어떠한 기준도 사용할 수 있다. 그러나, 어떠한 기준이든, 예측 오차가 너무 큰 예측 타입을 선택하면 화상의 품질 열화가 발생된다. 그래서, 예측 오차에 관해서, 소정의 임계값을 사전에 설정해 두고, 선택된 예측 타입에서의 예측 오차가 이 임계값보다도 큰 경우에는, 그 매크로 블럭에는 비트의 매립을 하지 않도록 하는 것이 바람직하다. 이 경우, 매크로 블럭의 예측 타입은 상기 매립 규칙에 따라 「인트라」로 한다. 이 점을 도 4를 참조하여 더욱 상세히 설명한다.

도 4는, 매크로 블럭의 예측 타입과 예측 오차의 관계를 설명하기 위한 도면이다. 도 4에서, 세로축은 예측 오차를 나타내며, 예측 오차가 클수록 화질의 열화가 큰 것을 나타내고 있다. 또한, 허용되는 예상 오차의 정도, 즉 화질의 열화가 발생하지 않는다고 하는 판단 기준으로서 임계값이 설정되어 있다. 도면에서, 하나의 세로 막대로 연결되어 있는 세 개의 짧은 가로 막대 (ⅰ), (ⅱ), (ⅲ)은 매크로 블럭의 전방 예측, 후방 예측, 양방향 예측의 3개의 예측 오차의 값 중의 어느 것인가를 나타내고 있다. 임계값과 3개의 예측 오차의 관계로 부터, 매크로 블럭은 4개의 타입 (a), (b), (c), (d)로 분류할 수 있다. 즉, 3개의 예측 오차가 모두 임계값보다도 작은 경우(타입 (a)), 어느 1개의 예측 오차가 임계값을 초과할 경우(타입(b)), 2개의 예측 오차가 임계값을 초과할 경우(타입(c)), 그리고 예측 오차가 모두 임계값을 초과하지 않을 경우(타입(d))이다.

타입(d)의 매크로 블럭에 관해서는, 어떠한 타입을 선택하더라도 예측 오차가 임계값을 초과하여 화질의 열화가 크기 때문에, 이 타입의 블럭을 매립 영역으로서 사용하는 것은 바람직하지 않다. 이 경우, 이 매크로 블럭은 매립 규칙에 따라 인트라 매크로 블럭이 된다. 단, MPEG에서, B 픽쳐 내의 대부분의 매크로 블럭은 프레임간 예측(전방 예측, 후방 예측, 또는 양방향 예측)이 되기 때문에, 실제로 이 타입의 매크로 블럭이 나타날 확률은 높지 않다.

또한, 타입(a)의 매크로 블럭에 관해서는, 어떠한 예측 타입을 선택하더라도 예측 오차가 임계값을 초과하는 경우는 없다. 즉, 어떠한 데이터를 매립하더라도 화질의 열화는 눈에 띄지 않기 때문에, 이 매크로 블럭을 매립 영역으로서 사용할 수 있다. 또한, 타입(b)에 관해서도, 이 블럭을 매립 영역으로서 사용하더라도 화질의 열화는 발생하지 않는 것으로 생각된다. 통상적으로는, 양방향 예측 오차가 3개의 예측 오차 중에 최악으로 될 가능성은 없다(즉, 양방향 예측 오차가 가로 막대(ⅰ)로 될 가능성은 없다). 상술한 매립 규칙에 따르면, 비트 "1" 및 비트 "O"의 어느쪽도 임계값을 초과하지 않고 이 타입의 블럭에 매립할 수 있다. 따라서, 상술한 매립 규칙을 사용한 경우, 화질의 열화는 거의 발생하지 않고, 타입(a) 및 타입(b)의 매크로 블럭 내에 비트를 매립할 수 있다.

또, 타입(c)에 관해서는, 이 블럭을 매립 영역으로서 사용하는 것은 원칙적으로 바람직하지 않다. 양방향 예측 오차가 가로 막대(ⅲ)인 경우, 전방 예측 오차 및 후방 예측 오차는 모두 임계값을 초과하기 때문에, 매립할 비트에 따라서는 화질 열화가 발생할 수 있기 때문이다. 단, 이 경우에도, 실제로 매립하고자 하는 비트에 대응한 예측 타입에서의 예측 오차가 임계값을 초과하지 않을 경우(예컨대, 매립 규칙에 따라 어떤 데이터를 매립했을 때, 예측 오차가 가로 막대(ⅲ)로 표시되는 임계값 이하로 되는 경우)에는, 이 타입의 블럭을 매립 영역으로 사용할 수 있다.

상기한 점을 고려하여, 데이터를 매립하고자 하는 매크로 블럭에 관해서, 3개의 예측 오차를 구해 놓고, 매립 규칙에 근거하여 결정된 예측 타입의 예측 오차가 소정의 임계값을 초과할 경우에는, 이 매크로 블럭으로의 데이터의 매립을 금지하는 것이 바람직하다. 이 경우, 매립을 금지하는 매크로 블럭의 예측 타입은 상술한 매립 규칙에 따라 인트라로 된다.

또, 타입(d)의 인트라 매크로 블럭에 관해서는, 데이터의 매립에는 사용하지 않고 무효 비트로 하는데, 상술한 바와 같이 실제로는 그 출현율은 높지 않기 때문에, 매립할 정보에 용장성이 허용되는 경우에는 에러 정정 부호화로 보상할 수 있다.

본 실시예에 의하면, 동화상의 부호화시에, 매크로 블럭의 예측 타입과 매립할 비트를 관련지워 결정하고 있다. 따라서, 동화상의 압축 효율에 거의 영향을 주지 않고, 또한 화질의 열화도 거의 발생하지 않으면서, 동화상 내에 메시지 데이터를 매립할 수 있다. 또한, 이렇게 해서 매립된 메시지 데이터를 동화상으로부터 제거하기란 대단히 어렵다. 또한, 매립할 정보량은 화상의 내용과는 거의 독립적이므로, 메시지 데이터를 효율적으로 매립할 수 있다.

(4) 화질에 대한 대책(장면 변화에 대한 대책)

장면 변화가 발생한 경우, 그 전후의 I 또는 P 픽쳐 사이에 삽입된 B 픽쳐 내의 매크로 블럭의 대부분이 도 4에 나타낸 타입(c)과 같이 되는 것이 알려져 있다. 도 5는 장면 변화가 일어난 경우의 참조 화상을 설명하기 위한 도면이다. 도 5(a)는 장면 변화가 없는 경우를 나타내고, 도 5(b)는 픽쳐 2와 픽쳐 3 사이에서 장면 변화가 일어난 경우를 나타내고 있다. 또한, 이들 도 5(a) 및 도 5(b)에서 양단의 2개의 픽쳐는 I 또는 P 픽쳐이고, 중앙의 2 개의 픽쳐는 B 픽쳐이다. 또한, 도시한 화살표는 프레임간의 참조 관계를 나타낸다.

장면 변화가 없으면, B 픽쳐에는 양방향 예측 매크로 블럭이 다수 존재한다. 그러나, 도 5(b)와 같은 장면 변화가 발생하면, 픽쳐2내의 후방 예측 매크로 블럭의 수가 상당히 감소하여, 그의 대부분이 전방 예측 매크로 블럭이 되어, 예측 오차가 도 4의 임계값보다도 작아지게 된다. 또한, 픽쳐 3 내의 전방 예측 매크로 블럭의 수도 상당히 감소하여, 그 대부분이 후방 예측 매크로 블럭이 되어, 예측 오차가 도 4의 임계값보다도 작아지게 된다. 따라서, 이러한 픽쳐 내에 데이터를 매립하는 것은 바람직하지 않다. 그래서, 전방 예측 매크로 블럭 및 후방 예측 매크로 블럭의 수를 모니터링하여, 이들 수가 어떠한 임계값 이하로 된 경우에는, 장면 변화가 발생한 것으로 판단하여, 이러한 픽쳐 내에는 데이터를 매립하지 않는(매립 규칙에 따라서, 예측 타입을 「인트라」로 한다) 것이 바람직하다.

(5) 화질에 대한 대책(폐색(occlusion )에 대한 대책)

폐색이란, 어떤 오브젝트가 이동함으로써 그 뒤에 가려져 있던 물체가 돌연히 출현하거나, 반대로 가려지거나 하는 것을 말한다. 폐색이 발생한 경우, 픽쳐 전체 내의 폐색에 관계되는 매크로 블럭은 도 4(c)의 타입으로 된다. 이 경우, 상술한 바와 같이, 매립 규칙에 따라 결정된 예측 타입의 예측 오차가 임계값보다 작으면 문제가 없지만, 그렇지 않은 경우에는 화질의 열화를 초래한다. 화질을 중요시할 경우, 에러 정정 부호를 사용하여 이 열화를 처리할 수 있다. 즉, 1개의 매크로 블럭으로 1 비트의 정보를 표현하는 것이 아니라, 정보에 용장도를 갖게 하여 다수의 매크로 블럭으로 1 비트 상당의 정보를 나타낸다. 이 경우, 1개의 매립 영역은 이들 다수의 매크로 블럭의 세트로 구성되게 된다.

예컨대, 3개의 매크로 블럭으로 1 비트 상당의 정보를 나타내는 경우를 생각하자. 이 경우, 3개의 매크로 블럭 중의 어느 하나가 나타내고자 하는 비트와는 반대의 예측 타입이더라도, 나머지 2개로 정확하게 비트를 표현할 수 있다. 어떤 1 비트의 정보를 나타내는 매크로 블럭의 세트(여기서는 3개의 매크로 블럭)에 소정 개수 이상의 인트라 매크로 블럭이 포함되어 있으면, 그 세트에는 데이터를 매립하지 않도록 한다. 반대로, 3개의 매크로 블럭 중 2개 이상이 도 4(c)의 타입이 되면, 그 중 어느 것인가를 인트라로 하여, 「데이터가 매립되어 있지 않다」는 것을 명시할 필요가 있다. 또, 이것은 통계적인 방법을 사용한 매립·추출에도 사용할 수 있다. 즉, 통계적 성질이 출현할 정도로 다수(예컨대 100개 등)의 매립 영역을 준비해 두고, 다수의 영역에서 1 비트의 정보를 표현하여도 된다. 그러한 의미로 본 발명에서의 「용장」이란 의미는 1 비트의 정보를 하나의 처리해야 할 영역에 일대일 관계로 대응시키는 것이 아니라, 그것을 복수의 영역에 대응시키는 것을 뜻한다.

폐색이 발생한 경우, 폐색에 관계되는 부분에 존재하는 서로 인접한 다수의 매크로 블럭이, 동시에 도 4의 타입(c)의 상태로 되는 것을 생각하자. 이러한 점을 고려하여, 에러 정정 부호를 구성하는 1세트의 매크로 블럭은 픽쳐 내에서 이격된 위치에 존재하는 매크로 블럭을 사용하는 것이 바람직하다.

또, 상기한 기재 내용은 MPEG을 예로 설명한 것인데, 본 발명은 MPEG에 한정되는 것이 아니라, 프레임간 예측 부호화를 사용한 그 밖의 화상 압축 방법에 대하여도 적용할 수 있음은 당연하다. 그러한 의미에서, 본 명세서에서 말하는 매립 영역은 매크로 블럭에 한정되지 않는다.

또한, 상술한 매립 규칙 및 추출 규칙은 일례로서 본 발명은 이에 한정되는 것이 아니며, 다양한 규칙을 사용할 수 있다. 예컨대, 전방 예측 매크로 블럭을 데이터 "O"에, 후방 예측 매크로 블럭을 데이터 "1"에, 그리고 양방향 예측 매크로 블럭을 데이터 "2"에 각각 대응시켜, 1개의 매크로 블럭에 3치(値) 데이터를 매립할 수도 있다.

또한, 상기한 예는 B픽쳐, 즉 양방향 예측 프레임을 예로 설명하였는데, P 픽쳐에 데이터를 매립할 수도 있다. P 픽쳐를 구성하는 매크로 블럭의 타입은 전방 예측 및 인트라이므로, 이 비트에 대응시키면 된다. 단, 화질의 열화 및 데이터량의 증대를 억제하고자 한다면, 상기한 바와 같이 B 픽쳐 내에 매립하는 것이 바람직하다. 그 이유는, 인트라이어야 할 매크로 블럭을 매립 규칙에 따라 강제적으로 전방 참조로 할 경우, 화질이 열화되어 버리고, 그 반대로는 데이터량이 증대되기 때문이다.

(6) 동화상 부호화 시스템

도 6은, 본 발명을 사용한 동화상 부호화 시스템의 블럭도이다. 메모리(61) 내에는 다수의 프레임으로 이루어지는 동화상 데이터가 기억되어 있다. 프레임 메모리(62)에는 과거의 프레임에 관한 데이터가 기억되어 있고, 프레임 메모리(63)에는 표시순으로 미래의 프레임에 관한 데이터가 기억되어 있다. 영역 특정기(64)에는 부가 정보로서 매립할 데이터의 매립 장소를 특정한다. 이에 따라, 적어도 하나의 매크로 블럭이 프레임 내에 특정된다. 오차 계산기(65)는 프레임 메모리(62, 63)에 기억되어 있는 데이터에 근거하여, 전방 예측 오차, 후방 예측 오차, 양방향 예측 오차를 구한다. 전방 예측 오차는 전방 예측을 사용하여, 매립 영역과 이 매립 영역이 참조하는 제 2 전방의 프레임 내의 참조 영역으로부터 계산된다. 후방 예측 오차는 후방 예측을 사용하여, 매립 영역과 이 매립 영역이 참조하는 후방 프레임의 참조 영역으로부터 계산된다. 그리고, 양방향 예측 오차는 양방향 예측을 사용하여, 매립 영역과 이 매립 영역이 참조하는 전방 및 후방의 양 프레임 내의 참조 영역으로부터 계산된다. 결정기(66)는 매립 규칙을 참조하여, 매립 영역인 매크로 블럭의 특성을 조작함으로써, 매립할 데이터를 매립 영역에 매립한다. 이 매립 규칙은, 구체적으로는, 매립 영역에 하나의 데이터를 매립할 경우, 매립 영역에서의 예측 타입은 전방 예측 또는 후방 예측 중의 어느 하나를 사용하는 것으로 규정하고 있다. 또한, 다른 데이터를 매립할 경우, 예측 타입은 양방향 예측을 사용하는 것으로 규정하고 있다. 결정기(66)는 매립해야 할 정보의 내용에 따라, 매립 영역에서의 프레임간 예측 타입을 결정하고, 또한 해당 결정된 프레임간 예측 타입에 따라, 매립 영역이 참조하는 참조 영역을 특정함과 동시에, 제 1, 제 2 또는 제 3 예측 오차 중의 어느 하나를 특정한다. 그 후, 부호화기(67)는 결정기(66)로부터 출력된 신호를 부호화한다.

여기서, 결정기(66)는 어떤 매립 영역에 관해서, 매립 규칙에 근거하여 결정된 프레임간 예측 타입에서의 예측 오차가 소정의 임계값을 초과할 경우에는, 해당 매립 영역에 대한 데이터의 매립을 금지하도록 설계되어 있다. 이에 따라, 매립으로 인한 화질의 열화를 방지하고 있다. 또한, 결정기(66)는 양방향 예측 부호화 프레임에서의 전방 예측의 참조 수 또는 후방 예측의 참조 수가 소정의 수보다 작은 경우에는, 해당 프레임 내의 매립 영역으로의 데이터의 매립을 금지하도록 설계되어 있다. 이들 참조 수를 카운트함으로써 장면 변화를 검출할 수 있다. 장면 변화가 발생한 경우에는, 이와 관계되는 프레임에 대해서는 매립을 금지하고 있기 때문에, 화질 열화를 방지할 수 있다.

(7) 동화상 복호화 시스템

도 7은, 본 발명을 사용한 동화상 복호화 시스템의 블럭도이다. 메모리(71)에는 부가 정보가 매립된 부호화된 동화상 데이터가 기억되어 있다. 영역 특정기(72)는 부가 정보가 매립된 적어도 하나의 매립 영역을 프레임 내에서 특정하기 위한 것이다. 추출기(73)는 추출 규칙을 참조하여, 매립 영역에서의 프레임간 예측 타입으로부터, 그 영역에 매립된 부가 정보를 추출한다. 그리고, 복호화기(74)를 통해서, 추출기(73)로부터 출력된 부호화 데이터는 복호화되고, 이에 따라 동화상이 재생된다.

(8) 지문(finger print)의 매립

MPEG에서, B 픽쳐는 다른 픽쳐에 의해 참조되지 않으므로, B 픽쳐 중의 매크로 블럭의 예측 타입을 변경하여도 다른 픽쳐에 영향을 미치지는 않는다. 이러한 정리를 통해서 지문을 매립할 수 있다. 지문이란 소유자마다 다른 고유의 정보이다. 지문의 전형적인 사용예는, 동화상 데이터를 제 3 자에게 발행할 때에, 발행자가 발행처인 제 3 자를 특정할 수 있도록 마크를 사전에 동화상 내에 매립하여 두는 경우이다. 이렇게 해 두면, 위법 복제 등의 부정한 행위가 행해진 경우, 그 복제의 출처를 특정할 수 있으므로, 이 제 3 자가 부정하게 유통하고 있는 경우에는 위법 복제에 해당하는 요금을 청구할 수 있다. 또한, 암호화된 영상 상품에 정당한 소유자 등록 정보를 부여하여, 그에 따른 지문을 매립하는 것도 고려된다.

지문을 매립할 경우, 기본적으로는, MPEG 부호화시에 생성되는 「양방향 예측 매크로 블럭」 및「 예측 오차가 보다 작은 전방 예측 매크로 블럭 또는 후방 예측 매크로 블럭」을 모두 유지해 둔다. 그리고, 발행처인 제 3 자에 따라 적절한 쪽을 선택한다. 이렇게 해도, 다른 픽쳐 또는 해당 픽쳐의 매크로 블럭보다 상위인 데이터 계층(예컨대, 슬라이스)에는 아무런 영향을 미치지 않는다.

본 발명에 따르면, 동화상의 압축 효율에 거의 영향을 주지 않고, 또 화질의 열화가 거의 발생하지 않은 상태에서, 동화상 내에 메시지 데이터를 매립할 수 있다. 또한, 동화상의 부호에 필수적인 부분에 메시지 데이터를 매립하고 있기 때문에, 화질을 손상하지 않고서 메시지 데이터를 동화상으로부터 제거하기란 어렵다. 또한, 매립할 정보량은 화상의 내용에 거의 독립적이므로 메시지 데이터를 효율적으로 매립할 수 있다.

Claims

다수의 프레임으로 구성된 동화상 내에 정보를 매립하는 데이터 은폐 방법에 있어서,

정보를 매립하기 위한 적어도 하나의 매립 영역을 프레임 내에서 특정하는 단계와,

매립할 데이터의 내용을 상기 매립 영역의 프레임간 예측 타입에 대응시킨 매립 규칙을 참조하여, 매립할 정보에 따라 상기 매립 영역의 프레임간 예측 타입을 결정하는 단계를 갖는 것을 특징으로 하는 데이터 은폐 방법.
제 1 항에 있어서,

상기 매립 영역이 존재하는 상기 프레임은, 양방향 예측 부호화 프레임인 것을 특징으로 하는 데이터 은폐 방법.
제 2 항에 있어서,

상기 프레임간 예측 타입은, 전방 예측, 후방 예측, 양방향 예측 및 프레임내 예측으로부터 선택되는 것을 특징으로 하는 데이터 은폐 방법.
제 3 항에 있어서,

상기 매립 규칙은, 한 쪽 비트를 상기 양방향 예측에 대응시킴과 동시에, 다른 쪽 비트를 상기 전방 예측 또는 상기 후방 예측에 대응시키는 것을 특징으로 하는 데이터 은폐 방법.
제 4 항에 있어서,

상기 매립 규칙은, 데이터의 매립 금지를 상기 프레임내 예측에 대응시키는 것을 더 특징으로 하는 데이터 은폐 방법.
제 1 항에 있어서,

어떤 매립 영역에 관해서, 상기 매립 규칙에 근거하여 결정된 프레임간 예측 타입에서의 예측 오차가 소정의 임계값을 초과할 경우에는, 해당 매립 영역으로의 데이터의 매립을 금지하는 단계를 더 갖는 것을 특징으로 하는 데이터 은폐 방법.
제 6 항에 있어서,

상기 양방향 예측 부호화 프레임에서의 상기 전방 예측의 참조 수 또는 상기 후방 예측의 참조 수가 소정의 수보다 적은 경우에는, 해당 프레임 내의 상기 매립 영역으로의 데이터의 매립을 금지하는 단계를 더 갖는 것을 특징으로 하는 데이터 은폐 방법.
다수의 프레임으로 구성된 동화상 내에 정보를 매립하는 데이터 은폐 방법에 있어서,

정보를 매립하기 위한 매립 영역을 갖는 프레임에서의 전방 예측의 참조 수 또는 후방 예측의 참조 수를 카운트하는 단계와,

상기 참조 수가 소정의 수보다 많은 경우에는, 매립할 데이터의 내용을 상기 매립 영역의 특성에 대응시킨 매립 규칙을 참조하여, 매립할 정보에 따라 각각의 상기 매립 영역의 특성을 결정하는 단계와,

상기 참조 수가 소정의 수보다 적은 경우에는, 해당 프레임 내의 상기 매립 영역으로의 데이터의 매립을 금지하는 단계를 갖는 것을 특징으로 하는 데이터 은폐 방법.
화상 내에 정보를 매립하는 데이터 은폐 방법에 있어서,

상기 화상 내에, 동일한 데이터를 매립하기 위해 다수의 매립 영역을 특정하는 단계와,

매립할 데이터의 내용을 상기 매립 영역의 특성에 대응시킨 매립 규칙을 참조하여, 매립할 정보에 따라 각각의 상기 매립 영역을 같은 특성으로 결정하고, 각각의 상기 매립 영역 내에 동일한 데이터를 매립하는 단계를 갖는 것을 특징으로 하는 데이터 은폐 방법.
동화상 내에 매립된 정보를 추출하는 데이터 추출 방법에 있어서,

정보가 매립된 적어도 하나의 매립 영역을, 프레임 내에서 특정하는 단계와,

상기 매립 영역에서의 프레임간 예측 타입을 추출될 데이터의 내용에 대응시킨 추출 규칙을 참조하여, 해당 매립 영역에서의 상기 프레임간 예측 타입으로부터, 매립된 정보를 추출하는 단계를 갖는 것을 특징으로 하는 데이터 추출 방법.
제 10 항에 있어서,

상기 매립 영역이 존재하는 프레임은, 양방향 예측 부호화 프레임인 것을 특징으로 하는 데이터 추출 방법.
제 11 항에 있어서,

상기 프레임간 예측 타입은, 전방 예측, 후방 예측, 양방향 예측, 프레임내 예측으로부터 선택되는 것을 특징으로 하는 데이터 추출 방법.
제 12 항에 있어서,

상기 추출 규칙은, 상기 양방향 예측을 한 쪽 비트에 대응시킴과 동시에, 상기 전방 예측 또는 상기 후방 예측을 다른 쪽 비트에 대응시키는 것을 특징으로 하는 데이터 추출 방법.
제 13 항에 있어서,

상기 추출 규칙은, 상기 프레임내 예측을 데이터의 매립 금지에 대응시키는 것을 더 특징으로 하는 데이터 추출 방법
화상 내에 매립된, 용장성을 갖는 정보를 추출하는 데이터 추출 방법에 있어서,

상기 화상 내에, 동일한 데이터가 매립된 다수의 매립 영역을 특정하는 단계와,

상기 매립 영역의 특성을 추출될 데이터에 대응시킨 추출 규칙을 참조하여, 각각의 상기 매립 영역의 특성으로부터, 각각의 상기 매립 영역에 매립된 데이터를 추출하는 단계와,

각각의 상기 매립 영역으로부터 상이한 데이터가 추출된 경우에는, 추출된 데이터마다 상기 매립 영역의 수를 비교하여, 해당 수가 큰 쪽의 데이터를 매립된 정보로서 특정하는 단계를 포함함으로써,

화상 내에 매립된 용장성을 갖는 정보를 추출하는 것을 특징으로 하는 데이터 추출 방법.
화상 내에 매립된 정보를 추출하는 데이터 추출 방법에 있어서,

상기 화상 내에, 1 비트의 데이터가 매립된 다수의 매립 영역을 특정하는 단계와.

상기 매립 영역의 특성을 추출될 데이터에 대응시킨 추출 규칙을 참조하여, 특정된 다수의 상기 매립 영역의 특성에 근거해, 매립된 1 비트의 데이터를 추출하는 단계를 갖는 것을 특징으로 하는 데이터 추출 방법.
다수의 프레임으로 구성되고, 프레임간 예측을 사용한 동화상 내에 정보를 매립하는 동화상 부호화 시스템에 있어서,

전방 예측을 사용하여, 정보를 매립하기 위해 제 1 프레임 내에서 특정된 매립 영역과 상기 매립 영역이 참조하는 제 2 프레임 내의 참조 영역에 기초한 제 1 예측 오차를 구하고, 후방 예측을 사용하여, 상기 매립 영역과 상기 매립 영역이 참조하는 제 3 프레임 내의 참조 영역에 기초한 제 2 예측 오차를 구하며, 또한, 양방향 예측을 사용하여, 상기 매립 영역과 상기 매립 영역이 참조하는 상기 제 2 프레임 및 상기 제 3 프레임 내의 각각의 상기 참조 영역에 기초한 제 3 예측 오차를 구하는 오차 계산 수단과,

상기 매립 영역에 하나의 데이터를 매립할 경우, 상기 매립 영역에서의 상기 프레임간 예측 타입은 상기 전방 예측 또는 상기 후방 예측 중의 하나를 사용하는 것으로 규정함과 동시에, 다른 데이터를 매립할 경우, 상기 프레임간 예측 타입은 상기 양방향 예측을 사용하는 것으로 규정한 매립 규칙을 참조하여, 매립해야 할 정보의 내용에 따라, 상기 매립 영역에서의 상기 프레임간 예측 타입을 결정하고, 또한 해당 결정된 프레임간 예측 타입에 따라, 상기 제 1, 제 2 또는 제 3 예측 오차 중의 어느 하나를 특정하는 결정 수단을 갖는 것을 특징으로 하는 동화상 부호화 시스템.
제 17 항에 있어서,

상기 결정 수단은, 어떤 매립 영역에 관해서, 상기 매립 규칙에 근거하여 결정된 프레임간 예측 타입에서의 예측 오차가 소정의 임계값을 초과할 경우에는, 해당 매립 영역으로의 데이터의 매립을 금지하는 제 1 금지 수단을 포함하는 것을 특징으로 하는 동화상 부호화 시스템.
제 18 항에 있어서,

상기 결정 수단은, 상기 양방향 예측 부호화 프레임에서의 상기 전방 예측의 참조 수 또는 상기 후방 예측의 참조 수가 소정의 수보다 적은 경우에는, 해당 프레임 내의 상기 매립 영역으로의 데이터의 매립을 금지하는 제 2 금지 수단을 포함하는 것을 특징으로 하는 동화상 부호화 시스템.
부호화된 동화상 내에 매립된 정보를 추출하는 동화상 복호화 시스템에 있어서,

정보가 매립된 적어도 하나의 매립 영역을 프레임 내에서 특정하는 특정 수단과,

상기 매립 영역에서의 프레임간 예측 타입을 매립할 데이터의 내용에 대응시킨 추출 규칙을 참조하여, 상기 매립 영역에서의 상기 프레임간 예측 타입으로부터, 상기 매립된 정보를 추출하는 추출 수단을 갖는 것을 특징으로 하는 동화상 복호화 시스템.
컴퓨터를 통해서, 다수의 프레임으로 구성된 동화상 내에 정보를 매립하는 데이터 은폐 처리를 실행시키기 위한 프로그램을 기억한 매체에 있어서,

정보를 매립하는 적어도 하나의 매립 영역을 프레임 내에서 특정하는 단계와,

매립할 데이터의 내용을 상기 매립 영역에서의 프레임간 예측 타입에 대응시킨 매립 규칙을 참조하여, 매립할 정보에 따라, 상기 매립 영역에서의 상기 프레임간 예측 타입을 결정하는 단계를 갖는 것을 특징으로 하는 프로그램을 기억한 매체.
컴퓨터를 통해서, 부호화된 동화상 내에 매립된 정보를 추출하는 데이터 추출 처리를 실행시키기 위한 프로그램을 기억한 매체에 있어서,

상기 정보가 매립된 적어도 하나의 매립 영역을 프레임 내에서 특정하는 단계와,

상기 매립 영역에서의 프레임간 예측 타입을 추출할 데이터의 내용에 대응시킨 추출 규칙을 참조하여, 상기 매립 영역에서의 상기 프레임간 예측 타입으로부터, 매립된 정보를 추출하는 단계를 갖는 것을 특징으로 하는 프로그램을 기억한 매체.