JP4762938B2 - データ埋め込み装置、データ抽出装置、データ埋め込み方法およびデータ抽出方法 - Google Patents

Description

この発明は、メディアデータ中に他のデータを埋め込むデータ埋め込み装置およびその方法、埋め込まれたデータを抽出するデータ抽出装置およびその方法に関するものである。

動画像などのメディアデータに対して他のデータを埋め込む方法として、符号化時にメディアデータをフレームに分割し、さらに分割した各フレームを複数の小領域に分割し、それから、分割した各小領域に対する符号化モードを決定するときに、埋め込む情報に対応づけられた符号化モードを選択することが提案されている（例えば、特許文献１参照）。
この方法で埋め込まれた情報をメディアデータから抽出するためには、メディアデータの復号によって得られる符号化モードに対応づけられた情報を出力することにより実現される。

国際公開第９８／１７０６１号パンフレット

しかし、従来技術の方式では、データの埋め込まれた位置を符号化側と復号化側で共有せねばならず、例えばフレームごとに埋め込み位置が変化する場合には、埋め込み位置特定情報が増大するため、全体としてデータ量が増大するという問題がある。
また、埋め込みを小領域の符号化モードを埋め込み情報に対応づけることによって実現していたため、埋め込む情報が符号化効率に与える影響が大きく、埋め込み情報のデータ量が増大すればメディアデータのデータ量が増大するという問題がある。

この発明の目的は、全体としてのデータ量を増大せずに、埋め込み情報が符号化効率に与える影響が少ないよう符号化するデータ埋め込み装置、データ抽出装置、およびそれの方法を提供することである。

この発明に係るデータ埋め込み装置は、第一のデータに第二のデータが埋め込まれ符号化された符号化データを出力するデータ埋め込み装置であって、上記第一のデータのうちの処理対象データに対する予測値を算出する予測方式を、上記第二のデータに基づいて選択する選択手段と、上記選択手段により選択された予測方式により上記処理対象データの上記予測値を算出する予測手段と、上記予測値を用いて上記処理対象データの予測誤差を求める差分算出手段と、上記符号化データを出力する予測誤差演算手段と、を備え、上記予測手段は、上記第二のデータのビット値が０である場合に予測を行う０埋め込み時予測手段と、上記第二のデータのビット値が１である場合に予測を行う１埋め込み時予測手段と、上記第二のデータの埋め込みが完了した場合に予測を行う埋め込み終了時予測手段と、を備える。

この発明に係るデータ埋め込み装置の効果は、メディアデータの符号化のときに、多数存在する予測モードのうちの１つをデータ埋め込み開始位置情報、１つをデータ埋め込み終了位置情報として割当てるため、符号化側と復号化側で埋め込み位置を特定する情報を共有する必要がないため、全体としてデータ量が増大するのを防ぐことである。
また、メディアデータの符号化のときに、多数存在する予測モードのうち、類似する予測モードを２つのグループに分け、それぞれのグループを埋め込み情報に対応づけるようにしているため、埋め込む情報が符号化効率に与える影響が少なく、埋め込み情報のデータ量が増大してもメディアデータのデータ量が増大するのを防ぐことである。

実施の形態１．
図１は、この発明の実施の形態１によるデータ埋め込み装置の構成を示すブロック図である。
この実施の形態１によるデータ埋め込み装置１には、符号化対象として例えば画像データや音声データといったメディアデータと、そのメディアデータに埋め込まれるディジタルデータと、埋め込み開始位置情報が供給される。この実施の形態１においてはメディアデータとして画像データを適用し、符号化方式としてＨ．２６４符号化方式を例に説明する。なお、この発明は符号化方式としてＨ．２６４符号化方式に限定されるものではない。

データ埋め込み装置１は、メディアデータを符号化するとともに、ディジタルデータを埋め込み開始位置から順次埋め込むことにより、符号化データを得て出力する装置である。そして、データ埋め込み装置１は、メディア入力部２、選択手段としての予測器選択部３、予測手段としての信号予測部４、差分算出手段としての差分算出部５、予測誤差圧縮手段としての予測誤差圧縮部６、エントロピー符号化手段としてのエントロピー符号化部７、予測誤差伸張手段としての予測誤差伸張部８、加算手段としての加算部９、復号データ記憶手段としての復号信号記憶部１０を有する。

なお、予測誤差圧縮部６とエントロピー符号化部７とをまとめて予測誤差演算手段と称す。
また、データ埋め込み装置１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、インターフェース回路を有するコンピュータから構成され、ＲＯＭに格納されているプログラムを読み出し、ＣＰＵで演算処理することにより、メディアデータを符号化するとともに、ディジタルデータを埋め込み開始位置から順次埋め込むことにより、符号化データを得て出力する。

データ埋め込み装置１が出力する符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどの記録媒体に記録される。また、例えば、地上波、衛星回線、ＣＡＴＶ（Ｃａｂｌｅ Ｔｅｌｅｖｉｓｉｏｎ）網、インターネット、公衆回線などの伝送媒体を介して伝送される。

なお、ディジタルデータとしては、例えば、元の画像に関連するテキストデータや、音声データ、その画像を縮小した縮小画像などはもちろん、元の画像に無関係なデータを用いることも可能である。即ち、ディジタルデータとしては、プログラムも含むあらゆるデータを用いることが可能である。
また、この実施の形態１ではディジタルデータは各フレームに対応づけられた情報であり、各フレームにおける埋め込み位置は埋め込み開始位置情報によって決定される各フレームでデータ長の異なるものであるとする。

符号化対象のメディアデータは、メディア入力部２に供給され、メディアデータに埋め込まれるディジタルデータは、予測器選択部３に供給される。
メディア入力部２は、供給されるメディアデータを、例えば、１フレーム単位で記憶し、フレームをさらに分割した小領域ごとに入力信号として差分算出部５に供給する。
また、メディア入力部２は、フレーム番号を示す時刻情報および処理対象小領域のフレーム内での位置を示す位置情報を予測器選択部３に供給する。
処理対象小領域は映像データに関してＨ．２６４符号化方式におけるマクロブロックであっても良いし、ブロックであっても良い。

予測器選択部３は、入力される時刻情報および位置情報によって特定される処理対象小領域が、入力されるフレーム埋め込み開始位置情報で示される当該処理対象フレームにおける情報埋め込み開始小領域となるまで、予測器指定情報として「埋め込みなし信号」を信号予測部４に出力する。
また、予測器選択部３は、処理対象小領域が情報埋め込み開始小領域である場合には、予測器指定情報として「埋め込み開始信号」を信号予測部４に出力する。

また、予測器選択部３は、符号化順で埋め込み開始小領域の次の処理対象小領域から順次入力されるディジタルデータを１ビットずつ予測器指定情報として信号予測部４に出力する。すなわち、埋め込むべき値が「０」である場合には予測器指定情報として「０埋め込み信号」を、「１」である場合には予測器指定情報として「１埋め込み信号」を信号予測部４に出力する。
当該処理対象フレームに関連づけるディジタルデータがすべて埋め込まれた場合には、さらにその次の小領域の処理において、予測器指定情報として「埋め込み終了信号」を信号予測部４に出力する。

信号予測部４は、図２に示すように、埋め込み開始時予測手段としての埋め込み開始時予測器１３、埋め込み終了時予測手段としての埋め込み終了時予測器１４、０埋め込み時予測手段としての０埋め込み時予測器１５、１埋め込み時予測手段としての１埋め込み時予測器１６、スイッチ回路１７を備える。
また、信号予測部４は、例えばＨ．２６４のイントラ予測モードおよび動き補償予測のような複数の予測手段を備えており、そのうち少なくとも１つの予測手段を埋め込み開始時予測器１３、埋め込み開始時予測器１３と同一または異なる少なくとも１つの予測手段を埋め込み終了時予測器１４、埋め込み開始時予測器１３および埋め込み終了時予測器１４と異なる少なくとも１つの予測手段を０埋め込み時予測器１５、埋め込み開始時予測器１３、埋め込み終了時予測器１４、および０埋め込み時予測器１５のいずれとも異なる少なくとも１つの予測手段を１埋め込み時予測器１６として備える。

スイッチ回路１７は、予測器選択部３より入力される予測器指定情報に基づいて複数の予測器から所定のルールに従って予測器を選択するよう動作する。すなわち、予測器指定情報が「埋め込み開始信号」である場合には予測器として埋め込み開始時予測器１３を選択するよう動作する。
また、予測器指定情報が「埋め込み終了信号」である場合には予測器として埋め込み終了時予測器１４を選択するよう動作する。
また、予測器指定情報が「０埋め込み信号」である場合には予測器として０埋め込み時予測器１５を選択するよう動作する。
また、予測器指定情報が「１埋め込み信号」である場合には予測器として１埋め込み時予測器１６を選択するよう動作する。
また、予測器指定情報が「埋め込みなし信号」である場合には予測器として埋め込み開始時予測器１３、埋め込み終了時予測器１４、０埋め込み時予測器１５または１埋め込み時予測器１６の中で符号化効率が最適となる予測器を選択する。

このようにして選択された予測器は、復号信号記憶部１０より入力される復号信号を用いて処理対象小領域の入力信号に対する予測信号が生成され、予測信号が差分算出部５および加算部９に出力する。また、選択された予測器は、選択された予測器を識別する情報を予測モード情報としてエントロピー符号化部７に出力する。

Ｈ．２６４を例に具体的に説明すると、予測手段として、フレーム内符号化マクロブロックに対しては図３に示すように９種類の４×４イントラ予測モード、図４に示す９種類の８×８イントラ予測モード、図５に示す４種類の１６×１６イントラ予測モード、図６に示す４種類の色差イントラ予測モードなどが挙げられる。

９種類の４×４イントラ予測モードには、図３（ａ）に示す４×４イントラ予測モード０、図３（ｂ）に示す４×４イントラ予測モード１、図３（ｃ）に示す４×４イントラ予測モード２、図３（ｄ）に示す４×４イントラ予測モード３、図３（ｅ）に示す４×４イントラ予測モード４、図３（ｆ）に示す４×４イントラ予測モード５、図３（ｇ）に示す４×４イントラ予測モード６、図３（ｈ）に示す４×４イントラ予測モード７、図３（ｉ）に示す４×４イントラ予測モード８がある。

９種類の８×８イントラ予測モードには、図４（ａ）に示す８×８イントラ予測モード０、図４（ｂ）に示す８×８イントラ予測モード１、図４（ｃ）に示す８×８イントラ予測モード２、図４（ｄ）に示す８×８イントラ予測モード３、図４（ｅ）に示す８×８イントラ予測モード４、図４（ｆ）に示す８×８イントラ予測モード５、図４（ｇ）に示す８×８イントラ予測モード６、図４（ｈ）に示す８×８イントラ予測モード７、図４（ｉ）に示す８×８イントラ予測モード８がある。

４種類の１６×１６イントラ予測モードには、図５（ａ）に示す１６×１６イントラ予測モード０（垂直方向予測）、図５（ｂ）に示す１６×１６イントラ予測モード１（水平方向予測）、図５（ｃ）に示す１６×１６イントラ予測モード２（ＤＣ予測）、図５（ｄ）に示す１６×１６イントラ予測モード３（Ｐｌａｎｅ予測）がある。図５（ｅ）には、Ｐｌａｎｅ予測で生成される予測信号の例を示す。

４種類の色差イントラ予測モードには、図６（ａ）に示す色差イントラ予測モード０（ＤＣ予測）、図６（ｂ）に示す色差イントラ予測モード１（水平方向予測）、図６（ｃ）に示す色差イントラ予測モード２（垂直方向予測）、図６（ｄ）に示す色差イントラ予測モード３（Ｐｌａｎｅ予測）がある。

また、フレーム間符号化マクロブロックに対しては、動きベクトルによる動き補償予測において、図７に示すように動きベクトルの垂直成分および水平成分がそれぞれ整数画素精度の位置に対する下方向および右方向の少数画素位置によって示される１６種類の異なる予測手段とすることができる。

例えば、図８に示すように、埋め込み開始時予測器１３の予測モードとして、４×４イントラ予測モード８、８×８イントラ予測モード８および図９に示す動きベクトル位置のうち整数画素精度の位置に対して下方向に４分の３画素、右方向に４分の３画素の位置を指す動きベクトルを用いた動き補償予測モードを割り当てる。
また、埋め込み終了時予測器１４の予測モードとしても、同様に、４×４イントラ予測モード８、８×８イントラ予測モード８および動きベクトルが整数画素精度の位置に対して下方向に４分の３画素、右方向に４分の３画素の位置を指す動きベクトルを用いた動き補償予測モードを割り当てる。
また、０埋め込み時予測器１５の予測モードとして、４×４イントラ予測モード１、３、５、７、８×８イントラ予測モード０、２、４、６、１６×１６イントラ予測モード０、２および動きベクトルが整数画素精度の位置に対して図９に斜線で示す小数画素位置を指す動き補償予測モードを割り当てる。
また、１埋め込み時予測器１６は、上記以外の全ての予測手段を割り当てる。

このように、出現頻度の少ない予測手段を埋め込み開始時予測器１３および埋め込み終了時予測器１４に割り当てることによって、全体の符号化効率の低下を防ぐ効果がある。
また、このように、０埋め込み時予測器１５の予測モードと１埋め込み時予測器１６の予測モードの予測手段がそれぞれ類似しているものを割り当てることによって、それぞれの埋め込み時の予測手段の選択肢が多くなることにより予測精度の低下が防がれ、全体の符号化効率の低下を防ぐ効果がある。

なお、それぞれの予測器に割り当てるイントラ予測モードや動きベクトル位置は上述の例に限定されるものではない。例えば、０埋め込み時予測器１５のイントラ予測モードとして４×４イントラ予測モード０、１、２、３および８×８イントラ予測モード４、５、６、７を、１埋め込み時予測器１６のイントラ予測モードとして４×４イントラ予測モード４、５、６、７および８×８イントラ予測モード０、１、２、３を割り当てるように構成するなど、いかなる組み合わせでも本発明を適用可能である。
また、実施の形態１では、Ｈ．２６４のイントラ予測モードならびに動き補償予測モードを例にあげて説明したが、動きベクトルを用いるあらゆる予測方式、複数の予測モードを備えるあらゆる音声・音響・映像・画像符号化方式において同様の効果を得ることができる。

差分算出部５は、メディア入力部２より入力される入力信号と信号予測部４より入力される予測信号の差分演算を行い、予測誤差信号として予測誤差圧縮部６に出力する。
予測誤差圧縮部６は、差分算出部５より入力される予測誤差信号を、例えば直交変換、基底変換、波形変換、量子化などによりデータ圧縮を行い、符号化パラメータとしてエントロピー符号化部７および予測誤差伸張部８に出力する。
Ｈ．２６４符号化方式の具体的な場合には、予測誤差信号は４×４または８×８画素単位の整数直交変換が行われ、続いて量子化が行われて符号化パラメータが生成される。
なお、実施の形態１ではＨ．２６４の整数直交変換・量子化を例にあげて説明したが、ＤＣＴ、ＤＦＴ、ウェーブレット変換、ベクトル量子化などあらゆる変換・量子化方式において同様の効果が得られる。

エントロピー符号化部７は、信号予測部４より入力される予測モード情報および予測誤差圧縮部６より入力される符号化パラメータをエントロピー符号化し、符号化データとして出力する。
Ｈ．２６４符号化方式の具体的な場合には、ハフマン符号化または算術符号化が適用されてビットストリームとして符号化データが出力される。なお、その他いかなるエントロピー符号化であっても同様の効果を得ることができる。

予測誤差伸張部８は、予測誤差圧縮部６より入力される符号化パラメータに対して、予測誤差圧縮部６での処理の逆処理である、逆直交変換、逆基底変換、逆波形変換、逆量子化などの処理を行うことによって復号予測誤差信号を生成し加算部９に出力する。
Ｈ．２６４符号化方式の具体的な場合には、符号化パラメータに対して逆量子化に続いて４×４または８×８画素単位の逆整数直交変換が行われて復号予測誤差信号が生成される。
なお、実施の形態１ではＨ．２６４の逆量子化・逆整数直交変換を例にあげて説明したが、逆ＤＣＴ、逆ＤＦＴ、逆ウェーブレット変換、逆ベクトル量子化などあらゆる逆変換・逆量子化方式において同様の効果が得られる。

加算部９は、信号予測部４より入力される予測誤差信号と、予測誤差伸張部８より入力される復号予測誤差信号を加算し、復号信号として復号信号記憶部１０に出力する。
復号信号記憶部１０は、加算部９より入力される復号信号を１または複数フレーム分記憶し、必要に応じて復号信号として信号予測部４に出力する。

次に、この発明の実施の形態１に係るデータ埋め込み装置の動作について図１０を参照して説明する。図１０は、この発明の実施の形態１に係るデータ埋め込み装置の動作を示すフローチャートである。
ステップＳ１０１において、メディア入力部２は、メディアデータが入力されると、メディアデータを、例えば、１フレーム単位で記憶する。また、メディア入力部２は、フレームをさらに分割した小領域ごとに入力信号として差分算出部５に供給する。また、メディア入力部２は、フレーム番号を示す時刻情報および処理対象となっている小領域のフレーム内での位置を示す位置情報を予測器選択部３に供給する。

ステップＳ１０２において、予測器選択部３は、入力される時刻情報および位置情報によって特定される処理対象小領域が、入力されるフレーム埋め込み開始位置情報で示される当該処理対象フレームにおける情報埋め込み開始小領域に符号化処理が達したか否かを判断し、情報埋め込み開始領域に達していない場合ステップＳ１０３に進み、処理対象小領域が情報埋め込み開始小領域である場合ステップＳ１０４に進む。
ステップＳ１０３において、予測器指定情報として「埋め込みなし信号」を信号予測部４に出力し、ステップＳ３００に進む。
ステップＳ１０４において、予測器指定情報として「埋め込み開始信号」を信号予測部４に出力してステップＳ１０５に進む。
ステップＳ１０５において、信号予測部４は、予測器として埋め込み開始時予測器１３を選択するよう動作する。

ステップＳ１０６において、当該処理対象フレームに関連づけるディジタルデータが存在するか否かを判定し、存在する場合にはステップＳ１０７に進み、存在しない場合にはステップＳ１２２に進む。
ステップＳ１０７において、当該フレームに関連づける最後の情報であるか否かを判定し、データが続く場合にはステップＳ１０８に進み、最後の情報である場合にはステップＳ１２３に進む。
ステップＳ１０８において、埋め込むべき情報が２値のうち「０」であるか「１」であるかを判定し、「０」の場合にはステップＳ１０９に進み、「１」の場合にはステップＳ１１１に進む。

ステップＳ１０９において、予測器指定情報として「０埋め込み信号」を出力してステップＳ１１０に進む。
ステップＳ１１０において、予測器として０埋め込み時予測器１５を選択し、０埋め込み時予測器１５は、復号信号記憶部１０より入力される復号信号を用いて処理対象小領域の入力信号に対する予測信号を生成し、ステップＳ１１３に進む。
ステップＳ１１１において、予測器指定情報として「１埋め込み信号」を出力してステップＳ１１２に進む。
ステップＳ１１２において、予測器として１埋め込み時予測器１６を選択し、１埋め込み時予測器１６は、復号信号記憶部１０より入力される復号信号を用いて処理対象小領域の入力信号に対する予測信号を生成し、ステップＳ１１３に進む。

ステップＳ１１３において、予測信号を差分算出部５および加算部９に出力し、ステップＳ１１４に進む。
ステップＳ１１４において、選択された予測手段を識別する情報を予測モード情報としてエントロピー符号化部７に出力し、ステップＳ１１５に進む。
ステップＳ１１５において、差分算出部５は、メディア入力部２からの入力信号と、信号予測部４からの予測信号が入力され、差分演算を行い、予測誤差信号を予測誤差圧縮部６に出力し、ステップＳ１１６に進む。

ステップＳ１１６において、予測誤差圧縮部６は、差分算出部５からの予測誤差信号が入力され、予測誤差信号に対して変換や量子化などのデータ圧縮を行い、その結果得られる符号化パラメータをエントロピー符号化部７および予測誤差伸張部８に出力し、ステップＳ１１７に進む。
ステップＳ１１７において、エントロピー符号化部７は、信号予測部４からの予測モード情報および予測誤差圧縮部６からの符号化パラメータが入力され、エントロピー符号化を行い、得られた符号化データを出力し、ステップＳ１１８に進む。
ステップＳ１１８において、予測誤差伸張部８は、予測誤差圧縮部６からの符号化パラメータが入力され、予測誤差圧縮部６の逆処理である、逆変換、逆量子化などの処理を行い、得られた復号予測誤差信号を加算部９に出力し、ステップＳ１１９に進む。

ステップＳ１１９において、加算部９は、予測誤差信号と復号予測誤差信号を加算し、得られた復号信号を復号信号記憶部１０に出力し、ステップＳ１２０に進む。
ステップＳ１２０において、復号信号記憶部１０は、復号信号が入力され、１つまたは複数フレーム分を記憶し、必要に応じて復号信号として信号予測部４に出力し、ステップＳ１２１に進む。
ステップＳ１２１において、フレームの最後であるか判定し、フレームの最後でない場合にはステップＳ１０６に戻り、フレームの最後の場合には処理を完了する。

ステップＳ１２２において、いずれの予測モードを選択してもよいので、最適な予測モードを選択し、選択された予測器は、復号信号記憶部１０より入力される復号信号を用いて処理対象小領域の入力信号に対する予測信号を生成し、ステップＳ１１３に進む。
ステップＳ１２３において、その次の小領域の処理において、予測器指定情報として「埋め込み終了信号」を信号予測部４に出力し、ステップＳ１１２に進む。
ステップＳ１１２において、予測器として埋め込み終了時予測器１４を選択するよう動作してステップＳ１１３に進む。
一方、ステップＳ１０３に続くステップＳ３００においては、いずれの予測モードを選択してもよいので、最適な予測モードを選択し、選択された予測器は、復号信号記憶部１０より入力される復号信号を用いて処理対象小領域の入力信号に対する予測信号を生成し、ステップＳ３０１に進む。
ステップＳ３０１においてはステップＳ１１３からステップＳ１２０までの一連の処理と同じ処理が行われ、ステップＳ３０２に進む。
ステップＳ３０２において、フレームの最後であるか判定し、フレームの最後でない場合にはステップＳ１０２に戻り、フレームの最後の場合には処理を完了する。

この実施の形態１に係るデータ埋め込み装置１は、メディアデータの符号化のときに、多数存在する予測モードのうちの１つをデータ埋め込み開始位置情報、１つをデータ埋め込み終了位置情報として割当てるため、符号化側と復号化側で埋め込み位置を特定する情報を共有する必要がないため、全体としてデータ量が増大するのを防ぐ効果がある。
また、実施の形態１に係るデータ埋め込み装置１は、メディアデータの符号化のときに、多数存在する予測モードのうち、類似する予測モードを２つのグループに分け、それぞれのグループを埋め込み情報に対応づけるようにしているため、埋め込む情報が符号化効率に与える影響が少なく、埋め込み情報のデータ量が増大してもメディアデータのデータ量が増大するのを防ぐ効果がある。

なお、実施の形態１に係るデータ埋め込み装置１を装置として説明したが、これらの機能を実現するソフトウェアやファームウェアなど固体を持たない手段において実現しても同様の効果を得ることができる。
また、実施の形態１に係るデータ埋め込み装置１では、フレーム埋め込み開始位置情報を入力し、フレーム内の埋め込み開始位置から埋め込みを行いうと共に、埋め込み開始時予測器１３を備えているが、例えば、必ずフレーム内の先頭小領域から埋め込みを開始するなどといった埋め込み開始位置に関する所定のルールを設定することにより、フレーム埋め込み開始位置情報を入力しなくても良いし、埋め込み開始時予測器１３を備えなくても良い。

また、４×４イントラ予測モード、８×８イントラ予測モード、１６×１６イントラ予測モード、動き補償予測モードを用いて説明したが、これら全てを埋め込み時の予測モードとして割り当てる必要はなく、これらのうちの一部の予測モードを割り当てるだけでも同様の効果を得ることができる。

実施の形態２．
図１１は、この発明の実施の形態２に係るデータ抽出装置の構成を示すブロック図である。
このデータ抽出装置２０には、実施の形態１に係るデータ埋め込み装置１によって生成された符号化データが入力され、データ埋め込み装置１によって埋め込まれたディジタルデータが抽出され出力される。
なお、実施の形態２において符号化データとしてＨ．２６４符号化方式によって符号化されたストリームを適用することを例に説明するが、符号化方式としてＨ．２６４符号化方式に限定されるものではない。

データ抽出装置２０は、ヘッダサーチ部２１、エントロピー復号部２２、データ復元部２３を備える。
また、データ抽出装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、インターフェース回路を有するコンピュータから構成され、ＲＯＭに格納されているプログラムを読み出し、ＣＰＵで演算処理することにより、ディジタルデータが埋め込まれ符号化された符号化データからディジタルデータを抽出し出力する。
データ抽出装置２０にはデータ埋め込み装置１から出力された符号化データが記録媒体や伝送媒体を介して入力される。

ヘッダサーチ部２１は、処理対象の符号化データアドレスが当該符号化データの先頭位置である場合、または、入力されるヘッダサーチ開始フラグが「ヘッダサーチ開始」信号である場合に、入力される符号化データのフレーム先頭位置を示すヘッダをサーチし、サーチの結果得られるフレーム先頭位置情報をエントロピー復号部２２に通知する。
Ｈ．２６４符号化方式では、フレーム先頭を識別するためのコードとしてマクロブロック開始番号が０番となるスライスヘッダが多重されているため、当該スライスヘッダをサーチし、スライスヘッダ先頭アドレスをフレーム先頭位置情報として出力するよう構成することができる。
なお、本発明はＨ．２６４符号化方式に限定する必要はなく、フレーム単位もしくはそれに順ずるフィールドやスライス、ビデオパケットなどの一定の符号化単位の先頭位置を検出する手法であればいかなる手法であっても適用することができる。

エントロピー復号部２２は、フレーム先頭位置情報によって指定されるアドレスから符号化データを読み出し、エントロピー復号を行って得られるパラメータのうち、データ埋め込みに利用した予測モードを示すパラメータのみを復号パラメータとしてデータ復元部２３に出力する。

データ復元部２３は、エントロピー復号部２２より入力される復号パラメータがデータ埋め込み装置１における埋め込み終了時予測器１４に割り当てられた予測手段であるか否かを検出し、当該復号パラメータが埋め込み終了時予測器１４に割り当てられた予測手段でない場合には、ヘッダサーチ開始フラグとして「ヘッダサーチ停止」信号をヘッダサーチ部２１に出力する。
また、復号パラメータが埋め込み終了時予測器１４に割り当てられた予測手段である場合には、ディジタルデータの出力を停止する。

また、データ復元部２３は、当該復号パラメータがデータ埋め込み装置１における０埋め込み時予測器１５に割り当てられた予測手段であるか、１埋め込み時予測器１６に割り当てられた予測手段であるかを検出する。復号パラメータが０埋め込み時予測器１５に割り当てられた予測手段である場合には、ディジタルデータとして「０」を出力し、逆に記復号パラメータが１埋め込み時予測器１６に割り当てられた予測手段である場合には、ディジタルデータとして「１」を出力する。
また、復号パラメータが埋め込み開始時予測器１３に割り当てられた予測手段である場合には、ヘッダサーチ開始フラグとして「ヘッダサーチ開始」信号をヘッダサーチ部２１に通知する。

次に、この発明の実施の形態２に係るデータ抽出装置の動作について図１２を参照して説明する。図１２は、この発明の実施の形態２に係るデータ抽出装置の動作を示すフローチャートである。
ステップＳ２０１において、この発明の実施の形態１に係るデータ埋め込み装置１によってディジタルデータが埋め込まれた符号化データがデータ抽出装置２０に入力されると、ヘッダサーチ部４０１は、入力された符号化データの先頭からヘッダサーチを行い、ステップＳ２０２に進む。
ステップＳ２０２において、フレーム先頭位置を示すヘッダが発見されたときのアドレスをフレーム先頭位置情報としてエントロピー復号部２２に通知する。

ステップＳ２０３において、エントロピー復号部２２は、フレーム先頭位置情報によって指定されるアドレスから符号化データを読み出し、エントロピー復号を行って得られるパラメータのうち、データ埋め込みに利用した予測モードを示すパラメータのみを復号パラメータとしてデータ復元部２３に出力して、ステップＳ２０４に進む。

ステップＳ２０４において、データ復元部２３は、エントロピー復号部２２より入力される復号パラメータがデータ埋め込み装置１における埋め込み終了時予測器１４に割り当てられた予測手段であるか否かを検出し、当該復号パラメータが埋め込み終了時予測器１４に割り当てられた予測手段でない場合には、ステップＳ２０５に進み、当該復号パラメータが埋め込み終了時予測器１４に割り当てられた予測手段の場合には、ステップＳ２１０に進む。
ステップＳ２０５において、ヘッダサーチ開始フラグとして「ヘッダサーチ停止」をヘッダサーチ部２１に出力してステップＳ２０６に進む。

ステップＳ２０６において、当該復号パラメータがデータ埋め込み装置１における０埋め込み時予測器１５に割り当てられた予測手段であるか、１埋め込み時予測器１６に割り当てられた予測手段であるかを判定し、０埋め込み時予測器１５に割り当てられた予測手段である場合、ステップＳ２０７に進み、１埋め込み時予測器１６に割り当てられた予測手段である場合、ステップＳ２０８に進む。
ステップＳ２０７において、ディジタルデータとして「０」を出力し、ステップＳ２０９に進む。
ステップＳ２０８において、ディジタルデータとして「１」を出力し、ステップＳ２０９に進む。

ステップＳ２０９において、符号化データの残りが有るか否かを判定し、符号化データの残りがある場合、ステップＳ２０３に戻り、符号化データが残っていない場合、処理を終了する。
ステップＳ２１０において、ディジタルデータの出力を停止し、へッダサーチ開始フラグとして「ヘッダサーチ開始」をヘッダサーチ部２１に通知し、ステップＳ２０１に戻る。

この実施の形態２に係るデータ抽出装置２０は、ディジタルデータの埋め込まれた符号化データから埋め込まれたディジタルデータを抽出するときに、ヘッダサーチと可変長復号を行い、復号されたパラメータを「０」または「１」に割り当てるだけの処理でディジタルデータが抽出されるため、演算量の少ない処理で埋め込みデータの抽出ができる。
なお、実施の形態２に係るデータ抽出装置２０を装置として説明したが、これらの機能を実現するソフトウェアやファームウェアなど固体を持たない手段において実現しても同様の効果を得ることができる。

この発明の実施の形態１に係るデータ埋め込み装置の構成を示すブロック図である。 この発明の実施の形態１に係る信号予測部の構成を示すブロック図である。 Ｈ．２６４符号化方式の４×４イントラ予測モードについて説明する概念図である。 Ｈ．２６４符号化方式の８×８イントラ予測モードについて説明する概念図である。 Ｈ．２６４符号化方式の１６×１６４イントラ予測モードについて説明する概念図である。 Ｈ．２６４符号化方式の色差イントラ予測モードについて説明する概念図である。 Ｈ．２６４符号化方式の動きベクトルについて説明する概念図である。 この発明の実施の形態１に係る信号予測部の各予測器に割り当てるイントラ予測モードの一例を示す図である。 この発明の実施の形態１に係る信号予測部の各予測器に割り当てる動きベクトルの一例を示す図である。 この発明の実施の形態１に係るデータ埋め込み装置の動作を示すフローチャートである。 この発明の実施の形態２に係るデータ抽出装置の構成を示すブロック図である。 この発明の実施の形態２に係るデータ抽出装置の動作を示すフローチャートである。

符号の説明

１ データ埋め込み装置、２ メディア入力部、３ 予測器選択部、４ 信号予測部、５ 差分算出部、６ 予測誤差圧縮部、７ エントロピー符号化部、８ 予測誤差伸張部、９ 加算部、１０ 復号信号記憶部、１３ 埋め込み開始時予測器、１４ 埋め込み終了時予測器、１５ ０埋め込み時予測器、１６ １埋め込み時予測器、１７ スイッチ回路、２０ データ抽出装置、２１ ヘッダサーチ部、２２ エントロピー復号部、２３ データ復元部。

Claims (14)

1. 第一のデータに第二のデータが埋め込まれ符号化された符号化データを出力するデータ埋め込み装置であって、
   上記第一のデータのうちの処理対象データに対する予測値を算出する予測方式を、上記第二のデータに基づいて選択する選択手段と、
   上記選択手段により選択された予測方式により上記処理対象データの上記予測値を算出する予測手段と、
   上記予測値を用いて上記処理対象データの予測誤差を求める差分算出手段と、
   上記符号化データを出力する予測誤差演算手段と、
   を備え、
   上記予測手段は、
   上記第二のデータのビット値が０である場合に予測を行う０埋め込み時予測手段と、
   上記第二のデータのビット値が１である場合に予測を行う１埋め込み時予測手段と、
   上記第二のデータの埋め込みが完了した場合に予測を行う埋め込み終了時予測手段と、
   を備えることを特徴とするデータ埋め込み装置。
2. 上記予測誤差演算手段は、
   上記予測誤差を変換・量子化処理し符号化パラメータを出力する予測誤差圧縮手段と、
   上記符号化パラメータをエントロピー符号化した上記符号化データを出力するエントロピー符号化手段と、
   を備えることを特徴とする請求項１に記載のデータ埋め込み装置。
3. 上記符号化パラメータを逆量子化・逆変換処理し復号予測誤差を出力する予測誤差伸張手段と、
   上記復号予測誤差に上記予測値を加算した復号データを出力する加算手段と、
   上記復号データを格納する復号データ記憶手段と、
   を備え、
   上記予測手段は、上記復号データ記憶手段に格納された上記復号データを用いて予測を行うことを特徴とする請求項２に記載のデータ埋め込み装置。
4. 複数の予測手段を備え、
   上記選択手段は、発生頻度の低い上記予測手段を上記埋め込み終了時予測手段に割り当て、その他の上記予測手段を互いに類似する予測手段の分布となるように第一の予測モードグループと第二の予測モードグループに分類し、上記第一の予測モードグループを０埋め込み予測手段に割り当て、上記第二の予測モードグループを１埋め込み予測手段に割り当てることを特徴とする請求項１乃至３のいずれか一項に記載のデータ埋め込み装置。
5. 上記第二のデータの埋め込みを開始する上記第一のデータの位置を指定する埋め込み開始位置情報が入力され、
   上記予測手段は、上記第一のデータの埋め込みを開始する位置に埋め込みを開始する場合に予測を行う埋め込み開始時予測手段を備えることを特徴とする請求項１乃至４のいずれか一項に記載のデータ埋め込み装置。
6. 上記選択手段は、発生頻度の低い予測手段を上記埋め込み開始時予測手段に割り当てることを特徴とする請求項５に記載のデータ埋め込み装置。
7. 上記第一のデータは映像データであり、
   Ｈ．２６４符号化方式で符号化を行い、
   上記埋め込み終了時予測手段に割り当てる予測手段は、４×４イントラ予測モードまたは８×８イントラ予測モードの予測モード番号の１番大きい予測モードを割り当てることを特徴とする請求項１乃至６のいずれか一項に記載のデータ埋め込み装置。
8. 埋め込み終了時予測手段に割り当てるイントラ予測モードを除くイントラ予測モードを２つの互いに類似する予測モード分布を有するグループである第一の予測モードグループと第二の予測モードグループに分類し、
   上記０埋め込み時予測手段には上記第一の予測モードグループに属する予測手段を割り当て、
   上記１埋め込み時予測手段には上記第二の予測モードグループに属する予測手段を割り当てることを特徴とする請求項７に記載のデータ埋め込み装置。
9. 上記第一のデータは映像データであり、
   Ｈ．２６４符号化方式で符号化を行い、
   上記埋め込み終了時予測手段に割り当てる予測手段は、動きベクトルが整数画素位置に対して垂直下方向または水平右方向の少なくともいずれか一方に特定の小数画素ずれた動き補償予測モードを割り当てることを特徴とする請求項１乃至６のいずれか一項に記載のデータ埋め込み装置。
10. 整数画素位置の動きベクトルおよび動きベクトルが整数画素位置に対して垂直下方向または水平右方向の少なくともいずれか一方に小数画素ずれる動きベクトルを、上記埋め込み終了時予測手段に割り当てるものを除いて、２つの互いに類似する予測モード分布を有するグループである第一の予測モードグループと第二の予測モードグループに分類し、
    上記０埋め込み時予測手段には上記第一の予測モードグループに属する予測手段を割り当て、
    上記１埋め込み時予測手段には上記第二の予測モードグループに属する予測手段を割り当てることを特徴とする請求項９に記載のデータ埋め込み装置。
11. 第一のデータに第二のデータを埋め込み符号化して得られる符号化データを出力するデータ埋め込み方法であって、
    上記第一のデータの処理対象データに対する予測値を算出する予測方式を、上記第二のデータに基づいて選択する選択ステップと、
    上記選択された予測方式により上記処理対象データに対する上記予測値を算出する予測ステップと、
    上記予測値を用いて上記処理対象データの予測誤差を求める差分算出ステップと、
    上記符号化データを出力する予測誤差演算ステップと、
    を含み、
    上記予測ステップは、
    上記第二のデータのビット値が０である場合に予測を行う０埋め込み時予測ステップと、
    上記第二のデータのビット値が１である場合に予測を行う１埋め込み時予測ステップと、
    上記第二のデータの埋め込みが完了した場合に予測を行う埋め込み終了時予測ステップと、
    を含むことを特徴とするデータ埋め込み方法。
12. 第一のデータに第二のデータが埋め込まれ符号化された符号化データから上記第二のデータを抽出しディジタルデータとして出力するデータ抽出装置であって、
    上記符号化データに含まれるヘッダ情報を検索しヘッダ位置を出力するヘッダサーチ手段と、
    上記ヘッダ位置から順に上記符号化データを復号し、符号化されている予測手段を特定する予測モードを出力する復号手段と、
    上記予測モードが第二のデータのビット値が０である場合の予測モードである場合にディジタルデータとして０を出力し、上記予測モードが第二のデータのビット値が１である場合の予測モードである場合にディジタルデータとして１を出力し、上記予測モードが第二のデータの埋め込み終了を示す場合の予測モードである場合に上記ヘッダサーチ手段にヘッダサーチ開始を指示するデータ復元手段と、
    を備えることを特徴とするデータ抽出装置。
13. 上記データ復元手段は、上記予測モードが第二のデータの埋め込み開始を示す予測モードが復号されるまで上記ディジタルデータを出力しないことを特徴とする請求項１２に記載のデータ抽出装置。
14. 第二のデータが埋め込まれた第一のデータの符号化データから、第二のデータを抽出しディジタルデータとして出力するデータ抽出方法であって、
    上記符号化データに含まれるヘッダ情報を検索しヘッダ位置を出力するヘッダサーチステップと、
    上記ヘッダ位置から順に上記符号化データを復号し、符号化されている予測手段を特定する予測モードを出力する復号ステップと、
    上記予測モードが第二のデータのビット値が０である場合の予測モードである場合にディジタルデータとして０を出力し、上記予測モードが第二のデータのビット値が１である場合の予測モードである場合にディジタルデータとして１を出力し、上記予測モードが第二のデータの埋め込み終了を示す場合の予測モードである場合にヘッダサーチステップにヘッダサーチ開始を指示するデータ復元ステップと、
    を備えることを特徴とするデータ抽出方法。

Images