JP4020302B2 - 情報埋め込み装置および情報抽出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データ中に別な情報を視覚的にわからないように埋め込む電子透かし技術に関し、より特定的には、画像データの周波数成分に情報を埋め込む電子透かし技術に関する。
【０００２】
【従来の技術】
近年、コンピュータの高性能化、低価格化が急激に進行したのに加え、記録メディアの大容量化、インターネットの爆発的普及等の要因が重なり、誰もが容易にデジタル画像、デジタル映像をパソコンに取り込み、流通させることができるようになってきた。一方、産業界においても、デジタル放送が開始され、また、インターネットのブロードバンド化にともない、デジタル映像やデジタル音声の家庭への配信事業が開始される等、コンテンツ・ビジネスへの注目度が急速に高まっている。
【０００３】
このような情勢の下、映画産業においても、コンテンツの制作から保存まで、すべてをデジタル化し、ブロードバンドインターネット経由で映画館や家庭に配信する動きが出てきている（「デジタルシネマ」，映像情報メディア学会誌，Ｖｏｌ．５５，Ｎｏ．７（２００１−７））。
【０００４】
デジタル・データには、品質劣化しないという特徴があるため、不正に二次利用される場合がある。特に、著作物としての価値が高いものほど、その危険性は高い。実際、音楽業界においては、不正コピーによるＣＤ売上減少が指摘されており、これまでのビジネス構造の根幹を揺るがす大きな問題となっている。デジタルシネマにおいても、本質的に同じ問題を内包しており、コンテンツの不正利用をいかに防ぐかが大きな課題になっている。この問題を解決するための手段として注目されているのが、画像データ中に視覚的にわからないようにＩＤ等のデジタル情報を埋め込む電子透かし技術である。
【０００５】
動画にＩＤ等のデジタル情報を埋め込む場合、非圧縮の動画像データにデジタル情報を埋め込むのが現在の主流である（例えば、荒木他：「ウェーブレット変換を用いた動画像向け電子透かし方式」，映像情報メディア学会誌，Ｖｏｌ．５４，Ｎｏ．１１（２０００−１１））。
【０００６】
【発明が解決しようとする課題】
デジタルシネマにおいては、従来の放送よりも高い品質の画像が求められるため、映像は、必然的に高解像度（例えば１９２０×１０８０）になる。そのデータ量は膨大であるので、通常、画像データは、ＭＰＥＧ等の圧縮符号化を施した後に保存、配信される。したがって、デジタルシネマ・コンテンツは、圧縮された状態で保存されることとなる。
【０００７】
そのため、非圧縮画像にデジタル情報を埋め込む方式では、ＭＰＥＧ符号化された動画像データをいったん復号して非圧縮データにし、この非圧縮データに対してデジタル情報を埋め込むこととなる。また、情報抽出の際、この方式では、ＭＰＥＧ符号化された動画像データをいったん復号して非圧縮データにし、この非圧縮データから情報を抽出することとなる。したがって、この方式では、情報の埋め込み・抽出の際、再度の復号化および符号化を要することとなるので、埋め込み・抽出の処理に時間がかかるという問題がある。さらに、この方式では、デジタル情報の埋め込みによる画質劣化の他、ＭＰＥＧ再符号化処理による画質劣化も発生する。
【０００８】
それゆえ、本発明の第１の目的は、ＭＰＥＧ符号化された動画データに対し、品質劣化を最小限に抑えつつ、かつ高速に情報の埋め込みおよび抽出を行なうことができる装置を提供することである。
【０００９】
上記目的を達成するために、ＭＰＥＧ信号に電子透かし情報を直接埋め込む手法が存在する。その代表例は、画像の動きベクトルを操作することにより、情報を埋め込む方式や、ＤＣＴ係数行列における交流成分の係数（ＡＣ係数）を操作することによって情報を埋め込む方式である。
【００１０】
しかし、動きベクトルを操作する方式では、再符号化処理により、簡単にデジタル情報が除去されるという問題がある。また、ＡＣ係数を操作する方式では、画像データの幾何学的変換により、デジタル情報が除去されてしまうという問題がある。
【００１１】
それゆえ、本発明の第２の目的は、解像度変換や回転変換など通常の画像処理で起こりうる幾何学的処理に対しても情報が消失せず残るように、情報を埋め込む装置を提供することである。
【００１２】
【課題を解決するための手段および発明の効果】
第１の発明は、複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むための装置であって、
他のフレームから独立して一枚の静止画となっている静止画フレームを複数のフレームから抽出する静止画フレーム抽出手段と、
静止画フレーム抽出手段が抽出した静止画フレームを復号化して、この復号化で得られたデータを所定の画素数で構成される２次元ＤＣＴ係数行列に複数分割し、分割された複数の２次元ＤＣＴ係数行列を一つの２次元ＤＣＴ係数行列群として求める復号化手段と、
隣接するｘ×ｙ個の２次元ＤＣＴ係数行列を一単位として、２次元ＤＣＴ係数行列群を複数のブロックに分割する分割手段と、
２次元ＤＣＴ係数行列上におけるｕ＝０またはｖ＝０とならないＫ種類の周波数成分（ｕ，ｖ）について、Ｋ種類の周波数成分（ｕ，ｖ）における各成分の絶対値の和を特徴量として算出する特徴量算出手段と、
特徴量に基づいて、２次元ＤＣＴ係数行列上のＤＣ成分を修正するためのＤＣ成分修正値を決定する修正値決定手段と、
ｘ×ｙ個の２次元ＤＣＴ係数行列のＤＣ成分を、互いに隣接するブロックを一組として、埋め込むべきデジタル情報に基づいて、互いに隣接するブロックの組単位でＤＣ成分修正値を加算または減算して変化させるＤＣ成分変化手段と、
ＤＣが変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力する動画像データ出力手段とを備え、
埋め込むべきデジタル情報は、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分間の大小関係によって定められることを特徴とする。
【００１３】
上記第１の発明によれば、圧縮符号化された動画データ中、静止画フレームのみを復号化してデジタル情報を埋め込み、この静止画フレームのみを符号化するので、全てのフレームを復号化、符号化する必要がない。したがって、高速に電子透かし情報を埋め込むことが可能な情報埋め込み装置が提供できる。また、全てのフレームを再復号化しなくてよいので、デジタル情報の埋め込みによる画質劣化を最低限に抑えることができる。また、互いに隣接するブロックに含まれる複数の２次元ＤＣＴ係数行列の成分を変化させることによって、ブロック間の相対関係を決め、デジタル情報を定義することとなる。したがって、解像度変換等の幾何学的変換が施されたとしても、ブロック単位でデジタル情報が残ることとなり、埋め込んだ情報が除去されにくいという効果が生まれる。また、画像的な特徴を示す特徴量に基づいて、隣接するブロック上のＤＣ成分を変化させることとなるので、画質劣化をさらに抑圧することが可能となる。さらに、ｕ＝０またはｖ＝０となる周波数以外の周波数成分をＫ種類の周波数成分とし、エッジに関する周波数成分を考慮せずに特徴量を算出してＤＣ成分を変化させるので、画質劣化をさらに抑圧することが可能となる。
【００１４】
第２の発明は、第１の発明において、動画像データは、ＭＰＥＧ方式による動画像データであり、静止画フレームは、Ｉピクチャフレームである。
【００１５】
上記第２の発明によれば、広く用いられているＭＰＥＧ動画データに応用することが可能となり、著作権の保護など、実用面において、非常に有効である。
【００２０】
第３の発明は、第１の発明において、修正値決定手段は、特徴量があるしきい値以上の場合のＤＣ成分修正値を、特徴量が当該しきい値未満の場合のＤＣ成分修正値よりも大きな値とすることを特徴とする。
【００２１】
特徴量があるしきい値以上である場合、複雑な領域であることを意味する。複雑な領域では、複雑でない領域に比べＤＣ成分を大きく変化させることとなるが、複雑な領域でのＤＣ成分の変化は、視覚的には影響が少ない。
上記第３の発明によれば、複雑な領域では、ＤＣ成分の変化を大きくしているので、幾何学的変換が施されてもデジタル情報が残りやすくなる。
【００２２】
第４の発明は、第１の発明において、１ビットの情報を埋め込む場合において、ＤＣ成分変化手段は、互いに隣接する二つのブロックを選択し、一方のブロックに含まれる２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加算し、他方のブロックにおける２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を減算して、埋め込みビットに応じてＤＣ成分の大小関係を定める。
【００２３】
上記第４の発明によれば、１ビットの埋め込みに隣接する二つのブロックを用いることとなるので、解像度変換をはじめとする幾何学的変換が施されても、デジタル情報が残りやすくなる。
【００２４】
第５の発明は、第１の発明において、
特徴量算出手段が算出した特徴量に基づいて、ブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分以外の周波数成分を修正するための修正行列を決定する修正行列決定手段と、
埋め込むべきデジタル情報に基づいて、隣接するブロックの組ごとに修正行列を２次元ＤＣＴ係数行列に加算または減算して、２次元ＤＣＴ係数行列の特徴量を変化させる特徴量変化手段とをさらに備え、
埋め込むべきデジタル情報は、さらに、隣接するブロックに含まれる２次元ＤＣＴ係数行列における特徴量の大小関係によっても定められることを特徴とする。
【００２５】
上記第５の発明によれば、さらにＤＣ成分以外の周波数成分を変化させて、隣接するブロックにおける特徴量の大小関係によってデジタル情報を定義する。したがって、ＤＣ成分の変化によるデジタル情報の埋め込みに加え、ＤＣ成分以外の周波数成分の変化によるデジタル情報の埋め込みも行われることとなるので、埋め込むことができる情報量を増やすことが可能となる。また、画像的な特徴を示す特徴量に基づいて、隣接するブロック上のＤＣ成分以外の周波数成分を変化させることとなるので、画質劣化をさらに抑圧することが可能となる。
【００２８】
第６の発明は、第５の発明において、修正行列決定手段によって決定される修正行列は、特徴量があるしきい値未満の場合、修正行列上、少なくとも解像度変換処理や回転変換処理によるデジタル情報の消失が生じない周波数成分に値が設定されており、特徴量があるしきい値以上の場合、修正行列上、少なくとも解像度変換処理や回転変換処理によるデジタル情報の消失が生じない周波数成分に、あるしきい値未満の場合における値よりも大きな値が設定されている。
【００２９】
特徴量があるしきい値以上である場合、複雑な領域であることを意味する。複雑な領域では、複雑でない領域に比べＤＣ成分以外の周波数成分を大きく変化させることとなるが、複雑な領域でのこの周波数成分の変化は、視覚的には影響が少ない。
上記第６の発明によれば、複雑な領域では、ＤＣ成分以外の周波数成分の変化を大きくしているので、幾何学的変換が施されてもデジタル情報が残りやすくなる。
【００３０】
第７の発明は、第５の発明において、１ビットの情報を埋め込む場合において、特徴量変化手段は、互いに隣接する二つのブロックを選択し、一方のブロック上における２次元ＤＣＴ係数行列に修正行列を加算し、他方のブロック上における２次元ＤＣＴ係数行列に修正行列を減算して、埋め込みビットに応じて特徴量の大小関係を定める。
【００３１】
上記第７の発明によれば、１ビットの埋め込みに隣接する二つのブロックを用いることとなるので、解像度変換をはじめとする幾何学的変換が施されても、デジタルデータが残りやすくなる。
【００３２】
第８の発明は、第１の発明において、ＤＣ成分変化手段は、２次元ＤＣＴ係数行列群中、ＤＣ成分を変化させてデジタル情報を埋め込む２次元ＤＣＴ係数行列と、ＤＣ成分を変化させて回転変換処理に対抗するためのキャリブレーション用情報を埋め込む２次元ＤＣＴ係数行列とを区別し、
埋め込むべきデジタル情報は、デジタル情報を埋め込む２次元ＤＣＴ係数行列のＤＣ成分間の大小関係によって定められることを特徴とする。
【００３３】
上記第８の発明によれば、幾何学的回転に対抗するためのキャリブレーション用の情報が埋め込まれることとなるので、回転等の幾何学変換が行われたとしても、このキャリブレーション用の情報を参照して、ブロックを正しい位置に戻すことができる。したがって、正しい位置に戻ったブロックからデジタル情報を取り出すことが可能となる。
【００４６】
第９の発明は、複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むための方法であって、
他のフレームから独立して一枚の静止画となっている静止画フレームを複数のフレームから抽出するステップと、
抽出した静止画フレームを復号化して、その復号化で得られたデータを所定の画素数で構成される２次元ＤＣＴ係数行列に複数分割し、分割された複数の２次元ＤＣＴ係数行列を一つの２次元ＤＣＴ係数行列群として求めるステップと、
隣接するｘ×ｙ個の２次元ＤＣＴ係数行列を一単位として、２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
２次元ＤＣＴ係数行列上におけるｕ＝０またはｖ＝０とならないＫ種類の周波数成分（ｕ，ｖ）について、Ｋ種類の周波数成分（ｕ，ｖ）における各成分の絶対値の和を特徴量として算出するステップと、
特徴量に基づいて、２次元ＤＣＴ係数行列上のＤＣ成分を修正するためのＤＣ成分修正値を決定するステップと、
ｘ×ｙ個の２次元ＤＣＴ係数行列のＤＣ成分を、互いに隣接するブロックを一組として、埋め込むべきデジタル情報に基づいて、互いに隣接するブロックの組単位でＤＣ成分修正値を加算または減算して変化させるステップと、
ＤＣ成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力するステップとを備え、
埋め込むべきデジタル情報は、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分間の大小関係によって定められることを特徴とする。
【００５０】
第１０の発明は、複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むためコンピュータ装置で実行されるプログラムであって、
他のフレームから独立して一枚の静止画となっている静止画フレームを複数のフレームから抽出するステップと、
抽出した静止画フレームを復号化して、その復号化で得られたデータを所定の画素数で構成される２次元ＤＣＴ係数行列に複数分割し、分割された複数の２次元ＤＣＴ係数行列を一つの２次元ＤＣＴ係数行列群として求めるステップと、
隣接するｘ×ｙ個の２次元ＤＣＴ係数行列を一単位として、２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
２次元ＤＣＴ係数行列上におけるｕ＝０またはｖ＝０とならないＫ種類の周波数成分（ｕ，ｖ）について、Ｋ種類の周波数成分（ｕ，ｖ）における各成分の絶対値の和を特徴量として算出するステップと、
特徴量に基づいて、２次元ＤＣＴ係数行列上のＤＣ成分を修正するためのＤＣ成分修正値を決定するステップと、
ｘ×ｙ個の２次元ＤＣＴ係数行列のＤＣ成分を、互いに隣接するブロックを一組として、埋め込むべきデジタル情報に基づいて、互いに隣接するブロックの組単位でＤＣ成分修正値を加算または減算して変化させるステップと、
ＤＣ成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力するステップとを備え、
埋め込むべきデジタル情報は、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分間の大小関係によって定められることを特徴とする。
【００５４】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る情報埋め込み装置１００の構成を示す図である。図１において、情報埋め込み装置１００は、ＭＰＥＧデータ入力制御部１２０と、ＭＰＥＧデータ出力制御部１３０と、埋め込み部１４０と、復号化部１５０と、符号化部１６０と、埋め込み行列選択部１１３と、特徴量算出部１１４と、埋め込み情報入力制御部１１９と、修正値定義部１７０とを備える。復号化部１５０は、可変長符号復号化部１１１と、逆量子化部１１２とを含む。埋め込み部１４０は、ＤＣ成分修正部１１５と、特徴量修正部１１６とを含む。符号化部１６０は、量子化部１１７と、可変長符号符号化部１１８とを含む。
【００５５】
ＭＰＥＧデータ入力制御部１２０は、デジタル情報（以下、埋め込みデータという）が埋め込まれる前のＭＰＥＧデータを読み込む。ＭＰＥＧデータ入力制御部１２０は、ＭＰＥＧデータ中、Ｉピクチャフレームを可変長符号復号化部１１１に与え、ＢおよびＰピクチャフレームをＭＰＥＧデータ出力部１３０に与える。埋め込み情報入力制御部１１９は、埋め込みデータを読み込む。ＭＰＥＧデータ出力制御部１３０は、埋め込みデータが埋め込まれたＭＰＥＧデータを出力する。
【００５６】
可変長符号復号化部１１１は、ＭＰＥＧデータ入力制御部１２０が読み込んだＭＰＥＧデータの内、Ｉピクチャフレームのみを可変長復号化して出力する。逆量子化部１１２は、可変長符号復号化部１１１が出力したデータを逆量子化して出力する。埋め込み行列選択部１１３は、逆量子化部１１２が出力したデータを８×８単位に分割して複数の２次元ＤＣＴ係数行列を求め、それを２次元ＤＣＴ係数行列群とする。さらに、埋め込み行列選択部１１３は、２次元ＤＣＴ係数行列群の中から埋め込みデータを埋め込むべき２次元ＤＣＴ係数行列を選択する。
【００５７】
特徴量算出部１１４は、埋め込み行列選択部１１３が選択した２次元ＤＣＴ係数行列におけるエッジ成分を除いたＡＣ成分に基づいて、２次元ＤＣＴ係数行列の特徴量を算出する。ここでエッジ成分とは、２次元ＤＣＴ係数行列の周波数成分を（ｕ，ｖ）とした場合、ｕ＝０またはｖ＝０となる周波数成分のことをいう。特徴量は、２次元ＤＣＴ係数行列によって得られる８×８画素の画像上の複雑さを示す量である。特徴量については、後で詳述する。
【００５８】
修正値定義部１７０には、特徴量と対応して、２次元ＤＣＴ係数行列におけるＤＣ成分の修正値（以下、ＤＣ成分修正値という）およびエッジ成分を除いたＡＣ成分の修正行列（以下、ＡＣ成分修正行列という）が定義されている。ＤＣ成分修正値およびＡＣ成分修正行列は、予め実験的に求めておき、修正値定義部１７０に登録しておく。ＤＣ成分修正値およびＡＣ成分修正行列については、後で詳述する。
【００５９】
ＤＣ成分修正部１１５は、修正値定義部１７０を参照して、特徴量算出部１１４が算出した特徴量に対応するＤＣ成分修正値を取得する。さらに、ＤＣ成分修正部１１５は、２次元ＤＣＴ係数行列群を複数のブロックに分割し、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分にＤＣ成分修正値を加算または減算する。ＤＣ成分修正部１１５は、ＤＣ成分が変化された２次元ＤＣＴ係数行列群を特徴量修正部１１６に送る。
【００６０】
特徴量修正部１１６は、修正値定義部１７０を参照して、特徴量算出部１１４が算出した特徴量に対応するＡＣ成分修正行列を取得する。さらに、特徴量修正部１１６は、ＤＣ成分修正部１１５から送られてくる２次元ＤＣＴ係数行列群上、互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列のＡＣ成分（エッジ成分を除く）にＡＣ成分修正行列を加算あるいは減算する。特徴量修正部１１６は、ＡＣ成分が変化された２次元ＤＣＴ係数行列群を量子化部１１７に送る。
【００６１】
量子化部１１７は、特徴量修正部１１６から送られてくる２次元ＤＣＴ係数行列を量子化して出力する。可変長符号符号化部１１８は、量子化部１１７が出力する量子化後の２次元ＤＣＴ係数行列を可変長符号化してＭＰＥＧデータのＩピクチャフレームを作成し、ＭＰＥＧデータ出力部１３０に送る。ＭＰＥＧデータ出力制御部１３０は、ＭＰＥＧ入力制御部１２０および可変長符号符号化部１１８から入力されるＭＰＥＧデータのフレームを合わせてピクチャグループを作成し、埋め込みデータが埋め込まれたＭＰＥＧデータを出力する。
【００６２】
次に、情報埋め込み装置１００の動作について説明する。以下に示す動作は、コンピュータ装置を用いてソフトウエア的に行っても良いし、各機能部の処理を行うハードウエア回路によって実現しても良い。
【００６３】
図２は、情報埋め込み装置１００の動作を示すフローチャートである。図３は、情報埋め込み装置１００の動作を具体的に説明するためにＭＰＥＧデータおよび２次元ＤＣＴ係数行列群の構成を模式的に示した図である。以下、図２および図３を参照しながら、情報埋め込み装置１００の動作について説明する。まず、ＭＰＥＧデータ入力制御部１２０は、ＭＰＥＧデータを読み込んでおく。また、埋め込み情報入力制御部１１９は、埋め込みデータを読み込んでおく（ステップＳ１０１）。
【００６４】
次に、ＭＰＥＧデータ入力制御部１２０は、読み込んだＭＰＥＧデータを先頭から順番にフレーム単位で認識し、認識したフレームがＩピクチャであるか否かを判断する（ステップＳ１０２）。
Ｉピクチャでない場合、ＭＰＥＧデータ入力制御部１２０は、認識したフレームをＭＰＥＧデータ出力制御部１３０に送り（ステップＳ１１２）、ステップＳ１０２の動作に戻って次のフレームを認識する。
【００６５】
一方、Ｉピクチャである場合、ＭＰＥＧデータ入力制御部１２０は、当該フレームを可変長符号復号化部１１１に送る。フレームを受け取った可変長符号復号化部１１１は、Ｉピクチャフレームを可変長復号化して、逆量子化部１１２に送る。逆量子化部１１２は、可変長復号化後のデータを逆量化して輝度に関する２次元ＤＣＴ係数行列群を取得して、埋め込み行列選択部１１３に送る（ステップＳ１０３）。
【００６６】
次に、埋め込み行列選択部１１３は、２次元ＤＣＴ係数行列群に含まれる２次元ＤＣＴ係数行列を一つ一つ認識して、埋め込みデータを埋め込むべき２次元ＤＣＴ係数行列であるか否かを判断する（ステップＳ１０４）。この判断は、以下のようにして行う。例えば、２次元ＤＣＴ係数行列が、１フレームの左上端から数えて、水平方向にｉ番目、垂直方向にｊ番目に位置する場合、埋め込み行列選択部１１３は、（ｉ＋ｊ）が奇数であれば当該行列に埋め込みデータを埋め込むと判断し、偶数であれば当該行列に埋め込みデータを埋め込まないと判断する。このような場合、図３に示すように、１枚の２次元ＤＣＴ係数行列群上、情報を埋め込むべき２次元ＤＣＴ係数行列と埋め込まない２次元ＤＣＴ係数行列とは、市松模様状に分布されることとなる。
【００６７】
ステップＳ１０４の判断において、埋め込みを行うべき行列でないと判断した場合、埋め込み行列選択部１１３は、当該行列をＤＣ成分修正部１１５に送り、ステップＳ１０６の動作に進む。一方、埋め込みを行うべき行列であると判断した場合、埋め込み行列選択部１１３は、当該行列を特徴量算出部１１４に送る。特徴量算出部１１４は、送られてきた２次元ＤＣＴ係数行列の特徴量算出係数（エッジ成分を除くＡＣ成分のこと、図３参照）を参照して、特徴量を算出し、２次元ＤＣＴ係数行列と共にＤＣ成分修正部１１５に送り（ステップＳ１０５）、ステップＳ１０６の動作に進む。
【００６８】
エッジ成分は、画面上のエッジ部分に関連することが多い。したがって、特徴量算出係数は、エッジに関係しないＫ種類の係数からなる。ここでは、Ｋ＝４９である。特徴量は、Ｋ種類の特徴量算出係数の絶対値の和で定義される。したがって、特徴量は、領域内のエッジに関係しない輝度変化の大きさの指標といえる。特徴量が大きい場合、すなわち、８×８ピクセル上の輝度変化が大きい場合、８×８ピクセルは、複雑な画像となる。一方、特徴量が小さい場合、すなわち、８×８ピクセル上の輝度変化が小さい場合、８×８ピクセルは、複雑でない単純な画像となる。
【００６９】
ステップＳ１０６の動作において、埋め込み行列選択部１１３は、１フレーム上の２次元ＤＣＴ係数行列群について、埋め込み行列の当否判断が終了したか否かを判断する。終了していない場合、埋め込み行列選択部１１３は、ステップＳ１０４の動作に戻り、埋め込み行列の当否判断を続ける。一方、終了した場合、情報埋め込み装置１００は、ステップＳ１０７の動作に進む。
【００７０】
ステップＳ１０７の動作において、ＤＣ成分修正部１１５は、修正値定義部１７０を参照して、各２次元ＤＣＴ係数行列の特徴量に対応するＤＣ成分修正値を取得する。ＤＣ成分修正部１１５は、２次元ＤＣＴ係数行列群を複数のブロックに分割して、上下に隣接する二つのブロックに含まれる２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加算または減算し、上下のＤＣ成分の大小関係を設定する。ＤＣ成分修正部１１５は、ＤＣ成分が変化した２次元ＤＣＴ係数行列群を特徴量修正部１１６に送る。
【００７１】
次に、特徴量修正部１１６は、修正値定義部１７０を参照して、各２次元ＤＣＴ係数行列の特徴量に対応するＡＣ成分修正行列を取得する。特徴量修正部１１６は、上下に隣接する二つのブロックに含まれる２次元ＤＣＴ係数行列における特徴量算出係数に、ＡＣ成分修正行列を加算または減算し、上下の特徴量の大小関係を設定する。特徴量修正部１１６は、特徴量算出係数が変化した２次元ＤＣＴ係数行列群を量子化部１１７に送る（ステップＳ１０８）。
【００７２】
次に、量子化部１１７は、特徴量修正部１１６から送られてくる１フレーム分の２次元ＤＣＴ係数行列群を量子化して、可変長符号符号化部１１８に送る（ステップＳ１０９）。次に、可変長符号符号化部１１８は、送られてくる２次元ＤＣＴ係数行列群を可変長符号化してＭＰＥＧデータ出力制御部１３０に送る（ステップＳ１１０）。
【００７３】
次に、ＭＰＥＧデータ出力制御部１３０は、全てのＩピクチャフレームについて、埋め込みデータが埋め込まれたか否か判断する（ステップＳ１１１）。埋め込みが終了していない場合、情報埋め込み装置１００は、ステップＳ１０２の動作に戻り、Ｉピクチャフレームへの埋め込みを続ける。一方、埋め込みが終了している場合、ＭＰＥＧデータ出力制御部１３０は、ＭＰＥＧデータ入力制御部１２０および可変長符号符号化部１１８から取得した複数のフレームをまとめて、ＭＰＥＧデータを完成させて出力し、処理を終了する。
【００７４】
図４は、ステップＳ１０７におけるＤＣ成分修正処理の詳細を示したフローチャートである。以下、図４を参照しながら、ＤＣ成分修正部１１５の動作について詳述する。まず、ＤＣ成分修正部１１５は、ｍｘ×ｍｙ個の２次元ＤＣＴ係数行列を一つのブロック（以下、ＤＣ成分修正ブロックという）として、２次元ＤＣＴ係数行列群を複数のＤＣ成分修正ブロックに分割する（ステップＳ２０１）。図５は、２次元ＤＣＴ係数行列群上でのＤＣ成分修正ブロックを模式的に示す図である。図５では、ｍｘ＝ｍｙ＝３とし、３×３個の２次元ＤＣＴ係数行列を一つのＤＣ成分修正ブロックとしている。
【００７５】
次に、ＤＣ成分修正部１１５は、修正値定義部１７０を参照して、２次元ＤＣＴ係数行列群上の各２次元ＤＣＴ係数行列の特徴量に対応するＤＣ成分修正値を求める（ステップＳ２０２）。修正値定義部１７０には、しきい値Ｔが設定されており、特徴量がしきい値Ｔより小さければ、当該特徴量に対応するＤＣ成分修正値をｗ１とし、特徴量がしきい値Ｔより大きければＤＣ成分修正値をｗ２（ｗ１＜ｗ２）とするようにＤＣ成分修正値が定義されている。先述のように、特徴量は、領域内のエッジに関係しない輝度変化の大きさを示す。したがって、ＤＣ成分修正値は、エッジに関係しない輝度変化が大きいほど（すなわち、特徴量が大きいほど）、大きくなる。
【００７６】
次に、ＤＣ成分修正部１１５は、各ＤＣ成分修正ブロック上の２次元ＤＣＴ係数行列について、情報を埋め込む２次元ＤＣＴ係数行列のＤＣ成分の平均値と、埋め込まない２次元ＤＣＴ係数行列のＤＣ成分の平均値との差Ｄを求める（ステップＳ２０３）。
【００７７】
次に、ＤＣ成分修正部１１５は、上下に隣接するＤＣ成分修正ブロックを一組とする（図５参照）。さらに、ＤＣ成分修正部１１５は、一組とした上側のＤＣ成分修正ブロックにおけるＤＣ成分の平均値の差をＤ１とし、下側のＤＣ成分修正ブロックにおけるＤＣ成分の平均値の差をＤ２とする。さらに、ＤＣ成分修正部１１５は、Ｄ１−Ｄ２の絶対値がしきい値Ｔ１より大きいか否かを判断する（ステップＳ２０４）。
【００７８】
Ｔ１より大きい場合、ＤＣ成分修正部１１５は、Ｄ１とＤ２との大小関係を判断する（ステップＳ２０８）。Ｄ２＞Ｄ１の場合、ＤＣ成分修正部１１５は、上側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分からＤＣ成分修正値を引き、下側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加え（ステップＳ２１０）、ステップＳ２１１の動作に進む。一方、Ｄ２≦Ｄ１の場合、ＤＣ成分修正部１１５は、上側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加え、下側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分からＤＣ成分修正値を引き（ステップＳ２０９）、ステップＳ２１１の動作に進む。
【００７９】
一方、ステップＳ２０４の判断において｜Ｄ１−Ｄ２｜がＴ１以下であると判断した場合、ＤＣ成分修正部１１５は、次に埋め込む埋め込みデータのビットが“０”であるか“１”であるかを判断する（ステップＳ２０５）。“０”である場合、ＤＣ成分修正部１１５は、上側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分からＤＣ成分修正値を引き、下側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加え（ステップＳ２０７）、ステップＳ２１１の動作に進む。一方、“１”である場合、ＤＣ成分修正部１１５は、上側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分にＤＣ成分修正値を加え、下側のＤＣ成分修正ブロックにおける各２次元ＤＣＴ係数行列のＤＣ成分からＤＣ成分修正値を引き（ステップＳ２０６）、ステップＳ２１１の動作に進む。
【００８０】
ステップＳ２１１の動作において、ＤＣ成分修正部１１５は、１フレーム上の全ての上下組ＤＣ成分修正ブロックに対して、ステップＳ２０４の処理が終了したか否かを判断する。終了していない場合、ＤＣ成分修正部１１５は、ステップＳ２０４の動作に戻り、別の上下の組に対して、ＤＣ成分を修正する。一方、終了している場合、ＤＣ成分修正部１１５は、処理を終了する。
【００８１】
情報を埋め込む２次元ＤＣＴ係数行列における特徴量の平均値と埋め込まない２次元ＤＣ係数行列における特徴量の平均値とは、通常近い値をとる。したがって、Ｄ１，Ｄ２の値は小さい。したがって、Ｄ１−Ｄ２の値も小さい。
【００８２】
｜Ｄ１−Ｄ２｜がしきい値Ｔ１より大きい場合、ステップＳ２０４、２０８〜Ｓ２１０の動作によって、Ｄ１とＤ２との差は、より広がる。したがって、修正値の加算または減算によってもＤ１とＤ２との大小関係は、維持される。ＤＣ成分を修正することは、輝度変化の小さな領域については平均輝度値をあまり変化させず、輝度変化の大きな領域については平均輝度値を大きく変えることになる。輝度変化の大きな領域の平均輝度値を大きく変えても、人間の目には、ほとんど気にならない。
【００８３】
ＤＣ成分修正値は、少なくとも（Ｔ１）／２以上であるように設定されている。したがって、ステップＳ２０６の動作によって、埋め込みビットが“１”の場合、元の２次元ＤＣＴ係数行列におけるＤ２とＤ１との大小に関係なく、修正値の加算または減算によって、必ずＤ２＜Ｄ１となるようにＤＣ成分が修正される。また、埋め込みビットが“０”の場合、元の２次元ＤＣＴ係数行列におけるＤ２とＤ１との大小に関係なく、修正値の加算または減算によって、必ずＤ２≧Ｄ１となるようにＤＣ成分が修正される。
【００８４】
図６は、ステップＳ１０８における特徴量修正処理の詳細を示すフローチャートである。以下、図６を参照しながら、特徴量修正部１１６の動作について詳述する。まず、特徴量修正部１１６は、ｎｘ×ｎｙ個の２次元ＤＣＴ係数行列を一つのブロック（以下、特徴量修正ブロックという）として、２次元ＤＣＴ係数行列群を複数の特徴量修正ブロックに分割する（ステップＳ３０１）。図７は、２次元ＤＣＴ係数行列群上での特徴量修正ブロックを模式的に示す図である。図７では、ｎｘ＝ｎｙ＝３として、３×３個の２次元ＤＣＴ係数行列を一つの特徴量修正ブロックとしている。
【００８５】
次に、特徴量修正部１１６は、修正値定義部１７０を参照して、各２次元ＤＣＴ係数行列の特徴量に対応するＡＣ成分修正行列を求める（ステップＳ３０２）。図８は、特徴量が小さい場合のＡＣ成分修正行列の一例を示す図である。図９は、特徴量が大きい場合のＡＣ成分修正行列の一例を示す図である。図８および図９に示すＡＣ成分修正行列は、実験的に求めることができる。たとえば、図８におけるＡＣ成分ａ１，ａ２は、幾何学的操作による劣化が少ないことが実験的に分かる。そのため、特徴量があるしきい値Ｔよりも小さい場合のＡＣ成分修正行列では、ａ１，ａ２を視覚的にほとんど影響を及ぼすことのない最大限の大きさに設定すればよい。また、図９におけるＡＣ成分ｂ１〜ｂ４は、特徴量があるしきい値Ｔよりも大きい場合、幾何学的操作による劣化が少ないことが実験的に分かった。そのため、特徴量があるしきい値Ｔよりも大きい場合のＡＣ成分修正行列では、ｂ１〜ｂ４を積極的に大きい値（ｂ１＞ａ１、ｂ２＞ａ２）に取るようにすればよい。
【００８６】
次に、特徴量修正部１１６は、上下に隣接する特徴量修正ブロックを一組とし、埋め込みを行う２次元ＤＣＴ係数行列について、上側の特徴量修正ブロックにおける特徴量の平均値をＳ１とし、下側の特徴量修正ブロックにおける特徴量の平均値の平均値をＳ２とする（ステップＳ３０３）。
【００８７】
次に、特徴量修正部１１６は、埋め込むべきビットが“１”であるか“０”であるか判断する（ステップＳ３０４）。“１”である場合、特徴量修正部１１６は、上側の特徴量修正ブロックにおける各２次元ＤＣＴ係数行列の特徴量算出係数にＡＣ成分修正行列を加え、下側の特徴量修正ブロックにおける各２次元ＤＣＴ係数行列の特徴量算出係数からＡＣ成分修正行列を差し引いて（ステップＳ３０５）、ステップＳ３０７の動作に進む。一方、“０”である場合、特徴量修正部１１６は、上側の特徴量修正ブロックにおける各２次元ＤＣＴ係数行列の特徴量算出係数からＡＣ成分修正行列を差し引き、下側の特徴量修正ブロックにおける各２次元ＤＣＴ係数行列の特徴量算出係数に対してＡＣ成分修正行列を加え（ステップＳ３０５）、ステップＳ３０７の動作に進む。
【００８８】
ステップＳ３０７の動作において、特徴量修正部１１６は、１フレーム上の特徴量修正ブロックに対して、ステップＳ３０３〜Ｓ３０６の動作が終了したか否かを判断する。終了していない場合、特徴量修正部１１６は、ステップＳ３０３の動作に戻り、別の上下の組を構成して、特徴量の修正を続ける。一方、終了している場合、特徴量修正部１１６は、処理を終了する。
【００８９】
通常、上側の特徴量の平均値と下側の特徴量の平均値とは、非常に近い値である。したがって、ステップＳ３０４〜３０６の処理を施すことによって、埋め込みビットが“１”である場合は、上側の特徴量の平均値の方が必ず大きくなり、埋め込みビットが“０”である場合は、下側の特徴量の平均値の方が必ず大きくなる。
【００９０】
このように、本発明の第１の実施形態によれば、ＭＰＥＧ動画データ中、Ｉピクチャフレームのみを復号化してデジタル情報を埋め込み、このＩピクチャフレームのみを符号化するので、全てのフレームを復号化、符号化する必要がない。したがって、高速に電子透かし情報を埋め込むことが可能な情報埋め込み装置が提供できる。
【００９１】
また、全てのフレームを再復号化しなくてよいので、デジタル情報の埋め込みによる画質劣化を最低限に抑えることができる。
【００９２】
また、互いに隣接する上下のＤＣ成分修正ブロックおよび特徴量修正ブロックに含まれる複数の２次元ＤＣＴ係数行列のＤＣ成分および特徴量算出係数を変化させることによって、周波数成分の大小関係を決め、この大小関係によってデジタル情報を定義することとなる。したがって、解像度変換等の幾何学的変換が施されたとしても、ブロック単位でデジタル情報が残ることとなり、埋め込んだ情報が除去されにくいという効果が生まれる。
【００９３】
また、ＤＣ成分および特徴量算出係数の両方を変化させることに埋め込みデータを埋め込むこととなるので、ＤＣ成分の変化単独の場合に比べ、埋め込むべき情報量を増やすことが可能となる。
【００９４】
なお、上記実施形態では、埋め込まれているデジタル情報を定義するために、上下に隣接した二つのブロックを用いることとしたが、この二つのブロックは、上下に限るものではなく、左右であってもよい。また、三つ以上のブロックの相対関係をＤＣ成分の大きさなどによって決め、埋め込むべきデジタル情報を定義するようにしてもよい。
【００９５】
なお、情報埋め込みを行わない２次元ＤＣＴ係数行列に、幾何学的回転に対抗するためのキャリブレーション用の電子透かし情報（米国特許：ＵＳＰ５６３６２９２、特開２００１−７８０１０等参照）を埋め込むようにしてもよい。この場合、情報抽出装置は、回転等の幾何学変換が行われたとしても、このキャリブレーション用の情報を参照して、ブロックを正しい位置に戻すことができる。したがって、デジタル情報を抽出する場合、情報抽出装置は、正しい位置に戻ったブロックからデジタル情報を取り出すことが可能となる。
【００９６】
なお、情報埋め込みを行わない２次元ＤＣＴ係数行列に対する埋め込みは、キャリブレーション用の電子透かし情報以外の他方式の電子透かし情報であってもよい。
【００９７】
なお、第１の実施形態では、埋め込みデータをＤＣ成分および特徴量算出係数に埋め込むようにしたが、埋め込み情報量が少なくてよいのなら、どちらか一方への埋め込みでよい。
【００９８】
なお、第１の実施形態では、埋め込みを行なう２次元ＤＣＴ係数行列と行なわない２次元ＤＣＴ係数行列を市松模様状に設定することとしたが、別の方法で設定しても構わない。
【００９９】
また、ＤＣ成分や特徴量の修正値の設定方法も別の方法でもよく、埋め込みブロック毎に設定方法を変えても構わない。
【０１００】
また、特徴量の算出に用いる周波数成分の選択方法、算出方法も実施例以外でもよい。
【０１０１】
（第２の実施形態）
図１０は、本発明の第２の実施形態に係る情報抽出装置２００の構成を示す図である。図１０において、情報抽出装置２００は、ＭＰＥＧデータ入力制御部２２０と、抽出情報出力部２３０と、抽出部２４０と、復号化部２５０と、抽出行列選択部２１３と、特徴量算出部２１４とを備える。復号化部２５０は、可変長符号復号化部２１１と、逆量子化部２１２とを含む。抽出部２４０は、特徴量比較抽出部２１５と、ＤＣ成分比較抽出部２１６とを含む。
【０１０２】
ＭＰＥＧデータ入力制御部２２０は、埋め込みデータが格納されたＭＰＥＧデータを読み込み、Ｉピクチャフレームのみを可変長符号復号化部２１１に送る。可変長符号復号化部２１１は、ＭＰＥＧデータ入力制御部２２０が読み込んだＩピクチャフレームを可変長復号化して出力する。逆量子化部２１２は、可変長符号復号化部２１１が可変長復号化したデータを逆量子化して出力する。
【０１０３】
抽出行列選択部２１３は、逆量子化部２１２が出力するデータを８×８の２次元ＤＣＴ係数行列に分割し、２次元ＤＣＴ係数行列群を得る。抽出行列選択部２１３は、各２次元ＤＣＴ係数行列に対して、埋め込みデータが埋め込まれているか否かを判断する。抽出行列選択部２１３は、埋め込みデータが埋め込まれている２次元ＤＣＴ係数行列を特徴量算出部２１４に送る。また、抽出行列選択部２１３は、埋め込みデータの有無に関係なく、全ての２次元ＤＣＴ係数行列をＤＣ成分比較抽出部２１６に送る。
【０１０４】
特徴量算出部２１４は、各２次元ＤＣＴ係数行列の特徴量を算出して、特徴量比較抽出部２１５に送る。特徴量比較抽出部２１５は、ｎｘ×ｎｙの２次元ＤＣＴ係数行列を一つの特徴量抽出ブロックとして、２次元ＤＣＴ係数行列群を複数のブロックに分割し、上下組を構成する。特徴量比較抽出部２１５は、上下の特徴量抽出ブロックにおける特徴量平均値の大小関係に基づいて、埋め込みビットを認識して、抽出情報出力部２３０に送る。
【０１０５】
ＤＣ成分比較抽出部２１６は、ｍｘ×ｍｙの２次元ＤＣＴ係数行列を一つのＤＣＴ成分抽出ブロックとして、２次元ＤＣＴ係数行列群を複数のブロックに分割し、上下組を構成する。ＤＣ成分比較抽出部２１６は、上下のＤＣＴ成分抽出ブロックにおけるＤＣ成分の大小関係に基づいて、埋め込みビットを認識して、抽出情報出力部２３０に送る。
【０１０６】
抽出情報出力部２３０は、特徴量比較抽出部２１５およびＤＣ成分比較抽出部２１６から送られてくるビットに基づいて、埋め込みデータを認識して出力する。
【０１０７】
次に、情報抽出装置２００の動作について説明する。図１１は、第２の実施形態に係る情報抽出装置２００の動作を示すフローチャートである。以下、図１１を参照しながら、情報抽出装置２００の動作について説明する。まず、ＭＰＥＧデータ入力制御部２２０は、ＭＰＥＧデータを読み込む（ステップＳ４０１）。
【０１０８】
次に、ＭＰＥＧデータ入力制御部２２０は、フレームがＩピクチャであるか否かを判断する（ステップＳ４０２）。Ｉピクチャでない場合、ＭＰＥＧデータ入力制御部２２０は、ステップＳ４０２の動作を繰り返す。
【０１０９】
一方、Ｉピクチャである場合、ＭＰＥＧデータ入力制御部２２０は、当該フレームを復号化部２５０に送る。復号化部２５０は、当該フレームを可変長復号化して逆量子化して、輝度に関する２次元ＤＣＴ係数行列群を求め、抽出行列選択部２１３に送る（ステップＳ４０３）。
【０１１０】
抽出行列選択部２１３は、輝度に関する２次元ＤＣＴ係数行列群に含まれる各２次元ＤＣＴ係数行列が埋め込み行列であるか否かを判断する（ステップＳ４０４）。埋め込み行列である場合、抽出行列選択部２１３は、特徴量算出部２１４に特徴量を算出させる。特徴量算出部２１４は、算出した特徴量を特徴量比較抽出部２１５に送り（ステップＳ４０５）、ステップＳ４０６の動作に進む。一方、埋め込み行列でない場合、抽出行列選択部２１３は、２次元ＤＣＴ係数行列をＤＣ成分比較抽出部２１６に送り、ステップＳ４０６の動作に進む。
【０１１１】
ステップＳ４０６の動作において、抽出行列選択部２１３は、２次元ＤＣＴ係数行列群上の全ての２次元ＤＣＴ係数行列に対して、埋め込み行列の可否判断が終了したか否かを判断する。終了していない場合、抽出行列選択部２１３は、ステップＳ４０３の動作に戻る。一方、終了している場合、情報抽出装置２００は、ステップＳ４０７の動作に進む。
【０１１２】
ステップＳ４０７の動作において、ＤＣ成分比較抽出部２１６は、上下のＤＣ成分抽出ブロックのＤＣ成分を比較して、埋め込みビットを抽出する（ステップＳ４０７）。次に、特徴量比較抽出部２１５は、上下の特徴量抽出ブロックの特徴量平均値を比較して、埋め込みビットを抽出し（ステップＳ４０８）、ステップＳ４１０の動作に進む。
【０１１３】
ステップＳ４１０の動作において、抽出情報出力部２３０は、全てのフレームについて埋め込み情報を抽出したか否かを判断する。抽出が終了していない場合、情報抽出装置２００は、ステップＳ４０２の動作に戻る。一方、抽出が終了している場合、抽出情報出力部２３０は、抽出されたビットをまとめて埋め込みデータとして出力し、処理を終了する。
【０１１４】
図１２は、ステップＳ４０７におけるＤＣ成分からの埋め込みビット抽出処理の詳細を示すフローチャートである。以下、図１２を参照しながら、ＤＣ成分比較抽出部２１６の動作について詳述する。まず、ＤＣ成分比較抽出部２１６は、１フレームをｍｘ×ｍｙ個の２次元ＤＣＴ係数行列からなるＤＣ成分抽出ブロックに分割する（ステップＳ５０１）。
【０１１５】
次に、ＤＣ成分比較抽出部２１６は、隣接する上下のＤＣ成分抽出ブロックを一組とする。ＤＣ成分比較抽出部２１６は、各ＤＣ成分抽出ブロックに対して、埋め込みが行われている２次元ＤＣＴ係数行列のＤＣ成分の平均値と、埋め込みが行われていない２次元ＤＣＴ係数行列のＤＣ成分の平均値との差Ｄを求める（ステップＳ５０２）。
【０１１６】
次に、ＤＣ成分比較抽出部２１６は、上側の抽出ブロックの平均値の差をＤ１とし、下側の抽出ブロックの平均値の差をＤ２とし、Ｄ１−Ｄ２の絶対値がＴ２より小さいか否かを判断する（ステップＳ５０３）。大きい場合、ＤＣ成分比較抽出部２１６は、埋め込みビットが抽出されていないと判断して、ビット抽出を行うことなく（ステップＳ５０７）、ステップＳ５０８の動作に進む。一方、小さい場合、ＤＣ成分比較抽出部２１６は、Ｄ１とＤ２の大小関係を判断する（ステップＳ５０４）。
【０１１７】
Ｄ１がＤ２以上の場合、ＤＣ成分比較抽出部２１６は、埋め込みビットとして、“１”を抽出して抽出情報出力部２３０に送り（ステップＳ５０５）、ステップＳ５０７の動作に進む。一方、Ｄ１がＤ２よりも小さい場合、ＤＣ成分比較抽出部２１６は、埋め込みビットとして、“０”を抽出して抽出情報出力部２３０に送り（ステップＳ５０６）、ステップＳ５０８の動作に進む。
【０１１８】
ステップＳ５０８の動作において、ＤＣ成分比較抽出部２１６は、２次元ＤＣＴ係数行列群におけるＤＣ成分抽出ブロックの上下組について、ＤＣ成分による埋め込みビットの抽出が終了したか否かを判断する。終了していない場合、ステップＳ５０３の動作に戻り、別の上下組についての判断を続け、ＤＣ成分による埋め込みビットの抽出を続ける。一方、終了している場合、ＤＣ成分比較抽出部２１６は、処理を終了する。
【０１１９】
図１３は、ステップＳ４０８における特徴量からからの埋め込みビット抽出処理の詳細を示すフローチャートである。以下、図１３を参照しながら、特徴量比較抽出部２１５の動作について説明する。まず、特徴量比較抽出部２１５は、２次元ＤＣＴ係数行列群をｎｘ×ｎｙ個の２次元ＤＣＴ係数行列からなる特徴量抽出ブロックに分割する（ステップＳ６０１）。
【０１２０】
特徴量比較抽出部２１５は、各特徴量抽出ブロックに対して、埋め込みが行われている２次元ＤＣＴ係数行列の特徴量の平均値を求める（ステップＳ６０２）。
【０１２１】
次に、特徴量比較抽出部２１５は、隣接する上下の特徴量抽出ブロックを一組とする。特徴量比較抽出部２１５は、上側の抽出ブロックの特徴量の平均値をＳ１とし、下側の抽出ブロックの特徴量の平均値をＳ２とする。特徴量比較抽出部２１５は、Ｓ１がＳ２より大きいか否かを判断する（ステップＳ６０３）。
【０１２２】
大きい場合、特徴量比較抽出部２１５は、埋め込みビットとして“１”が埋め込まれていると判断して、抽出結果を抽出情報出力部２３０に送り（ステップＳ６０４）、ステップＳ６０６の動作に進む。一方、大きくない場合、特徴量比較抽出部２１５は、埋め込みビットとして“０”が埋め込まれていると判断して、抽出結果を抽出情報出力部２３０に送り（ステップＳ６０５）、ステップＳ６０６の動作に進む。ステップＳ６０６の動作は、図１２におけるステップＳ５０８の動作と同様である。
【０１２３】
このように、本発明の第２の実施形態では、Ｉピクチャフレームのみを復号化してデジタル情報を抽出することとなるので、抽出に要する処理を高速に行うことが可能となる。
【０１２４】
また、互いに隣接する上下の二つのブロックに含まれる２次元ＤＣＴ係数行列のＤＣ成分および特徴量の大小関係によってデジタル情報を定義することとなるので、解像度変換等の幾何学的変換が施されたとしても、ブロック単位でデジタル情報が残ることとなる。したがって、幾何学的変換が施されたとしても、埋め込まれている情報を抽出することが可能となる。
【０１２５】
さらに、上記実施形態では、埋め込みに用いた２次元ＤＣＴ係数行列すべてを抽出に用いているが、一部だけを用いてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る情報埋め込み装置１００の構成を示す図である。
【図２】情報埋め込み装置１００の動作を示すフローチャートである。
【図３】情報埋め込み装置１００の動作を具体的に説明するためにＭＰＥＧデータおよび２次元ＤＣＴ係数行列群の構成を模式的に示した図である。
【図４】ステップＳ１０７におけるＤＣ成分修正処理の詳細を示したフローチャートである。
【図５】２次元ＤＣＴ係数行列群上でのＤＣ成分修正ブロックを模式的に示す図である。
【図６】ステップＳ１０８における特徴量修正処理の詳細を示すフローチャートである。
【図７】２次元ＤＣＴ係数行列群上での特徴量修正ブロックを模式的に示す図である。
【図８】特徴量が小さい場合のＡＣ成分修正行列の一例を示す図である。
【図９】特徴量が大きい場合のＡＣ成分修正行列の一例を示す図である。
【図１０】本発明の第２の実施形態に係る情報抽出装置２００の構成を示す図である。
【図１１】情報抽出装置２００の動作を示すフローチャートである。
【図１２】ステップＳ４０７におけるＤＣ成分からの埋め込みビット抽出処理の詳細を示すフローチャートである。
【図１３】ステップＳ４０８における特徴量からからの埋め込みビット抽出処理の詳細を示すフローチャートである。
【符号の説明】
１００ 情報埋め込み装置
２００ 情報抽出装置
１１１，２１１ 可変長符号復号化部
１１２，２１２ 逆量子化部
１１３ 埋め込み行列選択部
１１４，２１４ 特徴量算出部
１１５ ＤＣ成分修正部
１１６ 特徴量修正部
１１７ 量子化部
１１８ 可変長符号符号化部
１１９ 埋め込み情報入力制御部
１２０，２２０ ＭＰＥＧデータ入力制御部
１３０ ＭＰＥＧデータ出力制御部
１４０ 埋め込み部
１５０，２５０ 復号化部
１６０ 符号化部
１７０ 修正値定義部
２１３ 抽出行列選択部
２１５ 特徴量比較抽出部
２１６ ＤＣ成分比較抽出部
２３０ 抽出情報出力部
２４０ 抽出部

Claims (10)

1. 複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むための装置であって、
   他のフレームから独立して一枚の静止画となっている静止画フレームを前記複数のフレームから抽出する静止画フレーム抽出手段と、
   前記静止画フレーム抽出手段が抽出した静止画フレームを復号化して、当該復号化で得られたデータを所定の画素数で構成される２次元ＤＣＴ係数行列に複数分割し、当該分割された複数の２次元ＤＣＴ係数行列を一つの２次元ＤＣＴ係数行列群として求める復号化手段と、
   隣接するｘ×ｙ個の２次元ＤＣＴ係数行列を一単位として、前記２次元ＤＣＴ係数行列群を複数のブロックに分割する分割手段と、
   ２次元ＤＣＴ係数行列上におけるｕ＝０またはｖ＝０とならないＫ種類の周波数成分（ｕ，ｖ）について、当該Ｋ種類の周波数成分（ｕ，ｖ）における各成分の絶対値の和を特徴量として算出する特徴量算出手段と、
   前記特徴量に基づいて、２次元ＤＣＴ係数行列上のＤＣ成分を修正するためのＤＣ成分修正値を決定する修正値決定手段と、
   前記ｘ×ｙ個の２次元ＤＣＴ係数行列のＤＣ成分を、互いに隣接するブロックを一組として、埋め込むべきデジタル情報に基づいて、当該互いに隣接するブロックの組単位で前記ＤＣ成分修正値を加算または減算して変化させるＤＣ成分変化手段と、
   前記ＤＣ成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力する動画像データ出力手段とを備え、
   前記埋め込むべきデジタル情報は、前記互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分間の大小関係によって定められることを特徴とする、情報埋め込み装置。
2. 前記動画像データは、ＭＰＥＧ方式による動画像データであり、前記静止画フレームは、Ｉピクチャフレームである、請求項１に記載の情報埋め込み装置。
3. 前記修正値決定手段は、前記特徴量があるしきい値以上の場合のＤＣ成分修正値を、前記特徴量が当該しきい値未満の場合のＤＣ成分修正値よりも大きな値とすることを特徴とする、請求項１に記載の情報埋め込み装置。
4. １ビットの情報を埋め込む場合において、前記ＤＣ成分変化手段は、前記互いに隣接する二つのブロックを選択し、一方のブロックに含まれる２次元ＤＣＴ係数行列のＤＣ成分に前記ＤＣ成分修正値を加算し、他方のブロックにおける２次元ＤＣＴ係数行列のＤＣ成分に前記ＤＣ成分修正値を減算して、埋め込みビットに応じてＤＣ成分の大小関係を定める、請求項１に記載の情報埋め込み装置。
5. 前記特徴量算出手段が算出した特徴量に基づいて、前記ブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分以外の周波数成分を修正するための修正行列を決定する修正行列決定手段と、
   前記埋め込むべきデジタル情報に基づいて、前記隣接するブロックの組ごとに前記修正行列を前記２次元ＤＣＴ係数行列に加算または減算して、前記２次元ＤＣＴ係数行列の特徴量を変化させる特徴量変化手段とをさらに備え、
   前記埋め込むべきデジタル情報は、さらに、前記隣接するブロックに含まれる２次元ＤＣＴ係数行列における特徴量の大小関係によっても定められることを特徴とする、請求項１に記載の情報埋め込み装置。
6. 前記修正行列決定手段によって決定される修正行列は、特徴量があるしきい値未満の場合、前記修正行列上、少なくとも解像度変換処理や回転変換処理によるデジタル情報の消失が生じない周波数成分に値が設定されており、特徴量があるしきい値以上の場合、前記修正行列上、少なくとも解像度変換処理や回転変換処理によるデジタル情報の消失が生じない周波数成分に、前記あるしきい値未満の場合における値よりも大きな値が設定されている、請求項５に記載の情報埋め込み装置。
7. １ビットの情報を埋め込む場合において、前記特徴量変化手段は、前記互いに隣接する二つのブロックを選択し、一方のブロック上における２次元ＤＣＴ係数行列に前記修正行列を加算し、他方のブロック上における２次元ＤＣＴ係数行列に前記修正行列を減算して、埋め込みビットに応じて特徴量の大小関係を定める、請求項５に記載の情報埋め込み装置。
8. 前記ＤＣ成分変化手段は、前記２次元ＤＣＴ係数行列群中、ＤＣ成分を変化させてデジタル情報を埋め込む２次元ＤＣＴ係数行列と、ＤＣ成分を変化させて回転変換処理に対抗するためのキャリブレーション用情報を埋め込む２次元ＤＣＴ係数行列とを区別し、
   前記埋め込むべきデジタル情報は、前記デジタル情報を埋め込む２次元ＤＣＴ係数行列のＤＣ成分間の大小関係によって定められることを特徴とする、請求項１に記載の情報埋め込み装置。
9. 複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むための方法であって、
   他のフレームから独立して一枚の静止画となっている静止画フレームを前記複数のフレームから抽出するステップと、
   抽出した静止画フレームを復号化して、当該復号化で得られたデータを所定の画素数で構成される２次元ＤＣＴ係数行列に複数分割し、当該分割された複数の２次元ＤＣＴ係数行列を一つの２次元ＤＣＴ係数行列群として求めるステップと、
   隣接するｘ×ｙ個の２次元ＤＣＴ係数行列を一単位として、前記２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
   ２次元ＤＣＴ係数行列上におけるｕ＝０またはｖ＝０とならないＫ種類の周波数成分（ｕ，ｖ）について、当該Ｋ種類の周波数成分（ｕ，ｖ）における各成分の絶対値の和を特徴量として算出するステップと、
   前記特徴量に基づいて、２次元ＤＣＴ係数行列上のＤＣ成分を修正するためのＤＣ成分修正値を決定するステップと、
   前記ｘ×ｙ個の２次元ＤＣＴ係数行列のＤＣ成分を、互いに隣接するブロックを一組として、埋め込むべきデジタル情報に基づいて、当該互いに隣接するブロックの組単位で前記ＤＣ成分修正値を加算または減算して変化させるステップと、
   ＤＣ成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力するステップとを備え、
   前記埋め込むべきデジタル情報は、前記互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分間の大小関係によって定められることを特徴とする、情報埋め込み方法。
10. 複数のフレームからなる圧縮符号化された動画像データにデジタル情報を埋め込むためコンピュータ装置で実行されるプログラムであって、
    他のフレームから独立して一枚の静止画となっている静止画フレームを前記複数のフレームから抽出するステップと、
    抽出した静止画フレームを復号化して、当該復号化で得られたデータを所定の画素数で構成される２次元ＤＣＴ係数行列に複数分割し、当該分割された複数の２次元ＤＣＴ係数行列を一つの２次元ＤＣＴ係数行列群として求めるステップと、
    隣接するｘ×ｙ個の２次元ＤＣＴ係数行列を一単位として、前記２次元ＤＣＴ係数行列群を複数のブロックに分割するステップと、
    ２次元ＤＣＴ係数行列上におけるｕ＝０またはｖ＝０とならないＫ種類の周波数成分（ｕ，ｖ）について、当該Ｋ種類の周波数成分（ｕ，ｖ）における各成分の絶対値の和を特徴量として算出するステップと、
    前記特徴量に基づいて、２次元ＤＣＴ係数行列上のＤＣ成分を修正するためのＤＣ成分修正値を決定するステップと、
    前記ｘ×ｙ個の２次元ＤＣＴ係数行列のＤＣ成分を、互いに隣接するブロックを一組と して、埋め込むべきデジタル情報に基づいて、当該互いに隣接するブロックの組単位で前記ＤＣ成分修正値を加算または減算して変化させるステップと、
    ＤＣ成分が変化された２次元ＤＣＴ係数行列を符号化して静止画フレームを作成し、それ以外のフレームと合わせてデジタル情報が埋め込まれた動画像データを出力するステップとを備え、
    前記埋め込むべきデジタル情報は、前記互いに隣接するブロックに含まれる２次元ＤＣＴ係数行列におけるＤＣ成分間の大小関係によって定められることを特徴とする、情報埋め込みプログラム。

Images