JP4223353B2 - 電子透かし埋め込み装置、電子透かし検出装置及びそれらの方法並びに記録媒体 - Google Patents

Description

本発明は、画像信号に対して埋め込み情報を電子透かしとして埋め込む装置、画像信号から電子透かしを検出する装置及びそれらの方法並びに当該方法を実行するためのプログラムを記録した媒体に関する。

近年、電子化された音声や映像データであるデジタルコンテンツが増加している。デジタルコンテンツは、オリジナルとまったく同じものを簡単に複製できるため、コンテンツの著作権の保護が重要な課題である。不法に複製、配布されたコンテンツは、オリジナルと区別が付かないため、コンテンツの著作権を主張する証拠を示すことは困難であり、著作権保護の方法が検討されている。

デジタルコンテンツの著作権保護の方法として、「電子透かし」が利用されている。電子透かしとは、映像データの中に、人間には画質劣化を知覚できないようにデータを埋め込み、この埋め込み画像データから、埋め込まれたデータを検出する技術である。

従来、この種の電子透かし埋め込み装置として、例えば特開２０００−１７５１６１号公報（特許文献１）に開示がある。

以下、図１８を用いて、従来の技術について説明する。図１８は従来の電子透かし埋め込み装置のブロック図である。

図１８において、ブロック分割部１４０１は、動画像フレーム（画像データ）をブロック分割し、ブロック抽出部１４０２はテンプレート１４０９によって指示されたブロックを抽出する。

抽出されたブロックは、ＤＣＴ部１４０３においてＤＣＴ処理され、ＤＣＴ係数抽出部１４０４はテンプレート１４０９によって指示されたＤＣＴ係数を抽出する。透かしデータ埋め込み部１４０５はＤＣＴ係数値の絶対値を大きくする処理をして、透かしデータを埋め込む。

次に、逆ＤＣＴ部１４０６は、透かしが埋め込まれたＤＣＴ係数値を逆ＤＣＴし、ブロック画像をブロック合成部１４０７へ出力する。ブロック合成部１４０７は、ブロック画像を合成して、１フレームの画像データを生成し、ＭＰＥＧ符号化部１４０８へ出力する。

ＭＰＥＧ符号化部１４０８は、画像データを符号化して圧縮画像データを出力する。例えば、画像データベースのサーバは、この圧縮画像データをクライアントへ配送する。

しかしながら、従来技術によると、ＤＣＴ→逆ＤＣＴ→ＭＰＥＧ符号化という経路を経ないと、電子透かしを埋め込んだ圧縮画像データを配送できない。

また、埋め込まれた透かしデータの検出は、次のように行われる。

まず、透かしデータが埋め込まれたブロックのＤＣＴ係数値の絶対値と、近隣のブロックの対応するＤＣＴ係数値の絶対値平均値とを比較し、ＤＣＴ係数値の絶対値がＤＣＴ係数値の絶対値平均値より、予定の閾値以上異なっている場合に、透かしデータが埋め込まれていると検出する。

したがって、検出対象ブロックと隣接ブロックに対応する画像の複雑さが大きく異なる場合に検出が困難となる。例えば、平坦な画像の場合はＤＣＴ係数の交流成分値は小さくなる。また、エッジが多い画像の場合はＤＣＴ係数の交流成分は大きくなる。これらの画像が、検出対象ブロックと隣接ブロックの中に混在している場合には、特許文献１記載の手法においては、検出精度が悪いという問題点がある。

また、特許文献１記載の手法においては、テンプレートを用いて電子透かしを埋め込むブロックを決定するため、決定したブロックに対応する画像の複雑さによっては、画質が劣化することがある。例えば、テンプレートによって決定されたブロックが平坦な画像の場合、電子透かし埋め込みによって画質が劣化してしまう。

また、この種の電子透かし埋め込み方法として、例えば特開平１１−７５１６６号公報（特許文献２）がある。特許文献２は、映像信号の複数画素単位で、微小レベルの付加情報を重畳する方法を開示する。

この手法では、複数画素単位内の重畳レベルパターンが、所定の固定パターンとなるように、複数画素単位内での付加情報の重畳レベルを変えて、付加情報を映像信号に重畳する。

また、特許文献２記載の手法においては、画素空間上でそれぞれの画素に対して微小な変化を与えることで電子透かしを埋め込むため、処理量が大きくなる。例えば、元々ＭＰＥＧ符号化された映像に対して、電子透かしを埋め込む場合には、一旦、画素空間まで伸長処理を行い、電子透かしを埋め込み後、再度符号化処理を行う必要があり、リアルタイム処理には向かない。
特開２０００−１７５１６１号公報 特開平１１−７５１６６号公報

本発明の第１の目的は、ブロックの画像に影響を受けにくい、検出精度のよい電子透かし技術を提供することである。

本発明の第２の目的は、画質劣化を抑えた電子透かし技術を提供することである。

本発明の第３の目的は、処理量が小さく、かつＭＰＥＧ符号化に代表される標準画像符号化と親和性の高い電子透かし技術を提供することである。

第１の発明では、複数の周波数成分から抽出した第１の特徴量に基づいて、一つまたは複数の周波数成分を選択し、選択した一つまたは複数の周波数成分の値を第２の特徴量に基づいて所定の規則で操作する。

この構成により、画質劣化を抑えることができ、処理量を小さくできる。

第２の発明では、離散コサイン変換された一つまたは複数の周波数成分の値を所定の規則で操作する。

この構成により、離散コサイン変換を用いたＭＰＥＧ符号化を代表とする標準画像符号化と親和性の高い電子透かし埋め込みを実現できる。

第３の発明では、電子透かし埋め込みによる変化が大きい領域に加え、その領域に含まれる画素と近い値をとる隣接する領域とを選択して、演算を行う。

この構成により、電子透かし埋め込みによる変化分のみを効果的に抽出でき、ブロックの画像に影響を受けにくい、更に検出精度のよい電子透かし技術を提供できる。

本発明によれば、複数の周波数成分から抽出した第１の特徴量に基づいて、一つまたは複数の周波数成分を選択し、選択した一つまたは複数の周波数成分の値を所定の規則で操作することで、画質劣化を抑えることができる。また、直交変換が行われた複数の周波数成分から第２の特徴量を抽出し、第２の特徴量に基づいて電子透かしを埋め込むことにより、画質劣化を更に抑えることができる。

また、処理量を小さくできると共に、離散コサイン変換された一つまたは複数の周波数成分の値を所定の規則で操作することで、離散コサイン変換を用いたＭＰＥＧ符号化を代表とする標準画像符号化と親和性の高い電子透かし埋め込みを実現できる。

また、電子透かし埋め込みによる変化が大きい領域と、その領域近傍の画素値が近く、電子透かしによる変化がない領域を選択して、演算を行うことで、電子透かし埋め込みによる変化分のみを効果的に抽出でき、検出精度のよい電子透かし技術を実現できる。

以下、図面を参照しながら、本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明における第１の実施の形態に係る電子透かし埋め込み装置のブロック図である。

図１において、電子透かし埋め込み装置は、埋め込み信号作成部１０１とブロック分割部１０２と直交変換部１０３と第１の特徴量抽出部１０４と選択部１０５と第２の特徴量抽出部１０６と電子透かし埋め込み部１０７を備える。

埋め込み信号作成部１０１は、埋め込み情報に基づいて、電子透かしとして埋め込む信号を作成する。ブロック分割部１０２は、デジタル画像信号を複数画素単位のブロックに分割する。

直交変換部１０３は、ブロックのそれぞれを直交変換し複数の周波数成分に変換する。電子透かし埋め込み部１０７は、埋め込み信号作成部１０１が作成した埋め込み信号に基づいて、複数の周波数成分の少なくとも１つの値を、ブロック内の画像変化量が検出を考慮して予め定められた特定のパターンとなるように、所定の規則で操作する。

第１の特徴量抽出部１０４は、複数の周波数成分に基づいて第１の特徴量を抽出する。

選択部１０５は、抽出された第１の特徴量に基づいて、複数の周波数成分の少なくとも１つの値を選択する。

以下、図２を更に参照して、本発明の電子透かし埋め込み装置について説明する。図２は、図１の電子透かし埋め込み装置のフローチャートである。

まず、埋め込み信号作成部１０１は、埋め込み情報を２値のビット列に変換する（ステップ２０１）。

例えば、埋め込み情報として「７１５」という１６ビットの識別情報を埋め込む場合には、埋め込み信号作成部１０１は、埋め込み情報「７１５」を２値で表した「００００００１０１１００１０１１」に変換する。

次に、ブロック分割部１０２は、デジタル画像信号を複数画素単位のブロックに分割する（ステップ２０２）。本形態では、８×８画素から構成されるブロックに分割する。こうすると、ＭＰＥＧ方式と親和性が高い。

次に、直交変換部１０３は、ステップ２０２で分割したそれぞれのブロックに対して直交変換を行い複数の周波数成分に変換する（ステップ２０３）。本形態では、直交変換部１０３は、離散コサイン変換する。

次に、第１の特徴量抽出部１０４は、ステップ２０３で変換された複数の周波数成分から第１の特徴量を抽出する（ステップ２０４）。

本形態では、第１の特徴量は、ブロック内の画像における、垂直方向、水平方向のそれぞれのエッジに対応する特定の周波数成分の総和である。

この点について、図３を用いて説明する。図３の１つの矩形は、ステップ２０３で離散コサイン変換されたブロックであり、１つの矩形には１つの周波数成分が対応する。

図３において、垂直方向のエッジに対応する特定の周波数成分の総和をｓｕｍＶとし、ｓｕｍＶは、周波数成分ＡＣ１、ＡＣ５、ＡＣ６の絶対値の総和とする。また、水平方向のエッジに対応する特定の周波数成分の総和をｓｕｍＨとし、ｓｕｍＨは、周波数成分ＡＣ２、ＡＣ３、ＡＣ９の絶対値の総和とする。

ここで、ｓｕｍＶはブロックの画像において、垂直方向のエッジ成分の強さに応じて大きい値をとるため、垂直方向エッジ成分の強さの指標となる。一方、ｓｕｍＨは、水平方向エッジ成分の強さの指標となる。

次に、選択部１０５は、ステップ２０４で抽出された第１の特徴量に基づいて、選択部１０５は、一つまたは複数の周波数成分を選択する（ステップ２０５）。本形態では、予め設定した閾値をＲとし、以下の条件に従って、周波数成分を選択する。

（条件ａ）ｓｕｍＶ＞ＲでかつｓｕｍＨ≦Ｒの場合、図３における周波数成分ＡＣ１を選択する。

（条件ｂ）ｓｕｍＨ＞ＲでかつｓｕｍＶ≦Ｒの場合、図３における周波数成分ＡＣ２を選択する。

（条件ｃ）条件ａ及びｂに当てはまらない場合、図３における周波数成分ＡＣ１と周波数成分ＡＣ２を選択する。

次に、第２の特徴量抽出部１０６は、ステップ２０３で変換された複数の周波数成分で表されるデジタル画像信号から第２の特徴量を抽出する（ステップ２０６）。

本形態では、第２の特徴量は、直流成分値と特定の交流成分値との総和である。図３において、直流成分値は周波数成分ＤＣの値であり、特定の交流成分値の総和は周波数成分ＡＣ１〜ＡＣ９の値の総和である。

ここで、直流成分値ＤＣはブロック内の画素の輝度平均値を表す。また、特定の交流成分値ＡＣ１〜ＡＣ９の総和は、ブロックの画像の複雑さに応じて大きい値をとるため、複雑さの指標となる。

最後に、電子透かし埋め込み部１０７は、ステップ２０１で作成したビット列のそれぞれの値をブロック単位に割り当て、ステップ２０５で選択した一つまたは複数の周波数成分の値を、ステップ２０６で抽出した第２の特徴量に基づいて、一つまたは複数の周波数成分の値を増減し、電子透かし埋め込みを行う（ステップ２０７）。

図４は、ブロック単位のビット列の割り当て方を示す。本形態では、図４に示すように、ビット列の値をブロック１つおきに繰り返し割り当てる。

また、増減を行う周波数成分の元の値をＸｏｒｇ、増減値をｄＸ、増減後の周波数成分の値をＸｗｍとする。

増減後の周波数成分の値は、割り当てられたビット列の値が「１」の場合には、
Ｘｗｍ＝Ｘｏｒｇ＋ｄＸ
とする。割り当てられたビット列の値が「０」の場合には、
Ｘｗｍ＝Ｘｏｒｇ−ｄＸ
とする。

ここで、増減値ｄＸは正の値であり、基準値に対して、直流成分値と特定の交流成分値に基づいて増減する。直流成分値ＤＣは、輝度平均値に対応するので、人間の視覚特性に基づいて、変化が知覚されにくい値をとる場合には、増減値ｄＸを増加させ、逆に知覚されやすい値をとる場合には、増減値ｄＸを減少させることが望ましい。

また、特定の交流成分値ＡＣ１〜ＡＣ９の総和が大きい場合には、エッジ成分の多い複雑な画像であるため変化が知覚されにくく、小さい場合には平坦な画像であるため変化が知覚されやすい。

したがって、特定の交流成分値の総和が大きい場合には、増減値ｄＸを増加させ、逆に小さい場合には、増減値ｄＸを減少させることが望ましい。電子透かし埋め込み部１０７は、この操作を、ステップ２０５で選択した周波数成分の値に対して行う。

以上のようにして、電子透かしが埋め込まれた周波数成分によると、画素空間上において、ブロック単位に画素値が微小に変化し、その変化量は離散コサイン変換における基底画像の１つのパターンまたは複数の組み合わせのパターンで表される。

図５〜図７は、電子透かし埋め込み後のブロック内における輝度値の変化を表す。

図５（ａ）、（ｄ）、（ｇ）、（ｊ）、図６（ａ）、（ｄ）、（ｇ）、（ｊ）、図７（ａ）、（ｄ）、（ｇ）は、埋め込み操作例を示す。

このとき、それぞれ、輝度変化量の分布（特定のパターン）は、図５（ｂ）、（ｅ）、（ｈ）、（ｋ）、図６（ｂ）、（ｅ）、（ｈ）、（ｋ）、図７（ｂ）、（ｅ）、（ｈ）に示すようになる。

さらに、輝度変化量の分布を正負のみで簡略して表示すると、それぞれ、図５（ｃ）、（ｆ）、（ｉ）、（ｌ）、図６（ｃ）、（ｆ）、（ｉ）、（ｌ）、図７（ｃ）、（ｆ）、（ｉ）に示すようになる。

なお、図５（ａ）（ｂ）（ｃ）は、ステップ２０５において、条件ｂが満たされる場合に該当する。同様に、図５（ｄ）（ｅ）（ｆ）は、ステップ２０５において、条件ａが満たされる場合に該当し、図５（ｇ）（ｈ）（ｉ）は、ステップ２０５において、条件ｃが満たされる場合に該当する。

条件ａ、ｂ、ｃの他に、図５（ｊ）〜（ｌ）、図６、図７に示すような条件を設定し、電子透かしの埋め込みを行っても良い。

いずれにしても、特定のパターンは、図５（ｃ）、（ｆ）、（ｉ）、（ｌ）、図６（ｃ）、（ｆ）、（ｉ）、（ｌ）、図７（ｃ）、（ｆ）、（ｉ）のように、画像変化量が正となる領域と、画像変化量が負となる領域とが、交互に存在し、規則的なまとまりを持つようにする。このようにすれば、電子透かしの埋め込みによる輝度変化量が規則性を持ち、電子透かしを検出しやすくなるし、電子透かしの欠落などを防止できる。

本形態に係る電子透かし埋め込み装置によれば、複数の周波数成分から抽出した第１の特徴量に基づいて、一つまたは複数の周波数成分を選択し、選択した一つまたは複数の周波数成分の値を第２の特徴量に基づいて所定の規則で操作することで、画質劣化を抑えることができる。

また、処理量を小さくできると共に、離散コサイン変換された一つまたは複数の周波数成分の値を所定の規則で操作することで、離散コサイン変換を用いたＭＰＥＧ符号化を代表とする標準画像符号化と親和性の高い電子透かし埋め込みを実現できる。

なお、本形態では、ステップ２０１において、埋め込み情報を２値のビット列に変換したが、これに限定されるものではない。

また、本形態では、ステップ２０２において、８×８画素から構成されるブロックに分割したが、これに限定されるものではない。例えば、４×４画素のブロックを使用しても良い。

また、本形態では、ステップ２０３において、直交変換として離散コサイン変換を用いたが、直交変換であればこれに限定されるものではない。例えば、ウェーブレット変換等を使用しても良い。

また、本形態では、ステップ２０４において、第１の特徴量として垂直方向、水平方向のそれぞれのエッジに対応する特定の周波数成分の総和を用いたが、これに限定されるものではなく、図５〜図７あるいは他の例によっても良い。

斜め方向のエッジに対応する特定の周波数成分を用いてもよい。更には、人間の視覚特性にあった特徴量を抽出することで、画質劣化が知覚され難くなるという効果がある。

また、本形態では、ステップ２０４において、埋め込み対象ブロックの特徴量を抽出したが、加えて埋め込み対象ブロックに隣接する複数のブロック（以下、隣接ブロックと呼ぶ）の特徴量を抽出し、ステップ２０５において、埋め込み対象ブロックと隣接ブロックの特徴量に基づいて、一つまたは複数の周波数成分を選択してもよい。こうすることで、より画質劣化を抑えることができるという効果がある。

例えば、ステップ２０５において、埋め込み対象ブロックと隣接ブロックそれぞれについて、条件ａ〜ｃのどれに該当するかを判定し、多数決によって埋め込み対象ブロックに採用する条件を決定するという方法もある。

図８は、埋め込み対象ブロックと隣接ブロックを示したものである。図８において、ブロック内の記号ａ、ｂ、ｃは、それぞれ条件ａ、ｂ、ｃに対応し、例えばａと表示したブロックは、条件ａに該当することを意味する。

図８において、埋め込み対象ブロックは条件ｃに該当するが、隣接ブロックを含めると条件ｂに該当するブロックが最も多い。この場合は、多数決によって埋め込み対象ブロックに条件ｂを採用することもできる。

また、本形態では、ステップ２０５において、第１の特徴量に基づいて、周波数成分ＡＣ１、周波数成分ＡＣ２またはこれらの両方を選択したが、これに限定されるものではない。選択した周波数成分に対して所定の規則での操作を行った場合に、第１の特徴量の意味する画像のパターンに近くなるように、周波数成分を選択することが望ましい。

また、本形態では、ステップ２０６において、第２の特徴量として直流成分値ＤＣと特定の交流成分ＡＣ１〜ＡＣ９の総和を用いたが、これに限定されるものではない。人間の視覚特性にあった特徴量を抽出することで、画質劣化が知覚され難くなるという効果がある。

また、本形態では、ステップ２０７において、ビット列の値をブロック１つおきに繰り返し割り当てたが、規則的に割り当てられるのであれば、これに限定されるものではなく、割り当て方が電子透かし埋め込み装置と電子透かし検出装置で共有されていればよい。

また、割り当てられたビット列の値が「１」の場合には、
Ｘｗｍ＝Ｘｏｒｇ＋ｄＸ
とし、割り当てられたビット列の値が「０」の場合には、
Ｘｗｍ＝Ｘｏｒｇ−ｄＸ
としたが、ｄＸの符号が逆の場合でも同様の効果を得ることができる。また、所定の規則での操作を、周波数成分の値の増減としたが、増減は所定の規則での操作の一例にすぎない。

また、本形態では、デジタル画像信号に対してブロック分割し、直交変換を行った後、一つまたは複数の周波数成分の値に対して所定の操作を行い、電子透かしの埋め込みを行ったが、例えば、ＭＰＥＧストリームに対して、一つまたは複数の周波数成分の値で表される状態まで復号した後で、電子透かし埋め込みを行っても同様の効果が得られる。

図９は、図１に示した電子透かし埋め込み装置を、ＭＰＥＧ方式の圧縮画像データに適用した例を示す。

図９に示すように、分離部９０１は、ＭＰＥＧ方式による圧縮画像データを入力しこれを分離して可変長復号部９０２へ出力する。可変長復号部９０２は、分離された圧縮画像を可変長復号しＤＣＴ係数値（周波数成分）を電子透かし埋め込み部１０７へ出力する。

電子透かし埋め込み部１０７は、上述のように、ＤＣＴ係数値に電子透かしを埋め込み、埋め込み済みのＤＣＴ係数値が可変長符号化部９０３へ出力される。可変長符号化部９０３は、埋め込み済みのＤＣＴ値を可変長符号化し、多重化部９０４へ出力する。

以上のように、ＤＣＴ係数（周波数成分）の状態で電子透かしを埋め込むと、図１８に示した従来技術に比べ、逆ＤＣＴ→ブロック合成→画素空間からの符号化というプロセスを省略できる。

こうすると、例えば、映像サーバのように、既にＭＰＥＧ方式で圧縮された画像データを保持し、これに電子透かしを埋め込んで、クライアントへ配送するような場合、一連の処理内容が少なく、映像サーバの処理負担を軽減でき、しかもクライアントへのレスポンスを良好に保持することができる。

なお、可変長復号部９０２の出力を逆量子化部９０５で逆量子化し、さらに、逆ＤＣＴ部９０６で逆ＤＣＴすると、画素空間の画像が得られる。また、図９に破線で示しているように、逆量子化を行った直後に、電子透かしを埋め込んでも、差し支えない。

（第２の実施の形態）
以下、図面を参照しながら、本発明における第２の実施の形態について説明する。本形態は、第１の実施の形態で説明した電子透かし埋め込み装置によって電子透かしを埋め込まれた画像信号から、電子透かしの検出を行う電子透かし検出装置である。

図１０は、本発明における第２の実施の形態に係る電子透かし検出装置の構成を示すブロック図である。

図１０において、電子透かし検出装置は、入力部７０１とブロック分割部７０２と領域選択部７０３と演算部７０４とビット検出部７０５とビット列決定部７０６と検出ビット列出力部７０７と隣接領域選択部７０８を備える。

入力部７０１は、画像信号を入力する。ブロック分割部７０１は、入力部７０１から入力された画像信号を複数画素単位のブロックに分割する。

領域選択部７０３は、ブロック内における領域を選択する。演算部７０４は、選択された領域に基づいて所定の演算を行う。

ビット検出部７０５は、演算部７０４の出力値に基づいて、埋め込まれたビットの値を検出する。ビット列決定部７０６は、ビット検出部７０５が検出したビット値から、埋め込まれたビット列を決定する。

検出ビット列出力部７０７は、ビット列決定部７０６が決定したビット列を出力する。隣接領域選択部７０８は、領域選択部７０３が選択した領域に隣接する隣接領域を選択する。

以下、図１１を更に参照して、本発明の電子透かし検出装置について説明する。図１１は、図１０の電子透かし検出装置のフローチャートである。

まず、入力部７０１は、電子透かしが埋め込まれた画像信号を入力する（ステップ８０１）。

次に、ブロック分割部７０２は、ステップ８０１において入力された画像信号を複数画素単位のブロックに分割する（ステップ８０２）。本形態では、８×８画素から構成されるブロックに分割する。

次に、領域選択部７０３は、ステップ８０２において分割されたブロック内の１つまたは複数の画素から成る領域を複数選択する（ステップ８０３）。

図１２は、本ステップにおける８×８画素から構成されるブロックからの領域選択要領を示す。図１２において、矩形一つ一つは１画素に対応する。

図１２では、領域Ａと領域Ｂとが選択される。ここで選択する領域は、電子透かし埋め込みによる変化が大きい画素を選択する方が望ましい。

ここでは、第１の実施の形態における電子透かし埋め込み装置において、増減を行った周波数成分に対応するように選択している。従って、電子透かし埋め込みにおいて、増減を行った周波数成分に応じて、選択する領域は変化する。この点、図５から図７を再度参照されたい。

次に、図１０において、隣接領域選択部７０８は、ステップ８０３において選択された領域に隣接する１つまたは複数の画素から成る領域を複数選択する（ステップ８０４）。

図１３は、本ステップにおける領域選択要領を示す。図１３では、領域Ａ及びＢに隣接する領域Ｃ及びＤが選択される。

ここで選択する領域Ｃ及びＤは、ステップ８０３で選択した領域Ａ及びＢに含まれる画素値に最も近い画素を含み、かつ電子透かし埋め込みによる変化がほとんどない画素を含む領域を選択することが望ましい。因みに、この例では、領域Ｃに含まれる画素の値は領域Ａに最も近く、また、領域Ｄに含まれる画素の値は領域Ｂに最も近い。

また、第１の実施の形態における電子透かし埋め込み装置において、埋め込むビット列をブロック１つおきに割り当てているため、電子透かし埋め込みによる変化はない。

次に、演算部７０４は、ステップ８０３とステップ８０４において選択された領域に対して所定の演算を行う（ステップ８０５）。ステップ８０３とステップ８０４において選択された領域Ａ、Ｂ、Ｃ、Ｄに含まれるそれぞれの画素値の総和をｓｕｍＡ、ｓｕｍＢ、ｓｕｍＣ、ｓｕｍＤとすると、
出力値＝（ｓｕｍＡ−ｓｕｍＣ）−（ｓｕｍＢ−ｓｕｍＤ）
となる。

ここで、ｓｕｍＡ−ｓｕｍＢを出力値としても電子透かしを検出できるが、その場合にはブロック内での画素値の変化によっては、検出精度が悪くなることがあり得る。そこで、領域Ａ、Ｂ内の画素値に近い画素値をとる領域Ｃ、ＤのｓｕｍＣ、ｓｕｍＤをｓｕｍＡ、ｓｕｍＢから減じることで、電子透かし埋め込みによる変化分のみを効果的に抽出できる。

次に、ビット検出部７０５は、ステップ８０５における出力値に基づいて、埋め込まれたビットの値が「０」か「１」かを検出する（ステップ８０６）。ステップ８０５における出力値が正の場合にはビットの値を「１」とし、負の場合にはビットの値を「０」とする。

次に、ビット列決定部７０６は、ステップ８０６において検出された個々のビット値から、埋め込まれたビット列を決定する（ステップ８０７）。ビット列決定部７０６は、ステップ８０６においてブロック毎に検出された複数の値を順に並べてビット列を形成する。

第１の実施の形態における電子透かし埋め込み装置において、ビット列を繰り返し埋め込んでいるから、画像フレーム内で循環するビット列が検出できる。ビット列におけるそれぞれの値の決定は、何回も検出したビット列から多数決判定を用いて決定する。

最後に、検出ビット列出力部７０７は、ステップ８０７において決定されたビット列を出力する（ステップ８０８）。

以上のように、本形態に係る電子透かし埋め込み装置によれば、電子透かし埋め込みによる変化が大きい領域と、その領域近傍の画素値が近く電子透かしによる変化がない領域を選択して、演算を行うことで、電子透かし埋め込みによる変化分のみを効果的に抽出できる。ブロックの画像に影響を受けにくい、検出精度のよい電子透かし技術を実現できる。

なお、本形態では、ステップ８０５において、領域内の画素値の総和を求めて、それぞれの領域間の差分を算出したが、領域内の画素値の平均値を用いてもよい。単純に総和ではなく、電子透かしの埋め込みにおける各画素の変化量に応じて、重みを付けて算出してもよい。

また、ステップ８０３及びステップ８０４の領域選択において、検出対象ブロックが存在する現フレーム画像から領域を選択したが、加えて再生順で前のフレームまたは後のフレームまたはその両方のフレームから領域を選択すると、より顕著に検出することができる。この場合、前のフレーム及び後のフレームからは、検出対象ブロックの画像と最も近いブロックから選択することが望ましい。

（第３の実施の形態）
以下、図面を参照しながら、本発明における第３の実施の形態について説明する。本発明における第３の実施の形態に係る電子透かし埋め込み装置は、第１の実施の形態における電子透かし埋め込み装置において、埋め込み信号作成部１０１（図１参照）の処理であるステップ２０１（図２参照）のみ異なる。従って、ここでは、埋め込み信号作成部１０１についてのみ説明を行う。

埋め込み信号作成部１０１は、予め用意した埋め込み情報と擬似乱数系列を対応付けた対応表を用いて、埋め込み情報と対応する擬似乱数系列を選択し、選択した擬似乱数系列を埋め込み信号として作成する。作成した埋め込み信号のそれぞれのビットをブロック単位に割り当てる。

本形態では、埋め込み情報を２値のビット列に変換し、それぞれのビットのビット位置と値に擬似乱数系列を対応付けた対応表を用いることにする。ここで、埋め込み情報を２値のビット列に変換する処理は、第１の実施の形態で説明した内容と同じである。

その後の処理について、図１４を用いて説明する。図１４（ａ）は埋め込み情報を変換した２値のビット列とそれぞれのビット位置を示す。図１４（ｂ）はビット位置と値と対応付けられる擬似乱数系列の対応表を示す。

埋め込み信号作成部１０１は、ビット列の先頭から順にこの対応表に従って擬似乱数系列を選択する。例えば、図１４（ａ）において、ビット位置｛０｝に対応するビットの値は｛０｝であるから、図１４（ｂ）により擬似乱数｛Ｓ０００｝が選択される。したがって、擬似乱数｛Ｓ０００｝のそれぞれのビットが、ブロック単位に割り当てられる。

以上のように、埋め込み情報のビット列を擬似乱数系列に対応付けて電子透かし埋め込みを行う。

なお、本形態では、埋め込み情報を２値のビット列に変換し、それぞれのビットのビット位置と値に擬似乱数系列を対応付けた対応表を用いたが、埋め込み情報の複数ビット単位に擬似乱数系列と対応付けた対応表を用いてもよい。また、擬似乱数系列から埋め込み情報が一意に決定できる対応表であれば、これに限定されるものではなく、対応表が電子透かし埋め込み装置と電子透かし検出装置で共有されていればよい。

（第４の実施の形態）
以下、図面を参照しながら、本発明における第４の実施の形態について説明する。本形態は、第３の実施の形態で説明した電子透かし埋め込み装置によって電子透かしを埋め込まれた画像信号から、電子透かしの検出を行う電子透かし検出装置である。

図１５は、本発明における第４の実施の形態に係る電子透かし検出装置のブロック図である。

図１５において、電子透かし検出装置は、入力部７０１とブロック分割部７０２と領域選択部７０３と演算部７０４と系列記録部１２０１と相関値算出部１２０２と閾値設定部１２０３と比較部１２０４とビット列決定部７０６と検出ビット列出力部７０７と隣接領域選択部７０８を備える。

系列記録部１２０１は、埋め込み情報と擬似乱数系列を対応付けた対応表を保持する。

相関値算出部１２０２は、演算部７０４がブロック毎に演算した出力値の系列と、対応表に含まれる擬似乱数系列との相関値を算出し、得られた相関値の中で、最大の相関値を出力する。

閾値設定部１２０３は、相関値の閾値を設定する。比較部１２０４は、相関値算出部１２０２が出力する最大の相関値と閾値設定部１２０３で設定された閾値を比較し、比較結果に適合する擬似乱数系列を出力する。

ビット列決定部７０６は、比較部１２０４が出力する擬似乱数系列と対応表とに基づいて埋め込みビット列を決定する。検出ビット列出力部７０７は、ビット列決定部７０６が決定したビット列を出力する。

以下、図１６を更に参照して、本発明の電子透かし検出装置について説明する。図１６は、図１５の電子透かし検出装置のフローチャートである。

まず、入力部７０１は、電子透かしが埋め込まれた画像信号を入力する（ステップ１３０１）。

次に、ブロック分割部７０２は、ステップ１３０１において入力された画像信号を複数画素単位のブロックに分割する（ステップ１３０２）。本形態では、８×８画素から構成されるブロックに分割する。

次に、領域選択部７０３は、ステップ１３０２において分割されたブロック内の１つまたは複数の画素から成る領域を複数選択する（ステップ１３０３）。本ステップの処理内容は、第２の実施の形態におけるステップ８０３（図１１参照）と同じ処理であるため説明を割愛する。

次に、隣接領域選択部７０８は、ステップ１３０３において選択された領域に隣接する１つまたは複数の画素から成る領域を複数選択する（ステップ１３０４）。本ステップの処理内容は、第２の実施の形態におけるステップ８０４（図１１参照）と同じ処理であるため説明を割愛する。

次に、演算部７０４は、ステップ１３０３とステップ１３０４において選択された領域に対して所定の演算を行う（ステップ１３０５）。本ステップの処理内容は、第２の実施の形態におけるステップ８０５（図１１参照）と同じ処理であるため説明を割愛する。

系列記録部１２０１は、埋め込み情報と対応付けられる擬似乱数系列の対応表で、第３の実施の形態で用いたものと同じ内容を記録している。

相関値算出部１２０２は、ステップ１３０５においてブロック毎に演算した出力値の系列と、系列記録部１２０１が記録している対応表に含まれる全ての擬似乱数系列との相関値を算出し、得られた相関値の中で、最大の相関値を求める（ステップ１３０６）。相関値算出部１２０２は、最大の相関値と、その相関を抽出した擬似乱数系列を比較部１２０４に送る。

例えば、図１４（ｂ）の対応表を用いた場合、相関値算出部１２０２は、３２個の擬似乱数系列｛Ｓ０００、Ｓ００１、…、Ｓ１５１｝と、ブロック毎に演算した出力値の系列との相関値を求め、その中から最大の相関値を求める。最大の相関値ＳＭＡＸが擬似乱数系列｛Ｓ０００｝との相関で得られた場合、最大の相関値ＳＭＡＸと擬似乱数系列｛Ｓ０００｝を比較部１２０４へ送る。

次に、閾値設定部１２０３は、比較部１２０４の閾値を設定する（ステップ１３０７）。比較部１２０４は、最大の相関値と閾値とを比較し（ステップ１３０８）、相関値が大きい場合は、その相関値を抽出した擬似乱数系列に対応するビット位置とその値をビット列決定部７０６に送る。例えば、図１４（ｂ）の対応表を用いた場合、擬似乱数系列｛Ｓ０００｝に対応するビット位置｛０｝とその値｛０｝をビット列決定部７０６に送る。最大の相関値が、閾値以下であれば処理は行わない。

なお、不正複製等で外乱が発生すると、閾値より大きい相関値が全く存在しない場合や、閾値より大きい相関値が複数存在する場合が、あり得る。このようなときには、比較部１２０４は、例外的な処理として、閾値と相関値を比較するのではなく、最大の相関値Ｓ１が他の相関値Ｓｎに対して、一定条件（例えば、Ｓ１＞Ｓｎになる条件）を満たす場合のみ、その擬似乱数系列に対応するビット位置とその値を抽出するようにすればよい。

次に、ビット列決定部７０６は、比較部１２０４から出力されたビット位置と値を保持し、埋め込んだビット列の全てのビット位置とその値が揃った時点で、ビット列を形成し検出ビット列出力部７０７へ送る（ステップ１３０９）。

最後に、検出ビット列出力部７０７は、ステップ１３０９において決定されたビット列を出力する（ステップ１３１０）。

以上のように、本形態に係る電子透かし検出装置によれば、埋め込み信号に対応付けた擬似乱数系列との相関を用いて検出を行うことで、単純にビット列を検出する場合に比べ、信頼性の高い検出を行うことができる。

以上、第１〜４の実施の形態について説明を行った。

なお、典型的には、図１７に示すように、上記実施の形態に係る電子透かし埋め込み装置及び電子透かし検出装置が実現する各機能は、電子透かし埋め込みプログラム及び電子透かし検出プログラムが格納された記憶装置１５０２（ＲＯＭ、ＲＡＭ、ハードディスク等）と、当該プログラムデータを実行するＣＰＵ１５０１（セントラル・プロセッシング・ユニット）とによって実現される。この場合、電子透かし埋め込みプログラム及び電子透かし検出プログラムは、ＣＤ−ＲＯＭやフレキシブルディスク等の記録媒体１５０５に格納され、この記録媒体１５０５から記憶装置１５０２にロード又はインストールされる。

本発明に係る電子透かし埋め込み装置は、画像処理装置及びその関連技術に適用でき、特に、画像をブロック単位で取り扱う技術等において有用である。

本発明の第１の実施の形態に係る電子透かし埋め込み装置のブロック図 本発明の第１の実施の形態に係る電子透かし埋め込み装置のフローチャート 本発明の第１の実施の形態に係る周波数成分の説明図 本発明の第１の実施の形態に係る埋め込み処理の説明図 （ａ）本発明の第１の実施の形態に係る操作の例示図 （ｂ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｃ）本発明の第１の実施の形態に係る輝度変化分布の例示図 （ｄ）本発明の第１の実施の形態に係る操作の例示図 （ｅ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｆ）本発明の第１の実施の形態に係る輝度変化分布の例示図 （ｇ）本発明の第１の実施の形態に係る操作の例示図 （ｈ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｉ）本発明の第１の実施の形態に係る輝度変化分布の例示図 （ｊ）本発明の第１の実施の形態に係る操作の例示図 （ｋ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｌ）本発明の第１の実施の形態に係る輝度変化分布の例示図 （ａ）本発明の第１の実施の形態に係る操作の例示図 （ｂ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｃ）本発明の第１の実施の形態に係る輝度変化分布の例示図 （ｄ）本発明の第１の実施の形態に係る操作の例示図 （ｅ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｆ）本発明の第１の実施の形態に係る輝度変化分布の例示図 （ｇ）本発明の第１の実施の形態に係る操作の例示図 （ｈ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｉ）本発明の第１の実施の形態に係る輝度変化分布の例示図 （ｊ）本発明の第１の実施の形態に係る操作の例示図 （ｋ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｌ）本発明の第１の実施の形態に係る輝度変化分布の例示図 （ａ）本発明の第１の実施の形態に係る操作の例示図 （ｂ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｃ）本発明の第１の実施の形態に係る輝度変化分布の例示図 （ｄ）本発明の第１の実施の形態に係る操作の例示図 （ｅ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｆ）本発明の第１の実施の形態に係る輝度変化分布の例示図 （ｇ）本発明の第１の実施の形態に係る操作の例示図 （ｈ）本発明の第１の実施の形態に係る輝度変化量の例示図 （ｉ）本発明の第１の実施の形態に係る輝度変化分布の例示図 本発明の第１の実施の形態に係るブロックの位置関係図 本発明の第１の実施の形態に係るＭＰＥＧ適用図 本発明の第２の実施の形態に係る電子透かし埋め込み装置のブロック図 本発明の第２の実施の形態に係る電子透かし埋め込み装置のフローチャート 本発明の第２の実施の形態に係る領域選択の説明図 本発明の第２の実施の形態に係る隣接領域選択の説明図 （ａ）本発明の第３の実施の形態に係るビット列の例示図 （ｂ）本発明の第３の実施の形態に係る擬似乱数系列の例示図 本発明の第４の実施の形態に係る電子透かし埋め込み装置のブロック図 本発明の第４の実施の形態に係る電子透かし埋め込み装置のフローチャート 本発明のプログラムを記録した記録媒体の説明図 従来の電子透かし埋め込み装置のブロック図

符号の説明

１０１ 埋め込み信号作成部
１０２ ブロック分割部
１０３ 直交変換部
１０４ 第１の特徴量抽出部
１０５ 選択部
１０６ 第２の特徴量抽出部
１０７ 電子透かし埋め込み部
７０１ 入力部
７０２ ブロック分割部
７０３ 領域選択部
７０４ 演算部
７０５ ビット検出部
７０６ ビット列決定部
７０７ 検出ビット列出力部
７０８ 隣接領域選択部
９０１ 分離部
９０２ 可変長復号部
９０３ 可変長符号化部
９０４ 多重化部
９０５ 逆量子化部
９０６ 逆ＤＣＴ部
１２０１ 系列記録部
１２０２ 相関値算出部
１２０３ 閾値設定部
１２０４ 比較部
１４０１ ブロック分割部
１４０２ ブロック抽出部
１４０３ ＤＣＴ部
１４０４ ＤＣＴ係数抽出部
１４０５ 透かしデータ埋め込み部
１４０６ 逆ＤＣＴ部
１４０７ ブロック合成部
１４０８ ＭＰＥＧ符号化部
１４０９ テンプレート
１５０１ ＣＰＵ
１５０２ 記憶装置
１５０３ バス
１５０４ ドライブ
１５０５ 記録媒体

Claims (12)

1. 埋め込み情報に基づいて、電子透かしとして埋め込む埋め込みビット列を作成する埋め込み信号作成部と、
   デジタル画像信号を、複数画素単位を有する複数のブロックに分割するブロック分割部と、
   隣接するブロックの少なくとも一つが前記ビット列が割当てられない非割当ブロックとなるように、前記分割された複数のブロックから前記ビット列が割当てられる割当ブロックを選択した上で、前記埋め込みビット列を前記割当ブロックに割当てるブロック割当部と、
   前記割当ブロックのそれぞれを直交変換し複数の周波数成分に変換する直交変換部と、
   前記複数の周波数成分の内、垂直方向のエッジに対応する周波数成分と水平方向のエッジに対応する周波数成分とを特徴量として抽出する特徴量抽出部と、
   前記特徴量に基づいて、電子透かし埋め込みの前後で画素値の変化量の分布のエッジ方向が前記選択したブロックのエッジの方向となるように、前記複数の周波数成分の少なくとも一つを選択する選択部と、
   割当てられた前記埋め込みビット列に基づいて、前記選択された周波数成分を増減する電子透かし埋め込み部と、を備える電子透かし埋め込み装置。
2. 前記特徴量抽出部は、前記割当ブロックと前記割当ブロックに隣接するブロックとから前記特徴量を抽出する請求項１記載の電子透かし埋め込み装置。
3. 前記画素値の変化量は、正となる領域と、負となる領域とが、交互に存在するパターンである請求項１記載の電子透かし埋め込み装置。
4. 前記埋め込み信号作成部は、予め用意した埋め込み情報と擬似乱数系列を対応付けた対応表を用いて、埋め込み情報と対応する擬似乱数系列を選択し、選択した擬似乱数系列を埋め込みビット列とする請求項１記載の電子透かし埋め込み装置。
5. 前記選択部は、前記特徴量として抽出した垂直方向のエッジに対応する周波数成分の総和と、水平方向のエッジに対応する周波数成分の総和とに基づいて、前記複数の周波数成分の少なくとも一つを選択する請求項１記載の電子透かし埋め込み装置。
6. 前記直交変換部は、離散コサイン変換を行う請求項１記載の電子透かし埋め込み装置。
7. 前記画素値の変化量は、離散コサイン変換の基底画像で表されるパターンを含む請求項１記載の電子透かし埋め込み装置。
8. 前記特徴量抽出部は、抽出する特徴量として更に直流成分を含む請求項１記載の電子透かし埋め込み装置。
9. 画像信号を入力する入力部と、
   前記入力部から入力された画像信号を、複数画素単位を有する複数のブロックに分割するブロック分割部と、
   前記分割されたブロックの内、予め定められた電子透かしの埋め込み位置のブロックにおいて、電子透かし埋め込みによる画素値の変化が大きい画素を含む領域を選択する領域選択部と、
   前記領域選択部が選択した領域に隣接する隣接領域を選択する隣接領域選択部と、
   前記領域選択部が選択した領域と、前記隣接領域選択部が選択した隣接領域との差分に基づいて画素値の変化量を推定する変化量推定部と、
   前記変化量推定部の出力値に基づいて、埋め込まれたビットの値を検出するビット検出部と、
   前記ビット検出部が検出したビット値から、埋め込まれたビット列を決定するビット列決定部と、
   前記ビット列決定部が決定したビット列を出力する検出ビット列出力部を備える電子透かし検出装置。
10. 画像信号を入力する入力部と、
    前記入力部から入力された画像信号を、複数画素単位を有する複数のブロックに分割するブロック分割部と、
    前記分割されたブロックの内、予め定められた電子透かしの埋め込み位置のブロックにおいて、電子透かし埋め込みによる画素値の変化が大きい画素を含む領域を選択する領域選択部と、
    前記領域選択部が選択した領域に隣接する隣接領域を選択する隣接領域選択部と、
    前記領域選択部が選択した領域と、前記隣接領域選択部が選択した隣接領域との差分に基づいて画素値の変化量を推定する変化量推定部と、
    前記変化量推定部の出力値に基づいて、埋め込まれたビットの値を検出するビット検出部と、
    埋め込み情報と擬似乱数系列を対応付けた対応表を保持する系列記録部と、
    前記ビット検出部がブロック毎に演算した出力値の系列と、前記対応表に含まれる擬似乱数系列との相関値を算出し、得られた相関値の中で、最大の相関値を出力する相関値算出部と、
    相関値の閾値を設定する閾値設定部と、
    前記相関値算出部が出力する最大の相関値と前記閾値設定部で設定された閾値を比較し、比較結果に適合する擬似乱数系列を出力する比較部と、
    前記比較部が出力する擬似乱数系列と前記対応表とに基づいて埋め込みビット列を決定するビット列決定部と、
    前記ビット列決定部が決定したビット列を出力する検出ビット列出力部を備える電子透かし検出装置。
11. 前記領域選択部は、前記ブロックの存在する現フレームに加え、再生順で前記現フレームの前のフレームと前記現フレームの後のフレームの少なくとも一方において、前記ブロック内における領域を選択する請求項９から１０のいずれか記載の電子透かし検出装置。
12. 前記隣接領域選択部は、前記ブロックの存在する現フレームに加え、再生順で前記現フレームの前のフレームと前記現フレームの後のフレームの少なくとも一方において、前記領域選択部が選択した領域に隣接する隣接領域を選択する請求項９から１１のいずれか記載の電子透かし検出装置。

Images