JP4624359B2 - 電子透かし装置 - Google Patents

Description

この発明は、例えば、画像信号や音声信号などのマルチメディアデータに電子透かしを埋め込む電子透かし装置と、電子透かしが埋め込まれたマルチメディアデータを認証する認証処理装置と、電子透かしが埋め込まれたマルチメディアデータを復号する復号処理装置と、電子透かしが埋め込まれたマルチメディアデータを再量子化する再量子化装置とに関するものである。

デジタルデータが正規に発行されたものであって、その後、いかなる改ざんも行われていないことを認証する一般的な方法として、電子署名などの方法がある。
電子署名を実施する方法の原理は、発行者がデジタルデータのハッシュ値などを暗号化することにより認証用コードを作成し、その認証用コードをデジタルデータと一緒に送信する。
受信側では、発行者から送信された認証用コードを復号するとともに、そのデジタルデータのハッシュ値を再計算し、そのハッシュ値と当該認証用コードを比較して、そのデジタルデータの真正性を確認する。

デジタルデータが画像データや音声データである場合、その認証用コードを電子透かしとしてデジタルデータの中に埋め込むことによって、その認証用コードを確実にデジタルデータと結びつける電子透かし装置が数多く提案されている（例えば、非特許文献１を参照）。
非特許文献１には、特にＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）で符号化された動画像データに対して、そのＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数からハッシュ値を計算し、そのハッシュ値を電子透かしとして埋め込む方法が開示されている。この方法によれば、符号化データの中のＤＣＴ係数の値が少しでも変化すれば、受信側でその変化を検知することが可能である。
なお、非特許文献１に開示されている電子透かし装置では、符号量の削減を図るため、動画像では時間的に隣接する画像が互いに似ているという性質を利用して、その差分だけを伝送する予測符号化を実施するようにしている。

Ｒ．Ｄｕ ａｎｄ Ｊ．Ｆｒｉｄｒｉｃｈ，"Ｌｏｓｓｌｅｓｓ ａｕｔｈｅｎｔｉｃａｔｉｏｎ ｏｆ ＭＰＥＧ−２ ｖｉｄｅｏ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００２年９月

従来の電子透かし装置は以上のように構成されているので、隣接している動画像データの差分信号を伝送することにより符号量を削減する場合には、受信側で差分信号から動画像データが一旦復号されると、その差分信号を再現することができない。このため、その差分信号に埋め込まれたハッシュ値も動画像データの復号と同時に消失し、その認証機能が失われてしまうなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、画像や音声などのマルチメディアデータが復号されても、認証機能を失わないマルチメディアデータを提供することができる電子透かし装置を得ることを目的とする。
また、この発明は、上記の電子透かし装置から提供されるマルチメディアデータを認証する認証処理装置と、そのマルチメディアデータを復号する復号処理装置と、そのマルチメディアデータを再量子化する再量子化装置とを得ることを目的とする。

この発明に係る電子透かし装置は、入力信号を量子化して、その入力信号の量子化インデックスから認証子を演算し、その認証子を当該量子化インデックスの中に埋め込む署名手段を設ける一方、その入力信号と参照信号の差分信号を求め、その署名手段により認証子が埋め込まれた量子化インデックスに応じて当該差分信号を量子化し、その差分信号の量子化インデックスを出力する符号化手段を設けるようにしたものである。
また、署名手段が、符号化手段の量子化器から出力された量子化インデックスを復号して差分信号を出力する逆量子化器と、その逆量子化器から出力された差分信号と参照信号を加算する加算器と、その加算器から出力された加算信号を量子化し、その加算信号の量子化インデックスを出力する量子化器と、その量子化器から出力された量子化インデックスから認証子を演算する認証子演算回路と、その認証子演算回路により演算された認証子に応じて量子化器から出力された量子化インデックスの一部を変調する変調器とから構成されているようにしたものである。

このことによって、画像や音声などのマルチメディアデータが復号されても、認証機能を失わないマルチメディアデータを提供することができる効果がある。
また、符号化における雑音抑圧機能を阻害することなく、見かけ上、雑音の少ない符号化画像を得ることができる効果がある。

この発明の参考例１による電子透かし装置を示す構成図である。 ｋ番目の変換係数を量子化する一例を示す説明図である。 署名回路における補正回路の処理内容を示すフローチャートである。 この発明の実施の形態１による電子透かし装置を示す構成図である。 この発明の参考例２による認証処理装置を示す構成図である。 係数取得部の内部を示す構成図である。 係数取得部の内部を示す構成図である。 この発明の参考例３による復号処理装置を示す構成図である。 復号回路の内部を示す構成図である。 補正回路の処理内容を示すフローチャートである。 この発明の参考例４による再量子化装置を示す構成図である。 係数取得回路の内部を示す構成図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
参考例１．
図１はこの発明の参考例１による電子透かし装置を示す構成図であり、図において、署名回路１は入力信号である画像信号を量子化して、その画像信号の量子化インデックスから認証子を演算し、その認証子を当該量子化インデックスの中に埋め込む処理を実施する。なお、署名回路１は署名手段を構成している。
符号化器２は画像信号と参照信号の差分信号を求め、署名回路１により認証子が埋め込まれた量子化インデックスに応じて当該差分信号を量子化し、その差分信号の量子化インデックスを出力する。なお、符号化器２は符号化手段を構成している。

符号化器２の変換器１１は入力信号である画像信号Ｘ（ただし、Ｘは画像信号のベクトルである）をブロック単位で周波数領域の信号Ｔ（Ｘ）に変換する。
符号化器２の減算器１２は変換器１１の変換結果である周波数領域の信号Ｔ（Ｘ）から過去に符号化された参照画像信号Ｘｐ（ただし、Ｘｐは参照画像信号のベクトルである）の周波数領域の信号Ｔ（Ｘｐ）を減算して、その差分信号である周波数領域の予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を求める。

署名回路１の量子化器１３は変換器１１から出力された周波数領域の信号Ｔ（Ｘ）を量子化し、その信号Ｔ（Ｘ）の量子化インデックスＱｗ（Ｔ（Ｘ））を出力する。
署名回路１の補正回路１４は量子化器１３から出力された量子化インデックスＱｗ（Ｔ（Ｘ））を補正し、補正後の量子化インデックスＱｗ（Ｔ（Ｘ））を認証子演算回路１５及び変調器１６に出力する。
署名回路１の認証子演算回路１５は補正回路１４による補正後の量子化インデックスＱｗ（Ｔ（Ｘ））から認証子Ｗ（ただし、Ｗは認証子のベクトルである）を演算する。
署名回路１の変調器１６は認証子演算回路１５により演算された認証子Ｗに応じて補正後の量子化インデックスＱｗ（Ｔ（Ｘ））の一部を変調し、その変調結果Ｙｗを出力する。

符号化器２の量子化器１７は変調器１６の変調結果Ｙｗ（変調器１６により認証子Ｗが埋め込まれた量子化インデックス）に応じて減算器１２により演算された周波数領域の予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を量子化し、その予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）の量子化インデックスＹ（ただし、Ｙは量子化インデックスのベクトルである）を出力する。
符号化器２の逆量子化器１８は量子化器１７から出力された予測誤差の量子化インデックスＹを逆量子化して予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を復号する。
符号化器２の加算器１９は逆量子化器１８により復号された予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）とスイッチ２３から出力された参照画像信号Ｘｐの周波数領域の信号Ｔ（Ｘｐ）を加算して、その加算信号Ｔ（Ｘ）を出力する。

符号化器２の逆変換器２０は加算器１９から出力された加算信号Ｔ（Ｘ）を時間領域に変換し、その時間領域の信号を参照画像信号Ｘｐとして出力する。
符号化器２の記憶回路２１は逆変換器２０から出力された参照画像信号Ｘｐをうごき時間分だけ記憶して出力する。
符号化器２の変換器２２は記憶回路２１から出力された参照画像信号Ｘｐを周波数領域に変換し、その周波数領域の信号Ｔ（Ｘｐ）を出力する。
符号化器２のスイッチ２３は変換器２２から出力された周波数領域の信号Ｔ（Ｘｐ）を減算器１２と加算器１９に与える。ただし、動画像を符号化する場合には、他の画像を参照することなく復号できる画像を適当に混合する必要があるので、この場合には、“０”を減算器１２と加算器１９に与える。このときは、量子化器１７が現在の入力画像をそのまま符号化するように動作する。

次に動作について説明する。
まず、符号化器２の変換器１１は、画像信号Ｘを入力すると、その画像信号Ｘをブロック単位で周波数領域に変換し、その周波数領域の信号Ｔ（Ｘ）を減算器１２及び署名回路１の量子化器１３に出力する。
ここで、Ｔ（）は、変換器１１の演算子である。

符号化器２の減算器１２は、変換器１１から周波数領域の信号Ｔ（Ｘ）を受け、かつ、変換器２２からスイッチ２３を介して、過去に符号化された参照画像信号Ｘｐの周波数領域の信号Ｔ（Ｘｐ）を受けると、その周波数領域の信号Ｔ（Ｘ）から信号Ｔ（Ｘｐ）を減算して、周波数領域の予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を求める。
一方、署名回路１の量子化器１３は、変換器１１から周波数領域の信号Ｔ（Ｘ）を受けると、その周波数領域の信号Ｔ（Ｘ）を量子化し、その信号Ｔ（Ｘ）の量子化インデックスＱｗ（Ｔ（Ｘ））を出力する。
ここで、Ｑｗ（）は、量子化器１３の演算子である。

署名回路１の補正回路１４は、量子化器１３から出力された量子化インデックスＱｗ（Ｔ（Ｘ））を補正し、補正後の量子化インデックスＱｗ（Ｔ（Ｘ））を認証子演算回路１５及び変調器１６に出力する。
補正回路１４の具体的な処理内容は後述する。

署名回路１の認証子演算回路１５は、補正回路１４による補正後の量子化インデックスＱｗ（Ｔ（Ｘ））から認証子Ｗを演算する。
この認証子の演算は、例えば、伊藤他、「ＪＰＥＧ画像の真正性を証明する電子透かしの方法」（電子情報通信学会全国大会、２００３年３月）に述べられた方法などを用いればよい。
この方法は、Ｎ個の変換ブロックをひとまとめにして、その全ての量子化インデックスのハッシュ値を計算し、そのハッシュ値を暗号化したものを署名とするものである。なお、ハッシュ値のビット数がＮに等しいとすれば、１個の変換ブロックに対して１ビットの認証子が計算されることになる。

署名回路１の変調器１６は、認証子演算回路１５が認証子Ｗを演算すると、その認証子Ｗに応じて補正後の量子化インデックスＱｗ（Ｔ（Ｘ））の一部を変調し、その変調結果Ｙｗを出力する。
Ｙｗ＝Ｑｗ（Ｔ（Ｘ））＋Ｗ （１）
具体的には、変調器１６は、上記文献に述べられた方法などを用いて、量子化インデックスＱｗ（Ｔ（Ｘ））の中に認証子Ｗを埋め込むものである。
上記文献の方法では、各変換ブロックにおいて、ジグザグスキャンの最後の量子化インデックスの値を、認証子Ｗのビットが“０”か“１”かに応じて、“−１”または“＋１”に変更するものである。

これにより、変調器１６から入力画像の認証子Ｗが埋め込まれた量子化インデックスが出力されることになる。
なお、ここでは、それぞれの変換ブロックに１ビットの署名を埋め込む方法を説明したが、Ｎの値をハッシュ値のビット数よりも大きく設定すれば、変化の激しいブロックを優先して、電子透かしを埋め込むことができる。

符号化器２の量子化器１７は、変調器１６から変調結果Ｙｗを受け、かつ、減算器１２から周波数領域の予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を受けると、変調器１６の変調結果Ｙｗに応じて周波数領域の予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を量子化し、その予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）の量子化インデックスＹを出力する。
即ち、量子化器１７は、下記の式（２）が成立する条件の下で、式（３）のｄが最小となる量子化インデックスＹを出力する。
Ｑｗ（Ｑｃ^-1（Ｙ）＋Ｔ（Ｘｐ））＝Ｙｗ （２）
ｄ＝｜Ｑｃ^-1（Ｙ）−（Ｔ（Ｘ）−Ｔ（Ｘｐ））｜ （３）

ただし、Ｑｃ^-1（）は、量子化器１７に対する逆量子化の演算子、｜｜はベクトルのノルムを表している。
また、式（２）において、Ｑｃ^-1（Ｙ）＋Ｔ（Ｘｐ）は参照フレームの変換係数に、逆量子化した予測誤差信号を加算したものであり、受信側で復号される画像の変換係数を表している。
式（２）は復号される変換係数が、Ｑｗで量子化したときにＹｗとなるという条件を与えるものであり、式（３）は予測誤差の復元値と真の値との差Ｔ（Ｘ）−Ｔ（Ｘｐ）を与えるものである。
したがって、量子化器１７は、署名回路１の変調結果Ｙｗが、復号される画像信号に保存されるという条件の下で、符号化による歪みを最小とするような予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）の量子化インデックスＹを出力する。
量子化器１７は、変換係数のそれぞれに対して、上記の動作を実施すればよい。

図２はｋ番目の変換係数を量子化する一例を示す説明図である。
上側がＱｗの量子化特性、下側がＱｃの量子化特性を示しており、量子化インデックスとその量子化範囲で表している。
中央の数直線上の点はＱｃの量子化代表値である。また、ベクトルの右肩の添え字ｋは、ベクトルのｋ番目の成分であることを示している。ｑ_c ^kとｑ_w ^kはこの変換係数に対するＱｃとＱｗの量子化幅であり、式（４）となるように設定されている。
ｑ_c ^k≦ｑ_w ^k （４）

例えば、Ｙｗ^k＝ｉであり、Ｔ（Ｘ）^kとＴ（Ｘｐ）^kが図２の位置にあるとすれば、予測誤差Ｔ（Ｘ）^k−Ｔ（Ｘｐ）^kをＱｃで量子化すると、その量子化インデックスはＹ＝１である。
しかし、その量子化代表値は、Ｑｗのｉ番目の量子化範囲に入っておらず、Ｙ＝１は式（２）の条件を満たさない。代表値がＱｗのｉ番目の量子化範囲に属するＴ（Ｘ）^kに最も近い量子化インデックスがＹ＝２であるので、これが量子化器１７の出力となる。

ここで、上記のＹが常に存在するためには、Ｑｗの全ての量子化範囲に、Ｑｃの量子化代表値が少なくとも一つ存在しなければならない。図２のように、Ｑｃが一様な量子化の場合は、全ての係数ｋについて、式（４）が成り立てばよい。ところが、ＭＰＥＧなどの符号化では、０付近が粗い不均一な量子化特性が用いられる。この場合には、Ｑｃの量子化代表値の最も粗い部分の間隔がＴｍａｘ^kであるとすると、下記の式（５）が成立することが、Ｙが存在する十分条件である。
ｑ_w ^k＞＝Ｔｍａｘ^k （５）

例えば、Ｈ．２６３の符号化規格による量子化器の場合には、Ｑｗは次のように設定される。Ｈ．２６３の逆量子化演算は、符号量を制御する量子化パラメータがＱ（＝１、…、３１）であるとすると、Ｑが奇数ならば、下記の式（６）で規定され、Ｑが偶数ならば、式（７）で規定される。
ｙ＝（２Ｙ＋ｓｉｇｎ（Ｙ））Ｑ （６）
ｙ＝（２Ｙ＋ｓｉｇｎ（Ｙ））Ｑ−ｓｉｇｎ（Ｙ） （７）
ただし、ｙは復元される量子化代表値、ｓｉｇｎ（Ｙ）は、Ｙ＜０のとき−１、Ｙ＝０のとき０、Ｙ＞０のとき１となる関数である。

この量子化器では、Ｔｍａｘ＝３Ｑ（Ｑが奇数）、または、Ｔｍａｘ＝３Ｑ−１（Ｑが偶数）となるので、Ｑｗは以下のように設定すればよい。即ち、Ｑが奇数のとき、下記の式（８）のように設定し、Ｑが偶数のとき、下記の式（９）のように設定すればよい。
ｑ_w ^k＝３Ｑ （８）
ｑ_w ^k＝３Ｑ−１ （９）

符号化器２の逆量子化器１８は、上記のようにして、量子化器１７が予測誤差の量子化インデックスＹを出力すると、次回の電子透かしの埋め込み処理に使用する参照画像を生成するため、予測誤差の量子化インデックスＹを逆量子化して予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を復号する。
符号化器２の加算器１９は、逆量子化器１８が予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を復号すると、その予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）と変換器２２からスイッチ２３を介して出力された参照画像信号Ｘｐの周波数領域の信号Ｔ（Ｘｐ）を加算して、その加算信号Ｔ（Ｘ）を出力する。

符号化器２の逆変換器２０は、加算器１９から加算信号Ｔ（Ｘ）を受けると、その加算信号Ｔ（Ｘ）を時間領域に変換し、その時間領域の信号を参照画像信号Ｘｐとして記憶回路２１に格納する。
符号化器２の変換器２２は、記憶回路２１からうごき時間分だけシフトした参照画像信号Ｘｐを読み出して、その参照画像信号Ｘｐを周波数領域に変換し、スイッチ２３を介して、その周波数領域の信号Ｔ（Ｘｐ）を減算器１２と加算器１９に与える。
なお、スイッチ２３は、動画像を符号化する場合には、他の画像を参照することなく復号できる画像を適当に混合する必要があるので、この場合には、“０”を減算器１２と加算器１９に与える。このときは、量子化器１７が現在の入力画像をそのまま符号化するように動作する。

上記の署名回路１の説明では、Ｎ個の変換ブロックをひとまとめにして、その全ての量子化インデックスのハッシュ値を計算するものについて示したが、ハッシュ値を計算するブロックの数Ｎに対して、ハッシュ値のビット数Ｍが小さい場合（Ｍ＜Ｎが成立する場合）、変調器１６は、Ｎ個の中からＭ個のブロックを選択して、それらのブロックだけに変調を加えればよい。
このブロックの選択方法には自由度があるので、できるだけ妨害の目立たないブロック（変調に伴う影響が少ない部分）を選択して変調を加えれば、認証子Ｗの埋め込みによる画質劣化を軽減することができる。ただし、どのブロックに変調を加えたかを、復号時に検出できなければならない。

このような方法はいくつかあるが、ジグザグスキャンの最後の量子化インデックスの値を変調する上記の方法を用いる場合には、例えば、０でない量子化インデックス（有意係数）の数を求め、その有意係数が所定数より多いブロックを選択するようにすればよい。このとき、電子透かしの埋め込みによって、有意係数の数が１だけ増加するが、各ブロックの有意係数の順位は変わらないので、復号時に埋め込みブロックを一意に特定することができる。なお、有意係数が同数のブロックは任意のブロックを選択すればよい。劣化が目立ちやすい画像の平坦な部分では、一般に有意係数の数が少ないので、電子透かしが埋め込まれる確率は低くなる。したがって、電子透かしの埋め込みによる妨害が知覚されにくい符号化画像を生成することが可能になる。

最後に、補正回路１４の処理内容を具体的に説明する。
上述したように、認証子演算回路１５が、参照画像に関係なく、現在入力されている画像信号Ｘに基づいて認証子Ｗを演算し、量子化器１７が、この認証子Ｗが埋め込まれた量子化インデックスＹｗを保存するように予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を量子化するので、符号化器２から出力される信号は、画像信号をフレーム単位で認証するための完全な署名情報を保持している。この署名情報は、後述するように、動画像の中から一部のフレームを抽出して、その変換係数を再符号化するような場合（例えば、ＭＰＥＧで符号化された動画像の一部をＪＰＥＧで再符号化するような場合）には、再符号化された信号の中に欠落なく継承させることが可能である。

しかし、画像を時間領域の信号に復号する場合は、復号処理の過程で導入される誤差のために、署名情報が消滅する場合がある。このような誤差は、一般に、変換係数が実数から整数に変換されるときと、その整数値がさらに一定のダイナミックレンジの間にクリップされるときに生じる。したがって、これに対して十分な対策を施さなければ、時間領域の画像に署名情報を継承させることができない。
署名回路１の補正回路１４は、復号された信号がダイナミックレンジを大きく超えないように、量子化インデックスＱｗ（Ｔ（Ｘ））を修正する。
この修正は、例えば、図３に示すような手順で行うことができる。

署名回路１の補正回路１４は、量子化器１３から量子化インデックスＱｗ（Ｔ（Ｘ））を受けると、その量子化インデックスＱｗ（Ｔ（Ｘ））に０を埋め込む処理を実施する（ステップＳＴ１）。
次に、補正回路１４は、０の埋め込み結果がダイナミックレンジを大きく超えないことを判定する（ステップＳＴ２）。
即ち、補正回路１４は、電子透かしが埋め込まれた量子化インデックスＹｗをＱｗに対応して逆量子化を行い、これを逆変換して、時間領域のベクトルｘを求める。
ｘ＝Ｔ^-1（Ｑｗ^-1（Ｑｗ（Ｔ（Ｘ））＋Ｗ）） （１０）

補正回路１４は、全ての成分がダイナミックレンジの範囲に収まるベクトルの集合をＡとして、ベクトルｘと集合Ａの最短距離ｄ（ｘ、Ａ）を計算し、その最短距離ｄ（ｘ、Ａ）が一定値Ｄ以内であるか否かを判定する。
ｄ（ｘ、Ａ）≦Ｄ （１１）
補正回路１４は、最短距離ｄ（ｘ、Ａ）が一定値Ｄ以内であれば、０の埋め込み結果がダイナミックレンジを大きく超えないと認定する。
なお、Ｄ＝０のときは、ｘがＡに含まれるときだけ、判定の条件は満たされるものとする。

次に、補正回路１４は、０の埋め込み結果がダイナミックレンジを大きく超えないと認定すると、量子化インデックスＱｗ（Ｔ（Ｘ））に１を埋め込む処理を実施する（ステップＳＴ３）。
次に、補正回路１４は、１の埋め込み結果がダイナミックレンジを大きく超えないことを判定する（ステップＳＴ４）。この判定方法は、ステップＳＴ２の判定方法と同様であるため説明を省略する。
補正回路１４は、１の埋め込み結果がダイナミックレンジを大きく超えないと認定すると、量子化インデックスＱｗ（Ｔ（Ｘ））に電子透かしである認証子Ｗを埋め込んだ後も、量子化インデックスＱｗ（Ｔ（Ｘ））が集合Ａに近いことが保証されるので、その量子化インデックスＱｗ（Ｔ（Ｘ））を認証子演算回路１５及び変調器１６に出力する。

しかし、０の埋め込み結果がダイナミックレンジを大きく超えると認定する場合、あるいは、１の埋め込み結果がダイナミックレンジを大きく超えると認定する場合、量子化インデックスＱｗ（Ｔ（Ｘ））に電子透かしである認証子Ｗを埋め込んだ後は、量子化インデックスＱｗ（Ｔ（Ｘ））が集合Ａに近いことが保証されないので、その量子化インデックスＱｗ（Ｔ（Ｘ））を修正する（ステップＳＴ５）。

即ち、補正回路１４は、次式で与えられる目標ベクトルｔを計算し、その目標ベクトルｔを保存する。
ｔ＝Ｔ（Ｐ（Ｔ^-1（Ｑｗ^-1（Ｑｗ（Ｔ（Ｘ）））））） （１２）
ただし、Ｐ（）は集合Ａに対する直交射影を表す演算子であり、ｔはＱｗ（Ｔ（Ｘ））を逆量子化して逆変換したベクトルをｓとするとき、集合Ａに属する全てのベクトルの中で最もｓに近いベクトルをＴで変換したものである。

次に、補正回路１４は、現在の量子化インデックスＱｗ（Ｔ（Ｘ））を逆量子化してＱｗ^-1Ｑｗ（Ｔ（Ｘ））を計算し、これを目標ベクトルｔと比較して、目標ベクトルｔから最も遠い成分に対応するＱｗ（Ｔ（Ｘ））の量子化インデックスを１だけ目標ベクトルｔの方向に修正する。
この修正により、量子化インデックスＱｗ（Ｔ（Ｘ））が集合Ａに近づくことになる。なお、量子化インデックスＱｗ（Ｔ（Ｘ））が既に十分目標ベクトルｔに近い場合には、目標ベクトルｔを集合Ａの中心のベクトル（全ての成分が中間のグレーレベルであるようなベクトル）に変換したものに切り換えて、量子化インデックスＱｗ（Ｔ（Ｘ））の修正を繰り返すようにする。

上記のように、補正回路１４は、変調器１６の変調結果Ｙｗがダイナミックレンジを大きく超過しないように量子化インデックスＱｗ（Ｔ（Ｘ））を修正する。特にＤ＝０であれば、変調器１６の変調結果Ｙｗが必ず、ダイナミックレンジの範囲に入るように量子化インデックスＱｗ（Ｔ（Ｘ））を修正する。

なお、整数化による丸め誤差の問題は、Ｑｗを十分粗く設定することで回避できることが、前述の伊藤らの文献に示されている。
即ち、下記の式（１３）は、丸め誤差によって、電子透かしが消失しない十分条件である。
ｑ_w ^k≧Ｒ （１３）
８×８のＤＣＴの場合には、Ｒ＝８とし、全ての係数の量子化幅を８以上とすることによって、丸め誤差の影響を除くことができることを証明することができる。

以上より、時間領域に復号された画像信号に署名情報を保存するには、Ｑｗに式（１３）の制限を設けて丸め誤差の影響を排除し、署名回路１に補正回路１４を搭載してクリッピングの対策を行えばよい。例えば、Ｈ．２６３の量子化を用いる場合には、式（８）、式（９）及び式（１３）からＱｗを以下のように設定すればよい。
即ち、Ｑが奇数のときは、式（１４）により設定し、Ｑが偶数のとき、式（１５）により設定すればよい。
Ｑｗ＝ｍａｘ（８，３Ｑ） （１４）
Ｑｗ＝ｍａｘ（８，３Ｑ−１） （１５）

以上で明らかなように、この参考例１によれば、画像信号を量子化して、その画像信号の量子化インデックスから認証子を演算し、その認証子を当該量子化インデックスの中に埋め込む署名回路１を設ける一方、その画像信号と参照信号の差分信号を求め、その署名回路１により認証子が埋め込まれた量子化インデックスに応じて当該差分信号を量子化し、その差分信号の量子化インデックスを出力する符号化器２を設けるように構成したので、画像や音声などのマルチメディアデータが復号されても、認証機能を失わないマルチメディアデータを提供することができる効果を奏する。

また、この参考例１によれば、量子化器１３から出力された量子化インデックスＱｗ（Ｔ（Ｘ））を補正するように構成したので、電子透かしが埋め込まれた画像がダイナミックレンジを大きく超えないようにすることができる。そのため、時間領域に画像を復号した場合でも、その画像の真正性を確認することができる効果を奏する。

実施の形態１．
図４はこの発明の実施の形態１による電子透かし装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
符号化器２の量子化器３１は減算器１２により演算された周波数領域の予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を量子化し、その予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）の量子化インデックスＹを出力する。
署名回路１の逆量子化器３２は量子化器３１から出力された量子化インデックスＹを復号して周波数領域の予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を出力する。

署名回路１の加算器３３は逆量子化器３２から出力された予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）とスイッチ２３から出力された参照画像信号Ｘｐの周波数領域の信号Ｔ（Ｘｐ）を加算して、その加算信号Ｔ（Ｘ）を出力する。
符号化器２の修正回路３４は変調器１６の変調結果Ｙｗ（変調器１６により認証子Ｗが埋め込まれた量子化インデックス）に応じて量子化器３１から出力された量子化インデックスＹを修正する。

上記参考例１では、入力画像から直接認証子Ｗを演算するものについて示したが、予測誤差信号から一旦復号された復号画像を基準にして認証子Ｗを演算するようにしてもよい。
具体的には、下記のとおりである。

符号化器２の量子化器３１は、上記参考例１と同様にして、減算器１２が周波数領域の予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を出力すると、その予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を量子化し、その予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）の量子化インデックスＹを逆量子化器３２及び修正回路３４に出力する。
署名回路１の逆量子化器３２は、量子化器３１から量子化インデックスＹを受けると、その量子化インデックスＹを復号して周波数領域の予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）を加算器３３に出力する。
署名回路１の加算器３３は、逆量子化器３２から出力された予測誤差Ｔ（Ｘ）−Ｔ（Ｘｐ）とスイッチ２３から出力された参照画像信号Ｘｐの周波数領域の信号Ｔ（Ｘｐ）を加算して、その加算信号Ｔ（Ｘ）を量子化器１３に出力する。
量子化器１３から変調器１６に至る処理内容は、上記参考例１と同様であるため説明を省略する。

符号化器２の修正回路３４は、量子化器３１から量子化インデックスＹを受け、かつ、変調器１６から変調結果Ｙｗを受けると、上記参考例１の量子化器１７と同様に、その変調結果Ｙｗに応じて量子化器３１から出力された量子化インデックスＹを修正する。
即ち、修正回路３４は、下記の式（１６）が成立する条件の下で、式（１７）のｄが最小となる量子化インデックスＹを出力する。
Ｑｗ（Ｑｃ^-1（Ｙ）＋Ｔ（Ｘｐ））＝Ｙｗ （１６）
ｄ＝｜Ｑｃ^-1（Ｙ）−（Ｔ（Ｘ）−Ｔ（Ｘｐ））｜ （１７）

動画像の符号化では、雑音を抑圧するため、値の小さな予測誤差信号を粗く量子化するが、この実施の形態１では、復号された画像信号から認証子Ｗを生成するので、符号化における雑音抑圧機能を阻害することなく、見かけ上、雑音の少ない符号化画像を得ることができる効果を奏する。

参考例２．
図５はこの発明の参考例２による認証処理装置を示す構成図であり、図において、係数取得部４１は例えば図１や図４の電子透かし装置により認証子が埋め込まれた符号化信号を受けると、その符号化信号の変換係数を取得する。
量子化器４２は係数取得部４１により取得された変換係数を量子化して量子化インデックスを認証子演算回路４３及び認証子検出器４４に出力する。なお、係数取得部４１及び量子化器４２から量子化手段が構成されている。

認証子演算回路４３は量子化器４２より出力された量子化インデックスから認証子を演算する。なお、認証子演算回路４３は認証子演算手段を構成している。
認証子検出器４４は量子化器４２より出力された量子化インデックスに埋め込まれている認証子を検出する。なお、認証子検出器４４は認証子検出手段を構成している。
比較器４５は認証子検出器４４により検出された認証子と認証子演算回路４３により演算された認証子を比較し、両者が一致する場合には画像の真正性が保たれていると認定し、一致しない場合には画像の真正性が失われていると認定する。なお、比較器４５は比較手段を構成している。

図６は係数取得部４１の内部を示す構成図であり、図において、逆量子化器５１は符号化信号である量子化インデックスを復号して、予測誤差の変換係数を復元する。
加算器５２は係数取得部４１により復元された予測誤差の変換係数と変換器５５により変換された参照画像の変換係数を加算し、その加算結果を符号化信号の変換係数として出力する。
逆変換器５３は加算器５２より出力された変換係数から時間領域の画像信号を復号し、その画像信号を記憶回路５４に格納する。
変換器５５は記憶回路５４に格納されている画像信号を参照画像の変換係数に変換し、その変換係数を加算器５２に出力する。

次に動作について説明する。
係数取得部４１は、例えば図１や図４の電子透かし装置により認証子が埋め込まれた符号化信号を受けると、その符号化信号の変換係数を取得する。
なお、入力された信号が、変換係数が符号化されている信号系列である場合には、その信号系列から該当する部分を抽出すればよいが、入力された信号が、時間領域に復号された画像である場合には、係数取得部４１が入力画像を周波数領域に変換する変換器５６（図７を参照）を用いて、変換係数を取得すればよい。

量子化器４２は、係数取得部４１が変換係数を取得すると、その変換係数を量子化して量子化インデックスを認証子演算回路４３及び認証子検出器４４に出力する。
認証子演算回路４３は、量子化器４２から量子化インデックスを受けると、その量子化インデックスから認証子を演算する。
ただし、その量子化インデックスには電子透かしが埋め込まれている場合があるので、この電子透かしが埋め込まれている部分は認証子の計算に用いない。例えば、上記参考例１で述べた方法によって、電子透かしが埋め込まれている場合、電子透かしが埋め込まれたブロックの最後の量子化インデックスは０として認証子を計算する。

認証子検出器４４は、量子化器４２から量子化インデックスを受けると、その量子化インデックスに埋め込まれている認証子を検出する。
例えば、上記参考例１で述べた方法によって、電子透かしが埋め込まれている場合、その電子透かしが埋め込まれたブロックの最後の量子化インデックスの値から認証子を復元する。

比較器４５は、認証子検出器４４が認証子を検出し、認証子演算回路４３が認証子を演算すると、双方の認証子を比較し、両者が一致する場合には画像の真正性が保たれていると認定する。一方、一致しない場合には画像の真正性が失われていると認定する。

以上で明らかなように、この参考例２によれば、入力画像に依存して認証子を計算するように構成したので、符号化された信号系列からだけでなく、それを復号した画像からも、その真正性を証明することができる効果を奏する。

参考例３．
図８はこの発明の参考例３による復号処理装置を示す構成図であり、図において、復号回路６１は例えば図１や図４の電子透かし装置により認証子が埋め込まれた信号系列を受けると、その信号系列を時間領域の信号に復号する。なお、復号回路６１は復号手段を構成している。
係数取得回路６２は認証子が埋め込まれた信号系列を受けると、その信号系列から認証子の計算に用いられた変換係数を復元する。
量子化器６３は認証子の計算に用いられたものと同じ特性で、係数取得回路６２により復元された変換係数を量子化する。なお、係数取得回路６２及び量子化器６３から量子化手段が構成されている。
補正回路６４は量子化器６３により量子化された変換係数に応じて復号回路６１の復号結果を補正する。なお、補正回路６４は補正手段を構成している。

図９は復号回路６１の内部を示す構成図であり、図において、逆量子化器７１は認証子が埋め込まれた信号系列である予測誤差の量子化インデックスを受けると、その量子化インデックスから予測誤差の信号値を復元する。
加算器７２は逆量子化器７１により復元された予測誤差の信号値と参照画像の信号値を加算して、復号画像の変換係数を出力する。

逆変換器７３は加算器７２から出力された復号画像の変換係数を時間領域の画像信号に変換する。したがって、逆変換器７３の出力は時間領域で表現された画像信号であり、逆変換器７３の出力は一般に実数であるので、四捨五入などによる整数化が施される。また、その結果が規定の数値の範囲を超えた場合には、それを規定の範囲に修正するクリッピングが行われる。逆変換器７３の出力は、補正回路６４で必要に応じて補正され、認証子を保有した画像信号となる。
記憶回路７４は逆変換器７３により変換された時間領域の画像信号を記憶する。
変換器７５は記憶回路７４により記憶された時間領域の画像信号を参照画像の信号値に変換する。

次に動作について説明する。
復号回路６１は、例えば図１や図４の電子透かし装置により認証子が埋め込まれた信号系列を受けると、一定の規則にしたがって、その信号系列を時間領域の信号に復号する。
一方、係数取得回路６２は、その認証子が埋め込まれた信号系列を受けると、その信号系列から認証子の計算に用いられた変換係数を復元する。ただし、図９に示すように、復号回路６１の加算器７２が変換係数を復元して量子化器６３に出力する場合には、係数取得回路６２は不要である。

量子化器６３は、電子透かし装置において、認証子の計算に用いられたものと同じ特性で、係数取得回路６２により復元された変換係数を量子化する。
量子化器６３により量子化された変換係数Ｙｗは、復号回路６１の復号結果を補正する目標として、補正回路６４に与えられる。

補正回路６４は、量子化器６３から量子化された変換係数Ｙｗを受けると、その変換係数Ｙｗに応じて復号回路６１の復号結果を補正する。
即ち、補正回路６４は、復号回路６１から出力される画像信号の整数ベクトルＸ（復号結果）を受けると、この画像信号を変換して量子化したときに、その画像信号が変換係数Ｙｗと一致するように画像信号の整数ベクトルＸを修正する。この修正が必要な理由は、復号の過程で整数化やクリッピングの処理が含まれると、その処理で生じる誤差によって、電子透かしとして埋め込まれた認証子の情報が消失する場合があるからである。

図１０は補正回路６４の処理内容を示すフローチャートである。
以下、図１０を参照して、補正回路６４の処理内容を具体的に説明する。
補正回路６４は、画像信号の整数ベクトルＸが下記の式（１８）の条件を満たすか否かを判定する（ステップＳＴ１１）。
Ｑｗ（Ｔ（Ｘ））＝Ｙｗ （１８）
ここで、Ｔ（）は変換を表す演算子であり、Ｑｗ（）は認証子の計算に用いられたものと同一特性の量子化を行う演算子である。

補正回路６４は、式（１８）が成立する場合（ステップＳＴ１１）、ベクトルＸが認証子の情報を保有するので、修正処理を終了する。
しかし、式（１８）が成立しない場合（ステップＳＴ１１）、ベクトルＸの補正を実施する（ステップＳＴ１２）。
ベクトルＸの補正は、変換係数Ｙｗを復元した実数ベクトルをＸｗとするとき、ベクトルＸの成分の中で、実数ベクトルＸｗから最も遠い成分を１だけ、実数ベクトルＸｗに近づけることによって行われる。ここで、実数ベクトルＸｗは次式で与えられる。
Ｘｗ＝Ｔ^-1（Ｑｗ^-1（Ｙｗ）） （１９）
量子化Ｑｗについて、式（１２）が成り立つとき、実数ベクトルＸｗに最も近い整数ベクトルは必ず認証子の情報を保有することを証明できるから、ベクトルＸの修正を繰り返すことによって、式（１８）を満たす整数ベクトルＸを必ず見つけることができる。

以上で明らかなように、この参考例３によれば、入力画像に依存して認証子を計算するように構成したので、復号された画像信号に認証子を継承することができる効果を奏する。また、復号ベクトルが認証子を保有するように補正するので、特に、時間領域の信号に復号された画像に認証子を継承することができる効果を奏する。

参考例４．
図１１はこの発明の参考例４による再量子化装置を示す構成図であり、図において、係数取得回路８１は例えば図１や図４の電子透かし装置により認証子が埋め込まれた画像信号を受けると、その画像信号から認証子の計算に用いられた変換係数を復元する。なお、係数取得回路８１は変換係数取得手段を構成している。
量子化器８２は認証子の計算に用いられたものと同じ特性で、係数取得回路８１により取得された変換係数を量子化する。なお、量子化器８２は第１の量子化手段を構成している。
量子化器８３は量子化器８２の量子化結果に応じて係数取得回路８１により取得された変換係数を量子化する。なお、量子化器８３は第２の量子化手段を構成している。

図１２は係数取得回路８１の内部を示す構成図であり、図において、逆量子化器９１は認証子が埋め込まれた信号系列である予測誤差の量子化インデックスを受けると、その量子化インデックスから予測誤差の信号値を復元する。
加算器９２は逆量子化器９１により復元された予測誤差の信号値と参照画像の信号値を加算して、復号画像の変換係数を出力する。

逆変換器９３は加算器９２から出力された復号画像の変換係数を時間領域の画像信号に変換する。
記憶回路９４は逆変換器９３により変換された時間領域の画像信号を記憶する。
変換器９５は記憶回路９４により記憶された時間領域の画像信号を参照画像の信号値に変換する。

次に動作について説明する。
係数取得回路８１は、例えば図１や図４の電子透かし装置により認証子が埋め込まれた画像信号を受けると、その画像信号から認証子の計算に用いられた変換係数を復元する。
ただし、入力される画像信号は、符号化された信号系列でもよいし、復号された時間領域の信号でもよい。

量子化器８２は、係数取得回路８１から変換係数を受けると、電子透かし装置により認証子の計算に用いられたものと同じ特性で、係数取得回路８１により取得された変換係数を量子化する。
量子化器８３は、量子化器８２により量子化された変換係数Ｙｗを受けると、その変換係数Ｙｗが係数取得回路８１により取得された変換係数に保存されるように、その変換係数を量子化する。
即ち、量子化器８３は、例えば、下記の式（２０）の条件の下で、式（２１）のｄが最小となるベクトルＹを出力するように、係数取得回路８１により取得された変換係数を量子化する。
Ｑｗ（Ｑｃ^-1（Ｙ））＝Ｙｗ （２０）
ｄ＝｜Ｑｃ^-1（Ｙ）−Ｔ（Ｘ）｜ （２１）

以上で明らかなように、この参考例４によれば、入力画像に依存して認証子を計算するように構成したので、再符号化した信号系列に認証子を継承することができる効果を奏する。このことは、例えば、ＭＰＥＧなどで符号化された動画像の一部のフレームを静止画像としてＪＰＥＧなどで再符号化する場合などに有用である。

上記参考例１〜４、実施の形態１では、入力信号が画像信号であるものについて示したが、音声信号などのマルチメディアデータに広く適用することができる。

Claims (4)

1. 入力信号を量子化して、その入力信号の量子化インデックスから認証子を演算し、その認証子を当該量子化インデックスの中に埋め込む署名手段と、その入力信号と参照信号の差分信号を求め、上記署名手段により認証子が埋め込まれた量子化インデックスに応じて当該差分信号を量子化し、その差分信号の量子化インデックスを出力する符号化手段とを備えた電子透かし装置において、
   上記符号化手段は、上記入力信号を周波数領域の信号に変換する変換器と、上記変換器から出力された周波数領域の信号と上記参照信号の差分信号を求める減算器と、上記減算器により求められた差分信号を量子化し、その差分信号の量子化インデックスを出力する第１の量子化器と、上記署名手段により認証子が埋め込まれた量子化インデックスに応じて上記第１の量子化器から出力された量子化インデックスを修正する修正回路とから構成されており、
   上記署名手段は、上記符号化手段の第１の量子化器から出力された量子化インデックスを復号して差分信号を出力する逆量子化器と、上記逆量子化器から出力された差分信号と上記参照信号を加算する加算器と、上記加算器から出力された加算信号を量子化し、その加算信号の量子化インデックスを出力する第２の量子化器と、上記第２の量子化器から出力された量子化インデックスから認証子を演算する認証子演算回路と、上記認証子演算回路により演算された認証子に応じて上記第２の量子化器から出力された量子化インデックスの一部を変調する変調器とから構成されている
   ことを特徴とする電子透かし装置。
2. 上記署名手段は、上記第２の量子化器から出力された量子化インデックスを補正し、補正後の量子化インデックスを上記認証子演算回路及び上記変調器に出力する補正回路を備えていることを特徴とする請求項１記載の電子透かし装置。
3. 上記署名手段の第２の量子化器は、上記符号化手段の第1の量子化器の量子化特性に依存して量子化特性が設定されていることを特徴とする請求項１記載の電子透かし装置。
4. 上記変調器は、上記第２の量子化器から出力された量子化インデックスのうち、変調に伴う影響が少ない部分を変調することを特徴とする請求項１記載の電子透かし装置。

Images