JP4603799B2

JP4603799B2 - 電子透かし埋め込み装置および電子透かし検出装置

Info

Publication number: JP4603799B2
Application number: JP2004016461A
Authority: JP
Inventors: 康広藤井; 隆亮山田; 忠秋坂東
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-01-26
Filing date: 2004-01-26
Publication date: 2010-12-22
Anticipated expiration: 2024-01-26
Also published as: JP2005210543A

Description

本発明は、デジタルコンテンツに著作権などの情報を秘匿し、これを検出する電子透かし技術に関するものである。

絵画や映画などといったデジタルコンテンツに電子透かし情報を埋め込むには、非特許文献１に記載されているように、透かし埋め込みによるコンテンツの劣化を回避するために、フィルタ処理を施して画像の特徴を算出し、これをもとに透かし強度、すなわちコンテンツの改変度合いを調整する必要がある。

また、透かし検出においては、情報検出を試みる前に、平行移動、回転などといった幾何変形量を読み取り、透かしを埋め込んだ直後の状態を再現する必要がある。このような幾何補正を行う技術として、位置合わせのための電子透かし情報を余分に埋め込んでおく、特許文献１に記載の技術が知られている。

米国特許第 5636292号明細書

I. Echizen, H. Yoshiura, T. Arai, H. Kimura and T. Takeuchi: "General Quality Maintenance Module for Motion Picture Watermarking'', IEEE Trans. on Consumer Electronics, Vol. 45, No. 4, pp. 1150-1158 (1999).

コンテンツサイズが大きい場合には、非特許文献１に記載されているようなフィルタ処理に要する計算量は膨大なものとなり、電子透かし埋め込み処理を遅延させる原因となっていた。とくに透かし埋め込み対象コンテンツとして、1080iデジタルハイビジョンなどといった高精細の動画像を扱う場合には、一秒当たり３０フレームの、１９２０×１０８０画素サイズの巨大な画像に対して透かし強度を算出する必要があり、処理の高速化が重要課題となっていた。

また、特許文献１に記載の技術に基づいた処理は、位置合わせ用の情報を埋め込んだ分コンテンツの劣化を招きやすい。そのため、実際には、検出処理と幾何変形とを検出に成功するまで何回も繰り返して、コンテンツを変形させながら透かし情報の検出を試みることが多い。ところが、このような幾何変形の繰り返しには多大な時間がかかり、とくに、コンテンツサイズが大きい場合、電子透かし検出処理を遅延させる原因となっていた。

本発明は、コンテンツサイズが大きい場合に必要となる電子透かし埋め込み及び検出に要する多大な計算量を削減する技術を提供する。具体的には、電子透かし埋め込み及び検出処理の前にコンテンツを縮小することを最も主要な特徴とする。

具体的には、情報を電子透かしとしてコンテンツに埋め込む電子透かし埋め込み処理において、情報の埋め込み対象コンテンツのコンテンツデータを縮小する処理と、該縮小されたコンテンツに対して、縮小された透かし強度情報を算出する処理と、該縮小された透かし強度情報を、もとのコンテンツの大きさに拡大した拡大透かし強度情報を算出する処理と、該透かし埋め込み対象コンテンツに、該拡大透かし強度情報に基づいて透かし情報を埋め込む処理と、行うことを特徴とする。

また、該拡大透かし強度情報の算出処理において、一画素分の情報を二次元領域に拡大することにより、該縮小された透かし強度情報を拡大することを特徴とする。

また、画像データからなる透かし検出対象コンテンツから透かし情報を検出する電子透かし検出処理において、該透かし検出対象コンテンツの入力を受け付ける処理と、受け付けられた透かし検出対象コンテンツを縮小する処理と、該縮小されたコンテンツに対して幾何変形を施す処理と、該幾何変形コンテンツから透かし情報の検出を試みる処理と、を行うことを特徴とする。

また、本発明は、コンテンツデータを間引くことにより、該対象コンテンツを縮小することを特徴とする。

本発明によれば、電子透かし技術の詳細に依存することなく、電子透かし埋め込み処理や検出処理に要する計算量を削減することが可能になる。

本発明によれば電子透かし埋め込みや検出処理に要する計算量を削減できるので、高速処理が可能になる。

図１は、以下の各実施例を実現する計算機１０１の構成を示す模式図である。

計算機１０１は、プログラムを実行するＣＰＵ１１１、プログラムおよびデジタルコンテンツを格納する半導体メモリおよび／またはハードディスクなどの記憶装置（以下、記憶装置という）１１２、結果を表示するディスプレイ１１３、文字データを入力するキーボード１１４、およびディスプレイ１１３上に映し出されたダイアログなどを選択するマウス１１５を有する。また、計算機１０１は、図示していない通信装置を備え、ネットワーク１０２を介して他の計算機やハードウェアとデジタルコンテンツなどのデジタルデータの受送信を行う。

以下の各実施例において実現される各処理部は、ＣＰＵ１１１が記憶装置１１２に格納されているプログラムを実行することにより、上記計算機１０１上に具現化される。

各プログラムは、あらかじめ、記憶装置１１２に格納されていても良いし、必要なときに、計算機１０１が利用可能な、着脱可能な記憶媒体または通信媒体（ネットワーク１０２またはネットワーク１０２上の搬送波）を介して、計算機１０１に導入されてもよい。

図２は、本実施例における電子透かし埋め込み検出装置の構成を示す図である。本実施例の電子透かし埋め込み装置は、図１に示す計算機１０１上でその機能を持つプログラムを実行することにより実現できる。また、計算機１０１上に実現する場合と同等な機能を持つハードウェアを作製することによっても実現できる。ここで取り扱うデジタルコンテンツは、デジタルカメラで撮影したものや、スキャナ等でデータ取得した画像データ、ビデオカメラで撮影したビデオ画像に代表される。

図２は電子透かし埋め込み装置２２１において実現される各処理部とその処理手順の詳細である。

図２、図１を用いて電子透かし埋め込み装置２２１の詳細を説明する。

まずコンテンツ入力処理部２１１は、透かし埋め込み対象となるデジタルコンテンツ２０１を受信し、透かし埋め込みに必要なデータだけをコンテンツ縮小処理部２１２に送信する。デジタルコンテンツ２０１は、ネットワーク１０２を介して処理部２１１に受信される。

デジタルコンテンツ２０１が、例えば、ＲＧＢフォーマットのビットマップデータであり、透かし埋め込みに輝度成分を用いる場合、コンテンツ入力処理部２１１は、このビットマップデータから輝度成分を抽出したのち、コンテンツ縮小処理部２１２に送信する。ＲＧＢフォーマットのビットマップデータから輝度成分を求めるためには、(i,j)番目にある画素の輝度値をY(i,j)、Ｒの値をR(i,j)、Ｇの値をG(i,j)、Ｂの値をB(i,j)としたとき、式
Y(i,j) = 0.299 * R(i,j) + 0.587 * G(i,j) + 0.114 * B(i,j)
を各画素(i,j)について計算すればよい。他のフォーマットをもつビットマップデータから輝度成分を抽出する方法に関しては、文献
Foly and Andries: "Fandermentals of Interactive Computer Graphics'', Addision-Wesley Publishing Company, 1982
に詳細が記されている。

コンテンツ縮小処理部２１２は、最近接補間法などといった、データを間引く高速な補間法を用いて、受信したデジタルコンテンツ２０１を縮小する。

デジタルコンテンツ２０１は、図５に示すように複数のコンテンツデータ５１１，５２１，５３１とそれに対応するヘッダ５１２，５２２，５３２で構成される。例えば動画コンテンツの場合、コンテンツデータ５１１，５２１，５３１は、画像データ５１１，５２１，５３１に対応する。このデジタルコンテンツ２０１に対してコンテンツ縮小処理部２１２は、ヘッダ情報をもとに画像データ５１１、５２１、５３１のデータを取り出して縮小処理を施す。コンテンツ縮小処理部２１２は、こうして縮小したコンテンツを透かし強度算出処理部２１３に送信する。

なお、最近接補間法とは、縮小画像の画素に対応する元の画像の座標を(x,y)とかいたとき、その座標に対応するデータとして、座標([x+0.5], [y+0.5])に属する画素のデータをそのまま用いる補間方法である。ただし[x]はxより小さい最大の整数を表す。最近接補間法は位置誤差が最大0.5画素生じるという欠点があるが、アルゴリズムが簡単で高速に処理が出来る利点がある。例えば最近接補間法を用いてデジタルコンテンツ２０１の幅高さを５０％に縮小する場合、その縮小コンテンツは、もとのコンテンツ２０１全体から奇数番目の画素を間引くことで求められる。この縮小処理はデータを間引くだけであるため高速に実行できる。

他の縮小方法として、例えばバイリニア法やキュービックコンボリューション法などが知られている。これらに関しては文献
E. H. W. Meijering, K. J. Zuiderveld, and M. A. Viergever: “Image Reconstruction by Convolution with Symmetric Piecewise n-th Order Polynomial Kernels”, IEEE Trans. Image Proc. Vol. 8, No. 2, pp. 192-201 (1999).
に詳細が記載されている。

透かし強度算出処理部２１３は、受信した縮小コンテンツにフィルタ処理を施すことで、コンテンツの劣化を回避するための最適な透かし強度情報を算出し、算出した透かし強度情報を、透かし強度画像拡大処理部２１４に送信する。

強度計算の例として先にあげた非特許文献１がある。この文献に記載されているように、一般に、透かし強度算出のためのフィルタ処理は、最近接補間法などといった縮小処理と比較して多大な計算量を要する。そのため、強度計算の対象を縮小しデータを削減すれば、処理に要する計算量を大幅に削減することができる。例えば、コンテンツ縮小処理部２１２においてデジタルコンテンツ２０１の幅高さを１０分の１に縮小した場合には、強度計算に要する計算量を１００分の１程度に削減することができる。

算出される透かし強度情報は図６のような構成を持つ。すなわち、透かし埋め込み対象画像６０１に対して、これを縮小して算出した透かし強度情報は、画像６０２のように表される。黒い部分が変更度合いを小さく取れる部分、白い部分が大きく取れる部分に相当する。透かし強度情報の算出については非特許文献１に開示されている。

なお、透かし強度情報の算出には浮動小数演算を多用するため、ＣＰＵ１１１は浮動小数演算が高速であることが好ましい。

透かし強度情報拡大処理部２１４は、受信した透かし強度情報を、デジタルコンテンツ２０１と同じ大きさになるように拡大する。なおこの拡大処理には、縮小と同様、最近接補間法といった高速な補間法を用い、縮小強度情報の一画素が二次元の矩形領域になるよう拡大する。拡大処理結果の例を図６に示す。透かし強度情報拡大処理部２１４は、縮小して算出した透かし強度情報６０２に拡大処理を施し、透かし強度情報６０３を算出する。拡大した結果、複数画素からなる二次元領域が同一の透かし強度情報に対応することがわかる。

透かし強度情報拡大処理部２１４は、拡大処理で得られた透かし強度情報を、透かし埋め込み処理部２１５に送信する。

一方、透かし情報入力処理部２１５は、透かし情報２０２を受信し、透かし埋め込み処理部２１６に送信する。透かし情報入力処理部２１５はネットワーク１０２もしくはキーボード１１４による入力を介して透かし情報２０２を受信する。計算機１０１は、ユーザに確認を促すため、透かし情報２０２をディスプレイ１１３に表示してもよい。

透かし埋め込み処理部２１６は、コンテンツ入力処理部２１１からデジタルコンテンツ２０１を、透かし強度情報拡大処理部２１４から透かし強度情報を、透かし情報入力処理部２１５から透かし情報２０２をそれぞれ受信する。透かし埋め込み処理部２１６は、受信したコンテンツ、情報をもとに透かし埋め込み処理を行い、透かし入りコンテンツ２０３を作成し、コンテンツ出力処理部２１７に送信する。埋め込み処理の具体例については、前述の非特許文献１に開示されている。

最後にコンテンツ出力処理部２１７は、受信した透かし入りコンテンツ２０３をネットワーク１０２を介して他の計算機やハードウェアに送信するか、もしくはディスプレイ１１４に出力する。以上で透かし埋め込み処理が完了する。

図３は、本実施例における電子透かし検出装置の構成を示す図である。本実施例の電子透かし検出装置は、図１の計算機上１０１でその機能を持つプログラムを実行すること、あるいは、これと同等な機能を持つハードウェアを作製することによって実現できる。ここで取り扱う透かし入りコンテンツは、画像データ、ビデオ画像などといったデジタルコンテンツに、透かし情報が秘匿されたコンテンツのことを指す。

図３は電子透かし検出装置３２１において実現される各処理部とその処理手順の詳細である。

図３、図１を用いて電子透かし検出装置３２１の詳細を説明する。

まずコンテンツ入力処理部３１１は、透かし検出の対象となる透かし入りコンテンツ３０１を受信し、透かし検出に必要なデータだけをコンテンツ縮小処理部３１２に送信する。デジタルコンテンツ３０１はネットワーク１０２を介してコンテンツ入力処理部３１１に受信される。

透かし入りコンテンツ３０１として、例えばＲＧＢフォーマットのビットマップデータがある。透かし検出に輝度成分だけが必要である場合、コンテンツ入力処理部３１１はこのビットマップデータから実施例１であげた計算式で輝度成分を抽出したのち、コンテンツ縮小処理部３１２に送信する。

コンテンツ縮小処理部３１２は、キュービックコンボリューション法などといった、コンテンツの質を比較的保存する補間法を用いて、受信した透かし入りコンテンツ３０１を縮小する。これは電子透かし情報の検出精度を悪化させないためである。コンテンツ縮小処理部３１２は、縮小したコンテンツを幾何変形コンテンツ作成処理部３１３に送信する。

図５に示したデジタルコンテンツ２０１の構造は、透かし入りコンテンツ３０１にも適用できる。コンテンツ縮小処理部３１２は、コンテンツデータ５１１，５１２，５１３に対して縮小処理を行う。

幾何変形コンテンツ作成処理部３１３は、受信した縮小コンテンツに回転、平行移動、アスペクト比変更などといった幾何変形処理を施して、幾何変形コンテンツを作成する。幾何変形コンテンツ作成処理部３１３は、コンテンツを幾何変形した後、幾何変形コンテンツを透かし検出処理部３１４に送信する。

幾何変形コンテンツ作成処理部３１３はすでに縮小されたコンテンツに対して幾何変形処理を施すため、これらの処理に要する計算量は削減される。例えば、コンテンツ縮小処理部３１２において透かし入りコンテンツ３０１を５０％縮小した場合には、幾何変形に要する計算量は４分の１になる。

透かし検出処理部３１４は、受信した幾何変形コンテンツから透かし情報の検出を試みる。

透かし検出にあたっては、コンテンツ縮小処理部３１２で縮小されたコンテンツの縮小率に応じて、相関関数の計算などといった検出処理に要するパラメータを調節する。検出処理の詳細に関しては、例えば特開2002-111994号公報に開示されている。

透かし情報３０２が検出できた場合、透かし検出処理部３１４は、透かし情報３０２を透かし情報出力処理部３１５に送信する。透かし情報が検出できなかった場合、透かし検出処理部３１４は、幾何変形コンテンツ作成処理部３１３に処理を戻す。このとき幾何変形コンテンツ作成処理部３１３は、回転角、平行移動量などを変更した後、幾何変形コンテンツを作り直し、透かし検出処理部３１４に送信しなおす。透かし情報が検出できるまでこの処理を繰り返す。

コンテンツ縮小処理部３１２において用いられたキュービックコンボリューション法は、実施例１であげた最近接補間法と比べて計算量が多い。しかし、透かし情報が検出できなかった場合は、このように透かし情報が検出できるまで幾何変形を繰り返す必要があるため、ただ一回の縮小処理は、コンテンツの質を保存する高精度の縮小法を用いたほうが、検出精度の観点から望ましい。

最後に透かし情報出力処理部３１５は、受信した透かし情報３０２をネットワーク１０２もしくはディスプレイ１１３に出力して、透かし検出処理を完了する。

図４は本発明を実施する上で使い勝手を向上させる対話機能を説明する例である。対話機能は、計算機１０１上でその機能を持つプログラムを実行すること、あるいは、これと同等の機能を持つハードウェアを作製することによって実現できる。

図４、図１、図２を用いて対話機能の詳細を説明する。

４０１は、透かし埋め込みのためのダイアログであり、ディスプレイ１１３に表示される。調節バー４１１はマウス１１５などで操作するもので、コンテンツ縮小処理部２１２におけるコンテンツの縮小率を決定する。左端は精密処理に、右端は高速処理に対応しており、中間を選択することも可能である。

精密処理を行うと選択された場合、コンテンツ縮小処理部２１２は、透かし埋め込み対象となるデジタルコンテンツ２０１を縮小せずそのまま透かし強度算出処理部２１３に送信する。この場合、透かし強度算出処理部２１３での透かし強度の計算に処理時間がかかるが、その分コンテンツの特徴を綿密に捉えることができ、透かし埋め込みによるコンテンツの劣化を最大限防止することができる。

高速処理を行うと選択された場合、コンテンツ縮小処理部２１２は、デジタルコンテンツ２０１に１０分の１程度の大幅な縮小を施した後、透かし強度算出処理部２１３に送信する。この場合、精密処理と比較してコンテンツの劣化が生じやすいが、その不利益以上に透かし埋め込み処理に要する計算量を大幅に削減することができる。例えば、デジタルコンテンツ２０１を１０％に縮小して透かし強度を計算した場合、透かし埋め込みに要する処理時間を１００倍程度の高速化できる。

また、同一の縮小率に対しても、たとえば最近接補間法といった高速な方法とキュービックコンボリューションといった精密だが時間がかかる方法を選択可能にし、より細分化することも可能である。この場合、縮小方法の選択ダイアログ４１２がダイアログ４０１に含まれる。選択ダイアログ４１２はダイアログ４０１同様ディスプレイ１１３に表示され、マウス１１５にて選択される。

ダイアログ４０１により、上記実施例の電子透かし埋め込み装置２２１の使い勝手を向上することができる。

４０２は、透かし検出のためのダイアログであり、ディスプレイ１１３に表示される。調節バー４１３はマウス１１５などで操作するもので、コンテンツ縮小処理部３１２におけるコンテンツの縮小率を決定する。左端は精密処理に、右端は高速処理に対応しており、中間を選択することも可能である。

精密処理を行うと選択された場合、コンテンツ縮小処理部３１２は、透かし入りコンテンツ３０１を縮小せずそのまま幾何変形コンテンツ作成処理部３１３に送信する。この場合、コンテンツサイズが大きい分、透かし検出に処理時間を要するが、その分検出精度が向上する。

高速処理を行うと選択された場合、コンテンツ縮小処理部３１２は、透かし入りコンテンツ３０１に２５％から５０％程度の縮小を施した後、幾何変形コンテンツ作成処理部３１３に送信する。この場合、縮小によるコンテンツの劣化が生じてしまうが、縮小によってデータ量が低減した結果、透かし情報検出装置３２１による透かし検出に要する計算量を削減できる。

また、幾何変形コンテンツ作成処理部３１３は、実際に受信した縮小コンテンツに回転、平行移動などといった幾何変形を施すために、これらの変形量に関する情報も設定できたほうが好ましい。従ってダイアログ４０２はこのような情報の入力欄も内包する。なお、万一設定された幾何変形範囲でコンテンツから透かし情報が検出できなかった場合、透かし情報出力処理部３１５は、透かし情報が検出できなかったことを出力するようにしてもよい。

ダイアログ４０２により、上記実施例の電子透かし検出装置３２１の使い勝手を向上することができる。

なお、本発明は、上記実施例で述べた電子透かし以外にも、例えば輪郭線などといった画像の特徴を抽出するといった計算量の多い処理を、高速化する用途にも適用可能である。

実施例１、２、３の装置を実現する計算機１０１の構成を表す模式図である。実施例１の電子透かし埋め込み装置を表す模式図である。実施例２の電子透かし検出装置を表す模式図である。実施例３の対話機能を表す模式図である。実施例１の電子透かし強度の算出対象となるデジタルコンテンツの構造を表す模式図である。実施例１の電子透かし埋め込み強度情報を表す模式図である。

符号の説明

１０１：計算機、１０２：ネットワーク、１１１：ＣＰＵ、１１２：記憶装置、１１３：ディスプレイ、１１４：キーボード、１１５：マウス、２０１：透かし情報埋め込み対象となるデジタルコンテンツ、２０２：埋め込む透かし情報、２０３：透かし入りコンテンツ、２１１：コンテンツ入力装置、２１２：コンテンツ縮小装置、２１３：透かし強度算出装置、２１４：透かし強度情報拡大装置、２１５：透かし情報入力装置、２１６：透かし埋め込み装置、２１７：コンテンツ出力装置、２２１：電子透かし埋め込み装置、３０１：透かし入りデジタルコンテンツ、３０２：検出できた透かし情報、３１１：コンテンツ入力装置、３１２：コンテンツ縮小装置、３１３：幾何変形コンテンツ作成装置、３１４：透かし検出装置、３１５：透かし情報出力装置、３２１：電子透かし検出装置、４０１：電子透かし埋め込みにあったほうが好ましい対話装置、４０２：電子透かし検出にあったほうが好ましい対話機能、４１１：電子透かし埋め込み精度調節バー、４１１：電子透かし埋め込み精度縮小方法選択ダイアログ、４１３：電子透かし検出精度調節バー、５１１，５２１，５３１：画像データ、５１２，５２２，５３２：ヘッダ、６０１：透かし情報埋め込み対象となる画像、６０２：画像６０１を縮小して算出した透かし強度情報、６０３：透かし強度情報６０２の拡大図。

Claims

情報を電子透かしとして画像データに埋め込む電子透かし埋め込み装置において，
前記情報の埋め込み対象となる画像データに対して縮小処理を行い，画素数を削減した縮小画像データを生成する画像データ縮小処理部と，
画素数が削減された前記縮小画像データを対象に，縮小透かし強度情報を算出する透かし強度算出処理部と，
該縮小透かし強度情報を，前記情報の埋め込み対象となる画像データのための拡大透かし強度情報へ拡大する拡大処理を行う透かし強度情報拡大処理部と，
該情報の埋め込み対象となる画像データに，該拡大透かし強度情報に基づいて，前記情報を埋め込む透かし情報埋め込み処理部と，を備え，
前記透かし強度算出処理部は，前記縮小画像データにフィルタ処理を施し，前記縮小透かし強度情報を一画素毎に算出し，
前記透かし強度情報拡大処理部は，前記情報の埋め込み対象となる画像データの二次元の矩形領域を構成する複数画素が、前記縮小画像データの一画素について算出した同一の前記縮小透かし強度情報に対応するように，前記拡大処理を行うことにより，前記拡大透かし強度情報を生成する
ことを特徴とする電子透かし埋め込み装置。
請求項１に記載の電子透かし埋め込み装置において，
該画像データ縮小処理部は，前記情報の埋め込み対象となる画像データを構成する画素を間引く最近接補間法により，前記縮小処理を行う
ことを特徴とする電子透かし埋め込み装置。
請求項１に記載の電子透かし埋め込み装置において，
該画像データ縮小処理部は，バイリニア法またはキュービックコンボリューション法により，前記縮小処理を行う
ことを特徴とする電子透かし埋め込み装置。
請求項１に記載の電子透かし埋め込み装置において，
該透かし強度情報拡大処理部は，前記拡大処理の方法として，最近接補間法を用いる
ことを特徴とする電子透かし埋め込み装置。
請求項１ないし４いずれか一に記載の電子透かし埋め込み装置において，
画像データ入力処理部を備え，
前記画像データ入力処理部は，
前記情報の埋め込み対象となる画像データから，埋め込み対象となる成分情報を抽出し，
該画像データ縮小処理部は，抽出された前記画像データの成分情報に対して，前記縮小処理を行う
ことを特徴とする電子透かし埋め込み装置。
請求項５に記載の電子透かし埋め込み装置において，
前記成分情報とは，輝度情報である
ことを特徴とする電子透かし埋め込み装置。