JP3558120B2 - Digital watermark information detecting device, method of detecting the same, and recording medium incorporating digital watermark information detecting method - Google Patents
Digital watermark information detecting device, method of detecting the same, and recording medium incorporating digital watermark information detecting method Download PDFInfo
- Publication number
- JP3558120B2 JP3558120B2 JP2000024719A JP2000024719A JP3558120B2 JP 3558120 B2 JP3558120 B2 JP 3558120B2 JP 2000024719 A JP2000024719 A JP 2000024719A JP 2000024719 A JP2000024719 A JP 2000024719A JP 3558120 B2 JP3558120 B2 JP 3558120B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vector
- image information
- calculating
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、電子透かし情報検出装置及び電子透かし情報検出方法に関するものであり、特に詳しくは、電子透かし情報が挿入された原画像情報が、何らかの不正な行為によって、消去されたり、変形或いは改竄された場合でも、当該原画像情報に最初に挿入されていた電子透かし情報を検出することが可能な電子透かし情報検出装置及び電子透かし情報検出方法に関するものである。
【０００２】
【従来の技術】
静止画電子透かし（ｓｔｉｌｌ ｐｉｃｔｕｒｅ ｄｉｇｉｔａｌ ｗａｔｅｒｍａｒｋ）」技術は静止画に著作者の固有情報を密やかに埋め込み、所有権の所在を主張する技術として、従来から使用されて来ている。
又、近年、インターネットを利用してマルチメディア情報が盛んに流通するとともに電子透かしの応用は注目されているが、それとともに、いろいろな画像に埋め込んだ透かし情報を変形したり、改竄したり或いは消去してしまうことによって、著作権の侵害を回避しようとする、悪意のある不正行為が頻繁に発生しており、かかる不正行為を防止する方法の開発は急務となってきている。
【０００３】
処で、係る電子透かし情報が変形されたり、改竄されたり、或いは消去される事態が発生するのは、例えば、原画像情報を拡大変形処理或いは縮小変形処理、更には回転変形処理等の操作を意識的に実行する事によって、容易に当該電子透かし情報が消去されたり、変形或いは改竄されたりする事が知られている。
中でも、上記した原画像情報を回転変形する事によって、当該電子透かし情報は、容易に消去されやすいという性格を有している。
つまり、当該電子透かし情報を埋め込んだ画像をある角度で回転させて変形処理を行うと、当該電子透かし情報は正確的に検出できなくなると言うことである。
【０００４】
つまり、上記の様な原画像情報に対して変形処理を行った場合に、画像情報そのものは、隣接する画素同士が同じ画像情報をもっている事が多いので、当該変形処理をした場合でも、画質は多少低下するとしても、原画像情報そのものが完全に失われる事はないが、電子透かし情報は、０、１のバイナリ値がランダムに配列されるものであるので、当該変形処理操作を行う際の平均値処理によって、消去されてしまい、元の電子透かし情報が読めなくなるとか読めたとしても、元の電子透かし情報とは異なった電子透かし情報となってしまう事が多い。
その為、不正行為を行おうとする者は、画質そのものは見るに耐える状態であって、電子透かし情報を消去しえるので、かかる手段を採用する事が頻繁に行われている。
【０００５】
現在、かかる電子透かしへの不正行為（攻撃問題）を行うためによく使う方法は、アフィン変換方式に対しては、例えば、回転変形処理と拡大・縮小変形処理が考えられる。
又、回転変形処理と拡大・縮小変形処理に対してよく使われる方法は、アフィン変換方式の線形補間法と最近傍法が使用される。
つまり、係る不正行為（攻撃問題）は、原画像に対して回転変形処理と拡大・縮小変形処理を行うことによって、原画像そのものには、大きなダメージはないが、当該埋め込んだ電子透かしの情報の強さは減らされ、検出できなくなる場合がある。
従って、従来では、係る不正行為に対する有効で確実な防御手段が無かった為、係る防御方法の開発が急がれていた。
【０００６】
【発明が解決しようとする課題】
従って、本発明の目的は、上記した従来技術の欠点を改良し、原画像情報に対して挿入された電子透かし情報を、当該原画像情報に、特に回転変形処理を施して、当該電子透かし情報を消去、或いは改竄・変形した画像情報から、原画像情報に埋め込まれていた元の電子透かし情報を確実に検出出来る方法及びその装置を提供するものである。
又、本発明に於ける主たる目的は、予め定められた電子透かし情報を含む静止画像である原画像情報に回転変形処理を実行した後に市場に出回っている当該不正処理された静止画像情報から、当該元の電子透かし情報を検出し、当該画像情報に対する著作権を不正な侵害行為から保護する為に必要な電子透かし情報検出装置及び電子透かし情報検出方法を提供するものである。
【０００７】
【課題を解決するための手段】
本発明は、上記した目的を達成する為、基本的には、以下に示す様な技術構成を採用するものである。
即ち、本発明に係る第１の態様としては、入手した画像の画像情報分析手段、当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する行列演算手段、当該画像情報から初期推定画像ベクトルを算出する初期推定画像ベクトル演算手段、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する残差ベクトル演算手段、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算手段、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する自乗誤差値判定手段、修正ベクトルを演算する修正ベクトル演算手段、逆回転画像を算出する逆回転画像演算手段、当該逆回転画像演算手段の出力を当該推定画像ベクトル演算手段の演算値に加算する手段、当該自乗誤差値判定手段が、当該自乗誤差値が最小となった事を検出した場合に、当該最小自乗誤差値から原画像情報の推定値を求める手段、及び当該原画像情報の推定画像情報から電子透かし情報を読出し、表示する電子透かし情報表示手段とから構成されている電子透かし情報検出装置であり、
【０００８】
又、本発明に於ける第２の態様としては、画像情報を入手する工程、当該入手した画像情報が回転変形処理を受けているか否かを判断する工程、回転変形された当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する工程、当該画像情報から初期推定画像ベクトルを算出する初期推定画像ベクトル算出工程、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する工程、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算する工程、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する工程、当該残差ベクトル自乗誤差値が、最小で無いと判断された場合には、修正ベクトルを演算し、逆回転画像を算出する工程、及び当該算出された逆回転画像情報を当該推定画像ベクトル演算手段の演算値に加算する工程、必要に応じて残差ベクトル自乗誤差演算する工程を繰り返す工程、当該残差ベクトル自乗誤差値が、最小であると判断された場合には、当該最小自乗誤差値から原画像情報を推定する工程、及び当該推定された当該原画像情報から電子透かし情報を読み出す工程、とから構成された電子透かし情報検出方法である。
【０００９】
更に、本発明にかかる第３の態様としては、画像情報を入手する第１の工程、当該入手した画像情報が回転変形処理を受けているか否かを判断する第２の工程、回転変形された当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する第３の工程、当該画像情報から初期推定画像ベクトルを算出する第４の工程、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する第５の工程、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算する第６の工程、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する第７の工程、当該残差ベクトル自乗誤差値が、最小で無いと判断された場合には、修正ベクトルを演算する第８の工程、当該修正ベクトルから逆回転画像を算出する第９の工程、当該算出された逆回転画像情報を当該推定画像ベクトル演算値に加算する第１０の工程、必要に応じて残差ベクトル自乗誤差演算する工程を繰り返す第１１の工程、当該残差ベクトル自乗誤差値が、最小であると判断された場合には、当該最小自乗誤差値から原画像情報を推定する第１２の工程、及び当該推定された当該原画像情報から電子透かし情報を読み出す工程、とから構成された電子透かし情報検出方法を実行する為のプログラムを記録している記録媒体である。
【００１０】
【発明の実施の形態】
本発明に係る当該電子透かし情報検出装置及び電子透かし情報検出方法は、上記した様な技術構成を採用しているので、予め定められた電子透かし情報を含む静止画像である原画像情報に対して、第３者によって、回転変形処理等の不正行為が実行されて、当該電子透かし情報が消去された後に市場に出回っている当該不正処理された静止画像情報から、当該元の電子透かし情報を容易に検出し、当該市販の画像情報が、所定の電子透かし情報を有する原画像情報を不正に改竄、変形或いは消去する事によって、著作権者の了解なしに不正に販売されているか否かを識別する事が可能となるので、当該著作権を不正な侵害行為から保護する為に有用な手段となる。
【００１１】
【実施例】
以下に、本発明に係る当該電子透かし情報検出装置及び当該電子透かし情報検出方法の一具体例を図面を参照しながら詳細に説明する。
即ち、図１には、本発明に係る当該電子透かし情報検出装置１００の一具体例の構成を示すブロックダイアグラムであって、図中、入手した画像の画像情報分析手段１、当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する行列演算手段２、当該画像情報から初期推定画像ベクトルを算出する初期推定画像ベクトル演算手段３、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する残差ベクトル演算手段４、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算手段５、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する自乗誤差値判定手段６、修正ベクトルを演算する修正ベクトル演算手段７、逆回転画像を算出する逆回転画像演算手段８、当該逆回転画像演算手段の出力を当該推定画像ベクトル演算手段の演算値に加算する手段９、当該自乗誤差値判定手段６が、当該自乗誤差値が最小となった事を検出した場合に、当該最小自乗誤差値から原画像情報の推定値を求める手段１０、及び当該原画像情報の推定画像情報から電子透かし情報を読出し、表示する電子透かし情報表示手段１１、更には上記各手段の動作を総合的に管理制御する中央演算手段１２とから構成されている電子透かし情報検出装置１００が示されている。
【００１２】
本発明に於ける電子透かし情報検出装置に於いて検査の対象となる画像情報は静止画像情報である。
先ず、本発明に係る当該電子透かし情報検出方法に於ける当該電子透かし情報を消去あるいは変形改竄する方法の例を図２を使用して説明しておく。
即ち、原画像情報に埋め込まれた電子透かし情報を改竄したり変形したり、消去する方法としては、上記した様に、当該原画像情報を変形処理する事が一般的に知られており、その手法の一般的なものは、図２に示す様な二次元アフィン変換方法である。
【００１３】
当該二次元アフィン変換方法としては、図２（ａ）に示す平行移動型、図２（ｂ）に示す拡大・縮小型及び図２（ｃ）に示す回転型があるが、当該電子透かし情報を消去或いは変形・改竄する為には、専らぱら、図２（ｂ）の拡大・縮小型及び図２（ｃ）の回転型二次元アフィン変換方法が使用されている。
そして、二次元画像が図２（ａ）及び（ｂ）に示されるように自由に拡大、縮小、回転する二次元アフィン変換では、個々の画像画素の座標値は、任意の点（ｘ０、ｙ０）を中心として、次式１の様に示される。
【００１４】
【数１】
【００１５】
本発明に於いては、上記した様に、特に、特に図２（ｃ）に示す回転型二次元アフィン変換方法により回転変形処理した電子透かし情報の消去或いは変形改竄に対する対向手段を確立する必要があることから、以後、当該画像情報の回転変形処理についてのみ説明する事にする。
つまり、上記式１で与えられたアフィン変換により、原点（０、０）を中心にした画像を角度Θで回転した後の各画素位置は、以下に示す式２で表わされる。
【００１６】
【数２】
その場合には、画質をよくするため線形補間法と呼ばれる方法を用いる。
【００１７】
この方法は、図３（Ａ）に示すように、求まったアドレスが格子点に一致しない場合、近傍の４個の格子点からの距離の比を求め、この比率で近傍４画素の濃度値から補間するものである。この濃度値の計算は、式３で与えられる。
【００１８】
【数３】
又、別の方法として、最近傍法が知られている。
処で、最近傍法は、図３（Ｂ）に示すように、（１）、（２）式により求めた画素の位置は入力画像の各格子にならない場合には、最も近い点の濃度を選択するという手法である。
【００１９】
最近傍法は、誤って隣の画素を取る場合もある。例えば、原画像にある一本線（一行）のデータは回転した後、隣接線（行）のデータを取る場合もある。
線形補間法は、最近傍法（最も近い点の濃度を選択するという手法）より良い画質が得られるが、埋め込んだ透かしに対して情報が平均されたり、強さが減らされたりする原因となる。
かかる現象が、上記した様に、当該原画像情報を回転変形処理する事によって、原画像情報に挿入された電子透かし情報が消去されたり変形或いは改竄せしめられたりする原因となる。
【００２０】
更に、再度当該既回転処理された画像を同一の方向に回転変形処理したり、更に、反対の方向に回転させて、もとの角度に戻す処理をした場合には、一層当該電子透かし情報の検出は困難になってくる。
処で、以上述べた画像の回転及び逆回転問題は、図４に示されるように、線形システムとなっている。
図４に於いて示されているＨとＨｔ は、それぞれシステムマトリクス及びそのマトリクスの転置行列と呼ばれるものである。
今、原画像及び回転した画像のサイズをｍ×ｎ＝ｋとなると、システムマトリクスＨは、ｋ×ｋの行列となる。
【００２１】
上記関係から、原画像情報ｇを所定の角度回転処理して変形した回転した画像ｇ’はシステムマトリクスＨを使用する事によって、下記の式４として表示される事になる。
【数４】
ｇ’＝ Ｈｇ （４）
で示される事になる。
そして、当該式４に前記した式２及び式３を代入する事によって、以下の式５に示す様に変形される。
【００２２】
【数５】
【００２３】
【数６】
【００２４】
【数７】
【００２５】
即ち、所定の角度で回転した画像情報ｇ’からシステムマトリクスＨを用いて、元の画像、つまり原画像情報ｇを推定する事が出来る事になる。
このことは、所定の電子透かし情報が埋め込まれている原画像情報に、上記した様な回転変形処理を施して当該電子透かし情報を改竄或いは消去した画像情報が入手できれば、線形逆問題を解析してその解を求める事によって、原画像情報を推定する事が出来、同時に当初に埋め込んだ電子透かし情報を読み出せる可能性がある事を示唆している。
【００２６】
そこで、今、入手した回転変形処理されたと思われる画像情報ｇ’から原画像情報ｇを推定するに際して、先ず当該画像情報ｇ’から原画像情報の推定画像情報をｇ”とすると、当該推定画像ｇ”にとすると、当該推定画像ｇ”の推定の確からしさを図る尺度として、次式８に示す様な、当該システムマトリクスＨと当該推定画像ｇ”との積であるＨｇ”と不正に回転変形処理された画像情報ｇ’との自乗誤差値Ｉを使用することが出来る。
【００２７】
【数８】
一般には、当該式８に於ける最小自乗誤差法を用いてその解を得る手段としては、疑似逆行列を用いることで、当該推定画像情報ｇ”は、次式９により求められる。
【００２８】
【数９】
当該疑似逆行列を用いる方法は、行列の簡単な掛け算で答えを得ることができるが、処理の対象となる画像が大きいときは、この逆行列を求めることは非常に困難である。従って実際の画像処理などでは、しばしば次に述べる数値解法を用いることが多い。
【００２９】
その為、式８に於ける最小自乗誤差法の解、つまり当該原画像情報の推定画像情報ベクトルｇ”を求める別の方法として、最急降下法、共役勾配法などの数値解析手法があるが、ヤコビ法（Ｊａｃｏｂｉ）を使用する事が望ましい。
従って、以下の説明に於いては、当該ヤコビ法を使用した式８に於ける最小自乗誤差法の解を求める別の方法に付いて説明する。
【００３０】
ヤコビ法の基本アルゴリズムは、以下のとおりである。
（１）任意の初期推定画像情報ベクトルｇ”０ を与える。
（２）得られた初期推定画像情報ベクトルｇ”０ を用いて、式４により、その回転画像ベクトルＨｇ”０ を求める。
（３）実際に得られている回転画像情報ｇ’との差を取ることで、残差ベクトルｇ’−Ｈｇ”０ を得る。
（４）当該残差ベクトル（ｇ’−Ｈｇ”０ ）にＨＴ を作用させて、修正ベクトルを得る。
（５）当該推定ベクトルと修正ベクトルの和を取ることで、新しい推定ベクトルを得る。
（６）更新された推定ベクトルを用いて、上記した（２）から（６）の各構成操作を繰り返す。
ここで述べた逐次法では、しばしば（３）の残差ベクトルの大きさを見て計算を終了する。ｋ回目の演算をサフィックスで表わすと、ヤコビ法は、次式１０に示す様な形で与えられる。
【００３１】
【数１０】
【００３２】
【数１１】
【００３３】
【数１２】
【００３４】
上記した本発明に係る電子透かし情報検出方法の基本的な技術思想を具体的に実現する電子透かし情報検出方法に付いて図５に示すフローチャートを参照しながら詳細に説明する。
先ず、本発明に於ける当該電子透かし情報検出方法に於いて対象とする不正な変形処理されたと思われる被検査画像情報は、静止画像であって、しかも、当該画像情報は、回転変形処理されたものと推定される画像情報である事が好ましい。
又、更に好ましくは、当該被検査画像情報は、当該画像情報と実質的若しくは近似した画像に関する出所情報が確認出来るものである事が好ましい。
【００３５】
つまり、本発明に係る当該電子透かし情報検出方法に於いて、不正行為によって、所定の電子透かし情報が消去されるか、改竄或いは変形されて正しい電子透かし情報が読み出されなくなった画像情報から、原画像情報の電子透かし情報を読み出せる様にする為に、当該原画像情報と同一或いは類似した画像情報の出所が予め判っている事が望ましい。
【００３６】
更には、本発明に係る当該電子透かし情報検出方法に於いて、被検査画像情報を検査するに際して、当該被検査画像情報が、拡大・縮小の変形処理を受けているのか、回転変形処理を受けているのかを識別しえる画像情報分析手段１を準備しておく事が好ましい。
具体的には、市場から入手した静止画が、回転変形処理されているか、或いは拡大・縮小変形処理されているかどうかを判断する方法としては、例えば、以下示すような「画像エッジ検出法」を使用する事によって、当該市場から入手した静止画が回転変形処理されたものであるかどうかを検出する事が出来る。
つまり、画像エッジ検出法では、図７に示す様に、微分フィルタにより画像のエッジを抽出することで画像の回転角度を計算することができる。
【００３７】
一方、上記した画像エッジ検出法でエッジが検出できない場合には、当該市場から入手した静止画像は、拡大・縮小変形処理されていると推定しても良い。
又、当該静止画像が、拡大・縮小変形処理されているかどうかは、本願出願人が別途の特許出願に於いて提案している様な、入手した画像をフーリエ変換したフーリエ空間内画像に所定の参照情報信号を所定の部位に埋め込んだ後、当該フーリエ空間内画像を逆フーリエ変換して画像空間内画像に戻し、次いで、当該画像空間内画像を所定の範囲内の拡大／縮小率から選択された複数の個々の拡大／縮小率を使用して、当該画像空間内画像の画像サイズを個別に変更した後、当該それぞれの画像サイズが変更された当該画像空間内画像を再度フーリエ変換してフーリエ空間内画像となし、それぞれのフーリエ空間内画像に於いて、当該画像に先に埋め込んだ当該参照情報信号の周波数成分の位置の移動の有無を検出する方法によっても、検出可能である。
【００３８】
本発明に於いては、上記した様に、先ず入手した被検査画像情報が、回転変形処理を受けたものであって、電子透かし情報が全く判読出来ない様な画像情報に付いて、先ず最初に推定画像情報ベクトルｇ”０ （初期推定画像値）を設定し、システムマトリックスＨとの積で表される推定の確からしさを図る尺度であるＨｇ”０ と回転変形処理された当該被検査画像情報ベクトルｇ’との誤差値に関する式８で示す様な自乗誤差値を最小にする様に、順次推定値を変更し、当該被検査画像情報から、原画像情報を推定する様にする事によって、電子透かし情報を判読出来る様に処理するものである。
此処で、本発明に於て使用される当該自乗誤差値判定手段６は、疑似逆行列或いはヤコビ法による数値解法手段を適用して当該最小自乗誤差値を演算する様に構成されている事が望ましい。
【００３９】
図５に示すフローチャートによると、本発明に係る当該電子透かし情報検出方法の基本的な操作手順は、以下の通りとなる。
即ち、スタート後、ステップ（ＳＴ−１）に於て、入手した被検査画像情報から行列Ｈを求め、その転置行列ＨＴ を作成する。
此処で、本発明に於ける当該具体例に於いて、上記ベクトルＨと転置行列ＨＴ の求め方の一具体例を以下に説明する。
【００４０】
即ち、今、図７に示すような回転した静止画像が一枚があるとする。
画像サイズは４×４ｐｉｘｅｌｓで、画像エッジ抽出法により検出した回転角度は１５度であるとする。
上記の条件により、ベクトルＨとその転置行列ＨＴ のサイズは、１６×１６ｐｉｘｅｌｓとなる。
式５に示すように、式２、３により得られたベクトルＨの各エレメント， ｈ（ｉ，ｊ）、小数点２位までの値は表１に示す。
又、エレメントｈ（ｉ，ｊ）は、回転後画像の画素ｉ（０＜ｉ＜４×４）と回転前画像の画素ｊ（０＜ｊ＜４×４）の繋がりを表わしている。
表１に示すように画素ｉに対して、すべてのエレメントｈ（ｉ，ｊ）はゼロとなる場合には、その画素は回転前画像のすべての画素を無関係となる。
つまり、その画素は回転前画像サイズ以外の画素と繋がっている。また、画素ｉに対する非零値の和は、式１３に示すように、
【００４１】
【数１３】
【００４２】
一方、ベクトルＨの転置行列ＨＴ は、ベクトルＨの行と列を表２に示すように交換することで得られる。
【００４３】
【表１】
【表２】
次いで、ステップ（ＳＴ−２）に進んで、当該被検査画像情報ベクトルｇ’から原画像情報ベクトルを推定するに際して、先ず、第１回目の推定画像情報ｇ”０ （初期推定画像値）を求め、その後、ステップ（ＳＴ−３）に進んで、当該被検査画像情報ベクトルｇ’と上記したＨｇ”０ との誤差である残差（ｇ’−Ｈｇ”ｋ ）を演算する。
尚、当該推定画像情報ｇ”０ （初期推定画像値）は、後述する様に、何回も各操作を繰り返すものであるから、その都度値が変更されるので、一般的には、当該推定画像情報ベクトル値はｇ”ｋ として表示されるものである。
此処で、本具体例に於ける当該初期推定画像値を求める具体的方法としては、例えば、上記した様な方法で計算した回転角度値をマイナスにして式２に代入することで、アフィン変換の線形補間法（あるいは最近傍法）により得られた逆回転画像を初期推定値として用いる事が可能である。
【００４６】
その後、ステップ（ＳＴ−４）に移行して、当該ステップ（ＳＴ−３）で得られた残差値の自乗誤差Ｉ＝（ｇ’−Ｈｇ”ｋ ）Ｔ （ｇ’−Ｈｇ”ｋ ）を演算する。
その後、ステップ（ＳＴ−５）に進んで、当該自乗誤差値Ｉが、最小値であるから否かが判断され、当該ステップ（ＳＴ−５）於て、当該自乗誤差値Ｉが、最小値であると判断された場合には、ステップ（ＳＴ−６）に移行して、当該最小自乗誤差値Ｉから原画像情報ベクトルｇを推定し、その結果から適宜の電子透かし情報手段１０を介して、当該電子透かし情報を読み出して、適宜の表示手段１１に表示してＥＮＤとなる。
【００４７】
一方、当該ステップ（ＳＴ−５）於て、当該自乗誤差値Ｉが、最小値では無いと判断された場合には、ステップ（ＳＴ−７）に移行して、αＨＴ （ｇ’−Ｈｇ”ｋ ）で示される修正ベクトルを演算し、ステップ（ＳＴ−８）に移り、ｇ”ｋ＋１ ＝ｇ”ｋ ＋αＨＴ （ｇ’−Ｈｇ”ｋ ）で表される逆回転画像ベクトルを演算により求める。
その後、ステップ（ＳＴ−３）に戻り、当該逆回転画像ベクトルｇ”ｋ＋１ を残差値（ｇ’−Ｈｇ”ｋ ）に加算した後、当該ステップ（ＳＴ−３）以降の各工程を繰り返す事になる。
【００４８】
上記した具体例の説明から明らかな様に、本発明に係る当該電子透かし情報検出方法のより詳細な具体例としては、画像情報を入手する第１の工程、当該入手した画像情報が回転変形処理を受けているか否かを判断する第２の工程、回転変形された当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する第３の工程、当該画像情報から初期推定画像ベクトルを算出する初期推定画像ベクトル算出する第４の工程、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する第５の工程、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算する第６の工程、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する第７の工程、当該残差ベクトル自乗誤差値が、最小で無いと判断された場合には、修正ベクトルを演算し、逆回転画像を算出する第８の工程、及び当該算出された逆回転画像情報を当該推定画像ベクトル演算手段の演算値に加算する第９の工程、必要に応じて残差ベクトル自乗誤差演算する工程を繰り返す第１０の工程、当該残差ベクトル自乗誤差値が、最小であると判断された場合には、当該最小自乗誤差値から原画像情報を推定する第１１の工程、及び当該推定された当該原画像情報から電子透かし情報を読み出す第１２の工程、とから構成されている電子透かし情報検出方法である。
【００４９】
本発明に於ける電子透かし情報検出方法に於いては、当該自乗誤差値判定手段６は、疑似逆行列或いはヤコビ法による数値解法手段を適用して当該最小自乗誤差値を演算する様に構成されている事が望ましい。
本発明に係る当該電子透かし情報検出方法のより詳細な手順を図６に示すフローチャートを参照しながら詳細に説明する。
即ち、本発明に於ける当該電子透かし情報検出方法に於いては、スタート後、ステップ（Ｓ−１）に於て、被検査画像報を入手する第１の工程が実行され、ステップ（Ｓ−２）に於て、当該入手した画像情報が回転変形処理を受けているか否かを判断する第２の工程を実行する。
【００５０】
当該ステップ（Ｓ−２）で、当該被検査画像報が、何等変形処理操作を受けていないか、拡大或いは縮小による変形処理のみを受けている事が判明した場合には、当該ルーチンはエンドとなるが、当該被検査画像情報が、何等かの回転変形処理を受けている事が判明した場合には、ステップ（Ｓ−３）に進み、当該被検査画像報の、回転変形された当該画像情報からシステムマトリックスに関する行列Ｈ及び転置行列ＨＴ を算出する第３の工程が実行され、ステップ（Ｓ−４）に於て、当該被検査画像報ｇ’から初期推定画像ベクトルｇ”０ を算出する第４の工程が実行される。
【００５１】
その後、ステップ（Ｓ−５）に於て、後述する逆回転画像情報ベクトルｇ”ｋ ＋１による置換データがあるか否かが判断され、ＮＯであれば、ステップ（Ｓ−６）に於て、当該被検査画像報に於ける画像ベクトルｇ’と当該初期推定画像ベクトルｇ”０ に当該行列Ｈを乗算した値Ｈｇ”０ との残差ベクトル（ｇ’−Ｈｇ”ｋ ）を演算する第５の工程が実行される。
又、ステップ（Ｓ−５）に於て、ＹＥＳであれば、ステップ（Ｓ−７）に於て置換画像情報ベクトルｇ”ｋ＋１ を使用して残差ベクトル（ｇ’−Ｈｇ”ｋ＋１ ）を演算する第５’の工程が実行される。
【００５２】
次いで、ステップ（Ｓ−８）に進み、当該残差ベクトル（ｇ’−Ｈｇ”ｋ ）の自乗誤差Ｉ＝（ｇ’−Ｈｇ”ｋ ）Ｔ （ｇ’−Ｈｇ”ｋ ）を演算する第６の工程が実行され、ステップ（Ｓ−９）に於て、当該残差ベクトル自乗誤差値Ｉが最小値であるか否かを判断する第７の工程が実行される。
当該ステップ（Ｓ−９）に於て、当該残差ベクトル自乗誤差値Ｉが、最小で無いと判断された場合には、ステップ（Ｓ−１０）に進み、αＨＴ （ｇ’−Ｈｇ”ｋ ）で示される修正ベクトルを演算する第８の工程が実行されると共に、ステップ（Ｓ−１１）に於て、当該修正ベクトルからｇ”ｋ＋１ ＝ｇ”ｋ ＋αＨＴ （ｇ’−Ｈｇ”ｋ ）で表される逆回転画像ベクトルを算出する第９の工程が実行された後、ステップ（Ｓ−５）に戻って、当該算出された逆回転画像情報ベクトルｇ”ｋ ＋１で、前回操作した際の推定画像情報ベクトル値ｇ”０ 或いは、ｇ”ｋ を置換する第１０の工程が実行される。
【００５３】
その後、必要に応じてステップ（Ｓ−４）からステップ（Ｓ−１１）までの各工程が繰り返すされる第１１の工程が実行され、ステップ（Ｓ−７）に於て、当該残差ベクトル自乗誤差値Ｉが、最小であると判断された場合には、ステップ（Ｓ−１２）に進んで、当該最小自乗誤差値Ｉから原画像情報ｇを推定する第１２の工程が実行され、次いでステップ（Ｓ−１３）に於て当該推定された当該原画像情報ｇから電子透かし情報を読み出す第１３の工程とが実行され、最後にステップ（Ｓ−１４）に於て、当該電子透かし情報を適宜の表示手段に表示する工程が実行されてエンドとなる。
本具体例に於ける上記したステップ（Ｓ−５）からステップ（Ｓ−１１）までの各工程の繰り返し操作は、特に限定されないが、例えば５回以内で完了させる事が望ましい。
【００５４】
上記の電子透かし情報検出方法をより詳細に説明する為に、簡単なモデル画像情報を使用して、当該電子透かし情報検出方法を実践する為の手順を以下に説明する。
即ち、モデル画像として図８に示す様な回転以前の原静止画像があったとして、当該原静止画像が図９に示す様に、回転角度１５度で回転処理され、その結果、当該回転された画像のサイズは１０×１０ｐｉｘｅｌｓであるとする。
図８及び図９に於ける画像の灰色部分は非零値に対して画像値がある部分となる。
係るモデル静止画像に対して、図１０〜図１３には、それぞれ式１０の重み係数αを１．０とし、推定回数は０回（初期値）、２５回、５０回、１００回の推定値（画像）を示した。
【００５５】
即ち、図１０〜図１３のそれぞれに示された各回で推定した画像ｇ”と原画像ｇの自乗誤差Ｉ２ 、またその画像を同回転角度で再回転させた再回転画像ｇ’”＝Ｈｇ”， と元の回転された画像ｇ’の自乗誤差Ｉ１ は、そのぞれ式１４と式１５で与えられる。
【００５６】
【数１４】
【数１５】
図１４、図１５及び表３の結果により、およそ２５回ぐらい推定することで、推定画像値と原画像値の自乗誤差はほぽゼロとなる。
【００５８】
又、本発明に係る他の態様としては、画像情報を入手する第１の工程、当該入手した画像情報が回転変形処理を受けているか否かを判断する第２の工程、回転変形された当該画像情報からシステムマトリックスに関する行列及び転置行列を算出する第３の工程、当該画像情報から初期推定画像ベクトルを算出する第４の工程、当該画像情報に於ける画像ベクトルと当該初期推定画像ベクトルに当該行列を乗算した値との残差ベクトルを演算する第５の工程、当該残差ベクトルの自乗誤差を演算する残差ベクトル自乗誤差演算する第６の工程、当該残差ベクトル自乗誤差値が最小値であるか否かを判断する第７の工程、当該残差ベクトル自乗誤差値が、最小で無いと判断された場合には、修正ベクトルを演算する第８の工程、当該修正ベクトルから逆回転画像を算出する第９の工程、当該算出された逆回転画像情報を当該推定画像ベクトル演算値と置換する第１０の工程、必要に応じて残差ベクトル自乗誤差演算する工程を繰り返す第１１の工程、当該残差ベクトル自乗誤差値が、最小であると判断された場合には、当該最小自乗誤差値から原画像情報を推定する第１２の工程、及び当該推定された当該原画像情報から電子透かし情報を読み出す工程、とから構成された電子透かし情報検出方法を実行する為のプログラムを記録している記録媒体である。
【００５９】
【表３】
【発明の効果】
本発明に係る当該電子透かし情報検出装置及び当該電子透かし情報検出方法は、上記した様な技術構成を採用しているので、予め定められた電子透かし情報を含む静止画像である原画像情報に回転変形処理を実行した後に市場に出回っている当該不正処理された静止画像情報から、当該元の電子透かし情報を検出し、当該画像情報に対する著作権を不正な侵害行為から保護する為に必要な電子透かし情報検出装置及び電子透かし情報検出方法が得られるものである。
【図面の簡単な説明】
【図１】図１は、本発明に係る電子透かし情報検出装置の一具体例の構成を示すブロックダイアグラムである。
【図２】図２は、画像情報を変形処理する方法の例を示す図である。
【図３】図３は、画像情報を変形処理する際の線形補間方法の例を説明する図である。
【図４】図４は、画像情報を回転変形処理する場合の画像情報の変化を説明する図である。
【図５】図５は、本発明に係る電子透かし情報検出方法の一具体例に於ける操作手順を説明するフローチャートである。
【図６】図６は、本発明に係る電子透かし情報検出方法の他の具体例に於ける操作手順を説明するフローチャートである。
【図７】図７は、本発明に係る静止画像が回転変形処理されたか否かを判断する方法の例を説明する図である。
【図８】図８は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図９】図９は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図１０】図１０は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図１１】図１１は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図１２】図１２は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図１３】図１３は、本発明に於ける推定画像値を求める方法に於ける演算手順を説明する図である。
【図１４】図１４は、本発明に於ける推定画像値を求める方法に於ける演算結果を示すグラフである。
【図１５】図１５は、本発明に於ける推定画像値を求める方法に於ける演算結果を示すグラフである。
【符号の説明】
１００…電子透かし情報検出装置
１…画像情報分析手段
２…行列演算手段
３…初期推定画像ベクトル演算手段
４…残差ベクトル演算手段
５…残差ベクトル自乗誤差演算手段
６…自乗誤差値判定手段
７…修正ベクトル演算手段
８…逆回転画像演算手段
９…置換手段
１０…原画像情報の推定値を求める手段
１１…電子透かし情報表示手段
１２…中央演算手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a digital watermark information detecting device and a digital watermark information detecting method. More particularly, the present invention relates to a digital watermark information detecting apparatus in which original image information into which digital watermark information has been inserted is deleted, deformed, or tampered with by any unauthorized act. The present invention relates to a digital watermark information detecting device and a digital watermark information detecting method capable of detecting digital watermark information inserted first in the original image information.
[0002]
[Prior art]
“Still picture digital watermark” technology has been conventionally used as a technology for secretly embedding the author's unique information in a still image and asserting the ownership thereof.
Also, in recent years, multimedia information has been widely distributed using the Internet, and the application of digital watermarks has attracted attention. At the same time, watermark information embedded in various images has been deformed, falsified, or erased. As a result, malicious fraudulent acts that attempt to avoid copyright infringement frequently occur, and it is urgently necessary to develop a method for preventing such fraudulent acts.
[0003]
In such a case, the situation in which the digital watermark information is deformed, falsified, or deleted occurs, for example, by performing an operation such as an enlargement transformation process or a reduction transformation process on the original image information, and a rotation transformation process. It is known that the electronic watermark information is easily deleted, deformed, or falsified by consciously executing the electronic watermark information.
In particular, the digital watermark information has a characteristic that it is easily erased by rotating and deforming the above-described original image information.
That is, if the image in which the digital watermark information is embedded is rotated at a certain angle and the deformation process is performed, the digital watermark information cannot be accurately detected.
[0004]
In other words, when the transformation processing is performed on the original image information as described above, the image information itself often has the same image information between adjacent pixels. Although the original image information itself is not completely lost even if it slightly decreases, since the digital watermark information has binary values of 0 and 1 arranged at random, the digital watermark information when performing the deformation processing operation is used. Even if the original digital watermark information becomes unreadable or readable due to the averaging process, the digital watermark information often differs from the original digital watermark information.
Therefore, a person who intends to commit fraudulent acts often employs such means because the image quality itself is in a state that is hard to see and the digital watermark information can be erased.
[0005]
At present, for example, a rotation deformation process and an enlargement / reduction deformation process can be considered for the affine transformation method as a method often used to perform such an illegal action (attack problem) on the digital watermark.
In addition, as a method often used for the rotation deformation processing and the enlargement / reduction deformation processing, an affine transformation type linear interpolation method and a nearest neighbor method are used.
In other words, such fraudulent acts (attack problem) are obtained by performing the rotation deformation process and the enlargement / reduction deformation process on the original image, so that the original image itself is not significantly damaged, but the information of the embedded digital watermark is not affected. The intensity is reduced and may not be detectable.
Therefore, conventionally, there has been no effective and reliable defense means against such misconduct, so that development of such a defense method has been urgently required.
[0006]
[Problems to be solved by the invention]
Accordingly, an object of the present invention is to improve the above-mentioned drawbacks of the prior art, and apply digital watermark information inserted into the original image information to the original image information, in particular, by applying a rotational deformation process to the digital watermark information. The present invention provides a method and an apparatus for reliably detecting original digital watermark information embedded in original image information from image information obtained by deleting, falsifying or deforming the original image information.
Further, a main object of the present invention is to perform a rotation deformation process on original image information, which is a still image including predetermined digital watermark information, from the illegally processed still image information on the market after performing the rotation deformation process, It is an object of the present invention to provide a digital watermark information detecting device and a digital watermark information detecting method necessary for detecting the original digital watermark information and protecting the copyright of the image information from unauthorized infringement.
[0007]
[Means for Solving the Problems]
The present invention basically employs the following technical configuration to achieve the above object.
That is, as a first aspect according to the present invention, there are provided image information analysis means for an obtained image, matrix calculation means for calculating a matrix and a transposed matrix relating to a system matrix from the image information, and calculation of an initial estimated image vector from the image information. Means for calculating a residual vector between the image vector in the image information and the value obtained by multiplying the matrix by the matrix of the initial estimated image vector, and a square error of the residual vector , A squared error value determining unit that determines whether the residual vector squared error value is the minimum value, a corrected vector calculating unit that calculates a corrected vector, and a reverse rotation image is calculated. Reverse rotation image calculation means, means for adding the output of the reverse rotation image calculation means to the calculation value of the estimated image vector calculation means, When the square error value determination unit detects that the square error value is minimized, a unit that obtains an estimated value of the original image information from the least square error value, and A digital watermark information detecting device configured to read and display digital watermark information;
[0008]
According to a second aspect of the present invention, there is provided a step of obtaining image information, a step of determining whether or not the obtained image information has undergone rotational deformation processing, and a step of obtaining a system from the rotationally deformed image information. Calculating a matrix and a transposed matrix related to a matrix, calculating an initial estimated image vector from the image information, and calculating a value obtained by multiplying the image vector and the initial estimated image vector in the image information by the matrix Calculating the residual vector square error of the residual vector, calculating the residual vector square error of the residual vector, determining whether the residual vector square error value is the minimum value, When it is determined that the residual vector squared error value is not the minimum, a step of calculating a correction vector and calculating a reverse rotation image; A step of adding the inverse rotation image information to the calculated value of the estimated image vector calculating means, a step of repeating the step of calculating the residual vector square error if necessary, and determining that the residual vector square error value is the minimum. In such a case, a digital watermark information detection method includes a step of estimating original image information from the least square error value and a step of reading digital watermark information from the estimated original image information.
[0009]
Further, as a third aspect according to the present invention, a first step of obtaining image information, a second step of determining whether or not the obtained image information has undergone rotational deformation processing, A third step of calculating a matrix and a transposed matrix relating to a system matrix from the image information, a fourth step of calculating an initial estimated image vector from the image information, and a step of calculating an image vector in the image information and the initial estimated image vector. A fifth step of calculating a residual vector with a value obtained by multiplying the matrix, a sixth step of calculating a square error of the residual vector for calculating a square error of the residual vector, A seventh step of determining whether or not the residual vector square error value is not the minimum, and an eighth step of calculating a correction vector when the residual vector squared error value is not the minimum. The ninth step of calculating the reverse rotation image from the torque, the tenth step of adding the calculated reverse rotation image information to the estimated image vector calculation value, and the step of calculating the residual vector square error as necessary are repeated. An eleventh step, a twelfth step of estimating the original image information from the least square error value when the residual vector square error value is determined to be the minimum, and an estimating the original image Reading a digital watermark information from the information, and a program for executing a digital watermark information detecting method.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Since the digital watermark information detecting device and the digital watermark information detecting method according to the present invention employ the above-described technical configuration, the digital watermark information detecting apparatus and the digital watermark information detecting method can be applied to original image information which is a still image including predetermined digital watermark information. An unauthorized act such as a rotation deformation process is executed by a third party, and the original digital watermark information is easily obtained from the illegally processed still image information on the market after the digital watermark information is erased. To identify whether or not the commercially available image information has been illegally sold without the consent of the copyright holder by illegally altering, transforming, or deleting the original image information having the predetermined digital watermark information. It is a useful means of protecting the copyright from unauthorized infringement.
[0011]
【Example】
Hereinafter, a specific example of the digital watermark information detecting device and the digital watermark information detecting method according to the present invention will be described in detail with reference to the drawings.
That is, FIG. 1 is a block diagram showing a configuration of a specific example of the digital watermark information detecting apparatus 100 according to the present invention. In FIG. A matrix operation means 2 for calculating a matrix and a transposed matrix relating to a matrix; an initial estimated image vector operation means 3 for calculating an initial estimated image vector from the image information; an image vector in the image information and the matrix for the initial estimated image vector; , A residual vector computing means 4 for computing a residual vector with a value obtained by multiplying the residual vector, a residual vector square error computing means 5 for computing a square error of the residual vector, and the residual vector square error value is a minimum value. A squared error value determining means 6 for determining whether or not the correction vector is correct, a correction vector calculation means 7 for calculating a correction vector, The calculating
[0012]
The image information to be inspected in the digital watermark information detecting device according to the present invention is still image information.
First, an example of a method of erasing or deforming the digital watermark information in the digital watermark information detecting method according to the present invention will be described with reference to FIG.
That is, as a method of falsifying, deforming, or erasing digital watermark information embedded in original image information, it is generally known that the original image information is deformed as described above. A general method is a two-dimensional affine transformation method as shown in FIG.
[0013]
The two-dimensional affine transformation method includes a translation type shown in FIG. 2A, an enlargement / reduction type shown in FIG. 2B, and a rotation type shown in FIG. 2C. For erasing, deforming, or falsifying, the enlargement / reduction type shown in FIG. 2B and the rotational two-dimensional affine transformation method shown in FIG. 2C are exclusively used.
Then, in the two-dimensional affine transformation in which the two-dimensional image is freely enlarged, reduced, and rotated as shown in FIGS. 2A and 2B, the coordinate value of each image pixel is set to an arbitrary point (x0, y0). ) Is shown as the
[0014]
(Equation 1)
[0015]
In the present invention, as described above, in particular, it is necessary to establish a countermeasure for erasing or deforming digital watermark information which has been subjected to rotational deformation processing by the rotational two-dimensional affine transformation method shown in FIG. For this reason, only the rotational deformation processing of the image information will be described below.
That is, each pixel position after the image centered on the origin (0, 0) is rotated by the angle Θ by the affine transformation given by
[0016]
(Equation 2)
In that case, a method called linear interpolation is used to improve the image quality.
[0017]
According to this method, as shown in FIG. 3A, when the obtained address does not coincide with a grid point, a ratio of distances from four neighboring grid points is obtained, and the density is calculated from the density values of the four neighboring pixels at this ratio. This is to interpolate. The calculation of this density value is given by
[0018]
(Equation 3)
As another method, a nearest neighbor method is known.
In the nearest neighbor method, as shown in FIG. 3 (B), when the position of the pixel obtained by the equations (1) and (2) does not correspond to each grid of the input image, the density of the closest point is calculated. It is a method of selecting.
[0019]
The nearest neighbor method may erroneously take the next pixel. For example, data of one line (one line) in an original image may be rotated and then data of an adjacent line (row) may be obtained.
The linear interpolation method provides better image quality than the nearest neighbor method (a method of selecting the density of the closest point), but causes information to be averaged or the strength of the embedded watermark to be reduced. .
As described above, such a phenomenon causes the digital watermark information inserted into the original image information to be erased, deformed, or falsified by performing the rotation deformation processing on the original image information.
[0020]
Further, when the already rotated image is again subjected to rotational deformation processing in the same direction, or is further rotated in the opposite direction and returned to the original angle, the digital watermark information is further reduced. Detection becomes more difficult.
Here, the image rotation and reverse rotation problem described above is a linear system as shown in FIG.
H and H shown in FIG. t Are called a system matrix and a transpose of the matrix, respectively.
Now, when the size of the original image and the rotated image is m × n = k, the system matrix H becomes a k × k matrix.
[0021]
From the above relationship, a rotated image g ′ obtained by deforming the original image information g by performing the predetermined angle rotation processing is displayed as the following
(Equation 4)
g ′ = Hg (4)
It will be shown by.
Then, by substituting the
[0022]
(Equation 5)
[0023]
(Equation 6)
[0024]
(Equation 7)
[0025]
That is, the original image, that is, the original image information g can be estimated from the image information g ′ rotated at a predetermined angle using the system matrix H.
This means that if the original image information in which the predetermined digital watermark information is embedded is subjected to the rotational deformation processing as described above and the digital watermark information is falsified or deleted, the linear inverse problem can be analyzed. By finding the solution, it is possible to estimate the original image information and at the same time suggest that the digital watermark information embedded at the beginning may be read.
[0026]
Therefore, when estimating the original image information g from the obtained image information g ′ which has been subjected to the rotational deformation processing, first, the estimated image information of the original image information is assumed to be g ″ from the image information g ′. g ″, as a measure for determining the certainty of the estimation of the estimated image g ″, Hg ″, which is the product of the system matrix H and the estimated image g ″, as shown in the following
[0027]
(Equation 8)
In general, as a means for obtaining the solution using the least squares error method in
[0028]
(Equation 9)
According to the method using the pseudo inverse matrix, an answer can be obtained by simple multiplication of the matrix. However, when an image to be processed is large, it is very difficult to find the inverse matrix. Therefore, in actual image processing and the like, the following numerical solution method is often used.
[0029]
Therefore, as another method of obtaining the solution of the least square error method in
Therefore, in the following description, another method for obtaining the solution of the least squares error method in
[0030]
The basic algorithm of the Jacobi method is as follows.
(1) Arbitrary initial estimated image information vector g ″ 0 give.
(2) Obtained initial estimated image information vector g ″ 0 , And the rotated image vector Hg ″ by
(3) By taking the difference from the actually obtained rotated image information g ′, the residual vector g′−Hg ″ is obtained. 0 Get.
(4) The residual vector (g′−Hg ″) 0 ) To H T To obtain a correction vector.
(5) A new estimated vector is obtained by taking the sum of the estimated vector and the correction vector.
(6) Using the updated estimated vector, the above-described respective configuration operations (2) to (6) are repeated.
In the sequential method described here, the calculation is often terminated when the magnitude of the residual vector of (3) is observed. When the k-th operation is represented by a suffix, the Jacobi method is given in a form as shown in the following
[0031]
(Equation 10)
[0032]
(Equation 11)
[0033]
(Equation 12)
[0034]
The digital watermark information detection method for specifically realizing the basic technical concept of the above-described digital watermark information detection method according to the present invention will be described in detail with reference to the flowchart shown in FIG.
First, the image information to be inspected which is considered to have been subjected to the unauthorized deformation processing in the digital watermark information detection method according to the present invention is a still image, and the image information is subjected to the rotation deformation processing. It is preferable that the image information is estimated to have been obtained.
Also, more preferably, the image information to be inspected can be source information on an image substantially or similar to the image information.
[0035]
That is, in the digital watermark information detection method according to the present invention, the predetermined digital watermark information is erased, or is falsified or deformed due to fraud, and the correct digital watermark information cannot be read out from the image information. In order to be able to read out the digital watermark information of the original image information, it is desirable that the source of the image information identical or similar to the original image information is known in advance.
[0036]
Further, in the digital watermark information detection method according to the present invention, when inspecting the image information to be inspected, whether the image information to be inspected is subjected to a transformation process for enlargement / reduction or to a rotational transformation process. It is preferable to prepare image information analysis means 1 which can identify whether or not the image data is being read.
Specifically, as a method of determining whether a still image obtained from the market has been subjected to rotational deformation processing or enlarged / reduced deformation processing, for example, the following “image edge detection method” is used. By using this, it is possible to detect whether or not a still image obtained from the market has been subjected to rotational deformation processing.
That is, in the image edge detection method, as shown in FIG. 7, the rotation angle of the image can be calculated by extracting the edge of the image using the differential filter.
[0037]
On the other hand, when an edge cannot be detected by the above-described image edge detection method, it may be estimated that a still image obtained from the market has been subjected to enlargement / reduction deformation processing.
Whether or not the still image has been subjected to enlargement / reduction deformation processing is determined by a predetermined method in an image in a Fourier space obtained by performing a Fourier transform on the obtained image, as proposed by the present applicant in a separate patent application. After embedding the reference information signal in a predetermined part, the image in the Fourier space is inverse Fourier-transformed into an image in the image space, and then the image in the image space is selected from an enlargement / reduction ratio within a predetermined range. The image size of the image in the image space is individually changed using the plurality of individual enlargement / reduction ratios, and the image in the image space in which the respective image sizes have been changed is again subjected to Fourier transform to perform Fourier transform. It is also possible to detect the presence or absence of a shift in the position of the frequency component of the reference information signal embedded in the image in each Fourier space image. It is a function.
[0038]
In the present invention, as described above, first, the obtained image information to be inspected has been subjected to rotational deformation processing, and the image information whose digital watermark information cannot be read at all is first attached to the image information. To the estimated image information vector g ” 0 (Initial estimated image value), and Hg ″ which is a measure for determining the certainty of the estimation represented by the product of the system matrix H 0 The estimated values are sequentially changed so as to minimize the squared error value as shown in
Here, the square error value judging means 6 used in the present invention may be configured to calculate the least square error value by applying a numerical solution means by a pseudo inverse matrix or a Jacobi method. desirable.
[0039]
According to the flowchart shown in FIG. 5, the basic operation procedure of the digital watermark information detecting method according to the present invention is as follows.
That is, after the start, in a step (ST-1), a matrix H is obtained from the obtained image information to be inspected, and the transposed matrix H T Create
Here, in the specific example of the present invention, the vector H and the transposed matrix H T One specific example of the method of obtaining is described below.
[0040]
That is, it is assumed that there is one rotated still image as shown in FIG.
It is assumed that the image size is 4 × 4 pixels and the rotation angle detected by the image edge extraction method is 15 degrees.
Under the above conditions, the vector H and its transposed matrix H T Is 16 × 16 pixels.
As shown in
The element h (i, j) represents the connection between the pixel i (0 <i <4 × 4) of the image after rotation and the pixel j (0 <j <4 × 4) of the image before rotation.
As shown in Table 1, if for a pixel i, all elements h (i, j) are zero, then that pixel is irrelevant for all pixels of the pre-rotation image.
That is, the pixel is connected to a pixel other than the pre-rotation image size. Also, the sum of non-zero values for pixel i is given by
[0041]
(Equation 13)
[0042]
On the other hand, the transpose matrix H of the vector H T Is obtained by exchanging the rows and columns of the vector H as shown in Table 2.
[0043]
[Table 1]
[Table 2]
Next, proceeding to step (ST-2), when estimating the original image information vector from the inspected image information vector g ′, first, the first estimated image information g ″ 0 (Initial estimated image value), and thereafter, the process proceeds to step (ST-3), and the inspection image information vector g ′ and the above-described Hg ″ 0 (G′−Hg ″) k ) Is calculated.
The estimated image information g ″ 0 The (initial estimated image value) is obtained by repeating each operation many times as described later, and thus the value is changed each time. Therefore, in general, the estimated image information vector value is g ″ k It is displayed as.
Here, as a specific method of obtaining the initial estimated image value in this specific example, for example, the rotation angle value calculated by the above-described method is subtracted and substituted into
[0046]
Thereafter, the process proceeds to step (ST-4), and the square error I = (g′−Hg ″) of the residual value obtained in step (ST-3). k ) T (G'-Hg " k ) Is calculated.
Then, the process proceeds to step (ST-5), where it is determined whether or not the squared error value I is the minimum value. In step (ST-5), the squared error value I is set to the minimum value. If it is determined that there is, the process proceeds to step (ST-6), where the original image information vector g is estimated from the least square error value I, and from the result, the appropriate digital watermark information means 10 The digital watermark information is read out and displayed on an appropriate display means 11 to indicate END.
[0047]
On the other hand, if it is determined in step (ST-5) that the square error value I is not the minimum value, the process proceeds to step (ST-7) and αH T (G'-Hg " k ) Is calculated, and the process proceeds to step (ST-8), where g ″ k + 1 = G " k + ΑH T (G'-Hg " k ) Is calculated by calculation.
Thereafter, the process returns to step (ST-3), and the reverse rotation image vector g ″ k + 1 Is the residual value (g′−Hg ″). k ), The steps after the step (ST-3) are repeated.
[0048]
As is clear from the above description of the specific example, a more detailed specific example of the digital watermark information detection method according to the present invention includes a first step of obtaining image information, A second step of determining whether or not the image information has been received, a third step of calculating a matrix related to a system matrix and a transposed matrix from the rotated and deformed image information, and an initial estimation of calculating an initial estimated image vector from the image information. A fourth step of calculating an image vector, a fifth step of calculating a residual vector between the image vector in the image information and a value obtained by multiplying the initial estimated image vector by the matrix, a square error of the residual vector A sixth step of calculating a residual vector square error, a seventh step of determining whether the residual vector square error value is a minimum value, and a residual vector When it is determined that the squared error value is not the minimum, an eighth step of calculating a correction vector and calculating a reverse rotation image, and calculating the calculated reverse rotation image information by the estimated image vector calculation means. A ninth step of adding the calculated value to the calculated value, and a tenth step of repeating the step of calculating the residual vector square error if necessary. If the residual vector square error value is determined to be minimum, the An electronic watermark information detection method includes an eleventh step of estimating original image information from a least square error value and a twelfth step of reading electronic watermark information from the estimated original image information.
[0049]
In the digital watermark information detection method according to the present invention, the square error value determination means 6 is configured to calculate the minimum square error value by applying a pseudo inverse matrix or a numerical solution means based on the Jacobi method. Is desirable.
A more detailed procedure of the digital watermark information detecting method according to the present invention will be described in detail with reference to a flowchart shown in FIG.
That is, in the digital watermark information detection method according to the present invention, after the start, in step (S-1), a first step of obtaining the image information to be inspected is executed, and the step (S- In 2), a second step of determining whether or not the obtained image information has undergone rotational deformation processing is executed.
[0050]
If it is determined in step (S-2) that the image information to be inspected has not been subjected to any deformation processing operation or has been subjected to only the deformation processing by enlargement or reduction, the routine ends. However, if it is determined that the inspected image information has undergone any rotational deformation processing, the process proceeds to step (S-3), and the rotationally deformed image of the inspected image report is processed. A third step of calculating a matrix H and a transposed matrix HT relating to the system matrix from the information is executed, and in step (S-4), an initial estimated image vector g ″ is obtained from the inspection image report g ′. 0 Is calculated.
[0051]
Thereafter, in step (S-5), a reverse rotation image information vector g ″ to be described later k +1 It is determined whether or not there is replacement data according to the above. If NO, in step (S-6), the image vector g ′ in the inspection image report and the initial estimated image vector g ″ are determined. 0 Is multiplied by the matrix H, Hg ″ 0 And the residual vector (g′−Hg ″) k ) Is performed.
If YES in step (S-5), the replacement image information vector g "is determined in step (S-7). k + 1 And the residual vector (g′−Hg ″) k + 1 ) Is performed.
[0052]
Next, the process proceeds to step (S-8), where the residual vector (g′−Hg ″) is set. k ) Squared error I = (g′−Hg ″) k ) T (G'-Hg " k ) Is performed, and in step (S-9), a seventh step of determining whether or not the residual vector squared error value I is the minimum value is performed.
If it is determined in step (S-9) that the residual vector squared error value I is not the minimum, the process proceeds to step (S-10), where αH T (G'-Hg " k ) Is performed, and at step (S-11), g ″ is calculated from the correction vector. k + 1 = G " k + ΑH T (G'-Hg " k After the ninth step of calculating the reverse rotation image vector represented by ()) is performed, the process returns to step (S-5), and the calculated reverse rotation image information vector g ″ is calculated. k +1 , The estimated image information vector value g at the time of the previous operation 0 Or g " k Is performed.
[0053]
Thereafter, an eleventh process in which the respective processes from step (S-4) to step (S-11) are repeated as necessary is performed, and in step (S-7), the residual vector squared When it is determined that the error value I is the minimum, the process proceeds to step (S-12), and a twelfth process of estimating the original image information g from the least square error value I is executed. In (S-13), a thirteenth step of reading digital watermark information from the estimated original image information g is executed. Finally, in step (S-14), the digital watermark information is appropriately converted. The step of displaying on the display means is executed and the process ends.
The repetition operation of each of the above-described steps (S-5) to (S-11) in this specific example is not particularly limited, but is preferably completed, for example, within five times.
[0054]
In order to describe the above digital watermark information detecting method in more detail, a procedure for practicing the digital watermark information detecting method using simple model image information will be described below.
That is, assuming that there is an original still image before rotation as shown in FIG. 8 as a model image, the original still image is rotated at a rotation angle of 15 degrees as shown in FIG. It is assumed that the size of the image is 10 × 10 pixels.
The gray part of the image in FIGS. 8 and 9 is a part where the image value exists for a non-zero value.
For these model still images, FIGS. 10 to 13 show that the weighting coefficient α in
[0055]
That is, the square error I between the image g ″ estimated at each time and the original image g shown in FIGS. 2 And the re-rotated image g ′ ″ = Hg ″ obtained by re-rotating the image at the same rotation angle, and the square error I of the original rotated image g ′ 1 Is given by
[0056]
[Equation 14]
(Equation 15)
From the results shown in FIGS. 14 and 15 and Table 3, by performing the estimation about 25 times, the square error between the estimated image value and the original image value becomes almost zero.
[0058]
Further, as another aspect according to the present invention, a first step of obtaining image information, a second step of determining whether or not the obtained image information has undergone rotational deformation processing, A third step of calculating a matrix and a transposed matrix relating to the system matrix from the image information, a fourth step of calculating an initial estimated image vector from the image information, and applying the image vector and the initial estimated image vector in the image information. A fifth step of calculating a residual vector with the value obtained by multiplying the matrix, a sixth step of calculating a square error of the residual vector to calculate a square error of the residual vector, and a minimum value of the square error of the residual vector A seventh step of determining whether or not the residual vector squared error value is not the minimum, an eighth step of calculating a correction vector, A ninth step of calculating a reverse rotation image from the above, a tenth step of replacing the calculated reverse rotation image information with the calculated value of the estimated image vector, and a step of calculating a residual vector square error if necessary. An eleventh step, a twelfth step of estimating the original image information from the least square error value when the residual vector square error value is determined to be the minimum, and an estimating of the original image information And a step of reading the digital watermark information from the storage medium. The program stores the program for executing the digital watermark information detecting method.
[0059]
[Table 3]
【The invention's effect】
Since the digital watermark information detecting apparatus and the digital watermark information detecting method according to the present invention employ the above-described technical configuration, the digital watermark information detecting apparatus and the digital watermark information detecting method are rotated to the original image information which is a still image including predetermined digital watermark information. The original digital watermark information is detected from the illegitimately processed still image information on the market after performing the transformation process, and the electronic information necessary to protect the copyright of the image information from unauthorized infringement is provided. A watermark information detecting device and a digital watermark information detecting method are obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a specific example of a digital watermark information detection device according to the present invention.
FIG. 2 is a diagram illustrating an example of a method of performing a transformation process on image information;
FIG. 3 is a diagram illustrating an example of a linear interpolation method when transforming image information.
FIG. 4 is a diagram illustrating a change in image information when the image information is subjected to rotational deformation processing;
FIG. 5 is a flowchart illustrating an operation procedure in a specific example of the digital watermark information detection method according to the present invention.
FIG. 6 is a flowchart illustrating an operation procedure in another specific example of the digital watermark information detection method according to the present invention.
FIG. 7 is a diagram illustrating an example of a method for determining whether a still image has been subjected to rotational deformation processing according to the present invention.
FIG. 8 is a diagram illustrating a calculation procedure in a method of obtaining an estimated image value according to the present invention.
FIG. 9 is a diagram illustrating a calculation procedure in a method of obtaining an estimated image value according to the present invention.
FIG. 10 is a diagram illustrating a calculation procedure in a method for obtaining an estimated image value according to the present invention.
FIG. 11 is a diagram illustrating a calculation procedure in a method for obtaining an estimated image value according to the present invention.
FIG. 12 is a diagram illustrating a calculation procedure in a method of obtaining an estimated image value according to the present invention.
FIG. 13 is a diagram illustrating a calculation procedure in a method for obtaining an estimated image value according to the present invention.
FIG. 14 is a graph showing a calculation result in a method of obtaining an estimated image value according to the present invention.
FIG. 15 is a graph showing a calculation result in a method of obtaining an estimated image value according to the present invention.
[Explanation of symbols]
100 ... Digital watermark information detection device
1. Image information analysis means
2. Matrix operation means
3: Initial estimation image vector calculation means
4. Residual vector calculation means
5. Residual vector square error calculating means
6 ... Square error value determination means
7. Correction vector calculation means
8. Reverse rotation image calculation means
9 Replacement means
10 means for obtaining an estimated value of the original image information
11 Digital watermark information display means
12 central processing means
Claims (11)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000024719A JP3558120B2 (en) | 2000-01-28 | 2000-01-28 | Digital watermark information detecting device, method of detecting the same, and recording medium incorporating digital watermark information detecting method |
| EP00308905A EP1156660A3 (en) | 2000-01-28 | 2000-10-10 | Device and method for detecting digital watermark information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000024719A JP3558120B2 (en) | 2000-01-28 | 2000-01-28 | Digital watermark information detecting device, method of detecting the same, and recording medium incorporating digital watermark information detecting method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001218016A JP2001218016A (en) | 2001-08-10 |
| JP3558120B2 true JP3558120B2 (en) | 2004-08-25 |
Family
ID=18550660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000024719A Expired - Fee Related JP3558120B2 (en) | 2000-01-28 | 2000-01-28 | Digital watermark information detecting device, method of detecting the same, and recording medium incorporating digital watermark information detecting method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3558120B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7532768B2 (en) * | 2003-11-04 | 2009-05-12 | Canon Kabushiki Kaisha | Method of estimating an affine relation between images |
| JP4566803B2 (en) * | 2005-04-13 | 2010-10-20 | 三菱電機株式会社 | Spatial synchronization recovery method and apparatus for digital watermark detection for moving images |
| CN108174051B (en) * | 2017-12-08 | 2019-11-08 | 新华三技术有限公司 | A kind of vector watermark decoding method, device and electronic equipment |
-
2000
- 2000-01-28 JP JP2000024719A patent/JP3558120B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001218016A (en) | 2001-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7158653B2 (en) | Encoding information in a watermark | |
| US7817817B2 (en) | Method for concealing data in curves of an image | |
| US6418232B1 (en) | Method of authenticating digital-watermark pictures | |
| Ker et al. | Revisiting weighted stego-image steganalysis | |
| Miller et al. | Informed embedding: exploiting image and detector information during watermark insertion | |
| US6671386B1 (en) | Geometrical transformation identifying system | |
| US20040133427A1 (en) | Computing distortion of media signals using embedded data with repetitive structure and log-polar mapping | |
| Doncel et al. | An optimal detector structure for the Fourier descriptors domain watermarking of 2D vector graphics | |
| Dugelay et al. | Still-image watermarking robust to local geometric distortions | |
| JP4066297B2 (en) | Signal processing method and apparatus, watermark addition and detection method, and recording medium | |
| Tzeng et al. | An asymmetric subspace watermarking method for copyright protection | |
| US6567532B1 (en) | Method and computer program for extracting an embedded message from a digital image | |
| US20020181732A1 (en) | Method of collaborative watermarking of a digital content | |
| JP3558120B2 (en) | Digital watermark information detecting device, method of detecting the same, and recording medium incorporating digital watermark information detecting method | |
| Abraham et al. | Image watermarking using DCT in selected pixel regions | |
| Chang et al. | Watermarking 2D/3D graphics for copyright protection | |
| US6711303B1 (en) | Method and computer program for detecting rotation and magnification of images | |
| Zhang et al. | A semi-fragile digital watermarking algorithm for 2D vector graphics tamper localization | |
| JP2006186626A (en) | Device and method for embedding watermark and for extracting it | |
| KR20090030454A (en) | Watermark inserting method to vector data for using azimuth information and watermark detecting method to the same | |
| CN111640051B (en) | Image processing method and device | |
| US6628802B1 (en) | Marking and determining distortion in an image | |
| WO2003056515A1 (en) | Digital watermarking | |
| Thayananthan et al. | Fragile watermarking based on linear cellular automata using manhattan distances for 2D vector map | |
| Kirchner | On the detectability of local resampling in digital images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040308 |
|
| TRDD | Decision of grant or rejection written | ||
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040420 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040511 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090528 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100528 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |