JP3585697B2 - 情報抽出方法及びその装置 - Google Patents
情報抽出方法及びその装置 Download PDFInfo
- Publication number
- JP3585697B2 JP3585697B2 JP10992497A JP10992497A JP3585697B2 JP 3585697 B2 JP3585697 B2 JP 3585697B2 JP 10992497 A JP10992497 A JP 10992497A JP 10992497 A JP10992497 A JP 10992497A JP 3585697 B2 JP3585697 B2 JP 3585697B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- multiplexed
- sub
- image
- multiplexing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル動画像に対して別の情報を情報多重化する際に、人間の知覚に感知されないように情報多重化を行い、秘密裏に動画像に多重化された情報を抽出する技術分野に係り、特に情報抽出方法および装置に関するものである。
【０００２】
【従来の技術】
今日、デジタル動画像に対して、人間の知覚に感知されないように別の情報を多重化する技術は、著作権情報や利用ユーザＩＤなどを情報コンテンツに秘密裏に多重化することによるデジタル情報コンテンツの著作権保護や不正複製抑止システムに広く用いられている。
【０００３】
しかしながら、従来の技術では、動画像のビットレートを落すなどの圧縮処理により、簡単に多重化されている情報が消えてしまうといった問題があった。特に非可逆圧縮においては、画像の複雑領域より平坦領域のほうが画素情報を大きく削除することにより、より副情報が消えやすいので、平坦部分の多い画像に対して非可逆圧縮を行った場合には、副情報の読み取りに失敗するといった問題があった。従来、副情報の読取り成功・失敗等の指標となるべく、抽出された副情報の信頼度を測る手法はなかった。
【０００４】
【発明が解決しようとする課題】
本発明の目的は、デジタル動画像に対して多重化された情報（副情報）を抽出する際に、該抽出情報の信頼度を求めることを可能とすることにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明では、多重化する副情報に、該副情報を抽出する際の抽出情報の信頼度指標を得るための、予め定めた一定ビットパターンの情報である多重化情報識別ラベルを追加し、該多重化情報識別ラベル及び副情報を多重化処理することを前提とする。情報抽出側は、情報多重化済みデジタル動画像から多重化情報識別ラベル及び副情報を抽出し、予め定めた一定ビットパターンの多重化情報識別ラベルの値と、抽出された情報中の多重化情報識別ラベルに相当する部分の値のハミング距離を求め、該ハミング距離から、抽出された副情報の信頼度を計算し、該信頼度によって、抽出された副情報に重み付けを行う。
【０００６】
具体的には、デジタル動画像内に別の副情報を多重化する場合、デジタル動画像と情報多重化パラメタを入力とし、動画像を各静止画像に分解し、各静止画像をｎ×ｎ（ｎは２の冪数）サイズの画像に分解し、各ｎ×ｎサイズの画像について、画素値情報をｎ×ｎ直交変換し、情報多重化パラメタの一部である乱数の初期値を用いて生成した乱数から１対１写像で選出された直交変換係数値を、情報多重化パラメータの一部である周波数成分変更幅を用いて変更して、情報多重化パラメータの一部である多重化情報識別ラベル及び副情報を多重化し、該情報多重化を行った直交変換行列をｎ×ｎ逆直交変換し、各ｎ×ｎサイズの画像からデジタル動画像を再構成する。
【０００７】
情報多重化済み動画像から副情報を抽出する場合、情報多重化済みデジタル動画像を各静止画像に分解し、各静止画像をｎ×ｎサイズの画像に分解し、各ｎ×ｎサイズの画像について、画素値情報をｎ×ｎ直交変換し、情報多重化の際に用いた乱数の初期値と同じものを用いて生成した乱数から１対１写像で選出された直交変換係数値から、情報多重化の際に用いた周波数成分変更幅を用いて情報抽出を行って、多重化されていた多重化情報識別ラベル及び副情報を抽出し、予め定めた一定ビットパターンの多重化情報識別ラベルの値と、抽出された情報中の多重化情報識別ラベルに相当する部分の値のハミング距離を求め、該ハミング距離から、抽出された副情報の信頼度を計算し、該信頼度によって、抽出された副情報に重み付けを行う。
【０００８】
【発明の実施の形態】
以下に、本発明の実施の形態を図面を参照して説明する。
最初に画像への情報多重化処理について述べる。図１は、情報多重化装置の入出力関係の概略図である。情報多重化装置１は、動画像の原画像（主情報）２と情報埋込みパラメタ（情報多重化パラメタ）３を入力として、情報多重化済み画像４を出力する。情報埋込みパラメタ３は乱数の初期値、周波数成分変更幅情報、及び、多重化すべき情報（副情報）からなる。副情報には、該副情報を抽出する際の抽出情報の信頼度指標を得るための多重化情報識別ラベルが含まれるが、これについては後述する。
【０００９】
図２は、情報多重化装置１の全体的構成図である。本情報多重化装置１は、画像分解処理部５と情報多重化処理部６と画像再構成処理部７からなる。以下、各処理部について順次説明する。
【００１０】
〈画像分解処理部５〉
図３は画像分解処理部５の処理概要を示した図である。画像分解処理部５は、入力される動画像２を各フレーム毎の静止画像に分解し、さらに、各静止画像をｎ×ｎ（ｎは２の冪数）のブロック画像７に分解し、順次情報多重化処理部６へ送る。
【００１１】
画像のサイズによっては、端の部分がｎ×ｎのサイズにならない場合があるが、この場合は、中途半端な大きさに残っている画像以外のｎ×ｎサイズに満たない、足りない部分を平均画素値で補間することにより、ｎ×ｎの画像を作り、情報多重化処理部６へ送る（図３の（ａ））。別の方法としては、対称画像を繰り返すことにより、ｎ×ｎの画像を作ることでもよい（図３の（ｂ））。
【００１２】
〈情報多重化処理部６〉
図４は、情報多重化処理部６の詳細構成図である。情報多重化処理部６は、情報埋込みパラメタ３とｎ×ｎブロック画像７を入力とし、情報多重化済みｎ×ｎブロック画像２７を出力して画像再構成処理部７へ送る。以下、情報多重化処理部６の動作について詳述する。
【００１３】
情報埋込みパラメタ３は入力パラメタ分解処理部８へ送られる。入力パラメタ分解処理部８は、入力された情報埋込みパラメタ３を分解し、乱数の初期値１０、周波数成分変更幅１１、副情報１２をそれぞれ再構成して出力する。乱数の初期値１０は乱数生成処理部１３へ、周波数成分変更幅１１は直交変換係数変更処理部１４へ、副情報１２は副情報バッファ１５へ、それぞれ送られる。
【００１４】
乱数生成処理部１３は、乱数の初期値１０を一度だけ読み込み、それをもとに各１ビット情報多重化の処理毎に順次、乱数１６を生成して出力する。
【００１５】
副情報バッファ１５は、副情報１２を内部バッファに蓄えて、内部情報読出しヘッダにより該情報を１ビットずつ読み出して、１ビット副情報１７を出力する。図５は副情報バッファ１５の概念図を示したものである。
【００１６】
副情報バッファ内のヘッダ制御方法としては、各１ビット情報多重化の処理毎に動かす方法や、各ブロック画像への情報多重化の処理毎に動かす方法など、種々の方法が考えられるが、これは情報多重化装置の実装方式による。なお、副情報バッファの情報読み込み／書き込みを行うヘッダの制御方法は、情報多重化装置および情報抽出装置において、同じ方式で実装する必要がある。
【００１７】
一方、ｎ×ｎブロック画像７は直交変換処理９へ送られる。直交変換処理部９は、ｎ×ｎブロック画像７をｎ×ｎ直交変換して、ｎ×ｎブロック直交変換係数行列１８を生成し、直交変換係数変更処理部１４へ送る。図６は直交変換処理部９の概念図を示したものである。なお、直交変換処理自体は周知であるので、その詳細は省略する。
【００１８】
図７は、直交変換係数変更処理部１４の概略構成および処理の概念図である。ｎ×ｎブロック直交変換係数行列１８は、ｎ×ｎ直交変換係数行列バッファ１９に格納される。乱数１６は座標選択処理部２０に入力される。
【００１９】
座標選択処理部２０は、入力された乱数１６を用いて、ｎ×ｎ直交変換係数行列のうち、ひとつの係数を１対１写像により選定し、対応する座標２１を出力する。この座標２１は座標バッファ２３に蓄えられる。座標バッファ２３には、各ブロックの多重化処理毎にすべて保存され、各ブロックの多重化処理後、この蓄えられた座標集合２４がレンジオーバ回避処理部２５へ出力される。図８は座標バッファ２３の概念図である。
【００２０】
直交変換係数変更処理部１４は、選択された座標２１に、当たる係数に１ビットの副情報１７を周波数成分変更幅１１を用いて情報多重化する。情報多重化処理は、ひとつのブロック直交変換係数行列に対してｊ回（ｊは１以上の整数で、情報多重化装置を実装する際に決定するパラメタであり、情報抽出装置も同し方式により実装する必要がある）行われて、そのすべてが終了した後、情報多重化済みのｎ×ｎブロック直交変換係数行列２２を出力する。
【００２１】
以下に、入力動画像２のｉ番目のフレームにおいて、静止画像の左上を［０，０］iブロックとしたときの、［ｈ，ｖ］iブロックへの１ビット情報多重化処理について具体的に説明する。
【００２２】
多重化する副情報１２をｂ0ｂ1・・・ｂk-1（ビット長をｋとする）、［ｈ，ｖ］iブロックへ多重化する１ビット副情報１７を
【００２３】
【外１】
【００２４】
多重化に用いる乱数を
【００２５】
【外２】
【００２６】
周波数成分変更幅をｒａｎｇｅ、ｎ×ｎブロック直交変換係数行列を［ｃ(x,y)］iとする。
【００２７】
座標選択処理部２０では、乱数
【００２８】
【外３】
【００２９】
から座標
【００３０】
【外４】
【００３１】
を選択する。直交変換係数変更処理部１４は、ｎ×ｎブロック直交変換係数行列バッファ１９内の、この座標にあたる直交変換係数
【００３２】
【外５】
【００３３】
の値を、
【００３４】
【数１】
【００３５】
【数２】
【００３６】
【数３】
【００３７】
に変更することにより、１ビット副情報１７を多重化する。多重化を行った係数の座標は、
【００３８】
【外６】
【００３９】
座標バッファ２３へ送られ保管される。
【００４０】
副情報バッファ１５の副情報読み出しヘッダを予め決められた方法で制御しつつ、上記多重化処理を、ひとつのブロック直交変換係数行列に対して、それの中に多重化する幅情報１２のビット数であるｊ回繰り返すことで、ひとつのブロック直交変換行列の多重化処理が終了する。
【００４１】
多重化処理後、情報多重化済みｎ×ｎブロック直交変換係数行列２２（［ｃ′(x,y)］iとする）と座標集合２４（図８）は、情報多重化を行なった直交変換係数値および情報多重化を行なった動画像の画像の品質・構成を保持しつつ、情報多重化済み画像の再生不良を避けるために、レンジオーバ回避処理部２５へ送られる。
【００４２】
図９はレンジオーバ回避処理部２５の概念図、図１０は逆直交変換処理部２６の概念図である。レンジオーバ回避処理部２５は、入力された情報多重化済みｎ×ｎブロック直交変換係数行列２６を用いて逆直交変換したｎ×ｎブロック画像２７について、座標集合２４を参照してレンジオーバ回避処理を行い、全ての画素値が定義域（例えば８ビット濃淡画像であれば０〜２５５）に収まるように修正して、情報多重化済みｎ×ｎブロック画像２７を出力する。逆直交変換部２６は、図１０に示すように、与えられるブロック直交変換行列のサイズと同じｎ×ｎ逆直交変換を行い、ｎ×ｎブロック画像を順次出力するものである。
【００４３】
ここで、レンジオーバ回避処理部２５へ入力された情報多重化済みｎ×ｎブロック直交変換係数行列２２の［ｃ′(x,y)］iを逆直交変換処理部２６を用いて逆直交変換したｎ×ｎブロック画像２７を［ｐ′(x,y)］iとする。
【００４４】
また、レンジオーバ回避処理部２５へ入力された係数行列［ｃ′(x,y)］iを、ひとつは、（０，０）成分（直流成分）を、ｎ×ｎブロック画像の全画素値をすべて最低値にしたものをｎ×ｎ直交変換したときの（０，０）成分値に変更し（例えば、直交変換をＤＣＴと仮定すると、その値は−Ｌm×ｎ（Ｌmは輝度の中間値）である）、かつ、入力された座標集合２４のすべての座標の成分値をすべて０にしたものを、もうひとつは、（０，０）成分値と入力された座標集合２４のすべての座標の成分以外の値をすべて０に変更したものを、逆直交変換処理部２６を用いて逆直交変換したｎ×ｎ画像を、それぞれ［ｐ1(x,y)］i,［ｐ2(x,y)］iとする。
【００４５】
レンジオーバ回避処理部２５では、集合
【００４６】
【数４】
【００４７】
において、Ａiが空集合でないときに限り、［ｐ1(x,y)］i，［ｐ2(x,y)］iを用いて、
【００４８】
【数５】
【００４９】
の計算を行うことにより、情報多重化済みブロック画像２７（［ｐ″(x,y)］i）を得る。ただし、画素値行列［ｐ2(x,y)］iにおいて、Ｌminより小さな画素値とＬmaxより大きな画素値が混在する場合は、このレンジオーダ回避処理は適用できないため、情報多重化を行う際に、レンジ（ｒａｎｇｅ）の値を極端に大きな値にしないように注意する必要がある。
【００５０】
情報多重化処理部６では、以上の処理をすべての静止画像の全ブロック画像に対して行い、各情報多重化済みｎ×ｎブロック画像２７を画像再構成処理部７に出力する。
【００５１】
〈画像再構成処理部７〉
図１１は、画像再構成処理部７における入出力画像の概念図である。画像再構成処理部７は、入力された各情報多重化済ｎ×ｎブロック画像をつなぎ合わせ、静止画像、さらには動画像に復元することで、情報多重化済み画像４を得る。
【００５２】
次に、情報多重化済み画像からの情報抽出処理について述べる。図１２は、本発明による情報抽出装置の入出力関係の概略図である。情報抽出装置２８は、情報多重化済み画像（主情報＋副情報）２９と情報抽出パラメタ３０を入力として、画像２９内に多重化されていた副情報３１を出力する。情報抽出パラメータ３０は、情報多重化済み画像２９を作成した際に使用した情報多重化鍵の乱数の初期値と周波数成分変更幅からなるものである。
【００５３】
図１３は、情報抽出装置２８の全体的構成図である。本情報抽出装置２８は、画像分解処理部３２と情報抽出処理部３３と副情報再構成構成処理部３４からなる。以下、各処理部について順次説明する。
【００５４】
〈画像分解処理部３２〉
画像分解処理３２の処理は、情報多重化装置１で用いた画像分解処理部５と基本的に同じであり、情報多重化済み画像２９を各フレーム毎に静止画像に分解し、さらに、各静止像をｎ×ｎ（ｎは２の冪数）のブロック画像に分解し、順次情報抽出処理部３３へ送る。
【００５５】
画像分解処理部３２は、情報多重化装置１の画像分解処理６と同じサイズで画像を分解するすように実装する必要がある。また、画像の端の中途半端な部分についても、図３で示したように処理する必要がある。
【００５６】
〈情報抽出処理部３３〉
図１４は、情報抽出処理部３３の詳細構成図である。情報抽出処理部３３は、情報抽出パラメタ３０と情報多重化済みのブロック画像３５を入力とし、各ブロック画像内に多重化されていた副情報を１ビットずつ抽出し、この１ビット副情報４６を順次、副情報再構成処理部３４へ送る。以下、情報抽出処理部３３の動作について詳述する。
【００５７】
情報抽出パラメタ３０は、入力パラメタ分解処理部３６へ送られる。入力パラメタ分解処理部３６は、入力された情報抽出パラメタ３０を分解し、乱数の初期値３８と周波数成分変更幅３９をそれぞれ構成して出力する。乱数の初期値３８は乱数生成処理部４０へ、周波数成分変更幅３９はブロック内情報抽出処理部４１へ、それぞれ送られる。
【００５８】
一方、情報多重化されているｎ×ｎブロック画像３５は直交変換処理部３７へ送られる。直交変換処理部３７は、情報多重化装置１の情報多重化処理部６で用いた直交変換処理部９と同じ処理を行うもので、ｎ×ｎブロック画像７をｎ×ｎ直交変換し、生成したｎ×ｎブロック直交変換係数行列４２をブロック内情報抽出処理部４１へ送る。
【００５９】
乱数生成処理部４０は、乱数の初期値３８を一度だけ読み込み、それをもとに各１ビット情報抽出の処理毎に順次、乱数４３を生成して出力する。該情報抽出処理側の乱数生成処理部４０と情報多重化処理側の乱数生成処理部１３は、同じ乱数の初期値を入力としたとき、同順序で同じ乱数が出力するように実装する必要がある。
【００６０】
図１５は、ブロック内情報抽出処理部４１の概略構成および処理の概念図である。ｎ×ｎブロック直交変換係数行列４２は、ｎ×ｎ直交変換係数バッファ４４に格納される。乱数４３は、座標選択処理部４５に入力される。
【００６１】
座標選択処理部４５は、情報多重化処理部６の直交変換係数変更処理部１４で用いた座標選択処理部２０と同じ処理を行う。すなわち、該情報抽出処理側の座標選択処理部４５と情報多重化処理側の座標選択処理部２０は、同じ乱数を入力としたとき、同じ座標を出力するように実装する必要がある。
【００６２】
ブロック内情報抽出処理部４１は、ｎ×ｎ直交変換係数行列バッファ４４内の、座標選択処理部４５が選択した座標に当たる係数を周波数成分変更幅３９を用いて剰余計算することにより、１ビット副情報４６を出力する。情報抽出処理は、ひとつのブロック直交変換行列に対してｊ回（ｊは情報多重化処理において実装された、各ブロック直交変換係数行列に多重化する副情報のビット数ｊと同じ数である）行われ、順次、多重化されていた１ビット副情報４６を出力する。
【００６３】
情報抽出処理の回数に伴い、多重化されていた副情報の各ビットの抽出回数が増加するに従い、それらに多数決処理などを施すことで、抽出された副情報の信頼度も向上する。
【００６４】
以下に、情報多重化済み画像２９のｉ番目のフレームにおいて、左上を［０，０］iブロックとしたときの、［ｈ，ｖ］iブロックからの１ビット情報抽出処理について具体的に説明する。
【００６５】
画像２９に多重化されている副情報３１をｂ0ｂ1・・・ｂk-1（ビット長をｋとする）、［ｈ，ｖ］iブロックに多重化されている副情報のひとつ（１ビット副情報４６）を
【００６６】
【外７】
【００６７】
情報抽出に用いる乱数４３を
【００６８】
【外８】
【００６９】
周波数成分変更幅３９をｒａｎｇｅ、ｎ×ｎブロック直交変換係数行列４２を［ｃ(x,y)］iとする。
【００７０】
座標選択処理部４５では、乱数
【００７１】
【外９】
【００７２】
から座標
【００７３】
【外１０】
【００７４】
を生成する。ブロック内情報抽出処理部４１は、ｎ×ｎ直交変換係数行列バッファ４４内の、この座標にあたる直交変換係数
【００７５】
【外１１】
【００７６】
に対して、
【００７７】
【数６】
【００７８】
を計算することにより、［ｈ，ｖ］iブロックに多重化されているうちの１ビッ
トの副情報４６
【００７９】
【外１２】
【００８０】
を得る。この抽出された１ビット副情報４６は、副情報再構成処理部３４へ送られる。
【００８１】
〈副情報再構成処理部３４〉
図１６は、副情報再構成処理部３４の処理概念図である。副情報再構成処理部３４は、ブロック画像内に多重化されていた副情報を１ビットずつ順次入力とし、複数回入力される各副情報ビットを多数決などの手法を用いることにより決定し、もとの副情報３１を再構成する。該副情報再構成処理部３４は１ビット副情報４６を受け、副情報書き込みヘッダを予め決められた方法で制御する。
【００８２】
この抽出処理をひとつのブロック直交変換係数行列に対して、それの中に多重化されているビット数であるｊ回繰り返すことで、ひとつのブロック直交変換係数行列からの副情報抽出処理が終了する。
【００８３】
以上の処理をすべての静止画像の全ブロック画像に対して行い、副情報３１が得られる毎、もしくは、全フレームにおいてその処理が終了した後、情報多重化済み画像２９から抽出された副情報３１を出力する。
【００８４】
次に、情報抽出処理において、情報抽出速度を向上させる方法を以下に説明する。情報抽出装置２８における情報抽出処理部３３では、図１４に示すように、入力されるｎ×ｎブロック画像を一旦、直交変換処理防３７を用いてｎ×ｎブロック直交変換係数行列に変換していたが、この変換処理を行わず、情報多重化を行った直交変換係数のみをｎ×ｎブロック画像から直接計算することにより、計算量を軽減することができる。
【００８５】
図１７は、高速化された情報抽出処理部３３の構成図を示したものである。
【００８６】
構成は、図１４と基本的にほとんど同じで、違いは、直交変換処理部がないことと、ブロック内情報抽出処理部５０の入力が、ｎ×ｎブロック直交変換係数行列から直接ｎ×ｎブロック画像３５にかわったことである。したがって、以下ではブロック内情報抽出処理部５０の説明のみを行う。
【００８７】
図１８は、高速化されたブロック内情報抽出処理部５０の概略構成および処理の概念図を示したものである。情報抽出処理自体は、先のブロック内情報抽出処理部４１の動作と同様で、異なる部分は、入力されたｎ×ｎブロック画像３５をｎ×ｎブロック画像バッファ５１に格納し、そのブロック画像の画素値を用いて、座標選択処理部４５が選択した座標にあたる直交変換係数のみを計算するということだけであり、その係数値を計算することにより１ビット副情報を抽出する方法などは同じである。
【００８８】
以上、本発明の実施の形態を説明したが、本発明では、各ｎ×ｎブロック画像に多重化するｊビット分の副情報について、その一部を多重化情報識別ラベルとして利用する。こりにより、抽出情報の信頼度も得ることが可能である。例えば、ラベル情報をａ0ａ1・・・ａk-1（各ｎ×ｎブロック画像に多重化する副情報のビット数ｊのうち、ｌ（エル）ビット分をラベル情報として利用）とし、情報抽出を行い、得られたラベル情報部分と、本来のラベル情報とのハミング距離をｍ（ｍ＜ｌ）とする。このとき、ラベル情報と同時に抽出された残りｊ−ｌビットの副情報の信頼度Ｓは、
【００８９】
【数７】
【００９０】
により計算できる。この式をもとに、各抽出ビットに重みをつけて副情報を再構成することにより、さらに情報抽出の精度が向上する。
【００９１】
また、ラベルの抽出精度を調べることにより、主情報である動画像の改竄事実の有無を検出することや、一部分切り出した画像についても、乱数の初期値を使った乱数の初期化などにより、情報抽出が可能である。
【００９２】
また、情報多重化のさいに用いるレンジは、ブロック画像の特徴をみて、個々のブロックごとに変化させてもよい。例えば、ブロック画像の画素値のエントロピーを計算して、その値によってレンジを変更するなどである。このように、副情報を多重化した変更周波数成分位置および周波数成分変更幅を工夫することにより、人間が知覚できないように情報多重化を行え、かつ、主情報（画像）の劣化による副情報（多重化情報）の劣化に対する強度を制御できる。また、情報多重化時に用いた鍵情報がなければ、副情報の取り出しができない。
【００９３】
【発明の効果】
本発明によれば、デジタル動画像に対しての別の情報を多重化し、該多重化された情報を抽出するにあたり、副情報に多重化情報識別ラベルを含めることにより、抽出情報の信頼度を求めることが可能になる。
【００９４】
実施の形態は、画像がＹＵＶフォーマットのときの輝度成分のみを対象としたものであるが、本発明は同アルゴリズムを色差成分にも適用することも可能である。また、画像フォーマットがＲＧＢについても同様であり、Ｒ，Ｇ，Ｂそれぞれに対して同アルゴリズムを適用することが可能である。これらの方法を適用すると、さらに多くの情報を多重化することが可能となり、また、それぞれの成分に多重化する情報を同一のものとすることにより、画像および多重化情報への改竄事実の有無の検出に用いることも可能である。
【図面の簡単な説明】
【図１】情報多重化装置の入出力関係の概略図である。
【図２】情報多重化装置の全体的構成図である。
【図３】画像分解処理部の処理の概略を示す図である。
【図４】情報多重化処理部の詳細構成図である。
【図５】副情報バッファの概念図である。
【図６】直交変換係数処理部の概念図である。
【図７】直交変換係数変更処理部の概念図である。
【図８】座標バッファの概略図である。
【図９】レンジオーバ回避処理部の概念図である。
【図１０】逆直交変換処理部の概念図である。
【図１１】画像再構成処理部の概念図である。
【図１２】本発明による情報抽出装置の入出力関係の概略図である。
【図１３】情報抽出装置の全体的構成図である。
【図１４】情報抽出処理部の詳細構成図である。
【図１５】ブロック内情報抽出処理部の概念図である。
【図１６】副情報再構成処理部の概念図である。
【図１７】高速化された情報抽出処理部の概念図である。
【図１８】高速化されたブロック内情報抽出処理部の概念図である。
【符号の説明】
１ 情報多重化装置
２ 原画像（主情報）
３ 情報埋め込みパラメタ（情報多重化パラメタ）
４ 情報多重化済み画像
５ 画像分解処理部
６ 情報多重化処理部
７ 画像再構成処理部
２９ 情報多重化済み画像（主情報＋副情報）
３０ 情報抽出パラメタ
３１ 副情報
３２ 画像分解処理部
３３ 情報抽出処理部
３４ 副情報再構成構成処理部
【発明の属する技術分野】
本発明は、デジタル動画像に対して別の情報を情報多重化する際に、人間の知覚に感知されないように情報多重化を行い、秘密裏に動画像に多重化された情報を抽出する技術分野に係り、特に情報抽出方法および装置に関するものである。
【０００２】
【従来の技術】
今日、デジタル動画像に対して、人間の知覚に感知されないように別の情報を多重化する技術は、著作権情報や利用ユーザＩＤなどを情報コンテンツに秘密裏に多重化することによるデジタル情報コンテンツの著作権保護や不正複製抑止システムに広く用いられている。
【０００３】
しかしながら、従来の技術では、動画像のビットレートを落すなどの圧縮処理により、簡単に多重化されている情報が消えてしまうといった問題があった。特に非可逆圧縮においては、画像の複雑領域より平坦領域のほうが画素情報を大きく削除することにより、より副情報が消えやすいので、平坦部分の多い画像に対して非可逆圧縮を行った場合には、副情報の読み取りに失敗するといった問題があった。従来、副情報の読取り成功・失敗等の指標となるべく、抽出された副情報の信頼度を測る手法はなかった。
【０００４】
【発明が解決しようとする課題】
本発明の目的は、デジタル動画像に対して多重化された情報（副情報）を抽出する際に、該抽出情報の信頼度を求めることを可能とすることにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明では、多重化する副情報に、該副情報を抽出する際の抽出情報の信頼度指標を得るための、予め定めた一定ビットパターンの情報である多重化情報識別ラベルを追加し、該多重化情報識別ラベル及び副情報を多重化処理することを前提とする。情報抽出側は、情報多重化済みデジタル動画像から多重化情報識別ラベル及び副情報を抽出し、予め定めた一定ビットパターンの多重化情報識別ラベルの値と、抽出された情報中の多重化情報識別ラベルに相当する部分の値のハミング距離を求め、該ハミング距離から、抽出された副情報の信頼度を計算し、該信頼度によって、抽出された副情報に重み付けを行う。
【０００６】
具体的には、デジタル動画像内に別の副情報を多重化する場合、デジタル動画像と情報多重化パラメタを入力とし、動画像を各静止画像に分解し、各静止画像をｎ×ｎ（ｎは２の冪数）サイズの画像に分解し、各ｎ×ｎサイズの画像について、画素値情報をｎ×ｎ直交変換し、情報多重化パラメタの一部である乱数の初期値を用いて生成した乱数から１対１写像で選出された直交変換係数値を、情報多重化パラメータの一部である周波数成分変更幅を用いて変更して、情報多重化パラメータの一部である多重化情報識別ラベル及び副情報を多重化し、該情報多重化を行った直交変換行列をｎ×ｎ逆直交変換し、各ｎ×ｎサイズの画像からデジタル動画像を再構成する。
【０００７】
情報多重化済み動画像から副情報を抽出する場合、情報多重化済みデジタル動画像を各静止画像に分解し、各静止画像をｎ×ｎサイズの画像に分解し、各ｎ×ｎサイズの画像について、画素値情報をｎ×ｎ直交変換し、情報多重化の際に用いた乱数の初期値と同じものを用いて生成した乱数から１対１写像で選出された直交変換係数値から、情報多重化の際に用いた周波数成分変更幅を用いて情報抽出を行って、多重化されていた多重化情報識別ラベル及び副情報を抽出し、予め定めた一定ビットパターンの多重化情報識別ラベルの値と、抽出された情報中の多重化情報識別ラベルに相当する部分の値のハミング距離を求め、該ハミング距離から、抽出された副情報の信頼度を計算し、該信頼度によって、抽出された副情報に重み付けを行う。
【０００８】
【発明の実施の形態】
以下に、本発明の実施の形態を図面を参照して説明する。
最初に画像への情報多重化処理について述べる。図１は、情報多重化装置の入出力関係の概略図である。情報多重化装置１は、動画像の原画像（主情報）２と情報埋込みパラメタ（情報多重化パラメタ）３を入力として、情報多重化済み画像４を出力する。情報埋込みパラメタ３は乱数の初期値、周波数成分変更幅情報、及び、多重化すべき情報（副情報）からなる。副情報には、該副情報を抽出する際の抽出情報の信頼度指標を得るための多重化情報識別ラベルが含まれるが、これについては後述する。
【０００９】
図２は、情報多重化装置１の全体的構成図である。本情報多重化装置１は、画像分解処理部５と情報多重化処理部６と画像再構成処理部７からなる。以下、各処理部について順次説明する。
【００１０】
〈画像分解処理部５〉
図３は画像分解処理部５の処理概要を示した図である。画像分解処理部５は、入力される動画像２を各フレーム毎の静止画像に分解し、さらに、各静止画像をｎ×ｎ（ｎは２の冪数）のブロック画像７に分解し、順次情報多重化処理部６へ送る。
【００１１】
画像のサイズによっては、端の部分がｎ×ｎのサイズにならない場合があるが、この場合は、中途半端な大きさに残っている画像以外のｎ×ｎサイズに満たない、足りない部分を平均画素値で補間することにより、ｎ×ｎの画像を作り、情報多重化処理部６へ送る（図３の（ａ））。別の方法としては、対称画像を繰り返すことにより、ｎ×ｎの画像を作ることでもよい（図３の（ｂ））。
【００１２】
〈情報多重化処理部６〉
図４は、情報多重化処理部６の詳細構成図である。情報多重化処理部６は、情報埋込みパラメタ３とｎ×ｎブロック画像７を入力とし、情報多重化済みｎ×ｎブロック画像２７を出力して画像再構成処理部７へ送る。以下、情報多重化処理部６の動作について詳述する。
【００１３】
情報埋込みパラメタ３は入力パラメタ分解処理部８へ送られる。入力パラメタ分解処理部８は、入力された情報埋込みパラメタ３を分解し、乱数の初期値１０、周波数成分変更幅１１、副情報１２をそれぞれ再構成して出力する。乱数の初期値１０は乱数生成処理部１３へ、周波数成分変更幅１１は直交変換係数変更処理部１４へ、副情報１２は副情報バッファ１５へ、それぞれ送られる。
【００１４】
乱数生成処理部１３は、乱数の初期値１０を一度だけ読み込み、それをもとに各１ビット情報多重化の処理毎に順次、乱数１６を生成して出力する。
【００１５】
副情報バッファ１５は、副情報１２を内部バッファに蓄えて、内部情報読出しヘッダにより該情報を１ビットずつ読み出して、１ビット副情報１７を出力する。図５は副情報バッファ１５の概念図を示したものである。
【００１６】
副情報バッファ内のヘッダ制御方法としては、各１ビット情報多重化の処理毎に動かす方法や、各ブロック画像への情報多重化の処理毎に動かす方法など、種々の方法が考えられるが、これは情報多重化装置の実装方式による。なお、副情報バッファの情報読み込み／書き込みを行うヘッダの制御方法は、情報多重化装置および情報抽出装置において、同じ方式で実装する必要がある。
【００１７】
一方、ｎ×ｎブロック画像７は直交変換処理９へ送られる。直交変換処理部９は、ｎ×ｎブロック画像７をｎ×ｎ直交変換して、ｎ×ｎブロック直交変換係数行列１８を生成し、直交変換係数変更処理部１４へ送る。図６は直交変換処理部９の概念図を示したものである。なお、直交変換処理自体は周知であるので、その詳細は省略する。
【００１８】
図７は、直交変換係数変更処理部１４の概略構成および処理の概念図である。ｎ×ｎブロック直交変換係数行列１８は、ｎ×ｎ直交変換係数行列バッファ１９に格納される。乱数１６は座標選択処理部２０に入力される。
【００１９】
座標選択処理部２０は、入力された乱数１６を用いて、ｎ×ｎ直交変換係数行列のうち、ひとつの係数を１対１写像により選定し、対応する座標２１を出力する。この座標２１は座標バッファ２３に蓄えられる。座標バッファ２３には、各ブロックの多重化処理毎にすべて保存され、各ブロックの多重化処理後、この蓄えられた座標集合２４がレンジオーバ回避処理部２５へ出力される。図８は座標バッファ２３の概念図である。
【００２０】
直交変換係数変更処理部１４は、選択された座標２１に、当たる係数に１ビットの副情報１７を周波数成分変更幅１１を用いて情報多重化する。情報多重化処理は、ひとつのブロック直交変換係数行列に対してｊ回（ｊは１以上の整数で、情報多重化装置を実装する際に決定するパラメタであり、情報抽出装置も同し方式により実装する必要がある）行われて、そのすべてが終了した後、情報多重化済みのｎ×ｎブロック直交変換係数行列２２を出力する。
【００２１】
以下に、入力動画像２のｉ番目のフレームにおいて、静止画像の左上を［０，０］iブロックとしたときの、［ｈ，ｖ］iブロックへの１ビット情報多重化処理について具体的に説明する。
【００２２】
多重化する副情報１２をｂ0ｂ1・・・ｂk-1（ビット長をｋとする）、［ｈ，ｖ］iブロックへ多重化する１ビット副情報１７を
【００２３】
【外１】
多重化に用いる乱数を
【００２５】
【外２】
周波数成分変更幅をｒａｎｇｅ、ｎ×ｎブロック直交変換係数行列を［ｃ(x,y)］iとする。
【００２７】
座標選択処理部２０では、乱数
【００２８】
【外３】
から座標
【００３０】
【外４】
を選択する。直交変換係数変更処理部１４は、ｎ×ｎブロック直交変換係数行列バッファ１９内の、この座標にあたる直交変換係数
【００３２】
【外５】
の値を、
【００３４】
【数１】
【数２】
【数３】
に変更することにより、１ビット副情報１７を多重化する。多重化を行った係数の座標は、
【００３８】
【外６】
座標バッファ２３へ送られ保管される。
【００４０】
副情報バッファ１５の副情報読み出しヘッダを予め決められた方法で制御しつつ、上記多重化処理を、ひとつのブロック直交変換係数行列に対して、それの中に多重化する幅情報１２のビット数であるｊ回繰り返すことで、ひとつのブロック直交変換行列の多重化処理が終了する。
【００４１】
多重化処理後、情報多重化済みｎ×ｎブロック直交変換係数行列２２（［ｃ′(x,y)］iとする）と座標集合２４（図８）は、情報多重化を行なった直交変換係数値および情報多重化を行なった動画像の画像の品質・構成を保持しつつ、情報多重化済み画像の再生不良を避けるために、レンジオーバ回避処理部２５へ送られる。
【００４２】
図９はレンジオーバ回避処理部２５の概念図、図１０は逆直交変換処理部２６の概念図である。レンジオーバ回避処理部２５は、入力された情報多重化済みｎ×ｎブロック直交変換係数行列２６を用いて逆直交変換したｎ×ｎブロック画像２７について、座標集合２４を参照してレンジオーバ回避処理を行い、全ての画素値が定義域（例えば８ビット濃淡画像であれば０〜２５５）に収まるように修正して、情報多重化済みｎ×ｎブロック画像２７を出力する。逆直交変換部２６は、図１０に示すように、与えられるブロック直交変換行列のサイズと同じｎ×ｎ逆直交変換を行い、ｎ×ｎブロック画像を順次出力するものである。
【００４３】
ここで、レンジオーバ回避処理部２５へ入力された情報多重化済みｎ×ｎブロック直交変換係数行列２２の［ｃ′(x,y)］iを逆直交変換処理部２６を用いて逆直交変換したｎ×ｎブロック画像２７を［ｐ′(x,y)］iとする。
【００４４】
また、レンジオーバ回避処理部２５へ入力された係数行列［ｃ′(x,y)］iを、ひとつは、（０，０）成分（直流成分）を、ｎ×ｎブロック画像の全画素値をすべて最低値にしたものをｎ×ｎ直交変換したときの（０，０）成分値に変更し（例えば、直交変換をＤＣＴと仮定すると、その値は−Ｌm×ｎ（Ｌmは輝度の中間値）である）、かつ、入力された座標集合２４のすべての座標の成分値をすべて０にしたものを、もうひとつは、（０，０）成分値と入力された座標集合２４のすべての座標の成分以外の値をすべて０に変更したものを、逆直交変換処理部２６を用いて逆直交変換したｎ×ｎ画像を、それぞれ［ｐ1(x,y)］i,［ｐ2(x,y)］iとする。
【００４５】
レンジオーバ回避処理部２５では、集合
【００４６】
【数４】
において、Ａiが空集合でないときに限り、［ｐ1(x,y)］i，［ｐ2(x,y)］iを用いて、
【００４８】
【数５】
の計算を行うことにより、情報多重化済みブロック画像２７（［ｐ″(x,y)］i）を得る。ただし、画素値行列［ｐ2(x,y)］iにおいて、Ｌminより小さな画素値とＬmaxより大きな画素値が混在する場合は、このレンジオーダ回避処理は適用できないため、情報多重化を行う際に、レンジ（ｒａｎｇｅ）の値を極端に大きな値にしないように注意する必要がある。
【００５０】
情報多重化処理部６では、以上の処理をすべての静止画像の全ブロック画像に対して行い、各情報多重化済みｎ×ｎブロック画像２７を画像再構成処理部７に出力する。
【００５１】
〈画像再構成処理部７〉
図１１は、画像再構成処理部７における入出力画像の概念図である。画像再構成処理部７は、入力された各情報多重化済ｎ×ｎブロック画像をつなぎ合わせ、静止画像、さらには動画像に復元することで、情報多重化済み画像４を得る。
【００５２】
次に、情報多重化済み画像からの情報抽出処理について述べる。図１２は、本発明による情報抽出装置の入出力関係の概略図である。情報抽出装置２８は、情報多重化済み画像（主情報＋副情報）２９と情報抽出パラメタ３０を入力として、画像２９内に多重化されていた副情報３１を出力する。情報抽出パラメータ３０は、情報多重化済み画像２９を作成した際に使用した情報多重化鍵の乱数の初期値と周波数成分変更幅からなるものである。
【００５３】
図１３は、情報抽出装置２８の全体的構成図である。本情報抽出装置２８は、画像分解処理部３２と情報抽出処理部３３と副情報再構成構成処理部３４からなる。以下、各処理部について順次説明する。
【００５４】
〈画像分解処理部３２〉
画像分解処理３２の処理は、情報多重化装置１で用いた画像分解処理部５と基本的に同じであり、情報多重化済み画像２９を各フレーム毎に静止画像に分解し、さらに、各静止像をｎ×ｎ（ｎは２の冪数）のブロック画像に分解し、順次情報抽出処理部３３へ送る。
【００５５】
画像分解処理部３２は、情報多重化装置１の画像分解処理６と同じサイズで画像を分解するすように実装する必要がある。また、画像の端の中途半端な部分についても、図３で示したように処理する必要がある。
【００５６】
〈情報抽出処理部３３〉
図１４は、情報抽出処理部３３の詳細構成図である。情報抽出処理部３３は、情報抽出パラメタ３０と情報多重化済みのブロック画像３５を入力とし、各ブロック画像内に多重化されていた副情報を１ビットずつ抽出し、この１ビット副情報４６を順次、副情報再構成処理部３４へ送る。以下、情報抽出処理部３３の動作について詳述する。
【００５７】
情報抽出パラメタ３０は、入力パラメタ分解処理部３６へ送られる。入力パラメタ分解処理部３６は、入力された情報抽出パラメタ３０を分解し、乱数の初期値３８と周波数成分変更幅３９をそれぞれ構成して出力する。乱数の初期値３８は乱数生成処理部４０へ、周波数成分変更幅３９はブロック内情報抽出処理部４１へ、それぞれ送られる。
【００５８】
一方、情報多重化されているｎ×ｎブロック画像３５は直交変換処理部３７へ送られる。直交変換処理部３７は、情報多重化装置１の情報多重化処理部６で用いた直交変換処理部９と同じ処理を行うもので、ｎ×ｎブロック画像７をｎ×ｎ直交変換し、生成したｎ×ｎブロック直交変換係数行列４２をブロック内情報抽出処理部４１へ送る。
【００５９】
乱数生成処理部４０は、乱数の初期値３８を一度だけ読み込み、それをもとに各１ビット情報抽出の処理毎に順次、乱数４３を生成して出力する。該情報抽出処理側の乱数生成処理部４０と情報多重化処理側の乱数生成処理部１３は、同じ乱数の初期値を入力としたとき、同順序で同じ乱数が出力するように実装する必要がある。
【００６０】
図１５は、ブロック内情報抽出処理部４１の概略構成および処理の概念図である。ｎ×ｎブロック直交変換係数行列４２は、ｎ×ｎ直交変換係数バッファ４４に格納される。乱数４３は、座標選択処理部４５に入力される。
【００６１】
座標選択処理部４５は、情報多重化処理部６の直交変換係数変更処理部１４で用いた座標選択処理部２０と同じ処理を行う。すなわち、該情報抽出処理側の座標選択処理部４５と情報多重化処理側の座標選択処理部２０は、同じ乱数を入力としたとき、同じ座標を出力するように実装する必要がある。
【００６２】
ブロック内情報抽出処理部４１は、ｎ×ｎ直交変換係数行列バッファ４４内の、座標選択処理部４５が選択した座標に当たる係数を周波数成分変更幅３９を用いて剰余計算することにより、１ビット副情報４６を出力する。情報抽出処理は、ひとつのブロック直交変換行列に対してｊ回（ｊは情報多重化処理において実装された、各ブロック直交変換係数行列に多重化する副情報のビット数ｊと同じ数である）行われ、順次、多重化されていた１ビット副情報４６を出力する。
【００６３】
情報抽出処理の回数に伴い、多重化されていた副情報の各ビットの抽出回数が増加するに従い、それらに多数決処理などを施すことで、抽出された副情報の信頼度も向上する。
【００６４】
以下に、情報多重化済み画像２９のｉ番目のフレームにおいて、左上を［０，０］iブロックとしたときの、［ｈ，ｖ］iブロックからの１ビット情報抽出処理について具体的に説明する。
【００６５】
画像２９に多重化されている副情報３１をｂ0ｂ1・・・ｂk-1（ビット長をｋとする）、［ｈ，ｖ］iブロックに多重化されている副情報のひとつ（１ビット副情報４６）を
【００６６】
【外７】
情報抽出に用いる乱数４３を
【００６８】
【外８】
周波数成分変更幅３９をｒａｎｇｅ、ｎ×ｎブロック直交変換係数行列４２を［ｃ(x,y)］iとする。
【００７０】
座標選択処理部４５では、乱数
【００７１】
【外９】
から座標
【００７３】
【外１０】
を生成する。ブロック内情報抽出処理部４１は、ｎ×ｎ直交変換係数行列バッファ４４内の、この座標にあたる直交変換係数
【００７５】
【外１１】
に対して、
【００７７】
【数６】
を計算することにより、［ｈ，ｖ］iブロックに多重化されているうちの１ビッ
トの副情報４６
【００７９】
【外１２】
を得る。この抽出された１ビット副情報４６は、副情報再構成処理部３４へ送られる。
【００８１】
〈副情報再構成処理部３４〉
図１６は、副情報再構成処理部３４の処理概念図である。副情報再構成処理部３４は、ブロック画像内に多重化されていた副情報を１ビットずつ順次入力とし、複数回入力される各副情報ビットを多数決などの手法を用いることにより決定し、もとの副情報３１を再構成する。該副情報再構成処理部３４は１ビット副情報４６を受け、副情報書き込みヘッダを予め決められた方法で制御する。
【００８２】
この抽出処理をひとつのブロック直交変換係数行列に対して、それの中に多重化されているビット数であるｊ回繰り返すことで、ひとつのブロック直交変換係数行列からの副情報抽出処理が終了する。
【００８３】
以上の処理をすべての静止画像の全ブロック画像に対して行い、副情報３１が得られる毎、もしくは、全フレームにおいてその処理が終了した後、情報多重化済み画像２９から抽出された副情報３１を出力する。
【００８４】
次に、情報抽出処理において、情報抽出速度を向上させる方法を以下に説明する。情報抽出装置２８における情報抽出処理部３３では、図１４に示すように、入力されるｎ×ｎブロック画像を一旦、直交変換処理防３７を用いてｎ×ｎブロック直交変換係数行列に変換していたが、この変換処理を行わず、情報多重化を行った直交変換係数のみをｎ×ｎブロック画像から直接計算することにより、計算量を軽減することができる。
【００８５】
図１７は、高速化された情報抽出処理部３３の構成図を示したものである。
【００８６】
構成は、図１４と基本的にほとんど同じで、違いは、直交変換処理部がないことと、ブロック内情報抽出処理部５０の入力が、ｎ×ｎブロック直交変換係数行列から直接ｎ×ｎブロック画像３５にかわったことである。したがって、以下ではブロック内情報抽出処理部５０の説明のみを行う。
【００８７】
図１８は、高速化されたブロック内情報抽出処理部５０の概略構成および処理の概念図を示したものである。情報抽出処理自体は、先のブロック内情報抽出処理部４１の動作と同様で、異なる部分は、入力されたｎ×ｎブロック画像３５をｎ×ｎブロック画像バッファ５１に格納し、そのブロック画像の画素値を用いて、座標選択処理部４５が選択した座標にあたる直交変換係数のみを計算するということだけであり、その係数値を計算することにより１ビット副情報を抽出する方法などは同じである。
【００８８】
以上、本発明の実施の形態を説明したが、本発明では、各ｎ×ｎブロック画像に多重化するｊビット分の副情報について、その一部を多重化情報識別ラベルとして利用する。こりにより、抽出情報の信頼度も得ることが可能である。例えば、ラベル情報をａ0ａ1・・・ａk-1（各ｎ×ｎブロック画像に多重化する副情報のビット数ｊのうち、ｌ（エル）ビット分をラベル情報として利用）とし、情報抽出を行い、得られたラベル情報部分と、本来のラベル情報とのハミング距離をｍ（ｍ＜ｌ）とする。このとき、ラベル情報と同時に抽出された残りｊ−ｌビットの副情報の信頼度Ｓは、
【００８９】
【数７】
により計算できる。この式をもとに、各抽出ビットに重みをつけて副情報を再構成することにより、さらに情報抽出の精度が向上する。
【００９１】
また、ラベルの抽出精度を調べることにより、主情報である動画像の改竄事実の有無を検出することや、一部分切り出した画像についても、乱数の初期値を使った乱数の初期化などにより、情報抽出が可能である。
【００９２】
また、情報多重化のさいに用いるレンジは、ブロック画像の特徴をみて、個々のブロックごとに変化させてもよい。例えば、ブロック画像の画素値のエントロピーを計算して、その値によってレンジを変更するなどである。このように、副情報を多重化した変更周波数成分位置および周波数成分変更幅を工夫することにより、人間が知覚できないように情報多重化を行え、かつ、主情報（画像）の劣化による副情報（多重化情報）の劣化に対する強度を制御できる。また、情報多重化時に用いた鍵情報がなければ、副情報の取り出しができない。
【００９３】
【発明の効果】
本発明によれば、デジタル動画像に対しての別の情報を多重化し、該多重化された情報を抽出するにあたり、副情報に多重化情報識別ラベルを含めることにより、抽出情報の信頼度を求めることが可能になる。
【００９４】
実施の形態は、画像がＹＵＶフォーマットのときの輝度成分のみを対象としたものであるが、本発明は同アルゴリズムを色差成分にも適用することも可能である。また、画像フォーマットがＲＧＢについても同様であり、Ｒ，Ｇ，Ｂそれぞれに対して同アルゴリズムを適用することが可能である。これらの方法を適用すると、さらに多くの情報を多重化することが可能となり、また、それぞれの成分に多重化する情報を同一のものとすることにより、画像および多重化情報への改竄事実の有無の検出に用いることも可能である。
【図面の簡単な説明】
【図１】情報多重化装置の入出力関係の概略図である。
【図２】情報多重化装置の全体的構成図である。
【図３】画像分解処理部の処理の概略を示す図である。
【図４】情報多重化処理部の詳細構成図である。
【図５】副情報バッファの概念図である。
【図６】直交変換係数処理部の概念図である。
【図７】直交変換係数変更処理部の概念図である。
【図８】座標バッファの概略図である。
【図９】レンジオーバ回避処理部の概念図である。
【図１０】逆直交変換処理部の概念図である。
【図１１】画像再構成処理部の概念図である。
【図１２】本発明による情報抽出装置の入出力関係の概略図である。
【図１３】情報抽出装置の全体的構成図である。
【図１４】情報抽出処理部の詳細構成図である。
【図１５】ブロック内情報抽出処理部の概念図である。
【図１６】副情報再構成処理部の概念図である。
【図１７】高速化された情報抽出処理部の概念図である。
【図１８】高速化されたブロック内情報抽出処理部の概念図である。
【符号の説明】
１ 情報多重化装置
２ 原画像（主情報）
３ 情報埋め込みパラメタ（情報多重化パラメタ）
４ 情報多重化済み画像
５ 画像分解処理部
６ 情報多重化処理部
７ 画像再構成処理部
２９ 情報多重化済み画像（主情報＋副情報）
３０ 情報抽出パラメタ
３１ 副情報
３２ 画像分解処理部
３３ 情報抽出処理部
３４ 副情報再構成構成処理部
Claims (4)
- デジタル動画像に対して、別の副情報が多重化されると共に、前記副情報を抽出する際の抽出情報の信頼度指標を得るための、予め定めた一定ビットパターンの情報である多重化情報識別ラベルが多重化された情報多重化済みデジタル動画像から副情報を抽出する方法であって、
情報多重化済みデジタル動画像から多重化情報識別ラベル及び副情報を抽出し、予め定めた一定ビットパターンの多重化情報識別ラベルの値と、抽出された情報中の多重化情報識別ラベルに相当する部分の値のハミング距離を求め、該ハミング距離から、抽出された副情報の信頼度を計算し、該信頼度によって、抽出された副情報に重み付けを行うことを特徴とする情報抽出方法。 - 請求項１記載の情報抽出方法において、
情報多重化済みデジタル動画像は、デジタル動画像と情報多重化パラメタを入力とし、動画像を各静止画像に分解し、各静止画像をｎ×ｎ（ｎは２の冪数）サイズの画像に分解し、各ｎ×ｎサイズの画像について、その画素値情報をｎ×ｎ直交変換し、情報多重化パラメタの一部である乱数の初期値を用いて生成した乱数から１対１写像で選出された直交変換係数値を、情報多重化パラメータの一部である周波数成分変更幅を用いて変更して、情報多重化パラメータの一部である多重化情報識別ラベル及び副情報を多重化し、該情報多重化を行った直交変換行列をｎ×ｎ逆直交変換し、各ｎ×ｎサイズの画像からデジタル動画像を再構成して構成されており、
前記情報多重化済みデジタル動画像を各静止画像に分解し、各静止画像をｎ×ｎサイズの画像に分解し、各ｎ×ｎサイズの画像について、画素値情報をｎ×ｎ直交変換し、情報多重化の際に用いた乱数の初期値と同じものを用いて生成した乱数から１対１写像で選出された直交変換係数値から、情報多重化の際に用いた周波数成分変更幅を用いて情報抽出を行って、多重化されていた多重化情報識別ラベル及び副情報を抽出して、
予め定めた一定ビットパターンの多重化情報識別ラベルの値と、抽出された情報中の多重化情報識別ラベルに相当する部分の値のハミング距離を求め、該ハミング距離から、抽出された副情報の信頼度を計算し、該信頼度によって、抽出された副情報に重み付けを行うことを特徴とする情報抽出方法。 - 請求項２記載の情報抽出方法において、ｎ×ｎ直交変換を省略し、情報抽出の際に、乱数から１対１写像で選出された直交変換係数値のみを計算して、多重化情報識別ラベル及び副情報を抽出することを特徴とする情報抽出方法。
- デジタル動画像、及び、乱数の初期値と、周波数成分変換幅と、副情報と、該副情報を抽出する際の抽出情報の信頼度指標を得るための、予め定めた一定ビットパターンの情報である多重化情報識別ラベルとの情報多重化パラメタを入力して、デジタル動画像を各静止画像に分解し、各静止画像をｎ×ｎ（ｎは２の冪数）サイズの画像に分解し、各ｎ×ｎサイズの画像について、画素値情報をｎ×ｎ直交変換し、乱数の初期値を用いて生成した乱数から１対１写像で選出した直交変換係数値を、周波数成分変更幅を用いて変更して多重化情報識別ラベルと副情報を多重化し、該情報多重化を行った直交変換行列をｎ×ｎ逆直交変換し、該逆直交変換したそれぞれのｎ×ｎサイズの画像からデジタル動画像を再構成することで生成された情報多重化済みデジタル動画像から副情報を抽出する装置であって、
情報多重化済みデジタル動画像及び乱数の初期値と周波数成分変更幅の情報抽出パラメタを入力する手段と、情報多重化済み動画像を各静止画像に分解し、各静止画像をｎ×ｎサイズの画像に分解する手段と、各ｎ×ｎサイズの画像について、画素値情報をｎ×ｎ直交変換し、乱数の初期値を用いて生成した乱数から１対１写像で選出された直交変換係数値から、周波数成分変更幅を用いて多重化されている多重化情報識別ラベルと副情報を抽出する手段と、予め定めた一定ビットパターンの多重化情報識別ラベルの値と、抽出された情報中の多重化情報識別ラベルに相当する部分の値のハミング距離を求め、該ハミング距離から、抽出された副情報の信頼度を計算し、該信頼度によって、抽出された副情報に重み付けを行い、各ｎ×ｎの画像から抽出された副情報を再構成する手段とからなることを特徴とする情報抽出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10992497A JP3585697B2 (ja) | 1997-04-25 | 1997-04-25 | 情報抽出方法及びその装置 |
| US09/014,159 US6185312B1 (en) | 1997-01-28 | 1998-01-27 | Method for embedding and reading watermark-information in digital form, and apparatus thereof |
| DE69834063T DE69834063T2 (de) | 1997-01-28 | 1998-01-28 | Verfahren zum Einbetten eines Wasserzeichens in Digitaldaten |
| EP98300609A EP0855681B1 (en) | 1997-01-28 | 1998-01-28 | Method of embedding watermark-information into digital data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10992497A JP3585697B2 (ja) | 1997-04-25 | 1997-04-25 | 情報抽出方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10304323A JPH10304323A (ja) | 1998-11-13 |
| JP3585697B2 true JP3585697B2 (ja) | 2004-11-04 |
Family
ID=14522577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10992497A Expired - Lifetime JP3585697B2 (ja) | 1997-01-28 | 1997-04-25 | 情報抽出方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3585697B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6704431B1 (en) | 1998-09-04 | 2004-03-09 | Nippon Telegraph And Telephone Corporation | Method and apparatus for digital watermarking |
| JP4765054B2 (ja) * | 2004-05-19 | 2011-09-07 | 国立大学法人山口大学 | アナログ符号化システム |
-
1997
- 1997-04-25 JP JP10992497A patent/JP3585697B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10304323A (ja) | 1998-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6973195B1 (en) | Method for embedding electronic watermark and method for decoding the same | |
| US6823455B1 (en) | Method for robust watermarking of content | |
| JP4732660B2 (ja) | ビジュアルアテンションシステム | |
| EP1519311B1 (en) | Average chrominance value modification for digital video watermarking | |
| JP3848443B2 (ja) | 圧縮デジタルデータ処理方法 | |
| JPH08211857A (ja) | 階層的画像記憶及び検索システム内の量子化アーティファクトを減少する方法及び装置 | |
| JPH10243398A (ja) | 動画像エンコードプログラムを記録した記録媒体及び動画像エンコード装置 | |
| JP2002325170A (ja) | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 | |
| JP4956304B2 (ja) | 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 | |
| CN116228507B (zh) | 一种数字文本水印溯源方法及系统 | |
| US20050078820A1 (en) | Information processing method, information processing apparatus, program, and storage medium | |
| US8699746B2 (en) | Watermarking scheme for digital video | |
| US7006254B2 (en) | Method and system for data hiding and authentication via halftoning and coordinate projection | |
| JP4696777B2 (ja) | デジタルデータにウォータマークを付す方法及び装置 | |
| JP3585697B2 (ja) | 情報抽出方法及びその装置 | |
| Ogihara et al. | Data embedding into pictorial images with less distortion using discrete cosine transform | |
| US7245781B2 (en) | Applying a tone scale function to a digital image | |
| JP3534577B2 (ja) | 情報多重化方法、情報抽出方法及びそれらの装置 | |
| JP2000175161A (ja) | 動画像に対する透かしデータ埋め込み装置および検出装置 | |
| JP3589832B2 (ja) | 情報多重化方法及び情報抽出方法 | |
| KR100607390B1 (ko) | 이미지 전체 모션 벡터를 이용하여 디지털화된 이미지를코딩하기 위한 방법 및 장치 | |
| JP2000106624A (ja) | データ処理装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP2000358154A (ja) | 透かしマークの可視度を調整可能な電子透かし | |
| JPH10276321A (ja) | 電子透かし装置 | |
| KR20090072903A (ko) | 하프톤 영상 인코딩 및 디코딩 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040506 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040804 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110813 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120813 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |