JP3589832B2 - 情報多重化方法及び情報抽出方法 - Google Patents
情報多重化方法及び情報抽出方法 Download PDFInfo
- Publication number
- JP3589832B2 JP3589832B2 JP16446697A JP16446697A JP3589832B2 JP 3589832 B2 JP3589832 B2 JP 3589832B2 JP 16446697 A JP16446697 A JP 16446697A JP 16446697 A JP16446697 A JP 16446697A JP 3589832 B2 JP3589832 B2 JP 3589832B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- processing unit
- block
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル動画像に対して別の情報を情報多重化する際に、人間の知覚に感知されないように情報多重化を行い、秘密裏に動画像に多重化された情報を情報抽出する方法に関するものである。
【０００２】
【従来の技術】
今日、デジタル動画像に対して、人間の知覚に感知されないように別の情報を多重化する技術は、著作権情報や利用ユーザＩＤなどを情報コンテンツに秘密裏に多重化することによるデジタル情報コンテンツの著作権保護および不正複製抑患システムに用いられている。
【０００３】
しかしながら、従来の技術では、動画像のビットレードを乱すなどの圧縮処理や、画像のフォーマットの変更により、簡単に多重化されている情報が消えてしまうといった問題点があった。特に非可逆圧縮においては、画像の複雑領域より平坦領域のほうが画素情報を大きく削除することにより、より副情報が消えやすいので、平坦部分の多い画像に対して非可逆圧縮を行った場合には、副情報の読み取りに失敗するといった問題があった。また、平坦部分について比較的人間に知覚されやすいため、多重化を行うことが難しいという問題があった。
【０００４】
【発明が解決しようとする課題】
本発明の目的は、上記従来の人間の知覚されない情報多重化技術が抱えている問題である、画像の品質を向上させ、かつ、圧縮処理や画像編集処理にも多重化情報が耐え得て情報抽出を可能とし、さらに原画像の有無にかかわらず情報抽出を可能とすることにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明では、デジタル動画像を複数のブロック画像に細分化し、ブロック画像毎に周波数領域への変換を行い、その周波数成分の値を多重化する別の副情報に基づいて変更して、デジタル動画像にその副情報を多重化する情報多重化方法において、周波数成分の値を量子化して得られる量子化値に多重化する情報の値に応じて論理値（０／１）の割り付けをあらかじめ行うと共に、多重化する情報の値に応じて周波数成分の増減方向をあらかじめ定め、多重化する情報の値にもとづく増減方向かつ多重化する情報の値に応じて割り付けられた論理値になる最も近い周波数成分の値の量子化値に、周波数成分の値を変更するようにする。
【０００６】
情報抽出側は、原デジタル動画像を用いて情報抽出を行う場合は、情報多重化済みのデジタル動画像と原デジタル動画像との差分画像を生成し、前記差分画像を複数のブロック差分画像に細分化し、該ブロック差分画像を周波数領域へ変換し、周波数成分値の正負を判定することにより副情報を抽出する。また、原デジタル動画像を用いずに情報抽出を行う場合は、情報多重化済みデジタル動画像を複数のブロック画像に細分化し、該ブロック画像を周波数領域へ変換し、多重化時と同じ値で周波数成分値を量子化し、量子化値に割り付けられた論理値を判定（０か１か）することにより副情報を抽出する。
【０００７】
【発明の実施の形態】
以下に、本発明の実施の形態を図面を参照して説明する。
【０００８】
最初に画像への情報多重化処理について述べる。図１は、本発明による一実施例の情報多重化装置１の入出力関係の概略図である。情報多重化装置１は、デジタル動画像の原画像（主情報）２と情報埋め込みパラメタ３を入力として、情報多重化済み画像４を出力する。情報埋込みパラメタ３は乱数の初期値、周波数成分変更幅、及び、多重化すべき情報（副情報）からなる。
【０００９】
図２は、情報多重化装置１の全体的構成図を示している。本情報多重化装置１は、画像分解処理部５と情報多重化処理部６と画像再構成処理部７からなる。以下、各処理部について順次説明する。
【００１０】
〈画像分解処理部５〉
図３は、画像分解処理部５の概念図である。即ち、画像分解処理部５は、入力される原画像（動画像）２を予め決めておいた分解方法によりブロック画像５２に分解し、順次、情報多重化処理部６へ送る。ここで、予め決めておいた分解方法とは、例えば、原画像のサイズをＭ×Ｎ、ある一定時間間隔をＴとするときの時空間画像Ｍ×Ｎ×Ｔを、各々、任意サイズのｗ個の直方体ブロックblock0(Ｍ0×Ｎ0×Ｔ0サイズ)，block1（Ｍ1×Ｎ1×Ｔ1サイズ），・・・，blockw(Ｍw-1×Ｎw-1×Ｔw-1サイズ)に分解する方法である。各々のブロックは共有部分を持たず、かつ、各々のブロックの和集合はＭ×Ｎ×Ｔサイズの時空間画像になる。
【００１１】
〈情報多重化処理部６〉
図４は、情報多重化処理部６の詳細構成図を示している。情報多重化処理部６は、情報埋込みパラメタ３とＭu×Ｎu×Ｔu（０≦ｕ≦ｗ−１）サイズのブロック画像５２（blocku）を入力とし、Ｍu×Ｎu×Ｔuサイズの情報多重化済みブロック画像２７を出力として画像再構成処理部７へ送る。以下、図４に基づいて情報多重化処理部６の動作を詳述する。
【００１２】
情報埋込みパラメタ３は入力パラメタ分解処理部８へ、また、ブロック画像５２は周波数変換処理部９へ送られる。
【００１３】
入力パラメタ分解処理部８は、入力された情報埋込みパラメタ３を分解し、乱数の初期値１０、周波数成分変更幅１１、副情報１２をそれぞれ再構成して出力する。乱数の初期値１０は乱数生成処理部１３へ、周波数成分変更幅１１は周波数成分変更処理部１４へ、副情報１２は副情報バッファ１５へ、それぞれ送られる。
【００１４】
周波数変換処理部９は、入力されたＭu×Ｎu×Ｔuサイズのブロック画像５２をＭu×Ｎu×Ｔu周波数変換し、Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列１８を出力し、周波数成分変更処理部１４へ送る。図５は周波数変換処理部９の概念図を示したものである。なお、周波数変換処理自体は周知であるので、その詳細は省略する。
【００１５】
乱数生成処理部１３は、乱数の初期値１０を読み込み、それをもとに各１ビット情報多重化の処理毎に順次、乱数１６を生成し出力する。ここで、乱数生成処理部１３は、画像のサイズと比べて十分大きな周期で乱数１６を発生させるものとする。乱数１６は周波数成分変更処理部１４へ送られる。
【００１６】
副情報バッファ１５は、副情報１２を内部バッファに蓄えて、内部にある情報読み出しヘッダにより情報を１ビットずつ読み出して、１ビット副情報１７を出力し、周波数成分変更処理部１４へ送る。図６は副情報バッファ１５の概念図を示したものである。
【００１７】
副情報バッファ内の情報読出し／書込みヘッダ制御方法には、各１ビット情報多重化の処理毎に動かす方法や、各ブロック画像への情報多重化の処理毎に動かす方法など、種々の方法が考えられるが、これは情報多重化装置の実装方式による。なお、副情報バッファの情報読出し／書込みを行うヘッダの制御方法は、本情報多重化装置および後述の情報抽出装置において、同じ方式で実装する必要がある。
【００１８】
周波数成分変更処理部１４は、Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列１８、乱数１６、１ビット副情報１７、周波数成分変更幅１１を入力して、Ｍu×Ｎu×Ｔuの任意の座標の周波数成分を変更し、座標２１、情報多重化済みブロック周波数成分行列２２を出力する。図７は、周波数成分変更処理部１４の概略構成および処理の概念図を示したものである。
【００１９】
Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列１８は、周波数成分行列バッファ１９に格納される。乱数１６は、座標選択処理部２０に入力される。座標選択処理部２０は、乱数１６を用いて、Ｍu×Ｎu×Ｔuの周波数成分行列のうち、ひとつの係数を１対１写像により選定し、対応する座標２１を出力する。出力された座標２１は、図８に示すように、座標バッファ２３に、各ブロックの多重化処理毎にすべて保存され、各ブロックの多重化処理後、座標集合２４として出力される。
【００２０】
周波数成分変更処理部１４は、座標２１に当たる周波数成分（係数）に１ビットの副情報１７を周波数成分変更幅１１を用いて情報多重化する。情報多重化処理は、Ｍu×Ｎu×Ｔuサイズのひとつのブロック周波数成分行列に対してｎu回（ｎuはblockuに多重化される情報の個数で、１以上の整数で、各ブロック毎に異なる数でもよい。情報抽出装置も同じ方式により実装する必要がある）行われ、そのすべてが終了した後、情報多重化済みのＭu×Ｎu×Ｔuサイズのブロック周波数成分行列２２を出力する。
【００２１】
以下に、入力動画像２のｉ番目のＭ×Ｎ×Ｔサイズの時空間画像のｕ番目のブロック画像blockuにおけるｊ（０≦ｊ≦ｎ）個目のビット情報の多重化処理について具体的に説明する。ただし、周波数成分変更幅をrangeとし、多重化する副情報１２をｂ0ｂ1・・・ｂk-1（ビット長をｋ，ｂj∈｛０，１｝，０≦ｊ≦ｋ−１）とする。
【００２２】
周波数成分変更処理部１４では、座標選択処理部２０により選択された座標の周波数成分値ｃi,u,jを、
多重化したいビット情報が１の場合、
ｃi,u,j ＋ range
多重化したいビット情報が０の場合、
ｃi,u,j − range
に変更することにより、１ビットの副情報１７を多重化する（図７）。なお、rangeの値の加減により情報を多重化しているため、加減算が逆でも同様である。
【００２３】
特に、本発明では、原画像の有無に関わらず情報抽出ができるように、座標選択処理部２０により選択された座標の周波数成分値ｃi,u,jを、以下の数１乃至数６のように変更する。ただし、数１乃至数６において、
【００２４】
【外１】
【００２５】
はｘを越えない最大の整数、ｘ mod ｙはｘをｙで割った時の余りを表す。
【００２６】
【数１】
【００２７】
【数２】
【００２８】
【数３】
【００２９】
【数４】
【００３０】
【数５】
【００３１】
【数６】
【００３２】
すなわち、周波数成分値を量子化し、それぞれの量子化値に多重化する情報の値（０／１）に応じて論理値（０／１）の割り付けをあらかじめ行うと共に、多重化する情報の値に応じて周波数成分の増減方向をあらかじめ定め、多重化する情報の値にもとづく増減方向かつ多重化する情報の値に応じて割り付けられた論理値になる最も近い周波数成分の値の量子化値に、周波数成分の値を変更する。ここで、周波数成分の量子化は、周波数成分値ｃ ｉ，ｕ，ｊ を range で除算し、床関数を施すことで実現している。また、多重化する情報の値が 1 では、量子化値に論理値１を割り付け、周波数成分値の変更は増加とし、多重化する情報の値が０では、量子化値に論理値０を割り付け、周波数成分値の変更は減少としている。
【００３３】
周波数成分変更処理部１４にて、各１ビット情報多重化を行う毎に、副情報バッファ１５の副情報読み出しヘッダを予め決められた方法で制御する。この間、多重化を行った係数の座標は、座標バッファ２３へ送られ保管される。
【００３４】
以上のようにして、Ｍu×Ｎu×Ｔuサイズのひとつのブロック周波数成分行列に対して、それの中の多重化するビット数であるｎu回、多重化処理を繰り返すことで、ひとつの周波数成分行列の多重化処理が終了する。
【００３５】
上記多重化処理後、座標集合２４と情報多重化済みブロック周波数成分行列２２はレンジオーバ回避処理部２５へ送られる。レンジオーバ回避処理部２５は、情報多重化済み画像の再生不良を避けるために、情報多重化を行ったブロック周波数成分行列２２を逆周波数変換処理部２６で逆周波数変換し、その逆周波数変換したブロック画像について、座標集合２４を参照してレンジオーバ回避処理を行う。
【００３６】
図９は、レンジオーバ回避処理部２５の処理の概念図を示したものである。なお、図９では８ビット濃淡画像を想定し、画素値（輝度値）の定義域は０〜２５５としている。
【００３７】
いま、レンジオーバ回避処理部２５へ入力された係数行列を逆周波数変換処理部２６を用いて逆周波数変換したブロック画像をブロック画像Ａとする。図９の（ａ）はこれを示したものであり、例えば、丸で囲った部分のように、レンジオーバ部が発生する場合がある。ここで、逆周波数変換処理部２６は、図１０に示すように、Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行処をＭu×Ｎu×Ｔu逆周波数変換し、Ｍu×Ｎu×Ｔuサイズのブロック画像を出力するものである。
【００３８】
また、レンジオーバ回避処理部２５へ入力された係数行列を、ひとつは、直流成分をその最低値に変更し（たとえば、周波数変換をＤＣＴと仮定すると、blockuにおけるその値は−Ｌm×√（Ｍu×Ｎu×Ｔu）（Ｌmは輝度の中間値）、かつ、入力された座標集合２４のすべての座標の成分値をすべて０にしたものを、もうひとつは、直流成分値と入力された座標集合２４のすべての座標の成分以外の値をすべて０に変更したものを、逆周波数変換処理部２６を用いて逆周波数変換したＭu×Ｎu×Ｔuサイズのブロック画像を、それぞれ、ブロック画像Ｂ、ブロック画像Ｃとする。図９の（ｂ）はこれを示したものである。
【００３９】
レンジオーバ回避処理部２５では、ブロック画像Ａの画素で最大画素値より大きいもしくは最小画素値より小さいものが存在するときに限り、ブロック画像Ｂとブロック画像Ｃの対応する画素値それぞれを足し合わせ画像のすべての画素値が最小画素値と最大画素値の間に値を収まるように、ブロック画像Ｂの画素値を縮小・拡大することにより、レンジオーバ回避処理を施した情報多重化済み画像２７を得る。図９の（ｃ）はこれを示したものである。
【００４０】
ただし、ブロック画像Ｃにおいて、最小画素値より小さな画素値と最大画素値より大きな画素値が混在する場合は、上記レンジオーバ回避処理は適用できないため、情報多重化を行う際に、rangeの値を極端に大きな値にしないようにする
必要がある。
【００４１】
なお、レンジオーバ処理を行なわない場合には、座標バッファ２３を用意する必要はなく、また、図４において、周波数成分変更処理部１４から出力された情報多重化済みブロック周波数成分行列２２を、そのまま逆周波数変換処理部２６により逆周波数変換して、情報多重化済みブロック画像２７を出力する。
【００４２】
情報多重化処理部６では、以上の処理をすべてのブロック画像（block0，block1，・・・，blockw-1）に対して行い、順次、情報多重化済みブロック画像２７を画像再構成処理部７へ送る。
【００４３】
〈画像再構成処理部７〉
図１１は、画像再構成処理部７の概念図である。画像再構成処理部７は、入力された各情報多重化済みブロック画像２７をつなぎ合わせ、Ｍ×Ｎ×Ｔ時空間画像、さらには動画像に復元することで、情報多重化済み画像を得る。
【００４４】
次に、情報多重化済み画像からの情報抽出処理について述べる。図１２は、本発明による一実施例の情報抽出装置２８の入出力関係の概略図である。情報抽出装置２８は、原画像２９（主情報）と情報多重化済み画像３０（主情報＋副情報）と情報抽出パラメタ３１を入力として、画像３０内に多重化されていた副情報３２を出力する。情報抽出パラメタ３１は、情報多重化済み画像３０を作成した際に使用した情報多重化鍵の乱数の初期値と周波数成分変更幅からなるものである。
【００４５】
図１３は、情報抽出装置２８の一実施例の全体的構成図を示したものである。本情報抽出装置２８は、差分画像作成処理部３３と画像分解処理部３４と情報抽出処理部３５と副情報再構成処理部３６からなる。なお、原画像を用いずに、情報多重化済み画像のみを入力して情報抽出を行う場合には差分画像作成処理部３３は不要である。以下、各処理部について説明する。
【００４６】
〈差分画像作成処理部３３〉
図１４は差分画像作成処理部３３の概念図である。差分画像作成処理部３３は、原画像２９（［ｐ1x,y,z］とする）と情報多重化済み画像３０（［ｐ2x,y,z］とする）を入力とし画素値の中間値（Ｌm）を中心とした、差分画像３７（［ｐ2x,y,z−ｐ1x,y,z−Ｌm］）を出力する。
【００４７】
〈画像分解処理部３４〉
図１５は画像分解処理部３４の概念図である。画像分解処理部３４は、差分画像３７を入力とし、先の情報多重化装置１で用いた画像分解処理部５と同じ処理を行い、Ｍu×Ｎu×Ｔu（０≦ｕ≦ｗ−１）サイズのブロック差分画像３８を出力する。ここで、画像分解処理部３４は、画像分解処理部５で実装された、予め決定しておく分解方法と同じ方法で画像を分解する必要がある。
【００４８】
〈情報抽出処理部３５〉
図１６は、情報抽出処理部３５の詳細構成図を示したものである。情報抽出処理部３５は、情報抽出パラメタ３１とブロック差分画像３８を入力とし、各ブロック画像内から副情報を１ビットずつ抽出し、順次、副情報再構成処理部３６へ送る。以下、情報抽出処理部３５の動作について詳述する。
【００４９】
情報抽出パラメタ３１は入力パラメタ分解処理部３９へ、ブロック差分画像３８は、周波数変換処理部４０へ送られる。
【００５０】
入力パラメタ分解処理部３９は、情報抽出パラメタ３１を分解し、乱数の初期値４１と周波数成分変更幅４２を再構成して出力する。乱数の初期値４１は乱数生成処理部４３へ、周波数成分変更幅４２はブロック内情報抽出処理部４４へ、それぞれ送られる。
【００５１】
なお、原画像を用いて情報抽出を行う場合、情報抽出パラメタ３１は乱数の初期値のみであり、この場合は入力パラメタ分解処理部３９を用意する必要がなく、直接、乱数の初期値が乱数生成処理部４３へ送られる。
【００５２】
周波数変換処理部４０は、情報多重化処理部６で用いた周波数変換処理部９と同じ処理を行うもので、Ｍu×Ｎu×Ｔuサイズのブロック差分画像３８をＭu×Ｎu×Ｔu周波数変換し、このＭu×Ｎu×Ｔuサイズのブロック周波数成分行列４５をブロック内情報抽出処理部４４へ送る（図５参照）。
【００５３】
乱数生成処理部４３は、乱数の初期値４１を読み込み、それをもとに各１ビット情報抽出の処理毎に順次、乱数４６を生成し出力する。なお、この乱数生成処理部４３と情報多重化処理部６で用いた乱数生成処理部１３は、同じ乱数の初期値を入力としたとき、同順序で同じ乱数が出力するように実装する必要がある。
【００５４】
ブロック内情報抽出処理部４４は、Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列４５、乱数４６、周波数成分変更幅４２を入力し、１ビット副情報４９を抽出して出力する。図１７はブロック内情報抽出処理部４４の概略構成および処理の概念図を示したものである。
【００５５】
Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列４５は周波数成分バッファ４７に格納される。乱数４６は座標選択処理部４８に入力される。座標選択処理部４８は、周波数成分変更処理部１４で用いた座標選択処理部２０と同じ処理を行う。すなわち、座標選択処理部４８と座標選択処理部２０は、同じ乱数を入力したとき、同じ座標を出力するように実装する必要がある。
【００５６】
ブロック内情報抽出処理部４４は、Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列から、座標選択処理部４８が選択した座標に当たる係数の正負を判定することにより、１ビット副情報４９を抽出し出力する。情報抽出処理は、Ｍu×Ｎu×Ｔuサイズのひとつのブロック周波数変換行列に対してｎu回（ｎuは情報多重化の際にblockuに多重化された情報の個数である）行われ、順次、多重化されていた１ビット副情報が抽出される。
【００５７】
以下に、差分画像３７のｉ番目のＭ×Ｎ×Ｔサイズの時空間画像のｕ番目のブロック差分画像におけるｊ（０≦ｊ≦ｕ）個目のビット情報（ｂi,u,j∈｛０，１｝）の抽出処理について具体的に説明する。ただし、動画像３０に多重化されている副情報３２をｂ0ｂ1・・・ｂk-1とし、ブロック内情報抽出処理部４４に入力された周波数成分変更幅４２をrangeとする。
【００５８】
ブロック内情報抽出処理部４４では、座標選択処理部４８により選択された座標の周波数成分値ｃi,u,jに対して、
ｃi,u,jが正数の場合、ｂi,u,j＝１
ｃi,u,jが負数の場合、ｂi,u,j＝０
により情報抽出を行う。なお、多重化処理の実装方式により、正負の値に対する｛０，１｝の割り付けが決定される。
【００５９】
また、先の数１乃至数６で示した原画像の有無に関わらず情報抽出可能な情報多重化を行った画像が入力の場合には、原画像がある場合は上記の方法で、原画像がない場合は、図１３において、差分画像作成処理部３３を用いず、直接、情報多重化画像３０を画像分解処理部３４に入力してブロック画像に分解し、周波数変換処理部４０でブロック周波数成分行列への処理を行った後、
【００６０】
【数７】
【００６１】
を計算することにより、情報抽出を行うことができる。
【００６２】
〈副情報再構成処理部３６〉
図１８は副情報再構成処理部３６の処理概念図である。副情報再構成処理部３６は、ブロック画像内に多重化されていた副情報を１ビットずつ順次入力とし、複数回入力される各副情報ビットを多数決処理などの手法を用いることにより決定し、もとの副情報を再構成する情報抽出処理部３５での情報抽出処理の回数に伴い、多重化されていた副情報の各ビットの抽出回数が増加する。この繰り返し抽出される副情報の各ビットに多数決処理などを施すことで、抽出された副情報の信頼度が向上する。
【００６３】
副情報再構成処理部３６では、副情報の各１ビットが抽出される毎に副情報書き込みヘッダを予め決められた方法で制御する。この抽出処理をひとつのブロック周波数成分行列に対して、それの中に多重化されているビット数であるｎu回繰り返し、多数処理などを行うことで、ひとつのブロック周波数成分行列からの副情報再構成処理が終了する。
【００６４】
以上の処理をすべてのブロック画像（block0，block1，・・・，blockw-1）に対して行い、副情報が再構成される毎、もしくは、全動画像においてその処理が終了した後、画像から抽出された副情報３２を出力する。
【００６５】
次に、情報抽出装置２８での処理において、情報抽出速度を向上させる方法を以下に説明する。情報抽出装置２８における情報抽出処理部３５では、図１６に示したように、入力されるブロック差分画像３８を一旦、周波数変換処理部４０を用いてブロック周波数成分行列に変換していたが、この変換処理を行わず、情報多重化を行った周波数成分のみをブロック差分画像から直接計算することにより、計算量を軽減することができる。
【００６６】
図１９は、上記高速化を実現する情報抽出処理部３５´の構成図を示したものである。構成は、図１８の情報抽出処理部３５と基本的にほとんど同じで、違いは周波数変換処理部４０がないことと、ブロック内情報抽出処理部の入力が、ブロック周波数成分行列からブロック差分画像にかわったことである。ブロック内情報抽出処理部４４´の情報抽出処理自体も、図１７で説明したブロック内情報抽出処理部４４の動作と同様で、異なる部分は、ブロック差分画像３８を画像バッファに格納し、そのブロック画像の画素値を用いて、座標選択処理部が選択した座標にあたる周波数成分のみを計算するということだけであり、その係数値の符号を判定することにより１ビット副情報を抽出する方法などは同じである。
【００６７】
以上、本発明の一実施の形態を説明したが、以下のような変更や拡張が可能である。
【００６８】
(１) 情報多重化の際に用いるrangeは、ブロック画像の特徴を見て、個々のブロック毎に変化させてもよい。例えば、ブロック画像の画素値のエントロピーを計算して、その値によってrangeを変更するなどである。
【００６９】
(２) 多重化する副情報を誤り訂正符号化することにより、画像の劣化に費する副情報の劣化を抑えることができる。
【００７０】
(３) 各ブロック画像に多重化するビット分の副情報とは別に、多重化情報識別ラベルを同ブロック画像に情報多重化してもよい。これにより抽出情報の信頼度を得ることが可能である。
例えば、ラベル情報としてａ0ａ1・・・ａl-1とし、情報抽出を行い、得られたラベル情報部分と、本来のラベル情報とのハミング距離をｍ（ｍ＜ｌ）（ｌはエルである）とする。このとき、ラベル情報と同時に抽出された副情報の信頼度Ｓは、次のように計算できる。
【００７１】
【数８】
【００７２】
この式をもとに、各抽出ビットに重みをつけて副情報を再構成することにより、さらに情報抽出の精度が向上する。また、副情報が誤り訂正符号化されているものであれば、信頼度から、誤り訂正の可能性を判断することができる。また、ラベルの抽出精度を調べることにより、主情報である動画像の改竄事実の有無を検出することや、一部分切り出した画像についても、乱数の初期値を使った乱数の初期化により、情報抽出が可能である。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、原画像の有無にかかわらず、デジタル動画像に多重化された副情報を抽出することが可能である。しかも、情報多重化時に用いた鍵情報もしくは原画像がなければ、副情報の取り出しができないこと、副情報を多重化した変更周波数成分位置および周波数成分変更幅を工夫することにより、人間が知覚できないように情報多重化を行え、かつ、主情報（画像）の劣化による副情報（多重化情報）の劣化に対する強度を制御できること、影響し合わない程度であれば、別々のブロックサイズ分割方法を用いて、複数の情報を多重化することが可能であること、静止画像は動画像の時間軸方向の大きさが１であることから、静止画像に対しても適用可能な技術であること、誤り訂正符号を用いることにより、画像の圧縮・編集に対して、適切な耐性を持たせることができること、などの効果がある。
【００７４】
本発明は、画像がＹＵＶフォーマットのときの輝度成分のみを対象とするだけでなく、同アルゴリズムを色差成分にも適用することも可能である。また、画像フォーマットがＲＧＢについても同様であり、Ｒ，Ｇ，Ｂそれぞれに対して同アルゴリズムを適用することが可能である。これらの方法を適用すると、さらに多くの情報を多重化することが可能となり、また、それぞれの成分に多重化する情報を同一のものとすることにより、画像および多重化情報への改竄事実の有無の検出に用することなども可能である。
【図面の簡単な説明】
【図１】本発明による情報多重化装置の情報入出力関係の概略図である。
【図２】本発明による情報多重化装置の一実施例の全体的構成図である。
【図３】画像分解処理部の概念図である。
【図４】情報多重化処理部の詳細構成図である。
【図５】周波数変換処理部の概念図である。
【図６】副情報バッファの概略図である。
【図７】周波数成分変更処理部の概念図である。
【図８】座標バッファの概略図である。
【図９】レンジオーバ回避処理部の処理説明図である。
【図１０】逆周波数変換処理部の概念図である。
【図１１】画像再構成処理部の概念図である。
【図１２】本発明による情報抽出装置の入出力関係の概略図である。
【図１３】本発明による情報抽出装置の一実施例の全体的構成図である。
【図１４】差分画像作成処理部の概念図である。
【図１５】画像分解処理部の概念図である。
【図１６】情報抽出処理部の詳細構成図である。
【図１７】ブロック内情報抽出処理部の概念図である。
【図１８】副情報再構成処理部の概念図である。
【図１９】情報抽出処理部の他の構成図である。
【符号の説明】
１ 情報多重化装置
２ 原画像（主情報）
３ 情報埋め込みパラメタ
４ 情報多重化済み画像
５ 画像分解処理部
６ 情報多重化処理部
７ 画像再構成処理部
２８ 情報抽出装置
２９ 原画像
３０ 情報多重化済み画像
３１ 情報抽出パラメタ
３２ 副情報
３３ 差分画像作成処理部
３４ 画像分解処理部
３５，３５´ 情報抽出処理部
３６ 副情報再構成処理部
【発明の属する技術分野】
本発明は、デジタル動画像に対して別の情報を情報多重化する際に、人間の知覚に感知されないように情報多重化を行い、秘密裏に動画像に多重化された情報を情報抽出する方法に関するものである。
【０００２】
【従来の技術】
今日、デジタル動画像に対して、人間の知覚に感知されないように別の情報を多重化する技術は、著作権情報や利用ユーザＩＤなどを情報コンテンツに秘密裏に多重化することによるデジタル情報コンテンツの著作権保護および不正複製抑患システムに用いられている。
【０００３】
しかしながら、従来の技術では、動画像のビットレードを乱すなどの圧縮処理や、画像のフォーマットの変更により、簡単に多重化されている情報が消えてしまうといった問題点があった。特に非可逆圧縮においては、画像の複雑領域より平坦領域のほうが画素情報を大きく削除することにより、より副情報が消えやすいので、平坦部分の多い画像に対して非可逆圧縮を行った場合には、副情報の読み取りに失敗するといった問題があった。また、平坦部分について比較的人間に知覚されやすいため、多重化を行うことが難しいという問題があった。
【０００４】
【発明が解決しようとする課題】
本発明の目的は、上記従来の人間の知覚されない情報多重化技術が抱えている問題である、画像の品質を向上させ、かつ、圧縮処理や画像編集処理にも多重化情報が耐え得て情報抽出を可能とし、さらに原画像の有無にかかわらず情報抽出を可能とすることにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明では、デジタル動画像を複数のブロック画像に細分化し、ブロック画像毎に周波数領域への変換を行い、その周波数成分の値を多重化する別の副情報に基づいて変更して、デジタル動画像にその副情報を多重化する情報多重化方法において、周波数成分の値を量子化して得られる量子化値に多重化する情報の値に応じて論理値（０／１）の割り付けをあらかじめ行うと共に、多重化する情報の値に応じて周波数成分の増減方向をあらかじめ定め、多重化する情報の値にもとづく増減方向かつ多重化する情報の値に応じて割り付けられた論理値になる最も近い周波数成分の値の量子化値に、周波数成分の値を変更するようにする。
【０００６】
情報抽出側は、原デジタル動画像を用いて情報抽出を行う場合は、情報多重化済みのデジタル動画像と原デジタル動画像との差分画像を生成し、前記差分画像を複数のブロック差分画像に細分化し、該ブロック差分画像を周波数領域へ変換し、周波数成分値の正負を判定することにより副情報を抽出する。また、原デジタル動画像を用いずに情報抽出を行う場合は、情報多重化済みデジタル動画像を複数のブロック画像に細分化し、該ブロック画像を周波数領域へ変換し、多重化時と同じ値で周波数成分値を量子化し、量子化値に割り付けられた論理値を判定（０か１か）することにより副情報を抽出する。
【０００７】
【発明の実施の形態】
以下に、本発明の実施の形態を図面を参照して説明する。
【０００８】
最初に画像への情報多重化処理について述べる。図１は、本発明による一実施例の情報多重化装置１の入出力関係の概略図である。情報多重化装置１は、デジタル動画像の原画像（主情報）２と情報埋め込みパラメタ３を入力として、情報多重化済み画像４を出力する。情報埋込みパラメタ３は乱数の初期値、周波数成分変更幅、及び、多重化すべき情報（副情報）からなる。
【０００９】
図２は、情報多重化装置１の全体的構成図を示している。本情報多重化装置１は、画像分解処理部５と情報多重化処理部６と画像再構成処理部７からなる。以下、各処理部について順次説明する。
【００１０】
〈画像分解処理部５〉
図３は、画像分解処理部５の概念図である。即ち、画像分解処理部５は、入力される原画像（動画像）２を予め決めておいた分解方法によりブロック画像５２に分解し、順次、情報多重化処理部６へ送る。ここで、予め決めておいた分解方法とは、例えば、原画像のサイズをＭ×Ｎ、ある一定時間間隔をＴとするときの時空間画像Ｍ×Ｎ×Ｔを、各々、任意サイズのｗ個の直方体ブロックblock0(Ｍ0×Ｎ0×Ｔ0サイズ)，block1（Ｍ1×Ｎ1×Ｔ1サイズ），・・・，blockw(Ｍw-1×Ｎw-1×Ｔw-1サイズ)に分解する方法である。各々のブロックは共有部分を持たず、かつ、各々のブロックの和集合はＭ×Ｎ×Ｔサイズの時空間画像になる。
【００１１】
〈情報多重化処理部６〉
図４は、情報多重化処理部６の詳細構成図を示している。情報多重化処理部６は、情報埋込みパラメタ３とＭu×Ｎu×Ｔu（０≦ｕ≦ｗ−１）サイズのブロック画像５２（blocku）を入力とし、Ｍu×Ｎu×Ｔuサイズの情報多重化済みブロック画像２７を出力として画像再構成処理部７へ送る。以下、図４に基づいて情報多重化処理部６の動作を詳述する。
【００１２】
情報埋込みパラメタ３は入力パラメタ分解処理部８へ、また、ブロック画像５２は周波数変換処理部９へ送られる。
【００１３】
入力パラメタ分解処理部８は、入力された情報埋込みパラメタ３を分解し、乱数の初期値１０、周波数成分変更幅１１、副情報１２をそれぞれ再構成して出力する。乱数の初期値１０は乱数生成処理部１３へ、周波数成分変更幅１１は周波数成分変更処理部１４へ、副情報１２は副情報バッファ１５へ、それぞれ送られる。
【００１４】
周波数変換処理部９は、入力されたＭu×Ｎu×Ｔuサイズのブロック画像５２をＭu×Ｎu×Ｔu周波数変換し、Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列１８を出力し、周波数成分変更処理部１４へ送る。図５は周波数変換処理部９の概念図を示したものである。なお、周波数変換処理自体は周知であるので、その詳細は省略する。
【００１５】
乱数生成処理部１３は、乱数の初期値１０を読み込み、それをもとに各１ビット情報多重化の処理毎に順次、乱数１６を生成し出力する。ここで、乱数生成処理部１３は、画像のサイズと比べて十分大きな周期で乱数１６を発生させるものとする。乱数１６は周波数成分変更処理部１４へ送られる。
【００１６】
副情報バッファ１５は、副情報１２を内部バッファに蓄えて、内部にある情報読み出しヘッダにより情報を１ビットずつ読み出して、１ビット副情報１７を出力し、周波数成分変更処理部１４へ送る。図６は副情報バッファ１５の概念図を示したものである。
【００１７】
副情報バッファ内の情報読出し／書込みヘッダ制御方法には、各１ビット情報多重化の処理毎に動かす方法や、各ブロック画像への情報多重化の処理毎に動かす方法など、種々の方法が考えられるが、これは情報多重化装置の実装方式による。なお、副情報バッファの情報読出し／書込みを行うヘッダの制御方法は、本情報多重化装置および後述の情報抽出装置において、同じ方式で実装する必要がある。
【００１８】
周波数成分変更処理部１４は、Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列１８、乱数１６、１ビット副情報１７、周波数成分変更幅１１を入力して、Ｍu×Ｎu×Ｔuの任意の座標の周波数成分を変更し、座標２１、情報多重化済みブロック周波数成分行列２２を出力する。図７は、周波数成分変更処理部１４の概略構成および処理の概念図を示したものである。
【００１９】
Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列１８は、周波数成分行列バッファ１９に格納される。乱数１６は、座標選択処理部２０に入力される。座標選択処理部２０は、乱数１６を用いて、Ｍu×Ｎu×Ｔuの周波数成分行列のうち、ひとつの係数を１対１写像により選定し、対応する座標２１を出力する。出力された座標２１は、図８に示すように、座標バッファ２３に、各ブロックの多重化処理毎にすべて保存され、各ブロックの多重化処理後、座標集合２４として出力される。
【００２０】
周波数成分変更処理部１４は、座標２１に当たる周波数成分（係数）に１ビットの副情報１７を周波数成分変更幅１１を用いて情報多重化する。情報多重化処理は、Ｍu×Ｎu×Ｔuサイズのひとつのブロック周波数成分行列に対してｎu回（ｎuはblockuに多重化される情報の個数で、１以上の整数で、各ブロック毎に異なる数でもよい。情報抽出装置も同じ方式により実装する必要がある）行われ、そのすべてが終了した後、情報多重化済みのＭu×Ｎu×Ｔuサイズのブロック周波数成分行列２２を出力する。
【００２１】
以下に、入力動画像２のｉ番目のＭ×Ｎ×Ｔサイズの時空間画像のｕ番目のブロック画像blockuにおけるｊ（０≦ｊ≦ｎ）個目のビット情報の多重化処理について具体的に説明する。ただし、周波数成分変更幅をrangeとし、多重化する副情報１２をｂ0ｂ1・・・ｂk-1（ビット長をｋ，ｂj∈｛０，１｝，０≦ｊ≦ｋ−１）とする。
【００２２】
周波数成分変更処理部１４では、座標選択処理部２０により選択された座標の周波数成分値ｃi,u,jを、
多重化したいビット情報が１の場合、
ｃi,u,j ＋ range
多重化したいビット情報が０の場合、
ｃi,u,j − range
に変更することにより、１ビットの副情報１７を多重化する（図７）。なお、rangeの値の加減により情報を多重化しているため、加減算が逆でも同様である。
【００２３】
特に、本発明では、原画像の有無に関わらず情報抽出ができるように、座標選択処理部２０により選択された座標の周波数成分値ｃi,u,jを、以下の数１乃至数６のように変更する。ただし、数１乃至数６において、
【００２４】
【外１】
はｘを越えない最大の整数、ｘ mod ｙはｘをｙで割った時の余りを表す。
【００２６】
【数１】
【数２】
【数３】
【数４】
【数５】
【数６】
すなわち、周波数成分値を量子化し、それぞれの量子化値に多重化する情報の値（０／１）に応じて論理値（０／１）の割り付けをあらかじめ行うと共に、多重化する情報の値に応じて周波数成分の増減方向をあらかじめ定め、多重化する情報の値にもとづく増減方向かつ多重化する情報の値に応じて割り付けられた論理値になる最も近い周波数成分の値の量子化値に、周波数成分の値を変更する。ここで、周波数成分の量子化は、周波数成分値ｃ ｉ，ｕ，ｊ を range で除算し、床関数を施すことで実現している。また、多重化する情報の値が 1 では、量子化値に論理値１を割り付け、周波数成分値の変更は増加とし、多重化する情報の値が０では、量子化値に論理値０を割り付け、周波数成分値の変更は減少としている。
【００３３】
周波数成分変更処理部１４にて、各１ビット情報多重化を行う毎に、副情報バッファ１５の副情報読み出しヘッダを予め決められた方法で制御する。この間、多重化を行った係数の座標は、座標バッファ２３へ送られ保管される。
【００３４】
以上のようにして、Ｍu×Ｎu×Ｔuサイズのひとつのブロック周波数成分行列に対して、それの中の多重化するビット数であるｎu回、多重化処理を繰り返すことで、ひとつの周波数成分行列の多重化処理が終了する。
【００３５】
上記多重化処理後、座標集合２４と情報多重化済みブロック周波数成分行列２２はレンジオーバ回避処理部２５へ送られる。レンジオーバ回避処理部２５は、情報多重化済み画像の再生不良を避けるために、情報多重化を行ったブロック周波数成分行列２２を逆周波数変換処理部２６で逆周波数変換し、その逆周波数変換したブロック画像について、座標集合２４を参照してレンジオーバ回避処理を行う。
【００３６】
図９は、レンジオーバ回避処理部２５の処理の概念図を示したものである。なお、図９では８ビット濃淡画像を想定し、画素値（輝度値）の定義域は０〜２５５としている。
【００３７】
いま、レンジオーバ回避処理部２５へ入力された係数行列を逆周波数変換処理部２６を用いて逆周波数変換したブロック画像をブロック画像Ａとする。図９の（ａ）はこれを示したものであり、例えば、丸で囲った部分のように、レンジオーバ部が発生する場合がある。ここで、逆周波数変換処理部２６は、図１０に示すように、Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行処をＭu×Ｎu×Ｔu逆周波数変換し、Ｍu×Ｎu×Ｔuサイズのブロック画像を出力するものである。
【００３８】
また、レンジオーバ回避処理部２５へ入力された係数行列を、ひとつは、直流成分をその最低値に変更し（たとえば、周波数変換をＤＣＴと仮定すると、blockuにおけるその値は−Ｌm×√（Ｍu×Ｎu×Ｔu）（Ｌmは輝度の中間値）、かつ、入力された座標集合２４のすべての座標の成分値をすべて０にしたものを、もうひとつは、直流成分値と入力された座標集合２４のすべての座標の成分以外の値をすべて０に変更したものを、逆周波数変換処理部２６を用いて逆周波数変換したＭu×Ｎu×Ｔuサイズのブロック画像を、それぞれ、ブロック画像Ｂ、ブロック画像Ｃとする。図９の（ｂ）はこれを示したものである。
【００３９】
レンジオーバ回避処理部２５では、ブロック画像Ａの画素で最大画素値より大きいもしくは最小画素値より小さいものが存在するときに限り、ブロック画像Ｂとブロック画像Ｃの対応する画素値それぞれを足し合わせ画像のすべての画素値が最小画素値と最大画素値の間に値を収まるように、ブロック画像Ｂの画素値を縮小・拡大することにより、レンジオーバ回避処理を施した情報多重化済み画像２７を得る。図９の（ｃ）はこれを示したものである。
【００４０】
ただし、ブロック画像Ｃにおいて、最小画素値より小さな画素値と最大画素値より大きな画素値が混在する場合は、上記レンジオーバ回避処理は適用できないため、情報多重化を行う際に、rangeの値を極端に大きな値にしないようにする
必要がある。
【００４１】
なお、レンジオーバ処理を行なわない場合には、座標バッファ２３を用意する必要はなく、また、図４において、周波数成分変更処理部１４から出力された情報多重化済みブロック周波数成分行列２２を、そのまま逆周波数変換処理部２６により逆周波数変換して、情報多重化済みブロック画像２７を出力する。
【００４２】
情報多重化処理部６では、以上の処理をすべてのブロック画像（block0，block1，・・・，blockw-1）に対して行い、順次、情報多重化済みブロック画像２７を画像再構成処理部７へ送る。
【００４３】
〈画像再構成処理部７〉
図１１は、画像再構成処理部７の概念図である。画像再構成処理部７は、入力された各情報多重化済みブロック画像２７をつなぎ合わせ、Ｍ×Ｎ×Ｔ時空間画像、さらには動画像に復元することで、情報多重化済み画像を得る。
【００４４】
次に、情報多重化済み画像からの情報抽出処理について述べる。図１２は、本発明による一実施例の情報抽出装置２８の入出力関係の概略図である。情報抽出装置２８は、原画像２９（主情報）と情報多重化済み画像３０（主情報＋副情報）と情報抽出パラメタ３１を入力として、画像３０内に多重化されていた副情報３２を出力する。情報抽出パラメタ３１は、情報多重化済み画像３０を作成した際に使用した情報多重化鍵の乱数の初期値と周波数成分変更幅からなるものである。
【００４５】
図１３は、情報抽出装置２８の一実施例の全体的構成図を示したものである。本情報抽出装置２８は、差分画像作成処理部３３と画像分解処理部３４と情報抽出処理部３５と副情報再構成処理部３６からなる。なお、原画像を用いずに、情報多重化済み画像のみを入力して情報抽出を行う場合には差分画像作成処理部３３は不要である。以下、各処理部について説明する。
【００４６】
〈差分画像作成処理部３３〉
図１４は差分画像作成処理部３３の概念図である。差分画像作成処理部３３は、原画像２９（［ｐ1x,y,z］とする）と情報多重化済み画像３０（［ｐ2x,y,z］とする）を入力とし画素値の中間値（Ｌm）を中心とした、差分画像３７（［ｐ2x,y,z−ｐ1x,y,z−Ｌm］）を出力する。
【００４７】
〈画像分解処理部３４〉
図１５は画像分解処理部３４の概念図である。画像分解処理部３４は、差分画像３７を入力とし、先の情報多重化装置１で用いた画像分解処理部５と同じ処理を行い、Ｍu×Ｎu×Ｔu（０≦ｕ≦ｗ−１）サイズのブロック差分画像３８を出力する。ここで、画像分解処理部３４は、画像分解処理部５で実装された、予め決定しておく分解方法と同じ方法で画像を分解する必要がある。
【００４８】
〈情報抽出処理部３５〉
図１６は、情報抽出処理部３５の詳細構成図を示したものである。情報抽出処理部３５は、情報抽出パラメタ３１とブロック差分画像３８を入力とし、各ブロック画像内から副情報を１ビットずつ抽出し、順次、副情報再構成処理部３６へ送る。以下、情報抽出処理部３５の動作について詳述する。
【００４９】
情報抽出パラメタ３１は入力パラメタ分解処理部３９へ、ブロック差分画像３８は、周波数変換処理部４０へ送られる。
【００５０】
入力パラメタ分解処理部３９は、情報抽出パラメタ３１を分解し、乱数の初期値４１と周波数成分変更幅４２を再構成して出力する。乱数の初期値４１は乱数生成処理部４３へ、周波数成分変更幅４２はブロック内情報抽出処理部４４へ、それぞれ送られる。
【００５１】
なお、原画像を用いて情報抽出を行う場合、情報抽出パラメタ３１は乱数の初期値のみであり、この場合は入力パラメタ分解処理部３９を用意する必要がなく、直接、乱数の初期値が乱数生成処理部４３へ送られる。
【００５２】
周波数変換処理部４０は、情報多重化処理部６で用いた周波数変換処理部９と同じ処理を行うもので、Ｍu×Ｎu×Ｔuサイズのブロック差分画像３８をＭu×Ｎu×Ｔu周波数変換し、このＭu×Ｎu×Ｔuサイズのブロック周波数成分行列４５をブロック内情報抽出処理部４４へ送る（図５参照）。
【００５３】
乱数生成処理部４３は、乱数の初期値４１を読み込み、それをもとに各１ビット情報抽出の処理毎に順次、乱数４６を生成し出力する。なお、この乱数生成処理部４３と情報多重化処理部６で用いた乱数生成処理部１３は、同じ乱数の初期値を入力としたとき、同順序で同じ乱数が出力するように実装する必要がある。
【００５４】
ブロック内情報抽出処理部４４は、Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列４５、乱数４６、周波数成分変更幅４２を入力し、１ビット副情報４９を抽出して出力する。図１７はブロック内情報抽出処理部４４の概略構成および処理の概念図を示したものである。
【００５５】
Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列４５は周波数成分バッファ４７に格納される。乱数４６は座標選択処理部４８に入力される。座標選択処理部４８は、周波数成分変更処理部１４で用いた座標選択処理部２０と同じ処理を行う。すなわち、座標選択処理部４８と座標選択処理部２０は、同じ乱数を入力したとき、同じ座標を出力するように実装する必要がある。
【００５６】
ブロック内情報抽出処理部４４は、Ｍu×Ｎu×Ｔuサイズのブロック周波数成分行列から、座標選択処理部４８が選択した座標に当たる係数の正負を判定することにより、１ビット副情報４９を抽出し出力する。情報抽出処理は、Ｍu×Ｎu×Ｔuサイズのひとつのブロック周波数変換行列に対してｎu回（ｎuは情報多重化の際にblockuに多重化された情報の個数である）行われ、順次、多重化されていた１ビット副情報が抽出される。
【００５７】
以下に、差分画像３７のｉ番目のＭ×Ｎ×Ｔサイズの時空間画像のｕ番目のブロック差分画像におけるｊ（０≦ｊ≦ｕ）個目のビット情報（ｂi,u,j∈｛０，１｝）の抽出処理について具体的に説明する。ただし、動画像３０に多重化されている副情報３２をｂ0ｂ1・・・ｂk-1とし、ブロック内情報抽出処理部４４に入力された周波数成分変更幅４２をrangeとする。
【００５８】
ブロック内情報抽出処理部４４では、座標選択処理部４８により選択された座標の周波数成分値ｃi,u,jに対して、
ｃi,u,jが正数の場合、ｂi,u,j＝１
ｃi,u,jが負数の場合、ｂi,u,j＝０
により情報抽出を行う。なお、多重化処理の実装方式により、正負の値に対する｛０，１｝の割り付けが決定される。
【００５９】
また、先の数１乃至数６で示した原画像の有無に関わらず情報抽出可能な情報多重化を行った画像が入力の場合には、原画像がある場合は上記の方法で、原画像がない場合は、図１３において、差分画像作成処理部３３を用いず、直接、情報多重化画像３０を画像分解処理部３４に入力してブロック画像に分解し、周波数変換処理部４０でブロック周波数成分行列への処理を行った後、
【００６０】
【数７】
を計算することにより、情報抽出を行うことができる。
【００６２】
〈副情報再構成処理部３６〉
図１８は副情報再構成処理部３６の処理概念図である。副情報再構成処理部３６は、ブロック画像内に多重化されていた副情報を１ビットずつ順次入力とし、複数回入力される各副情報ビットを多数決処理などの手法を用いることにより決定し、もとの副情報を再構成する情報抽出処理部３５での情報抽出処理の回数に伴い、多重化されていた副情報の各ビットの抽出回数が増加する。この繰り返し抽出される副情報の各ビットに多数決処理などを施すことで、抽出された副情報の信頼度が向上する。
【００６３】
副情報再構成処理部３６では、副情報の各１ビットが抽出される毎に副情報書き込みヘッダを予め決められた方法で制御する。この抽出処理をひとつのブロック周波数成分行列に対して、それの中に多重化されているビット数であるｎu回繰り返し、多数処理などを行うことで、ひとつのブロック周波数成分行列からの副情報再構成処理が終了する。
【００６４】
以上の処理をすべてのブロック画像（block0，block1，・・・，blockw-1）に対して行い、副情報が再構成される毎、もしくは、全動画像においてその処理が終了した後、画像から抽出された副情報３２を出力する。
【００６５】
次に、情報抽出装置２８での処理において、情報抽出速度を向上させる方法を以下に説明する。情報抽出装置２８における情報抽出処理部３５では、図１６に示したように、入力されるブロック差分画像３８を一旦、周波数変換処理部４０を用いてブロック周波数成分行列に変換していたが、この変換処理を行わず、情報多重化を行った周波数成分のみをブロック差分画像から直接計算することにより、計算量を軽減することができる。
【００６６】
図１９は、上記高速化を実現する情報抽出処理部３５´の構成図を示したものである。構成は、図１８の情報抽出処理部３５と基本的にほとんど同じで、違いは周波数変換処理部４０がないことと、ブロック内情報抽出処理部の入力が、ブロック周波数成分行列からブロック差分画像にかわったことである。ブロック内情報抽出処理部４４´の情報抽出処理自体も、図１７で説明したブロック内情報抽出処理部４４の動作と同様で、異なる部分は、ブロック差分画像３８を画像バッファに格納し、そのブロック画像の画素値を用いて、座標選択処理部が選択した座標にあたる周波数成分のみを計算するということだけであり、その係数値の符号を判定することにより１ビット副情報を抽出する方法などは同じである。
【００６７】
以上、本発明の一実施の形態を説明したが、以下のような変更や拡張が可能である。
【００６８】
(１) 情報多重化の際に用いるrangeは、ブロック画像の特徴を見て、個々のブロック毎に変化させてもよい。例えば、ブロック画像の画素値のエントロピーを計算して、その値によってrangeを変更するなどである。
【００６９】
(２) 多重化する副情報を誤り訂正符号化することにより、画像の劣化に費する副情報の劣化を抑えることができる。
【００７０】
(３) 各ブロック画像に多重化するビット分の副情報とは別に、多重化情報識別ラベルを同ブロック画像に情報多重化してもよい。これにより抽出情報の信頼度を得ることが可能である。
例えば、ラベル情報としてａ0ａ1・・・ａl-1とし、情報抽出を行い、得られたラベル情報部分と、本来のラベル情報とのハミング距離をｍ（ｍ＜ｌ）（ｌはエルである）とする。このとき、ラベル情報と同時に抽出された副情報の信頼度Ｓは、次のように計算できる。
【００７１】
【数８】
この式をもとに、各抽出ビットに重みをつけて副情報を再構成することにより、さらに情報抽出の精度が向上する。また、副情報が誤り訂正符号化されているものであれば、信頼度から、誤り訂正の可能性を判断することができる。また、ラベルの抽出精度を調べることにより、主情報である動画像の改竄事実の有無を検出することや、一部分切り出した画像についても、乱数の初期値を使った乱数の初期化により、情報抽出が可能である。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、原画像の有無にかかわらず、デジタル動画像に多重化された副情報を抽出することが可能である。しかも、情報多重化時に用いた鍵情報もしくは原画像がなければ、副情報の取り出しができないこと、副情報を多重化した変更周波数成分位置および周波数成分変更幅を工夫することにより、人間が知覚できないように情報多重化を行え、かつ、主情報（画像）の劣化による副情報（多重化情報）の劣化に対する強度を制御できること、影響し合わない程度であれば、別々のブロックサイズ分割方法を用いて、複数の情報を多重化することが可能であること、静止画像は動画像の時間軸方向の大きさが１であることから、静止画像に対しても適用可能な技術であること、誤り訂正符号を用いることにより、画像の圧縮・編集に対して、適切な耐性を持たせることができること、などの効果がある。
【００７４】
本発明は、画像がＹＵＶフォーマットのときの輝度成分のみを対象とするだけでなく、同アルゴリズムを色差成分にも適用することも可能である。また、画像フォーマットがＲＧＢについても同様であり、Ｒ，Ｇ，Ｂそれぞれに対して同アルゴリズムを適用することが可能である。これらの方法を適用すると、さらに多くの情報を多重化することが可能となり、また、それぞれの成分に多重化する情報を同一のものとすることにより、画像および多重化情報への改竄事実の有無の検出に用することなども可能である。
【図面の簡単な説明】
【図１】本発明による情報多重化装置の情報入出力関係の概略図である。
【図２】本発明による情報多重化装置の一実施例の全体的構成図である。
【図３】画像分解処理部の概念図である。
【図４】情報多重化処理部の詳細構成図である。
【図５】周波数変換処理部の概念図である。
【図６】副情報バッファの概略図である。
【図７】周波数成分変更処理部の概念図である。
【図８】座標バッファの概略図である。
【図９】レンジオーバ回避処理部の処理説明図である。
【図１０】逆周波数変換処理部の概念図である。
【図１１】画像再構成処理部の概念図である。
【図１２】本発明による情報抽出装置の入出力関係の概略図である。
【図１３】本発明による情報抽出装置の一実施例の全体的構成図である。
【図１４】差分画像作成処理部の概念図である。
【図１５】画像分解処理部の概念図である。
【図１６】情報抽出処理部の詳細構成図である。
【図１７】ブロック内情報抽出処理部の概念図である。
【図１８】副情報再構成処理部の概念図である。
【図１９】情報抽出処理部の他の構成図である。
【符号の説明】
１ 情報多重化装置
２ 原画像（主情報）
３ 情報埋め込みパラメタ
４ 情報多重化済み画像
５ 画像分解処理部
６ 情報多重化処理部
７ 画像再構成処理部
２８ 情報抽出装置
２９ 原画像
３０ 情報多重化済み画像
３１ 情報抽出パラメタ
３２ 副情報
３３ 差分画像作成処理部
３４ 画像分解処理部
３５，３５´ 情報抽出処理部
３６ 副情報再構成処理部
Claims (3)
- デジタル動画像を複数のブロック画像に細分化し、ブロック画像毎に周波数領域への変換を行い、その周波数成分の値を多重化する別の副情報に基づいて変更して、デジタル動画像にその副情報を多重化する情報多重化方法において、
周波数成分の値を量子化して得られる量子化値に多重化する情報の値に応じて論理値（０／１）の割り付けをあらかじめ行うと共に、多重化する情報の値に応じて周波数成分の増減方向をあらかじめ定め、
多重化する情報の値にもとづく増減方向かつ多重化する情報の値に応じて割り付けられた論理値になる最も近い周波数成分の値の量子化値に、周波数成分の値を変更することを特徴とする情報多重化方法。 - 請求項１記載の情報多重化済みのデジタル動画像内から別の副情報を抽出する情報抽出方法であって、
情報多重化済みのデジタル動画像と原デジタル動画像との差分画像を生成し、前記差分画像を複数のブロック差分画像に細分化し、該ブロック差分画像を周波数領域へ変換し、周波数成分値の正負を判定することにより副情報を抽出することを特徴とする情報抽出方法。 - 請求項１記載の情報多重化済みのデジタル動画像内から別の副情報を抽出する情報抽出方法であって、
情報多重化済みデジタル動画像を複数のブロック画像に細分化し、該ブロック画像を周波数領域へ変換し、多重化時と同じ値で周波数成分値を量子化し、量子化値に割り付けられた論理値（０／１）を判定することにより副情報を抽出することを特徴とする情報抽出方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16446697A JP3589832B2 (ja) | 1997-06-20 | 1997-06-20 | 情報多重化方法及び情報抽出方法 |
| US09/014,159 US6185312B1 (en) | 1997-01-28 | 1998-01-27 | Method for embedding and reading watermark-information in digital form, and apparatus thereof |
| EP98300609A EP0855681B1 (en) | 1997-01-28 | 1998-01-28 | Method of embedding watermark-information into digital data |
| DE69834063T DE69834063T2 (de) | 1997-01-28 | 1998-01-28 | Verfahren zum Einbetten eines Wasserzeichens in Digitaldaten |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16446697A JP3589832B2 (ja) | 1997-06-20 | 1997-06-20 | 情報多重化方法及び情報抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1118064A JPH1118064A (ja) | 1999-01-22 |
| JP3589832B2 true JP3589832B2 (ja) | 2004-11-17 |
Family
ID=15793723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16446697A Expired - Lifetime JP3589832B2 (ja) | 1997-01-28 | 1997-06-20 | 情報多重化方法及び情報抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3589832B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6704431B1 (en) | 1998-09-04 | 2004-03-09 | Nippon Telegraph And Telephone Corporation | Method and apparatus for digital watermarking |
-
1997
- 1997-06-20 JP JP16446697A patent/JP3589832B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1118064A (ja) | 1999-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4559622B2 (ja) | 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮 | |
| EP0933920B1 (en) | Data processing apparatus and method and storage medium | |
| US7912324B2 (en) | Orderly structured document code transferring method using character and non-character mask blocks | |
| JP2002325170A (ja) | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 | |
| JPH10243398A (ja) | 動画像エンコードプログラムを記録した記録媒体及び動画像エンコード装置 | |
| US20040013312A1 (en) | Moving image coding apparatus, moving image decoding apparatus, and methods therefor | |
| CN101105857A (zh) | 一种基于预测和压扩技术的高容量可逆水印方法 | |
| KR20070023695A (ko) | 값들의 블록들을 인코딩하는 방법 및 디바이스 | |
| US10867412B2 (en) | Data compression by means of adaptive subsampling | |
| US20070064275A1 (en) | Apparatus and method for compressing images | |
| US8699746B2 (en) | Watermarking scheme for digital video | |
| US20220335560A1 (en) | Watermark-Based Image Reconstruction | |
| JP2006081169A (ja) | デジタルデータにウォータマークを付与するための方法及び装置 | |
| JP3534577B2 (ja) | 情報多重化方法、情報抽出方法及びそれらの装置 | |
| CA2523345A1 (en) | Watermarking | |
| Xia et al. | Visual sensitivity-based low-bit-rate image compression algorithm | |
| JP3589832B2 (ja) | 情報多重化方法及び情報抽出方法 | |
| JP2000175161A (ja) | 動画像に対する透かしデータ埋め込み装置および検出装置 | |
| EP0978200A2 (en) | Method and device for coding a sequence of pictures | |
| US20050089240A1 (en) | Applying a tone scale function to a digital image | |
| JP3585697B2 (ja) | 情報抽出方法及びその装置 | |
| JP2002010085A (ja) | 画像処理方法 | |
| KR19990067355A (ko) | 동작추정방법 | |
| KR20090072903A (ko) | 하프톤 영상 인코딩 및 디코딩 방법 및 장치 | |
| JPH10210435A (ja) | 情報多重化方法、情報抽出方法及びそれらの装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040629 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040817 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040818 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 9 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |