JP4165752B2

JP4165752B2 - 画像データへの秘匿データ挿入方式および秘匿データ検出方式

Info

Publication number: JP4165752B2
Application number: JP2003341207A
Authority: JP
Inventors: 哲也松岡; 寛之河尻; 清田中; 康之中島; 広昌柳原
Original assignee: Shinshu University NUC; KDDI R&D Laboratories Inc
Current assignee: Shinshu University NUC; KDDI Research Inc
Priority date: 2003-09-30
Filing date: 2003-09-30
Publication date: 2008-10-15
Anticipated expiration: 2023-09-30
Also published as: JP2005109918A

Description

本発明は画像データへの秘匿データ挿入方式および秘匿データ検出方式に関し、特に、画質劣化の防止を考慮しつつ多くの秘匿データを画像データに挿入する秘匿データ挿入方式および秘匿データ検出方式に関する。

本発明に関わる従来技術として、特開２００３−２３５０４０号公報、特開２００３−２３５０４０号公報等に記されたものがある。

前記特開２００３−２３５０４０号公報には、入力画像について近接する画素の平均値に対して大小の値を透かし値として与えている。すなわち、図１７に示すように、MPEGデータを復号器９１で復号し、近傍平均画素利用電子透かし挿入部９２で、近傍画素の平均値に電子透かしデータ９３を挿入し、符号化器９４で符号化するようにしている。この従来技術では、圧縮された動画像データを一旦復号して画像データに戻し、透かしデータを挿入して再圧縮しているため、再符号化に伴う画質劣化や処理負荷の大幅な増加が起きたり、復号した画像を一時記録するための大規模な記録容量が必要となったりする。

前記特開２００３−２３５０４０号公報には、マクロブロック（１６×１６）に１つ規定される量子化スケールの値を透かし情報として利用し、該値が偶数か奇数かにより、透かし情報を「１」か「０」として規定することが述べられている。この場合、マクロブロックにつき１ビットの情報のため、情報量が限られる点が問題点として挙げられる。また、量子化スケールを１つ変更することにより符号化情報量が大幅に増減する可能性があるため、固定ビットレートで符号化する際に情報量の制御が困難であることや圧縮率がマクロブロック単位で最適値から変更されるため、マクロブロック単位で画質が変動して主観的な画質劣化を発生させる可能性がある。また、本方式は圧縮時に挿入することは可能であるが、圧縮された画像データへの挿入は画像全体の圧縮率を再度変更することになるため困難といえる。

次に、動画像再生時にテロップや写真等の別のメディアを同期して表示する手段として、W3C（World Wide Web Consortium）で標準化されているSMIL（Synchronized Multimedia Integration Language）記述を利用することができる。図１８は、該SMIL記述を利用した表示例を示している。この記述を用いることにより、例えば、動画像を再生中に、ある時刻（ｔ＝ｎ〜ｍ）に特定の場所にテロップなどを画面に表示することが可能である。ただし、この場合は、１．動画ファイルと、２．テロップ情報を格納したテキストファイルのほかに、３．これらの動作を記述するSMIL記述ファイルが必要になる。このため、メディアの数が多くなるとファイル数が増加して扱いが複雑になるという問題が生じる。
特開２００３−２４４４２３号公報特開２００３−２３５０４０号公報

本発明の目的は、前記した従来技術の問題点を解決し、秘匿データを圧縮された画像データに効率的に挿入する秘匿データ挿入方式および秘匿データ検出方式を提供することにある。

前記した目的を達成するために、本発明は、画像データへの秘匿データ挿入方式であって、変換符号化を用いた圧縮画像データを部分復号する手段と、部分復号データから、各変換ブロックの成分である量子化変換係数を抽出する手段と、該量子化変換係数をグループ化された部分領域に分割し、該部分領域ごとに１ビットの秘匿データを埋め込む手段と、該秘匿データが埋め込まれた画像データを再部分符号化する手段とを具備し、前記秘匿データを埋め込む手段は、前記部分領域の分割対象であるブロック内領域を前記量子化変換係数の低周波成分から非零最大周波数成分までの領域とし、前記部分領域の全エネルギーを秘匿強度値で除算して量子化代表値を求め、前記秘匿データに応じて該量子化代表値を偶数化、奇数化し、該偶数化、奇数化に伴う前記部分領域の全エネルギーの変化を各量子化変換係数の重み付けに反映し、該重み付けにより前記各量子化変換係数を変更するようにした点に第１の特徴がある。

また、秘匿データが挿入された画像データから秘匿データを検出する秘匿データ検出方式であって、量子化変換係数復号段階で、秘匿データが挿入された圧縮画像データから量子化変換係数と秘匿強度値を抽出する手段と、変換ブロック内の量子化変換係数をグループ化された部分領域に分割する手段と、前記部分領域内の量子化変換係数のエネルギー和を、前記秘匿強度値で除算することにより得られた値の偶数、奇数により、前記秘匿データのビットデータを算定する秘匿データ算出部とを具備した点に第２の特徴がある。

本発明によれば、圧縮画像データを完全に復号せずに部分復号するだけで、秘匿データを圧縮された画像データに効率的に挿入することができるようになる。

また、部分復号された変換量子化係数を用いて係数のグループ化を行い、各グループに対して秘匿データを挿入し、部分符号化して秘匿データを挿入した圧縮画像データを生成することができる。秘匿データは各８×８ブロックに複数挿入することができるため、従来に比べて高能率でデータ挿入することが可能である。例えばMPEG-1方式でSIF(352 pel × 240 line)、1.2Mbpsで符号化した動画像データに対して、約2kbps程度の秘匿データを画質を損なうことなく、高速に挿入することができる。

また、１ブロックにつき１または複数挿入された秘匿データを効果的に検出することができるようになる。

以下に、図面を参照して、本発明を詳細に説明する。図１は本発明の一実施形態の圧縮画像データに秘匿データを挿入する方式の要部を示すブロック図である。

圧縮画像データは部分復号部１４で部分的に復号される。部分復号部１４から得られる量子化変換係数ａは秘匿データ挿入部１１に入力され、一方秘匿データ１２が秘匿データ挿入部１１へ入力される。秘匿データ挿入部１１は、後述する方法で前記量子化変換係数ａに該秘匿データを挿入する。秘匿データ挿入後の量子化変換係数ｂは部分符号化部１５で部分符号化され、秘匿データ挿入圧縮画像データとして出力される。なお、部分復号部１４から得られる符号化情報も秘匿データ挿入部１１に入力されるが、秘匿データの挿入とは関係がないので説明を省略する。

図２はMPEGやJPEG方式で圧縮された動画像データや画像データに秘匿データを挿入する方式の要部を示すブロック図である。

MPEG(JPEG)データは、VLD(可変長復号部)に入力され、部分的に復号される。秘匿データ挿入部１１は、図１で説明したのと同様に、後述する方法で前記量子化変換係数ａに秘匿データ１２を挿入する。秘匿データ挿入後の量子化変換係数ｂはVLC（可変長符号部）１３で部分符号化され、秘匿データ挿入MPEG(JPEG)データとして出力される。

図３は秘匿データ挿入部１１の詳細な機能を示すブロック図である。該秘匿データ挿入部１１は、量子化変換係数抽出部３１、量子化変換係数グループ化部３２、重み係数決定部３３、および量子化変換係数変更部３４から構成されている。

以下、前記量子化変換係数抽出部３１、量子化変換係数グループ化部３２、重み係数決定部３３、および量子化変換係数変更部３４の機能を、MPEGを例にとって説明する。なお、本発明はMPEGに限定されないことは勿論である。

量子化変換係数抽出部３１では、VLD１０から得られる量子化変換係数の内、AC成分を図４(a)に示すような低周波成分から高周波成分に向かってジグザグスキャン順に並べる(A（1）,A（2）,A（3）,・・・，A（9））。なお、スキャン順は圧縮のモードによって縦方向のスキャンなど異なる場合があるが、その場合は指定されたスキャン順に並べる。８×８DCTではAC成分は図５のように６３個の係数になる。図４(a)のA（１）〜A（９）はAC成分の量子化変換係数を示すもので、A（９）が非零係数でA（10）からA（63）までは零係数の場合を示す。また、A（1）〜A（8）は非零または零のいずれの係数でも構わない。

並べられた量子化変換係数は量子化変換係数グループ化部３２で部分領域に分割され、G個のグループにグループ化される。グループ化は低周波から高周波に向けてまとまった単位で行う。例えば、図４(b)に示すようにジグザグスキャン順に３成分ずつグループ化（グループ化例１）したり、図４(c)に示すようにジグザグスキャン順に一定の間隔で成分をサンプリングして（図示の例では３個おき）グループ化（グループ化例2)したりすることができる。

このグループ化の目的は、各グループに1ビットの秘匿データを埋め込むためであり、これにより１ブロックに複数ビットの秘匿データを埋め込むことができるようになる。なお、グループ化対象はすべてのAC係数を対象にすることもできるが、図６に示されているように、スキャン順に並べた量子化変換係数の最後の非零係数A(en)までの係数のみを対象にすることにより、より効率的に秘匿データを挿入することが可能になる。また、グループ数Gについては最後の非零係数までの係数の個数en（図６の例では、en＝１８）に依存して決定することができる。

例えば、最後の非零AC係数までの個数enが小さい場合、当該ブロックに低周波成分のみ存在することになり、係数変更すると画質劣化の可能性がある。このため、G値を小さくし、逆にenが大きい場合は高周波まで存在するためG値を大きく設定することが可能である。例えばen＜６ならばG＝０、７≦en＜１０ならばG＝１、１１≦ en＜１５ならばG＝２、１６≦ en＜２１ならばG＝３等と設定することが可能である。

図４(b)に示されるグループ化例１の場合、周波数帯域別のグループ化となるため、帯域別にデータ挿入強度を調整することができる。なお、周波数帯域は図５のようなスキャン順の帯域として考えることが可能である。上記データ挿入強度については、例えば低周波係数は秘匿データ挿入による画質への影響が大きいために挿入強度を低くし、逆に高周波係数は画質への影響が少ないため、挿入強度を高くすることができる。具体的には各帯域別に重み付けを変更することでこのような調整が可能である。

例えば、スキャン順の量子化変換AC係数をA(1),A(2),・・・,A(i),・・・,A(en)とすると、各グループの係数とスキャン順の係数との間に、下記の式が成り立つ。

AG1(j,k)=A((j-1)*G+k) (1)

ここで、AG1(j,k)は各グループの係数を示し、jはグループ番号（j=1,2,・・・,G）、kはグループ内の係数番号（k=1,2,・・・,(en/G + 1)）である。各帯域の重み付けはWG1(j)とすることができる。

図４(c)に示されるグループ化例２の場合、各グループでいくつかの周波数帯域が混在するため、グループ内の係数で低周波から高周波にかけて重みを変更することにより挿入強度を調整することができる。各グループの係数とスキャン順の係数との間に、下記の式が成り立つ。

AG2(j,k)=A((k-1)*G+j) (2)

ここで、AG2(j,k)は各グループの係数を示し、jはグループ番号（j=1,2,・・・,G）、kはグループ内の係数番号（k=1,2,・・・,(en/G + 1)）である。また、各帯域,各係数位置の重み付けはWG2(j,k)とすることができる。

次に、図３の重み係数決定部３３では重み付け係数WGを決定する。例えばWG1(j)の場合、低周波（例えばj=0,1）ではWG1(j)=0とし, 高周波になるに従いWG(j)=1,2と設定することができる。また、WG2(j,k)の場合、j,kいずれも小さい場合は低周波となり、j,kが大きくなるに従い高周波成分となるため、WG1の場合と同様に低周波から高周波にかけて重み付けを大きくすることが可能である。

また、量子化係数の値に応じて重み付けを変更することも可能である。特に係数が零の場合は重み付けの効果は低いため、意図的に低い値を設定することにより、秘匿データ挿入による零成分から非零成分に変更することがなくなり、画質を保持しかつデータ量の増大化を防ぐことが可能となる。

図６(b)は、最後の非零係数が18番で分割したグループ数G＝３の場合について前記グループ化例２のグループ分割方式を用いてグループ分割し、帯域と係数値に合わせた重み付けを行った例である。

図示の例では、例えばグループAG2(1,k)の各係数（１０，４，３，２，２，０）に対する重み付けWG2(1,k)は（０，０，１，２，２，１）とされている。この例から、低周波から高周波にかけて重み付けが大きくされていることがわかる。なお、最後の係数０は高周波であるにかかわらずこれに対する重みを１にしたのは、零係数に対する重み付けの効果は低いため、意図的に低い値を設定するようにしたためである。また、WG2(3,k)では、WG2(1,k)に比べて重み付けが大きくなっていることが分かる。

次に、重み付けを行った量子化変換係数を用いて秘匿データの挿入を行う。図３の量子化変換係数変更部３４では、秘匿データの値に合わせて各グループ内の量子化変換係数を変更する。以下に、図７を参照して説明する。

秘匿データ１２が０（Sk＝０）の場合、量子化代表値Q(j)を近傍の偶数Q’(j)に変更し、これに合わせて各量子化変換係数を変更する。一方、秘匿データ１２が１（Sk＝１）の場合、量子化代表値Q(j)を近傍の奇数Q’(j)に変更し、これに合わせて各量子化変換係数を変更する。

ここで、量子化代表値Q(j)は、量子化変換係数のグループ内エネルギーE(j)と秘匿強度ｍを用いて以下のように表すことができる。

Q(j) = E(j) / m (3)

なお、Q(j)は実数である。また、E(j)としてはグループ内量子化変換係数の絶対値和を用いることが可能である。また、秘匿強度ｍは１以上の整数として、大きくなるに従い秘匿強度を高くすることができる。

図示の例では、グループ内エネルギーE(1)＝２１、秘匿強度ｍ＝４の場合であるので、量子化代表値Q(1)＝５．２となる。そこで、秘匿データが０（Sk＝０）の場合には、量子化代表値Q(1)を偶数の６に変更し、秘匿データが１（Sk＝１）の場合には、量子化代表値Q(1)を奇数の５に変更する。

次に、Q(j)からQ’(j)に変更されることによるグループ内のエネルギーの変化ΔEは以下の式で求めることができる。

ΔE＝ Q’(j) *ｍ−E(j)

このエネルギーの変化を各量子化変換係数に反映することによってデータ秘匿を実現することが可能となる。

AG2’(j,k) =AG2(j,k)＋ ΔE * WG2(j,k) (4)

これにより、エネルギーの変化を重み付きで各量子化変換係数に反映して変更することができる。なお、整数演算時の切捨て等でエネルギー変化量を反映できない場合は四捨五入等の処理を用いてエネルギー変化量を反映させる。

図７の例では、秘匿データが０（Sk＝０）の場合には、ΔE＝３となる。このエネルギーの変化を各量子化変換係数に重み付けに反映すると［ΔE× WG2(１,k)］＝［０，０，１／２，１，１，１／２］となる。量子化変換係数が整数でない場合は、四捨五入または切り捨てを行い、整数にして前記エネルギーの変化を重み付けに反映する。そうすると、［ΔE× WG2(１,k)］＝［０，０，１，１，１，０］とすることができる。次いで、このエネルギーの変化を各量子化変換係数に反映すると、各量子化変換係数AG2’(1,k)は、(１０,4,４,３,３,０)となる。このAG2’(1,k)＝(１０,４,４,３,３,０)は、元の量子化変換係数AG2(1,k)=(１０,４,３,２,２,０)と比べると、第３，４，５項がそれぞれ変更されていることがわかる。

秘匿データが１（Sk＝１）の場合には、エネルギーの変化ΔE＝−１となる。以下、前記と同様な処理がなされ、このエネルギーの変化を各量子化変換係数に反映すると、各量子化変換係数AG2’(1,k)は、(１０,４,３,２,１,０)となる。このAG2’(1,k)＝(１０,４,３,２,１,０)は、元の量子化変換係数AG2(1,k)=(１０,４,３,２,２,０)と比べると、第５項のみが変更されていることがわかる。

次に、これら変更された量子化変換係数はVLC１３で符号化され、秘匿データ挿入MPEG（JPEG)データとして出力される。

本実施形態による方式では、部分復号処理としてVLD処理、部分符号化処理としてVLC処理だけが秘匿データ挿入処理のほかに圧縮データの処理として必要なため、非常に高速な挿入処理が可能である。特に復号処理で必要となるIDCT、動き補償処理や符号化処理で必要となるDCT、動き補償予測処理はいずれも処理負荷が大きいが、これらの処理のいずれも必要ないことが特徴として挙げられる。

また、グループ数Gを変化させることによりブロック単位で挿入可能なデータ量を決定することができる。このため、各ブロック単位に複数のグループを設定することにより、各ブロック（８×８）に対して任意の複数ビットの秘匿データを挿入することが可能になる。

また、重み付け係数を変化させることにより画質への影響を制御することが可能である。また、秘匿データ強度ｍが大きくなるに従いエネルギーの変化ΔEも大きくなり、量子化変換係数の変更値も大きくなる。この結果、データエラーや画面コピー、別の圧縮率へ変換するトランス符号化等の画像変更、劣化に対する耐性も強化され、より強固な検出を行うことが可能となる。

なお、秘匿データ強度ｍはあらかじめ決定した固定値を利用するほか、ブロック単位、マクロブロック単位、フレーム単位に変更することも可能であるが、その場合、別途秘匿データ強度ｍの値を圧縮データのヘッダ等（フレームヘッダ、マクロブロックヘッダ等）で記述する必要がある。

また、強度ｍの値は、フレームの最初のブロック、各マクロブロックの最初のブロックあるいはブロックの秘匿データとして埋め込むことも可能である。この場合、あらかじめ、強度ｍの値とその他のデータの組込み構造を決めておく必要がある。例えば、各ブロックの最初の秘匿データが“1”で始まる場合はその後にｍの値を示すデータが続き、その後にユーザ指定の秘匿データが続く等の規則を決めておくことが可能である。

さらに、秘匿データ埋め込み自体のフラグ、すなわち秘匿データ埋め込み有りを示すフラグも、フレームの最初のブロック等あるいは各マクロブロックやブロックに秘匿データとして埋め込むことが可能である。この場合も上記の強度ｍの値と同様にデータ構造を決めておく必要がある。例えば、秘匿データフラグとして“FFFF”などのフラグを指定しておき、このコードが秘匿データから検出できた場合のみ秘匿データ抽出処理を行う。また、他のデータとの誤認識を防ぐために、コード長を長くすることや複数のブロック、領域の埋め込みコードを利用することなどが考えられる。また、このフラグを圧縮データのヘッダ等（フレームヘッダ等）で記述することも可能である。

図８は、JPEGなどの画像符号化装置に、本発明の秘匿データ挿入機能を具備させた装置の構成を示すブロック図である。

画像データはDCT部５１で直交変換され、量子化部Q５２に入力する。該量子化部Q５２で量子化された量子化データは秘匿データ挿入部１１に入力される。秘匿データ挿入部１１は、前記した方法により秘匿データ１２を量子化データに挿入する。秘匿データ１２を挿入された量子化データは、VLC１３で可変長符号化され、秘匿データ挿入圧縮画像データとして出力される。なお、量子化器Q５２はレート制御部５４にてVLC後のビット量から符号化量の制御が行われる。

図９は、MPEGなどの動画像符号化装置に、秘匿データ挿入機能を具備させた装置の構成を示すブロック図である。

動画像符号化装置の動作は周知であるので簡単に説明すると、動画像データは予測信号減算器５０と動き補償器（MC)６４に入力する。動き補償器（MC)６４では、入力動画像データとフレームメモリ（Mem)６３から入力された参照画像とで求められた動きベクトルによって指定される画像データをフレームメモリ（Mem)６３から求め、動き補償予測データとして予測信号減算器５０および局所復号加算器に出力される。予測信号減算器５０で入力画像データから前記動き補償予測データが減算され、その予測誤差は高い符号化効率を得るためにDCT51に入力される。DCT５１で直交変換されたデータは量子化部Q５２に入力し、量子化された後、秘匿データ挿入部１１に入力される。秘匿データ挿入部１１は、前記した方法により秘匿データ１２を量子化データに挿入する。秘匿データ１２を挿入された量子化データは、VLC１３で可変長符号化され、秘匿データ挿入圧縮動画像データとして出力される。量子化器Q５２はレート制御部５４にてVLC後のビット量から符号化量の制御が行われる。また、秘匿データ１２を挿入された前記量子化データは、逆量子化部（IQ)６１で逆量子化され、さらに逆DCT部（IDCT)６２で逆DCTされ前記局部復号加算器にはいる。

図８、図９の構成によれば、符号化と同時に秘匿データの挿入を効率的に行うことができるようになる。

図10は、秘匿データ挿入圧縮画像データを復号して秘匿データと画像データを取得するためのJPEG対応の装置の構成を示すブロック図である。

前記のようにして秘匿データが挿入された圧縮画像データは、可変長復号器（VLD)10に入力する。可変長復号器（VLD)10で部分的に復号された画像データは秘匿データ抽出部７１に入力し、秘匿データを抽出する。抽出された秘匿データは、秘匿データ７２として出力される。該秘匿データ抽出部７１の機能および動作については、図１２、図１６等を参照して後述する。秘匿データ抽出部７１を経た画像データは逆量子化部（IQ)６１で逆量子化され、さらに逆DCT62で逆DCTされ、画像データとして出力される。

図１１は秘匿データ挿入圧縮動画像データを復号して秘匿データと画像データを取得するためのMPEG対応の装置の構成を示すブロック図である。図１０と異なるところは、動き補償器（MC)６４とフレームメモリ６３と加算器を設けた点であり、秘匿データを抽出する所は図１０と同じであるので、詳細な説明は省略する。

ここで、前記秘匿データ抽出部７１の機能を、図１２を参照して説明する。

図示されているように、秘匿データ抽出部７１は、量子化変換係数抽出部８１と、量子化変換係数グループ化部８２と、秘匿データ算出部８３から構成される。前記可変長復号器（VLD)10で部分的に復号された画像データは量子化変換係数抽出部８１で秘匿データ（透かしビット）の入った量子化変換係数を抽出される。次いで、量子化変換係数グループ化部８２で、図４で説明したのと同様のグループ化が行われる。秘匿データ算出部８３は、各グループに挿入されている秘匿データを、前記(3)式と同様の演算により算出する。

例えば、図１３に示すように、あるグループの量子化変換係数AG2(1，ｋ）＝（１０，４，４，３，３，０）の場合には、これらの係数の総和であるグループ内エネルギーE(1)＝２４を、埋め込み強度ｍ＝４で割り算（除算）し、量子化代表値Q(１)を求める。そして、該量子化代表値Q(１)の整数部分が偶数か奇数かを判別する。この例においては、商は６．０であり、整数部分は偶数であるので、秘匿データ（透かしビット）としてSk＝０を算出する。一方、グループの量子化変換係数AG2(1，ｋ）＝（１０，４，３，２，１，０）の場合には商は５．０となる。したがって、量子化代表値Q(１)の整数部分は奇数であるので、秘匿データ算出部８３は、秘匿データ（透かしビット）としてSk＝１を算出する。

次に、図１４は秘匿データ挿入圧縮動画像データから動画像再生と秘匿データ抽出を行って同期表示するための装置のブロック図を示す。

この装置は、前記秘匿データ挿入圧縮動画像データを復号する復号部８４と、秘匿データ抽出部７１で抽出された秘匿データが入力される表示部８５からなる。ここに、復号部８４は、前記図１１の可変長復号部１０，逆量子化部６１，逆DCT６２等を代表している。この表示部８５には、復号部８４で復号した画面データと秘匿データ抽出部７１で抽出された秘匿データを入力して、再生画面と同期した秘匿データ表示を行う。

図１５は該秘匿データ表示の２つの例を示す。(1)図では注目オブジェクト以外をマスクするための領域情報（マスク情報）を各ブロックの秘匿データを利用して表現し、表示する際に注目物体以外は例えば黒色などで塗りつぶして表示することにより、注目物体のみの表示を行うことができる。秘匿データ抽出機能のない復号装置ではすべての映像が再生させるのに対して、秘匿データ抽出機能付きの復号装置では(1)図のように必要な物体だけを表示することが可能となる。

図１５の(2)図は、秘匿データをメディアデータとした例であり、従来別ファイルに格納したSMILなどの記述言語を用いてテロップ表示していたものを、秘匿データを用いることにより動画ファイル１つで同様の機能を実現するものである。秘匿データにテロップ情報と表示位置などの情報を挿入することにより、表示画面に同期してテロップ等の表示を行うことができる。なお、前記メディアデータは、テキストデータ（テロップなど）に限定されず、動画像や静止画像も含めることができる。

また、前記メディアデータは、復号する画面に関連する物体情報（物体名、属性、説明など）であるリンク情報とすることもできる。

図1６は、秘匿データ抽出部７１（図１０、図１１参照）の処理の一例の概要を示すフローチャートである。ステップＳ１では秘匿データフラグ抽出処理を行い、ステップＳ２で秘匿データフラグの検出を行う。該秘匿データフラグが検出された場合はステップＳ３に進んで秘匿データ抽出処理を行う。具体的には、例えば図１３の処理を行う。続いて、復号部で行われるステップＳ４の処理に進む。一方、秘匿データフラグが検出されなかった場合は、秘匿データ抽出処理を行わずステップＳ４の復号処理に進む。

本発明の一実施形態の要部の構成を示すブロック図である。本発明をMPEGで実現する場合の要部の構成を示すブロック図である。図１、図２の秘匿データ挿入部の詳細を示すブロック図である。量子化変換係数のグループ化の説明図である。ジグザグスキャンによるAC成分のインデックス番号と周波数帯域分割の一例を示す図である。量子化変換係数のグルーピングと、グループ内合計エネルギーの算出および秘匿データ挿入重み付け（重みベクトル）の一例の説明図である。データ埋め込み規則と係数値の修正の具体例を示す図である。 JPEGなどの画像符号化装置に、本発明の秘匿データ挿入機能を適用した場合の要部構成のブロック図である。 MPEGなどの画像符号化装置に、本発明の秘匿データ挿入機能を適用した場合の要部構成のブロック図である。秘匿データ挿入圧縮画像データを復号して秘匿データと画像データを取得するためのJPEG対応の装置の構成を示すブロック図である。秘匿データ挿入圧縮画像データを復号して秘匿データと画像データを取得するためのMPEG対応の装置の構成を示すブロック図である。図１０、図１１の秘匿データ抽出部の詳細を示すブロック図である。秘匿データの算出例を示す図である。秘匿データ挿入圧縮動画像データから動画像再生と秘匿データ抽出を行って同期表示するための装置のブロック図である。秘匿データ表示の２つの例を示す図である。秘匿データ抽出部の処理の一例の概要を示すフローチャートである。従来の電子透かし挿入機能を有する装置の構成を示すブロック図である。従来のSMILなどの記述言語を用いて表示したテロップ表示の一例を示す図である。

符号の説明

１１・・・秘匿データ挿入部、１２・・・秘匿データ、１４・・・部分復号部、１５・・・部分符号化部、３１・・・量子化変換係数抽出部、３２・・・量子化変換係数グループ化部、３３・・・重み係数決定部、３４・・・量子化変換係数変更部、７１・・・秘匿データ抽出部、７２・・・秘匿データ、８１・・・量子化変換係数抽出部、８２・・・量子化変換係数グループ化部、８３・・・秘匿データ算出部、８４・・・復号部、８５・・・表示部。

Claims

画像データへの秘匿データ挿入方式であって、
変換符号化を用いた圧縮画像データを部分復号する手段と、
部分復号データから、各変換ブロックの成分である量子化変換係数を抽出する手段と、
該量子化変換係数をグループ化された部分領域に分割し、該部分領域ごとに１ビットの秘匿データを埋め込む手段と、
該秘匿データが埋め込まれた画像データを再部分符号化する手段とを具備し、
前記秘匿データを埋め込む手段は、前記部分領域の分割対象であるブロック内領域を前記量子化変換係数の低周波成分から非零最大周波数成分までの領域とし、
前記部分領域の全エネルギーを秘匿強度値で除算して量子化代表値を求め、前記秘匿データに応じて該量子化代表値を偶数化、奇数化し、該偶数化、奇数化に伴う前記部分領域の全エネルギーの変化を各量子化変換係数の重み付けに反映し、該重み付けにより前記各量子化変換係数を変更することを特徴とする画像データへの秘匿データ挿入方式。
請求項１に記載の画像データへの秘匿データ挿入方式において、
前記部分領域は、周波数帯域別に分割されることを特徴とする画像データへの秘匿データ挿入方式。
請求項２に記載の画像データへの秘匿データ挿入方式において、
前記部分領域は、各周波数帯域ごとにサンプリングして分割されることを特徴とする画像データへの秘匿データ挿入方式。
請求項１ないし３のいずれかに記載の画像データへの秘匿データ挿入方式において、
前記グループ化する部分領域数は、前記量子化変換係数の非零最大周波数成分の位置の大小に合わせて、増減させることを特徴とする画像データへの秘匿データ挿入方式。
請求項１ないし３のいずれかに記載の画像データへの秘匿データ挿入方式において、
前記低周波数成分から前記非零最大周波数成分までを並べる順序は、画像符号化で用いられている量子化変換係数のスキャン順を用いることを特徴とする画像データへの秘匿データ挿入方式。
請求項１ないし５のいずれかに記載の画像データへの秘匿データ挿入方式において、
前記各量子化変換係数の重み付けは、前記部分領域内の高周波の量子化変換係数が大きくなるにつれて大きく反映されることを特徴とする画像データへの秘匿データ挿入方式。
請求項６に記載の画像データへの秘匿データ挿入方式において、
前記各量子化変換係数の重み付けは、前記部分領域内の量子化変換係数の値が小さいほど小さく反映されることを特徴とする画像データへの秘匿データ挿入方式。
請求項１ないし７のいずれかに記載の画像データへの秘匿データ挿入方式において、
前記秘匿データを埋め込む手段は、秘匿データの０、１に応じて、前記量子化代表値の偶数、奇数化を行って秘匿データ埋め込みを行うことを特徴とする画像データへの秘匿データ挿入方式。
請求項１ないし８のいずれかに記載の画像データへの秘匿データ挿入方式において、
前記全エネルギーとして、前記部分領域のすべての量子化変換係数の絶対和を用いることを特徴とする画像データへの秘匿データ挿入方式。
請求項１ないし９のいずれかに記載の画像データへの秘匿データ挿入方式において、
前記秘匿強度値は、フレーム、マクロブロック、ブロック等の空間的な領域単位で変更することを特徴とする画像データへの秘匿データ挿入方式。
請求項１ないし１０のいずれかに記載の画像データへの秘匿データ挿入方式において、
前記秘匿強度値や秘匿データが埋め込まれていることを示すフラグを、前記圧縮画像データのヘッダ等の領域に格納することを特徴とする画像データへの秘匿データ挿入方式。
請求項１ないし１１に記載の画像データへの秘匿データ挿入方式において、
前記秘匿強度値は、前記秘匿データ内に埋め込まれることを特徴とする画像データへの秘匿データ挿入方式。
請求項１２に記載の画像データへの秘匿データ挿入方式において、
前記秘匿強度値を、フレームの最初のブロックまたは各マクロブロックの最初のブロックに埋め込むことを特徴とする画像データへの秘匿データ挿入方式。
請求項１ないし１３のいずれかに記載の画像データへの秘匿データ挿入方式において、
前記秘匿データが埋め込まれていることを示すフラグを、前記秘匿データ内に埋め込むことを特徴とする画像データへの秘匿データ挿入方式。
請求項１４に記載の画像データへの秘匿データ挿入方式において、
前記フラグを、フレームの最初のブロックまたは各マクロブロックの最初のブロックに埋め込むことを特徴とする画像データへの秘匿データ挿入方式。
秘匿データが挿入された画像データから秘匿データを検出する秘匿データ検出方式であって、
量子化変換係数復号段階で、秘匿データが挿入された圧縮画像データから量子化変換係数と秘匿強度値を抽出する手段と、
変換ブロック内の量子化変換係数をグループ化された部分領域に分割する手段と、
前記部分領域内の量子化変換係数のエネルギー和を、前記秘匿強度値で除算することにより得られた値の偶数、奇数により、前記秘匿データのビットデータを算定する秘匿データ算出部とを具備したことを特徴とする秘匿データ検出方式。
請求項１６に記載の秘匿データ検出方式において、
秘匿データ埋め込みを示すフラグを検出する手段をさらに具備し、
該埋め込みを示すフラグが検出された場合のみ、前記秘匿データの抽出処理をすることを特徴とする秘匿データ検出方式。