JP5174878B2

JP5174878B2 - 秘匿情報の抽出装置および書き替え装置

Info

Publication number: JP5174878B2
Application number: JP2010230847A
Authority: JP
Inventors: 清田中; 康之中島; 哲也松岡; 敬幸篠原
Original assignee: Shinshu University NUC; KDDI R&D Laboratories Inc
Current assignee: Shinshu University NUC; KDDI R&D Laboratories Inc
Priority date: 2010-10-13
Filing date: 2010-10-13
Publication date: 2013-04-03
Anticipated expiration: 2025-03-08
Also published as: JP2011041314A

Description

本発明は、圧縮画像データに秘匿情報を適用する技術に関し、特に圧縮画像データからの秘匿情報の抽出装置、秘匿情報の書き替え装置および復元装置に関する。

画像データへの透かし情報は著作権管理等で広く利用されている。また、透かし情報はデータを秘匿する目的としても利用可能である。例えば、映像のシーン説明などの情報をあるフレームに秘匿情報として埋め込むことが可能である。あるいは、一時停止や特定領域の映像の表示を制御するために利用することも可能である。著作権情報のように一旦埋めこんだ後は書き換えない用途もあるが、映像の制御のためのデータ挿入には編集可能な秘匿データ挿入が必要となる。さらに、秘匿データを除去して元の映像に戻すことも必要になる。

従来これらの処理を実現する方法としては以下のような方法が提案されている。
（１）変換係数高周波挿入による埋め込み方法。
（２）透かし情報の書き換え方法。

前記（１）の変換係数高周波挿入による埋め込み方法の一例として、例えば、特開２００３−３２４７３号公報に記載されているものがある。この公報には、ブロック単位の直交変換ではなく、画像データ全体について直交変換を施し、直流成分から高周波領域に向かう直線上に位置する変換係数に透かし情報を埋め込むことについて開示されている。このため、MPEGなどの８×８程度の小ブロックが集まっている場合は一旦、復号して画像に戻してから再度画像全体に直交変換する必要がある。

また、特開２００１−１４４９３２号公報には、入力したＸ線画像に対して離散ウェーブレット変換を行い、照射野における素抜け領域を検出する素抜け領域検出手段と、前記素抜け領域検出手段により前記素抜け領域が検出されない場合、前記変換手段により変換された変換係数の最高周波数成分に所定パターンを挿入する挿入手段について開示されている。しかしながら、この提案方式では、画面全体にウェーブレット変換する必要があるため、MPEGのように小ブロックサイズのDCTを用いた場合は一旦復号する必要がある。

前記（２）の透かし情報の書き換え方法の従来例としては、例えば、特開２０００−１６３８７１号公報に示されているものがある。この公報には、圧縮データの態様で記録された情報信号を復号して再生する時に、前記情報信号のベースバンド信号の状態において、前記電子透かしの著作権情報の必要な書き換えを行うことについて開示されている。しかしながらこの場合、すべて戻してからでないと書き換えができないため、復号処理が伴い、高速に大量の処理を行うことが困難である。また、書き換えを繰り返した場合、その都度再符号化を行うため、再符号化に伴う画質劣化の可能性もある。

特開２００３−３２４７３号公報特開２００１−１４４９３２号公報特開２０００−１６３８７１号公報

本発明の目的は、前記した従来技術の問題点を解決し、圧縮された画像データに挿入された秘匿情報を効率的に検出することのできる秘匿情報の抽出装置、該秘匿データを新たな秘匿データに書き換えが可能な秘匿情報の書き替え装置および復元装置を提供することにある。

前記目的を達成するために、本発明は、最後の非零変換係数およびその前の非零変換係数を用いて秘匿情報が埋め込まれた圧縮画像データを入力し、部分復号する部分復号手段と、該部分復号により得られた量子化変換係数から、最後の非零量子化変換係数情報を抽出する非零量子化変換係数情報抽出手段と、該量子化変換係数から該最後の非零量子化変換係数情報の位置および値を基に秘匿データを抽出する秘匿データ抽出手段とを具備した点に第１の特徴がある。

また、前記秘匿データ抽出手段により抽出された秘匿データを前記量子化変換係数から削除する手段と、該秘匿データ削除後の量子化変換係数を用いて復号する手段とをさらに具備した点に第２の特徴がある。

また、埋め込まれた秘匿情報の書き替え装置であって、最後の非零変換係数およびその前の非零変換係数を用いて秘匿情報が埋め込まれた圧縮画像データを入力し、部分復号する部分復号手段と、該部分復号により得られた量子化変換係数から、最後の非零量子化変換係数情報を抽出する非零量子化変換係数情報抽出手段と、該量子化変換係数から該最後の非零量子化変換係数の位置および値を基に秘匿データを抽出する秘匿データ抽出手段と、該秘匿データ抽出手段により抽出された秘匿データを前記量子化変換係数から削除する手段と、該削除後の特定の零量子化変換係数に新たな秘匿データを埋め込む手段とを具備した点に第３の特徴がある。

本発明の第１の特徴によれば、秘匿データが挿入された圧縮画像データから高速に秘匿データを抽出することが可能になる。

本発明の第２の特徴によれば、秘匿データが挿入された圧縮画像データから秘匿データを簡単に削除して、画質劣化のない元の画像データ高速で復号することができるようになる。

本発明の第３の特徴によれば、秘匿データが挿入された圧縮画像データから別の秘匿データに書き換えて高速に圧縮画像データを生成することが可能になる。

本発明の前提となる秘匿データ挿入装置の一実施形態の概略構成を示すブロック図である。本発明をMPEG符号化データに適用した場合の一実施形態の概略構成を示すブロック図である。図１、図２の秘匿データ挿入部の詳細構成を示すブロック図である。ジグザグスキャンによる量子化係数の説明図である。ジグザグスキャン順の量子化変換係数の最終非零係数と秘匿データ用量子化変換係数の説明図である。秘匿情報の埋め込みの一実施例の説明図である。埋め込み位置を許容範囲内に設定する一実施例の概略構成を示すブロック図である。秘匿情報の埋め込みの他の実施例の説明図である。埋め込み位置を許容範囲外に設定する他の実施例の説明図である。秘匿情報の埋め込みの他の実施例の説明図である。秘匿データが挿入された圧縮画像データから秘匿データを抽出する装置の概略構成ブロック図である。秘匿データが挿入されたMPEG圧縮画像データから秘匿データを抽出する装置の概略構成ブロック図である。秘匿データ挿入前データ復元装置の概略構成を示すブロック図である。秘匿データ書き替え装置の概略構成を示すブロック図である。 MPEGやJPEGで圧縮された場合の秘匿データ書き替え装置の概略構成を示すブロック図である。秘匿データが挿入された圧縮画像データをそのまま復号する装置の概略構成を示すブロック図である。秘匿データを抽出機能付きの復号器を用いて復号する装置の概略構成を示すブロック図である。 JPEGなど変換係数を用いて符号化された秘匿データ挿入圧縮画像データの復号装置の概略構成を示すブロック図である。 MPEGなど変換係数を用いて動画像を符号化した秘匿データ挿入圧縮画像データの復号装置の構成を示すブロック図である。画像符号化時に秘匿データを挿入する秘匿データ埋め込み符号化装置の概略構成を示すブロック図である。 MPEGなどの動画像符号化過程で秘匿データを挿入する秘匿データ埋め込み符号化装置の構成を示すブロック図である。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の前提となる秘匿データ挿入装置の一実施形態の概略の構成を示すブロック図である。

圧縮画像データは部分復号部１４に入力され部分復号される。部分復号部１４から得られる量子化変換係数と符号化情報は秘匿データ挿入部１１に入力される。秘匿データ挿入部１１では、該量子化変換係数に秘匿データ１２が挿入される。挿入後の量子化変換係数は部分符号化部１５で部分符号化され、秘匿データ挿入圧縮画像データとして出力される。

図２はMPEGやJPEG方式で圧縮された動画像データや画像データに秘匿データを挿入する秘匿データ挿入装置を示す概略のブロック図である。なお、図１と同一の符号は、同一または同等物を示す。

MPEGまたはJPEG符号化データはVLD部(可変長復号部)１０で可変長復号され、得られた量子化変換係数に秘匿データ挿入部１１で秘匿データ１２が挿入される。挿入後の符号化情報はVLC部（可変長符号化部）１３で符号化さ
れ、秘匿データ挿入後の符号化データとして出力される。

図３は、前記図１、図２の前記秘匿データ挿入部１１の詳細を示すブロック図である。該秘匿データ挿入部１１は、量子化変換係数抽出部３１、付加係数決定部３２、および量子化変換係数挿入部３３で構成される。また、該付加係数決定部３２は、最終非零係数検出部４１と付加係数位置・量決定部４２から構成される。

量子化変換係数は量子化変換係数抽出部３１で抽出され、付加係数決定部３２にて秘匿データ１２から付加すべき量子化変換係数が決定され量子化変換係数挿入部３３で挿入される。

以下では、説明を分かりやすくするために、MPEGを例にとって本発明の詳細を説明するが、本発明はこれに限定されるものではない。

前記量子化変換係数抽出部３１では、VLD部１０で得られた量子化変換係数を抽出し、これを図４に示すような低周波成分から高周波成分に向かうジグザグスキャン順に一列に並べる。なお、スキャン順は圧縮のモードによって縦方向のスキャンなど異なる場合があるが、その場合は指定されたスキャン順に並べる。８×８DCTでは、図４のように６４個の量子化変換係数になる。

前記付加係数決定部３２の最終非零係数検出部４１では、ジグザグスキャン順の量子化変換係数の非零となる量子化係数のうち、最後の係数の位置nzlを検出する。次に、付加係数位置・量決定部４２において、秘匿データ１２に基づいて、特定の零係数を新たな量子化変換係数に変換して秘匿情報を埋め込むための量子化変換係数の位置と値を決定する。

以下に、該付加係数位置・量決定部４２が行う付加係数位置および量決定方法の実施例について説明する。ここで、位置Pにおける量子化変換係数をC(P)とする。また、図５に埋め込む量子化変換係数と位置の関係を示す。

図５において、１はジグザグスキャン順の量子化変換係数を示し、Ｐ＝０は量子化変換係数の最初の位置、Ｐ＝６３は最終位置、Ｐ＝ｎｚｌは最終非零係数の位置、Ｐ＝ｈｄは秘匿データの埋め込み位置を示す。また、Ｃ（Ｐ）は、位置Ｐにおける量子化変換係数、Ｃ（０）は位置０における量子化変換係数、つまりＤＣ係数、Ｃ（６３）は８×８ＤＣＴにおける最終係数、Ｃ（ｎｚｌ）は、８×８ＤＣＴにおける最終非零係数、Ｃ（ｈｄ）は秘匿データ用量子化変換係数、ｒｕｎはラン長（非零係数間距離）を示す。
（決定方法の実施例１）

付加する量子化変換係数の位置情報に対して、秘匿データとして埋め込む。例えば、秘匿データが０の場合、最後の非零係数から１係数だけ離れた距離に新たな量子化変換係数を挿入する。また、例えば秘匿データが４の場合、図６(a)に示されているように、最後の非零係数位置Ｐ＝ｎｚｌから５係数離れた場所に挿入する。挿入する係数は非零であれば任意の数値で構わない。ただし、符号化データでは大きな数値になるほど、符号量が増大するため、小さな任意の数が望ましい。また、秘匿データが符号付の場合は、量子化変換係数に反映することができる。例えば、秘匿データがマイナスの場合は量子化変換係数を−1に設定することができる。

上記のことを一般化して表すと次のようになる。すなわち、秘匿データDの大きさにより付加すべき量子化変換係数の位置を決定し、秘匿データDの符号により、量子化変換係数の値を−１，＋１に設定する。
（１）秘匿データDに対して、新たな量子化変換係数をC(hd)とする。
（２）係数の位置hd＝｜dec(D)｜+ nzl + 1とする。ここで、nzlは最後の非零係数位置、｜X|はXの絶対値、dec(X)はXの十進化値を示す。
（３） C(hd)=sign(dec(D))、ここでsign(X)はXの符号を示す。
（決定方法の実施例２）

付加する量子化変換係数の値に対して秘匿データとして埋め込む。例えば、秘匿データＤが２、−２の場合は量子化変換係数値Ｃ（ｈｄ）をそれぞれ２、−２に設定する。また、量子化変換係数の埋め込み位置は、最後の非零係数から任意の距離離れた位置とする。例えば、最終係数位置P=63など特定の位置に挿入することが可能である。なお、最後の非零係数から埋め込み位置までの距離が増えるに従い符号化データ量は増加するため、埋め込み位置を最後の非零係数の隣に設定するなど、距離が小さいことが望ましい。例えば、秘匿データＤに対して、新たな量子化変換係数C(hd)＝D、hd=nzl+1とすることができる。
（決定方法の実施例３）

付加する量子化変換係数の位置と値に対して秘匿データを埋め込む。例えば、秘匿データＤが１０の場合は、これを３＋７と分解し、３を位置情報に、７を係数値に対応させる。また、秘匿データＤが−１０の場合は、（３＋７）×（−１）と分解し、図６(b)に示すように、３を位置情報に、７と−1を係数値に対応させる。

上記のことを一般化して表すと、次のようになる。すなわち、秘匿データＤをＤ１とＤ２に分解し、Ｄ１を位置情報に、Ｄ２とＤの符号を係数値に対応させる。
（１）秘匿データＤ＝Ｄ１＋Ｄ２と分解
（２）係数の位置hd=|dec(D1)| + nzl +1
（３）係数C(hd)= sign(dec(D))× |dec(D2)|

なお、秘匿データＤを和数分解する方法は各種の方法が利用可能である。例えば、
（１）[X]をXの整数表現として秘匿データを[D*n/m]とD-[D*n/m]にすることができる。
（２）例：D=10, n=2, m=3, D1=6, D2=4となる。

さらに、秘匿データＤの分割方法としては、バイナリ表現で２分することも可能である。例えばバイナリ化された秘匿データbin(D)を上位upビットbin(D)upと下位lowビットbin(D)lowに分割し、それぞれを量子化変換係数の位置と係数値に対応させることが可能である。下記の例は、最後の非零係数の後にbin(D)upにより係数位置を決定し、係数値としてbin(D)lowを用いて一般化して表した例を示す。
（１）係数の位置hd=|dec(bin(D)up)| + nzl + 1
（２）係数値 C(hd) = dec(bin(D)low)

なお、非零量子化変換係数値は負数も使えるため、下記のような変換式を用いて補数表現することも可能である。

C(hd) = -2^β-1 + dec(bin(D)low) (dec(bin(D)low)< 2^β-1の場合)

C(hd) = -2^β-1 + dec(bin(D)low) + 1 (dec(bin(D)low)≧ 2^β-1の場合)
ここで、βは最大埋め込みビット数である。

なお、秘匿データＤを埋め込むにあたり、秘匿データ情報を埋め込むために必要な係数位置や係数値が、符号化データとして許可される範囲外になることを避けることにより、秘匿データＤを含んだ圧縮画像データから秘匿データＤが埋め込まれた量子化変換係数を削除することなくそのまま復号することが可能である。

例えば、８×８ＤＣＴ係数の位置は０から６３までが許容範囲であるが、この範囲を超えないように制限することが可能である。同様に量子化変換係数の値についても、範囲内に収めるための制御が可能である。

図７はこの制御を可能にした、秘匿データ挿入部１１の構成を示すブロック図である。図７が図３と異なる所は、最終非零係数検出部４１の後段に埋め込み位置検査部４３を設けた点であり、他の構成は同じである。

埋め込み位置検査部４３は、埋め込み位置を許容範囲内に設定するために、埋め込み可能な位置を検査する。例えば、係数位置情報に利用できる最大埋め込みビット数がαビットの場合、十進数としては最大２^αの距離情報になるため、非零係数の位置と最後の係数位置６３との距離が２^α以上必要になる。例えば、α＝３ビットの場合、最大距離は８になるため、マージン位置marは、mar＝６３−８＝５５となる。係数位置５５より前に最終非零量子化変換係数が存在すれば、係数位置の許容範囲（P≦63）に新たな量子化変換係数を設置することが可能になる。

埋め込み位置検査部４３は、上記のように、αビットからマージン位置marを求め、図８(a)に示すように63−nzl ≧ ２^αであるか、図８(b)に示すように63−nzl＜２^αであるかの判断をする。

そして、63−nzl ≧ ２^αの場合、αビットの秘匿データを位置情報として利用することが可能であると判断する。この場合、P＝mar以前の最終非零係数位置P＝nzlを新たな最終非零量子化変換係数位置として、そこを基点に上記の埋め込み手法を利用してαビットの秘匿データを位置情報として埋め込むようにする。

一方、63−nzl＜２^αの場合は、P＝mar＝63-２^αとし、P＝mar以降、P＝nzlまでのすべての量子化変換係数を０にリセットすることにより、αビットの情報を埋め込むための領域を確保するようにする。この場合、元の符号化データに存在する量子化変換係数を変更することになるため、元の画像データへ復元することはできなくなる。さらに、P＝mar以前の最終非零係数位置P＝nzl'を新たな最終非零量子化変換係数位置として、そこを基点に上記の埋め込み手法を利用してαビットの秘匿データを位置情報として埋め込むようにする。

また逆に、埋め込み位置を範囲外になるように設定することにより復号を阻止することも可能である。例えば、上の例でαビットを埋め込む場合、P=６４＋２^αとなるように新たに挿入する量子化変換係数位置を設定することにより、必ず許容された範囲外の位置に量子化変換係数が挿入されることになる。図９は、P=hd（ｈｄ＞６３）に量子化変換係数を設定した例である。

また、同様に量子化変換係数値についても例えば、許容範囲が±３２の時に、例えば

C(hd)= sign(dec(D)) × （|dec(D2)| ＋32）
とすることで必ずC(hd)は許容範囲外のデータに設定することが可能である。これにより、通常の圧縮画像復号処理では復号できないような符号化データに加工することができる。

量子化変換係数挿入部３３（図３参照）では、付加係数決定部３２で決定された係数情報を元に量子化変換係数を符号化データ上に挿入する。挿入後の係数は部分符号化部１５にて符号化される。例えば、MPEG-2の場合は、ＶＬＣ１３が利用されるが、最終非零量子化変換係数C(nzl)と新たに挿入された量子化変換係数C(hd)の距離run=hd-nzlをラン長とし、C(hd)の値をレベルとして符号化される。

なお、新たな量子化変換係数の挿入に伴い、全体の符号量が増加するため、MPEG等の符号化ではこれに伴い、バッファアンダーフロー、オーバーフローを避けるためにVBV（Video Buffer Verifier）delayの変更が必要になる。

次に、既存の量子化変換係数の後であって、前記決定方法の実施例１〜３で決定された新たな量子化変換係数の位置や値に秘匿データＤを埋め込んでに挿入すると、該挿入位置が低周波数にある場合は、秘匿データが挿入された圧縮画像データをそのまま復号すると、元の符号化画像を復号した場合に比べて、大きく画質が劣化する可能性がある。

これを回避するために、挿入する量子化変換係数の位置を画質制御の観点から制御することが可能である。例えば、挿入する変換係数の位置をある決められた周波数以上に設定することができる。図１０(a)では挿入する量子化変換係数の位置hdが決められた位置qpよりも大きいため、その位置に挿入する。一方、図10(b)では挿入する量子化変換係数の位置hdが決められた位置qpよりも小さいため、qpよりも高い周波数の位置hd'に量子化変換係数を挿入する。hd'の位置については、前記決定方法の実施例１〜３で述べた最終非零係数位置nzlやnzl'を基点にする代わりに、qpを基点に位置を決定することが可能である。また、この機能は、前記付加係数位置・量決定部４２にて実行することができる。

また、不正に画像データを取得した者が使用できないように、秘匿データが挿入された圧縮画像データをそのまま復号した場合は画質劣化をもたらすように量子化変換係数を挿入することも可能である。挿入する量子化変換係数については、より低周波数、より大きな量子化変換係数を用いることにより雑音となり画質劣化をもたらすことになるため、挿入する係数位置を特定の位置dpよりも小さい位置に係数を挿入することや、特定の値dl以上になるように挿入する秘匿データＤに加算して設定することで実現することができる。

このように、目的の画質に応じて量子化変換係数の位置や値を制御することが可能である。

次に、新たに挿入する量子化変換係数位置を制御することにより、量子化変換係数が挿入されたままで復号した場合の画質劣化を抑制することが可能となる。ただし、その場合、挿入前に最終非零係数位置であったnzlよりもqpが大きく、またqpよりも挿入位置hdが大きいため、run長(=hd-nzl)は大きな値になる可能性がある。例えばMPEG-2ではrun長が大きくなると符号量も増大するため、秘匿データ挿入後の符号化画像データ量が秘匿データ挿入前の符号化画像データ量よりも大幅に増大する可能性がある。これを回避するためには、新たに挿入する量子化変換係数の挿入の可否を制御する必要がある。

制御方法としては、例えば、上で述べたrun長がある閾値Trun以上の場合は、量子化変換係数の挿入を中止するような方法を利用することができる。MPEG-2ではrun長と係数値（レベル）の組み合わせで符号量が決定されているため、符号長がある閾値Tcod以上の場合は、量子化変換係数の挿入を中止するような方法も利用可能である。また、この機能については付加係数位置、量決定部42にて決定することができる。

次に、前記のようにして埋め込んだ秘匿データＤを抽出する実施形態を説明する。図１１は、秘匿データが挿入された圧縮画像データからの秘匿データ抽出する装置の概略構成ブロック図である。また、図１２は、MPEGやJPEGで符号化された秘匿データ挿入圧縮画像データから秘匿データを抽出する装置の概略の構成を示すブロック図である。

前記のようにして挿入された秘匿データ挿入圧縮画像データは、部分復号部１４またはVLD１０で部分復号され、秘匿データ抽出部２０で抽出されて秘匿データ出力として出力される。該秘匿データ抽出部２０は、最終非零係数検出部４１、付加係数位置・量測定部５１、および秘匿データ決定部５２からなる。

最終非零変換係数抽出部４１では非零量子化変換係数のうち最終の係数が抽出され、係数位置・量測定部５１において最終非零量子化変換係数の位置hdと値C(hd)が求められる。秘匿データ決定部５２では、位置hdと係数値C(hd)から秘匿データDが求められる。

以下に、該秘匿データ抽出の実施例を説明する。
（抽出方法の実施例１）

前記決定方法の実施例１に従って秘匿データが付加されている場合は、最終非零量子化変換係数の位置情報から埋め込み時とは逆の手順で秘匿データを抽出する。例えば、最終非零係数１つ前の非零量子化変換係数位置nzl1と最終非零量子化変換係数位置hdとの差Δ＝（hd-nzl1）から秘匿データを得ることができる。例えば、Δ＝１の場合、秘匿データが０、Δ＝５の場合、秘匿データが４とするようなことが可能である。また、符号付の秘匿データの場合は以下のような手段で抽出することが可能である。

D=sign(C(hd)) * (hd-nzl1-1)

ここで、C(hd)の値は任意で符号のみに秘匿データが埋め込まれていることを示す。
（抽出方法の実施例２）

前記決定方法の実施例２で述べた方法では、最終量子化変換係数の値に秘匿データが埋め込まれている。例えば、量子化変換係数値が２、−２の場合は秘匿データはそれぞれ２、−２に決定する。なお、この場合、最終非零量子化変換係数の位置の情報は利用しない。
（抽出方法の実施例３）

前記決定方法の実施例３で述べた方法では、秘匿データが最終非零量子化変換係数からの位置と値に埋め込まれている。例えば、位置情報から３、係数値から７と得られた場合、秘匿データを３＋７＝１０と決定することができる。また、位置情報が３で係数値が−７の場合は、全体の符号が負と考え（３＋７）*(−１)として、秘匿データが−１０と決定することができる。

これを一般化して表すと次のようになる。これは、位置情報からD1を得、係数値からD2を得た場合の秘匿情報Dの決定手順を示したものである。
（１）D1=hd-nzl1-1
（２）秘匿データD＝sign(D2) * (D1＋|D2|)

さらに、秘匿データがバイナリ分割された場合は、バイナリ化した秘匿データbin(D)の上位upビットbin(D)upと下位lowビットbin(D)lowがそれぞれ量子化変換係数の位置と係数値に対応させている場合、以下のように係数位置と値からバイナリデータを求めて、上位部と下位部を結合してバイナリ化した秘匿データbin(D)を得ることが可能である。
（１）係数の位置からbin(D)upを得る。bin(D)up = bin(hd − nzl1 − 1)
（２）係数値からbin(D)lowを得る。 bin(D)low = bin (C(hd))
（３）bin(D) = bin(D)up+bin(D)low

なお、非零量子化変換係数値は負数も使えるため、下記のような補数表現で変換することも可能である。

bin(D)low = bin(C(hd)+ 2^β-1) (C(hd)<0の場合)

bin(D)low = bin(C(hd)+ 2^β-1 - 1) (C(hd) ≧0の場合)

次に、図１３は秘匿データが挿入された圧縮画像データから秘匿データを削除して秘匿データが挿入される前の圧縮画像データを復元する装置の概略の構成を示す。なお、MPEGやJPEGで圧縮された画像データを復元する場合の構成においては、部分復号部１４がVLD部に、部分符号化部１５がVLC部に代えられる。

部分復号部（または、VLC部）１４で部分的に圧縮画像データが復号され、秘匿データ抽出・削除部６０にて秘匿データが埋め込まれた符号化データを抽出され、削除される。部分符号化部（または、VLC部）１５は、削除された符号化データにより影響する部分を再符号化して秘匿データが挿入される前の圧縮画像データに復元し、出力する。

前記秘匿データ抽出・削除部６０では、非零量子化変換係数のうち最終の係数が抽出され、削除される。なお、MPEG−2等で符号化されている場合、８×８ブロック内の最終の非零量子化変換係数を削除した場合、残された量子化変換係数をVLCで再符号化する必要はないため、削除するだけで秘匿データ挿入前の圧縮画像データを生成することができる。ただし、全体の符号量が削減されるため、バッファアンダーフロー、オーバーフローを避けるためにVBV（Video Buffer Verifier）ディレー（delay）の変更が必要になる。

次に、図１４は秘匿データが挿入された圧縮画像データから秘匿データを削除して新たな秘匿データを挿入して圧縮画像データを生成する秘匿データ書き替え装置の概略構成を示す。

部分復号部１４で部分的に圧縮画像データが復号され、秘匿データ抽出・削除部６０にて秘匿データが埋め込まれた符号化データを抽出され、削除される。次に、新たな秘匿データ１２を秘匿データ挿入部１１にて挿入し、旧秘匿データ削除および新秘匿データ挿入により符号化データに影響する部分を部分符号化部１５にて符号化して、新たに秘匿データを挿入した圧縮画像データを出力する。

図１５はMPEGやJPEGで圧縮された場合に挿入済みの秘匿データを削除して、新たな秘匿データを挿入する秘匿データ書き替え装置の概略構成を示す。

VLD１０で量子化変換係数までの符号化データが復元され、秘匿データ抽出・削除部６０にて秘匿データとして新たに埋め込まれた量子化変換係数情報が抽出されるとともに削除される。次に、新たな秘匿データ１２を秘匿データ挿入部１１にて挿入し、旧秘匿データ削除および新秘匿データ挿入により符号化データに影響する部分がVLC１３にて部分符号化されて、新たな秘匿データを挿入した圧縮画像データが復元される。

なお、秘匿データ抽出・削除ならびに秘匿データ挿入に関する処理については、それぞれ前記抽出方法の実施例１〜３ならびに前記決定方法の実施例１〜３を適用できる。

次に、図１６と図１７は、それぞれ秘匿データが挿入された圧縮画像データをそのまま復号した場合と、秘匿データを抽出機能付きの復号器を用いて復号した場合について示したものである。

図１６に示されているように、標準デコーダ３０で秘匿データも含めて復号した場合、秘匿データが符号化データとして制約内の情報として埋め込まれている場合については圧縮画像データを復号することは可能である。ただし、元の符号化情報とは無関係な情報であるため、そのまま復号した場合、雑音となり、結果的に画質劣化をもたらす可能性がある。一方、符号化データとして制約外の情報（例えば量子化変換係数位置が範囲外）の場合は、正常な復号ができない。

これに対して、図１７のように、秘匿データ抽出機能付きデコーダ３５を用いた場合、秘匿データを抽出して表示等に用いるほか、秘匿データを削除した圧縮データに対して標準のデコーダを用いて復号することにより、元々秘匿データが挿入されていない圧縮画像データと同じ品質で復号することが可能である。ただし、図８(b)で述べたように、秘匿データを埋め込むスペースを確保するために、元の符号化データの一部が削除された場合については、画質が損なわれる可能性がある。

図１８は、JPEGなど変換係数を用いて符号化された場合の秘匿データ挿入圧縮画像データの復号装置の概略構成を示したものである。

秘匿データ挿入圧縮画像データは、VLD部１０で可変長復号され、秘匿データ抽出・削除部６０で秘匿データ抽出と削除がなされる。抽出された秘匿データは表示メモリMem３８に記録される。一方、秘匿データ削除後の量子化変換係数は、逆量子化部３６で逆量子化され、逆DCT部３７で逆DCT化されて、表示メモリMem３８に記録される。該メモリMem３８に記録された画像データと秘匿データは、共に図示されていない表示部に表示される。

図１９は、MPEGなど変換係数を用いて動画像を符号化した場合の秘匿データ挿入圧縮画像データの復号装置の構成を示したものである。

また、動き補償符号化された画像情報については、VLD部１０から得られる動き情報に基づき、フレームメモリFM３４から動き補償予測に必要な領域を取り出し、動き補償部MC３９にて動き補償予測処理を行い、IDCT３７の出力と合成する。

図２０は、画像データを圧縮する際に秘匿データを挿入する秘匿データ埋め込み符号化装置の構成を示したものである。画像データはDCT１０で周波数情報に変換され、量子化部Q１６で変換係数が量子化される。秘匿データ挿入部１１で秘匿データ１２が量子化変換係数に挿入され、VLC１３で秘匿データ以外の量子化変換係数も含めて符号化される。

図２１は、MPEGなどの動画像符号化過程で秘匿データを挿入する装置の構成を示すブロック図である。入力画像データは、DCT７０で周波数領域に変換され、量子化部Q１６で量子化され、秘匿データ挿入部１１で秘匿データ１２が量子化変換係数として挿入される。全ての量子化変換係数が可変長符号化器VLC７１で符号化され、バッファBUF７２で符号化データ量の測定と、一次保存を行い符号化データを出力する。バッファBUF７２で測定された符号化量情報から符号化ビットレートの制御を行うために、レート制御７３のフィードバックループにて量子化ステップQPの制御を量子化器Q１６に対して行う。

一方、量子化器Q１６後の量子化変換係数は逆量子化器Q^-1３６で変換係数が出力され、逆DCT部IDCT３７で画像データに復元される。該画像データは、動き補償予測器７４で動き補償予測された画像データと加算されてフレームメモリFM３４に蓄積される。また、動き補償予測器ME７４では、フレームメモリFM３４に蓄積された画像に対して動き補償予測を行い、入力動画像データとの差分を求めてDCT処理する。また、動き補償予測器ME７４から動き情報が可変長符号化器VLC７１に入力される。なお、逆量子化器Q^-1３６は秘匿データ挿入後ではなく、秘匿データ挿入前の量子化変換係数に対して行うことにより、秘匿データとして用いた量子化変換係数が動き補償予測用のフレームメモリに混在することを防ぐことができる。

１・・・ジグザグスキャン順の量子化変換係数、１１・・・秘匿データ挿入部、１２・・・秘匿データ、１４・・・部分復号部、１５・・・部分符号化部、３１・・・量子化変換係数抽出部、３２・・・付加係数決定部、３３・・・量子化変換係数挿入部、３５・・・秘匿データ抽出機能付きデコーダ、４１・・・最終非零係数検出部、４２・・・付加係数位置・量決定部、４３・・・埋め込み位置検査部、５１・・・付加係数位置・量決定部、５２・・・秘匿データ決定部、６０・・・秘匿データ抽出・削除部。

Claims

最後の非零変換係数およびその前の非零変換係数を用いて秘匿情報が埋め込まれた圧縮画像データを入力し、部分復号する部分復号手段と、
該部分復号により得られた量子化変換係数から、最後の非零量子化変換係数情報を抽出する非零量子化変換係数情報抽出手段と、
該量子化変換係数から該最後の非零量子化変換係数情報の位置および値を基に秘匿データを抽出する秘匿データ抽出手段とを具備したことを特徴とする秘匿情報の抽出装置。
請求項１に記載の秘匿情報の抽出装置において、
前記秘匿データ抽出手段により抽出された秘匿データを前記量子化変換係数から削除する手段と、
該秘匿データ削除後の量子化変換係数を用いて復号する手段とをさらに具備したことを特徴とする秘匿情報の抽出装置。
請求項１に記載の秘匿情報の秘匿情報の抽出装置において、
量子化変換係数の最後の非零変換係数以外を用いて復号し圧縮画像データを再生する手段をさらに具備したことを特徴とする秘匿情報の抽出装置。
最後の非零変換係数およびその前の非零変換係数を用いて秘匿情報が埋め込まれた圧縮画像データを入力し、部分復号する部分復号手段と、
該部分復号により得られた量子化変換係数から、最後の非零量子化変換係数情報を抽出する非零量子化変換係数情報抽出手段と、
該量子化変換係数から該最後の非零量子化変換係数の位置および値を基に秘匿データを抽出する秘匿データ抽出手段と、
該秘匿データ抽出手段により抽出された秘匿データを前記量子化変換係数から削除する手段と、
該秘匿データ削除後の最後の非零量子化変換係数の後の特定の零量子化変換係数に新たな秘匿データを埋め込む手段とを具備したことを特徴とする秘匿情報の書き替え装置。