JP4685825B2 - 動画像復号装置、方法及びプログラム、並びに、動画像符号化装置、方法及びプログラム - Google Patents

Description

本発明は、動画像に情報を埋め込むための動画像符号化装置、方法及びプログラム、並びに動画像復号装置、方法及びプログラムに関するもので、特に動きベクトルを利用した情報の埋め込みに伴う動画像符号化・復号技術に関するものである。

動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合はＭＰＥＧ１、２、４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。動画像の符号化では、時間方向で隣接する他の画像を用いて符号化の対象となる対象画像の予測信号を生成して、対象画像と予測信号との差分を符号化することにより、データ量の削減を実現する。

例えばＨ．２６４では、１フレームの画像を１６×１６画素からなるブロックの領域に分割し、画像をこのブロック単位で符号化処理を行う。フレーム間符号化では、符号化対象となる画像の対象ブロックに対し、符号化済で復元された他のフレームを参照画像として動き検出を行い、誤差の最も少ない予測信号を決定する。次にこの対象ブロックと該予測信号との差分値を求めて、離散コサイン変換と量子化処理を行なう。量子化された離散コサイン変換の係数及び予測信号を特定するための動きベクトルをエントロピー符号化し、符号化データを生成する。

ところで、このように圧縮符号化された動画像データに、透かし情報や該動画像に関連する情報（例えばテロップ情報など）を埋め込む技術が知られている。例えば、動きベクトルを利用した情報の埋め込みについては、下記の非特許文献１、２に開示されている。

非特許文献１によると、電子透かし情報を埋め込むエンコーダでは、まず、最適な動きベクトルを１画素単位で求める。電子透かし情報から１ビット取り出し、そのビットの値（０または１）によって、半画素単位の動きベクトルの探索範囲を限定し、１画素単位で求めた最適な動きベクトルが指す参照画素の周囲の８つの半画素から最も原画素に近い画素を求め、求めた画素を指すベクトルを新たな動きベクトルとする。電子透かし情報を取り出すデコーダでは、動きベクトルを復号し、ｘ座標、ｙ座標が半画素か否かを調べる等して、最終的にｘ座標とｙ座標の組み合わせにより透かし情報を算出する。

非特許文献２によると、動きベクトルのｘ、ｙ方向成分から、関数Ｆ(ｘ，ｙ)＝ｘ＋ｙ(ｍｏｄ ２)を定義する。この関数値が埋め込み情報ビットの０、１と等しくなるように動きベクトルを移動させることで、情報を埋め込む。この動きベクトルの移動には、ｘ、ｙ方向それぞれに＋１又は−１だけ移動させることができるので、ｘ、ｙ方向の組合せで計４通りの選択肢はあるものの、画像の劣化を押さえるために、上記４通りのうち、最適画像との誤差が最小になる位置に移動させる方法を用いる。
「ＭＰＥＧ２における「デジタル透かし」利用による著作権保護の一検討」、「電子情報通信学会 暗号と情報セキュリティシンポジウム」、（１９９７年１月２９日）、中沢英徳、小舘亮之、ジェフモリソン、富永英義著、（社）電子情報通信学会発行 「改ざんを考慮した動画像の電子透かしに関する二、三の考察」、（２０００年４月２０日）、角野英之、稲葉宏幸、笠原正雄著、（社）映像情報メディア学会発行、５９３頁〜６００頁

上記の２つの従来技術では、所定の規則に従って動きベクトルを限定し情報を埋め込むことになっているため、維持できる画質も限定的になるという課題がある。非特許文献１について考えてみる。例えば、埋め込む情報が「０」の場合、半画素単位の動きベクトルが第１探索範囲に限定されるとすると、第１探索範囲とは異なる第２探索範囲に、第１探索範囲よりも誤差の少ない予測信号があったとしても、該予測信号を与える動きベクトルを使えないことになる。すなわち、情報を埋め込む規則が定まっていることによって、画質を維持するための自由度も限られてしまうという問題点がある。同様に非特許文献２でも、関数値が埋め込み情報と等しくなるように動きベクトルを移動させる仕組みになっているので、画質を維持するための自由度も限られてしまうという問題点がある。

また、上記の２つの従来技術において、復号側は符号化側と同じ規則で情報を抽出する必要がある。すなわち、情報を埋め込む方法を変える度に情報を抽出するアルゴリズムも変えないといけないことになる。このような方式は、電子透かしのように埋め込み情報を固く保護したい場合には有効であるが、文字放送のテロップやインターネットのＵＲＬなどの情報を埋め込む場合のように、埋め込み方法を変えても既存の復号装置で上記埋め込んだ情報を抽出可能としたい場合には不向きである。

本発明は、上記の課題を解決するために成されたものであり、情報を埋め込む際に画質を維持するための自由度を高めると同時に、情報を埋め込む方法を変更しても情報を抽出可能とすることを目的とする。

上記課題を解決するために、本発明に係る動画像復号装置は、動画像を複数の対象領域に分割し、前記対象領域について復元済の参照画像より予測領域及び前記予測領域の位置を示す動きベクトル情報を決定し、前記予測領域と前記対象領域との差分信号及び前記動きベクトル情報を符号化してなるデータ、を含むビットストリームを入力する入力手段と、入力された前記ビットストリームより、前記差分信号及び前記動きベクトル情報を復号し、前記参照画像より前記動きベクトル情報によって特定される予測領域の信号と前記差分信号とから前記動画像を復元することで、再生動画像を生成する画像復号手段と、前記生成された再生動画像と前記参照画像とから、所定の方法で、前記復号された動きベクトル情報が属する前記再生動画像内の対象領域に対する基準動きベクトルを検出し、前記動きベクトル情報と前記基準動きベクトルとを比較し、該比較結果に基づいて、前記動画像に埋め込まれた情報を抽出する情報抽出手段と、を具備することを特徴とする。

上記の動画像復号装置は、生成された再生動画像と参照画像とから、所定の方法で、上記復号された動きベクトル情報が属する再生動画像内の対象領域に対する基準動きベクトルを検出し、動きベクトル情報と基準動きベクトルとを比較し、該比較結果に基づいて上記埋め込まれた情報を抽出する。このため、符号化側で用いられた情報埋め込み方法の規則を知る必要はなく、情報埋め込み方法に依存することなく、埋め込み情報の抽出ができる。すなわち、情報埋め込み方法を多少変更しても、復号装置で情報を抽出できるメリットがある。

なお、本発明に係る動画像復号装置では、情報抽出手段は、前記動きベクトル情報が属する前記再生動画像内の対象領域に隣接する再生済の画素からなる隣接領域と、前記参照画像の信号とを比較することにより前記基準動きベクトルを検出し、前記動きベクトル情報と前記基準動きベクトルとを比較し、該比較結果に基づいて前記埋め込まれた情報を抽出する構成とすることが望ましい。

本発明に係る動画像符号化装置は、動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力手段と、前記対象画像を複数の対象領域に分割し、前記対象領域について再生済の参照画像より予測信号を特定するための複数の動きベクトル情報を検出する動き検出手段と、前記複数の動きベクトル情報のうち１つの動きベクトル情報をもとに、前記対象領域についての予測信号を生成する予測信号生成手段と、前記対象領域と前記予測信号との差分を符号化し、符号化差分信号を生成する符号化手段と、前記符号化差分信号を復元し、復元した符号化差分信号と前記予測信号とを加算することで、再生動画像を生成する再生手段と、予測信号を生成する際の参照画像として用いられる前記再生動画像を格納する格納手段と、前記動画像に埋め込むべき情報を前記動画像に埋め込むための処理を実行する情報埋め込み手段と、を具備し、前記動き検出手段は、前記対象領域について再生済の参照画像より第１動き検出方法で第１動きベクトルを検出し、前記再生動画像と前記参照画像とに基づいて動きを検出する第２動き検出方法で、前記第１動きベクトルと異なる第２動きベクトルを検出し、前記情報埋め込み手段は、前記埋め込むべき情報に基づいて前記第１動きベクトルと前記第２動きベクトルのいずれかを選択し、前記予測信号生成手段は、選択された前記第１動きベクトル又は前記第２動きベクトルを前記１つの動きベクトル情報とし、該１つの動きベクトル情報をもとに、前記対象領域についての予測信号を生成する、ことを特徴とする。

前述したように、動画像復号装置からみて情報を埋め込む規則が定まっていないので、動画像符号化装置では画質を維持するための自由度が高くなる。すなわち、動画像復号装置において動きベクトルの判別さえできれば、動画像符号化装置では大局的に、より少ない誤差の動きベクトルで情報を埋め込むことができ、従来技術よりも高い画質で情報を埋め込むことが可能となる。

なお、本発明に係る動画像符号化装置では、前記動き検出手段は、前記第２動き検出方法として、前記再生動画像内にある対象領域に隣接する再生済の画素からなる隣接領域と、前記参照画像の信号とを比較し、該比較結果に基づいて前記第２動きベクトルを検出する構成とすることが望ましい。

また、本発明に係る動画像符号化装置では、前記動き検出手段は、前記第２動き検出方法として、前記第１動きベクトルで特定される予測信号による誤差値から所定の幅以上離れた誤差値の予測信号を与える前記第２動きベクトルを検出する構成とすることが望ましい。

ところで、動画像復号装置に係る発明は、以下のように、動画像復号方法に係る発明及び動画像復号プログラムに係る発明として捉えることができ、同様の効果を奏することができる。

本発明に係る動画像復号方法は、動画像復号装置により実行される動画像復号方法であって、動画像を複数の対象領域に分割し、前記対象領域について復元済の参照画像より予測領域及び前記予測領域の位置を示す動きベクトル情報を決定し、前記予測領域と前記対象領域との差分信号及び前記動きベクトル情報を符号化してなるデータ、を含むビットストリームを入力する入力ステップと、入力された前記ビットストリームより、前記差分信号及び前記動きベクトル情報を復号し、前記参照画像より前記動きベクトル情報によって特定される予測領域の信号と前記差分信号とから前記動画像を復元することで、再生動画像を生成する画像復号ステップと、前記生成された再生動画像と前記参照画像とから、所定の方法で、前記復号された動きベクトル情報が属する前記再生動画像内の対象領域に対する基準動きベクトルを検出し、前記動きベクトル情報と前記基準動きベクトルとを比較し、該比較結果に基づいて、前記動画像に埋め込まれた情報を抽出する情報抽出ステップと、を具備することを特徴とする。

このとき、情報抽出ステップでは、前記動きベクトル情報が属する前記再生動画像内の対象領域に隣接する再生済の画素からなる隣接領域と、前記参照画像の信号とを比較することにより前記基準動きベクトルを検出し、前記動きベクトル情報と前記基準動きベクトルとを比較し、該比較結果に基づいて前記埋め込まれた情報を抽出することが望ましい。

本発明に係る動画像復号プログラムは、コンピュータを、請求項１又は２に記載の動画像復号装置として機能させるための動画像復号プログラムである。

また、動画像符号化装置に係る発明は、以下のように、動画像符号化方法に係る発明及び動画像符号化プログラムに係る発明として捉えることができ、同様の効果を奏することができる。

本発明に係る動画像符号化方法は、動画像符号化装置により実行される動画像符号化方法であって、動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力ステップと、前記対象画像を複数の対象領域に分割し、前記対象領域について再生済の参照画像より予測信号を特定するための複数の動きベクトル情報を検出する動き検出ステップと、前記複数の動きベクトル情報のうち１つの動きベクトル情報をもとに、前記対象領域についての予測信号を生成する予測信号生成ステップと、前記対象領域と前記予測信号との差分を符号化し、符号化差分信号を生成する符号化ステップと、前記符号化差分信号を復元し、復元した符号化差分信号と前記予測信号とを加算することで、再生動画像を生成する再生ステップと、予測信号を生成する際の参照画像として用いられる前記再生動画像を格納する格納ステップと、前記動画像に埋め込むべき情報を前記動画像に埋め込むための処理を実行する情報埋め込みステップと、を具備し、前記動き検出ステップでは、前記対象領域について再生済の参照画像より第１動き検出方法で第１動きベクトルを検出し、前記再生動画像と前記参照画像とに基づいて動きを検出する第２動き検出方法で、前記第１動きベクトルと異なる第２動きベクトルを検出し、前記情報埋め込みステップでは、前記埋め込むべき情報に基づいて前記第１動きベクトルと前記第２動きベクトルのいずれかを選択し、前記予測信号生成ステップでは、選択された前記第１動きベクトル又は前記第２動きベクトルを前記１つの動きベクトル情報とし、該１つの動きベクトル情報をもとに、前記対象領域についての予測信号を生成することを特徴とする。

このとき、動き検出ステップでは、前記第２動き検出方法として、前記再生動画像内にある対象領域に隣接する再生済の画素からなる隣接領域と、前記参照画像の信号とを比較し、該比較結果に基づいて前記第２動きベクトルを検出することが望ましい。

また、動き検出ステップでは、前記第２動き検出方法として、前記第１動きベクトルで特定される予測信号による誤差値から所定の幅以上離れた誤差値の予測信号を与える前記第２動きベクトルを検出することが望ましい。

本発明に係る動画像符号化プログラムは、コンピュータを、請求項３〜５の何れか一項に記載の動画像符号化装置として機能させるための動画像符号化プログラムである。

本発明に係る動画像復号装置は、生成された再生動画像と参照画像とから、所定の方法で、上記復号された動きベクトル情報が属する再生動画像内の対象領域に対する基準動きベクトルを検出し、動きベクトル情報と基準動きベクトルとを比較し、該比較結果に基づいて上記埋め込まれた情報を抽出する。このため、符号化側で用いられた情報埋め込み方法の規則を知る必要はなく、情報埋め込み方法に依存することなく、埋め込み情報の抽出ができる。すなわち、情報埋め込み方法を多少変更しても、復号装置で情報を抽出できるメリットがある。

また、前述したように、動画像復号装置からみて情報を埋め込む規則が定まっていないので、動画像符号化装置では画質を維持するための自由度が高くなる。すなわち、動画像復号装置において動きベクトルの判別さえできれば、動画像符号化装置では大局的に、より少ない誤差の動きベクトルで情報を埋め込むことができ、従来技術よりも高い画質で情報を埋め込むことが可能となる。

以下、本発明に係る実施形態について、図１〜図１０を用いて説明する。

（符号化装置について）
図１は、埋め込み情報を処理する動画像符号化装置１００のブロック図を示す。図１に示すように、動画像符号化装置１００は、入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、引き算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、動き検出器１１３、及び、動きベクトル選択器１１４を備えている。

（動画像符号化装置における動作概要）
このような動画像符号化装置１００について、以下、各構成部の動作を述べる。動画像を構成する複数の画像は入力端子１０１に入力される。入力された画像に対し、ブロック分割器１０２は、符号化の対象となる画像を複数の小領域（ここでは例えば１６×１６画素からなるブロック）に分割する。分割された各ブロックについて、以下の圧縮・符号化処理が実行される。

符号化の対象となるブロック（以下「対象ブロック」という）について、動き検出器１１３、動きベクトル選択器１１４及び予測信号生成器１０３により、予測信号の生成処理が実行される。この予測信号の生成処理は、後に、詳述する。

予測信号の生成処理で生成された予測信号はラインＬ１０３経由で引き算器１０５に送られ、引き算器１０５は、対象ブロックから予測信号を引き算することで差分信号を生成する。生成された差分信号は変換器１０６に送られ、変換器１０６は差分信号を周波数領域の信号に変換して量子化器１０７に出力する。量子化器１０７は量子化処理を行い、量子化後の信号をエントロピー符号化器１１１及び逆量子化器１０８に出力する。エントロピー符号化器１１１は、量子化後の信号を可変長符号に変換し出力端子１１２より出力する。なお、可変長符号の代わりに算術符号化を適用してもよい。

また、逆量子化器１０８は、量子化後の信号を逆量子化して逆変換器１０９に出力し、逆変換器１０９は逆変換を行う。これにより、量子化後の信号は、空間領域の復元差分信号に変換される。次に、加算器１１０が、復元差分信号と、ラインＬ１０３経由で送られる予測信号とを加算する。これにより、再生動画像が生成される。このようにして復元された再生動画像は、次の画像を符号化する際の参照画像として使用されるため、フレームメモリ１０４に格納される。

次に、予測信号の生成処理について述べる。動き検出器１１３は、対象ブロックについての予測信号（同じく１６×１６画素のブロック）を生成する。具体的には、対象ブロックはラインＬ１０２経由で、フレームメモリに格納されている参照画像はラインＬ１０４経由で、それぞれ動き検出器１１３に入力され、動き検出器１１３は、従来と同じ手法で、参照画像における対象ブロックの変位を検出し、対象ブロックに最も誤差の少ない予測信号を与える動きベクトルを検出する。例えば、動き検出器１１３は、参照画像において所定の探索範囲を決定し、この探索範囲から対象ブロックと同じ画素数の候補ブロックを取得する。次に、動き検出器１１３は、対象ブロックと候補ブロックとで、対応する画素間の差分値を求め、差分値の絶対値を加算して、当該候補ブロックに関する予測誤差を求める。このようにして、動き検出器１１３は、探索範囲内にある全ての候補ブロックの各々について予測誤差を求め、予測誤差の最も少ない候補ブロックを特定し、該候補ブロックを与える対象ブロックの変位を、最適動きベクトルとして検出する。このように予測誤差の最も少ない予測信号を用いることにより、効率よく動画像を符号化することができる。上記のようなブロックマッチングの方法によって求めた最適動きベクトルは、第１動きベクトルと呼び、場合により「ＭＶ１」と略称する。

本実施形態の動画像符号化装置１００は、上記の第１動きベクトルに加えて、第２動きベクトル（場合により「ＭＶ２」と略称する）も併せて求める。第２動きベクトルの求め方については、大別して２つの方法があるが、ここでは、まず第１の方法に基づく処理を説明する。

第１の方法では、第１動きベクトルに対応する予測誤差値から所定の幅以上離れている予測誤差値を与える動きベクトルを、第２動きベクトルとして求める。すなわち、第２動きベクトルが与える予測誤差値をＳＡＤ（ＭＶ２）、第１動きベクトルが与える予測誤差値をＳＡＤ（ＭＶ１）、所定の幅をＭとすると、以下の式（１）を満たすＳＡＤ（ＭＶ２）の中から、予測誤差値の最も小さいものに対応する動きベクトルを第２動きベクトルとして求める。
｜ＳＡＤ（ＭＶ２）−ＳＡＤ（ＭＶ１）｜＞Ｍ …（１）
ここで、所定の幅Ｍは、復号装置においてＳＡＤ（ＭＶ２）とＳＡＤ（ＭＶ１）とを区別可能な程度の値を用いる。

なお、本実施形態では、例えば、所定の幅Ｍは、符号化装置において用いられる量子化幅の関数により決定される。詳細は後述するが、復号装置ではＭＶ２を求め、求めたＭＶ２と符号化データに含まれる動きベクトルとを比較し、該比較結果に基づいて埋め込み情報を抽出する。そのため、ＭＶ１はＭＶ２と異なるものであれば何でもよい。例えば、復号装置において決定されるＭＶ２に対し、ＭＶ１は、ＭＶ２の水平の成分と垂直の成分の一方又は両方を負の値にしてもよいし、動きベクトルの最小単位で増減してもよい。

このように決定された第１の動きベクトルと第２の動きベクトルは、ラインＬ１１３経由で動きベクトル選択器１１４に送られる。動きベクトル選択器１１４には、画像に埋め込む情報の二値化されたデータがあわせて入力され、動きベクトル選択器１１４は、埋め込む情報の「０」もしくは「１」に応じて、ＭＶ１又はＭＶ２を選択する。選択された動きベクトルは、ラインＬ１１４経由で予測信号生成器１０３に送られる。予測信号生成器１０３は、選択された動きベクトルをもとに、フレームメモリ１０４から予測信号を取得し、取得した予測信号を対象ブロックの予測信号としてラインＬ１０３経由で引き算器１０５に出力する。

（動画像符号化装置における情報埋め込み処理）
次に、図２と図３を用いて動画像符号化装置１００により実行される情報埋め込み処理を説明する。図２において、上述したブロックマッチングの方法で、対象画像の全てのブロックについて第１動きベクトルＭＶ１を求める（ステップ２１１）。次に、ステップ２１２では、上述した第１の方法で、対象画像の全てのブロックについて第２動きベクトルＭＶ２を求める。ＭＶ２は、ＭＶ１との間で、水平・垂直成分の少なくとも１つが異なることが条件である。

ステップ２１３以降は、各ブロックに情報を埋め込む処理になる。まずステップ２１３では、カウンタｂｎを０にセットし、次のステップ２１４では、埋め込む情報の二値化されたデータの１ビット（０または１）を入力する。そして、ステップ２１５では、入力された１ビットに基づいて、ブロックｂｎの予測信号を生成するための動きベクトルＭＶを決定する。

ステップ２１５での決定方法の一実施態様は図３に示される。すなわち、図３のステップ３０１にて、埋め込み情報が１かどうかを判断する。埋め込み情報が１の場合は、ステップ３０２にてＭＶ１を選択しＭＶ＝ＭＶ１とする。埋め込み情報が１でない場合は、ＭＶ＝ＭＶ２とする（ステップ３０３）。そして、ステップ３０４では、選択された動きベクトルＭＶを出力する。

図２に戻り、次のステップ２１６では、この動きベクトルＭＶを用いてブロックｂｎの予測信号を取得した後、取得した予測信号と対象ブロックとの差分符号化を行う。上記のステップ２１５、２１６の処理が全てのブロックについて実行されることによって、画像に情報が埋め込まれる。

なお、埋め込む情報の量によって、全てのブロックについて上記の処理を施す必要がない場合は、一部のブロックを特定した上で、該一部のブロックのみに情報を埋め込む。それ以外のブロックについては、第１動きベクトルＭＶ１を用いて符号化すればよい。また、図２のステップ２１１と２１２をステップ２１３の後におき、ブロック単位で第１の動きベクトルと第２の動きベクトルとを求めながら、情報を画像に埋め込むように処理してもよい。

（第２動きベクトルＭＶ２を求める第２の方法）
図４は、第２動きベクトルを求める第２の方法を説明するための模式図である。この図４において、対象ブロック４０２の第１動きベクトルは上述の従来方法で求める。第２動きベクトルは、対象ブロック４０２に隣接する画素群４０３を用いて求める。つまり、参照画像４０６にある探索領域４０９の中から、画素群４０３に最も類似する予測画素群を求める。

具体的には、探索領域４０９にある候補画素群４０８の各々と、画素群４０３との誤差を求め、全ての候補画素群のうち、画素群４０３との誤差の最も小さい候補画素群を予測画素群とする。そして、探索領域４０９にある画素群４０３と予測画素群との間の変位を、対象ブロックの第２動きベクトルとする。なお、本実施形態では、誤差として、画素間の差分の絶対値の和を用いるが、それ以外の方法を用いてもよい。上記の画素群４０３は、対象ブロック４０２を処理する前に既に復元されたものであるため、復号装置においても、同じ画素群４０３を用いて、同じ第２動きベクトルを求めることができる。

図５は、図４の第２動きベクトルの求め方に対応する動きベクトルＭＶの決定方法であり、図２のステップ２１５にて実行される。すなわち、図５のステップ５０１にて、埋め込み情報が１かどうかを判断する。埋め込み情報が１の場合は、ステップ５０２に進み、ＭＶ１とＭＶ２が同じかどうかを判断する。ここでは、埋め込み情報が１の場合、第２動きベクトルＭＶ２と異なる動きベクトルで符号化するものとする。そこで、ステップ５０２にてＭＶ１とＭＶ２が異なると判断された場合、ステップ５０３にて、符号化に用いる動きベクトルＭＶをＭＶ１とする。一方、ＭＶ１とＭＶ２が同じ場合、ＭＶ１と異なる動きベクトルを別途決定し、決定した動きベクトルを用いる必要がある。そのため、ステップ５０４では、前述した式１に示す方法で、ＭＶ１と異なる動きベクトルＭＶ１’を決定し、符号化に用いる動きベクトルＭＶをＭＶ１’とする。

一方、ステップ５０１にて埋め込み情報が０の場合はステップ５０５に進み、ＭＶ１とＭＶ２が同じかどうかを判断する。ここでは、埋め込み情報が０の場合、第２動きベクトルＭＶ２と同じ動きベクトルで符号化するものとする。そこで、ステップ５０５にてＭＶ１とＭＶ２が同じと判断された場合、ステップ５０６に進み、符号化に用いる動きベクトルをＭＶ１とする。一方、ＭＶ１とＭＶ２が異なる場合は、ステップ５０７に進み、ＭＶ１の代わりにＭＶ２を符号化に用いられる動きベクトルとする。上記のステップ５０４、５０３、５０６、５０７で設定された動きベクトルＭＶは、ステップ５０８で出力される。

以上の図５の処理によれば、復号側でビットストリームに含まれている動きベクトルＭＶが、復号装置にて求めるＭＶ２と同じと判断された場合は、埋め込み情報が０であり、動きベクトルＭＶが復号装置にて求めるＭＶ２と異なると判断された場合は、埋め込み情報が１である、と一意的に決定することができる。

以上のように、情報を埋め込むデータを所定の規則に従い動きベクトルを変化させるのではなくて、予測誤差の小さい順で情報を埋め込むために、大局的に高画質の符号化データを生成することができる。

なお、上述した方法は、１つの対象ブロックに１ビットを埋め込む実施方法について説明したが、１ブロック当りに２ビットのデータを埋め込んでもよい。第２動きベクトルＭＶ２は、復号装置において求めることができるので、予測誤差が最も小さいもの、２番目に小さいもの、または３番目に小さいものに対応する動きベクトルをＭＶ２とすることで、１ブロック当りに２ビットのデータを埋め込むことができる。例えば、符号化に用いられる動きベクトルがＭＶ２と異なる場合に「００」を割り当て、符号化に用いられる動きベクトルがＭＶ２と同じ場合には、さらにそのＭＶ２による予測誤差の最小のものに「０１」、２番目に小さいものに「１０」、３番目に小さいものに「１１」を割り当てればよい。３ビット以上の場合も同じように拡張すればよい。

（復号装置について）
図６は本発明による埋め込み情報を処理する動画像復号装置６００のブロック図を示す。図６に示すように、動画像復号装置６００は、入力端子６０１、データ解析器６０２、逆量子化器６０３、逆変換器６０４、加算器６０５、画像出力端子６０６、フレームメモリ６０７、予測信号生成器６０８、動き検出器６０９、情報抽出器６１０、及び、情報出力端子６１１を備えている。

なお、以下の動画像復号装置に関する説明において、「第１動きベクトル」は、請求項１に記載した「動きベクトル情報」に相当し、「第２動きベクトル」は、請求項１に記載した「基準動きベクトル」に相当する。

（動画像復号装置における動作概要）
このような動画像復号装置６００について、以下、各構成部の動作を述べる。入力端子６０１には、動画像を複数の対象領域に分割し、対象ブロックについて復元済の参照画像より予測ブロック及び該予測ブロックの位置を示す第１動きベクトルを決定し、予測ブロックと対象ブロックとの差分信号及び第１動きベクトルを符号化して得られたデータを含むビットストリームが入力される。本実施形態では、図１の動画像符号化装置１００で処理して得られたビットストリームが動画像復号装置６００に入力される。

データ解析器６０２は、入力データ（入力されたビットストリーム）を解析し差分信号及び第１動きベクトルを復号する。ここでは可変長復号を用いるが、算術復号を用いてもよい。復号された差分信号は逆量子化器６０３により逆量子化され、逆量子化後の差分信号は逆変換器６０４により逆変換され、空間領域の復元差分信号となる。一方、データ解析器６０２にて復号された第１動きベクトルはラインＬ６０２ｂ経由で予測信号生成器６０８に送られる。

予測信号生成器６０８は、フレームメモリ６０７に格納された参照画像より第１動きベクトルによって特定される予測信号を取得し、該予測信号はラインＬ６０８経由で加算器６０５に送られる。加算器６０５は、予測信号と復元差分信号とを加算することで、再生動画像を生成する。生成された再生動画像は画像出力端子６０６経由で外部の表示装置に伝送されるとともに、フレームメモリ６０７に送られ格納される。

一方、動き検出器６０９は、フレームメモリ６０７から、生成された再生動画像内の対象ブロックの信号と参照画像の信号とを入力し、ブロックマッチングの方法により、上記復号された第１動きベクトルが属する再生動画像内の対象ブロックに対する第２動きベクトルを検出する。そして、第１動きベクトルはラインＬ６０２ｂ経由で、第２動きベクトルはラインＬ６１０経由で、それぞれ、情報抽出器６１０に送られる。情報抽出器６１０は、第１動きベクトルと第２動きベクトルとを比較し、比較結果に基づいて、動画像に埋め込まれた情報（埋め込み情報）を抽出する（判断する）。具体的には、情報抽出器６１０は、第１動きベクトルと第２動きベクトルが同じ場合、埋め込み情報が「０」であると判断し、第１動きベクトルと第２動きベクトルが異なる場合、埋め込み情報が「１」であると判断する。これは図３に対応した結果になるが、「０」と「１」を逆に割り当ててもよい。

また、動き検出器６０９は、上述した第１の方法のほかに、フレームメモリ６０７から、対象ブロックに隣接する再生済の画素からなる隣接ブロックの信号と参照画像の信号とを入力し、図４にて説明された方法で第２動きベクトルを検出してもよい。即ち、動き検出器６０９は、図４の対象ブロック４０２に隣接する画素群４０３を対象として、画素群４０３と、参照画像４０６内の探索領域４０９にある候補画素群４０８との誤差を求め、探索領域４０９にある全ての候補画素群４０８の中から、画素群４０３との誤差が最も小さい候補画素群を予測画素群とする。そして、動き検出器６０９は、画素群４０３と予測画素群との間の変位を、対象ブロックの第２動きベクトルとする。情報抽出器６１０は、このように得られた第２動きベクトルと第１動きベクトルとを比較し、比較結果に基づいて、動画像に埋め込まれた情報（埋め込み情報）を抽出する（判断する）。例えば、情報抽出器６１０は、第１動きベクトルと第２動きベクトルが同じ場合、埋め込み情報が「０」であると判断し、第１動きベクトルと第２動きベクトルが異なる場合、埋め込み情報が「１」であると判断する。

図７には、動画像復号装置６００により実行される、埋め込み情報を処理する動画像復号処理の流れ図を示す。図７のステップ７０１では、圧縮符号化されたデータが入力される。次に、データ解析器６０２は、入力されたデータをエントロピー復号し、量子化変換係数、量子化情報、及び第１動きベクトルを含んだ情報を抽出する（ステップ７０２）。予測信号生成器６０８は、抽出された第１動きベクトルに基づき予測信号を生成する（ステップ７０３）。逆量子化器６０３は、抽出された量子化変換係数に対し、量子化情報を用いて逆量子化する（ステップ７０４）。逆変換器６０４は、その結果を逆変換することで再生差分信号を生成する（ステップ７０５）。そして、加算器６０５は、予測信号と再生差分信号を加算することで再生信号を生成する（ステップ７０６）。生成された再生動画像はフレームメモリ６０７に出力され一時格納される（ステップ７０７）。上記のステップ７０１〜７０７の処理は全てのデータについて実行され、これにより画像が復元される。

図８には、動画像復号装置６００の動き検出器６０９及び情報抽出器６１０により実行される情報抽出処理の流れ図を示す。図８のステップ８０１では、ビットストリームに含まれ復号された第１動きベクトルが情報抽出器６１０に入力され、該第１動きベクトルに対応する再生動画像のブロック信号と参照画像信号とがフレームメモリ６０７から動き検出器６０９に入力される。次に、ステップ８０２にて動き検出器６０９は、再生動画像のブロック信号と参照画像信号より、第２の動きベクトルを検出する。ここでの第２動きベクトルの検出処理は、上述したように、再生された対象ブロック又は該対象ブロックに隣接する画素群を用いて行われる。

ステップ８０３では、情報抽出器６１０は、入力された第１動きベクトルと、動き検出器６０９により検出された第２動きベクトルとを比較する。ここで、情報抽出器６１０は、第１動きベクトルと第２動きベクトルが同じ場合、埋め込み情報が「０」であると判断し（ステップ８０４）、第１動きベクトルと第２動きベクトルが異なる場合、埋め込み情報が「１」であると判断する（ステップ８０５）。以後、ステップ８０１〜８０５の処理は全ての対象ブロックについて実行され、全ての対象ブロックについて実行完了すると、情報抽出器６１０は、抽出した埋め込み情報を情報出力端子６１１から外部へ出力する（ステップ８０７）。

なお、一部のブロックだけに情報を埋め込んだ場合は、該当の一部のブロックのみについて埋め込み情報の抽出を行なえばよい。

また、上述した実施形態では、１つの対象ブロックに１ビットを埋め込む場合について説明したが、１ブロック当りに２ビットのデータを埋め込んだ場合でも同じ処理を行う。動き検出器６０９にて検出された第２動きベクトルについて、それが予測誤差の最も小さいものに対応するか、または２番目に小さいもの対応するか、または３番目に小さいものに対応するかによって、埋め込まれた情報を区別する。例えば、第１動きベクトルが第２動きベクトルと異なる場合に「００」、第１動きベクトルが第２動きベクトルと同じ場合には、さらにその第２動きベクトルによる予測誤差の最小のものに「０１」、２番目に小さいものに「１０」、３番目に小さいものに「１１」として情報を抽出する。なお、３ビット以上の場合も同じように拡張すればよい。このように、情報を埋め込むデータを所定の規則に従って動きベクトルを変化させるのではなく、予測誤差の小さい順で情報を埋め込み、抽出するために、大局的に高画質の符号化データを生成することができる。また、再生動画像から、第２動きベクトルを求め、求めた第２動きベクトルに基づいて埋め込み情報を抽出することから、符号化側に用いられる情報埋め込み方法の規則を知る必要はなく、情報埋め込み方法に依存しないで情報の抽出ができる。すなわち、情報埋め込み方法を多少変更しても同じ復号装置で情報を抽出できるメリットがある。

（動画像符号化プログラム・動画像復号プログラムと動作環境）
ところで、動画像符号化装置に係る発明は、コンピュータを動画像符号化装置として機能させるための動画像符号化プログラムに係る発明として捉えることができる。また、動画像復号装置に係る発明は、コンピュータを動画像復号装置として機能させるための動画像復号プログラムに係る発明として捉えることができる。動画像符号化プログラム及び動画像復号プログラムは、例えば、記録媒体に格納されて提供される。記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等の記録媒体や、半導体メモリ等が例示される。

図９は、記録媒体１０に記録されたプログラムを実行するためのコンピュータ３０のハードウェア構成を示す図であり、図１０は、記録媒体１０に記録されたプログラムを実行するためのコンピュータ３０の斜視図である。ここでのコンピュータ３０としては、ＣＰＵを具備しソフトウエアによる処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図９に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイ１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された動画像符号化プログラム及び動画像復号プログラムにアクセス可能になり、当該動画像符号化プログラム及び動画像復号プログラムによって、コンピュータ３０は、本発明に係る動画像符号化装置及び動画像復号装置として動作することが可能になる。

図１０に示すように、動画像符号化プログラム及び動画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０として、有線ネットワーク・無線ネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像符号化プログラム及び動画像復号プログラムをメモリ１６に格納し、当該動画像符号化プログラム及び動画像復号プログラムを実行することができる。

以上説明した本実施形態によれば、符号化側に用いられる情報埋め込み方法の規則に依存しないで、情報埋め込み方法を多少変更しても既存の復号装置で情報の抽出ができるメリットがある。また、復号装置で動きベクトルの判別がさえできれば、符号化装置で大局的により少ない誤差の動きベクトルで情報を埋め込むことができ、従来技術より高い画質で情報を埋め込むことが可能となる。

埋め込み情報を処理する動画像符号化装置のブロック図である。 動画像符号化装置における情報埋め込み処理を示す流れ図である。 ステップ２１５の処理に関する第１の方法を示す流れ図である。 ステップ２１２の処理に関する第２の方法を説明するための模式図である。 ステップ２１５の処理に関する第２の方法を示す流れ図である。 埋め込み情報を処理する動画像復号装置を示すブロック図である。 埋め込み情報を処理する動画像復号処理を示す流れ図である。 情報抽出処理を示す流れ図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。

符号の説明

１０…記録媒体、１２…読み取り装置、１４…作業用メモリ、１６…メモリ、１８…ディスプレイ、２０…マウス、２２…キーボード、２４…通信装置、３０…コンピュータ、４０…コンピュータデータ信号、１００…動画像符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…引き算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…動き検出器、１１４…動きベクトル選択器、４０２…対象ブロック、４０３…隣接する画素群、４０６…参照画像、４０８…候補画素群、４０９…探索領域、６００…動画像復号装置、６０１…入力端子、６０２…データ解析器、６０３…逆量子化器、６０４…逆変換器、６０５…加算器、６０６…画像出力端子、６０７…フレームメモリ、６０８…予測信号生成器、６０９…動き検出器、６１０…情報抽出器、６１１…情報出力端子。

Claims (12)

1. 動画像を複数の対象領域に分割し、前記対象領域について復元済の参照画像より予測領域及び前記予測領域の位置を示す動きベクトル情報を決定し、前記予測領域と前記対象領域との差分信号及び前記動きベクトル情報を符号化してなるデータ、を含むビットストリームを入力する入力手段と、
   入力された前記ビットストリームより、前記差分信号及び前記動きベクトル情報を復号し、前記参照画像より前記動きベクトル情報によって特定される予測領域の信号と前記差分信号とから前記動画像を復元することで、再生動画像を生成する画像復号手段と、
   前記生成された再生動画像と前記参照画像とから、所定の方法で、前記復号された動きベクトル情報が属する前記再生動画像内の対象領域に対する基準動きベクトルを検出し、前記動きベクトル情報と前記基準動きベクトルとを比較し、該比較結果に基づいて、前記動画像に埋め込まれた情報を抽出する情報抽出手段と、
   を具備することを特徴とする動画像復号装置。
2. 前記情報抽出手段は、前記動きベクトル情報が属する前記再生動画像内の対象領域に隣接する再生済の画素からなる隣接領域と、前記参照画像の信号とを比較することにより前記基準動きベクトルを検出し、前記動きベクトル情報と前記基準動きベクトルとを比較し、該比較結果に基づいて前記埋め込まれた情報を抽出することを特徴とする請求項１記載の動画像復号装置。
3. 動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力手段と、
   前記対象画像を複数の対象領域に分割し、前記対象領域について再生済の参照画像より予測信号を特定するための複数の動きベクトル情報を検出する動き検出手段と、
   前記複数の動きベクトル情報のうち１つの動きベクトル情報をもとに、前記対象領域についての予測信号を生成する予測信号生成手段と、
   前記対象領域と前記予測信号との差分を符号化し、符号化差分信号を生成する符号化手段と、
   前記符号化差分信号を復元し、復元した符号化差分信号と前記予測信号とを加算することで、再生動画像を生成する再生手段と、
   予測信号を生成する際の参照画像として用いられる前記再生動画像を格納する格納手段と、
   前記動画像に埋め込むべき情報を前記動画像に埋め込むための処理を実行する情報埋め込み手段と、を具備し、
   前記動き検出手段は、前記対象領域について再生済の参照画像より第１動き検出方法で第１動きベクトルを検出し、前記再生動画像と前記参照画像とに基づいて動きを検出する第２動き検出方法で、前記第１動きベクトルと異なる第２動きベクトルを検出し、
   前記情報埋め込み手段は、前記埋め込むべき情報に基づいて前記第１動きベクトルと前記第２動きベクトルのいずれかを選択し、
   前記予測信号生成手段は、選択された前記第１動きベクトル又は前記第２動きベクトルを前記１つの動きベクトル情報とし、該１つの動きベクトル情報をもとに、前記対象領域についての予測信号を生成する
   ことを特徴とする動画像符号化装置。
4. 前記動き検出手段は、前記第２動き検出方法として、前記再生動画像内にある対象領域に隣接する再生済の画素からなる隣接領域と、前記参照画像の信号とを比較し、該比較結果に基づいて前記第２動きベクトルを検出することを特徴とする請求項３記載の動画像符号化装置。
5. 前記動き検出手段は、前記第２動き検出方法として、前記第１動きベクトルで特定される予測信号による誤差値から所定の幅以上離れた誤差値の予測信号を与える前記第２動きベクトルを検出することを特徴とする請求項３記載の動画像符号化装置。
6. 動画像復号装置により実行される動画像復号方法であって、
   動画像を複数の対象領域に分割し、前記対象領域について復元済の参照画像より予測領域及び前記予測領域の位置を示す動きベクトル情報を決定し、前記予測領域と前記対象領域との差分信号及び前記動きベクトル情報を符号化してなるデータ、を含むビットストリームを入力する入力ステップと、
   入力された前記ビットストリームより、前記差分信号及び前記動きベクトル情報を復号し、前記参照画像より前記動きベクトル情報によって特定される予測領域の信号と前記差分信号とから前記動画像を復元することで、再生動画像を生成する画像復号ステップと、
   前記生成された再生動画像と前記参照画像とから、所定の方法で、前記復号された動きベクトル情報が属する前記再生動画像内の対象領域に対する基準動きベクトルを検出し、前記動きベクトル情報と前記基準動きベクトルとを比較し、該比較結果に基づいて、前記動画像に埋め込まれた情報を抽出する情報抽出ステップと、
   を具備することを特徴とする動画像復号方法。
7. 前記情報抽出ステップでは、前記動きベクトル情報が属する前記再生動画像内の対象領域に隣接する再生済の画素からなる隣接領域と、前記参照画像の信号とを比較することにより前記基準動きベクトルを検出し、前記動きベクトル情報と前記基準動きベクトルとを比較し、該比較結果に基づいて前記埋め込まれた情報を抽出することを特徴とする請求項６記載の動画像復号方法。
8. 動画像符号化装置により実行される動画像符号化方法であって、
   動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力ステップと、
   前記対象画像を複数の対象領域に分割し、前記対象領域について再生済の参照画像より予測信号を特定するための複数の動きベクトル情報を検出する動き検出ステップと、
   前記複数の動きベクトル情報のうち１つの動きベクトル情報をもとに、前記対象領域についての予測信号を生成する予測信号生成ステップと、
   前記対象領域と前記予測信号との差分を符号化し、符号化差分信号を生成する符号化ステップと、
   前記符号化差分信号を復元し、復元した符号化差分信号と前記予測信号とを加算することで、再生動画像を生成する再生ステップと、
   予測信号を生成する際の参照画像として用いられる前記再生動画像を格納する格納ステップと、
   前記動画像に埋め込むべき情報を前記動画像に埋め込むための処理を実行する情報埋め込みステップと、を具備し、
   前記動き検出ステップでは、前記対象領域について再生済の参照画像より第１動き検出方法で第１動きベクトルを検出し、前記再生動画像と前記参照画像とに基づいて動きを検出する第２動き検出方法で、前記第１動きベクトルと異なる第２動きベクトルを検出し、
   前記情報埋め込みステップでは、前記埋め込むべき情報に基づいて前記第１動きベクトルと前記第２動きベクトルのいずれかを選択し、
   前記予測信号生成ステップでは、選択された前記第１動きベクトル又は前記第２動きベクトルを前記１つの動きベクトル情報とし、該１つの動きベクトル情報をもとに、前記対象領域についての予測信号を生成する
   ことを特徴とする動画像符号化方法。
9. 前記動き検出ステップでは、前記第２動き検出方法として、前記再生動画像内にある対象領域に隣接する再生済の画素からなる隣接領域と、前記参照画像の信号とを比較し、該比較結果に基づいて前記第２動きベクトルを検出することを特徴とする請求項８記載の動画像符号化方法。
10. 前記動き検出ステップでは、前記第２動き検出方法として、前記第１動きベクトルで特定される予測信号による誤差値から所定の幅以上離れた誤差値の予測信号を与える前記第２動きベクトルを検出することを特徴とする請求項８記載の動画像符号化方法。
11. コンピュータを、請求項１又は２に記載の動画像復号装置として機能させるための動画像復号プログラム。
12. コンピュータを、請求項３〜５の何れか一項に記載の動画像符号化装置として機能させるための動画像符号化プログラム。

Images