JP6191296B2 - 動画像処理装置、動画像処理方法及びプログラム - Google Patents

Description

本発明は、動画像処理装置、動画像処理方法及びプログラムに関する。

近年の動画像符号化では、画像をブロックに分割し、ブロックに含まれる画素を予測して予測差分を符号化することで高い圧縮率を達成している。符号化対象のピクチャ内の画素から予測画素を構成する予測モードをイントラ予測といい、過去に符号化した画像を参照画像とし、参照画像から予測画素を構成する予測モードをインター予測という。

インター予測は動き補償とも呼ばれる。動画像符号化装置において、インター予測では、予測画素として参照する領域を動きベクトルという水平（ｘ）成分・垂直（ｙ）成分の２次元座標データで表現し、動きベクトルと画素の予測差分データを符号化する。

動きベクトルについては、その符号量を抑えるため、符号化対象ブロックに隣接するブロックの動きベクトルから予測ベクトル（予測値）を生成し、動きベクトルと予測ベクトルとの差分ベクトルが符号化される。

動画像復号装置においても、各ブロックで動画像符号化装置と同一の予測ベクトルを決定し、符号化された差分ベクトルと予測ベクトルを加算することによって動きベクトルを復元する。そのため、動画像符号化装置と動画像復号装置は、同一の動きベクトル予測部を備える。

動画像復号装置において、各ブロックは、一般には画像の左上から右下に向かってラスタースキャンやｚスキャンの順序で復号される。そのため、動画像符号化装置と動画像復号装置とにおける動きベクトル予測部が予測に利用できる周辺ブロックの動きベクトルは、動画像復号装置にて処理対象ブロックを復号するときに既に復号済みとなる左や上に隣接するブロックの動きベクトルとなる。

さらに、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、処理ピクチャではなく、過去に符号化・復号処理した参照ピクチャの動きベクトルを用いて予測ベクトルを決定することもある（例えば非特許文献１参照）。

予測ベクトル決定方法の技術として、国際標準化団体ISO／IECとITU-Tが共同に標準化を検討している動画像符号化方式High Efficiency Video Coding（以下ＨＥＶＣ）の技術がある（例えば非特許文献２参照）。また、参照ソフトウェアとしてHM Software（Version 8 .0）が開示されている。

以下に、動画像符号化技術としてのＨＥＶＣに関する概要説明を行う。ＨＥＶＣでは、参照可能なピクチャのリスト（以後参照ピクチャリスト）として、Ｌ０と、Ｌ１という２つのリストを持つ。

各ブロックは、Ｌ０とＬ１それぞれに対応する動きベクトルによって、最大２つの参照ピクチャの領域をインター予測に使用することができる。Ｌ０とＬ１とは、一般には、表示時間の方向に対応し、Ｌ０は処理ピクチャに対して過去のピクチャの参照リストであり、Ｌ１は未来のピクチャの参照リストである。

参照ピクチャリストの各エントリは、画素データの記憶位置と、そのピクチャの表示時間情報ＰＯＣ（Picture Order Count）値とを含む情報を有する。ＰＯＣとは、各ピクチャの表示順序と相対的な表示時間を表す整数値である。ＰＯＣ値が０となるピクチャの表示時間を０としたときに、あるピクチャの表示時間は、そのピクチャのＰＯＣ値の定数倍で表すことができる。

例えば、フレームの表示周期（Ｈｚ）をｆｒ、ＰＯＣ値がｐであるピクチャの表示時間は、式（１）により表すことができる。これにより、ＰＯＣは、ある定数（秒）を単位とした表示時間と見なすことができる。
表示時間＝ｐ×（ｆｒ／２） ・・・式（１）
１つの参照ピクチャリストのエントリ数が２以上であった場合、各動きベクトルは、参照ピクチャリスト内のインデックス番号（参照インデックス）によって、どの参照ピクチャを参照するかを指定する。

特に参照ピクチャリストのエントリ数が１ピクチャしか含まない場合、そのリストに対応する動きベクトルの参照インデックスは自動的に０番となるため、明示的に指定する必要はない。すなわち、ブロックの動きベクトルは、Ｌ０／Ｌ１リスト識別子と、参照インデックスと、ベクトルデータ（Ｖｘ、Ｖｙ）を含む。Ｌ０／Ｌ１リスト識別子と、参照インデックスにより参照ピクチャが指定され、参照ピクチャ内の領域が（Ｖｘ、Ｖｙ）で指定される。

ＶｘとＶｙは、それぞれ水平方向と垂直方向における参照領域の座標と現ブロックの座標の差であり、１／４画素単位で表現される。Ｌ０／Ｌ１リスト識別子と、参照インデックスを参照ピクチャ識別子とし、（Ｖｘ、Ｖｙ）をベクトルデータと呼ぶこととする。Ｌ０かＬ１かのどちらかの動きベクトルを用いてインター予測画像を生成するものを片方向予測といい、２つとも用いるものを両方向予測または両予測という。

ＨＥＶＣにおける予測ベクトルの決定方法について説明する。予測ベクトルは、Ｌ０／Ｌ１リスト識別子と、参照インデックスで指定された参照ピクチャごとに決定される。参照ピクチャリストがＬＸ（Ｘ＝０ｏｒ１）、参照インデックスがｒｅｆｉｄｘで指定される参照ピクチャを参照する動きベクトルに対して、予測ベクトルのベクトルデータｍｖｐを決定するとき、第一に最大で３つのベクトルデータが予測ベクトル候補として算出される。

処理ブロックに対して空間方向と時間方向とに隣接するブロックが、左方向に隣接したブロック、上方向に隣接したブロック、時間方向に隣接したブロックの３つに分類される。

この３グループからそれぞれ最大で１本の予測ベクトル候補が選出される。選出された予測ベクトル候補は、左に隣接したグループ、上に隣接したグループ、時間方向に隣接したグループ、の優先順序でリスト化される。この予測ベクトル候補リストを配列ｍｖｐ＿ｃａｎｄとする。

予測ベクトル候補リストの要素数は最大２であり、予測ベクトル候補が３本選できた場合は、優先順位が低い予測ベクトル候補は捨てられる。もし、予測ベクトル候補が２に満たない場合、ゼロベクトルがｍｖｐ＿ｃａｎｄに追加される。

図１は、予測ベクトル候補リストの一例を示す図である。図１に示す例では、上に隣接したグループで選出されたブロックの予測ベクトル候補が、ｍｖｐ＿ｃａｎｄ［０］である。また、左に隣接したグループで選出されたブロックの予測ベクトル候補が、ｍｖｐ＿ｃａｎｄ［１］である。

第二に、予測ベクトル候補リスト内のいずれの予測ベクトル候補を予測ベクトルとして選択するかについて、予測ベクトル候補の選択情報の識別子としては、予測ベクトル候補インデックスｍｖｐ＿ｉｄｘが用いられる。

すなわち、ｍｖｐは、ｍｖｐ＿ｃａｎｄのｍｖｐ＿ｉｄｘ番目にエントリされた予測ベクトル候補のベクトルデータとなる。

動画像符号化装置において、符号化対象ブロックのＬＸのｒｅｆｉｄｘを参照する動きベクトルがｍｖであったとき、ｍｖｐ＿ｃａｎｄの中で、ｍｖと最も近い候補を探し、そのインデックスがｍｖｐ＿ｉｄｘとなる。

さらに、差分ベクトルｍｖｄが式（２）で算出され、リストＬＸの動きベクトル情報として、ｒｅｆｉｄｘ、ｍｖｄ、ｍｖｐ＿ｉｄｘが符号化され、動画像復号装置に送信される。
ｍｖｄ＝ｍｖ−ｍｖｐ・・・式（２）
動画像復号装置は、ｒｅｆｉｄｘ、ｍｖｄ、ｍｖｐ＿ｉｄｘを復号し、ｒｅｆｉｄｘに基づき、ｍｖｐ＿ｃａｎｄを決定し、予測ベクトルｍｖｐを、ｍｖｐ＿ｃａｎｄのｍｖｐ＿ｉｄｘ番目の予測ベクトル候補とする。式（３）により、処理ブロックの動きベクトルｍｖを復元する。
ｍｖ＝ｍｖｄ＋ｍｖｐ ・・・式（３）
一方で、圧縮・符号化する動画像データに、透かし情報や、動画像に関連する情報を埋め込む技術が知られている。例えば、動きベクトルを利用した情報の埋め込みについては、以下の技術がある。電子透かし情報を埋め込む符号化装置は、まず、最適な動きベクトルを１画素単位で求める。この符号化装置は、電子透かし情報から１ビットを取り出し、そのビットの値（０または１）によって、半画素単位の動きベクトルの探索範囲を限定する。次に、符号化装置は、１画素単位で求めた最適な動きベクトルが指す参照画素の周囲の８つの半画素（ハーフペル）から最も原画素に近い画素を求め、求めた画素を指すベクトルを新たな動きベクトルとする。電子透かし情報を取り出す復号装置では、動きベクトルを復号し、動きベクトルのｘ成分、ｙ成分が半画素か否かを検出して、ｘ成分とｙ成分の組み合わせにより透かし情報を算出する（例えば非特許文献３参照）。

また、上記非特許文献３に対して、動きベクトルを用いて情報を埋め込む際に画質を維持するための自由度を高めると同時に、情報を埋め込む方法を変更しても情報を抽出する技術がある（例えば特許文献１参照）。

ISO/IEC 14496-10 (MPEG-4 Part 10) ／ ITU-TRec.H.264 Thomas Wiegand、Woo-Jin Han、Benjamin Bross、Jens-Rainer Ohm、Gary J. Sullivan、"Working Draft 8 ofHigh-Efficiency Video Coding" JCTVC-J1003, 2012-07 Stockholm 「ＭＰＥＧ２における「デジタル透かし」利用による著作権保護の一検討」、「電子情報通信学会暗号と情報セキュリティシンポジウム」、（１９９７年１月２９日）、中沢英徳、小舘亮之、ジェフモリソン、富永英義著、（社）電子情報通信学会 発行

特開２００８−２５９０５９号公報

従来の埋め込み技術の問題点は、すでに圧縮符号化した動画像データに、従来技術のような動きベクトルの値だけを操作するなどして透かし情報を埋め込むと、圧縮した動画像データの復号画像に、埋め込み前後で誤差が発生してしまう。つまり、埋め込み後の復号画像の画質が劣化するという問題があった。

復号画像は、インター予測画像と予測差分の和として算出される。そのため、動きベクトルが変わることで、本来の動きベクトルとは異なる参照領域がインター予測画像として用いられるために、復号画像に誤差が発生する。

さらに、各ピクチャに対して情報が埋め込まれると、インター予測によって、情報埋め込みによる画質劣化が蓄積し、画質劣化が大きくなってしまう。すでに圧縮された動画像データのインター予測は、埋め込み前の復号画素を参照画像として圧縮されているため、参照画像に誤差が発生すると、処理ピクチャにも誤差が伝搬するからである。

このように、参照画像に誤差が発生し、インター予測によって誤差が蓄積していく劣化は、ドリフト誤差と呼ばれる。埋め込みによる復号画像の画質劣化や、ドリフト誤差による画質劣化を回避するためには、圧縮された動画像データを復号処理し、再度符号化処理を行うことが必要となる。

つまり、復号処理で得られた復号画像に対して、動きベクトルの検出処理や情報の埋め込み操作が行われ、埋め込み操作を行った結果の動きベクトルが参照する領域をインター予測画像として、再度動画像の符号化処理が行われる。

例えば、動画像データを複数のユーザに配信する場合に、配信する動画像データにユーザＩＤのようなユーザ固有の情報を埋め込むことを考えると、ユーザごとに動画像圧縮処理を行う必要があり、ユーザの拡大とともに計算量が膨大なものとなる。

そのため、従来技術では、圧縮された動画像データに対して、計算量の増加を抑え、画質の劣化を生じさせずに情報を埋め込むことができないという問題があった。

そこで、開示の技術は、計算量の増加を抑えつつ、画質の劣化を生じさせずに情報を埋め込むことができることを目的とする。

開示の一態様における動画像処理装置は、画像符号化データを可変長復号し、処理ブロック毎に符号化パラメータ情報を取得する取得部と、処理ブロック毎に、該処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成する候補リスト生成部と、前記予測ベクトル候補リストと、前記符号化パラメータ情報に含まれる予測ベクトル候補の選択情報及び差分ベクトルとを取得し、動きベクトルを復元する復元部と、前記予測ベクトル候補の選択情報を所定情報で更新する選択情報更新部と、前記所定情報で更新することで該所定情報が埋め込まれた予測ベクトル候補と、復元された前記動きベクトルとに基づき算出した差分ベクトルにより、前記符号化パラメータ情報から取得した差分ベクトルを更新する差分ベクトル更新部と、前記所定情報が埋め込まれた予測ベクトル候補と、更新された差分ベクトルとを含む前記符号化パラメータ情報に基づいて、処理ブロックを可変長符号化し、画像符号化データを生成する可変長符号化部とを有する。

また、他の態様における動画像処理装置は、ブロック単位で符号化された動画像データを可変長復号し、復号された符号化パラメータ情報を取得する可変長復号部と、前記符号化パラメータ情報に含まれる、処理ブロックにおける予測ベクトル候補の選択情報から所定情報を復元する情報復元部と、前記予測ベクトル候補の選択情報に前記所定情報が埋め込まれたことによる符号量増加量を推定する推定部と、前記符号量増加量に基づいて、前記処理ブロックが前記所定情報の埋め込み対象であるか否かを判定する判定部とを有する。

開示の技術によれば、計算量の増加を抑えつつ、画質の劣化を生じさせずに情報を埋め込むことができる。

予測ベクトル候補リストの一例を示す図。 実施例における画像処理システム１を説明する図。 実施例１における動画像処理装置の構成の一例を示すブロック図。 実施例１における動画像処理の一例を示すフローチャート。 実施例２における動画像処理装置の構成の一例を示すブロック図。 実施例２における判定部の構成の一例を示すブロック図。 実施例２における第２の埋め込み判定処理の一例を示すフローチャート。 実施例３における動画像復号装置の構成の一例を示すブロック図。 実施例３における動画像処理の一例を示すフローチャート。 変形例１における動画像処理装置の構成の一例を示すブロック図。 変形例２における動画像処理装置の構成の一例を示すブロック図。

以下、添付図面を参照しながら各実施例について詳細に説明する。まず、各実施例における画像処理システム１について説明する。図２は、実施例における画像処理システム１を説明する図である。図２に示すように、画像処理システム１は、動画像符号化装置５と、動画像処理装置１０と、動画像復号装置２０とを有する。

動画像符号化装置５は、動画像に対して符号化処理、例えばＨＥＶＣの符号化技術を用いて符号化処理を行う。符号化された動画像データ（ビットストリーム）は、動画像処理装置１０に出力される。

動画像処理装置１０は、動画像データを取得し、この動画像データに対して所定情報を埋め込む。所定情報は、例えばユーザＩＤなどの固有の情報を表す埋め込み情報である。また、動画像処理装置１０は、所定情報を動画像データに埋め込むため、埋め込み装置としても機能する。

動画像処理装置１０は、例えばユーザＩＤを動画像データに埋め込む場合、ユーザＩＤ毎に動画像データに埋め込み処理を行い、対応する動画像復号装置２０に対し、動画像データを、ネットワークを介して出力する。動画像処理装置１０は、計算量の増加を抑えつつ、画質の劣化を生じさせずに情報を埋め込むことができる。なお、動画像処理装置１０は、動画像符号化装置５に組み込まれてもよい。

動画像復号装置２０は、各ユーザに対応しており、例えばユーザ１は、動画像復号装置２０−１を、ユーザ２は、動画像復号装置２０−２を、ユーザ３は、動画像復号装置２０−３を所持する。各動画像復号装置は、同様の機能を有しており、各装置を区別する必要がないときは、総称して動画像復号装置２０と表記する。

動画像復号装置２０は、動画像データを受信すると、動画像データを復号する際、埋め込まれた所定情報を検出する。また、動画像復号装置２０と動画像符号化装置５とは、動画像処理装置とも呼ぶ。

［実施例１］
次に、実施例１における動画像処理装置１０について説明する。実施例１における動画像処理装置を１０Ａと表記する。

＜構成＞
図３は、実施例１における動画像処理装置１０Ａの構成の一例を示すブロック図である。図３に示す例では、動画像処理装置１０Ａは、可変長復号部１０１と、記憶部１０２と、候補リスト生成部１０３と、差分ベクトル算出部１０４と、可変長符号化部１０５とを有する。各部は、データ通信可能なように接続されている。

可変長復号部１０１は、動画像符号化装置５から送信された動画像データを受信し、この動画像データに対して可変長符号化の復号処理を行う。この復号処理で、処理ブロックの符号化パラメータ情報が復号される。

可変長復号部１０１は、ブロックのイントラかインターかを表す予測モードや、Ｌ０の参照インデックスと差分ベクトル、予測候補インデックス、及びＬ１の参照インデックスと差分ベクトル、予測候補インデックス、直交変換係数などを復号する。復号された情報は、符号化パラメータ情報とも称す。

記憶部１０２は、可変長復号部１０１により復号された符号化パラメータ情報を記憶する。すなわち、記憶部１０２は、複数のブロックに分割された画像に対し、各ブロック単位で符号化することで生成された符号化パラメータ情報を記憶する。

候補リスト生成部１０３は、処理ブロック毎に、この処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成する。候補リスト生成部１０３は、復号されたＬＸ（Ｘ＝０，１）の参照インデックスに基づき、ＬＸの予測ベクトルの候補リストｍｖｐ＿ｃａｎｄを算出する。

予測ベクトルの候補リストを生成する方法は、１例としては、ＨＥＶＣの予測ベクトル候補リスト生成方法のように、処理ブロックの上に位置するブロック、左に位置するブロック、時間方向に隣接するブロックの動きベクトルから生成する方法がある。ここでは、ＨＥＶＣと同様にｍｖｐ＿ｃａｎｄの要素数は、２となるように予測ベクトル候補が生成されるとする。そのため、ｍｖｐ＿ｉｄｘは０または１となる。

候補リスト生成部１０３は、生成した予測ベクトル候補リストを、動きベクトル復元部１４１、差分ベクトル更新部１４４に出力する。

差分ベクトル算出部１０４は、処理ブロックがインター予測される場合、所定情報の１ビットを、予測ベクトル候補の選択情報（ｍｖｐ＿ｉｄｘ）に設定する。また、差分ベクトル算出部１０４は、処理ブロックの動きベクトルと、選択情報が示す予測ベクトル候補との差分ベクトルを算出する。

また、差分ベクトル算出部１０４は、差分ベクトルを算出するため、動きベクトル復元部１４１と、判定部１４２と、選択情報更新部１４３と、差分ベクトル更新部１４４とを有する。

動きベクトル復元部１４１は、候補リスト生成部１０３により生成された予測ベクトル候補リストと、記憶部１０２に記憶された符号化パラメータ情報に含まれる予測ベクトル候補の選択情報と、差分ベクトルとを取得し、処理ブロックの動きベクトルを復元する。

動きベクトル復元部１４１は、例えば可変長復号部１０１により復号されたＬＸ予測候補インデックスｍｖｐ＿ｉｄｘ（選択情報）と、差分ベクトルｍｖｄとを取得する。動きベクトル復元部１４１は、予測ベクトル候補リストの中から予測候補インデックスによって識別される予測ベクトルｍｖｐをｍｖｐ＝ｍｖｐ＿ｃａｎｄ［ｍｖｐ＿ｉｄｘ］として算出する。動きベクトル復元部１４１は、差分ベクトルｍｖｄと予測ベクトルｍｖｐとを加算することにより（式（３））、ＬＸの動きベクトルがそれぞれ復元される。

復元されたＬＸの参照インデックスや動きベクトルは、記憶部１０２に保持され、次以降のブロックの処理に利用される。動きベクトル復元部１４１は、復元した動きベクトルを差分ベクトル更新部１４４に出力する。

判定部１４２は、記憶部１０２に記憶されている符号化パラメータ情報を用いて、処理ブロックがインター予測されたブロックであるか否かに基づき、処理ブロックが所定情報の埋め込み対象であるか否かを判定する。例えば、判定部１４２は、処理ブロックのＬＸの予測ベクトルの選択情報ｍｖｐ＿ｉｄｘに対し、埋め込み情報が埋め込み可能か否かを判定する。

判定部１４２は、処理ブロックがイントラ予測モードであった場合、ＬＸのｍｖｐ＿ｉｄｘは符号化されないため、埋め込み不可能と判定する。判定部１４２は、インター予測モードがＬ０しか存在しない予測モードであれば、Ｌ１のｍｖｐ＿ｉｄｘへの埋め込み不可能と判定する。

さらに、判定部１４２は、予測モードがＬ１しか存在しない予測モードであれば、Ｌ０のｍｖｐ＿ｉｄｘに埋め込み不可能と判定する。また、判定部１４２は、インター予測であっても、ｍｖｐ＿ｃａｎｄの要素数が１となるような場合、ｍｖｐ＿ｉｄｘが０固定となるため、埋め込みが不可能となる。このような場合も、判定部１４２は、埋め込み不可能と判定する。

また、判定部１４２は、Ｌ０とＬ１片方だけに情報を埋め込むように、Ｌ０、Ｌ１どちらかについては常に不可能と判定してもよい。また、判定部１４２は、所定基準に従って、処理ブロックの画像内での位置に依存して、埋め込み不可能と判定してもよい。所定基準とは、例えば埋め込む処理ブロックを飛び飛びにしたり、画像内での右上領域だけに埋め込んだりするような基準である。これにより、検出側では所定基準を知らないと所定情報を検出できなくなるので、セキュリティが向上する。

判定部１４２は、処理ブロックに埋め込むことができる場合に、その旨を選択情報更新部１４３に通知する。

選択情報更新部１４３は、処理ブロックが埋め込み対象となる場合、所定情報に基づいて、記憶部１０２に記憶された符号化パラメータ情報に含まれる予測ベクトル候補の選択情報を更新する。

例えば、選択情報更新部１４３は、ＬＸのｍｖｐ＿ｉｄｘに埋め込み可能と判定された場合、次に埋め込みたい所定情報に基づき、予測ベクトル候補インデックスｍｖｐ＿ｉｄｘを変更する。つまり、選択情報更新部１４３は、所定情報から次に埋め込みたい１ｂｉｔ取り出し、その値をｙ（ｙ＝０、１）とすると、ｍｖｐ＿ｉｄｘ＝ｙとする。選択情報更新部１４３は、更新した選択情報を、差分ベクトル更新部１４４に出力する。

差分ベクトル更新部１４４は、予測ベクトル候補リストに含まれる、更新された選択情報が示す予測ベクトル候補と、復元された動きベクトルとから差分ベクトルを算出する。差分ベクトル更新部１４４は、記憶部１０２に記憶された符号化パラメータ情報に含まれる差分ベクトルを、算出された差分ベクトルに更新する。

例えば、差分ベクトル更新部１４４は、変更された選択情報ｍｖｐ＿ｉｄｘに基づき予測ベクトルを選択し、動きベクトル復元部１４１で復元された動きベクトルとの差分ベクトルｍｖｄを下の式（４）を用いて算出する。これにより、記憶部１０２の差分ベクトルｍｖｄが変更される。
ｍｖｄ=ｍｖ−ｍｖｐ＿ｃａｎｄ［ｍｖｐ＿ｉｄｘ］ ・・・式（４）
差分ベクトル更新部１４４は、更新した差分ベクトルを記憶部１０２に記憶する。

可変長符号化部１０５は、処理ブロックの、更新された符号化パラメータ情報に基づき、可変長符号化を行い、動画像データを生成し、出力する。以上で、処理ブロックの処理が終了し、次のブロックの処理に移行される。

以上の構成を有することで、動画像処理装置１０Ａは、符号化された動画像データに対し、予測ベクトル候補の選択情報に所定情報を埋め込む。これにより、画像全体を復号し再符号化する必要がないため、計算量を抑えつつ、画質劣化の生じない埋め込み処理が可能になる。

＜動作＞
次に、動画像処理装置１０Ａの動作について説明する。図４は、実施例１における動画像処理の一例を示すフローチャートである。図４に示す処理では、符号化された動画像データに、所定情報を埋め込む例を示す。

ステップＳ１０１で、可変長復号部１０１は、符号化された動画像データ（圧縮されたストリームデータ）に対し、可変長復号する。

ステップＳ１０２で、動画像処理装置１０Ａは、参照ピクチャリストのＸを０に設定する。

ステップＳ１０３で、候補リスト生成部１０３は、参照ピクチャリストＬＸの予測ベクトル候補リストを生成する。

ステップＳ１０４で、動きベクトル復元部１４１は、式（３）を用いて、参照ピクチャリストＬＸの動きベクトルを復元する。

ステップＳ１０５で、判定部１４２は、処理ブロックに所定情報を埋め込むことが可能な否かを判定する。判定部１４２は、例えば予測モードがインター予測であれば埋め込み可能と判定する。埋め込み可能であれば（ステップＳ１０５−ＹＥＳ）ステップＳ１０６に進み、埋め込み不可であれば（ステップＳ１０５−ＮＯ）ステップＳ１０８に進む。

ステップＳ１０６で、選択情報更新部１４３は、埋め込み対象の所定情報に基づいて、予測ベクトル候補の選択情報を更新する。

ステップＳ１０７で、差分ベクトル更新部１４４は、更新された選択情報が示す予測ベクトル候補と、復元された動きベクトルとを用いて差分ベクトルを更新する。

ステップＳ１０８で、動画像処理装置１０Ａは、参照ピクチャリストのＸが１であるか否かを判定する。Ｘが１であれば（ステップＳ１０８−ＹＥＳ）ステップＳ１１０に進み、Ｘが０であれば（ステップＳ１０８−ＮＯ）ステップＳ１０９に進む。

ステップＳ１０９で、動画像処理装置１０Ａは、参照ピクチャリストのＸを１に設定し、ステップＳ１０３の処理に戻る。

ステップＳ１１０で、可変長符号化部１０５は、更新された符号化パラメータ情報を可変長符号化する。

ステップＳ１１１で、動画像処理装置１０Ａは、処理ブロックが最後のブロックか否かを判定する。処理ブロックが最後のブロックであれば（ステップＳ１１１−ＹＥＳ）処理が終了し、処理ブロックが最後のブロックでなければ（ステップＳ１１１−ＮＯ）ステップＳ１０１に戻る。

以上、実施例１によれば、符号化された動画像データに対して、所定情報を埋め込む際に、計算量の増加を抑えつつ、画質の劣化を生じさせずに情報を埋め込むことができる。

［実施例２］
実施例１では、入力された動画像データのｍｖｐ＿ｉｄｘを所定情報（埋め込み情報）に基づき変更する。そのため、実施例１の動画像処理装置は、入力された動画像データの差分ベクトルｍｖｄを変更することで、埋め込み前後で復号される動きベクトルが変化しないように制御している。しかし、ｍｖｄを変更するため、ｍｖｄに要する符号量が増加する可能性がある。

そこで、実施例２では、ｍｖｄの符号量が増加することを防ぐために、判定部は、ｍｖｄの符号量の増加量が一定の範囲内に収まるように判定制御してもよい。実施例２における動画像処理装置を動画像処理装置１０Ｂと表記する。

＜構成＞
図５は、実施例２における動画像処理装置１０Ｂの構成の一例を示すブロック図である。図５に示す構成で、実施例１と同様の構成（図３に示す構成）のものは同じ符号を付す。以下では、実施例１と異なる構成を主に説明する。

候補リスト生成部１０３は、生成した予測ベクトル候補を差分ベクトル算出部１０７の判定部１７１と、差分ベクトル更新部１４４とに出力する。

判定部１７１は、実施例１の判定に加え、さらに符号量の増加を抑制するように、埋め込み対象のブロックを判定する。判定部１７１の詳細は、図６を用いて説明する。

図６は、実施例２における判定部１７１の構成の一例を示すブロック図である。図６に示す判定部１７１は、推定部１７２と、埋め込み判定部１７６とを有する。

推定部１７２は、予測ベクトル候補の選択情報が更新された場合、この場合の符号量増加量を推定する。推定部１７２は、推定した符号量増加量を埋め込み判定部１７６に出力する。

また、推定部１７２は、差分ベクトルリスト生成部１７３と、符号量推定部１７４と、増加量推定部１７５とを有する。

差分ベクトルリスト生成部１７３は、処理ブロックの予測ベクトル候補リストに含まれる各予測ベクトル候補と、動きベクトルとから算出される各差分ベクトルを含む差分ベクトルリストを生成する。

例えば、差分ベクトルリスト生成部１７３は、候補リスト生成部１０３から予測ベクトル候補リストｍｖｐ＿ｃａｎｄと、記憶部１０２から動きベクトルｍｖとを取得する。差分ベクトルリスト生成部１７３は、ｍｖｐ＿ｃａｎｄの全ての予測候補に対して、式（２）により差分ベクトルｍｖｄのリストｍｖｄ＿ｃａｎｄを算出する。

ここで、ｍｖｐ＿ｃａｎｄ［ｉ］と、ｍｖｄ＿ｃａｎｄ［ｉ］とが対応するとし、ｍｖｄ＿ｃａｎｄ［ｉ］＝ｍｖ−ｍｖｐ＿ｃａｎｄ［ｉ］となる。差分ベクトルリスト生成部１７３は、生成した差分ベクトルリストを符号量推定部１７４に出力する。

符号量推定部１７４は、差分ベクトルリストに含まれる各差分ベクトルの符号量の推定値を算出する。

例えば、符号量推定部１７４は、差分ベクトルとしてｍｖｄ＿ｃａｎｄの各要素について符号化した場合の符号量を推定する。ｍｖｄの符号化方法としては、ｍｖｄの水平成分と垂直成分をそれぞれ、指数ゴロム符号化する方法や、指数ゴロム符号化して得たｂｉｔ列を算術符号化する方法が挙げられる。

符号量の推定値は、実際に符号化した場合の符号量であってもよいし、予測値であってもよい。実際に符号化した場合の符号量を用いれば、符号量推定部１７４は、正確に符号量の増加を制御できる。

予測値の１例としては、差分ベクトルは２次元データであるため、ｍｖｄ＿ｃａｎｄ［ｉ］の長さを予測値としてもよい。すなわち、予測値は、ｍｖｄ＿ｃａｎｄ［ｉ］のｘ成分とｙ成分の絶対値の和である。

以降では、各符号量の推定値のリストをｍｖｄｌｅｎ＿ｃａｎｄと表記する。ｍｖｄ＿ｃａｎｄ［ｉ］と、ｍｖｄｌｅｎ＿ｃａｎｄ［ｉ］とが対応する。符号量推定部１７４は、推定値のリストｍｖｄｌｅｎ＿ｃａｎｄを増加量推定部１７５に出力する。

増加量推定部１７５は、差分ベクトルリストに含まれる全ての差分ベクトルの推定値のうち、最大値と最小値との差を算出し、この差を符号量増加量に設定する。

例えば、増加量推定部１７５は、まずｍｖｄｌｅｎ＿ｃａｎｄ［ｉ］の最大値と最小値を算出する。増加量推定部１７５は、最大値、最小値をそれぞれｍｖｄｌｅｎ＿ｍａｘ、ｍｖｄｌｅｎ＿ｍｉｎとし、ｍｖｄｌｅｎ＿ｍａｘ−ｍｖｄｌｅｎ＿ｍｉｎを符号量増加量として、埋め込み判定部１７６に出力する。

埋め込み判定部１７６は、推定された符号量増加量に基づいて、処理ブロックが埋め込み対象であるか否かを判定する。埋め込み判定部１７６は、埋め込み対象であると判定した場合、その旨を選択情報更新部１４３に出力する。

例えば、埋め込み判定部１７６は、符号量の増加を制御するために、所定の閾値をＣとして、符号量増加量（＝ｍｖｄｌｅｎ＿ｍａｘ−ｍｖｄｌｅｎ＿ｍｉｎ）≧Ｃであれば、埋め込み不可能と判定する。

これにより、符号量の推定方法が正確であれば、情報埋め込みによりｍｖｐ＿ｉｄｘを変更してもｍｖｄによる符号量の増加は最悪でもＣ未満であることが保証できる。また、符号量の推定方法が予測値であっても、ｍｖｄによる符号量の増加を抑制することが可能となる。閾値Ｃは、固定値であっても良いし、過去に処理したブロックにおける埋め込み情報による符号量の増加度合いにより、動的に変更されても良い。

＜動作＞
次に、実施例２における動画像処理装置１０Ｂの動作について説明する。実施例２における動画像処理は、実施例１における動画像処理と基本的には同様であり、ステップＳ１０５とステップＳ１０６との間に第２の埋め込み判定を行う。よって、以下では、実施例２における第２の埋め込み判定処理について説明する。

図７は、実施例２における第２の埋め込み判定処理の一例を示すフローチャートである。図７に示すステップＳ２０１で、差分ベクトルリスト生成部１７３は、処理ブロックの予測ベクトル候補リストに含まれる各予測ベクトル候補と、動きベクトルとから算出される各差分ベクトルを含む差分ベクトルリストを生成する。

ステップＳ２０２で、符号量推定部１７４は、差分ベクトルリストに含まれる各差分ベクトルの符号量を推定する。

ステップＳ２０３で、増加量推定部１７５は、差分ベクトルリストに含まれる全ての差分ベクトルの推定値のうち、最大値と最小値との差を算出し、この差を前記符号量増加量に設定する。

ステップＳ２０４で、埋め込み判定部１７６は、推定された符号量増加量が閾値Ｃ以上か否かを判定する。符号量増加量≧Ｃであれば（ステップＳ２０４−ＹＥＳ）ステップＳ１０６に進み、符号量増加量＜Ｃであれば（ステップＳ２０４−ＮＯ）ステップＳ１０８に進む。

以上、実施例２によれば、符号化された動画像データに対して、所定情報を埋め込む際に、計算量の増加と符号量の増加を抑えつつ、画質の劣化を生じさせずに情報を埋め込むことができる。

［実施例３］
次に、実施例３における画像復号装置について説明する。実施例３では、実施例１や実施例２を用いて埋め込まれた所定情報を検出することができる。

＜構成＞
図８は、実施例３における動画像復号装置２０の構成の一例を示すブロック図である。図８に示す動画像復号装置２０は、可変長復号部２０１と、記憶部２０２と、予測ベクトル生成部２０３と、動きベクトル復元部２０４と、判定部２０５と、情報復元部２０６と、画像復号部２０７とを有する。

可変長復号部２０１は、ブロック単位で符号化された動画像データを可変長復号し、復号された符号化パラメータ情報を取得する。可変長復号部２０１は、復号された符号化パラメータ情報を記憶部２０２に記憶する。

記憶部２０２は、可変長復号部２０１により復号された符号化パラメータ情報を記憶する。

候補リスト生成部２０３は、処理ブロック毎に、この処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成する。

動きベクトル復元部２０４は、候補リスト生成部２０３により生成された予測ベクトル候補リストと、記憶部２０２に記憶された符号化パラメータ情報に含まれる予測ベクトル候補の選択情報と、差分ベクトルとを取得する。動きベクトル復元部２０４は、選択情報が示す予測ベクトル候補に差分ベクトルを加算して動きベクトルを復元する。

判定部２０５は、処理ブロックがインター予測されたブロックであるか否かに基づき、処理ブロックが所定情報の埋め込み対象であるか否かを判定する。判定部２０５は、実施例１により所定情報が埋め込まれている場合は、実施例１の判定部１４２と同様の判定を行い、実施例２により所定情報が埋め込まれている場合は、実施例２の判定部１７１と同様の処理を行う。よって、実施例２により所定情報が埋め込まれている場合は、判定部２０５は、図６に示す構成を有する。判定部２０５は、判定結果を情報復元部２０６に出力する。

情報復元部２０６は、処理ブロックが埋め込み対象である場合、記憶部２０２に記憶された符号化パラメータ情報に含まれる、処理ブロックにおける予測ベクトル候補の選択情報から所定情報を復元する。

例えば、情報復元部２０６は、判定部２０５から埋め込み可能のブロックと通知された場合、記憶部２０２から予測ベクトル候補の選択情報ｍｖｐ＿ｉｄｘの値ｘを取得し、その値を埋め込み情報として出力する。

画像復号部２０７は、動きベクトル復元部２０４により復元された動きベクトルなどを用いて動き補償を行ったり、逆量子化を行なったり、逆周波数変換を行なったりして、画像を復号する。画像復号部２０７は、例えばＨＥＶＣに対応する復号処理を行うことができればよい。

これにより、実施例１や実施例２の動画像処理装置で埋め込まれた所定情報を検出することができる。

＜動作＞
次に、実施例３における動画像復号装置２０の動作について説明する。図９は、実施例３における動画像処理の一例を示すフローチャートである。図９に示す処理では、所定情報が埋め込まれた動画像データを復号しつつ、所定情報を検出する例を示す。また、図９に示す処理は、実施例１における動画像処理装置１０Ａにより所定情報が埋め込まれた動画像データに対する処理である。

ステップＳ３０１で、可変長復号部２０１は、符号化された動画像データ（圧縮されたストリームデータ）に対し、可変長復号する。

ステップＳ３０２で、動画像復号装置２０は、参照ピクチャリストのＸを０に設定する。

ステップＳ３０３で、候補リスト生成部２０３は、参照ピクチャリストＬＸの予測ベクトル候補リストを生成する。

ステップＳ３０４で、動きベクトル復元部２０４は、式（３）を用いて、参照ピクチャリストＬＸの動きベクトルを復元する。

ステップＳ３０５で、判定部２０５は、処理ブロックに所定情報を埋め込まれているか否かを判定する。判定部２０５は、例えば予測モードがインター予測であれば埋め込まれていると判定する。所定情報が埋め込まれていれば（ステップＳ３０５−ＹＥＳ）ステップＳ３０６に進み、所定情報が埋め込まれていなければ（ステップＳ３０５−ＮＯ）ステップＳ３０７に進む。

ステップＳ３０６で、情報復元部２０６は、処理ブロックに所定情報が埋め込まれていると判定された場合、記憶部２０２に記憶された符号化パラメータ情報に含まれる、処理ブロックにおける予測ベクトル候補の選択情報から所定情報を復元する。

ステップＳ３０７で、動画像復号装置２０は、参照ピクチャリストのＸが１であるか否かを判定する。Ｘが１であれば（ステップＳ３０７−ＹＥＳ）ステップＳ３０９に進み、Ｘが０であれば（ステップＳ３０７−ＮＯ）ステップＳ３０８に進む。

ステップＳ３０８で、動画像復号装置２０は、参照ピクチャリストのＸを１に設定し、ステップＳ３０３の処理に戻る。

ステップＳ３０９で、動画像復号装置２０は、処理ブロックが最後のブロックか否かを判定する。処理ブロックが最後のブロックであれば（ステップＳ３０９−ＹＥＳ）処理が終了し、処理ブロックが最後のブロックでなければ（ステップＳ３０９−ＮＯ）ステップＳ３０１に戻る。

なお、図９に示す処理において、実施例２における動画像処理装置１０Ｂにより所定情報が埋め込まれた動画像データを処理する場合は、ステップＳ３０５とＳ３０６との間に、図７に示す処理を追加する。この場合、図７に示すステップＳ１０６は、図９に示すステップＳ３０６に変更し、図７に示すステップＳ１０８は、図９に示すステップＳ３０７に変更する。

以上、実施例３によれば、実施例１や実施例２の動画像処理装置により埋め込まれた所定情報を、画質の劣化を生じさせずに検出することができる。

［変形例１］
次に、上記実施例の動画像処理装置１０と動画像符号化装置５とを組み合わせた動画像処理装置について説明する。変形例１における動画像処理装置を動画像処理装置１０Ｃと表記する。

＜構成＞
図１０は、変形例１における動画像処理装置１０Ｃの構成の一例を示すブロック図である。図１０に示す動画像処理装置１０Ｃは、動き検出部３０１、参照ピクチャリスト記憶部３０２、復号画像記憶部３０３、予測情報記憶部３０４、予測ベクトル生成部３０５、差分ベクトル算出部３０６を有する。

また、動画像処理装置１０Ｃは、予測信号生成部３０９、予測誤差生成部３１０、直交変換部３１１、量子化部３１２、逆量子化部３１３、逆直交変換部３１４、復号画素生成部３１５、エントロピー符号化部３１６を有する。

動き検出部３０１は、原画像を取得し、参照ピクチャリスト記憶部３０２から参照ピクチャの記憶位置を取得し、復号画像記憶部３０３から参照ピクチャの画素データを取得する。動き検出部３０１は、Ｌ０、Ｌ１の予測フラグと参照インデックスと動きベクトルとを検出する。動き検出部３０１は、検出された動きベクトルが参照する参照画像の領域位置情報を予測信号生成部３０９に出力する。

参照ピクチャリスト記憶部３０２は、参照ピクチャの記憶位置と、処理ブロックが参照可能なピクチャのＰＯＣ情報を含むピクチャ情報を記憶する。

復号画像記憶部３０３は、動き補償の参照ピクチャとして利用するため、過去に符号化処理し、動画像符号化装置内で局所復号処理されたピクチャを記憶する。

予測情報記憶部３０４は、動き検出部３０１で検出された動きベクトル及びＬ０とＬ１の予測フラグ、参照インデックス情報を含む動きベクトル情報を記憶する。予測情報記憶部３０４は、例えば、処理ブロックに対して空間的及び時間的に隣接するブロックの動きベクトル、この動きベクトルが参照するピクチャを示す参照ピクチャ識別子を含む動きベクトル情報を記憶する。参照ピクチャリスト記憶部３０２及び予測情報記憶部３０４は、記憶部１０２に対応する。

予測ベクトル生成部３０５は、Ｌ０とＬ１との予測フラグと参照インデックスとを用いて、Ｌ０とＬ１との予測ベクトル候補リストを生成する。予測ベクトル生成部３０５は、候補リスト生成部１０３に対応する。予測ベクトル候補を生成する処理は、例えば、非特許文献２に記載のＨＥＶＣなどの従来技術と同様でよい。

差分ベクトル算出部３０６は、動き検出部３０１からＬ０とＬ１の動きベクトルを取得し、予測ベクトル生成部３０５からＬ０とＬ１の予測フラグ、参照インデックス、及び予測ベクトル候補リストを取得し、それぞれの差分ベクトルを算出する。

例えば、差分ベクトル算出部３０６は、埋め込み対象の所定情報の１ビットを予測ベクトル候補の選択情報に設定し、この選択情報が示す予測ベクトルを予測ベクトル候補リストの中からそれぞれ選択する。差分ベクトル算出部３０６は、選択された予測ベクトルと予測ベクトル候補インデックスをそれぞれ決定する。

さらに、差分ベクトル算出部３０６は、Ｌ０の動きベクトルからＬ０の予測ベクトルを減算してＬ０の差分ベクトルを生成し、Ｌ１の動きベクトルからＬ１の予測ベクトルを減算してＬ１の差分ベクトルを生成し、エントロピー符号化部３１６に出力する。

予測信号生成部３０９は、入力された参照画像の領域位置情報に基づいて、復号画像記憶部３０３から参照画素を取得し、予測画素信号を生成する。

予測誤差生成部３１０は、原画像と予測画素信号とを取得し、原画像と予測画素信号の差分を算出することで予測誤差信号を生成する。

直交変換部３１１は、予測誤差信号に離散コサイン変換などの直交変換処理を行い、直交変換係数を量子化部３１２に出力する。量子化部３１２は、直交変換係数を量子化する。

逆量子化部３１３は、量子化された直交変換係数に対し、逆量子化処理を行う。逆直交変換部３１４は、逆量子化された係数に対し、逆直交変換処理を行う。

復号画素生成部３１５は、予測誤差信号と予測画素信号とを加算することで、復号画素を生成する。生成された復号画素を含む復号画像は、復号画像記憶部３０３に記憶される。

エントロピー符号化部３１６は、入力されたＬ０参照インデックス、Ｌ０差分ベクトル、Ｌ０予測ベクトル候補インデックス、Ｌ１参照インデックス、Ｌ１差分ベクトル、Ｌ１予測ベクトル候補インデックス、および、量子化された直交変換係数情報をエントロピー符号化してストリームデータとして出力する。

以上、変形例１によれば、動画像を符号化する際に、所定データを直接埋め込んでいくことが可能になる。

［変形例２］
次に、変形例２における動画像処理装置について説明する。変形例２における動画像処理装置を動画像処理装置１０Ｄと表記する。

＜構成＞
図１１は、変形例２における動画像処理装置１０Ｄの構成の一例を示すブロック図である。動画像処理装置１０Ｄは、各実施例で説明した動画像処理装置１０、又は動画像復号装置２０の一例である。

図１１に示すように、動画像処理装置１０Ｄは、制御部４０１、主記憶部４０２、補助記憶部４０３、ドライブ装置４０４、ネットワークＩ／Ｆ部４０６、入力部４０７、表示部４０８を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部４０１は、主記憶部４０２や補助記憶部４０３に記憶されたプログラムを実行する演算装置であり、入力部４０７や記憶装置からデータを受け取り、演算、加工した上で、表示部４０８や記憶装置などに出力する。

制御部４０１は、各実施例の動画像処理プログラムを実行することで、各実施例の各部として機能することができる。

主記憶部４０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部４０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部４０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置４０４は、記録媒体４０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

また、記録媒体４０５は、各実施例の動画像処理プログラムを格納する。この記録媒体４０５に格納されたプログラムは、ドライブ装置４０４を介して動画像処理装置１０Ｄにインストールされる。インストールされた動画像処理プログラムは、動画像処理装置１０Ｄにより実行可能となる。

ネットワークＩ／Ｆ部４０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と動画像処理装置１０Ｄとのインターフェースである。

入力部４０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４０８の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。また、入力部４０７は、ユーザが制御部４０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部４０８は、ＬＣＤ（Liquid Crystal Display）等を有し、制御部４０１から入力される表示データに応じた表示が行われる。なお、表示部４０８は、外部に設けられてもよく、その場合は、動画像処理装置１０Ｄは、表示制御部を有する。

このように、前述した実施例で説明した動画像処理又は動画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した動画像処理又は動画像復号処理を実現することができる。

また、この動画像処理プログラム又は動画像復号プログラムを記録媒体４０５に記録し、このプログラムが記録された記録媒体４０５をコンピュータや携帯端末に読み取らせて、前述した動画像処理又は動画像復号処理を実現させることも可能である。

なお、記録媒体４０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。なお、記録媒体４０５には、搬送波は含まれない。

動画像処理装置１０Ｄで実行されるプログラムは、各実施例で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部４０１が補助記憶部４０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部４０２上にロードされ、１又は複数の各部が主記憶部４０２上に生成されるようになっている。

また、前述した各実施例で説明した動画像処理又は動画像復号処理は、１つ又は複数の集積回路に実装してもよい。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
複数のブロックに分割された画像に対し、各ブロック単位で符号化することで生成された符号化パラメータ情報を記憶する記憶部と、
処理ブロック毎に、該処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成する候補リスト生成部と、
前記処理ブロックがインター予測される場合、所定情報の１ビットを、予測ベクトル候補の選択情報に設定し、前記処理ブロックの動きベクトルと、前記選択情報が示す予測ベクトル候補との差分ベクトルを算出する差分ベクトル算出部と、
前記差分ベクトルと、前記選択情報とを含む符号化パラメータ情報を可変長符号化する可変長符号化部と、
を有する動画像処理装置。
（付記２）
入力された画像符号化データを可変長復号し、復号された符号化パラメータ情報を前記記憶部に記憶する可変長復号部をさらに有し、
前記差分ベクトル算出部は、
前記候補リスト生成部により生成された予測ベクトル候補リストと、前記記憶部に記憶された符号化パラメータ情報に含まれる予測ベクトル候補の選択情報と、差分ベクトルとを取得し、動きベクトルを復元する動きベクトル復元部と、
前記処理ブロックがインター予測されたブロックであるか否かに基づき、前記処理ブロックが前記所定情報の埋め込み対象であるか否かを判定する判定部と、
前記処理ブロックが埋め込み対象となる場合、前記所定情報に基づいて、前記記憶部に記憶された符号化パラメータ情報に含まれる予測ベクトル候補の選択情報を更新する選択情報更新部と、
前記予測ベクトル候補リストに含まれる、更新された選択情報が示す予測ベクトル候補と、復元された動きベクトルとから差分ベクトルを算出し、前記記憶部に記憶された符号化パラメータ情報に含まれる差分ベクトルを、算出された差分ベクトルに更新する差分ベクトル更新部と、
を有する付記１記載の動画像処理装置。
（付記３）
前記判定部は、
予測ベクトル候補の選択情報が更新された場合の符号量増加量を推定する推定部と、
前記符号量増加量に基づいて、埋め込み対象であるか否かを判定する埋め込み判定部と、
を有する付記１記載の動画像処理装置。
（付記４）
前記推定部は、
前記処理ブロックの予測ベクトル候補リストに含まれる各予測ベクトル候補と、前記動きベクトルとから算出される各差分ベクトルを含む差分ベクトルリストを生成する差分ベクトルリスト生成部と、
前記差分ベクトルリストに含まれる各差分ベクトルの符号量の推定値を算出する符号量推定部と、
前記差分ベクトルリストに含まれる全ての差分ベクトルの推定値のうち、最大値と最小値との差を算出し、該差を前記符号量増加量に設定する増加量推定部と、
を有し、
前記埋め込み判定部は、
前記符号量増加量が閾値より小さい場合に、埋め込み対象であると判定する付記３記載の動画像処理装置。
（付記５）
ブロック単位で符号化された動画像データを可変長復号し、復号された符号化パラメータ情報を取得する可変長復号部と、
前記符号化パラメータ情報を記憶する記憶部と、
処理ブロックがインター予測されたブロックであるか否かに基づき、前記処理ブロックが所定情報の埋め込み対象であるか否かを判定する判定部と、
前記処理ブロックが埋め込み対象である場合、前記記憶部に記憶された符号化パラメータ情報に含まれる、前記処理ブロックにおける予測ベクトル候補の選択情報から所定情報を復元する情報復元部と、
を有する動画像処理装置。
（付記６）
前記判定部は、
前記予測ベクトル候補の選択情報に前記所定情報が埋め込まれている場合の符号量増加量を推定する推定部と、
前記符号量増加量に基づいて、埋め込み対象であるか否かを判定する埋め込み判定部と、
有する付記５記載の動画像処理装置。
（付記７）
処理ブロック毎に、該処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成する候補リスト生成部と、
前記候補リスト生成部により生成された予測ベクトル候補リストと、前記記憶部に記憶された符号化パラメータ情報に含まれる予測ベクトル候補の選択情報と、差分ベクトルとを取得し、動きベクトルを復元する動きベクトル復元部と、
をさらに有し、
前記推定部は、
前記処理ブロックの予測ベクトル候補リストに含まれる各予測ベクトル候補と、復元された動きベクトルとから算出される各差分ベクトルを含む差分ベクトルリストを生成する差分ベクトルリスト生成部と、
前記差分ベクトルリストに含まれる各差分ベクトルの符号量の推定値を算出する符号量推定部と、
前記差分ベクトルリストに含まれる全ての差分ベクトルの推定値のうち、最大値と最小値との差を算出し、該差を前記符号量増加量に設定する増加量推定部と、
を有し、
前記埋め込み判定部は、
前記符号量増加量が閾値より小さい場合に、埋め込み対象であると判定する付記６記載の動画像処理装置。
（付記８）
複数のブロックに分割された画像に対し、各ブロック単位で符号化することで生成された符号化パラメータ情報を記憶する記憶部を有するコンピュータが実行する動画像処理方法であって、
処理ブロック毎に、該処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成し、
前記処理ブロックがインター予測される場合、所定情報の１ビットを、予測ベクトル候補の選択情報に設定し、
前記処理ブロックの動きベクトルと、前記選択情報が示す予測ベクトル候補との差分ベクトルを算出し、
前記差分ベクトルと、前記選択情報とを含む符号化パラメータ情報を可変長符号化する処理
を含む動画像処理方法。
（付記９）
ブロック単位で符号化された動画像データを可変長復号し、復号された符号化パラメータ情報を取得し、
前記符号化パラメータ情報を記憶部に記憶し、
処理ブロックがインター予測されたブロックであるか否かに基づき、前記処理ブロックが所定情報の埋め込み対象であるか否かを判定し、
前記処理ブロックが埋め込み対象である場合、前記記憶部に記憶された符号化パラメータ情報に含まれる、前記処理ブロックにおける予測ベクトル候補の選択情報から所定情報を復元する処理
をコンピュータが実行する動画像処理方法。
（付記１０）
複数のブロックに分割された画像に対し、各ブロック単位で符号化することで生成された符号化パラメータ情報を記憶する記憶部を有するコンピュータに実行させるプログラムであって、
処理ブロック毎に、該処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成し、
前記処理ブロックがインター予測される場合、所定情報の１ビットを、予測ベクトル候補の選択情報に設定し、
前記処理ブロックの動きベクトルと、前記選択情報が示す予測ベクトル候補との差分ベクトルを算出し、
前記差分ベクトルと、前記選択情報とを含む符号化パラメータ情報を可変長符号化する処理
を含むプログラム。
（付記１１）
ブロック単位で符号化された動画像データを可変長復号し、復号された符号化パラメータ情報を取得し、
前記符号化パラメータ情報を記憶部に記憶し、
処理ブロックがインター予測されたブロックであるか否かに基づき、前記処理ブロックが所定情報の埋め込み対象であるか否かを判定し、
前記処理ブロックが埋め込み対象である場合、前記記憶部に記憶された符号化パラメータ情報に含まれる、前記処理ブロックにおける予測ベクトル候補の選択情報から所定情報を復元する処理
をコンピュータに実行させるプログラム。

５ 動画像符号化装置
１０ 動画像処理装置
２０ 動画像復号装置
１０１、２０１ 可変長復号部
１０２、２０２ 記憶部
１０３、２０３ 候補リスト生成部
１０４、２０４ 差分ベクトル算出部
１０５ 可変長符号化部
１４１、２０５ 動きベクトル復元部
１４２、１７１、２０５ 判定部
１４３ 選択情報更新部
１４４ 差分ベクトル更新部
１７２ 推定部
１７３ 差分ベクトルリスト生成部
１７４ 符号量推定部
１７５ 増加量推定部
１７６ 埋め込み判定部
２０６ 情報復元部
２０７ 画像復号部
４０１ 制御部

Claims (10)

1. 画像符号化データを可変長復号し、処理ブロック毎に符号化パラメータ情報を取得する取得部と、
   処理ブロック毎に、該処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成する候補リスト生成部と、
   前記予測ベクトル候補リストと、前記符号化パラメータ情報に含まれる予測ベクトル候補の選択情報及び差分ベクトルとを取得し、動きベクトルを復元する復元部と、
   前記予測ベクトル候補の選択情報を所定情報で更新する選択情報更新部と、
   前記所定情報で更新することで該所定情報が埋め込まれた予測ベクトル候補と、復元された前記動きベクトルとに基づき算出した差分ベクトルにより、前記符号化パラメータ情報から取得した差分ベクトルを更新する差分ベクトル更新部と、
   前記所定情報が埋め込まれた予測ベクトル候補と、更新された差分ベクトルとを含む前記符号化パラメータ情報に基づいて、処理ブロックを可変長符号化し、画像符号化データを生成する可変長符号化部と
   を有する動画像処理装置。
2. 前記差分ベクトル更新部は、復元された前記動きベクトルが変化しないように、前記差分ベクトルを更新する請求項１記載の動画像処理装置。
3. 前記予測ベクトル候補の選択情報を所定情報で更新した場合の符号量増加量を推定する推定部と、
   前記符号量増加量に基づいて、処理ブロックが、前記予測ベクトル候補に前記所定情報が埋め込まれる対象となる対象処理ブロックであるか否かを判定する埋め込み判定部と、
   を有する請求項１記載の動画像処理装置。
4. 前記推定部は、
   前記処理ブロックの予測ベクトル候補リストに含まれる各予測ベクトル候補と、前記動きベクトルとから算出される各差分ベクトルを含む差分ベクトルリストを生成する差分ベクトルリスト生成部と、
   前記差分ベクトルリストに含まれる各差分ベクトルの符号量の推定値を算出する符号量推定部と、
   前記差分ベクトルリストに含まれる全ての差分ベクトルの推定値のうち、最大値と最小値との差を算出し、該差を前記符号量増加量に設定する増加量推定部と、
   を有し、
   前記埋め込み判定部は、
   前記符号量増加量が閾値より小さい場合に、前記対象処理ブロックであると判定する請求項３記載の動画像処理装置。
5. ブロック単位で符号化された動画像データを可変長復号し、復号された符号化パラメータ情報を取得する可変長復号部と、
   前記符号化パラメータ情報に含まれる、処理ブロックにおける予測ベクトル候補の選択情報から所定情報を復元する情報復元部と、
   前記予測ベクトル候補の選択情報に前記所定情報が埋め込まれたことによる符号量増加量を推定する推定部と、
   前記符号量増加量に基づいて、前記処理ブロックが前記所定情報の埋め込み対象であるか否かを判定する判定部と
   を有する動画像処理装置。
6. 処理ブロック毎に、該処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成する候補リスト生成部と、
   前記候補リスト生成部により生成された予測ベクトル候補リストと、前記符号化パラメータ情報に含まれる予測ベクトル候補の選択情報と、差分ベクトルとを取得し、動きベクトルを復元する動きベクトル復元部と、
   をさらに有し、
   前記推定部は、
   前記処理ブロックの予測ベクトル候補リストに含まれる各予測ベクトル候補と、復元された動きベクトルとから算出される各差分ベクトルを含む差分ベクトルリストを生成する差分ベクトルリスト生成部と、
   前記差分ベクトルリストに含まれる各差分ベクトルの符号量の推定値を算出する符号量推定部と、
   前記差分ベクトルリストに含まれる全ての差分ベクトルの推定値のうち、最大値と最小値との差を算出し、該差を前記符号量増加量に設定する増加量推定部と、
   を有し、
   前記判定部は、
   前記符号量増加量が閾値より小さい場合に、埋め込み対象であると判定する請求項５記載の動画像処理装置。
7. 画像符号化データを可変長復号し、処理ブロック毎に符号化パラメータ情報を取得し、
   処理ブロック毎に、該処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成し、
   前記予測ベクトル候補リストと、前記符号化パラメータ情報に含まれる予測ベクトル候補の選択情報及び差分ベクトルとを取得し、動きベクトルを復元し、
   前記予測ベクトル候補の選択情報を所定情報で更新し、
   前記所定情報で更新することで該所定情報が埋め込まれた予測ベクトル候補と、復元された前記動きベクトルとに基づき算出した差分ベクトルにより、前記符号化パラメータ情報から取得した差分ベクトルを更新し、
   前記所定情報が埋め込まれた予測ベクトル候補と、更新された差分ベクトルとを含む前記符号化パラメータ情報に基づいて、処理ブロックを可変長符号化し、画像符号化データを生成する処理
   をコンピュータが実行する動画像処理方法。
8. ブロック単位で符号化された動画像データを可変長復号し、復号された符号化パラメータ情報を取得し、
   前記符号化パラメータ情報に含まれる、処理ブロックにおける予測ベクトル候補の選択情報から所定情報を復元し、
   前記予測ベクトル候補の選択情報に前記所定情報が埋め込まれたことによる符号量増加量を推定し、
   前記符号量増加量に基づいて、前記処理ブロックが前記所定情報の埋め込み対象であるか否かを判定する処理
   をコンピュータが実行する動画像処理方法。
9. 画像符号化データを可変長復号し、処理ブロック毎に符号化パラメータ情報を取得し、
   処理ブロック毎に、該処理ブロックの動きベクトルに対する２つの予測ベクトル候補を含む予測ベクトル候補リストを生成し、
   前記予測ベクトル候補リストと、前記符号化パラメータ情報に含まれる予測ベクトル候補の選択情報及び差分ベクトルとを取得し、動きベクトルを復元し、
   前記予測ベクトル候補の選択情報を所定情報で更新し、
   前記所定情報で更新することで該所定情報が埋め込まれた予測ベクトル候補と、復元された前記動きベクトルとに基づき算出した差分ベクトルにより、前記符号化パラメータ情報から取得した差分ベクトルを更新し、
   前記所定情報が埋め込まれた予測ベクトル候補と、更新された差分ベクトルとを含む前記符号化パラメータ情報に基づいて、処理ブロックを可変長符号化し、画像符号化データを生成する処理
   をコンピュータに実行させるプログラム。
10. ブロック単位で符号化された動画像データを可変長復号し、復号された符号化パラメータ情報を取得し、
    前記符号化パラメータ情報に含まれる、処理ブロックにおける予測ベクトル候補の選択情報から所定情報を復元し、
    前記予測ベクトル候補の選択情報に前記所定情報が埋め込まれたことによる符号量増加量を推定し、
    前記符号量増加量に基づいて、前記処理ブロックが前記所定情報の埋め込み対象であるか否かを判定する処理
    をコンピュータに実行させるプログラム。

Images