JP5573385B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents

Description

本発明は、動画像符号化装置及び動画像符号化方法に関する。

近年、動画像の符号化／復号技術は、テレビの地上デジタル放送への移行や、デジタルビデオカメラ、デジタルスチルカメラ、携帯電話などの普及により、生活に密接したものとなっている。

動画像の符号化では、主に、時間的に前後して入力される画像データ間の類似性、または入力画像における画素間の類似性を利用してデータの圧縮が行われている。
動画像の符号化を行う際に解析した、動き情報や色情報などは、監視カメラシステムや、スポーツなどのフォームチェック用途などにも使用することができる。また、上記動き情報やフレーム間の差分情報などを色差情報として表示することにより、ユーザは、目視により、その動きや差分情報を把握することが可能である。

特開平１１−１７７９９１号公報 特開２０００−１８４３６０号公報

従来の手法では、復号側では、本来の動画像の色差情報による色を表示させる場合と、動画像において注目したい領域（特徴点）を強調表示するための色差情報による色を表示させる場合の、どちらかを選択することになる。本来の色差情報による動画像符号化データと、強調表示用の色差情報による動画像符号化データの両方を残す場合は、２種類の動画像データを符号化できるように回路やメモリを追加するため、動画像符号化装置の回路面積が増大する問題があった。

動画像符号化装置は、動画像データから特徴点を含む領域を検出する特徴点検出部と、前記領域に対して、他の領域とは異なる符号化方式で符号化するように符号化方式を切り替える符号化方式切り替え部と、前記領域を強調表示させる情報を含む特徴点強調用のヘッダを生成するヘッダ生成部と、を有する。

開示の動画像符号化装置及び動画像符号化方法によれば、小規模の回路で２種類の符号化データを作成することができる。

第１の実施の形態の動画像符号化装置の一例を示す図である。 特徴点の強調表示手法Ａの一例を示す図である。 特徴点の強調表示手法Ｂの一例を示す図である。 図２及び図３で示した特徴点の強調表示手法により強調表示されたマクロブロックの例を示している。 特徴点の強調表示手法Ｃの一例を示す図である。 図５で示した特徴点の強調表示手法により相対的に強調表示されたマクロブロックの例を示している。 第２の実施の形態の動画像符号化装置の一例を示す図である。 第２の実施の形態の動画像符号化装置による一例の処理の流れを示すフローチャートである。 符号化手法１の処理の流れを示すフローチャートである。 Ｈ．２６４の符号化データのフォーマット例を示す図である。 スライスヘッダの一例を示す図である。 復号ピクチャと参照ピクチャの遷移の様子を示す図である。 符号化手法２の処理の流れを示すフローチャートである。 符号化手法３の処理の流れを示すフローチャートである。 スライスヘッダの格納例と、復号時のスライスヘッダの選択例を示す図である。

以下、本発明の動画像符号化装置及び動画像符号化方法の実施の形態を、図面を参照しつつ説明する。
（第１の実施の形態）
図１は、第１の実施の形態の動画像符号化装置の一例を示す図である。

動画像符号化装置１０は、特徴点検出部１１、符号化部１２、符号化方式切り替え部１３、ヘッダ生成部１４を有している。
特徴点検出部１１は、入力される原画像の動画像データから特徴点を含む領域を検出する。特徴点とは、たとえば、予め指定された特定の色を示す領域、フレーム間での輝度の差分や動きベクトルが所定の値よりも大きい領域、ユーザが指定した領域などである。動きベクトルの大きさは、符号化部１２からの情報をもとに検出される。

符号化部１２は、動画像データに対してＩピクチャ、Ｐピクチャなどのピクチャの種類に応じて、画面内予測符号化または画面間予測符号化の何れかの符号化方式により、符号化処理を行う。

符号化方式切り替え部１３は、動画像データのピクチャの種類に応じて、符号化部１２で画面内予測符号化または画面間予測符号化を行わせるか切り替えるとともに、特徴点を検出した動画像データの領域に対して、他の領域とは異なる符号化方式で符号化させる。たとえば、符号化方式切り替え部１３は、特徴点を検出しなかった領域で画面間予測符号化を行う場合には、特徴点を検出した領域では画面内予測符号化を行わせる。また反対に、符号化方式切り替え部１３は、特徴点を検出しなかった領域で画面内予測符号化を行う場合には、特徴点を検出した領域では画面間予測符号化を行わせる。どの符号化方式が適用されるかは、後述する特徴点の強調表示の仕方によって設定される。

ヘッダ生成部１４は、特徴点を検出しない動画像データ（ピクチャ）に付加するヘッダを生成するとともに、特徴点を検出する動画像データに付加する特徴点強調用のヘッダを生成する。特徴点強調用のヘッダには、強調表示の仕方に応じた値が設定される。たとえば、特徴点を検出した領域に特定の色を付けて目立たせる場合には、その色の情報が含まれる。ヘッダは、符号化部１２にて符号化されたデータとともに、たとえば、外部メモリ２０に記憶される。そして、ヘッダは復号処理の際に用いられる。

以下、第１の実施の形態の動画像符号化装置１０の動作を説明する。
たとえば、１フレームの原画の動画像データが特徴点検出部１１に入力されると、特徴点検出部１１は、予め設定した内容に応じて特徴点を検出する。たとえば、スポーツなどのフォームチェックを行う場合、動きベクトルの大きい箇所を強調表示したい。その場合、特徴点検出部１１は、符号化部１２での動き検出結果を参照して、フレーム間の動きベクトルが所定の大きさよりも大きい領域を特徴点として検出する。

特徴点が検出された場合、符号化方式切り替え部１３は、特徴点が検出された領域（たとえば、マクロブロック）に対して、他の領域とは異なる符号化方式で符号化するように、符号化方式を切り替える。符号化部１２は、符号化方式切り替え部１３にて指定された符号化方式で符号化を行い、符号化データを、たとえば、外部メモリ２０に記憶する。また、ヘッダ生成部１４は、特徴点を検出しない動画像データに付加するヘッダを生成するとともに、特徴点を検出する動画像データに付加する特徴点強調用のヘッダを生成し、たとえば、外部メモリ２０に記憶する。

符号化方式は、特徴点の強調表示の仕方に応じて切り替えられる。特徴点の強調表示の仕方として、たとえば、以下の３種（以下強調表示手法Ａ，Ｂ，Ｃという）がある。
図２は、特徴点の強調表示手法Ａの一例を示す図である。

図２では、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）のピクチャであるＩＤＲピクチャ（instantaneous decoding refresh picture）とＰピクチャ（inter predictive picture）を用いた処理の例を示している。また、図２では、通常再生時（特徴点の強調表示をしない時）と、特徴点の強調表示を行う場合について示している。

ＩＤＲピクチャは長期間参照ピクチャとして用いられ、Ｐピクチャは短期間参照ピクチャとして用いられる。通常再生時、あるマクロブロックを復号する際、たとえば、図２に示すように１フレーム前のピクチャにおける、ある領域を予測画（参照ピクチャ）として、図２の右側に示しているように、輝度と色差成分の差分画像との足し合わせから復号画が得られる。

これに対して、特徴点を強調表示する際には、長期参照ピクチャであるＩＤＲピクチャが参照されるように、ヘッダ生成部１４がヘッダを生成する。そして、ヘッダ生成部１４がＩＤＲピクチャに対して、たとえば、緑やピンクなど、強調表示用の色を設定することで、復号画はＩＤＲピクチャに設定した色により強調されることになる。

この強調表示手法Ａを用いる場合、符号化方式切り替え部１３は、あるピクチャにおいて、特徴点を検出したマクロブロック以外については、画面内予測符号化を行うように切り替えを行う。これにより、復号時には、特徴点を検出したマクロブロックに対してのみ強調表示用の色を表示させることができる。

図３は、特徴点の強調表示手法Ｂの一例を示す図である。
図３では、通常再生と特徴点を強調表示する場合における、画面間予測符号化の際の重み付けの一例と、マクロブロックの復号の様子を示している。

重み付け後の輝度Ｙは、Ｙ＝（Ｙ＿ｐｒｅｄ×ＷｅｉｇｈｔＹ）＋ＯｆｆｓｅｔＹで表される。ここで、Ｙ＿ｐｒｅｄは重み付け前の輝度Ｙの値であり、ＷｅｉｇｈｔＹは輝度Ｙに対する重み係数（−１２８〜１２７）であり、ＯｆｆｓｅｔＹは輝度Ｙに対するオフセット（−１２８〜１２７）である。

重み付け後の色差Ｃは、Ｃ＝（Ｃ＿ｐｒｅｄ×ＷｅｉｇｈｔＣ）＋ＯｆｆｓｅｔＣで表される。ここで、Ｃ＿ｐｒｅｄは重み付け前の色差Ｃの値であり、ＷｅｉｇｈｔＣは色差Ｃに対する重み係数（−１２８〜１２７）であり、ＯｆｆｓｅｔＣは色差Ｃに対するオフセット（−１２８〜１２７）である。以下、重み係数とオフセットを合わせて予測重み付け係数という。

通常再生時には、予測重み付け係数のうち、重み係数は、たとえば、輝度及び色差とも１であり、オフセットは０である。これに対して、特徴点を強調表示する際には、ヘッダ生成部１４は、強調したい領域における色差の予測重み付け係数を、強調表示用の色に応じて変更することで、復号時に特徴点を強調表示させることができる。図３の例では、ヘッダ生成部１４が色差の予測重み付け係数のうち、重み係数を１２７としオフセットも１２７と最大値を設定することで、予測画はピンク色として扱われピンク色で強調表示された復号画が得られる。

この強調表示手法Ｂを用いる場合も、符号化方式切り替え部１３は、あるピクチャにおいて、特徴点を検出したマクロブロックに対しては画面間予測符号化、特徴点を検出しないマクロブロックに対しては画面内予測符号化を行うように符号化方式を切り替える。

ただし、強調表示手法Ａとは異なり、画面間予測符号化で参照される参照ピクチャは、たとえば、通常の短期間参照ピクチャが用いられる。上記のように色差の予測重み付け係数を変更することにより、復号時には、特徴点を検出したマクロブロックに対してのみ強調表示用の色を表示させることができる。

図４は、図２及び図３で示した特徴点の強調表示手法により強調表示されたマクロブロックの例を示している。
動画像符号化装置１０により、上記のような処理を行い、特徴点強調用のヘッダを生成することで、復号装置側では、特徴点を含むマクロブロックＭＢ１，ＭＢ２，ＭＢ３，ＭＢ４が、たとえば、ピンクや緑などの目立つ色にて強調表示される。

図５は、特徴点の強調表示手法Ｃの一例を示す図である。
図５でも、通常再生と特徴点を強調表示する場合における、画面間予測符号化の際の予測重み付け係数の一例と、マクロブロックの復号の様子を示している。

重み付け後の輝度Ｙと色差Ｃは図３と同様の式で表されている。
通常再生時には、予測重み付け係数のうち、たとえば、重み係数は輝度及び色差とも１であり、オフセットは０である。これに対して、特徴点を強調表示する際には、ヘッダ生成部１４は、特徴点を検出しなかった領域における色差の予測重み付け係数を変更する。図５の例では、ヘッダ生成部１４が、色差の予測重み付け係数のうち重み係数を０とし、オフセットを１２７と設定することで、予測画は灰色として扱われ特徴点ではない領域の復号画は灰色となる。これにより、特徴点の領域を相対的に強調することができる。

この強調表示手法Ｃを用いる場合、符号化方式切り替え部１３は、あるピクチャにおいて、特徴点を検出したマクロブロック以外について画面間予測符号化、特徴点を検出しないマクロブロックに対しては画面内予測符号化を行うように符号化方式を切り替える。図５に示すように色差の予測重み付け係数を変更することで、復号時には、特徴点を検出したマクロブロック以外を灰色（またはモノクロとしてもよい）などの目立たない色で表示させ、特徴点のマクロブロックを相対的に強調表示させることができる。

図６は、図５で示した特徴点の強調表示手法により相対的に強調表示されたマクロブロックの例を示している。
動画像符号化装置１０により、図５で示したような処理を行い、特徴点強調用のヘッダを生成することで、復号装置側では、特徴点を含むマクロブロックＭＢ５，ＭＢ６，ＭＢ７，ＭＢ８，ＭＢ９以外が、たとえば、灰色など目立たない色にて表示される。その結果、特徴点を含むマクロブロックＭＢ５，ＭＢ６，ＭＢ７，ＭＢ８，ＭＢ９が相対的に強調表示される。

以上のように、第１の実施の形態の動画像符号化装置１０によれば、特徴点を含む領域に対して、他の領域とは異なる符号化方式で符号化して、さらに特徴点を含む領域を強調表示させる情報を含むヘッダを生成する。これにより、特徴点の強調用の符号化データと非強調用の符号化データを別々に作成することなく、１回の符号化処理で作成できる。したがって、小規模の回路で、動画像データにおける特徴点の強調表示用の符号化データと非強調表示用の符号化データを作成することが可能となる。

（第２の実施の形態）
図７は、第２の実施の形態の動画像符号化装置の一例を示す図である。
なお、以下では、Ｈ．２６４／ＡＶＣによる動画像データの符号化を例にして説明する。

第２の実施の形態の動画像符号化装置５０は、全体制御部５１、予測誤差信号生成部５２、整数変換部５３、量子化部５４、エントロピー符号化部５５、逆量子化部５６、逆整数変換部５７、参照ピクチャ生成部５８、フィルタ処理部５９を有している。さらに動画像符号化装置５０は、画面内予測部６０、動き予測処理部６１、重み付け予測処理部６２、予測画像選択部６３、特徴点検出部６４を有している。

全体制御部５１は、動画像符号化装置５０の各部を制御するとともに、スライスヘッダを生成し、メモリ７０のスライスヘッダ領域７１に蓄積する。全体制御部５１は、図１で示した動画像符号化装置１０のヘッダ生成部１４の機能を有する。

予測誤差信号生成部５２は、原画像のピクチャにおいて、マクロブロックの画素データと、予測画像選択部６３で選択された予測画像のマクロブロックの画素データとの差分を演算することにより、予測誤差信号を生成する。整数変換部５３は、予測誤差信号生成部５２からの予測誤差信号を整数変換した信号を出力する。量子化部５４は、整数変換部５３からの出力信号を量子化する。これにより、予測誤差信号の符号量が低減される。

エントロピー符号化部５５は、量子化部５４からの量子化データ、画面内予測部６０からの出力データ、動き予測処理部６１からの動きベクトル、重み付け予測処理部６２からの予測重み付け係数をエントロピー符号化する。そして、エントロピー符号化部５５は、符号化データを出力し、メモリ７０のスライスデータ領域７２に蓄積する。ここで、エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる符号化方式を指す。

逆量子化部５６は、量子化部５４からの量子化データを逆量子化する。逆整数変換部５７は、逆量子化部５６からの出力データに逆整数変換処理を施す。これにより、復号時の予測誤差が内部で生成される。

参照ピクチャ生成部５８は、動き補償されたマクロブロックの画素データと、逆量子化部５６及び逆整数変換部５７によって復号された予測誤差信号とを加算する。これにより、動き補償された参照ピクチャのマクロブロックが生成される。

フィルタ処理部５９は、マクロブロックのデータに対してデブロッキングフィルタ処理を行い、ブロックノイズの発生を抑制した後、参照ピクチャをメモリ７０の参照ピクチャバッファ領域７３に蓄積する。

画面内予測部６０は、同じピクチャにおける周辺画素から、予測画像のマクロブロックを生成する。
動き予測処理部６１は、原画像のマクロブロックと、メモリ７０の参照ピクチャバッファ領域７３から読み込んだ参照ピクチャのデータをもとに動きベクトルを算出する。そして、動き予測処理部６１は、動きベクトルをもとに、メモリ７０から読み込んだ参照ピクチャのデータに対して動き補償することにより、動き補償された予測画像のマクロブロックを生成する。

重み付け予測処理部６２は、予測重み付け係数を、動き補償された予測画像のマクロブロックに適用したものを出力する。
予測画像選択部６３は、画面内予測部６０または重み付け予測処理部６２のどちらか一方から出力される予測画像のマクロブロックを選択し、予測誤差信号生成部５２及び参照ピクチャ生成部５８に出力する。予測画像選択部６３は、動画像符号化装置５０が処理するピクチャの種類によって全体制御部５１の制御に応じて、切り替えが指示されるとともに、特徴点検出部６４からの指示によっても切り替えを行う。予測画像選択部６３は、図１で示した符号化方式切り替え部１３の機能を有している。

特徴点検出部６４は、図１で示した動画像符号化装置１０の特徴点検出部１１の機能を有している。特徴点検出部６４は原画像、動き予測処理部６１から出力される動きベクトルの情報を入力して、特徴点を含むマクロブロックを検出する。また、特徴点検出部６４は、特徴点を検出したマクロブロックを識別するための番号を保持するＭＢ保持メモリ６４ａを有している。

なお、メモリ７０は、動画像符号化装置５０の内部に設けるようにしてもよい。
以下、図７で示したような動画像符号化装置５０による動画像符号化方法の詳細を説明する。

図８は、第２の実施の形態の動画像符号化装置による一例の処理の流れを示すフローチャートである。
まず、全体制御部５１は、特徴点検出部６４に対して、特徴点検出を行わせるか否かの設定を行う（ステップＳ１）。ここでは、さらに、どのような特徴を検出するかの設定も行われる。たとえば、特定の色、またはフレーム間の動きベクトルの大きさにおいて特徴点とすべき閾値などが設定される。

そして、全体制御部５１は、特徴点検出部６４に設定された内容をもとに、特徴点検出処理を実施するか否かを判定する（ステップＳ２）。ここで、特徴点検出処理を行わないと判定された場合には、通常の符号化処理が行われる（ステップＳ３）。

特徴点検出処理を実施すると判定された場合、全体制御部５１は、特徴点検出部６４に対して、検出されるマクロブロックに対する符号化方式を設定する（ステップＳ４）。ここでは、前述した３つの強調表示手法Ａ，Ｂ，Ｃに応じて、符号化方式が設定される。

全体制御部５１は、符号化方式が画面間予測符号化であるか否かを判定し（ステップＳ５）、画面間予測符号化ではない場合には、前述した強調表示手法Ｃに対応した符号化手法３を実行させる（ステップＳ６）。符号化方式が、画面間予測符号化である場合には、全体制御部５１は、参照ピクチャの切り替えが行われる符号化方式であるか否かを判定する（ステップＳ７）。参照ピクチャの切り替えが行われない場合には、全体制御部５１は、前述した強調表示手法Ｂに対応した符号化手法２を実行させる（ステップＳ８）。参照ピクチャの切り替えが行われる場合には、全体制御部５１は、前述した強調表示手法Ａに対応した符号化手法１を実行させる（ステップＳ９）。

以下各符号化手法１〜３の詳細を説明する。
図９は、符号化手法１の処理の流れを示すフローチャートである。
特徴点検出部６４は、全体制御部５１の制御のもと、特徴点検出を実施するピクチャ間隔を設定する（ステップＳ１０）。具体的には、特徴点検出部６４は、入力される複数のピクチャのうち一部のピクチャに対して特徴点検出を行うように設定する。たとえば、特徴点検出部６４は、数枚に１枚のピクチャ（たとえば、３枚に１枚）に対して、特徴点検出を行うように設定を行う。これにより、符号処理の処理時間が短縮される。符号化手法１及び後述する符号化手法２のように特徴点が検出されないマクロブロックに対して画面内予測符号化を用いる場合には符号量を抑制できる点で特に有用である。

なお、この設定は、図８で示したステップＳ１の処理において行うようにしてもよい。 次に、動画像符号化装置５０は、前処理を行う（ステップＳ１１）。前処理では、特徴点を強調表示するときの色合いの設定（ステップＳ１１ａ）と、ＩＤＲピクチャの符号化が行われる（ステップＳ１１ｂ）。ＩＤＲピクチャは、スライスヘッダにより長期間参照ピクチャとして指定され、メモリ７０に保存される。

図１０は、Ｈ．２６４の符号化データのフォーマット例を示す図である。
Ｈ．２６４の符号化データは、ＡＵＤ（アクセスユニットデリミタ）、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、ＳＥＩ（付加データ）、Ｓｌｉｃｅ（スライス情報）を含んでいる。スライス情報はＨｅａｄｅｒ（スライスヘッダ）とＤａｔａ（スライスデータ）を有している。

図１１は、スライスヘッダの一例を示す図である。
スライスヘッダには、参照ピクチャを並べ変える処理を行う構文（シンタックス）（ｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇ）や、画面間予測符号化の際の予測重み付け係数を指定する構文（ｐｒｅｄ＿ｗｉｇｈｔ＿ｔａｂｌｅ）が含まれる。また、スライスヘッダには、デコード時の参照ピクチャを指定する構文（ｄｅｃ＿ｒｅｆ＿ｐｉｃ＿ｍａｒｋｉｎｇ）が含まれる。

図９のステップＳ１１ｂの処理では、ＩＤＲピクチャに対して、ｌｏｎｇ＿ｔｅｒｍ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇが“１”に設定され、長期間参照ピクチャとして指定される。

その後、全体制御部５１にてＰＯＣ（ピクチャオーダーカウント）などのピクチャパラメータセットの生成が行われる（ステップＳ１２）。ステップＳ１１の処理で指定した強調用の長期間参照ピクチャは、復号の際に参照のために用いるものであるため、表示しなくてもよい。その場合、全体制御部５１は、ＩＤＲピクチャに対して、後続の符号化ピクチャよりも大きなＰＯＣ値を与える。これにより、ＩＤＲピクチャを非表示とすることができる。なお、次のＩＤＲピクチャについても、表示させないために、全体制御部５１は次のＩＤＲピクチャのスライスヘッダにおいて、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇを１に設定する。

次に、全体制御部５１は、特徴点を強調しない場合に適用する特徴点非強調用のスライスヘッダを生成する（ステップＳ１３）。
全体制御部５１は、ステップＳ１０の処理で設定されたピクチャ間隔に応じて、入力した原画像のピクチャが、特徴点の検出対象のピクチャであるか否かを判定する（ステップＳ１４）。検出されたピクチャが、特徴点の検出対象のピクチャである場合には、全体制御部５１は、特徴点強調用のスライスヘッダを生成する（ステップＳ１５）。特徴点強調用のスライスヘッダは、たとえば、図１１で示したｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇの部分を、特徴点非強調用のスライスヘッダとは異なるようにしたものである。

具体的には、全体制御部５１は、スライスヘッダのｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｒｅｏｒｄｅｒｉｎｇにおける変数ＲｅｆＰｉｃＬｉｓｔ０［０］、ＲｅｆＰｉｃＬｉｓｔ０［１］（図示せず）を変更する。変数ＲｅｆＰｉｃＬｉｓｔ０［０］、ＲｅｆＰｉｃＬｉｓｔ０［１］は、参照ピクチャを示す変数である。特徴点を強調表示しないピクチャでは、変数ＲｅｆＰｉｃＬｉｓｔ０［０］に短期間参照ピクチャ（たとえば、符号化対象のピクチャの１フレーム前のピクチャ）が設定され、変数ＲｅｆＰｉｃＬｉｓｔ０［１］に長期間参照ピクチャが設定される。全体制御部５１は、特徴点を強調表示するピクチャに対しては、変数ＲｅｆＰｉｃＬｉｓｔ０［０］には長期間参照ピクチャ、変数ＲｅｆＰｉｃＬｉｓｔ０［１］には短期間参照ピクチャを設定するように変更する。

上記のように設定したときの復号装置側の参照ピクチャの遷移の様子を以下に示す。
図１２は、復号ピクチャと参照ピクチャの遷移の様子を示す図である。
復号ピクチャ番号、短期間参照ピクチャ、長期間参照ピクチャと、ＲｅｆＰｉｃＬｉｓｔの内容を示している。

復号するピクチャ番号２〜５において、短期間参照ピクチャは１つ前のピクチャ番号のピクチャとなる。ピクチャ番号１〜５において長期間参照ピクチャはピクチャ番号０のＩＤＲピクチャとなる。

ピクチャ番号１のピクチャを復号する際には、ＲｅｆＰｉｃＬｉｓｔの［０］にピクチャ番号０が設定され、長期間参照ピクチャが参照ピクチャとして用いられる。その後のピクチャ番号２，３，４のピクチャの復号の際には、短期間参照ピクチャのピクチャ番号が、ＲｅｆＰｉｃＬｉｓｔの［０］に設定され、参照ピクチャとして用いられる。［１］には、長期間参照ピクチャのピクチャ番号０が設定される。

特徴点を強調表示するピクチャ（ピクチャ番号４）の復号の際には、長期間参照ピクチャのピクチャ番号０が、ＲｅｆＰｉｃＬｉｓｔの［０］に設定され、参照ピクチャとして用いられる。［１］には、短期間参照ピクチャのピクチャ番号３が設定される。

図９のフローチャートの説明に戻る。
上記のように特徴点強調用のスライスヘッダが生成されると、全体制御部５１の制御のもと、入力された原画像のピクチャにおいてマクロブロックごとの符号化処理が開始される（ステップＳ１６）。なお、符号化の際には、動き予測を行うので、全体制御部５１は、特徴点非強調用のスライスヘッダを用いる。すなわち、参照ピクチャとして、短期間参照ピクチャを利用して動き予測が行われる。

特徴点の検出はマクロブロック単位で行われる。特徴点検出部６４は、入力されるマクロブロックに特徴点が含まれるか否か判定する（ステップＳ１７）。特徴点が検出されなかった場合には、特徴点検出部６４は、そのマクロブロックに対して強制的に画面内予測による符号化を行うように、予測画像選択部６３に対して指示する。これにより、予測画像選択部６３は、画面内予測部６０から出力される予測画像のマクロブロックを選択し、予測誤差信号生成部５２及び参照ピクチャ生成部５８に入力する。これにより、画面内予測による符号化が行われる（ステップＳ１８）。

特徴点が検出された場合には、特徴点検出部６４は、そのマクロブロックに対して強制的に画面間予測による符号化を行わせるように、予測画像選択部６３に対して指示する。これにより、重み付け予測処理部６２から出力される予測画像のマクロブロックが選択され、予測誤差信号生成部５２及び参照ピクチャ生成部５８に入力され、画面間予測による符号化が行われる（ステップＳ１９）。また、特徴点検出部６４は、特徴点が含まれたマクロブロックの番号をＭＢ保持メモリ６４ａに保持する（ステップＳ２０）。なお、マクロブロックの番号は、メモリ７０に保持するようにしてもよい。

ステップＳ１８またはステップＳ２０の処理の後、全体制御部５１は、１ピクチャの全てのマクロブロックについての処理が終了したか否か判定する（ステップＳ２１）。全てのマクロブロックについての処理が終了していない場合には、ステップＳ１６からの処理が繰り返される。全てのマクロブロックについての処理が終了していれば、ステップＳ２６の判定処理が行われる。

ステップＳ１４の処理において、入力された原画像のピクチャが特徴点検出対象ピクチャではないと判定された場合、全体制御部５１の制御のもと、マクロブロックごとの符号化処理が開始される（ステップＳ２２）。ここでの符号化方式は、画面内予測による符号化であっても画面間予測による符号化であってもよい。ただし、全体制御部５１は、符号化方式が画面間予測による符号化であり、且つ参照領域が、特徴点が検出されたマクロブロックであるか否を判定する（ステップＳ２３）。符号化方式が画面間予測による符号化であり、且つ参照領域が、特徴点が検出されたマクロブロックである場合、復号の際、参照領域が強調表示されたものになり、正しい復号処理が行われなくなる。これを避けるため、たとえば、特徴点検出部６４または全体制御部５１は、ステップＳ２３の条件が満たされている場合には、該当マクロブロックに対して、符号化方式を画面内予測符号化にするように、予測画像選択部６３の出力を強制的に切り替える。これにより、画面内予測による符号化が行われる（ステップＳ２４）。

ステップＳ２３の条件が満たされていない場合、またはステップＳ２４の処理後、全体制御部５１は、１ピクチャの全てのマクロブロックについての処理が終了したか否か判定する（ステップＳ２５）。全てのマクロブロックについての処理が終了していない場合には、ステップＳ２２からの処理が繰り返される。全てのマクロブロックについての処理が終了していれば、ステップＳ２６の判定処理が行われる。

ステップＳ２６の処理では、全体制御部５１は、符号化対象の全ピクチャの符号化が終了したか否かを判定する（ステップＳ２６）。全ピクチャの符号化が終了していない場合には、ステップＳ１２からの処理が繰り返され、次のピクチャに対する符号化が行われる。全ピクチャの符号化が終了した場合には、符号化手法１の処理が終了する。

次に、符号化手法２の処理を説明する。
図１３は、符号化手法２の処理の流れを示すフローチャートである。
ステップＳ３０〜Ｓ３３までの処理は、図９で示した符号化手法１のＳ１０，Ｓ１２〜Ｓ１４の処理と同じである。符号化手法２では、参照ピクチャの切り替えは行われないので、符号化手法１のような前処理（ステップＳ１１）は行われない。

符号化手法２では、特徴点強調用のスライスヘッダの生成処理（ステップＳ３４）が符号化手法１のものと異なっている。
符号化手法２における特徴点強調用のスライスヘッダは、たとえば、図１１で示したｐｒｅｄ＿ｗｉｇｈｔ＿ｔａｂｌｅの部分を、特徴点非強調用のスライスヘッダとは異なるようにしたものである。

具体的には、全体制御部５１は、スライスヘッダのｐｒｅｄ＿ｗｉｇｈｔ＿ｔａｂｌｅにおける変数ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０［ｉ］（以下ｗｅｉｇｈｔと略す）、ｌｕｍａ＿ｏｆｆｓｅｔ＿ｌ０［ｉ］（以下ｏｆｆｓｅｔと略す）を特定の値に設定する。ここでｉは、参照ピクチャリスト（ＲｅｆＰｉｃＬｉｓｔ［ｉ］）のインデックス番号である。

画面間予測符号化の予測重み付け係数を用いてマクロブロックを符号化する際、予測画素値の色差ＣはＣ＝Ｃｌｉｐ（参照画素値Ｃ＿ｐｒｅｄ×ｗｅｉｇｈｔ＋ｏｆｆｓｅｔ）（−１２８≦ｗｉｇｈｔ≦１２７，−１２８≦ｏｆｆｓｅｔ≦１２７）の式で計算される。なお、Ｃｌｉｐは計算結果が０より小さければ０に、２５５より大きければ２５５に補正する演算である。

全体制御部５１は、特徴点非強調用のスライスヘッダを生成する際には、色差用の予測重み付け係数を、ｗｅｉｇｈｔ＝１、ｏｆｆｅｔ＝０とする。これに対して、特徴点強調用のスライスヘッダを生成する際には、全体制御部５１は、たとえば、ｗｅｉｇｈｔ＝１２７、ｏｆｆｅｔ＝１２７などと設定する。これにより、画面間予測符号化を用いた場合に、復号時には処理対象のマクロブロックの画素を、緑やピンクなどの目立った画素に強調表示することができる。

以降のステップＳ３５〜Ｓ４５の処理については、符号化手法１のステップＳ１６〜Ｓ２６の処理と同様である。
次に、符号化手法３の処理を説明する。

図１４は、符号化手法３の処理の流れを示すフローチャートである。
ステップＳ５０〜Ｓ５３までの処理は、図１３で示した符号化手法２のＳ３０〜Ｓ３３の処理と同じである。符号化手法３でも、参照ピクチャの切り替えを行わないので、符号化手法１のような前処理（ステップＳ１１）は行わない。

符号化手法３では、特徴点強調用のスライスヘッダの生成処理（ステップＳ５４）が符号化手法１，２のものと異なっている。符号化手法３における特徴点強調用のスライスヘッダは、符号化手法２と同様に、たとえば、図１１で示したｐｒｅｄ＿ｗｉｇｈｔ＿ｔａｂｌｅの部分を、特徴点非強調用のスライスヘッダとは異なるようにしたものであるが、予測重み付け係数の設定が異なる。

符号化手法３において、全体制御部５１は、復号時に、特徴点を含まないマクロブロックを目立たない色（たとえば、灰色）で表示させるために、色差用の予測重み付け係数を、たとえば、ｗｅｉｇｈｔ＝０、ｏｆｆｓｅｔ＝１２７と設定する。

その後、符号化手法１，２と同様に、マクロブロックの符号化処理が開始され（ステップＳ５５）、特徴点検出の判定（ステップＳ５６）が行われる。ただし、符号化手法３では、特徴点検出部６４は、特徴点が検出されなかったマクロブロックに対しては、画面間予測が行われるように予測画像選択部６３を強制的に切り替え、画面間予測による符号化処理を行わせる（ステップＳ５７）。そして、特徴点検出部６４は、特徴点が検出されたマクロブロックに対しては、画面内予測が行われるように予測画像選択部６３を強制的に切り替え、画面内予測による符号化処理を行わせる（ステップＳ５８）。なお、符号化の際には、動き予測を行うので、全体制御部５１は、特徴点強調用のスライスヘッダを用いず、特徴点非強調用のスライスヘッダを用いる。特徴点強調用のスライスヘッダは、復号時に用いられる。

これにより、復号時には特徴点以外のマクロブロックを、図６に示したように、灰色などの目立たない画素で表示することができ、特徴点を含むマクロブロックを相対的に強調表示することができる。

ステップＳ５７またはステップＳ５８の処理の後、全体制御部５１は、１ピクチャの全てのマクロブロックについての処理が終了したか否か判定する（ステップＳ５９）。全てのマクロブロックについての処理が終了していない場合には、ステップＳ５５からの処理が繰り返される。全てのマクロブロックについての処理が終了していれば、ステップＳ６３の判定処理が行われる。

ステップＳ５３の処理において、入力された原画像のピクチャが特徴点検出対象ピクチャではないと判定された場合、全体制御部５１の制御のもと、マクロブロックごとの符号化処理が開始される（ステップＳ６０）。符号化手法３では、特徴点検出部６４は、特徴点を検出しないピクチャのマクロブロックに対しては、強制的に画面内予測による符号化を行うように、予測画像選択部６３を切り替えて、画面内予測による符号化処理を行わせる（ステップＳ６１）。

ステップＳ６１の処理後、全体制御部５１は、１ピクチャの全てのマクロブロックについての処理が終了したか否か判定する（ステップＳ６２）。全てのマクロブロックについての処理が終了していない場合には、ステップＳ６０からの処理が繰り返される。全てのマクロブロックについての処理が終了していれば、ステップＳ６３の判定処理が行われる。ステップＳ６３の処理では、全体制御部５１は、符号化対象の全ピクチャの符号化が終了したか否かを判定する。全ピクチャの符号化が終了していない場合には、ステップＳ５１からの処理が繰り返され、次のピクチャに対する符号化が行われる。全ピクチャの符号化が終了した場合には、符号化手法３の処理が終了する。

以上のように、第２の実施の形態の動画像符号化装置５０では、特徴点を含むマクロブロックに対して、他のマクロブロックとは異なる符号化方式で符号化して、さらに２種類のヘッダを生成する。これにより、特徴点の強調用の符号化データと非強調用の符号化データを別々に作成することなく、１回の符号化処理で作成できる。したがって、小規模の回路で、動画像データにおける特徴点の強調表示用の符号化データと非強調表示用の符号化データを作成することが可能となる。

ところで、全体制御部５１は、符号化手法１〜３で生成した特徴点非強調用のスライスヘッダと、特徴点強調用のスライスヘッダを、スライスデータとは、異なるメモリ７０の領域に格納する。

図１５は、スライスヘッダの格納例と、復号時のスライスヘッダの選択例を示す図である。
メモリ７０において、たとえば、特徴点非強調用のスライスヘッダは、特徴点非強調用スライスヘッダ領域７１ａに格納され、特徴点強調用のスライスヘッダは特徴点強調用スライスヘッダ領域７１ｂに格納される。

図示しない復号装置は、特徴点非強調表示用のストリームを復号する際には、特徴点非強調用のスライスヘッダをそれぞれのピクチャ０〜ｎに対して適用して復号する。これに対して、復号装置が特徴点強調用のストリームを復号する際には、特徴点強調用のスライスヘッダを用いることになる。ただし、前述したように、数枚のピクチャに１枚の割合で特徴点を検出する場合には、特徴点を検出しないピクチャに対して特徴点非強調用のスライスヘッダが用いられる。その場合、復号装置側では、ピクチャごとに、特徴点非強調用スライスヘッダ領域７１ａと、特徴点強調用スライスヘッダ領域７１ｂの何れからスライスヘッダを参照するのか選択する。この手間をなくすため、全体制御部５１は、たとえば、符号化手法１〜３のステップＳ１３，Ｓ３２，Ｓ５２で生成した特徴点非強調用のスライスヘッダを、ピクチャごとに、特徴点強調用スライスヘッダ領域７１ｂの該当する領域に記憶する。そして、全体制御部５１は、符号化手法１〜３のステップＳ１５，Ｓ３４，Ｓ５４で特徴点強調用のスライスヘッダを生成した場合には、該当するピクチャの特徴点非強調用のスライスヘッダを上書きする。たとえば、図１５では、ピクチャ２の特徴点を強調する場合の例について示している。この場合、特徴点強調用スライスヘッダ領域７１ｂにおいて、ピクチャ２用のスライスヘッダが特徴点強調用のスライスヘッダであり、ピクチャ０，１，３用のスライスヘッダは、特徴点非強調用のスライスヘッダであることを示している。

このようにすることで、復号装置側では、特徴点調表示用のストリームを復号する際には、特徴点強調用スライスヘッダ領域７１ｂのみを参照すればよいので、処理が簡略化できる。

以上、実施の形態に基づき、本発明の動画像符号化装置及び動画像符号化方法の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。たとえば、図９、図１３及び図１４で示したフローでは、特徴点強調用のスライスヘッダを生成してから、特徴点検出や符号化方式の切り替えを行うようにしているが、特徴点検出や符号化方式の切り替えの後に特徴点強調用のスライスヘッダを生成してもよい。

以上説明した複数の実施の形態に関し、さらに以下の付記を開示する。
（付記１） 動画像データから特徴点を含む領域を検出する特徴点検出部と、
前記領域に対して、他の領域とは異なる符号化方式で符号化するように符号化方式を切り替える符号化方式切り替え部と、
前記領域を強調表示させる情報を含む特徴点強調用のヘッダを生成するヘッダ生成部と、
を有することを特徴とする動画像符号化装置。

（付記２） 前記符号化方式切り替え部は、前記他の領域に対して画面内予測符号化を行う場合には、前記領域に対して画面間予測符号化を行うように前記符号化方式を切り替え、前記他の領域に対して画面間予測符号化を行う場合には、前記領域に対して画面内予測符号化を行うように前記符号化方式を切り替えることを特徴とする付記１に記載の動画像符号化装置。

（付記３） 前記特徴点検出部は、順次入力される複数のピクチャのうち、一部のピクチャに対して前記領域の検出を行うことを特徴とする付記１または２に記載の動画像符号化装置。

（付記４） 前記ヘッダ生成部は、特徴点非強調用のヘッダを生成してメモリに記憶し、処理中のピクチャが前記領域の検出を行うピクチャである場合には、前記特徴点非強調用のヘッダを、生成した前記特徴点強調用のヘッダで上書きすることを特徴とする付記３に記載の動画像符号化装置。

（付記５） 前記領域に対して画面間予測符号化を行う場合、前記ヘッダ生成部は、前記領域のデータの復号の際に参照される参照ピクチャとして、特定の色が設定された長期間参照ピクチャを指定した前記特徴点強調用のヘッダを生成することを特徴とする付記１乃至４の何れか一項に記載の動画像符号化装置。

（付記６） 前記領域に対して画面間予測符号化を行う場合、前記ヘッダ生成部は、強調表示用の色に応じて色差用の予測重み付け係数を設定した前記特徴点強調用のヘッダを生成することを特徴とする付記１乃至４の何れか一項に記載の動画像符号化装置。

（付記７） 前記特徴点検出部は、前記特徴点を検出した前記領域の識別番号を保持し、特徴点を検出しないピクチャにおいて画面間予測符号化が行われる際に、前記識別番号で指定された前記領域が参照された場合、前記符号化方式切り替え部に、前記符号化方式を画面内予測符号化に切り替えさせることを特徴とする付記１乃至６の何れか一項に記載の動画像符号化装置。

（付記８） 前記領域に対して画面内予測符号化を行う場合、前記ヘッダ生成部は、前記他の領域に設定する色に応じて色差用の予測重み付け係数を設定した前記特徴点強調用のヘッダを生成することを特徴とする付記１乃至７の何れか一項に記載の動画像符号化装置。

（付記９） 特徴点検出部が動画像データから特徴点を含む領域を検出し、
符号化方式切り替え部が前記領域に対して、他の領域とは異なる符号化方式で符号化するように符号化方式を切り替え、
ヘッダ生成部が前記領域を強調表示させる情報を含む特徴点強調用のヘッダを生成することを特徴とする動画像符号化方法。

１０ 動画像符号化装置
１１ 特徴点検出部
１２ 符号化部
１３ 符号化方式切り替え部
１４ ヘッダ生成部
２０ 外部メモリ

Claims (6)

1. 動画像データから特徴点を含む領域を検出する特徴点検出部と、
   前記領域に対して、前記特徴点を含まない他の領域とは異なる符号化方式で符号化するように符号化方式を切り替える符号化方式切り替え部と、
   前記領域を強調表示させる情報を含む特徴点強調用のヘッダを生成するヘッダ生成部と、を有し、
   前記符号化方式切り替え部は、前記他の領域に対して画面内予測符号化を行う場合には、前記領域に対して画面間予測符号化を行うように前記符号化方式を切り替え、前記他の領域に対して画面間予測符号化を行う場合には、前記領域に対して画面内予測符号化を行うように前記符号化方式を切り替える、
   ことを特徴とする動画像符号化装置。
2. 動画像データから特徴点を含む領域を検出する特徴点検出部と、
   前記領域に対して、前記特徴点を含まない他の領域とは異なる符号化方式で符号化するように符号化方式を切り替える符号化方式切り替え部と、
   前記領域を強調表示させる情報を含む特徴点強調用のヘッダを生成するヘッダ生成部と、を有し、
   前記特徴点検出部は、前記特徴点を検出した前記領域の識別番号を保持し、特徴点を検出しないピクチャにおいて画面間予測符号化が行われる際に、前記識別番号で指定された前記領域が参照された場合、前記符号化方式切り替え部に、前記符号化方式を画面内予測符号化に切り替えさせる、
   ことを特徴とする動画像符号化装置。
3. 前記特徴点検出部は、順次入力される複数のピクチャのうち、一部のピクチャに対して前記領域の検出を行うことを特徴とする請求項１または２に記載の動画像符号化装置。
4. 前記ヘッダ生成部は、特徴点非強調用のヘッダを生成してメモリに記憶し、処理中のピクチャが前記領域の検出を行うピクチャである場合には、前記特徴点非強調用のヘッダを、生成した前記特徴点強調用のヘッダで上書きすることを特徴とする請求項３に記載の動画像符号化装置。
5. 前記ヘッダ生成部は、前記特徴点を含む動画像データに付加する前記特徴点強調用のヘッダと、前記特徴点を含まない動画像データに付加する特徴点非強調用のヘッダの２種類のヘッダを生成することを特徴とする請求項１または２に記載の動画像符号化装置。
6. 特徴点検出部が動画像データから特徴点を含む領域を検出し、
   前記特徴点が検出されないピクチャにおいて画面間予測符号化が行われる際に、前記特徴点が検出された前記領域の識別番号で指定された前記領域が参照された場合、符号化方式切り替え部が符号化方式を画面内予測符号化に切り替えることで前記領域に対して、前記特徴点を含まない他の領域とは異なる符号化方式で符号化するように符号化方式を切り替え、
   ヘッダ生成部が前記領域を強調表示させる情報を含む特徴点強調用のヘッダを生成することを特徴とする動画像符号化方法。
   

Images