JP6606827B2 - 動画像符号化装置、動画像符号化プログラム、及び動画像符号化システム - Google Patents

Description

本発明は、動画像符号化装置、動画像符号化プログラム、及び動画像符号化システムに関し、例えば、Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（分散映像符号化；以下、ＤＶＣと呼ぶ）方式に基づいて動画像の符号化、復号を行う場合に適用し得るものである。

ＤＶＣ方式は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ理論又はＷｙｎｅｒ−Ｚｉｖ理論に基づき動画像の符号化及び復号を行う動画像符号化方式である（非特許文献１参照）。

ＤＶＣ方式は、動画像符号化装置（以下、デコーダと呼ぶこともある）で生成される符号化対象画像の予測画像（以下、デコーダ予測画像）から符号化対象画像を再構成する符号（以下、Ｗｙｎｅｒ−Ｚｉｖ符号とする）を、デコーダ予測画像を直接参照することなく生成することを特徴としている。この特徴より、ＤＶＣ方式の動画像符号化装置は、複雑な予測画像生成部を備える必要がなく、符号化に係る演算量の削減が可能になる。

図９は、ＤＶＣ方式に基づく従来の動画像符号化装置３１０と、動画像復号装置３２０とを有する動画像符号化システム２の構成を示すブロック図である。

動画像符号化装置３１０は、入力フレームのフレームタイプを後述する判定方法に基づきキーフレームか、ＷＺフレーム（ＷＺは、Ｗｙｎｅｒ−Ｚｉｖを省略したものである）かに判定し、キーフレームならば入力フレームをキーフレームとしてイントラ符号化部３１２に、ＷＺフレームならば、入力フレームをＷＺフレームとしてＷＺ符号化部３１６に出力するフレームタイプ判定部３１１と、キーフレームをイントラ符号化し、キーフレームの符号化データ（以下、キー符号化データと呼ぶ）を出力するイントラ符号化部３１２と、ＷＺフレームをＷＺ符号化し、ＷＺフレームの符号化データ（以下、ＷＺ符号化データと呼ぶ）を出力するＷＺ符号化部３１６と、キー符号化データとＷＺ符号化データに、フレームタイプを識別するための識別子を付けてストリームデータとして出力するストリーム出力部１１７を有する。

フレームタイプ判定部３１１で用いる判定方法は、例えば、最初の入力フレームはキーフレームと判定し、以降のフレームについては、予め定められた数のフレームをＷＺフレームと判定し、その次の入力フレームをキーフレームと判定することを繰り返すというものである。

動画像復号装置３２０は、入力ストリームデータ中のヘッダを参照することでフレームタイプを判定し、キーフレームの符号化データならばイントラ復号部３２２に出力し、ＷＺフレームの符号化データならばＷＺ復号部３２５に出力するフレームタイプ判定部３２１と、キーフレームの符号化データを復号し、復号キーフレームを生成するイントラ復号部３２２と、ＷＺフレームの符号化データを復号し、復号ＷＺフレームを生成するＷＺ復号部３２５と、復号キーフレーム又は復号ＷＺフレームを順次復号フレームとして出力するフレーム出力部３２６とを有する。

フレームタイプ判定部３２１は、ストリームデータ中のヘッダに存在する識別子を参照することで、フレームタイプがキーフレームの符号化データかＷＺフレームの符号化データであるかを判定する。

Ｂ．Ｇｉｒｏｄ，ａ Ｍ．Ａａｒｏｎ，Ｓ．Ｒａｎｅ，ａｎｄＤ．Ｒｅｂｏｌｌｏ−Ｍｏｎｅｄｅｒｏ，"Ｄｉｓｔｒｉｂｕｔｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥE，ｖｏｌ．９３，Ｊａｎ．２００５，ｐｐ．７１−８３．

一般的に、動画像は、フレーム間に相関がある場合が多く、フレーム間の差分をとることにより相関による冗長性を除外して符号化する差分符号化を実施することで、符号量を削減することができる。

しかしながら、従来のＤＶＣ方式は、キーフレームにおいて、イントラ符号化を行うのみであった（つまり、差分符号化は不採用である）。なぜならば、フレーム間の相関が高いシーンでは、差分符号化によって符号量の削減が実現されるが、シーンチェンジのある動画像や激しく動く動画像のようにフレーム間の相関が低いシーンでは、差分符号化によって符号量が増加してしまうためである。

そのため、演算量増加を最小限に抑えつつ、符号量削減を実現することができる動画像符号化装置、動画像符号化プログラム、及び動画像符号化システムが望まれている。

第１の本発明は、非キーフレームを符号化して非キーフレーム符号化データとして出力する非キー符号化部を有する動画像符号化装置において、(１)入力されたフレームを、イントラ符号化するキーフレームか、差分符号化するキーフレームか、又は非キーフレームかに判定するフレームタイプ判定手段と、(２)キーフレームをイントラ符号化し、キーフレーム符号化データとして出力するイントラ符号化部と、(３)キーフレームから参照フレームを差し引いた差分画像を符号化し、キーフレーム符号化データとして出力する差分符号化部と、(４)前記キーフレーム符号化データを蓄積するバッファメモリと、(５)前記バッファメモリから取得されたキーフレーム符号化データから前記参照フレームを生成する参照フレーム再構成部とを有し、(６)前記非キー符号化部は、非キーフレームをＷｙｎｅｒ−Ｚｉｖ符号化してＷｙｎｅｒ−Ｚｉｖ符号化データとして出力するものであり、(７)非キーフレームのＷｙｎｅｒ−Ｚｉｖ符号化が行われる度にＷｙｎｅｒ−Ｚｉｖ符号化データの符号量であるＷＺ符号量を出力するＷＺ符号量出力部とを備え、(８)前記フレームタイプ判定手段は、前記ＷＺ符号量が入力される度に、前記ＷＺ符号量を加算して、そのＷＺ符号量の総和を求め、キーフレームと判定する度に前記総和をリセットするものであって、(９)前記フレームタイプ判定手段は、最初のキーフレームを前記イントラ符号化部で符号化するキーフレームと判定し、これ以降については、前記総和が所定の閾値以上の場合に前記イントラ符号化部で符号化するキーフレームと判定し、それ以外の場合には前記差分符号化部で符号化するキーフレームと判定することを特徴とする。

第２の本発明の動画像符号化システムは、第１の本発明の動画像符号化装置と、動画像復号装置とを有することを特徴とする。

第３の本発明の動画像符号化プログラムは、非キーフレームを符号化して非キーフレーム符号化データとして出力する非キー符号化部を有する動画像符号化装置に搭載されるコンピュータを、(１)入力されたフレームを、イントラ符号化するキーフレームか、差分符号化するキーフレームか、又は非キーフレームかに判定するフレームタイプ判定手段と、(２)キーフレームをイントラ符号化し、キーフレーム符号化データとして出力するイントラ符号化部と、(３)キーフレームから参照フレームを差し引いた差分画像を符号化し、キーフレーム符号化データとして出力する差分符号化部と、(４)前記キーフレーム符号化データを蓄積するバッファメモリと、(５)前記バッファメモリから取得されたキーフレーム符号化データから前記参照フレームを生成する参照フレーム再構成部として機能させ、(６)前記非キー符号化部は、非キーフレームをＷｙｎｅｒ−Ｚｉｖ符号化してＷｙｎｅｒ−Ｚｉｖ符号化データとして出力するものであり、(７)上記コンピュータを、非キーフレームのＷｙｎｅｒ−Ｚｉｖ符号化が行われる度にＷｙｎｅｒ−Ｚｉｖ符号化データの符号量であるＷＺ符号量を出力するＷＺ符号量出力部としてさらに機能させ、(８)前記フレームタイプ判定手段は、前記ＷＺ符号量が入力される度に、前記ＷＺ符号量を加算して、そのＷＺ符号量の総和を求め、キーフレームと判定する度に前記総和をリセットするものであって、(９)前記フレームタイプ判定手段は、最初のキーフレームを前記イントラ符号化部で符号化するキーフレームと判定し、これ以降については、前記総和が所定の閾値以上の場合に前記イントラ符号化部で符号化するキーフレームと判定し、それ以外の場合には前記差分符号化部で符号化するキーフレームと判定することを特徴とする。

本発明によれば、演算量増加を最小限に抑えつつ、符号量削減を実現することができる。

第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。 第１の実施形態に係る動画像復号装置の構成を示すブロック図である。 第１の実施形態に係る動画像符号化装置と、動画像復号装置とを有する動画像符号化システムの構成を示すブロック図である。 第１の実施形態に係る動画像符号化装置の動作を示すフローチャートである。 第１の実施形態に係る動画像復号装置の動作を示すフローチャートである。 第２の実施形態に係る動画像符号化装置の構成を示すブロック図である。 第３の実施形態に係る動画像符号化装置の構成を示すブロック図である。 第３の実施形態に係る動画像符号化装置の動作を示すフローチャートである。 ＤＶＣ方式に基づく従来の動画像符号化装置と、動画像復号装置とを有する動画像符号化システムの構成を示すブロック図である。

（Ａ）第１の実施形態
以下、本発明による動画像符号化装置、動画像符号化プログラム、及び動画像符号化システムの第１の実施形態を、図面を参照しながら説明する。

（Ａ−１）第１の実施形態の構成
図３は、第１の実施形態に係る動画像符号化装置１１０と、動画像復号装置１２０とを有する動画像符号化システム１の構成を示すブロック図である。

図３において、動画像符号化システム１は、入力フレームを符号化し、その符号化したフレームをストリームデータとして出力する動画像符号化装置１１０と、当該ストリームデータを復号し、復号フレームを出力する動画像復号装置１２０とを有する、なお、動画像符号化システム１において、動画像符号化装置１１０及び動画像復号装置１２０は、ネットワークＮを介してストリームデータのやりとりが行われる。ネットワークＮは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の各種ネットワークを利用することができる。

図１は、第１の実施形態に係る動画像符号化装置１１０の構成を示すブロック図である。

図１において、動画像符号化装置１１０は、フレームタイプ判定部１１１、イントラ符号化部１１２、バッファメモリ１１３、参照フレーム再構成部１１４、差分符号化部１１５、ＷＺ符号化部１１６及びストリーム出力部１１７を有する。

動画像符号化装置１１０は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像符号化プログラムを実行することで動画像符号化装置としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像符号化装置１１０の機能的な詳細構成は、図１で表す構成となっている。

フレームタイプ判定部１１１は、後述する判定方法に基づき、入力フレームを、３種類のフレームタイプ、即ち、（ａ）イントラ符号化するキーフレーム、（ｂ）差分符号化すキーフレーム、（ｃ）ＷＺフレームのいずれかに判定する。

そして、フレームタイプ判定部１１１は、入力フレームのフレームタイプをイントラ符号化するキーフレームと判定したならば、入力フレームをキーフレームとしてイントラ符号化部１１２に出力する。また、フレームタイプ判定部１１１は、入力フレームのフレームタイプを差分符号化するキーフレームと判定したならば、入力フレームをキーフレームとして差分符号化部１１５に出力する。さらに、フレームタイプ判定部１１１は、入力フレームのフレームタイプをＷＺフレームと判定したならば、入力フレームをＷＺフレームとしてＷＺ符号化部１１６に出力する。

具体的に、フレームタイプ判定部１１１は、まず、入力フレームがキーフレームかＷＺフレームかの判定を行う。この判定方法は、先述の従来の技術と同様であるので、その詳細説明は省略する。さらに、フレームタイプ判定部１１１は、キーフレームと判定されたフレームを、イントラ符号化するキーフレームか差分符号化するキーフレームかのいずれかに判定する。この判定方法として、例えば、以下の方法が考えられる。

フレームタイプ判定部１１１は、ＷＺ符号化部１１６からＷＺ符号量が入力される度に、ＷＺ符号量を加算し、ＷＺ符号量の総和を求め、最初のキーフレームをイントラ符号化キーフレームと判定する。これ以降、フレームタイプ判定部１１１は、ＷＺ符号量の総和が予め定められた閾値以上の場合にイントラ符号化するキーフレームと判定し、それ以外の場合には、差分符号化するキーフレームと判定する。フレームタイプ判定部１１１は、キーフレームと判定する度にＷＺ符号量の総和を、リセット（消去）する。

なお、上記の方法によりフレームタイプを判定できる理由は、「ＷＺ符号量の総和」と「キーフレームと、参照画像（例えば、直前のキーフレーム）との間の相関」との間に相関があるためである。原則として、ＤＶＣにおけるＷＺ符号量は、サイド情報（補助情報；Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎ）に存在する誤りを訂正するのに必要十分な量である。一般的に、フレーム間の相関が大きいほど、Ｓｉｄｅ Ｉｎｆｏｒｍａｔｉｏｎに存在する誤りが減る傾向があるため、ＷＺ符号量も同様に減少する。つまり、「キーフレームと参照画像の間の相関」が大きいほど、各ＷＺフレームのＷＺ符号量が減る傾向があり、結果としてＷＺ符号量の総和が減る傾向がある。

この「ＷＺ符号量の総和」と「キーフレームと、参照画像との間の相関」の関係と、先に述べたキーフレームと参照画像の相関が大きい時に差分符号化は有効に機能するという性質から、ＷＺ符号量の総和が小さいとき、キーフレームと参照画像の間の相関が大きいことが推定できるため、差分符号化は、有効に機能すると推定できる。以上の理由から、上記の判定方法を使用することで、多くのシーンにおいてフレームタイプを適切に判定することができる。

イントラ符号化部１１２は、先述の従来の技術（イントラ符号化部３１２）と同様な機能に加え、差分符号化のために再構成用データをバッファメモリ１１３に出力することを行う。ここで、再構成用データとは、例えば、量子化後の画像データである。また、復号品質の低下を許容できる場合は、入力されたキーフレームをそのまま再構成用データとしても良い。

バッファメモリ１１３は、イントラ符号化部１１２と、差分符号化部１１５とから出力される再構成用データを保存するものである。

参照フレーム再構成部１１４は、バッファメモリ１１３から取り出した再構成用データから参照フレームを再構成する。参照フレーム再構成部１１４は、再構成用データとして、例えば、量子化後の画像データを格納している場合は、逆量子化や逆変換等を通して、ピクセル領域の画像を生成し、それを参照フレームとして出力する。参照フレームの元となる再構成用データとしては、例えば、直前のキーフレームの再構成用データを用いる。

差分符号化部１１５は、キーフレームから参照フレームを差し引き、その差分画像を符号化してキー符号化データとして、ストリーム出力部１１７へ出力する。

ＷＺ符号化部１１６は、先述の従来の技術（ＷＺ符号化部３１６）と同様な機能に加え、ＷＺ符号化データの符号量をＷＺ符号量としてフレームタイプ判定部１１１に出力することを行う。なお、ＷＺ符号化部１１６は、ＷＺ符号化データの符号量の算出については、例えば、特開２０１４−２０７５６５号公報に記載の技術を用いることができる。

ストリーム出力部１１７は、イントラ符号化部１１２と、差分符号化部１１５と、ＷＺ符号化部１１６とから出力されるキー符号化データ又はＷＺ符号化データを、順次、ストリームデータとして出力する。ストリーム出力部１１７は、復号時にフレームタイプを判定できるようにするために、出力するストリームデータにおいて、例えば、３種類のフレームタイプを識別するための識別子を付加させる。また、ストリーム出力部１１７は、例えば、キーフレームとＷＺフレームを識別するためだけの識別子を付加する従来の技術に加えて、イントラ符号化するキーフレームと差分符号化するキーフレームの識別については、動画像復号装置１２０でもフレームタイプ判定部１１１と同様のアルゴリズム及び閾値で判定できるような仕組みを導入して、フレームタイプを判定しても良い。

図２は、第１の実施形態に係る動画像復号装置１２０の構成を示すブロック図である。

図２において、動画像復号装置１２０は、フレームタイプ判定部１２１、イントラ復号部１２２、バッファメモリ１２３、差分復号部１２４、ＷＺ復号部１２５及びフレーム出力部１２６を有する。

動画像復号装置１２０は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像復号プログラムを実行することで動画像復号装置としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像復号装置１２０の機能的な詳細構成は、図２で表す構成となっている。

フレームタイプ判定部１２１は、入力されたストリームデータのフレームタイプの判定を行う。例えば、フレームタイプ判定部１２１は、ストリームデータ中のヘッダを参照することでフレームタイプを判定し、イントラ符号化されたキーフレームならばストリームデータをキーストリームデータとしてイントラ復号部１２２に出力し、差分符号化されたキーフレームならばストリームデータをキーストリームデータとして差分復号部１２４に出力し、ＷＺフレームならばストリームデータをＷＺストリームデータとしてＷＺ復号部１２５に出力する。

また、例えば、入力ストリームデータについて、先述の従来の技術と同様に、キーフレームとＷＺフレームを識別するためだけの識別子が付加されている場合には、イントラ符号化するキーフレームと差分符号化するキーフレームの識別は、フレームタイプ判定部１２１において、フレームタイプ判定部１１１で使用した同様のアルゴリズム及び閾値によって、判定する。これは、動画像符号化装置１１０のフレームタイプ判定部１１１と、動画像復号装置１２０のフレームタイプ判定部１２１とで使用するアルゴリズムや閾値を共通にする方法である。この方法を実現するために、動画像符号化装置１１０のフレームタイプ判定部１１１及び動画像復号装置１２０のフレームタイプ判定部１２１は、予め定められたアルゴリズムや閾値を使うようにしても良いし、又は、付加拡張情報を送るためのパケットやメッセージを通して、共有しても良い。

イントラ復号部１２２は、先述の従来の技術（イントラ復号部３２２）と同様であるので、その説明を省略する。

バッファメモリ１２３は、イントラ復号部１２２や差分復号部１２４が出力する復号キーフレームを、後の差分復号処理のために保存するものである。

差分復号部１２４は、キーストリームデータを復号し、復号結果に参照フレームを足し合わせることで、復号キーフレームを生成し、出力する。参照フレームは、動画像符号化装置１１０の差分符号化部１１５が参照したフレームと同じインデックスのフレームとする。

ＷＺ復号部１２５は、先述の従来の技術（ＷＺ復号部３２５）と同様であるので、その説明を省略する。

フレーム出力部１２６は、イントラ復号部１２２と、差分復号部１２４と、ＷＺ復号部１２５とから出力される復号キーフレーム又は復号ＷＺフレームを、順次、復号フレームとして出力する。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の動画像符号化システム１における主に符号化・復号動作を、図面を参照しながら説明する。

まずは、動画像符号化装置１１０の動作について説明する。

図４は、第１の実施形態に係る動画像符号化装置１１０の動作を示すフローチャートである。

フレームタイプ判定部１１１は、入力フレームをキーフレームとして符号化するか、ＷＺフレームとして符号化するかを判定する（Ｓ１０１）。フレームタイプ判定部１１１は、キーフレームとして符号化する場合、イントラ符号化するか、差分符号化するかどうかも判定する（Ｓ１０２）。

具体的には、フレームタイプ判定部１１１は、ＷＺ符号量の総和が予め定められた閾値を超えるか否かで判定する。つまり、フレームタイプ判定部１１１は、ＷＺ符号量の総和が、閾値以上の場合には、イントラ符号化を行い、閾値を超えない場合には、差分符号化を行う。なお、フレームタイプ判定部１１１が、入力フレームをイントラ符号化するキーフレームと判定した場合には、後述するステップＳ１０３の処理に進む。フレームタイプ判定部１１１が、差分符号化するキーフレームと判定した場合は、後述するステップＳ１０４の処理に進む。フレームタイプ判定部１１１が、ＷＺフレームと判定した場合は、後述するステップＳ１０６の処理に進む。

イントラ符号化部１１２は、キーフレームをイントラ符号化し、キー符号化データを出力する（Ｓ１０３）。また、イントラ符号化部１１２は、後の差分符号化のために、再構成用データをバッファメモリ１１３に出力もする。その後の処理は、後述するステップＳ１０６の処理に進む。

参照フレーム再構成部１１４は、再構成用データから参照フレームを再構成する（Ｓ１０４）。

差分符号化部１１５は、キーフレームから参照フレームを差し引き、差分画像を符号化して、キー符号化データとして出力する（Ｓ１０５）。差分符号化部１１５は、後の差分符号化のために、再構成用データをバッファメモリ１１３に出力もする。その後の処理は、後述するステップＳ１０７の処理に進む。

ＷＺ符号化部１１６は、ＷＺフレームをＷＺ符号化し、ＷＺ符号化データとして出力する（Ｓ１０６）。

ストリーム出力部１１７は、例えば、キー符号化データやＷＺ符号化データに、フレームタイプを識別できるヘッダを付けて、ストリームデータとして出力する（Ｓ１０７）。当該ストリームデータは、例えば、ネットワークＮを通じて、動画像復号装置１２０に出力される。

次に、動画像復号装置１２０の動作について説明する。

図５は、第１の実施形態に係る動画像復号装置１２０の動作を示すフローチャートである。

フレームタイプ判定部１２１は、入力ストリームデータをキーフレームとして復号するか、ＷＺフレームとして復号するかを判定する（Ｓ２０１）。さらに、フレームタイプ判定部１２１は、入力ストリームデータをキーフレームとして復号する場合において、イントラ復号するか、差分復号するかどうかも判定する（Ｓ２０２）。ステップＳ２０１及びステップＳ２０２の入力ストリームデータのフレームタイプの判定は、例えば、ストリームデータのヘッダに負荷されたフレームタイプの情報に基づいて判定される。

なお、フレームタイプ判定部１２１が、入力ストリームデータをイントラ符号化されたキーフレームと判定した場合、後の処理は、後述するステップＳ２０３の処理に進む。フレームタイプ判定部１２１が、入力ストリームデータを差分符号化されたキーフレームと判定した場合、後の処理は、後述するステップＳ２０４の処理に進む。また、フレームタイプ判定部１２１が、入力ストリームデータをＷＺフレームと判定した場合、後の処理は、後述するステップＳ２０５の処理に進む。

イントラ復号部１２２は、キーストリームデータを復号し、復号キーフレームとして出力する（Ｓ２０３）。また、イントラ復号部１２２は、復号キーフレームを、後の差分復号のためにバッファメモリ１２３にも出力する。後の処理は、後述するステップＳ２０６の処理に進む。

差分復号部１２４は、キーストリームデータを復号し、その結果を、バッファメモリ１２３から取り出した参照フレームに足し合わせる（Ｓ２０４）。差分復号部１２４は、足し合わせた結果を復号キーフレームとして出力する。また、差分復号部１２４は、復号キーフレームを後の差分符号化のためにバッファメモリ１２３にも出力する。後の処理は、後述するステップＳ２０６の処理に進む。

ＷＺ符号化部１２５は、ストリームデータをＷＺ復号し、復号ＷＺフレームとして出力する（Ｓ２０５）。

フレーム出力部１２６は、復号キーフレーム又は復号ＷＺフレームを復号フレームとして順次出力する（Ｓ２０６）。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、動画像符号化装置１１０のフレームタイプ判定部１１１が、ＷＺ符号化部１１６から通知されるＷＺ符号量の総和と、予め定められた閾値とを比較することによって、キーフレームの最適な動画像符号化方式（差分符号化又はイントラ符号化のいずれか）の選択が可能となった。これにより、ＤＶＣ方式を採用している動画像符号化システムは、システム全体として符号化に伴う処理量を減少させることが可能となった。言い換えれば、動画像符号化装置１１０が、キーフレームについて、イントラ符号化と差分符号化のいずれも実施し、両者の符号量を比較した後に、いずれかの符号化方式を選択するプロセスを経ることなく（つまり、演算量の大幅な増加を伴わない）、従来技術に比べて有利な効果を発揮することになる。

（Ｂ）第２の実施形態
次に、本発明による動画像符号化装置、動画像符号化プログラム、及び動画像符号化システムの第２の実施形態を、図面を参照しながら説明する。

（Ｂ−１）第２の実施形態の構成
第２の実施形態の動画像符号化システム１も、上述した図１に示すように、動画像符号化装置１１０Ａと動画像復号装置１２０を有するものである。なお、内部構成は異なっているが、動画像符号化装置に対する符号は、第１の実施形態のものと同一のものを用いる。

図６は、第２の実施形態に係る動画像符号化装置１１０Ａの構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

図６において、第２の実施形態に係る動画像符号化装置１１０Ａは、フレームタイプ判定部４１１、イントラ符号化部１１２、バッファメモリ１１３、参照フレーム再構成部４１４、差分符号化部１１５、ＷＺ符号化部１１６及びストリーム出力部１１７を有する。すなわち、第１の実施形態におけるフレームタイプ判定部１１１及び参照フレーム再構成部１１４に代えて、フレームタイプ判定部４１１及び参照フレーム再構成部４１４が設けられており、その他の構成要素は、第１の実施形態のものと同様である。

フレームタイプ判定部４１１は、入力されたフレームをキーフレームとＷＺフレームかに判定する手法については、先述のフレームタイプ判定部１１１と同一である。しかしながら、キーフレームをイントラ符号化するキーフレームか、差分符号化するキーフレームかに判定する手法については、先述のフレームタイプ判定部１１１と異なるので、以下に、その説明を行う。

フレームタイプ判定部４１１は、まず、入力された最初のキーフレームをイントラ符号化するキーフレームと判定する。これ以降、フレームタイプ判定部４１１は、入力されたキーフレームと参照フレームの絶対差分和が予め定められた閾値以上の場合にイントラ符号化するキーフレームと判定し、それ以外の場合には差分符号化するキーフレームと判定する。なお、フレームタイプ判定部４１１は、判定に利用する参照フレームを後述する参照フレーム再構成部４１４から取得する。

参照フレーム再構成部４１４は、先述の参照フレーム再構成部１１４の機能に加え、フレームタイプ判定部４１１からの求めに応じて、参照フレームをフレームタイプ判定部４１１に出力する。

（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態に係る動画像符号化システム１の動作を説明する。

第２の実施形態の動画像符号化装置１１０Ａの動作も、第１の実施形態と同様に図４を用いて説明することができる。ただし、図４のフローチャートのＳ１０２処理が、第１の実施形態と異なるので、以下では、この動作（Ｓ１０２’）を説明する。

フレームタイプ判定部４１１は、入力されたキーフレームについて、イントラ符号化するか、差分符号化するかを判定する（Ｓ１０２’）。

具体的には、フレームタイプ判定部４１１は、入力されたキーフレームが最初に入力されたキーフレームかを判定し、最初に入力されたキーフレームならば、当該フレームはイントラ符号化するキーフレームと判定する。なお、最初に入力されたキーフレームかの判定については、例えば、キーフレームのインデックスを利用して判定して良い。次以降のキーフレームについては、以下の判定処理を行う。

フレームタイプ判定部４１１は、参照フレーム再構成部４１４から参照フレームを取得し、入力されたキーフレームと参照フレームの絶対差分和が予め定められた閾値以上の場合にイントラ符号化するキーフレームと判定し、それ以外の場合には差分符号化するキーフレームと判定する。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、動画像符号化装置１１０Ａのフレームタイプ判定部４１１が、入力されたキーフレームと参照フレームとの絶対差分和と、予め定められた閾値とを比較することによって、キーフレームの最適な符号化方式（差分符号化又はイントラ符号化のいずれか）の選択が可能となった。これにより、第１の実施形態の効果の項で述べた効果と同様の効果を得ることができる。

（Ｃ）第３の実施形態
次に、本発明による動画像符号化装置、動画像符号化プログラム、及び動画像符号化システムの第３の実施形態を、図面を参照しながら説明する。

（Ｃ−１）第３の実施形態の構成
第３の実施形態の動画像符号化システム１の構成についても、第１の実施形態の動画像符号化システム１と同様に図３を用いて示すことができる。ただし、動画像符号化システム１の構成は、動画像符号化システム１の動画像符号化装置１１０の代わりに動画像符号化装置２１０を適用した点が異なる。以下では、第３の実施形態の動画像符号化装置２１０の構成について、第１の実施形態の動画像符号化装置１１０との差異を中心に説明する。

図７は、第３の実施形態に係る動画像符号化装置２１０の構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

動画像符号化装置２１０は、フレームタイプ判定部２１１、イントラ符号化部２１２、バッファメモリ１１３、参照フレーム再構成部１１４、差分符号化部２１５、ＷＺ符号化部１１６、ストリーム出力部１１７、閾値調整用記憶領域２１８及び閾値調整部２１９を有する。

バッファメモリ１１３、参照フレーム再構成部１１４、ＷＺ符号化部１１６及びストリーム出力部１１７は、第１の実施形態の構成の項において説明したので、その詳細説明は、省略する。

フレームタイプ判定部２１１は、フレームタイプ判定部１１１の機能に加え、後述する閾値調整部２１９からの閾値の入力を受け付ける機能を有するものである。第１の実施形態の閾値は予め設定しておく固定値であったが、第２の実施形態の閾値は可変値である点が第１の実施形態と異なる。フレームタイプ判定部２１１は、入力された閾値に基づき、フレームタイプの判定を行う。

イントラ符号化部２１２は、イントラ符号化部１１２の機能に加え、キー符号化データの符号量であるキー符号量を閾値調整用記憶領域２１８に出力する。

差分符号化部２１５は、差分符号化部１１５の機能に加え、同様にキー符号化データの符号量であるキー符号量を閾値調整用記憶領域２１８に出力する。

閾値調整用記憶領域２１８は、「閾値」と「キー符号量」を記憶する閾値調整用の記憶領域である。閾値調整用記憶領域２１８は、記憶された閾値とキー符号量を「閾値調整用データ」として、閾値調整部２１９に出力する。

閾値調整部２１９は、直前のフレームタイプ判定時に使用した閾値と、その結果得られたキー符号量、及び、その前のフレームタイプ判定時に使用した閾値と、その結果得られたキー符号量とに基づき、閾値を更新する。そして、閾値調整部２１９は、その閾値をフレームタイプ判定部２１１と閾値調整用記憶領域２１８に出力する。閾値の更新は、例えば、以下の（１）式に基づき行う。

Ｔ（ｎ＋２）＝Ｔ（ｎ＋１） − α［Ｒ（ｎ＋１）−Ｒ（ｎ）］／［Ｔ（ｎ＋１）−Ｔ（ｎ）］ …(１)
ここで、ｎは符号化するフレームのインデックスを表す。Ｔ（ｎ）は、フレームｎを符号化するときに用いる閾値を表す。Ｒ（ｎ）は、フレームｎのキー符号量を表す。αは、任意の正の定数とする。

システムの起動時など、閾値Ｔ（ｎ）や符号量Ｒ（ｎ）、閾値Ｔ（ｎ＋１）や符号量Ｒ（ｎ＋１）のデータが存在しない場合には、予め定めたパターンに基づき、閾値Ｔ（ｎ）は、決定される。

上記(１)式に基づき、更新することで、閾値Ｔ（ｎ）と符号量Ｒ（ｎ）の関係の勾配に基づき、更新方向（プラス／マイナス）と更新の大きさを決めるため、高い確率で単調減少するように閾値Ｔ（ｎ）は、変化する。

ただし、閾値Ｔ（ｎ）は、パラメータαの大きさによっては振動してしまったり、局所解に捕まったりする可能性もある。そのため、シミュレーティッドアニーリングのように、システムを起動してしばらくは、大きなαで更新し、ｎの増加に伴ってαも小さくしていくようにしても良い。つまり、例えば、下記の式（２）に従って、閾値Ｔ（ｎ）を変化させても良い。

Ｔ（ｎ＋２）＝Ｔ（ｎ＋１） − α（ｎ）［Ｒ（ｎ＋１）−Ｒ（ｎ）］／［Ｔ（ｎ＋１）−Ｔ（ｎ）］ …(２)
ここでα（ｎ）は、単調減少関数とする。

（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態の動画像符号化システム１における動画像符号化装置２１０の動作を、図面を参照しながら説明する。

図８は、第３の実施形態に係る動画像符号化装置２１０の動作を示すフローチャートである。なお、先述の第１の実施形態に係る動画像符号化装置１１０の動作と対応する処理については、適宜省略しながら説明する。

ステップＳ３０１の処理は、先述の対応するステップＳ１０１の処理と同様であるため、その説明を省略する。

フレームタイプ判定部２１１は、キーフレームとして符号化する場合、イントラ符号化するか、差分符号化するかどうかも判定する（Ｓ３０２）。

具体的には、フレームタイプ判定部２１１は、ＷＺ符号量の総和が、閾値調整用記憶領域２１８が更新した現在のフレームｎに対応する閾値Ｔ（ｎ）を超えるか否かで判定する。つまり、フレームタイプ判定部２１１は、ＷＺ符号量の総和が閾値Ｔ（ｎ）以上の場合には、イントラ符号化を行い、閾値Ｔ（ｎ）を超えない場合には、差分符号化を行う。

ステップＳ３０３の処理は、先述の対応するステップＳ１０３の処理を全て含むため、その共通する処理の説明を省略する。さらに、イントラ符号化部２１２は、閾値調整用記憶領域２１８に対して、キー符号量を出力する（ステップＳ３０３）。

ステップＳ３０４の処理は、先述の対応するステップＳ１０４の処理と同様であるため、その説明を省略する。

ステップＳ３０５の処理は、先述の対応するステップＳ１０５の処理を全て含むため、その共通する処理の説明を省略する。さらに、差分符号化部２１５は、閾値調整用記憶領域２１８に対して、キー符号量を出力する（ステップＳ３０５）。

ステップＳ３０６及びステップＳ３０７の処理は、先述の対応するステップＳ１０６及びステップＳ１０７の処理と同様であるため、その説明を省略する。

閾値調整部２１９は、閾値調整用記憶領域２１８から取得した閾値調整用データから、新しい閾値Ｔ（ｎ＋２）を計算し、フレームタイプ判定部２１１と閾値調整用記憶領域２１８に出力する（ステップＳ３０８）。

（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、第１の実施形態においてＷＺ符号量の総和との比較で用いられていた閾値を符号化の選択時において動的に変化させることによって、映像の性質や圧縮条件に応じた最適な閾値が使用可能となり、フレームタイプ判定部１２１は、第１の実施形態に比べて、より最適な動画像符号化方式の選択が可能となる。これにより、映像の性質や圧縮条件が変化する動画像符号化システムの利用環境において、動画像符号化システムは、システム全体の符号量をより一層削減することが可能となる。

また、第１の実施形態では、動画像符号化システムについて良く理解しているユーザ（例えば、開発者）により、最適な閾値を設定する必要があったが、第３の実施形態では、このプロセスが不要になるので、動画像符号化システムのより簡易な運用が可能となる。

（Ｄ）他の実施形態
上記各実施形態に加えて、さらに、以下に例示するような変形実施形態も挙げることができる。

上記各実施形態において、動画像符号化装置（１１０、１１０Ａ、２１０）と動画像復号装置１２０との間でどのようにストリームデータを受け渡しするかを明記していないが、任意の通信プロトコル（例えば、ＨＴＭＬ５等）に従って、動画像符号化システム１は、ストリームデータの受け渡しを行って良い。また、動画像符号化システム１は、ストリーム配信形式ではなく、ダウンロード形式により、符号化データを受け渡して良い。さらに、動画像符号化システム１は、ネットワークＮを介さずにデータのやり取りを行っても良く、例えば、動画像符号化装置（１１０、１１０Ａ、２１０）から出力された符号化データを任意のファイル形式により記録媒体（ＣＤ、ＵＳＢメモリ等）に格納し、その格納されたデータを動画像復号装置１２０に入力しても良い。

第２の実施形態では、非キーフレームについて、ＷＺ符号化部１１６においてＷｙｎｅｒ−Ｚｉｖ符号化方式に従った符号化を行っていたが、これは一例であり、代替えとして、任意の符号化方式に従った符号化処理を行っても良い。

１…動画像符号化システム、１１０、１１０Ａ、２１０…動画像符号化装置、１１１、２１１、４１１…フレームタイプ判定部、１１２、２１２…イントラ符号化部、１１３…バッファメモリ、１１４、４１４…参照フレーム再構成部、１１５、２１５…差分符号化部、１１６…ＷＺ符号化部、１１７…ストリーム出力部、１２０…動画像復号装置、１２１…フレームタイプ判定部、１２２…イントラ復号部、１２３…バッファメモリ、１２４…差分復号部、１２５…ＷＺ復号部、１２６…フレーム出力部、２１８…閾値調整用記憶領域、２１９…閾値調整部。

Claims (8)

1. 非キーフレームを符号化して非キーフレーム符号化データとして出力する非キー符号化部を有する動画像符号化装置において、
   入力されたフレームを、イントラ符号化するキーフレームか、差分符号化するキーフレームか、又は非キーフレームかに判定するフレームタイプ判定手段と、
   キーフレームをイントラ符号化し、キーフレーム符号化データとして出力するイントラ符号化部と、
   キーフレームから参照フレームを差し引いた差分画像を符号化し、キーフレーム符号化データとして出力する差分符号化部と、
   前記キーフレーム符号化データを蓄積するバッファメモリと、
   前記バッファメモリから取得されたキーフレーム符号化データから前記参照フレームを生成する参照フレーム再構成部とを有し、
   前記非キー符号化部は、非キーフレームをＷｙｎｅｒ−Ｚｉｖ符号化してＷｙｎｅｒ−Ｚｉｖ符号化データとして出力するものであり、
   非キーフレームのＷｙｎｅｒ−Ｚｉｖ符号化が行われる度にＷｙｎｅｒ−Ｚｉｖ符号化データの符号量であるＷＺ符号量を出力するＷＺ符号量出力部とを備え、
   前記フレームタイプ判定手段は、前記ＷＺ符号量が入力される度に、前記ＷＺ符号量を加算して、そのＷＺ符号量の総和を求め、キーフレームと判定する度に前記総和をリセットするものであって、
   前記フレームタイプ判定手段は、最初のキーフレームを前記イントラ符号化部で符号化するキーフレームと判定し、これ以降については、前記総和が所定の閾値以上の場合に前記イントラ符号化部で符号化するキーフレームと判定し、それ以外の場合には前記差分符号化部で符号化するキーフレームと判定する
   ことを特徴とする動画像符号化装置。
2. 前記閾値を生成・更新する閾値調整部を備え、
   前記フレームタイプ判定手段で使用される前記閾値は、前記閾値調整部から取得された閾値である
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記フレームタイプ判定手段で使用された閾値と、前記イントラ符号化部又は前記差分符号化部から出力される前記キーフレーム符号化データの符号量であるキー符号量とを記憶する閾値調整用記憶部を備え、
   前記閾値調整部は、前記閾値調整用記憶部により取得される前記フレームタイプ判定手段で前回使用された前回閾値と、前々回使用された前々回閾値と、前記イントラ符号化部又は前記差分符号化部から前回出力された前回キー符号量と、前々回出力された前々回キー符号量とに基づき、前記閾値を生成・更新する
   ことを特徴とする請求項２に記載の動画像符号化装置。
4. 符号化するフレームのインデックスをｎ、フレームｎを符号化するときの閾値をＴ（ｎ）、フレームｎの前記キー符号量をＲ（ｎ）、所定の正の定数をαとし、
   前記閾値調整部は、以下の（Ａ）式に従い、前記閾値を調整することを特徴とする請求項３に記載の動画像符号化装置。
   Ｔ（ｎ＋２）＝Ｔ（ｎ＋１） − α［Ｒ（ｎ＋１）−Ｒ（ｎ）］／［Ｔ（ｎ＋１）−Ｔ（ｎ）］…(Ａ)
5. 符号化するフレームのインデックスをｎ、フレームｎを符号化するときの閾値をＴ（ｎ）、フレームｎの前記キー符号量をＲ（ｎ）、単調減少関数をα（ｎ）とし、
   前記閾値調整部は、以下の（Ｂ）式に従い、前記閾値を調整することを特徴とする請求項３に記載の動画像符号化装置。
   Ｔ（ｎ＋２）＝Ｔ（ｎ＋１） −α（ｎ）［Ｒ（ｎ＋１）−Ｒ（ｎ）］／［Ｔ（ｎ＋１）−Ｔ（ｎ）］…(Ｂ)
6. 前記キーフレーム符号化データ又は前記非キーフレーム符号化データについて、前記イントラ符号化部で符号化されたキーフレームか、前記差分符号化部で符号化されたキーフレームか、又は前記非キー符号化部で符号化された非キーフレームかを識別するための識別子をヘッダに加えたストリームデータを生成するストリーム部を有することを特徴とする請求項１〜５のいずれかに記載の動画像符号化装置。
7. 請求項１〜６のいずれかに記載の動画像符号化装置と、動画像復号装置とを有することを特徴とする動画像符号化システム。
8. 非キーフレームを符号化して非キーフレーム符号化データとして出力する非キー符号化部を有する動画像符号化装置に搭載されるコンピュータを、
   入力されたフレームを、イントラ符号化するキーフレームか、差分符号化するキーフレームか、又は非キーフレームかに判定するフレームタイプ判定手段と、
   キーフレームをイントラ符号化し、キーフレーム符号化データとして出力するイントラ符号化部と、
   キーフレームから参照フレームを差し引いた差分画像を符号化し、キーフレーム符号化データとして出力する差分符号化部と、
   前記キーフレーム符号化データを蓄積するバッファメモリと、
   前記バッファメモリから取得されたキーフレーム符号化データから前記参照フレームを生成する参照フレーム再構成部として機能させ、
   前記非キー符号化部は、非キーフレームをＷｙｎｅｒ−Ｚｉｖ符号化してＷｙｎｅｒ−Ｚｉｖ符号化データとして出力するものであり、
   上記コンピュータを、非キーフレームのＷｙｎｅｒ−Ｚｉｖ符号化が行われる度にＷｙｎｅｒ−Ｚｉｖ符号化データの符号量であるＷＺ符号量を出力するＷＺ符号量出力部としてさらに機能させ、
   前記フレームタイプ判定手段は、前記ＷＺ符号量が入力される度に、前記ＷＺ符号量を加算して、そのＷＺ符号量の総和を求め、キーフレームと判定する度に前記総和をリセットするものであって、
   前記フレームタイプ判定手段は、最初のキーフレームを前記イントラ符号化部で符号化するキーフレームと判定し、これ以降については、前記総和が所定の閾値以上の場合に前記イントラ符号化部で符号化するキーフレームと判定し、それ以外の場合には前記差分符号化部で符号化するキーフレームと判定する
   ことを特徴とする動画像符号化プログラム。

Images