JP7020068B2 - 映像符号化装置、映像符号化方法、及びプログラム - Google Patents

Description

本発明は、映像符号化装置、映像符号化方法、及びプログラムに関する。

近年、地上デジタルテレビ放送よりも、高画質な４Ｋ解像度（以下、「４Ｋ」と表記する。）／８Ｋ解像度（以下、「８Ｋ」と表記する。）の地上放送の実現を目的とし、放送網の再編が行われている。また、有限な電波資源の有効活用のため、現在の放送網の放送帯域を抑え、余った帯域で高画質な４Ｋ／８Ｋの地上放送を実現できないかも検討されている。このような背景から、現在よりも狭い周波数帯域においても、現状の地上放送の映像と同画質または高画質化が望まれている。そのため、より映像の圧縮率が高い映像符号化装置が求められている。

このような問題を解決する技術として、映像の圧縮率を高めるために、映像シーケンスの全体を事前解析し、事前解析に基づいて符号化するマルチパス符号化処理が提案されている。例えば、特許文献１～４では、マルチパス符号化処理を実行する映像符号化装置を開示している。

具体的には、特許文献１に開示された映像符号化装置は、１パス目の処理として、入力画像のシーケンス全体のうちウィンドウ単位で重複する部分のみを事前解析することで統計値を生成する。更に、２パス目の処理として、特許文献１に開示された映像符号化装置は、1パス目で生成した統計値に基づいて、各入力画像の符号化パラメータを適宜調節して、調節した符号化パラメータに基づいて１パス目で事前解析した入力画像を符号化する。

また、特許文献２に開示された映像符号化装置は、１パス目の処理として、入力画像のシーケンスを事前解析して、第１の解析情報を生成し、生成した第１の解析情報に基づいて、入力画像に対して前処理を実行する。前処理としては、例えば、周波数帯域の制限処理、画像サイズの変換処理、及びフレームレートの変換処理が挙げられる。

更に、２パス目の処理として、特許文献２に開示された映像符号化装置は、１パス目で前処理をした入力画像に対して、再度、事前解析を行なって、第２の解析情報を生成し、第１の解析情報と、この生成した第２の解析情報とを用いて、１パス目で前処理をした入力画像の目標符号量を設定する。

更に、３パス目の処理として、特許文献２に開示された映像符号化装置は、１パス目の前処理を行なった入力画像を符号化する。その際、特許文献２に開示された映像符号化装置は、符号化時に割当てる符号化量が、２パス目で設定した目標符号量に到達するように符号化を実行する。

また、特許文献３に開示された映像符号化装置は、１パス目の処理として、入力画像のシーケンスを事前解析し、この事前解析に基づいてバッファ破綻回避処理をしながら適切に割当て符号量を設定する。更に、２パス目の処理として、特許文献３に開示された映像符号化装置は、割当て符号量に基づいて入力画像を符号化する。

また、特許文献４に開示された映像符号化装置は、１パス目の処理として、入力画像のシーケンスを事前解析して符号化劣化の目立ちやすさ（平坦度）を反映させた符号化難易度を算出し、符号化難易度に基づいて符号化するときの割当てビット量を設定する。更に
、２パス目の処理として、特許文献４に開示された映像符号化装置は、設定した割当てビット量と、割当てる符号化量とが一致するように入力画像を符号化する。

特開２００８－５０３９１９号公報 特開２００５－９４４５８号公報 特開２００２－２３２８８２号公報 特開平１０－３０２３９６号公報

このように、上述の特許文献１～４に開示された映像符号化装置においては、マルチパス符号化処理が実行されるため、符号化処理自体が複雑化してしまう。このため、これらの映像符号化装置では、実装すべき基板が増加してしまい、装置自体が大型化してしまうという問題が発生する。

本発明の目的の一例は、上記問題を解消し、放送される映像の高画質化を図りつつ、装置自体の小型化を実現し得る、映像符号化装置、映像符号化方法、及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における映像符号化装置は、
複数のフレームで構成された時系列画像を符号化する装置であって、
前記複数のフレームそれぞれ毎に、当該フレームの複雑度に基づいて、当該フレームの第１の量子化パラメータを算出し、更に、当該フレームを２以上のブロックに分割し、前記ブロック毎に、前記第１の量子化パラメータを用いて、第２の量子化パラメータを算出する、事前処理部と、
前記複数のフレームそれぞれについて、当該フレームを構成する前記ブロック毎に、当該ブロックについて算出された前記第２の量子化パラメータを用いて量子化を行い、更に、前記ブロックが量子化された当該フレームを符号化する、映像符号化部と、
を備えている、ことを特徴とする。

また、上記目的を達成するため、本発明の一側面における映像符号化方法は、
複数のフレームで構成された時系列画像を符号化するための方法であって、
（ａ）前記複数のフレームそれぞれ毎に、当該フレームの複雑度に基づいて、当該フレームの第１の量子化パラメータを算出し、更に、当該フレームを２以上のブロックに分割し、前記ブロック毎に、前記第１の量子化パラメータを用いて、第２の量子化パラメータを算出する、ステップと、
（ｂ）前記複数のフレームそれぞれについて、当該フレームを構成する前記ブロック毎に、当該ブロックについて算出された前記第２の量子化パラメータを用いて量子化を行い、更に、前記ブロックが量子化された当該フレームを符号化する、ステップと、
を有する、ことを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、
複数のフレームで構成された時系列画像を符号化するためのプログラムであって、
前記コンピュータに、
（ａ）前記複数のフレームそれぞれ毎に、当該フレームの複雑度に基づいて、当該フレームの第１の量子化パラメータを算出し、更に、当該フレームを２以上のブロックに分割し
、前記ブロック毎に、前記第１の量子化パラメータを用いて、第２の量子化パラメータを算出する、ステップと、
（ｂ）前記複数のフレームそれぞれについて、当該フレームを構成する前記ブロック毎に、当該ブロックについて算出された前記第２の量子化パラメータを用いて量子化を行い、更に、前記ブロックが量子化された当該フレームを符号化する、ステップと、
を実行させることを特徴とする。

以上のように本発明によれば、放送される映像の高画質化及び、装置自体の小型化を実現することができる。

図１は、本発明の実施の形態１における映像符号化装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態１における映像符号化装置の事前処理部における処理を説明する図である。 図３は、本発明の実施の形態１における映像符号化装置の動作を示すフロー図である。 図４は、本発明の実施の形態２における映像符号化装置の事前処理部における処理を説明する図である。 図５は、本発明の実施の形態２における映像符号化装置の動作を示すフロー図である。 図６は、本発明の実施の形態３における映像符号化装置の事前処理部における処理を説明する図である。 図７は、本発明の実施の形態３における映像符号化装置の動作を示すフロー図である。 図８は、本発明の実施の形態４における映像符号化装置の動作を示すフロー図である。 図９は、本発明の実施の形態１～４における映像符号化装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態１）
以下、本発明の実施の形態１における、映像符号化装置、映像符号化方法、及びプログラムについて、図１～図３を参照しながら説明する。

［装置構成］
最初に、本実施の形態１における映像符号化装置の構成について図１を用いて説明する。
図１は、本発明の実施の形態１における映像符号化装置の概略構成を示すブロック図である。

図１に示すように、本実施の形態１における映像符号化装置１０は、複数のフレームで構成された時系列画像を符号化するための装置である。図１に示すように、映像符号化装置１０は、事前処理部１１と、映像符号化部１２とを備えている。

事前処理部１１は、複数のフレームそれぞれ毎に、フレームの複雑度に基づいて、フレームの第１の量子化パラメータを算出し、更に、フレームを２以上のブロックに分割し、ブロック毎に、第１の量子化パラメータを用いて、第２の量子化パラメータを算出する。

映像符号化部１２は、複数のフレームそれぞれについて、フレームを構成するブロック毎に、ブロックについて算出された第２の量子化パラメータを用いて量子化を行い、更に、ブロックが量子化されたフレームを符号化する。

このように、本実施の形態１では、フレーム毎にフレームの複雑度に基づいて算出された第１の量子化パラメータを用いて、フレームのブロック毎に第２の量子化パラメータを算出している。そして、第２の量子化パラメータを用いてブロック毎に量子化及び符号化をしている。即ち、本実施の形態１では、第２の量子化パラメータの算出処理において、従来のマルチパス符号化処理と異なり、統計情報又は解析情報等を用いる必要がなく、処理全体を簡略化できるので、基板の増加を抑制できる。更に、本実施の形態１では、ブロック毎に算出された第２の量子化パラメータを用いてフレームが符号化されるので、画質の低下も抑制される。このため、本実施の形態１によれば、放送される映像の高画質化を図りつつ、装置自体の小型化が可能となる。

また、本実施の形態１において、「複雑度」は、画像における画素の変化の複雑さを示すものであれば良い。複雑度の算出手法としては、例えば、フレームを構成する各画素を、その輝度が閾値以上であれば「１」、閾値未満であれば「０」として、２値化し、「０」から「１」、又は「１」から「０」へと変化する回数を求め、求めた回数を複雑度とする手法が挙げられる。

続いて、図１に加えて図２を用いて、本実施の形態１における映像符号化装置１０の構成をより具体的に説明をする。図２は、本発明の実施の形態１における映像符号化装置の事前処理部における処理を説明する図である。

本実施の形態１では、事前処理部１１は、まず、複数のフレームで構成される時系列画像を取得し、そのうちの１つのフレームを符号化処理の対象のフレーム（以下、対象フレーム２２と表記する）として設定する。そして、事前処理部１１は、対象フレーム２２の複雑度を算出し、算出した複雑度に基づいて、対象フレーム２２の第１の量子化パラメータＱＰｍを算出する。ここで、対象フレーム２２を複数のフレームのｍ番目のフレームとし、ｍ番目のフレームの複雑度をＸｍとし、映像の符号化レートをＹ[ｂｐｓ]とし、映像のフレームレートをＺ[ｆｐｓ]とし、ピクチャの種類ｘ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に応じた任意の係数をＡ_ｘ（Ａｉ、Ａｐ、Ａｂ）とする。この場合、事前処理部１１は、第１の量子化パラメータＱＰｍを、以下の数１を用いて算出する。

続いて、事前処理部１１は、図２に示すように、対象フレーム２２を、２以上のブロック２１に分割する。また、各ブロック２１のサイズは、特に限定されるものではない。例えば、本実施の形態１においては、ブロック２１のサイズは、１６×１６の画素数に設定されている。

次に、事前処理部１１は、図２に示すように、複数のフレームの中から、基準となるフレーム（以下、参照フレーム２３と表記する。）を選出する。ここで、選出される参照フレーム２３は、対象フレーム２２の直前のフレームであってもよいし、任意のフレームであってもよい。また、参照フレーム２３は、予め、選出されていてもよいものとする。なお、事前処理部１１は、参照フレーム２３についても、上述したように２以上のブロック２１に分割する。

次に、事前処理部１１は、図２に示すように、対象フレーム２２と参照フレーム２３とを比較して、対象フレーム２２のブロック毎に差分を算出する。具体的には、事前処理部１１は、対象フレーム２２の任意のブロック２１と、それに対応する参照フレーム２３のブロックとを特定する。そして、事前処理部１１は、特定した２つのブロックにおける対応する画素間の差分を求め、求めた各画素間の差分をブロック全体で積算して、特定した２つのブロック間の差分を算出する。事前処理部１１は、対象フレーム２２の全てのブロックについて、同様の処理を行って差分を算出する。

ここで、時間ｔにおける対象フレーム２２をＯｒｇ(ｔ)とし、時間ｔ＋１における参照フレーム２３をＯｒｇ(ｔ＋１)とし、ｙ番目のブロックをＭＢｙとし、ブロックを構成するｉ番目の画素値をＹｉとする。また、本実施の形態１では、ブロックのサイズが１６×１６の画素で構成されているため、画素数ｎは２５６となる。この場合、事前処理部１１は、対象フレーム２２のｙ番目のブロックと、これに対応する参照フレーム２３のｙ番目のブロックとの差分（以下、「ＭＢｙ差分」と表記する。）を、下記の数２を用いて算出することができる。

次に、事前処理部１１は、ブロック毎に、対象フレーム２２の第２の量子化パラメータＱＰ＿ＭＢｙを算出する。具体的には、事前処理部１１は、対象フレーム２２と参照フレーム２３とからブロック毎に算出したＭＢｙ差分と、対象フレーム２２の第１の量子化パラメータＱＰｍとを用いて、ブロック毎に、対象フレーム２２の第２の量子化パラメータＱＰ＿ＭＢｙを算出する。具体的には、事前処理部１１は、以下の数３～数７を用いて、第２の量子化パラメータＱＰ＿ＭＢｙを算出することができる。また、事前処理部１１は、算出した第２の量子化パラメータＱＰ＿ＭＢｙ及び対象フレーム２２を映像符号化部１２に出力する。

映像符号化部１２は、本実施の形態１においては、まず、対象フレーム２２において、ブロック毎に、ブロックを構成する画素の画素値を周波数成分に変換する。また、各画素値から周波数成分への変換は、既存の手法を用いて行うことができ、具体的には、ＤＣＴ（離散コサイン変換：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いることができる。

次に、映像符号化部１２は、対象フレーム２２において、各画素が周波数成分に変換されたブロック毎に、それを構成する各画素の値を第２の量子化パラメータを用いて量子化する。ここで、ＤＣＴにより周波数成分への変換が行われているとすると、各画素の量子化後の値は、対応する周波数成分の値（ＤＣＴ係数）と、量子化マトリックスの対応する要素と、第２の量子化パラメータとを用いて、例えば、下記の数８によって算出される。

なお、各画素の量子化は、数８以外にＩＳＯ/ＩＥＣ１３８１８－２（ＭＰＥＧ-２ 規格書）に規定されている逆量子化に基づいた量子化でもよい。また、本実施の形態１で用いられる量子化マトリックスは、例えば、ＩＳＯ/ＩＥＣ１３８１８－２（ＭＰＥＧ-２ 規格書）に基づいたものが挙げられる。

次に、映像符号化部１２は、各画素が量子化されたブロック毎に、ブロック内を走査しながらデータを読み出し、読み出したデータを圧縮することによって、対象フレーム全体を符号化する。

［装置動作］
次に、本発明の実施の形態１における映像符号化装置１０の動作について図３を用いて説明する。図３は、本発明の実施の形態１における映像符号化装置の動作を示すフロー図である。以下の説明においては、適宜図１及び図２を参照する。また、本実施の形態１では、映像符号化装置１０を動作させることによって、映像符号化方法が実施される。よって、本実施の形態１における映像符号化方法の説明は、以下の映像符号化装置１０の動作説明に代える。

図３に示すように、最初に、事前処理部１１は、複数のフレームで構成される時系列画像を取得する（ステップＡ１）。

次に、事前処理部１１は、ステップＡ１で取得した時系列画像を構成する１つフレームを取り出し、これを対象フレーム２２に設定する（ステップＡ２）。

次に、事前処理部１１は、ステップＡ２で設定した対象フレーム２２の複雑度を算出する（ステップＡ３）。具体的には、事前処理部１１は、フレームを構成する各画素を、その輝度が閾値以上であれば「１」、閾値未満であれば「０」として、２値化し、「１」と「０」との間で変化する回数を計測し、得られた値を複雑度とする。

次に、事前処理部１１は、ステップＡ３で算出した複雑度に基づいて、対象フレーム２２の第１の量子化パラメータＱＰｍを算出する（ステップＡ４）。具体的には、事前処理部１１は、上記の数１を用いて、第１の量子化パラメータＱＰｍを算出する。

次に、事前処理部１１は、対象フレーム２２を、２以上のブロック２１に分割する（ステップＡ５）。具体的には、事前処理部１１は、ブロックサイズが１６×１６となるように対象フレーム２２を分割する。

次に、事前処理部１１は、ステップＡ１で取得した時系列画像から、基準となるフレームとして、参照フレーム２３を選出する（ステップＡ６）。また、ステップＡ６では、事前処理部１１は、ステップＡ５と同様に、参照フレーム２３を、ブロックサイズが１６×１６となるように分割する。なお、参照フレームとして用いるべきフレームが予め設定されている場合は、ステップＡ６は省略される。

次に、事前処理部１１は、対象フレーム２２と参照フレーム２３とを比較して、対象フレーム２２のブロック毎に差分を算出する（ステップＡ７）。具体的には、事前処理部１１は、上記の数２を用いて、ブロック毎にＭＢｙ差分を算出する。

次に、事前処理部１１は、ブロック毎に、ＭＢｙ差分と第１の量子化パラメータＱＰｍとを用いて、対象フレーム２２の第２の量子化パラメータＱＰ＿ＭＢｙを算出する（ステップＡ８）。具体的には、事前処理部１１は、上記の数３～数７を用いて、ブロック毎に第２の量子化パラメータＱＰ＿ＭＢｙを算出する。

次に、映像符号化部１２は、対象フレーム２２において、ブロック毎に、それを構成する各画素の値を第２の量子化パラメータを用いて量子化する（ステップＡ９）。具体的には、映像符号化部１２は、ブロック毎に、上記の数８を用いて、ブロックを構成する各画素を量子化する。

次に、映像符号化部１２は、各ブロックが量子化された対象フレーム２２を符号化する（ステップＡ１０）。具体的には、映像符号化部１２は、各画素が量子化されたブロック毎に、ブロック内を走査しながらデータを読み出し、読み出したデータを圧縮することによって、対象フレーム全体を符号化する。

その後、事前処理部１１は、全てのフレームに対して処理が終了しているかどうかを判定する（ステップＡ１１）。ステップＡ１１の判定の結果、全てのフレームに対して処理が終了していない場合は、事前処理部１１は、再度ステップＡ２を実行する。一方、ステップＡ１１の判定の結果、全てのフレームに対して処理が終了している場合は、映像符号化装置１０における処理は終了する。

［実施の形態１における効果］
以上のように本実施の形態１によれば、従来のマルチパス符号化処理と異なり、統計情報又は解析情報等を用いる必要がなく、処理全体を簡略化できるので、基板の増加を抑制できる。また、ブロック毎に算出された第２の量子化パラメータを用いてフレームが符号化されるので、画質の低下も抑制される。更に、本実施の形態１では、映像符号化装置１０は、ブロック毎に柔軟にビットレートを割り振ることができるので、効率良く符号化を実行することができる。

［プログラム］
本発明の実施の形態１におけるプログラムは、コンピュータに、図３に示すステップＡ１～Ａ１１を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における映像符号化装置１０と映像符号化方法とを実現することができる。この場合、コンピュータのプロセッサは、事前処理部１１及び映像符号化部１２として機能し、処理を行なう。

また、本実施の形態１におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、事前処理部１１及び映像符号化部１２のいずれかとして機能しても良い。

（実施の形態２）
次に、本発明の実施形態２における、映像符号化装置、映像符号化方法、及びプログラムについて、図４及び図５を参照しながら説明する。

［装置構成］
最初に、本実施の形態２における映像符号化装置の構成について説明する。本実施の形態２における映像符号化装置は、図１に示した実施の形態１における映像符号化装置と同様の構成を有している。このため、以下の説明では、適宜図１を参照する。但し、本実施の形態２における映像符号化装置は、事前処理部１１の機能の点において、実施の形態１における映像符号化装置の機能とは異なる。以下に図４を用いて、実施の形態１との相違点を中心に説明する。

図４は、本発明の実施の形態２における映像符号化装置の事前処理部における処理を説明する図である。図４に示すように、事前処理部１１は、本実施の形態２では、最初に、対象フレーム２２のブロックそれぞれ毎に、ブロックを構成する各画素の画素値からブロックにおける分散値を算出する。

具体的には、事前処理部１１は、対象フレーム２２のブロックを構成する全画素値の平均値を算出する。そして、事前処理部１１は、ブロックを構成する画素毎に、各画素の画素値と、算出した全画素値の平均値との差分を求め、画素毎に求めた差分をブロック全体で積算する。更に、事前処理部１１は、ブロック全体の差分の積算値を、ブロック全体の画素数で除算して、ブロックの分散値Ｖ［ｙ］を算出する。事前処理部１１は、対象フレーム２２の全てのブロックについて、同様の処理を行ってブロック毎の分散値Ｖ［ＭＢｙ］を算出する。

ここで、ブロック２１を構成する各画素の画素値をｙｉとし、ブロック２１を構成する全画素の画素値の平均値をｕとする。また、実施形態１と同様に、本実施の形態２でも、ブロック２１のサイズが１６×１６の画素で構成されているとすると、画素数ｎは２５６となる。この場合、事前処理部１１は、ブロックの分散値Ｖ[ｙ]を、以下の数９を用いて算出することができる。

次に、事前処理部１１は、ブロック毎に算出した分散値と、対象フレーム２２の第１の量子化パラメータＱＰｍとを用いて、ブロック毎に、対象フレーム２２の第２の量子化パラメータＱＰ＿ＭＢｙを算出する。ここで、対象フレーム２２の各ブロックの分散値をＶ[ＭＢｙ]、対象フレーム２２の各ブロックの分散値に対する任意の係数をｆとすると、第２の量子化パラメータＱＰ＿ＭＢｙは、以下の数１０及び数１１を用いて算出することができる。また、事前処理部１１は、算出した第２の量子化パラメータＱＰ＿ＭＢｙ及び対象フレーム２２を映像符号化部１２に出力する。

その後、実施の形態１と同様に、映像符号化部１２は、対象フレーム２２を構成するブロック毎に、各ブロックについて算出された第２の量子化パラメータを用いて量子化を行い、更に、ブロックが量子化された対象フレーム２２を符号化する。

［装置動作］
次に、本発明の実施の形態２における映像符号化装置１０の動作について図５を用いて説明する。図５は、本発明の実施の形態２における映像符号化装置の動作を示すフロー図である。以下の説明においては、適宜図１及び図４を参照する。また、本実施の形態２では、映像符号化装置を動作させることによって、映像符号化方法が実施される。よって、本実施の形態２における映像符号化方法の説明は、以下の映像符号化装置の動作説明に代える。

図４に示すように、最初に、事前処理部１１は、複数のフレームで構成される時系列画像を取得する（ステップＢ１）。ステップＢ１は、図３に示したステップＡ１と同様のステップである。

次に、事前処理部１１は、ステップＢ１で取得した時系列画像を構成する１つフレームを取り出し、これを対象フレーム２２に設定する（ステップＢ２）。ステップＢ２は、図３に示したステップＡ２と同様のステップである。

次に、事前処理部１１は、ステップＢ２で設定した対象フレーム２２の複雑度を算出する（ステップＢ３）。ステップＢ３は、図３に示したステップＡ３と同様のステップである。

次に、事前処理部１１は、ステップＢ３で算出した複雑度に基づいて、対象フレーム２２の第１の量子化パラメータＱＰｍを算出する（ステップＢ４）。ステップＢ４は、図３に示したステップＡ４と同様のステップである。

次に、事前処理部１１は、対象フレーム２２を、２以上のブロック２１に分割する（ステップＢ５）。ステップＢ５は、図３に示したステップＡ５と同様のステップである。

次に、事前処理部１１は、対象フレーム２２のブロック毎に分散値Ｖ［ｙ］を算出する（ステップＢ６）。具体的には、事前処理部１１は、上記の数９を用いて、ブロック毎に分散値Ｖ［ｙ］を算出する。

次に、事前処理部１１は、ブロック毎に、分散値Ｖ［ｙ］と第１の量子化パラメータＱＰｍとを用いて、対象フレーム２２の第２の量子化パラメータＱＰ＿ＭＢｙを算出する（ステップＢ７）。具体的には、事前処理部１１は、上記の数１０及び数１１を用いて、ブロック毎に第２の量子化パラメータＱＰ＿ＭＢｙを算出する。

次に、映像符号化部１２は、対象フレーム２２において、ブロック毎に、ステップＢ７で算出した第２の量子化パラメータを用いて量子化する（ステップＢ８）。具体的には、映像符号化部１２は、ブロック毎に、上記の数８を用いて、ブロックを構成する各画素を
量子化する。

次に、映像符号化部１２は、各ブロックが量子化された対象フレーム２２を符号化する（ステップＢ９）。ステップＢ９は、図３に示したステップＡ１０と同様のステップである。

その後、事前処理部１１は、全てのフレームに対して処理が終了しているかどうかを判定する（ステップＢ１０）。ステップＢ１０の判定の結果、全てのフレームに対して処理が終了していない場合は、事前処理部１１は、再度ステップＢ２を実行する。一方、ステップＢ１０の判定の結果、全てのフレームに対して処理が終了している場合は、映像符号化装置における処理は終了する。

［実施の形態２における効果］
以上のように本実施の形態２による場合も、実施の形態１と同様に、処理全体を簡略化できるので、基板の増加を抑制できる。また、本実施の形態２では、映像符号化装置は、ブロック毎に分散値を求めている。従って、映像符号化装置は、分散値が小さいブロックに対しては、フレームがなだらかに変化している箇所と判定して、ビットレートを少なく割り振る。一方、映像符号化装置は、分散値が大きいブロックに対しては、フレームが急激に変化している箇所と判定して、ビットレートを多く割り振る。このため、本実施の形態２を用いた場合も、上述した実施の形態１と同様に、柔軟にビットレートを割り振ることができ、効率良く符号化を実行できる。

加えて、本実施の形態２では、ブロック毎に求められた分散値により、フレーム全体における変化の状態が特定されることになるため、実施の形態１に比べて、動きの多い映像に対して、より効率的に符号化を実行できる。

［プログラム］
本発明の実施の形態２におけるプログラムは、コンピュータに、図５に示すステップＢ１～Ｂ１０を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における映像符号化装置と映像符号化方法とを実現することができる。この場合、コンピュータのプロセッサは、事前処理部１１及び映像符号化部１２として機能し、処理を行なう。

また、本実施の形態２におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、事前処理部１１及び映像符号化部１２のいずれかとして機能しても良い。

（実施の形態３）
次に、本発明の実施形態３における、映像符号化装置、映像符号化方法、及びプログラムについて、図６及び図７を参照しながら説明する。

［装置構成］
最初に、本実施の形態３における映像符号化装置について説明する。本実施の形態３における映像符号化装置も、図１に示した実施の形態１における映像符号化装置と同様の構成を有している。このため、以下の説明では、適宜図１を参照する。但し、本実施の形態３における映像符号化装置は、事前処理部１１の機能の点において、実施の形態１における映像符号化装置の機能とは異なる。以下に図６を用いて、実施の形態１との相違点を中心に説明する。

図６は、本発明の実施の形態３における映像符号化装置の事前処理部における処理を説明する図である。図６に示すように、事前処理部１１は、本実施の形態３では、最初に、動き補償フレーム間予測により予測フレーム３０を生成する。具体的には、対象フレーム２２と参照フレーム２３とから動き補償フレーム間予測により予測フレーム３０を生成する。また、動き補償フレーム間予測は、既存の手法を用いて行うことができ、具体的には、勾配法又はブロックマッチング法等を用いることができる。

次に、事前処理部１１は、生成した予測フレーム３０と対象フレーム２２とを比較して、対象フレーム２２のブロック毎に差分を算出する。具体的には、事前処理部１１は、対象フレーム２２の任意のブロック２１と、それに対応する予測フレーム３０のブロックとを特定する。そして、事前処理部１１は、特定した２つのブロックにおいて対応する画素間の差分を求め、求めた各画素間の差分をブロック全体で積算して、特定した２つのブロック間の差分を算出する。事前処理部１１は、対象フレーム２２の全てのブロックについて、同様の処理を行って差分を算出する。

ここで、時間ｔにおける対象フレーム２２をＯｒｇ（ｔ）とし、時間ｔにおける予測フレーム３０をＰｒｅｄ（ｔ）とし、ｙ番目のブロックをＭＢｙとし、ブロックを構成するｉ番目の画素値をＹｉとする。また、本実施の形態３では、ブロックのサイズが１６×１６の画素で構成されているとすると、画素数ｎは２５６となる。この場合、事前処理部１１は、対象フレーム２２のｙ番目のブロックと、これに対応する予測フレーム３０のｙ番目のブロックとの差分（「Ｄｉｆｆ［ＭＢｙ］」と表記する）を、下記の数１２を用いて算出することができる。

次に、事前処理部１１は、対象フレーム２２と予測フレーム３０とからブロック毎に算出したＤｉｆｆ［ＭＢｙ］と、対象フレーム２２の第１の量子化パラメータＱＰｍとを用いて、ブロック毎に、対象フレーム２２の第２の量子化パラメータＱＰ＿ＭＢｙを算出する。具体的には、事前処理部１１は、以下の数１３～数１７を用いて、第２の量子化パラメータＱＰ＿ＭＢｙを算出することができる。また、事前処理部１１は、算出した第２の量子化パラメータＱＰ＿ＭＢｙ及び対象フレーム２２を映像符号化部１２に出力する。

その後、本実施の形態１と同様に、映像符号化部１２は、対象フレーム２２を構成するブロック毎に、各ブロックについて算出された第２の量子化パラメータを用いて量子化を行い、更に、ブロックが量子化された対象フレーム２２を符号化する。

［装置動作］
次に、本発明の実施の形態３における映像符号化装置１０の動作について図７を用いて説明する。図７は、本発明の実施の形態３における映像符号化装置の動作を示すフロー図である。以下の説明においては、適宜図１及び図６を参照する。また、本実施の形態３では、映像符号化装置を動作させることによって、映像符号化方法が実施される。よって、本実施の形態３における映像符号化方法の説明は、以下の映像符号化装置の動作説明に変える。

図７に示すように、最初に、事前処理部１１は、複数のフレームで構成される時系列画像を取得する（ステップＣ１）。ステップＣ１は、図３に示したステップＡ１と同様のステップである。

次に、事前処理部１１は、ステップＣ１で取得した時系列画像を編成する１つフレームを取り出し、これを対象フレーム２２に設定する（ステップＣ２）。ステップＣ２は、図３に示したステップＡ２と同様のステップである。

次に、事前処理部１１は、ステップＣ２で設定した対象フレーム２２の複雑度を算出する（ステップＣ３）。ステップＣ３は、図３に示したステップＡ３と同様のステップである。

次に、事前処理部１１は、ステップＣ３で算出した複雑度に基づいて、対象フレーム２２の第１の量子化パラメータＱＰｍを算出する（ステップＣ４）。ステップＣ４は、図３に示したステップＡ４と同様のステップである。

次に、事前処理部１１は、対象フレーム２２を、２以上のブロック２１に分割する（ステップＣ５）。ステップＣ５は、図３に示したステップＡ５と同様のステップである。

次に、事前処理部１１は、ステップＣ１で取得した時系列画像から、基準となるフレームとして、参照フレーム２３を選出する（ステップＣ６）。ステップＣ６は、図３に示したステップＡ６と同様のステップである。

次に、事前処理部１１は、対象フレーム２２と参照フレーム２３とから予測フレーム３０を生成する（ステップＣ７）。具体的には、事前処理部１１は、動き補償フレーム間予測により、対象フレーム２２と参照フレーム２３とから予測フレーム３０を生成する。

次に、事前処理部１１は、対象フレーム２２と予測フレーム３０とを比較して、対象フレーム２２のブロック毎に差分を算出する（ステップＣ９）。具体的には、事前処理部１１は、上記の数１２を用いて、ブロック毎にＤｉｆｆ［ＭＢｙ］を算出する。

次に、事前処理部１１は、ブロック毎に、Ｄｉｆｆ［ＭＢｙ］と第１の量子化パラメータＱＰｍとを用いて、対象フレーム２２の第２の量子化パラメータＱＰ＿ＭＢｙを算出する（ステップＣ８）。具体的には、事前処理部１１は、上記の数１３～数１７を用いて、
ブロック毎に第２の量子化パラメータＱＰ＿ＭＢｙを算出する。

次に、映像符号化部１２は、対象フレーム２２において、ブロック毎に、ステップＣ９で算出した第２の量子化パラメータを用いて量子化する（ステップＣ１０）。具体的には、映像符号化部１２は、ブロック毎に、上記の数８を用いて、ブロックを構成する各画素を量子化する。

次に、映像符号化部１２は、各ブロックが量子化された対象フレーム２２を符号化する（ステップＣ１１）。ステップＣ１１は、図３に示したステップＡ１０と同様のステップである。

その後、事前処理部１１は、全てのフレームに対して処理が終了しているかどうかを判定する（ステップＣ１２）。ステップＣ１２の判定の結果、全てのフレームに対して処理が終了していない場合は、事前処理部１１は、再度ステップＣ２を実行する。一方、ステップＣ１２の判定の結果、全てのフレームに対して処理が終了している場合は、映像符号化装置における処理は終了する。

［実施の形態３における効果］
以上のように本実施の形態３による場合も、実施の形態１と同様に、処理全体を簡略化できるので、基板の増加を抑制できる。また、実施の形態３では、映像符号化装置は、動き補償フレーム間予測により生成した予測フレームを用いて、ブロック毎に、第２の量子化パラメータを求めている。このため、本実施の形態３を用いた場合も、上述した実施の形態１と同様に、柔軟にビットレートを割り振ることができ、効率良く符号化を実行できる。

加えて、本実施の形態３では、予測フレームによって、フレーム間での類似性が低いフレームが特定されることになるため、実施の形態１に比べて、動きの多い映像に対して、より効率的に符号化を実行できる。

［プログラム］
本発明の実施の形態３におけるプログラムは、コンピュータに図７に示すステップＣ１～Ｃ１２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の発明における映像符号化装置と映像符号化方法とを実現するこができる。この場合、コンピュータのプロセッサは、事前処理部１１及び映像符号化部１２として機能し、処理を行う。

また、本実施の形態３におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、事前処理部１１及び映像符号化部１２のいずれかとして機能しても良い。

（実施の形態４）
次に、本発明の実施形態４における、映像符号化装置、映像符号化方法、及びプログラムについて図８を参照しながら説明する。

［装置構成］
最初に本実施の形態４における、映像符号化装置について説明する。本実施の形態４における符号化装置も、図１に示した実施の形態１における映像符号化装置と同様の構成を有している。このため、以下の説明では、適宜図１を参照する。但し、本実施の形態４における映像符号化装置は、実施の形態１、実施の形態２、及び実施の形態３における映像符号化装置の事前処理部１１の機能を全て持っている。以下に図２、図４、及び図６を用
いて、具体的に説明する。

本実施の形態４においては、事前処理部１１は、まず、複数のフレームの中から基準となる参照フレームを選出し、対象フレームと参照フレームとを比較して、対象フレームのブロック毎に第１の差分を算出する。次いで、事前処理部１１は、対象フレームのブロック毎に、各ブロックを構成する各画素の画素値から各ブロックにおける分散値を算出する。加えて、事前処理部１１は、動き補償フレーム間予測により予測フレームを生成し、対象フレームと予測フレームとを比較して、対象フレームのブロック毎に第２の差分を算出する。そして、事前処理部１１は、第１の差分、分散値、第２の差分、及び第１の量子化パラメータを用いて、対象フレームのブロック毎に、第２の量子化パラメータを算出する。

具体的には、事前処理部１１は、まず、上述の実施の形態１で示した図１を用いて、第１の量子化パラメータＱＰｍを算出する。次いで、事前処理部１１は、上述の実施形態１で示した数２を用いて、第１の差分として、ＭＢｙ差分を算出する。また、事前処理部１１は、上述の実施形態２で示した数９を用いて、分散値Ｖ[ＭＢｙ]を算出する。更に、事前処理部１１は、上述の実施形態３で示した数１２を用いて、第２の差分として、差分Ｄｉｆｆ［ＭＢｙ］を算出する。

続いて、事前処理部１１は、下記の数１８～図２３に、ＭＢｙ差分、分散値Ｖ[ＭＢｙ]、差分Ｄｉｆｆ［ＭＢｙ］、及び第１の量子化パラメータＱＰｍを適用して、対象フレーム２２のブロック毎に、第２の量子化パラメータＱＰ＿ＭＢｙを算出する。なお、数１８において、αは、任意の係数（０≦α≦１）を示している。また、数１８において、ｃｒｉｔは、上述の実施の形態２で用いた数１０から算出される。そして、事前処理部１１は、算出した第２の量子化パラメータＱＰ＿ＭＢｙ及び対象フレーム２２を映像符号化部１２に出力する。

その後、本実施の形態１と同様に、映像符号化部１２は、各フレームを構成するブロック毎に、各ブロックについて算出された第２の量子化パラメータを用いて量子化を行い、更に、ブロックが量子化された各フレームを符号化する。

［装置動作］
次に、本発明の実施の形態４における映像符号化装置１０の動作について図８を用いて説明する。図８は、本発明の実施の形態４における映像符号化装置の動作を示すフロー図である。以下の説明においては、適宜図１、図２、図４、及び図６を参照する。また、本実施の形態４では、映像符号化装置を動作させることによって、映像符号化方法が実施される。よって、本実施の形態４における映像符号化方法の説明は、以下の映像符号化装置の動作説明に変える。

図８に示すように、最初に、事前処理部１１は、複数のフレームで構成される時系列画像を取得する（ステップＤ１）。ステップＤ１は、図８に示したステップＡ１と同様のステップである。

次に、事前処理部１１は、ステップＤ１で取得した時系列画像を編成する１つフレームを取り出し、これを対象フレーム２２に設定する（ステップＤ２）。ステップＤ２は、図３に示したステップＡ２と同様のステップである。

次に、事前処理部１１は、ステップＤ２で設定した対象フレーム２２の複雑度を算出する（ステップＤ３）。ステップＤ３は、図３に示したステップＡ３と同様のステップである。

次に、事前処理部１１は、ステップＤ３で算出した複雑度に基づいて、対象フレーム２２の第１の量子化パラメータＱＰｍを算出する（ステップＤ４）。ステップＤ４は、図３に示したステップＡ４と同様のステップである。

次に、事前処理部１１は、対象フレーム２２を、２以上のブロック２１に分割する（ステップＤ５）。ステップＤ５は、図３に示したステップＡ５と同様のステップである。

次に、事前処理部１１は、ステップＤ１で取得した時系列画像から、基準となるフレームとして、参照フレーム２３を選出する（ステップＤ６）。ステップＤ６は、図３に示したステップＡ６と同様のステップである。

次に、事前処理部１１は、対象フレーム２２と参照フレーム２３とを比較して、対象フレーム２２のブロック毎に第１の差分を算出する（ステップＤ７）。ステップＤ７は、図３に示したステップＡ７と同様のステップである。

次に、事前処理部１１は、対象フレーム２２のブロック毎に分散値を算出する（ステップＤ８）。ステップＤ８は、図３に示したステップＢ６と同様のステップである。

次に、事前処理部１１は、対象フレーム２２と参照フレーム２３とから予測フレーム３０を生成する（ステップＤ９）。ステップＤ９は、図３に示したステップＣ７と同様のステップである。

次に、事前処理部１１は、対象フレーム２２と予測フレーム３０とを比較して、対象フレーム２２のブロック毎に第２の差分を算出する（ステップＤ１０）。ステップＤ１０は、図７に示したステップＣ８と同様のステップである。

次に、事前処理部１１は、対象フレームのブロック毎に、第１の差分、分散値、第２の差分、及び第１の量子化パラメータを用いて、対象フレームのブロック毎に、第２の量子化パラメータを算出する。具体的には、事前処理部１１は、上記の数１８～数２３を用いて、ブロック毎に第２の量子化パラメータＱＰ＿ＭＢｙを算出する。

次に、映像符号化部１２は、対象フレーム２２において、ブロック毎に、ステップＤ１１で算出した第２の量子化パラメータを用いて量子化する（ステップＤ１２）。具体的には、映像符号化部１２は、ブロック毎に、上記の数８を用いて、ブロックを構成する各画素を量子化する。

次に、映像符号化部１２は、各ブロックが量子化された対象フレーム２２を符号化する（ステップＤ１３）。ステップＤ１３は、図３に示したステップＡ１０と同様のステップである。

その後、事前処理部１１は、全てのフレームに対して処理が終了しているかどうかを判定する（ステップＤ１４）。ステップＤ１４の判定の結果、全てのフレームに対して処理が終了していない場合は、事前処理部１１は、再度ステップＤ２を実行する。一方、ステップＤ１４の判定の結果、全てのフレームに対して処理が終了している場合は、映像符号化装置における処理は終了する。

［実施の形態４における効果］
以上のように本実施の形態４では、映像符号化装置では、事前処理部１１は、実施の形態１～３それぞれで用いられた事前処理部の機能を併せ持っている。このため、本実施の形態４によれば、実施の形態１～３で述べた効果を得ることができる。

［プログラム］
本発明の実施の形態４におけるプログラムは、コンピュータに図８に示すステップＤ１～Ｄ１４を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の発明における映像符号化装置と映像符号化方法とを実現するこができる。この場合、コンピュータのプロセッサは、事前処理部１１及び映像符号化部１２として機能し、処理を行う。

また、本実施の形態４におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、事前処理部１１及び映像符号化部１２のいずれかとして機能しても良い。

（物理構成）
ここで、実施の形態１～４におけるプログラムを実行することによって、映像符号化装置を実現するコンピュータについて図９を用いて説明する。図９は、本発明の実施の形態１～４における映像符号化装置を実現するコンピュータの一例を示すブロック図である。

図９に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コ
ンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。

なお、本実施の形態における映像符号化装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、映像符号化装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１５）によって表現することができるが、以下の記載に限定されるものではない。

（付記１）
複数のフレームで構成された時系列画像を符号化する装置であって、
前記複数のフレームそれぞれ毎に、当該フレームの複雑度に基づいて、当該フレームの第１の量子化パラメータを算出し、更に、当該フレームを２以上のブロックに分割し、前記ブロック毎に、前記第１の量子化パラメータを用いて、第２の量子化パラメータを算出する、事前処理部と、
前記複数のフレームそれぞれについて、当該フレームを構成する前記ブロック毎に、当該ブロックについて算出された前記第２の量子化パラメータを用いて量子化を行い、更に、前記ブロックが量子化された当該フレームを符号化する、映像符号化部と、
を備えている、ことを特徴とする映像符号化装置。

（付記２）
前記事前処理部が、前記複数のフレームの中から基準となる参照フレームを選出し、当該フレームと前記参照フレームとを比較して、当該フレームの前記ブロック毎に差分を算出し、算出した差分と前記第１の量子化パラメータとを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記１に記載の映像符号化装置。

（付記３）
前記事前処理部が、当該フレームの前記ブロックそれぞれ毎に、当該ブロックを構成する各画素の画素値から当該ブロックにおける分散値を算出し、算出した前記分散値と前記第１の量子化パラメータとを用いて、当該フレームの前記ブロック毎に、前記第２の量子
化パラメータを算出する、
付記１に記載の映像符号化装置。

（付記４）
前記事前処理部が、動き補償フレーム間予測により予測フレームを生成し、当該フレームと前記予測フレームとを比較して、当該フレームの前記ブロック毎に差分を算出し、算出した差分と前記第１の量子化パラメータとを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記１に記載の映像符号化装置。

（付記５）
前記事前処理部が、前記複数のフレームの中から基準となる参照フレームを選出し、当該フレームと前記参照フレームとを比較して、当該フレームの前記ブロック毎に第１の差分を算出し、
更に、当該フレームの前記ブロックそれぞれ毎に、当該ブロックを構成する各画素の画素値から当該ブロックにおける分散値を算出し、
加えて、動き補償フレーム間予測により予測フレームを生成し、当該フレームと前記予測フレームとを比較して、当該フレームの前記ブロック毎に第２の差分を算出し、
そして、前記第１の差分、前記分散値、前記第２の差分、及び前記第１の量子化パラメータを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記１に記載の映像符号化装置。

（付記６）
複数のフレームで構成された時系列画像を符号化する方法であって、
（ａ）前記複数のフレームそれぞれ毎に、当該フレームの複雑度に基づいて、当該フレームの第１の量子化パラメータを算出し、更に、当該フレームを２以上のブロックに分割し、前記ブロック毎に、前記第１の量子化パラメータを用いて、第２の量子化パラメータを算出する、ステップと、
（ｂ）前記複数のフレームそれぞれについて、当該フレームを構成する前記ブロック毎に、当該ブロックについて算出された前記第２の量子化パラメータを用いて量子化を行い、更に、前記ブロックが量子化された当該フレームを符号化する、ステップと、
を有する、ことを特徴とする映像符号化方法。

（付記７）
前記（ａ）のステップにおいて、
前記複数のフレームの中から基準となる参照フレームを選出し、当該フレームと前記参照フレームとを比較して、当該フレームの前記ブロック毎に差分を算出し、算出した差分と前記第１の量子化パラメータとを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記６に記載の映像符号化方法。

（付記８）
前記（ａ）のステップにおいて、
当該フレームの前記ブロックそれぞれ毎に、当該ブロックを構成する各画素の画素値から当該ブロックにおける分散値を算出し、算出した前記分散値と前記第１の量子化パラメータとを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記６に記載の映像符号化方法。

（付記９）
前記（ａ）のステップにおいて、
動き補償フレーム間予測により予測フレームを生成し、当該フレームと前記予測フレームとを比較して、当該フレームの前記ブロック毎に差分を算出し、算出した差分と前記第１の量子化パラメータとを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記６に記載の映像符号化方法。

（付記１０）
前記（ａ）のステップにおいて、
前記複数のフレームの中から基準となる参照フレームを選出し、当該フレームと前記参照フレームとを比較して、当該フレームの前記ブロック毎に第１の差分を算出し、
更に、当該フレームの前記ブロックそれぞれ毎に、当該ブロックを構成する各画素の画素値から当該ブロックにおける分散値を算出し、
加えて、動き補償フレーム間予測により予測フレームを生成し、当該フレームと前記予測フレームとを比較して、当該フレームの前記ブロック毎に第２の差分を算出し、
そして、前記第１の差分、前記分散値、前記第２の差分、及び前記第１の量子化パラメータを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記６に記載の映像符号化方法。

（付記１１）
コンピュータによって、複数のフレームで構成された時系列画像を符号化するためのプログラムであって、
前記コンピュータに、
（ａ）前記複数のフレームそれぞれ毎に、当該フレームの複雑度に基づいて、当該フレームの第１の量子化パラメータを算出し、更に、当該フレームを２以上のブロックに分割し、前記ブロック毎に、前記第１の量子化パラメータを用いて、第２の量子化パラメータを算出する、ステップと、
（ｂ）前記複数のフレームそれぞれについて、当該フレームを構成する前記ブロック毎に、当該ブロックについて算出された前記第２の量子化パラメータを用いて量子化を行い、更に、前記ブロックが量子化された当該フレームを符号化する、ステップと、
を実行させるプログラム。

（付記１２）
前記（ａ）のステップにおいて、
前記複数のフレームの中から基準となる参照フレームを選出し、当該フレームと前記参照フレームとを比較して、当該フレームの前記ブロック毎に差分を算出し、算出した差分と前記第１の量子化パラメータとを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記１１に記載のプログラム。

（付記１３）
前記（ａ）のステップにおいて、
当該フレームの前記ブロックそれぞれ毎に、当該ブロックを構成する各画素の画素値から当該ブロックにおける分散値を算出し、算出した前記分散値と前記第１の量子化パラメータとを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記１１に記載のプログラム。

（付記１４）
前記（ａ）のステップにおいて、
動き補償フレーム間予測により予測フレームを生成し、当該フレームと前記予測フレームとを比較して、当該フレームの前記ブロック毎に差分を算出し、算出した差分と前記第１の量子化パラメータとを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記１１に記載のプログラム。

（付記１５）
前記（ａ）のステップにおいて、
前記複数のフレームの中から基準となる参照フレームを選出し、当該フレームと前記参照フレームとを比較して、当該フレームの前記ブロック毎に第１の差分を算出し、
更に、当該フレームの前記ブロックそれぞれ毎に、当該ブロックを構成する各画素の画素値から当該ブロックにおける分散値を算出し、
加えて、動き補償フレーム間予測により予測フレームを生成し、当該フレームと前記予測フレームとを比較して、当該フレームの前記ブロック毎に第２の差分を算出し、
そして、前記第１の差分、前記分散値、前記第２の差分、及び前記第１の量子化パラメータを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
付記１１に記載のプログラム。

以上のように本発明によれば、放送される映像の高画質化及び、装置自体の小型化を実現することができる。本発明は、放送業界に有用である。

１０ 映像符号化装置
１１ 事前処理部
１２ 映像符号化部
２１ ブロック
２２ 対象フレーム
２３ 参照フレーム
３０ 予測フレーム
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (3)

1. 複数のフレームで構成された時系列画像を符号化する装置であって、
   前記複数のフレームそれぞれ毎に、当該フレームの複雑度に基づいて、当該フレームの第１の量子化パラメータを算出し、更に、当該フレームを２以上のブロックに分割し、前記ブロック毎に、前記第１の量子化パラメータを用いて、第２の量子化パラメータを算出する、事前処理部と、
   前記複数のフレームそれぞれについて、当該フレームを構成する前記ブロック毎に、当該ブロックについて算出された前記第２の量子化パラメータを用いて量子化を行い、更に、前記ブロックが量子化された当該フレームを符号化する、映像符号化部と、
   を備え、
   前記事前処理部が、前記複数のフレームの中から基準となる参照フレームを選出し、当該フレームと前記参照フレームとを比較して、当該フレームの前記ブロック毎に第１の差分を算出し、
   更に、当該フレームの前記ブロックそれぞれ毎に、当該ブロックを構成する各画素の画素値から当該ブロックにおける分散値を算出し、
   加えて、当該フレームと前記参照フレームとから、動き補償フレーム間予測により予測フレームを生成し、当該フレームと前記予測フレームとを比較して、当該フレームの前記ブロック毎に第２の差分を算出し、
   そして、前記第１の差分、前記分散値、前記第２の差分、及び前記第１の量子化パラメータを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
   ことを特徴とする映像符号化装置。
2. 複数のフレームで構成された時系列画像を符号化する方法であって、
   （ａ）前記複数のフレームそれぞれ毎に、当該フレームの複雑度に基づいて、当該フレームの第１の量子化パラメータを算出し、更に、当該フレームを２以上のブロックに分割し、前記ブロック毎に、前記第１の量子化パラメータを用いて、第２の量子化パラメータを算出する、ステップと、
   （ｂ）前記複数のフレームそれぞれについて、当該フレームを構成する前記ブロック毎に、当該ブロックについて算出された前記第２の量子化パラメータを用いて量子化を行い、更に、前記ブロックが量子化された当該フレームを符号化する、ステップと、
   を有し、
   前記（ａ）のステップにおいて、
   前記複数のフレームの中から基準となる参照フレームを選出し、当該フレームと前記参照フレームとを比較して、当該フレームの前記ブロック毎に第１の差分を算出し、
   更に、当該フレームの前記ブロックそれぞれ毎に、当該ブロックを構成する各画素の画素値から当該ブロックにおける分散値を算出し、
   加えて、当該フレームと前記参照フレームとから、動き補償フレーム間予測により予測フレームを生成し、当該フレームと前記予測フレームとを比較して、当該フレームの前記ブロック毎に第２の差分を算出し、
   そして、前記第１の差分、前記分散値、前記第２の差分、及び前記第１の量子化パラメータを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
   ことを特徴とする映像符号化方法。
3. コンピュータによって、複数のフレームで構成された時系列画像を符号化するためのプログラムであって、
   前記コンピュータに、
   （ａ）前記複数のフレームそれぞれ毎に、当該フレームの複雑度に基づいて、当該フレームの第１の量子化パラメータを算出し、更に、当該フレームを２以上のブロックに分割し、前記ブロック毎に、前記第１の量子化パラメータを用いて、第２の量子化パラメータを算出する、ステップと、
   （ｂ）前記複数のフレームそれぞれについて、当該フレームを構成する前記ブロック毎に、当該ブロックについて算出された前記第２の量子化パラメータを用いて量子化を行い、更に、前記ブロックが量子化された当該フレームを符号化する、ステップと、
   を実行させ、
   前記（ａ）のステップにおいて、
   前記複数のフレームの中から基準となる参照フレームを選出し、当該フレームと前記参照フレームとを比較して、当該フレームの前記ブロック毎に第１の差分を算出し、
   更に、当該フレームの前記ブロックそれぞれ毎に、当該ブロックを構成する各画素の画素値から当該ブロックにおける分散値を算出し、
   加えて、当該フレームと前記参照フレームとから、動き補償フレーム間予測により予測フレームを生成し、当該フレームと前記予測フレームとを比較して、当該フレームの前記ブロック毎に第２の差分を算出し、
   そして、前記第１の差分、前記分散値、前記第２の差分、及び前記第１の量子化パラメータを用いて、当該フレームの前記ブロック毎に、前記第２の量子化パラメータを算出する、
   プログラム。
   
   

Images