JP7343817B2 - 符号化装置、符号化方法、及び符号化プログラム - Google Patents

Description

本発明は、符号化装置、符号化方法、及び符号化プログラムに関する。

現在、ビデオカメラやＤＶＤ（Digital Versatile Disk）レコーダなど、画像の圧縮符号化技術を用いた製品が広く流通している。また、画像の圧縮符号化に関する分野では、圧縮符号化の効率化や画質などを更に向上させるべく、次世代の圧縮符号化技術について活発な議論が行われている。

圧縮符号化技術については、例えば、ＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）による標準規格として、Ｈ．２６５｜ＭＰＥＧ－Ｈ ＨＥＶＣ（High Efficiency Video Coding）（以下、「ＨＥＶＣ」と称する場合がある。）がある。

ＨＥＶＣでは、４Ｋ（＝３８４０×２１６０画素）画像や、８Ｋ（＝７６８０×４３２０画素）画像に対する符号化方式などを規定している。ＨＥＶＣ規格に関して、日本では、ＡＲＩＢ（Association of Radio Industries and Businesses：電波産業会）において、ＡＲＩＢ ＳＴＤ－Ｂ３２として規定されている。

ＨＥＶＣでは、例えば、Ｂ（Bidirectionally Predictive Picture）ピクチャを参照ピクチャとして用い、階層的な構造で、時間軸方向（又は時間方向、或いは時間スケーラビリティ）において符号化を行うことが可能である。

図１２は、ＡＲＩＢ ＳＴＤ－Ｂ３２で規定される時間方向階層符号化のＳＯＰ（Structure Of Pictures）の例を表す図である。図１２に示す例は、１２０Ｈｚ／ｐ（Progressive）（以下、「１２０ｐ」と称する場合がある。）の例である。なお、ＳＯＰは、例えば、ＨＥＶＣに導入されている時間方向階層符号化を行う場合に、各ＡＵ（Access Unit
）の符号化順及び参照関係を記述する単位となる。図１２の場合、１６枚のピクチャで１つのＳＯＰとなる。

図１２では、縦軸はＴＩＤ（Temporary Identification）、横軸は表示順序を表す。また、「Ｉ」はＩ（Intra）ピクチャ、「Ｐ」はＰ（Predictive）ピクチャ、「Ｂ」はＢピ
クチャをそれぞれ表す。さらに、Ｂピクチャに示す添え字は、符号化（または復号）の順番を表す。例えば、「Ｂ１」は、１番目（「Ｂ０」を１番目とすると２番目）に符号化するＢピクチャを表す。

図１２に示すように、例えば、「Ｂ３」ピクチャには、２つの矢印が示され、その先が、「Ｉ」（又は「Ｐ」、或いは「Ｂ０」）ピクチャと、「Ｂ２」ピクチャとなっている。この矢印は、「Ｂ３」ピクチャは、「Ｉ」（又は「Ｐ」、或いは「Ｂ０」）ピクチャ又は「Ｂ２」ピクチャのいずれかのピクチャを参照して符号化される、ことを表している。同様に、「Ｂ５」ピクチャは、「Ｂ４」ピクチャ又は「Ｂ２」ピクチャのいずれかを参照して符号化される。

図１２において、復号装置は、１６枚のピクチャのうち、点線で囲まれた、ＴＩＤ＝０～３までのピクチャを復号することで、１秒間で６０枚のフレームをプログレッシブ方式（６０Ｈｚ／Ｐ）（以下、「６０ｐ」と称する場合がある。）で再生できる。また、図１２において、復号装置は、一点鎖線で囲まれた、ＴＩＤ＝０～３，６のピクチャを全て復
号することで、１秒間で１２０枚のフレームをプログレッシブ方式（１２０ｐ）で再生できる。符号化装置では、１６枚のピクチャを全て１つの１２０ｐビットストリームで多重化装置へ送信する。多重化装置では、１２０ｐビットストリームを、ＡＲＩＢ規格に準拠した６０ｐサブストリームと、残りの１２０ｐサブストリームとに分離して伝送する。１２０ｐビットストリームを復号装置へ送信することで、復号装置では、１２０ｐの再生画像を得ることもできるし、６０ｐの再生画像を得ることができる。

このように、時間方向階層符号化は、１つの符号化器で、１２０ｐと６０ｐの２つのフレームレートの映像データを送信できるなどの利点がある。

他方、符号化装置では、レート制御が行われる場合がある。符号化装置では、レート制御により、例えば、通信路の帯域やメモリへの書き込みなどにより制約を受ける場合であっても、ビットストリームを一定のビットレートで送信することが可能となる。

レート制御の例としては、ＭＥＰＧ－２ ＴＭ（Test Model）５（以下、「ＴＭ５」と称する場合がある。）がある。ＴＭ５は、例えば、フィードバック制御でレート制御を行う方式の１つである。ＴＭ５では、ステップ１で、グローバル複雑度（global complexity measure：ＧＣＭ）（以下、「符号化複雑度」又は「ＧＣＭ」と称する場合がある。）
が算出され、符号化複雑度に基づいて、各ピクチャの目標情報量が算出される。そして、ステップ２，３で、目標情報量に基づいて、ＧＯＰ内の残りのピクチャに対する量子化パラメータなどが決定され、符号化が行われる。ＧＣＭは、以下の式で算出される。

式（１）から式（３）において、Ｘ_ｉ，Ｘ_ｐ，Ｘ_ｂは、Ｉピクチャ、Ｐピクチャ、ＢピクチャのＧＣＭをそれぞれ示す。また、Ｓ_ｉ，Ｓ_ｐ，Ｓ_ｂは、符号化の際に生成された、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのビット量（以下、「発生情報量」と称する場合がある。）をそれぞれ表す。さらに、Ｑ_ｉ，Ｑ_ｐ，Ｑ_ｂは、実際の量子化値を平均することで計算されたＩピクチャ、Ｐピクチャ、Ｂピクチャの平均量子化パラメータをそれぞれ表す。

圧縮符号化に関する技術としては、例えば、以下がある。すなわち、第１の符号化により得られる統計データからタイムスロット毎の符号化困難度を算出し、符号化困難度を用いて最適符号量配分を行い、最適符号量配分結果に応じて動画像シーケンスに対する第２の符号化を行う可変レート動画像符号化方法がある。

この技術によれば、第１の符号化後に動画像シーケンスに時間方向の編集操作が加えられても、第１の符号化を再度行うことなく高能率な第２の符号化を行い、総符号化回数を削減することができる、とされる。

また、動き補償フィルタリングの動作の間、動き補償の使用のために選択される分解能と使用される補間フィルタの複雑度が、空間及び時間分解能と、ビットレート、時間分解レベル、又はこれらの組み合わせに依存するようにした符号化方法がある。

この技術によれば、画像の分解能が動き補償に使用される補間フィルタのサイズに比べて小さくなる場合の画質低下を防止することができる、とされる。

さらに、複数の参照フレームから参照マクロブロックを切り出し、参照フレームと符号化フレームとのフレーム間距離に応じた線形外挿あるいは線形内挿によって予測マクロブロック画像を生成する動画像符号化方法がある。

この技術によれば、従来のＭＰＥＧなどの動画像符号化方法が不得意としていたフェード画像について、符号化データのオーバヘッドの増加が少なく、かつ予測効率を大幅に向上することができる、とされる。

ARIB STD-B32 3.9版（平成２８年１２月９日改定） Test Model 5, http://www.mpeg.org/MPEG/MSSG/tm5/

特開２０００－２２８７７０号公報 特表２００７－５３５８３４号公報 特開２００７－６０６９５号公報

各ピクチャのＧＣＭについて、式（１）から（３）に着目すると、ＧＣＭは発生情報量に比例する。

図１３は、ＡＲＩＢで規定された時間方向階層符号化のＳＯＰ構造において、各ピクチャの参照先ピクチャに対する時間方向の距離を示す図である。例えば、「Ｂ２」ピクチャは、ＳＯＰで１つ前のＩ（又はＰ、或いは「Ｂ０」）ピクチャを参照する際は、その距離は「８」となり、同一ＳＯＰ内でＩピクチャ、Ｐピクチャ、「Ｂ０」ピクチャを参照する際は、その距離は「８」となる。

図１３において、例えば、ＴＩＤ＝２に着目すると、「Ｂ４」ピクチャは参照先ピクチャまでの時間方向の距離は、Ｉ（又はＰ、或いは「Ｂ０」）ピクチャを参照ピクチャとしても、「Ｂ２」ピクチャを参照ピクチャとしても、いずれも「４」となる。「Ｂ１０」ピクチャも参照ピクチャまでの時間方向の距離は「４」となっている。すなわち、ＴＩＤ＝２に属する２つのＢピクチャ「Ｂ４」と「Ｂ１０」は、いずれも参照先ピクチャまでの距離は「４」で同じ距離となっている。

また、例えば、ＴＩＤ＝３に着目すると、４つのピクチャ（「Ｂ６」，「Ｂ８」，「Ｂ１２」，「Ｂ１４」）はいずれも参照先ピクチャまでの時間方向の距離は「２」となっている。

すなわち、図１３において、ＴＩＤ＝０～３についての各ピクチャは、参照先ピクチャまでの時間方向の距離は各ＴＩＤで同一となっている。

ＴＩＤ＝０～３の各ＴＩＤにおいて、参照先ピクチャまでの距離が同一、ということは、各ピクチャの符号化の際に、発生情報量は一定の範囲内に収まることになる、と言える。例えば、ＴＩＤ＝３の各ピクチャについて、その距離がすべて「２」のため、参照ピクチャに基づいて、符号化しても、符号化によって発生する発生情報量は、各ピクチャで一定の範囲内に収まることになる。

しかし、ＴＩＤ＝６の各ピクチャは、参照先ピクチャによって、参照先ピクチャまでの時間方向の距離が異なる場合がある。例えば、「Ｂ１」ピクチャは、時間方向の距離は「１」又は「１５」、「Ｂ３」ピクチャは「３」又は「５」となる。

この場合、例えば、「Ｂ１」ピクチャが「１５」ピクチャ後方のＩ（又はＰ、或いは「Ｂ０」）ピクチャを参照すると、参照先ピクチャまでの時間方向の距離が、「Ｂ３」ピクチャの時間方向の距離「３」又は「５」と比較して、遠いピクチャとなっている。そのため、この場合、「Ｂ１」ピクチャの発生情報量は、「Ｂ３」ピクチャの発生情報量よりも、多くなる場合がある。ＴＩＤ＝６の他のピクチャについても、参照先ピクチャによっては、ＴＩＤ＝６のそれ以外のピクチャと比較して、発生情報量が大きく異なる場合がある。

式（１）から式（３）に示すように、ＧＣＭは発生情報量に比例する。そのため、ＴＩＤ＝０～３の各ピクチャは発生情報量が一定の範囲内となるため、ＧＣＭも一定の範囲内となり得る。しかし、ＴＩＤ＝６の各ピクチャは発生情報量が一定の範囲内とならない場合もあり、ＧＣＭも一定の範囲内とならない場合がある。

ＴＭ５のレート制御では、例えば、ＧＣＭを計算し、目標情報量を計算した後、実際の符号化を行う。上述したように、ＴＩＤ＝６の各ピクチャは、その発生情報量が大きく変動する場合があり、この場合、目標情報量を超えた情報量が発生する場合がある。このような場合、レート制御が適切に働かないで、通信路における帯域制限などにより、画質劣化が生じる場合がある。

そこで、１つの側面では、符号化複雑度の推定精度を向上させるようにした符号化装置、符号化方法、及び符号化プログラムを提供することにある。

また、１つの側面では、画質劣化を抑制するようにした符号化装置、符号化方法、及び符号化プログラムを提供することにある。

１つの態様では、入力映像データを第１のフレームレートで時間方向階層符号化を行う符号化装置において、前記入力映像データを、前記第１のフレームレートよりも低い第２のフレームレートの映像データへ変換する映像変換部と、前記第２のフレームレートの映像データに対して時間方向階層符号化を行い、前記第２のフレームレートで時間方向階層符号化された第２の階層に属するピクチャの第２の符号化複雑度を出力する第２の映像符号化部と、前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う場合に第１の階層に属する符号化対象ピクチャの参照先である前記第２の階層に属する参照ピクチャの前記第２の符号化複雑度に基づいて推定される前記符号化対象ピクチャの第１の符号化複雑度を、前記符号化対象ピクチャと前記参照ピクチャとの時間方向における距離に基づいて補正する第１の符号化複雑度算出部と、前記補正した第１の符号化複雑度に基づいて、前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う第１の映像符号化部とを備える。

１つの側面では、符号化複雑度の推定精度を向上させることができる。また、１つの側面では、画質劣化を抑制することができる。

図１は符号化装置の構成例を表す図である。 図２は符号化装置の構成例を表す図である。 図３はＳＯＰの構造例を表す図である。 図４は、ＴＩＤ＝６の各ピクチャにおける時間方向の距離の例を表す図である。 図５（Ａ）と図５（Ｂ）は、補正係数の設定例を表す図である。 図６は符号化装置の構成例を表す図である。 図７は、４Ｋ６０ｐの場合の各ピクチャの符号化順を表す図である。 図８は、ＧＣＭを算出する際の参照先ピクチャの例を表す図である。 図９は動作例を表すフローチャートである。 図１０は符号化装置のハードウェア構成例を表す図である。 図１１は符号化装置の構成例を表す図である。 図１２はＳＯＰの構造例を表す図である。 図１３は各ピクチャの参照先ピクチャまでの距離の例を表す図である。

以下、本実施の形態について図面を参照して詳細に説明する。本明細書における課題及び実施例は一例であり、本願の権利範囲を限定するものではない。そして、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、本明細書で使用している用語や記載した技術的内容は、ＩＳＯ／ＩＥＣなど、画像の圧縮符号化に関する規格として規格書に記載された用語や技術的内容が適宜用いられてもよい。

［第１の実施の形態］
＜符号化装置の構成例＞
図１は、本第１の実施の形態における符号化装置１００の構成例を表す図である。

符号化装置１００は、例えば、入力映像データに対して、ＨＥＶＣの規定に従う圧縮符号化処理を行う。具体的には、符号化装置１００は、例えば、ＡＲＩＢ ＳＴＤ－Ｂ３２などに規定された時間方向階層符号化を行う。

時間方向階層符号化は、例えば、上述したように、Ｂピクチャを予測参照ピクチャとして用い、階層的な構造で符号化を行うことである。符号化装置１００は、時間方向階層符号化により、１２０ｐのビットストリームを多重化装置へ出力することが可能である。多重化装置では、ＡＲＩＢ規格に準拠して、１つの１２０ｐのストリームを、６０ｐサブストリームと１２０ｐサブストリームとに分離して伝送する。

例えば、図１２の例では、１２０ｐサブストリームには、ＴＩＤ＝６の各ピクチャ（「Ｂ１」，「Ｂ３」，「Ｂ５」，「Ｂ７」，「Ｂ９」，「Ｂ１１」，「Ｂ１３」，「Ｂ１５」）の符号化データが含まれる。また、６０ｐサブストリームには、例えば、ＴＩＤ＝０～３の各ピクチャ（「Ｉ」，「Ｐ」，「Ｂ０」，「Ｂ２」，「Ｂ４」，「Ｂ６」，「Ｂ８」，「Ｂ１０」，「Ｂ１２」，「Ｂ１４」）の符号化データが含まれる。

ＴＩＤ＝６に属する８枚のＢピクチャを、１２０ｐサブセット、ＴＩＤ＝０～３に属する８枚のＢピクチャと、Ｉピクチャ、及びＰピクチャを、６０ｐサブセット、とそれぞれ称する場合がある。

このようなビットストリームを受信した復号装置では、１２０ｐサブストリームの符号化データと６０ｐサブストリームの符号化データとをまとめて復号することで、例えば、１２０ｐの再生画像を得ることができる。また、復号装置では、１２０ｐサブストリームの符号化データではなく、６０ｐサブストリームの符号化データを復号することで、例えば、６０ｐの再生画像を得ることができる。

なお、本第１の実施の形態においては、多重化装置はなくてもよく、この場合は、符号化装置１００において、このような２つのサブストリームを含む１つの１２０ｐのストリームを生成して、生成したストリームを復号装置へ伝送してもよい。

また、１２０ｐは、例えば、１秒間で１２０枚のフレームを再生することを表し、６０ｐは、例えば、１秒間で６０枚のフレームを再生することを表す。本第１の実施の形態においては、符号化装置１００における入力映像の例は、８Ｋ１２０ｐである。

さらに、符号化前の対象画像はフレーム、符号化後の対象画像はピクチャと称する場合があるが、以下では、フレームとピクチャとを区別しないで用いる場合がある。

符号化装置１００は、映像変換部１１０、第２の映像符号化部１２０、補正係数設定部１４０、第１の符号化複雑度算出部１５０、及び第１の映像符号化部１６０を備える。

映像変換部１１０は、８Ｋ１２０ｐの映像データを、４Ｋ６０ｐの映像データへ変換する。例えば、映像変換部１１０は、８Ｋ１２０ｐの各フレームを適宜間引くことで、８Ｋ６０ｐの映像データを生成し、次に、８Ｋ６０ｐの各フレームの画素を間引くなどして、４Ｋに縮小して、４Ｋ６０ｐの映像データを生成する。

第２の映像符号化部１２０は、映像変換部１１０から出力された４Ｋ６０ｐの映像データに対して、階層符号化処理を施す。そして、第２の映像符号化部１２０は、階層符号化処理の際に計算した動き情報を、補正係数設定部１４０へ出力する。また、第２の映像符号化部１２０は、４Ｋ６０ｐのＧＣＭ（以下、「ＧＣＭ_６０ｐ」と称する場合がある。）を算出し、算出したＧＣＭ_６０ｐを第１の符号化複雑度算出部１５０へ出力する。第２の映像符号化部１２０の詳細は後述する。

補正係数設定部１４０は、８Ｋ１２０ｐの入力映像データを入力する。そして、補正係数設定部１４０は、符号化対象ピクチャと参照ピクチャとの時間方向の距離に基づいて補正係数ｒを算出する。この際、補正係数設定部１４０は、動きベクトルに関する情報に基づいて、補正係数ｒを算出することも可能である。補正係数設定部１４０の詳細も後述する。なお、以下では、「設定する」ことと「算出する」ことを区別しないで用いる場合がある。

第１の符号化複雑度算出部１５０は、第２の映像符号化部１２０から出力されたＧＣＭ_６０ｐと、補正係数設定部１４０から出力された補正係数ｒとに基づいて、８Ｋ１２０ｐのＧＣＭ（以下、「ＧＣＭ_１２０ｐ」と称する場合がある。）を算出する。

また、第１の符号化複雑度算出部１５０は、ＧＣＭ_６０ｐに基づいて、ＴＩＤ＝０～３の各ピクチャの目標情報量を算出する。さらに、第１の符号化複雑度算出部１５０は、ＧＣＭ_１２０ｐに基づいて、ＴＩＤ＝６の各ピクチャの目標情報量を算出する。補正係数ｒと目標情報量の算出の詳細については動作例で説明する。

第１の映像符号化部１６０は、第１の符号化複雑度算出部１５０から出力された目標情報量に基づいて、８Ｋ１２０ｐの入力映像データに対して階層符号化を行う。例えば、Ｔ
ＩＤ＝６の目標情報量は、ＧＣＭ_１２０ｐに基づいて、算出されるため、第１の映像符号化部１６０は、ＧＣＭ_１２０ｐに基づいて、階層符号化を行うことが可能となる。第１の映像符号化部１６０は、階層符号化により生成した１２０ｐサブストリームの符号化データと、６０ｐサブストリームの符号化データとをまとめて１つのビットストリームで、例えば、復号装置へ出力する。

＜第１及び第２の映像符号化部の構成例＞
図２は、第１及び第２の映像符号化部１６０，１２０の構成例を含む符号化装置１００の構成例を表す図である。

第２の映像符号化部１２０は、差分画像生成部１２１、直交変換及び量子化部１２２、エントロピー符号化部１２３、逆直交変換及び逆量子化部１２４、加算部１２５、復号画像生成部１２６、予測画像作成部１２７、動き情報記録部１２８を備える。また、第２の映像符号化部１２０は、第２の符号化複雑度算出部１２９と第２の符号化複雑度記録部１３０を備える。さらに、予測画像作成部１２７は、イントラ予測部１２７１とインター予測部１２７２を備える。

差分画像生成部１２１は、映像変換部１１０から出力された４Ｋ６０ｐの映像データと、イントラ予測部１２７１から出力された予測画像の映像データとを減算し、差分画像の映像データを生成する。差分画像の映像データは、フレーム内予測画像の映像データとして、４Ｋ６０ｐの映像データに対する画面内予測（又はイントラ予測）符号化に用いる。

また、差分画像生成部１２１は、映像変換部１１０から出力された４Ｋ６０ｐの映像データと、インター予測部１２７２から出力された予測画像の映像データとを減算し、差分画像の映像データを生成する。この場合の映像データは、４Ｋ６０ｐの映像データに対するフレーム間予測画像の映像データとして、フレーム間予測符号化に用いられる。

直交変換及び量子化部１２２は、差分画像生成部１２１から出力された、フレーム内予測画像の映像データ又はフレーム間予測画像の映像データに対して、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などを利用して、周波数領域への直交変換を行う
。そして、直交変換及び量子化部１２２は、直交変換後の成分に対して、量子化ステップで除算した結果を丸めた量子化値を算出する。直交変換及び量子化部１２２は、算出した量子化値を変換係数として、エントロピー符号化部１２３と、逆直交変換及び逆量子化部１２４へ出力する。

エントロピー符号化部１２３は、変換係数に対して、ハフマン符号化をベースにした可変長符号化（ＶＬＣ：Variable Length Coding）による符号化を行う。エントロピー符号化部１２３は、フレーム内予測画像に対応する可変長符号化後の変換係数をＩピクチャの映像データとして出力する。また、エントロピー符号化部１２３は、フレーム間予測画像の変換係数に対応する可変長符号化後の変換係数をＰピクチャ又はＢピクチャの映像データとして出力する。

逆直交変換及び逆量子化部１２４は、変換係数に対して、直交変換及び量子化部１２２で利用した量子化ステップを乗算等することで、量子化値となる前の映像データの直交成分を算出する。そして、逆直交変換及び逆量子化部１２４は、直交成分に対して、例えば、所定の演算式を利用して逆ＤＣＴ変換を行い、直交変換前の映像データを算出する。逆直交変換及び逆量子化部１２４は、例えば、内部メモリに記憶された所定の演算式を読み出して、直交成分を演算式に代入することで、逆ＤＣＴ変換を行うようにしてもよい。

加算部１２５は、逆直交変換及び逆量子化部１２４から出力された映像データと、予測
画像作成部１２７から出力された予測画像の映像データとを加算して出力する。

復号画像生成部１２６は、例えば、加算部１２５から出力された映像データのうち、所定のブロックの境界の映像データに対して、フレーム内予測画像又はフレーム間予測画像に応じて適応的に平滑化する処理などを行い、復号画像の映像データを生成する。復号画像生成部１２６は、生成した復号画像の映像データを、例えば、内部のフレームメモリに記憶したり、或いは、記憶した映像データをフレームメモリから読み出して予測画像作成部１２７へ出力したりする。

イントラ予測部１２７１は、復号画像生成部１２６から出力されたフレーム内予測画像に対応する復号画像の所定ブロック内の映像データに対して、当該ブロック近傍のブロックからの補間によって予測画像の映像データを生成する。所定ブロックは、例えば、ＨＥＶＣで規定されたＣＴＵ（Coding Tree Unit）や、ＣＴＵを更に分割したＣＵ（Coding Unit）であってもよい。イントラ予測部１２７１は、生成した予測画像の映像データを差
分画像生成部１２１へ出力する。

インター予測部１２７２は、映像変換部１１０から出力された４Ｋ６０ｐの映像データと、復号画像生成部１２６から出力されたフレーム間予測画像の映像データとに基づいて動きベクトルを検出する。そして、インター予測部１２７２は、復号画像生成部１２６から出力されたフレーム間予測画像に対応する復号画像の映像データに対して、検出した動きベクトルの分だけずらした予測画像（又は参照ピクチャ）の映像データを生成する。この際、インター予測部１２７２は、例えば、階層予測符号化でのＳＯＰ構造（例えば図１２）に基づいて、ＴＩＤ＝０～３，６の各ピクチャを参照して、予測画像を生成する。インター予測部１２７２は、生成した予測画像の映像データを差分画像生成部１２１へ出力する。

動き情報記録部１２８は、インター予測部１２７２から出力された動きベクトルに関する情報を記録する。動き情報記録部１２８は、例えば、メモリである。

第２の符号化複雑度算出部１２９は、例えば、エントロピー符号化部１２３から出力された符号化データのデータ量に基づいて、ＧＣＭ_６０ｐを算出する。第２の符号化複雑度算出部１２９は、例えば、式（１）から式（３）を用いて、ピクチャごとにＧＣＭ_６０ｐを算出する。第２の符号化複雑度算出部１２９は、例えば、符号化データのデータ量（例えばビット数）をカウントし、そのカウント値を式（１）から式（３）に代入することで、ＧＣＭ_６０ｐを算出してもよい。式（１）から式（３）で得たＸ_ｉ，Ｘ_ｐ，Ｘ_ｂを、まとめて、ＧＣＭ_６０ｐとしてもよい。

なお、第２の符号化複雑度算出部１２９は、例えば、内部メモリに式（１）から式（３）を記憶し、処理の際にこれらの式を読み出して、データ量と平均量子化パラメータとを式（１）から式（３）に代入することで、計算する。この場合、第２の符号化複雑度算出部１２９は、直交変換及び量子化部１２２から量子化パラメータを受け取り、その平均を演算することで平均量子化パラメータを計算してもよい。

第２の符号化複雑度記録部１３０は、第２の符号化複雑度算出部１２９から出力されたＧＣＭ_６０ｐをメモリなどに記録する。第２の符号化複雑度記録部１３０は、例えば、メモリである。この場合、第２の符号化複雑度記録部１３０と動き情報記録部１２８とは、同じメモリであってもよいし、別々のメモリであってもよい。

第１の映像符号化部１６０は、差分画像生成部１６１、直交変換及び量子化部１６２、エントロピー符号化部１６３、逆直交変換及び逆量子化部１６４、加算部１６５、復号画
像生成部１６６、予測画像作成部１６７を備える。また、予測画像作成部１６７は、イントラ予測部１６７１とインター予測部１６７２を備える。

なお、第２の映像符号化部１２０の差分画像生成部１２１から予測画像作成部１２７までの処理ブロックは、第１の映像符号化部１６０の差分画像生成部１６１から予測画像作成部１６７までの処理ブロックと、処理対象となる映像データが異なる以外はほぼ同じ機能を有する。本第１の実施の形態では、第２の映像符号化部１２０の差分画像生成部１２１から予測画像作成部１２７までの処理ブロックの説明は省略する。

ただし、直交変換及び量子化部１６２は、例えば、第１の符号化複雑度算出部１５０から出力された目標情報量に応じて量子化ステップなどを変更することで、符号化後のデータ量が目標情報量以下に抑制することができ、これにより、レート制御が可能となる。

また、予測画像作成部１２７（のインター予測部１６７２）は、第１の符号化複雑度算出部１５０から出力された目標情報量に応じて予測画像を生成することも可能となる。

第１の符号化複雑度算出部１５０は、目標情報量を予測画像作成部１６７又は直交変換及び量子化部１６２の両方に出力する。

＜補正係数ｒの算出方法＞
次に、補正係数ｒの算出方法について説明する。補正係数設定部１４０は、例えば、ＴＩＤ＝６の符号化対象のピクチャについて、参照ピクチャまでの時間方向における距離に基づいて、補正係数ｒを算出する。

図３は、ＴＩＤ＝６の各ピクチャの参照ピクチャまでの距離の例を表す図である。

図３に示すように、「Ｂ１」ピクチャは、「Ｉ」ピクチャを参照する場合は、その距離は「１」となり、「Ｂ０」ピクチャを参照する場合は、その距離は「１５」となる。「Ｂ１」ピクチャにおいて、「Ｉ」ピクチャを参照したときは、「Ｂ０」ピクチャを参照したときよりも距離が近いので、補正係数設定部１４０は、補正係数ｒを、「Ｂ０」ピクチャの場合よりも小さい値に設定する。一方、補正係数設定部１４０は、「Ｂ１」ピクチャにおいて、「Ｂ０」を参照したときは、「Ｉ」ピクチャを参照した場合よりも大きな値に設定する。補正係数設定部１４０は、距離が遠くなればなるほど、補正係数ｒを大きな値に設定し、距離が近ければ近いほど、補正係数ｒを小さな値に設定する。補正係数ｒは、例えば、距離に比例した値となる。

例えば、補正係数設定部１４０は、各ピクチャにおいて、参照ピクチャとの最小距離に基づいて補正係数ｒを設定してもよい。例えば、「Ｂ１」ピクチャの最小距離は「１」、「Ｂ３」ピクチャの最小距離は「３」となるため、補正係数設定部１４０は、「Ｂ１」ピクチャの補正係数ｒを、「Ｂ３」ピクチャの補正係数ｒよりも小さい値に設定してもよい。例えば、補正係数設定部１４０は、複数の参照ピクチャのうち、符号化対象ピクチャとの距離が最も短い参照ピクチャとの距離に基づいて、補正係数ｒを設定する。

また、補正係数設定部１４０は、各ピクチャにおいて、参照ピクチャとの最大距離に基づいて補正係数ｒを設定してもよい。例えば、「Ｂ１」ピクチャの最大距離は「１５」、「Ｂ３」ピクチャの最大距離は「５」であるため、補正係数設定部１４０は、「Ｂ１」ピクチャの補正係数ｒを、「Ｂ３」ピクチャの補正係数ｒよりも大きな値に設定してもよい。例えば、補正係数設定部１４０は、複数の参照ピクチャのうち、符号化対象ピクチャとの距離が最も長い参照ピクチャとの距離に基づいて、補正係数ｒを設定する。

さらに、補正係数設定部１４０は、各ピクチャにおいて、参照ピクチャとの平均距離に基づいて補正係数ｒを設定してもよい。例えば、「Ｂ１」ピクチャの２つの距離の平均は「８」、「Ｂ３」ピクチャの２つの距離の平均は「４」であるため、補正係数設定部１４０は、「Ｂ１」ピクチャの補正係数ｒを、「Ｂ３」ピクチャの補正係数ｒよりも大きな値に設定してもよい。

また、補正係数設定部１４０は、例えば、入力映像の映像データを符号化装置１００へ出力するカメラの移動方向に基づいて補正係数ｒを決定してもよい。

例えば、入力映像を符号化装置１００へ出力するカメラが、上方向へ移動する場合、入力映像は全体として、上から下へ移動する。この場合、符号化対象の各ピクチャは、時間方向で前方にある前方ピクチャを参照する場合がある。

従って、補正係数設定部１４０は、カメラが上方向へ移動する場合、「Ｂ１」ピクチャの参照ピクチャは前方にある「Ｉ」ピクチャであるとして、その距離「１」に応じて、補正係数ｒを設定する。同様に、補正係数設定部１４０は、「Ｂ３」ピクチャはその距離「３」、「Ｂ５」ピクチャはその距離「１」，…に応じて、補正係数ｒを設定してもよい。

図４は、この場合のピクチャ毎の距離の例を表す図である。図４において、「前距離」とあるのが、前方の参照ピクチャを予測ピクチャとしても用いる場合であって、「Ｂ１」ピクチャは「１」、「Ｂ３」ピクチャは「３」などとなる。

また、例えば、カメラが右方向へ移動する場合も、入力映像は全体として、右から左へと移動する。この場合も、カメラが上方向へ移動する場合と同様に、符号化対象の各ピクチャは、前方ピクチャを参照する場合があるため、各ピクチャの距離は、例えば、図４の「前距離」に示す距離となり得る。

一方、カメラが下方向へ移動する場合、入力映像は全体として、下から上へ移動する。この場合、符号化対象の各ピクチャは、後方ピクチャを参照する場合がある。

この場合は、図４の「後距離」に示すように、「Ｂ１」ピクチャは、その距離は「１５」となり、「Ｂ３」ピクチャは「５」，…となる。補正係数設定部１４０は、その距離に応じて補正係数ｒを設定する。カメラが左方向へ移動する場合も同様である。

このように、補正係数設定部１４０は、カメラが移動する方向に応じて、参照ピクチャのうち、符号化対象ピクチャに対して前方にある前方参照ピクチャ、又は後方にある後方参照ピクチャを決定し、そのピクチャとの距離に応じて、補正係数ｒを算出してもよい。

また、補正係数設定部１４０は、符号化済ピクチャの動きベクトルに基づいて、カメラの移動方向を決定してもよい。

具体的には、例えば、動きベクトルとしては、全ピクチャの動きベクトルの平均値としてもよいし、ＴＩＤ＝６の全ピクチャの動きベクトルの平均値としてもよい。平均値については、例えば、１ＳＯＰ前の動きベクトルの平均値としてもよい、数ＳＯＰ前から１ＳＯＰ前までの複数のＳＯＰの動きベクトルの平均値としてもよい。例えば、予測画像作成部１２７は、予測画像を生成するごとに動きベクトルに関する情報を動き情報記録部１２８に記憶しているため、動き情報記録部１２８には数ＳＯＰ前から１ＳＯＰ前までの動きベクトルの情報が記憶されている。そのため、補正係数設定部１４０は、数ＳＯＰ前から１ＳＯＰ前までの動きベクトルの情報を動き情報記録部１２８から読み出して、その平均値を計算したり、ＴＩＤ＝６の全ピクチャの動きベクトルの情報を読み出してその平均値
を計算したりすることが可能である。以上の例は、動き情報記録部１２８に、４Ｋ６０ｐの映像データの予測画像を生成する際の動きベクトルに関する情報が記憶される場合の例である。例えば、第１の映像符号化部１６０の予測画像作成部１６７において８Ｋ１２０ｐの予測画像を生成する際に利用した動きベクトルを用いて、補正係数設定部１４０は、補正係数ｒを算出してもよい。この場合、予測画像作成部１６７のインター予測部１６７２で生成した動きベクトルに関する情報を内部メモリなどで記憶する。そのため、内部メモリには、数ＳＯＰ前から１ＳＯＰ前までの動きベクトルに関する情報などを記憶することが可能となる。そして、補正係数設定部１４０が内部メモリから動きベクトルに関する情報を読み出すことで、数ＳＯＰ前から１ＳＯＰ前までなどの動きベクトルの平均値などを計算することが可能となる。

或いは、補正係数設定部１４０は、４Ｋ６０ｐのＴＩＤ＝１のピクチャ（「Ｂ２」ピクチャ）の動きベクトルからカメラの移動方向を推定してもよい。「Ｂ２」ピクチャは、図３に示すように、ＳＯＰ内で中央に位置し、Ｉピクチャを参照するか、又は、「Ｂ０」ピクチャを参照するかで、画面全体の移動方向を推定することができるからである。

或いは、補正係数設定部１４０は、ＴＩＤ＝３の４枚のＢピクチャ（「Ｂ６」，「Ｂ８」，「Ｂ１２」，「Ｂ１４」）の動きベクトルに基づいて、カメラの移動方向を推定してもよい。例えば、補正係数設定部１４０は、ＴＩＤ＝３の４枚のＢピクチャの動きベクトルの平均を計算して、その平均に基づいてカメラの移動方向を推定してもよい。

上述した例は、カメラが上方向又は右方向へ移動するときは前方ピクチャを参照し、カメラが下方向又は左方向へ移動するときは後方ピクチャを参照するとして説明した。例えば、カメラが上方向又は右方向へ移動するときは後方ピクチャを参照するとして、補正係数設定部１４０は、その距離（図４では「後距離」）を定めてもよい。また、例えば、カメラが下方向又は左方向へ移動するときは前方ピクチャを参照するとして、補正係数設定部１４０は、その距離（図４では「前距離」）を定めてもよい。

図５（Ａ）は、最小距離に基づいて補正係数ｒを設定する場合の補正係数ｒの具体例を表す図である。図５（Ａ）に示すように、補正係数設定部１４０は、「Ｂ１」ピクチャはその最小距離が「１」のため、その距離に応じた補正係数「１」を設定し、「Ｂ３」ピクチャはその最小距離が「３」のため、その距離に応じた補正係数「３」を設定するなどとしている。

図５（Ｂ）は、符号化済の実発生情報量に基づいて補正係数ｒを設定する場合の補正係数ｒの具体例を表す図である。

例えば、補正係数設定部１４０は、１ＳＯＰ前の「Ｂ１」ピクチャで発生した実発生情報量が「５７ｋ」ビットであったため、この実発生情報量に基づいて、現ＳＯＰの「Ｂ１」ピクチャの補正係数ｒを「３」に設定する。また、補正係数設定部１４０は、例えば、１ＳＯＰ前の「Ｂ３」ピクチャの実発生情報量が「５４９ｋ」ビットであったため、この実発生情報量に基づいて、現ＳＯＰの「Ｂ３」ピクチャの補正係数を「２５」に設定する。補正係数設定部１４０は、それ以外の各ピクチャも１ＳＯＰ前の対応ピクチャの実発生情報量に基づいて、補正係数ｒを設定する。補正係数設定部１４０は、例えば、階層符号化がＳＯＰ単位で行われる場合、符号化対象ピクチャの時間方向で１つＳＯＰ前であって、符号化対象ピクチャとＳＯＰ内で同一位置に位置するするピクチャで発生した発生情報量に基づいて、補正係数ｒを算出してもよい。

図６は、この場合の符号化装置１００の構成例を表す図である。エントロピー符号化部１６３は、各ピクチャの符号化データを補正係数設定部１４０へ出力し、補正係数設定部
１４０は、各ピクチャの符号化データをカウントするなどによって、実発生情報量を算出する。そして、補正係数設定部１４０は、例えば、内部メモリなどに実発生情報を保持しておき、現ＳＯＰの各ピクチャの補正係数ｒを設定する際に内部メモリから実発生情報量を読み出して、実発生情報量に応じた補正係数ｒを設定すればよい。このように補正係数設定部１４０は、例えば、符号化対象ピクチャを符号化した際に発生した発生情報量に基づいて補正係数ｒを算出する。

図５（Ｂ）の例では、１ＳＯＰ前の対応する各ピクチャを利用する例を示したが、例えば、補正係数設定部１４０は、数ＳＯＰ前から１ＳＯＰ前までの対応する各ピクチャの実発生情報量の平均値に基づいて補正係数ｒを設定してもよい。補正係数設定部１４０は、例えば、符号化対象ピクチャの時間方向で複数ＳＯＰ前であって、符号化対象ピクチャとＳＯＰ内で同一位置に位置するピクチャで発生した複数の発生情報量の平均値に基づいて、補正係数ｒを算出してもよい。

上述したように、各ピクチャの発生情報量は、例えば、符号化対象ピクチャと参照ピクチャとの距離に比例する。従って、距離が遠くなればなるほど、実発生情報量が多くなり、距離が近いほど、実発生情報量は少なくなる。距離に応じて補正係数を設定することと、発生情報量に応じて補正係数を設定することは、同じ意味として考えることも可能である。

＜ＧＣＭ_１２０ｐの設定方法＞
第１の符号化複雑度算出部１５０は、補正係数ｒと第２の符号化複雑度記録部１３０から読み出した（４Ｋ６０ｐのＧＣＭである）ＧＣＭ_６０ｐとに基づいて、（８Ｋ１２０ｐのＧＣＭである）ＧＣＭ_１２０ｐを算出する。第１の符号化複雑度算出部１５０は、以下の式を用いて、ＧＣＭ_１２０ｐを算出する。

ＴＩＤ０～ＴＩＤ３のピクチャのＧＣＭは、４Ｋ６０ｐのＧＣＭのそのまま適用する。ＴＩＤ６のピクチャのＧＣＭは、４Ｋ６０ｐのＧＣＭをスケーリングしてから適用する。

式（４）において、ＧＣＭ＿ＲＡＴＩＯ［ＰＩＣ＿ＴＩＤ６］とＧＣＭ＿ＲＡＴＩＯ［ＰＩＣ＿ＴＩＤ３］は、ＴＩＤ６やＴＩＤ３ピクチャのＧＣＭとＩピクチャのＧＣＭの比率を表している定数であり、予め設定することが可能である。例えば、それぞれが「２４」と「２０」となる場合、ＴＩＤ６ピクチャのＧＣＭがＩピクチャのＧＣＭの１／２４、ＴＩＤ３ピクチャのＧＣＭがＩピクチャのＧＣＭの１／２０を、それぞれ表す。従って、ＧＣＭ＿ＲＡＴＩＯ［ＰＩＣ＿ＴＩＤ３］／ＧＣＭ＿ＲＡＴＩＯ［ＰＩＣ＿ＴＩＤ６］＝２０／２４となる。このＧＣＭ＿ＲＡＴＩＯ［ＰＩＣ＿ＴＩＤ３］／ＧＣＭ＿ＲＡＴＩＯ［ＰＩＣ＿ＴＩＤ６］は、ＴＩＤ＝６の各ピクチャ（又は全ピクチャ）の発生情報量に対して、ＴＩＤ＝３の各ピクチャ（又は全ピクチャ）の発生情報量が、２０／２４となることを表している。

このＧＣＭ_１２０ｐについて、第１の符号化複雑度算出部１５０は、以下の式を用いて算出する場合もある。

式（５）も式（４）も、ＧＣＭ_６０ｐに基づいて、ＧＣＭ_１２０ｐが算出される点は同じである。

しかし、上述したように、ＴＩＤ＝０～３の各ピクチャにおいて、参照ピクチャまでの距離は各ＴＩＤにおいて同じ距離となっているため、ＧＣＭ_６０ｐは、一定の範囲内となり得る。また、ＧＣＭ＿ＲＡＴＩＯ［ＰＩＣ＿ＴＩＤ３］／ＧＣＭ＿ＲＡＴＩＯ［ＰＩＣ＿ＴＩＤ６］も定数となる。従って、式（５）を用いてＧＣＭ_１２０ｐを計算すると、ＧＣＭ_１２０ｐの取り得る値の範囲は一定の範囲内となる。

しかし、上述したように、ＴＩＤ＝６の各ピクチャは、参照ピクチャによって、その距離が他のＴＩＤ＝６のピクチャと比較して、大きく異なり、発生情報量が一定の範囲内に収まらない場合がある。

そこで、本第１の実施の形態では、第１の符号化複雑度算出部１５０は、ＴＩＤ＝６の各ピクチャにおいて推定されるＧＣＭ_１２０ｐを、符号化対象ピクチャとその参照ピクチャとの時間方向における距離に基づいて補正するようにしている。具体的には、例えば、第１の符号化複雑度算出部１５０は、補正係数設定部１４０で設定された補正係数ｒを用いて、ＧＣＭ_１２０ｐを計算する。

これにより、例えば、ＧＣＭ_１２０ｐは、一定の範囲ではなくなり、符号化対象ピクチャと参照ピクチャとの距離に応じて補正される。上述したように、距離に比例して符号化対象ピクチャの発生情報量が変化することから、距離に応じて変換する補正係数ｒを用いることで、このような距離に応じてＧＣＭ_１２０ｐが補正される。よって、ＴＩＤ＝６に属する符号化対象ピクチャの発生情報量に応じて、ＧＣＭ_１２０ｐも変化する。

従って、式（４）を用いた場合、符号化対象ピクチャの発生情報量に応じてＧＣＭ_１２０ｐも補正されるため、符号化装置１００では、ＧＣＭ_１２０ｐの推定精度を、式（５）の場合と比較して、向上させることが可能となる。

そして、ＴＩＤ＝６の各ピクチャのＧＣＭ_１２０ｐの推定精度が向上することで、ＧＣＭ_１２０ｐに基づいて目標情報量が設定され、目標情報量に基づいてレート制御が行われる場合、発生情報量が目標情報量を超える事態も抑制される。そのため、符号化装置１００は、レート制御が適切に働き、レート制御が適切に働かないことによる画質劣化を抑制することも可能となる。

なお、第１の符号化複雑度算出部１５０は、例えば、内部メモリなどに式（４）を保持し、処理の際に内部メモリから読み出して、式（４）に補正係数ｒとＧＣＭ_６０ｐとを代入することで、補正されたＧＣＭ_１２０ｐを得ることができる。

図７と図８は、第１の符号化複雑度算出部１５０が式（４）を用いてＧＣＭ_１２０ｐを決定する場合、ＴＩＤ＝０～３の各参照ピクチャのうち、どの参照ピクチャのＧＣＭ_６０ｐを用いて、ＧＣＭ_１２０ｐを計算すればよいかの例を表す図である。

図８に示すように、例えば、ＴＩＤ＝６の「Ｂ１」ピクチャのＧＣＭ_１２０ｐは、４Ｋ
６０ｐの「Ｂ６」ピクチャのＧＣＭ_６０ｐを用いて、式（４）に代入して算出することを表す。同様に、ＴＩＤ＝６の「Ｂ３」ピクチャのＧＣＭ_１２０ｐも、４Ｋ６０ｐの「Ｂ６」ピクチャのＧＣＭ_６０ｐを用いて、算出することを表している。図８では、８Ｋ１２０ｐの各ピクチャと、その推定先となる４Ｋ６０ｐのピクチャとの対応関係を表しており、式（４）の右辺において、どの４Ｋ６０ｐのＧＣＭ_６０ｐに対応するピクチャを用いるかを表している。

なお、図８に示すその対応関係は、図７においても示されている。

例えば、図８において、４Ｋ６０ｐのＴＩＤ＝０～３の各ピクチャ（Ｉ，Ｂ０～Ｂ７）が第２の階層の符号化データとなる。また、例えば、図８において、８Ｋ１２０ｐのＴＩＤ＝０～６の各ピクチャが第１の階層の符号化データとなる。

＜目標情報量の設定方法＞
本第１の実施の形態では、符号化装置１００は、ピクチャ毎に目標情報量を定め、その目標情報量となるようにレート制御を行う。目標情報量は、例えば、ＴＭ５をステップ１で規定された、ピクチャの種別毎の目標情報量を用いる。

具体的には、符号化装置１００は、以下の式（６）を用いて、Ｉピクチャの目標情報量Ｔ_ｉを算出する。

式（６）で、Ｒは、ＧＯＰ内で符号化されていない残りのピクチャに対する情報量、ＮｐはＧＯＰ内のＰピクチャの枚数、ＮｂはＧＯＰ内のＢピクチャの枚数をそれぞれ表す。また、Ｓ_ｉ，Ｓ_ｐ，Ｓ_ｂは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの発生情報量をそれぞれ表す（式（１）～式（３））。さらに、Ｘ_ｉ，Ｘ_ｐ，Ｘ_ｂは、Ｉピクチャ、Ｐピクチャ、ＢピクチャのＧＣＭをそれぞれ表す。さらに、Ｋ_ｐ，Ｋ_ｂは、量子化マトリックスに依存する定数を表す。

式（６）は、ＧＯＰ内の割り当て情報量の残余Ｒと、符号化済ピクチャの符号化複雑度Ｘ_ｉ，Ｘ_ｐ，Ｘ_ｂとから、ＧＯＰ内の未処理ピクチャへの割り当て情報量を目標情報量として計算していることを表している。言い換えると、式（６）は、例えば、ＰピクチャとＢピクチャの発生情報量を、Ｉピクチャの枚数「１」に換算した場合の、１枚のＩピクチャに割り当てる情報量を、目標情報量としている。

ここで、式（６）の右辺に着目すると、Ｉピクチャの目標情報量Ｔ_ｉは、ＧＯＰ内のＰ，Ｂピクチャの枚数Ｎ_ｐ，Ｎ_ｂと、ＧＣＭ（Ｘ_ｉ，Ｘ_ｐ，Ｘ_ｂ）とに基づいて算出される。

同様に、符号化装置１００は、以下の式（７）を用いて、Ｐピクチャの目標情報量Ｔ_ｐを算出し、式（８）を用いて、Ｂピクチャの目標情報量Ｔ_ｂを算出する。

式（７）と式（８）に示すように、Ｐピクチャの目標情報量Ｔ_ｐとＢピクチャの目標情報量Ｔ_ｂも、ＧＯＰ内のＰ，Ｂピクチャの枚数Ｎ_ｐ，Ｎ_ｂと、ＧＣＭ（Ｘ_ｐ，Ｘ_ｂ）とに基づいて算出される。

例えば、第１の符号化複雑度算出部１５０は、以下の処理を行う。すなわち、第１の符号化複雑度算出部１５０は、内部メモリなどに式（６）から式（８）を保持し、処理の際に内部メモリから式（６）から式（８）を読み出す。そして、第１の符号化複雑度算出部１５０は、ＧＯＰ内のＰ，Ｂピクチャの枚数Ｎ_ｐ，Ｎ_ｂと、式（１）～式（３）で得たＧＣＭ（ＧＣＭ_６０ｐ）とを、式（６）から式（８）に代入することで、ＴＩＤ＝０～３の目標情報量Ｔ_ｐ，Ｔ_ｂを得る。また、第１の符号化複雑度算出部１５０は、ＧＯＰ内のＰ，Ｂピクチャの枚数Ｎ_ｐ，Ｎ_ｂと、式（４）で得たＧＣＭ（ＧＣＭ_１２０ｐ）とを、式（６）から式（８）に代入することで、ＴＩＤ＝６の目標情報量Ｔ_ｐ，Ｔ_ｂを得る。

＜動作例＞
図９は、符号化装置１００における動作例を表すフローチャートである。

符号化装置１００は、処理を開始すると（Ｓ１０）、４Ｋ縮小画像を生成する（Ｓ１１）。例えば、映像変換部１１０は、８Ｋ１２０ｐの映像データを、４Ｋ６０ｐの映像データに変換することで４Ｋ縮小画像を生成する。

次に、符号化装置１００は、ＳＯＰ内において以下の処理を繰り返す（Ｓ１２）。

すなわち、符号化装置１００は、１ＳＯＰの４Ｋ符号化を行う（Ｓ１３）。例えば、第２の映像符号化部１２０は、４Ｋ６０ｐの映像データに対して時間方向階層符号化の処理を行う。

次に、符号化装置１００は、４Ｋの符号化複雑度ＧＣＭ_６０ｐを算出する（Ｓ１４）。例えば、第２の符号化複雑度算出部１２９は、各ピクチャの発生情報量Ｓ_ｉ，Ｓ_ｐ，Ｓ_ｂと、平均量子化パラメータＱ_ｉ，Ｑ_ｐ，Ｑ_ｂを、式（１）から式（３）にそれぞれ代入することで、各ピクチャのＧＣＭ_６０ｐ（Ｘ_ｉ，Ｘ_ｐ，Ｘ_ｂ）を算出する。

次に、符号化装置１００は、参照ピクチャに対する時間軸方向の距離に基づいて補正係数ｒを計算する（Ｓ１５）。例えば、補正係数設定部１４０は、以下の処理を行う。

すなわち、補正係数設定部１４０は、８Ｋ１２０ｐの１６枚のフレームを取得し、ＳＯＰの参照関係（図１２）から、符号化順番に従って、１枚ずつ対象ピクチャへの振り分けを行う。具体的には、補正係数設定部１４０は、８Ｋ１２０ｐの１枚目のフレームを「Ｂ１」ピクチャ対象とし、２枚目のフレームを「Ｂ６」ピクチャ対象とし、これを１６フレームに対して行う。そして、補正係数設定部１４０は、ＳＯＰの参照関係に基づいて、符号化対象のピクチャと参照ピクチャとの時間方向における距離に基づいて、補正係数ｒを決定する。ＳＯＰの参照関係（例えば図１２）は、例えば、補正係数設定部１４０の内部メモリに保持される。そして、補正係数設定部１４０は、Ｓ１５の処理の際に参照関係を内部メモリから読み出して、符号化対象ピクチャと参照ピクチャとの距離を得る。この際、補正係数設定部１４０は、動き情報記録部１２８から読み出した動き情報に基づいて、補正係数ｒを決定してもよいし、エントロピー符号化部１６３から取得した実発生情報量
に基づいて、補正係数ｒを決定してもよい。

次に、符号化装置１００は、４Ｋの符号化複雑度ＧＣＭ_６０ｐを用いて、ＴＩＤ＝０～３の目標情報量Ｔ_ｉ，Ｔ_ｐ，Ｔ_ｂを算出する（Ｓ１６）。例えば、第１の符号化複雑度算出部１５０は、各ピクチャのＧＣＭ_６０ｐ（Ｘ_ｉ，Ｘ_ｐ，Ｘ_ｂ）を、式（６）から式（８）に代入することで、ＴＩＤ＝０～３の目標情報量Ｔ_ｉ，Ｔ_ｐ，Ｔ_ｂを算出する。

次に、符号化装置１００は、補正係数ｒを用いて、８Ｋの符号化複雑度ＧＣＭ_１２０ｐを算出する（Ｓ１７）。例えば、第１の符号化複雑度算出部１５０は、Ｓ１４で算出した４ＫのＧＣＭ_６０ｐと、Ｓ１５で算出した補正係数ｒとを、式（４）に代入することで、ＧＣＭ_１２０ｐを算出する。この場合、第１の符号化複雑度算出部１５０は、４ＫのＧＣＭ_６０ｐがピクチャ毎に計算されるため、ピクチャ毎に、ＧＣＭ_１２０ｐを算出する。

次に、符号化装置１００は、８Ｋの符号化複雑度ＧＣＭ_１２０ｐを用いて、ＴＩＤ＝６の目標情報量を算出する（Ｓ１８）。例えば、第１の符号化複雑度算出部１５０は、ピクチャ毎に各ピクチャの種別に応じて、式（６）から式（８）を用いて、ＴＩＤ＝６の各ピクチャの目標情報量Ｔ_ｉ，Ｔ_ｐ，Ｔ_ｂを算出する。

次に、符号化装置１００は、１ＳＯＰの８Ｋ符号化を行う（Ｓ１９）。例えば、符号化装置１００は、以下の処理を行う。

すなわち、第１の符号化複雑度算出部１５０は、ＴＩＤ＝０～３の各ピクチャの目標情報量Ｔ_ｉ，Ｔ_ｐ，Ｔ_ｂと、ＴＩＤ＝６の各ピクチャの目標情報量Ｔ_ｐ，Ｔ_ｂとを、直交変換及び量子化部１６２や予測画像作成部１６７へ出力する。そして、直交変換及び量子化部１６２や予測画像作成部１６７では、目標情報量Ｔ_ｉ，Ｔ_ｐ，Ｔ_ｂに応じた量子化値に基づいて量子化処理を行ったり、目標情報量Ｔ_ｉ，Ｔ_ｐ，Ｔ_ｂに応じた予測画像を生成したりする。

次に、符号化装置１００は、次のＳＯＰに属するフレームがあれば、Ｓ１２へ移行して、上述したＳ１３からＳ１９までの処理を行う（Ｓ２０）。

符号化装置１００は、次のＳＯＰに属するフレームがなければ、一連の処理を終了する（Ｓ２１）。

［その他の実施の形態］
図１０は、符号化装置１００のハードウェア構成例を表す図である。

符号化装置１００は、ＣＰＵ（Central Processing Unit）１７０、ＲＯＭ（Read Only
Memory）１７１、ＲＡＭ（Random Access Memory）１７２、メモリ１７３、モニタ１７
４、ＩＦ（Interface）を備える。

ＣＰＵ１７０は、ＲＯＭ１７１に記憶されたプログラムを読み出して、ＲＡＭ１７２にロードし、ロードしたプログラムを実行する。この実行により、ＣＰＵ１７０は、映像変換部１１０、第２の映像符号化部１２０、補正係数設定部１４０、第１の符号化複雑度算出部１５０、及び第１の映像符号化部１６０の機能を実行する。ＣＰＵ１７０は、例えば、映像変換部１１０、第２の映像符号化部１２０、補正係数設定部１４０、第１の符号化複雑度算出部１５０、及び第１の映像符号化部１６０に対応する。

ＩＦ１７５は、ＣＰＵ１７０から受け取ったビットストリームを、復号化装置へ送信可能なフォーマットに変換して、変換後のビットストリームを復号化装置へ送信する。

メモリ１７３は、例えば、式（１）から式（４）、式（６）から式（８）などを記憶する。モニタ１７４は、例えば、８Ｋ１２０ｐの入力映像や映像変換後の４Ｋ６０ｐの画像を表示する。

なお、ＣＰＵ１７０に代えて、ＭＰＵ（Micro Processing Unit）やＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）などのコントローラやプロセッサであってもよい。

図１１は符号化装置１００の他の構成例を表す図である。

符号化装置１００は、映像変換部１１０と、第２の映像符号化部１２０、第１の符号化複雑度算出部１５０、及び第１の映像符号化部１６０とを備える。

符号化装置１００は、入力映像データを第１のフレームレートで時間方向階層符号化を行う。

映像変換部１１０は、入力映像データを、第１のフレームレートより低い第２のフレームレートの映像データへ変換する。

第２の映像符号化部１２０は、第２のフレームの映像データに対して時間方向階層符号化を行い、第２のフレームで時間方向階層符号化された第２の階層に属するピクチャの第２の符号化複雑度を出力する。

第１の符号化複雑度算出部１５０は、第２の階層に属する参照ピクチャの第２の符号化複雑度に基づいて推定される符号化対象ピクチャの第１の符号化複雑度を、符号化対象ピクチャと参照ピクチャとの時間方向における距離に基づいて補正する。ここで、第２の階層に属する参照ピクチャは、入力映像データを第１のフレームレートで時間方向階層符号化を行う場合に第１の階層に属する符号化対象ピクチャの参照先となるピクチャのことである。

第１の映像符号化部１６０は、補正した第１の符号化複雑度に基づいて、入力映像データを第１のフレームレートで時間方向階層符号化を行う。

このように、図１１に示す符号化装置１００では、符号化対象ピクチャと参照ピクチャとの時間方向における距離に基づいて、第１の符号化複雑度を補正する。そのため、本符号化装置１００では、符号化対象ピクチャの参照ピクチャとの相違に対応し、符号化対象ピクチャの発生情報量に応じた第１の符号化複雑度を算出できる。従って、符号化装置１００で第１の符号化複雑度に基づいてレート制御を行う場合、発生情報量が第１の符号化複雑度を超えることが抑制される。よって、本符号化装置１００は、第１の符号化複雑度が階層に応じてどのピクチャでも一定の範囲内となる場合と比較して、第１の符号化複雑度の推定精度を向上させることができる。また、本符号化装置１００では、発生情報量が第１の符号化複雑度を超えることが抑制されることで、レート制御が適切に働き、かかる場合と比較して、画質劣化を抑制することができる。

上述した例は、ＨＥＶＣを例にして説明した。例えば、時間軸方向への階層符号化方式で映像データを符号化できるのであれば、ＨＥＶＣだけではなく、他の符号化方式でもよい。そのような符号化方式としては、例えば、Ｈ．２６４｜ＭＰＥＧ－４ ＡＶＣ（Advanced Video Coding）がある。

また、上述した例は、例えば、図３などに示すように、符号化対象ピクチャに対して、参照ピクチャが２つの場合の例について説明した。符号化対象ピクチャに対して、参照ピクチャが３つ以上の場合でもよい。この場合、補正係数設定部１４０は、例えば、３つ以上の参照ピクチャのうち、最小距離や最大距離に基づいて補正係数ｒを算出してもよい。また、参照ピクチャが１つの場合でも、補正係数設定部１４０は、その距離に基づいて補正係数ｒを算出してもよい。

以上まとめると付記のようになる。

（付記１）
入力映像データを第１のフレームレートで時間方向階層符号化を行う符号化装置において、
前記入力映像データを、前記第１のフレームレートよりも低い第２のフレームレートの映像データへ変換する映像変換部と、
前記第２のフレームレートの映像データに対して時間方向階層符号化を行い、前記第２のフレームレートで時間方向階層符号化された第２の階層に属するピクチャの第２の符号化複雑度を出力する第２の映像符号化部と、
前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う場合に第１の階層に属する符号化対象ピクチャの参照先である前記第２の階層に属する参照ピクチャの前記第２の符号化複雑度に基づいて推定される前記符号化対象ピクチャの第１の符号化複雑度を、前記符号化対象ピクチャと前記参照ピクチャとの時間方向における距離に基づいて補正する第１の符号化複雑度算出部と、
前記補正した第１の符号化複雑度に基づいて、前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う第１の映像符号化部と
を備えることを特徴とする符号化装置。

（付記２）
更に、前記符号化対象ピクチャと前記参照ピクチャとの時間方向における距離に基づいて補正係数を算出する補正係数設定部を備え、
前記第１の符号化複雑度算出部は、前記第２の符号化複雑度と前記補正係数とに基づいて前記第１の符号化複雑度を算出することを特徴とする付記１記載の符号化装置。

（付記３）
前記補正係数は前記距離に比例することを特徴とする付記２記載の符号化装置。

（付記４）
前記補正係数設定部は、複数の前記参照ピクチャのうち、前記符号化対象ピクチャとの距離が最も短い前記参照ピクチャとの距離に基づいて前記補正係数を算出することを特徴とする付記２記載の符号化装置。

（付記５）
前記補正係数設定部は、複数の前記参照ピクチャのうち、前記符号化対象ピクチャとの距離が最も長い前記参照ピクチャとの距離に基づいて前記補正係数を算出することを特徴とする付記２記載の符号化装置。

（付記６）
更に、前記符号化対象ピクチャを符号化した際に発生した発生情報量に基づいて補正係数を算出する補正係数設定部を備え、
前記第１の符号化複雑度算出部は、前記第２の符号化複雑度と前記補正係数とに基づいて前記第１の符号化複雑度を算出することを特徴とする付記１記載の符号化装置。

（付記７）
前記補正係数は前記発生情報量に比例することを特徴とする付記６記載の符号化装置。

（付記８）
前記補正係数設定部は、階層符号化がＳＯＰ（Structure Of Pictures）単位で行われ
る場合、前記符号化対象ピクチャの時間方向で１つＳＯＰ前であって、前記符号化対象ピクチャとＳＯＰ内で同一位置に位置するするピクチャで発生した発生情報量に基づいて前記補正係数を算出することを特徴とする付記６記載の符号化装置。

（付記９）
前記補正係数設定部は、階層符号化がＳＯＰ単位で行われる場合、前記符号化対象ピクチャの時間方向で複数ＳＯＰ前であって、前記符号化対象ピクチャとＳＯＰ内で同一位置に位置するピクチャで発生した複数の発生情報量の平均値に基づいて前記補正係数を算出することを特徴とする付記６記載の符号化装置。

（付記１０）
前記補正係数設定部は、前記映像データを前記符号化装置に出力するカメラの移動方向に応じて補正係数を算出することを特徴とする付記２記載の符号化装置。

（付記１１）
前記補正係数設定部は、前記カメラが上又は右方向へ移動するとき、前記参照ピクチャのうち、前記符号化対象ピクチャに対して時間方向で前方にある前方参照ピクチャとの距離に基づいて前記補正係数を算出し、前記カメラが下又は左方向へ移動するとき、前記参照ピクチャのうち、前記符号化対象ピクチャに対して時間方向で後方にある後方参照ピクチャとの距離に基づいて前記補正係数を算出することを特徴とする付記１０記載の符号化装置。

（付記１２）
前記補正係数設定部は、階層符号化を行う際に生成した動きベクトルに基づいて、前記カメラの移動方向を決定することを特徴とする付記１０記載の符号化装置。

（付記１３）
前記補正係数設定部は、前記第２の映像符号化部において階層符号化を行う際に生成した動きベクトルに基づいて前記カメラの移動方向を決定することを特徴とする付記１０記載の符号化装置。

（付記１４）
前記補正係数設定部は、階層符号化がＳＯＰ単位で行われる場合、前記符号化対象ピクチャの時間方向で１ＳＯＰ前に符号化されたピクチャの動きベクトル、前記符号化対象ピクチャと同一のＳＯＰ内におけるＴＩＤ（Temporary Identification）＝１のピクチャの動きベクトル、又は、前記符号化対象ピクチャと同一のＳＯＰ内におけるＴＩＤ＝３のピクチャの動きベクトルに基づいて、前記カメラの移動方向を決定することを特徴とする付記１０記載の符号化装置。

（付記１５）
更に、メモリを備え、
前記第１の符号化複雑度算出部は、前記第２の符号化複雑度をＧＣＭ_６０ｐ、ＧＣＭ＿ＲＡＴＩＯ［ＰＩＣ＿ＴＩＤ６］を「２４」、ＧＣＭ＿ＲＡＴＩＯ［ＰＩＣ＿ＴＩＳ３］を「２０」、及び前記補正係数をｒとすると、前記第１の符号化複雑度ＧＣＭ_１２０ｐを
、前記メモリに記憶された以下の式（９）に代入することで、前記第１の符号化複雑度ＧＣＭ_１２０ｐを算出することを特徴とする付記２又は６記載の符号化装置。

（付記１６）
前記第２の映像符号化部は、階層符号化された前記映像データの発生情報量に基づいて、第２の符号化複雑度を算出する第２の符号化算出部を備えることを特徴とする付記１記載の符号化装置。

（付記１７）
映像変換部と、第２の映像符号化部、第１の符号化複雑度算出部、及び第１の映像符号化部を有し、入力映像データを第１のフレームレートで時間方向階層符号化を行う符号化装置における符号化方法であって、
前記映像変換部により、前記入力映像データを第１のフレームレートよりも低い第２のフレームレートの映像データへ変換し、
前記第２の映像符号化部により、前記第２のフレームレートの映像データに対して時間方向階層符号化を行い、前記第２のフレームレートで時間方向階層符号化された第２の階層に属するピクチャの第２の符号化複雑度を出力し、
前記第１の符号化複雑度算出部により、前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う場合に第１の階層に属する符号化対象ピクチャの参照先である前記第２の階層に属する参照ピクチャの前記第２の符号化複雑度に基づいて推定される前記符号化対象ピクチャの第１の符号化複雑度を、前記符号化対象ピクチャと前記参照ピクチャとの時間方向における距離に基づいて補正し、
前記第１の映像符号化部により、前記補正した第１の符号化複雑度に基づいて、前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う
ことを特徴とする符号化方法。

（付記１８）
入力映像データを第１のフレームレートで時間方向階層符号化を行う符号化装置のコンピュータで実行される符号化プログラムであって、
前記入力映像データを第１のフレームレートよりも低い第２のフレームレートの映像データへ変換し、
前記第２のフレームレートの映像データに対して時間方向階層符号化を行い、前記第２のフレームレートで時間方向階層符号化された第２の階層に属するピクチャの第２の符号化複雑度を出力し、
前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う場合に第１の階層に属する符号化対象ピクチャの参照先である前記第２の階層に属する参照ピクチャの前記第２の符号化複雑度に基づいて推定される前記符号化対象ピクチャの第１の符号化複雑度を、前記符号化対象ピクチャと前記参照ピクチャとの時間方向における距離に基づいて補正し、
前記補正した第１の符号化複雑度に基づいて、前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う
処理をコンピュータに実行させる符号化プログラム。

１００：符号化装置 １１０：映像変換部
１２０：第２の映像符号化部 １２８：動き情報記録部
１２９：第２の符号化複雑度算出部 １３０：第２の符号化複雑度記録部
１４０：補正係数設定部 １５０：第１の符号化複雑度算出部
１６０：第１の映像符号化部 １６２：直交変換及び量子化部
１６７：予測画像作成部 １７０：ＣＰＵ

Claims (6)

1. 入力映像データを第１のフレームレートで時間方向階層符号化を行う符号化装置において、
   前記入力映像データを、前記第１のフレームレートよりも低い第２のフレームレートの映像データへ変換する映像変換部と、
   前記第２のフレームレートの映像データに対して時間方向階層符号化を行い、前記第２のフレームレートで時間方向階層符号化された第２の階層に属するピクチャの第２の符号化複雑度を出力する第２の映像符号化部と、
   前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う場合に第１の階層に属する符号化対象ピクチャの参照先である前記第２の階層に属する参照ピクチャの前記第２の符号化複雑度と、前記符号化対象ピクチャを符号化した際に発生した発生情報量に基づいて算出した補正係数とに基づいて、前記符号化対象ピクチャの第１の符号化複雑度を算出する第１の符号化複雑度算出部と、
   前記算出した第１の符号化複雑度に基づいて、前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う第１の映像符号化部と
   を備えることを特徴とする符号化装置。
2. 前記補正係数は前記発生情報量に比例する
   ことを特徴とする請求項１記載の符号化装置。
3. 前記第１の符号化複雑度算出部は、階層符号化がＳＯＰ（Structure Of Pictures）単位で行われる場合、前記符号化対象ピクチャの時間方向で１つＳＯＰ前であって、前記符号化対象ピクチャとＳＯＰ内で同一位置に位置するピクチャで発生した発生情報量に基づいて前記補正係数を算出する
   ことを特徴とする請求項１記載の符号化装置。
4. 前記第１の符号化複雑度算出部は、階層符号化がＳＯＰ（Structure Of Pictures）単位で行われる場合、前記符号化対象ピクチャの時間方向で複数ＳＯＰ前であって、前記符号化対象ピクチャとＳＯＰ内で同一位置に位置するピクチャで発生した複数の発生情報量の平均値に基づいて前記補正係数を算出する
   ことを特徴とする請求項１記載の符号化装置
5. 映像変換部と、第２の映像符号化部、第１の符号化複雑度算出部、及び第１の映像符号化部を有し、入力映像データを第１のフレームレートで時間方向階層符号化を行う符号化装置における符号化方法であって、
   前記映像変換部により、前記入力映像データを第１のフレームレートよりも低い第２のフレームレートの映像データへ変換し、
   前記第２の映像符号化部により、前記第２のフレームレートの映像データに対して時間方向階層符号化を行い、前記第２のフレームレートで時間方向階層符号化された第２の階層に属するピクチャの第２の符号化複雑度を出力し、
   前記第１の符号化複雑度算出部により、前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う場合に第１の階層に属する符号化対象ピクチャの参照先である前記第２の階層に属する参照ピクチャの前記第２の符号化複雑度と、前記符号化対象ピクチャを符号化した際に発生した発生情報量に基づいて算出した補正係数とに基づいて、前記符号化対象ピクチャの第１の符号化複雑度を算出し、
   前記第１の映像符号化部により、前記算出した第１の符号化複雑度に基づいて、前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う
   ことを特徴とする符号化方法。
6. 入力映像データを第１のフレームレートで時間方向階層符号化を行う符号化装置のコンピュータで実行される符号化プログラムであって、
   前記入力映像データを第１のフレームレートよりも低い第２のフレームレートの映像データへ変換し、
   前記第２のフレームレートの映像データに対して時間方向階層符号化を行い、前記第２のフレームレートで時間方向階層符号化された第２の階層に属するピクチャの第２の符号化複雑度を出力し、
   前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う場合に第１の階層に属する符号化対象ピクチャの参照先である前記第２の階層に属する参照ピクチャの前記第２の符号化複雑度と、前記符号化対象ピクチャを符号化した際に発生した発生情報量に基づいて算出した補正係数とに基づいて、前記符号化対象ピクチャの第１の符号化複雑度を算出し、
   前記算出した第１の符号化複雑度に基づいて、前記入力映像データを前記第１のフレームレートで時間方向階層符号化を行う
   処理をコンピュータに実行させる符号化プログラム。

Images