JP6740533B2 - 符号化装置、復号装置及びプログラム - Google Patents

Description

本発明は、符号化装置、復号装置及びプログラムに関する。

近年、フレーム周波数１２０Ｈｚ（毎秒１２０フレーム）や２４０Ｈｚ（毎秒２４０フレーム）といった高いフレームレートの映像の普及が進んでいる。高いフレームレートの映像は、動きが速い被写体を滑らかに表示することが特徴であり、スポーツ等のコンテンツに適している。今後、フレーム周波数１２０Ｈｚの映像による放送が検討されており、その実現には、圧縮符号化技術が課題となっている。

非特許文献１には、映像の符号化方式の一種である「ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）/Ｈ.２６５方式」における予測方法が記載されている。ＨＥＶＣ/Ｈ.２６５方式では、従来方式である「ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）/Ｈ.２６４方式」と同様に、画面内の近傍の画素から符号化対象部分の画素値を予測するイントラ予測及び近傍のフレームから符号化対象部分の画素値を予測するインター予測の２種類の予測方法が採用されている。

ＨＥＶＣ/Ｈ.２６５方式におけるインター予測では、ＡＶＣ/Ｈ.２６４方式と同様に、複数の参照フレーム候補から選択したフレームを用いて予測を行うことができる。

ここで、図６を参照して、従来のＨＥＶＣ/Ｈ.２６５方式におけるインター予測について簡単に説明する。図６に、８個のフレームからなるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）構造の一例を示す。

図６において、長方形内の数字は、フレーム番号（０〜８）を示す。なお、フレーム番号９以降のフレームについても、同様のＧＯＰ構造を採るものとする。

また、図６において、長方形の下の下線付きの数字は、符号化処理及び復号処理の順番を示す。すなわち、図６の例では、０、８、４、２、１、３、６、５、７、９…のフレーム番号の順にフレームが並べ替えられて、符号化処理及び復号処理が行われる。復号処理の後、フレーム番号の順に再生されるようにフレームが並び替えられる。

図６における矢印は、符号化対象フレームの参照フレームを示す。例えば、図６の例では、フレーム番号８のフレームに対しては、フレーム番号０のフレームの画像を参照した予測が行われ、フレーム番号４のフレームに対しては、フレーム番号０及び８のフレームの画像を参照した予測が行われる。

ＨＥＶＣ/Ｈ.２６５方式では、このように参照フレームから予測して得られたフレームを更に参照フレームとする階層構造を採ることができる。かかる階層構造において、上位のフレームでは、複数の下位のフレームを参照して予測を行うことができるため、予測残差信号が少なくなる。また、通常は、かかる階層構造において、上位のフレームほど、量子化パラメータの値を大きく（すなわち、圧縮率を高く）設定して符号量を少なくするため、符号化効率が良くなる。特に、高いフレームレートの映像は、フレーム間の相関が高いため、かかる階層構造を採ることによって効率よく圧縮することができる。

図６における「ＴｅｍｐｏｒａｌＩｄ」は、時間階層のＩＤである。各フレームは、自身の「ＴｅｍｐｏｒａｌＩｄ」よりも大きい「ＴｅｍｐｏｒａｌＩｄ」を有するフレームを参照することができないという制約がある。

このような階層構造によって、「ＴｅｍｐｏｒａｌＩｄ＝０〜３」のフレームの画像を復号すると、原映像と同じフレーム周波数（例えば、１２０Ｈｚ）の映像となり、「ＴｅｍｐｏｒａｌＩｄ＝０〜２」のフレームの画像を復号すると、偶数のフレーム番号のフレームの画像のみを再生することになるため、原映像の半分のフレーム周波数（例えば、６０Ｈｚ）の映像となる。かかる仕組みを利用することで、１２０Ｈｚの映像の放送を、６０Ｈｚの映像用の受信機でも視聴することができる。

また、非特許文献２には、ＨＥＶＣ/Ｈ.２６５方式における符号化装置のレート制御方法について記載されている。以下、かかるレート制御方法について簡単に説明する。

ここで、目標ビットレートを「Ｒ_ｔａｒ」とし、フレームレートを「ｆ」とすると、１フレーム（ピクチャ）当たりの目標ビットレートは「Ｒ_{ＰｉｃＡｖｇ}＝Ｒ_ｔａｒ/ｆ」となる。

また、符号化済みのピクチャの数を「Ｎ_{ｃｏｄｅｄ}」とし、かかるピクチャのビット量を「Ｒ_{ｃｏｄｅｄ}」とし、現在のＧＯＰに含まれるピクチャの数を「Ｎ_ＧＯＰ（図６の例では「８」）」とし、ビットレートが緩やかに変化するように設定する平滑化ウィンドウサイズを「ＳＷ」とする。

非特許文献２では、「ＳＷ」は、「４０」に設定されており、「ＳＷ＝４０」は、４０個のフレームの間で、目標ビットレートと実際のビットレートとの差分を吸収することを意味する。

これらの変数によって、１個のＧＯＰの目標ビットレートは、「Ｔ_ＧＯＰ＝Ｔ_{ＡｖｇＰｉｃ}・Ｎ_ＧＯＰ」となる。ここで、

である。

また、現在のＧＯＰにおける符号化済みのビット量を「Ｃｏｄｅｄ_ＧＯＰ」とし、現在のＧＯＰ内の各ピクチャに対して割り当てるビット量の重み付けを「ω」とすると、現在のピクチャの目標ビットレートは、

となる。ここで、重み付けωは、図６に示すような階層構造のＧＯＰでは、下位のフレームになるほど大きくなるように設定されている。

符号化処理は、ピクチャ内のブロック単位で行われるため、各ブロックに対して、（数式１）と同様に、目標ビットレートを求めてレート制御を行う。

大久保榮、「Ｈ２６５/ＨＥＶＣ教科書」、初版、インプレスジャパン、２０１３年１０月２１日発行 Ｂｉｎ Ｌｉ、Ｈｏｕｑｉａｎｇ Ｌｉ、Ｌｉ Ｌｉ ａｎｄ Ｊｉｎｌｅｉ Ｚｈａｎｇ、「Ｒａｔｅ ｃｏｎｔｒｏｌ ｂｙ Ｒ-ｌａｍｂｄａ ｍｏｄｅｌ ｆｏｒ ＨＥＶＣ」、ＪＣＴＶＣ-Ｋ０１０３、Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＪＣＴ-ＶＣ） ｏｆ ＩＴＵ-Ｔ ＳＧ １６ ＷＧ ３ ａｎｄ ＩＳＯ/ＩＥＣ ＪＴＣ １/ＳＣ ２９/ＷＧ １１、２０１２年１０月

しかしながら、上述の非特許文献２に規定されているレート制御方法では、階層構造全体（例えば、１２０Ｈｚの映像）のビットレートのみを制御しており、各時間階層のフレームに対して適切な符号量を割り当てることを考慮していない。そのため、異なる時間階層（例えば、６０Ｈｚの映像）のフレームの画像に対する復号処理及び再生処理を行う場合に画質が劣化してしまう恐れがあるという問題点があった。

そこで、本発明は、上述した課題を解決するためになされたものであり、全体のビットレートを保ったまま様々な時間階層のフレームの画像に対する復号処理及び再生処理を行う際に、画質の劣化を防ぐことができる符号化装置、復号装置及びプログラムを提供することを目的とする。

本発明の第１の特徴は、原映像と同じ第１フレーム周波数の映像及び前記第１フレーム周波数よりも低い第２フレーム周波数の映像のいずれも再生可能な時間階層符号化を行うように構成されている符号化装置であって、符号化対象フレームの画像と前記符号化対象フレームの近傍のフレームの画像との相関を示す指標を算出するように構成されているフレーム相関算出部と、前記指標に基づいて、前記第１フレーム周波数の映像用の画像に対して割り当てるべき符号量と前記第２フレーム周波数の映像用の画像に対して割り当てるべき符号量との配分を決定するように構成されている符号量配分決定部と、前記配分に基づいて、符号化処理を制御するように構成されている符号化制御部とを具備することを要旨とする。

本発明の第２の特徴は、原映像と同じ第１フレーム周波数の映像用の画像及び前記第１フレーム周波数よりも低い第２フレーム周波数の映像用の画像のいずれも復号することができるように構成されている復号装置であって、復号されたフレームの画像と前記復号されたフレームの近傍のフレームの画像との相関を示す指標を算出し、前記指標に基づいて、前記第１フレーム周波数の映像に対して割り当てられている符号量と前記第２フレーム周波数の映像に対して割り当てられている符号量との配分を決定するように構成されている符号量配分決定部と、前記配分に基づいて、復号処理を行うように構成されている復号制御部とを具備することを要旨とする。

本発明の第３の特徴は、コンピュータを、上述の第１の特徴に係る符号化装置として機能させるためのプログラムであることを要旨とする。

本発明の第４の特徴は、コンピュータを、上述の第２の特徴に係る復号装置として機能させるためのプログラムであることを要旨とする。

本発明によれば、全体のビットレートを保ったまま様々な時間階層のフレームの画像に対する復号処理及び再生処理を行う際に、画質の劣化を防ぐことができる符号化装置、復号装置及びプログラムを提供することができる。

図１は、第１の実施形態に係る時間階層符号化の一例を説明するための図である。 図２は、第１の実施形態に係る符号化装置１の機能ブロック図の一例である。 図３は、第１の実施形態に係る符号化装置１の動作を示すフローチャートの一例である。 図４は、第１の実施形態に係る復号装置３の機能ブロック図の一例である。 図５は、第１の実施形態に係る復号装置３の動作を示すフローチャートの一例である。 図６は、従来技術を説明するための図である。

（第１の実施形態）
以下、図１〜図５を参照して、本発明の第１の実施形態に係る符号化装置１及び復号装置３について説明する。本実施形態に係る符号化装置１及び復号装置３は、時間階層符号化に対応することができるように構成されている。

ここで、符号化装置１が、時間階層符号化を行う場合、復号装置３は、フレームの画像を復号する時間階層を調整することによって、再生する映像のフレーム周波数を変更することができる。

以下、図１を参照して、本実施形態において行われる時間階層符号化の一例について説明する。

一般的に、高いフレームレートの映像では、フレーム間の差分が小さくなることから、低いフレームレートの映像の場合と比べてＧＯＰのサイズを大きくした際の符号化効率の向上が大きくなるため、例えば、ＧＯＰのサイズとして「１６」が用いられる。図１に、ＧＯＰのサイズが「１６」である階層構造の一例について示す。

ＧＯＰのサイズが「１６」である階層構造では、図６に示すＧＯＰのサイズが「８」である階層構造と比べて、時間階層が１つ増えており、最大で「ＴｅｍｐｏｒａｌＩｄ＝４」まで設定することができる。

図１の例では、説明の便宜のために、「ＴｅｍｐｏｒａｌＩｄ＝０〜１」のみが設定されており、「ＴｅｍｐｏｒａｌＩｄ＝０〜１」のフレームの画像が復号されると、原映像と同じフレーム周波数である第１フレーム周波数（例えば、１２０Ｈｚ）の映像が再生されることになり、「ＴｅｍｐｏｒａｌＩｄ＝０」のフレームの画像のみが復号されると、第１フレーム周波数よりも低い第２フレーム周波数（例えば、６０Ｈｚ）の映像が再生されることになるものとする。

なお、図１においても、図６と同様に、長方形内の数字は、フレーム番号（０〜１６）を示し、長方形の下の下線付きの数字は、符号化処理及び復号処理の順番を示す。

図２に示すように、本実施形態に係る符号化装置１は、フレームバッファ１１と、フレーム相関算出部１２と、符号量配分決定部１３と、符号化制御部１４と、符号化処理部１５とを具備している。

フレームバッファ１１は、入力された原映像を構成する各フレームの画像を一時的に記憶するように構成されている。

フレーム相関算出部１２は、符号化対象フレームの画像と符号化対象フレームの近傍のフレームの画像との相関を示す指標を算出するように構成されている。

ここで、かかる近傍のフレームは、符号化対象フレームに連続するフレームであってもよい。

なお、計算量が多くなることや符号化処理においてフレームの並び替えが行われることを考慮して、かかる近傍のフレームは、符号化対象フレームとの間で所定の時間的関係を有するフレーム（例えば、符号化対象フレームのフレーム番号よりもＮだけフレーム番号が大きい或いは小さいフレーム等）であってもよい。例えば、フレーム相関算出部１２は、図１におけるフレーム番号０と８のフレームの画像間の相関やフレーム番号８と１６のフレームの画像間の相関を示す指標等を算出するように構成されていてもよい。

例えば、フレーム相関算出部１２は、かかる指標として、符号化対象フレームの画像と符号化対象フレームに連続するフレームとの間の相関係数ｒを算出するように構成されていてもよい。

具体的には、フレーム相関算出部１２は、以下の（数式２）によって、符号化対象フレームｆ_１の画像と符号化対象フレームｆ_１に連続するフレームｆ_２との間の相関係数ｒを算出するように構成されていてもよい。

ここで、「ｆ_１（ｘ,ｙ）」は、符号化対象フレームｆ_１の画像の座標（ｘ,ｙ）における輝度値を示し、「ｆ_２（ｘ,ｙ）」は、符号化対象フレームｆ_１に連続するフレームｆ_２の画像の座標（ｘ,ｙ）における輝度値を示す。

また、「ｆ_{１_ａｖｅ}」は、符号化対象フレームｆ_１の画像における輝度値の相加平均を示し、「ｆ_{２_ａｖｅ}」は、符号化対象フレームｆ_１に連続するフレームｆ_２の画像における輝度値の相加平均を示す。

なお、自然画像において、相関係数ｒは、０.４０〜１.００程度の値を採る。例えば、固定撮影によって得られた画像では、相関係数ｒは、０.９９以上の値を採り、動きが非常に大きいシーンの画像では、相関係数ｒは、０.７０程度の値を採る。

また、フレーム相関算出部１２は、各フレームで相関係数ｒを算出するように構成されていてもよいし、ＧＯＰの先頭でのみ相関係数ｒを算出するように構成されていてもよい。

符号量配分決定部１３は、上述の指標（例えば、相関係数ｒ）に基づいて、第１フレーム周波数（例えば、１２０Ｈｚ）の映像用の画像に対して割り当てるべき符号量と第２フレーム周波数（例えば、６０Ｈｚ）の映像用の画像に対して割り当てるべき符号量との配分（以下、符号量配分）を決定するように構成されている。

ここで、図１の例では、第１フレーム周波数（例えば、１２０Ｈｚ）の映像用の画像は、「ＴｅｍｐｏｒａｌＩｄ＝０〜１」のフレームの画像（すなわち、フレーム番号０〜１６のフレームの画像）であり、第２フレーム周波数（例えば、６０Ｈｚ）の映像用の画像は、「ＴｅｍｐｏｒａｌＩｄ＝０」のフレームの画像（すなわち、フレーム番号０、２、４、６、８、１０、１２、１４、１６のフレームの画像）である。

なお、「ＴｅｍｐｏｒａｌＩｄ＝１」のフレームの画像は、第１フレーム周波数（例えば、１２０Ｈｚ）の映像用の画像と第２フレーム周波数（例えば、６０Ｈｚ）の映像用の画像との差分に対応する。

例えば、上述の符号量配分は、第２フレーム周波数（例えば、６０Ｈｚ）の映像用の画像（フレーム内のブロック）のビットレートに対する第１フレーム周波数（例えば、１２０Ｈｚ）の映像用の画像（フレーム内のブロック）のビットレートの割合という形で表記することができる。

かかる場合、第１フレーム周波数（例えば、１２０Ｈｚ）の映像用の画像（フレーム内のブロック）のビットレートを「１０Ｍｂｐｓ」とし、第２フレーム周波数（例えば、６０Ｈｚ）の映像用の画像（フレーム内のブロック）のビットレートを「８Ｍｂｐｓ」とすると、上述の符号量配分は、「１２５％（＝１０Ｍｂｐｓ/８Ｍｂｐｓ×１００）」となる。

具体的には、符号量配分決定部１３は、例えば、以下の（表１）を参照して、相関係数ｒから符号量配分を決定するように構成されていてもよい。

例えば、符号量配分決定部１３は、相関係数ｒが「０.７０」よりも小さい場合、符号量配分を「１１３％」とし、相関係数ｒが「０.７０」以上で「０.８０」よりも小さい場合、符号量配分を「１１０％」とし、相関係数ｒが「０.８０」以上で「０.９０」よりも小さい場合、符号量配分を「１０８％」とし、相関係数ｒが「０.９０」以上で「０.９９」よりも小さい場合、符号量配分を「１０５％」とし、相関係数ｒが「０.９９」以上である場合、符号量配分を「１０３％」とするように構成されていてもよい。

なお、符号量配分決定部１３は、符号化対象フレームとの間で所定の時間的関係を有するフレームと符号化対象フレームとの間の相関係数ｒが算出されている場合には、（表１）における符号化配分に対応する相関係数ｒの閾値を小さくするように構成されていてもよい。

また、符号量配分決定部１３は、（表１）において現在と異なる符号量配分に対応する相関係数ｒが複数回連続したことを検出した場合に、（表１）における対応関係を変更するように構成されていてもよい。

符号化制御部１４は、かかる符号量配分に基づいて、符号化処理部１５における符号化処理を制御するように構成されている。具体的には、符号化制御部１４は、かかる符号量配分に基づいて、かかる符号化処理におけるレート制御を行うように構成されている。以下、かかるレート制御の一例について説明する。

ここで、符号化制御部１４は、「ＴｅｍｐｏｒａｌＩｄ＝１」のフレームの画像に対しては、従来通り、上述の（数式１）等を用いて、階層構造全体（第１フレーム周波数（例えば、１２０Ｈｚ）の映像）のビットレートを制御するように構成されていてもよい。

一方、符号化制御部１４は、「ＴｅｍｐｏｒａｌＩｄ＝０」のフレームに対しては、以下のように、第２フレーム周波数（例えば、６０Ｈｚ）の映像）としてレート制御を行うように構成されている。

第１に、符号化制御部１４は、上述の符号量配分に基づいて、「ＴｅｍｐｏｒａｌＩｄ＝０」のフレーム（第２フレーム周波数（例えば、６０Ｈｚ）の映像）の目標ビットレートＲ_ｔａｒ０を設定するように構成されている。

例えば、符号化制御部１４は、「ＴｅｍｐｏｒａｌＩｄ＝０〜１」のフレーム（第１フレーム周波数（例えば、１２０Ｈｚ）の映像）の目標ビットレートＲ_ｔａｒが「５Ｍｂｐｓ」であり、符号量配分が「１０３％」である場合、「ＴｅｍｐｏｒａｌＩｄ＝０」のフレーム（第２フレーム周波数（例えば、６０Ｈｚ）の映像）の目標ビットレートＲ_ｔａｒ０を「４.８５Ｍｂｐｓ（＝５Ｍｂｐｓ×１００/１０３）」と設定するように構成されている。

ここで、「ＴｅｍｐｏｒａｌＩｄ＝０」のフレーム（第２フレーム周波数（例えば、６０Ｈｚ）の映像）のフレームレートを「ｆ_０」とすると、符号化制御部１４は、１フレーム（ピクチャ）当たりの目標ビットレートを「Ｒ_{ＰｉｃＡｖｇ０}＝Ｒ_ｔａｒ０/ｆ_０」と設定するように構成されている。

また、符号化済みの「ＴｅｍｐｏｒａｌＩｄ＝０」のフレーム（ピクチャ）の数を「Ｎ_{ｃｏｄｅｄ０}」とし、かかるピクチャのビット量を「Ｒ_{ｃｏｄｅｄ0}」とし、現在のＧＯＰに含まれる「ＴｅｍｐｏｒａｌＩｄ＝０」のピクチャの数を「Ｎ_ＧＯＰ０（図１の例では「８」）」とし、ビットレートが緩やかに変化するように設定する平滑化ウィンドウサイズを「ＳＷ_０」とする。ここで、平滑化ウィンドウサイズＳＷ_０は、平滑化ウィンドウサイズＳＷと同じ値であってもよいし異なる値であってもよい。

ここで、符号化制御部１４は、これらの変数によって、１個のＧＯＰ内の「ＴｅｍｐｏｒａｌＩｄ＝０」のフレームの目標ビットレートを「Ｔ_ＧＯＰ０＝Ｔ_{ＡｖｇＰｉｃ０}・Ｎ_ＧＯＰ０」とするように構成されている。ここで、

である。

また、現在のＧＯＰにおける符号化済みの「ＴｅｍｐｏｒａｌＩｄ＝０」のフレームのビット量を「Ｃｏｄｅｄ_ＧＯＰ０」とし、現在のＧＯＰ内の「ＴｅｍｐｏｒａｌＩｄ＝０」の各ピクチャに対して割り当てるビット量の重み付けを「ω」とすると、符号化制御部１４は、現在のピクチャの目標ビットレートを、

と設定するように構成されている。

符号化処理部１５は、符号化制御部１４による制御に従って符号化処理を行うように構成されている。

図３に、本実施形態に係る符号化装置１の動作の一例について説明するためのフローチャートについて示す。

図３に示すように、ステップＳ１０１において、符号化装置１は、符号化対象フレームの画像と符号化対象フレームに連続するフレームとの間の相関係数を算出する。

ステップＳ１０２において、符号化装置１は、相関係数ｒに基づいて、第１フレーム周波数（例えば、１２０Ｈｚ）の映像用の画像に対して割り当てるべき符号量と第２フレーム周波数（例えば、６０Ｈｚ）の映像用の画像に対して割り当てるべき符号量との配分、すなわち、時間階層ごとの符号量配分を決定する。

ステップＳ１０３において、符号化装置１は、かかる符号量配分に基づいてレート制御を行う。

ステップＳ１０４において、符号化装置１は、符号化対象フレームが最後のフレームであるか否かについて判定する。符号化装置１は、「Ｙｅｓ」の場合、本動作を終了し、「Ｎｏ」の場合、ステップＳ１０１に戻り、次のフレームに対して符号化処理を行う。

図４に示すように、本実施形態に係る復号装置３は、復号処理部３１と、フレームバッファ３２と、符号量配分推定部３３と、復号制御部３４とを具備している。

復号処理部３１は、後述する復号制御部３４による制御に従って復号処理を行うように構成されている。

フレームバッファ３２は、復号処理部３１によって復号されたフレームの画像を一時的に記憶するように構成されている。

符号量配分推定部３３は、復号されたフレームの画像と復号されたフレームの近傍のフレームの画像との相関を示す指標を算出するように構成されている。

ここで、かかる近傍のフレームは、復号されたフレームに連続するフレームであってもよいし、復号されたフレームとの間で所定の時間的関係を有するフレーム（例えば、復号されたフレームのフレーム番号よりもＮだけフレーム番号が大きい或いは小さいフレーム等）であってもよい。

例えば、符号量配分推定部３３は、かかる指標として、上述のフレーム相関算出部１２と同様に、復号されたフレームの画像と復号されたフレームに連続するフレームとの間の相関係数ｒを算出するように構成されていてもよい。

また、符号量配分推定部３３は、上述の符号量配分決定部１３と同様に、かかる指標（例えば、相関係数ｒ）に基づいて、「ＴｅｍｐｏｒａｌＩｄ＝０〜１」のフレームの画像（第１フレーム周波数（例えば、１２０Ｈｚ）の映像用の画像）に対して割り当てられている符号量と「ＴｅｍｐｏｒａｌＩｄ＝０」のフレームの画像（第２フレーム周波数（例えば、６０Ｈｚ）の映像用の画像）に対して割り当てられている符号量との配分（以下、符号量配分）を推定するように構成されている。

復号制御部３４は、かかる符号量配分に基づいて、復号処理を行うように構成されている。

例えば、符号量配分が小さい場合には、時間階層における上位のフレーム（例えば、「ＴｅｍｐｏｒａｌＩｄ＝１」）に対して割り当てられている符号量が小さく、復号処理の演算量が少ない。かかる場合、復号制御部３４は、復号処理部３１において、かかるフレームを処理している部分の動作周波数を遅くしたりスレッド数を少なくしたりするように制御してもよい。一方、復号処理部３１において、時間階層における下位のフレーム（例えば、「ＴｅｍｐｏｒａｌＩｄ＝０」）を処理している部分の演算量が増えることが想定されるため、復号制御部３４は、かかる部分の動作周波数を早くしたりスレッド数を多くしたりするように制御してもよい。

図５に、本実施形態に係る復号装置３の動作の一例について説明するためのフローチャートについて示す。

図５に示すように、ステップＳ２０１において、復号装置３は、復号されたフレームの画像と復号されたフレームに連続するフレームとの間の相関係数ｒを算出する。

ステップＳ２０２において、復号装置３は、相関係数ｒに基づいて、第１フレーム周波数（例えば、１２０Ｈｚ）の映像用の画像に対して割り当てられている符号量と第２フレーム周波数（例えば、６０Ｈｚ）の映像用の画像に対して割り当てられている符号量との配分、すなわち、時間階層ごとの符号量配分を推定する。

ステップＳ２０３において、復号装置３は、かかる符号量配分に基づいて、復号処理部３１を制御する。

ステップＳ２０４において、復号装置３は、復号されたフレームが最後のフレームであるか否かについて判定する。復号装置３は、「Ｙｅｓ」の場合、本動作を終了し、「Ｎｏ」の場合、ステップＳ２０１に戻り、次のフレームに対して復号処理を行う。

本実施形態に係る符号化装置１及び復号装置３によれば、フレーム間の相関係数ｒが高いほど、「ＴｅｍｐｏｒａｌＩｄ＝１」のフレームに対して割り当てるべき符号量を小さくすることができ、「ＴｅｍｐｏｒａｌＩｄ＝０」のフレーム（第２フレーム周波数（例えば、６０Ｈｚ）の映像）に対して割り当てるべき符号量を増やすことができるので、第２フレーム周波数（例えば、６０Ｈｚ）の映像及び第１フレーム周波数（例えば、１２０Ｈｚ）の映像を復号して再生した場合に、いずれの映像の画質も向上させることができる。

（変更例）
以下、上述の第１の実施形態に係る符号化装置１及び復号装置３の変更例について説明する。

本変更例において、符号化装置１の符号量配分決定部１３は、上述の指標（例えば、相関係数ｒ）に基づいて、符号化対象の画像が固定撮影によって得られた画像であるか否かについて判定し、かかる判定結果に基づいて、上述の符号量配分を決定するように構成されている。

例えば、符号量配分決定部１３は、相関係数が「０.９９」以上である場合やフレーム間の絶対値の差分が所定閥値以下である場合に、符号化対象の画像が固定撮影によって得られた画像であると判定するように構成されていてもよい。

かかる場合、符号量配分決定部１３は、符号化対象の画像が固定撮影によって得られた画像であると判定した場合に、符号量配分を「１０３％」とし、符号化対象の画像が固定撮影によって得られた画像でないと判定した場合に、符号量配分を「１１０％」とする２段階切替とするように構成されていてもよい。

固定撮影によって得られた画像では、第２フレーム周波数（例えば、６０Ｈｚ）の映像用の画像に対する符号量の割り当てが十分でない場合に静止部分の劣化が目立ちやすいこと、及び、固定撮影によって得られた画像ではない画像では、符号量配分が適切ではない場合であっても動きが速いために視覚的には固定撮影によって得られた画像と比べて品質の違いが認識されにくいという評価結果が得られている。したがって、上述の構成によれば、視覚的な不具合を最小限にしつつ、演算量を削減することができる。

また、本変更例において、相関係数ｒが「０.５」を下回った場合には、符号化装置１は、シーンチェンジを検出し、 I-ｓｌｉｃｅ を挿入するように構成されていてもよい。

また、本変更例において、符号化装置１は、リアルタイム処理を前提としているが、２パスで全フレームの画像間の相関係数ｒを算出した後に、符号化処理を行うように構成されていてもよい。

また、上述の実施形態では、時間階層が２層である場合を例に挙げて説明したが、かかる時間階層が３層以上であってもよい。かかる場合、符号量配分は、時間階層ごとに異なってもよい。例えば、一般的に、６０Ｈｚの映像用の画像と３０Ｈｚの映像用の画像との相関は低いため、符号量配分決定部１３は、６０Ｈｚの映像用の画像に対して割り当てられている符号量と３０Ｈｚの映像用の画像に対して割り当てられている符号量との配分（符号量配分）を、（表１）に規定されている符号量配分よりも大きくするように構成されていてもよい。

さらに、本変更例では、符号化装置１は、復号装置３に対して、メタデータ等によって符号量配分に関する情報を送信し、復号装置３は、自身で推定した符号量配分に基づいて復号処理を行う代わりに、かかる符号量配分に関する情報を用いて復号処理を行うように構成されていてもよい。

（その他の実施形態）
上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

また、上述の実施形態では特に触れていないが、上述の符号化装置１及び復号装置３によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の記録媒体であってもよい。

或いは、上述の符号化装置１及び復号装置３内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。

１…符号化装置
１１…フレームバッファ
１２…フレーム相関算出部
１３…符号量配分決定部
１４…符号化制御部
１５…符号化処理部
３…復号装置
３１…復号処理部
３２…フレームバッファ
３３…符号量配分推定部
３４…復号制御部

Claims (8)

1. 原映像と同じ第１フレーム周波数の映像及び前記第１フレーム周波数よりも低い第２フレーム周波数の映像のいずれも再生可能な時間階層符号化を行うように構成されている符号化装置であって、
   符号化対象フレームの画像と前記符号化対象フレームの近傍のフレームの画像との相関を示す指標を算出するように構成されているフレーム相関算出部と、
   前記指標に基づいて、前記第１フレーム周波数の映像用の画像に対して割り当てるべき符号量と前記第２フレーム周波数の映像用の画像に対して割り当てるべき符号量との配分を決定するように構成されている符号量配分決定部と、
   前記配分に基づいて、符号化処理を制御するように構成されている符号化制御部とを具備することを特徴とする符号化装置。
2. 前記近傍のフレームは、前記符号化対象フレームに連続するフレームであることを特徴とする請求項１に記載の符号化装置。
3. 前記符号量配分決定部は、前記指標に基づいて、前記符号化対象の画像が固定撮影によって得られた画像であるか否かについて判定し、前記判定結果に基づいて、前記配分を決定するように構成されていることを特徴とする請求項１又は２に記載の符号化装置。
4. 原映像と同じ第１フレーム周波数の映像用の画像及び前記第１フレーム周波数よりも低い第２フレーム周波数の映像用の画像のいずれも復号することができるように構成されている復号装置であって、
   復号されたフレームの画像と前記復号されたフレームの近傍のフレームの画像との相関を示す指標を算出し、前記指標に基づいて、前記第１フレーム周波数の映像用の画像に対して割り当てられている符号量と前記第２フレーム周波数の映像用の画像に対して割り当てられている符号量との配分を推定するように構成されている符号量配分推定部と、
   前記配分に基づいて、復号処理を行うように構成されている復号制御部とを具備することを特徴とする復号装置。
5. 前記近傍のフレームは、前記復号されたフレームに連続するフレームであることを特徴とする請求項４に記載の復号装置。
6. 前記符号量配分推定部は、前記指標に基づいて、前記復号された画像が固定撮影によって得られた映像であるか否かについて判定し、前記判定結果に基づいて、前記配分を推定するように構成されていることを特徴とする請求項４又は５に記載の復号装置。
7. コンピュータを、請求項１〜３のいずれか一項に記載の符号化装置として機能させるためのプログラム。
8. コンピュータを、請求項４〜６のいずれか一項に記載の復号装置として機能させるためのプログラム。

Images