JP6838888B2

JP6838888B2 - 符号化装置及びプログラム

Info

Publication number: JP6838888B2
Application number: JP2016158193A
Authority: JP
Inventors: 泰子森田; 菊文神田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2016-08-10
Filing date: 2016-08-10
Publication date: 2021-03-03
Anticipated expiration: 2036-08-10
Also published as: JP2018026732A

Description

本発明は、時間階層符号化を行う符号化装置に関するものである。

近年、フレーム周波数が１２０Ｈｚ（毎秒１２０フレーム）や２４０Ｈｚ（毎秒２４０フレーム）といった高フレームレートの映像が普及しつつある。高フレームレート映像は動きが速い被写体をなめらかに表示できることが特徴であり、スポーツなどのコンテンツに適している。今後１２０Ｈｚ映像による放送が検討されており、その実現には圧縮符号化技術が課題となっている。１２０Ｈｚ映像をリアルタイムに符号化するためには、１フレームを従来の６０Ｈｚ映像の半分の時間で処理する必要がある。

非特許文献１には、８Ｋ／４Ｋ放送規格で採用されている映像符号化方式であるＨ．２６５／ＨＥＶＣ(High Efficiency Video Coding)の予測方法が記載されている。Ｈ．２６５／ＨＥＶＣでは従来方式のＨ．２６４／ＡＶＣ(Advanced Video Coding)と同様に、近傍のフレームから符号化する部分の画素値を予測するインター予測が採用されている。Ｈ．２６５／ＨＥＶＣのインター予測はＨ．２６４／ＡＶＣと同様に、複数の参照フレーム候補から選択したフレームを用いて予測することができる。図９に、Ｈ．２６５／ＨＥＶＣにおける１６フレームからなるＧＯＰ(Group Of Picture)構造の一例を示す。

図９において長方形内の数字はフレーム番号を示し、フレーム番号１７以降についても同様のＧＯＰ構造をとるものとする。図中の下線を付した数字は符号化・復号処理の順番を示し、フレーム番号０，１６，８，４，２，１，３，６，５，７・・・の順にフレームが並び替えられる。復号処理の後には０から順にモニタに表示されるようにフレームが並び替えられる。

また、図中の矢印は参照フレームを示す。例えば、フレーム番号１６のフレームはフレーム番号０の符号化画像を参照して予測され、フレーム番号８のフレームはフレーム番号０及び１６の符号化画像を参照して予測される。Ｈ．２６５／ＨＥＶＣでは、このように参照フレームから予測したフレームをさらに参照フレームとする階層構造をとることができる。このようなフレーム参照のくり返しによる階層を、本明細書では「参照階層」と称する。

一般に参照フレームの画質が高いほど予測精度が向上するため、参照される頻度の高い参照階層の下位では圧縮率を低く設定し、下位のフレームを複数参照可能な上位ほど圧縮率を高く設定することで、全体の符号化効率を改善することができる。特に、高フレームレート映像はフレーム間の相関が高いため、階層構造をとることによって効率よく圧縮することができる。

図中の時間階層ＩＤ_ｔ（０〜４）は、時間階層における各階層の順位を示す。各フレームは自分よりも時間階層が上位のフレームを参照することができないという制約がある。このような時間階層構造によって、時間階層ＩＤ_ｔが０〜４のすべての階層を復号する際には、原画像と同じフレーム周波数（例えば、１２０Ｈｚ）の映像となる。時間階層ＩＤ_ｔが０〜３までの階層を復号する際には偶数番号のフレームのみを再生することから、原画像の半分のフレーム周波数（例えば、６０Ｈｚ）の映像となる。この仕組みを利用することで、１２０Ｈｚ映像の放送を６０Ｈｚ映像の受信機でも視聴することができる。このように時間順序で一部のフレームのみを抽出して復号できるような階層符号化を時間階層符号化という。

さらに非特許文献１には、Ｈ．２６５／ＨＥＶＣのブロック分割方法が記載されている。Ｈ．２６５／ＨＥＶＣでは従来方式のＨ．２６４／ＡＶＣと同様に、画像を所定のブロックサイズの領域に区切り、ブロック単位で符号化、予測、変換処理を行う。Ｈ．２６５／ＨＥＶＣは従来方式に比べて様々な大きさのブロックが用いられていることが特徴である。図１０にＨ．２６５／ＨＥＶＣにおける画像のブロック分割の一例を示す。

図１０（ａ）に示す原画像は、図１０（ｂ）に示すように６４×６４〜１６×１６画素の固定サイズの正方ブロックの符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）で分割される。ここではＣＴＵサイズを６４×６４画素としている。ＣＴＵは輝度及び色差信号のＣＴＢ（Coding Tree Block）から構成される。色差信号の空間解像度はサブサンプリング形式（４：２：０，４：２：２，４：４：４）によって異なるため、ブロック分割の方法やブロックサイズが輝度信号と異なる。以下、“Ｕｎｉｔ”を意味する用語は、同様に輝度及び色差信号の“Ｂｌｏｃｋ”から構成されるものであり、ここでは輝度信号に対する処理のみに言及するものとする。

Ｈ．２６５／ＨＥＶＣの符号化処理はＣＴＵ単位で行われ、ＣＴＵ内は６４×６４〜８×８画素の正方ブロックの符号ユニット（ＣＵ：Coding Unit）に四分木構造（２Ｎ×２Ｎブロック内を田の字状にＮ×Ｎブロック４つで分割する構造）によって分割される。図１０（ｃ）に示すように、画素値の変化が少ない部分に大きいサイズのＣＵを割り当て、エッジや細かいテクスチャ部分に小さいサイズのＣＵを割り当てることにより、符号化効率や画質を向上させることができる。Ｈ．２６５／ＨＥＶＣでは変換ユニット（ＴＵ：Transform Unit）もＣＵと同様に四分木構造で分割される。ＴＵはＣＵサイズに応じた最大サイズをとり、３２×３２〜４×４画素の正方ブロックに分割される。

大久保榮監修、「インプレス標準教科書シリーズＨ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

Ｈ．２６５／ＨＥＶＣでは柔軟なブロック分割が可能であり、適切な分割をした場合には符号化効率や画質が向上する反面、何通りもの組み合わせの中から最適なブロック分割方法を決定することは困難である。例えば、Ｈ．２６５／ＨＥＶＣの標準化で使用されている参照ソフトウェアでは、ほぼ全通りのブロック分割方法を試行してコスト計算をした後、最適なブロックサイズを選択する。このため、符号化処理に膨大な時間を要するという課題があった。

かかる事情に鑑みてなされた本発明の目的は、高フレームレート映像の時間階層符号化において、符号化効率の低下を抑えたまま適切なブロック分割を行い、符号化処理の演算時間を短縮することが可能な符号化装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る符号化装置は、符号化対象フレームを所定のサイズの符号ユニットに分割して符号化処理を行うとともに、時間階層符号化を行う符号化装置であって、符号化対象フレームが符号化時に参照する参照フレームについて参照階層の順位を取得する参照階層順位取得部と、前記符号化対象フレームが最上位時間階層であり、且つ前記参照階層順位取得部により取得された前記参照階層の順位が第１の閾値以上である場合には、それ以外の場合よりもＣＵサイズの候補数を少なくし、所定値よりも小さいＣＵサイズを候補から除外するブロックサイズ候補決定部と、前記ＣＵサイズの候補からＣＵサイズを選択し、前記符号化対象フレームを該ＣＵサイズの符号ユニットに分割して符号化処理を行う符号化部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明に係る符号化装置は、符号化対象フレームを所定のサイズの符号ユニットに分割して符号化処理を行うとともに、時間階層符号化を行う符号化装置であって、符号化対象フレームが符号化時に参照する参照フレームについて参照階層の順位を取得する参照階層順位取得部と、前記符号化対象フレームが最上位時間階層であり、且つ前記参照階層順位取得部により取得された前記参照階層の順位が第２の閾値以上である場合には、それ以外の場合よりもＴＵサイズの候補数を少なくし、所定値よりも小さいＴＵサイズを候補から除外するブロックサイズ候補決定部と、前記符号化対象フレームを符号ユニットに分割して符号化処理を行う符号化部と、を備え、前記符号化部は前記ＴＵサイズの候補からＴＵサイズを選択し、該ＴＵサイズの変換ユニット単位で変換処理を行うことを特徴とする。

さらに、本発明に係る符号化装置において、前記ブロックサイズ候補決定部は、前記符号化対象フレームが最上位時間階層であり、且つ前記参照階層順位取得部により取得された前記参照階層の順位が第１の閾値以上である場合には、それ以外の場合よりもＣＵサイズの候補数を少なくし、所定値よりも小さいＣＵサイズを候補から除外し、前記符号化部は、前記ＣＵサイズの候補からＣＵサイズを選択し、前記符号化対象フレームを該ＣＵサイズの符号ユニットに分割することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。

本発明によれば、高フレームレート映像の時間階層符号化において、符号化効率の低下を抑えたまま、適切なブロック分割を行うことができ、符号化処理の演算時間を短縮することができる。

本発明の第１の実施形態に係る符号化装置の構成例を示すブロック図である。参照階層と時間階層が異なるＧＯＰ構造の一例を示す図である。本発明の第１の実施形態に係る符号化装置の動作例を示すフローチャートである。本発明の第１の実施形態に係る符号化装置における符号化部の構成例を示すブロック図である。本発明の第２の実施形態に係る符号化装置の構成例を示すブロック図である。本発明の第２の実施形態に係る符号化装置における符号化部の構成例を示すブロック図である。本発明の第２の実施形態に係る符号化装置の動作例を示すフローチャートである。本発明の第２の実施形態に係る符号化装置の実験結果の一例を示す図である。Ｈ．２６５／ＨＥＶＣにおけるＧＯＰ構造の一例を示す図である。Ｈ．２６５／ＨＥＶＣにおける画像のブロック分割の一例を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

まず、本発明で用いる参照階層について説明する。参照階層とは、ＧＯＰ構造において、符号化対象フレームのインター予測時における参照関係を階層化し、参照元のフレームを参照先のフレームよりも上位の階層に配置したものである。

図９に示したＧＯＰ構造（以下、「ＧＯＰ構造Ａ」という。）は時間階層で示しているが、参照階層で示しても同一のフレーム配置となる。一方、参照階層と時間階層が異なるＧＯＰ構造もある。図２に参照階層と時間階層が異なるＧＯＰ構造の一例を示す。図２に示したＧＯＰ構造（以下、ＧＯＰ構造Ｂという）は、ＡＲＩＢＳＴＤ−Ｂ３２３．６版「デジタル放送における映像符号化、音声符号化及び多重化方式」（２０１６年３月２５日改定）に記載の８Ｋ／１２０Ｈｚ放送におけるＨ．２６５／ＨＥＶＣのＧＯＰ構造（以下、「ＧＯＰ構造Ｂ」という。）である。本実施形態では、ＧＯＰ構造Ｂを用いて符号化するものとする。

ＧＯＰ構造Ｂは１６フレームからなり、図２（ａ）の下線で示す数字は符号化・復号処理の順番を意味する。この順番に復号することにより、６０Ｈｚ映像（偶数番号フレーム）と１２０Ｈｚ映像（全ての番号のフレーム）を同期させて再生することができる。

図２（ｂ）は、ＧＯＰ構造Ｂを参照階層で示した図である。参照階層ＩＤ_ｒ（０〜４）は、参照階層の順位を示す。図２（ｂ）では各フレームを、該フレームの参照フレームのうち、最も参照階層ＩＤ_ｒが高いフレームの一つ上位の階層に配置している。例えばフレーム番号９のフレームは、参照階層ＩＤ_ｒが１のフレーム番号８のフレームと、参照階層ＩＤ_ｒが０のフレーム番号１６のフレームを参照フレームとしており、高いほうの参照階層ＩＤ_ｒは１である。よって、フレーム番号９のフレームの参照階層ＩＤ_ｒを１＋１＝２とする。このように配置すると、最終的にフレーム番号０，１６のフレームの参照階層ＩＤ_ｒは０となり、フレーム番号１，８のフレームの参照階層ＩＤ_ｒは１となり、フレーム番号３，４，９，１２のフレームの参照階層ＩＤ_ｒは２となり、フレーム番号２，５，６，７，１０，１１，１３，１４のフレームの参照階層ＩＤ_ｒは３となり、フレーム番号１５のフレームの参照階層ＩＤ_ｒは４となる。

ＧＯＰ構造Ａでは最上位時間階層（ＩＤ_ｔ＝４）であるフレーム番号が奇数のフレームは、参照階層ＩＤ_ｒが大きいＩＤ_ｒ＝３の隣接フレームを参照することができる。一方、ＧＯＰ構造Ｂでは、フレーム番号が奇数のフレームは参照階層が小さいＩＤ_ｒ≦２のフレームのみを参照することがある。判別しやすいように、奇数番号のフレームを黒で示している。例えば、フレーム番号１のフレームはフレーム番号が０と１６の最下位参照階層（ＩＤ_ｒ＝０）のフレームを参照する。

（第１の実施形態）
次に、本発明の第１の実施形態に係る符号化装置について説明する。図１に、第１の実施形態に係る符号化装置の構成例を示す。図１に示す符号化装置１は、参照階層順位取得部１１と、ブロックサイズ候補決定部１２と、符号化部２０とを備える。

符号化装置１は、符号化対象フレームを所定のサイズのＣＵ（符号ユニット）に分割して符号化処理を行うとともに、時間階層符号化を行い、符号化データを外部に出力する。

参照階層順位取得部１１は、符号化対象フレームが符号化時に参照する１以上の参照フレームの参照階層ＩＤ_ｒを、符号化対象フレームのフレーム番号と紐付けて予め記憶している。参照階層順位取得部１１は、符号化対象フレームのフレーム番号を含むフレーム情報が入力されると、符号化対象フレームの１以上の参照フレームについて最も高い参照階層の順位を取得し、ブロックサイズ候補決定部１２に出力する。

参照階層順位取得部１１は、例えばＧＯＰ構造Ｂにおいて符号化対象フレームのフレーム番号が３である場合、フレーム番号０の参照フレームの参照階層ＩＤ_ｒ＝０であり、フレーム番号８の参照フレームの参照階層ＩＤ_ｒ＝１であるから、高い方の参照階層ＩＤ_ｒ＝１を取得する。

ブロックサイズ候補決定部１２は、参照階層順位取得部１１により取得された参照フレームの参照階層の順位に応じてＣＵサイズの候補数を変化させ、ＣＵサイズの候補を決定する。そして、決定したＣＵサイズの候補を示すブロックサイズ情報を符号化部２０に出力する。

８Ｋ／１２０Ｈｚ画像を用いた符号化実験の結果より、ＧＯＰ構造Ｂにおいては、参照階層ＩＤ_ｒが大きい奇数番号フレームでは、大きいサイズのＣＵが選択される傾向にあることが分かった。そこで、ブロックサイズ候補決定部１２は、フレーム情報から符号化対象フレームのフレーム番号が奇数であるか否かを判定し、フレーム番号が奇数であり、且つ参照階層順位取得部１１により取得された参照階層ＩＤ_ｒが第１の閾値ｋ１以上である場合には、それ以外の場合よりもＣＵサイズの候補数を少なくし、所定値よりも小さいＣＵサイズを候補から除外するのが好適である。

符号化部２０は、ブロックサイズ候補決定部１２により決定されたＣＵサイズの候補からＣＵサイズを選択し、符号化対象フレームを該サイズのＣＵに分割して符号化処理を行い、符号化データを符号化装置１の外部に出力する。

次に、図３を参照して符号化装置１の動作を説明する。図３は、符号化装置１の動作例を示すフローチャートである。

ステップＳ１１では、フレーム情報から、符号化対象フレームのフレーム番号が奇数であるか否かを判定する。なお、フレーム番号が奇数であるか否かは、符号化対象フレームの時間階層が最上位であるか否により判定してもよい。フレーム番号が奇数であればステップＳ１２へ進み、偶数であればステップＳ１４へ進む。

ステップＳ１２では、参照階層ＩＤ_ｒが第１の閾値ｋ１以上であるか否かを判定する。例えばｋ１＝２とする。第１の閾値ｋ１以上であればステップＳ１３へ進み、第１の閾値ｋ１よりも小さければステップＳ１４へ進む。

ステップＳ１３では、最小ＣＵサイズを大きくして符号化処理を行い、ステップＳ１５へ進む。例えば最小ＣＵサイズを１６×１６画素とし、ＣＵサイズの候補を１６×１６画素、３２×３２画素、及び６４×６４画素として符号化処理を行う。ただし、例えば図２（ｂ）の画像の下端の部分のようにＣＴＵ単位で分割し切れなかった箇所については、ＣＵサイズが８×８画素になってもよい。

ステップＳ１４では、最小ＣＵサイズを変更せず、ＣＵサイズの候補を従来どおりの８×８画素、１６×１６画素、３２×３２画素、及び６４×６４画素として符号化を行う。

ステップＳ１５では、符号化対象フレームが最後のフレームであったか否かを判定する。最後のフレームであれば終了とし、そうでなければステップＳ１１に戻って処理を繰り返す。

次に、図４を参照して符号化部２０の構成を説明する。図４は、符号化部２０の構成例を示すブロック図である。図４に示す符号化部２０は、ブロック分割部２１と、減算部２２と、変換部２３と、量子化部２４と、逆量子化部２５と、逆変換部２６と、加算部２７と、記憶部２８と、イントラ予測部２９と、動き補償予測部３０と、切替部３１と、エントロピー符号化部３２と、ループフィルタ部３３とを備える。

ブロック分割部２１は、ブロックサイズ候補決定部１２から入力されたブロックサイズ情報が示すブロックサイズをＣＵサイズの候補として、符号化対象フレームを複数のＣＵに分割したブロック画像を生成し、減算部２２、イントラ予測部２９、及び動き補償予測部３０に出力する。

減算部２２は、ブロック分割部２１から入力されたブロック画像の各画素値から、後述するイントラ予測部２９又は動き補償予測部３０から入力された予測ブロック画像の各画素値を減算して、ブロック画像と予測ブロック画像との差を示す残差ブロック画像を生成し、変換部２３に出力する。

変換部２３は、減算部２２から入力された残差ブロック画像を更にＴＵサイズに分割して、ＴＵごとに直交変換などの変換処理を行って変換係数を算出し、量子化部２４に出力する。

量子化部２４は、変換部２３から入力された変換係数を量子化ステップで除算して量子化することにより量子化係数を生成し、逆量子化部２５及びエントロピー符号化部３２に出力する。

逆量子化部２５は、量子化部２４から入力された量子化係数に対して、量子化ステップを乗ずることにより変換係数を復元し、逆変換部２６に出力する。

逆変換部２６は、逆量子化部２５から入力された変換係数に対して、変換部２３で行った変換の逆変換を行って残差ブロック画像を復元し、加算部２７に出力する。例えば、変換部２３が離散コサイン変換を行った場合には、逆変換部２６は逆離散コサイン変換を行う。

加算部２７は、逆変換部２６から入力された残差ブロック画像と、動き補償予測部３０から入力された予測ブロック画像の各画素値とを加算し、ループフィルタ部３３に出力する。

ループフィルタ部３３は、加算部２７から出力された画像に対してフィルタ処理を行い、その結果を復号ブロック画像として記憶部２８に出力する。

記憶部２８は、ループフィルタ部３３から入力された復号ブロック画像を記憶するメモリである。

イントラ予測部２９は、記憶部２８に記憶された復号ブロック画像を参照して、予測ユニット（ＰＵ：Prediction Unit）ごとにイントラ予測を行ってイントラ予測画像を生成し、切替部３１に出力する。また、選択したイントラ予測モードをエントロピー符号化部３２に出力する。

動き補償予測部３０は、ブロック分割部２１から入力されたブロック画像を更にＰＵサイズに分割して、ＰＵごとにブロックマッチングなどの手法により動きベクトルを生成する。そして、予測動きベクトルの候補から選択した予測動きベクトルを示すインデックス、及び予測動きベクトルと動きベクトルとの差分ベクトルをエントロピー符号化部３２に出力する。また、動き補償予測部３０は、動きベクトルに基づいて動き補償予測画像を生成し、切替部３１に出力する。

切替部３１は、イントラ予測部２９から入力されたイントラ予測画像と、動き補償予測部３０から入力された動き補償予測画像とを切替えて、減算部２２及び加算部２７に出力する。

エントロピー符号化部３２は、量子化部２４から入力された量子化係数、イントラ予測部２９から入力されたイントラ予測モード、動き補償予測部３０から入力された予測動きベクトルを示すインデックス及び差分ベクトル、及びループフィルタ部３３から入力されたフィルタに関する情報に対してエントロピー符号化を行い、データ圧縮を行ってビットストリームを生成し、符号化装置１の外部に出力する。エントロピー符号化は、０次指数ゴロム符号やコンテキスト適応型２値算術符号（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）など、任意のエントロピー符号化方式を用いることができる。

なお、上述した符号化装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

このように、符号化装置１及びそのプログラムは、参照フレームについて参照階層ＩＤ_ｒを取得し、参照階層ＩＤ_ｒに応じてＣＵサイズの候補数を変化させる。例えば、参照階層ＩＤ_ｒが大きい奇数番号フレームでは所定値よりも小さいＣＵサイズを候補から除外する。そのため、高フレームレート映像の時間階層符号化において、符号化効率の低下を抑えたまま、適切なブロック分割を行うことができ、符号化処理の演算量を短縮することができるようになる。

以下に、符号化装置１の実験結果を示す。表１は、８Ｋ／１２０Ｈｚの画像３種類を用い、４種類のビットレートに設定して符号化実験を行った結果を示す表である。実験にはＨ．２６５／ＨＥＶＣの参照ソフトウェアを使用した。また、第１の閾値ｋ１＝２とし、最小ＣＵサイズを１６×１６画素とした。符号量増加率及び符号化演算時間比は、従来を基準とした値である。符号量増加率は輝度値の結果のみを示す。

符号化装置１では、符号化効率がほとんど変わらないまま、符号化演算時間を約１４％削減することができる。また、本処理は奇数番号のフレームに対してのみ適用しており、奇数番号のフレームの符号化演算時間を約４０％程度削減できることが確認できた。

（第２の実施形態）
次に、第２の実施形態に係る符号化装置について説明する。図５に第２の実施形態に係る符号化装置の構成例を示す。図５に示す符号化装置２は、参照階層順位取得部１１と、ブロックサイズ候補決定部１２’と、符号化部２０’とを備える。図６は、符号化部２０’の構成例を示すブロック図である。第２の実施形態に係る符号化装置２の構成は第１の実施形態と同様であるが、ブロックサイズ候補決定部１２’の処理が第１の実施形態のブロックサイズ候補決定部１２と異なり、図６において、ブロックサイズ情報が変換部２３にも入力されている点が異なる。

ブロックサイズ候補決定部１２’は、ＴＵ（変換ユニット）の分割についても考慮し、参照階層順位取得部１１により取得された参照フレームの参照階層の順位に応じてＣＵサイズ及びＴＵサイズの候補数を変化させ、ＣＵサイズ及びＴＵサイズの候補を決定する。そして、決定したＣＵサイズ及びＴＵサイズの候補を示すブロックサイズ情報を符号化部２０に出力する。

なお、本実施形態では、ＣＵサイズ及びＴＵサイズの候補数を変化させるものとして説明するが、ＴＵサイズの候補数のみを変化させてもよい。

具体的には、ブロックサイズ候補決定部１２’は、第１の実施形態と同様に、フレーム情報から符号化対象フレームのフレーム番号が奇数であるか否かを判定し、フレーム番号が奇数であり、且つ参照階層順位取得部１１により取得された参照階層ＩＤ_ｒが第１の閾値ｋ１以上である場合には、それ以外の場合よりもＣＵサイズの候補数を少なくし、所定値よりも小さいＣＵサイズを候補から除外する。さらに、フレーム番号が奇数であり、且つ参照階層順位取得部１１により取得された参照階層ＩＤ_ｒが第２の閾値ｋ２以上である場合には、それ以外の場合よりもＴＵサイズの候補数を少なくし、所定値よりも小さいＴＵサイズを候補から除外する。

符号化部２０’は、ブロックサイズ候補決定部１２’により決定されたＣＵサイズ及びＴＵサイズの候補からＣＵサイズ及びＴＵサイズを選択し、符号化対象フレームを選択したサイズのＣＵに分割して符号化処理を行う。その際、選択したサイズのＴＵ単位で変換処理を行う。

次に、図７を参照して符号化装置２の動作を説明する。図７は、符号化装置２の動作例を示すフローチャートである。ステップＳ２１〜２４はステップＳ１１〜１４と同一であるため、説明を省略する。

ステップＳ２５では、参照階層ＩＤ_ｒが第２の閾値ｋ２以上であるか否かを判定する。例えばｋ２＝３とする。第２の閾値ｋ２以上であればステップＳ２６へ進み、第２の閾値ｋ２よりも小さければステップＳ２７へ進む。

ステップＳ２６では、最小ＴＵサイズを大きくして符号化処理を行い、ステップＳ２８へ進む。例えば、最小ＴＵサイズを８×８画素として変換処理を行う。

ステップＳ２７では、最小ＴＵサイズを変更せず、ＴＵサイズの候補を従来どおりとして符号化処理を行い、ステップＳ２８へ進む。

ステップＳ２８では、符号化対象フレームが最後のフレームであったか否かを判定する。最後のフレームであれば終了とし、そうでなければステップＳ２１に戻って処理を繰り返す。

本実施形態では、ＣＵサイズ及びＴＵサイズの最小値を参照階層の１つの閾値に応じて２段階に切り替えるようにしたが、閾値を２つ以上設定して３段階以上に切り替えてもよい。

なお、上述した符号化装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

このように、符号化装置２及びそのプログラムは、参照フレームについて参照階層ＩＤ_ｒを取得し、参照階層ＩＤ_ｒに応じてＣＵサイズ及びＴＵサイズの候補数を変化させる。例えば、参照階層ＩＤ_ｒが大きい奇数番号フレームでは所定値よりも小さいＣＵサイズ及びＴＵサイズを候補から除外する。そのため、高フレームレート映像の時間階層符号化において、第１の実施形態よりも符号化量は若干増加するものの、第１の実施形態よりも更に符号化処理の演算量を短縮することができるようになる。なお、ＴＵサイズの候補数のみを変化させるようにしても、第１の実施形態と同様に符号化処理の演算量を短縮することができる。

以下に、符号化装置２の実験結果を示す。表２は、８Ｋ／１２０Ｈｚの画像３種類を用い、４種類のビットレートに設定して符号化実験を行った結果を示す表である。実験にはＨ．２６５／ＨＥＶＣの参照ソフトウェアを使用した。また、第１の閾値ｋ１＝２、第２の閾値ｋ２＝３とし、最小ＣＵサイズを１６×１６画素、最小ＴＵサイズを８×８画素とした。符号量増加率及び符号化演算時間比は、従来を基準とした値である。符号量増加率は輝度値の結果のみを示す。

また、図８に画像Ａの実験結果を示す。図８のグラフの縦軸は輝度値のＰＳＮＲ（Peak Signal to Noise Ratio）であり、横軸はビットレートである。図７に示した処理を適用する前を実線で示し、図７に示した処理を適用した場合を点線で示す。画像Ａでは３％の符号量増加が見られるが、図８に示すとおり、１点のビットレートでの低下に起因するものである。第２の実施形態では第１の実施形態に比べて符号化効率は若干低下するものの、平均するとさらに符号化演算時間を削減することができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１，２符号化装置
１１参照階層順位取得部
１２，１２’ ブロックサイズ候補決定部
２０，２０’ 符号化部
２１ブロック分割部
２２減算部
２３変換部
２４量子化部
２５逆量子化部
２６逆変換部
２７加算部
２８記憶部
２９イントラ予測部
３０動き補償予測部
３１切替部
３２エントロピー符号化部

Claims

符号化対象フレームを所定のサイズの符号ユニットに分割して符号化処理を行うとともに、時間階層符号化を行う符号化装置であって、
符号化対象フレームが符号化時に参照する参照フレームについて参照階層の順位を取得する参照階層順位取得部と、
前記符号化対象フレームが最上位時間階層であり、且つ前記参照階層順位取得部により取得された前記参照階層の順位が第１の閾値以上である場合には、それ以外の場合よりもＣＵサイズの候補数を少なくし、所定値よりも小さいＣＵサイズを候補から除外するブロックサイズ候補決定部と、
前記ＣＵサイズの候補からＣＵサイズを選択し、前記符号化対象フレームを該ＣＵサイズの符号ユニットに分割して符号化処理を行う符号化部と、
を備えることを特徴とする符号化装置。
符号化対象フレームを所定のサイズの符号ユニットに分割して符号化処理を行うとともに、時間階層符号化を行う符号化装置であって、
符号化対象フレームが符号化時に参照する参照フレームについて参照階層の順位を取得する参照階層順位取得部と、
前記符号化対象フレームが最上位時間階層であり、且つ前記参照階層順位取得部により取得された前記参照階層の順位が第２の閾値以上である場合には、それ以外の場合よりもＴＵサイズの候補数を少なくし、所定値よりも小さいＴＵサイズを候補から除外するブロックサイズ候補決定部と、
前記符号化対象フレームを符号ユニットに分割して符号化処理を行う符号化部と、
を備え、
前記符号化部は前記ＴＵサイズの候補からＴＵサイズを選択し、該ＴＵサイズの変換ユニット単位で変換処理を行うことを特徴とする符号化装置。
前記ブロックサイズ候補決定部は、前記符号化対象フレームが最上位時間階層であり、且つ前記参照階層順位取得部により取得された前記参照階層の順位が第１の閾値以上である場合には、それ以外の場合よりもＣＵサイズの候補数を少なくし、所定値よりも小さいＣＵサイズを候補から除外し、
前記符号化部は、前記ＣＵサイズの候補からＣＵサイズを選択し、前記符号化対象フレームを該ＣＵサイズの符号ユニットに分割することを特徴とする、請求項２に記載の符号化装置。
コンピュータを、請求項１から３のいずれか一項に記載の符号化装置として機能させるためのプログラム。