JP7046219B2 - ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム - Google Patents

ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム Download PDF

Info

Publication number
JP7046219B2
JP7046219B2 JP2020555773A JP2020555773A JP7046219B2 JP 7046219 B2 JP7046219 B2 JP 7046219B2 JP 2020555773 A JP2020555773 A JP 2020555773A JP 2020555773 A JP2020555773 A JP 2020555773A JP 7046219 B2 JP7046219 B2 JP 7046219B2
Authority
JP
Japan
Prior art keywords
video
intra
prediction unit
prediction
predictive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020555773A
Other languages
English (en)
Other versions
JP2021519027A (ja
Inventor
ジャン，ホォンシュン
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2021519027A publication Critical patent/JP2021519027A/ja
Application granted granted Critical
Publication of JP7046219B2 publication Critical patent/JP7046219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、２０１８年５月３日に中国特許庁へ提出した出願番号が２０１８１０４１３９４９.２、発明名称が「ビデオ符号化方法、ビデオ符号化装置、電子機器および記憶媒体」である中国特許出願に基づき優先権を要求し、その全ての内容は参照により本発明に組み込まれる。
本発明は、ビデオ符号化の分野に関し、特に、ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラムに関する。
将来、ビデオの発展として、高精細度、高フレームレートおよび高圧縮率という傾向があり、現在普及されているＨ.２６４という圧縮方式は、原理的には一定の限界があり、今後の需要を満足することができない。
ビデオ符号化は、イントラブロックとインターブロックとの２つのブロック単位で行われるが、ビデオ符号化の全体において、イントラブロックの重要度が最大である。現在のフレームタイプがＩフレーム（全ての情報を自分で持つ独立フレームであって、他の画像を参照することなく独立に復号可能である）である場合、全ての符号化ブロックはいずれもイントラ予測が行われる。現在のフレームタイプがＢフレーム（双方向予測符号化フレームであって、自フレームと前後フレームとの差分が記録される画面フレームである）またはＰフレーム（インター予測符号化フレームであって、前フレームを参照しなければ符号化が不能な画面フレームである）である場合、一部の符号化ブロックのみが最終的にイントラ予測の対象として選択される。
また、インター符号化の際に、インターブロックの参照画素がいずれもイントラブロックの再構成データに基づいたものであるため、イントラブロック符号化の画質が非常に重要となり、イントラブロック符号化の画質が悪い場合、後に参照されるインターブロックの参照画素の画質がより悪くなり、誤差がますます大きくなってしまう。これにより、同じ品質で符号化されたコードストリームが大幅に大きくなり、同じコードストリームでの画質が大幅に劣るという現象が発生する。
そのため、符号化ブロックのイントラブロック予測の最適化が良くない場合、符号化速度を顕著に向上させることができなく、かつ圧縮率が大きく低下することが起こりやすくなるため、符号化ブロックのイントラ予測方法を改良して、ビデオ符号化の符号化速度を速くし、ビデオ符号化の符号化圧縮度合いを向上させる必要がある。
本発明の実施例は、従来のビデオ符号化方法およびビデオ符号化装置に存在している、符号化ブロックのイントラブロック予測の最適化が良くないことにより符号化速度を顕著に向上させることができなく、かつ圧縮率が大きく低下するという技術的課題を解決するために、ビデオ符号化の符号化速度が速く、ビデオ符号化の符号化圧縮度合いが高いビデオ符号化方法およびビデオ符号化装置を提供する。
本発明の実施例によれば、電子機器が実行するビデオ符号化方法であって、
ビデオ画像フレームを受信するとともに、前記ビデオ画像フレームの少なくとも１つの符号化ツリー単位を取得するステップと、
異なるビデオ予測単位分割ルールに従って、前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の異なるサイズのビデオ予測単位を取得するステップと、
第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るステップと、
第２のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るステップと、
第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るステップと、
異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行うステップと、を含むビデオ符号化方法を提供する。
本発明の実施例によれば、
ビデオ画像フレームを受信するとともに、前記ビデオ画像フレームの少なくとも１つの符号化ツリー単位を取得するための符号化ツリー単位取得モジュールと、
異なるビデオ予測単位分割ルールに従って、前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の異なるサイズのビデオ予測単位を取得するためのビデオ予測単位取得モジュールと、
第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るためのイントラ予測予選輝度方向決定モジュールと、
第２のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るためのイントラ予測最適輝度方向設定モジュールと、
第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るためのイントラ予測最適色度方向設定モジュールと、
異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行うためのイントラ予測符号化モジュールと、を備えるビデオ符号化装置をさらに提供する。
本発明の実施例によれば、プロセッサが実行可能な指令が記憶され、前記指令が１つまたはそれ以上のプロセッサによって実行される場合に、上記のビデオ符号化方法を実現する記憶媒体をさらに提供する。
本発明の実施例によれば、プロセッサと、メモリとを備えており、前記メモリには、コンピュータプログラムが記憶されており、前記プロセッサは、前記コンピュータプログラムを呼び出すことにより、上記のビデオ符号化方法を実行する電子機器をさらに提供する。
本発明におけるＨＥＶＣの符号化フレームの構造を示す図である。 本発明に係るビデオ符号化方法のフローチャートである。 図２に示す本発明の実施例における符号化ツリー単位の構造を示す図である。 図２に示す本発明の実施例における３３種類の角度モードを示す図である。 本発明に係る別種のビデオ符号化方法のフローチャートである。 本発明に係るビデオ符号化装置の構造を示す図である。 図６に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの構造を示す図である。 図６に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールのイントラ予測最適輝度方向設定手段の構造を示す図である。 図６に示す本発明の実施例におけるイントラ予測最適色度方向設定モジュールの構造を示す図である。 本発明に係る別種のビデオ符号化装置の構造を示す図である。 図１０に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの構造を示す図である。 図１０に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの第２のイントラ予測最適輝度方向設定手段の構造を示す図である。 本発明に係るビデオ符号化方法およびビデオ符号化装置による独立ビデオ画像フレームへのイントラ予測符号化処理に関する具体的な実施例のフローチャートである。 本発明に係るビデオ符号化方法およびビデオ符号化装置による双方向予測符号化フレームまたはインター予測符号化フレームへのイントラ予測符号化処理に関する具体的な実施例のフローチャートである。 本発明に係るビデオ符号化装置が搭載される電子機器の動作環境の構造を示す図である。
なお、図面を参照して、同一の構成要素には同一の符号が付されており、本発明の原理は、適宜な演算環境において実施されることを例として説明する。以下の説明は、例示された本発明の具体的な実施例に基づいて行われるが、本発明をここで詳細に説明している具体的な実施例に制限すると考えるべきではない。
また、以下の説明では、本発明の具体的な実施例は、特に説明しない限り、１つまたは複数のコンピュータが実行する作業のステップおよび符号を参照して説明する。したがって、これらのステップおよび操作は、コンピュータによって実行されることが複数回記載されており、１つの構造化モードにおけるデータの電子信号を代表したコンピュータ処理手段により操作されることを含む。当該操作は、当該データを変換し、または当該コンピュータの内部メモリシステム内の位置に維持し、当該コンピュータの動作を新たに設定したり、当業者が周知している方式によって変化することができる。当該データが維持するデータ構造は、当該内部メモリの実体位置であり、当該データフォーマットによって定義される特定の特性を有する。しかしながら、本発明の原理は、上記のような文字で説明したが、これに限定されるものではなく、当業者であれば、後述する複数のステップおよび操作がハードウェアで実施されてもよいことを理解できる。
本発明に係るビデオ符号化方法およびビデオ符号化装置は、任意の電子機器に搭載することができ、各種のビデオ画像フレームに対してイントラ予測符号化処理を行うことにより、ビデオ符号化の符号化速度を速くし、ビデオ符号化の符号化圧縮度合いを向上させるためのものである。当該電子機器は、ウェアラブル機器、頭部装着型機器、医療健康プラットフォーム、パーソナルコンピュータ、サーバコンピュータ、手持ち型またはラップトップ型機器、モバイル機器（例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、メディアプレーヤ等）、マルチプロセッサシステム、消費型電子機器、小型コンピュータ、大型コンピュータ、上記の任意のシステムまたは機器を含む分散型コンピューティング環境等を含むが、これらに限定されるものではない。当該電子機器は、ビデオ符号化サーバまたは端末であって、対応するビデオ符号化の符号化速度を速くするとともにビデオ符号化の符号化圧縮度合を向上させることができる。
図１は、本発明の高効率映像符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）の符号化フレーム構造を示す。図１に示すように、１フレームの画像は、エンコーダーに入力されて、イントラ予測またはインター予測によって予測値が得られ、予測値と入力データとを減算して残差が得られ、その後、ＤＣT変換および量子化を行って残差係数が得られた後、エントロピー符号化モジュールに入力してコードストリームを出力するとともに、残差係数に対して逆量子化および逆変換を行って再構成画像の残差値が得られ、さらに、イントラ予測値またはインター予測値と加算して再構成画像が得られ、再構成画像がデブロックフィルタリングおよび自己適応画素補償されて参照フレームキューに進入し、次のフレームの参照画像とされる。
図２は、本発明に係るビデオ符号化方法のフローチャートである。本実施例に係るビデオ符号化方法は、上記の電子機器を用いて実施することが可能であり、独立に復号処理が可能な独立ビデオ画像フレームに対してイントラ予測符号化処理を行うためのものである。当該イントラ予測符号化処理は、以下のステップを含む。
ステップＳ２０１において、ビデオ画像フレームを受信するとともにビデオ画像フレームの少なくとも１つの符号化ツリー単位を取得する。
ステップＳ２０２において、異なるビデオ予測単位分割ルールに従って符号化ツリー単位を分割することにより、符号化ツリー単位の異なるサイズのビデオ予測単位を取得する。
ステップＳ２０３において、第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
ステップＳ２０４において、第２のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
ステップＳ２０５において、第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
ステップＳ２０６において、異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行う。
以下、本実施例に係るビデオ符号化方法によるビデオ画像フレームへのイントラ予測符号化のプロセスを詳細に説明する。
ステップＳ２０１において、ビデオ符号化装置（例えば、ビデオ符号化サーバ等）は、ビデオ符号化処理を必要とするビデオ画像フレームを受信する。そして、ビデオ符号化装置は、ビデオ画像フレーム内の符号化単位を分割することにより、少なくとも１つの符号化ツリー単位を取得する。ここで、各符号化ツリー単位はいずれも複数のビデオ予測単位を含むことができる。本実施例に係るビデオ符号化方法は、各ビデオ予測単位に対してイントラ予測符号化の最適化を行うことにより、現在のビデオ画像フレームのイントラ予測符号化の最適化を図ることができる。
ステップＳ２０２において、ビデオ符号化装置は、異なるビデオ予測単位分割ルール（例えば、四分木の再帰的分割方式）に従って符号化ツリー単位を分割することにより、当該符号化ツリー単位の異なるサイズのビデオ予測単位を取得する。
図３は、図２に示す本発明の実施例における符号化ツリー単位の構造を示す図である。図３に示すように、ビデオ画像フレームの符号化単位の符号化ツリー単位は、１個の６４*６４のビデオ予測単位（例えば、ビデオ予測単位Ａ）、４個の３２*３２のビデオ予測単位（例えば、ビデオ予測単位ａ、ビデオ予測単位ｂ、ビデオ予測単位ｃおよびビデオ予測単位ｄ等）、１６個の１６*１６のビデオ予測単位（例えば、ビデオ予測単位ａ１、ビデオ予測単位ａ２、ビデオ予測単位ａ３およびビデオ予測単位ａ４等）、６４個の８*８のビデオ予測単位（例えば、ビデオ予測単位ａ１１、ビデオ予測単位ａ１２、ビデオ予測単位ａ１３およびビデオ予測単位ａ１４）、または２５６個の４*４のビデオ予測単位（図示せず）を含む。
ステップＳ２０３において、ビデオ符号化装置は、第１のレート歪み評価関数（ＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ、アダマール変換後の絶対値和）レート歪み算出関数を用いる）に基づいて、ステップＳ２０２で取得した異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
ここでのビデオ予測単位のイントラ予測の予測輝度方向は、３５種類の予選した予測輝度方向を含み、この３５種類の予測輝度方向は、Ｐｌａｎａｒモードと、ＤＣモードと、３３種類の角度モードとを含む。
そのうち、Ｐｌａｎａｒモードは、水平方向と垂直方向の２つの線形フィルタを使用し、両者の平均値を現在のブロック画素の予測値とする。このようにして、予測画素をなだらかに変化させることができ、他のモードと比べて、ビデオの主観的品質を向上させることができ、画素値が緩やかに変化する領域に適用する。
ＤＣモードの現在のブロック画素の予測値は、その左側と上方の参照画素の平均値から得られ、面積が大きい平坦領域に適用する。
３３種類の角度モードは、図４に示すように、Ｖ０とＨ０がそれぞれ垂直方向と水平方向を示し、その他のモードの予測方向がいずれも垂直方向または水平方向からオフセットしたものであるとみなすことができ、このオフセット角の大きさは、モードの下方の数字から算出し、ビデオコンテンツにおける異なる方向のテクスチャにより良く適用することができる。
具体的には、ビデオ予測単位が６４*６４のビデオ予測単位である場合、上記３３種類の角度モード予測輝度方向を、５つの予測輝度方向領域に分割する（そのうちの２つの予測輝度方向領域が重複する２つの角度モード予測輝度方向を有し、すなわち、１つの予測輝度方向領域ごとに７つの予測輝度方向を有する）とともに、レート歪みコストが最も小さい中心予測輝度方向（すなわち、７つの予測輝度方向の中央に位置する予測輝度方向）に対応する予測輝度方向領域における７つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、６４*６４のビデオ予測単位における９つのイントラ予測予選輝度方向に設定する。
また、ビデオ予測単位が３２*３２のビデオ予測単位である場合、上記３３個の角度モード予測輝度方向を１１個の予測輝度方向領域に分割する（すなわち、１つの予測輝度方向領域ごとに３つの予測輝度方向を有する）とともに、レート歪みコストが最も小さい中心予測輝度方向（すなわち、３つの予測輝度方向の中央に位置する予測輝度方向）に対応する予測輝度方向領域における３つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、３２*３２のビデオ予測単位における５つのイントラ予測予選輝度方向に設定する。
また、ビデオ予測単位が１６*１６のビデオ予測単位である場合、上記３３個の角度モード予測輝度方向を１１個の予測輝度方向領域に分割する（すなわち、１つの予測輝度方向領域ごとに３つの予測輝度方向を有する）とともに、レート歪みコストが最も小さい中心予測輝度方向（すなわち、３つの予測輝度方向の中央に位置する予測輝度方向）に対応する予測輝度方向領域における３つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、１６*１６のビデオ予測単位における５つのイントラ予測予選輝度方向に設定する。
また、ビデオ予測単位が８*８のビデオ予測単位である場合、上記の３３種類の角度モード予測輝度方向を、７つの予測輝度方向領域に分割する（そのうちの２つの予測輝度方向領域が重複する２つの角度モード予測輝度方向を有し、すなわち、１つの予測輝度方向領域ごとに５つの予測輝度方向を有する）とともに、レート歪みコストが最も小さい中心予測輝度方向（すなわち、５つの予測輝度方向の中央に位置する予測輝度方向）に対応する予測輝度方向領域における５つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、８*８のビデオ予測単位における７つのイントラ予測予選輝度方向に設定する。
また、ビデオ予測単位が４*４のビデオ予測単位である場合、上記の３３種類の角度モード予測輝度方向を、５つの予測輝度方向領域に分割する（そのうちの２つの予測輝度方向領域が重複する２つの角度モード予測輝度方向を有し、すなわち、１つの予測輝度方向領域ごとに７つの予測輝度方向を有する）とともに、レート歪みコストが最も小さい中心予測輝度方向（すなわち、７つの予測輝度方向の中央に位置する予測輝度方向）に対応する予測輝度方向領域における７つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、４*４のビデオ予測単位における９つのイントラ予測予選輝度方向に設定する。
また、６４*６４のビデオ予測単位は、サイズが最も大きいビデオ予測単位であるため、下層サイズのビデオ予測単位の予測精度を保証するために、６４*６４のビデオ予測単位に対して比較的に多いイントラ予測予選輝度方向が設定される。また、４*４および８*８のビデオ予測単位は、サイズが最も小さいビデオ予測単位であり、予測結果の出力方向となる可能性が大きいため、４*４および８*８のビデオ予測単位に対しても比較的に多いイントラ予測予選輝度方向が設定される。また、１６*１６および３２*３２のビデオ予測単位は、中間過渡のためのビデオ予測単位であって、予測結果の出力方向とならないため、比較的に少ないイントラ予測予選輝度方向を設定することができる。
ここでのレート歪みコストは、以下の式によって算出することができる。
Ｊ＝Ｄ＋λ*Ｒ
ここで、Jはレート歪みコスト、Ｄは現在のイントラ予測予選輝度方向での画素歪み、Ｒは現在のイントラ予測予選輝度方向での全ての符号化情報（例えば、変換係数、モード情報、またはマクロブロック分割方式等）に必要なビット数、λはラグランジュ係数である。ここでの画素歪みＤは、ＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ、アダマール変換後の絶対値和）によって算出される。
ステップＳ２０４において、ビデオ符号化装置は、第２のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
ここでの関連ビデオ予測単位のイントラ予測最適輝度方向とは、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向である。
すなわち、ビデオ符号化装置は、第２のレート歪み評価関数（ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、差分値の二乗和）レート歪み算出関数を用いる）に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
具体的には、ビデオ符号化装置は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、１６*１６のビデオ予測単位の５つのイントラ予測予選輝度方向のうちのレート歪みコストが最も小さい３つの１６*１６のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
また、ビデオ符号化装置は、ビデオ予測単位が６４*６４、３２*３２または１６*１６のビデオ予測単位である場合、現在サイズの隣接ビデオ予測単位のイントラ予測予選輝度方向がいずれかの現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と同一であるか否かを判定する。
同一と判定した場合、ビデオ符号化装置は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数（ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、差分値の二乗和）レート歪み算出関数を用いる）に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、ビデオ符号化装置は、第２のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
また、ビデオ符号化装置は、ビデオ予測単位が８*８または４*４のビデオ予測単位である場合、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向、および現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
ここでのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位は、隣接ビデオ符号化ブロックのビデオ予測単位であり、ビデオ予測単位の隣接ビデオ予測単位は、同一のビデオ符号化ブロックにおける隣接するビデオ予測単位である。
同一と判定した場合、ビデオ符号化装置は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、ビデオ符号化装置は、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
このようにして、各サイズのビデオ予測単位のイントラ予測最適輝度方向の設定が完了した。具体的には、まずは、６４*６４のビデオ予測単位のイントラ予測最適輝度方向を設定し、その後、３２*３２、１６*１６、８*８および４*４のビデオ予測単位のイントラ予測最適輝度方向を順番に設定することができる。
また、ビデオ符号化装置は、ビデオ予測単位が４*４のビデオ予測単位である場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数（例えば、１．０５等）との積が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいか否かをさらに判定する。
以下であると判定した場合、続いて他の現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを算出する。
より大きいと判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
なお、ここでの設定係数の設定は、計算誤差により現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストの計算にエラーが発生するのを回避するために、一般的に１よりもわずかに大きくなるようにする。
また、ステップＳ２０５において、ビデオ符号化装置は、第２のレート歪み評価関数に基づいて異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
ここでのビデオ予測単位のイントラ予測の予測色度方向は、Ｐｌａｎａｒモード、垂直モード、水平モード、ＤＣモード、および対応輝度成分モードを含む。
そのうち、ＰｌａｎａｒモードおよびＤＣモードについては、上述した通りであるので、ここでは説明を省略する。
また、垂直モードの現在ブロック画素の予測値は、その上方の参照画素の平均値から得られ、垂直ストライプの領域に適用する。
また、水平モードの現在ブロック画素の予測値は、その左方の参照画素の平均値から得られ、水平ストライプの領域に適用する。
また、対応輝度成分モードにおける予測色度方向は、予測輝度方向と一致する。
ここで、ビデオ符号化装置は、８*８および４*４のビデオ予測単位のイントラ予測の上記５つのモードの予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を８*８および４*４のビデオ予測単位のイントラ予測最適色度方向とすることができる。
具体的には、ビデオ符号化装置は、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適色度方向、および現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向を精選し、精選レート歪みコストが最も小さい色度方向を現在サイズのビデオ予測単位のイントラ予測最適色度方向とするようにしてもよい。
すなわち、上層サイズのビデオ予測単位のイントラ予測最適色度方向または現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向が、現在サイズのビデオ予測単位のイントラ予測予選色度方向と一致する場合、上層サイズのビデオ予測単位のイントラ予測最適色度方向または現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向をそのまま現在サイズのビデオ予測単位のイントラ予測最適色度方向とすることができる。
ステップＳ２０６において、ビデオ符号化装置は、ステップＳ２０４で取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向、およびステップＳ２０５で取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在の独立ビデオ画像フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の独立ビデオ画像フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに対応するビデオ符号化の符号化圧縮度合いを向上させる。
このようにして、本実施例に係るビデオ符号化方法による、独立に復号処理可能な独立ビデオ画像フレームに対するイントラ予測符号化処理のプロセスが完了した。
本実施例に係るビデオ符号化方法は、独立ビデオ画像フレームに対して、特定のイントラ予測符号化最適化方法を採用することにより、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させた。
図５は、本発明に係る別種のビデオ符号化方法のフローチャートである。本実施例に係るビデオ符号化方法は、上記の電子機器を用いて実施することが可能であり、自フレームと前後フレームとの差分が記録される双方向予測符号化フレーム、または自フレームと前フレームとの差分が記録されるインター予測符号化フレームに対してイントラ予測符号化処理を行うことができる。また、当該イントラ予測符号化処理は、以下のようなステップを含む。
ステップＳ５０１において、ビデオ画像フレームを受信するとともに、ビデオ画像フレームの少なくとも１つの符号化ツリー単位を取得する。
ステップＳ５０２において、異なるビデオ予測単位分割ルールに従って符号化ツリー単位を分割することにより、符号化ツリー単位の異なるサイズのビデオ予測単位を取得する。
ステップＳ５０３において、第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
ステップＳ５０４において、第２のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
ステップＳ５０５において、第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
ステップＳ５０６において、異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ画像フレームに対してイントラ予測符号化を行う。
以下、本実施例に係るビデオ符号化方法によるビデオ画像フレームへのイントラ予測符号化のプロセスを詳細に説明する。
ステップＳ５０１において、ビデオ符号化装置は、ビデオ符号化処理を必要とするビデオ画像フレームを受信する。そして、ビデオ符号化装置は、ビデオ画像フレーム内の符号化単位を分割することにより、少なくとも１つの符号化ツリー単位を取得する。ここで、各符号化ツリー単位はいずれも複数のビデオ予測単位を含むことができる。本実施例に係るビデオ符号化方法は、各ビデオ予測単位に対してイントラ予測符号化の最適化を行うことにより、現在のビデオ画像フレームのイントラ予測符号化の最適化を図ることができる。
ステップＳ５０２において、ビデオ符号化装置は、異なるビデオ予測単位分割ルール（例えば、四分木の再帰的分割方式）に従って符号化ツリー単位を分割することにより、当該符号化ツリー単位の異なるサイズのビデオ予測単位を取得する。
ステップＳ５０３において、ビデオ符号化装置は、第１のレート歪み評価関数に基づいて、ステップＳ５０２で取得した異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
ここでのビデオ予測単位のイントラ予測の予測輝度方向は、３５種類の予選の予測輝度方向を含み、この３５種類の予測輝度方向は、Ｐｌａｎａｒモードと、ＤＣモードと、３３種類の角度モードとを含む。
具体的には、ビデオ予測単位が６４*６４のビデオ予測単位、３２*３２のビデオ予測単位、１６*１６のビデオ予測単位、８*８のビデオ予測単位、４*４のビデオ予測単位である場合の３３個の角度モード予測輝度方向は、上述した通りであるので、ここでは説明を省略する。
ステップＳ５０４において、ビデオ符号化装置は、第２のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
ここでの関連ビデオ予測単位のイントラ予測最適輝度方向は、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、上層サイズのビデオ予測単位のイントラ予測最適輝度方向および下層サイズのビデオ予測単位のイントラ予測精選輝度方向のうちの少なくとも１つである。
すなわち、ビデオ符号化装置は、ビデオ予測単位が８*８のビデオ予測単位である場合、第２のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
具体的には、ビデオ符号化装置は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、８*８のビデオ予測単位の７つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい４個の８*８のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
そして、ビデオ符号化装置は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、いずれかの現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
同一と判定した場合、ビデオ符号化装置は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、ビデオ符号化装置は、第２のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
また、ビデオ符号化装置は、ビデオ予測単位が４*４のビデオ予測単位である場合、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位（８*８のビデオ予測単位）のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
具体的には、ビデオ符号化装置は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、４*４のビデオ予測単位の９つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい３個の４*４のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
ビデオ符号化装置は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
同一と判定した場合、ビデオ符号化装置は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、ビデオ符号化装置は、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
また、ビデオ符号化装置は、ビデオ予測単位が１６*１６、３２*３２または６４*６４のビデオ予測単位である場合、第２のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測精選輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
具体的には、ビデオ符号化装置は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
例えば、１６*１６および３２*３２のビデオ予測単位の５つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい２つの１６*１６のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。６４*６４のビデオ予測単位の９つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい１つの６４*６４のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
そして、ビデオ符号化装置は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
同一と判定した場合、ビデオ符号化装置は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、ビデオ符号化装置は、第２のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
このようにして、各サイズのビデオ予測単位のイントラ予測最適輝度方向の設定が完了した。具体的には、まずは、８*８のビデオ予測単位のイントラ予測最適輝度方向を設定し、その後、８*８のビデオ予測単位のイントラ予測最適輝度方向に基づいて４*４のビデオ予測単位のイントラ予測最適輝度方向を設定する。
その後、８*８のビデオ予測単位のイントラ予測最適輝度方向に基づいて、１６*１６、３２*３２および６４*６４のビデオ予測単位のイントラ予測最適輝度方向を順番に設定することができる。
また、ビデオ符号化装置は、ビデオ予測単位が４*４のビデオ予測単位である場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数（例えば、１．０５等）との積が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいか否かをさらに判定する。
以下であると判定した場合、続いて他の現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを算出する。
より大きいと判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
なお、ここでの設定係数の設定は、計算誤差により現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストの計算にエラーが発生するのを回避するために、一般的に１よりもわずかに大きくなるようにする。
例えば、ビデオ符号化装置は、ビデオ予測単位が４*４のビデオ予測単位である場合、現在サイズのビデオ予測単位が属するビデオ符号化ブロックに対応する他のビデオ予測単位のイントラ予測最適輝度方向が上層サイズのビデオ予測単位のイントラ予測精選方向と一致するか否かをさらに判定する。
一致していないと判定した場合、続いて現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストを算出する。
一致していると判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
ステップＳ５０５において、ビデオ符号化装置は、第２のレート歪み評価関数に基づいて異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
ここでのビデオ予測単位のイントラ予測の予測色度方向は、Ｐｌａｎａｒモード、垂直モード、水平モード、ＤＣモード、および対応輝度成分モードを含む。
ここで、ビデオ符号化装置は、８*８および４*４のビデオ予測単位のイントラ予測の上記５つのモードの予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を８*８および４*４のビデオ予測単位のイントラ予測最適色度方向とすることができる。
ステップＳ５０６において、ビデオ符号化装置は、ステップＳ５０４で取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向、およびステップＳ５０５で取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在の双方向予測符号化フレームまたはインター予測符号化フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の双方向予測符号化フレームまたはインター予測符号化フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに対応するビデオ符号化の符号化圧縮度合いを向上させた。
このようにして、本実施例に係るビデオ符号化装置による双方向予測符号化フレームまたはインター予測符号化フレームへのイントラ予測符号化処理のプロセスが完了した。
本実施例に係るビデオ符号化方法は、双方向予測符号化フレームまたはインター予測符号化フレームに対して、特定のイントラ予測符号化最適化方法を採用することにより、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させることができる。
また、本発明は、ビデオ符号化装置をさらに提供する。図６は、本発明に係るビデオ符号化装置の構造を示す図である。本実施例に係るビデオ符号化装置は、図２に示すビデオ符号化方法を実行可能である。また、本実施例に係るビデオ符号化装置６０は、符号化ツリー単位取得モジュール６１と、ビデオ予測単位取得モジュール６２と、イントラ予測予選輝度方向決定モジュール６３と、イントラ予測最適輝度方向設定モジュール６４と、イントラ予測最適色度方向設定モジュール６５と、イントラ予測符号化モジュール６６とを備える。
符号化ツリー単位取得モジュール６１は、ビデオ画像フレームを受信するとともに、ビデオ画像フレームの少なくとも１つの符号化ツリー単位を取得するためのものである。
ビデオ予測単位取得モジュール６２は、異なるビデオ予測単位分割ルールに従って符号化ツリー単位を分割することにより、符号化ツリー単位の異なるサイズのビデオ予測単位を取得するためのものである。
イントラ予測予選輝度方向決定モジュール６３は、第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るためのものである。
イントラ予測最適輝度方向設定モジュール６４は、第２のレートひずみ評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るためのものである。
イントラ予測最適色度方向設定モジュール６５は、第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るためのものである。
イントラ予測符号化モジュール６６は、異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行うためのものである。
また、図７は、図６に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの構造を示す図である。このイントラ予測最適輝度方向設定モジュール６４は、イントラ予測予選輝度方向最適化手段７１およびイントラ予測最適輝度方向設定手段７２を有する。
また、図８は、図６に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールのイントラ予測最適輝度方向設定手段の構造を示す図である。このイントラ予測最適輝度方向設定手段７２は、イントラ予測精選方向設定サブ手段８１を有する。
当該イントラ予測精選方向設定サブ手段８１は、ビデオ予測単位が４*４のビデオ予測単位である場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数との積が上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいと判定すると、前記現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定するとともに、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するためのものである。
また、図９は、図６に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの構造を示す図である。このイントラ予測最適色度方向設定モジュール６５は、イントラ予測最適色度方向設定手段９１を有する。このイントラ予測最適色度方向設定手段９１は、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適色度方向、および現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向を精選することにより、精選レート歪みコストが最も小さい色度方向を現在サイズのビデオ予測単位のイントラ予測最適色度方向とするためのものである。
また、本実施例に係るビデオ符号化装置６０は、独立に復号処理可能な独立ビデオ画像フレームに対してイントラ予測符号化処理を行うためのものである。また、本実施例に係るビデオ符号化装置６０を使用する際に、まず、符号化ツリー単位取得モジュール６１がビデオ符号化処理を必要とするビデオ画像フレームを受信する。そして、符号化ツリー単位取得モジュール６１は、ビデオ画像フレーム内の符号化単位を分割することにより、少なくとも１つの符号化ツリー単位を取得する。ここで、各符号化ツリー単位はいずれも複数のビデオ予測単位を含むことができる。本実施例に係るビデオ符号化装置６０は、各ビデオ予測単位に対してイントラ予測符号化の最適化を行うことにより、現在のビデオ画像フレームのイントラ予測符号化の最適化を図ることができる。
その後、ビデオ予測単位取得モジュール６２は、異なるビデオ予測単位分割ルール（例えば、四分木の再帰的分割方式）に従って符号化ツリー単位を分割することにより、当該符号化ツリー単位の異なるサイズのビデオ予測単位を取得し、例えば、符号化ツリー単位の６４*６４のビデオ予測単位、３２*３２のビデオ予測単位、１６*１６のビデオ予測単位、８*８のビデオ予測単位、および４*４のビデオ予測単位を取得する。
その後、イントラ予測予選輝度方向決定モジュール６３は、第１のレート歪み評価関数（ＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ、アダマール変換後の絶対値和）レート歪み算出関数を用いる）に基づいて、ビデオ予測単位取得モジュール６２が取得した異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
ここでのビデオ予測単位のイントラ予測の予測輝度方向は、３５種類の予選の予測輝度方向を含み、この３５種類の予測輝度方向は、Ｐｌａｎａｒモードと、ＤＣモードと、３３種類の角度モードとを含む。
具体的には、イントラ予測予選輝度方向決定モジュール６３は、ビデオ予測単位が６４*６４のビデオ予測単位である場合、上記３３種類の角度モード予測輝度方向を、５つの予測輝度方向領域に分割する（そのうちの２つの予測輝度方向領域が重複する２つの角度モード予測輝度方向を有し、すなわち、１つの予測輝度方向領域ごとに７つの予測輝度方向を有する）とともに、レート歪みコストが最も小さい中心予測輝度方向（すなわち、７つの予測輝度方向の中央に位置する予測輝度方向）に対応する予測輝度方向領域における７つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、６４*６４のビデオ予測単位における９つのイントラ予測予選輝度方向に設定する。
また、イントラ予測予選輝度方向決定モジュール６３は、ビデオ予測単位が３２*３２のビデオ予測単位である場合、上記３３個の角度モード予測輝度方向を１１個の予測輝度方向領域に分割する（すなわち、１つの予測輝度方向領域ごとに３つの予測輝度方向を有する）とともに、レート歪みコストが最も小さい中心予測輝度方向（すなわち、３つの予測輝度方向の中央に位置する予測輝度方向）に対応する予測輝度方向領域における３つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、３２*３２のビデオ予測単位における５つのイントラ予測予選輝度方向に設定する。
また、イントラ予測予選輝度方向決定モジュール６３は、ビデオ予測単位が１６*１６のビデオ予測単位である場合、上記３３個の角度モード予測輝度方向を１１個の予測輝度方向領域に分割する（すなわち、１つの予測輝度方向領域ごとに３つの予測輝度方向を有する）とともに、レート歪みコストが最も小さい中心予測輝度方向（すなわち、３つの予測輝度方向の中央に位置する予測輝度方向）に対応する予測輝度方向領域における３つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、１６*１６のビデオ予測単位における５つのイントラ予測予選輝度方向に設定する。
また、イントラ予測予選輝度方向決定モジュール６３は、ビデオ予測単位が８*８のビデオ予測単位である場合、上記３３種類の角度モード予測輝度方向を、７つの予測輝度方向領域に分割する（そのうちの２つの予測輝度方向領域が重複する２つの角度モード予測輝度方向を有し、すなわち、１つの予測輝度方向領域ごとに５つの予測輝度方向を有する）とともに、レート歪みコストが最も小さい中心予測輝度方向（すなわち、５つの予測輝度方向の中央に位置する予測輝度方向）に対応する予測輝度方向領域における５つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、８*８のビデオ予測単位における７つのイントラ予測予選輝度方向に設定する。
また、イントラ予測予選輝度方向決定モジュール６３は、ビデオ予測単位が４*４のビデオ予測単位である場合、上記３３種類の角度モード予測輝度方向を、５つの予測輝度方向領域に分割する（そのうちの２つの予測輝度方向領域が重複する２つの角度モード予測輝度方向を有し、すなわち、１つの予測輝度方向領域ごとに７つの予測輝度方向を有する）とともに、レート歪みコストが最も小さい中心予測輝度方向（すなわち、７つの予測輝度方向の中央に位置する予測輝度方向）に対応する予測輝度方向領域における７つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、４*４のビデオ予測単位における９つのイントラ予測予選輝度方向に設定する。
また、６４*６４のビデオ予測単位は、サイズが最も大きいビデオ予測単位であるため、下層サイズのビデオ予測単位の予測精度を保証するために、６４*６４のビデオ予測単位に対して比較的に多いイントラ予測予選輝度方向が設定される。また、４*４および８*８のビデオ予測単位は、サイズが最も小さいビデオ予測単位であり、予測結果の出力方向となる可能性が大きいため、４*４および８*８のビデオ予測単位に対しても比較的に多いイントラ予測予選輝度方向が設定される。また、１６*１６および３２*３２のビデオ予測単位は、中間過渡のためのビデオ予測単位であって、予測結果の出力方向とならないため、比較的に少ないイントラ予測予選輝度方向を設定することができる。
ここでのレート歪みコストは、以下の式によって算出することができる。
Ｊ＝Ｄ＋λ*Ｒ
ここで、Ｊはレート歪みコスト、Ｄは現在のイントラ予測予選輝度方向での画素歪み、Ｒは現在のイントラ予測予選輝度方向での全ての符号化情報（例えば、変換係数、モード情報、またはマクロブロック分割方式等）に必要なビット数、λはラグランジュ係数である。ここでの画素歪みＤは、ＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｔｒａｎｓｆｏｒｍｅｄ Ｄｉｆｆｅｒｅｎｃｅ、アダマール変換後の絶対値和）によって算出される。
その後、イントラ予測最適輝度方向設定モジュール６４は、第２のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
ここでの関連ビデオ予測単位のイントラ予測最適輝度方向とは、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向である。
すなわち、ビデオ符号化装置は、第２のレート歪み評価関数（ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、差分値の二乗和）レート歪み算出関数を用いる）に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
具体的には、イントラ予測最適輝度方向設定モジュール６４のイントラ予測予選輝度方向最適化手段７１は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、１６*１６のビデオ予測単位の５つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい３個の１６*１６のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
また、イントラ予測最適輝度方向設定モジュール６４のイントラ予測最適輝度方向設定手段７２は、ビデオ予測単位が６４*６４、３２*３２または１６*１６のビデオ予測単位である場合、現在サイズの隣接ビデオ予測単位のイントラ予測予選輝度方向がいずれかの現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と同一であるか否かを判定する。
同一と判定した場合、イントラ予測最適輝度方向設定手段７２は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数（ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、差分値の二乗和）レート歪み算出関数を用いる）に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、イントラ予測最適輝度方向設定手段７２は、第２のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最小となる輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
また、イントラ予測最適輝度方向設定モジュール６４のイントラ予測最適輝度方向設定手段７１は、ビデオ予測単位が８*８または４*４のビデオ予測単位である場合、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向、および現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
ここでのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位は、隣接ビデオ符号化ブロックのビデオ予測単位であり、ビデオ予測単位の隣接ビデオ予測単位は、同一のビデオ符号化ブロックにおける隣接するビデオ予測単位である。
同一と判定した場合、イントラ予測最適輝度方向設定手段７２は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、イントラ予測最適輝度方向設定手段７２は、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最小となる輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
このようにして、各サイズのビデオ予測単位のイントラ予測最適輝度方向の設定が完了した。具体的には、まずは、６４*６４のビデオ予測単位のイントラ予測最適輝度方向を設定し、その後、３２*３２、１６*１６、８*８および４*４のビデオ予測単位のイントラ予測最適輝度方向を順番に設定することができる。
また、イントラ予測最適輝度方向設定手段７２のイントラ予測精選方向設定サブ手段８１は、ビデオ予測単位が４*４のビデオ予測単位である場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数（例えば、１．０５等）との積が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいか否かをさらに判定する。
以下であると判定した場合、続いて他の現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを算出する。
より大きいと判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
なお、ここでの設定係数の設定は、計算誤差により現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストの計算にエラーが発生するのを回避するために、一般的に１よりもわずかに大きくなるようにする。
その後、イントラ予測最適色度方向設定モジュール６５は、第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
ここでのビデオ予測単位のイントラ予測の予測色度方向は、Ｐｌａｎａｒモード、垂直モード、水平モード、ＤＣモード、および対応輝度成分モードを含む。
ここで、ビデオ符号化装置は、８*８および４*４のビデオ予測単位のイントラ予測の上記５つのモードの予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を８*８および４*４のビデオ予測単位のイントラ予測最適色度方向とすることができる。
具体的には、イントラ予測最適色度方向設定モジュール６５のイントラ予測最適色度方向設定手段９１は、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適色度方向、および現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向を精選することにより、精選レート歪みコストが最も小さい色度方向を現在サイズのビデオ予測単位のイントラ予測最適色度方向とするようにしてもよい。
すなわち、上層サイズのビデオ予測単位のイントラ予測最適色度方向または現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向が、現在サイズのビデオ予測単位のイントラ予測予選色度方向と一致する場合、イントラ予測最適色度方向設定手段は、上層サイズのビデオ予測単位のイントラ予測最適色度方向または現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向をそのまま現在サイズのビデオ予測単位のイントラ予測最適色度方向とすることができる。
最終に、イントラ予測符号化モジュール６６は、イントラ予測最適輝度方向設定モジュール６４が取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向と、イントラ予測最適色度方向設定モジュール６５が取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向とに基づいて、現在の独立ビデオ画像フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の独立ビデオ画像フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させる。
このようにして、本実施例に係るビデオ符号化装置６０による独立に復号処理可能な独立ビデオ画像フレームへのイントラ予測符号化処理のプロセスが完了した。
本実施例に係るビデオ符号化装置は、独立ビデオ画像フレームに対して、特定のイントラ予測符号化最適化方法を採用することにより、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させた。
図１０は、本発明に係る別種のビデオ符号化装置の構造を示す図である。本実施例に係るビデオ符号化装置１００は、図５に示すビデオ符号化方法を実行可能であって、符号化ツリー単位取得モジュール１０１と、ビデオ予測単位取得モジュール１０２と、イントラ予測予選輝度方向決定モジュール１０３と、イントラ予測最適輝度方向設定モジュール１０４と、イントラ予測最適色度方向設定モジュール１０５と、イントラ予測符号化モジュール１０６とを備える。
符号化ツリー単位取得モジュール１０１は、ビデオ画像フレームを受信するとともに、ビデオ画像フレームの少なくとも１つの符号化ツリー単位を取得するためのものである。
ビデオ予測単位取得モジュール１０２は、異なるビデオ予測単位分割ルールに従って符号化ツリー単位を分割することにより、符号化ツリー単位の異なるサイズのビデオ予測単位を取得するためのものである。イントラ予測予選輝度方向決定モジュール１０３は、第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るためのものである。イントラ予測最適輝度方向設定モジュール１０４は、第２のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るためのものである。イントラ予測最適色度方向設定モジュール１０５は、第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るためのものである。イントラ予測符号化単位１０６は、異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ画像フレームに対してイントラ予測符号化を行うためのものである。
また、図１１は、図１０に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの構造を示す図である。このイントラ予測最適輝度方向設定モジュール１０４は、イントラ予測予選輝度方向最適化手段１１１と、第１のイントラ予測最適輝度方向設定手段１１２と、第２のイントラ予測最適輝度方向設定手段１１３と、第３のイントラ予測最適輝度方向設定手段１１４とを有する。
イントラ予測予選輝度方向最適化手段１１１は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定するためのものである。
第１のイントラ予測最適輝度方向設定手段１１２は、ビデオ予測単位が８*８のビデオ予測単位である場合、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、いずれかの現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定するためのものである。
同一と判定した場合、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、第２のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
第２のイントラ予測最適輝度方向設定手段１１３は、ビデオ予測単位が４*４のビデオ予測単位である場合、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定するためのものである。
同一と判定した場合、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
第３のイントラ予測最適輝度方向設定手段１１４は、ビデオ予測単位が１６*１６、３２*３２または６４*６４のビデオ予測単位である場合、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、前記下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定するためのものである。
同一と判定した場合、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、第２のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
図１２は、図１０に示す本発明の実施例におけるイントラ予測最適輝度方向設定モジュールの第２のイントラ予測最適輝度方向設定手段の構造を示す図である。この第２のイントラ予測最適輝度方向設定手段１１３は、第１のイントラ予測最適輝度方向設定サブ手段１２１および第２のイントラ予測最適輝度方向設定サブ手段１２２を有する。
第１のイントラ予測最適輝度方向設定サブ手段１２１は、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数との積が上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいと判定する場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向の精選レート歪みコストを予め設定された最大値に設定するとともに、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するためのものである。第２のイントラ予測最適輝度方向設定サブ手段１２２は、現在サイズのビデオ予測単位が属するビデオ符号化ブロックに対応する他のビデオ予測単位のイントラ予測最適輝度方向が上層サイズのビデオ予測単位のイントラ予測最適輝度方向と一致すると判定する場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定するとともに、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するためのものである。
また、本実施例に係るビデオ符号化装置１００は、自フレームと前後フレームとの差分が記録される双方向予測符号化フレーム、または自フレームと前フレームとの差分が記録されるインター予測符号化フレームに対してイントラ予測符号化処理を行うためのものである。本実施例に係るビデオ符号化装置を使用する際に、まず、符号化ツリー単位取得モジュール１０１は、ビデオ符号化処理を必要とするビデオ画像フレームを受信する。その後、符号化ツリー単位取得モジュール１０１は、ビデオ画像フレーム内の符号化単位を分割することにより、少なくとも１つの符号化ツリー単位を取得する。ここで、各符号化ツリー単位はいずれも複数のビデオ予測単位を含むことができる。本実施例に係るビデオ符号化方法は、各ビデオ予測単位に対してイントラ予測符号化の最適化を行うことにより、現在のビデオ画像フレームのイントラ予測符号化の最適化を図ることができる。
その後、ビデオ予測単位取得モジュール１０２は、異なるビデオ予測単位分割ルール（例えば、四分木のような再帰的分割方式）に従って符号化ツリー単位を分割することにより、当該符号化ツリー単位の異なるサイズのビデオ予測単位を取得する。
その後、イントラ予測予選輝度方向決定モジュール１０３は、第１のレート歪み評価関数に基づいて、ビデオ予測単位取得モジュールが取得した異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る。
ここでのビデオ予測単位のイントラ予測の予測輝度方向は、３５種類の予選の予測輝度方向を含み、この３５種類の予測輝度方向は、Ｐｌａｎａｒモードと、ＤＣモードと、３３種類の角度モードとを含む。
具体的には、ビデオ予測単位が６４＊６４のビデオ予測単位、３２*３２のビデオ予測単位、１６*１６のビデオ予測単位、８*８のビデオ予測単位、４*４のビデオ予測単位である場合、イントラ予測予選輝度方向決定モジュール１０３による上記３３個の角度モード予測輝度方向の分割方式は上述した通りであるので、ここでは説明を省略する。
その後、イントラ予測最適輝度方向設定モジュール１０４は、第２のレート歪み評価関数に基づいて、関連ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
ここでの関連ビデオ予測単位のイントラ予測最適輝度方向は、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、上層サイズのビデオ予測単位のイントラ予測最適輝度方向および下層サイズのビデオ予測単位のイントラ予測精選輝度方向のうちの少なくとも１つである。
すなわち、イントラ予測最適輝度方向設定モジュール１０４は、ビデオ予測単位が８*８のビデオ予測単位である場合、第２のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
具体的には、イントラ予測最適輝度方向設定モジュール１０４のイントラ予測予選輝度方向最適化手段１１１は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、８*８のビデオ予測単位の７つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい４個の８*８のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
また、イントラ予測最適輝度方向設定モジュール１０４の第１のイントラ予測最適輝度方向設定手段１１２は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、いずれかの現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
同一と判定した場合、第１のイントラ予測最適輝度方向設定手段１１２は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、第１のイントラ予測最適輝度方向設定手段１１２は、第２のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
また、イントラ予測最適輝度方向設定モジュール１０４は、ビデオ予測単位が４*４のビデオ予測単位である場合、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位（８*８のビデオ予測単位）のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
具体的には、イントラ予測最適輝度方向設定モジュール１０４のイントラ予測予選輝度方向最適化手段１１１は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。例えば、４*４のビデオ予測単位の５つのイントラ予測予選輝度方向のうちのレート歪みコストが最も小さい３つの４*４のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
イントラ予測最適輝度方向設定モジュール１０４の第２のイントラ予測最適輝度方向設定手段１１３は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
同一と判定した場合、第２のイントラ予測最適輝度方向設定手段１１２は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、第２のイントラ予測最適輝度方向設定手段１１３は、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
また、イントラ予測最適輝度方向設定モジュール１０４は、ビデオ予測単位が１６*１６、３２*３２または６４*６４のビデオ予測単位である場合、第２のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測精選輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る。
具体的には、イントラ予測最適輝度方向設定モジュール１０４のイントラ予測予選輝度方向最適化手段１１１は、レート歪みコストが小さい設定数の現在サイズのビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
例えば、１６*１６および３２*３２のビデオ予測単位の５つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい２つの１６*１６のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。６４*６４のビデオ予測単位の９つのイントラ予測予選輝度方向のうちレート歪みコストが最も小さい１つの６４*６４のビデオ予測単位のイントラ予測予選輝度方向を、最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向に設定する。
また、イントラ予測最適輝度方向設定モジュール１０４の第３のイントラ予測最適輝度方向設定手段１１４は、いずれかの最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向が、下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向のうちのいずれかの輝度方向と同一であるか否かを判定する。
同一と判定した場合、第３のイントラ予測最適輝度方向設定手段１１４は、予選レート歪みコストが最も小さく、かつ、最適化した現在サイズが同じビデオ予測単位のイントラ予測予選輝度方向を、対照イントラ予測予選輝度方向に設定するとともに、第２のレート歪み評価関数に基づいて、対照イントラ予測予選輝度方向、および、予選レート歪みコストが対照イントラ予測予選輝度方向よりも小さいイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
同一でないと判定した場合、第３のイントラ予測最適輝度方向設定手段１１４は、第２のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および最適化した現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、精選レート歪みコストが最も小さい輝度方向を現在サイズのビデオ予測単位のイントラ予測最適輝度方向とする。
このようにして、各サイズのビデオ予測単位のイントラ予測最適輝度方向の設定が完了した。具体的には、まずは、８*８のビデオ予測単位のイントラ予測最適輝度方向を設定し、その後、８*８のビデオ予測単位のイントラ予測最適輝度方向に基づいて４*４のビデオ予測単位のイントラ予測最適輝度方向を設定する。その後、８*８のビデオ予測単位のイントラ予測最適輝度方向に基づいて、１６*１６、３２*３２および６４*６４のビデオ予測単位のイントラ予測最適輝度方向を順番に設定する。
また、第２のイントラ予測最適輝度方向設定手段１１３の第１のイントラ予測最適輝度方向設定サブ手段１２１は、ビデオ予測単位が４*４のビデオ予測単位である場合、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストと設定係数（例えば、１．０５等）との積が、上層サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストよりも大きいか否かをさらに判定する。
以下であると判定した場合、続いて他の現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを算出する。
より大きいと判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
なお、ここでの設定係数の設定は、計算誤差により現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストの計算にエラーが発生するのを回避するために、一般的に１よりもわずかに大きくなるようにする。
また、第２のイントラ予測最適輝度方向設定手段１１３の第２のイントラ予測最適輝度方向設定サブ手段１２２は、ビデオ予測単位が４*４のビデオ予測単位である場合、現在サイズのビデオ予測単位が属するビデオ符号化ブロックに対応する他のビデオ予測単位のイントラ予測最適輝度方向が、上層サイズのビデオ予測単位のイントラ予測精選方向と一致するか否かをさらに判定する。
一致していないと判定した場合、続いて現在サイズのビデオ予測単位のイントラ予測最適輝度方向のレート歪みコストを算出する。
一致していると判定した場合、上層サイズのビデオ予測単位のイントラ予測最適輝度方向をそのまま最終に出力する輝度方向とすることができるため、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を予測結果の出力方向に設定し、かつ、現在サイズのビデオ予測単位に対応するビデオ符号化ブロックの全てのビデオ予測単位に対するイントラ予測最適輝度方向およびイントラ予測最適色度方向の設定を停止するのを避けるために、現在サイズのビデオ予測単位のイントラ予測最適輝度方向での精選レート歪みコストを予め設定された最大値に設定する。
その後、イントラ予測最適色度方向設定モジュール１０５は、第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る。
ここでのビデオ予測単位のイントラ予測の予測色度方向は、Ｐｌａｎａｒモード、垂直モード、水平モード、ＤＣモード、および対応輝度成分モードを含む。
ここで、ビデオ符号化装置は、８*８および４*４のビデオ予測単位のイントラ予測の上記５つのモードの予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を８*８および４*４のビデオ予測単位のイントラ予測最適色度方向とすることができる。
最終に、イントラ予測符号化モジュール６６は、イントラ予測最適輝度方向設定モジュール６４が取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向と、イントラ予測最適色度方向設定モジュール６５が取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向とに基づいて、現在の双方向予測符号化フレームまたはインター予測符号化フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の双方向予測符号化フレームまたはインター予測符号化フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させる。
このようにして、本実施例に係るビデオ符号化装置１００による双方向予測符号化フレームまたはインター予測符号化フレームへのイントラ予測符号化処理のプロセスが完了した。
本実施例に係るビデオ符号化装置は、双方向予測符号化フレームまたはインター予測符号化フレームに対して、特定のイントラ予測符号化最適化方法を採用することにより、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させることができる。
以下、１つの具体的な実施例を使用して本発明に係るビデオ符号化方法およびビデオ符号化装置のイントラ予測符号化処理の過程を説明する。本具体的な実施例に係るビデオ符号化方法およびビデオ符号化装置は、ビデオ符号化サーバに搭載することができ、各種のビデオ画像フレームに対してイントラ予測符号化処理を行うことにより、ビデオ符号化の符号化速度を速くし、ビデオ符号化の符号化圧縮度合いを向上させるためのものである。
本発明に係るビデオ符号化方法およびビデオ符号化装置が独立に復号処理可能な独立ビデオ画像フレームに対してイントラ予測符号化処理を行う場合、図１３を参照することができる。図１３は、本発明に係るビデオ符号化方法およびビデオ符号化装置による独立ビデオ画像フレームへのイントラ予測符号化処理に関する具体的な実施例のフローチャートである。当該イントラ予測符号化処理の過程は、以下のステップを含む。
ステップＳ１３０１において、現在のビデオ画像フレームの符号化ツリー単位（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）を入力する。
ステップＳ１３０２において、符号化ツリー単位の６４*６４のビデオ予測単位、３２*３２のビデオ予測単位、１６*１６のビデオ予測単位、８*８のビデオ予測単位、および４*４のビデオ予測単位を取得する。
ステップＳ１３０３において、第１のレート歪み評価関数に基づいて、６４*６４のビデオ予測単位、３２*３２のビデオ予測単位、１６*１６のビデオ予測単位、８*８のビデオ予測単位、および４*４のビデオ予測単位のイントラ予測の予測輝度方向を予選する。
ステップＳ１３０４において、第２のレート歪み評価関数に基づいて、６４*６４のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、および隣接する６４*６４のビデオ予測単位のイントラ予測最適輝度方向とを精選することにより、６４*６４のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
ステップＳ１３０５において、第２のレート歪み評価関数に基づいて、３２*３２のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、および隣接する３２*３２のビデオ予測単位のイントラ予測最適輝度方向とを精選することにより、３２*３２のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
ステップＳ１３０６において、第２のレート歪み評価関数に基づいて、１６*１６のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、および隣接する１６*１６のビデオ予測単位のイントラ予測最適輝度方向とを精選することにより、１６*１６のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
ステップＳ１３０７において、第２のレート歪み評価関数に基づいて、８*８のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、上層の１６*１６のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する８*８のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を精選することにより、８*８のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
ステップＳ１３０８において、第２のレート歪み評価関数に基づいて、４*４のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、上層の８*８のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する４*４のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を精選することにより、４*４のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
ステップＳ１３０９において、第２のレート歪み評価関数に基づいて、８*８および４*４のビデオ予測単位のイントラ予測の予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を８*８および４*４のビデオ予測単位のイントラ予測最適色度方向とする。
ステップＳ１３１０において、ステップＳ１３０４～Ｓ１３０８で取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向、およびステップＳ１３０９で取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在の独立ビデオ画像フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の独立ビデオ画像フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに対応するビデオ符号化の符号化圧縮度合いを向上させる。
このようにして、本具体的な実施例に係るビデオ符号化方法およびビデオ符号化装置による独立に復号処理可能な独立ビデオ画像フレームに対するイントラ予測符号化処理のプロセスが完了した。
また、本発明に係るビデオ符号化方法およびビデオ符号化装置が双方向予測符号化フレームまたはインター予測符号化フレームに対してイントラ予測符号化処理を行う場合、図１４を参照することができる。図１４は、本発明に係るビデオ符号化方法およびビデオ符号化装置による双方向予測符号化フレームまたはインター予測符号化フレームへのイントラ予測符号化処理に関する具体的な実施例のフローチャートである。当該イントラ予測符号化処理の過程は、以下のステップを含む。
ステップＳ１４０１において、現在のビデオ画像フレームの符号化ツリー単位（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）を入力する。
ステップＳ１４０２において、符号化ツリー単位の６４*６４のビデオ予測単位、３２*３２のビデオ予測単位、１６*１６のビデオ予測単位、８*８のビデオ予測単位、および４*４のビデオ予測単位を取得する。
ステップＳ１４０３において、第１のレート歪み評価関数に基づいて、６４*６４のビデオ予測単位、３２*３２のビデオ予測単位、１６*１６のビデオ予測単位、８*８のビデオ予測単位、および４*４のビデオ予測単位のイントラ予測の予測輝度方向を予選する。
ステップＳ１４０４において、第２のレート歪み評価関数に基づいて、８*８のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、および隣接する８*８のビデオ予測単位のイントラ予測最適輝度方向とを精選することにより、８*８のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
ステップＳ１４０５において、第２のレート歪み評価関数に基づいて、４*４のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、上層の８*８のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する４*４のビデオ予測単位のイントラ予測最適輝度方向を精選することにより、４*４のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
ステップＳ１４０６において、第２のレート歪み評価関数に基づいて、１６*１６のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、下層の８*８のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する１６*１６のビデオ予測単位のイントラ予測最適輝度方向を精選することにより、１６*１６のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
ステップＳ１４０７において、第２のレート歪み評価関数に基づいて、３２*３２のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、下層の１６*１６のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する３２*３２のビデオ予測単位のイントラ予測最適輝度方向を精選することにより、３２*３２のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
ステップＳ１４０８において、第２のレート歪み評価関数に基づいて、６４*６４のビデオ予測単位のイントラ予測のイントラ予測予選輝度方向、下層の３２*３２のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向、および隣接する６４*６４のビデオ予測単位のイントラ予測最適輝度方向を精選することにより、６４*６４のビデオ予測単位のイントラ予測のイントラ予測最適輝度方向を得る。
ステップＳ１４０９において、第２のレート歪み評価関数に基づいて、８*８および４*４のビデオ予測単位のイントラ予測の予測色度方向に対して精選レート歪みコストの算出を行い、精選レート歪みコストが最も小さい予測色度方向を８*８および４*４のビデオ予測単位のイントラ予測最適色度方向とする。
ステップＳ１４１０において、ステップＳ１４０４～Ｓ１４０８で取得した異なるサイズのビデオ予測単位のイントラ予測最適輝度方向、およびステップＳ１４０９で取得した異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在の独立ビデオ画像フレームに対して予選、精選またはスキップ符号化を行うことにより、現在の独立ビデオ画像フレームに対する予測符号化を実現し、対応するビデオ符号化の符号化速度を速くするとともに対応するビデオ符号化の符号化圧縮度合いを向上させる。
このようにして、本実施例に係るビデオ符号化方法およびビデオ符号化装置による双方向予測符号化フレームまたはインター予測符号化フレームへのイントラ予測符号化処理のプロセスが完了した。
本発明に係るビデオ符号化方法、ビデオ符号化装置および記憶媒体は、独立ビデオ画像フレームと非独立ビデオ画像フレーム（例えば、双方向予測符号化フレームまたはインター予測符号化フレーム）に対して異なるイントラ予測符号化最適化方法を採用することにより、対応するビデオ符号化の符号化速度を速くするとともに、対応するビデオ符号化の符号化圧縮度合いを向上させ、従来のビデオ符号化方法およびビデオ符号化装置における符号化ブロックのイントラ予測最適化が悪いことにより符号化速度を顕著に向上させることができなく、かつ圧縮率が大きく低下するという技術的課題を効果的に解決することができる。
本発明において使用される「コンポーネント」、「モジュール」、「システム」、「インタフェース」、「プロセス」などの用語は、一般的に、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェアまたは実行中のソフトウェアなどのコンピュータに関する実体を指す。例えば、コンポーネントは、プロセッサで実行されるプロセス、プロセッサ、オブジェクト、実行可能なアプリケーション、実行可能なスレッド、プログラムおよび/またはコンピュータであってもよいが、それらに限定されるものではない。図示するように、コントローラに実行されるアプリケーションと当該コントローラの両方は共にコンポーネントであってもよい。１つまたは複数のコンポーネントは、実行されるプロセスおよび/またはスレッド内に位置することができる。そして、コンポーネントは、１つのコンピュータに位置し、および/または２つまたはそれ以上のコンピュータの間に分布することができる。
図１５およびこれからの説明は、本発明に記載のビデオ符号化装置が搭載される電子機器の動作環境についての簡単かつ概括的な説明を提供する。図１５の動作環境は、適切な動作環境の一例に過ぎず、動作環境の用途や機能に関する範囲を何ら制限するものではない。当該電子機器は、例えばウェアラブル機器、頭部装着型機器、医療健康プラットフォーム、パーソナルコンピュータ、サーバコンピュータ、手持ち型またはラップトップ型機器、モバイル機器（例えば、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、メディアプレーヤ等）、マルチプロセッサシステム、消費型電子機器、小型コンピュータ、大型コンピュータ、上記の任意のシステムまたは機器を含む分散型コンピューティング環境等を含むが、これらに限定されるものではない。
また、明記されていないが、「コンピュータ読み取り可能な指令」が１つまたは複数の電子機器によって実行される共通の背景の下で実施例を説明する。コンピュータ読み取り可能な指令は、コンピュータ読取可能な媒体を介して配信することができる（以下に説明する）。コンピュータ読取可能な指令は、例えば特定のタスクを実行したり、特定の抽象データタイプを実現したりする機能、オブジェクト、アプリケーションプログラミングインタフェース（ＡＰＩ）、データ構造などのプログラムモジュールとして実現されてもよい。典型的には、当該コンピュータ読み取り可能な指令の機能は、様々な環境において任意に組み合わせたり分布したりすることができる。
図１５は、本発明に係るビデオ符号化装置の１つまたは複数の実施例を含む電子機器１５１２の一例を示す図である。１種の配置では、電子機器１５１２は、少なくとも１つの処理手段１５１６と、メモリ１５１８とを備える。メモリ１５１８は、電子機器の確実な配置や種類に応じて、揮発性メモリ（例えば、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ、フラッシュメモリ等）、またはそれらの組み合わせであってもよい。この配置は、図１５において破線１５１４で図示されている。
他の実施例では、電子機器１５１２は、付加的な特徴および/または機能を有していてもよい。例えば、電子機器１５１２は、付加的な記憶装置（例えば着脱可能なものおよび/または着脱不能なもの）を含んでいてもよく、当該記憶装置は、磁気記憶装置や光記憶装置などを含むが、これらに限定されるものではない。このような付加的な記憶装置は、図１５において記憶装置１５２０として図示されている。また、１つの実施例では、本発明が提供する１つまたは複数の実施例を実現するためのコンピュータ読み取り可能な指令は、記憶装置１５２０に記憶されてもよい。記憶装置１５２０は、オペレーティングシステムやアプリケーションプログラム等を実現するための他のコンピュータ読み取り可能な指令を記憶してもよい。コンピュータ読取可能な指令は、メモリ１５１８にロードされて、例えば処理手段１５１６により実行されてもよい。
本明細書に記載の「コンピュータ読み取り可能な媒体」は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、例えばコンピュータ読み取り可能な指令やその他のデータなどの情報を記憶するための任意の方法や技術で実現される揮発性および不揮発性、着脱可能および着脱不能な媒体を含む。メモリ１５１８および記憶装置１５２０は、コンピュータ記憶媒体の例示である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）または他の光学記憶装置、カセットテープ、磁気テープ、磁気ディスク記憶装置または他の磁気記憶装置、または所望の情報を記憶しかつ電子機器１５１２がアクセス可能な任意の他の媒体を含むが、それらに限定されるものではない。このようなコンピュータ記憶媒体は、いずれも電子機器１５１２の一部であってもよい。
また、電子機器１５１２は、電子機器１５１２と他の機器との通信を可能とする通信接続１５２６を備えていてもよい。通信接続１５２６は、モデム、ネットワークインタフェースカード（ＮＩＣ）、集積ネットワークインタフェース、無線周波数送信機/受信機、赤外線ポート、ＵＳＢ接続または電子機器１５１２を他の電子機器に接続するための他のインタフェースを含むが、それらに限定されるものではない。通信接続１５２６は、有線接続または無線接続を含む。通信接続１５２６は、通信媒体を送信および/または受信することができる。
「コンピュータ読み取り可能な媒体」とは、通信媒体を含んでいてもよい。通信媒体は、典型的には、コンピュータ読み取り可能な指令や、例えば搬送波またはその他の伝送媒体などの「自己変調データ信号」における他のデータを含み、かつ、任意の情報伝送媒体を含む。「自己変調データ信号」とは、信号特性における１つまたは複数が、情報を信号に符号化させるように設定または変更されるような信号を含んでもよい。
電子機器１５１２は、例えばキーボード、マウス、ペン、音声入力装置、タッチ入力装置、赤外線カメラ、ビデオ入力装置、および/またはその他の入力装置などの入力装置１５２４を備えていてもよい。電子機器１５１２は、例えば１つまたは複数のディスプレイ、スピーカ、プリンタおよび/またはその他の任意の出力装置などの出力装置１５２２を備えていてもよい。入力装置１５２４と出力装置１５２２とは、有線接続、無線接続、またはそれらの任意の組み合わせによって電子機器１５１２に接続される。また、１つの実施例では、別の電子機器からの入力装置または出力装置を、電子機器１５１２の入力装置１５２４または出力装置１５２２として使用してもよい。
電子機器１５１２の構成要素は、各種の相互接続（例えば、バス）によって接続される。このような相互接続は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）（例えば、快速ＰＣＩ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ファイヤーワイヤー（ＩＥＥＥ １３９４）、光学バス構造などを含む。また、別の実施例では、電子機器１５１２の構成要素は、ネットワークを介して相互に接続されていてもよい。例えば、メモリ１５１８は、異なる物理的な位置に位置し、ネットワークを介して相互に接続された複数の物理メモリユニットによって構成されてもよい。
当業者であれば、コンピュータ読み取り可能な指令を記憶するための記憶装置は、ネットワークに跨って分布されていてもよいことを理解できる。例えば、ネットワーク１５２８を介してアクセス可能な電子機器１５３０は、本発明が提供する１つまたは複数の実施例を実現するためのコンピュータ読み取り可能な指令を記憶することができる。電子機器１５１２は、電子機器１５３０にアクセスして、コンピュータ読み取り可能な指令の一部または全部をダウンロードして実行することができる。あるいは、電子機器１５１２は、必要に応じて複数のコンピュータ読み取り可能な指令をダウンロードしてもよいし、または、幾つかの指令が電子機器１５１２で実行されるが、幾つかの指令が電子機器１５３０で実行されてもよい。
本発明は、実施例の様々な操作を提供する。１つの実施例では、上記の１つまたは複数の操作は、１つまたは複数のコンピュータ読み取り可能な媒体に記憶されたコンピュータ読み取り可能な指令を構成し、電子機器によって実行されたときに、計算装置に上記操作を実行させる。いくつかまたは全ての操作の順序についての説明は、これらの操作の順序が必ず関連することを示唆するものと解釈されるべきではない。当業者であれば、本明細書の利点を有する代替可能な順序を理解することができる。そして、全ての操作が必ず本明細書に記載の各実施例に存在するものではないと考えられるべきである。
以上、１つまたは複数の実施例を示しながら本開示を説明したが、当業者であれば、本明細書および図面に対する閲読および理解に基づいて、等価な変形および修正を実施可能である。本開示は、このようなすべての修正、変形を含み、特許請求の範囲のみによって限定されるものではない。特に、上記の構成要素（例えば、エレメント、資源等）が実行する各種の機能について、そのような構成要素を説明するための用語は、ここに開示される例示的な実施例における機能を実行する構造と異なっても、前記構成要素の指定機能（例えば、機能的に等価なもの）を実行する任意の構成要素（別途指示した場合を除外）に対応するためのものである。また、本開示の特定の特徴は、いくつかの実施形態のうちの１つのみに開示されているが、そのような特徴は、例えば所定または特定のアプリケーションに対して所望および有利な他の実施形態の１つまたは複数の特徴と組み合わせることができる。そして、「含む」、「有する」、「含有」などの用語またはその変形が具体的な実施形態または特許請求の範囲における使用については、このような用語は、「包含」という用語と類似する方式で含むことを説明するためのものである。
また、本発明の実施例における各機能ユニットは、１つの処理モジュールに集積されていてもよいし、個々のユニットが個別に物理的に存在していてもよいし、２以上のユニットが１つのモジュールに集積されていてもよい。上記集積されたモジュールは、ハードウェアで実現されてもよいし、ソフトウェア機能モジュールで実現されてもよい。上記集積されたモジュールがソフトウェア機能モジュールで実現されかつ独立した製品として販売または使用される場合、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。上記の記憶媒体は、ＲＯＭ、磁気ディスクまたは光ディスク等であってもよい。上記の各装置またはシステムは、対応する方法の実施例における方法を実行することができる。
以上説明したように、本発明は、上記の実施例で以上のように開示されているが、実施例の前の番号は単に説明の便宜上のものであり、本発明の各実施例の順序を制限するものではない。なお、上記実施例は、本発明を制限するものではなく、当業者であれば、本発明の精神と範囲から逸脱することなく、様々な変更および修飾を実施可能であることから、本発明の保護範囲は、特許請求の範囲によって定義される範囲を基準とする。

Claims (13)

  1. 電子機器が実行するビデオ符号化方法であって、

    ビデオ画像フレームを受信するとともに、前記ビデオ画像フレームの少なくとも１つの符号化ツリー単位を取得するステップと、
    異なるビデオ予測単位分割ルールに従って、前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の異なるサイズのビデオ予測単位を取得するステップと、
    第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るステップと、
    第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るステップと、
    前記第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るステップと、
    異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行うステップと、を含み、
    前記ビデオ予測単位が６４*６４のビデオ予測単位である場合、
    第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る前記ステップは、
    ３３個の角度モード予測輝度方向を５つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における７つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、６４*６４のビデオ予測単位における９つのイントラ予測予選輝度方向に設定するステップを含む、
    ことを特徴とするビデオ符号化方法。
  2. 異なるビデオ予測単位分割ルールに従って、前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の異なるサイズのビデオ予測単位を取得する前記ステップは、
    異なるビデオ予測単位分割ルールに従って前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の６４*６４のビデオ予測単位、３２*３２のビデオ予測単位、１６*１６のビデオ予測単位、８*８のビデオ予測単位、および４*４のビデオ予測単位を取得するステップを含む、
    ことを特徴とする請求項１に記載のビデオ符号化方法。
  3. 前記ビデオ予測単位が３２*３２のビデオ予測単位である場合、
    第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る前記ステップは、
    ３３個の角度モード予測輝度方向を１１つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における３つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、３２*３２のビデオ予測単位における５つのイントラ予測予選輝度方向に設定するステップを含む、
    ことを特徴とする請求項１または２に記載のビデオ符号化方法。
  4. 前記ビデオ予測単位が１６*１６のビデオ予測単位である場合、
    第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る前記ステップは、
    ３３個の角度モード予測輝度方向を１１つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における３つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、１６*１６のビデオ予測単位における５つのイントラ予測予選輝度方向に設定するステップを含む、
    ことを特徴とする請求項１または２に記載のビデオ符号化方法。
  5. 前記ビデオ予測単位が８*８のビデオ予測単位である場合、
    第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る前記ステップは、
    ３３個の角度モード予測輝度方向を７つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における５つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、８*８のビデオ予測単位における７つのイントラ予測予選輝度方向に設定するステップを含む、
    ことを特徴とする請求項１または２に記載のビデオ符号化方法。
  6. 前記ビデオ予測単位が４*４のビデオ予測単位である場合、
    前記第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得る前記ステップは、
    ３３個の角度モード予測輝度方向を５つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における７つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、４*４のビデオ予測単位における９つのイントラ予測予選輝度方向に設定するステップを含む、
    ことを特徴とする請求項１または２に記載のビデオ符号化方法。
  7. 前記第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得る前記ステップは、
    前記第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適色度方向、および現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適色度方向を精選することにより、精選レート歪みコストが最も小さい色度方向を現在サイズのビデオ予測単位のイントラ予測最適色度方向とするステップを含む、
    ことを特徴とする請求項１乃至６のいずれか１項に記載のビデオ符号化方法。
  8. 前記ビデオ予測単位が８*８のビデオ予測単位である場合、
    ビデオ画像フレームが双方向予測符号化フレームまたはインター予測符号化フレームである場合、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る前記ステップは、
    前記第２のレート歪み評価関数に基づいて、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るステップを含む、
    ことを特徴とする請求項１に記載のビデオ符号化方法。
  9. 前記ビデオ予測単位が４*４のビデオ予測単位である場合、
    ビデオ画像フレームが双方向予測符号化フレームまたはインター予測符号化フレームである場合、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る前記ステップは、
    前記第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るステップを含む、
    ことを特徴とする請求項１に記載のビデオ符号化方法。
  10. 前記ビデオ予測単位が１６*１６、３２*３２または６４*６４のビデオ予測単位である場合、
    ビデオ画像フレームが双方向予測符号化フレームまたはインター予測符号化フレームである場合、第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得る前記ステップは、
    前記第２のレート歪み評価関数に基づいて、下層サイズのビデオ予測単位のイントラ予測精選輝度方向、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向、および現在サイズのビデオ予測単位のイントラ予測予選輝度方向を精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るステップを含む、
    ことを特徴とする請求項１に記載のビデオ符号化方法。
  11. ビデオ画像フレームを受信するとともに、前記ビデオ画像フレームの少なくとも１つの符号化ツリー単位を取得するための符号化ツリー単位取得モジュールと、
    異なるビデオ予測単位分割ルールに従って、前記符号化ツリー単位を分割することにより、前記符号化ツリー単位の異なるサイズのビデオ予測単位を取得するためのビデオ予測単位取得モジュールと、
    第１のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測輝度方向を予選することにより、異なるサイズのビデオ予測単位の設定数のイントラ予測予選輝度方向を得るためのイントラ予測予選輝度方向決定モジュールと、
    第２のレート歪み評価関数に基づいて、上層サイズのビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位の隣接ビデオ符号化ブロックに対応するビデオ予測単位のイントラ予測最適輝度方向と、現在サイズの隣接ビデオ予測単位のイントラ予測最適輝度方向と、現在サイズのビデオ予測単位のイントラ予測予選輝度方向とを精選することにより、現在サイズのビデオ予測単位のイントラ予測最適輝度方向を得るためのイントラ予測最適輝度方向設定モジュールと、
    前記第２のレート歪み評価関数に基づいて、異なるサイズのビデオ予測単位のイントラ予測の予測色度方向を精選することにより、異なるサイズのビデオ予測単位のイントラ予測最適色度方向を得るためのイントラ予測最適色度方向設定モジュールと、
    異なるサイズのビデオ予測単位のイントラ予測最適輝度方向および異なるサイズのビデオ予測単位のイントラ予測最適色度方向に基づいて、現在のビデオ符号化単位に対してイントラ予測符号化を行うためのイントラ予測符号化モジュールと、を備え、
    前記ビデオ予測単位が６４*６４のビデオ予測単位である場合、
    前記イントラ予測予選輝度方向決定モジュールは、３３個の角度モード予測輝度方向を５つの予測輝度方向領域に分割するとともに、予選レート歪みコストが最も小さい中心予測輝度方向に対応する予測輝度方向領域における７つの予測輝度方向、Ｐｌａｎａｒモード予測輝度方向、およびＤＣモード予測輝度方向を、６４*６４のビデオ予測単位における９つのイントラ予測予選輝度方向に設定する、
    ことを特徴とするビデオ符号化装置。
  12. コンピュータに請求項１乃至１０のいずれか１項に記載のビデオ符号化方法を実現させる、
    ことを特徴とするコンピュータプログラム。
  13. プロセッサと、メモリとを備えており、
    前記メモリには、コンピュータプログラムが記憶されており、
    前記プロセッサは、前記コンピュータプログラムを呼び出すことにより、請求項１乃至１０のいずれか１項に記載のビデオ符号化方法を実行する、
    ことを特徴とする電子機器。
JP2020555773A 2018-05-03 2019-04-03 ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム Active JP7046219B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810413949.2A CN110213576B (zh) 2018-05-03 2018-05-03 视频编码方法、视频编码装置、电子设备及存储介质
CN201810413949.2 2018-05-03
PCT/CN2019/081239 WO2019210760A1 (zh) 2018-05-03 2019-04-03 视频编码方法、视频编码装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
JP2021519027A JP2021519027A (ja) 2021-08-05
JP7046219B2 true JP7046219B2 (ja) 2022-04-01

Family

ID=67778832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020555773A Active JP7046219B2 (ja) 2018-05-03 2019-04-03 ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム

Country Status (5)

Country Link
US (1) US11032552B2 (ja)
EP (1) EP3758373B1 (ja)
JP (1) JP7046219B2 (ja)
CN (1) CN110213576B (ja)
WO (1) WO2019210760A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572679B (zh) * 2019-09-27 2022-04-26 腾讯科技（深圳）有限公司 帧内预测的编码方法、装置、设备及可读存储介质
CN110913215B (zh) * 2019-12-03 2022-04-12 北京数码视讯软件技术发展有限公司 一种预测模式的选择方法及装置、可读存储介质
CN113225556B (zh) * 2021-05-31 2024-06-21 杭州当虹科技股份有限公司 视频编码方法
CN113436161A (zh) * 2021-06-22 2021-09-24 北京金山云网络技术有限公司 即时通信视频的处理方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035659A (ja) 2013-08-07 2015-02-19 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP2016092458A (ja) 2014-10-29 2016-05-23 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
WO2016205712A1 (en) 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309408B (zh) * 2008-06-13 2010-12-29 青岛海信电子产业控股股份有限公司 一种亮度块帧内预测模式选择方法
CN101964906B (zh) * 2009-07-22 2012-07-04 北京工业大学 基于纹理特性的快速帧内预测方法和装置
US20130101029A1 (en) * 2011-10-21 2013-04-25 Texas Instruments Incorporated Multimedia data encoding
CN103281541B (zh) * 2013-05-10 2016-02-17 北方工业大学 基于深度图像的帧内预测楔形分块方法
CN103338371B (zh) * 2013-06-07 2016-11-09 东华理工大学 一种快速高效率视频编码帧内模式判决方法
KR20150027530A (ko) * 2013-09-04 2015-03-12 한국전자통신연구원 Hevc 부호화 장치 및 이를 이용한 부호화 방법
CN104581181B (zh) * 2013-10-11 2017-12-05 中国科学院深圳先进技术研究院 一种基于备选模式列表优化的帧内编码方法
CN104954788B (zh) * 2014-03-27 2018-09-04 浙江大华技术股份有限公司 Hevc帧内预测模式选择方法及装置
KR20170135847A (ko) * 2015-04-08 2017-12-08 엘지전자 주식회사 비디오 신호의 인코딩/디코딩 방법 및 장치
US10038917B2 (en) * 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US10681379B2 (en) * 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
CN105208387B (zh) * 2015-10-16 2018-03-13 浙江工业大学 一种hevc帧内预测模式快速选择方法
CN105657420B (zh) * 2015-12-30 2018-03-20 邦彦技术股份有限公司 一种面向hevc的快速帧内预测模式判决方法和装置
CN105791863B (zh) * 2016-03-24 2018-11-30 西安电子科技大学 基于层的3d-hevc深度图帧内预测编码方法
WO2017192995A1 (en) * 2016-05-06 2017-11-09 Vid Scale, Inc. Method and system for decoder-side intra mode derivation for block-based video coding
CN106131548B (zh) * 2016-07-28 2018-12-25 同观科技（深圳）有限公司 一种帧内预测模式的选择方法及装置
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
CN107509076B (zh) * 2017-08-25 2019-10-18 中国软件与技术服务股份有限公司 一种面向超高清视频的编码优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035659A (ja) 2013-08-07 2015-02-19 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP2016092458A (ja) 2014-10-29 2016-05-23 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
WO2016205712A1 (en) 2015-06-18 2016-12-22 Qualcomm Incorporated Intra prediction and intra mode coding

Also Published As

Publication number Publication date
CN110213576A (zh) 2019-09-06
US11032552B2 (en) 2021-06-08
WO2019210760A1 (zh) 2019-11-07
EP3758373B1 (en) 2023-09-20
JP2021519027A (ja) 2021-08-05
CN110213576B (zh) 2023-02-28
EP3758373A4 (en) 2021-04-28
EP3758373A1 (en) 2020-12-30
US20200359032A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
JP7046219B2 (ja) ビデオ符号化方法、ビデオ符号化装置、電子機器およびコンピュータプログラム
JP7405865B2 (ja) 非線形適応ループフィルタにおけるパラメータの時間的予測
TW201841498A (zh) 視訊編解碼變換
KR102005007B1 (ko) 픽쳐 예측 방법 및 관련 장치
EP3282701B1 (en) Prediction mode selection method, apparatus and device
CN112956192A (zh) 多参考行帧内预测和最可能的模式
US12101467B2 (en) Method and apparatus of combined intra-inter prediction using matrix-based intra prediction
US20230336747A1 (en) Sample Adaptive Offset
WO2019184489A1 (zh) 图像块编码中的变换方法、解码中的反变换方法及装置
JP2023062136A (ja) 文脈的区分化および処理のためのブロックベースのピクチャ融合
CN115988223A (zh) 帧内预测模式的确定、图像编码以及图像解码方法
KR20240039178A (ko) 인코딩 및 디코딩 방법 그리고 장치
KR20230157287A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
CN110213595B (zh) 基于帧内预测的编码方法、图像处理设备和存储装置
US20230108722A1 (en) Allocating bit rate between video streams using machine learning
CN118414826A (zh) 使用图像分割进行视频编码的系统和方法
US11528475B2 (en) Gradient predictor for image compression
US20140254664A1 (en) Methods to perform intra prediction for compression of cfa data
JP6985924B2 (ja) 画像符号化装置、画像処理装置、画像符号化方法
CN114697660A (zh) 一种数据处理方法、装置、计算机设备和存储介质
CN116389763B (zh) 基于多种编码器的视频编码方法和装置
CN116095308B (zh) 一种图像解码方法及装置
KR102101491B1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR20160098822A (ko) 클라우드 스트리밍 서비스 시스템, 화질 저하도에 따른 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN116389722B (zh) 一种图像解码方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220322

R150 Certificate of patent or registration of utility model

Ref document number: 7046219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150