JP6758683B2 - 予測モード選択方法、ビデオ符号化装置、及び記憶媒体 - Google Patents

予測モード選択方法、ビデオ符号化装置、及び記憶媒体 Download PDF

Info

Publication number
JP6758683B2
JP6758683B2 JP2019518960A JP2019518960A JP6758683B2 JP 6758683 B2 JP6758683 B2 JP 6758683B2 JP 2019518960 A JP2019518960 A JP 2019518960A JP 2019518960 A JP2019518960 A JP 2019518960A JP 6758683 B2 JP6758683 B2 JP 6758683B2
Authority
JP
Japan
Prior art keywords
prediction mode
mode
candidate
unit
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019518960A
Other languages
English (en)
Other versions
JP2019531036A (ja
Inventor
煦楠 毛
煦楠 毛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2019531036A publication Critical patent/JP2019531036A/ja
Application granted granted Critical
Publication of JP6758683B2 publication Critical patent/JP6758683B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本願の実施例は、2017年06月23日に中国国家知識産権局に提出した、出願番号201710486557.4、発明の名称「予測モード選択方法、装置、及びビデオ符号化装置」の中国特許出願に基づく優先権を主張し、その全ての内容を本願で援用した。
本願の実施例は、ビデオ符号化の技術分野に関し、特に、予測モード選択方法、ビデオ符号化装置、及び記憶媒体に関する。
HEVC(High Efficient Video Coding)規格は、H.264に続く新世代のビデオ符号化規格である。HEVC規格では、35種類のフレーム内予測モードを定義しており、画像フレームを符号化する場合に、35種類のフレーム内予測モードから最適フレーム内予測モードを選択し、さらに、最適フレーム内予測モードを利用して符号化する。
最適フレーム内予測モードを選択する場合に、原画像フレームにおける各予測ユニット(Prediction Unit,PU)に対して、それぞれ、35種類のフレーム内予測モードにおけるPUの予測残差を予測し、当該予測残差は、フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられ、さらに、予測残差に応じて予備的に候補フレーム内予測モード選別する。選別された各候補フレーム内予測モードに対して、それぞれ、その符号化コスト値を算出することにより、最小符号化コスト値に対応する候補フレーム内予測モードを、最適フレーム内予測モードとして確定し、当該符号化コスト値は、符号化後のビットレートと再構成画像フレームの歪み率で示されてもよい。
しかしながら、上記フレーム内予測モードの選択過程で、全部のフレーム内予測モードに対して予測残差演算を行う必要があるため、フレーム内予測モードを選択するのに大量の時間がかかり、ビデオの符号化速度に影響を与える。
本願の実施例は、フレーム内予測モードの選択過程で、全部のフレーム内予測モードに対して予測残差演算を行うが必要があるため、フレーム内予測モードを選択するのに大量の時間がかかり、ビデオの符号化速度に影響を与えるという問題を解決することができる予測モード選択方法、ビデオ符号化装置、及び記憶媒体を提供する。前記技術案は以下の通りである。
本願の実施例の第1の側面によれば、予測モード選択方法を提供し、当該方法は、
ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、ダウンサンプリングユニットがターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後分割することにより得られ、第1の最適フレーム内予測モードがダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、
第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含んでいる。
本願の実施例の第2の側面によれば、予測モード選択装置を提供し、当該装置は、
ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、ダウンサンプリングユニットが、ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、第1の最適フレーム内予測モードが、ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られる取得モジュールと、
第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加するための第1の追加モジュールと、
ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加するための第2の追加モジュールと、
候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定するための確定モジュールとを含んでいる。
本願の実施例の第3の側面によれば、ビデオ符号化装置を提供し、当該装置はプロセッサーとメモリとを含み、前記メモリは少なくとも一つの命令を記憶し、前記命令は、プロセッサーによりロードされて実行されることで、第1の側面に記載の予測モード選択方法を実現する。
本願の実施例の第4の側面によれば、コンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体は少なくとも一つの命令を記憶し、前記命令はプロセッサーによりロードされて実行されることで第1の側面に記載の予測モード選択方法を実現する。
本願の実施例において、ターゲット予測ユニットの最適フレーム内予測モードを選択する場合に、まず、ダウンサンプリングユニットが元の予測ユニット特徴を保留するという特性に基づいて、プリコーディング中で得られたダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、これにより、ダウンサンプリングユニットの第1の最適フレーム内予測モードに基づいて部分の候補フレーム内予測モードを確定し、次に、隣接予測ユニットが類似の特徴を有するという特性に基づいて、現在の予測ユニットの隣接予測ユニットの第2の最適フレーム内予測モードに基づいて、再び一部の候補フレーム内予測モードを確定し、さらに、確定された候補フレーム内予測モードから現在の予測ユニットの最適フレーム内予測モードを選別し、一部の候補フレーム内予測モードに対応する予測残差を算出するだけでよいため、フレーム内予測モードの選択にかかる時間が短くなり、ビデオ符号化速度を向上させる効果を達成する。
本発明の実施例における技術案をより明確に説明するために、以下で実施例の記述において使用する必要がある図面を簡単に紹介し、もちろん、以下に記述の図面が本発明のいくつかの実施例に過ぎず、当業者にとって、創造的な労力をしない前提で、これらの図面に応じて他の図面を得ることもできる。
本発明の実施例で提供されるフレーム内予測モードに係る33種類の方向の概略図である。 本願の一実施例で提供される予測モード選択方法のフローチャートである。 現在の予測ユニットとダウンサンプリングユニットとの対応関係の概略図である。 本願の他の一実施例で提供される予測モード選択方法のフローチャートである。 本願の他の一実施例で提供される予測モード選択方法のフローチャートである。 本願の他の一実施例で提供される予測モード選択方法のフローチャートである。 本願の一実施例で提供される予測モード選択装置の構造ブロック図である。 本願の一実施例で提供される応用シナリオのシナリオ概略図である。 本願の一実施例で提供されるビデオ符号化装置のブロック図。
本発明における目的、技術案、及び利点をより明確にするために、以下では添付の図面を参照しながら本発明の実施形態をさらに詳細に記述する。
本明細書における「複数」とは、二つ以上を意味する。「及び/又は」は、関連対象の関連関係を記述するものであり、三つの関係が存在し得ることを示す。例えば、A及び/又はBは三つの状況、即ち、Aのみが存在し、AとBが同時に存在し、 Bのみが存在する状況を示す。なお、文字「/」は、通常、前後関連対象が「又は」の関係にあることを示す。
理解を容易にするために、本出願の実施形態に係る用語について、以下に解釈する。
画像フレーム:ビデオを構成する基本単位であり、一セクションのビデオは、いくつかのフレーム画像フレームからなる。ビデオ圧縮符号化は、一般的に、ブロックに基づく符号化方式を用い、即ち、ビデオにおける一つの画像フレームを複数の互に重複しないブロックに分割した後に、それらのブロックを符号化する。各画像フレームのビデオ符号化では、フレーム間符号化方式又はフレーム内符号化方式を使用することができる。本願の実施例は、主にフレーム内符号化方式に関する。
フレーム内予測符号化:ビデオシーケンス画像は、空間において非常に強い相関性を有し、例えば、一つの画像フレームにおいて、その背景は、一面が同じ模様と質感を有する壁であるので、当該画像フレームを分割したいくつかのブロックにおいて、壁に関するブロックは同じ又は類似の情報を表示する可能性があり、これらの強い空間の相関性を有するブロックについては、フレーム内予測技術を用いて符号化することができる。
予測ユニット:画像フレームにおいて予測符号化を行う場合における基本ユニットである。HEVC規格では、予測ユニットは64×64画素、32×32画素、16×16画素、又は8×8画素などのサイズのブロックであってもよい。
フレーム内予測モード:フレーム内予測符号化過程において、現在の予測ユニットに隣接する上側の一行の画素と、左側の一行の画素を利用して予測する予測モードである。HEVC規格では、35種類のフレーム内予測モード、即ち、平面(Planar)予測モード、直流(Direct Current,DC)予測モード、33種類の方向予測モードを提供する。33種類の方向予測モードは、ang_2方向〜ang_34方向予測モードを含み、その中、ang_10方向が水平予測モードに対応し、ang_26方向が垂直予測モードに対応する。図1に示すように、各々の方向は、番号が小さい順に、左下隅45°から右上隅(45°)に向かって時計回りに配列されている。
隣接フレーム内予測モード:現在フレーム内予測モードが方向予測モードであると、現在フレーム内予測モードの+iモードと、-iモードは、その隣接するフレーム内予測モードであり、i=1又は2である。例えば、図1に示すように、隣接フレーム内予測モードが+2モードと-2モードであることを例にとって、ang_10フレーム内予測モードの隣接フレーム内予測モードは、ang_8フレーム内予測モードとang_12フレーム内予測モードである。
隣接予測ユニット:本願の各実施例では、現在の予測ユニットの隣接予測ユニットは、現在の予測ユニットの上側に位置する上側ブロック予測ユニット及び/又は現在の予測ユニットの左側に位置する左側ブロック予測ユニットを含んでいる。なお、現在の予測ユニットが画像フレームの左側縁に位置すると、現在の予測ユニットに対応する左側ブロック予測ユニットが存在せず、現在の予測ユニットが画像フレームの上側縁に位置すると、現在の予測ユニットに対応する上側ブロック予測ユニットが存在しない。
ターゲット予測ユニットの最適フレーム内予測モードを選択する前に、まず、全てのフレーム内予測モードに対して予測残差演算を行う必要があり、これにより、予測残差に応じて一部のフレーム内予測モードを選別する。明らかに、サイズが大きい予測ユニット、例えば、16×16画素、32×32画素、64×64画素の予測ユニットについて、予測ユニットに大量の画素が含まれるので、大きなサイズの予測ユニットに対して予測残差演算を行う場合に大量のリソース及び時間を要する。しかしながら、実際の応用において、最終に大きなサイズの予測ユニットを選定してフレーム内予測モードを行う確率がそれほど高くないことが見出され、その結果、大きなサイズの予測ユニットの全てのフレーム内予測モードに対して予測残差演算を行うと処理リソースが浪費される。
本願の実施例において、ビデオ符号化装置は大きなサイズの予測ユニットの最適フレーム内予測モードを選択する場合に、ビデオプリコーディング分析で得られたダウンサンプリングユニットの最適フレーム内予測モード、及び隣接予測ユニットの最適フレーム内予測モードを利用して、予備的に一部のフレーム内予測モードを選別し、これにより、一部のフレーム内予測モードに対して予測残差を行うだけであり、予測残差演算の演算量を削減し、ひいては、ビデオ符号化速度を向上させる。
本願の実施例で提供される予測モード選択方法は、ビデオを符号化する必要があるシナリオに応用され得る。当該方法はビデオ符号化装置に応用され、当該ビデオ符号化装置は、ビデオコーデックソフトウェアをインストールした携帯端末であってもよいし、ビデオコーデック機能を有するサーバであってもよい。上記方法を採用した後、ビデオ符号化装置の符号化レートは向上され、符号化時の計算量は削減される。以下の実施形態では、説明の便宜上、予測モード選択方法をビデオ符号化装置に適用することを例にとって説明する。
選択的に、当該予測モード選択方法は、以下の製品シナリオに応用することができる。
インスタントメッセージングアプリケーションでのビデオ通話シナリオ
インスタントメッセージングアプリケーションは、通常、ビデオ通話機能を提供する。ビデオ通話機能を使用する場合、携帯端末は、採集された画像フレームを符号化し、符号化して得られた画像フレームデータをサーバに伝送し、サーバは画像フレームデータを、対応する携帯端末に送信し、復号して表示させる。なお、携帯端末による画像フレームの符号化速度は、直接にビデオ通話の品質に影響を与える。携帯端末は本願の実施例で提供される予測モード選択方法を採用すると、ダウンサンプリングユニット、及び隣接予測ユニットの最適フレーム内予測モードに応じて、現在の予測ユニットの最適フレーム内予測モードを確定することができ、これにより、確定した最適フレーム内予測モードに応じて予測ユニットを符号化し、ひいては、携帯端末の符号化速度を向上させ、最終的に、ビデオ通話の品質を向上させる。
ビデオ撮影アプリケーションにおけるビデオ符号化のシナリオ
ビデオ撮影アプリケーションを用いて撮影する過程において、端末は、採集された画像フレームを符号化することで、撮影を完成する際に相応するビデオファイルを生成する。関連技術におけるフレーム内予測モードを採用して画像フレームに対してフレーム内符号化を行う場合に、画像フレームにおける各予測ユニットに対して予測残差演算を35回算出する必要があり、これにより、最適フレーム内予測モードを確定し、符号化の効率が低くなり、符号化の演算量が大きくなり、ビデオが撮影された後、ビデオファイルが取得されるまで比較的長い時間を待つ必要がある。本願の実施例で提供される予測モード選択方法を採用して最適フレーム内予測モードを選択する場合に、符号化の演算量が削減されるので、符号化速度がより速くなり、ビデオが撮影された直後、相応するビデオファイルを得ることができる。
なお、上記製品シナリオは、例示的な説明のために使用され、他の可能な実施形態において、フレーム内符号化に係るシナリオはいずれも本願の実施例で提供する予測モード選択方法を用いることができ、本願の実施例は、これを制限しない。
図2を参照して、本願の一実施例で提供する予測モード選択方法のフローチャートを示し、本実施例は、当該予測モード選択方法がビデオ符号化装置に応用されることを例にとって説明し、当該方法は、以下のステップを含む。
ステップ201において、ビデオ符号化装置は、ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、ダウンサンプリングユニットは、ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、第1の最適フレーム内予測モードは、ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られる。
その中、ターゲット予測ユニットは、予め設定された画素サイズで、画像フレームを分割して得られた画素ブロックであり、当該ターゲット予測ユニットは、16×16画素、32×32画素又は64×64画素の画素ブロックであってもよい。本願の実施例におけるターゲット予測ユニットは、上から下へ、そして、左から右へと順次取得される画素ブロックである。他の可能な表現方式において、ターゲット予測ユニットは現在の予測ユニットとも呼ばれることがあり、本願の実施例は、ターゲット予測ユニットの具体的な呼称を制限しない。
ダウンサンプリングされた画像フレームに対してプリコーディング分析を行うことは、ビデオ符号化の分野における既存のアルゴリズムとして、自己適応Iフレーム (フレーム内符号化フレーム) 間隔選択や、自己適応Bフレーム(双方向予測補間符号化フレーム)の数の算出、ビットレート制御などのアルゴリズムに広く応用される。なお、プリコーディング分析の流れは、以下の通りである。
1、画像フレームに対して、2:1ダウンサンプリングを行うことで、ダウンサンプリング画像フレームを得る。
例えば、画像フレームの元の長さがaで、元の幅がbであると、得られたダウンサンプリング画像フレームの長さは0.5aで、幅は0.5bである。
2、ダウンサンプリング画像フレームを、8×8画素のダウンサンプリングユニットに分割する。
ダウンサンプリング画像フレームの長さ又は幅が8の整数倍ではない場合、予めダウンサンプリング画像フレームをエッジ拡大する必要があり、エッジ拡大されたダウンサンプリング画像フレームの長さと幅は両方とも8の整数倍である。
3、各ダウンサンプリングユニットに対してフレーム内プリコーディングを行うことで、最適フレーム内予測モードを選択する。
ダウンサンプリングユニットがフレーム内予測を採用する場合に、ビデオ符号化装置は、ダウンサンプリングユニットに対してフレーム内プリコーディングを行うことで、最適フレーム内予測モードを選択し、最適フレーム内予測モードに対応する符号化コスト値を算出する。
なお、ダウンサンプリングユニットに対してフレーム内プリコーディングを行う場合に、ビデオ符号化装置は、さらに、それに対してフレーム間プリコーディングを行うことで、最適フレーム間予測モードを選択し、最適フレーム間予測モードに対応する符号化コスト値を算出する。
ダウンサンプリングユニットが原画像フレームのうち対応する予測ユニットのサムネイルであるので、ダウンサンプリングユニットの最適フレーム内予測モードは、ある程度、ターゲット予測ユニットの最適フレーム内予測モードを反映することができ、従って、ビデオ符号化ユニットは、まず、ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得する。
概略的には、図3に示すように、現在の画像フレーム31は64×64画素であり、対応するダウンサンプリング画像フレーム32は32×32画素であり、現在の画像フレーム31は16個の16×16画素の予測ユニット(番号は1〜16である)を含み、ダウンサンプリング画像フレーム32は、16個の16×16画素のダウンサンプリングユニット(番号は1〜16である)を含み、なお、番号が同じである予測ユニットは、ダウンサンプリングユニットに対応する。
ステップ202において、ビデオ符号化装置は第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加する。
ダウンサンプリング画像フレームは原画像フレームと比較して一部の細部を失うので、ターゲット予測ユニットの最適フレーム内予測モードと、対応するダウンサンプリングユニットの第1の最適フレーム内予測モードとは異なる可能性がある。選別された候補フレーム内予測モードの精度及び網羅性を向上するために、ビデオ符号化装置はダウンサンプリングユニットの第1の最適フレーム内予測モードを基に、いくつかの候補フレーム内予測モードを拡張し、候補モード集合に追加する。
ステップ203において、ビデオ符号化装置は、ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加する。
同一の画像フレームにおける隣接する予測ユニットの間に強い関連性があるので、ターゲット予測ユニットの最適フレーム内予測モードとその隣接予測ユニットの最適フレーム内予測モードも強い関連性を有する。一つの可能な実施形態では、ビデオ符号化装置は、ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードを取得し、当該第2の最適フレーム内予測モードに応じて、いくつかの候補フレーム内予測モードを拡張し、候補モード集合に追加する。
選択的に、フレーム内符号化は左から右へ、そして、上から下へ、行ごとの符号化を行うため、ターゲット予測ユニットに対応する隣接予測ユニットはその上側に位置する上側ブロック予測ユニット(上側ブロック予測ユニットの下縁は現在の予測ユニットの上縁に隣接する)、及び/又は、左側に位置する左側ブロック予測ユニットであり(左側ブロック予測ユニットの右縁は現在の予測ユニットの左縁に隣接する)、なお、ターゲット予測ユニットの隣接予測ユニットは既にフレーム内予測モードで選択した。第2の最適フレーム内予測モードを取得する場合に、まず、ターゲット予測ユニットに対応している上側ブロック予測ユニット及び/又は左側ブロック予測ユニット(画像フレーム上縁に位置する予測ユニットは上側ブロック予測ユニットが存在せず、画像フレーム左縁に位置する予測ユニットは左側ブロック予測ユニットが存在しない)があるかどうかを検出し、現在の予測ユニットに対応している上側ブロック予測ユニット及び/又は左側ブロック予測ユニットがあることが検出された場合に、さらに、上側ブロック予測ユニット及び/又は左側ブロック予測ユニットの第2の最適フレーム内予測モードを取得する。
なお、上記ステップ201と、202と、203との間に厳密な優先関係は存在せず、即ち、ステップ203はステップ201、202の前に実行されてもよいし、ステップ201、202と同時に実行されてもよい。本願の実施形態はこれを制限しない。
候補モード集合が方向予測モード及び非方向予測モードの両方をカバーすることを可能にするために、ビデオ符号化装置は、PlanarモードとDCモードとを候補モード集合に追加する。
ステップ204において、ビデオ符号化装置は、候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する。
候補モード集合外のフレーム内予測モードと比較して、候補モード集合における候補フレーム内予測モードが最適フレーム内予測モードとなる可能性が高くなるので、候補モード集合を生成した後、ビデオ符号化装置は候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値と算出し、最終的に、予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する。
一つの可能な実施形態において、このステップは以下のステップを含む。
一、候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出し、予測残差は候補フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられる。
なお、候補フレーム内予測モードに対応する予測残差が小さいほど、当該候補フレーム内予測モードにより生成された予測ユニットが原画像ユニットに近いことを示す。
選択的に、ビデオ符号化装置は、アダマール変換の差の和(Hadamard absolute di8erence,HAD)、絶対誤差の和(Sum of Absolute Di8erence,SAD)、又は、変換された絶対誤差の和 (Sum of Absolute Transformed Di8erence,SATD)のいずれか一つの方式を用いて予測残差を算出する。本願の実施例はこれを限定しない。
二、予測残差に応じて小さい順に、各候補フレーム内予測モードをソートする。
三、一番目の候補フレーム内予測モードが方向予測モードであり、且つ一番目の候補フレーム内予測モードの隣接フレーム内予測モードが候補モード集合に属しないと、一番目の候補フレーム内予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
選択的に、予測残差に応じて候補フレーム内予測モードをソートした後、ビデオ符号化装置は、さらに、一番目の候補フレーム内予測モードが方向予測モードであるかどうかを検出し、一番目の候補フレーム内予測モードが方向予測モードであると、ビデオ符号化装置は、さらに、当該方向予測モードの隣接フレーム内予測モードが候補モード集合に属するかどうかを検出し、当該方向予測モードの隣接フレーム内予測モードが候補モード集合に属しないと、隣接フレーム内予測モードを候補モード集合に追加し、ステップ1と2に戻って実行し、新たに候補モード集合に対して予備的に選択し、これにより、候補モード集合における候補フレーム内予測モードの品質をさらに向上させる。
なお、ビデオ符号化装置は、ステップ三をスキップして直接にステップ4を実行してもよい。この実施形態はこれを限定しない。
四、前のk種類の候補フレーム内予測モードをターゲット候補フレーム内予測モードとして確定し、k≧2である。
選択的に、ビデオ符号化装置は、前のk種類の候補フレーム内予測モード以外の候補フレーム内予測モードを削除する(予測値と元の値との差が大きく、深刻な歪みである)、後続で前のk種類の候補フレーム内予測モードの符号化コスト値を算出するだけでよく、これにより算出量を削減する。
五、各ターゲット候補フレーム内予測モードに対応する符号化コスト値を算出する。
一つの可能な実施形態において、各ターゲット候補フレーム内予測モードについて、ビデオ符号化装置は、ターゲット候補フレーム内予測モードに応じて実際の符号化を行って、再構成画像フレームの歪み率、及び符号化後のビットレートを算出し、さらに、歪み率、及び符号化後のビットレートに応じて符号化コスト値を算出し得て、その中、符号化コスト値cost=D+λRとなり、Dは歪み率(再構成画像フレームと原画像フレームの画素差のSATDを採用し得る)、Rは符号化後のビットレートであり、λはラグランジュの定数である。
再構成画像フレームの歪み率を算出するプロセスは、ターゲット候補フレーム内予測モードに応じて、ターゲット予測ユニットに対して逆量子化及び逆変換を行うことで、再構成画像フレームを得ることと、再構成画像フレームと、ターゲット予測ユニットが属する原画像フレームに応じて、歪み率を算出することとを含んでいる。
符号化後のビットレートを算出するプロセスは、第1のステップにて算出された予測残差に対して、変換、量子化、及びエントロピー符号化を行うことで、符号化後のコードストリームを得ることと、当該コードストリームに応じて符号化後のビットレートを算出することとを含んでいる。
六、最小符号化コスト値に対応するターゲット候補フレーム内予測モードを、ターゲット予測ユニットの最適フレーム内予測モードとして確定する。
最終的に、ビデオ符号化装置は、最小符号化コスト値に対応するターゲット候補フレーム内予測モードを、現在の予測ユニットの最適フレーム内予測モードとして確定し、当該最適フレーム内予測モードを用いて現在の予測ユニットを符号化する場合に、歪み率が低く且つビットレートが低い。
以上のように、本願の実施例では、ターゲット予測ユニットの最適フレーム内予測モードを選択する場合に、まず、ダウンサンプリングユニットが元の予測ユニットの特徴を保留するという特性に基づいて、プリコーディング中に得られたダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、これにより、ダウンサンプリングユニットの第1の最適フレーム内予測モードに基づいて、一部の候補フレーム内予測モードを確定し、次に、隣接予測ユニットが相似する特徴を有するという特性に基づいて、現在の予測ユニットの隣接予測ユニットの第2の最適フレーム内予測モードに応じて、一部の候補フレーム内予測モードを再び確定し、さらに、確定された候補フレーム内予測モードから現在の予測ユニットの最適フレーム内予測モードを選別する。一部の候補フレーム内予測モードに対応する予測残差を算出するだけでよいので、フレーム内予測モードの選択にかかる時間が短くなり、ビデオ符号化速度を向上させる効果を達成する。
選択的に、異なるサイズの予測ユニットについて、ビデオ符号化装置がダウンサンプリングユニットの第1の最適フレーム内予測モードに応じて候補モード集合に候補フレーム内予測モードを追加する方式は異なる。一つの可能な実施形態において、ターゲット予測ユニットが16×16画素であり、ダウンサンプリングユニットが8×8画素である場合に、図2に加えて、図4に示すように、上記ステップ202は以下のステップを含む。
ステップ202Aにおいて、ビデオ符号化装置は、ダウンサンプリングユニットの第1の最適フレーム内予測モードが方向予測モードであるかどうかを検出する。
ターゲット予測ユニットが16×16画素で、且つダウンサンプリングして得られたダウンサンプリングユニットが8×8画素である場合に、ターゲット予測ユニットはダウンサンプリングユニットと一対一に対応し、従って、ビデオ符号化装置は、一つの最適フレーム内予測モードに基づいていくつかの候補フレーム内予測モードを拡張し得る。
ダウンサンプリングユニットの第1の最適フレーム内予測モードを取得した後に、ビデオ符号化装置は、当該第1の最適フレーム内予測モードが方向予測モードであるかどうかを検出する。当該第1の最適フレーム内予測モードが方向予測モードである(即ち、ang_2〜ang_34方向に対応する)と、ビデオ符号化装置は下記のステップ202Bを実行し、当該第1の最適フレーム内予測モードが方向予測モードではない (即ち、Planarモード又はDCモードである)と、ビデオ符号化装置は下記のステップ202Cを実行する。
ステップ202Bにおいて、第1の最適フレーム内予測モードが方向予測モードであると、ビデオ符号化装置は、第1の最適フレーム内予測モード、及び第1の最適フレーム内予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
ダウンサンプリングユニットは、ターゲット予測ユニットと比較して、一部の画像細部を失うので、ダウンサンプリングユニットの第1の最適フレーム内予測モードが方向予測モードであることが検出された場合に、ビデオ符号化装置は、第1の最適フレーム内予測モードを候補モード集合に追加した後、さらに、第1の最適フレーム内予測モードに対応する方向が類似する隣接フレーム内予測モードを、候補モード集合に追加する必要がある。
一つの可能な実施形態において、第1の最適フレーム内予測モードの隣接フレーム内予測モードが第1の最適フレーム内予測モードの+iモードと-iモードであり、i=1又は2であり、即ち、ダウンサンプリングユニットの第1の最適フレーム内予測モードに対応する方向がang_Nである場合に、当該隣接フレーム内予測モードに対応する方向はang_(N-i)とang_(N+i)である。なお、N-i<2である場合に、ang_(N-i)はang_(N-i+33)であり、N+i>34である場合に、ang_(N+i)はang_(N+i-33)である。
概略的には、図1に示すように、ダウンサンプリングユニットの第1の最適フレーム内予測モードに対応する方向がang_2である場合に、その隣接フレーム内予測モードに対応する方向はang_4とang_33であり、ダウンサンプリングユニットの第1の最適フレーム内予測モードに対応する方向がang_33である場合に、その隣接フレーム内予測モードに対応する方向はang_31とang_2である。
ステップ202Cにおいて、第1の最適フレーム内予測モードが方向予測モードではないと、ビデオ符号化装置は、水平予測モードと、垂直予測モードとを、候補モード集合に追加する。
なお、水平予測モードは、ang_10方向に対応するフレーム内予測モードであり、垂直予測モードは、ang_26方向に対応するフレーム内予測モードである。
水平予測モード及び垂直予測モードが最適フレーム内予測モードである確率は高いので、ダウンサンプリングユニットの第1の最適フレーム内予測モードが方向予測モードではないと(即ち、Planarモード又はDCモードである)ことが検出された場合に、ビデオ符号化装置は、水平予測モードと垂直予測モードとを、候補モード集合に追加する。
上記ステップ202A〜202Cを経った後に、当該候補モード集合は、4〜5種類の候補フレーム内予測モードを含む(予め追加されたPlanarモード及びDCモードを含む)。
候補モード集合に実際の最適フレーム内予測モードが欠落してしまうことを避けるために、一つの可能な実施形態において、ビデオ符号化装置は、さらに、ダウンサンプリングユニットの次善フレーム内予測モードに基づいて、候補フレーム内予測モードを再び拡張する。
選択的に、図4に示すように、上記ステップ202A〜202Cの後、以下のステップをさらに含む。
ステップ205において、ビデオ符号化装置はダウンサンプリングユニットの次善フレーム内予測モードを取得し、次善フレーム内予測モードの符号化コスト値>第1の最適フレーム内予測モードの符号化コスト値である。
選択的に、当該次善フレーム内予測モードは、ビデオプリコーディング分析段階において、第1の最適フレーム内予測モードと一緒に出力される。なお、次善フレーム内予測モードの符号化コスト値は、第1の最適フレーム内予測モードの符号化コスト値よりも大きく、且つ他の33種類のフレーム内予測モードの符号化コスト値よりも小さい。
ステップ206において、ダウンサンプリングユニットの次善フレーム内予測モードの符号化コスト値<2×第1の最適フレーム内予測モードの符号化コスト値であり、次善フレーム内予測モードが方向予測モードであると、ビデオ符号化装置は次善フレーム内予測モード、次善フレーム内予測モードの隣接フレーム内予測モードを候補モード集合に追加する。
さらに、ビデオ符号化装置は、ダウンサンプリングユニットの第1の最適フレーム内予測モードと次善フレーム内予測モードの符号化コスト値とが近いか否かを検出し、二つのモードの符号化コスト値が近い場合に、ダウンサンプリングユニットの次善フレーム内予測モードに基づいて候補フレーム内予測モードを拡張する。
一つの可能な実施形態において、ダウンサンプリングユニットの第1の最適フレーム内予測モードの符号化コスト値がmであり、次善フレーム内予測モードの符号化コスト値がnであり、n<2mであると、ビデオ符号化装置は、さらに、当該次善フレーム内予測モードが方向予測モードであるかどうかを検出し、次善フレーム内予測モードが方向予測モードであると、次善フレーム内予測モード、次善フレーム内予測モードの隣接フレーム内予測モードを、候補モード集合に追加し、次善フレーム内予測モードが方向予測モードではないと、次善フレーム内予測モードに基づいて候補モード集合に候補フレーム内予測モードを追加しない。
上記ステップ205、206を経った後、当該候補モード集合は、4〜8種類の候補フレーム内予測モードを含む。
この実施例では、ビデオ符号化装置はダウンサンプリングユニットの第1の最適フレーム内予測モード及び/又は次善フレーム内予測モードを基に、候補モード集合を拡張し、候補フレーム内予測モード品質を保証するとともに、候補フレーム内予測モードの数を減少し、ひいては、後続する算出量を削減する。
他の一つの可能な実施形態において、ターゲット予測ユニットが32×32画素又は64×64画素で、且つダウンサンプリングユニットが8×8画素である場合に、図2に加えて、図5に示すように、上記ステップ201はステップ201Aと201Bを含み、上記ステップ202はステップ202Dないし202Fを含む。
ステップ201Aにおいて、ビデオ符号化装置はターゲット予測ユニットに含まれるサブ予測ユニットを確定し、サブ予測ユニットは16×16画素の予測ユニットである。
ターゲット予測ユニットのサイズが32×32画素又は64×64画素である場合に、当該ターゲット予測ユニットは複数の16×16画素のサブ予測ユニットを含む。なお、ターゲット予測ユニットのサイズが32×32画素である場合に、ターゲット予測ユニットは四つのサブ予測ユニットに対応し、ターゲット予測ユニットのサイズが64×64画素である場合に、ターゲット予測ユニットは16個のサブ予測ユニットに対応する。
概略的には、図3に示すように、一つの32×32画素の予測ユニットは、番号が1、2、5、6であるサブ予測ユニットを含む。
ステップ201Bにおいて、ビデオ符号化装置は、各サブ予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得する。
各サブ予測ユニットはそれぞれのダウンサンプリングユニットに対応するので、サブ予測ユニットを確定した後、ビデオ符号化装置は、さらに、各サブ予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得する。
なお、現在の予測ユニットのサイズが32×32画素である場合に、ビデオ符号化装置は四つのダウンサンプリングユニットの最適フレーム内予測モードを取得し、現在の予測ユニットのサイズが64×64画素である場合に、ビデオ符号化装置は16個のダウンサンプリングユニットの最適フレーム内予測モードを取得する。
ステップ202Dにおいて、ビデオ符号化装置は、各ダウンサンプリングユニットの第1の最適フレーム内予測モードを、候補モード集合に追加する。
さらに、ビデオ符号化装置は、取得した各ダウンサンプリングユニットの第1の最適フレーム内予測モードを、候補モード集合中に追加する。
異なるダウンサンプリングユニットの最適フレーム内予測モードが同じである可能性があるので、候補モード集合に最適フレーム内予測モードを追加する場合に、同じ最適フレーム内予測モードに対して重複排除を行う必要がある。
概略的には、ターゲット予測ユニットのサイズが32×32画素である場合に、ビデオ符号化装置が取得した四つのダウンサンプリングユニットの最適フレーム内予測モードは、それぞれ、ang_5、ang_8、ang_5、ang_5であり、ビデオ符号化装置は、ang_5とang_8とを、候補モード集合に追加する。
ステップ202Eにおいて、ビデオ符号化装置は、候補モード集合における方向予測モードの数が閾値よりも小さいかどうかを検出する。
候補モード集合に候補フレーム内予測モードを追加した後に(各ダウンサンプリングユニットの第1の最適フレーム内予測モードを含む)、ビデオ符号化装置は、当該候補モード集合における方向予測モードの数が閾値よりも小さいかどうかを検出し、方向予測モードの数が閾値よりも小さいと、候補モード集合に実際の最適フレーム内予測モードが欠落してしまうことを避けるために、ビデオ符号化装置は、さらに、各ダウンサンプリングユニットの最適フレーム内予測モードに応じて候補モード集合を拡張し、以下のステップ202Fを実行し、方向予測モードの数が閾値よりも大きいと、ビデオ符号化装置はステップ203を実行する。選択的に、当該閾値は、7又は8である。
ステップ202Fにおいて、候補モード集合における方向予測モードの数が閾値よりも小さいと、ビデオ符号化装置は、各ダウンサンプリングユニットの第1の最適フレーム内予測モードに基づいて、候補モード集合に候補フレーム内予測モードを追加する。
一つの可能な実施形態において、本ステップは、以下のステップを含む。
一、各ダウンサンプリングユニットの第1の最適フレーム内予測モードに同じ方向予測モードが含まれる場合に、同じ方向予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
各ダウンサンプリングユニットの最適フレーム内予測モードに同じ方向予測モードが含まれる場合に、各サブ予測ユニットの最適フレーム内予測モードが同じである確率は高く、且つ現在の予測ユニットが強いテクスチャ特性を表現し(テクスチャ方向で予測することができる)、それに対応して、同じ方向予測モード、及びその隣接フレーム内予測モードが最適フレーム内予測モードである確率が高い。従って、ビデオ符号化装置は、同じ方向予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
概略的には、取得した四つのダウンサンプリングユニットの最適フレーム内予測モードがそれぞれang_5、ang_8、ang_5、ang_5である場合に、ビデオ符号化装置は、ang_5の隣接フレーム内予測モードang_3とang_7とを、候補モード集合に追加する。
二、候補モード集合に1種類の方向予測モードが含まれると、方向予測モードの隣接フレーム内予測モード、水平予測モード、及び垂直予測モードを、候補モード集合に追加する。
候補モード集合に1種類の方向予測モードのみが含まれると、ビデオ符号化装置は、最適フレーム内予測モードである確率が高い水平予測モードと、垂直予測モードとを、候補モード集合に追加し、当該方向予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
三、候補モード集合にn種類の方向予測モードが含まれると、n種類の方向予測モードのそれぞれに対応する隣接フレーム内予測モードを、候補モード集合に追加し、1<n≦3である。
候補モード集合に含まれる方向予測モードが少ない場合、ビデオ符号化装置は、候補モード集合における既存の方向予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
なお、候補モード集合に2種類の方向予測モードのみが含まれる場合に、ビデオ符号化装置は候補モード集合に4種類の候補フレーム内予測モードを追加し、当候補モード集合に3種類の方向予測モードのみが含まれる場合に、ビデオ符号化装置は、候補モード集合に6種類の候補フレーム内予測モードを追加する。
本実施例において、大きなサイズの予測ユニットに複数の小サイズのサブ予測ユニットが含まれる場合に、ビデオ符号化装置は、各サブ予測ユニットに対応するダウンサンプリングユニットに応じて、候補モード集合を拡張し、候補モード集合における候補フレーム内予測モードの品質を保証するとともに、候補フレーム内予測モードの数を減少し、ひいては、後続する算出量を削減する。
隣接予測ユニットに応じて候補モード集合に候補フレーム内予測モードを追加するプロセスについて、一つの可能な実施形態において、隣接予測ユニットは、現在の予測ユニットの上側に位置する上側ブロック予測ユニット及び/又は現在の予測ユニットの左側に位置する左側ブロック予測ユニットを含み、図2に加えて、図6に示すように、上記ステップ203は以下のステップを含む。
ステップ203Aにおいて、上側ブロック予測ユニットの第2の最適フレーム内予測モードと左側ブロック予測ユニットの第2の最適フレーム内予測モードのいずれも方向予測モードでないと、ビデオ符号化装置は、候補モード集合への候補フレーム内予測モードの追加を停止する。
現在の予測ユニットの隣接予測ユニットに応じて候補フレーム内予測モードの拡張を行う場合に、ビデオ符号化装置は、まず、現在の予測ユニットの上側ブロック予測ユニット、及び左側ブロック予測ユニットの最適フレーム内予測モードを取得する。
なお、画像フレーム左縁に位置する予測ユニット、例えば、図3の番号が1、5、9、13である予測ユニットについて、ビデオ符号化装置はそれに隣接する左側ブロック予測ユニットの最適フレーム内予測モードを取得することができず、画像フレーム上縁の予測ユニット、例えば、図1の番号が1、2、3、4である予測ユニットについて、ビデオ符号化装置は、それに隣接する上側ブロック予測ユニットの最適フレーム内予測モードを取得することができない。
上側ブロック予測ユニットの第2の最適フレーム内予測モードと、左側ブロック予測ユニットの第2の最適フレーム内予測モードとのいずれも方向予測モードではないと、ターゲット予測ユニットと隣接予測ユニットのテクスチャ特徴が大きく異なることを表し、従って、ビデオ符号化装置は、候補モード集合への候補フレーム内予測モードの追加を停止し、ステップ204を実行する。
ステップ203Bにおいて、上側ブロック予測ユニットの第2の最適フレーム内予測モード又は左側ブロック予測ユニットの第2の最適フレーム内予測モードが方向予測モードであると、ビデオ符号化装置は、方向予測モードに属する最適フレーム内予測モードを、候補モード集合に追加する。
上側ブロック予測ユニットと左側ブロック予測ユニットのうち一つの予測ユニットのみの最適フレーム内予測モードが方向予測モードである場合に、ターゲット予測ユニットと、方向予測モードに対応する隣接予測ユニットとは類似のテクスチャ特徴を有することを表すので、ビデオ符号化装置は、当該方向予測モードを候補モード集合に追加し、ステップ204を実行する。
ステップ203Cにおいて、上側ブロック予測ユニットの第2の最適フレーム内予測モードと左側ブロック予測ユニットの第2の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードであると、ビデオ符号化装置は、上側ブロック予測ユニットの第2の最適フレーム内予測モードと、左側ブロック予測ユニットの第2の最適フレーム内予測モードとを、候補モード集合に追加する。
上側ブロック予測ユニット及び左側ブロック予測ユニットの最適フレーム内予測モードのいずれも方向予測モードである場合に、ビデオ符号化装置は、さらに、二種類の方向予測モードが同じであるかどうかを検出し、二種類の方向予測モードが異なると、ターゲット予測ユニットと隣接予測ユニットは類似のテクスチャ特徴を有することを表すので、実際の最適フレーム内予測モードを欠落することを避けるために、ビデオ符号化装置は、2種類の方向予測モードを候補モード集合に追加し、ステップ204を実行する。
選択的に、候補フレーム内予測モードの網羅性を向上させるために、ビデオ符号化装置は2種類の方向予測モードに対応する隣接予測モードを一緒に候補モード集合に追加する。
ステップ203Dにおいて、上側ブロック予測ユニットの第2の最適フレーム内予測モードと、左側ブロック予測ユニットの第2の最適フレーム内予測モードとが同じで、且つ両方とも方向予測モードであると、ビデオ符号化装置は、上側ブロック予測ユニットの第2の最適フレーム内予測モード、上側ブロック予測ユニットの第2の最適フレーム内予測モードの隣接フレーム内予測モードを、候補モード集合に追加する。
上側ブロック予測ユニットと、左側ブロック予測ユニットの最適フレーム内予測モードのいずれも方向予測モードであり、且つ2種類の予測モードが同じである場合に、上側ブロック予測ユニットのテクスチャ特徴と、左側ブロック予測ユニットのテクスチャ特徴とが類似することを示し、現在の予測ユニットのテクスチャ特徴と隣接予測ユニットのテクスチャ特徴とが類似する確率が高く、従って、ビデオ符号化装置は、当該方向予測モジュール、及びその隣接フレーム内予測モードを、候補モード集合に追加し、ステップ204を実行する。
選択的に、候補フレーム内予測モードの網羅性を向上させるために、ビデオ符号化装置は方向予測モードに対応する隣接予測モードを一緒に候補モード集合に追加する。
本実施例において、ビデオ符号化装置は、隣接予測ユニットの最適フレーム内予測モードを基に、候補モード集合を拡張し、候補フレーム内予測モード品質を保証するとともに、候補フレーム内予測モードの数を減少し、ひいては、後続する算出量を削減する。
なお、上記各々の実施例において、図4と図6に示す実施例を組み合せて一つの完全な実施例を得ることができ、図5、図6に示す実施例を組み合せて一つの完全な実施例を得ることができ、本願の実施例はここで再度説明しない。
以下本出願の装置の実施例を記載し、装置実施例において詳細に記述されていない細部については、装置の実施例に一対一に対応する前述の方法の実施例を参照する。
図7を参照して、本願の一実施例で提供される予測モード選択装置の構造ブロック図を示している。当該予測モード選択装置は、ビデオ符号化装置の全部又は一部として実現されてもよい。当該装置は、
ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは、前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、前記第1の最適フレーム内予測モードは、前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られる取得モジュール710と、
前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加するための第1の追加モジュール720と、
前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するための第2の追加モジュール730と、
前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、前記現在の予測ユニットの最適フレーム内予測モードを確定するための確定モジュール740とを含んでいる。
選択的に、前記ターゲット予測ユニットが16×16画素で、前記ダウンサンプリングユニットが8×8画素である場合には、前記第1の追加モジュール720は、
前記第1の最適フレーム内予測モードが方向予測モードである場合に、前記第1の最適フレーム内予測モード、及び前記第1の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第1の追加ユニットと
前記第1の最適フレーム内予測モードが方向予測モードでない場合に、水平予測モードと、垂直予測モードとを、前記候補モード集合に追加するための第2の追加ユニットとを含み、
前記水平予測モードはang_10方向に対応するフレーム内予測モードであり、前記垂直予測モードはang_26方向に対応するフレーム内予測モードである。
選択的に、前記第1の追加モジュール720は、
前記ダウンサンプリングユニットの次善フレーム内予測モードを取得し、前記次善フレーム内予測モードの符号化コスト値>前記第1の最適フレーム内予測モードの符号化コスト値である取得ユニットと、
前記次善フレーム内予測モードの符号化コスト値<2×前記第1の最適フレーム内予測モードの符号化コスト値であり、且つ前記次善フレーム内予測モードが方向予測モードである場合に、前記次善フレーム内予測モード、前記次善フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第3の追加ユニットとをさらに含んでいる。
選択的に、前記ターゲット予測ユニットが32×32画素又は64×64画素で、前記ダウンサンプリングユニットが8×8画素である場合に、前記取得モジュール710は、
ターゲット予測ユニットに含まれるサブ予測ユニットを確定し、前記サブ予測ユニットが16×16画素の予測ユニットである第1の確定ユニットと、
各サブ予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得するための取得ユニットとを含んでいる。
前記第1の追加モジュール720は、
各ダウンサンプリングユニットの第1の最適フレーム内予測モードを、前記候補モード集合に追加するための第4の追加ユニットと、
前記候補モード集合における方向予測モードの数が閾値よりも小さいと、各ダウンサンプリングユニットの第1の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードを追加するための第5の追加ユニットとを含んでいる。
前記第2の追加モジュール730は、さらに、前記候補モード集合における方向予測モードの数が前記閾値よりも大きいと、前記した前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するステップを実行する。
選択的に、前記第5の追加ユニットは、
各ダウンサンプリングユニットの第1の最適フレーム内予測モードに同じ方向予測モードが含まれると、前記同じ方向予測モードの隣接フレーム内予測モードを前記候補モード集合に追加し、
前記候補モード集合に1種類の方向予測モードが含まれると、前記方向予測モードの隣接フレーム内予測モード、水平予測モード、及び垂直予測モードを、前記候補モード集合に追加し、
前記候補モード集合にn種類の方向予測モードが含まれると、n種類の方向予測モードのそれぞれに対応する隣接フレーム内予測モードを、前記候補モード集合に追加し、1<n≦3である。
選択的に、前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含んでいる。
前記第2の追加モジュール730は、
前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第2の最適フレーム内予測モードのいずれも予測モードでない場合に、前記候補モード集合への候補フレーム内予測モードの追加を停止するための第6の追加ユニットと、
前記上側ブロック予測ユニットの第2の最適フレーム内予測モード又は前記左側ブロック予測ユニットの第2の最適フレーム内予測モードが方向予測モードである場合に、方向予測モードに属する最適フレーム内予測モードを、前記候補モード集合に追加するための第7の追加ユニットと、
前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードである場合に、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとを、前記候補モード集合に追加するための第8の追加ユニットと、
前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが同じで、且つ両方とも方向予測モードである場合に、前記上側ブロック予測ユニットの第2の最適フレーム内予測モード、前記上側ブロック予測ユニットの最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第9の追加ユニットとを含んでいる。
選択的に、前記装置は、
PlanarモードとDCモードとを、前記候補モード集合に追加するための第3の追加モジュールをさらに含んでいる。
選択的に、前記確定モジュール740は、
前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出し、前記予測残差が候補フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられる第1の算出ユニットと、
前記予測残差が小さい順に、各候補フレーム内予測モードをソートするためのソートユニットと、
前のk(k≧2)種類の候補フレーム内予測モードをターゲット候補フレーム内予測モードとして確定するための第2の確定ユニットと、
各ターゲット候補フレーム内予測モードに対応する符号化コスト値を算出するための第2の算出ユニットと、
最小の符号化コスト値に対応するターゲット候補フレーム内予測モードを、前記ターゲット予測ユニットの最適フレーム内予測モードとして確定するための第3の確定ユニットとを含んでいる。
選択的に、前記確定モジュール740は、
一番目の候補フレーム内予測モードが方向予測モードであり、且つ前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードが前記候補モード集合に属しない場合に、前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第10の追加ユニットをさらに含んでいる。
以上のように、本願の実施例において、ターゲット予測ユニットの最適フレーム内予測モードを選択する場合に、まず、ダウンサンプリングユニットが元の予測ユニットの特徴を保留するという特性に基づいて、プリコーディング中で得られたダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、これにより、ダウンサンプリングユニットの第1の最適フレーム内予測モードに基づいて一部の候補フレーム内予測モードを確定し、そして、隣接予測ユニットが類似する特徴を有するという特性に基づいて、現在の予測ユニットの隣接予測ユニットの第2の最適フレーム内予測モードに基づいて、再び、一部の候補フレーム内予測モードを確定し、さらに、確定された候補フレーム内予測モードから現在の予測ユニットの最適フレーム内予測モードを選別する。一部の候補フレーム内予測モードに対応する予測残差を算出するだけでよいため、フレーム内予測モードの選択にかかる時間が短くなり、これにより、ビデオ符号化速度を向上させる効果を達成する。
本実施例において、ビデオ符号化装置は、ダウンサンプリングユニットの最適フレーム内予測モード、及び/又は、次善フレーム内予測モードを基に、候補モード集合を拡張し、候補フレーム内予測モード品質を保証するとともに、候補フレーム内予測モードの数を減少し、ひいては、後続する算出量を削減する。
本実施例において、大きなサイズの予測ユニットに複数の小サイズのサブ予測ユニットが含まれる場合に、ビデオ符号化装置は、各サブ予測ユニットに対応するダウンサンプリングユニットに応じて、候補モード集合を拡張し、候補モード集合における候補フレーム内予測モードの品質を保証するとともに、候補フレーム内予測モードの数を減少し、さらに、後続する算出量を削減する。
本実施例において、ビデオ符号化装置は、隣接予測ユニットの最適フレーム内予測モードを基に、候補モード集合を拡張し、候補フレーム内予測モードの品質を保証するとともに、候補フレーム内予測モードの数を減少し、ひいては、後続する算出量を削減する。
なお、上記の実施例で提供される予測モード選択装置は、上記の各機能モジュールの分割を例にとって説明したが、実際の応用では、必要に応じて上記機能を異なる機能モジュールに割り当てることができ、即ち、ビデオ符号化装置の内部構造を異なる機能モジュールに分割して以上で記述された機能の全部又は一部を完成できる。また、上記実施例で提供される予測モード選択装置、予測モード選択方法の実施例は同じ考え方に属する。 具体的な実現プロセスについては、方法の実施例を参照し、その詳細はここでは再度説明しない。
一つの可能な応用シナリオにおいて、図8に示すように、ビデオ符号化装置800は、カメラコンポーネントによりユーザAのユーザ画像を採集した後、各フレームのユーザ画像に対してビデオ符号化を行い、サーバ810で符号化したビデオストリームデータを、ユーザーBにより使用されているビデオ復号装置820に伝送し、ビデオ復号装置820はビデオストリームデータを復号してレンダリングし、最終的に、ユーザAのユーザ画像を表示する。なお、ビデオ符号化装置800及びビデオ復号装置820は、ビデオ通話アプリケーションがインストールされた端末であってもよい。本願の各実施例で提供される予測モード選択方法は、ビデオ符号化装置800に適用される。
図9は、本願の一実施例で提供されるビデオ符号化装置800のブロック図を示し、当該装置は、無線周波数(RF,Radio Frequency)回路801、一つ以上のコンピュータ読み取り可能な記憶媒体を含むメモリ802、入力ユニット803、表示ユニット804、センサー805、オーディオ回路806、ワイヤレス・フィデリティ(WiFi,Wireless Fidelity)モジュール807、一つ以上の処理コアを含むプロセッサー808、及び電源809などの部品を含んでいる。当業者は、図9に示すビデオ符号化装置がビデオ符号化装置に対する限定を構成しないことを理解し得て、図示のものよりも多くの部品又は少ない部品を含んでもよく、いくつかの部品を組み合わせてもよく、或いは異なる部品配置を有してもよい。
RF回路801は、情報の送受信や通話中で、信号を受信及び送信するために用いられてもよく、特に、基地局の下りリンク情報を受信した後に、一つ以上のプロセッサ808に送信し処理させ、上りリンクに係るデータを基地局に送信する。一般的に、RF回路801は、アンテナ、少なくとも一つの増幅器、チューナ、一つ又は複数の発振器、加入者識別モジュール(Subscriber Identity Module)カード、トランシーバ、カプラ、低雑音増幅器(Low Noise Amplifier)、デュプレクサ等を含むが、これらに限定されない。さらに、RF回路801はまた、無線通信によりネットワーク及び他の装置と通信してもよい。無線通信は、いずれかの通信標準又はプロトコルを使用してもよく、これは、グローバル移動通信システム(GSM(登録商標),Global System of Mobile communication)、汎用パケット無線サービス(GPRS,General Packet Radio Service)、符号分割多元アクセス(CDMA,Code Division Multiple Access)、広帯域符号分割多元アクセス(WCDMA(登録商標),Wideband Code Division Multiple Access)、ロングタームエボリューション(LTE,Long Term Evolution)、電子メール、ショートメッセージングサービス(SMS,Short Messaging Service)等を含むが、これらに限定されない。
メモリ802は、ソフトウェアプログラム及びモジュールを記憶するために用いられてもよい。プロセッサ808は、メモリ802に記憶されたソフトウェアプログラム及びモジュールを実行することで、様々な機能アプリケーション及びデータ処理を実行する。メモリ802は、プログラム記憶エリア及びデータ記憶エリアを主に含んでもよく、プログラム記憶エリアは、オペレーティングシステム、少なくとも一つの機能(音声再生機能、画像表示機能等)等に必要なアプリケーションプログラムを記憶してもよい。データ記憶エリアは、ビデオ符号化装置の使用に従って作成されたデータ(例えば、オーディオデータ、電話帳など)等を記憶してもよい。本発明の実施例において、プログラム記憶エリアはビデオ符号化アプリケーションプログラムを記憶するために用いられ、データ記憶エリアは原のビデオデータと符号化後のビデオデータを記憶するために用いられる。さらに、メモリ802は、高速ランダムアクセスメモリを含んでもよく、また、不揮発性メモリ、例えば少なくとも一つの磁気ディスク記憶装置、フラッシュメモリ、又は他の揮発性ソリッドステート記憶装置をさらに含んでもよい。対応して、メモリ802は、メモリ802へのプロセッサ808及び入力ユニット803のアクセスを提供するために、メモリコントローラをさらに含んでもよい。
入力ユニット803は、入力された数字又は文字情報を受信し、ユーザ設定及び機能制御に関するキーボード、マウス、ジョイスティック、光又はトラックボール信号入力を生成するために用いられてもよい。具体的には、一つの具体的な実施例において、入力ユニット803は、タッチ表面又は他の入力装置を含んでもよい。タッチ表面はタッチスクリーン又はタッチパネルとも呼ばれ、タッチ表面上又はその近くのユーザのタッチ操作(指又はスタイラスのようないずれか適切な物又はアクセサリを使用することによるタッチ表面上又はその近くのユーザの操作等)を収集し、予め設定されたプログラムに従って対応する接続装置を駆動してもよい。選択的に、タッチ表面は、タッチ検出装置及びタッチコントローラを含んでもよい。タッチ検出装置は、ユーザのタッチ位置を検出し、タッチ操作により生成された信号を検出し、信号をタッチコントローラに転送する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、タッチ情報をタッチ点座標に変換し、タッチ点座標をプロセッサ808に送信し、そして、プロセッサ808から送信されたコマンドを受信して実行できる。さらに、タッチ表面は、抵抗性タイプ、容量性タイプ、赤外線タイプ又は面音波タイプのような複数のタイプで実現されてもよい。タッチ表面に加えて、入力ユニット803は、他の入力装置をさらに含んでもよい。具体的には、他の入力装置は、物理キーボード、機能キー(例えば、音量制御キー又はスイッチボタン)、トラックボール、マウス又はジョイスティックのうち一つ以上を含んでもよいが、これらに限定されない。
表示ユニット804は、ユーザにより入力された情報又はユーザに提供される情報と、ビデオ符号化装置のグラフィカルユーザインタフェースとを表示するために用いられてもよい。グラフィカルユーザインタフェースは、画像、テキスト、アイコン、ビデオ又はこれらの任意の組み合わせで構成されてもよい。表示ユニット804は、表示パネルを含んでもよく、選択的に、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)等の形式で構成されてもよい。さらに、タッチ表面は、表示パネルをカバーしてもよい。タッチ表面上又はその近くのタッチ操作を検出した後に、タッチ表面は、タッチイベントのタイプを決定するために、タッチ操作をプロセッサ808に転送し、次に、プロセッサ808は、タッチイベントのタイプに従って、表示パネル上に対応する視覚出力を提供する。図9において、タッチ表面及び表示パネルは、二つの別々の部分として入力及び出力機能を実現するが、他の実施例では、タッチ表面及び表示パネルは集積されて入力及び出力機能を実現してもよい。
ビデオ符号化装置は、光センサ、モーション・センサ、及びその他のセンサ等のような少なくとも1つのセンサ805をさらに含んでもよい。具体的には、光センサは、周囲光センサ及びプロキシミティセンサを含んでもよい。周囲光センサは、周囲光の輝度に応じてディスプレイパネルの輝きを調整でき、プロキシミティセンサは、ビデオ符号化装置が耳元に動かされた場合に、ディスプレイパネル及び/又はバックライトをオフにしてもよい。モーションセンサの一つとして、重力加速度センサは、様々な方向で(一般的には3軸で)加速度の大きさを検出し、静止している場合に重力の大きさ及び方向を検出してもよく、携帯電話ジェスチャ識別の応用(例えば、水平及び垂直画面の切り替え、関連するゲーム、磁力計のジェスチャの校正)、振動識別の関連機能 (例えば、歩数計やノック)などに用いられてもよく、ビデオ符号化装置には、ジャイロ、気圧計、湿度計、温度計、及び赤外線センサのような他のセンサーが配置されてもよく、ここで詳細に説明しない。
オーディオ回路806、スピーカ、及びマイクロフォンは、ユーザとビデオ符号化装置との間のオーディオ・インターフェースを提供する。オーディオ回路806は、受信したオーディオデータを電気信号に変換し、スピーカへ送信してもよく、スピーカは音声信号に変換し出力する。一方、マイクロフォンは、収集した音声信号を電気信号に変換し、オーディオ回路806は、電気信号を受信し、オーディオデータに変換し、オーディオデータをプロセッサ808へ出力して処理させた後、RF回路801を介して例えば別のビデオ符号化装置へ送信するか、或いは、更なる処理のためにオーディオデータをメモリ802へ出力する。オーディオ回路806は、周辺イヤホンとビデオ符号化装置との間の通信を提供するために、イヤプラグジャックをさらに含んでもよい。
WiFiは、近距離無線通信技術である。ビデオ符号化装置は、Wi-Fiモジュール807により、ユーザが、電子メールを送受信し、ウェブページを閲覧し、ストリーム媒体にアクセスすること等を支援し、ワイヤレス・ブロードバンド・インターネット・アクセスをユーザに提供する。図9は、Wi-Fiモジュール807を示しているが、Wi-Fiモジュール807はビデオ符号化装置の必須構成要件には含まれず、必要に応じて、本発明の本質的な範囲を変更することなく、省略可能であることは理解される。
プロセッサー808は、ビデオ符号化装置の制御センタであり、様々なインタフェース及びラインを利用することにより、携帯電話全体の様々な部分を接続し、メモリ802に記憶されたソフトウェアプログラム及び/又はモジュールを動作又は実行し、メモリ802に記憶されたデータを呼び出すことにより、ビデオ符号化装置の様々な機能を実行し、データを処理し、それにより、携帯電話全体を監視する。選択的に、プロセッサ808は、一つ以上の処理コアを含んでもよい。プロセッサ808は、アプリケーションプロセッサ及びモデムプロセッサを統合することが好ましく、アプリケーションプロセッサは、オペレーティングシステム、ユーザインタフェース、アプリケーションプログラム等を主に処理し、モデムプロセッサは、無線通信を主に処理する。上記のモデムプロセッサは、プロセッサ808に統合されなくてもよいことが理解され得る。
ビデオ符号化装置は、電力を各コンポーネントに供給する電源809(例えば、バッテリ)をさらに含む。電源は、電源管理システムを介してプロセッサ808に論理的に接続されてもよく、それにより、電源管理システムにより、充電、放電及び電力消費の管理のような機能が実現される。電源809は、一つ以上の直流又は交流電源、再充電システム、電源異常検出回路、電源コンバータ又はインバータ、電源状態インジケータなどの任意のコンポーネントをさらに含んでもよい。
図示しないが、ビデオ符号化装置は、カメラ、ブルートゥース(登録商標)モジュール等をさらに含んでもよい。ここでは詳細に説明しない。具体的には、本実施例において、ビデオ符号化装置のプロセッサ808は、メモリ802に記憶された少なくとも一つの命令を実行することで、上記各方法実施例で提供される予測モード選択方法を実現する。
本願の実施例は、さらに、コンピュータ読み取り可能な記憶媒体を提供し、当該記憶媒体は少なくとも一つの命令を記憶し、当該命令は、プロセッサーによりロードされて実行されることで、上記各方法実施例で提供される予測モード選択方法を実現する。
本発明の上記の実施例についてのシーケンス番号は、単なる記述のためであり、実施例の好適性を示すわけではない。
上記の説明は本発明の好ましい実施例に過ぎず、本発明を制限するように意図しない。本発明の精神及び原理の範囲内でなされる任意の修正、均等な置換又は改善は、本発明の保護範囲に属する。

Claims (26)

  1. 予測モード選択方法であって、前記方法は、
    ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後分割することにより得られ、前記第1の最適フレーム内予測モードは前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、
    前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
    前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加し、
    前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含み、
    前記の前記候補モード集合に前記候補フレーム内予測モードを追加することは、
    前記第1の最適フレーム内予測モードが方向予測モードであると、前記第1の最適フレーム内予測モード、及び前記第1の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加し、
    前記第1の最適フレーム内予測モードが方向予測モードでないと、水平予測モードと、垂直予測モードとを、前記候補モード集合に追加する、ことを含み、
    前記水平予測モードはang_10方向に対応するフレーム内予測モードであり、前記垂直予測モードはang_26方向に対応するフレーム内予測モードであることを特徴とする方法。
  2. 前記した前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加した後には、さらに、
    前記ダウンサンプリングユニットの次善フレーム内予測モードを取得し、前記次善フレーム内予測モードの符号化コスト値>前記第1の最適フレーム内予測モードの符号化コスト値であり、
    前記次善フレーム内予測モードの符号化コスト値<2×前記第1の最適フレーム内予測モードの符号化コスト値であり、且つ前記次善フレーム内予測モードが方向予測モードであると、前記次善フレーム内予測モード、前記次善フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加することを含むことを特徴とする請求項に記載の方法。
  3. 予測モード選択方法であって、前記方法は、
    ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後分割することにより得られ、前記第1の最適フレーム内予測モードは前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、
    前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
    前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加し、
    前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含み、
    前記の前記ターゲット予測ユニットに対応する前記ダウンサンプリングユニットの前記第1の最適フレーム内予測モードを取得することは、
    前記ターゲット予測ユニットに含まれるサブ予測ユニットを確定し
    サブ予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得することを含み、
    前記した前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加することは、
    各ダウンサンプリングユニットの第1の最適フレーム内予測モードを、前記候補モード集合に追加し、
    前記候補モード集合における方向予測モードの数が閾値よりも小さいと、各ダウンサンプリングユニットの第1の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードを追加することを含み、
    前記候補モード集合における方向予測モードの数が前記閾値よりも大きいと、前記した前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するステップを実行する、ことを特徴とする方法。
  4. 前記した各ダウンサンプリングユニットの第1の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードを追加することは、
    各ダウンサンプリングユニットの第1の最適フレーム内予測モードに同じ方向予測モードが含まれると、前記同じ方向予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加し、
    前記候補モード集合に1種類の方向予測モードが含まれると、前記方向予測モードの隣接フレーム内予測モード、水平予測モード、及び垂直予測モードを、前記候補モード集合に追加し、
    前記候補モード集合にn(1<n≦3)種類の方向予測モードが含まれると、n種類の方向予測モードのそれぞれに対応する隣接フレーム内予測モードを、前記候補モード集合に追加することを含むことを特徴とする請求項に記載の方法。
  5. 前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含み、
    前記した前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加することは、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モード及び前記左側ブロック予測ユニットの第2の最適フレーム内予測モードのいずれも方向予測モードでないと、前記候補モード集合への候補フレーム内予測モードの追加を停止し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モード又は前記左側ブロック予測ユニットの第2の最適フレーム内予測モードが方向予測モードであると、方向予測モードに属する第2の最適フレーム内予測モードを、前記候補モード集合に追加し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードであると、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとを、前記候補モード集合に追加し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが同じであり、且つ両方とも方向予測モードであると、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加することを含むことを特徴とする請求項1〜のいずれか一項に記載の方法。
  6. 予測モード選択方法であって、前記方法は、
    ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後分割することにより得られ、前記第1の最適フレーム内予測モードは前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、
    前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
    前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加し、
    前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含み、
    前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含み、
    前記の前記候補モード集合に前記候補フレーム内予測モードを追加することは、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モード及び前記左側ブロック予測ユニットの第2の最適フレーム内予測モードのいずれも方向予測モードでないと、前記候補モード集合への候補フレーム内予測モードの追加を停止し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モード又は前記左側ブロック予測ユニットの第2の最適フレーム内予測モードが方向予測モードであると、方向予測モードに属する第2の最適フレーム内予測モードを、前記候補モード集合に追加し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードであると、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとを、前記候補モード集合に追加し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが同じであり、且つ両方とも方向予測モードであると、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加することを含むことを特徴とする方法。
  7. 前記方法は、平面Planarモードと直流DCモードとを前記候補モード集合に追加することをさらに含むことを特徴とする請求項1〜のいずれか一項に記載の方法。
  8. 前記した前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と符号化コスト値とに応じて、前記現在の予測ユニットの最適フレーム内予測モードを確定することは、
    前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出し、前記予測残差が、候補フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられ、
    前記予測残差が小さい順に、各候補フレーム内予測モードをソートし、
    前のk(k≧2)種類の候補フレーム内予測モードをターゲット候補フレーム内予測モードとして確定し、
    各ターゲット候補フレーム内予測モードに対応する符号化コスト値を算出し、
    最小の符号化コスト値に対応するターゲット候補フレーム内予測モードを、前記ターゲット予測ユニットの最適フレーム内予測モードとして確定する、ことを含むことを特徴とする請求項1〜のいずれか一項に記載の方法。
  9. 前記した前記予測残差が小さい順に各候補フレーム内予測モードをソートした後には、さらに、
    一番目の候補フレーム内予測モードが方向予測モードであり、且つ前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードが前記候補モード集合に属しないと、前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードを前記候補モード集合に追加するとともに、前記した前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出するステップを実行することを含むことを特徴とする請求項8に記載の方法。
  10. 予測モード選択方法であって、前記方法は、
    ビデオ符号化装置がターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、前記第1の最適フレーム内予測モードは前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、
    前記ビデオ符号化装置が前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
    前記ビデオ符号化装置が前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加し、
    前記ビデオ符号化装置が前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含み、
    前記の前記候補モード集合に前記候補フレーム内予測モードを追加することは、
    前記第1の最適フレーム内予測モードが方向予測モードであると、前記ビデオ符号化装置が前記第1の最適フレーム内予測モード、及び前記第1の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加し、
    前記第1の最適フレーム内予測モードが方向予測モードでないと、前記ビデオ符号化装置が水平予測モードと、垂直予測モードとを前記候補モード集合に追加する、ことを含み、
    前記水平予測モードはang_10方向に対応するフレーム内予測モードであり、前記垂直予測モードはang_26方向に対応するフレーム内予測モードであることを特徴とする方法。
  11. 前記ビデオ符号化装置が前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加した後には、さらに、
    前記ビデオ符号化装置が前記ダウンサンプリングユニットの次善フレーム内予測モードを取得し、前記次善フレーム内予測モードの符号化コスト値>前記第1の最適フレーム内予測モードの符号化コスト値であり、
    前記次善フレーム内予測モードの符号化コスト値<2×前記第1の最適フレーム内予測モードの符号化コスト値であり、且つ前記次善フレーム内予測モードが方向予測モードであると、前記ビデオ符号化装置が前記次善フレーム内予測モード、前記次善フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加する、ことを含むことを特徴とする請求項10に記載の方法。
  12. 予測モード選択方法であって、前記方法は、
    ビデオ符号化装置がターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、前記第1の最適フレーム内予測モードは前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、
    前記ビデオ符号化装置が前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
    前記ビデオ符号化装置が前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加し、
    前記ビデオ符号化装置が前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含み、
    前記の前記ビデオ符号化装置が前記ターゲット予測ユニットに対応する前記ダウンサンプリングユニットの前記第1の最適フレーム内予測モードを取得することは、
    前記ビデオ符号化装置が前記ターゲット予測ユニットに含まれるサブ予測ユニットを確定し
    記ビデオ符号化装置が各サブ予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得する、ことを含み、
    前記ビデオ符号化装置が前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加することは、
    前記ビデオ符号化装置が各ダウンサンプリングユニットの第1の最適フレーム内予測モードを前記候補モード集合に追加し、
    前記候補モード集合における方向予測モードの数が閾値よりも小さいと、前記ビデオ符号化装置が各ダウンサンプリングユニットの第1の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードを追加することを含み、
    前記候補モード集合における方向予測モードの数が前記閾値よりも大きいと、前記ビデオ符号化装置が前記した前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するステップを実行する、ことを特徴とする方法。
  13. 前記ビデオ符号化装置が各ダウンサンプリングユニットの第1の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードを追加することは、
    各ダウンサンプリングユニットの第1の最適フレーム内予測モードに同じ方向予測モードが含まれると、前記ビデオ符号化装置が前記同じ方向予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加し、
    前記候補モード集合に1種類の方向予測モードが含まれると、前記ビデオ符号化装置が前記方向予測モードの隣接フレーム内予測モード、水平予測モード、及び垂直予測モードを、前記候補モード集合に追加し、
    前記候補モード集合にn種類の方向予測モードが含まれると、前記ビデオ符号化装置がn(1<n≦3)種類の方向予測モードのそれぞれに対応する隣接フレーム内予測モードを、前記候補モード集合に追加する、ことを含むことを特徴とする請求項12に記載の方法。
  14. 前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含み、
    前記ビデオ符号化装置が前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加することは、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードのいずれも方向予測モードでないと、前
    記ビデオ符号化装置が前記候補モード集合への候補フレーム内予測モードの追加を停止し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モード又は前記左側ブロック予測ユニットの第2の最適フレーム内予測モードが方向予測モードであると、前記ビデオ符号化装置が方向予測モードに属する第2の最適フレーム内予測モードを前記候補モード集合に追加し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードであると、前記ビデオ符号化装置が前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとを、前記候補モード集合に追加し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが同じであり、且つ両方とも方向予測モードであると、前記ビデオ符号化装置が前記上側ブロック予測ユニットの第2の最適フレーム内予測モード、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加する、ことを含むことを特徴とする請求項10〜13のいずれか一項に記載の方法。
  15. 予測モード選択方法であって、前記方法は、
    ビデオ符号化装置がターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、前記第1の最適フレーム内予測モードは前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られ、
    前記ビデオ符号化装置が前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加し、
    前記ビデオ符号化装置が前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加し、
    前記ビデオ符号化装置が前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定する、ことを含み、
    前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含み、
    前記の前記候補モード集合に前記候補フレーム内予測モードを追加することは、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードのいずれも方向予測モードでないと、前記ビデオ符号化装置が前記候補モード集合への候補フレーム内予測モードの追加を停止し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モード又は前記左側ブロック予測ユニットの第2の最適フレーム内予測モードが方向予測モードであると、前記ビデオ符号化装置が方向予測モードに属する第2の最適フレーム内予測モードを前記候補モード集合に追加し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードであると、前記ビデオ符号化装置が前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとを、前記候補モード集合に追加し、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが同じであり、且つ両方とも方向予測モードであると、前記ビデオ符号化装置が前記上側ブロック予測ユニットの第2の最適フレーム内予測モード、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加する、ことを含むことを特徴とする方法。
  16. 前記方法は、前記ビデオ符号化装置が平面Planarモードと直流DCモードとを前記候補モード集合に追加することをさらに含むことを特徴とする請求項10〜13のいずれか一項に記載の方法。
  17. 前記ビデオ符号化装置が前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、前記現在の予測ユニットの最適フレーム内予測モードを確定することは、
    前記ビデオ符号化装置が前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出し、前記予測残差が候補フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられ、
    前記ビデオ符号化装置が前記予測残差が小さい順に各候補フレーム内予測モードをソートし、
    前記ビデオ符号化装置が前のk(k≧2)種類の候補フレーム内予測モードをターゲット候補フレーム内予測モードとして確定し、
    前記ビデオ符号化装置が各ターゲット候補フレーム内予測モードに対応する符号化コスト値を算出し、
    前記ビデオ符号化装置が最小の符号化コスト値に対応するターゲット候補フレーム内予測モードを前記ターゲット予測ユニットの最適フレーム内予測モードとして確定する、ことを含むことを特徴とする請求項10〜13のいずれか一項に記載の方法。
  18. 前記ビデオ符号化装置が前記予測残差が小さい順に、各候補フレーム内予測モードをソートした後には、さらに、
    一番目の候補フレーム内予測モードが方向予測モードで、且つ前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードが前記候補モード集合に属しないと、前記ビデオ符号化装置が前記一番目の候補フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加し、前記した前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出するステップを実行する、ことをさらに含むことを特徴とする請求項17に記載の方法。
  19. 予測モード選択装置であって、
    前記装置は、
    ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは、前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、前記第1の最適フレーム内予測モードは、前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られる取得モジュールと、
    前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加するための第1の追加モジュールと、
    前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するための第2の追加モジュールと、
    前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定するための確定モジュールとを含み、
    前記第1の追加モジュールは、
    前記第1の最適フレーム内予測モードが方向予測モードである場合に、前記第1の最適フレーム内予測モード、及び前記第1の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第1の追加ユニットと、
    前記第1の最適フレーム内予測モードが方向予測モードでない場合に、水平予測モードと、垂直予測モードとを、前記候補モード集合に追加し、前記水平予測モードはang_10方向に対応するフレーム内予測モードであり、前記垂直予測モードはang_26方向に対応するフレーム内予測モードである第2の追加ユニットとを含むことを特徴とする装置。
  20. 前記第1の追加モジュールは、
    前記ダウンサンプリングユニットの次善フレーム内予測モード取得し、前記次善フレーム内予測モードの符号化コスト値>前記第1の最適フレーム内予測モードの符号化コスト値である取得ユニットと、
    前記次善フレーム内予測モードの符号化コスト値<2×第1の最適フレーム内予測モードの符号化コスト値であり、且つ前記次善フレーム内予測モードが方向予測モードである場合に、前記次善フレーム内予測モード、前記次善フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第3の追加ユニットとをさらに含むことを特徴とする請求項19に記載の装置。
  21. 予測モード選択装置であって、
    前記装置は、
    ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは、前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、前記第1の最適フレーム内予測モードは、前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られる取得モジュールと、前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加するための第1の追加モジュールと、
    前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するための第2の追加モジュールと、
    前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定するための確定モジュールとを含み、
    記取得モジュールは、
    前記ターゲット予測ユニットに含まれるサブ予測ユニットを確定する第1の確定ユニットと、
    各サブ予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得するための取得ユニットとを含み、
    前記第1の追加モジュールは、
    各ダウンサンプリングユニットの第1の最適フレーム内予測モードを、前記候補モード集合に追加するための第4の追加ユニットと、
    前記候補モード集合における方向予測モードの数が閾値よりも小さいと、各ダウンサンプリングユニットの第1の最適フレーム内予測モードに基づいて、前記候補モード集合に候補フレーム内予測モードに追加するための第5の追加ユニットと、を含み、
    前記第2の追加モジュールは、さらに、前記候補モード集合における方向予測モードの数が前記閾値よりも大きいと、前記した前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するステップを実行する、ことを特徴とする装置。
  22. 前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含み、
    前記第2の追加モジュールは、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとのいずれも予測モードでない場合に、前記候補モード集合への候補フレーム内予測モードの追加を停止するための第6の追加ユニットと、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モード、又は前記左側ブロック予測ユニットの第2の最適フレーム内予測モードが方向予測モードである場合に、方向予測モードに属する最適フレーム内予測モードを、前記候補モード集合に追加するための第7の追加ユニットと、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードである場合に、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとを、前記候補モード集合に追加するための第8の追加ユニットと、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが同じで、且つ両方とも方向予測モードである場合に、前記上側ブロック予測ユニットの第2の最適フレーム内予測モード、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第9の追加ユニットとを含むことを特徴とする請求項19〜21のいずれか一項に記載の装置。
  23. 予測モード選択装置であって、
    前記装置は、
    ターゲット予測ユニットに対応するダウンサンプリングユニットの第1の最適フレーム内予測モードを取得し、前記ダウンサンプリングユニットは、前記ターゲット予測ユニットの属する画像フレームに対してダウンサンプリングを行った後に分割することにより得られ、前記第1の最適フレーム内予測モードは、前記ダウンサンプリングユニットに対してプリコーディング分析を行うことにより得られる取得モジュールと、前記第1の最適フレーム内予測モードに応じて、候補モード集合に候補フレーム内予測モードを追加するための第1の追加モジュールと、
    前記ターゲット予測ユニットに対応する隣接予測ユニットの第2の最適フレーム内予測モードに応じて、前記候補モード集合に候補フレーム内予測モードを追加するための第2の追加モジュールと、
    前記候補モード集合における各候補フレーム内予測モードに対応する予測残差と、符号化コスト値とに応じて、現在の予測ユニットの最適フレーム内予測モードを確定するための確定モジュールとを含み、
    前記隣接予測ユニットは、前記ターゲット予測ユニットの上側に位置する上側ブロック予測ユニット、及び/又は、前記ターゲット予測ユニットの左側に位置する左側ブロック予測ユニットを含み、
    前記第2の追加モジュールは、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとのいずれも予測モードでない場合に、前記候補モード集合への候補フレーム内予測モードの追加を停止するための第6の追加ユニットと、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モード、又は前記左側ブロック予測ユニットの第2の最適フレーム内予測モードが方向予測モードである場合に、方向予測モードに属する最適フレーム内予測モードを、前記候補モード集合に追加するための第7の追加ユニットと、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが異なり、且つ両方とも方向予測モードである場合に、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとを、前記候補モード集合に追加するための第8の追加ユニットと、
    前記上側ブロック予測ユニットの第2の最適フレーム内予測モードと、前記左側ブロック予測ユニットの第2の最適フレーム内予測モードとが同じで、且つ両方とも方向予測モードである場合に、前記上側ブロック予測ユニットの第2の最適フレーム内予測モード、前記上側ブロック予測ユニットの第2の最適フレーム内予測モードの隣接フレーム内予測モードを、前記候補モード集合に追加するための第9の追加ユニットとを含むことを特徴とする装置。
  24. 前記確定モジュールは、
    前記候補モード集合における各候補フレーム内予測モードに対応する予測残差を算出し、前記予測残差は候補フレーム内予測モードに応じて予測された予測値と元の値との差を指示するために用いられる第1の算出ユニットと、
    前記予測残差が小さい順に、各候補フレーム内予測モードをソートするためのソートユニットと、
    前のk(k≧2)種類の候補フレーム内予測モードをターゲット候補フレーム内予測モードとして確定するための第2の確定ユニットと、
    各ターゲット候補フレーム内予測モードに対応する符号化コスト値を算出するための第2の算出ユニットと、
    最小の符号化コスト値に対応するターゲット候補フレーム内予測モードを、前記ターゲット予測ユニットの最適フレーム内予測モードとして確定するための第3の確定ユニットとを含むことを特徴とする請求項19〜21のいずれか一項に記載の装置。
  25. ビデオ符号化装置であって、
    前記ビデオ符号化装置は、プロセッサーとメモリとを含み、前記メモリは少なくとも一つの命令を記憶し、前記命令は、前記プロセッサーによりロードされて実行されることで、請求項1〜9のいずれか一項に記載の予測モード選択方法を実現することを特徴とするビデオ符号化装置。
  26. コンピュータ読み取り可能な記憶媒体であって、
    前記記憶媒体は少なくとも一つの命令を記憶し、前記命令はプロセッサーにロードされて実行されることで請求項1〜9のいずれか一項に記載の予測モード選択方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2019518960A 2017-06-23 2018-05-15 予測モード選択方法、ビデオ符号化装置、及び記憶媒体 Active JP6758683B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710486557.4A CN109120926B (zh) 2017-06-23 2017-06-23 预测模式选择方法、装置及介质
CN201710486557.4 2017-06-23
PCT/CN2018/086910 WO2018233411A1 (zh) 2017-06-23 2018-05-15 预测模式选择方法、视频编码设备及存储介质

Publications (2)

Publication Number Publication Date
JP2019531036A JP2019531036A (ja) 2019-10-24
JP6758683B2 true JP6758683B2 (ja) 2020-09-23

Family

ID=64732153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019518960A Active JP6758683B2 (ja) 2017-06-23 2018-05-15 予測モード選択方法、ビデオ符号化装置、及び記憶媒体

Country Status (7)

Country Link
US (1) US10986332B2 (ja)
EP (1) EP3644605B1 (ja)
JP (1) JP6758683B2 (ja)
KR (1) KR102302008B1 (ja)
CN (1) CN109120926B (ja)
MA (1) MA49483A (ja)
WO (1) WO2018233411A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3821626A4 (en) * 2018-08-09 2021-08-04 Huawei Technologies Co., Ltd. HISTORY-BASED INTRA MODE CODING PROCESS AND APPARATUS
CN109640081B (zh) * 2019-02-14 2023-07-14 深圳市网心科技有限公司 一种帧内预测方法、编码器、电子设备及可读存储介质
CN110062237B (zh) * 2019-04-29 2021-03-09 中国科学技术大学 视频编码的帧内编码模式选择方法和装置
CN112839224B (zh) * 2019-11-22 2023-10-10 腾讯科技(深圳)有限公司 一种预测模式选择方法、装置、视频编码设备及存储介质
CN111314697B (zh) * 2020-02-25 2021-10-15 中南大学 一种针对光字符识别的码率设置方法、设备及存储介质
EP4138040A4 (en) * 2020-04-14 2023-08-09 Panasonic Intellectual Property Corporation of America METHOD OF ENCODING THREE-DIMENSIONAL DATA, METHOD OF DECODING OF THREE-DIMENSIONAL DATA, DEVICE FOR ENCODING OF THREE-DIMENSIONAL DATA, AND DECODER OF DECODER OF THREE-DIMENSIONAL DATA
CN113271461B (zh) * 2021-05-18 2022-09-27 上海大学 基于自适应代价分数阈值的帧内预测模式判决方法和系统
CN113630596A (zh) * 2021-06-25 2021-11-09 杭州未名信科科技有限公司 Avs3帧内预测模式粗选方法、系统及介质
CN113612992B (zh) * 2021-07-01 2023-11-03 杭州未名信科科技有限公司 一种针对avs3硬件编码器的快速帧内编码单元的编码方法
CN114205614B (zh) * 2021-12-16 2023-08-04 福州大学 一种基于hevc标准的帧内预测模式并行硬件方法
CN115834880A (zh) * 2022-09-26 2023-03-21 百果园技术(新加坡)有限公司 一种帧内预测模式的决策方法、装置及视频编码设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104117A (ja) 2005-09-30 2007-04-19 Seiko Epson Corp 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
US8208558B2 (en) * 2007-06-11 2012-06-26 Texas Instruments Incorporated Transform domain fast mode search for spatial prediction in advanced video coding
JP2011205711A (ja) 2011-07-14 2011-10-13 Canon Inc 画像処理装置およびその方法
US9179145B2 (en) * 2012-07-02 2015-11-03 Vidyo, Inc. Cross layer spatial intra prediction
WO2014107083A1 (ko) 2013-01-07 2014-07-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN104954788B (zh) * 2014-03-27 2018-09-04 浙江大华技术股份有限公司 Hevc帧内预测模式选择方法及装置
JP2015211386A (ja) 2014-04-28 2015-11-24 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN103997645B (zh) * 2014-04-29 2017-02-15 长沙理工大学 一种快速的hevc帧内编码单元和模式决策方法
CN104333754B (zh) * 2014-11-03 2017-06-13 西安电子科技大学 基于预测模式快速选择的shvc增强层视频编码方法
CN104754338A (zh) * 2014-12-30 2015-07-01 北京奇艺世纪科技有限公司 一种帧内预测模式的选择方法和装置
CN104601993A (zh) * 2014-12-31 2015-05-06 乐视网信息技术(北京)股份有限公司 一种视频编码方法及装置
CN104883565A (zh) * 2014-12-31 2015-09-02 乐视网信息技术(北京)股份有限公司 一种高效视频编码的帧内预测模式决策方法及装置
CN104853192B (zh) * 2015-05-08 2018-02-13 腾讯科技(深圳)有限公司 预测模式选择方法及装置
CN105208391A (zh) * 2015-09-17 2015-12-30 广州市百果园网络科技有限公司 帧内预测方法及装置
US9955176B2 (en) * 2015-11-30 2018-04-24 Intel Corporation Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode
US10999591B2 (en) * 2017-06-02 2021-05-04 Lg Electronics Inc. Method and apparatus for processing video signal through target area modification

Also Published As

Publication number Publication date
EP3644605A4 (en) 2020-11-04
US10986332B2 (en) 2021-04-20
WO2018233411A1 (zh) 2018-12-27
EP3644605A1 (en) 2020-04-29
KR20190113944A (ko) 2019-10-08
EP3644605B1 (en) 2023-11-29
CN109120926A (zh) 2019-01-01
KR102302008B1 (ko) 2021-09-13
CN109120926B (zh) 2019-08-13
US20190230349A1 (en) 2019-07-25
MA49483A (fr) 2020-04-29
JP2019531036A (ja) 2019-10-24

Similar Documents

Publication Publication Date Title
JP6758683B2 (ja) 予測モード選択方法、ビデオ符号化装置、及び記憶媒体
JP7229261B2 (ja) ビデオ符号化のビットレート制御方法、装置、機器、記憶媒体及びプログラム
JP6925587B2 (ja) ビデオ符号化方法、装置、機器、及び記憶媒体
WO2018036352A1 (zh) 视频数据的编解码方法、装置、系统及存储介质
CN114598880B (zh) 图像处理方法、智能终端及存储介质
US11375227B2 (en) Video motion estimation method and apparatus, and storage medium
CN112532975A (zh) 视频编码方法、装置、计算机设备及存储介质
CN105992001A (zh) 一种对图片进行量化处理的方法及装置
CN116668704B (zh) 处理方法、处理设备及存储介质
CN110418209A (zh) 一种应用于视频传输的信息处理方法及终端设备
US10827198B2 (en) Motion estimation method, apparatus, and storage medium
CN116456102A (zh) 图像处理方法、处理设备及存储介质
CN112839224A (zh) 一种预测模式选择方法、装置、视频编码设备及存储介质
CN115379214A (zh) 图像处理方法、智能终端及存储介质
CN116847088B (zh) 图像处理方法、处理设备及存储介质
CN112866710B (zh) 一种编码单元处理方法和相关装置
CN115955565B (zh) 处理方法、处理设备及存储介质
CN109003313B (zh) 一种传输网页图片的方法、装置和系统
WO2023019567A1 (zh) 图像处理方法、移动终端及存储介质
CN110213593A (zh) 一种运动矢量的确定方法、编码压缩方法和相关装置
CN105208392A (zh) 一种对图像进行压缩的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200827

R150 Certificate of patent or registration of utility model

Ref document number: 6758683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250