JP6078138B1 - 動画像符号化装置及び動画像符号化方法 - Google Patents

動画像符号化装置及び動画像符号化方法 Download PDF

Info

Publication number
JP6078138B1
JP6078138B1 JP2015213823A JP2015213823A JP6078138B1 JP 6078138 B1 JP6078138 B1 JP 6078138B1 JP 2015213823 A JP2015213823 A JP 2015213823A JP 2015213823 A JP2015213823 A JP 2015213823A JP 6078138 B1 JP6078138 B1 JP 6078138B1
Authority
JP
Japan
Prior art keywords
merge
evaluation
unit
merge candidate
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015213823A
Other languages
English (en)
Other versions
JP2017085448A (ja
Inventor
猛司 吉沢
猛司 吉沢
克之 尾崎
克之 尾崎
大西 隆之
隆之 大西
中村 健
健 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Electronics Corp
Nippon Telegraph and Telephone Corp
Original Assignee
NTT Electronics Corp
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Electronics Corp, Nippon Telegraph and Telephone Corp filed Critical NTT Electronics Corp
Priority to JP2015213823A priority Critical patent/JP6078138B1/ja
Priority to EP16193276.9A priority patent/EP3163879B1/en
Priority to US15/333,952 priority patent/US10015508B2/en
Application granted granted Critical
Publication of JP6078138B1 publication Critical patent/JP6078138B1/ja
Publication of JP2017085448A publication Critical patent/JP2017085448A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Abstract

【課題】効率的なマージ符号化処理を行う。【解決手段】1つ前のPUのマージ符号化処理が完了する前に、制御部21は、1つ前のPUをマージ候補の評価対象からはずしてマージ候補の評価順序を決定し、マージ候補導出部22は、評価順序に従って各マージ候補を評価し、1つ前のPUのマージ符号化処理が完了した後に、制御部21は、1つ前のPUをマージ候補の評価対象に含めてマージ候補の評価順序を再度決定し、マージ候補導出部22は、既に評価を開始したマージ候補を除いて、再度決定された評価順序に従って各マージ候補を評価する。【選択図】図2

Description

本発明は、動画像の符号化を行う動画像符号化装置に関し、特に画面間予測(インター予測)の技術に関する。
動画像符号化装置では、入力画像(原画像)を自装置内で符号化/復号することによって得られる局所復号画像に基づいて予測画像を生成し、当該予測画像を入力画像から減算して得られる予測残差を符号化する予測符号化技術が用いられている。なお、予測残差は、差分画像あるいは残差画像とも呼ばれることがある。
国際標準化団体であるITU−TとISO/IECが共同で策定した映像符号化標準規格「H.265/HEVC」では、画面間予測の符号化方式として、適応動きベクトル予測符号化とマージ符号化の2種類を採用している。マージ符号化とは、ある符号化対象のブロックに隣接する、符号化済みの複数のブロックにおける動き情報から、最も類似する動き情報のブロック(マージ候補)を選択し、マージ候補の位置に対応するインデックスだけを符号化する技術である。
マージ符号化は、動きベクトルや参照画像インデックスなどは符号化しないため、適応動きベクトル予測符号化に比べて符号量を削減することができる。
大久保榮監修、鈴木輝彦、高村誠之、中条健著、「H.265/HEVC教科書」、株式会社インプレスジャパン、pp.136-140
動画像符号化装置では、マージ符号化に限らず、映像符号化に関する処理を複数の子処理に分割し、これら子処理を並列的に実行することが一般的である。すなわち、動画像符号化装置では、映像符号化に関する処理を実行するにあたり、パイプライン処理を行うことが一般的である。
しかしながら、マージ符号化を並列処理しようとしても、符号化対象のブロックに隣接するブロックが処理中であった場合、隣接するブロックの処理が完了するまで符号化対象のブロックの処理を始めることができなかった。
本発明は、上記に鑑みてなされたものであり、効率的なマージ符号化処理を行うことを目的とする。
第1の本発明に係る動画像符号化装置は、動画像のピクチャを分割した予測ユニットを所定の順序でマージ符号化処理するインター予測部を備えた動画像符号化装置であって、前記インター予測部は、処理対象であるカレント予測ユニットのマージ候補とその評価順序を決定する評価順序決定部と、前記評価順序に従い、各マージ候補を順に評価してコストを算出するマージ候補導出部と、前記マージ候補導出部が算出したコストが最も小さい前記マージ候補の位置に対応するマージインデックスを出力するマージ候補決定部と、前記マージインデックスを所定の符号化方式で符号化するマージ符号化部と、を備え、前記評価順序決定部は、前記カレント予測ユニットの1つ前の予測ユニットのマージ符号化処理が完了する前に、前記1つ前の予測ユニットをマージ候補の評価対象からはずして第1の評価順序を決定し、前記1つ前の予測ユニットのマージ符号化処理が完了した後に、前記1つ前の予測ユニットをマージ候補の評価対象に含めて前記評価順序を見直して第2の評価順序を決定することを特徴とする。
上記動画像符号化装置において、前記マージ候補導出部は、前記第1の評価順序に従って各マージ候補を順に評価し、前記第2の評価順序が決定された後は、既に評価を開始したマージ候補を除いて前記第2の評価順序に従って各マージ候補を順に評価することを特徴とする。
第2の本発明に係る動画像符号化方法は、動画像のピクチャを分割した予測ユニットを所定の順序でマージ符号化処理するインター予測部を備えた動画像符号化装置による動画像符号化方法であって、処理対象であるカレント予測ユニットのマージ候補とその評価順序を決定するステップと、前記評価順序に従い、各マージ候補を順に評価してコストを算出するステップと、前記コストが最も小さい前記マージ候補の位置に対応するマージインデックスを出力するステップと、前記マージインデックスを所定の符号化方式で符号化するステップと、を有し、前記評価順序を決定するステップは、前記カレント予測ユニットの1つ前の予測ユニットのマージ符号化処理が完了する前に、前記1つ前の予測ユニットをマージ候補の評価対象からはずして第1の評価順序を決定し、前記1つ前の予測ユニットのマージ符号化処理が完了した後に、前記1つ前の予測ユニットをマージ候補の評価対象に含めて前記評価順序を見直して第2の評価順序を決定することを特徴とする。
上記動画像符号化方法において、前記コストを算出するステップは、前記第1の評価順序に従って各マージ候補を順に評価し、前記第2の評価順序が決定された後は、既に評価を開始したマージ候補を除いて前記第2の評価順序に従って各マージ候補を順に評価することを特徴とする。
本発明によれば、効率的なマージ符号化処理を行うことができる。
本実施の形態における動画像符号化装置の構成を示す機能ブロック図である。 図1の動画像符号化装置におけるインター予測部の構成を示す機能ブロック図である。 符号化対象ピクチャに含まれる1つの符号化ツリーユニットと符号化ツリーユニットに含まれる予測ユニット及び予測ユニットの処理順を示す図である。 参照画像中の参照領域の位置を示す図である。 従来のマージ符号化のパイプライン処理を説明するための図である。 本実施の形態におけるマージ符号化のパイプライン処理を説明するための図である。 マージ候補の評価順序を示す図である。
以下、本発明の実施の形態について図面を用いて説明する。
図1は、本実施の形態における動画像符号化装置の構成を示す機能ブロック図である。同図に示す動画像符号化装置1は、加算器A、直交変換部11、量子化部12、可変長符号化部13、逆量子化部14、逆直交変換部15、加算器B、フレームメモリ16、および予測画像生成部17を備える。
加算器Aは、原画像である入力画像から、後述する予測画像生成部17が生成した予測画像を減算して予測残差を生成する。直交変換部11は、加算器Aの出力である予測残差に対し、離散コサイン変換などの直交変換を施す。量子化部12は、直交変換された予測残差の変換係数を量子化する。可変長符号化部13は、量子化された予測残差の変換係数を、可逆的な処理が可能な所定の符号化方式により符号化し、例えば伝送路や記録媒体などに出力する。
量子化部12の出力は、可変長符号化部13へ入力されるとともに、逆量子化部14へも入力される。逆量子化部14は、量子化部12の出力を逆量子化して予測残差の変換係数を復号する。逆直交変換部15は、逆量子化部14の出力を逆直交変換して予測残差を復号する。加算器Bは、後述する予測画像生成部17が生成した予測画像と逆直交変換部15が復号した予測残差とを加算し、局所復号画像を生成する。フレームメモリ16は、局所復号画像および原画像を格納し、所定のタイミングで局所復号画像を予測画像生成部17に出力する。
予測画像生成部17は、選択部171、イントラ予測部172、及びインター予測部173を備える。選択部171は、フレームメモリ16から出力された局所復号画像、または原画像の供給先を選択する。イントラ予測部172は、近接画素間の相関関係を利用し、選択部171から供給された原画像の画素値を用いて画面内予測(イントラ予測)を行い、予測画像を生成する。インター予測部173は、選択部171から供給された局所復号画像の前方あるいは後方のフレームから検出される、符号化対象の動き情報を用いて画面間予測(インター予測)を行い、予測画像を生成する。予測画像生成部17が生成した予測画像は、加算器A及び加算器Bへ出力される。
続いて、インター予測部173の構成について説明する。図2は、図1の動画像符号化装置におけるインター予測部173の構成を示す機能ブロック図である。同図に示すインター予測部173は、制御部21、空間マージ候補導出部22A、時間マージ候補導出部22B、結合双予測候補導出部22C、ゼロマージ候補導出部22D、及びマージ符号化部23を備える。空間マージ候補導出部22Aは、参照画像読出し部221、原画像読出し部222、差分算出部223、直交変換部224、及びコスト算出部225を備える。時間マージ候補導出部22B、結合双予測候補導出部22C、及びゼロマージ候補導出部22Dは、空間マージ候補導出部22Aとほぼ同じ構成である。空間マージ候補導出部22A、時間マージ候補導出部22B、結合双予測候補導出部22C、及びゼロマージ候補導出部22Dをまとめてマージ候補導出部22と呼ぶ。インター予測部173には、フレームメモリ16に格納された原画像をバッファする原画像バッファ31とフレームメモリ16に格納された参照画像をバッファする参照画像バッファ32とが接続される。
制御部21は、以下の処理を行う。
[マージ候補評価順序決定処理]処理対象であるカレントPU(Prediction Unit:予測ユニット)のマージ候補の評価順序を決定する。本実施の形態では、マージ候補評価順序決定処理として、カレントPUの1つ前のPUの処理が完了する前に実行される先行評価順序決定処理と1つ前のPUの処理が完了したときに実行される最終評価順序決定処理がある。これらの処理の詳細については後述する。
[参照画像読出し要求処理]評価対象となるマージ候補の位置情報及び動き情報から、参照画像中の参照領域のアドレス情報を把握し、空間マージ候補導出部22Aなどに備わる参照画像読出し部221に対し、参照画像バッファ32から参照領域の画像データを読み出すよう命令する。
[原画像読出し要求処理]空間マージ候補導出部22Aなどに備わる原画像読出し部222に対し、原画像バッファ31からカレントPUの画像データを読み出すよう命令する。
[マージ候補出力処理]空間マージ候補導出部22Aなどに備わるコスト算出部225から出力されたコストの値を受け取ってマージ候補リストに登録しておき、最もコストが小さいマージ候補を選択し、マージ候補の位置に対応するマージインデックス(merge_idx)を出力する。
参照画像読出し部221は、制御部21からの参照画像読出し命令に従い、参照画像バッファ32から参照領域の画像データを読み出し、小数生成フィルタ処理を行って予測画像データを生成し、生成した予測画像データを差分算出部223へ出力する。原画像読出し部222は、制御部21からの原画像読出し命令に従い、原画像バッファ31からカレントPUの画像データを読み出し、差分算出部223へ出力する。差分算出部223は、予測画像データとカレントPUの画像データとの画素差分絶対値を算出し、直交変換部224へ出力する。差分算出部223は、差分絶対値算出部(Sum of Absolute Differences:SAD)とも呼ばれる。直交変換部224は、差分算出部223の出力である画素差分絶対値に対してアダマール変換などの直交変換を行い、その結果をコスト算出部225へ出力する。コスト算出部225は、直交変換部224の出力として得られる画素ごとの係数を加算し、所定の重み係数を掛け合わせ、マージ候補のコストを算出する。コスト算出部225が算出したコストの値は、制御部21へ出力される。
マージ符号化部23は、制御部21が出力したマージインデックス(merge_idx)を所定の符号化方式で符号化する。
ここで、マージ符号化の概要を説明する。
図3は、符号化対象ピクチャに含まれる1つのCTU(Coding Tree Unit:符号化ツリーユニット)とCTUに含まれるPU及びPUの処理順を示す図である。CTUは、ピクチャ分割の最小単位であり、H.265/HEVCでは、64×64画素、32×32画素、16×16画素のいずれかとなる。CTUはCU(Coding Unit:符号化ユニット)に分割される(図3では示していない)。CUは、予測処理の基本単位であるPUに分割される。1つのCTUに含まれるPUは、図3で示したように、そのサイズが一様である必要はない。例えば、1つのCTU内で、動きや色の変化が少ない領域では大きなPUを設定し、変化の大きい領域では小さなPUを設定する、といったことが可能である。CTU内におけるPUの処理順は、図3の点線矢印で示したように、左上PU→右上PU→左下PU→右下PUといった、Z状の順番である。この処理順は、異なるサイズのPUが混在したCTUであっても同様である。
制御部21は、カレントPUについて、評価順序を決めてマージ候補を評価(導出)し、マージ候補リストを構築する。マージ候補リストには、空間マージ候補、時間マージ候補、結合双予測候補、ゼロマージ候補の順にマージ候補が評価されて登録される。
空間マージ候補については、図3で示したA1(カレントPUの左側に隣接したPUのうち最も下にあるPU),B1(カレントPUの上側に隣接したPUのうち最も右にあるPU),B0(カレントPUの右上に隣接するPU),A0(カレントPUの左下に隣接するPU),B2(カレントPUの左上に隣接するPU)について(以下、これらのPUを「隣接PU」と称する)、A1→B1→B0→A0→B2の順に空間マージ候補が評価され、最大4つの空間マージ候補がマージ候補リストに登録される。A1,B1,B0,A0の4つの空間マージ候補がマージ候補リストに登録された場合は、B2の空間マージ候補は評価されない。また、動き情報を利用できない隣接PU(CTU外にある隣接PU、あるいはまだ動き情報が設定されていない隣接PUなど)、先に評価された隣接PUと同じ動き情報を持つ隣接PUについては、空間マージ候補の評価対象としない。
空間マージ候補の評価では、隣接PUのそれぞれに対し、以下の処理を行う。
(1)隣接PUの動き情報を参照し、この隣接PUが参照している参照画像中のカレントPUの位置を取得する(図4の参照画像中のカレントPU)。
(2)参照画像中のカレントPUを起点として、隣接PU(図4ではA1)の動きベクトルが指す位置(図4の参照領域)の画像データを取得する。
(3)原画像のカレントPUの画像データと参照領域の画像データから生成した予測画像の差分を計算し、算出した結果に対して直交変換を行う。
(4)直交変換の結果として得られる画素ごとの係数を加算し、所定の重み係数を掛け合わせ、カレントPUと参照領域との「コスト」を算出する。
最大4つのマージ候補がマージ候補リストに登録される。空間マージ候補の評価後は、空間マージ候補を含めて最大5つのマージ候補がマージ候補リストに格納されるまで、時間マージ候補、結合双予測候補、ゼロマージ候補の順に評価を行い、マージ候補リストに登録する。
マージ候補リストの中で最もコストが小さいマージ候補は、カレントPUの動き情報に最も近い動き情報を持っていると予測される。制御部21は、構築したマージ候補リストから最もコストが小さいマージ候補を選択して、選択したマージ候補に対応するマージインデックス(merge_idx)を出力する。マージ符号化部23は、マージインデックス(merge_idx)を所定の符号化方式で符号化する。
次に、マージ符号化のパイプライン処理について説明する。
インター予測部173は、マージ符号化処理で行われる各処理を制御部21、マージ候補導出部22、マージ符号化部23において並行して処理する。
まず、従来のマージ符号化のパイプライン処理について説明する。図5は、従来のマージ符号化のパイプライン処理を説明するための図である。図5では、(1)マージ候補評価順序決定処理、(2)参照画像読出し要求処理、(3)原画像読出し要求処理、(4)参照画像読出し処理、(5)原画像読出し処理、(6)差分算出処理、(7)直交変換処理、(8)コスト算出処理、及び(9)マージ候補出力処理を図示している。以下、各処理について説明する。
(1)制御部21は、マージ候補の評価順序を決定する。例えば、図3のカレントPUが処理対象であったとすると、A0のPUは「動き情報を利用できない無効の隣接PU」であるため、評価対象から除外される。この場合、制御部21は、A1(空間マージ)、B1(空間マージ)、B0(空間マージ)、B2(空間マージ)の4つの評価対象と評価順序を決定する。マージ候補リストに5つのマージ候補を登録させるために、制御部21はさらに、1つの時間マージを行うと決定する。
インター予測部173は、(1)で決定した評価順序でマージ候補の評価を開始し、各マージ候補について以下の(2)〜(8)の処理を行う。
(2),(3)制御部21は、参照領域の画像データの読み出しを参照画像読出し部221に命令するとともに、原画像からカレントPUの画像データの読み出しを原画像読出し部222に命令する。
(4)参照画像読出し部221は、制御部21からの命令に従い、参照画像バッファ32から参照領域の画像データを読み出し、小数生成フィルタ処理を行って予測画像データを生成する。参照画像読出し部221は、生成した予測画像データを差分算出部223へ出力する。
(5)原画像読出し部222は、制御部21からの命令に従い、原画像バッファ31からカレントPUの画像データを読み出し、差分算出部223へ出力する。
この後、参照画像読出し部221において参照領域の画像データの読み出しが可能になった場合は、制御部21は次のマージ候補について参照領域の画像データの読み出しを参照画像読出し部221に命令する。同様に、原画像読出し部222においてカレントPUの画像データの読み出しが可能になった場合は、制御部21は次のマージ候補についてカレントPUの画像データの読み出しを原画像読出し部222に命令する。
(6)差分算出部223は、原画像読出し部222から受け取るカレントPUの画像データにほぼ同期して、予測画像データとカレントPUの画像データの画素差分絶対値を算出し、直交変換部224へ出力する。
(7)直交変換部224は、差分算出部223から受け取った画素差分絶対値に対して直交変換を行い、その結果をコスト算出部225へ出力する。
(8)コスト算出部225は、直交変換部224の出力として得られる画素ごとの係数から、カレントPUのマージ候補のコストを算出し、制御部21へ出力する。
制御部21は、コスト算出部225から受け取ったコストをマージ候補リストに登録する。
(9)5つのマージ候補の評価が完了すると、制御部21は、マージ候補リストから最もコストが小さいマージ候補を選択し、マージ候補の位置に対応するマージインデックス(merge_idx)を出力する。
従来のマージ符号化処理では、上記(1)〜(9)の処理が完了した後、次のPUのマージ符号化処理を行う。つまり、従来のマージ符号化処理では、1つ前のPUのマージ符号化処理の完了を待って、次のPUのマージ符号化処理を開始するため、効率的なマージ符号化処理ができなかった。
続いて、本実施の形態におけるマージ符号化のパイプライン処理について説明する。図6は、本実施の形態におけるマージ符号化のパイプライン処理を説明するための図である。本実施の形態では、制御部21は、1つ前のPUのマージ符号化処理が完了するのを待たずにマージ候補評価順序決定処理を開始する。1つ前のPUのマージ符号化処理が完了していないので、1つ前のPUがA0,A1,B0,B1,B2のいずれかであった場合、その1つ前のPUは空間マージ候補の評価対象に該当しなくなるが、本来ならば評価対象となるはずである。そこで、本実施の形態では、マージ候補評価順序決定処理として(1−1)先行評価順序決定処理と(1−2)最終評価順序決定処理を行い、マージ候補リストを正しく構築した。以下、先行評価順序決定処理と最終評価順序決定処理について説明する。
(1−1)制御部21は、1つ前のPUのマージ符号化処理が完了するのを待たずに、1つ前のPUは「動き情報を利用できない無効の隣接PU」として扱い、マージ候補の評価順序を決定する。例えば、カレントPUのB0,B1,B2に相当するPUの処理が完了しており、カレントPUの1つ前に処理されるPUがA1に相当するPUであって、A1が処理中である場合、図6に示すように、制御部21が、A1の処理中にカレントPUについて先行評価順序決定処理を行うと、B1(空間マージ)、B0(空間マージ)、B2(空間マージ)の3つを評価対象として評価順序を決定する(ここではカレントPUのA0に相当するPUはカレントPUの後に処理されるものとする)。マージ候補リストには5つのマージ候補を登録させるため、制御部21はさらに、時間マージと結合双予測マージを行うことを決定する。図7(a)に、先行評価順序決定処理で決定されたマージ候補の評価対象と評価順序を示す。制御部21は、時間マージとゼロマージを行うことを決定してもよい。なお、先行評価順序決定処理は、1つ前のPUのマージ符号化処理中であって、制御部21がアイドル状態のときに行えばよい。必ずしも、図6に示すように5番目のマージ候補における原画像読出し要求処理の後で行う必要はない。
制御部21は、先行評価順序決定処理で決定した順でマージ候補の評価を開始し、従来と同様に(2)〜(8)の処理を行う。図7(a)の例では、まずB1について空間マージの評価を開始する。
(1−2)1つ前のPUのマージ符号化処理が完了すると、制御部21は、あらためてマージ候補の評価順序を決定する。例えば、図3のカレントPUが処理対象であって、A1のマージ符号化処理が完了したときに、制御部21が最終評価順序決定処理を行うと、A1は評価対象となるため、A1(空間マージ)、B1(空間マージ)、B0(空間マージ)、B2(空間マージ)の4つを評価対象として評価順序を決定し、さらに時間マージを行うことを決定する。図7(b)に、最終評価順序決定処理で決定されたマージ候補の評価対象と評価順序を示す。制御部21は、(1−1)で決定した評価順序(図7(a))と(1−2)で決定した評価順序(図7(b))を比較し、(1−1)の評価順序のうち処理を始めたマージ候補の評価順序はそのままとして、それ以外のマージ候補の評価順序を(1−2)の評価順序で再構築する。図7の例では、B1(空間マージ)のマージ符号化処理は開始されているので1番目のままとし、B1(空間マージ)以外のA1(空間マージ)、B0(空間マージ)、B2(空間マージ)、時間マージを図7(b)の評価順序に従い、図7(c)のようにマージ候補の評価順序を再構築する。以降は、図7(c)の評価順序に従い、A1(空間マージ)、B0(空間マージ)、B2(空間マージ)、時間マージの順でマージ候補を評価する。
以上説明したように、本実施の形態によれば、1つ前のPUのマージ符号化処理が完了する前に、制御部21は、1つ前のPUをマージ候補の評価対象からはずしてマージ候補の評価順序を決定し、マージ候補導出部22は、評価順序に従って各マージ候補を評価し、1つ前のPUのマージ符号化処理が完了した後に、制御部21は、1つ前のPUをマージ候補の評価対象に含めてマージ候補の評価順序を再度決定し、マージ候補導出部22は、既に評価を開始したマージ候補を除いて、再度決定された評価順序に従って各マージ候補を評価することにより、効率的なマージ符号化処理を行うことができる。
1…動画像符号化装置
11…直交変換部
12…量子化部
13…可変長符号化部
14…逆量子化部
15…逆直交変換部
16…フレームメモリ
17…予測画像生成部
171…選択部
172…イントラ予測部
173…インター予測部
21…制御部
22…マージ候補導出部
221…参照画像読出し部
222…原画像読出し部
223…差分算出部
224…直交変換部
225…コスト算出部
22A…空間マージ候補導出部
22B…時間マージ候補導出部
22C…結合双予測候補導出部
22D…ゼロマージ候補導出部
23…マージ符号化部
31…原画像バッファ
32…参照画像バッファ

Claims (4)

  1. 動画像のピクチャを分割した予測ユニットを所定の順序でマージ符号化処理するインター予測部を備えた動画像符号化装置であって、
    前記インター予測部は、
    処理対象であるカレント予測ユニットのマージ候補とその評価順序を決定する評価順序決定部と、
    前記評価順序に従い、各マージ候補を順に評価してコストを算出するマージ候補導出部と、
    前記マージ候補導出部が算出したコストが最も小さい前記マージ候補の位置に対応するマージインデックスを出力するマージ候補決定部と、
    前記マージインデックスを所定の符号化方式で符号化するマージ符号化部と、を備え、
    前記評価順序決定部は、前記カレント予測ユニットの1つ前の予測ユニットのマージ符号化処理が完了する前に、前記1つ前の予測ユニットをマージ候補の評価対象からはずして第1の評価順序を決定し、前記1つ前の予測ユニットのマージ符号化処理が完了した後に、前記1つ前の予測ユニットをマージ候補の評価対象に含めて前記評価順序を見直して第2の評価順序を決定することを特徴とする動画像符号化装置。
  2. 前記マージ候補導出部は、前記第1の評価順序に従って各マージ候補を順に評価し、前記第2の評価順序が決定された後は、既に評価を開始したマージ候補を除いて前記第2の評価順序に従って各マージ候補を順に評価することを特徴とする請求項1記載の動画像符号化装置。
  3. 動画像のピクチャを分割した予測ユニットを所定の順序でマージ符号化処理するインター予測部を備えた動画像符号化装置による動画像符号化方法であって、
    処理対象であるカレント予測ユニットのマージ候補とその評価順序を決定するステップと、
    前記評価順序に従い、各マージ候補を順に評価してコストを算出するステップと、
    前記コストが最も小さい前記マージ候補の位置に対応するマージインデックスを出力するステップと、
    前記マージインデックスを所定の符号化方式で符号化するステップと、を有し、
    前記評価順序を決定するステップは、前記カレント予測ユニットの1つ前の予測ユニットのマージ符号化処理が完了する前に、前記1つ前の予測ユニットをマージ候補の評価対象からはずして第1の評価順序を決定し、前記1つ前の予測ユニットのマージ符号化処理が完了した後に、前記1つ前の予測ユニットをマージ候補の評価対象に含めて前記評価順序を見直して第2の評価順序を決定することを特徴とする動画像符号化方法。
  4. 前記コストを算出するステップは、前記第1の評価順序に従って各マージ候補を順に評価し、前記第2の評価順序が決定された後は、既に評価を開始したマージ候補を除いて前記第2の評価順序に従って各マージ候補を順に評価することを特徴とする請求項3記載の動画像符号化方法。
JP2015213823A 2015-10-30 2015-10-30 動画像符号化装置及び動画像符号化方法 Active JP6078138B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015213823A JP6078138B1 (ja) 2015-10-30 2015-10-30 動画像符号化装置及び動画像符号化方法
EP16193276.9A EP3163879B1 (en) 2015-10-30 2016-10-11 Video encoding device and video encoding method
US15/333,952 US10015508B2 (en) 2015-10-30 2016-10-25 Video encoding device and video encoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015213823A JP6078138B1 (ja) 2015-10-30 2015-10-30 動画像符号化装置及び動画像符号化方法

Publications (2)

Publication Number Publication Date
JP6078138B1 true JP6078138B1 (ja) 2017-02-08
JP2017085448A JP2017085448A (ja) 2017-05-18

Family

ID=57153304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015213823A Active JP6078138B1 (ja) 2015-10-30 2015-10-30 動画像符号化装置及び動画像符号化方法

Country Status (3)

Country Link
US (1) US10015508B2 (ja)
EP (1) EP3163879B1 (ja)
JP (1) JP6078138B1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018226066A1 (ko) * 2017-06-09 2018-12-13 엘지전자 주식회사 영상 코딩 시스템에서 어파인 예측에 따른 영상 디코딩 방법 및 장치
WO2019223746A1 (en) * 2018-05-23 2019-11-28 Mediatek Inc. Method and apparatus of video coding using bi-directional cu weight
CN111294601A (zh) 2018-12-07 2020-06-16 华为技术有限公司 视频图像解码、编码方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244503A (ja) * 2004-02-25 2005-09-08 Sony Corp 画像情報符号化装置および画像情報符号化方法
JP2006025033A (ja) * 2004-07-06 2006-01-26 Sony Corp 画像処理装置および画像処理方法
WO2007136088A1 (ja) * 2006-05-24 2007-11-29 Panasonic Corporation 画像符号化装置、画像符号化方法、及び画像符号化用集積回路
JP2009055254A (ja) * 2007-08-27 2009-03-12 Nippon Telegr & Teleph Corp <Ntt> 動き検出装置
WO2012086829A1 (ja) * 2010-12-21 2012-06-28 日本電気株式会社 動き推定装置、動き推定方法、動き推定プログラム、および動画像符号化装置
WO2013069557A1 (ja) * 2011-11-10 2013-05-16 ソニー株式会社 画像処理装置および方法
US20150103897A1 (en) * 2012-10-12 2015-04-16 Electronics And Telecommunications Research Institute Image encoding/decoding method and device using same
US20150237370A1 (en) * 2011-04-11 2015-08-20 Texas Instruments Incorporated Parallel motion estimation in video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9473789B2 (en) * 2010-12-14 2016-10-18 M&K Holdings Inc. Apparatus for decoding a moving picture
KR102073405B1 (ko) * 2011-09-09 2020-02-04 엘지전자 주식회사 인터 예측 방법 및 그 장치
US9729873B2 (en) * 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US10009621B2 (en) * 2013-05-31 2018-06-26 Qualcomm Incorporated Advanced depth inter coding based on disparity of depth blocks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244503A (ja) * 2004-02-25 2005-09-08 Sony Corp 画像情報符号化装置および画像情報符号化方法
JP2006025033A (ja) * 2004-07-06 2006-01-26 Sony Corp 画像処理装置および画像処理方法
WO2007136088A1 (ja) * 2006-05-24 2007-11-29 Panasonic Corporation 画像符号化装置、画像符号化方法、及び画像符号化用集積回路
JP2009055254A (ja) * 2007-08-27 2009-03-12 Nippon Telegr & Teleph Corp <Ntt> 動き検出装置
WO2012086829A1 (ja) * 2010-12-21 2012-06-28 日本電気株式会社 動き推定装置、動き推定方法、動き推定プログラム、および動画像符号化装置
US20150237370A1 (en) * 2011-04-11 2015-08-20 Texas Instruments Incorporated Parallel motion estimation in video coding
WO2013069557A1 (ja) * 2011-11-10 2013-05-16 ソニー株式会社 画像処理装置および方法
US20150103897A1 (en) * 2012-10-12 2015-04-16 Electronics And Telecommunications Research Institute Image encoding/decoding method and device using same

Also Published As

Publication number Publication date
US10015508B2 (en) 2018-07-03
EP3163879B1 (en) 2018-08-01
EP3163879A1 (en) 2017-05-03
US20170127079A1 (en) 2017-05-04
JP2017085448A (ja) 2017-05-18

Similar Documents

Publication Publication Date Title
TWI711300B (zh) 照度補償方法及相應之視訊處理裝置
JP5580453B2 (ja) 直接モード符号化及び復号化装置
KR101239567B1 (ko) 움직임 추정에 대한 검색 범위 선택 방법과 그의 시스템 및 컴퓨터 판독가능 저장 매체
KR102027721B1 (ko) 이미지들의 시퀀스를 인코딩하기 위한 방법 및 디바이스 및 이미지들의 시퀀스를 디코딩하기 위한 방법 및 디바이스
JP5669278B2 (ja) 画像シーケンスのブロックを符号化する方法およびこのブロックを再構成する方法
JP3863510B2 (ja) 動きベクトル符号化/復号化方法及びその装置
KR101440610B1 (ko) 영상의 부호화/복호화 장치 및 그 방법
KR101422422B1 (ko) Dmvd 처리 향상을 위한 시스템 및 방법
JP5277257B2 (ja) 動画像復号化方法および動画像符号化方法
EP3518544A1 (en) Video encoding and decoding with improved motion vector diversity
US10244254B2 (en) Encoding system using motion estimation and encoding method using motion estimation
GB2492778A (en) Motion compensated image coding by combining motion information predictors
US11394997B2 (en) Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement
JP2006074474A (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
CN114866777A (zh) 一种解码、编码方法及其设备
TWI511531B (zh) 影像編碼裝置、影像編碼方法及影像編碼程式
JP6078138B1 (ja) 動画像符号化装置及び動画像符号化方法
CN114900691A (zh) 编码方法、编码器及计算机可读存储介质
CN113709498A (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
JP2015211386A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
GB2588563A (en) Method and apparatus for encoding or decoding video data with sub-pixel motion vector refinement

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170113

R150 Certificate of patent or registration of utility model

Ref document number: 6078138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250