JP6549516B2 - 映像符号化装置、映像符号化方法及び映像符号化プログラム - Google Patents

映像符号化装置、映像符号化方法及び映像符号化プログラム Download PDF

Info

Publication number
JP6549516B2
JP6549516B2 JP2016089636A JP2016089636A JP6549516B2 JP 6549516 B2 JP6549516 B2 JP 6549516B2 JP 2016089636 A JP2016089636 A JP 2016089636A JP 2016089636 A JP2016089636 A JP 2016089636A JP 6549516 B2 JP6549516 B2 JP 6549516B2
Authority
JP
Japan
Prior art keywords
far
search
motion
image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016089636A
Other languages
English (en)
Other versions
JP2017200054A (ja
Inventor
優也 大森
優也 大森
大西 隆之
隆之 大西
裕江 岩崎
裕江 岩崎
清水 淳
淳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016089636A priority Critical patent/JP6549516B2/ja
Publication of JP2017200054A publication Critical patent/JP2017200054A/ja
Application granted granted Critical
Publication of JP6549516B2 publication Critical patent/JP6549516B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像符号化装置、映像符号化方法及び映像符号化プログラムに関する。
映像符号化の技術には、MPEG-2、MPEG-4、MPEG-4/AVCなどの映像符号化規格が多く用いられており、最近では次世代の映像符号化規格であるHEVC(High Efficiency Video Coding)が規格化され、今後の普及が見込まれる。
デジタル放送における映像符号化方式として、ARIB(Association of Radio Industries and Broadcast:一般社団法人電波産業会)は、各種の電波利用システムに関する無線設備の標準的な仕様を策定しており、ARIB STD-B32において「デジタル放送における映像符号化、音声符号化及び多重化方式」として映像符号化方式の標準規格を策定している。ARIB STD-B32 3.3版では、MPEG-2 Video、MPEG-4 AVC、HEVCの3つの映像符号化規格に準拠した映像符号化方式が策定され、さらに、HEVCに準拠した2160/120/P映像及び4320/120/P映像の時間方向階層符号化方式が規定されている(非特許文献1)。
ARIBの規定の時間方向階層符号化において120/Pビットストリームは、2160/60/Pもしくは4320/60/Pに準拠した60/Pサブビットストリームと、残りの120/Pサブセットとに分離されて伝送される。120Hz対応受信機は、分離伝送される60/Pサブビットストリームと120/Pサブセットとを120/Pビットストリームに合成した後、合成された120/Pビットストリームを復号し、120Hzの復号画像を出力する。一方、60Hz対応受信機では、60/Pサブビットストリームのみを抽出して復号し、60Hzの復号画像を出力する。
一般に映像符号化では、1つのピクチャ内に閉じた情報を用いて符号化を行う画面内符号化と、時間的に異なる複数のピクチャを用いて符号化を行う画面間符号化とが用いられている。画面間符号化では、画面間の差分値を削減するために符号化対象ピクチャ(以下「符号化対象画像」という。)と参照ピクチャ(以下「参照画像」という。)との間で動き予測処理を行い、差分値と動きベクトルとを符号化することで情報量を削減している。ARIBの規定における時間方向階層符号化では、120/Pサブセットの復号時刻が等間隔になるように画面間符号化における参照構造が決定され、それぞれの符号化対象画像において前方向の参照画像と後方向の参照画像それぞれ1つずつの合計2つの参照画像を用いる双方向動き探索が行われる。
画面間符号化における動き予測においては、符号化すべき情報を小さくするために、映像の動きを正しく捉えた正確な予測を行うことが望ましい。一方で、精確な動きベクトル検出処理には一般的に膨大な演算量が必要となる。ハードウェア実装の観点において演算量の増加はハードウェア規模に直結する要素であるため、演算量を抑えた効率的な動き探索が不可欠である。
特に符号化部における回路規模を小さく実装するためには、演算量削減のために動き探索点数を限定することが効果的であるが、符号量を抑えるためには、少ない動き探索点数であっても精度の高い動きベクトルを得る必要がある。しかし、動き探索点数が少なく、かつ画面間の動きが大きい場合には、理想的な動きベクトルが探索点からはみ出してしまうことで十分な動きベクトル精度が得られないことが多くなり、予測誤差が大きくなり符号量が増大する傾向にある。そのため、一般的には、動き探索を行う符号化対象ブロックの、周辺ブロック(左、上、左上、右上等に位置するブロック、もしくは過去に符号化済みのピクチャで同位置に存在するブロック)がもつ動きベクトル値を基に、符号化対象ブロックにおける動きベクトルの予測値を計算し、算出された動きベクトル予測値を探索中心として探索を行い、最適な動きベクトルを決定する、などの手法がとられている。
動き探索における探索中心の決定手法として、上記の周辺ブロックを利用する手法以外では、事前に符号化したピクチャの動きベクトルのヒストグラムや動きベクトルの統計情報を利用し、続いて符号化されるピクチャの探索中心を指定する手法がある(特許文献1)。
特開2016−039535号公報
「デジタル放送における映像符号化、音声符号化及び多重化方式 標準規格 ARIB STD-B32 3.3版」、一般社団法人電波産業会、2015年7月、pp.168−182
しかしながら、特許文献1に記載の動きベクトル探索方法では、動きベクトルの統計情報に基づいて当該ピクチャの動き探索中心点を適応的に設定することができるが、統計情報を算出するため別途縮小比率の高い画像を用いたプレ探索処理部を追加で設ける必要があり、符号化部の演算量及び回路規模が増大する問題がある。
また、ARIBの規定における時間方向階層符号化における120/Pサブセットのように、前方向動き予測・後方向動き予測において参照距離が非対称性である場合、動きベクトルの精度においても非対称性が生じる。近方方向の参照における動き探索では、画面間の動きが小さいため動きベクトルが正しく求まりやすく予測誤差を抑えることができる。一方、遠方方向の参照における動き探索では、少ない動き探索点数で動きベクトルを正しく求めることができずに予測誤差が大きくなり、全体として符号量が増大する場合がある。
さらに、前述のように、周辺ブロックから算出した予測ベクトルを探索中心に設定する方法を適用するとしても、符号化対象ブロックが周辺ブロックとは大きく異なる動きをしている場合、周辺ブロックを用いた予測ベクトルの算出は難しく、特に画面間の動きの大きい遠方方向動き探索では適切な探索中心設定が困難である。また、大きな動きに対して望むべき予測ベクトルを得るには、そもそも周辺ブロックにおいて精確な動きベクトルが得られている必要があるため、あるブロックで精度の低い動きベクトルが決定されてしまうと、その後のブロックについても予測ベクトル算出における精度劣化につながり、特に少ない探索点数の場合は全体として大きく符号量が増大する可能性がある。
また、4K、8Kなどの高品質な映像をフレームレート120fpsでリアルタイムにエンコードでき、少ないハードウェア(少数のFPGA)で予測処理を行える装置を実現するためには、符号化処理における機能を削減する必要がある。符号化処理における機能の削減として、例えば予測処理を削減する手法がある。しかし、符号化処理において予測処理を削減すると符号化効率が劣化して符号量が増大するという問題もある。
前述の事情に鑑み、本発明は、符号化対象画像が複数の参照画像をもち、かつ同一の符号化対象画像における複数の参照画像の参照距離が異なる時間方向階層符号化において、演算量を増大させずに符号化量を削減できる映像符号化装置、映像符号化方法及び映像符号化プログラムを提供することを目的とする。
本発明の一態様は、符号化対象画像に対して複数の参照画像があり、前記符号化対象画像に対する前記参照画像の時間方向の参照距離が異なる時間方向階層符号化により前記符号化対象画像を符号化する映像符号化装置であって、前記複数の参照画像のうち参照距離が最も遠い参照画像以外の参照画像を近方方向参照画像とし、前記複数の参照画像のうち前記近方方向参照画像より参照距離が遠い参照画像を遠方方向参照画像とし、前記近方方向参照画像を用いた前記符号化対象画像に対する動き予測結果と、前記近方方向参照画像の参照距離に対する前記遠方方向参照画像の参照距離の比に基づいて、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測を行うときの前記遠方方向参照画像における探索中心を決定して動き予測を行い、前記近方方向参照画像を用いた前記符号化対象画像に対する動き予測結果と、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測結果とに基づいて前記符号化対象画像を符号化する、映像符号化装置である。
また、本発明の一態様は、上記の映像符号化装置において、前記近方方向参照画像と前記符号化対象画像とを用いて前記符号化対象画像を分割した符号化ブロックごとに近方方向動きベクトル及び近方方向予測残差を算出する近方方向動き探索処理部と、前記近方方向動きベクトルと前記遠方方向参照画像と前記符号化対象画像とを用いて前記符号化ブロックごとに遠方方向動きベクトル及び遠方方向予測残差を算出する遠方方向動き探索処理部と、を備え、前記遠方方向動き探索処理部は、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測を行う際に、動き予測の対象となる前記符号化ブロックに対して算出された前記近方方向動きベクトルと前記比とに基づいて前記探索中心を決定し、前記近方方向動き探索処理部と前記遠方方向動き探索処理部とは並行して前記符号化ブロックそれぞれの動き予測を行い、前記近方方向動き探索処理部と前記遠方方向動き探索処理部とが並行して動き予測を行う際、前記近方方向動き探索処理部が動き予測の対象とする前記符号化ブロックと、前記遠方方向動き探索処理部が動き予測の対象とする前記符号化ブロックとは異なる。
また、本発明の一態様は、上記の映像符号化装置において、前記遠方方向動き探索処理部が動き予測の対象とする前記符号化ブロックは、前記近方方向動き探索処理部による動き予測が完了した前記符号化ブロックである。
また、本発明の一態様は、上記の映像符号化装置において、前記遠方方向動き探索処理部は、前記符号化対象から前記遠方方向参照画像までの参照距離を前記符号化対象から前記近方方向参照画像までの参照距離で除算したときの商で前記近方方向動きベクトルを伸長して得られるベクトルを中心オフセット量として算出する遠方方向探索中心候補算出部と、前記符号化ブロックの座標位置から前記中心オフセット量ずらした位置を前記探索中心として算出する遠方方向探索中心決定部と、を備える。
また、本発明の一態様は、上記の映像符号化装置において、前記遠方方向探索中心決定部は、前記参照画像それぞれの参照距離が異なり、かつ前記中心オフセット量から算される第1のパラメータが第1の閾値より大きく、かつ前記探索中心を算出した際の前記符号化ブロックに対して算出された前記近方方向予測残差から算出される第2のパラメータが第2の閾値より小さい場合に、前記符号化ブロックの座標位置から前記中心オフセット量ずらした位置を前記探索中心として算出し、前記参照画像それぞれの参照距離が同じ、又は前記第1のパラメータが前記第1の閾値以下であり、又は前記第2のパラメータが前記第2の閾値以上である場合に、対象の前記符号化ブロックの近傍の位置を前記探索中心として算出し、前記第1のパラメータは、前記中心オフセット量における水平方向成分又は垂直方向成分に基づいた値であり前記第1の閾値は、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測における探索範囲の水平方向距離又は垂直方向距離により定められ、前記第2のパラメータは、前記近方方向予測残差における各画素の誤差値の絶対値和である。
また、本発明の一態様は、上記の映像符号化装置において、前記遠方方向探索中心決定部は、前記中心オフセット量の水平方向成分と垂直方向成分とのうち絶対値が大きい値を前記第1のパラメータの値とする。
また、本発明の一態様は、上記の映像符号化装置において、前記遠方方向探索中心決定部は、前記中心オフセット量の水平方向成分と垂直方向成分との絶対値和を前記第1のパラメータの値とする。
また、本発明の一態様は、上記の映像符号化装置が行う映像符号化方法である。
また、本発明の一態様は、上記の映像符号化装置としてコンピュータを機能させるための映像符号化プログラムである。
本発明によれば、符号化対象画像が複数の参照画像をもち、かつ同一の符号化対象画像における複数の参照画像の参照距離が異なる時間方向階層符号化において、演算量を増大させずに符号化量を削減することが可能となる。
本実施形態における映像符号化装置の構成例を示すブロック図。 ARIBの規定における時間方向階層符号化の参照構造の一例を示す図。 インター予測処理部の構成例を示すブロック図。 リアルタイム映像符号化の動き探索における符号化ブロックの処理順序例を示す図。 遠方方向動き探索処理部の構成例を示すブロック図。 遠方方向探索中心候補算出部が算出する探索中心候補の位置の概要を示す図。 遠方方向探索中心決定部が行う探索中心を決定する処理の一例を示すフローチャート。
以下、図面を参照して、本発明の実施形態における映像符号化装置、映像符号化方法及び映像符号化プログラムを説明する。本明細書における「符号化ブロック」は、MPEG-2やH.264/AVC規格におけるマクロブロック、あるいはHEVC規格におけるコーディングユニット(CU)又はプレディクションユニット(PU)に相当する。
図1は、本実施形態における映像符号化装置100の構成例を示すブロック図である。映像符号化装置100は、イントラ予測処理部101と、インター予測処理部102と、予測残差信号生成部103と、変換・量子化処理部104と、エントロピー符号化処理部105と、逆量子化・逆変換処理部106と、復号信号生成部107と、ループフィルタ処理部108とを備える。映像符号化装置100が備える構成のうち、インター予測処理部102が行う動作に特徴があり、従来の公知技術における動作と異なる。他の構成は、H.264/AVCやHEVCなどの規格に準拠した映像符号化装置における構成と同様である。
映像符号化装置100は、符号化対象の原画像を表す映像信号を入力する。映像符号化装置100は、入力する映像信号の原画像を符号化ブロックに分割し、符号化ブロックごとに符号化する。映像符号化装置100は、符号化により得られるビットストリームを符号化ビットストリームとして出力する。この符号化を行うために、各構成は、以下のような動作を行う。
予測残差信号生成部103は、イントラ予測処理部101又はインター予測処理部から出力される予測信号と、原画像を示す映像信号との差分を算出し、算出した差分を予測残差信号として出力する。変換・量子化処理部104は、離散コサイン変換などの直交変換を予測残差信号に対して行う。変換・量子化処理部104は、直交変換により得られた変換係数を量子化し、量子化した変換係数を出力する。エントロピー符号化処理部105は、量子化された変換係数をエントロピー符号化し、得られたビットストリームを符号化ビットストリームとして出力する。
また、量子化された変換係数は、エントロピー符号化処理部105へ入力されるとともに、逆量子化・逆変換処理部106へも入力される。逆量子化・逆変換処理部106は、量子化された変換係数に対して逆量子化と逆直交変換とを行うことにより、予測残差復号信号を得る。逆量子化・逆変換処理部106は、予測残差復号信号を復号信号生成部107へ出力する。復号信号生成部107は、イントラ予測処理部101又はインター予測処理部から出力される予測信号と、予測残差復号信号とを加算して復号信号を生成する。復号信号は、符号化した画像を表す信号である。
復号信号は、インター予測処理部102において参照画像として用いるために、ループフィルタ処理部108へ入力される。ループフィルタ処理部108は、符号化歪みを低減するためのフィルタリング処理を、復号信号が示す画像に対して行う。ループフィルタ処理部108は、フィルタリング処理により得られる画像を参照画像としてインター予測処理部102へ出力する。また、復号信号は、イントラ予測処理部101にも入力される。イントラ予測処理部101は、復号信号により得られる画像を参照画像として符号化ブロックのイントラ予測画像を生成し、生成したイントラ予測画像を示す予測信号を出力する。
インター予測処理部102は、適切な動き探索位置を指定することにより、インター予測処理に要する演算量を増大させずに符号量を削減する。本実施形態では、インター予測処理部102が、ARIBの規定における時間方向階層符号化の規格に基づいた動作を行い、ハードウェア実装によりリアルタイム映像符号化を実行する構成について説明する。
図2は、ARIBの規定における時間方向階層符号化の参照構造の一例を示す図である。同図において、横軸は表示順番及びPOC(Picture Order Count)を示し、縦軸は各画像(ピクチャともいう)に割り当てられる階層を示す。図2に示す参照構造では、参照のパターンによって各画像が5つの階層に分類され、それぞれの階層にはTemporal ID(時間識別子)と呼ばれる値が割り振られている。Temporal ID=0,1,2,3に属する画像が60/Pサブビットストリームであり、Temporal ID=4に属する画像が120/Pサブセットである。
Temporal ID=0の画像から次のTemporal ID=0の画像までの各画像をGOP(Group of Picture)という。図2に示す例は、GOPのサイズ(画像枚数)が16である場合のARIBの規定の時間方向階層符号化における参照構造が示されている。また、GOPにおける画像の表示順番をPOC(Picture Oder Count)という。図2に示す例では、0から16までが各画像に割り振られている。画像間における矢印は、符号化における参照画像を示す。矢印の先の画像は符号化対象の画像を示し、矢印の根元の画像は参照画像を示す。例えば、POC#4が符号化対象の画像である場合、POC#0の画像とPOC#8の画像とが参照画像になる。POC#1からPOC#15までの各画像には、表示順序において前方向の画像と後方向の画像と1つずつの合計2つの画像を用いる双方向動き探索が行われる。
ARIBの規定における時間方向階層符号化では、60/Pサブビットストリームの各画像の動き予測に用いる前方向の参照画像と後方向の参照画像との参照距離が等しい。ここで、参照距離とは、符号化対象の画像から参照画像までの時間方向の距離である。一方、120/Pサブセットの各画像の動き予測に用いる前方向の参照画像と後方向の参照画像との参照距離は異なっており、前方向の動き予測と後方向の動き予測とに非対称性がある。120/Pサブセットの動き予測における参照画像の参照距離の非対称性により、遠方方向の動き探索における動きベクトルの精度が近方方向の動き探索における動きベクトルの精度よりも低くなる傾向にある。そのため、120/Pサブセットの各画像には、動き探索の精度においても非対称性が存在する。
さらに、双方向動き探索を有する参照関係においてリアルタイム映像符号化が行われる場合、符号化処理のリアルタイム性を高めるために、同一符号化対象ブロックにおける前方向動き探索と後方向動き探索とが、同時に並列して実行されることが多い。このため、120/Pサブセットのように参照距離で非対称性が存在する場合においても、近方方向動き探索と遠方方向動き探索とが等価に扱われ同一の処理として実行され、遠方方向動き探索における動き探索精度が低下しやすい。
以下に説明する本実施形態の映像符号化装置100は、ARIBの規定における時間方向階層符号化の120/Pサブセットの各画像に対する動き探索のリアルタイム映像符号化を以下のように行う。映像符号化装置100は、精度の高い近方方向の動き探索を精度の低い遠方方向の動き探索よりも1符号化ブロック分ずらして先に実行する。映像符号化装置100は、遠方方向動き探索の探索中心の決定において近方方向動き探索の結果を利用し、遠方方向動き探索の探索精度を向上させることで符号量を低減する。映像符号化装置100は、GOP単位で処理を行う。
図3は、インター予測処理部102の構成例を示すブロック図である。インター予測処理部102は、近方方向動き探索処理部301と、遠方方向動き探索処理部302と、双方向動き探索処理部303とを備える。インター予測処理部102は、原画像を示す映像信号と、ループフィルタ処理部108から出力される参照画像とを入力する。インター予測処理部102は、符号化ブロックごとに原画像と参照画像との間で動き予測を行うことにより、予測残差信号と動きベクトルとを算出する。前方向の参照画像と後方向の参照画像とが1つずつの合計2つの参照画像がある場合において、原画像と参照画像との時間的距離である参照距離が近い参照画像を用いた動き探索を、近方方向動き探索とする。また、原画像と参照画像との参照距離が遠い参照画像を用いた動き探索を、遠方方向動き探索とする。インター予測処理部102は、近方方向動き探索を遠方方向動き探索よりも先に実行する。また、参照距離が近い参照画像を近方方向参照画像といい、参照距離が遠い参照画像を遠方方向参照画像という。
図4は、リアルタイム映像符号化の動き探索における符号化ブロックの処理順序例を示す図である。図4(A)は、公知の技術による通常のリアルタイム映像符号化の動き探索における処理順序を示す。リアルタイム映像符号化では、1つの符号化ブロックに対して近方方向と遠方方向との両方の動き探索が同一時刻に行われ、各符号化ブロックに対する近方方向と遠方方向との動き探索が順番に行われる。各符号化ブロックに対する両方の動き探索が前述のように行われることにより、符号化処理のリアルタイム性が高められている。一方で、120/Pサブセットの各画像のように近方方向と遠方方向との参照距離が異なり、非対称性が存在する場合でも、各符号化ブロックに対する両方の動き探索が同時に行われるため、近方方向と遠方方向との動き探索のうち一方の動き探索の探索結果を他方の動き探索に利用することはできない。
これに対して、本実施形態の映像符号化装置100は、図4(B)に示すように、近方方向動き探索を同一符号化ブロックに対する遠方方向動き探索よりも1符号化ブロック分の処理時間だけずらして先に実行して完了させる。さらに、映像符号化装置100は、ある符号化ブロックに対する近方方向動き探索と当該符号化ブロックよりも1つ前の符号化ブロックに対する遠方方向動き探索とを同一時刻に並行して行う。この処理により、近方方向動き探索の結果が同一符号化ブロックに対する遠方方向動き探索に利用でき、遠方方向動き探索の予測精度の向上が見込める。
さらに、符号化ブロックが処理される時刻は1符号化ブロックの処理時間分ずれるだけであり、画像単位で近方方向動き探索と遠方方向動き探索との処理時刻をずらす場合などと比べ、各符号化ブロックの符号化モードは早期に確定される。したがって、遠方方向動き探索の処理が、近方方向動き探索の処理に対して1符号化ブロック分遅れたとしても、映像符号化のリアルタイム性は損なわれない。ここでは、1符号化ブロックの処理時間分ずらす場合を説明したが、リアルタイム性が損なわれない範囲においてずらす符号化ブロック数を増やしてもよい。
図3に戻り、インター予測処理部102の構成の説明を続ける。近方方向動き探索処理部301は、ループフィルタ処理部108から出力される1GOP分の参照画像と、原画像とを入力する。近方方向動き探索処理部301は、原画像と近方方向の参照画像とを用いた近方方向動き探索を実行し、近方方向予測残差信号と近方方向動きベクトルとを算出する。近方方向の参照画像は、原画像に対するPOCが定まることにより一意に特定される。近方方向動き探索処理部301が行う近方方向動き探索は、公知の技術による動き探索と同じ探索である。
遠方方向動き探索処理部302は、近方方向動き探索処理部301による近方方向動き探索の結果と、ループフィルタ処理部108から出力される1GOP分の参照画像と、原画像とを入力する。近方方向動き探索処理部301による近方方向動き探索の結果とは、近方方向予測残差信号及び近方方向動きベクトルである。遠方方向動き探索処理部302は、近方方向動き探索の結果を利用した遠方方向動き探索を実行し、遠方方向予測残差信号と遠方方向動きベクトルとを算出する。
双方向動き探索処理部303は、近方方向動き探索処理部301による近方方向動き探索の結果と、遠方方向動き探索処理部302による遠方方向動き探索の結果と、ループフィルタ処理部108から出力される1GOP分の参照画像と、原画像とを入力する。双方向動き探索処理部303は、近方方向動き探索及び遠方方向動き探索それぞれの結果と参照画像と原画像とを用いた双方向動き探索を実行することで、予測残差信号及び動きベクトルを算出する。双方向動き探索処理部303が行う双方向動き探索は、公知の技術による双方向動き探索と同じ探索である。
図5は、遠方方向動き探索処理部302の構成例を示すブロック図である。遠方方向動き探索処理部302は、遠方方向探索中心候補算出部401と、遠方方向探索中心決定部402と、遠方方向動き探索実処理部403とを備える。遠方方向探索中心候補算出部401は、近方方向動き探索処理部301により算出された近方方向動きベクトルに基づいて、遠方方向動き探索における探索中心候補の位置を算出する。
遠方方向探索中心決定部402は、遠方方向探索中心候補算出部401により算出される探索中心候補の位置と、近方方向動き探索処理部301により算出された近方方向予測残差信号とを入力する。遠方方向探索中心決定部402は、探索中心候補の位置と近方方向予測残差信号とに基づいて、探索中心候補の位置を探索中心に採用するか否かを判定し、判定結果を出力する。遠方方向探索中心決定部402は、探索中心候補の位置を探索中心に採用する場合に探索中心候補の位置を探索中心として出力し、探索中心候補の位置を探索中心に採用しない場合に探索中心を変更しない指示を出力する。
遠方方向動き探索実処理部403は、遠方方向探索中心決定部402による判定結果と、ループフィルタ処理部108から出力される1GOP分の参照画像と、原画像とを入力する。遠方方向動き探索実処理部403は、遠方方向探索中心決定部402による判定結果に基づいて原画像と参照画像とを用いた遠方方向動き探索を実行することにより、遠方方向予測残差信号と遠方方向動きベクトルとを算出する。このとき、遠方方向動き探索実処理部403は、遠方方向動き探索を実行する際に、遠方方向探索中心決定部402による判定結果に基づいた探索中心を用いる。
具体的には、遠方方向探索中心決定部402から探索中心が出力される場合、遠方方向動き探索実処理部403は、当該探索中心により定まる範囲に対する動き探索を行う。一方、遠方方向探索中心決定部402から探索中心を変更しない指示が出力される場合、遠方方向動き探索実処理部403は、対象とする符号化ブロックの近傍を探索中心とした動き探索、又は対象とする符号化ブロックの近傍の符号化ブロックにおける動きベクトルで定まる領域を探索中心とした動き探索を行う。すなわち、探索中心が変更されない場合、遠方方向動き探索実処理部403は、原画像及び参照画像などを用いる公知の技術による動き探索を行う。
図6は、遠方方向探索中心候補算出部401が算出する探索中心候補の位置の概要を示す図である。図6では、符号化対象画像のPOC(表示順番)をAとし、POC Aの画像に対する2枚の参照画像である近方方向及び遠方方向の参照画像のPOCをそれぞれB、Cとしている。原画像と各参照画像との参照距離の関係性より、
|A−B|≦|A−C|
が満たされる。
POC Aの符号化対象画像内の符号化ブロックに対して近方方向動き探索処理部301により算出された近方方向動きベクトルをMVA→Bとする。このとき、遠方方向探索中心候補算出部401は、近方方向動きベクトルMVA→Bを用いて中心オフセット量を算出する。中心オフセット量は、同じ符号化ブロックに対する遠方方向動き探索における探索中心の候補を算出する際に用いられる。具体的には、遠方方向探索中心候補算出部401は、近方方向動きベクトルMVA→Bを参照距離の比に応じて逆向きに伸長したベクトルを、中心オフセット量とする。中心オフセット量は、
((A−C)/(A−B))・MVA→B
で表される。
遠方方向探索中心候補算出部401は、POC Aの符号化対象画像内の符号化ブロックの座標位置から中心オフセット量の分だけずらした位置を、当該符号化ブロックに対する遠方方向動き探索における探索中心候補の位置とする。探索中心候補は近方方向動きベクトルを参照距離の比に応じて線形に伸張して定められるため、原画像と参照画像との間における動きに時間的な線形性がある場合に、遠方方向予測残差を小さく抑える効果が見込まれる。
図7は、遠方方向探索中心決定部402が行う探索中心を決定する処理の一例を示すフローチャートである。遠方方向探索中心決定部402は、処理を開始すると、符号化対象の画像が120/Pサブセットに含まれる画像であるか否かを判定する(ステップS101)。符号化対象の画像が120/Pサブセットに含まれる画像でない場合、すなわち符号化対象の画像が60/Pサブビットストリームに含まれる画像である場合(ステップS101:NO)、遠方方向探索中心決定部402は、処理をステップS107へ進める。
符号化対象の画像が120/Pサブセットに含まれる画像である場合(ステップS101:YES)、遠方方向探索中心決定部402は、遠方方向探索中心候補算出部401により算出された中心オフセット量のノルムNを算出する(ステップS102)。ノルムNには、例えば中心オフセット量((A−C)/(A−B))・MVA→BのX方向(水平方向)成分の絶対値とY方向(垂直方向)成分の絶対値とのうち、大きい値が用いられる。また、中心オフセット量のX方向成分とY方向成分との二乗和、又は、中心オフセット量のX方向成分とY方向成分との絶対値和のいずれかをノルムNとしてもよい。
遠方方向探索中心決定部402は、算出したノルムNが閾値λより大きいか否かを判定する(ステップS103)。閾値λには、例えば遠方方向動き探索における探索範囲の水平方向距離もしくは垂直方向距離を用いてもよいし、複数の映像に対して符号化を行った結果から得られた、遠方方向動き探索における探索中心候補の位置の精度に基づいて定めた値を用いてもよい。探索範囲は、例えば予め定められた大きさであってもよいし、中心オフセット量に応じて定められる大きさであってもよい。ノルムNが閾値λ以下である場合(ステップS103:NO)、遠方方向探索中心決定部402は、処理をステップS107へ進める。
ノルムNが閾値λより大きい場合(ステップS103:YES)、遠方方向探索中心決定部402は、近方方向動き探索処理部301により算出された近方方向予測残差信号からコストYを算出する(ステップS104)。コストYとして、例えば近方方向予測残差信号が示す各画素値の絶対値和を用いることにより、符号化ブロックの近方方向の原画像と参照画像とのSAD(差分絶対値)が用いられる。他にも近方方向予測残差信号の二乗和を、コストYとしてもよい。
遠方方向探索中心決定部402は、算出したコストYが閾値λより小さいか否かを判定する(ステップS105)。閾値λには、例えば近方方向の動き予測の精度が遠方方向の動き予測に用いたときに一定の精度を得ることができるか否かに基づいて予め定められた値が用いられる。コストYが閾値λ以上である場合(ステップS105:NO)、遠方方向探索中心決定部402は、処理をステップS107へ進める。
コストYが閾値λより小さい場合(ステップS105:YES)、遠方方向探索中心決定部402は、遠方方向探索中心候補算出部401により算出された探索中心候補を、遠方方向動き探索における探索中心の位置にする変更を行うことを決定し(ステップS106)、処理を終了する。
ステップS107において、遠方方向探索中心決定部402は、遠方方向動き探索における探索中心の位置を変更しないこと、すなわち通常通りの探索中心のままで遠方方向動き探索を行うことを決定し(ステップS107)、処理を終了する。ここで、通常通りの探索中心とは、対象の符号化ブロックの近傍を探索の中心とすること、又は対象の符号化ブロック近傍の符号化ブロックの動きベクトルで定まる領域を探索の中心とすることである。通常通りの探索中心を用いた動き探索は、公知の技術に基づいた動き探索である。
遠方方向探索中心決定部402は、探索中心を探索中心候補に変更すると決定した場合、探索中心として探索中心候補を遠方方向動き探索実処理部403へ出力する。遠方方向探索中心決定部402は、探索中心を変更しないと決定した場合、探索中心を変更しない指示を遠方方向動き探索実処理部403へ出力する。
なお、遠方方向探索中心決定部402は、探索中心を変更しないと決定した場合、処理対象の符号化ブロックの座標などの情報を取得し、取得した情報から算出した通常通りの探索中心を遠方方向動き探索実処理部403へ出力してもよい。この場合、遠方方向動き探索実処理部403は、遠方方向探索中心決定部402の出力に応じて動作を変更せずに、遠方方向探索中心決定部402から出力される探索中心を用いて動き探索をする。
ステップS103において、遠方方向探索中心決定部402がノルムNと閾値λとを比較し、比較結果に応じて動作を切り替えることにより、以下の効果が見込める。中心オフセット量が小さい場合には通常通りの探索中心を用いた動き探索が行われ、中心オフセット量が通常の探索範囲内を超える場合には遠方方向動き探索の探索中心の位置を探索中心候補に変更することにより、遠方方向予測残差を小さく抑える効果が見込める。ここで、中心オフセット量が通常の探索範囲内を超える場合とは、近方方向の動きが大きい場合、遠方方向の参照距離が大きい場合、又は、遠方方向動き探索範囲が狭い場合などである。
また、ステップS105において、遠方方向探索中心決定部402がコストYと閾値λとを比較し、比較結果に応じて動作を切り替えることにより、以下の効果が見込める。近方方向の予測残差が大きく近方方向動きベクトルの予測精度が低い場合には通常通りの探索中心を用いた動き探索が行われ、近方方向の予測残差が小さく近方方向動きベクトルの予測精度が高い場合には探索中心を更新した動き探索が行われることにより、遠方方向予測残差を小さく抑える効果が見込める。
本実施形態では、ARIBの規定における時間方向階層符号化の120/Pサブセットを用いる構成を説明した。しかし、符号化対象画像が複数の参照画像をもち、かつ符号化対象画像に対する複数の参照画像の参照距離が異なる場合には、遠方方向動き探索処理部302が行う遠方方向動き探索における探索中心を決定する手法を適用できる。この場合、ステップS101における判定は、符号化対象画像における複数の参照画像の参照距離が異なるか否かの判定に置き換えられる。
なお、同一の符号化対象画像がもつ参照画像の枚数は3枚以上であってもよい。また、各参照画像の参照距離が異なっていれば、近方方向と遠方方向とが符号化対象画像に対して時間的に同じ方向(前方向又は後方向のいずれか)であってもよい。参照画像が3枚以上ある場合において複数の参照画像から2つの参照画像を選択したときに、参照距離が近い参照画像を近方方向参照画像とし、符号化対象画像に参照距離が遠い参照画像を遠方方向参照画像とする。すなわち、参照画像それぞれの参照距離に基づいて近方方向参照画像と遠方方向参照画像とが定まる。ただし、複数の参照画像のうち参照距離が最も近い参照画像は常に近方方向参照画像であり、最も遠い参照画像は常に遠方方向参照画像である。
本実施形態の映像符号化装置100によれば、ARIBの規定における時間方向階層符号化のような、符号化対象画像が複数の参照画像をもち、かつ同一の符号化対象画像における複数の参照画像の参照距離が異なる映像符号化方式において、符号化ブロックの近方方向動き探索の結果に基づいて当該符号化ブロックの遠方方動き探索における探索位置を決定することにより、演算量を増大させずに遠方方向予測残差を抑えることができ、符号化量を削減できる。
また、動き探索が行われる対象の符号化ブロックの周辺ブロックがもつ動きベクトル値を基に、符号化ブロックにおける動きベクトルの予測値を算出し、算出された予測値を中心とした範囲内を探索する従来方式と比較すると、映像符号化装置100は近方方向の動きベクトル遠方方向の動きベクトルとがもつ相関性に基づいて遠方方向動き探索の探索中心を得られる利点を有する。
さらには、過去に符号化済みの同位置に存在する符号化ブロックの動きベクトルを基に、画像間の距離の比率に相当する値を乗じて使用する方法、いわゆるテンポラル動きベクトル予測手法を用いる場合、過去に符号化した画像の動きベクトルをすべて保持する必要がある。これに対して、映像符号化装置100は、近方方向動き探索の結果と遠方方向動き探索の結果とを符号化ブロックに対する処理を行っている期間で保持すればよく、画像全体にわたって動きベクトルを保持し続ける必要がなく、記憶領域を削減して回路規模を小さくすることができる。
本実施形態の映像符号化装置100は、遠方方向動き探索の探索中心の決定において近方方向動き探索の結果を利用し、遠方方向動き探索の探索精度を向上させることができるので、符号化処理における事前動き探索を行わずとも、動きベクトルを精度よく算出でき、符号量の増加を抑えることができる。また、映像符号化装置100は、符号化処理における事前動き探索を行わないことにより、回路規模を小さくすることができる。
前述した実施形態における映像符号化装置100のすべて又は一部をコンピュータで実現するようにしてもよい。例えば、映像符号化装置100が有する構成要素それぞれを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、このプログラムは、前述した構成要素の一部を実現するためのものであってもよく、さらに前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
符号化対象画像が複数の参照画像をもち、かつ同一の符号化対象画像における複数の参照画像の参照距離が異なる時間方向階層符号化において、演算量を増大させずに符号化量を削減することが不可欠な用途にも適用できる。
100…映像符号化装置、101…イントラ予測処理部、102…インター予測処理部、103…予測残差信号生成部、104…変換・量子化処理部、105…エントロピー符号化処理部、106…逆量子化・逆変換処理部、107…復号信号生成部、108…ループフィルタ処理部、301…近方方向動き探索処理部、302…遠方方向動き探索処理部、303…双方向動き探索処理部、401…遠方方向探索中心候補算出部、402…遠方方向探索中心決定部、403…遠方方向動き探索実処理部

Claims (6)

  1. 符号化対象画像に対して複数の参照画像があり、前記符号化対象画像に対する前記参照画像の時間方向の参照距離が異なる前記符号化対象画像を符号化する映像符号化装置であって、
    前記複数の参照画像から2つの参照画像を選択し、前記2つの参照画像のうち参照距離が近い一方の参照画像を近方方向参照画像とし、他方の参照画像を遠方方向参照画像とし、
    前記近方方向参照画像を用いた前記符号化対象画像に対する動き予測結果と、前記近方方向参照画像の参照距離に対する前記遠方方向参照画像の参照距離の比に基づいて、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測を行うときの前記遠方方向参照画像における探索中心を決定して動き予測を行い、
    前記近方方向参照画像を用いた前記符号化対象画像に対する動き予測結果と、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測結果とに基づいて前記符号化対象画像を符号化し、
    前記近方方向参照画像と前記符号化対象画像とを用いて前記符号化対象画像を分割した符号化ブロックごとに近方方向動きベクトル及び近方方向予測残差を算出する近方方向動き探索処理部と、
    前記近方方向動きベクトルと前記遠方方向参照画像と前記符号化対象画像とを用いて前記符号化ブロックごとに遠方方向動きベクトル及び遠方方向予測残差を算出する遠方方向動き探索処理部と、
    を備え、
    前記遠方方向動き探索処理部は、
    前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測を行う際に、動き予測の対象となる前記符号化ブロックに対して算出された前記近方方向動きベクトルと前記比とに基づいて前記探索中心を決定し、
    前記符号化対象画像から前記遠方方向参照画像までの参照距離を前記符号化対象画像から前記近方方向参照画像までの参照距離で除算したときの商で前記近方方向動きベクトルを伸長して得られるベクトルを中心オフセット量として算出する遠方方向探索中心候補算出部と、
    前記符号化ブロックの座標位置から前記中心オフセット量ずらした位置を前記探索中心として算出する遠方方向探索中心決定部と、
    を備え、
    前記遠方方向探索中心決定部は、
    前記参照画像それぞれの参照距離が異なり、かつ前記中心オフセット量から算される第1のパラメータが第1の閾値より大きく、かつ前記探索中心を算出した際の前記符号化ブロックに対して算出された前記近方方向予測残差から算出される第2のパラメータが第2の閾値より小さい場合に、前記符号化ブロックの座標位置から前記中心オフセット量ずらした位置を前記探索中心として算出し、
    前記参照画像それぞれの参照距離が同じ、又は前記第1のパラメータが前記第1の閾値以下であり、又は前記第2のパラメータが前記第2の閾値以上である場合に、対象の前記符号化ブロックの近傍の位置を前記探索中心として算出し、
    前記第1のパラメータは、前記中心オフセット量における水平方向成分又は垂直方向成分に基づいた値であり、
    前記第1の閾値は、前記遠方方向参照画像を用いた前記符号化対象画像に対する動き予測における探索範囲の水平方向距離又は垂直方向距離により定められ、
    前記第2のパラメータは、前記近方方向予測残差における各画素の誤差値の絶対値和であり、
    前記近方方向動き探索処理部と前記遠方方向動き探索処理部とは並行して前記符号化ブロックそれぞれの動き予測を行い、
    前記近方方向動き探索処理部と前記遠方方向動き探索処理部とが並行して動き予測を行う際、前記近方方向動き探索処理部が動き予測の対象とする前記符号化ブロックと、前記遠方方向動き探索処理部が動き予測の対象とする前記符号化ブロックとは異なる、
    映像符号化装置。
  2. 前記遠方方向動き探索処理部が動き予測の対象とする前記符号化ブロックは、前記近方方向動き探索処理部による動き予測が完了した前記符号化ブロックである、
    請求項に記載の映像符号化装置。
  3. 前記遠方方向探索中心決定部は、
    前記中心オフセット量の水平方向成分と垂直方向成分とのうち絶対値が大きい値を前記第1のパラメータの値とする、
    請求項1又は請求項2に記載の映像符号化装置。
  4. 前記遠方方向探索中心決定部は、
    前記中心オフセット量の水平方向成分と垂直方向成分との絶対値和を前記第1のパラメータの値とする、
    請求項1又は請求項2に記載の映像符号化装置。
  5. 請求項1から請求項のいずれか一項に記載の映像符号化装置が行う映像符号化方法。
  6. 請求項1から請求項のいずれか一項に記載の映像符号化装置としてコンピュータを機能させるための映像符号化プログラム。
JP2016089636A 2016-04-27 2016-04-27 映像符号化装置、映像符号化方法及び映像符号化プログラム Active JP6549516B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016089636A JP6549516B2 (ja) 2016-04-27 2016-04-27 映像符号化装置、映像符号化方法及び映像符号化プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016089636A JP6549516B2 (ja) 2016-04-27 2016-04-27 映像符号化装置、映像符号化方法及び映像符号化プログラム

Publications (2)

Publication Number Publication Date
JP2017200054A JP2017200054A (ja) 2017-11-02
JP6549516B2 true JP6549516B2 (ja) 2019-07-24

Family

ID=60238256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016089636A Active JP6549516B2 (ja) 2016-04-27 2016-04-27 映像符号化装置、映像符号化方法及び映像符号化プログラム

Country Status (1)

Country Link
JP (1) JP6549516B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3437381B2 (ja) * 1996-07-16 2003-08-18 シャープ株式会社 動きベクトル検出装置
JP4430690B2 (ja) * 2007-06-08 2010-03-10 日本電信電話株式会社 動き探索装置、動き探索方法、動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN102160381A (zh) * 2008-09-24 2011-08-17 索尼公司 图像处理设备和方法
US20110170605A1 (en) * 2008-09-24 2011-07-14 Kazushi Sato Image processing apparatus and image processing method
TW201204054A (en) * 2010-01-14 2012-01-16 Intel Corp Techniques for motion estimation
JP5970507B2 (ja) * 2014-08-08 2016-08-17 日本電信電話株式会社 映像符号化装置及び映像符号化プログラム

Also Published As

Publication number Publication date
JP2017200054A (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
TWI717586B (zh) 於視訊解碼器中導出運動向量資訊
CN111385569B (zh) 一种编解码方法及其设备
JP5081305B2 (ja) フレーム間予測符号化の方法および装置
TWI653878B (zh) 動態影像解碼裝置、動態影像解碼方法及記錄有動態影像解碼程式的記錄媒體
WO2019062544A1 (zh) 视频图像的帧间预测方法、装置及编解码器
TW201639369A (zh) 視訊寫碼中運動向量推導
TWI658725B (zh) 動態影像解碼裝置、動態影像解碼方法及動態影像解碼程式
JP2015529065A (ja) スケーラブルビデオコーディングおよび3dビデオコーディングのための多重仮説動き補償
JP2013520875A (ja) ビデオコーディングのための適応動き解像度
JP6527460B2 (ja) 映像符号化装置、映像符号化方法及び映像符号化プログラム
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP2017069866A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
KR100856392B1 (ko) 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법
JP6339977B2 (ja) 映像符号化装置及び映像符号化プログラム
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP6549516B2 (ja) 映像符号化装置、映像符号化方法及び映像符号化プログラム
WO2012090425A1 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
CN112055220B (zh) 一种编解码方法、装置及其设备
JP2012054618A (ja) 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法
US10034011B2 (en) Video coding apparatus
JP5890933B1 (ja) 動画像復号化方法
JP5887020B1 (ja) 動画像復号化方法
JP5750191B2 (ja) 画像復号化方法
JP2012138838A (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP2016136741A (ja) 動画像復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190627

R150 Certificate of patent or registration of utility model

Ref document number: 6549516

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150