JP5990133B2

JP5990133B2 - 映像符号化装置及び映像符号化方法

Info

Publication number: JP5990133B2
Application number: JP2013117579A
Authority: JP
Inventors: 卓佐野; 新田　高庸; 高庸新田; 充郎池田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-06-04
Filing date: 2013-06-04
Publication date: 2016-09-07
Anticipated expiration: 2033-06-04
Also published as: JP2014236403A

Description

本発明は、動き予測を用いて映像符号化を行う映像符号化装置及び映像符号化方法に関する。

映像符号化技術は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４／ＡＶＣが多く用いられており、最近では次世代の映像符号化規格であるＨＥＶＣが規格化されつつある。ＭＰＥＧ−２より前の映像符号化規格では、１つのフレーム内に閉じた情報を用いて符号化を行う画面内符号化であったが、ＭＰＥＧ−２からは時間的に連続した複数のフレームを用いて符号化を行う画面間符号化が用いられている。画面間符号化には画面間の差分値を削減するために動き予測処理を行い、差分値と動きベクトル情報を符号化することで情報量を削減している。ただし、映像の正しい動きを捉えて符号化すべき差分値を小さくするためには、動き予測処理に膨大な演算量を必要とする。

そこで、ＭＰＥＧ−４／ＡＶＣや次世代符号化規格であるＨＥＶＣでは、対象ブロックの周辺ブロックの既出の動きベクトルから予測ベクトルを算出し、予測ベクトルが指し示す位置を探索の中心として周辺を探索することで動き予測処理にかかる演算量を削減する手法がある。また、動きベクトル情報の符号化においても予測ベクトルと対象ブロックの動きベクトルとの差分を符号化することで動きベクトル情報を更に削減している。Ｈ．２６４では対象ブロックの上ブロック、左ブロック、右上ブロックの動きベクトル成分の中間値を予測ベクトルとして規定している。このように、ＨＥＶＣではより複雑になっており、対象ブロックの周辺ブロックの動きベクトルの他に時間的にスケーリングした動きベクトルをもとに予測ベクトルを設定する方式が規定されている。

なお、動きベクトルの精度を向上させる方法としては、通常の動きベクトルを算出したのちに時間的に逆方向の参照フレームに動きベクトルをスケーリングし、その一致度合いに応じて動きベクトルの精度を検証する方法がある（例えば、特許文献１参照）。

特開２００８−１６９０３号公報

ところで、予測ベクトルを探索中心とした動き予測方式は動き予測の要する演算量を削減することができるが、周辺の動きベクトルに近い動きベクトルしか予測することができずに、ローカルミニマムに陥ることで符号化効率が低下するという問題がある。これは画面内のある一部分の物体が大きく動いた場合等が想定される。また、予測ベクトルを決定するためには周辺の動き予測処理が終了し動きベクトルが決定している必要があるため、ソフトウェアのような逐次処理には向いているが、ハードウェアでよく用いられるようなパイプライン処理には向いていないという問題もある。

本発明は、このような事情に鑑みてなされたもので、精度の悪い動きベクトルの伝搬を抑え画面内の物体の動きをより正確に予測することができる映像符号化装置及び映像符号化方法を提供することを目的とする。

本発明は、入力画像の時間的相関を利用し、矩形の符号化ブロック単位に動き予測を行いその差分の符号化処理を実行することにより、映像情報の符号化を行う映像符号化装置であって、対象符号化ブロックの周辺の既出の動きベクトルを予測ベクトルとし、予測ベクトルが指し示す位置を探索中心として動き予測を行う第１の動き予測処理手段と、前記対象符号化ブロックと同位置を中心として動き予測を行う第２の動き予測処理手段と、前記第１の動き予測処理手段と前記第２の動き予測処理手段とを一定の符号化ブロックライン単位で切り替えて動き予測結果を出力する切替手段と、前記切替手段から出力された前記動き予測結果から得られる動きベクトルに基づいて動き補償が行われた結果と、入力画像とを利用して符号化を行う符号化手段と、を備え、前記切替手段は、前記第２の動き予測処理手段によって動き予測を行った符号化ブロックラインに対する予測処理の終了する時間が、前記第２の動き予測処理手段によって動き予測を行った符号化ブロックラインの直前のブロックに対する前記第１の動き予測処理手段による予測処理の終了する時間と一致するように制御することを特徴とする。

本発明は、入力画像の時間的相関を利用し、矩形の符号化ブロック単位に動き予測を行いその差分の符号化処理を実行することにより、映像情報の符号化を行う映像符号化装置が行う映像符号化方法であって、対象符号化ブロックの周辺の既出の動きベクトルを予測ベクトルとし、予測ベクトルが指し示す位置を探索中心として動き予測を行う第１の動き予測処理ステップと、前記対象符号化ブロックと同位置を中心として動き予測を行う第２の動き予測処理ステップと、前記第１の動き予測処理ステップと前記第２の動き予測処理ステップとを一定の符号化ブロックライン単位で切り替えて動き予測結果を出力する切替ステップと、前記切替ステップにおいて出力された前記動き予測結果から得られる動きベクトルに基づいて動き補償が行われた結果と、入力画像とを利用して符号化を行う符号化ステップと、を有し、前記切替ステップは、前記第２の動き予測処理ステップによって動き予測を行った符号化ブロックラインに対する予測処理の終了する時間が、前記第２の動き予測処理ステップによって動き予測を行った符号化ブロックラインの直前のブロックに対する前記第１の動き予測処理ステップによる予測処理の終了する時間と一致するように制御することを特徴とする。

本発明によれば、精度の悪い動きベクトルの伝搬を抑え画面内の物体の動きをより正確に予測することで符号化効率を向上することができるという効果が得られる。また、動き予測処理の並列化して実行することが可能となるため、処理速度を向上させることができるという効果も得られる。

予測ベクトルを用いない動き探索を行う符号化ブロックラインを３ライン毎に挿入した場合の例を示す図である。本発明の一実施形態による映像符号化装置の構成を示すブロック図である。図２に示す動き予測部９の構成を示すブロック図である。

以下、図面を参照して、本発明の一実施形態による映像符号化装置を説明する。図１は、予測ベクトルを用いない動き探索を行う符号化ブロックラインを３ライン毎（３行毎）に挿入した場合の例を示す図である。図１において、符号１０は映像の１フレームを表している。符号１１は予測ベクトルが指し示す位置を探索中心として動き予測処理を行うブロック（破線で囲った１マス）を表している。符号１２は予測ベクトルを用いずに対象ブロックの位置を探索中心として動き予測処理を行うブロック（色が異なるブロック）を表している。このように予測ベクトルを用いて動き予測を行う符号化ブロックラインの間に予測ベクトルを用いない動き予測を行う符号化ブロックラインを１ライン（１行）挿入する。

映像符号化では画面の左上（図中０行目の左端）から処理を行うが、画面上端は探索範囲の一部が画面外になるため物体の動きが正確に予測できずに精度の悪い動きベクトルになってしまうおそれがある。その精度の悪い０行目の動きベクトルを１行目の符号化時に予測ベクトルとして用いることになるため精度の悪さが伝搬し画面全体として物体の動きを正確に予測できなくなってしまう。そこで、図１に示す３行目（上から４行目）のように予測ベクトルを用いずに対象ブロックの位置を探索中心として動き予測処理を行うことで、精度の悪い動きベクトルの伝搬を抑えてより物体の動きを正確に予測することが可能となる。

この手法のもう一つの利点は並列処理が可能という点である。上記手法を実現するためには図１に示す３行目の予測ベクトルを用いない動き予測処理の探索範囲を広く設定し物体の動きを正確に予測することが必要となるが、３行目の動き予測処理は周辺の動きベクトル情報を用いないため直上のブロックの結果を待たずして処理が開始できる。そのため図１に示す０行目の予測ベクトルを用いた動き予測処理と、３行目の予測ベクトルを用いない動き予測処理を同時に開始し、予測ベクトルを用いない動き予測処理の探索範囲を予測ベクトルを用いる動き予測処理の３倍に設定することが可能となる。

動き予測手法については任意の方法が適用可能である。このように予測ベクトルを用いた動き予測処理が図１に示す２行目の右端のブロックまで処理する時間と、予測ベクトルを用いない動き予測処理が図に示す３行目の右端のブロックまで処理する時間を一致させることで並列処理を実現する。図１に示す例では３ライン毎（３行毎）に予測ベクトルを用いない動き予測処理を挿入した場合の例を示したが、予測ベクトルを用いない動き予測処理を挿入する間隔は任意に設定可能である。ｎライン毎に挿入した場合は、ｎライン分に動きベクトルの伝搬が行われてしまうが、予測ベクトルを用いない動き予測処理の探索範囲を予測ベクトルを用いる動き予測処理のｎ倍にすることが可能となる。

次に、図２を参照して、本発明を適用する映像符号化装置の基本構成について説明する。図２は同実施形態による映像符号化装置の構成を示すブロック図である。映像符号化装置は、減算器１、変換・量子化部２、エントロピー符号化部３、逆変換・逆量子化部４、加算器５、ループフィルタ６、イントラ予測部７、動き補償部８及び動き予測部９を備える。減算器１は、原画像から、イントラ予測部７または動き補償部８のいずれかの出力を減算して出力する。変換・量子化部２は、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換）によって映像信号を周波数領域に変換（直交変換）し、直交変換された信号を量子化して情報量を削減する。エントロピー符号化部３は、変換・量子化部２の出力をエントロピー符号化してビットストリームを出力する。逆変換・逆量子化部４は、変換・量子化部２が行う変換と量子化の逆の処理（逆変換、逆量子化）を行う。加算器５は、イントラ予測部７または動き補償部８のいずれかの出力と、逆変換・逆量子化部４の出力とを加算して出力する。

ループフィルタ６は、加算器５の出力に対してフィルタリング処理を行う。ブロック単位の処理を用いる画像圧縮符号化方式には、ブロック境界に歪み（ブロック・ノイズ）が発生しやすいという欠点がある。特にＭＰＥＧ−２など従来の画像符号化方式においてインター予測を行う場合、動き補償時にブロック・ノイズを含んだ復号画像を参照してしまうことにより、フレーム間で画質の劣化が伝播するという問題がある。この問題を解決するためにＭＰＥＧ−４／ＡＶＣではエンコーダおよびデコーダにデブロッキング・フィルタを導入し、符号化によって生じたブロック・ノイズの補正を行う。デブロッキング・フィルタはループ内フィルタとして符号化ループに組み込まれており、復号画像に対して適応的に重み付けを行うことで予測信号を生成する。すなわち、ブロック全体を平滑化するフィルタとしてではなく、ブロック歪みの生じやすい箇所と生じにくい箇所とでフィルタの強度を変えるという適応制御を行っている。このようなデブロッキング・フィルタを用いることにより、動き補償における予測誤差からブロック・ノイズの影響を除去し、符号化効率の向上を図ることができる。

イントラ予測部７は、加算器５に出力からイントラ予測を行う。輝度信号の画素単位のイントラ予測符号化では、ブロックを符号化する場合、符号化済みの左ブロックの中の４画素、上ブロックの中の４画素、右上ブロックの中の４画素、さらに左上ブロックの中の１画素の値から、符号化対象ブロック内の画素の値を予測し符号化する。参照する画素は、「デブロッキング・フィルタ（ループフィルタ）」を施す前の画素値を使用する。

動き補償部８は、ループフィルタ６の出力と動き予測部９から出力する動きベクトルとから動き補償を行う。ＭＰＥＧ−４ＡＶＣ及びＨＥＶＣにおけるインター予測（フレーム間予測）では、ＭＰＥＧ−２に比べて処理単位（ブロック・サイズ）を小さくし、より細かな画素精度（１／４画素まで）での動き補償をおこなう。また、複数の参照フレームから最適なものを選択し、動き補償の効率を向上させている。動き予測部９は、原画像とループフィルタの出力とから動き予測を行う。

次に、図３を参照して、図２に示す動き予測部９の構成を説明する。図３は、図２に示す動き予測部９の構成を示すブロック図である。図３において、図１に示す構成と同一の部分には同一の符号を付与してその詳細な説明を省略する。動き予測部９は、第１動き予測処理部９１、第２動き予測処理部９２、動きベクトル格納メモリ９３及び切替部９４から構成する。第１動き予測処理部９１は、原画像と、ループフィルタ６が出力する再構成画像とを入力し、予測ベクトルを用いて動き予測を行う。第１動き予測処理部９１は、動き予測処理を行う際に、対象符号化ブロックの周辺の既出の動きベクトルを予測ベクトルとし、予測ベクトルが指し示す位置を探索中心として動き予測を行う。

第２動き予測処理部９２は、原画像と、ループフィルタ６が出力する再構成画像とを入力し、予測ベクトルを用いずに動き予測処理を行う。第２動き予測処理部９２は、動き予測処理を行う際に、予測ベクトルを用いずに対象符号化ブロックと同位置を中心として動き予測を行う。動きベクトル格納メモリ９３は、第２動き予測処理部が出力する動きベクトルを格納する。切替部９４は、第１動き予測処理部９１が出力する動きベクトルと、動きベクトル格納メモリ９３から読み出した動きベクトルのいずれかを選択して、動き補償部８へ出力する。

前述した並列処理によって予測ベクトルを用いる第１動き予測処理部９１と、予測ベクトルを用いない第２動き予測処理部９２の２つは並列に動作するが、予測ベクトルを用いない第２動き予測処理部９２は通常の符号化処理よりも先行して動作することになるため、算出した動きベクトル情報を符号化ブロックライン分保持しておかなければならない。すなわち、図１に示す２行目の右端の符号化ブロックの処理までは予測ベクトルを用いる第１動き予測処理部９１から出力される動きベクトルを出力し、その後動きベクトル格納メモリ９３から図１に示す３行目の動きベクトルを出力するよう切替部９４が切り替える。このとき、切替部９４は、第２動き予測処理部９２によって動き予測を行った符号化ブロックラインに対する予測処理の終了する時間が、第２動き予測処理部９２によって動き予測を行った符号化ブロックラインの直前のブロックに対する第１動き予測処理部９１による予測処理の終了する時間と一致するように制御する。

以上説明したように、精度の悪い動きベクトルの伝搬を抑え画面内の物体の動きをより正確に予測することで符号化効率を向上することができるとともに、動き予測処理の並列化して実行することが可能となるため、処理速度を向上させることができる。

前述した実施形態における符号化装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

精度の悪い動きベクトルの伝搬を抑え画面内の物体の動きをより正確に予測することが不可欠な用途に適用できる。

６・・・ループフィルタ、８・・・動き補償部、９・・・動き予測部、９１・・・第１動き予測処理部、９２・・・第２動き予測処理部、９３・・・動きベクトル格納メモリ、９４・・・切替部

Claims

入力画像の時間的相関を利用し、矩形の符号化ブロック単位に動き予測を行いその差分の符号化処理を実行することにより、映像情報の符号化を行う映像符号化装置であって、
対象符号化ブロックの周辺の既出の動きベクトルを予測ベクトルとし、予測ベクトルが指し示す位置を探索中心として動き予測を行う第１の動き予測処理手段と、
前記対象符号化ブロックと同位置を中心として動き予測を行う第２の動き予測処理手段と、
前記第１の動き予測処理手段と前記第２の動き予測処理手段とを一定の符号化ブロックライン単位で切り替えて動き予測結果を出力する切替手段と、
前記切替手段から出力された前記動き予測結果から得られる動きベクトルに基づいて動き補償が行われた結果と、入力画像とを利用して符号化を行う符号化手段と、
を備え、
前記切替手段は、
前記第２の動き予測処理手段によって動き予測を行った符号化ブロックラインに対する予測処理の終了する時間が、前記第２の動き予測処理手段によって動き予測を行った符号化ブロックラインの直前のブロックに対する前記第１の動き予測処理手段による予測処理の終了する時間と一致するように制御する
ことを特徴とする映像符号化装置。
入力画像の時間的相関を利用し、矩形の符号化ブロック単位に動き予測を行いその差分の符号化処理を実行することにより、映像情報の符号化を行う映像符号化装置が行う映像符号化方法であって、
対象符号化ブロックの周辺の既出の動きベクトルを予測ベクトルとし、予測ベクトルが指し示す位置を探索中心として動き予測を行う第１の動き予測処理ステップと、
前記対象符号化ブロックと同位置を中心として動き予測を行う第２の動き予測処理ステップと、
前記第１の動き予測処理ステップと前記第２の動き予測処理ステップとを一定の符号化ブロックライン単位で切り替えて動き予測結果を出力する切替ステップと、
前記切替ステップにおいて出力された前記動き予測結果から得られる動きベクトルに基づいて動き補償が行われた結果と、入力画像とを利用して符号化を行う符号化ステップと、
を有し、
前記切替ステップは、
前記第２の動き予測処理ステップによって動き予測を行った符号化ブロックラインに対する予測処理の終了する時間が、前記第２の動き予測処理ステップによって動き予測を行った符号化ブロックラインの直前のブロックに対する前記第１の動き予測処理ステップによる予測処理の終了する時間と一致するように制御する
ことを特徴とする映像符号化方法。