JP6491587B2 - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム - Google Patents

Description

本発明は、映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラムに関する。

映像符号化の標準規格としてＨ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣと呼ばれる映像符号化方式が策定されている。以下ではＨＥＶＣ（非特許文献１、以降従来技術と称する）を例に説明する。ＨＥＶＣでは符号化対象ピクチャをＬＣＵ（Largest Coding Unit）と呼ばれるブロックに分割し、ＬＣＵごとに符号化を行う。ＬＣＵは更に四分木で最大３回まで分割することができ、最大６４画素×６４画素（以下、ｎ画素×ｎ画素をｎｘｎ（ｎは８，１６，３２，６４）と略記）から８ｘ８までのＣＵ（Coding Unit）と呼ばれるブロックで構成される。

ＣＵごとに異なる予測モードの符号化を行うことができ、ＨＥＶＣでは符号化対象ブロックの隣接符号化済み画素から予測するイントラ予測モード、符号化済みフレームから予測するインター予測モードが規定されている。インター予測モードでは差分動きベクトルを伝送する適応動きベクトル予測符号化と差分動きベクトルを伝送しないマージ符号化の２種類の動き情報符号化モードが採用されている。以下、２つの符号化モードについて説明する。

（適応動きベクトル予測符号化）
適応動きベクトル予測符号化では予測方向を特定する参照画像リスト、参照先フレームを特定する参照画像インデックス、符号化対象ブロックの周囲或いは符号化済みフレームの符号化済みブロックから導出する２つの予測動きベクトル候補リストの中から使用する予測動きベクトル候補を特定する予測動きベクトルインデックス、予測動きベクトルとの差分である差分動きベクトルを参照画像リスト（Ｌ０／Ｌ１）ごとにそれぞれ符号化する。

予測動きベクトル候補リストは図１９に示す符号化対象ブロックに隣接する空間予測動きベクトル候補と図２０に示す符号化済みフレームの時間予測動きベクトル候補、ゼロ予測動きベクトル候補の優先順位でそれぞれ導出される。空間予測動きベクトル候補はブロック群Ａ（Ａ０，Ａ１）、ブロック群Ｂ（Ｂ０，Ｂ１，Ｂ２）からそれぞれ１つずつ導出され、Ａ０⇒Ａ１、Ｂ０⇒Ｂ１⇒Ｂ２の優先順位でそれぞれスキャンされる。また、候補ブロックがインター予測モードであるか否かを判定し、インター予測モードの場合にのみ導出される。更に符号化対象ブロックの参照画像と同一の参照画像を持つ候補が優先され、参照画像が異なる場合は参照画像間距離によってスケーリングされる。ただし、スケーリングが必要となる候補は予測動きベクトル候補リストに追加される最初の１つのみに限定される。

また、各ブロック群の中で同一の動きベクトルが導出された場合は優先順位の高い候補のみを追加し、優先順位の低い候補は追加しない。空間予測動きベクトル候補の合計数が２に満たない場合は時間予測動きベクトル候補が導出される。時間予測動きベクトル候補はスライスヘッダで指定された符号化済みフレーム（ColPic）上から導出され、Ｈ⇒Ｃ３の優先順位でスキャンされる。ここでも同様に候補ブロックがインター予測モードである場合にのみ導出され、動きベクトルは参照画像間距離に応じてスケーリングされる。空間予測動きベクトル候補、時間予測動きベクトル候補の合計数が２に満たない場合はゼロ予測動きベクトル（水平成分、垂直成分が０のベクトル）が２つに満たすまで追加される。

（マージ符号化）
マージ符号化では符号化対象ブロックの周囲或いは符号化済みフレームの符号化済みブロックから導出される最大５つのマージ候補リストの中から使用する候補のインデックスのみを符号化する。マージ候補リストは空間マージ候補、時間マージ候補、結合双予測候補、ゼロマージ候補の優先順位で導出される。空間マージ候補、時間マージ候補の候補ブロックは図１９及び図２０と同一である。空間マージ候補はＡ１⇒Ｂ１⇒Ｂ０⇒Ａ０⇒Ｂ２の優先順位でスキャンされ、候補ブロックがインター予測モードの場合にのみ導出される。ただし、マージ候補リストへの追加において、重複して追加されにくくするために以下の場合には優先順位の高い候補のみを追加し、優先順位の低い候補は追加しない。
・Ｂ１の動き情報＝Ａ１の動き情報
・Ｂ０の動き情報＝Ｂ１の動き情報
・Ａ０の動き情報＝Ａ１の動き情報
・Ｂ２の動き情報＝Ａ１又はＢ１の動き情報

時間マージ候補は適応動きベクトル予測符号化と同一で、参照画像インデックスは０となる。結合双予測候補はＬ０／Ｌ１それぞれの動き情報を異なるマージインデックスの組み合わせで最大２つ導出される。空間マージ候補、予測マージ候補、結合双予測候補の合計が５に満たない場合にはゼロマージ候補（双方向でそれぞれ参照画像インデックスが０で水平成分、垂直成分が０のベクトル）が５つに満たすまで追加される。

株式会社インプレスジャパン，"インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書，" ２０１３年

従来技術では２種類の動き情報符号化モードはいずれも符号化対象ブロックに隣接する候補ブロック或いは符号化済みフレームの候補ブロックから予測動きベクトル候補リストを導出する際に、候補ブロックがインター予測モードでない場合は予測動きベクトルを導出することができない。特に、候補ブロックが全てイントラ予測モードで符号化されている場合には予測動きベクトル候補リスト或いはマージ候補リストには全てゼロ動きベクトル或いはゼロマージ候補が追加される。その場合、適応動きベクトル予測符号化においては差分動きベクトルの符号量を小さくすることができないため符号化効率が悪化し、マージ符号化においては予測画像がゼロマージ候補のみとなり、予測画像の精度が低下するという問題がある。

例えば、図２１に示すように動きのある物体の途中で別の物体によるオクルージョンが発生するような場合は別の物体がイントラ予測モードになりやすい。また、平坦領域や単純な模様などの場合には連続する同一物体中であってもイントラ予測モードになる可能性が高いため、上記のような問題が発生する。

本発明は、このような事情に鑑みてなされたもので、符号化効率の悪化を抑えつつ、予測画像の精度が低下するのを防ぐことができる映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラムを提供することを目的とする。

本発明の一態様は、イントラ予測及びインター予測を用いて映像をブロック単位で符号化する映像符号化装置であって、対象ブロックの周囲の候補ブロックから予測動きベクトル候補を導出する予測動きベクトル導出手段と、前記対象ブロックでイントラ予測モードが選択されている場合、前記予測動きベクトル導出手段によって導出した予測動きベクトルを前記対象ブロックの動きベクトルとして設定する予測動きベクトル設定手段とを備える映像符号化装置である。

本発明の一態様は、前記映像符号化装置であって、前記予測動きベクトル導出手段は、前記候補ブロックが前記イントラ予測モードである場合には前記予測動きベクトル設定手段で設定された動きベクトルを前記対象ブロックの予測動きベクトル候補として参照する映像符号化装置である。

本発明の一態様は、前記映像符号化装置であって、前記予測動きベクトル導出手段は、前記対象ブロックの周囲或いは符号化済みフレームの符号化済みブロックの中から所定の順序でインター予測モードであるかを判定し、インター予測モードである候補ブロックから予測動きベクトル候補を導出し、予測動きベクトル候補数が所定の値に満たない場合には、インター予測モードでない前記候補ブロックから予測動きベクトル候補を導出する。

本発明の一態様は、前記映像符号化装置であって、前記予測動きベクトル設定手段は、導出した前記予測動きベクトル候補の中から動きベクトルの統計量に基づく所定の条件を満たす予測動きベクトル候補を設定する。

本発明の一態様は、前記映像符号化装置であって、前記条件は、動きベクトルの各要素の絶対値和が最大である。

本発明の一態様は、前記映像符号化装置であって、前記条件は、前記対象ブロックの周囲或いは符号化済みフレームの符号化済みブロックの中で最頻動きベクトルである。

本発明の一態様は、イントラ予測及びインター予測を用いて映像をブロック単位で符号化された符号化データを復号する映像復号装置であって、対象ブロックの周囲の候補ブロックから予測動きベクトル候補を導出する予測動きベクトル導出手段と、前記対象ブロックでイントラ予測モードが選択されている場合、前記予測動きベクトル導出手段によって導出した予測動きベクトルを前記対象ブロックの動きベクトルとして設定する予測動きベクトル設定手段とを備える映像復号装置である。

本発明の一態様は、前記映像復号装置であって、前記予測動きベクトル導出手段は、前記候補ブロックが前記イントラ予測モードである場合には前記予測動きベクトル設定手段で設定された動きベクトルを前記対象ブロックの予測動きベクトル候補として参照する映像復号装置である。

本発明の一態様は、前記映像復号装置であって、前記予測動きベクトル導出手段は、前記対象ブロックの周囲或いは符号化済みフレームの符号化済みブロックの中から所定の順序でインター予測モードであるかを判定し、インター予測モードである前記候補ブロックから予測動きベクトル候補を導出し、予測動きベクトル候補数が所定の値に満たない場合には、インター予測モードでない前記候補ブロックから予測動きベクトル候補を導出する。

本発明の一態様は、前記映像復号装置であって、前記予測動きベクトル設定手段は、導出した前記予測動きベクトル候補の中から動きベクトルの統計量に基づく所定の条件を満たす予測動きベクトル候補を設定する。

本発明の一態様は、前記映像復号装置であって、前記条件は、動きベクトルの各要素の絶対値和が最大である。

本発明の一態様は、前記映像復号装置であって、る前記条件は、前記対象ブロックの周囲或いは符号化済みフレームの符号化済みブロックの中で最頻動きベクトルである。

本発明の一態様は、イントラ予測及びインター予測を用いて映像をブロック単位で符号化する映像符号化装置が行う映像符号化方法であって、対象ブロックの周囲の候補ブロックから予測動きベクトル候補を導出する予測動きベクトル導出ステップと、前記対象ブロックでイントラ予測モードが選択されている場合、前記予測動きベクトル導出ステップによって導出した予測動きベクトルを前記対象ブロックの動きベクトルとして設定する予測動きベクトル設定ステップとを有する映像符号化方法である。

本発明の一態様は、前記映像符号化方法であって、前記予測動きベクトル導出ステップでは、前記候補ブロックが前記イントラ予測モードである場合には前記予測動きベクトル設定ステップで設定された動きベクトルを前記対象ブロックの予測動きベクトル候補として参照する映像符号化方法である。

本発明の一態様は、イントラ予測及びインター予測を用いて映像をブロック単位で符号化された符号化データを復号する映像復号装置が行う映像復号方法であって、対象ブロックの周囲の候補ブロックから予測動きベクトル候補を導出する予測動きベクトル導出ステップと、前記対象ブロックでイントラ予測モードが選択されている場合、前記予測動きベクトル導出ステップによって導出した予測動きベクトルを前記対象ブロックの動きベクトルとして設定する予測動きベクトル設定ステップとを有する映像復号方法である。

本発明の一態様は、前記映像復号方法であって、前記予測動きベクトル導出ステップでは、前記候補ブロックが前記イントラ予測モードである場合には前記予測動きベクトル設定ステップで設定された動きベクトルを前記対象ブロックの予測動きベクトル候補として参照する映像復号方法である。

本発明の一態様は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。

本発明の一態様は、コンピュータを、前記映像復号装置として機能させるための映像復号プログラムである。

本発明によれば、符号化効率の悪化を抑えつつ、予測画像の精度が低下するのを防ぐことができるという効果が得られる。

本発明の第１の実施形態における映像符号化装置の構成を示すブロック図である。 従来技術における映像符号化装置の構成を示すブロック図である。 本発明の第１の実施形態における映像復号装置の構成を示すブロック図である。 第１の実施形態の映像符号化装置におけるインター動き情報生成部２３の構成を示すブロック図である。 第１の実施形態の映像復号装置におけるインター動き情報生成部５１の構成を示すブロック図である。 第１の実施形態におけるイントラ動き情報生成部２４の構成を示すブロック図である。 第１の実施形態における動きベクトル設定処理動作を示すフローチャートである。 図４、図５及び図６に示す予測動きベクトル候補リスト生成部２３２、５１１、２４１の処理動作を示すフローチャートである。 従来技術における予測動きベクトル候補リスト生成部の動作を示すフローチャートである。 本発明の第２の実施形態における映像符号化装置の構成を示すブロック図である。 本発明の第２の実施形態における映像復号装置の構成を示すブロック図である。 第２の実施形態におけるインター動き情報生成部２３の構成を示すブロック図である。 第２の実施形態におけるインター動き情報生成部５１の構成を示すブロック図である。 第２の実施形態におけるイントラ動き情報生成部２４、５０の構成を示すブロック図である。 図１２、図１３及び図１４に示す予測動きベクトル候補リスト生成部２３１、５１２、２４１の処理動作を示すフローチャートである。 図１２、図１３及び図１４に示す予測動きベクトル候補リスト生成部２３１、５１２、２４１の処理動作を示すフローチャートである。 第３の実施形態におけるイントラ動き情報生成部２４、５０の構成を示すブロック図である。 第３の実施形態における動きベクトル設定処理動作を示すフローチャートである。 符号化対象ブロックに隣接する空間予測動きベクトル候補を示す説明図である。 符号化済みフレームの時間予測動きベクトル候補を示す説明図である。 動きのある物体の途中で別の物体によるオクルージョンが発生するような場合は別の物体がイントラ予測モードになりやすい状況を示す説明図である。

以下では一例としてＨＥＶＣに準拠した映像符号化装置及び映像復号装置に本発明を適用した場合の実施形態を説明するが、以下で説明する実施形態は、必ずしもＨＥＶＣに準拠したものでなくてもよい。なお、説明を簡単にするため、ＬＣＵ及びＣＵサイズは固定（例えば６４ｘ６４）として記載するが、ブロック分割した場合においても各ＣＵに対して同様の処理を行うことで本発明を適用可能である。

＜第１の実施形態＞
図１を参照して、第１の実施形態における映像符号化装置を説明する。図１は第１の実施形態における映像符号化装置の構成を示すブロック図である。参考までに図２に従来技術における映像符号化装置を示す。図１と図２において、同じ構成要素には、同じ符号を付与してある。図１に示す構成が従来技術と異なるのはイントラ動き情報生成部２４が新たに追加されている点である。符号化装置には符号化対象入力映像の符号化対象ピクチャについてＣＵブロックごとに入力され、このブロックに対応する符号化データが出力される。これが符号化対象ピクチャの各ブロックについてラスタスキャン順に繰り返し実行されることで、符号化対象ピクチャが符号化される。

減算器１１は映像符号化装置１に入力された入力画像とイントラ予測部１７またはインター予測部１９から出力される予測画像との差分を直交変換／量子化部１２へ出力する。一方、直交変換／量子化部１２は減算器１１から出力された差分に対して直交変換と量子化を施し、可変長符号化部１３と逆量子化／逆直交変換部１４へ出力する。

可変長符号化部１３は直交変換／量子化部１２から出力された量子化係数を可変長符号化し、符号化データとして映像符号化装置１から出力する。逆量子化／逆直交変換部は直交変換／量子化部１２から出力された量子化係数に対して逆量子化と逆直交変換を施し、加算器１５へ出力する。

加算器１５は逆量子化／逆直交変換部１４から出力された画像と予測画像との和をイントラ予測部１７及びループフィルタ部１６へ出力する。ループフィルタ部１６は逆量子化／逆直交変換部１４から出力された画像とイントラ予測部１７またはインター予測部１９から出力される予測画像との和にループフィルタを適用し、復号ピクチャメモリ１８へ出力する。

復号ピクチャメモリ１８はループフィルタ部１６の出力を格納し、インター予測部１９と動きベクトル検出部２１に出力され、後の符号化対象ブロックのインター予測及び動きベクトル検出時に参照画像として利用される。イントラ予測部１７は逆量子化／逆直交変換部１４から出力された画像とイントラ予測部１７またはインター予測部か１９ら出力される予測画像との和を参照画像として符号化対象ブロックのイントラ予測画像を生成する。

インター予測部１９は復号ピクチャメモリの参照画像を用いて符号化対象ブロックのインター予測画像を生成する。イントラ／インター切り替えスイッチ２０は符号化対象ブロックの予測モードに応じてイントラ予測部１７或いはインター予測部１９を切り替え、予測画像を減算器１１と加算器１５へ出力する。

動きベクトル検出部２１は入力画像と復号ピクチャメモリ１８から出力される参照画像を用いて動きベクトルを検出し、動きベクトルメモリ２２及びインター動き情報生成部２３へ出力する。動きベクトルメモリ２２は動きベクトル検出部２１或いはイントラ動き情報生成部２４からの出力を格納し、予測動きベクトル導出時にインター動き情報生成部２３或いはイントラ動き情報生成部２４から参照される。

インター動き情報生成部２３は動きベクトル検出部２１と動きベクトルメモリ２２から入力されたデータを基にインター予測モードの動き情報を生成し、可変長符号化部１３へ出力する。イントラ動き情報生成部２４は動きベクトルメモリ２２から入力されたデータを基にイントラ予測モードの動き情報を生成し、動きベクトルメモリ２２へ出力する。

次に、図３を参照して、第１の実施形態における映像復号装置を説明する。この映像復号装置は図１に示す映像符号化装置により符号化された符号化データを復号する。図３は第１の実施形態における映像復号装置の構成を示すブロック図である。映像復号装置４には復号対象入力符号化データが入力され、復号対象ブロック毎に繰り返し復号され、復号信号が出力される。

可変長復号部４１は入力された符号化データを可変長復号し、変換量子化係数及び差分動きベクトルを含む復号パラメータを得て、変換量子化係数は逆量子化／逆直交変換部４２へ、差分動きベクトルはインター動き情報生成部５１へ出力される。逆量子化／逆量子化部４２は可変長復号部４１から出力された変換量子化係数を逆量子化／逆直交変換し、復号残差画像を加算器４３に出力する。

加算器４３は逆量子化／逆直交変換部４２から出力された復号残差画像とイントラ予測部４５又はインター予測部４６から得られる予測画像との和から復号画像を得て、復号映像として出力すると同時に、ループフィルタ部４７及びイントラ予測部４５へ出力する。ループフィルタ部４７は加算器４３から得られる復号画像にループフィルタを適用し、復号ピクチャメモリへ出力する。

復号ピクチャメモリ４８はループフィルタ部４７の出力を格納し、インター予測部４６に入力され、後の復号対象ブロックのインター予測時に参照画像として利用される。イントラ予測部４５は加算器４３から出力される復号画像を参照画像として後の復号対象ブロックのイントラ予測画像を生成する。インター予測部４６は復号ピクチャメモリ４８の参照画像と動きベクトルメモリ４９から得られる動きベクトルを用いて復号対象ブロックのインター予測画像を生成する。

イントラ／インター切り替えスイッチ４４は復号対象ブロックの予測モードに応じてイントラ予測部４５或いはインター予測部４６を切り替え、予測画像を加算器４３へ出力する。動きベクトルメモリ４９はインター動き情報生成部５１或いはイントラ動き情報生成部５０からの出力を格納し、インター予測部４６での予測及び予測動きベクトル導出時にインター動き情報生成部５１或いはイントラ動き情報生成部５０から参照される。

インター動き情報生成部５１は可変長復号部４１から入力される差分動きベクトルと動きベクトルメモリから入力されるデータを基にインター予測モードの動き情報を生成し、動きベクトルメモリ４９へ出力する。イントラ動き情報生成部５０は動きベクトルメモリ４９から入力されたデータを基にイントラ予測モードの動き情報を生成し、動きベクトルメモリ４９へ出力する。

次に、図４及び図５を参照して、第１の実施形態におけるインター動き情報生成部について説明する。図４は第１の実施形態の映像符号化装置におけるインター動き情報生成部２３の構成を示すブロック図である。予測動きベクトル候補リスト生成部２３１は動きベクトルメモリ２２から入力された符号化対象ブロックの周囲或いは符号化済みフレームの候補ブロックの動きベクトルから予測動きベクトル候補リストを生成し、予測動きベクトル決定部２３２へ出力する。予測動きベクトル決定部２３２は予測動きベクトル候補リスト生成部２３１から入力された予測動きベクトル候補リストの中から予測動きベクトルを決定する。

予測動きベクトルの決定では対象ブロックの動きベクトルと予測動きベクトル候補リストの各候補との差分動きベクトルを算出し、差分動きベクトルの各成分の符号量の和が最も小さくなる予測動きベクトルインデックス及び予測動きベクトルを決定する。減算部２３３は動きベクトル検出部２１から入力された動きベクトルと予測動きベクトル決定部２３２で決定された予測動きベクトルの差分動きベクトルを算出し、参照画像リスト、参照画像インデックス、予測動きベクトルインデックスと共に可変長符号化部１３へ出力する。

図５は第１の実施形態の映像復号装置におけるインター動き情報生成部５１の構成を示すブロック図である。予測動きベクトル候補リスト生成部５１１は動きベクトルメモリ４９から入力された復号対象ブロックの周囲或いは復号済みフレームの候補ブロックの動きベクトルから予測動きベクトル候補リストを生成し、予測動きベクトル出力部５１２へ出力する。予測動きベクトル出力部５１２は予測動きベクトル候補リスト生成部５１１から入力された予測動きベクトル候補リストの中から可変長復号部４１で復号された予測動きベクトルインデックスに対応する予測動きベクトルを出力する。加算部５１３は可変長復号部４１から入力された差分動きベクトルと予測動きベクトル出力部５１２から出力された予測動きベクトルの和となる動きベクトルを算出し、動きベクトルメモリ４９へ出力する。

続いて、図６を参照して、本発明の特徴となるイントラ動き情報生成部２４について説明する。図６は第１の実施形態におけるイントラ動き情報生成部２４の構成を示すブロック図である。イントラ動き情報生成部２４は従来技術にはない構成要素である。予測動きベクトル候補リスト生成部２４１は動きベクトルメモリ２２から入力された符号化或いは復号対象ブロックの周囲或いは符号化或いは復号済みフレームの候補ブロックの動きベクトルから予測動きベクトル候補リストを生成し、設定予測動きベクトル決定部２４２へ出力する。設定予測動きベクトル決定部２４２は予測動きベクトル候補リストの中から所定の予測動きベクトルを動きベクトルメモリ２２へ出力する。

次に、図７を参照して、第１の実施形態における動きベクトル設定処理動作を説明する。図７は第１の実施形態における動きベクトル設定処理動作を示すフローチャートである。まず、対象ブロックの予測モードがインター予測モードか否かを判定し（ステップＳ１）、判定結果がインター予測モードである場合は対象ブロックの動きベクトルを対象ブロックの動きベクトルとして動きベクトルメモリに設定する（ステップＳ２）。そうでない場合は予測動きベクトル候補リストの中から所定の予測動きベクトルを対象ブロックの動きベクトルとして動きベクトルメモリに設定する（ステップＳ３）。設定する予測動きベクトルは予め設定された予測動きベクトルインデックスに対応する予測動きベクトルなどを用いる。

次に、図８を参照して、図４、図５及び図６に示す予測動きベクトル候補リスト生成部２３２、５１１、２４１の処理動作を説明する。図８は図４、図５及び図６に示す予測動きベクトル候補リスト生成部２３２、５１１、２４１の処理動作を示すフローチャートである。

まず、候補ブロックに対して所定の優先順序でスキャンを行う（ステップＳ１１）。候補ブロックは図１９及び図２０に示すブロック群である。また、優先順位は以下の通りとなる。
・Ａ０⇒Ａ１⇒Ｂ０⇒Ｂ１⇒Ｂ２⇒Ｈ（Ｃ３）の順でスキャン
・対象ブロックの参照画像と同一の参照画像を持つ動きベクトルを優先

予測動きベクトル候補リストの合計数が２に満たないか否かを判定する（ステップＳ１２）。そして、合計数が２に満たない場合は対象ブロックと候補ブロックの参照画素が同じか否かを判定する（ステップＳ１３）。この判定の結果、参照画素が同じでなければ、参照画像間距離に応じてスケーリングを行う（ステップＳ１４）。

次に、候補ブロックの動きベクトルを各ブロック群（Ａ０，Ａ１をブロック群Ａ、Ｂ０，Ｂ１，Ｂ２をブロック群Ｂとする）の中で同じ動きベクトルが既にリストに追加されているか否かの重複判定を行い（ステップＳ１５）、重複しない場合には候補ブロックの動きベクトルについて、候補ブロックの参照画像が符号化（或いは復号）対象ブロックの参照画像と異なる場合には参照画像間距離に応じてスケーリング処理を行った後にリストに追加する（ステップＳ１６）。そして、全ての候補ブロックに対してスキャンが終了したら（ステップＳ１７）、予測動きベクトル候補リストの合計数が２に満たないか否かを判定する（ステップＳ１８）。合計数が２に満たない場合にはリストの残りにゼロベクトルを追加する（ステップＳ１９）。

なお、参考までに従来技術における予測動きベクトル候補リスト生成部の動作を図９に示す。図９において、図８に示す処理動作と同じ処理動作には、同じ符号を付与してある。従来技術ではスキャンされた候補ブロックの参照画像インデックスが０以上（すなわち、インター予測されている）か否かを判定する処理（ステップＳ１１１）が追加されている点が異なる。また、本実施形態ではマージ符号化の説明を省略しているが、従来技術のマージ候補リスト生成に対しても同様の手順の処理動作を実行することで本発明を適用することが可能である。

（本実施形態と従来技術との違いと得られる効果）
本実施形態が従来技術と異なるのは、本実施形態では対象ブロックがイントラ予測モードの場合には予測動きベクトルを動きベクトルメモリに設定するため、予測動きベクトルを導出する際に候補ブロックがイントラ予測モードであっても予測動きベクトル候補リストに追加することが可能となる。従来技術ではイントラ予測モードである場合には追加されない。これによって、予測動きベクトル候補リストに追加される予測動きベクトル候補がゼロベクトルでなくなる可能性が高くなり、符号化対象ブロックの動きベクトルとの差分動きベクトルを小さくすることができる。

例えば、図２１のような状況において、符号化対象ブロックがインター予測モードで符号化された領域と同じ動きベクトルを持っていた場合には、従来技術では導出される予測動きベクトル候補リストにはゼロベクトルしか追加されないため、対象ブロックの差分動きベクトルの符号量を小さくすることができないが、本実施形態を用いた場合には符号化対象ブロックの周囲のイントラ予測モードで符号化される領域にインター予測モードで符号化される領域の動きベクトルが設定され、それによって対象ブロックで導出される予測動きベクトル候補リストにその動きベクトルが追加されるため、符号化対象ブロックの差分動きベクトルの符号量を小さくすることができる。復号においても符号化時と同様の処理を行うため、符号化時と同じ予測動きベクトルが参照可能である。

このように、第１の実施形態では、対象ブロックがイントラ予測モードの場合に予測動きベクトル候補リストの中から所定の予測動きベクトルを対象ブロックの動きベクトルとして設定する。そして、予測動きベクトル候補リストの導出時に、候補ブロックがイントラ予測モードの場合についても設定されている動きベクトルを参照する。

＜第２の実施形態＞
図１０及び図１１を参照して、第２の実施形態における映像符号化装置及び映像復号装置を説明する。図１０は第２の実施形態における映像符号化装置の構成を示すブロック図である。図１１は第２の実施形態における映像復号装置の構成を示すブロック図である。本実施形態では第１の実施形態に変更を加えた点について説明する。映像符号化装置１（図１０）及び映像復号装置４（図１１）共に候補ブロック予測モード判定部２５、５２が追加されている点が異なる。以下、第１の実施形態と異なる点のみを説明する。

第２の実施形態における候補ブロック予測モード判定部２５、５２は符号化結果或いは復号データを基にして予測動きベクトル候補リストの生成時に各候補ブロックの予測モードの判定結果をインター動き情報生成部２３、５１及びイントラ動き情報生成部２４、５０へ出力する。

次に、図１２及び図１３を参照して、第２の実施形態におけるインター動き情報生成部２３、５１について説明する。図１２は第２の実施形態におけるインター動き情報生成部２３の構成を示すブロック図である。図１３は第２の実施形態におけるインター動き情報生成部５１の構成を示すブロック図である。第１の実施形態と異なる点は予測動きベクトル候補リスト生成部２３１、５１１に候補ブロック予測モード判定部２５、５２から判定結果が入力されている点である。

続いて、図１４を参照して、第２の実施形態におけるイントラ動き情報生成部２４、５０について説明する。図１４は第２の実施形態におけるイントラ動き情報生成部２４、５０の構成を示すブロック図である。第１の実施形態と異なる点は予測動きベクトル候補リスト生成部２４１に候補ブロック予測モード判定部２５、５２から判定結果が入力されている点である。

続いて、図１５、図１６を参照して、図１２、図１３及び図１４に示す予測動きベクトル候補リスト生成部２３１、５１２、２４１の処理動作を説明する。図１５、図１６は図１２、図１３及び図１４に示す予測動きベクトル候補リスト生成部２３１、５１２、２４１の処理動作を示すフローチャートである。図１５は、図１６内の処理Ａ部分の処理動作である。始めに、処理Ａの処理動作を説明する。処理Ａの処理動作は、図８に示す処理動作に似ている動作である。

まず、候補ブロックに対して所定の優先順序でスキャンを行う（ステップＳ２１）。候補ブロックは図１９及び図２０に示すブロック群である。また、優先順位は以下の通りとなる。
・Ａ０⇒Ａ１⇒Ｂ０⇒Ｂ１⇒Ｂ２⇒Ｈ（Ｃ３）の順でスキャン
・対象ブロックの参照画像と同一の参照画像を持つ動きベクトルを優先

予測動きベクトル候補リストの合計数が２に満たないか否かを判定する（ステップＳ２２）。そして、合計数が２に満たない場合は対象ブロックと候補ブロックの参照画素が同じか否かを判定する（ステップＳ２３）。この判定の結果、参照画素が同じでなければ、参照画像間距離に応じてスケーリングを行う（ステップＳ２４）。

次に、候補ブロックの動きベクトルを各ブロック群（Ａ０，Ａ１をブロック群Ａ、Ｂ０，Ｂ１，Ｂ２をブロック群Ｂとする）の中で同じ動きベクトルが既にリストに追加されているか否かの重複判定を行い（ステップＳ２５）、重複しない場合には候補ブロックの動きベクトルについて、候補ブロックの参照画像が符号化（或いは復号）対象ブロックの参照画像と異なる場合には参照画像間距離に応じてスケーリング処理を行った後にリストに追加する（ステップＳ２６）。そして、全ての候補ブロックに対してスキャンを行う（ステップＳ２７）。

次に、図１６を参照して、予測動きベクトル候補リスト生成部２３１、５１２、２４１の処理動作を説明する。まず、対象ブロックの周囲から導出される候補ブロックの中からインター予測モードである候補ブロック群を抽出し、これらの候補ブロック群に対して処理Ａを行う（ステップＳ３１）。処理Ａは前述した処理である。予測動きベクトル候補リストの合計数が２に満たないか否かを判定し（ステップＳ３２）、満たない場合はイントラ予測モードである候補ブロック群を抽出し、これらの候補ブロック群に対して処理Ａを行う（ステップＳ３３）。この処理の結果、予測動きベクトル候補リストの合計数が２に満たないか否かを判定し（ステップＳ３４）、満たない場合にはリストの残りにゼロベクトルを追加する（ステップＳ３５）。

（本実施形態と従来技術との違いと得られる効果）
候補ブロックがインター予測モードであるブロックを優先してリストに追加することで、本来の動き情報を持っている信頼度の高いインター予測モードの予測動きベクトル候補が先にリストに追加されることになり、予測動きベクトルの精度向上が期待できる。

このように、第２の実施形態では、予測動きベクトル候補リストの導出時に、リストに追加する動きベクトルを候補ブロックの予測モードが「インター予測モード」⇒「イントラ予測モード」の優先度で追加する。

＜第３の実施形態＞
第３の実施形態における映像符号化装置及び映像復号装置を説明する。本実施形態では第１の実施形態に変更を加えた場合について説明するが、第２の実施形態においても同様に本発明を適用することができる。映像符号化装置及び映像復号装置は図１及び図３においてイントラ動き情報生成部の処理動作を除いて同一である。以下、第１の実施形態と異なる点のみを説明する。

図１７を参照して、第３の実施形態におけるイントラ動き情報生成部２４、５０について説明する。図１７は第３の実施形態におけるイントラ動き情報生成部２４、５０の構成を示すブロック図である。第１の実施形態と異なる点は動きベクトル統計量算出部２４３が追加されている点である。動きベクトル統計量算出部２４３は動きベクトルメモリ２２、４９からのデータを基に動きベクトル統計量を算出し、設定予測動きベクトル決定部２４２へ出力する。

続いて、図１８を参照して、第３の実施形態における動きベクトル設定処理動作を説明する。図１８は第３の実施形態における動きベクトル設定処理動作を示すフローチャートである。図１８に示すフローチャートは図７に示すフローチャートと異なり、対象ブロックの予測モードがインター予測モードでない場合に動作が異なる。図１８において、図７に示す動作と同じ動作には、同じ符号を付与してある。対象ブロックの予測モードがインター予測モードでないか否かを判定し（ステップＳ１）、インター予測モードでない場合、動きベクトルの統計量を算出し（ステップＳ４）、算出した統計量を基に予測動きベクトル候補リストの中から対象ブロックの動きベクトルとして設定する予測動きベクトルを決定する（ステップＳ５）。算出する統計量及び設定する予測動きベクトルの決定方法には色々なバリエーションが考えられる。以下にそのバリエーションの一例を示す。

（バリエーション１：各成分の絶対和が最大）
予測動きベクトル候補リストの各予測動きベクトルに対して各成分の絶対和（Ｌ１ノルム）を統計量として算出し、値の最も大きい予測動きベクトルを選択する。このようにすることで、設定される予測動きベクトルがゼロベクトルと異なるベクトルが選択されやすくなり、差分動きベクトルの符号量をより小さくする可能性が高くなる。

（バリエーション２：候補ブロックの中での最頻値）
候補ブロック群の中で最も頻出する予測動きベクトルを統計量として算出し、その予測動きベクトルを設定する予測動きベクトルとして選択する。ただし、全て異なる場合には予測動きベクトルインデックスの小さい方とする。最頻値は候補ブロック群の中で周囲の領域が同一である動きベクトルであると考えられるため信頼できるベクトルを選択することが可能となり、差分動きベクトルの符号量をより小さくする可能性が高くなる。

（バリエーション３：候補ブロックの中での中央値）
候補ブロック群の中で各成分の中央値を統計量として算出し、それらの値を予測動きベクトルとして設定する。このようにすることで候補ブロック群の中で外れ値があった場合にも適切な予測動きベクトルを設定することが可能となり、差分動きベクトルの符号量をより小さくする可能性が高くなる。

（本実施形態と従来技術との違いと得られる効果）
対象ブロックの予測モードがイントラ予測モードであった場合に予測動きベクトルの中から動きベクトルの統計量に基づく条件によって信頼度の高い予測動きベクトルを設定することができるため、予測動きベクトルの精度向上が期待できる。

このように、第３の実施形態では、対象ブロックがイントラ予測モードの場合に設定する予測動きベクトルを動きベクトルの統計量に基づく所定の条件を満たす予測動きベクトルとする。

なお、前述した映像符号化装置によって符号化されたものを選択して、復号するようにしてもよい。また、伝送により符号化されたブロックに係るデータ欠損が発生した際に１つ前のブロックの動きベクトルを利用すること、代替で０ベクトルを挿入するようにしてもよい。

以上説明したように、動画像の符号化及び復号、特にインター予測を行う際に従来技術においてはあるブロックをイントラ予測モードで符号化される場合は動きベクトルが保存されず、別のブロックをインター予測モードで符号化を行う際に前記イントラ予測モードで符号化されたブロックを予測に使うことができない。本実施形態はあるブロックをイントラ予測を行う場合でも隣接ブロックを参照し動きベクトルの情報を残すことで別のブロックがインター予測モードで符号化される場合でも参照を可能とし、符号化効率を向上させることができる。

前述した実施形態における映像符号化装置、映像復号装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

符号化効率の悪化を抑えつつ、予測画像の精度が低下するのを防ぐことが不可欠な用途に適用できる。

１・・・映像符号化装置、１１・・・減算器、１２・・・直交変換／量子化部、１３・・・可変長符号化部、１４・・・逆量子化／逆直交変換部、１５・・・加算器、１６・・・ループフィルタ部、１７・・・イントラ予測部、１８・・・復号ピクチャメモリ、１９・・・インター予測部、２０・・・イントラ／インター切替スイッチ、２１・・・動きベクトル検出部、２２・・・動きベクトルメモリ、２３・・・インター動き情報生成部、２４・・・イントラ動き情報生成部、４・・・映像復号装置、４１・・・可変長復号部、４２・・・逆量子化／逆直交変換部、４３・・・加算部、４４・・・イントラ／インター切替スイッチ、４５・・・イントラ予測部、４６・・・インター予測部、４７・・・ループフィルタ部、４８・・・復号ピクチャメモリ、４９・・・動きベクトルメモリ、５０・・・イントラ動き情報生成部、５１・・・インター動き情報生成部

Claims (16)

1. イントラ予測及びインター予測を用いて映像をブロック単位で符号化する映像符号化装置であって、
   対象ブロックの周囲の候補ブロックから予測動きベクトル候補を導出する予測動きベクトル候補導出手段と、
   前記予測動きベクトル候補のうち、所定の予測動きベクトル候補を予測動きベクトルとして設定する予測動きベクトル候補設定手段と、
   前記対象ブロックでイントラ予測モードが選択されている場合、前記予測動きベクトル候補設定手段によって設定された予測動きベクトルを前記対象ブロックの動きベクトルとして設定する予測動きベクトル設定手段と
   を備え、
   前記予測動きベクトル候補導出手段は、インター予測モードで符号化された候補ブロックと、イントラ予測モードで符号化され、予測動きベクトルが設定されている候補ブロックとから、前記インター予測モードで符号化された候補ブロックの予測動きベクトルを優先して前記予測動きベクトル候補として導出する、
   映像符号化装置。
2. 前記予測動きベクトル導出手段は、前記候補ブロックが前記イントラ予測モードである場合には前記予測動きベクトル設定手段で設定された動きベクトルを前記対象ブロックの予測動きベクトル候補として参照する請求項１に記載の映像符号化装置。
3. 前記予測動きベクトル導出手段は、前記対象ブロックの周囲或いは符号化済みフレームの符号化済みブロックの中から所定の順序でインター予測モードであるかを判定し、インター予測モードである候補ブロックから予測動きベクトル候補を導出し、予測動きベクトル候補数が所定の値に満たない場合には、インター予測モードでない前記候補ブロックから予測動きベクトル候補を導出する請求項２に記載の映像符号化装置。
4. 前記予測動きベクトル設定手段は、導出した前記予測動きベクトル候補の中から動きベクトルの統計量に基づく所定の条件を満たす予測動きベクトル候補を設定する請求項２または３に記載の映像符号化装置。
5. 前記条件は、動きベクトルの各要素の絶対値和が最大である請求項４に記載の映像符号化装置。
6. 前記条件は、前記対象ブロックの周囲或いは符号化済みフレームの符号化済みブロックの中で最頻動きベクトルである請求項４に記載の映像符号化装置。
7. イントラ予測及びインター予測を用いて映像をブロック単位で符号化された符号化データを復号する映像復号装置であって、
   対象ブロックの周囲の候補ブロックから予測動きベクトル候補を導出する予測動きベクトル候補導出手段と、
   前記予測動きベクトル候補のうち、所定の予測動きベクトル候補を予測動きベクトルとして設定する予測動きベクトル候補設定手段と、
   前記対象ブロックでイントラ予測モードが選択されている場合、前記予測動きベクトル候補設定手段によって設定された予測動きベクトルを前記対象ブロックの動きベクトルとして設定する予測動きベクトル設定手段と
   を備え、
   前記予測動きベクトル候補導出手段は、インター予測モードで符号化された候補ブロックと、イントラ予測モードで符号化され、予測動きベクトルが設定されている候補ブロックとから、前記インター予測モードで符号化された候補ブロックの予測動きベクトルを優先して前記予測動きベクトル候補として導出する、
   映像復号装置。
8. 前記予測動きベクトル導出手段は、前記候補ブロックが前記イントラ予測モードである場合には前記予測動きベクトル設定手段で設定された動きベクトルを前記対象ブロックの予測動きベクトル候補として参照する請求項７に記載の映像復号装置。
9. 前記予測動きベクトル導出手段は、前記対象ブロックの周囲或いは符号化済みフレームの符号化済みブロックの中から所定の順序でインター予測モードであるかを判定し、インター予測モードである前記候補ブロックから予測動きベクトル候補を導出し、予測動きベクトル候補数が所定の値に満たない場合には、インター予測モードでない前記候補ブロックから予測動きベクトル候補を導出する請求項８に記載の映像復号装置。
10. 前記予測動きベクトル設定手段は、導出した前記予測動きベクトル候補の中から動きベクトルの統計量に基づく所定の条件を満たす予測動きベクトル候補を設定する請求項８または９に記載の映像復号装置。
11. 前記条件は、動きベクトルの各要素の絶対値和が最大である請求項１０に記載の映像復号装置。
12. 前記条件は、前記対象ブロックの周囲或いは符号化済みフレームの符号化済みブロックの中で最頻動きベクトルである請求項１０に記載の映像復号装置。
13. イントラ予測及びインター予測を用いて映像をブロック単位で符号化する映像符号化装置が行う映像符号化方法であって、
    対象ブロックの周囲の候補ブロックから予測動きベクトル候補を導出する予測動きベクトル候補導出ステップと、
    前記予測動きベクトル候補のうち、所定の予測動きベクトル候補を予測動きベクトルとして設定する予測動きベクトル候補設定ステップと、
    前記対象ブロックでイントラ予測モードが選択されている場合、前記予測動きベクトル候補設定ステップによって設定された予測動きベクトルを前記対象ブロックの動きベクトルとして設定する予測動きベクトル設定ステップと
    を有し、
    前記予測動きベクトル候補導出ステップでは、インター予測モードで符号化された候補ブロックと、イントラ予測モードで符号化され、予測動きベクトルが設定されている候補ブロックとから、前記インター予測モードで符号化された候補ブロックの予測動きベクトルを優先して前記予測動きベクトル候補として導出する、
    映像符号化方法。
14. イントラ予測及びインター予測を用いて映像をブロック単位で符号化された符号化データを復号する映像復号装置が行う映像復号方法であって、
    対象ブロックの周囲の候補ブロックから予測動きベクトル候補を導出する予測動きベクトル候補導出ステップと、
    前記予測動きベクトル候補のうち、所定の予測動きベクトル候補を予測動きベクトルとして設定する予測動きベクトル候補設定ステップと、
    前記対象ブロックでイントラ予測モードが選択されている場合、前記予測動きベクトル候補設定ステップによって設定された予測動きベクトルを前記対象ブロックの動きベクトルとして設定する予測動きベクトル設定ステップと
    を有し、
    前記予測動きベクトル候補導出ステップでは、インター予測モードで符号化された候補ブロックと、イントラ予測モードで符号化され、予測動きベクトルが設定されている候補ブロックとから、前記インター予測モードで符号化された候補ブロックの予測動きベクトルを優先して前記予測動きベクトル候補として導出する、
    映像復号方法。
15. コンピュータを、請求項１から６のいずれか１項に記載の映像符号化装置として機能させるための映像符号化プログラム。
16. コンピュータを、請求項７から１２のいずれか１項に記載の映像復号装置として機能させるための映像復号プログラム。

Images