JPWO2007074543A1 - 動画像復号装置および動画像符号化装置 - Google Patents

動画像復号装置および動画像符号化装置 Download PDF

Info

Publication number
JPWO2007074543A1
JPWO2007074543A1 JP2007551847A JP2007551847A JPWO2007074543A1 JP WO2007074543 A1 JPWO2007074543 A1 JP WO2007074543A1 JP 2007551847 A JP2007551847 A JP 2007551847A JP 2007551847 A JP2007551847 A JP 2007551847A JP WO2007074543 A1 JPWO2007074543 A1 JP WO2007074543A1
Authority
JP
Japan
Prior art keywords
image
reference
motion vector
vector
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007551847A
Other languages
English (en)
Other versions
JP5020829B2 (ja
Inventor
山本 智幸
智幸 山本
高橋 真毅
真毅 高橋
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2005376479 priority Critical
Priority to JP2005376479 priority
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2007551847A priority patent/JP5020829B2/ja
Priority to PCT/JP2006/303999 priority patent/WO2007074543A1/ja
Publication of JPWO2007074543A1 publication Critical patent/JPWO2007074543A1/ja
Application granted granted Critical
Publication of JP5020829B2 publication Critical patent/JP5020829B2/ja
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

本発明の動画像復号装置又は動画像符号化装置における予測ベクトル導出手段においては、少なくとも2枚以上の参照画像を基準画像の候補とする。基準画像候補の一つを基準画像として選択したときに、基準領域がイントラ符号化されていて基準動きベクトルが存在しない場合には、別の基準画像候補を基準画像として選択することで画像の実際の動きに合った予測ベクトルを導出できる可能性を高めることができる。これにより、後方参照画像上の基準領域がイントラ符号化されている場合でも、ゼロベクトルではない予測ベクトルを導出でき、予測効率の低下を防止できる、動画像復号装置および動画像符号化装置を実現する。

Description

本発明は、動き補償に複数の参照画像を用いる動画像符号化装置および動画像復号装置に関するものである。

従来技術として、MPEG−4 AVC方式(非特許文献1;ISO/IEC 14496−10)を用いた動画像復号装置について、図9に示すブロック図を参照しながら、以下に説明する。

動画像復号装置3は、可変長符号復号部100、動きベクトル復号部(動きベクトル復号手段)101、予測ベクトル導出部102、バッファメモリ103、画像復号部104、予測画像導出部(予測画像導出手段)105を含んで構成される。

可変長符号復号部100は、入力符号化データを可変長復号し、予測方式、予測残差データ、差分ベクトルおよび時間情報等の符号化情報を復号する。動きベクトル復号部101は、予測ベクトルおよび差分ベクトルから、動きベクトルを復号する。予測ベクトル導出部102は、予測方式に基づき、復号済みの動きベクトルを用いて、予測ベクトルを導出する。バッファメモリ103は、動きベクトル、画像、および時間情報等を一時的に記録する。画像復号部104は、予測方式、予測残差データ、および予測画像から、画像を復号する。予測画像導出部105は、動きベクトルおよび参照画像を用いて、動き補償により予測画像を導出する。

<従来技術を用いた復号手順の概要について>
従来技術を用いた動画像復号装置における復号処理の概略について、図10に示す復号処理手順のフローチャートを参照しながら、以下に説明する。

まず、可変長符号復号部100が、動画像復号装置3の外部から入力された符号化データを可変長復号する(ステップ10、以下S10と略す)。可変長符号復号部100の出力は、予測方式、予測残差データ、差分ベクトル、および時間情報等の符号化情報である。予測方式は、予測ベクトル導出部102および画像復号部104に出力され、予測残差データは、画像復号部104に出力され、差分ベクトルは、動きベクトル復号部101に出力され、時間情報は、画像復号部104に出力される。

次に、予測ベクトル導出部102が、バッファメモリ103に記録されている動きベクトルを用いて、可変長符号復号部100から入力された予測方式に応じた予測ベクトルを導出する(S20)。予測ベクトル導出部102は、導出した予測ベクトルを、動きベクトル復号部101およびバッファメモリ103に出力する。なお、予測ベクトル導出部102の動作の詳細については後述する。

次に、動きベクトル復号部101が、予測ベクトル導出部102から入力された予測ベクトルに、可変長符号復号部100から入力された差分ベクトルを加えて、動きベクトルとして出力する(S30)。出力された動きベクトルは、バッファメモリ103に出力され、記録される。

次に、予測画像導出部105が、バッファメモリ103に記録されている参照画像を読み出す。予測画像導出部105は、バッファメモリ103を介して動きベクトル復号部101から入力された動きベクトルと、読み出した参照画像とを用いて、動き補償予測を行い、予測画像を導出し、導出した予測画像を画像復号部104に出力する(S40)。

次に、画像復号部104が、可変長符号復号部100から入力された予測方式に応じて、予測画像導出部105から入力された予測画像と可変長符号復号部100から入力された予測残差データとに基づいて、画像を復号する(S50)。復号された画像およびその画像の表示タイミングに関する時間情報は、バッファメモリ103に出力され、記録される。

次に、S50においてバッファメモリ103に記録された画像は、時間情報で示される時刻に、動画像表示装置(図示せず)に出力される(S60)。

以上説明したように、従来技術(MPEG−4 AVC方式)では、動き補償予測を用いた復号が行われている。

<時間ダイレクト予測について>
MPEG−4 AVC方式では、予測方式の一つとして、時間ダイレクト予測と呼ばれる高能率な動き補償予測方式を用いることができる。

次に、MPEG−4 AVC方式の時間ダイレクト予測について、図11に示す概念図を用いて説明する。なお、以降の説明では、特に断らない限り、参照画像は、前方参照用と後方参照用とにそれぞれ1枚づつ、合計2枚あるものとする。

時間ダイレクト予測とは、図11に示すように、対象画像Pcurの予測画像を導出するにあたり、前方参照画像Pr0,0および後方参照画像Pr1,0の2枚の参照画像を用いる、動き補償予測方式である。

以下では、対象画像Pcur上の処理対象領域(図11中の白丸)を、対象領域Acurと呼ぶ。なお、図11の概念図、そして、図4、図5、図6、図14に示す概念図では、図の左右方向が、動画像を表示する表示時刻を表し、縦棒が各画像を表し、図の上下方向が、各画像内の領域の位置を表している。

時間ダイレクト予測における動き補償では、対象領域Acurの、前方予測ベクトルmvL0と後方予測ベクトルmvL1とを用いる。前方予測ベクトルmvL0および後方予測ベクトルmvL1は、「基準画像」として定めた画像Pcol上の、対象領域Acurと空間的に同一位置の領域Bcol(図11中の二重丸)の動きベクトルmvColに基づいて計算する。なお、領域Bcolを「基準領域」と呼び、動きベクトルmvColを「基準動きベクトル」と呼ぶこととする。また、基準動きベクトルmvColが指す領域を、領域Bcolrefとし、領域Bcolrefは、画像Pcolref上にあるものとする。

MPEG−4 AVC方式の時間ダイレクト予測では、図11に示すように、後方参照画像Pr1,0が、基準画像Pcolである。また、特に参照画像が2枚の場合には、前方参照画像Pr0,0が、画像Pcolrefになる。

前方予測ベクトルmvL0および後方予測ベクトルmvL1は、基準動きベクトルmvColを用いて、以下の式で計算する。

mvL0 = tb / tbb × mvCol ・・・(1)
mvL1 = (tb − td) / tbb × mvCol ・・・(2)

なお、式(1)および式(2)において、tbは、前方参照画像Pr0,0と対象画像Pcurとの表示時間の時間間隔、tdは、前方参照画像Pr0,0と後方参照画像Pr1,0との時間間隔、tbbは、画像Pcolrefと基準画像Pcolとの時間間隔を表す。時間間隔tb、td、およびtbbの各値は、図10のS50の処理において、バッファメモリ103に記録されている各画像の表示時刻に関する時間情報を用いて計算される。時間間隔tb、td、およびtbbは、対象画像Pcurの表示時刻Tcur、前方参照画像Pr0,0の表示時刻Tr0,0、後方参照画像Pr1,0の表示時刻Tr1,0、基準画像Pcolの表示時刻Tcol、および画像Pcolrefの表示時刻Tcolrefを用いて、以下の式で計算される。

tb = Tr0,0 − Tcur ・・・(3)
td = Tr1,0 − Tr0,0 ・・・(4)
tbb = Tcol − Tcolref ・・・(5)

時間ダイレクト予測は、図11に示す対象領域Acurおよび領域Bcurそれぞれにおいて画像となっている2つの物体が、領域Ar0,0から領域Ar1,0に、また領域Bcolrefから基準領域Bcolに、それぞれ同じ方向へ等速運動していることを仮定した予測方式である。

なお、pmv(Predictor of Motion Vector)予測では、推定した動きベクトルと予測ベクトルとの差分ベクトルを用いるが、時間ダイレクト予測では、そのような差分ベクトルを用いずに動きベクトルを復号する。具体的には、前方予測ベクトルmvL0および後方予測ベクトルmvL1を対象領域Acurにおける動きベクトルとする。

対象領域Acurの予測画像は、前方予測ベクトルmvL0が指す前方参照画像Pr0,0上の領域Ar0,0と、後方予測ベクトルmvL1が指す後方参照画像Pr1,0上の領域Ar1,0とを使用して動き補償を行い、生成される。

<予測ベクトル導出部102の詳細な構成について>
時間ダイレクト予測を用いて予測ベクトルを導出する、予測ベクトル導出部102の詳細な構成を、図12のブロック図で示す。

予測ベクトル導出部102は、導出方式選択部201、スイッチ202、時間ダイレクト予測部203、空間ダイレクト予測部204、pmv予測部205、ゼロベクトル出力部206から構成される。

導出方式選択部201は、可変長符号復号部100から入力された予測方式と、バッファメモリ103に記録された基準動きベクトルの有無とに応じて、予測ベクトルの導出方式を選択する。スイッチ202は、導出方式選択部201で選択された予測ベクトル導出方式への切り替えを行う。時間ダイレクト予測部203は、時間ダイレクト予測で定められた方式で、予測ベクトルを求め、動きベクトル復号部101へ出力する。空間ダイレクト予測部204は、空間ダイレクト予測で定められた方式で、予測ベクトルを求め、動きベクトル復号部101へ出力する。pmv予測部205は、差分ベクトルが存在する場合に、推定した動きベクトルと予測ベクトルとの差分ベクトルを符号化するpmv予測により予測ベクトルを求め、動きベクトル復号部101へ出力する。ゼロベクトル出力部206は、予測ベクトル導出部102への入力に関わらず、常にゼロベクトルを予測ベクトルとして、動きベクトル復号部101へ出力する。

<時間ダイレクト予測における予測ベクトルの導出手順について>
次に、動き補償予測方式として、時間ダイレクト予測が用いられる場合の、前方予測ベクトルmvL0および後方予測ベクトルmvL1の導出手順について、図13に示す導出手順のフローチャートを用いて説明する。

まず、導出方式選択部201が、基準動きベクトルmvColを、バッファメモリ103に要求する(S21)。

次に、導出方式選択部201は、バッファメモリ103からの通知に基づき、バッファメモリ103上の、基準領域Bcolの基準動きベクトルmvColの有無を判定する(S22)。

基準動きベクトルmvColが有る場合は、次のS23の処理に進み、基準動きベクトルmvColが無い場合は、S25の処理に進む。

次に、導出方式選択部201は、スイッチ202を切り替えて、時間ダイレクト予測部203を選択する(S23)。

次に、時間ダイレクト予測部203は、バッファメモリ103から取得した基準動きベクトルmvColを、時間情報でスケーリング、すなわち式(1)および式(2)を用いて、前方予測ベクトルmvL0および後方予測ベクトルmvL1を計算し、予測ベクトルとして、動きベクトル復号部101へ出力し、処理を終了する(S24)。

S22において、基準動きベクトルmvColがバッファメモリ103上に無いとの通知を受けた場合、導出方式選択部201は、基準領域Bcolがイントラ符号化されていると判断し、スイッチ202を切り替えて、ゼロベクトル出力部206を選択する(S25)。

次に、ゼロベクトル出力部206は、前方予測ベクトルmvL0および後方予測ベクトルmvL1を、共にゼロベクトルとし、予測ベクトルとして動きベクトル復号部101へ出力して、処理を終了する(S26)。

なお、MPEG−4 AVC方式では、時間ダイレクト予測の他に、空間ダイレクト予測およびpmv予測による動き補償予測が可能であるが、これらの予測を行う空間ダイレクト予測部204およびpmv予測部205の動作については、説明を省略する。

以上説明したように、従来技術による時間ダイレクト予測方式では、後方参照画像Pr1,0を基準画像Pcolとした場合であり、かつ基準画像Pcol上の基準領域Bcolの基準動きベクトルmvColが利用可能な場合には、動画内の物体の実際の動きに近い予測ベクトルを導出することができる。

しかしながら、従来技術による予測ベクトル導出方法では、後方参照画像Pr1,0上の基準領域Bcolがイントラ符号化されている場合には、基準動きベクトルmvColがゼロベクトルとされてしまう。その場合、図14の概念図に示すように、ゼロベクトルを用いて式(1)および式(2)の計算を行うので、前方予測ベクトルmvL0が指す領域は領域Ar0,0となり、後方予測ベクトルが指す領域は領域Ar1,0となってしまい、前方予測ベクトルmvL0および後方予測ベクトルmvL1と、対象領域Acurの実際の動きとの差異が大きくなる場合が多い。従って、予測効率が低下するという課題があった。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、後方参照画像Pr1,0上の基準領域Bcolがイントラ符号化されている場合でも、ゼロベクトルではない前方予測ベクトルmvL0および後方予測ベクトルmvL1を導出し、予測効率の低下を防止できる、動画像復号装置および動画像符号化装置を実現することにある。

上記課題を解決するために、処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、前記予測ベクトルを用いて、前記処理対象領域の動きベクトルを再構成する動きベクトル復号手段と、復号処理を終えた既復号画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段とを備え、前記予測ベクトル導出手段は、時間ダイレクト予測により予測ベクトルを導出することを特徴とする動画像復号装置において、前記予測ベクトル導出手段は、少なくとも2枚以上の前記既復号画像を前記基準画像の候補画像とし、前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の1枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。

処理対象画像とは、符号化データの状態から動画像を構成する画像を再構築する対象となる画像をいう。

処理対象領域とは、処理対象画像上にあり、一つの復号処理の単位で復号される処理対象画像の部分のことをいう。

予測ベクトルとは、動きベクトルを導出するために用いるベクトルである。

動きベクトルとは、動き補償予測方式により、動画像を構成する画像を再構築する際に予測画像を導出するために用いるベクトルである。

基準画像とは、予測ベクトルを求めるための基準動きベクトルを持つ画像である。

基準動きベクトルとは、基準画像の基準領域にある動きベクトルである。

基準領域とは、処理対象領域と空間的に同一の位置にある、基準画像上の領域である。

予測画像とは、符号化データに含まれる予測残差データから画像を再構築する元になる画像である。

既復号画像とは、符号化データの復号および再構築により導出された動画を構成する画像である。

時間ダイレクト予測とは、処理対象画像の表示時刻と、基準画像の表示時刻と、基準動きベクトルが指す既復号画像の表示時刻との時間間隔に基づいて、基準動きベクトルをスケーリングし、予測ベクトルを導出する予測方式である。

表示時刻とは、符号化データに含まれる時間情報であり、動画像を構成する各既復号画像をどの時刻に再生すればよいかを表すものである。

従来技術では、処理対象画像より表示時刻が遅い既復号画像を基準画像として、予測ベクトルが導出されるが、該既復号画像がイントラ符号化されている場合、予測ベクトルはゼロベクトルとされるところ、当該構成においては、複数ある候補画像の中から基準画像を選択する。

上記の構成によれば、処理対象画像より表示時刻が遅い既復号画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既復号画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。

上記課題を解決するために、処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、前記処理対象画像と符号化処理を終えた既符号化画像とを用いて、動きベクトルを推定する動きベクトル推定手段と、前記予測ベクトルを用いて、前記動きベクトルを符号化する動きベクトル符号化手段と、前記既符号化画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段とを備え、前記予測ベクトル導出手段は、時間ダイレクト予測により予測ベクトルを導出する動画像符号化装置において、前記予測ベクトル導出手段は、少なくとも2枚以上の前記既符号化画像を前記基準画像の候補画像とし、前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の1枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。

既符号化画像とは、動画像データ構成する画像のうち、一度符号化したデータから画像を復号および再構築により導出した画像である。

従来技術では、処理対象画像より表示時刻が遅い既符号化画像を基準画像として、予測ベクトルが導出されるが、該既符号化画像がイントラ符号化されている場合、予測ベクトルはゼロベクトルとされるところ、当該構成においては、複数ある候補画像の中から基準画像を選択する。

上記の構成によれば、処理対象画像より表示時刻が遅い既符号化画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既符号化画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。

予測ベクトル導出部112が予測ベクトルを導出する手順を示すフローチャートある。 第1の実施の形態における、動画像復号装置1の構成を示すブロック図である。 予測ベクトル導出部112の詳細な構成を示すブロック図である。 前方参照画像Pr0,0を基準画像Pcolとする場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。 複数の参照画像を基準画像候補とする場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。 非参照画像を基準画像候補に含める場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。 第2の実施の形態における、動画像符号化装置2の構成を示すブロック図である。 第2の実施の形態における、動画像符号化装置2の処理手順を示すフローチャートである。 従来技術における動画像復号装置3のブロック図である。 従来技術における動画像復号装置3の復号手順の概要を示すフローチャートである。 後方参照画像Pr1,0が基準画像Pcolである場合の、時間ダイレクト予測による予測ベクトルの導出方法を説明する概念図である。 従来技術における、予測ベクトル導出部102の詳細な構成を示すブロック図である。 従来技術において、予測ベクトル導出部102が予測ベクトルを導出する手順を示すフローチャートである。 従来技術において、基準領域Bcolがイントラ予測されている場合の、予測ベクトルを示す概念図である。

[第1の実施の形態]
以下、本発明の第1の実施の形態における、動画像復号装置について説明する。

<動画像復号装置の構成について>
図2および図3のブロック図において、本実施の形態における、動画像復号装置の構成を示す。図2のブロック図は、動画像復号装置1の全体の構成を示し、図3のブロック図は、図2に示す予測ベクトル導出部(予測ベクトル導出手段)112の詳細な構成を示したものである。

これらの図に示す要素は、以下に述べるものを除き、従来技術の説明において用いたブロック図(図9および図12)と同一なので、説明を省略する。

図2に示すブロック図おいて、本実施の形態の動画像復号装置1の構成と従来技術による動画像復号装置3の構成とが異なる部分は、予測ベクトル導出部112である。予測ベクトル導出部112は、可変長符号復号部100から入力した予測方式に基づき、復号済みの動きベクトルを用いて、予測ベクトルを導出する。

図3に示すブロック図において、本実施の形態の予測ベクトル導出部112の構成と従来技術による予測ベクトル導出部102の構成とが異なる部分は、基準ベクトル選択部(基準動きベクトル選択手段)210の有無である。基準ベクトル選択部210は、バッファメモリ103上に複数ある基準画像候補から、基準画像Pcolとする画像を選択し、選択した基準画像Pcolに対応する基準動きベクトルmvColを、導出方式選択部201に通知する。

すなわち、本実施の形態の動画像復号装置1は、時間ダイレクト予測において、複数の基準画像候補から、所定の手順で、基準画像Pcolおよび基準動きベクトルmvColを決定し、前方予測ベクトルmvL0および後方予測ベクトルmvL1を導出することを特徴とする。

<本実施の形態における予測ベクトルの導出手順について>
本実施の形態の動画像復号装置1での、時間ダイレクト予測における前方予測ベクトルmvL0および後方予測ベクトルmvL1の導出手順について、図1のフローチャートを用いて説明する。

まず、導出方式選択部201が、基準ベクトル選択部210に、基準動きベクトルmvColを要求する(S1)。

次に、基準ベクトル選択部210が、導出方式選択部201による要求に応じて、後方参照画像Pr1,0を、基準画像Pcolとして設定(Pcol=Pr1,0)した後、基準画像Pcolの基準動きベクトルmvColを、バッファメモリ103に要求する(S2)。

次に、導出方式選択部201は、バッファメモリ103からの返答に基づいて、基準動きベクトルmvColがバッファメモリ103内に存在するか否かを判断する(S3)。なお、この場合、基準動きベクトルmvColがバッファメモリ103内に存在するとは、後方参照画像Pr1,0の基準領域Bcolに基準動きベクトルmvColが存在することである。

基準動きベクトルmvColがバッファメモリ103内に存在する場合(後方参照画像Pr1,0を基準画像Pcolとする、図11の概念図の場合に相当)は、次のS4の処理に進む。

基準動きベクトルmvColがバッファメモリ103内に存在しない場合は、S6の処理に進む。

S3またはS7において、基準動きベクトルmvColがバッファメモリ103内に存在すると判断された場合、導出方式選択部201は、スイッチ202を切り替えて、時間ダイレクト予測部203を選択する(S4)。

次に、時間ダイレクト予測部203が、バッファメモリ103から取得した基準動きベクトルmvColを用いて、前方予測ベクトルmvL0および後方予測ベクトルmvL1を、式(1)および式(2)により計算し、計算結果を前方予測ベクトルmvL0および後方予測ベクトルmvL1として、動きベクトル復号部101へ出力し、処理を終了する(S5)。

S3において、基準動きベクトルmvColがバッファメモリ103内に存在しないと判断された場合、基準ベクトル選択部210は、前方参照画像Pr0,0を基準画像Pcolとして設定(Pcol=Pr0,0)した後、基準画像Pcolの基準動きベクトルmvColを、バッファメモリ103に要求する(S6)。

次に、導出方式選択部201は、バッファメモリ103からの返答に基づいて、基準動きベクトルmvColがバッファメモリ103内に存在するか否かを判断する(S7)。なお、この場合、基準動きベクトルmvColがバッファメモリ103内に存在するとは、前方参照画像Pr0,0の基準領域Bcolに基準動きベクトルmvColが存在することである。

基準動きベクトルmvColがバッファメモリ103内に存在する場合(図4の概念図の場合に相当)は、S4の処理に進む。なお、図4の概念図では、前方参照画像Pr0,0を基準画像Pcolとする場合の、基準動きベクトルmvColと、前方予測ベクトルmvL0および後方予測ベクトルmvL1との関係を示している。

基準動きベクトルmvColがバッファメモリ103内に存在しない場合は、次のS8に進む。

S7において、基準動きベクトルmvColがバッファメモリ103内に存在しないと判断された場合は、導出方式選択部201は、スイッチ202を切り替えて、ゼロベクトル出力部206を選択する(S8)。

次に、ゼロベクトル出力部206が、ゼロベクトルを前方予測ベクトルmvL0および後方予測ベクトルmvL1として動きベクトル復号部101へ出力し、処理を終了する。(S9)
上記手順に従うと、後方参照画像Pr1,0を基準画像Pcolとした際に、基準動きベクトルmvColが利用可能ならば、従来技術と同様にして予測ベクトルを導出することができる。また、後方参照画像Pr1,0における基準動きベクトルmvColが利用不可能ならば、前方参照画像Pr0,0を基準画像Pcolとして基準動きベクトルmvColを利用することができる。

後方参照画像Pr1,0を基準画像Pcolとして使う場合と同様に、前方参照画像Pr0,0を基準画像Pcolとして使う場合も、図4の概念図に示す対象領域Acurにおいて画像としてある物体および領域Bcurにおいて画像としてある物体がそれぞれ、領域Ar0,0から領域Ar1,0に、また領域Bcolrefから領域Br1,0に、同じ方向へ等速運動していることを仮定して予測を行う。

このように、従来手法において、図14の概念図で示した様に、後方参照画像Pr1,0に基準動きベクトルmvColが無く、予測ベクトルがゼロベクトルとされる予測方法に較べて、本発明に係る予測方法では、他の参照画像の基準動きベクトルmvColを用いて予測ベクトルを導出し画像予測に用いるので、領域Acurに画像としてある物体の実際の動きを正確に表すことができる。従って、従来技術による予測方法に比べて、効率の良い予測が可能である。

<基準画像候補が3枚以上ある場合の基準画像選択方法について>
なお、本発明は、基準画像候補が3枚以上ある場合にも、適用可能である。

例えば、参照画像が3枚以上存在する場合は、それら参照画像のうち、複数枚を基準画像候補として利用できる。図5の概念図に示すように、3枚の前方参照画像Pr0,0、Pr0,1、およびPr0,2と、1枚の後方参照画像Pr1,0とが存在し、それらの参照画像を全て基準画像候補とする場合について、以下に説明する。

3枚以上の基準画像候補が存在する場合、候補間の優先順位を、各基準画像候補の表示時刻と、対象画像Pcurの表示時刻との時間間隔の大小を用いて決めておく。例えば、後方参照画像Pr1,0を時間間隔が小さい順に並べ、その後、前方参照画像Pr0,0、Pr0,1、およびPr0,2を時間間隔が小さい順に並べ、この順序を優先順位とする。この優先順位に従うと、図5における各基準画像候補の優先順位は、後方参照画像Pr1,0、前方参照画像Pr0,0、前方参照画像Pr0,1、前方参照画像Pr0,2の順となる。

基準ベクトル選択部210は、優先順位の高い基準画像候補を、基準画像Pcolに設定する。そして、設定した基準画像Pcolの基準動きベクトルmvColの有無を判定して、基準動きベクトルmvColが存在する場合は、その基準動きベクトルmvColを選択する。存在しない場合は、次の優先順位の基準画像候補を基準画像Pcolに設定し、優先順位に従って、同様の処理を繰り返す。全ての基準画像Pcolを試した後に、基準動きベクトルmvColが選択されていない場合は、その旨を導出方式選択部201へ通知する。

図5に示す概念図では、参照画像Pr0,1を基準画像Pcolに設定した場合の、基準動きベクトルmvColと、前方予測ベクトルmvL0および後方予測ベクトルmvL1との関係を示している。この場合も、対象領域Acurに画像としてある物体および領域Bcurに画像としてある物体が、それぞれ、領域Ar0,0から領域Ar1,0に、領域Bcolrefから領域Br1,0に、同じ方向へ等速運動していることを仮定し、式(1)および式(2)より、予測ベクトルが計算できる。

基準画像候補が3枚以上ある場合には、基準画像候補のいずれかを基準画像Pcolとし、その基準画像Pcolに対応する基準動きベクトルmvColを選択することで、図14の概念図に示すように基準動きベクトルmvColをゼロベクトルとする場合に較べて、画像にある物体の実際の動きとの相関が高い予測ベクトルを導出できる可能性が高くなる。従って、より効率の良い予測が可能である。

<非参照画像を基準画像候補に含める予測方法について>
参照画像に加えて、従来技術では予測画像の導出には用いない非参照画像を、基準画像候補に含めても構わない。この場合は、全ての既復号画像が、基準画像候補となり得る。図6の概念図に示すように、前方参照画像Pr0,0および後方参照画像Pr1,0の2枚の参照画像に加えて、非参照画像Pnrが基準画像候補に含まれる場合について説明する。

基準画像候補に非参照画像Pnrを含む場合であっても、基準ベクトル選択部210の動作は既に説明した動作と同様である。つまり、優先順位に従って、順に基準画像Pcolに設定した画像毎に、基準動きベクトルmvColの有無を判定することで、基準動きベクトルmvColを選択する。

基準画像候補に非参照画像Pnrを含む場合の、優先順位の決め方として、例えば、参照画像であるか非参照画像であるかを問わず、表示時刻が対象画像Pcurの表示時刻に近い順に、画像に優先順位をつける方法がある。また、参照画像である画像を表示時刻が対象画像Pcurの表示時刻に近い順に並べ、次に、非参照画像である画像を表示時刻が対象画像Pcurの表示時刻に近い順に並べて、優先順位とする方法もある。

図6の概念図では、非参照画像Pnrを基準画像Pcolに設定した場合(Pcol=Pnr)における、基準動きベクトルmvColと前方予測ベクトルmvL0および後方予測ベクトルmvL1との関係を示している。この場合も、対象領域Acurに画像としてある物体および領域Bcurに画像としてある物体が、それぞれ、領域Ar0,0から領域Ar1,0に、また領域Bcolrefから基準領域Br1,0に、同じ方向へ等速運動していることを仮定し、式(1)および式(2)より予測ベクトルを計算できる。

非参照画像を基準画像候補に含めることで、参照画像のみを基準画像候補に含める場合に較べて、対象画像Pcurの表示時刻と表示時刻が近い基準画像候補が多くなる。対象画像Pcurの表示時刻と基準画像Pcolの表示時刻との間隔が狭い場合は、対象領域Acurと領域Bcurとの、対象画像Pcur上における距離が短くなるため、これら2つの領域が同じ方向へ等速運動しているとの仮定が成り立ちやすくなる。従って、画像にある物体の実際の動きと相関が高い動きベクトルを導出できる可能性が高くなるため、参照画像のみを基準画像候補とする場合に較べて、より効率の良い予測が可能である。

なお、非参照画像を基準画像候補として使用する場合には、少なくとも、候補となる非参照画像に対応する動きベクトルおよびその非参照画像の表示時刻情報が、バッファメモリ103内に記録されている必要がある。

<予測画像導出に1枚の参照画像のみを用いる方法について>
なお、ここまでの説明では、時間ダイレクト予測において、対象領域Acurの予測画像導出に、前方参照画像Pr0,0および後方参照画像Pr1,0の2枚を用いるものとしていたが、いずれか一方の参照画像のみを用いても構わない。

例えば、図4の概念図に示すように、前方参照画像Pr0,0を基準画像Pcolとして予測ベクトルを導出する場合に、領域Ar0,0のみから対象領域Acurの予測画像を生成してもよい。この場合、基準領域Bcolに画像としてある物体が領域Bcolrefから領域Bcurまで等速運動する可能性の方が、より時間間隔の長い領域Bcolrefから領域Br1,0まで等速運動する可能性に較べて高い。つまり、前方予測ベクトルmvL0の方が、後方予測ベクトルmvL1に較べて精度が良い可能性が高い。従って、領域Ar0,0のみを用いた場合に、予測効率が向上する。

また、後方参照画像Pr1,0を、基準画像Pcolとする場合であり、かつ、基準動きベクトルmvColが後方参照画像Pr1,0よりも表示時間が後になる画像を指す場合には、前方参照画像Pr0,0のみから予測ベクトルを導出する場合と同様に、領域Ar1,0のみを予測画像の導出に用いることで、予測効率が向上する。

[第2の実施の形態]
以下、本発明の第2の実施の形態における動画像符号化装置について説明する。
<動画像符号化装置の構成について>
図7のブロック図において、本実施の形態に係る動画像符号化装置2の構成を示す。図7のブロック図は、動画像符号化装置2の全体の構成を示したものである。

動画像符号化装置2は、画像符号化部121、予測画像導出部105、動きベクトル推定部(動きベクトル推定手段)122、バッファメモリ103、画像復号部104、予測ベクトル導出部112、予測方式制御部124、可変長符号化部120、および動きベクトル符号化部(動きベクトル符号化手段)123を含んで構成される。

この図に示す要素は、以下に述べるものを除き、第1の実施の形態において動画像復号装置1のブロック図(図2)に示す要素と同一なので、説明を省略する。

可変長符号化部120は、画像符号化部121から入力した予測残差データ、動きベクトル符号化部123から入力した差分ベクトル、および予測方式制御部124から入力した予測方式等の符号化情報を可変長符号化し、外部に出力する。画像符号化部121は、外部から入力した動画像データおよび予測画像導出部105から入力した予測画像を用いて予測残差データを求め、画像復号部104および可変長符号化部120に出力する。動きベクトル推定部122は、外部から入力した動画像データおよびバッファメモリ103内の参照画像を用いて、動きベクトルを推定し、求めた動きベクトルを予測画像導出部105、バッファメモリ103、予測ベクトル導出部112、予測方式制御部124、および動きベクトル符号化部123にする。動きベクトル符号化部123は、動きベクトル推定部122から入力した動きベクトル、予測ベクトル導出部112から入力した予測ベクトル、および予測方式制御部から入力した予測方式を用いて差分ベクトルを求め、可変長符号化部120に出力する。予測方式制御部124は、動きベクトル推定部122から入力した動きベクトルに基づき、予測ベクトル導出時の予測方式を設定し、予測方式を予測ベクトル導出部112、可変長符号化部120、および動きベクトル符号化部123に出力する。

<動画符号化装置2における符号化手順の概略について>
動画符号化装置2における符号化処理手順の概略について、図8に示すフローチャートを参照しながら、以下に説明する。

まず、動きベクトル推定部122が、入力された動画像データとバッファメモリ103内の参照画像とを用いて動き推定を行い、符号化の対象となる画像の各領域の動きベクトルを求める。動きベクトル推定部122は、求めた動きベクトルをバッファメモリ103に記録すると共に、予測ベクトル導出部112、予測方式制御部124、および動きベクトル符号化部123へ出力する(S100)。

次に、予測方式制御部124が、動きベクトル推定部122から入力された動きベクトルを用いて、予測方式を、時間ダイレクト予測、空間ダイレクト予測、またはpmv予測のいずれかの方式に決定し、予測ベクトル導出部112、可変長符号化部120、および動きベクトル符号化部123に出力する(S110)。

次に、予測ベクトル導出部112が、動きベクトル推定部122から入力された動きベクトルと、予測方式制御部124から入力された予測方式とに基づいて、第1の実施の形態において説明した予測ベクトルの導出手順に従って、予測ベクトルを計算し、バッファメモリ103および動きベクトル符号化部123に出力する(S120)。

次に、動きベクトル符号化部123が、差分ベクトルを求める。予測方式制御部124から入力された予測方式がpmv予測である場合には、動きベクトル推定部122から入力された動きベクトルと、予測ベクトル導出部112から入力された予測ベクトルとに基づいて、差分ベクトルを計算する。予測方式制御部124から入力された予測方式が、時間ダイレクト予測または空間ダイレクト予測の場合には、差分ベクトルをゼロベクトルとする。動きベクトル符号化部123は、求めた差分ベクトルを可変長符号化部120に出力する(S130)。

次に、予測画像導出部105が、動きベクトル推定部122から入力された動きベクトルと、バッファメモリ103内の参照画像とを用いて動き補償を行い、予測画像を求め、画像符号化部121および画像復号部104に出力する(S140)。

次に、画像符号化部121が、外部から入力された動画像データと予測画像導出部105から入力された予測画像とに基づき、予測残差データを計算し、画像復号部104および可変長符号化部120に出力する(S150)。

次に、画像復号部104が、画像符号化部121から入力された予測残差データと、予測画像導出部105から入力された予測画像とを用いて、画像を既符号化画像として再構成する(S160)。再構成された画像は、バッファメモリ103に記録される。既符号化画像は、予測ベクトル導出時に基準画像として用いられ、また、予測画像導出時に参照画像として用いられる。

次に、可変長符号化部120が、画像符号化部121から入力された予測残差データと、動きベクトル符号化部123から入力された差分ベクトルと、予測方式制御部124から入力された予測方式とを可変長符号化し、符号化データとして動画像符号化装置2の外部に出力する(S170)。

<第2の実施の形態に関する補足事項>
以上説明したように、本実施の形態における動画像符号化装置2は、第1の実施の形態において説明した予測ベクトルの導出手順に従い、複数の基準画像候補を用いて予測ベクトルを導出する。そして、導出した予測ベクトルを用いて動画像の符号化を行うので、動画像の高能率な符号化が可能である。

なお、図8に示すフローチャートのS120の処理(予測ベクトルの導出)において、第1の実施の形態で説明したように、3枚以上の基準画像候補を用いて予測ベクトルを導出することにより、予測効率が向上する。

また、同じくS120の処理において、第1の実施の形態で説明したように、非参照画像を基準画像候補に含めて予測ベクトルを導出することにより、予測効率が向上する。

また、以上説明した時間ダイレクト予測における予測ベクトルの導出方法を、pmv予測を予測方式として用いる場合の、予測ベクトルの導出に用いることも可能である。

<補足事項>
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

前記候補画像は、前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既復号画像および前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既復号画像であり、前記所定の選択基準は、前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、該動きベクトルが存在しない場合で、前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。

これにより、当該構成において、基準動きベクトル選択手段は、まず、処理対象画像の直後にある既復号画像が基準画像に選択できるか否かを判断する。選択できる場合は、従来技術と同様に予測画像を導出する。選択できない場合は、次に、処理対象画像の直前にある既復号画像が基準画像に選択できるか否かを判断する。選択できる場合は、その既復号画像を基準画像として、予測画像を導出する。

上記の構成によれば、処理対象画像に最も表示時刻が近い既復号画像を基準画像に選択するので、処理対象画像と基準画像との時間間隔が短い。従って、時間ダイレクト予測の前提である画像上の物体は、同方向へ等速運動をしているという仮定が成り立つ確率が高まるので、予測画像の予測効率を向上できるという効果を奏する。

また、前記所定の選択基準は、前記候補画像に含まれる、前記処理対象画像より表示時刻が遅い既復号画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、その優先順位に続けて、前記候補画像に含まれる、前記処理対象画像より表示時刻が早い既復号画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、該優先順位の順に、前記候補画像上での、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、該動きベクトルが有った場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。

当該構成において、基準動きベクトル選択手段は、まず、複数ある既復号画像に優先順位をつけ、優先度の高いものから順に、基準画像に選択できるか否かを判断していく。この優先順位は、予測ベクトルが実際の物体の動きを反映する可能性の高い既復号画像を優先する順位付けになっている。

これにより、上記の構成によれば、候補画像のいずれかを基準画像とし、その基準画像に対応する基準動きベクトルを選択することで、基準動きベクトルをゼロベクトルとする場合に較べて、画像にある物体の実際の動きとの相関が高い予測ベクトルを導出できる可能性が高くなるので、より効率の良い予測が可能になるという効果を奏する。

また、前記基準動きベクトル選択手段が、前記処理対象画像よりも表示時刻が早い既復号画像を前記基準画像として選択した場合、前記予測画像導出手段は、前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することが好ましい。

参照画像とは、動きベクトルが指す領域を有する既復号画像のことをいう。

前方参照画像とは、動きベクトルが指す領域を有する既復号画像のうち、処理対象画像よりも表示時刻が早い既復号画像のことをいう。

後方参照画像とは、動きベクトルが指す領域を有する既復号画像のうち、処理対象画像よりも表示時刻が遅い既復号画像のことをいう。

前方予測ベクトルとは、処理対象領域から前方参照画像を指す予測ベクトルである。

後方予測ベクトルとは、処理対象領域から後方参照画像を指す予測ベクトルである。

当該構成において、表示時刻から見ると、まず基準動きベクトルが指す前方参照画面があり、次に基準画像があり、次に処理対象画像があり、次に後方参照画像があるという関係になる。

これにより、上記の構成によれば、前方参照画像を基準画像として予測ベクトルを導出する場合に、前方予測ベクトルが指す基準画像上の領域のみから処理対象領域の予測画像を生成する場合、基準領域に画像としてある物体が基準動きベクトルが指す前方参照画像上の領域から処理対象画像上の領域まで等速運動する可能性の方が、より時間間隔の長い基準動きベクトルが指す前方参照画像上の領域から後方参照画像上の領域まで等速運動する可能性に較べて高い。

さらに、前方参照画像と後方参照画像との時間間隔に比較して短い前方参照画像と処理対象画像との時間間隔を用いて予測ベクトルを求めるので、時間ダイレクト予測の仮定である画像上の物体が同一方向へ等速運動をするという条件が成り立つ可能性が高まる。従って、予測画像の予測効率を向上できるという効果を奏する。

また、前記既復号画像は、参照画像および非参照画像であることが好ましい。

非参照画像とは、予測画像の導出には用いない既復号画像のことをいう。

当該構成において、非参照画像を候補画像に含めることで、参照画像のみを候補画像に含める場合に較べて、処理対象画像の表示時刻と表示時刻が近い既復号画像が多くなる。

これにより、上記の構成によれば、処理対象画像の表示時刻と基準画像の表示時刻との間隔が狭い場合は、対象領域と基準動きベクトルが指す基準画像上の領域との処理対象画像上における距離が短くなるため、これら2つの領域が同じ方向へ等速運動しているとの仮定が成り立ちやすくなる。従って、画像にある物体の実際の動きと相関が高い動きベクトルを導出できる可能性が高くなるので、参照画像のみを基準画像候補とする場合に較べて、より予測効率を向上できるという効果を奏する。

また、前記候補画像は、前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既符号化画像および前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既符号化画像であり、前記所定の選択基準は、前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、該動きベクトルが存在しない場合で、前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。

当該構成において、基準動きベクトル選択手段は、まず、処理対象画像の直後にある既符号化画像が基準画像に選択できるか否かを判断する。選択できる場合は、従来技術と同様に予測画像を導出する。選択できない場合は、次に、処理対象画像の直前にある既符号化画像が基準画像に選択できるか否かを判断する。選択できる場合は、その既符号化画像を基準画像として、予測画像を導出する。

これにより、上記の構成によれば、処理対象画像に最も表示時刻が近い既符号化画像を基準画像に選択するので、処理対象画像と基準画像との時間間隔が短い。従って、時間ダイレクト予測の前提である画像上の物体は、同方向へ等速運動をしているという仮定が成り立つ確率が高まるので、予測画像の予測効率を向上できるという効果を奏する。

また、前記所定の選択基準は、前記候補画像に含まれる、前記処理対象画像より表示時刻が遅い既符号化画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、その優先順位に続けて、前記候補画像に含まれる、前記処理対象画像より表示時刻が早い既符号化画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、該優先順位の順に、前記候補画像上での、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、該動きベクトルが有った場合は、該候補画像を前記基準画像として選択するという基準であることが好ましい。

当該構成において、基準動きベクトル選択手段は、まず、複数ある既符号化画像に優先順位をつけ、優先度の高いものから順に、基準画像に選択できるか否かを判断していく。この優先順位は、予測ベクトルが実際の物体の動きを反映する可能性の高い既符号化画像を優先する順位付けになっている。

これにより、上記の構成によれば、候補画像のいずれかを基準画像とし、その基準画像に対応する基準動きベクトルを選択することで、基準動きベクトルをゼロベクトルとする場合に較べて、画像にある物体の実際の動きとの相関が高い予測ベクトルを導出できる可能性が高くなるので、より効率の良い予測が可能になるという効果を奏する。

また、前記基準動きベクトル選択手段が、前記処理対象画像よりも表示時刻が早い既符号化画像を前記基準画像として選択した場合、前記予測画像導出手段は、前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することが好ましい。

当該構成において、表示時刻から見ると、まず基準動きベクトルが指す前方参照画面があり、次に基準画像があり、次に処理対象画像があり、次に後方参照画像があるという関係になる。

これにより、上記の構成によれば、前方参照画像を基準画像として予測ベクトルを導出する場合に、前方予測ベクトルが指す基準画像上の領域のみから処理対象領域の予測画像を生成する場合、基準領域に画像としてある物体が、基準動きベクトルが指す前方参照画像上の領域から、処理対象画像上の領域まで等速運動する可能性の方が、より時間間隔の長い、基準動きベクトルが指す前方参照画像上の領域から後方参照画像上の領域まで等速運動する可能性に較べて高い。

さらに、前方参照画像と後方参照画像との時間間隔に比較して短い、前方参照画像と処理対象画像との時間間隔を用いて予測ベクトルを求めるので、時間ダイレクト予測の仮定である、画像上の物体が同一方向へ等速運動をするという条件が成り立つ可能性が高まる。従って、予測画像の予測効率を向上できるという効果を奏する。

また、前記既符号化画像は、参照画像および非参照画像であることが好ましい。

当該構成において、非参照画像を候補画像に含めることで、参照画像のみを候補画像に含める場合に較べて、処理対象画像の表示時刻と表示時刻が近い既符号化画像が多くなる。

これにより、上記の構成によれば、処理対象画像の表示時刻と基準画像の表示時刻との間隔が狭い場合は、対象領域と基準動きベクトルが指す基準画像上の領域との、処理対象画像上における距離が短くなるため、これら2つの領域が同じ方向へ等速運動しているとの仮定が成り立ちやすくなる。従って、画像にある物体の実際の動きと相関が高い動きベクトルを導出できる可能性が高くなるので、参照画像のみを基準画像候補とする場合に較べて、より予測効率を向上できるという効果を奏する。

なお、本発明に係る動画像復号装置は、処理対象画像上の処理対象領域の動きベクトルを既復号画像の動きベクトルを用いて導出する予測ベクトル導出手段と、前記予測ベクトルを用いて既復号画像から処理対象領域の予測画像を導出する予測画像導出手段とを備えた動画像復号装置において、前記予測ベクトル導出手段は、少なくとも2枚以上の既復号画像を基準画像の候補とし、所定の選択基準に基づいて前記候補の中から1枚を基準画像として選択し、該基準画像上で処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、該基準動きベクトルを前記画像間の表示時間間隔に基づいてスケーリングして予測ベクトルを導出することを特徴とする構成でもよい。

また、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、処理対象画像より表示時間が遅くかつ処理対象画像に表示時間が最も近い既復号画像並びに処理対象画像より表示時間が早くかつ処理対象画像に表示時間が最も近い既復号画像を前記基準画像候補とし、処理対象画像より表示時間が遅い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択し、該動きベクトルが存在しない場合は、処理対象画像より表示時間が早い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。

さらに、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、複数の既復号画像を基準画像候補とし、該基準画像候補に含まれる処理対象画像より表示時間が遅い既復号画像を処理対象画像に表示時間が近い順に並べ、その後に該基準画像候補に含まれる処理対象画像より表示時間が早い既復号画像を処理対象画像に表示時間が近い順に並べて基準画像候補の優先順序とし、該優先順序の順に基準画像候補を基準画像として設定して、該基準画像上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。

また、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段において、処理対象画像よりも表示時間が遅い既復号画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像及び処理対象画像に表示時間が最も近い後方参照画像を用いて予測画像を導出し、処理対象画像よりも表示時間が早い画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする構成でもよい。

さらに、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既復号画像として参照画像を用いることを特徴とする構成でもよい。

また、本発明に係る動画像復号装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既復号画像として参照画像及び非参照画像を用いることを特徴とする構成でもよい。

さらに、本発明に係る動画像符号化装置は、符号化処理を終えた既符号化画像の動きベクトルを用いて処理対象画像上の処理対象領域の動きベクトルを導出する予測ベクトル導出手段と、前記予測ベクトルを用いて既符号化画像から処理対象領域の予測画像を導出する予測画像導出手段とを備えた動画像符号化装置において、前記予測ベクトル導出手段は、少なくとも2枚以上の既符号化画像を基準画像の候補とし、所定の選択基準に基づいて前記候補の中から1枚を基準画像として選択し、該基準画像上で処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備え、該基準動きベクトルを前記画像間の表示時間間隔に基づいてスケーリングして予測ベクトルを導出することを特徴とする構成でもよい。

また、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、処理対象画像より表示時間が遅くかつ処理対象画像に表示時間が最も近い既符号化画像並びに処理対象画像より表示時間が早くかつ処理対象画像に表示時間が最も近い既符号化画像を前記基準画像候補とし、処理対象画像より表示時間が遅い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択し、該動きベクトルが存在しない場合は、処理対象画像より表示時間が早い基準画像候補上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。

さらに、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、複数の既符号化画像を基準画像候補とし、該基準画像候補に含まれる処理対象画像より表示時間が遅い既符号化画像を処理対象画像に表示時間が近い順に並べ、その後に該基準画像候補に含まれる処理対象画像より表示時間が早い既符号化画像を処理対象画像に表示時間が近い順に並べて基準画像候補の優先順序とし、該優先順序の順に基準画像候補を基準画像として設定して、該基準画像上で処理対象領域と同一位置に位置する領域の動きベクトルが存在する場合は該動きベクトルを基準動きベクトルとして選択することを特徴とする構成でもよい。

また、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段において、処理対象画像よりも表示時間が遅い既符号化画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像及び処理対象画像に表示時間が最も近い後方参照画像を用いて予測画像を導出し、処理対象画像よりも表示時間が早い画像を基準画像として基準動きベクトルが選択された場合には、処理対象画像に表示時間が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする構成でもよい。

さらに、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既符号化画像として参照画像を用いることを特徴とする構成でもよい。

また、本発明に係る動画像符号化装置は、前記の構成に加え、前記基準動きベクトル選択手段は、前記既符号化画像として参照画像及び非参照画像を用いることを特徴とする構成でもよい。

最後に、動画像復号装置1および動画像符号化装置2の各ブロック、特に導出方式選択部201、基準ベクトル選択部210、時間ダイレクト予測部203、空間ダイレクト予測部204、pmv予測部、およびゼロベクトル出力部206は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。

すなわち、動画像復号装置1および動画像符号化装置2は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像復号装置1および動画像符号化装置2の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記動画像復号装置1および動画像符号化装置2に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。

また、動画像復号装置1および動画像符号化装置2を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明に係る動画像復号装置は、以上のように、前記予測ベクトル導出手段は、少なくとも2枚以上の前記既復号画像を前記基準画像の候補画像とし、基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の1枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。

それゆえ、処理対象画像より表示時刻が遅い既復号画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既復号画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。

また、本発明に係る動画像符号化装置は、以上のように、前記予測ベクトル導出手段は、少なくとも2枚以上の前記既符号化画像を前記基準画像の候補画像とし、基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の1枚を前記基準画像として選択し、該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする。

それゆえ、処理対象画像より表示時刻が遅い既符号化画像がイントラ符号化されており基準領域が動きベクトルを持たない場合でも、候補画像に含まれる複数の既符号化画像の中から基準画像を選択できるので、画像上の物体の動きとの相関が少ないゼロベクトルではなく、画像上の物体の動きを反映した、予測ベクトルを得られる可能性が高くなるので、予測画像の予測効率を向上できるという効果を奏する。

産業上の利用の可能性

本発明に係る動画像復号装置1および動画像符号化装置2を用いると、予測ベクトルの予測効率を向上させることができるので、動画像の符号化または復号を行う装置、すなわち、携帯端末機器、携帯電話機、テレビジョン受像機、マルチメディア機器などに好適に使用できる。

Claims (10)

  1. 処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、
    前記予測ベクトルを用いて、前記処理対象領域の動きベクトルを再構成する動きベクトル復号手段と、
    復号処理を終えた既復号画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段と
    を備え、
    前記予測ベクトル導出手段は、時間ダイレクト予測により予測ベクトルを導出する動画像復号装置において、
    前記予測ベクトル導出手段は、
    少なくとも2枚以上の前記既復号画像を前記基準画像の候補画像とし、
    前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の1枚を前記基準画像として選択し、
    該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする、動画像復号装置。
  2. 前記候補画像は、
    前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既復号画像
    および
    前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既復号画像であり、
    前記所定の選択基準は、
    前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、
    該動きベクトルが存在しない場合で、
    前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることを特徴とする、請求項1に記載の動画像復号装置。
  3. 前記所定の選択基準は、
    前記候補画像に含まれる、前記処理対象画像より表示時刻が遅い既復号画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、
    その優先順位に続けて、
    前記候補画像に含まれる、前記処理対象画像より表示時刻が早い既復号画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、
    該優先順位の順に、前記候補画像上での、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、
    該動きベクトルが有った場合は、該候補画像を前記基準画像として選択するという基準であることを特徴とする、請求項1に記載の動画像復号装置。
  4. 前記基準動きベクトル選択手段が、
    前記処理対象画像よりも表示時刻が早い既復号画像を前記基準画像として選択した場合、
    前記予測画像導出手段は、
    前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする、請求項1から3のうちいずれか一項に記載の動画像復号装置。
  5. 前記既復号画像は、参照画像および非参照画像であることを特徴とする、請求項1から4のうちいずれか一項に記載の動画像復号装置。
  6. 処理対象画像上の処理対象領域の予測ベクトルを、基準画像の基準動きベクトルを用いて導出する予測ベクトル導出手段と、
    前記処理対象画像と符号化処理を終えた既符号化画像とを用いて、動きベクトルを推定する動きベクトル推定手段と、
    前記予測ベクトルを用いて、前記動きベクトルを符号化する動きベクトル符号化手段と、
    前記既符号化画像から、前記動きベクトルを用いて前記処理対象領域の予測画像を導出する予測画像導出手段と
    を備え、
    前記予測ベクトル導出手段は、時間ダイレクト予測により予測ベクトルを導出する動画像符号化装置において、
    前記予測ベクトル導出手段は、
    少なくとも2枚以上の前記既符号化画像を前記基準画像の候補画像とし、
    前記基準動きベクトルがゼロベクトルとなることを回避する、所定の選択基準に基づいて前記候補画像の中の1枚を前記基準画像として選択し、
    該基準画像上で前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルを基準動きベクトルとして選択する基準動きベクトル選択手段を備えたことを特徴とする、動画像符号化装置。
  7. 前記候補画像は、
    前記処理対象画像より表示時刻が遅くかつ前記処理対象画像に表示時刻が最も近い既符号化画像
    および
    前記処理対象画像より表示時刻が早くかつ前記処理対象画像に表示時刻が最も近い既符号化画像であり、
    前記所定の選択基準は、
    前記処理対象画像より表示時刻が遅い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択し、
    該動きベクトルが存在しない場合で、
    前記処理対象画像より表示時刻が早い前記候補画像上で、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルが存在する場合は、該候補画像を前記基準画像として選択するという基準であることを特徴とする、請求項6に記載の動画像符号化装置。
  8. 前記所定の選択基準は、
    前記候補画像に含まれる、前記処理対象画像より表示時刻が遅い既符号化画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、
    その優先順位に続けて、
    前記候補画像に含まれる、前記処理対象画像より表示時刻が早い既符号化画像を、その表示時刻が前記処理対象画像の表示時刻に近い順に優先順位をつけ、
    該優先順位の順に、前記候補画像上での、前記処理対象領域と空間的に同一位置に位置する領域の動きベクトルの有無の判定を、該動きベクトルが有るまで繰り返し、
    該動きベクトルが有った場合は、該候補画像を前記基準画像として選択するという基準であることを特徴とする、請求項6に記載の動画像符号化装置。
  9. 前記基準動きベクトル選択手段が、
    前記処理対象画像よりも表示時刻が早い既符号化画像を前記基準画像として選択した場合、
    前記予測画像導出手段は、
    前記処理対象画像に表示時刻が最も近い前方参照画像のみを用いて予測画像を導出することを特徴とする、請求項6から8のうちいずれか一項に記載の動画像符号化装置。
  10. 前記既符号化画像は、参照画像および非参照画像であることを特徴とする、請求項6から9のうちいずれか一項に記載の動画像符号化装置。
JP2007551847A 2005-12-27 2006-03-02 動画像復号装置および動画像符号化装置 Expired - Fee Related JP5020829B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005376479 2005-12-27
JP2005376479 2005-12-27
JP2007551847A JP5020829B2 (ja) 2005-12-27 2006-03-02 動画像復号装置および動画像符号化装置
PCT/JP2006/303999 WO2007074543A1 (ja) 2005-12-27 2006-03-02 動画像復号装置および動画像符号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007551847A JP5020829B2 (ja) 2005-12-27 2006-03-02 動画像復号装置および動画像符号化装置

Publications (2)

Publication Number Publication Date
JPWO2007074543A1 true JPWO2007074543A1 (ja) 2009-06-04
JP5020829B2 JP5020829B2 (ja) 2012-09-05

Family

ID=38217770

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007551847A Expired - Fee Related JP5020829B2 (ja) 2005-12-27 2006-03-02 動画像復号装置および動画像符号化装置
JP2011087365A Ceased JP2011160468A (ja) 2005-12-27 2011-04-11 動画像復号装置および動画像符号化装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011087365A Ceased JP2011160468A (ja) 2005-12-27 2011-04-11 動画像復号装置および動画像符号化装置

Country Status (2)

Country Link
JP (2) JP5020829B2 (ja)
WO (1) WO2007074543A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014501471A (ja) * 2011-03-14 2014-01-20 メディアテック インコーポレイテッド 動きベクトル候補及び動きベクトル予測候補の導出のための方法及び装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2210421A4 (en) * 2007-10-16 2013-12-04 Lg Electronics Inc A method and an apparatus for processing a video signal
KR101505195B1 (ko) * 2008-02-20 2015-03-24 삼성전자주식회사 직접 모드 부호화 및 복호화 방법
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR101825768B1 (ko) 2010-11-24 2018-02-05 벨로스 미디어 인터내셔널 리미티드 움직임 벡터 산출 방법, 화상 부호화 방법, 화상 복호 방법, 움직임 벡터 산출 장치 및 화상 부호화 복호 장치
WO2012073481A1 (ja) * 2010-11-29 2012-06-07 パナソニック株式会社 動画像符号化方法および動画像復号化方法
BR112013001241A2 (pt) * 2011-01-12 2018-01-23 Panasonic Corp método de codificação de imagem em movimento e método de decodificação de imagem em movimento
CN107277542A (zh) 2011-02-10 2017-10-20 太阳专利托管公司 动态图像解码方法、动态图像解码装置
WO2012114694A1 (ja) * 2011-02-22 2012-08-30 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
MX2013009864A (es) 2011-03-03 2013-10-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
US8755437B2 (en) 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US20140104383A1 (en) * 2011-06-22 2014-04-17 Sony Corporation Image processing device and method
JP6341756B2 (ja) * 2014-05-26 2018-06-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308062A (ja) * 1999-04-15 2000-11-02 Canon Inc 動画像処理方法
KR100508798B1 (ko) * 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
JP2004048711A (ja) * 2002-05-22 2004-02-12 Matsushita Electric Ind Co Ltd 動画像の符号化方法および復号化方法およびデータ記録媒体
JP3824268B2 (ja) * 2002-07-02 2006-09-20 松下電器産業株式会社 動きベクトル導出方法、および動きベクトル導出装置
JP3977716B2 (ja) * 2002-09-20 2007-09-19 株式会社東芝 動画像符号化/復号化方法及び装置
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014501471A (ja) * 2011-03-14 2014-01-20 メディアテック インコーポレイテッド 動きベクトル候補及び動きベクトル予測候補の導出のための方法及び装置

Also Published As

Publication number Publication date
JP5020829B2 (ja) 2012-09-05
WO2007074543A1 (ja) 2007-07-05
JP2011160468A (ja) 2011-08-18

Similar Documents

Publication Publication Date Title
JP4456087B2 (ja) 動きベクトル復号化方法、装置およびデータ記憶媒体
JP4514081B2 (ja) ビデオ・シーケンスを符号化変換(transcoding)するための動きベクトルの外挿(extrapolation)
US7154952B2 (en) Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US8711940B2 (en) Method and apparatus of motion vector prediction with extended motion vector predictor
JP5788979B2 (ja) 時間的運動ベクトル予測の方法と装置
ES2638295T3 (es) Procedimiento y aparato de codificación de vídeo mejorado
US6381275B1 (en) Image coding apparatus and image decoding apparatus
US7177360B2 (en) Video encoding method and video decoding method
US9538197B2 (en) Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
KR101383540B1 (ko) 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
US20040001546A1 (en) Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US8208557B2 (en) Video encoding and decoding method and apparatus using weighted prediction
KR100774296B1 (ko) 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
JP4788649B2 (ja) 動画像記録方法及びその装置
US20080240248A1 (en) Method and apparatus for video encoding and decoding
JP4625131B2 (ja) ダイレクトモード動きベクトルの導出方法
KR100505306B1 (ko) 동화상신호의부호화방법및장치와,동화상신호의복호화방법및장치
US8254456B2 (en) Method and apparatus for encoding video and method and apparatus for decoding video
JP4718578B2 (ja) 画像復号化方法および画像復号化装置
JP5576048B2 (ja) 直接モード符号化及び復号化方法
JP2570384B2 (ja) 動画像信号の符号化・復号化方式
KR20120030585A (ko) 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
JP2007116351A (ja) 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US8553779B2 (en) Method and apparatus for encoding/decoding motion vector information
US9083985B2 (en) Motion image encoding apparatus, motion image decoding apparatus, motion image encoding method, motion image decoding method, motion image encoding program, and motion image decoding program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120613

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees