WO2011099440A1 - 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム - Google Patents

動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム Download PDF

Info

Publication number
WO2011099440A1
WO2011099440A1 PCT/JP2011/052501 JP2011052501W WO2011099440A1 WO 2011099440 A1 WO2011099440 A1 WO 2011099440A1 JP 2011052501 W JP2011052501 W JP 2011052501W WO 2011099440 A1 WO2011099440 A1 WO 2011099440A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
candidate reference
decoding
motion
encoding
Prior art date
Application number
PCT/JP2011/052501
Other languages
English (en)
French (fr)
Inventor
正樹 北原
清水　淳
真由子 渡邊
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to RU2012133441/08A priority Critical patent/RU2519525C2/ru
Priority to EP11742184.2A priority patent/EP2536148B1/en
Priority to KR1020147015525A priority patent/KR20140089596A/ko
Priority to US13/576,620 priority patent/US9838709B2/en
Priority to ES11742184T priority patent/ES2901803T3/es
Priority to BR112012019680A priority patent/BR112012019680A2/pt
Priority to CA2788946A priority patent/CA2788946A1/en
Priority to JP2011553826A priority patent/JP5367097B2/ja
Priority to CN201180008465.6A priority patent/CN102742276B/zh
Publication of WO2011099440A1 publication Critical patent/WO2011099440A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Definitions

  • FIG. 11 shows a configuration example of a motion compensation unit in a conventional video decoding device.
  • the motion compensation unit 200 in the conventional video decoding device includes a motion vector calculation unit 201, a prediction signal creation unit 202, a motion vector memory 203, and a motion vector prediction unit 204.
  • a motion vector of a block not included in a candidate may be more effective for prediction.
  • the number of candidate blocks is increased, not just the nearest block.
  • the reference motion vector that is not appropriate in the prior art “a” may be included in the candidates, and the prediction efficiency may deteriorate.
  • the code amount of the identifier of the reference motion vector used for prediction is increased, there is a possibility that the coding efficiency may be deteriorated.
  • the present invention not only the neighboring blocks of the encoding target block but also a large number of motion vectors in a predetermined range are set as primary candidate reference motion vectors.
  • reliability is calculated using encoded information or decoded information.
  • the primary candidate reference motion vector is narrowed down according to the reliability, and the narrowed result is set as the secondary candidate reference motion vector.
  • Subsequent processing uses the secondary candidate reference motion vector as input, obtains a motion vector predictor using the same method as the conventional motion vector predictive coding, and encodes the prediction residual between the motion vector predictor and the motion vector.
  • not only the neighboring blocks of the decoding target block but also a number of surrounding motion vectors are set as primary candidate reference motion vectors.
  • reliability is calculated using decoded information.
  • the primary candidate reference motion vector is narrowed down according to the reliability, and the narrowed result is set as the secondary candidate reference motion vector.
  • Subsequent processing uses the secondary candidate reference motion vector as input, obtains a motion vector predictor using the same method as conventional motion vector predictive decoding, and calculates the motion vector by adding the motion vector predictor to the decoded prediction residual. To do.
  • the entropy of the motion vector prediction residual is reduced and the code amount of the motion vector is reduced. Since the encoded data of the moving image includes the code amount of the motion vector, the encoding efficiency of the moving image is improved as compared with the method using the conventional techniques a, b, and c.
  • FIG. 2 is a block diagram illustrating a motion compensation unit illustrated in FIG. 1. It is a block diagram which shows the moving image decoding apparatus by one Embodiment of this invention.
  • FIG. 4 is a block diagram illustrating a motion compensation unit illustrated in FIG. 3. It is a flowchart which shows the motion vector prediction process by one Embodiment of this invention. It is a figure which shows the 1st example of a setting of the primary candidate reference motion vector by one Embodiment of this invention. It is a figure which shows the 2nd example of a setting of the primary candidate reference motion vector by one Embodiment of this invention.
  • the motion compensation unit 18 performs a motion search on the video signal of the encoding target block with reference to the reference image stored in the frame memory 17 and outputs a prediction signal of the encoding target block.
  • the motion compensation unit 18 predicts a motion vector as a result of motion search, predicts a motion vector using encoded information, and obtains a motion vector as a result of motion search and a predicted motion. The difference from the vector is calculated, and the result is output to the information source encoding unit 13 as a motion vector prediction residual.
  • the motion compensation unit 18 does not simply use the motion vector of the encoded block in the vicinity of the encoding target block in predicting the motion vector. That is, the motion compensation unit 18 sets several primary candidate reference motion vectors, and calculates the reliability of these primary candidate reference motion vectors from the encoded information. Next, the motion compensation unit 18 narrows down the primary candidate reference motion vectors to a small number of secondary candidate reference motion vectors according to the reliability, and then calculates a predicted motion vector using the secondary candidate reference motion vectors. To do. The process of calculating the predicted motion vector using the secondary candidate reference motion vector can be performed using a motion vector prediction method similar to the conventional technique.
  • the reference motion vector determination unit 185 selects M primary candidate reference motion vectors (M is an integer greater than or equal to 1 and less than N) from the top in descending order of reliability calculated by the reliability calculation unit 184. Elected as a vector.
  • the motion vector calculation unit 251 uses the motion vector prediction residual obtained by decoding the encoded bitstream and the information that the motion vector prediction unit 257 has decoded.
  • the predicted motion vector predicted is added, and a motion vector used for decoding is output.
  • This motion vector is stored in the motion vector memory 253 and is output to the prediction signal creation unit 252.
  • the prediction signal creation unit 252 reads the decoded signal at the reference image position indicated by the input motion vector, and outputs it as the prediction signal of the decoding target block.
  • the value of the motion vector Vi can be arbitrarily determined in advance so as to be the same value on the encoding side and the decoding side.
  • the values of these motion vectors Vi may be stored in a table in advance.
  • the reliability calculation unit 184 calculates the reliability for each of the N primary candidate reference motion vectors set by the primary candidate reference motion vector setting unit 183 using the encoded information.
  • the reliability is a quantitative expression of the effectiveness of the primary candidate reference motion vector in the motion vector prediction in the encoding (decoding) target block. This reliability is calculated for only the N primary candidate reference motion vectors using only information that has already been decoded when decoding starts on the decoding side.
  • the template 32 Since the template 32 has a high correlation with the image signal of the encoding target block 31, it is possible to specify a secondary candidate reference block effective for motion vector prediction by using the similarity.
  • FIG. 9A is a flowchart of the reference motion vector determination process.
  • the reference motion vector determination unit 185 arranges the reliability of the primary candidate reference motion vectors calculated by the reliability calculation unit 184 in descending order, and outputs the first M candidate candidate reference motion vectors having the highest reliability. Set as a candidate reference motion vector.
  • the secondary candidate reference motion vector is determined as a reference motion vector as follows.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　動画像符号化装置において、１次候補参照動きベクトル設定部は、Ｎ個の１次候補参照動きベクトルを設定する。信頼度計算部は，符号化済みまたは復号済みの画像情報を利用して，符号化対象ブロックの動きベクトル予測における有効性を表す各１次候補参照動きベクトルの信頼度を算出する。参照動きベクトル決定部は，信頼度に応じて、Ｎ個の１次候補参照動きベクトルからＭ個（Ｍ＜Ｎ）の２次候補参照動きベクトルを選出する。動きベクトル予測部は，信頼度の高いＭ個の２次候補参照動きベクトルを利用して符号化対象ブロックの予測動きベクトルを作成する。

Description

動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
　本発明は、動きベクトルを予測符号化する動画像符号化技術に関する。特に、本発明は、動きベクトルの予測効率を向上させ、動画像の符号化効率を向上させるための動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラムに関する。
　本願は、２０１０年２月９日に日本に出願された特願２０１０－２６１２９号に基づき優先権を主張し、その内容をここに援用する。
　Ｈ．２６４に代表されるような、動き補償を用いた動画像符号化方式では、動きベクトルを効率的に符号化するために、動きベクトルの予測符号化を行う。
　図１０は、従来の動画像符号化装置における動き補償部の構成例を示す。従来の動画像符号化装置における動き補償部１００は、動き探索部１０１と、動きベクトルメモリ１０２と、動きベクトル予測部１０３と、予測残差算出部１０４を備える。
　動き探索部１０１は、符号化対象ブロックの映像信号が入力されると、符号化済みの参照画像の復号信号と照合することにより動き探索を行い、動きベクトルを算出して動きベクトルメモリ１０２に格納する。動きベクトル予測部１０３は、符号化対象ブロックの近隣にある符号化済みブロックの符号化に用いられた動きベクトルを動きベクトルメモリ１０２から読み出し、それらを参照動きベクトルとして用いて予測動きベクトルを算出する。予測残差算出部１０４は、動き探索部１０１が算出した動きベクトルと、動きベクトル予測部１０３が算出した予測動きベクトルとの残差を算出し、動きベクトル予測残差を出力する。この動きベクトル予測残差が符号化されて、動きベクトルの符号化情報として出力される。
　図１１は、従来の動画像復号装置における動き補償部の構成例を示す。従来の動画像復号装置における動き補償部２００は、動きベクトル算出部２０１と、予測信号作成部２０２と、動きベクトルメモリ２０３と、動きベクトル予測部２０４とを備える。
　動きベクトル算出部２０１は、符号化ストリームから復号された動きベクトル予測残差と、動きベクトル予測部２０４が予測した予測動きベクトルとを加算して動きベクトルを生成し、この動きベクトルを動きベクトルメモリ２０３に格納するとともに、予測信号作成部２０２に出力する。予測信号作成部２０２は、動きベクトルに従って復号済みの参照画像から復号信号を読み出し、復号対象ブロックの予測信号として出力する。動きベクトル予測部２０４は、復号対象ブロックの近隣にある復号済みブロックの復号に用いられた動きベクトルを動きベクトルメモリ２０３から読み出し、それらを参照動きベクトルとして用いて予測動きベクトルを算出する。
　以上のような動きベクトル予測符号化に関する技術として、従来、以下のような技術がある。
（ａ）メディアン予測符号化（Ｈ．２６４など）〔以下、従来技術ａという〕
（ｂ）参照動きベクトル指定による予測符号化〔以下、従来技術ｂという〕
　図１２は、従来の動きベクトルの予測符号化方式の例を説明する図である。従来技術ａおよび従来技術ｂでは、動きベクトルを符号化（復号も同様）する際に、図１２に示すような符号化対象ブロックの近隣の符号化済みブロックの動きベクトル（符号化済み動きベクトル）を参照動きベクトルとして用いて予測を行って、動きベクトルの符号化を行う。
　具体的には、従来技術ａでは、参照動きベクトルのメディアンを予測動きベクトルとして用いて、符号化対象ブロックの動きベクトルと、予測動きベクトルとの誤差（動きベクトル予測残差という）を符号化する（非特許文献１参照）。
　また、従来技術ｂでは、参照動きベクトルのうち、予測に利用する動きベクトルを符号化装置（エンコーダ）が選択し、動きベクトル予測残差とともに予測に利用する参照動きベクトルの識別子を符号化する（非特許文献２参照）。
　また、従来、動きベクトル予測残差を求めて動きベクトルを符号化するのではなく、符号化対象ブロックの動きベクトルそのものを予測する技術として、テンプレートマッチングによる動きベクトル予測の技術（以下、従来技術ｃという）がある。この従来技術ｃは、符号化側において動きベクトルを符号化しないで動き補償をするための動きベクトル予測方法である（非特許文献３参照）。
　図１３は、従来のテンプレートマッチングによる動きベクトル予測を説明する図である。従来技術ｃでは、符号化対象ブロックの動きベクトルを予測するにあたり、図１３に逆Ｌ字型の領域として示されるような、符号化対象ブロックの近隣で、なおかつ符号化済みの画素の集合（これをテンプレートと呼ぶ）を利用して、参照画像上で所定の探索範囲について動き探索を行う（この処理をテンプレートマッチングと呼ぶ）。具体的には、所定の探索範囲内の各動きベクトルについて、参照画像上でテンプレートと同じ位置にある領域を動きベクトル分だけずらした領域（マッチング領域と呼ぶ）と、テンプレートとの間でＳＡＤ（Sum of Absolute Differences）などの類似度を求めて探索をする。それによって得られた動きベクトルを利用して動き補償を行う。復号側でも復号済み画素の集合であるテンプレートで同じ処理が可能であるため、動きベクトルを符号化しないで動き補償ができる利点がある。
角野、菊池、鈴木、"改訂三版Ｈ．２６４／ＡＶＣ教科書"、インプレスＲ＆Ｄ発行、2009, pp.123-125． T. Yamamoto, "A new scheme for motion vector predictor encoding ", ITU-T SG16/Q6, 32nd VCEG Meeting, San Jose, April 2007. 小林、鈴木、ブン、堀越、"テンプレートマッチングを用いた動き予測方法に伴う予測情報量削減"、画像符号化シンポジウム資料、2005，pp.17-18．
　前述した従来技術ａ、ｂでは、近隣のブロックに予測に有効な参照動きベクトルがない場合に、動きベクトルの予測効率が低下する。符号化対象ブロックの近隣だけでなく、より広範囲に含まれる多数のブロックの参照動きベクトルを予測に利用することも考えられる。しかし、従来技術の方法でこれを行った場合、予測効率や符号化効率の悪化をまねく。
　図１４は、従来技術の問題を説明する図である。図１４に示すように、符号化対象ブロックの近隣ブロックが被写体Ｏｂｊの境界である場合とオクルージョンがある場合（参照画像において近隣ブロックの対応点が何らかの被写体で隠れている場合）、また、被写体が剛体でない場合には、当該近隣ブロックの参照動きベクトルが、符号化対象ブロックの動きベクトル予測に適していないか、イントラ符号化が行われて参照動きベクトル自体が存在しないことがある。このような場合、従来技術ａおよび従来技術ｂのいずれにおいても、予測効率が悪くなる。
　一方、図１４に点線で示すブロックのように、候補に含まれないブロックの動きベクトルのほうが予測に有効になる場合がある。このような動きベクトルを予測に利用するために、最近隣のブロックだけを候補とするのではなく、候補となるブロックを多くすることが容易に類推できる。しかしながら、候補となるブロックを多くした場合、従来技術ａにおいては適切でない参照動きベクトルが候補に含まれて予測効率が逆に悪化するおそれがある。また、従来技術ｂでは、予測に利用する参照動きベクトルの識別子の符号量の増加を招くため、符号化効率が逆に悪化するおそれがある。
　これに対して、従来技術ｃは、符号化側で動きベクトルを符号化しないで動き補償をするための動きベクトル予測方法である。そこで、これを前述の従来技術の課題に対して応用することを考える。すなわち、従来技術ｃのテンプレートマッチングを用いて予測動きベクトルを作成し、これと通常の動き探索により求めた符号化対象ブロックの動きベクトルとから動きベクトル予測残差を求めて符号化することを考える。この場合、次の問題がある。
　従来技術ｃによる動きベクトル予測では、従来技術ａや従来技術ｂと異なり、符号化対象ブロックの近隣ブロックの符号化済み動きベクトルを利用しないで探索を行うことができる。このため、符号化済み動きベクトルが予測に有効でない場合にも、有効な予測動きベクトルを作成できる可能性がある。しかしながら、テンプレートのみから予測動きベクトルを決定してしまうため、符号化対象ブロックとは無関係な領域を指す動きベクトルを予測動きベクトルとしてしまい、予測効率が悪化する場合がある。
　本発明は、上記課題の解決を図り、動きベクトルの予測効率を向上させ、動画像の符号化効率を向上させることを目的とする。ここで、動きベクトルの予測効率とは、予測の対象となる動きベクトルと予測動きベクトルとの類似の度合いを意味する。具体的には、これらの２つのベクトルの差分ベクトルの長さが小さい場合に予測効率が高いとする。
　本発明の概要は、以下のとおりである。本発明は、符号化側および復号側の各ブロックについて、以下の方法で動きベクトル予測を行う。
（１）多数（Ｎ個）の１次候補参照動きベクトルを利用する。
（２）復号側で符号化（復号）対象ブロックを復号開始する時点ですでに復号済みの情報のみを利用して、各１次候補参照動きベクトルがどれだけ予測に適しているかを示す評価値（以下、信頼度）を求める。
（３）信頼度に応じて、１次候補参照動きベクトルをＭ（＜Ｎ）個の２次候補参照動きベクトルに絞り込む。
（４）Ｍ個の２次候補参照動きベクトルを利用して予測動きベクトルを作成する。
　詳しくは、本発明の実施形態では、従来と同様な動きベクトル予測符号化（下記の処理４）の前処理として、以下の処理１～処理３を行う。
　［処理１］まず、１次候補参照動きベクトルとして、符号化対象ブロックの近隣にある符号化済みブロックの符号化に用いた動きベクトルおよび所定値の動きベクトルからなるＮ個（Ｎは２以上の整数）の動きベクトルの少なくとも一方を抽出する。
　［処理２］次に、Ｎ個の１次候補参照動きベクトルのそれぞれについて、符号化対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を、符号化済み、または復号済みの画像情報を用いて算出する。
　［処理３］Ｎ個の１次候補参照動きベクトルの中で信頼度が大きい上位Ｍ個（Ｍは１以上かつＮ未満の整数）の１次候補参照動きベクトルを、２次候補参照動きベクトルとして選出する。
　［処理４］２次候補参照動きベクトルを用いて符号化対象ブロックの予測動きベクトルを算出し、符号化対象ブロックの動き探索で求めた動きベクトルと、予測動きベクトルとの残差を、動きベクトルの符号化情報として符号化する。２次候補参照動きベクトルを用いて符号化対象ブロックの予測動きベクトルを算出する処理としては、例えば、Ｍ個の２次候補参照動きベクトルの中央値を選ぶとか、Ｍ個の２次候補参照動きベクトルの中で最も予測残差が小さくなる２次候補参照動きベクトルを選択し、その動きベクトルの識別子を予測残差とともに符号化するなどの、従来方法を用いることができる。
　以上のように、本発明では、符号化対象ブロックの近隣のブロックだけでなく、予め定められた範囲の多数の動きベクトルを１次候補参照動きベクトルとする。次に、各々の１次候補参照動きベクトルについて、符号化済みの情報または復号済みの情報を利用して信頼度の計算を行う。１次候補参照動きベクトルを信頼度に応じて絞り込み、絞り込んだ結果を２次候補参照動きベクトルとする。以降の処理は、２次候補参照動きベクトルを入力として、従来の動きベクトル予測符号化と同じ方法を用いて予測動きベクトルを求め、予測動きベクトルと動きベクトルとの予測残差を符号化する。
　本発明による動きベクトル予測復号の場合にも、復号対象ブロックの近隣のブロックだけでなく、周辺の多数の動きベクトルを１次候補参照動きベクトルとする。次に、各々の１次候補参照動きベクトルについて、復号済みの情報を利用して信頼度の計算を行う。１次候補参照動きベクトルを信頼度に応じて絞り込み、絞り込んだ結果を２次候補参照動きベクトルとする。以降の処理は、２次候補参照動きベクトルを入力として、従来の動きベクトル予測復号と同じ方法を用いて予測動きベクトルを求め、復号した予測残差に予測動きベクトルを加算して動きベクトルを算出する。
　本発明では、上記処理１～３を行うことで、参照動きベクトルの絞り込みを行う。この絞り込みは、復号側でも符号化側からの付加情報なしで実現でき、なおかつ、２次候補参照動きベクトルには、予測に有効な動きベクトルが含まれる。このため、前述した従来技術ａ、ｂおよびｃより予測効率が向上する。
　また、一般的に、動きベクトルの予測効率が向上すると、動きベクトル予測残差のエントロピーが減少し、動きベクトルの符号量が小さくなる。動画像の符号化データは動きベクトルの符号量を含むため、従来技術ａ、ｂおよびｃを利用した方式よりも動画像の符号化効率が向上する。
本発明の一実施形態による動画像符号化装置を示すブロック図である。 図１に示された動き補償部を示すブロック図である。 本発明の一実施形態による動画像復号装置を示すブロック図である。 図３に示された動き補償部を示すブロック図である。 本発明の一実施形態による動きベクトル予測処理を示すフローチャートである。 本発明の一実施形態による１次候補参照動きベクトルの第１の設定例を示す図である。 本発明の一実施形態による１次候補参照動きベクトルの第２の設定例を示す図である。 本発明の一実施形態による信頼度算出処理の一例を示すフローチャートである。 本発明の一実施形態によるテンプレートマッチングを用いた信頼度の求め方を示す図である。 本発明の一実施形態による参照動きベクトル決定処理の一例を示すフローチャートである。 本発明の一実施形態による参照動きベクトル決定処理の他の例を示すフローチャートである。 従来の動画像符号化装置における動き補償部を示すブロック図である。 従来の動画像復号装置における動き補償部を示すブロック図である。 従来の動きベクトルの予測符号化方式の例を示す図である。 従来のテンプレートマッチングによる動きベクトル予測を示す図である。 従来技術の問題を示す図である。
　以下、図面を用いて、本発明の実施形態を詳細に説明する。
　図１は、本発明の一実施形態による動画像符号化装置の構成例を示す図である。本実施形態の動画像符号化装置１は、特に動き補償部１８が従来技術と異なり、他の部分は、Ｈ．２６４その他でエンコーダとして用いられている従来の一般的な動画像符号化装置と同様である。
　動画像符号化装置１は、符号化対象の映像信号を入力し、入力映像信号のフレームをブロックに分割してブロックごとに符号化し、その符号化データをビットストリームとして出力する。
　この符号化のため、予測残差信号算出部１０は、入力映像信号と動き補償部１８の出力である予測信号との差分を求め、それを予測残差信号として出力する。直交変換部１１は、予測残差信号に対して離散コサイン変換（ＤＣＴ）等の直交変換を行い、変換係数を出力する。量子化部１２は、変換係数を量子化し、その量子化された変換係数を出力する。情報源符号化部１３は、量子化された変換係数をエントロピー符号化し、ビットストリームとして出力する。
　一方、量子化された変換係数は、逆量子化部１４にも入力され、ここで逆量子化される。逆直交変換部１５は、逆量子化部１４の出力である変換係数を逆直交変換し、予測残差復号信号を出力する。復号信号算出部１６では、この予測残差復号信号と動き補償部１８の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号信号を生成する。この復号信号は、動き補償部１８における動き補償の参照画像として用いるために、フレームメモリ１７に格納される。
　動き補償部１８は、符号化対象ブロックの映像信号について、フレームメモリ１７に格納された参照画像を参照して動き探索を行い、符号化対象ブロックの予測信号を出力する。また、動き補償部１８は、動き探索の結果の動きベクトルについても予測符号化するために、符号化済みの情報を用いて動きベクトルの予測を行い、動き探索の結果の動きベクトルと、予測動きベクトルとの差分を算出して、結果を動きベクトル予測残差として情報源符号化部１３へ出力する。
　ここで、動き補償部１８は、動きベクトルの予測にあたって、単に符号化対象ブロックの近隣にある符号化済みブロックの動きベクトルだけを用いるのではない。すなわち、動き補償部１８は、いくつかの１次候補参照動きベクトルを設定し、それらの１次候補参照動きベクトルの信頼度を符号化済みの情報から算出する。次に、動き補償部１８は、信頼度に応じてそれらの１次候補参照動きベクトルを少数の２次候補参照動きベクトルに絞り込んでから、２次候補参照動きベクトルを用いて予測動きベクトルを算出する。２次候補参照動きベクトルを用いて予測動きベクトルを算出する処理は、従来技術と同様な動きベクトルの予測手法を用いて行うことができる。
　図２は、図１に示す動き補償部１８の詳細な構成例を示す図である。動き補償部１８は、図２に示すように、動き探索部１８１、動きベクトルメモリ１８２、１次候補参照動きベクトル設定部１８３、信頼度計算部１８４、参照動きベクトル決定部１８５、動きベクトル予測部１８６、動きベクトル予測残差算出部１８７を備える。
　符号化対象ブロックの符号化における動き補償において、まず、動き探索部１８１は、入力映像信号の符号化対象ブロックについて、既に符号化済みの参照画像の復号信号と照合する動き探索を行い、予測信号を生成して出力するとともに、マッチング位置を示す動きベクトルを出力する。この動きベクトルは動きベクトルメモリ１８２に格納され、また、動きベクトル予測残差算出部１８７に出力される。
　１次候補参照動きベクトル設定部１８３は、過去に符号化されて動きベクトルメモリ１８２に格納されている動きベクトルまたは予め定められた値の動きベクトルからなるＮ個（Ｎは２以上の整数）の動きベクトルを、１次候補参照動きベクトルとして設定し、信頼度計算部１８４に通知する。
　信頼度計算部１８４は、Ｎ個の１次候補参照動きベクトルのそれぞれについて、符号化済みの画像情報（復号信号）を用いて、符号化対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を算出する。
　参照動きベクトル決定部１８５は、信頼度計算部１８４が算出した信頼度が大きい順に上位からＭ個（Ｍは１以上かつＮ未満の整数）の１次候補参照動きベクトルを、２次候補参照動きベクトルとして選出する。
　動きベクトル予測部１８６は、参照動きベクトル決定部１８５が選出した２次候補参照動きベクトルを用いて、符号化対象ブロックの予測動きベクトルを算出する。この動きベクトル予測部１８６での予測動きベクトルの算出方法は従来技術と同様でよく、例えば２次候補参照動きベクトルの中の中央値（メディアン）を予測動きベクトルとする。また、２次候補参照動きベクトルの中で動き探索部１８１が求めた動きベクトルと最も近い値を持つものを予測動きベクトルとし、その動きベクトルを示す識別子を符号化対象に加えて、復号側へ通知することも可能である。
　動きベクトル予測残差算出部１８７は、動き探索部１８１が算出した動きベクトルと、動きベクトル予測部１８６が算出した予測動きベクトルとの残差を算出し、算出された残差を動きベクトル予測残差として出力する。
　図３は、本発明の一実施形態による動画像復号装置の構成例を示す図である。本実施形態の動画像復号装置２は、特に動き補償部２５が従来技術と異なり、他の部分は、Ｈ．２６４その他でデコーダとして用いられている従来の一般的な動画像復号装置と同様である。
　動画像復号装置２は、図１に示す動画像符号化装置１により符号化されたビットストリームを入力して復号することにより復号画像の復号信号を出力する。
　この復号のため、情報源復号部２０は、入力されたビットストリームに基づいて、復号対象ブロックの量子化変換係数をエントロピー復号するとともに、動きベクトル予測残差を復号する。逆量子化部２１は、量子化変換係数を入力し、それを逆量子化して復号変換係数を出力する。逆直交変換部２２は、復号変換係数に逆直交変換を施し、復号予測残差信号を出力する。復号信号算出部２３では、動き補償部２５で生成された予測信号と復号予測残差信号とを加算することで、復号対象ブロックの復号信号を生成する。この復号信号は、表示装置等の外部の装置に出力されるとともに、動き補償部２５における動き補償の参照画像として用いるために、フレームメモリ２４に格納される。
　動き補償部２５は、フレームメモリ２４に格納された復号済みの情報を用いて動きベクトルの予測を行い、その予測動きベクトルと情報源復号部２０が復号した動きベクトル予測残差とを加算して動きベクトルを算出する。次に、動き補償部２５は、その動きベクトルをもとにフレームメモリ２４の参照画像を参照して、復号対象ブロックの予測信号を生成する。
　ここで、動き補償部２５は、動きベクトルの予測にあたって、単に復号対象ブロックの近隣にある復号済みブロックの動きベクトルだけを用いるのではない。すなわち、動き補償部２５は、いくつかの１次候補参照動きベクトルを設定し、それらの１次候補参照動きベクトルの信頼度を復号済みの情報から算出する。次に、動き補償部２５は、信頼度に応じて少数の２次候補参照動きベクトルに絞り込んでから、２次候補参照動きベクトルを用いて予測動きベクトルを算出する。２次候補参照動きベクトルを用いて予測動きベクトルを算出する処理は、従来技術と同様な動きベクトルの予測手法を用いて行うことができる。
　図４は、図３に示す動き補償部２５の詳細な構成例を示す図である。動き補償部２５は、図４に示すように、動きベクトル算出部２５１、予測信号作成部２５２、動きベクトルメモリ２５３、１次候補参照動きベクトル設定部２５４、信頼度計算部２５５、参照動きベクトル決定部２５６、動きベクトル予測部２５７を備える。
　復号対象ブロックの復号における動き補償において、まず、動きベクトル算出部２５１は、符号化ビットストリームを復号して得られた動きベクトル予測残差と、動きベクトル予測部２５７が復号済みの情報を用いて予測した予測動きベクトルとを加算し、復号に用いる動きベクトルを出力する。この動きベクトルは動きベクトルメモリ２５３に格納され、また、予測信号作成部２５２に出力される。予測信号作成部２５２は、入力した動きベクトルが示す参照画像位置の復号信号を読み出し、復号対象ブロックの予測信号として出力する。
　１次候補参照動きベクトル設定部２５４は、過去に復号されて動きベクトルメモリ２５３に格納されている動きベクトルまたは予め定められた値の動きベクトルからなるＮ個（Ｎは２以上の整数）の動きベクトルを、１次候補参照動きベクトルとして設定し、信頼度計算部２５５に通知する。
　信頼度計算部２５５は、Ｎ個の１次候補参照動きベクトルのそれぞれについて、復号済みの画像情報（復号信号）を用いて、復号対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を算出する。
　参照動きベクトル決定部２５６は、信頼度計算部２５５が算出した信頼度が大きい順に上位からＭ個（Ｍは１以上かつＮ未満の整数）の１次候補参照動きベクトルを、２次候補参照動きベクトルとして選出する。
　動きベクトル予測部２５７は、参照動きベクトル決定部２５６が選出した２次候補参照動きベクトルを用いて、復号対象ブロックの予測動きベクトルを算出する。この動きベクトル予測部２５７での予測動きベクトルの算出方法は従来技術と同様でよく、例えば２次候補参照動きベクトルの中の中央値（メディアン）を予測動きベクトルとする。または、符号化側で予測に用いる動きベクトルの識別子を指定している場合には、その識別子が示す動きベクトルを予測動きベクトルとする。
　次に、動画像符号化装置１における動き補償部１８および動画像復号装置２における動き補償部２５が行う処理のうち、本発明に関連する動きベクトル予測の処理について、図５～図９Ｂに従って説明する。以下では、主に符号化側の動きベクトル予測の処理を中心に説明するが、復号側における動きベクトル予測の処理もまったく同様である。
　図５は、動きベクトル予測処理のフローチャートを示している。
　［ステップＳ１の処理］
　最初に、１次候補参照動きベクトル設定部１８３（または２５４）は、Ｎ個の１次候補参照動きベクトルを設定する。このＮ個の１次候補参照動きベクトルを設定する方法として、例えば次のような方法を用いることができる。
　〔１次候補参照動きベクトル設定例１〕
　図６Ａに示すように、符号化対象ブロック３１の位置を基準として、それから所定の範囲内の予め定められたＮ個の動きベクトルＶｉ（ｉ＝１，２，…，Ｎ）を、１次候補参照動きベクトルとする。この動きベクトルＶｉの値は、符号化側と復号側で同じ値となるように予め任意に決めることができる。これらの動きベクトルＶｉの値を、予めテーブル化して保持しておくようにしてもよい。
　また、動きベクトルＶｉの値を符号化することなく、符号化側と復号側とで共通の値を用いることができるという条件が満たされるならば、その値を候補として用いることができる。したがって、例えば過去の符号化・復号済みの何枚かのフレームの動きベクトルの統計量を逐次算出しておき、その動きベクトルの統計量から出現確率の大きいＮ個の１次候補参照動きベクトルを選出することも可能である。
　〔１次候補参照動きベクトル設定例２〕
　図６Ｂに示すように、符号化対象ピクチャ３において、符号化対象ブロック３１の近隣にある多数（この例では１０個）の符号化済みブロックＢ１～Ｂ１０の符号化に用いた動きベクトルを、１次候補参照動きベクトルとして設定する。この場合にも、復号側では、符号化側で用いた１次候補参照動きベクトルと同じ動きベクトルを、復号済みの動きベクトルから設定することができる。
　〔１次候補参照動きベクトル設定例３〕
　前述した設定例１でＮ１個の１次候補参照動きベクトルを選び、設定例２でＮ２個の１次候補参照動きベクトルを選んで、合計Ｎ個（Ｎ＝Ｎ１＋Ｎ２）の１次候補参照動きベクトルを設定する。
　〔１次候補参照動きベクトル設定例４〕
　この設定例４では、符号化済みブロックの動きベクトルと、これらの動きベクトルについて所定範囲内の動きベクトルとを、１次候補参照動きベクトルとする。例えば、ある符号化済みベクトルの動きベクトル（１０，２０）について、所定範囲を、Ｘ，Ｙ方向にそれぞれ±１の範囲とした場合、動きベクトル（１０，２０）に加え、動きベクトル（９，２０）、（１１，２０）、（１０，１９）、（１０，２１）、（９，１９）、（９，２１）、（１１，１９）、および（１１，２１）も候補とする。すなわち、１つの符号化済みブロックの動きベクトルに対して合計９個の１次候補参照動きベクトルが候補となる。最初に候補に入れる符号化済みブロックの動きベクトルをＫ個として、Ｋ個すべての周辺も候補に入れると、９×Ｋ個の１次候補参照動きベクトルを利用することになる。ただし、復号側と共通であれば、すべての符号化済みブロックの動きベクトルの周辺を候補に入れるのではなく、一部分でもよい。
　このような設定の効果としては、符号化済みブロックの動きベクトルの周辺も考慮に入れることにより、動きベクトルの予測効率が向上するということが挙げられる。
　［ステップＳ２の処理］
　信頼度計算部１８４（または２５５）は、１次候補参照動きベクトル設定部１８３が設定したＮ個の１次候補参照動きベクトルの各々について、符号化済みの情報を用いて信頼度を算出する。ここで、信頼度は、符号化（復号）対象ブロックでの動きベクトル予測における１次候補参照動きベクトルの有効性を定量的に表現したものである。この信頼度は、Ｎ個の１次候補参照動きベクトルについて、復号側で符号化対象ブロックを復号開始する時点ですでに復号済みの情報のみを利用して計算する。
　図７は、信頼度算出処理の一例を示すフローチャート、図８は、テンプレートマッチングを用いた信頼度の求め方を説明する図である。
　信頼度の求め方の一例として、テンプレートマッチングを応用する方法について説明する。図８の符号化対象ピクチャ３において、符号化対象ブロック３１の予測動きベクトルを求めるものとする。テンプレート３２は、符号化対象ブロック３１に隣接する、符号化済み画素の集合（この例では符号化対象ブロック３１の左と上の画素群で構成される逆Ｌ字型の領域）である。なお、逆Ｌ字型の領域の幅（厚さ）は、例えば２画素程度であるが１画素でも３画素以上でもよい。参照画像４は、符号化済みまたは復号済みのピクチャである。参照画像４における対応位置ブロック４１は、符号化対象ピクチャ３内の符号化対象ブロック３１の位置と同じ位置にあるブロックである。
　図７の信頼度算出処理において、ステップＳ２１では、参照画像４上で、テンプレート３２と空間的に同じ領域（対応位置ブロック４１に隣接する逆Ｌ字型の領域）を、信頼度を計算しようとしている１次候補参照動きベクトルＶｉ分だけずらした領域を求め、これをマッチング対象領域４２として取得する。
　次に、ステップＳ２２では、符号化対象ブロック３１のテンプレート３２と、参照画像４におけるマッチング対象領域４２との類似度を算出し、これを１次候補参照動きベクトルＶｉの信頼度として設定する。
　類似度指標の一例としては、ＳＡＤ（Sum of Absolute Differences）がある。ＳＡＤが小さいほど、当該１次候補参照動きベクトルＶｉは、符号化対象ブロック３１の動きに近い可能性が高いため、信頼度が高い参照動きベクトルと捉える。信頼度計算部１８４で利用する信頼度の指標としては、テンプレート３２とマッチング対象領域４２の類似度を示すものであれば、他のものでもよい。前述のＳＡＤの他にはＳＳＤ（Sum of Squared Differences）、ＳＡＴＤ（Sum of Absolute Transformed Differences）などを用いることができる。これらは、いずれも値が小さいほど信頼度が高いことを示す尺度となる。
　テンプレート３２は、符号化対象ブロック３１の画像信号と相関が高いため、これによる類似度を用いると、動きベクトル予測に有効な２次候補参照ブロックを特定することができる。
　［ステップＳ３の処理］
　次に、参照動きベクトル決定部１８５（または２５６）において、各１次候補参照動きベクトルの信頼度情報に基づき、Ｎ個の１次候補参照動きベクトルをＭ個（１≦Ｍ＜Ｎ）の２次候補参照動きベクトルに絞り込む。
　図９Ａは、参照動きベクトル決定処理のフローチャートである。ステップＳ３１では、参照動きベクトル決定部１８５は、信頼度計算部１８４で計算した１次候補参照動きベクトルの信頼度を降順に並べ、信頼度が上位Ｍ個の１次候補参照動きベクトルを２次候補参照動きベクトルとして設定する。
　図９Ｂは、他の参照動きベクトル決定処理のフローチャートであり、１次候補参照動きベクトルの数がＭ個に満たない場合を考慮したときの参照動きベクトル決定処理の例を示している。
　例えば、１次候補参照動きベクトルに多数のイントラブロックが含まれる場合など、１次候補参照動きベクトルの数が所定数のＭ個に満たない場合があり得る。この場合には、次のように２次候補参照動きベクトルを参照動きベクトルとして決定する。
　まず、ステップＳ３２では、１次候補参照動きベクトルの数Ｎは、Ｍより大きいかどうかを判定する。ＮがＭより大きい場合には、処理がステップＳ３３へ進み、前述したステップＳ３１と同様に、信頼度について上位Ｍ個の１次候補参照動きベクトルを２次候補参照動きベクトルとして設定する。実際に用いることができる１次候補参照動きベクトルの数ＮがＭよりも大きくない場合には、処理がステップＳ３４へ進み、Ｎ個の１次候補参照動きベクトルを２次候補参照動きベクトルとして設定する。
　［ステップＳ４の処理］
　動きベクトル予測部１８６（または２５７）は、参照動きベクトル決定部１８５が選出した２次候補参照動きベクトルを利用して、符号化対象ブロックの予測動きベクトルを作成する。本実施形態において重要なポイントは、多数の１次候補参照動きベクトルを信頼度によって絞り込むことにより、信頼度の高い２次候補参照動きベクトルを用いて、動きベクトル予測残差を算出するための予測動きベクトルを求める点にある。したがって、２次候補参照動きベクトルから予測動きベクトルを求める処理は、図１０や図１１で説明した従来技術の動きベクトル予測部１０３（または２０４）の処理と同様でよい。しかし、必ずしも従来技術と同じ処理でなければならないわけではなく、異なる処理によって予測動きベクトルを求めて、本実施形態を実施することもできる。
　以上説明した動きベクトル予測符号化および動きベクトル予測復号の処理は、コンピュータとソフトウェアプログラムとによっても実現することができる。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも、ネットワークを通して提供することも可能である。
　以上、本発明の実施形態について図面を参照して説明したが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等（構成の付加、）省略、置換、およびその他の変更）も含まれる。本発明は前述した説明によって限定されず、添付された請求の範囲によってのみ限定される。
　本発明は、動きベクトルを予測符号化する動画像符号化および動画像復号技術に用いることができる。本発明によれば、動きベクトルの予測効率を向上させ、動画像の符号化効率を向上させることができる。
　１　　動画像符号化装置
　２　　動画像復号装置
　１０　予測残差信号算出部
　１１　直交変換部
　１２　量子化部
　１３　情報源符号化部
　１４，２１　逆量子化部
　１５，２２　逆直交変換部
　１６　復号信号算出部
　１７，２４　フレームメモリ
　１８，２５　動き補償部
　１８１　動き探索部
　１８２，２５３　動きベクトルメモリ
　１８３，２５４　１次候補参照動きベクトル設定部
　１８４，２５５　信頼度計算部
　１８５，２５６　参照動きベクトル決定部
　１８６，２５７　動きベクトル予測部
　１８７　動きベクトル予測残差算出部
　２０　情報源復号部
　２３　復号信号算出部
　２５１　動きベクトル算出部
　２５２　予測信号作成部

Claims (12)

  1. 　符号化対象画像を複数のブロックに分割し、前記ブロックごとに動き補償を用いて符号化する動画像符号化方式における動きベクトル予測符号化方法において、
    　符号化済みの参照画像を用いて、前記符号化対象画像における符号化対象ブロックの動き探索を行うことによって動きベクトルを算出するステップと、
    　符号化済みブロックの符号化に用いた動きベクトルまたは所定値の動きベクトルからなるＮ個（Ｎは２以上の整数）の動きベクトルを１次候補参照動きベクトルとして抽出するステップと、
    　前記符号化対象ブロックでの動きベクトル予測における有効性を定量的に表す前記１次候補参照動きベクトルの信頼度を、前記Ｎ個の１次候補参照動きベクトルのそれぞれについて符号化済みの画像情報を用いて算出するステップと、
    　前記Ｎ個の１次候補参照動きベクトルのうち前記信頼度が大きい上位Ｍ個（Ｍは１以上かつＮ未満の所定の整数）の１次候補参照動きベクトルを２次候補参照動きベクトルとして選出するステップと、
    　前記２次候補参照動きベクトルを用いて前記符号化対象ブロックの予測動きベクトルを算出し、前記動き探索によって算出された動きベクトルと前記予測動きベクトルとの残差を、動きベクトルの符号化情報として符号化するステップと、
    　を有する動きベクトル予測符号化方法。
  2. 　請求項１記載の動きベクトル予測符号化方法において、
    　前記Ｎ個抽出すべき１次候補参照動きベクトルが前記Ｍ個より小さいＭ′個しか抽出できなかった場合に、Ｍ′個の１次候補参照動きベクトルを、前記２次候補参照動きベクトルとして選出する
    　動きベクトル予測符号化方法。
  3. 　請求項１または２に記載の動きベクトル予測符号化方法において、
    　前記１次候補参照動きベクトルの信頼度を算出するステップでは、前記符号化対象ブロックに隣接する符号化済み画素の集合をテンプレートとして用い、前記参照画像上で前記１次候補参照動きベクトル分だけ前記テンプレートの領域をずらした領域をマッチング対象領域として設定し、前記テンプレートの前記符号化済み画素の集合と前記マッチング対象領域における画素の集合との類似度を前記信頼度として算出する
    　動きベクトル予測符号化方法。
  4. 　請求項１から３のいずれか１項に記載の動きベクトル予測符号化方法において、
    　前記１次候補参照動きベクトルを抽出するステップでは、前記符号化済みブロックの符号化に用いた動きベクトルに加え、当該動きベクトルの各々を基準とした所定の範囲内の動きベクトルを設定する
    　動きベクトル予測符号化方法。
  5. 　複数のブロックに分割されて符号化された動画像の復号対象画像を、前記ブロックごとに動き補償を用いて復号する動画像復号方式における動きベクトル予測復号方法において、
    　復号対象ブロックの動きベクトル予測残差を復号するステップと、
    　復号済みブロックの復号に用いた動きベクトルまたは所定値の動きベクトルからなるＮ個（Ｎは２以上の整数）の動きベクトルを１次候補参照動きベクトルとして抽出するステップと、
    　前記復号対象ブロックでの動きベクトル予測における有効性を定量的に表す前記１次候補参照動きベクトルの信頼度を、前記Ｎ個の１次候補参照動きベクトルのそれぞれについて復号済みの画像情報を用いて算出するステップと、
    　前記Ｎ個の１次候補参照動きベクトルのうち前記信頼度が大きい上位Ｍ個（Ｍは１以上かつＮ未満の所定の整数）の１次候補参照動きベクトルを２次候補参照動きベクトルとして選出するステップと、
    　前記２次候補参照動きベクトルを用いて前記復号対象ブロックの予測動きベクトルを算出し、前記復号された動きベクトル予測残差と前記予測動きベクトルとを加算して前記復号対象ブロックの動きベクトルを算出するステップと、
    　を有する動きベクトル予測復号方法。
  6. 　請求項５記載の動きベクトル予測復号方法において、
    　前記Ｎ個抽出すべき１次候補参照動きベクトルが前記Ｍ個より小さいＭ′個しか抽出できなかった場合に、Ｍ′個の１次候補参照動きベクトルを、前記２次候補参照動きベクトルとして選出する
    　動きベクトル予測復号方法。
  7. 　請求項５または６記載の動きベクトル予測復号方法において、
    　前記１次候補参照動きベクトルの信頼度を算出するステップでは、前記復号対象ブロックに隣接する復号済み画素の集合をテンプレートとして用い、復号済みの参照画像上で前記１次候補参照動きベクトル分だけ前記テンプレートの領域をずらした領域をマッチング対象領域として設定し、前記テンプレートの前記復号済み画素の集合と前記マッチング対象領域における画素の集合との類似度を信頼度として算出する
    　動きベクトル予測復号方法。
  8. 　請求項５から７のいずれか１項に記載の動きベクトル予測復号方法において、
    　前記１次候補参照動きベクトルを抽出するステップでは、前記復号済みブロックの復号に用いた動きベクトルに加え、当該動きベクトルの各々を基準とした所定の範囲内の動きベクトルを設定する
    　動きベクトル予測復号方法。
  9. 　符号化対象画像を複数のブロックに分割し、前記ブロックごとに動き補償を用いて動画像を符号化する動画像符号化装置において、
    　符号化済みの参照画像を用いて、前記符号化対象画像における符号化対象ブロックの動き探索を行うことによって動きベクトルを算出する動き探索部と、
    　符号化済みブロックの符号化に用いた動きベクトルまたは所定値の動きベクトルからなるＮ個（Ｎは２以上の整数）の動きベクトルを１次候補参照動きベクトルとして抽出する１次候補参照動きベクトル設定部と、
    　前記符号化対象ブロックでの動きベクトル予測における有効性を定量的に表す前記１次候補参照動きベクトルの信頼度を、前記Ｎ個の１次候補参照動きベクトルのそれぞれについて符号化済みの画像情報を用いて算出する信頼度計算部と、
    　前記Ｎ個の１次候補参照動きベクトルのうち前記信頼度が大きい上位Ｍ個（Ｍは１以上かつＮ未満の所定の整数）の１次候補参照動きベクトルを２次候補参照動きベクトルとして選出する参照動きベクトル決定部と、
    　前記２次候補参照動きベクトルを用いて前記符号化対象ブロックの予測動きベクトルを算出し、前記動き探索によって算出された動きベクトルと前記予測動きベクトルとの残差を、動きベクトルの符号化情報として符号化する動きベクトル予測部と、
    　を備える動画像符号化装置。
  10. 　複数のブロックに分割されて符号化された動画像の復号対象画像を、前記ブロックごとに動き補償を用いて復号する動画像復号装置において、
    　復号対象ブロックの動きベクトル予測残差を復号する情報源復号部と、
    　復号済みブロックの復号に用いた動きベクトルまたは所定値の動きベクトルからなるＮ個（Ｎは２以上の整数）の動きベクトルを１次候補参照動きベクトルとして抽出する１次候補参照動きベクトル設定部と、
    　前記復号対象ブロックでの動きベクトル予測における有効性を定量的に表す前記１次候補参照動きベクトルの信頼度を、前記Ｎ個の１次候補参照動きベクトルのそれぞれについて復号済みの画像情報を用いて算出する信頼度計算部と、
    　前記Ｎ個の１次候補参照動きベクトルのうち前記信頼度が大きい上位Ｍ個（Ｍは１以上かつＮ未満の所定の整数）の１次候補参照動きベクトルを２次候補参照動きベクトルとして選出する参照動きベクトル決定部と、
    　前記２次候補参照動きベクトルを用いて前記復号対象ブロックの予測動きベクトルを算出し、前記復号された動きベクトル予測残差と前記予測動きベクトルとを加算して前記復号対象ブロックの動きベクトルを算出する動きベクトル予測部と、
    　を備える動画像復号装置。
  11. 　請求項１から４のいずれか１項に記載の動きベクトル予測符号化方法をコンピュータに実行させるための動きベクトル予測符号化プログラム。
  12. 　請求項５から８のいずれか１項に記載の動きベクトル予測復号方法をコンピュータに実行させるための動きベクトル予測復号プログラム。
PCT/JP2011/052501 2010-02-09 2011-02-07 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム WO2011099440A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
RU2012133441/08A RU2519525C2 (ru) 2010-02-09 2011-02-07 Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы
EP11742184.2A EP2536148B1 (en) 2010-02-09 2011-02-07 Predictive coding method for motion vector, predictive decoding method for motion vector, video coding device, video decoding device, and programs therefor
KR1020147015525A KR20140089596A (ko) 2010-02-09 2011-02-07 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
US13/576,620 US9838709B2 (en) 2010-02-09 2011-02-07 Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
ES11742184T ES2901803T3 (es) 2010-02-09 2011-02-07 Procedimiento de codificación predictiva para vector de movimiento, procedimiento de decodificación predictiva para vector de movimiento, dispositivo de codificación de imagen, dispositivo de decodificación de imagen, y programas para ello
BR112012019680A BR112012019680A2 (pt) 2010-02-09 2011-02-07 método de codificação preditiva de vetor de movimento, método de decodificação preditiva de vetor de movimento, aparelho de codificação de imagem em movimento, aparelho de decodificação de imagem em movimento e programas destes.
CA2788946A CA2788946A1 (en) 2010-02-09 2011-02-07 Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
JP2011553826A JP5367097B2 (ja) 2010-02-09 2011-02-07 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
CN201180008465.6A CN102742276B (zh) 2010-02-09 2011-02-07 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置及其程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010026129 2010-02-09
JP2010-026129 2010-02-09

Publications (1)

Publication Number Publication Date
WO2011099440A1 true WO2011099440A1 (ja) 2011-08-18

Family

ID=44367714

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/052501 WO2011099440A1 (ja) 2010-02-09 2011-02-07 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム

Country Status (11)

Country Link
US (1) US9838709B2 (ja)
EP (1) EP2536148B1 (ja)
JP (1) JP5367097B2 (ja)
KR (2) KR20140089596A (ja)
CN (1) CN102742276B (ja)
BR (1) BR112012019680A2 (ja)
CA (1) CA2788946A1 (ja)
ES (1) ES2901803T3 (ja)
RU (1) RU2519525C2 (ja)
TW (1) TWI442776B (ja)
WO (1) WO2011099440A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012090397A1 (ja) * 2010-12-28 2012-07-05 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
CN107371020A (zh) * 2011-12-28 2017-11-21 Jvc 建伍株式会社 动图像解码装置、动图像解码方法以及存储介质
WO2018097115A1 (ja) * 2016-11-22 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018097116A1 (ja) * 2016-11-22 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018097117A1 (ja) * 2016-11-22 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
JP5367098B2 (ja) * 2010-02-09 2013-12-11 日本電信電話株式会社 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
US20120294372A1 (en) * 2010-02-09 2012-11-22 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
CN102884793B (zh) * 2010-02-09 2016-03-23 日本电信电话株式会社 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置及活动图像解码装置
GB2531003A (en) 2014-10-06 2016-04-13 Canon Kk Method and apparatus for vector encoding in video coding and decoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008171247A (ja) * 2007-01-12 2008-07-24 Sony Corp 動き検出装置、方法、及びプログラム
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
WO2010001917A1 (ja) * 2008-07-01 2010-01-07 ソニー株式会社 画像処理装置および方法
JP2010026129A (ja) 2008-07-17 2010-02-04 Fuji Xerox Co Ltd 画像形成装置、制御装置、およびプログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
WO1998042134A1 (en) 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6011870A (en) 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding
US5978048A (en) 1997-09-25 1999-11-02 Daewoo Electronics Co., Inc. Method and apparatus for encoding a motion vector based on the number of valid reference motion vectors
JP3540142B2 (ja) 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
US6058143A (en) 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
EP3122045B1 (en) 2001-11-06 2018-01-24 Panasonic Intellectual Property Corporation of America Moving picture coding method and moving picture decoding method
JP2003224854A (ja) 2002-01-29 2003-08-08 Hitachi Ltd 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
JP4724351B2 (ja) 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
RU2338332C2 (ru) * 2002-11-21 2008-11-10 Эл Джи Электроникс Инк. Способ предсказания блока изображения с использованием усовершенствованного режима прямого предсказания
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
AU2003303732A1 (en) * 2003-01-10 2004-08-10 Koninklijke Philips Electronics N.V. Efficient predictive image parameter estimation
US7336707B2 (en) 2003-06-06 2008-02-26 Samsung Electronics Co., Ltd. Method and apparatus for detecting improper area for motion compensation in video signal
KR20050078706A (ko) 2004-01-31 2005-08-08 삼성전자주식회사 메모리 액세스 방법 및 메모리 액세스 장치
CN100584013C (zh) 2005-01-07 2010-01-20 日本电信电话株式会社 视频编码方法及装置、视频解码方法及装置
US20060153300A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
AU2006233279C1 (en) * 2005-04-13 2011-01-27 Nokia Technologies Oy Method, device and system for effectively coding and decoding of video data
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP2008109632A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
KR101083379B1 (ko) 2007-03-14 2011-11-14 니폰덴신뎅와 가부시키가이샤 움직임 벡터 탐색 방법 및 장치 그리고 프로그램을 기록한 기록매체
US20080225952A1 (en) 2007-03-15 2008-09-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
BRPI0810360A2 (pt) 2007-04-17 2019-05-14 Nokia Technologies Oy solução aquosa estável de aldeído e método de produção do mesmo
TW200905030A (en) 2007-07-31 2009-02-01 Chinese Professional Fabric Industry Co Ltd A manufacturing method of optical-excitation fabric
TW200910971A (en) 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US8165210B2 (en) 2007-12-17 2012-04-24 Vixs Systems, Inc. Video codec with shared interpolation filter and method for use therewith
JP4513034B2 (ja) * 2008-02-20 2010-07-28 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
KR20090094595A (ko) 2008-03-03 2009-09-08 삼성전자주식회사 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
TWI500308B (zh) 2008-03-09 2015-09-11 Lg Electronics Inc 視訊訊號之編碼或解碼方法及其裝置
ES2812473T3 (es) 2008-03-19 2021-03-17 Nokia Technologies Oy Vector de movimiento combinado y predicción de índice de referencia para la codificación de vídeo
KR101364195B1 (ko) 2008-06-26 2014-02-21 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
CN102210153A (zh) * 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
CN102884793B (zh) * 2010-02-09 2016-03-23 日本电信电话株式会社 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置及活动图像解码装置
JP5367098B2 (ja) 2010-02-09 2013-12-11 日本電信電話株式会社 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
US20120294372A1 (en) * 2010-02-09 2012-11-22 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008171247A (ja) * 2007-01-12 2008-07-24 Sony Corp 動き検出装置、方法、及びプログラム
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
WO2010001917A1 (ja) * 2008-07-01 2010-01-07 ソニー株式会社 画像処理装置および方法
JP2010026129A (ja) 2008-07-17 2010-02-04 Fuji Xerox Co Ltd 画像形成装置、制御装置、およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KADONO; KIKUCHI; SUZUKI: "3rd revised edition. H.264/AVC textbook", 2009, IMPRESS R&D, pages: 123 - 125
KOBAYASHI; SUZUKI; BOON; HORIKOSHI: "Reduction of Predictive Information Amount with Motion Prediction Method Using Template Matching", THE PROCEEDINGS OF PICTURE CODING SYMPOSIUM OF JAPAN, 2005, pages 17 - 18
See also references of EP2536148A4
T. YAMAMOTO: "A new scheme for motion vector predictor encoding", ITU-T SG16/Q6, April 2007 (2007-04-01)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012090397A1 (ja) * 2010-12-28 2012-07-05 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
CN107371020A (zh) * 2011-12-28 2017-11-21 Jvc 建伍株式会社 动图像解码装置、动图像解码方法以及存储介质
WO2018097115A1 (ja) * 2016-11-22 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018097116A1 (ja) * 2016-11-22 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018097117A1 (ja) * 2016-11-22 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Also Published As

Publication number Publication date
CA2788946A1 (en) 2011-08-18
KR20140089596A (ko) 2014-07-15
BR112012019680A2 (pt) 2016-05-03
EP2536148B1 (en) 2021-10-27
RU2519525C2 (ru) 2014-06-10
TWI442776B (zh) 2014-06-21
US9838709B2 (en) 2017-12-05
EP2536148A4 (en) 2014-06-04
KR20120112723A (ko) 2012-10-11
EP2536148A1 (en) 2012-12-19
TW201210348A (en) 2012-03-01
CN102742276A (zh) 2012-10-17
CN102742276B (zh) 2016-08-03
ES2901803T3 (es) 2022-03-23
JP5367097B2 (ja) 2013-12-11
US20120307908A1 (en) 2012-12-06
JPWO2011099440A1 (ja) 2013-06-13
RU2012133441A (ru) 2014-03-27

Similar Documents

Publication Publication Date Title
JP5367097B2 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JP5367098B2 (ja) 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
JP5306485B2 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JP5306486B2 (ja) 動きベクトル予測符号化方法，動きベクトル予測復号方法，動画像符号化装置，動画像復号装置およびそれらのプログラム
JP5216710B2 (ja) 復号化処理方法
JP6636615B2 (ja) 動きベクトル場の符号化方法、復号方法、符号化装置、および復号装置
KR20090095012A (ko) 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
JP5281597B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
JP5281596B2 (ja) 動きベクトル予測方法，動きベクトル予測装置および動きベクトル予測プログラム
TW201306596A (zh) 動畫像編碼裝置、動畫像解碼裝置、動畫像編碼方法、動畫像解碼方法、動畫像編碼程式及動畫像解碼程式

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180008465.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11742184

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2011553826

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 2788946

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 13576620

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20127020436

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 6865/DELNP/2012

Country of ref document: IN

Ref document number: 2011742184

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012133441

Country of ref document: RU

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012019680

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012019680

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120806