JPWO2011099468A1 - 動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラム - Google Patents

動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラム Download PDF

Info

Publication number
JPWO2011099468A1
JPWO2011099468A1 JP2011553838A JP2011553838A JPWO2011099468A1 JP WO2011099468 A1 JPWO2011099468 A1 JP WO2011099468A1 JP 2011553838 A JP2011553838 A JP 2011553838A JP 2011553838 A JP2011553838 A JP 2011553838A JP WO2011099468 A1 JPWO2011099468 A1 JP WO2011099468A1
Authority
JP
Japan
Prior art keywords
motion vector
primary candidate
candidate reference
decoding
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011553838A
Other languages
English (en)
Other versions
JP5367098B2 (ja
Inventor
正樹 北原
正樹 北原
清水 淳
淳 清水
真由子 渡邊
真由子 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011553838A priority Critical patent/JP5367098B2/ja
Publication of JPWO2011099468A1 publication Critical patent/JPWO2011099468A1/ja
Application granted granted Critical
Publication of JP5367098B2 publication Critical patent/JP5367098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/533Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

動きベクトル予測符号化において,動きベクトルの予測効率を向上させ,動画像の符号化効率を向上させる。符号化済みの参照画像を用いて,符号化対象画像における符号化対象ブロックの動き探索を行い,動きベクトルを算出する。符号化対象画像における符号化対象ブロックの位置に対して,予め定められた相対的な位置にあり,符号化対象画像中の符号化済みブロックおよび符号化済み画像における符号化済みブロックの少なくとも一方からなる複数個のブロックを1次候補ブロックとして設定し,1次候補ブロックの符号化に用いた動きベクトルからN個の1次候補参照動きベクトルを決定する。1次候補参照動きベクトルの,符号化対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を,1次候補参照動きベクトルのそれぞれについて符号化済みの画像情報を用いて算出する。1次候補参照動きベクトルの信頼度が大きい上位M個の1次候補参照動きベクトルを,2次候補参照動きベクトルとして選出する。2次候補参照動きベクトルを用いて符号化対象ブロックの予測動きベクトルを算出し,符号化対象ブロックの動き探索で求めた動きベクトルと,予測動きベクトルとの残差を,動きベクトルの符号化情報として符号化する。

Description

本発明は,動きベクトルを予測符号化する動画像符号化技術に関するものである。特に,本発明は,動きベクトルの予測効率を向上させ,動画像の符号化効率を向上させるための動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラムに関するものである。
本願は,2010年2月9日に日本へ出願された日本特願2010−026130号に対して優先権を主張し,その内容をここに援用する。
H.264に代表されるような,動き補償を用いた動画像符号化方式では,動きベクトルを効率的に符号化するために,動きベクトルの予測符号化を行う。
図11は,従来の動画像符号化装置における動き補償部の構成例を示す。従来の動画像符号化装置における動き補償部100は,動き探索部101と,動きベクトルメモリ102と,動きベクトル予測部103と,予測残差算出部104を備える。
動き探索部101は,符号化対象ブロックの映像信号が入力されると,符号化済みの参照画像の復号信号と照合することにより動き探索を行い,動きベクトルを算出して動きベクトルメモリ102に格納する。動きベクトル予測部103は,符号化対象ブロックの近隣にある符号化済みブロックの符号化に用いられた動きベクトルを動きベクトルメモリ102から読み出し,それらを参照動きベクトルとして用いて予測動きベクトルを算出する。予測残差算出部104は,動き探索部101が算出した動きベクトルと,動きベクトル予測部103が算出した予測動きベクトルとの残差を算出し,動きベクトル予測残差を出力する。この動きベクトル予測残差が符号化されて,動きベクトルの符号化情報として出力されることになる。
図12は,従来の動画像復号装置における動き補償部の構成例を示す。従来の動画像復号装置における動き補償部200は,動きベクトル算出部201と,予測信号作成部202と,動きベクトルメモリ203と,動きベクトル予測部204とを備える。
動きベクトル算出部201は,符号化ストリームから復号された動きベクトル予測残差と,動きベクトル予測部204が予測した予測動きベクトルとを加算して動きベクトルを生成し,この動きベクトルを動きベクトルメモリ203に格納するとともに,予測信号作成部202に出力する。予測信号作成部202は,動きベクトルに従って復号済みの参照画像から復号信号を読み出し,復号対象ブロックの予測信号として出力する。動きベクトル予測部204は,復号対象ブロックの近隣にある復号済みブロックの復号に用いられた動きベクトルを動きベクトルメモリ203から読み出し,それらを参照動きベクトルとして用いて予測動きベクトルを算出する。
以上のような動きベクトル予測符号化に関する技術として,従来,以下のような技術がある。
(a)メディアン予測符号化(H.264など)〔以下,従来技術aという〕
(b)参照動きベクトル指定による予測符号化〔以下,従来技術bという〕
図13は,従来の動きベクトルの予測符号化方式の例を説明する図である。従来技術aおよび従来技術bでは,動きベクトルを符号化(復号も同様)する際に,図13に示すような符号化対象ブロックの近隣の符号化済みブロックの動きベクトル(符号化済み動きベクトル)を参照動きベクトルとして用いて予測を行って,動きベクトルの符号化を行う。
具体的には,従来技術aでは,参照動きベクトルのメディアンを予測動きベクトルとして用いて,符号化対象ブロックの動きベクトルと,予測動きベクトルとの誤差(動きベクトル予測残差という)を符号化する(非特許文献1参照)。
また,従来技術bでは,参照動きベクトルのうち,予測に利用する動きベクトルを符号化装置(エンコーダ)が選択し,動きベクトル予測残差とともに予測に利用する参照動きベクトルの識別子を符号化する(非特許文献2参照)。
また,従来,動きベクトル予測残差を求めて動きベクトルを符号化するのではなく,符号化対象ブロックの動きベクトルそのものを予測する技術として,テンプレートマッチングによる動きベクトル予測の技術(以下,従来技術cという)がある。この従来技術cは,符号化側において動きベクトルを符号化しないで動き補償をするための動きベクトル予測方法である(非特許文献3参照)。
図14は,従来のテンプレートマッチングによる動きベクトル予測を説明する図である。従来技術cでは,符号化対象ブロックの動きベクトルを予測するにあたり,図14に逆L字型の領域として示されるような,符号化対象ブロックの近隣で,なおかつ符号化済みの画素の集合(これをテンプレートと呼ぶ)を利用して,参照画像上で所定の探索範囲について動き探索を行う(この処理をテンプレートマッチングと呼ぶ)。具体的には,所定の探索範囲内の各動きベクトルについて,参照画像上でテンプレートと同じ位置にある領域を動きベクトル分だけずらした領域(マッチング領域と呼ぶ)と,テンプレートとの間でSAD(Sum of Absolute Differences )などの類似度を求めて探索をする。それによって得られた動きベクトルを利用して動き補償を行う。復号側でも復号済み画素の集合であるテンプレートで同じ処理が可能であるため,動きベクトルを符号化しないで動き補償ができる利点がある。
角野,菊池,鈴木,"改訂三版H.264/AVC教科書",インプレスR&D発行,2009, pp. 123-125. T. Yamamoto, "A new scheme for motion vector predictor encoding ", ITU-T SG16/Q6, 32nd VCEG Meeting, San Jose, April 2007. 小林,鈴木,ブン,堀越,"テンプレートマッチングを用いた動き予測方法に伴う予測情報量削減",画像符号化シンポジウム資料,2005,pp. 17-18.
前述した従来技術a,bでは,近隣のブロックに予測に有効な参照動きベクトルがない場合に,動きベクトルの予測効率が低下する。符号化対象ブロックの近隣だけでなく,より広範囲に含まれる多数のブロックの参照動きベクトルを予測に利用することも考えられる。しかし,従来技術の方法でこれを行った場合,予測効率や符号化効率の悪化をまねく。
図15は,従来技術の問題を説明する図である。図15に示すように,符号化対象ブロックの近隣ブロックが被写体Objの境界である場合とオクルージョンがある場合(参照画像において近隣ブロックの対応点が何らかの被写体で隠れている場合),また,被写体が剛体でない場合には,当該近隣ブロックの参照動きベクトルが,符号化対象ブロックの動きベクトル予測に適していないか,イントラ符号化が行われて参照動きベクトル自体が存在しないことがある。このような場合,従来技術aおよび従来技術bのいずれにおいても,予測効率が悪くなる。
一方,図15に点線で示すブロックのように,候補に含まれないブロックの動きベクトルのほうが予測に有効になる場合がある。このような動きベクトルを予測に利用するために,最近隣のブロックだけを候補とするのではなく,候補となるブロックを多くすることが容易に類推できる。しかし,候補となるブロックを多くした場合,従来技術aにおいては適切でない参照動きベクトルが候補に含まれて予測効率が逆に悪化するおそれがある。また,従来技術bでは,予測に利用する参照動きベクトルの識別子の符号量の増加を招くため,符号化効率が逆に悪化するおそれがある。
これに対して,従来技術cは,符号化側で動きベクトルを符号化しないで動き補償をするための動きベクトル予測方法である。そこで,これを前述の従来技術の課題に対して応用することを考える。すなわち,従来技術cのテンプレートマッチングを用いて予測動きベクトルを作成し,これと通常の動き探索により求めた符号化対象ブロックの動きベクトルとから動きベクトル予測残差を求めて符号化することを考える。この場合,次の問題がある。
従来技術cによる動きベクトル予測では,従来技術aや従来技術bと異なり,符号化対象ブロックの近隣ブロックの符号化済み動きベクトルを利用しないで探索を行うことができる。このため,符号化済み動きベクトルが予測に有効でない場合にも,有効な予測動きベクトルを作成できる可能性がある。しかしながら,テンプレートのみから予測動きベクトルを決定してしまうため,符号化対象ブロックとは無関係な領域を指す動きベクトルを予測動きベクトルとしてしまい,予測効率が悪化する場合がある。
本発明は,上記課題の解決を図り,動きベクトルの予測効率を向上させ,動画像の符号化効率を向上させることを目的とする。ここで,動きベクトルの予測効率とは,予測の対象となる動きベクトルと予測動きベクトルとの類似の度合いを意味する。具体的には,これらの2つのベクトルの差分ベクトルの長さが小さい場合に予測効率が高いとする。
本発明の概要は,以下のとおりである。本発明は,符号化側および復号側の各ブロックについて,以下の方法で動きベクトル予測を行う。
(1)符号化対象画像および符号化済み画像の少なくとも一方において,符号化対象ブロックの位置によって定まる,符号化済みの多数(N個)の1次候補ブロックの動きベクトルを,1次候補参照動きベクトルとして利用する。
(2)復号側で符号化(復号)対象ブロックを復号開始する時点ですでに復号済みの情報のみを利用して,各1次候補参照動きベクトルがどれだけ予測に適しているかを示す評価値(以下,信頼度)を求める。
(3)信頼度に応じて,1次候補参照動きベクトルをM(<N)個の2次候補参照動きベクトルに絞り込む。
(4)M個の2次候補参照動きベクトルを利用して予測動きベクトルを作成する。
詳しくは,本発明では,従来と同様な動きベクトル予測符号化(下記の処理4)の前処理として,以下の処理1〜処理3を行う。
[処理1]符号化対象画像における符号化対象ブロックの位置に対して,予め定められた相対的な位置にあり,符号化対象画像中の符号化済みブロックおよび符号化済み画像における符号化済みブロックの少なくとも一方からなるN個(Nは2以上の整数)のブロックを1次候補ブロックとして設定し,1次候補ブロックの符号化に用いた動きベクトルからN個の1次候補参照動きベクトルを決定する。
[処理2]次に,N個の1次候補参照動きベクトルのそれぞれについて,符号化対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を,符号化済みまたは復号済みの画像情報を用いて算出する。
[処理3]N個の1次候補参照動きベクトルの中で信頼度が大きい上位M個(Mは1以上かつN未満の整数)の1次候補参照動きベクトルを,2次候補参照動きベクトルとして選出する。
[処理4]2次候補参照動きベクトルを用いて符号化対象ブロックの予測動きベクトルを算出し,符号化対象ブロックの動き探索で求めた動きベクトルと,予測動きベクトルとの残差を,動きベクトルの符号化情報として符号化する。2次候補参照動きベクトルを用いて符号化対象ブロックの予測動きベクトルを算出する処理としては,例えば,M個の2次候補参照動きベクトルの中央値を選ぶとか,M個の2次候補参照動きベクトルの中で最も予測残差が小さくなる2次候補参照動きベクトルを選択し,その動きベクトルの識別子を予測残差とともに符号化するなどの,従来方法を用いることができる。
以上のように,本発明では,符号化対象ブロックの近隣のブロックだけでなく,符号化対象画像および符号化済み画像の少なくとも一方における,予め定められた範囲の多数の1次候補ブロックの動きベクトルから1次候補参照動きベクトルを決める。そして,各々の1次候補参照動きベクトルについて,符号化済みの情報または復号済みの情報を利用して信頼度の計算を行う。1次候補参照動きベクトルを信頼度に応じて絞り込み,絞り込んだ結果を2次候補参照動きベクトルとする。以降の処理は,2次候補参照動きベクトルを入力として,例えば従来の動きベクトル予測符号化と同じ方法を用いて予測動きベクトルを求め,予測動きベクトルと動きベクトルとの予測残差を符号化する。
本発明による動きベクトル予測復号の場合にも,予め定められた多数の1次候補ブロックの動きベクトルを1次候補参照動きベクトルとする。そして,各々の1次候補参照動きベクトルについて,復号済みの情報を利用して信頼度の計算を行う。1次候補参照動きベクトルを信頼度に応じて絞り込み,絞り込んだ結果を2次候補参照動きベクトルとする。以降の処理は,2次候補参照動きベクトルを入力として,従来の動きベクトル予測復号と同じ方法を用いて予測動きベクトルを求め,復号した予測残差に予測動きベクトルを加算して動きベクトルを算出する。
信頼度の算出方法としては,例えば符号化対象ブロックに隣接する符号化済み画素の集合をテンプレートとして用い,参照画像上でテンプレートと空間的に同じ領域を1次候補参照動きベクトル分だけずらした領域であるマッチング対象領域とテンプレートとの類似度を算出し,その類似度を信頼度とする方法を用いることができる。また,各1次候補参照動きベクトルを算出する元になった1次候補ブロックの動き補償における復号予測残差信号の小ささを信頼度の指標として用いて,信頼度を算出してもよい。
本発明では,上記処理1〜3を行うことで,参照動きベクトルの絞り込みを行う。この絞り込みは,復号側でも符号化側からの付加情報なしで実現でき,なおかつ,2次候補参照動きベクトルには,予測に有効な動きベクトルが含まれる。このため,前述した従来技術a,b,cより予測効率が向上する。
また,一般的に,動きベクトルの予測効率が向上すると,動きベクトル予測残差のエントロピーが減少し,動きベクトルの符号量が小さくなる。動画像の符号化データは動きベクトルの符号量を含むため,従来技術a,b,cを利用した方式よりも動画像の符号化効率が向上する。
また,多数の1次候補ブロックから多様性のある1次候補参照動きベクトルを設定することができ,また,これらの1次候補参照動きベクトルは符号化に利用された動きベクトルであるために,動画像の被写体の動きに対応しており,動きベクトル予測に有効な動きベクトルが含まれる可能性が高い。本発明では,これらの1次候補参照動きベクトルについてのみ信頼度を求めるので,従来技術cよりも少ない演算量で高い予測効率を実現することができる。
本発明の実施形態に係る動画像符号化装置の構成例を示す図である。 図1に示す動き補償部の詳細な構成例を示す図である。 本発明の実施形態に係る動画像復号装置の構成例を示す図である。 図3に示す動き補償部の詳細な構成例を示す図である。 動きベクトル予測処理のフローチャートである。 1次候補ブロックの設定例を説明する図である。 1次候補ブロックの設定例を説明する図である。 1次候補参照動きベクトルの設定例を説明する図である。 信頼度算出処理の一例を示すフローチャートである。 テンプレートマッチングを用いた信頼度の求め方を説明する図である。 参照動きベクトル決定処理のフローチャートである。 他の参照動きベクトル決定処理のフローチャートである。 従来の動画像符号化装置における動き補償部の構成例を示す図である。 従来の動画像復号装置における動き補償部の構成例を示す図である。 従来の動きベクトルの予測符号化方式の例を説明する図である。 従来のテンプレートマッチングによる動きベクトル予測を説明する図である。 従来技術の問題を説明する図である。
以下,図面を用いて,本発明の実施形態を詳細に説明する。
図1は,本発明の実施形態に係る動画像符号化装置の構成例を示す図である。本実施形態の動画像符号化装置1において,特に動き補償部18の部分が従来技術と異なる部分であり,他の部分は,H.264その他でエンコーダとして用いられている従来の一般的な動画像符号化装置と同様である。
動画像符号化装置1は,符号化対象の映像信号を入力し,入力映像信号のフレームをブロックに分割してブロックごとに符号化し,その符号化データをビットストリームとして出力する。
この符号化のため,予測残差信号算出部10は,入力映像信号と動き補償部18の出力である予測信号との差分を求め,それを予測残差信号として出力する。直交変換部11は,予測残差信号に対して離散コサイン変換(DCT)等の直交変換を行い,変換係数を出力する。量子化部12は,変換係数を量子化し,その量子化された変換係数を出力する。情報源符号化部13は,量子化された変換係数をエントロピー符号化し,ビットストリームとして出力する。
一方,量子化された変換係数は,逆量子化部14にも入力され,ここで逆量子化される。逆直交変換部15は,逆量子化部14の出力である変換係数を逆直交変換し,予測残差復号信号を出力する。復号信号算出部16では,この予測残差復号信号と動き補償部18の出力である予測信号とを加算し,符号化した符号化対象ブロックの復号信号を生成する。この復号信号は,動き補償部18における動き補償の参照画像として用いるために,フレームメモリ17に格納される。
動き補償部18は,符号化対象ブロックの映像信号について,フレームメモリ17に格納された参照画像を参照して動き探索を行い,符号化対象ブロックの予測信号を出力する。また,動き補償部18は,動き探索の結果の動きベクトルについても予測符号化するために,符号化済みの情報を用いて動きベクトルの予測を行い,動き探索の結果の動きベクトルと,予測動きベクトルとの差分を算出して,結果を動きベクトル予測残差として情報源符号化部13へ出力する。
ここで,動き補償部18は,動きベクトルの予測にあたって,単に符号化対象ブロックの近隣にある符号化済みブロックの動きベクトルを用いるのではなく,符号化対象ブロックの位置に対して,予め定められた相対的な位置にある多数の符号化済みの1次候補ブロックを設定し,その1次候補ブロックの符号化に用いた動きベクトルから1次候補参照動きベクトルを設定し,その1次候補参照動きベクトルの信頼度を符号化済みの情報から算出し,信頼度に応じて少数の2次候補参照動きベクトルに絞り込んでから,2次候補参照動きベクトルを用いて予測動きベクトルを算出する。2次候補参照動きベクトルを用いて予測動きベクトルを算出する処理は,従来技術と同様な動きベクトルの予測手法を用いて行うことができる。
図2は,図1に示す動き補償部18の詳細な構成例を示す図である。動き補償部18は,図2に示すように,動き探索部181,動きベクトルメモリ182,1次候補ブロックの動きベクトル読み出し部183,信頼度計算部184,参照動きベクトル決定部185,動きベクトル予測部186,動きベクトル予測残差算出部187を備える。
符号化対象ブロックの符号化における動き補償において,まず,動き探索部181は,入力映像信号の符号化対象ブロックについて,既に符号化済みの参照画像の復号信号と照合する動き探索を行い,予測信号を生成して出力するとともに,マッチング位置を示す動きベクトルを出力する。この動きベクトルは動きベクトルメモリ182に格納され,また,動きベクトル予測残差算出部187に出力される。
1次候補ブロックの動きベクトル読み出し部183は,過去に符号化されて動きベクトルメモリ182に格納されている,予め定められた位置にあるN個(Nは2以上の整数)の1次候補ブロックの動きベクトルを読み出し,これら動きベクトルを1次候補参照動きベクトルとして設定し,信頼度計算部184に通知する。
信頼度計算部184は,N個の1次候補参照動きベクトルのそれぞれについて,符号化済みの画像情報(復号信号)を用いて,符号化対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を算出する。
参照動きベクトル決定部185は,信頼度計算部184が算出した信頼度が大きい順に上位からM個(Mは1以上かつN未満の整数)の1次候補参照動きベクトルを,2次候補参照動きベクトルとして選出する。
動きベクトル予測部186は,参照動きベクトル決定部185が選出した2次候補参照動きベクトルを用いて,符号化対象ブロックの予測動きベクトルを算出する。この動きベクトル予測部186での予測動きベクトルの算出方法は従来技術と同様でよく,例えば2次候補参照動きベクトルの中の中央値(メディアン)を予測動きベクトルとする。また,2次候補参照動きベクトルの中で動き探索部181が求めた動きベクトルと最も近い値を持つものを予測動きベクトルとし,その動きベクトルを示す識別子を符号化対象に加えて,復号側へ通知するようなことも可能である。
動きベクトル予測残差算出部187は,動き探索部181が算出した動きベクトルと,動きベクトル予測部186が算出した予測動きベクトルとの残差を算出し,算出された残差を動きベクトル予測残差として出力する。
図3は,本発明の実施形態に係る動画像復号装置の構成例を示す図である。本実施形態の動画像復号装置2において,特に動き補償部25の部分が従来技術と異なる部分であり,他の部分は,H.264その他でデコーダとして用いられている従来の一般的な動画像復号装置と同様である。
動画像復号装置2は,図1に示す動画像符号化装置1により符号化されたビットストリームを入力して復号することにより復号画像の復号信号を出力する。
この復号のために,情報源復号部20は,入力されたビットストリームに基づいて,復号対象ブロックの量子化変換係数をエントロピー復号するとともに,動きベクトル予測残差を復号する。逆量子化部21は,量子化変換係数を入力し,それを逆量子化して復号変換係数を出力する。逆直交変換部22は,復号変換係数に逆直交変換を施し,復号予測残差信号を出力する。復号信号算出部23では,動き補償部25で生成された予測信号と復号予測残差信号とを加算することで,復号対象ブロックの復号信号を生成する。この復号信号は,表示装置等の外部の装置に出力されるとともに,動き補償部25における動き補償の参照画像として用いるために,フレームメモリ24に格納される。
動き補償部25は,フレームメモリ24に格納された復号済みの情報を用いて動きベクトルの予測を行い,その予測動きベクトルと情報源復号部20が復号した動きベクトル予測残差とを加算して動きベクトルを算出し,その動きベクトルをもとにフレームメモリ24の参照画像を参照して,復号対象ブロックの予測信号を生成する。
ここで,動き補償部25は,動きベクトルの予測にあたって,単に復号対象ブロックの近隣にある復号済みブロックの動きベクトルを用いるのではなく,復号対象ブロックの位置に対して,予め定められた相対的な位置にある多数の復号済みの1次候補ブロックを設定し,その1次候補ブロックの復号に用いた動きベクトルから1次候補参照動きベクトルを設定する。また,動き補償部25は,その1次候補参照動きベクトルの信頼度を復号済みの情報から算出し,信頼度に応じて少数の2次候補参照動きベクトルに絞り込んでから,2次候補参照動きベクトルを用いて予測動きベクトルを算出する。2次候補参照動きベクトルを用いて予測動きベクトルを算出する処理は,従来技術と同様な動きベクトルの予測手法を用いて行うことができる。
図4は,図3に示す動き補償部25の詳細な構成例を示す図である。動き補償部25は,図4に示すように,動きベクトル算出部251,予測信号作成部252,動きベクトルメモリ253,1次候補ブロックの動きベクトル読み出し部254,信頼度計算部255,参照動きベクトル決定部256,動きベクトル予測部257を備える。
復号対象ブロックの復号における動き補償において,まず,動きベクトル算出部251は,符号化ビットストリームを復号して得られた動きベクトル予測残差と,動きベクトル予測部257が復号済みの情報を用いて予測した予測動きベクトルとを加算し,復号に用いる動きベクトルを出力する。この動きベクトルは動きベクトルメモリ253に格納され,また,予測信号作成部252に出力される。予測信号作成部252は,入力された動きベクトルが示す参照画像位置の復号信号を読み出し,復号対象ブロックの予測信号として出力する。
1次候補ブロックの動きベクトル読み出し部254は,過去に復号されて動きベクトルメモリ253に格納されている,予め定められた位置にあるN個(Nは2以上の整数)の1次候補ブロックの動きベクトルを読み出し,これら動きベクトルを1次候補参照動きベクトルとして設定し,信頼度計算部255に通知する。
信頼度計算部255は,N個の1次候補参照動きベクトルのそれぞれについて,復号済みの画像情報(復号信号)を用いて,復号対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を算出する。
参照動きベクトル決定部256は,信頼度計算部255が算出した信頼度が大きい順に上位からM個(Mは1以上かつN未満の整数)の1次候補参照動きベクトルを,2次候補参照動きベクトルとして選出する。
動きベクトル予測部257は,参照動きベクトル決定部256が選出した2次候補参照動きベクトルを用いて,復号対象ブロックの予測動きベクトルを算出する。この動きベクトル予測部257での予測動きベクトルの算出方法は従来技術と同様でよく,例えば2次候補参照動きベクトルの中の中央値(メディアン)を予測動きベクトルとする。または,符号化側で予測に用いる動きベクトルの識別子を指定している場合には,その識別子が示す動きベクトルを予測動きベクトルとする。
次に,動画像符号化装置1における動き補償部18および動画像復号装置2における動き補償部25が行う処理のうち,本発明に関連する動きベクトル予測の処理について,図5〜図10Bに従って説明する。以下では,主に符号化側の動きベクトル予測の処理を中心に説明するが,復号側における動きベクトル予測の処理もまったく同様である。
図5は,動きベクトル予測処理のフローチャートを示している。
[ステップS1の処理]
最初に,1次候補ブロックの動きベクトル読み出し部183(または254)は,N個の1次候補ブロックの動きベクトルを,動きベクトルメモリ182(または253)から読み出す。
ここで,1次候補ブロックの設定例を図6Aおよび図6Bに従って説明する。1次候補ブロックは,符号化(復号)対象ピクチャから選択して設定することもでき,また符号化済みピクチャから選択して設定することもできる。
図6Aは,符号化対象ピクチャ3内の符号化済みブロックを1次候補ブロックとして設定する例を示している。この場合,符号化対象ブロック31の近隣にある多数(この例では10個)の符号化済みブロックB1〜B10が1次候補ブロックとして設定される。復号側でも,符号化側で用いた1次候補ブロックと同じ位置にある復号済みブロックを,1次候補ブロックとして設定することができる。
図6Bは,符号化済みピクチャ30内の符号化済みブロックを1次候補ブロックとして設定する例を示している。例えば,符号化済みピクチャ30内にあるブロックB11(対応位置ブロック)の位置が,符号化対象ピクチャ3における符号化対象ブロック31の位置と同じであるとすると,そのブロックB11とその周囲のいくつかのブロックB12〜B19を1次候補ブロックとして設定している。
1次候補ブロック群から,できるだけ多様性のある1次候補参照動きベクトルを設定するために,図6Aのように符号化対象ピクチャ3から1次候補ブロックを選択する方法と,図6Bのように符号化済みピクチャ30から1次候補ブロックを選択する方法とを組み合わせるのも好適である。例えば,符号化対象ピクチャ3からN1 個の符号化済みブロックを選び,符号化済みピクチャ30からN2 個の符号化済みブロックを選んで,合計N個(N=N1 +N2 )の1次候補ブロックを設定する。
なお,1枚の符号化済みピクチャのブロックを1次候補ブロックとして設定するだけでなく,複数枚の符号化済みピクチャのブロックを1次候補ブロックとして設定するようにしてもよい。
[ステップS2の処理]
1次候補ブロックの動きベクトル読み出し部183は,N個の1次候補ブロックの各々について,符号化済みピクチャ(または復号済みピクチャ)のブロックであるかどうかを判定する。1次候補ブロックが符号化済みピクチャのブロックである場合には,1次候補ブロックの動きベクトル読み出し部183は,次のステップS3を実行する。
[ステップS3の処理]
1次候補ブロックが符号化済みピクチャのものであれば,その符号化に利用された動きベクトルそのものを1次候補参照動きベクトルとするのではなく,符号化対象ピクチャの参照画像に対応するように動きベクトルを加工する。
動きベクトルの加工は,例えば次のように行う。符号化対象ブロックのピクチャの時刻をTe とし,1次候補ブロック(符号化に利用した動きベクトルはVc )を含む符号化済みピクチャの時刻をTc とし,符号化対象ブロックが参照するピクチャの時刻をTr とし,1次候補ブロックが参照するピクチャの時刻をTr2としたとき,以下の式により加工した1次候補参照動きベクトルVを算出する。
V=Vc ×(Tr −Te )/(Tr2−Tc
上記のピクチャの「時刻」は,ピクチャの表示時刻情報や,H.264の規格で定義されているPOC(Picture Order Count )など,ピクチャの相対的な時間関係を示すものであればどのようなものでもよい。
図7に,符号化済みピクチャの1次候補ブロックに対する1次候補参照動きベクトルの設定例を示す。符号化済みピクチャは,インターピクチャ(動き補償を行って符号化するピクチャ)であれば,どのようなピクチャでもよい。例えば,H.264におけるBピクチャの場合,前後のPピクチャを利用できる場合がある。
図7の例で,P2が符号化対象ピクチャ3であり,P4が1次候補ブロックの存在する符号化済みピクチャ30であるとする。また,P1〜P4のうち,P1とP4がPピクチャであり,P2とP3がBピクチャであるとする。P2の符号化対象ピクチャ3はP4の符号化済みピクチャ30を参照画像とし,P4の符号化済みピクチャ30は,P1を参照画像としている。
P4の符号化済みピクチャ30における1次候補ブロックの動きベクトルVp4(図中,点線の矢印)は,P1の符号化済みピクチャに対するものである。したがって,P1とP4間の時間的距離L1およびP2とP4間の時間的距離L2および参照の方向性から,1次候補参照動きベクトルV(図中,実線の矢印)は,次式により算出される。
V=−Vp4×L2/L1
すなわち,前述した1次候補参照動きベクトルVを算出する式「V=Vc ×(Tr −Te )/(Tr2−Tc )」に当てはめると,Vp4=Vc ,ピクチャP2の時刻がTe ,ピクチャP4の時刻がTc =Tr ,ピクチャP1の時刻がTr2となる。この式により,1次候補ブロックの動きベクトルVp4を加工して,1次候補参照動きベクトルVとして用いることができるようにする。
[ステップS4の処理]
1次候補ブロックの動きベクトル読み出し部183(または254)は,以上の処理によってN個の1次候補ブロックから得られた動きベクトルを,1次候補参照動きベクトルとして設定し,信頼度計算部184(または255)に通知する。
[ステップS5の処理]
信頼度計算部184(または255)は,設定されたN個の1次候補参照動きベクトルの各々について,符号化済みの情報を用いて信頼度を算出する。ここで,信頼度は,符号化(復号)対象ブロックでの動きベクトル予測における1次候補参照動きベクトルの有効性を定量的に表現したものである。この信頼度は,N個の1次候補参照動きベクトルについて,復号側で符号化対象ブロックの復号を開始する時点ですでに復号済みの情報のみを利用して計算する。
図8は,信頼度算出処理の一例を示すフローチャートである。また,図9は,テンプレートマッチングを用いた信頼度の求め方を説明する図である。
信頼度の求め方の一例として,テンプレートマッチングを応用する方法について説明する。図9の符号化対象ピクチャ3において,符号化対象ブロック31の予測動きベクトルを求めるものとする。テンプレート32は,符号化対象ブロック31に隣接する,符号化済み画素の集合(この例では符号化対象ブロック31の左と上の画素群で構成される逆L字型の領域)である。なお,逆L字型の領域の幅(厚さ)は,例えば2画素程度であるが1画素でも3画素以上でもよい。参照画像4は,符号化済みまたは復号済みのピクチャである。参照画像4における対応位置ブロック41は,符号化対象ピクチャ3内の符号化対象ブロック31の位置と同じ位置にあるブロックである。
図8の信頼度算出処理において,ステップS51では,参照画像4上で,テンプレート32と空間的に同じ領域(対応位置ブロック41に隣接する逆L字型の領域)を,信頼度を計算しようとしている1次候補参照動きベクトルVi 分だけずらした領域を求め,これをマッチング対象領域42として取得する。
次に,ステップS52では,符号化対象ブロック31のテンプレート32と,参照画像4におけるマッチング対象領域42との類似度を算出し,これを1次候補参照動きベクトルVi の信頼度として設定する。
類似度の指標の一例としては,SAD(Sum of Absolute Differences )がある。SADが小さいほど,当該1次候補参照動きベクトルVi は,符号化対象ブロック31の動きに近い可能性が高いため,信頼度が高い参照動きベクトルと捉える。信頼度計算部184で利用する信頼度の指標としては,テンプレート32とマッチング対象領域42の類似度を示すものであれば,他のものでもよい。前述のSADの他にはSSD(Sum of Squared Differences),SATD(Sum of Absolute Transformed Differences )などを用いることができる。これらは,いずれも値が小さいほど信頼度が高いことを示す尺度となる。
テンプレート32は,符号化対象ブロック31の画像信号と相関が高いため,これによる類似度を用いると,動きベクトル予測に有効な2次候補参照ブロックを特定することができる。
また,信頼度を算出する別の方法として,1次候補ブロックの動き補償における復号予測残差信号の小ささを利用する方法を用いることもできる。復号予測残差信号が大きい場合,その1次候補ブロックは被写体境界である可能性が高く,したがって動きベクトル予測に有効でない動きベクトルである可能性が高い。そこで,復号予測残差信号が小さいほど信頼度が高いとする。復号予測残差信号の小ささの指標としては,復号予測残差信号の絶対値和,二乗和等を用いることができる。
[ステップS6の処理]
次に,参照動きベクトル決定部185(または256)において,各1次候補参照動きベクト・BR>汲フ信頼度情報に基づき,N個の1次候補参照動きベクトルをM個(1≦M<N)の2次候補参照動きベクトルに絞り込む。
図10Aは,参照動きベクトル決定処理のフローチャートである。ステップS61では,参照動きベクトル決定部185は,信頼度計算部184で計算した1次候補参照動きベクトルの信頼度を降順に並べ,信頼度が上位M個の1次候補参照動きベクトルを2次候補参照動きベクトルとして設定する。
図10Bは,他の参照動きベクトル決定処理のフローチャートであり,1次候補参照動きベクトルの数がM個に満たない場合を考慮したときの参照動きベクトル決定処理の例を示している。
例えば,1次候補参照動きベクトルに多数のイントラブロックが含まれる場合など,1次候補参照動きベクトルの数が所定数のM個に満たない場合があり得る。この場合には,次のように2次候補参照動きベクトルを参照動きベクトルとして決定する。
まず,ステップS62では,1次候補参照動きベクトルの数Nは,Mより大きいかどうかを判定する。NがMより大きい場合には,処理がステップS63へ進み,前述したステップS61と同様に,信頼度について上位M個の1次候補参照動きベクトルを2次候補参照動きベクトルとして設定する。実際に用いることができる1次候補参照動きベクトルの数NがMより大きくない場合には,処理がステップS64へ進み,N個の1次候補参照動きベクトルを2次候補参照動きベクトルとして設定する。
[ステップS7の処理]
動きベクトル予測部186(または257)は,参照動きベクトル決定部185が選出した2次候補参照動きベクトルを利用して,符号化対象ブロックの予測動きベクトルを作成する。本発明において重要なポイントは,多数の1次候補参照動きベクトルを信頼度によって絞り込むことにより,信頼度の高い2次候補参照動きベクトルを用いて,動きベクトル予測残差を算出するための予測動きベクトルを求める点にある。したがって,2次候補参照動きベクトルから予測動きベクトルを求める処理は,図11や図12で説明した従来技術の動きベクトル予測部103(または204)の処理と同様でよい。しかし,必ずしも従来技術と同じ処理でなければならないわけではなく,異なる処理によって予測動きベクトルを求めて,本発明を実施することもできる。
以上の例では,N個の1次候補ブロックからN個の1次候補参照動きベクトルを設定する例を説明した。しかし,さらに,次のように1次候補参照動きベクトルを設定することもできる。符号化済みブロックの動きベクトルを候補とするときに,これらの動きベクトルについて所定範囲内の動きベクトルについても,1次候補参照動きベクトルとする。例えば,ある符号化済みブロックの動きベクトルを(10,20)とし,所定範囲を,X,Y方向にそれぞれ±1の範囲とした場合,(10,20)の動きベクトルに加え,(9,20),(11,20),(10,19),(10,21),(9,19),(9,21),(11,19),(11,21)の動きベクトルも候補となる。つまり,1つの符号化済みブロックの動きベクトルに対して合計9個の1次候補参照動きベクトルが候補となる。最初に候補に入れる符号化済みブロックの動きベクトルをK個として,K個すべての周辺も候補に入れると,9×K個の1次候補参照動きベクトルを利用することになる。ただし,復号側と共通であれば,すべての符号化済みブロックの動きベクトルの周辺を候補に入れるのではなく,一部分でもよい。
このような設定の効果としては,符号化済みブロックの動きベクトルの周辺も考慮に入れることにより,動きベクトルの予測効率がさらに向上するということが挙げられる。
以上説明した動きベクトル予測符号化の処理および動きベクトル予測復号の処理は,コンピュータとソフトウェアプログラムとによっても実現することができる。また,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。
以上,本発明の実施形態について図面を参照して詳述したが,具体的な構成はこれら実施形態に限られるものではなく,本発明の要旨を逸脱しない範囲の設計等(構成の付加,省略,置換,およびその他の変更)も含まれる。本発明は前述した説明によって限定されることはなく,添付の請求の範囲によってのみ限定される。
本発明は,例えば,動きベクトルを予測符号化する動画像符号化に利用することができる。本発明によれば,動きベクトルの予測効率が向上し,また,動画像の符号化効率が向上する。
1 動画像符号化装置
2 動画像復号装置
10 予測残差信号算出部
11 直交変換部
12 量子化部
13 情報源符号化部
14,21 逆量子化部
15,22 逆直交変換部
16 復号信号算出部
17,24 フレームメモリ
18,25 動き補償部
181 動き探索部
182,253 動きベクトルメモリ
183,254 1次候補ブロックの動きベクトル読み出し部
184,255 信頼度計算部
185,256 参照動きベクトル決定部
186,257 動きベクトル予測部
187 動きベクトル予測残差算出部
20 情報源復号部
23 復号信号算出部
251 動きベクトル算出部
252 予測信号作成部

Claims (14)

  1. 符号化対象画像をブロックに分割し,ブロックごとに動き補償を用いて符号化する動画像符号化方式における動きベクトル予測符号化方法において,
    符号化済みの参照画像を用いて,前記符号化対象画像における符号化対象ブロックの動き探索を行い,動きベクトルを算出するステップと,
    前記符号化対象画像における前記符号化対象ブロックの位置に対して,予め定められた相対的な位置にあり,前記符号化対象画像中の符号化済みブロックおよび符号化済み画像における符号化済みブロックの少なくとも一方からなる複数個のブロックを1次候補ブロックとして設定し,前記1次候補ブロックの符号化に用いた動きベクトルからN個(Nは2以上の整数)の1次候補参照動きベクトルを決定するステップと,
    前記1次候補参照動きベクトルの,前記符号化対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を,前記1次候補参照動きベクトルのそれぞれについて符号化済みの画像情報を用いて算出するステップと,
    前記N個の1次候補参照動きベクトルの中から,信頼度が大きい上位M個(Mは1以上かつN未満の所定の整数)の1次候補参照動きベクトルを,2次候補参照動きベクトルとして選出するステップと,
    前記2次候補参照動きベクトルを用いて前記符号化対象ブロックの予測動きベクトルを算出し,前記符号化対象ブロックの動き探索で求めた前記動きベクトルと,前記予測動きベクトルとの残差を,前記動きベクトルの符号化情報として符号化するステップとを有する
    動きベクトル予測符号化方法。
  2. 請求項1記載の動きベクトル予測符号化方法において,
    N個設定すべき前記1次候補参照動きベクトルが前記M個より小さいM′個しか設定できなかった場合に,M′個の1次候補参照動きベクトルを,前記2次候補参照動きベクトルとして選出する
    動きベクトル予測符号化方法。
  3. 請求項1または請求項2記載の動きベクトル予測符号化方法において,
    前記1次候補参照動きベクトルの信頼度を算出するステップでは,前記符号化対象ブロックに隣接する符号化済み画素の集合をテンプレートとして用い,前記参照画像上で前記1次候補参照動きベクトル分だけ前記テンプレートの領域をずらした領域をマッチング対象領域として設定し,前記テンプレートの前記符号化済み画素の集合と前記マッチング対象領域における画素の集合の類似度を前記信頼度として算出する
    動きベクトル予測符号化方法。
  4. 請求項1または請求項2記載の動きベクトル予測符号化方法において,
    前記1次候補参照動きベクトルの信頼度を算出するステップでは,前記1次候補参照動きベクトルに係る1次候補ブロックの動き補償における復号予測残差信号の小ささを信頼度の指標として,前記信頼度を算出する
    動きベクトル予測符号化方法。
  5. 請求項1から請求項4までのいずれか1項に記載の動きベクトル予測符号化方法において,
    前記1次候補参照動きベクトルを決定するステップでは,前記1次候補ブロックの符号化に用いた前記動きベクトルと,当該動きベクトルの各々を基準とした所定範囲内の動きベクトルとから,前記1次候補参照動きベクトルを決定する
    動きベクトル予測符号化方法。
  6. ブロックに分割されて符号化された動画像の復号対象画像を,ブロックごとに動き補償を用いて復号する動画像復号方式における動きベクトル予測復号方法において,
    復号対象ブロックの動きベクトル予測残差を復号するステップと,
    前記復号対象画像における前記復号対象ブロックの位置に対して,予め定められた相対的な位置にあり,前記復号対象画像中の復号済みブロックおよび復号済み画像における復号済みブロックの少なくとも一方からなる複数個のブロックを1次候補ブロックとして設定し,前記1次候補ブロックの復号に用いた動きベクトルからN個(Nは2以上の整数)の1次候補参照動きベクトルを決定するステップと,
    前記1次候補参照動きベクトルの,前記復号対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を,前記1次候補参照動きベクトルのそれぞれについて復号済みの画像情報を用いて算出するステップと,
    前記N個の1次候補参照動きベクトルの中から,信頼度が大きい上位M個(Mは1以上かつN未満の所定の整数)の1次候補参照動きベクトルを,2次候補参照動きベクトルとして選出するステップと,
    前記2次候補参照動きベクトルを用いて前記復号対象ブロックの予測動きベクトルを算出し,前記復号した動きベクトル予測残差に前記予測動きベクトルを加算して前記復号対象ブロックの動きベクトルを算出するステップとを有する
    動きベクトル予測復号方法。
  7. 請求項6記載の動きベクトル予測復号方法において,
    N個設定すべき前記1次候補参照動きベクトルが前記M個より小さいM′個しか設定できなかった場合に,M′個の1次候補参照動きベクトルを,前記2次候補参照動きベクトルとして選出する
    動きベクトル予測復号方法。
  8. 請求項6または請求項7記載の動きベクトル予測復号方法において,
    前記1次候補参照動きベクトルの信頼度を算出するステップでは,前記復号対象ブロックに隣接する復号済み画素の集合をテンプレートとして用い,復号済みの参照画像上で前記1次候補参照動きベクトル分だけ前記テンプレートの領域をずらした領域をマッチング対象領域として設定し,前記テンプレートの前記復号済み画素の集合と前記マッチング対象領域における画素の集合の類似度を前記信頼度として算出する
    動きベクトル予測復号方法。
  9. 請求項6または請求項7記載の動きベクトル予測復号方法において,
    前記1次候補参照動きベクトルの信頼度を算出するステップでは,前記1次候補参照動きベクトルに係る1次候補ブロックの動き補償における復号予測残差信号の小ささを信頼度の指標として,前記信頼度を算出する
    動きベクトル予測復号方法。
  10. 請求項6から請求項9までのいずれか1項に記載の動きベクトル予測復号方法において,
    前記1次候補参照動きベクトルを決定するステップでは,前記1次候補ブロックの復号に用いた前記動きベクトルと,当該動きベクトルの各々を基準とした所定範囲内の動きベクトルとから,前記1次候補参照動きベクトルを決定する
    動きベクトル予測復号方法。
  11. 符号化対象画像をブロックに分割し,ブロックごとに動き補償を用いて動画像を符号化する動画像符号化装置において,
    符号化済みの参照画像を用いて,前記符号化対象画像における符号化対象ブロックの動き探索を行い,動きベクトルを算出する動き探索部と,
    前記符号化対象画像における前記符号化対象ブロックの位置に対して,予め定められた相対的な位置にあり,前記符号化対象画像中の符号化済みブロックおよび符号化済み画像における符号化済みブロックの少なくとも一方からなる複数個のブロックを1次候補ブロックとして設定し,前記1次候補ブロックの符号化に用いた動きベクトルからN個(Nは2以上の整数)の1次候補参照動きベクトルを決定する1次候補参照動きベクトル決定部と,
    前記1次候補参照動きベクトルの,前記符号化対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を,前記1次候補参照動きベクトルのそれぞれについて符号化済みの画像情報を用いて算出する信頼度計算部と,
    前記N個の1次候補参照動きベクトルの中から,信頼度が大きい上位M個(Mは1以上かつN未満の所定の整数)の1次候補参照動きベクトルを,2次候補参照動きベクトルとして選出する参照動きベクトル決定部と,
    前記2次候補参照動きベクトルを用いて前記符号化対象ブロックの予測動きベクトルを算出し,前記符号化対象ブロックの動き探索で求めた前記動きベクトルと,前記予測動きベクトルとの残差を,前記動きベクトルの符号化情報として符号化する動きベクトル符号化部とを備える
    動画像符号化装置。
  12. ブロックに分割されて符号化された動画像の復号対象画像を,ブロックごとに動き補償を用いて復号する動画像復号装置において,
    復号対象ブロックの動きベクトル予測残差を復号する情報源復号部と,
    前記復号対象画像における前記復号対象ブロックの位置に対して,予め定められた相対的な位置にあり,前記復号対象画像中の復号済みブロックおよび復号済み画像における復号済みブロックの少なくとも一方からなる複数個のブロックを1次候補ブロックとして設定し,前記1次候補ブロックの復号に用いた動きベクトルからN個(Nは2以上の整数)の1次候補参照動きベクトルを決定する1次候補参照動きベクトル決定部と,
    前記1次候補参照動きベクトルの,前記復号対象ブロックでの動きベクトル予測における有効性を定量的に表す信頼度を,前記1次候補参照動きベクトルのそれぞれについて復号済みの画像情報を用いて算出する信頼度計算部と,
    前記N個の1次候補参照動きベクトルの中から,信頼度が大きい上位M個(Mは1以上かつN未満の所定の整数)の1次候補参照動きベクトルを,2次候補参照動きベクトルとして選出する参照動きベクトル決定部と,
    前記2次候補参照動きベクトルを用いて前記復号対象ブロックの予測動きベクトルを算出し,前記復号した動きベクトル予測残差に前記予測動きベクトルを加算して前記復号対象ブロックの動きベクトルを算出する動きベクトル算出部とを備える
    動画像復号装置。
  13. 請求項1から請求項5までのいずれか1項に記載の動きベクトル予測符号化方法を,コンピュータに実行させるための動きベクトル予測符号化プログラム。
  14. 請求項6から請求項10までのいずれか1項に記載の動きベクトル予測復号方法を,コンピュータに実行させるための動きベクトル予測復号プログラム。
JP2011553838A 2010-02-09 2011-02-08 動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラム Active JP5367098B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011553838A JP5367098B2 (ja) 2010-02-09 2011-02-08 動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010026130 2010-02-09
JP2010026130 2010-02-09
PCT/JP2011/052603 WO2011099468A1 (ja) 2010-02-09 2011-02-08 動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラム
JP2011553838A JP5367098B2 (ja) 2010-02-09 2011-02-08 動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラム

Publications (2)

Publication Number Publication Date
JPWO2011099468A1 true JPWO2011099468A1 (ja) 2013-06-13
JP5367098B2 JP5367098B2 (ja) 2013-12-11

Family

ID=44367741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011553838A Active JP5367098B2 (ja) 2010-02-09 2011-02-08 動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラム

Country Status (11)

Country Link
US (1) US9497481B2 (ja)
EP (1) EP2536150B1 (ja)
JP (1) JP5367098B2 (ja)
KR (2) KR20120112724A (ja)
CN (1) CN102823249B (ja)
BR (1) BR112012019676A2 (ja)
CA (1) CA2788954A1 (ja)
ES (1) ES2652337T3 (ja)
RU (1) RU2519526C2 (ja)
TW (1) TWI450592B (ja)
WO (1) WO2011099468A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
RU2519525C2 (ru) * 2010-02-09 2014-06-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы
KR20140077988A (ko) * 2010-02-09 2014-06-24 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램
CN102835110B (zh) * 2010-02-09 2015-07-29 日本电信电话株式会社 运动矢量预测编码方法、运动矢量预测解码方法、运动图像编码装置、运动图像解码装置及其程序
WO2012090397A1 (ja) * 2010-12-28 2012-07-05 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
CN103445152A (zh) * 2013-01-05 2013-12-18 胡素芳 一种萝卜汁加工方法
CN103248899B (zh) * 2013-05-21 2016-02-24 清华大学 多视点视频skip模式的运动矢量预测方法
JP6577852B2 (ja) * 2015-12-03 2019-09-18 キヤノン株式会社 動きベクトル検出装置およびその制御方法
US10834419B2 (en) 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
CN111543060B (zh) 2017-10-09 2024-03-08 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
JP7248013B2 (ja) 2018-03-30 2023-03-29 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
CN117294837A (zh) 2018-04-02 2023-12-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
WO2019234674A1 (en) 2018-06-07 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Integer motion compensation
TWI719519B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 對於dmvr的塊尺寸限制

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008171247A (ja) * 2007-01-12 2008-07-24 Sony Corp 動き検出装置、方法、及びプログラム
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
WO2010001917A1 (ja) * 2008-07-01 2010-01-07 ソニー株式会社 画像処理装置および方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
AU1941797A (en) 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6011870A (en) 1997-07-18 2000-01-04 Jeng; Fure-Ching Multiple stage and low-complexity motion estimation for interframe video coding
JP4573366B2 (ja) 1997-09-25 2010-11-04 株式会社大宇エレクトロニクス 動きベクトル符号化方法及び符号化装置
JP3540142B2 (ja) * 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
US6058143A (en) 1998-02-20 2000-05-02 Thomson Licensing S.A. Motion vector extrapolation for transcoding video sequences
CN100505878C (zh) 2001-11-06 2009-06-24 松下电器产业株式会社 运动画面编码方法及运动画面解码方法
JP2003224854A (ja) 2002-01-29 2003-08-08 Hitachi Ltd 動きベクトル検出装置及び画像処理装置並びにコンピュータ・ソフトウエア
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化/復号化方法及び装置
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
RU2338332C2 (ru) 2002-11-21 2008-11-10 Эл Джи Электроникс Инк. Способ предсказания блока изображения с использованием усовершенствованного режима прямого предсказания
JP4003128B2 (ja) * 2002-12-24 2007-11-07 ソニー株式会社 画像データ処理装置および方法、記録媒体、並びにプログラム
US7336707B2 (en) 2003-06-06 2008-02-26 Samsung Electronics Co., Ltd. Method and apparatus for detecting improper area for motion compensation in video signal
KR20050078706A (ko) 2004-01-31 2005-08-08 삼성전자주식회사 메모리 액세스 방법 및 메모리 액세스 장치
KR100946790B1 (ko) 2005-01-07 2010-03-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들 프로그램을 기록한 기록 매체
US20060153300A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
KR100931870B1 (ko) 2005-04-13 2009-12-15 노키아 코포레이션 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템
KR101276720B1 (ko) 2005-09-29 2013-06-19 삼성전자주식회사 카메라 파라미터를 이용하여 시차 벡터를 예측하는 방법,그 방법을 이용하여 다시점 영상을 부호화 및 복호화하는장치 및 이를 수행하기 위한 프로그램이 기록된 기록 매체
JP2008109632A (ja) 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
BRPI0808567A2 (pt) 2007-03-14 2014-09-02 Nippon Telegraph & Telephone Método e aparelho de pesquisa de vetor de movimento, programa para o mesmo, e meio de armazenamento, que armazena o programa
EP2119236A1 (en) 2007-03-15 2009-11-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
WO2008126059A2 (en) 2007-04-17 2008-10-23 Nokia Corporation Feedback based scalable video coding
TW200905030A (en) 2007-07-31 2009-02-01 Chinese Professional Fabric Industry Co Ltd A manufacturing method of optical-excitation fabric
TW200910971A (en) 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US8165210B2 (en) 2007-12-17 2012-04-24 Vixs Systems, Inc. Video codec with shared interpolation filter and method for use therewith
JP4513034B2 (ja) * 2008-02-20 2010-07-28 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
KR20090094595A (ko) 2008-03-03 2009-09-08 삼성전자주식회사 복수 참조에 의한 움직임 예측을 이용한 부호화 방법 및장치, 그리고 복수 참조에 의한 움직임 예측을 이용한복호화 방법 및 장치
WO2009113787A2 (en) * 2008-03-09 2009-09-17 Lg Electronics Inc. A method and an apparatus for encoding or decoding a video signal
EP2266318B1 (en) 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
KR101364195B1 (ko) 2008-06-26 2014-02-21 에스케이텔레콤 주식회사 움직임벡터 부호화/복호화 방법 및 그 장치
JP2010026130A (ja) 2008-07-17 2010-02-04 Ricoh Co Ltd 画像形成装置、画像形成方法およびプリント媒体
WO2010041856A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
CN102835110B (zh) * 2010-02-09 2015-07-29 日本电信电话株式会社 运动矢量预测编码方法、运动矢量预测解码方法、运动图像编码装置、运动图像解码装置及其程序
RU2519525C2 (ru) * 2010-02-09 2014-06-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы
KR20140077988A (ko) * 2010-02-09 2014-06-24 니폰덴신뎅와 가부시키가이샤 움직임 벡터 예측 부호화 방법, 움직임 벡터 예측 복호 방법, 동화상 부호화 장치, 동화상 복호 장치 및 그들의 프로그램

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008171247A (ja) * 2007-01-12 2008-07-24 Sony Corp 動き検出装置、方法、及びプログラム
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム
WO2010001917A1 (ja) * 2008-07-01 2010-01-07 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
ES2652337T3 (es) 2018-02-01
BR112012019676A2 (pt) 2016-05-03
KR101528361B1 (ko) 2015-06-12
CN102823249A (zh) 2012-12-12
JP5367098B2 (ja) 2013-12-11
US20120294371A1 (en) 2012-11-22
TWI450592B (zh) 2014-08-21
EP2536150A4 (en) 2014-06-04
TW201210349A (en) 2012-03-01
RU2012133449A (ru) 2014-03-27
CA2788954A1 (en) 2011-08-18
EP2536150A1 (en) 2012-12-19
RU2519526C2 (ru) 2014-06-10
KR20120112724A (ko) 2012-10-11
CN102823249B (zh) 2016-07-06
EP2536150B1 (en) 2017-09-13
WO2011099468A1 (ja) 2011-08-18
US9497481B2 (en) 2016-11-15
KR20140092904A (ko) 2014-07-24

Similar Documents

Publication Publication Date Title
JP5367098B2 (ja) 動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラム
JP5306486B2 (ja) 動きベクトル予測符号化方法,動きベクトル予測復号方法,動画像符号化装置,動画像復号装置およびそれらのプログラム
JP5367097B2 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JP5306485B2 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JP5216710B2 (ja) 復号化処理方法
JP5281597B2 (ja) 動きベクトル予測方法,動きベクトル予測装置および動きベクトル予測プログラム
JP5281596B2 (ja) 動きベクトル予測方法,動きベクトル予測装置および動きベクトル予測プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130910

R150 Certificate of patent or registration of utility model

Ref document number: 5367098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350