JP5441803B2 - 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム - Google Patents

動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム Download PDF

Info

Publication number
JP5441803B2
JP5441803B2 JP2010091826A JP2010091826A JP5441803B2 JP 5441803 B2 JP5441803 B2 JP 5441803B2 JP 2010091826 A JP2010091826 A JP 2010091826A JP 2010091826 A JP2010091826 A JP 2010091826A JP 5441803 B2 JP5441803 B2 JP 5441803B2
Authority
JP
Japan
Prior art keywords
motion vector
vector
unit
image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010091826A
Other languages
English (en)
Other versions
JP2011223423A (ja
Inventor
寛朗 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010091826A priority Critical patent/JP5441803B2/ja
Priority to US13/076,759 priority patent/US9113170B2/en
Publication of JP2011223423A publication Critical patent/JP2011223423A/ja
Application granted granted Critical
Publication of JP5441803B2 publication Critical patent/JP5441803B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は動画像符号化装置における動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラムに関する。
被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年では、動画像データを記録する記録媒体は、従来の磁気テープからランダムアクセス性などの利便性が高いディスク媒体や半導体メモリなどに移り変わってきている。また、圧縮方式としては、フレーム間で動き予測を用いて高い圧縮率で圧縮可能なMPEG2方式が一般的に用いられており、さらに近年では、より高圧縮に圧縮可能なH.264方式なども用いられている。
このような圧縮方式の符号化装置では、フレーム画像を分割した符号化単位であるマクロブロック単位にフレーム間の動きベクトルを探索し、動き補償することによって情報量を削減している。
動き補償することによって画像信号の情報量は削減されるが、動画像符号化の場合には動き情報も符号化する必要がある。そこで、動きベクトルを探索するときは、画像の類似度(歪量)だけではなく、動きベクトルなどの符号量も考慮する必要がある。一般的には、以下の(1)式のような評価関数を用いて、動きベクトルを決定するための符号化コスト(C)を求めて、この符号化コストに基づき動きベクトルを探索している。
C=D+λR・・・(1)
ここで、Dは符号化歪、Rは発生符号量、λは係数を示している。符号化歪Dは原画像と予測画像との差分量が用いられ、差分二乗和や差分絶対値和などが使われる。また発生符号量Rは動きベクトルの符号量、λは量子化ステップが一般的には使われている。
動きベクトルの発生符号量Rは、上記圧縮方式では周囲の動きベクトルから求められる推定動きベクトルとの差分量を基に算出される。動きベクトルの探索時は必ずしも周囲の動きベクトルが正確に求められず、動きベクトルの符号量Rが正しく評価できない場合があり、それに対処するための方法が特許文献1に記載されている。
特開2008−154072公報
特許文献1が開示する方法では符号量の評価に関しては改善される。しかしながら、ビルの窓など繰り返しパターンのある画像では適切な動きベクトルを探索できず、復号画像で窓枠がちらつくなど、視覚的に非常に劣化が目立ってしまうという問題がある。
本発明は上記の問題に鑑み、繰り返しパターンのある画像に対しても、適切な動きベクトルを探索可能にすることを目的とする。
上記課題を解決するための本発明は、符号化対象画像を、参照画像と動きベクトルとを用いてインター予測符号化する動画像符号化装置における、動きベクトル決定装置であって、
前記動きベクトルの候補となる複数の候補ベクトルのうち、いずれか1つを順次選択して設定するベクトル設定手段と、
前記符号化対象画像のブロック画像と、前記参照画像のうち、前記ベクトル設定手段が設定した前記候補ベクトルに対応するブロックの画像との画素値の差分を算出する差分算出手段と、
前記複数の候補ベクトルの全てについて算出された前記差分のうち、値の小さい順に所定数の差分を記憶する順位記憶手段と、
前記順位記憶手段に記憶された差分に対応する、前記所定数の候補ベクトルを格納するベクトル記憶手段と、
前記ベクトル記憶手段が記憶する前記所定数の候補ベクトルのうち、前記順位記憶手段が記憶する最小の差分に対応する候補ベクトルと、それ以外の各候補ベクトルとの距離に基づいて、前記符号化対象画像のブロック画像が繰り返しパターンを含むか否かを判定する判定手段と、
前記複数の候補ベクトルのそれぞれのベクトル符号量を算出するベクトル符号量算出手段と、
前記複数の候補ベクトルのそれぞれにつき、前記ベクトル符号量と重み係数とを乗算した結果に、対応する差分を加算してコストを算出し、該コストが最小となる候補ベクトルを、前記符号化対象画像のブロック画像についての動きベクトルに決定する動きベクトル決定手段と
を備え、
前記動きベクトル決定手段は、
前記判定手段が、前記ブロック画像が繰り返しパターンを含まないと判定した場合には、前記重み係数として第1の重み係数を用いて算出された前記コストに基づいて前記動きベクトルを決定し、
前記判定手段が、前記ブロック画像が繰り返しパターンを含むと判定した場合には、前記重み係数として、前記第1の重み係数よりも大きい第2の重み係数を用いて算出された前記コストに基づいて前記動きベクトルを決定する、
ことを特徴とする。
本発明によれば、繰り返しパターンのある画像に対しても、適切な動きベクトルを探索することができる。
実施形態に係る動画像符号化装置の構成例を示すブロック図。 実施形態1に係る動きベクトル決定部の構成例を示すブロック図。 繰り返し判定部205の動作を説明するフローチャート。 画素差分と候補ベクトルとの関係を示すグラフ。 実施形態2に係る動きベクトル決定部の構成例を示すブロック図。
以下、本発明の実施形態について添付する図面を参照して説明する。
(実施形態1)
図1は、本実施形態に係る動画像符号化装置100の構成例を示すブロック図である。ここでは、レンズやCCD等のカメラ部を含む撮像部101と、フレームメモリ102と、動きベクトルを探索する動きベクトル決定部103と、動きベクトルに基づきインター予測画像データを生成するフレーム間動き補償部104を備える。また、イントラ予測画像データを生成するイントラ予測部105、インター予測画像データとイントラ予測画像データとのいずれかを選択する選択部106と、減算器107と、整数変換部108と、量子化部109とを備えている。さらに、逆量子化部110と、逆整数変換部111と、加算器112と、ループ内フィルタ113と、エントロピー符号化部115と、量子化制御部116と、符号量制御部117と、記録部118とを備えている。また、動画像符号化装置100には記録媒体119が装着されており、フレームメモリ102は、インター予測に用いる参照画像を記憶する参照画像メモリ114を備えている。
図1の動画像符号化装置100において、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPUが実行することにより、ソフトウェア的に構成されてもよい。
撮像部101により撮像して得られた動画像データは、第1フレーム、第2フレーム、第3フレーム、・・・のように生成順序で、フレームメモリ102に順次格納される。フレームメモリ102からは、例えば、第3フレーム、第1フレーム、第2フレーム、・・・と、符号化を行う順序で画像データを取り出していく。
ここで、符号化方法には、フレーム内の画像データのみで符号化するイントラ予測符号化と、フレーム間での予測も含めて符号化するインター予測符号化とがある。インター予測符号化を行うピクチャは、動き補償の単位(MCブロック)に対して1枚の参照フレームとの予測を行うPピクチャと、MCブロックに対して2枚までの参照フレームとの予測を行うBピクチャとがある。一方、イントラ予測符号化を行うピクチャは、Iピクチャである。なお、符号化するフレームの順番が入力されたフレームの順番と異なるのは、過去のフレームだけではなく、時間的に未来のフレームとの予測(後方予測)を可能にするためである。
イントラ予測符号化を行う場合、符号化単位となる符号化対象ブロックの画像データがフレームメモリ102から読み出されて、イントラ予測部105へ入力される。本実施形態では、1つの符号化対象ブロックの単位を横16画素×縦16画素とする。また、読み出された符号化対象ブロックに隣接する画素のデータもフレームメモリ102から読み出されて、イントラ予測部105へ入力される。
イントラ予測部105は、符号化対象ブロックと、その符号化対象ブロックに隣接する画素のデータから生成される複数のイントラ予測画像データとのブロックマッチングをそれぞれに行う。そして、最も相関の高いイントラ予測画像データを選択して選択部106へ出力する。イントラ予測符号化を行う場合は、選択部106は常にイントラ予測部105からの出力を選択し、イントラ予測画像データを減算器107に出力する。
減算器107には、イントラ予測画像データとフレームメモリ102から読み出される符号化対象画像のブロック画像データとが入力され、符号化対象画像のブロック画像とイントラ予測画像との画素値の差分画像データを整数変換部108へ出力する。整数変換部108は、入力された画素値の差分画像データに整数変換を施し、量子化部109は、整数変換部108により整数変換された信号に対して量子化処理を行う。
エントロピー符号化部115は、量子化部109により量子化された変換係数をエントロピー符号化し、データストリームとして記録部118に出力する。ここで、量子化部109における量子化係数は、エントロピー符号化部115で発生した符号量や、符号量制御部117から設定される目標符号量などから量子化制御部116が算出する。記録部118は、エントロピー符号化部115から出力されたデータストリームを記録媒体119に記録する。
また、量子化部109により量子化された変換係数は、逆量子化部110にも入力される。逆量子化部110は、入力された変換係数を逆量子化し、逆整数変換部111は、逆量子化された信号に対して逆整数変換処理を施す。
加算器112には、逆整数変換されたデータと、イントラ予測部105で生成されたイントラ予測画像データとが入力されて加算される。加算後のデータは復号された再構成画像データとなり、イントラ予測部105に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ113によって符号化歪の軽減処理が施され、後述するインター予測符号化の際に用いる参照画像データとして参照画像メモリ114に記憶される。
一方、インター予測符号化を行う場合、符号化単位となる符号化対象画像のブロック画像がフレームメモリ102から読み出されて、動きベクトル決定部103へ入力される。また、動きベクトル決定部103は、参照画像データを参照画像メモリ114から読み出し、符号化対象画像のブロック画像と参照画像とから動きベクトルを決定して、フレーム間動き補償部104に通知する。
フレーム間動き補償部104は、動きベクトル決定部103で決定された動きベクトルと、フレームメモリ102から得られた参照画像とを用いてインター予測画像データを生成し、動きベクトルと共に選択部106に提供する。選択部106は、インター予測符号化を行う場合には、インター予測画像データを選択して減算器107に提供する。
なお、フレームによっては、符号化対象ブロックごとにインター予測かイントラ予測かを選択することができる。イントラ予測を行う場合は前述のように動作し、イントラ予測の結果を選択部106へ通知する。インター予測を行う場合、選択部106はフレーム間動き補償部104からのインター予測画像データを選択して減算器107に出力する。選択部106は、動きベクトル決定部103におけるインター予測結果とイントラ予測部105におけるイントラ予測結果とに基づき、例えば、差分値が小さい方の予測方法を選択することができる。
減算器107では、符号化対象画像のブロック画像と予測画像との差分を計算し、差分画像データが生成される。差分画像データは整数変換部108に出力され、その後の処理は前述したイントラ予測符号化の場合と同様である。
次に、動きベクトルを算出する動きベクトル決定部103の動作について詳細に説明する。図2は、本実施形態における動きベクトル決定部103の詳細な構成例を示すブロック図である。
図2において、符号化画像取得部201は、符号化対象画像のブロック画像をフレームメモリ102から取得する。また、動きベクトル設定部206は、複数の動きベクトル候補の中から、1つの動きベクトルを候補ベクトルとして順次選択し、参照画像取得部202へ設定する。
参照画像取得部202は、動きベクトル設定部206により設定された動きベクトルに対応する参照画像のブロック画像をフレームメモリ102の参照画像メモリ114から取得する。取得した符号化対象画像のブロック画像び参照画像のブロック画像は、画素差分算出部208へ入力される。
画素差分算出部208は、符号化対象画像のブロック画像と参照画像のブロック画像との画素値の差分絶対値和を算出し、画素差分を算出する。なお、本実施形態では画素差分算出部208は差分絶対値和を算出しているが、例えば、画素値の差分値をアダマール変換した係数値の絶対値和を算出するなど、画素値の差分に基づいて算出される値を算出してもよい。複数の候補ベクトルに対する画素差分は順次算出されて、繰り返し判定部205へ送信されるとともに、画素差分記憶部210に記憶される。
繰り返し判定部205は、順位記憶部205Aと候補ベクトル記憶部205Bとを含む。順位記憶部205Aは、画素差分算出部208で算出された画素差分のうち、小さい値から順に所定数分(例えば、5つ)を記憶する。候補ベクトル記憶部205Bは、順位記憶部205Aに記憶された画素差分に対応する所定数の候補ベクトルを記憶する。
次に、繰り返し判定部205の動作について詳細に説明する。図3は繰り返し判定部205の動作を説明するフローチャートである。繰り返し判定部205は、符号化対象のブロック画像について処理が開始されると、S301にて画素差分の順位記憶部205Aを最大値で初期化する。続くS302では、繰り返し判定部205に入力される画素差分と順位記憶部205Aに記憶されている画素差分の最大値とを順次比較する。入力された画素差分の方が小さい場合(S302で「YES」)、S303に移行する。それ以外の場合(S302で「NO」)、S304に移行する。S303では、順位記憶部205Aに記憶されている画素差分値と、候補ベクトル記憶部205Bに記憶されている対応する動きベクトルを、それぞれ更新する。
続くS304では、複数の候補ベクトルの全てについて画素差分が算出されたか否かを判定する。当該判定は、例えば画素差分の入力数と候補ベクトルの合計数とが一致したか否かにより行うことができる。もし、全ての画素差分が算出されていなければ(S304で「NO」)、S302に戻って処理を継続する。一方、全ての画素差分が算出された場合(S304で「YES」)、S305に移行する。このとき順位記憶部205Aに記憶されている画素差分は、全ての候補ベクトルに対する画素差分のうち小さい順に所定数(上記の例では5つ)となる。
ここで図4を参照して、候補ベクトルと画素差分との関係について説明する。図4は、候補ベクトルとそれに対応する画素差分の関係をグラフトして示したものである。横軸は、候補ベクトルの大きさを水平変位量として表し、縦軸は、各候補ベクトルについて算出された画素差分を示している。なお、実際の候補ベクトルは二次元的に選択されるが、図4では説明しやすいように、水平方向の変位のみを示している。図4(a)は符号化対象画像のブロック画像に繰り返しパターンが含まれる場合の画素差分と候補ベクトルとの関係の一例を示している。一方、図4(b)は符号化対象画像のブロック画像に繰り返しパターンが含まれない場合の画素差分と候補ベクトルとの関係の一例を示している。図4(a)及び(b)で、白丸で囲まれた画素差分が、全候補ベクトルに対する画素差分のうち小さい順に5つ分に相当する画素差分である。
図3の説明に戻ると、S305では、順位記憶部205Aに記憶されている所定数の画素差分のうち、最小となる画素差分を検出し、それに対応する候補ベクトルを基準ベクトルに決定する。続くS306では、候補ベクトル記憶部205Bに記憶されている基準ベクトル以外の他の各候補ベクトルと、基準ベクトルとの距離総和を算出する。ここで基準ベクトルと他の候補ベクトルとの各距離は、ベクトルの水平成分の差、および、垂直成分の差を加算した値として算出できる。距離総和は、各候補ベクトルについて算出した距離の合算結果である。
続くS307では、距離総和と閾値とを比較し、閾値より大きい場合(S307で「YES」)、S308に移行して"繰り返し"と判定する。一方、閾値以下の場合(S307で「NO」)、S309に移行して"繰り返しではない"と判定する。
図4を参照して説明すると、図4(a)の場合、白丸401で示される画素差分が最小値となり、対応する候補ベクトルが基準ベクトルとなる。それ以外の候補ベクトルと、基準ベクトルとの距離は、L1、L2、L3、L4で表されている。よって、距離総和Ltotal=L1+L2+L3+L4で表される。
一方の図4(b)の場合、白丸402で示される画素差分が最小値となり、対応する候補ベクトルが基準ベクトルとなる。それ以外の候補ベクトルと、基準ベクトルとの距離は、L1’、L2’、L3’、L4’で表されている。よって、距離総和Ltotal’=L1’+L2’+L3’+L4’で表される。このときLtotal>Ltotal’となり、図4(a)の繰り返しパターンを含む場合は、図4(b)の繰り返しパターンを含まない場合にくらべて距離の総和が大きくなることがわかる。このように、基準ベクトルと他の候補ベクトルとの距離を用いることで、繰り返しパターンを検出することが可能となる。
図3のフローチャートに従った繰り返し判定の処理を終えると、繰り返し判定部205は、重み係数算出部211に対して、“繰り返し”又は、“繰り返しではない”ことを示す信号(フラグ値)を出力する。重み係数算出部211は、“繰り返しではない”を表すフラグ値が入力された場合、所定の第1の重み係数(W1)をコスト算出・比較部207に出力する。一方、“繰り返し”を表すフラグ値が入力された場合、所定の第2の重み係数(W2)を出力する。ここで、W1<W2の関係が成立する。なお、W2は、ベクトル符号量の重み付けを大きくする一方で、画素差分のコストに対する影響を完全に排除しないような値に設定することが望ましく、シミュレーション等により最適な値を求めることができる。
繰り返し判定部205は、繰り返し判定の処理の完了を動きベクトル設定部206にも通知し、動きベクトル設定部206は当該通知に従って、再度同じ候補ベクトルの設定を順次行い、ベクトル符号量算出部209へ候補ベクトルを出力する。ベクトル符号量算出部209は、入力された候補ベクトルに対するベクトル符号量を公知の符号量算出方法に従って算出する。なお、候補ベクトルのベクトル符号量は、各候補ベクトルに対応する画素差分が画素差分算出部208により算出されるのと同様のタイミングで算出されてもよい。
最後に、コスト算出・比較部207において、各候補ベクトルについてのコストが算出・比較され、動きベクトル決定処理が行われる。そのために、まず画素差分記憶部210からは各候補ベクトルに対応する画素差分がコスト算出・比較部207に読み出される。また、ベクトル符号量算出部209からは、各候補ベクトルのベクトル符号量が、候補ベクトルと共にコスト算出・比較部207に読み出される。コスト算出・比較部207は、重み係数算出部211から取得した重み係数をベクトル符号量に乗算し、乗算値に対応する画素差分を加算して、各候補ベクトルのコストを算出する。
コスト算出・比較部207は順次算出されるコスト値が、それまでに算出されたコスト値の最小値より小さいかどうかを判定し、小さい場合には最小値を更新するとともに、対応する候補ベクトルのベクトル情報もあわせて記憶する。全候補ベクトルについてコストの算出および比較が終わった時点で記憶されている候補ベクトルを、符号化対象ブロックに対する動きベクトルとして決定する。
以上のように、本実施形態では、候補ベクトルのコストを算出する際に、各候補ベクトルのベクトル符号量に乗算される重み係数を、符号化対象画像が繰り返しパターンを含む場合と、含まない場合とで異ならせることを特徴とする。具体的には、繰り返しパターンを含む場合には、ベクトル符号量の重みを大きくする。これにより、ベクトル符号量が小さい候補ベクトルがより選択されやすくなる。このようにして、繰り返しパターンが含まれる場合は、繰り返しパターンを含まない場合に比べて、ベクトル符号量が小さい候補ベクトルが、動きベクトルとしてより選択されやすくなる。以上により、符号化対象ブロックが繰り返し画像の一部であっても、符号化効率を犠牲にせず、適切な動きベクトルを探索することが可能となる。
(実施形態2)
以下、本発明の実施形態2に係る動画像符号化装置について説明する。図5は、本実施形態に係る動きベクトル決定部5003の詳細な構成例を示すブロック図である。動画像符号化装置の構成は実施形態1と同様であり、図1中の動きベクトル決定部103を、図5に示す動きベクトル決定部5003に置き換えることによって、実施形態2に係る画像符号化装置は構成される。
図5において、符号化画像取得部201は、符号化対象画像のブロック画像をフレームメモリ102から取得する。また、動きベクトル設定部206は、複数の候補ベクトルの中から、1つの候補ベクトルを順次選択し、参照画像取得部202へ設定する。
参照画像取得部202は、動きベクトル設定部206により設定された候補ベクトルに対応する参照画像データをフレームメモリ102の参照画像メモリ114から取得する。そして、取得した符号化対象ブロックの画像データ及び参照画像データは、画素差分算出部208へ入力される。
画素差分算出部208は、符号化対象ブロックの画像と参照画像との画素値の差分絶対値和を算出し、画素差分を算出する。なお、本実施形態では画素差分算出部208は差分絶対値和を算出しているが、例えば、画素値の差分値をアダマール変換した係数値の絶対値和を算出するなど、画素値の差分に基づいて算出される値を算出してもよい。また、動きベクトル設定部206が出力する候補ベクトルは、ベクトル符号量算出部209へ入力され、候補ベクトルに対するベクトル符号量が算出される。
画素差分とベクトル符号量は、第1コスト算出・比較部207−1、第2コスト算出・比較部207−2にそれぞれ入力される。第1、第2の2つのコスト算出・比較部207には、それぞれ異なる重み係数W1、W2(W1<W2)が設定されている。なお、W2の設定方法については、実施形態1と同様である。各コスト算出・比較部は、ベクトル符号量に設定されている各重み係数を乗算し、画素差分を加算して、候補ベクトルに対応するコストを算出する。また、順次算出されるコストが、これまでに算出されたコストの最小値より小さいかどうかを判定し、小さい場合には最小値を更新するとともに、対応する動きベクトル情報もあわせて記憶する。そして、すべての候補ベクトルについてコストの算出が終わった時点で記憶されている候補ベクトルを、符号化対象ブロックに対する動きベクトルに決定する。すなわち、コスト算出・比較部207から2つの動きベクトルが出力されることになる。2つの動きベクトルは動きベクトル選択部301に入力される。
一方、各候補ベクトルについて算出された画素差分は、画素差分算出部208から繰り返し判定部205へも出力される。動きベクトル設定部206で設定された各候補ベクトルも繰り返し判定部205へ出力される。繰り返し判定部205は、実施形態1と同様に繰り返し判定を行い、符号化対象画像に繰り返しパターンが含まれるか否かを示すフラグ信号を動きベクトル選択部301に出力する。動きベクトル選択部301はスイッチとして構成可能で、繰り返し判定部205における判定結果に応じ、"繰り返し"と判定された場合には、第2コスト算出・比較部207−2が算出した動きベクトルを選択する。一方、"繰り返しではない"と判定された場合には、第1コスト算出・比較部207−1が算出した動きベクトルを選択する。このようにして選択された動きベクトルを、符号化対象ブロックに対する動きベクトルとして決定する。
本実施形態においても、符号化対象ブロックが繰り返し画像の一部であっても、符号化効率を犠牲にせず、適切な動きベクトルを探索することができる。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (6)

  1. 符号化対象画像を、参照画像と動きベクトルとを用いてインター予測符号化する動画像符号化装置における、動きベクトル決定装置であって、
    前記動きベクトルの候補となる複数の候補ベクトルのうち、いずれか1つを順次選択して設定するベクトル設定手段と、
    前記符号化対象画像のブロック画像と、前記参照画像のうち、前記ベクトル設定手段が設定した前記候補ベクトルに対応するブロックの画像との画素値の差分を算出する差分算出手段と、
    前記複数の候補ベクトルの全てについて算出された前記差分のうち、値の小さい順に所定数の差分を記憶する順位記憶手段と、
    前記順位記憶手段に記憶された差分に対応する、前記所定数の候補ベクトルを格納するベクトル記憶手段と、
    前記ベクトル記憶手段が記憶する前記所定数の候補ベクトルのうち、前記順位記憶手段が記憶する最小の差分に対応する候補ベクトルと、それ以外の各候補ベクトルとの距離に基づいて、前記符号化対象画像のブロック画像が繰り返しパターンを含むか否かを判定する判定手段と、
    前記複数の候補ベクトルのそれぞれのベクトル符号量を算出するベクトル符号量算出手段と、
    前記複数の候補ベクトルのそれぞれにつき、前記ベクトル符号量と重み係数とを乗算した結果に、対応する差分を加算してコストを算出し、該コストが最小となる候補ベクトルを、前記符号化対象画像のブロック画像についての動きベクトルに決定する動きベクトル決定手段と
    を備え、
    前記動きベクトル決定手段は、
    前記判定手段が、前記ブロック画像が繰り返しパターンを含まないと判定した場合には、前記重み係数として第1の重み係数を用いて算出された前記コストに基づいて前記動きベクトルを決定し、
    前記判定手段が、前記ブロック画像が繰り返しパターンを含むと判定した場合には、前記重み係数として、前記第1の重み係数よりも大きい第2の重み係数を用いて算出された前記コストに基づいて前記動きベクトルを決定する、
    ことを特徴とする動きベクトル決定装置。
  2. 前記判定手段は、前記最小の差分に対応する候補ベクトルと、それ以外の各候補ベクトルとの距離を合算して距離総和を算出し、該距離総和が閾値よりも大きい場合に、前記符号化対象画像のブロック画像が繰り返しパターンを含むと判定する
    ことを特徴とする請求項1に記載の動きベクトル決定装置。
  3. 前記判定手段における判定結果に従い、前記第1の重み係数と前記第2の重み係数とのいずれかを選択する選択手段をさらに備え、
    前記動きベクトル決定手段は、前記選択手段が選択した前記第1の重み係数または前記第2の重み係数を用いて算出された前記コストに基づいて、前記動きベクトルを決定する
    ことを特徴とする請求項1または2に記載の動きベクトル決定装置。
  4. 前記動きベクトル決定手段は、
    前記複数の候補ベクトルのそれぞれにつき、前記重み係数として前記第1の重み係数を用いて前記コストを算出して最小となるコストを決定する第1コスト算出手段と、
    前記複数の候補ベクトルのそれぞれにつき、前記重み係数として前記第2の重み係数を用いて前記コストを算出して最小となるコストを決定する第2コスト算出手段と
    を備え、
    前記判定手段の判定結果に応じて、前記第1コスト算出手段と前記第2コスト算出手段とで算出された前記最小となるコストのうち、いずれか一方に基づいて前記動きベクトルを決定する
    ことを特徴とする請求項1または2に記載の動きベクトル決定装置。
  5. 符号化対象画像を、参照画像と動きベクトルとを用いてインター予測符号化する動画像符号化装置における、動きベクトル決定方法であって、
    ベクトル設定手段が、前記動きベクトルの候補となる複数の候補ベクトルのうち、いずれか1つを順次選択して設定するベクトル設定工程と、
    差分算出手段が、前記符号化対象画像のブロック画像と、前記参照画像のうち、前記ベクトル設定工程で設定された前記候補ベクトルに対応するブロックの画像との画素値の差分を算出する差分算出工程と、
    順位記憶手段が、前記複数の候補ベクトルの全てについて算出された前記差分のうち、値の小さい順に所定数の差分を記憶する順位記憶工程と、
    ベクトル記憶手段が、前記順位記憶手段に記憶された差分に対応する、前記所定数の候補ベクトルを格納するベクトル記憶工程と、
    判定手段が、前記ベクトル記憶手段が記憶する前記所定数の候補ベクトルのうち前記順位記憶手段が記憶する最小の差分に対応する候補ベクトルと、それ以外の各候補ベクトルとの距離に基づいて、前記符号化対象画像のブロック画像が繰り返しパターンを含むか否かを判定する判定工程と、
    ベクトル符号量算出手段が、前記複数の候補ベクトルのそれぞれのベクトル符号量を算出するベクトル符号量算出工程と、
    ベクトル決定手段が、前記複数の候補ベクトルのそれぞれにつき、前記ベクトル符号量と重み係数とを乗算した結果に、対応する差分を加算してコストを算出し、該コストが最小となる候補ベクトルを、前記符号化対象画像のブロック画像についての動きベクトルに決定する動きベクトル決定工程と
    を備え、
    前記動きベクトル決定工程では、
    前記判定工程において、前記ブロック画像が繰り返しパターンを含まないと判定された場合には、前記重み係数として第1の重み係数を用いて算出された前記コストに基づいて前記動きベクトルが決定され、
    前記判定工程において、前記ブロック画像が繰り返しパターンを含むと判定された場合には、前記重み係数として、前記第1の重み係数よりも大きい第2の重み係数を用いて算出された前記コストに基づいて前記動きベクトルが決定される、
    ことを特徴とする動きベクトル決定方法。
  6. コンピュータを、請求項1乃至4のいずれか1項に記載の動きベクトル決定装置の各手段として機能させるためのプログラム。
JP2010091826A 2010-04-12 2010-04-12 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム Expired - Fee Related JP5441803B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010091826A JP5441803B2 (ja) 2010-04-12 2010-04-12 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム
US13/076,759 US9113170B2 (en) 2010-04-12 2011-03-31 Motion vector decision apparatus, motion vector decision method and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010091826A JP5441803B2 (ja) 2010-04-12 2010-04-12 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2011223423A JP2011223423A (ja) 2011-11-04
JP5441803B2 true JP5441803B2 (ja) 2014-03-12

Family

ID=44760916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010091826A Expired - Fee Related JP5441803B2 (ja) 2010-04-12 2010-04-12 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム

Country Status (2)

Country Link
US (1) US9113170B2 (ja)
JP (1) JP5441803B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5153674B2 (ja) * 2008-02-26 2013-02-27 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
CN103051892B (zh) * 2011-10-14 2015-12-09 联发科技股份有限公司 内嵌式回路滤波方法以及内嵌式回路滤波装置
US8913656B2 (en) * 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
KR102070719B1 (ko) * 2013-01-23 2020-01-30 한국전자통신연구원 인터 예측 방법 및 그 장치
KR102120865B1 (ko) * 2014-01-14 2020-06-17 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 드라이버, 이를 포함하는 전자 장치 및 디스플레이 시스템
US20150287173A1 (en) * 2014-04-03 2015-10-08 Samsung Electronics Co., Ltd. Periodic pattern handling by displacement vectors comparison
ES2737845B2 (es) * 2016-07-05 2021-05-19 Kt Corp Metodo y aparato para procesar senal de video
US10972749B2 (en) 2019-08-29 2021-04-06 Disney Enterprises, Inc. Systems and methods for reconstructing frames
US11012718B2 (en) * 2019-08-30 2021-05-18 Disney Enterprises, Inc. Systems and methods for generating a latent space residual

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2833153B2 (ja) * 1990-05-28 1998-12-09 松下電器産業株式会社 動きベクトル検出装置
EP1274252A3 (en) * 1995-08-29 2005-10-05 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
FR2742901B1 (fr) 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede de correction d'estimation de mouvement dans des images a structures periodiques
JP3786300B2 (ja) * 1996-08-30 2006-06-14 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
JPH11243551A (ja) 1997-12-25 1999-09-07 Mitsubishi Electric Corp 動き補償装置と動画像符号化装置及び方法
WO2000013418A1 (en) * 1998-08-26 2000-03-09 Sony Corporation Video data processor and processing method, video data encoder and encoding method
JP4596718B2 (ja) * 1999-08-11 2010-12-15 ノキア コーポレイション 適応動きベクトル場符号化
KR100573696B1 (ko) * 2003-07-31 2006-04-26 삼성전자주식회사 패턴 분석에 기반한 움직임 벡터 보정 장치 및 방법
EP1592255A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Motion vector estimation with improved motion vector selection
EP1753242A2 (en) 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
KR101200535B1 (ko) * 2006-01-12 2012-11-27 (주)휴맥스 매크로블록 기반의 조명 변화에 대한 적응적 움직임예측/보상 장치 및 방법
JP4898415B2 (ja) 2006-12-19 2012-03-14 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
JP2008171247A (ja) * 2007-01-12 2008-07-24 Sony Corp 動き検出装置、方法、及びプログラム
US7982775B2 (en) * 2007-08-02 2011-07-19 Texas Instruments Incorporated Method and apparatus for motion stabilization
US8908765B2 (en) * 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
CN101946514B (zh) * 2007-12-20 2014-06-04 高通股份有限公司 使用自适应搜索范围的真实运动矢量估计
JP4623111B2 (ja) * 2008-03-13 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2009290803A (ja) * 2008-05-30 2009-12-10 Toshiba Corp 補間フレーム作成装置及び補間フレーム作成方法及び放送受信装置
US8253854B2 (en) * 2008-07-29 2012-08-28 Broadcom Corporation Image processing method and system with repetitive pattern detection
JP4748191B2 (ja) * 2008-07-30 2011-08-17 ソニー株式会社 動きベクトル検出装置、動きベクトル検出方法及びプログラム

Also Published As

Publication number Publication date
US20110249747A1 (en) 2011-10-13
US9113170B2 (en) 2015-08-18
JP2011223423A (ja) 2011-11-04

Similar Documents

Publication Publication Date Title
JP5441803B2 (ja) 動きベクトル決定装置及び動きベクトル決定方法、コンピュータプログラム
US11546627B2 (en) Moving picture decoding method and moving picture encoding method
JP4763422B2 (ja) イントラ予測装置
KR101228020B1 (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US8098731B2 (en) Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus
US8488678B2 (en) Moving image encoding apparatus and moving image encoding method
US8761254B2 (en) Image prediction encoding device, image prediction decoding device, image prediction encoding method, image prediction decoding method, image prediction encoding program, and image prediction decoding program
JP6636615B2 (ja) 動きベクトル場の符号化方法、復号方法、符号化装置、および復号装置
JP4504230B2 (ja) 動画像処理装置、動画像処理方法、及び動画像処理プログラム
US8014619B2 (en) Method and apparatus for encoding/decoding an image
CN110741641A (zh) 用于视频压缩的翘曲参考运动矢量
US20140233645A1 (en) Moving image encoding apparatus, method of controlling the same, and program
JP5441812B2 (ja) 動画像符号化装置、及びその制御方法
JP5178616B2 (ja) シーンチェンジ検出装置および映像記録装置
JP2014007469A (ja) 画像符号化装置及び画像符号化方法
JP5639444B2 (ja) 動きベクトル生成装置、動きベクトル生成方法及びコンピュータプログラム
US20130343449A1 (en) Image encoding apparatus and its control method
US11528485B2 (en) Encoding apparatus and program
JP2007110409A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JP5358485B2 (ja) 画像符号化装置
JP2013017128A (ja) イントラ予測モード推定装置、画像符号化装置、画像復号装置、及びプログラム
JP2018191136A (ja) 符号化装置、符号化方法およびプログラム
JP5235813B2 (ja) 動画像符号化装置、動画像符号化方法及びコンピュータプログラム
JP2012222460A (ja) 動画像符号化装置、動画像符号化方法及びプログラム
JP5645589B2 (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131217

R151 Written notification of patent or utility model registration

Ref document number: 5441803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees