JP4600530B2

JP4600530B2 - 画像処理装置および画像処理方法、並びにプログラム

Info

Publication number: JP4600530B2
Application number: JP2008157666A
Authority: JP
Inventors: 智裕西; 一彦西堀; 紳太郎岡田; 利昇井原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-06-17
Filing date: 2008-06-17
Publication date: 2010-12-15
Anticipated expiration: 2028-06-17
Also published as: CN101610415A; EP2136548B1; EP2136548A3; US8391623B2; US20090310876A1; CN101610415B; JP2009303108A; EP2136548A2

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、動画像の動きベクトルを高精度で検出することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。

従来、動画像の時間的に異なる複数のフレームから動きベクトルを求め、その動きベクトルを用いて動き補償を行い、補間フレームを作成する画像処理装置がある（例えば、特許文献１参照）。このような画像処理装置では、新たな補間フレームを作成することにより、動画像をより滑らかにすることが可能となる。例えば、30Hzの画像から60Hzの画像を作成することができる。

動きベクトルの検出方法としては、例えば、ブロックマッチング法が知られている。ブロックマッチング法では、第ｆフレームのあるブロックを注目ブロックとし、第ｆ＋１フレームを動きベクトルの検出のために参照する参照フレームとし、第ｆ＋１フレームから第ｆフレームに向かう動きベクトルを、注目ブロックの動きベクトルとして検出する場合、第ｆ＋１フレームの注目ブロックに対応する位置を中心とする所定の範囲が、動きベクトルの探索を行う探査範囲として設定される。

そして、第ｆ＋１フレームの探査範囲から、注目ブロックと同一の大きさのブロックが、注目ブロックのマッチング結果の候補である候補ブロックとして順次選択され、注目ブロックと候補ブロックとがマッチングされて画素ごとの差分が求められる。次に、注目ブロックの全画素についての画素ごとの差分の絶対値の総和（以下、差分絶対値和という）が求められる。

そして、探査範囲で選択し得る全ての候補ブロックについて差分絶対値和が求められると、探査範囲で選択し得る候補ブロックの中で、差分絶対値和を最小にする候補ブロックが選択され、注目ブロックから、その候補ブロックに向かうベクトルが、注目ブロックの動きベクトルとして検出される。

特開２００４−５１８３３９号公報

上述したように、ブロックマッチング法などを用いることで、動きベクトルを検出することは可能である。しかしながら、動きの異なるオブジェクトの境界付近では、境界を含まない部分と比較して、動きベクトルを正確に検出することができない場合がある。

これは、例えば、ブロックマッチング法を用いた場合、動きの異なるオブジェクトの境界を含む注目ブロック（以下、境界ブロックという）では、オブジェクトの出現や隠蔽または他のオブジェクトの異なる動きの影響から、差分絶対値和が最小となる候補ブロックが実際の動きベクトルに対応していないことがあるためである。

そして、動きベクトルが正確に検出されなかった場合、画像処理装置が、その動きベクトルを用いて動き補償を行い、補間フレームを作成すると、補間後の動画像の動きのあるオブジェクトの境界付近に、通常ハロと呼ばれるアーチファクトが発生することがある。このハロは補間後の動画像の画質を低下させる原因となるため、動画像の画質を向上させるためには、動きベクトルを正確に検出することが必要である。

本発明は、このような状況に鑑みてなされたものであり、動画像の動きベクトルを高精度で検出することができるようにするものである。

本発明の一側面は、時間的に異なる複数のフレームの入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出手段と、前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価手段と、前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正手段とを備える画像処理装置である。

本発明の一側面は、入力画像を処理する画像処理装置による画像処理方法であって、前記画像処理装置が、時間的に異なる複数のフレームの前記入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出ステップと、前記画像処理装置が、前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価ステップと、前記画像処理装置が、前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正ステップとを含む画像処理方法である。

本発明の一側面は、時間的に異なる複数のフレームの入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出手段と、前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価手段と、前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正手段とを備える画像処理装置として、コンピュータを機能させるためのプログラムである。

本発明の一側面においては、時間的に異なる複数のフレームの入力画像から、フレームを構成する第１の画素の動きベクトルと、第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとが検出され、複数の第２の画素の各々の動きベクトルの信頼度が求められ、複数の第２の画素の各々の動きベクトルの信頼度を用いて、第１の画素から信頼度が増加する方向に並ぶ画素が、複数の第２の画素より参照ブロックとして選択され、第１の画素と参照ブロックに含まれる各画素との距離および参照ブロックに含まれる各画素の信頼度に基づき、参照ブロックに含まれる各画素の動きベクトルの評価値が求められ、参照ブロックに含まれる各画素の動きベクトルの評価値と参照ブロックに含まれる各画素の動きベクトルに基づき、第１の画素の動きベクトルが修正される。

以上のように、本発明の一側面によれば、動画像の動きベクトルを高精度で検出することができる。

図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。

図１の画像処理装置１０は、動きベクトル検出部１１、動きベクトル修正部１２、および動き補償部１３により構成され、入力画像として入力されるフレーム単位の動画像に対して動き補償を行うことにより、高画質な出力画像を出力する。

動きベクトル検出部１１は、時間的に異なる複数のフレームの入力画像から、所定の時刻のフレームの所定の空間位置の動きベクトルを検出する。

具体的には、動きベクトル検出部１１は、外部から入力される入力画像をフレーム単位で保持する。また、動きベクトル検出部１１は、現在入力されている所定の時刻のフレーム（以下、現在フレームという）の入力画像と、そのフレームより１つ前のフレーム（以下、過去フレームという）の保持されている入力画像とを用いて、各画素についてブロックマッチングなどを行い、過去フレームの各画素の動きベクトルを検出する。なお、以下では、動きベクトル検出部１１により検出される空間位置(i,j)の画素の動きベクトルをV₀(i,j)と表す。

また、動きベクトル検出部１１は、入力画像から各動きベクトルV₀(i,j)の信頼度C(i,j)を求める。具体的には、動きベクトル検出部１１は、例えば、動きベクトルV₀(i,j)に対応する注目ブロックと候補ブロックの差分絶対値和D(i,j)に基づいて、以下の式（１）により信頼度C(i,j)を求める。

C(i,j)=F(D(i,j))
・・・（１）

式（１）によれば、画素ごとに信頼度C(i,j)を求めることが可能となる。なお、式（１）においてFは所定の関数を表している。関数Fとしては、各種の関数を用いることができ、例えば、差分絶対値和D(i,j)をそのまま信頼度C(i,j)として求めたり、閾値を設定して差分絶対値和D(i,j)を正規化することにより信頼度C(i,j)を求めたりすることが可能である。

以下では、式（１）において、差分絶対値和D(i,j)が小さいほど、信頼度C(i,j)が大きくなるような関数Fを用いるものとする。この場合、信頼度C(i,j)が大きいほど信頼性は高くなり、信頼度C(i,j)が小さいほど信頼性は低くなる。

動きベクトル修正部１２は、動きベクトル検出部１１により検出された動きベクトルV₀(i,j)と信頼度C(i,j)に基づいて、動きベクトルV₀(i,j)を修正する。そして、動きベクトル修正部１２は、信頼度C(i,j)に基づいて、修正動きベクトルV₁(i,j)または修正前の動きベクトルV₀(i,j)を、動きベクトルV₂(i,j)として動き補償部１３に供給する。

動き補償部１３は、外部から入力される入力画像をフレーム単位で保持する。また、動き補償部１３は、保持されている過去フレームの入力画像と、動きベクトル修正部１２から供給される動きベクトルV₂(i,j)とを用いて動き補償を行い、過去フレームと現在フレームの間の時刻の補間画像を生成する。そして、動き補償部１３は、入力画像を補間画像で補間した画像を出力画像として出力する。

次に、図２は、図１の動きベクトル修正部１２の詳細構成例を示している。

図２に示すように、動きベクトル修正部１２は、メモリ部３１、周囲動きベクトル評価部３２、評価統計処理部３３、および修正部３４により構成される。

メモリ部３１は、動きベクトル検出部１１から供給された動きベクトルV₀(i,j)と動きベクトルの信頼性C(i,j)を保持する。

周囲動きベクトル評価部３２は、入力画像の各画素を順次注目画素とする。そして、周囲動きベクトル評価部３２は、注目画素の空間位置（以下、注目空間位置という）(i,j）を含む所定の範囲の空間位置(i+m,j+n)（m=0,±1,±2,・・・,±M，n=0,±1,±2,・・・,±N,M,Nは自然数）の画素（以下、周囲画素という）の信頼度C(i+m,j+n)を、メモリ部３１から読み出す。なお、MとNは同一であってもよいし、異なっていてもよい。即ち、ｘ方向（水平方向）とｙ方向（垂直方向）で注目画素に対する周囲画素の範囲が異なっても良い。

周囲動きベクトル評価部３２は、メモリ部３１から読み出された周囲画素の信頼度C(i+m,j+n)と、その周囲画素の注目画素からの相対距離(m,n)とに基づいて、以下の式（２）により、周囲画素ごとに、動きベクトルV₀(i+m,j+n)の評価値P(i+m,j+n)を求める。

P(i+m,j+n)=C(i+m,j+n)×W(m,n)
・・・（２）

なお、式（２）において、W(m,n)は相対距離(m,n)に応じた重みを表しており、式（２）によれば、評価値P(i+m,j+n)は、信頼度C(i+m,j+n)に対して相対距離(m,n)に応じた重み付けを行うことにより求められる。

重みW(m,n)は、相対距離(m,n)に対応する値であればどのような値であってもよいが、ここでは相対距離(m,n)の逆数とする。この場合、評価値P(i+m,j+n)は、より近傍かつ信頼度C(i+m,j+n)の高い動きベクトルV₀(i+m,j+n)に対して大きくなる。

評価統計処理部３３（動きベクトル修正手段）は、メモリ部３１から周囲画素の動きベクトルV₀(i+m,j+n)を読み出す。評価統計処理部３３は、その周囲画素の動きベクトルV₀(i+m,j+n)と、周囲動きベクトル評価部３２により求められた周囲画素の評価値P(i+m,j+n)とに基づいて、注目画素の動きベクトルV₀(i,j)を修正し、修正動きベクトルV₁(i,j)を求める。

具体的には、評価統計処理部３３は、周囲画素の動きベクトルV₀(i+m,j+n)と、周囲画素の評価値P(i+m,j+n)とを用いて、以下の式（３）により修正動きベクトルV₁(i,j)を求める。

式（３）によれば、修正動きベクトルV₁(i,j)は、周囲画素の動きベクトルV₀(i+m,j+n)と評価値P(i+m,j+n)の積の総和を、評価値P(i+m,j+n)の総和で除算することにより求められる。

なお、周囲画素の動きベクトルV₀(i+m,j+n)の値ごとに評価値P(i+m,j+n)を累積し、累積値が最大となる動きベクトルV₀(i+m,j+n)の値を、修正動きベクトル値V₁(i,j)としてもよい。この場合、累積は、水平方向と垂直方向ごとに独立して行ってもよいし、共通して行ってもよい。

また、式（２）の重みW(m,n)を用いて、一方向の動きベクトルV₀(i+m,j+n)のみが動きベクトルV₀(i,j)の修正に用いられるようにしてもよい。例えば、水平方向において、注目画素の右側および左側のいずれか一方に位置する周囲画素の信頼度C(i+m,j+n)に対する重みW(m,n)を相対距離(m,n)に応じた重みとし、他方に位置する周囲画素の信頼度C(i+m,j+n)に対する重みW(m,n)を０とする。これにより、他方に位置する周囲画素の評価値P(i+m,j+n)は全て０になるので、その周囲画素の動きベクトルV₀(i+m,j+n)は、式（３）による動きベクトルV₀(i,j)の修正に用いられない。

右側および左側の一方を選択する方法としては、例えば、周囲画素の水平方向の信頼度C(i+m,j+n)の微分値を求め、その微分値により、より信頼度C(i+m,j+n)が増加する方を選択する方法がある。この方法によれば、より信頼できる周囲画素の動きベクトルV₀(i+m,j+n)のみを動きベクトルV₀(i,j)の修正に用いることができる。なお、この方法では、微分値により、より信頼すべき方向が判断されるので、判断が容易である。

修正部３４（出力手段）は、注目画素の信頼度C(i,j)に基づいて、信頼度評価統計処理部３３で求められた修正動きベクトルV₁(i,j)と修正前の動きベクトルV₀(i,j)から、動き補償部１３による動き補償に用いられる動きベクトルV₂(i,j)を決定し、動き補償部１３に出力する。

具体的には、修正部３４は、メモリ部３１から注目画素の信頼度C(i,j)を読み出し、その信頼度C(i,j)が所定の閾値以上であるかどうかを判定する。そして、修正部３４は、判定結果に基づいて、修正動きベクトルV₁(i,j)または修正前の動きベクトルV₀(i,j)を動きベクトルV₂(i,j)として決定する。

なお、信頼度C(i,j)が所定の閾値より低い場合、修正部３４は、信頼度C(i,j)を用いて、以下の式（４）により、修正前の動きベクトルV₀(i,j)と修正動きベクトルV₁(i,j)をブレンド処理し、動きベクトルV₂(i,j)を求めるようにしてもよい。

V₂(i,j)=（C(i,j)×V₀(i,j)＋(Cmax-C(i,j))×V₁(i,j)）/Cmax
・・・（４）

但し、式（４）において、Cmaxは求め得る信頼度の最大値を表している。

また、修正部３４は、修正動きベクトルV₁(i,j)を、そのまま動きベクトルV₂(i,j)に決定してもよい。

以上のように、画像処理装置１０は、注目画素の動きベクトルV₀(i,j)を周囲画素の動きベクトルV₀(i+m,j+n)を用いて修正する。従って、画像処理装置１０では、例えば、ブロックマッチングで正確に動きベクトルを検出することが困難な境界ブロックに対応する注目画素の動きベクトルV₀(i,j)が、その周囲の境界ブロック以外の注目ブロックを用いて求められた信頼性の高い動きベクトルを用いて修正される。これにより、境界ブロックに対応する注目画素においても高精度な動きベクトルを検出することができる。その結果、出力画像に発生するハロを削減し、出力画像の画質を向上させることができる。

次に、図３のフローチャートを参照して、図１の画像処理装置１０による画像処理について説明する。この画像処理は、例えば、各フレームの入力画像が入力されるごとに開始される。

ステップＳ１１において、動きベクトル検出部１１は、現在フレームの入力画像と過去フレームの入力画像とを用いて、各画素についてブロックマッチングを行い、過去フレームの各画素の動きベクトルV₀(i,j)を検出する。この動きベクトルV₀(i,j)は動きベクトル修正部１２に供給され、メモリ部３１（図２）に保持される。

ステップＳ１２において、動きベクトル検出部１１は、入力画像から各動きベクトルV₀(i,j)の信頼度C(i,j)を求める。この信頼度C(i,j)は動きベクトル修正部１２に供給され、メモリ部３１に保持される。

ステップＳ１３において、動きベクトル修正部１２は、動きベクトル検出部１１から供給される動きベクトルV₀(i,j)と信頼度C(i,j)に基づいて、動きベクトルV₀(i,j)を修正する動きベクトル修正処理を行う。この動きベクトル修正処理の詳細については、後述する図４を参照して説明する。

ステップＳ１４において、動き補償部１３は、過去フレームの入力画像と、ステップＳ１３の動きベクトル修正処理により動きベクトル修正部１２から供給される動きベクトルV₂(i,j)とを用いて動き補償を行い、過去フレームと現在フレームの間の時刻の補間画像を生成する。そして、動き補償部１３は、入力画像を補間画像で補間した画像を出力画像として出力する。

次に、図４のフローチャートを参照して、図３のステップＳ１３の動きベクトル修正処理について説明する。

ステップＳ３１において、周囲動きベクトル評価部３２は、入力画像の各画素を順次注目画素とし、周囲画素の信頼度C(i+m,j+n)を、メモリ部３１から読み出す。ステップＳ３２において、周囲動きベクトル評価部３２は、メモリ部３１から読み出された動きベクトルの信頼度C(i+m,j+n)と、その周囲画素の注目画素からの相対距離(m,n)とに基づいて、上述した式（２）により、周囲画素ごとに、動きベクトルV₀(i+m,j+n)の評価値P(i+m,j+n)を求める。

ステップＳ３３において、評価統計処理部３３は、メモリ部３１から周囲画素の動きベクトルV₀(i+m,j+n)を読み出す。ステップＳ３４において、評価統計処理部３３は、周囲動きベクトル評価部３２により求められた周囲画素の評価値P(i+m,j+n)と、読み出された周囲画素の動きベクトルV₀(i+m,j+n)とに基づいて、上述した式（３）により動きベクトルV₀(i,j)を修正し、修正動きベクトル値V₁(i,j)を求める。

ステップＳ３５において、修正部３４は、メモリ部３１から注目画素の信頼度C(i,j)を読み出し、その信頼度C(i,j)が所定の閾値以上であるかどうかを判定する。ステップＳ３５で信頼度C(i,j)が所定の閾値以上であると判定された場合、ステップＳ３６において、修正部３４は、修正前の動きベクトルV₀(i,j)を動きベクトルV₂(i,j)として決定し、動き補償部１３に出力する。

一方、ステップＳ３５で信頼度C(i,j)が所定の閾値以上ではないと判定された場合、ステップＳ３７において、修正部３４は、修正動きベクトルV₁(i,j)を動きベクトルV₂(i,j)として決定し、動き補償部１３に出力する。そして、処理は図３のステップＳ１３に戻り、ステップＳ１４の処理が行われる。

なお、上述した説明では、画素ごとに動きベクトルが求められたが、複数の画素単位で動きベクトルが求められるようにしてもよい。

ところで、上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図５は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ５０のハードウエアの構成例を示すブロック図である。

パーソナルコンピュータ５０において、CPU（Central Processing Unit）５１，ROM（Read Only Memory）５２，RAM（Random Access Memory）５３は、バス５４により相互に接続されている。

バス５４には、さらに、入出力インターフェース５５が接続されている。入出力インターフェース５５には、キーボード、マウス、マイクロホン、リモートコントローラから送信されてくる指令を受信する受信部などよりなる入力部５６、ディスプレイ、スピーカなどよりなる出力部５７、ハードディスクや不揮発性のメモリなどよりなる記憶部５８、ネットワークインタフェースなどよりなる通信部５９、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア６１を駆動するドライブ６０が接続されている。

以上のように構成されるパーソナルコンピュータ５０では、CPU５１が、例えば、記憶部５８に記憶されているプログラムを、入出力インターフェース５５及びバス５４を介して、RAM５３にロードして実行することにより、上述した一連の処理が行われる。

CPU５１が実行するプログラムは、例えば、リムーバブルメディア６１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア６１をドライブ６０に装着することにより、入出力インターフェース５５を介して、記憶部５８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５９で受信し、記憶部５８にインストールすることができる。その他、プログラムは、ROM５２や記憶部５８に、予めインストールしておくことができる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。図１の動きベクトル修正部の詳細構成例を示すブロック図である。画像処理について説明するフローチャートである。動きベクトル修正処理について説明するフローチャートである。パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１０画像処理装置，１１動きベクトル検出部，１２動きベクトル修正部，１３動き補償部，３２周囲動きベクトル評価部，３３評価統計処理部，３４修正部

Claims

時間的に異なる複数のフレームの入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出手段と、
前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価手段と、
前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正手段と
を備える画像処理装置。
前記動きベクトル評価手段は、前記複数の第２の画素の各々の動きベクトルの信頼度の微分値を求め、前記微分値に基づいて前記参照ブロックを選択する
請求項１に記載の画像処理装置。
前記動きベクトル検出手段は、前記複数の第２の画素の各々の動きベクトルに対応する前記複数のフレームのブロックの差分絶対値を、予め設定された閾値で正規化することにより、前記複数の第２の画素の各々の動きベクトルの信頼度を求める
請求項１に記載の画像処理装置。
前記動きベクトル修正手段は、水平方向および垂直方向に並ぶ画素から構成される前記参照ブロックについて、前記参照ブロックに含まれる各画素の動きベクトルの値ごとに、その動きベクトルの評価値を累積し、累積値が最大となる前記動きベクトルの値が、修正後の前記第１の画素の動きベクトルの値となるように、前記第１の画素の動きベクトルを修正する
請求項１に記載の画像処理装置。
前記第１の画素の動きベクトルの信頼度と所定の閾値とを比較した結果に基づき、前記第１の画素の動きベクトルの信頼度を用いて、修正前の前記第１の画素の動きベクトルと修正後の前記第１の画素の動きベクトルを加算し、最終的な前記第１の画素の動きベクトルを決定する決定手段
をさらに備え、
前記動きベクトル検出手段は、前記第１の画素の動きベクトルの信頼度も求める
請求項１に記載の画像処理装置。
前記動きベクトル評価手段は、前記複数の第２の画素の各々の動きベクトルの信頼度に対して、前記第１の画素と前記第２の画素との距離に応じた重みで重み付けすることにより、前記複数の第２の画素の各々の動きベクトルの評価値を求め、
前記第１の画素と、前記複数の第２の画素のうちの前記参照ブロック以外の画素との距離に応じた重みは０である
請求項１に記載の画像処理装置。
入力画像を処理する画像処理装置による画像処理方法であって、
前記画像処理装置が、時間的に異なる複数のフレームの前記入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出ステップと、
前記画像処理装置が、前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価ステップと、
前記画像処理装置が、前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正ステップと
を含む画像処理方法。
時間的に異なる複数のフレームの入力画像から、前記フレームを構成する第１の画素の動きベクトルと、前記第１の画素の周囲にある複数の第２の画素の各々の動きベクトルとを検出し、前記複数の第２の画素の各々の動きベクトルの信頼度を求める動きベクトル検出手段と、
前記複数の第２の画素の各々の動きベクトルの信頼度を用いて、前記第１の画素から信頼度が増加する方向に並ぶ画素を、前記複数の第２の画素より参照ブロックとして選択し、前記第１の画素と前記参照ブロックに含まれる各画素との距離および前記参照ブロックに含まれる各画素の前記信頼度に基づき、前記参照ブロックに含まれる各画素の前記動きベクトルの評価値を求める動きベクトル評価手段と、
前記参照ブロックに含まれる各画素の動きベクトルの評価値と前記参照ブロックに含まれる各画素の動きベクトルに基づき、前記第１の画素の動きベクトルを修正する動きベクトル修正手段と
を備える
画像処理装置として、コンピュータを機能させるためのプログラム。