JP4385077B1 - 動きベクトル検出装置および画像処理装置 - Google Patents

Abstract

【課題】動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることが可能な動きベクトル検出装置および画像処理装置を提供する。
【解決手段】間引き部１２で、入力フレームの各座標において、水平方向にＭ（Ｍは１以上の整数）画素、垂直方向にＮ（Ｎは１以上の整数）画素からなる領域の複数の画素から代表１画素に間引いた後で、適合度候補算出部１３によって適合度候補を算出するので、適合度候補を算出するための演算量を削減することが可能となる。これによって、適合度候補を算出するための回路規模または処理時間を小さく抑えることができる。この適合度候補を用いて動きベクトル候補が算出され、動きベクトルが検出されるので、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。
【選択図】図１

Description

本発明は、複数のフレーム間において、フレームの中の同じオブジェクトを対応付けることで、オブジェクトの移動量および距離情報となる動きベクトルを検出する動きベクトル検出装置およびこれを備える画像処理装置に関する。

従来技術の動きベクトル検出装置および画像処理装置では、パターンマッチング法、勾配法、相互相関関数による方法、フーリエ変換による方法などによって、動きベクトルを算出している（たとえば、非特許文献１参照）。

これらの方法によって、時間の異なる複数のフレームを用いて求めた動きベクトルは、フレーム間符号化における符号化効率向上、フレーム内挿（フレーム数変換、フレーム追加、デインターレース変換）、および解像度変換などの動き検出に用いることができる。また、視点の位置が空間的に異なる位置で撮影した複数のフレームを用いて求めた動きベクトルは、距離画像および３次元画像の作成、オブジェクトの距離測定、ならびに３次元画像符号化などの距離検出の用途に用いることができる。

これらの用途において、特に広く実用的に用いられている前記パターンマッチング法では、たとえば２つのフレーム信号ｇ₀（ｘ，ｙ）、ｇ₁（ｘ，ｙ）の間で以下の式（１）を用いて移動量（ξ，η）のマッチングの指標である適合度候補ｅ（ξ，η）を求める。

ここで、Ｔ_limは２つのフレーム信号間の誤差を極性反転して適合度候補を計算するときの所定の閾値であり、２つのフレーム信号には輝度信号を用いる。また式（１）では、２つのフレーム信号について差の絶対値を用いて計算しているが、差の自乗、または非線形特性などを用いてもよい。また、２つのフレーム信号としても、輝度信号以外に、輝度信号および色差信号の両方を用いてもよい。

加算する範囲Ｂとしては、８×８画素程度のブロックとする。動きベクトル候補の探索範囲内の移動量（ξ，η）それぞれについて式（１）の計算を行い、計算結果の中で適合度候補ｅ（ξ，η）が最大となる移動量（ξ，η）をそのブロックの動きベクトル候補とする。

また、相互相関関数による方法では、以下の式（２）のｈ（ξ，η）を最大にする移動量（ξ，η）を動きベクトル候補として求める。

前記の方法によって動きベクトル候補および適合度候補を算出した結果、不適切な動きベクトル候補が割り当てられるブロック、または動きベクトル候補が割り当てられないブロックが発生する（たとえば、特許文献１参照）。動きベクトル候補が割り当てられないブロックを補完し、かつ不適切な動きベクトル候補による誤差を抑えるために、動きベクトル候補の補間処理を行い、動きベクトルを決定する。また適合度候補についても補間処理を行い、適合度を決定する。従来技術の動きベクトル検出装置および画像処理装置では、動きベクトルおよび適合度を決定するために、所定の同じ範囲内に存在する動きベクトル候補と適合度候補とを同数用いて、動きベクトルおよび適合度を決定している。たとえば特許文献２では、動きベクトルおよび適合度を、以下の式（３）および式（４）によって求めている。

式（３）および式（４）において、ａ_i（ｘ₁，ｙ₁，ｘ₂，ｙ₂）は２つの点（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）の動きベクトルが同じ向きに動いていると推定される度合いを表す相関度であり、ｒ_i（ｘ₂，ｙ₂）はその点の動きベクトル候補がどれくらい信頼できるか、または所定の条件に合っているかの度合いを表す信頼度候補（適合度候補に相当）であり、ｖ_i（ｘ₂，ｙ₂）は補間処理に入力される動きベクトル候補である。また、式（３）のｖ_i+1（ｘ₁，ｙ₁）は補間処理によって決定された動きベクトルであり、式（４）のｒ_i+1（ｘ₁，ｙ₁）は補間処理によって決定された信頼度（適合度に相当）である。式（３）および式（４）では、動きベクトルおよび適合度の両方について、（ｘ₂，ｙ₂）∈（ｘ₁，ｙ₁）の周囲の動きベクトル候補および適合度候補を同数用いて平均化することによって、動きベクトルおよび適合度を決定している。

特開２００２−２７４１４号公報（第４頁第６−２０行） 特許第３９３５５００号公報（第１３頁、数１、数２、第２０頁、図１０） 吹抜敬彦著，「ＴＶ画像の多次元信号処理（Multi-dimensional TV signal processing）」，初版１刷，日刊工業新聞社，１９８８年１１月１５日，ｐ．１９３−２１２

パターンマッチング法および相互相関関数による方法では、動きベクトルの探索範囲を広くすると、探索範囲の面積に応じて演算回数が増加し、回路規模または計算時間が増大するという問題がある。そのため、フレーム間符号化にパターンマッチング法を適用する場合には、まず探索の精度を粗くし、数画素単位の精度でマッチングを行い、求めた動きベクトルの近辺で、徐々に探索の精度を１画素単位に近づけながらマッチングを繰り返す、いわゆる多段階探索法が多く用いられている。

しかしながら、このような多段階探索法による動きベクトル検出では、全探索をしていないので、局所最適な動きベクトルが求まることとなり、フレーム全体としては、必ずしも最適な動きベクトルが求まるとは限らない。フレームの内容によっては、全探索をした場合と比較すると、動きベクトルとして大きい誤差が出てしまうという問題がある。

フレーム間符号化に多段階探索法を適用する場合には、局所最適な動きベクトルを用いても画質的に余り問題にならないことが多い。しかし、フレーム内挿に多段階探索法を適用する場合には、画質的な劣化の点で問題となることがあり、また距離検出に多段階探索法を適用する場合には、距離の誤検出が問題となることがある。

本発明は、上記のような問題点を解決するためになされたものであり、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることが可能な動きベクトル検出装置および画像処理装置を提供することを目的とする。

本発明の動きベクトル検出装置は、第１および第２の入力フレーム間で、前記第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、各前記入力フレームのエッジ成分を検出するエッジ検出手段と、各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる１個の画素に間引いて、この画素を代表１画素として出力する間引き手段と、前記間引き手段から出力される前記第１および第２の入力フレームの前記代表１画素を用いて、前記第１および第２の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第１および第２の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、前記記憶手段は、前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、前記動きベクトル決定手段は、前記記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲に含まれる画素の適合度候補を用いて、前記適合度補間範囲の中心に位置する中心画素の適合度を算出することを特徴とする。
また本発明の動きベクトル検出装置は、第１および第２の入力フレーム間で、前記第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、各前記入力フレームのエッジ成分を検出するエッジ検出手段と、各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる１個の画素に間引いて、この画素を代表１画素として出力する間引き手段と、前記間引き手段から出力される前記第１および第２の入力フレームの前記代表１画素を用いて、前記第１および第２の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第１および第２の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、前記記憶手段は、前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、前記動きベクトル決定手段は、前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出することを特徴とする。

本発明の画像処理装置は、前記動きベクトル検出装置と、前記動きベクトル検出装置によって検出される前記動きベクトルおよび前記適合度に基づいて、前記第１および第２の入力フレームに含まれる画素から、前記第１および第２の入力フレーム間に内挿する内挿フレームに含まれる画素を生成することによって、画像のフレームレートを変換するフレームレート変換手段とを備えることを特徴とする。

本発明の動きベクトル検出装置によれば、間引き手段によって、第１および第２の入力フレームの注目領域に含まれる複数の画素から代表１画素に間引いた後に、この代表１画素を用いて、適合度候補算出手段によって適合度候補が算出される。これによって、適合度候補を算出するための演算量を削減することが可能になるので、適合度候補を算出するための回路規模または処理時間を小さく抑えることができる。この適合度候補を用いて動きベクトル候補が算出され、動きベクトルが検出されるので、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。

また間引き手段は、エッジ検出手段によって検出される各入力フレームのエッジ成分に基づいて注目領域の複数の画素を代表１画素に間引くので、間引いたことによる動きベクトルの検出精度の低下を抑えることができる。また記憶手段は、間引いたときの代表１画素の位置情報を用いて、動きベクトル候補および適合度候補の記憶アドレスを算出し、その記憶アドレスに動きベクトル候補および適合度候補を記憶するので、間引きによる位置誤差の発生を抑えることができる。また動きベクトル決定手段は、動きベクトル候補および適合度候補から動きベクトルおよび適合度を決定するので、動きベクトルを決定するときの誤差の発生を抑えることができる。

したがって、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。また動きベクトル決定手段は、記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲に含まれる画素の適合度候補を用いて、適合度補間範囲の中心に位置する中心画素の適合度を算出する。これによって、より精度の高い適合度を決定することができる。
また本発明の動きベクトル検出装置によれば、動きベクトル決定手段は、記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出する。これによって、より精度の高い動きベクトルを決定することができる。

本発明の画像処理装置によれば、前述のような優れた動きベクトル検出装置とフレームレート変換手段とを備えて画像処理装置が構成される。動きベクトル検出装置は、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができるので、内挿フレームに含まれる画素を精度良く生成することができる。したがって、画質の低下を抑えて、フレームレートを変換することのできる画像処理装置が実現される。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態である動きベクトル検出装置１の構成を示すブロック図である。図２は、代表１画素の一例を示す図である。動きベクトル検出装置１は、入力される複数のフレーム間において、複数のフレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出するものである。具体的には、動きベクトル検出装置１は、入力されるフレーム（以下「入力フレーム」という場合がある）のうち、注目する２つの入力フレーム、すなわち第１および第２の入力フレーム間で、第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する。

動きベクトル検出装置１は、たとえば動画像において画面内の被写体の動きを表す画像動きベクトルを検出するものであり、時系列的に前後の関係となる前フレームと後フレームとの間の動きベクトルを検出する。この動きベクトル検出装置１によって検出された動きベクトルは、ビデオカメラの手振れ補正などに利用される。動きベクトル検出装置１に入力されるフレームの画像信号は、水平方向の画素走査および垂直方向のライン走査を行うことによって読み出される。

本実施の形態の動きベクトル検出装置１は、入力端子１０、エッジ検出部１１、間引き部１２、適合度候補算出部１３、動きベクトル候補算出部１４、記憶部１５、動きベクトル決定部１６、第１出力端子１７および第２出力端子１８を備えて構成される。

入力端子１０には、たとえばビデオカメラ内の撮像素子で取得された動画像データなどの画像データが入力される。入力端子１０に入力された画像データは、複数のフレームを含んでおり、フレーム単位で、エッジ検出部１１と間引き部１２とに入力される。

エッジ検出部１１は、入力された複数のフレームの画像信号から、水平方向および垂直方向のエッジ成分を検出する。エッジ検出部１１は、検出したエッジ成分を間引き部１２および適合度候補算出部１３に与える。エッジ検出部１１は、エッジ検出手段に相当する。

間引き部１２は、入力フレームの予め定める注目領域に含まれる複数の画素を間引いて、代表となる１個の画素を代表１画素として出力する。具体的には、間引き部１２は、エッジ検出部１１から与えられるエッジ成分を用いてエッジ強度値を計算し、図２に示すように、入力フレームの複数の画素の中で、エッジ強度値が一番大きい画素を代表１画素として出力する。また間引き部１２は、代表１画素の位置を出力する。間引き部１２は、前記代表１画素およびその位置を表す画像信号を、適合度候補算出部１３、動きベクトル候補算出部１４および記憶部１５に与える。間引き部１２は、間引き手段に相当する。

適合度候補算出部１３は、２つの入力フレームについて間引き部１２から与えられる２つの代表１画素の画像信号に基づいて適合度候補を求める。さらに具体的には、適合度候補算出部１３は、間引き部１２から出力される前記代表１画素を用いて、２つの入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する。適合度候補算出部１３は、算出した適合度候補を、動きベクトル候補算出部１４および記憶部１５に与える。適合度候補算出部１３は、適合度候補算出手段に相当する。

動きベクトル候補算出部１４は、適合度候補算出部１３から与えられる適合度候補と、間引き部１２から与えられる代表１画素の位置とから、２つの入力フレーム間の動きベクトルの候補となる動きベクトル候補を算出する。動きベクトル候補算出部１４は、算出した動きベクトル候補を記憶部１５に与える。動きベクトル候補算出部１４は、動きベクトル候補算出手段に相当する。

記憶部１５は、動きベクトル候補算出部１４から与えられる動きベクトル候補と、間引き部１２から与えられる代表１画素の位置と、内挿フレームの位相とから記憶アドレスを算出する。記憶部１５は、算出した記憶アドレスに、動きベクトル候補算出部１４から与えられる動きベクトル候補、および適合度候補算出部１３から与えられる適合度候補を記憶する。また記憶部１５は、所定の範囲の記憶処理が終了する毎に、所定の範囲の動きベクトル候補および適合度候補を出力する。さらに記憶部１５は、後述する動きベクトル決定部１６から与えられる動きベクトルおよび適合度を記憶する。記憶部１５は、記憶手段に相当する。

動きベクトル決定部１６は、記憶部１５から与えられる動きベクトル候補および適合度候補に基づいて、動きベクトルおよび適合度を決定する。動きベクトル決定部１６によって決定された動きベクトルは、記憶部１５に与えられるとともに、第１出力端子１７から出力される。動きベクトル決定部１６によって決定された適合度は、記憶部１５に与えられるとともに、第２出力端子１８から出力される。動きベクトル決定部１６は、動きベクトル決定手段に相当する。

次に、動きベクトル検出装置１の各部の動作を具体的に説明する。まず、図１に示すエッジ検出部１１の動作について説明する。エッジ検出部１１は、入力された複数のフレームの画像信号から、水平方向および垂直方向のエッジ成分を検出し、間引き部１２に与える。エッジ成分の検出は、たとえばプリウィット（Prewitt）フィルタ、ソーベル（Sobel）フィルタのような１次微分フィルタを用いて行ってもよいし、２次微分フィルタなどと組合せて行ってもよい。具体的には、以下の式（５）に従って計算することによってエッジ成分が求められる。

式（５）において、ｇ（ｘ，ｙ）は入力フレームの座標（ｘ，ｙ）の画像信号であり、たとえば輝度を用いる。Ｅ’_xは１次微分フィルタによって検出される水平方向のエッジ成分（以下「水平方向の１次微分エッジ成分」という）であり、Ｅ’_yは１次微分フィルタによって検出される垂直方向のエッジ成分（以下「垂直方向の１次微分エッジ成分」という）である。Ｅ’’_xは２次微分フィルタによって検出される水平方向のエッジ成分（以下「水平方向の２次微分エッジ成分」という）であり、Ｅ’’_yは２次微分フィルタによって検出される垂直方向のエッジ成分（以下「垂直方向の２次微分エッジ成分」という）である。

次に、図１に示す間引き部１２の動作について説明する。間引き部１２は、エッジ検出部１１から与えられるエッジ成分を用いてエッジ強度値を計算し、図２に示すように、入力フレームの複数の画素の中で、エッジ強度値が一番大きい画素を代表１画素として出力する。具体的には、入力フレームの水平方向にＭ（Ｍは１以上の整数）画素、垂直方向にＮ（Ｎは１以上の整数）画素からなる注目領域の複数の画素の中で、エッジ強度値が一番大きい画素のみを残して、代表１画素として出力する。水平方向Ｍ画素、垂直方向Ｎ画素からなる注目領域の他の画素は破棄する。エッジ強度値は、たとえばＣ１（｜Ｅ’_x｜＋｜Ｅ’_y｜）＋Ｃ２（｜Ｅ’’_x｜＋｜Ｅ’’_y｜）によって求める。ここで、Ｃ１、Ｃ２は所定の定数である。また間引き部１２は、図２に示すように、オフセット基準点ＰＯから、水平方向にＯ_x、垂直方向にＯ_yだけ移動した代表１画素の位置ＲＰ（Ｏ_x、Ｏ_y）を出力する。なお、エッジ強度値が一番大きい画素を代表１画素とする代わりに、注目領域の所定の位置の画素、たとえば注目領域の左上の画素を代表１画素としてもよい。検出精度の点では、エッジ強度値が一番大きい画素を代表１画素とする場合に比して劣る場合もあるが、代表１画素に間引いたことによる演算量削減の効果は同様に認められる。

次に、図１に示す適合度候補算出部１３の動作について説明する。適合度候補算出部１３は、従来技術のパターンマッチング法と同様に、２つの入力フレームについて間引き部１２から与えられる２つの代表１画素の画像信号ｇ₀（ｘ，ｙ）、ｇ₁（ｘ，ｙ）の間で移動量（ξ_M，η_N）のマッチングの指標である適合度候補ｅ（ξ_M，η_N）を求め、動きベクトル候補算出部１４および記憶部１５に与える。ここで（ξ_M，η_N）は、間引き部１２から与えられる代表１画素についての間引かれた後の座標であることを示すために、ξ、ηの右下にＭ、Ｎの参照符を付加している。相互相関関数による方法でも同様である。

ここで、１画素同士で適合度候補ｅを算出した場合は画素マッチングとなり、たとえば水平方向ｐ画素、垂直方向ｑ画素（ｐ，ｑは整数。ｐ，ｑのいずれか一方は２以上、他方は１以上）の複数の画素同士で適合度候補ｅを算出した場合はブロックマッチングとなる。通常、画素マッチングよりもブロックマッチングの方が誤検出を減らすことができるが、画素数であるｐおよびｑを増やしすぎると、オブジェクトの境界で誤検出が発生しやすくなる弊害が起こる。また画素数が増えると、計算量も増える。

適合度候補算出部１３は、エッジ検出部１１から与えられるエッジ成分を用いて適合度候補を算出することもできる。これによって、画像信号とエッジ成分との両方から適合度候補を算出するので、動きベクトル候補の検出精度を向上することができる。たとえば２つの画像信号とエッジ成分
（ｇ₀（ｘ，ｙ），Ｅ’_x0（ｘ，ｙ），Ｅ’_y0（ｘ，ｙ），Ｅ’’_x0（ｘ，ｙ），Ｅ’’_y0（ｘ，ｙ））、
（ｇ₁（ｘ，ｙ），Ｅ’_x1（ｘ，ｙ），Ｅ’_y1（ｘ，ｙ），Ｅ’’_x1（ｘ，ｙ），Ｅ’’_y1（ｘ，ｙ））
の間で以下の式（６）を用いて、移動量（ξ_M，η_N）のマッチングの指標である適合度候補ｅ（ξ_M，η_N）を求める。

式（６）において、Ｃ_my，Ｃ_m1，Ｃ_m2は所定の定数である。また（ｘ，ｙ）は、間引き部１２から与えられる代表１画素についての間引かれた後の座標である。

このような構成によれば、エッジ情報も用いて適合度候補を演算することになるので、１画素同士の画素マッチング、あるいはｐ×ｑブロックのサイズが小さい場合等の、少ない画素同士のマッチングにおける動きベクトルの検出精度を向上することができる。

さらに、適合度候補ｅ（ξ_M，η_N）にエッジ成分の大きさを示す以下の式（７）に示すＦ_x，Ｆ_yを加算し、エッジ成分が大きい場合に適合しやすい計算式とすることもできる。

式（７）において、Ｃ_ex，Ｃ_ey，Ｔ_ex，Ｔ_eyは所定の定数である。Ｆ_x（ξ_M，η_N），Ｆ_y（ξ_M，η_N）は、いずれも０以下となるようにリミットをかけた後、適合度候補ｅ（ξ_M，η_N）に加算され、適合度候補の水平成分ｅ_x（ξ_M，η_N）と垂直成分ｅ_y（ξ_M，η_N）とを以下の式（８）に従って算出する。

次に、図１に示す動きベクトル候補算出部１４の動作について説明する。動きベクトル候補算出部１４は、適合度候補算出部１３から与えられる適合度候補と、間引き部１２から与えられる代表１画素の位置とから、動きベクトル候補を算出して出力する。

図３は、動きベクトル候補算出部１４の構成を示すブロック図である。動きベクトル候補算出部１４は、第１入力端子２０、第２入力端子２１、選択部２２、動きベクトル計算部２３および出力端子２４を備えて構成される。適合度候補算出部１３から与えられた適合度候補は、第１入力端子２０を介して選択部２２に与えられる。選択部２２は、適合度候補の中で最も適合度の大きいものを選択し、選択した適合度候補に対応する移動量（ξ_M，η_N）を出力し、動きベクトル計算部２３に与える。最も適合度の大きいものの選択は、パターンマッチング法であれば、適合度候補ｅ（ξ_M，η_N）が最も大きいものを選択し、相互相関関数による方法であれば、同様に適合度候補ｈ（ξ_M，η_N）が最も大きいものを選択する。

動きベクトル計算部２３は、選択部２２から与えられる移動量（ξ_M，η_N）と、第２入力端子２１を介して間引き部１２から与えられる代表１画素の位置ＲＰ（Ｏ_x、Ｏ_y）とから、動きベクトル候補を算出して出力する。動きベクトル検出装置１への複数の入力フレーム、本実施の形態では２つの入力フレームのうち、第１の入力フレーム（以下、単に「第１フレーム」という場合がある）についての代表１画素の位置を（Ｏ_1x，Ｏ_1y）、第２の入力フレーム（以下、単に「第２フレーム」という場合がある）についての代表１画素の位置を（Ｏ_2x，Ｏ_2y）とした場合、第１フレームから第２フレームへの動きベクトル候補（ξ，η）を、たとえば以下の式（９）に従って計算する。

次に、図１に示す記憶部１５の動作について説明する。記憶部１５は、動きベクトル候補算出部１４から与えられる動きベクトル候補と、間引き部１２から与えられる代表１画素の位置と、内挿フレームの位相とから記憶アドレスを算出する。記憶部１５は、算出した記憶アドレスに、動きベクトル候補と、適合度候補算出部１３から与えられる適合度候補とを記憶する。また記憶部１５は、フレーム内の所定の領域の動きベクトル候補と適合度候補とを記憶完了する度に、前記所定の領域の動きベクトル候補および適合度候補を出力する。さらに記憶部１５は、動きベクトル決定部１６から与えられる動きベクトルおよび適合度も記憶する。

図４は、内挿フレームの位相Ｆｐｈを説明するための図である。動きベクトル検出装置１に入力された第１フレームＦ１および第２フレームＦ２に対して、動きベクトルを求める相対的な時間を、内挿フレームＩＦの位相Ｆｐｈとする。第１フレームＦ１の位相をＦｐｈ＝０、第２フレームＦ２の位相をＦｐｈ＝１とすると、内挿の場合は０≦Ｆｐｈ≦１、外挿の場合は内挿の場合の範囲外となる。第１フレームＦ１から第２フレームＦ２への動きベクトル候補ＭＶＣ（ξ，η）について、内挿フレームＩＦでの座標ＣＩを算出し、それに対応した記憶アドレスを算出し、算出した記憶アドレスへ動きベクトル候補と適合度候補とを記憶する。

図５は、記憶部１５の構成を示すブロック図である。図６は、一方のフレーム上の点を固定して他方のフレーム上の点のみを振った場合のペアを説明するための図である。図６（ａ）は、第１フレーム上の点を固定して第２フレーム上の点のみを振った場合を示す図であり、図６（ｂ）は、第２フレーム上の点を固定して第１フレーム上の点のみを振った場合を示す図である。図７は、点対称型に両フレーム上の点を振った場合のペアを説明するための図である。記憶部１５は、第１入力端子３０、第２入力端子３１、第３入力端子３２、第４入力端子３３、第５入力端子３４、第６入力端子３５、記憶アドレス算出部３６、候補記憶部３７、第１出力端子３８および第２出力端子３９を備えて構成される。

記憶アドレス算出部３６は、第１入力端子３０を介して動きベクトル候補算出部１４から与えられる動きベクトル候補と、第４入力端子３３を介して間引き部１２から与えられる代表１画素の位置と、第３入力端子３２を介して与えられる内挿フレームＩＦの位相Ｆｐｈとから、内挿フレームＩＦの位相Ｆｐｈでの動きベクトル候補の座標を算出し、それに対応した記憶アドレスを算出して出力する。

候補記憶部３７は、記憶アドレス算出部３６から与えられる記憶アドレスに、第１入力端子３０を介して動きベクトル候補算出部１４から与えられる動きベクトル候補、および第２入力端子３１を介して適合度候補算出部１３から与えられる適合度候補を記憶する。また候補記憶部３７は、フレーム内の所定の注目領域の動きベクトル候補と適合度候補とを記憶完了する度に、前記所定の注目領域の動きベクトル候補を第１出力端子３８から出力し、前記所定の注目領域の適合度候補を第２出力端子３９から出力する。さらに候補記憶部３７は、第５入力端子３４を介して動きベクトル決定部１６から与えられる動きベクトルおよび第６入力端子３５を介して動きベクトル決定部１６から与えられる適合度も記憶するが、これについては後述する。

次に、図５に示す記憶アドレス算出部３６の具体的な動作について説明する。記憶アドレス算出部３６は、入力される動きベクトル候補と、代表１画素の位置と、内挿フレームの位相とから、内挿フレームでの座標を算出し、それに対応した記憶アドレスを算出して出力する。内挿フレームでの座標（Ｒ_1x，Ｒ_1y）、（Ｒ_2x，Ｒ_2y）を、たとえば以下の式（１０）に従って求める。

式（１０）において、（ｘ，ｙ）は間引き部１２から出力される代表１画素の座標であり、（Ｏ_1x，Ｏ_1y）は第１フレームＦ１についての代表１画素の位置であり、（Ｏ_2x，Ｏ_2y）第２フレームＦ２についての代表１画素の位置であり、Ｆｐｈは内挿フレームＩＦの位相であり、（ξ，η）は動きベクトル候補である。

内挿フレームでの座標が（Ｒ_1x，Ｒ_1y）と（Ｒ_2x，Ｒ_2y）との２組あるのは、図６（ａ）に示すように第１フレーム上の点を固定点として第２フレーム上の点を探索して求めた動きベクトル候補と、図６（ｂ）に示すように第２フレーム上の点を固定点として第１フレーム上の点を探索して求めた動きベクトル候補とが存在するためである。図６には、一方のフレーム上の点を固定して他方のフレーム上の点のみを振って動きベクトルを探索した場合を示しているが、図７に示すような点対称型に両フレーム上の点を振って動きベクトルを探索した場合も移動量が２倍になる分を考慮すれば同様である。

内挿フレームでの座標（Ｒ_1x，Ｒ_1y）、（Ｒ_2x，Ｒ_2y）から、たとえば以下の式（１１）に従って記憶アドレスＡ₁、Ａ₂を算出する。

式（１１）において、ＨＳＺは水平画素数であり、たとえば３２０である。ここで以下の式（１２）のように、注目領域である水平方向Ｍ画素、垂直方向Ｎ画素からなる領域に含まれる複数の画素のうち、第１および第２フレームの水平方向に対応する画素を代表１画素に間引いて生成される座標を用いて、具体的には、水平方向のＭ画素から代表１画素に間引いて記憶アドレスＡ₁、Ａ₂を算出することもできる。この場合、候補記憶部３７の回路規模を小さくすることができる。

次に、図１に示す動きベクトル決定部１６の動作について説明する。図８は、動きベクトル決定部１６の構成を示すブロック図である。図９は、動きベクトルを記憶する中心画素ＣＰ１を説明するための図である。図１０は、適合度を記憶する中心画素ＣＰ２を説明するための図である。動きベクトル決定部１６は、記憶部１５から与えられる動きベクトル候補および適合度候補から、動きベクトルおよび適合度を決定して出力する。動きベクトル決定部１６は、第１入力端子４０、第２入力端子４１、動きベクトル候補補間部４２、適合度候補補間部４３、第１出力端子４４および第２出力端子４５を備えて構成される。

動きベクトル候補補間部４２は、第１入力端子４０を介して記憶部１５から与えられる動きベクトル候補と、第２入力端子４１を介して記憶部１５から与えられる適合度候補とから、補間処理によって動きベクトルを決定する。動きベクトル候補補間部４２によって決定された動きベクトルは、第１出力端子４４から出力される。適合度候補補間部４３は、第２入力端子４１を介して記憶部１５から与えられる適合度候補を補間処理することによって、適合度を決定する。適合度候補補間部４３によって決定された適合度は、第２出力端子４５から出力される。

次に、図８に示す動きベクトル候補補間部４２の具体的な動作について説明する。動きベクトル候補補間部４２は、記憶部１５から与えられる動きベクトル候補と適合度候補とから、補間処理によって動きベクトルを決定する。具体的には、動きベクトル候補補間部４２は、図９に示す水平方向Ｍ１（Ｍ１は１以上の整数）画素、垂直方向Ｎ１（Ｎ１は１以上の整数）画素の領域である動きベクトル補間範囲ＩＡ１の動きベクトル候補と適合度候補とを用いて、動きベクトル補間範囲ＩＡ１の中心画素ＣＰ１の動きベクトルを決定する。中心画素ＣＰ１の動きベクトルは、たとえば以下の式（１３）に従って補間処理をすることによって決定する。

式（１３）において、ξ_i（ｘ，ｙ），η_i（ｘ，ｙ）は中心画素（ｘ，ｙ）での動きベクトルの水平成分および垂直成分であり、ξ（ｕ，ｖ），η（ｕ，ｖ）は（ｕ，ｖ）座標での動きベクトル候補の水平成分および垂直成分であり、ｅ（ｕ，ｖ）は（ｕ，ｖ）座標での適合度候補である。動きベクトル補間範囲ＩＡ１は、水平方向Ｍ１画素、垂直方向Ｎ１画素の領域である。また、Ｓは以下の式（１４）に示すように、動きベクトル補間範囲ＩＡ１である水平方向Ｍ１画素、垂直方向Ｎ１画素の領域内に存在する適合度候補ｅ（ｕ，ｖ）の和である。

前述のように動きベクトルを決定することによって、記憶部１５に動きベクトル候補が記憶されていない記憶アドレスについて動きベクトルが補完され、また不適切な動きベクトル候補による誤差が補間によって抑えられるので、より精度の高い動きベクトルを決定することが可能である。また、動きベクトル補間範囲ＩＡ１である水平方向Ｍ１画素、垂直方向Ｎ１画素の領域内に存在する適合度候補ｅ（ｕ，ｖ）の数に応じて式（１３）の除算が行われるので、水平方向Ｍ１画素、垂直方向Ｎ１画素の領域内に存在する動きベクトル候補と適合度候補とが少ない場合に、決定する動きベクトルが小さくなることを防ぐことができる。これによって、より精度の高い動きベクトルを決定することができる。

また、式（８）に示した水平方向および垂直方向の成分を持つ適合度候補を用いて動きベクトルを決定することもできる。このとき、動きベクトル候補の水平成分と適合度候補の水平成分とから動きベクトルの水平成分を算出し、動きベクトル候補の垂直成分と適合度候補の垂直成分とから動きベクトルの垂直成分を算出することによって、動きベクトルを決定する。たとえば、動きベクトルは、適合度候補の水平成分ｅ_x（ｕ，ｖ）と適合度候補の垂直成分ｅ_y（ｕ，ｖ）とを用いて以下の式（１５）に従って決定する。

式（１５）におけるＳ_x、Ｓ_yは、以下の式（１６）によって決定する。

以上のようにすることによって、動きベクトルの水平成分は入力フレームのエッジ成分の水平成分で重み付けされ、動きベクトルの垂直成分は入力フレームのエッジ成分の垂直成分で重み付けされるので、水平方向および垂直方向それぞれの輪郭の動きに基づいた、より精度の高い動きベクトルを決定することができる。

また中心からの位置（ｕ−ｘ，ｖ−ｙ）を用いて、動きベクトルを決定することもできる。たとえば、以下の式（１７）に従って決定する。

式（１７）におけるｒは、以下の式（１８）によって決定される。

以上のことから、中心画素からの距離も動きベクトルに反映されるので、中心画素の近辺を重視した、より精度の高い動きベクトルが得られる。

ここで、ｒ＝｜ｕ−ｘ｜＋｜ｕ−ｙ｜とすることもできる。式（１７）では、ｒの逆数を乗算しているが、ｒが増加するに伴い減少するような他の関数を乗算してもよい。さらに、水平成分、垂直成分ともにｒの逆数を乗算する代わりに、水平方向ξ_iの計算では｜ｕ−ｘ｜の増加に伴い減少する関数を、垂直方向η_iの計算では｜ｕ−ｙ｜の増加に伴い減少する関数を個別に乗算してもよい。

次に、図８に示す適合度候補補間部４３の具体的な動作について説明する。適合度候補補間部４３は、記憶部１５から与えられる適合度候補を補間処理して適合度を決定する。図１０に示す水平方向Ｍ２（Ｍ２は１以上の整数）画素、垂直方向Ｎ２（Ｎ２は１以上の整数）画素の領域である適合度補間範囲の適合度候補を用いて、中心画素ＣＰ２の適合度を決定する。中心画素ＣＰ２の適合度は、たとえば以下の式（１９）に従って補間処理をすることによって決定する。

式（１９）において、ｅ_i（ｘ，ｙ）は中心画素（ｘ，ｙ）での適合度であり、ｅ（ｕ，ｖ）は（ｕ，ｖ）座標での適合度候補である。また式（１９）におけるＳ_eを、水平方向Ｍ２画素、垂直方向Ｎ２画素の領域のＭ２×Ｎ２の画素数とする。これによって、補間処理は単純平均となるので、適合度補間範囲である水平方向Ｍ２画素、垂直方向Ｎ２画素の領域内に存在する適合度候補が少ないほど、決定する適合度が小さくなる。したがって、周囲に動きベクトルの決定に用いることのできる動きベクトル候補が少ないときは、その画素の適合度を小さくできるので、より精度の高い適合度を決定することができる。

図１１は、求めた動きベクトルと補間処理との関係を示す図である。図１２は、求めた適合度と補間処理との関係を示す図である。図１に示す動きベクトル検出装置１の記憶部１５では、動きベクトル決定部１６から与えられる動きベクトルおよび適合度も記憶するように構成されている。図５に示す記憶部１５を構成する候補記憶部３７は、第５および第６入力端子３４，３５を介して動きベクトル決定部１６から与えられる動きベクトルおよび適合度を記憶する。このとき、動きベクトルについては、図９に示す中心画素ＣＰ１に対応する記憶アドレスへ、記憶されている動きベクトル候補に上書きして記憶する。適合度については、図１０に示す中心画素ＣＰ２に対応する記憶アドレスへ、記憶されている適合度候補に上書きして記憶する。

具体的に述べると、たとえば図１１（ａ）に示すように第１の動きベクトル補間範囲ＩＡ１（ａ）の中心画素ＣＰ１（ａ）に対して求められた動きベクトルは、内挿フレームＩＦの対応する記憶アドレスに上書きして記憶される。この動きベクトルは、図１１（ｂ）に示すように、次の画素の処理において、第２の動きベクトル補間範囲ＩＡ１（ｂ）の中心画素ＣＰ１（ｂ）の動きベクトルを求めるときに用いられ、さらに図１１（ｃ）に示すように、その次の画素の処理において、第３の動きベクトル補間範囲ＩＡ１（ｃ）の中心画素ＣＰ１（ｃ）の動きベクトルを求めるときに用いられる。第３の動きベクトル補間範囲ＩＡ１（ｃ）の中心画素ＣＰ１（ｃ）の動きベクトルを求めるときには、第２の動きベクトル補間範囲ＩＡ１（ｂ）の中心画素ＣＰ１（ｂ）の動きベクトルも用いられる。

同様に、適合度については、たとえば図１２（ａ）に示すように第１の適合度補間範囲ＩＡ２（ａ）の中心画素ＣＰ２（ａ）に対して求められた適合度は、内挿フレームＩＦの対応する記憶アドレスに上書きして記憶され、図１２（ｂ）に示す第２の適合度補間範囲ＩＡ２（ｂ）の中心画素ＣＰ２（ｂ）の適合度を求めるとき、および図１２（ｃ）に示す第３の適合度補間範囲ＩＡ２（ｃ）の中心画素ＣＰ２（ｃ）の適合度を求めるときに用いられる。また第２の適合度補間範囲ＩＡ１（ｂ）の中心画素ＣＰ１（ｂ）の適合度は、第３の適合度補間範囲ＩＡ１（ｃ）の中心画素ＣＰ１（ｃ）の適合度を求めるときに用いられる。

このように動きベクトルおよび適合度は書き戻し、すなわち記憶部１５に戻されて上書きされるので、図１１および図１２に示すように、記憶した動きベクトルおよび適合度は、次以降の画素の処理に用いられる。したがって、動きベクトル、適合度の精度が向上する。

以上のように本実施の形態によれば、間引き部１２で、入力フレームの各座標において、水平方向にＭ（Ｍは１以上の整数）画素、垂直方向にＮ（Ｎは１以上の整数）画素からなる領域の複数の画素から代表１画素に間引いた後で、適合度候補算出部１３によって適合度候補を算出するので、適合度候補を算出するための演算量を削減することが可能となる。これによって、適合度候補を算出するための回路規模または処理時間を小さく抑えることができる。この適合度候補を用いて動きベクトル候補が算出され、動きベクトルが検出されるので、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。

また間引き部１２は、エッジ検出部１１によって検出される各入力フレームのエッジ成分に基づいて注目領域の複数の画素を代表１画素に間引くので、間引いたことによる動きベクトルの検出精度の低下を抑えることができる。また、記憶部１５は、間引いたときの代表１画素の位置情報を用いて、動きベクトル候補の記憶アドレスを算出し、その記憶アドレスに動きベクトル候補を記憶するので、間引きによる位置誤差の発生を抑えることができる。また動きベクトル決定部１６は、動きベクトル候補および適合度候補を用いて動きベクトルおよび適合度を決定するので、動きベクトルを決定するときの誤差の発生を抑えることができる。

したがって、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態の動きベクトル検出装置について説明する。本実施の形態の動きベクトル検出装置は、前述の第１の実施の形態の動きベクトル検出装置１と構成が類似しているので、対応する箇所に同一の参照符を付して、第１の実施の形態と共通する説明を省略する。本実施の形態の動きベクトル検出装置は、図１に示す第１の実施の形態の動きベクトル検出装置１において、記憶部１５を、図１３に示す記憶部１５Ａに置き換えた構成である。

図１３は、本発明の第２の実施の形態である動きベクトル検出装置の記憶部１５Ａの構成を示すブロック図である。記憶部１５Ａは、第１入力端子３０、第２入力端子３１、第３入力端子３２、第４入力端子３３、第５入力端子３４、記憶アドレス算出部３６、候補記憶部５０、中心選択部５１、適合度閾値記憶部５２、適合度比較部５３、第１出力端子５４および第２出力端子５５を備えて構成される。

候補記憶部５０は、第１入力端子３０を介して動きベクトル候補算出部１４から与えられる動きベクトル候補、および第２入力端子３１を介して適合度候補算出部１３から与えられる適合度候補を記憶する。また候補記憶部５０は、フレーム内の所定の注目領域の動きベクトル候補と適合度候補とを記憶完了する度に、前記所定の注目領域の動きベクトル候補を第１出力端子５４から出力し、前記所定の注目領域の適合度候補を第２出力端子５５から出力する。さらに候補記憶部５０は、前記所定の注目領域の適合度候補を中心選択部５１に与える。

中心選択部５１は、候補記憶部５０から与えられる適合度候補について、予め定める適合度補間範囲、たとえば図１０に示す水平方向Ｍ２画素、垂直画素Ｎ２の領域の中心に位置する適合度候補を選択して出力する。中心選択部５１から出力される前記適合度候補である中心画素適合度候補は、適合度比較部５３に与えられる。

適合度閾値記憶部５２は、中心選択部５１から出力される前記中心画素適合度候補と比較するための予め定める適合度閾値を記憶する。適合度閾値記憶部５２は、適合度閾値を適合度比較部５３に与える。適合度比較部５３は、中心選択部５１から与えられる中心画素適合度候補と、適合度閾値記憶部５２から与えられる適合度閾値とを比較して、適合度閾値以上の適合度を出力する。具体的に述べると、適合度比較部５３は、中心選択部５１から与えられる中心画素適合度候補と、適合度閾値記憶部５２から与えられる適合度閾値とを比較して、中心画素適合度候補が適合度閾値以上であると判断すると、中心画素適合度候補を適合度として出力し、中心画素適合度候補が適合度閾値未満であると判断すると、適合度閾値を適合度として出力する。適合度比較部５３は、出力される前記適合度を候補記憶部５０に与える。候補記憶部５０は、適合度比較部５３から与えられる適合度を、図１０に示す水平方向Ｍ２画素、垂直画素Ｎ２の領域の中心に相当する記憶アドレスへ、記憶されている適合度候補に上書きして記憶する。

このように本実施の形態では、記憶部１５Ａは、適合度補間範囲である図１０に示す水平方向Ｍ２画素、垂直画素Ｎ２の領域の中心に位置する中心画素に対応する記憶アドレスに記憶された中心画素適合度候補と適合度閾値とを比較し、中心画素適合度候補が適合度閾値以上であると、中心画素に対応する記憶アドレスに記憶される適合度候補を保持し、中心画素適合度候補が適合度閾値未満であると、中心画素適合度候補に代えて、適合度閾値を記憶する。これによって、動きベクトル決定部１６において、動きベクトル候補と適合度候補とを用いて動きベクトルを補間するときに、適合度が適合度閾値未満と小さい動きベクトル候補によって誤差が発生することを抑えることができる。また全ての画素に適合度閾値以上の適合度を与えることができる。

具体的には適合度閾値記憶部５２に記憶する適合度閾値を０ではない最小の値、すなわち適合度候補算出部１３によって算出される適合度候補のとり得る値のうち、０以外の値であって、かつ最小の値とすることによって、適合度の大きい適合度候補はそのままの値が残り、適合度の小さい適合度候補は、適合度閾値に置き換わる。これによって、適合度の小さい動きベクトル候補が、動きベクトル決定部１６での補間のときに発生させる誤差を抑えることを可能にしつつ、全ての画素に適合度閾値以上の適合度を与えることができる。

＜第３の実施の形態＞
次に、本発明の第３の実施の形態の画像処理装置について説明する。図１４は、本発明の第３の実施の形態である画像処理装置６０の構成を示すブロック図である。
画像処理装置６０は、入力端子６１、動きベクトル検出装置６２、フレームレート変換部６３および出力端子６４を備えて構成される。本実施の形態の動きベクトル検出装置６２は、前述の第１の実施の形態または第２の実施の形態の動きベクトル検出装置である。

動きベクトル検出装置６２およびフレームレート変換部６３には、入力端子６１を介して複数の入力フレームが入力される。動きベクトル検出装置６２は、前述の第１および第２の実施の形態に示したように、複数の入力フレームから動きベクトルと適合度とを生成して出力する。動きベクトル検出装置６２から出力される動きベクトルおよび適合度は、フレームレート変換部６３に与えられる。

フレームレート変換部６３は、動きベクトル検出装置６２から与えられる動きベクトルおよび適合度に基づいて、複数の入力フレーム、たとえば２つの入力フレームに含まれる画素から、前記２つの入力フレーム間に内挿する内挿フレームの画素を生成して出力する。これによって、フレームレート変換部６３は、画像のフレームレートを変換する。フレームレート変換部６３から出力される前記内挿フレームの画素は、出力端子６４から出力される。フレームレート変換部６３は、フレームレート変換手段に相当する。

図１５は、フレームレート変換部６３の構成を示すブロック図である。フレームレート変換部６３は、第１入力端子７０、第２入力端子７１、第３入力端子７２、遅延部７３、参照座標生成部７４、フレーム間補間部７５および出力端子７６を備えて構成される。

遅延部７３には、第１入力端子７０を介して複数のフレームが与えられる。参照座標生成部７４には、動きベクトル検出装置６２から第２および第３入力端子７１，７２を介して動きベクトルおよび適合度が与えられる。

参照座標生成部７４は、第２および第３入力端子７１，７２を介して動きベクトル検出装置６２から与えられる動きベクトルと適合度とから、参照座標を生成して出力する。参照座標生成部７４から出力される参照座標は、遅延部７３に与えられる。

遅延部７３は、第１入力端子７０を介して与えられる複数のフレームを保持し、参照座標生成部７４から与えられる参照座標、具体的には第１フレームおよび第２フレームの参照座標に対応する画素を出力する。遅延部７３から出力される前記第１フレームおよび第２フレームの参照座標に対応する画素は、フレーム間補間部７５に与えられる。

フレーム間補間部７５は、遅延部７３から与えられる前記第１フレームおよび第２フレームの参照座標に対応する画素から、内挿フレームの画素を生成して出力する。フレーム間補間部７５から出力される前記内挿フレームの画素は、出力端子７６から出力される。

次に、図１５に示す参照座標生成部７４の具体的な動作について説明する。参照座標生成部７４は、第２および第３入力端子７１，７２を介して動きベクトル検出装置６２から与えられる動きベクトルおよび適合度に基づいて参照座標を算出して出力する。具体的には、適合度を、予め定める参照座標算出用の適合度閾値（以下「参照座標用適合度閾値」という）と比較する。比較した結果、適合度が参照座標用適合度閾値よりも大きければ、動きベクトルを用いてフレーム内挿を実施できると判断し、動きベクトルに基づいて第１フレームおよび第２フレームの参照座標を計算して出力する。適合度が参照座標用適合度閾値に比べて等しいかまたは小さい場合は、動きベクトルの使用は不可能と判断し、動きベクトルを（０，０）とみなして、第１フレームおよび第２フレームの参照座標を出力する。

次に、動きベクトルを用いてフレーム内挿を実施できると判断した場合の参照座標の計算について説明する。図１６は、参照座標を説明するための図である。図１６において、内挿フレームＩＦに生成する画素（Ｑ_x，Ｑ_y）の位置ＧＰを通る動きベクトルと、第１フレームＦ１および第２フレームＦ２とが交差する点をそれぞれ第１フレームＦ１の参照座標ＲＣ１（Ｐ_1x，Ｐ_1y）、第２フレームＦ２の参照座標ＲＣ２（Ｐ_2x，Ｐ_2y）とする。前記参照座標は、たとえば以下の式（２０）に従って生成することができる。

式（２０）において、（ξ，η）は動きベクトルであり、Ｆｐｈは内挿フレームＩＦの位相である。

動きベクトルの使用が不可能と判断した場合は、以下の式（２１）に示す参照座標を出力する。

次に、図１５に示すフレーム間補間部７５の具体的な動作について説明する。図１７は、内挿フレームＩＦの画素の生成を説明するための図である。フレーム間補間部７５は、遅延部７３から与えられる画素から、図１７に示すように内挿フレームＩＦの画素を生成する。内挿フレームの画素は、たとえば以下の式（２２）に従って生成する。

式（２２）において、Ｙ₁は遅延部７３から与えられる第１フレームＦ１の画素の画像情報であり、Ｙ₂は遅延部７３から与えられる第２フレームＦ２の画素の画素情報であり、Ｙ₀は内挿フレームＩＦの生成する画素の画像情報であり、Ｆｐｈは内挿フレームＩＦの位相である。画素情報としては、たとえば輝度と色差とを用いて、それぞれについて式（２２）に従って内挿フレームＩＦの画素を生成する。これによって複数のフレーム間から複数の内挿フレームを生成できるので、フレームレート変換を行うことができる。

以上のように本実施の形態によれば、画像処理装置６０は、前述のような優れた動きベクトル検出装置６２とフレームレート変換部６３とを備えて構成される。動きベクトル検出装置６２は、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができるので、内挿フレームに含まれる画素を精度良く生成することができる。したがって、画質の低下を抑えて、フレームレートを変換することのできる画像処理装置６０が実現される。

＜参考形態＞
次に、本発明の参考形態の画像処理装置について説明する。本参考形態の画像処理装置は、前述の第３の実施の形態の画像処理装置６０と構成が類似しているので、対応する箇所に同一の参照符を付して、第３の実施の形態と共通する説明を省略する。

図１８は、本発明の参考形態の画像処理装置８０の構成を示すブロック図である。画像処理装置８０は、入力端子８１、動きベクトル検出装置６２、解像度変換部８２および出力端子８３を備えて構成される。動きベクトル検出装置６２は、前述の第３の実施の形態の画像処理装置６０と同様に、前述の第１または第２の実施の形態の動きベクトル検出装置である。

解像度変換時の補間方法として、周囲の４個の画素から補間を行う線形補間法、および周囲の１６個の画素から補間を行うバイキュービック法が知られている。これらは、１つのフレーム内で周囲の点から補間処理を行う。本参考形態の画像処理装置８０では、２つのフレームから動きベクトルを検出し、２つのフレーム間で対応する複数の画素を見つけて、前記複数の画素から補間処理によって解像度の異なる画素を算出する。２つのフレーム間で対応する複数の画素の数は、たとえば線形補間法のように４個でもよいし、バイキュービック法のように１６個でもよい。

動きベクトル検出装置６２および解像度変換部８２には、図１８に示すように、入力端子８１から複数のフレームが与えられる。動きベクトル検出装置６２は、前述の第１および第２の実施の形態に示したように、複数の入力フレームから動きベクトルおよび適合度を生成して出力する。動きベクトル検出装置６２から出力される動きベクトルおよび適合度は、解像度変換部８２に与えられる。

解像度変換部８２は、動きベクトル検出装置６２から与えられる動きベクトルおよび適合度に基づいて、複数の入力フレーム、たとえば２つの入力フレームに含まれる画素から解像度変換した新たな画素を生成して出力する。これによって、前記複数の入力フレームで構成される画像とは異なる解像度を有する新たな画像が生成される。解像度変換部８２から出力される前記解像度変換した画素は、出力端子８３から出力される。解像度変換部８２は、解像度変換手段に相当する。

図１９は、解像度変換部８２の動作を説明するための図である。図１９（ａ）は、解像度変換前のグリッドを示す図であり、図１９（ｂ）は、解像度変換後のグリッドを示す図である。図１９（ａ）には、９個のグリッドを示しており、図１９（ｂ）には、１６個のグリッドを示している。図２０は、解像度変換部８２の動作を説明するための図である。図１９に示すように、入力フレームを４／３倍に拡大する場合を例にとり説明する。解像度変換部８２は、動きベクトル検出装置６２から与えられる動きベクトルのうち、図２０に示すように、移動量が似ている４個の隣接した動きベクトルを探し、第１フレームＦ１と第２フレームＦ２との間で対応する４個の画素の組を見つける。このとき、予め定める動きベクトル探索用の適合度閾値である探索用適合度閾値以下の適合度を持つ動きベクトルは、探す対象から外す。次に、見つけた４個の画素の組を、第１フレームＦ１および第２フレームＦ２のそれぞれで補間し、第１フレームＦ１の補間画素ＩＰ１および第２フレームＦ２の補間画素ＩＰ２を算出する。さらに解像度変換部８２は、前記第１フレームＦ１の補間画素ＩＰ１と前記第２フレームＦ２の補間画素ＩＰ２とから、補間処理によって解像度変換した画素を算出して出力する。移動量が似ている４個の隣接した動きベクトルが見つからない画素については、第２フレームＦ２において周囲の４個の画素から補間処理を行い、解像度変換した画素を算出して出力する。

このようにして異なる解像度の画素を得ることによって、解像度変換を行うことができる。本参考形態では、第１フレームＦ１と第２フレームＦ２の対応する４個の画素を用いて解像度変換を行う場合について述べたが、対応する画素の数は４個に限らず、たとえば１６個でもよい。

以上のように本参考形態によれば、画像処理装置８０は、前述のような優れた動きベクトル検出装置６２と解像度変換部８３とを備えて構成される。動きベクトル検出装置６２は、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができるので、画質の低下を抑えて、解像度の異なる新たな画像を生成することのできる画像処理装置８０が実現される。

本発明の第１の実施の形態である動きベクトル検出装置１の構成を示すブロック図である。 代表１画素の一例を示す図である。 動きベクトル候補算出部１４の構成を示すブロック図である。 内挿フレームの位相Ｆｐｈを説明するための図である。 記憶部１５の構成を示すブロック図である。 一方のフレーム上の点を固定して他方のフレーム上の点のみを振った場合のペアを説明するための図である。 点対称型に両フレーム上の点を振った場合のペアを説明するための図である。 動きベクトル決定部１６の構成を示すブロック図である。 動きベクトルを記憶する中心画素ＣＰ１を説明するための図である。 適合度を記憶する中心画素ＣＰ２を説明するための図である。 求めた動きベクトルと補間処理との関係を示す図である。 求めた適合度と補間処理との関係を示す図である。 本発明の第２の実施の形態である動きベクトル検出装置の記憶部１５Ａの構成を示すブロック図である。 本発明の第３の実施の形態である画像処理装置６０の構成を示すブロック図である。 フレームレート変換部６３の構成を示すブロック図である。 参照座標を説明するための図である。 内挿フレームＩＦの画素の生成を説明するための図である。 本発明の参考形態の画像処理装置８０の構成を示すブロック図である。 解像度変換部８２の動作を説明するための図である。 解像度変換部８２の動作を説明するための図である。

符号の説明

１ 動きベクトル検出装置、１１ エッジ検出部、１２ 間引き部、１３ 適合度候補算出部、１４ 動きベクトル候補算出部、１５ 記憶部、１６ 動きベクトル決定部、２２ 選択部、２３ 動きベクトル計算部、３６ 記憶アドレス算出部、３７，５０ 候補記憶部、４２ 動きベクトル候補補間部、４３ 適合度候補補間部、５１ 中心選択部、５２ 適合度閾値記憶部、５３ 適合度比較部、６０，８０ 画像処理装置、６２ 動きベクトル検出装置、６３ フレームレート変換部、７３ 遅延部、７４ 参照座標生成部、７５ フレーム間補間部、８２ 解像度変換部。

Claims (10)

1. 第１および第２の入力フレーム間で、前記第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、
   各前記入力フレームのエッジ成分を検出するエッジ検出手段と、
   各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる１個の画素に間引いて、この画素を代表１画素として出力する間引き手段と、
   前記間引き手段から出力される前記第１および第２の入力フレームの前記代表１画素を用いて、前記第１および第２の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、
   前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第１および第２の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、
   前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、
   前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、
   前記記憶手段は、
   前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、
   前記動きベクトル決定手段は、
   前記記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲に含まれる画素の適合度候補を用いて、前記適合度補間範囲の中心に位置する中心画素の適合度を算出することを特徴とする動きベクトル検出装置。
2. 前記動きベクトル決定手段は、前記適合度補間範囲に含まれる画素の適合度候補を単純平均することによって、前記中心画素の適合度を算出することを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記記憶手段は、前記動きベクトル決定手段によって前記中心画素の適合度が算出されると、前記中心画素に対応する記憶アドレスに記憶される適合度候補に代えて、前記動きベクトル決定手段によって算出された前記中心画素の適合度を記憶することを特徴とする請求項１または２に記載の動きベクトル検出装置。
4. 第１および第２の入力フレーム間で、前記第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、
   各前記入力フレームのエッジ成分を検出するエッジ検出手段と、
   各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる１個の画素に間引いて、この画素を代表１画素として出力する間引き手段と、
   前記間引き手段から出力される前記第１および第２の入力フレームの前記代表１画素を用いて、前記第１および第２の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、
   前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第１および第２の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、
   前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、
   前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、
   前記記憶手段は、
   前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、
   前記動きベクトル決定手段は、
   前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出することを特徴とする動きベクトル検出装置。
5. 前記動きベクトル決定手段は、
   前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出することを特徴とする請求項１〜３のいずれか１つに記載の動きベクトル検出装置。
6. 前記動きベクトル決定手段は、式（１３）
   

   

   （ξｉ（ｘ，ｙ），ηｉ（ｘ，ｙ）は中心画素（ｘ，ｙ）での動きベクトルの水平成分および垂直成分であり、ξ（ｕ，ｖ），η（ｕ，ｖ）は（ｕ，ｖ）座標での動きベクトル候補の水平成分および垂直成分であり、ｅ（ｕ，ｖ）は（ｕ，ｖ）座標での適合度候補であり、Ｓは式（１４）
   

   

   で示される。）
   に従って前記中心画素の動きベクトルを算出することを特徴とする請求項４または５に記載の動きベクトル検出装置。
7. 前記動きベクトル決定手段は、式（１５）
   

   

   （ξｉ（ｘ，ｙ），ηｉ（ｘ，ｙ）は中心画素（ｘ，ｙ）での動きベクトルの水平成分および垂直成分であり、ξ（ｕ，ｖ），η（ｕ，ｖ）は（ｕ，ｖ）座標での動きベクトル候補の水平成分および垂直成分であり、ｅ _x （ｕ，ｖ），ｅ _y （ｕ，ｖ）は（ｕ，ｖ）座標での適合度候補の水平成分および垂直成分であり、Ｓ _x 、Ｓ _y は、式（１６）
   

   

   で示される。）
   に従って前記中心画素の動きベクトルを算出することを特徴とする請求項４または５に記載の動きベクトル検出装置。
8. 前記動きベクトル決定手段は、式（１７）
   

   

   （ξｉ（ｘ，ｙ），ηｉ（ｘ，ｙ）は中心画素（ｘ，ｙ）での動きベクトルの水平成分および垂直成分であり、ξ（ｕ，ｖ），η（ｕ，ｖ）は（ｕ，ｖ）座標での動きベクトル候補の水平成分および垂直成分であり、ｅ（ｕ，ｖ）は（ｕ，ｖ）座標での適合度候補であり、ｒは式（１８）
   

   

   で示され、Ｓは式（１４）
   

   

   で示される。）
   に従って前記中心画素の動きベクトルを算出することを特徴とする請求項４または５に記載の動きベクトル検出装置。
9. 前記記憶手段は、前記記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲の中心に位置する中心画素に対応する記憶アドレスに記憶された中心画素適合度候補と、予め定める適合度閾値とを比較し、前記中心画素適合度候補が前記適合度閾値以上であると、前記中心画素に対応する記憶アドレスに記憶される適合度候補を保持し、前記中心画素適合度候補が前記適合度閾値未満であると、前記中心画素適合度候補に代えて、前記適合度閾値を記憶することを特徴とする請求項１〜８のいずれか１つに記載の動きベクトル検出装置。
10. 請求項１〜９のいずれか１つに記載の動きベクトル検出装置と、
    前記動きベクトル検出装置によって検出される前記動きベクトルおよび前記適合度に基づいて、前記第１および第２の入力フレームに含まれる画素から、前記第１および第２の入力フレーム間に内挿する内挿フレームに含まれる画素を生成することによって、画像のフレームレートを変換するフレームレート変換手段とを備えることを特徴とする画像処理装置。

Images