JPH08163573A - 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像間での動きを表す動きベクトルを検出す
る動きベクトル検出装置に関するもので、検出された動
きベクトルの信頼性判定の確度を向上する。 【構成】 分割された各画素ブロックに対して相関値算
出回路４で相関値を算出し、相関値から動きベクトル算
出回路５で動きベクトルを算出し、動きベクトル信頼性
判定回路６でその動きベクトルの第１の信頼性判定を行
い、その信頼性判定結果ＭＦij(1) と、動きベクトル相
関値算出回路23で算出されるその動きベクトルと周辺ブ
ロックでの動きベクトルとの相関性を示す動きベクトル
相関値Ｍｒijとから再度信頼性判定を行う。 【効果】 動きベクトル信頼性判定回路６で信頼性判定
を誤ったとしても、周辺のブロックで検出された動きベ
クトルとの相関性から再度信頼性判定を行うことで、信
頼性判定を補正することが可能となり、信頼性判定の確
度を向上できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、フレーム数変換を行う
方式変換装置に使用される、画像内の動きを表す動きベ
クトルを検出する動きベクトル検出装置、およびこの動
きベクトル検出装置を使用し、かつ飛び越し走査信号を
順次走査信号に変換する順次走査変換装置に関するもの
である。

【０００２】

【従来の技術】従来の画像の動きベクトル検出装置とし
ては、たとえば特開昭６１−２６９４７５号公報に示さ
れたものが知られている。

【０００３】図８に、画面を複数の小さな画素ブロック
に分割し、各小ブロックで動きベクトルで検出するブロ
ックマッチング法を適用した、従来の動きベクトル検出
装置の要部構成図を示す。

【０００４】図８において、１はディジタル化された映
像信号ａを入力する映像信号入力端子であり、従来の動
きベクトル検出装置は、この映像信号入力端子１から入
力された映像信号ａを１フレーム分格納するフレームメ
モリ２と、フレームメモリ２のアドレスを制御するフレ
ームメモリアドレス制御回路３と、連続する２フレーム
における画面上の小さな画素ブロック間での相関値を算
出する相関値算出回路（詳細は後述する）４と、相関値
算出回路４で算出される相関値の値により動きベクトル
を算出する動きベクトル算出回路（詳細は後述する）５
と、相関値算出回路４で算出された相関値の値により動
きベクトル算出回路５で算出された動きベクトルの信頼
性を判定する動きベクトル信頼性判定回路（詳細は後述
する）６から構成されている。上記動きベクトルの信頼
性の信号は第１出力端子７から出力され、上記動きベク
トルの信号は第２出力端子８から出力される。

【０００５】ブロックマッチング法による動きベクトル
検出について図９を参照しながら詳しく説明し、上記相
関値算出回路４と動きベクトル算出回路５について説明
する。

【０００６】図９に示すように、連続する２フレームに
おいて、前フレームの画面を水平Ｍ画素×垂直Ｎライン
の幾つかの小さな画素ブロック（以下、動きベクトル検
出ブロックと称す）Ｂijに分割する。そして、動きベク
トルの検出範囲を水平方向±Ｋ画素、垂直方向±Ｌライ
ンとする。動きベクトル検出ブロックＢijとその動きベ
クトル検出ブロックＢijを動きベクトルの検出範囲内で
ある偏移量（ｖ_x ，ｖ _y ）で移動させた現フレーム上の
画素ブロックＢij（ｖ_x ，ｖ_y ）との相関性を表す相関
値Ｄｒij（ｖ_x ，ｖ_y ）を下記の（１）式、または
（２）式を使用して算出する。

【０００７】

【数１】

【０００８】ただし、 Ｉ（ｘ＋ｍ，ｙ＋ｎ） ：前フレーム上の座標値（ｘ＋ｍ，ｙ＋ｎ）における輝
度値 Ｉ’（ｘ＋ｍ＋ｖ_x ，ｙ＋ｎ＋ｖ_y ） ：現フレーム上の座標値（ｘ＋ｍ＋ｖ_x ，ｙ＋ｎ＋
ｖ_y ）における輝度値 Ｉ（ｘ＋ｍ，ｙ＋ｎ）∈Ｂij， Ｉ’（ｘ＋ｍ＋ｖ_x ，ｙ＋ｎ＋ｖ_y ）∈Ｂij（ｖ_x ，ｖ
_y ） −Ｋ≦ｖ_x ≦Ｋ，−Ｌ≦ｖ_y ≦Ｌ すなわち、相関値Ｄｒij（ｖ_x ，ｖ_y ）は、前フレーム
上の動きベクトル検出ブロックＢijに含まれる画素の輝
度値と偏移量（ｖ_x ，ｖ_y ）で移動させた現フレーム上
の画素ブロックＢij（ｖ_x ，ｖ_y ）に含まれる画素の輝
度値との差の絶対値、またはその差の２乗をそれぞれの
画素で求め、その値をブロック内で累積加算して得られ
る。相関値算出回路４は、上記の（１）式、または
（２）式を使用して相関値Ｄｒij（ｖ_x ，ｖ_y ）を算出
する。

【０００９】相関値Ｄｒij（ｖ_x ，ｖ_y ）が最小となる
時の偏移量（ｖ_x ，ｖ_y ）が、動きベクトル検出ブロッ
クＢijにおける動きベクトルＭＶijとなる。上記動きベ
クトル算出回路５は、相関値Ｄｒij（ｖ_x ，ｖ_y ）が最
小となる時の偏移量（ｖ_x ，ｖ_y ）を算出し、動きベク
トル検出ブロックＢijにおける動きベクトルＭＶijとし
て出力する。

【００１０】動きベクトル信頼性判定回路６の詳細構成
を図10、図11、図12、図13に示す。以下、それぞれの動
きベクトル信頼性判定回路について詳しく説明する。図
10に示す、動きベクトル信頼性判定回路６は、相関値Ｄ
ｒij（ｖ_x ｖ_y ）の平均値Ｄｒijave を算出する平均値
算出回路11と、平均値算出回路７において算出された平
均値Ｄｒijave を閾値Ｃave と比較し、平均値Ｄｒijav
e が閾値Ｃave より小さければ、判定結果ＭＦijとし
て、信頼性無を出力する比較回路12から構成されてい
る。

【００１１】図11に示す、動きベクトル信頼性判定回路
６は、上記平均値算出回路11と、平均値算出回路11で算
出された平均値Ｄｒijave を定数倍（Ａ倍、０＜Ａ＜
１）する補正回路13と、相関値Ｄｒij（ｖ_x ，ｖ_y ）の
最小値Ｄｒijmin を探索する最小値探索回路14と、定数
倍された平均値Ａ・Ｄｒijave を相関値の最小値Ｄｒij
min と比較し、定数倍された平均値Ａ・Ｄｒijave が相
関値の最小値Ｄｒijminより小さければ、判定結果ＭＦi
jとして、信頼性無を出力する比較回路15から構成され
ている。

【００１２】図12に示す、動きベクトル信頼性判定回路
６は、上記最小値探索回路14と、相関値Ｄｒij（ｖ_x ，
ｖ_y ）の最大値Ｄｒijmax を探索する最大値探索回路16
と、最大値に対する最小値の比Ｄｒijmin ／Ｄｒijmax
を算出する比算出回路17と、算出された比Ｄｒijmin ／
Ｄｒijmax を閾値Ｃrat （０＜Ｃrat ＜１）と比較し、
比Ｄｒijmin ／Ｄｒijmax が閾値Ｃrat より大きけれ
ば、判定結果ＭＦijとして、信頼性無を出力する比較回
路14から構成されている。

【００１３】図13に示す、動きベクトル信頼性判定回路
６は、図10、図11、図12に示した回路を合成したものあ
り、図10における判定結果、図11における判定結果、図
12における判定結果のいづれかの判定結果が、信頼性無
であれば、オア回路19から、最終的な判定結果ＭＦijと
して、信頼性無が出力される。

【００１４】以上のように構成された従来の動きベクト
ル検出装置において、以下その動作について説明する。
図８において、映像信号入力端子１に入力される映像信
号ａの現フレームの画像データとフレームメモリ２から
出力される前フレームの画像データとからフレームメモ
リアドレス制御回路３によりフレームメモリ２からの出
力を制御することにより、動きベクトル検出ブロックＢ
ijに分割し、各動きベクトル検出ブロックＢijにおける
相関値Ｄｒij（ｖ_x ，ｖ_y ）を相関値算出回路４で算出
する。

【００１５】動きベクトル算出回路５では、相関値算出
回路４で算出された相関値Ｄｒij（ｖ_x ，ｖ_y ）が最小
となる時の偏移量（ｖ_x ，ｖ_y ）を、動きベクトル検出
ブロックＢijにおける動きベクトルＭＶijとして算出
し、また第２出力端子８より出力する。

【００１６】動きベクトル信頼性判定回路６では、動き
ベクトル算出回路５で算出された動きベクトルＭＶijの
信頼性を判定し、信頼性有、信頼性無いづれかを判定結
果ＭＦijとして第１出力端子７より出力する。

【００１７】以上のように、ブロックマッチング法を用
いた動きベクトル検出において、動きベクトル検出ブロ
ックＢij内に絵柄に変化があるような画像が含まれてい
る場合は、そのブロックで検出された動きベクトルＭＶ
ijは信頼性が高く、動きベクトル検出ブロックＢij内に
絵柄に変化がないような画像が含まれているような場合
は、そのブロックで検出された動きベクトルは信頼性が
低い傾向にある。絵柄の変化のない動きベクトル検出ブ
ロックＢijでは、相関値Ｄｒij（ｖ_x ，ｖ_y ）の平均値
は相対的に低く、相関値Ｄｒij（ｖ_x ，ｖ_y ）の最小値
と最大値の差もそれほど大きくならない。そのようなこ
とから、前述した処理からは精度の高い信頼性判定結果
が得られる。

【００１８】

【発明が解決しようとする課題】しかしながら、相関値
Ｄｒij（ｖ_x ，ｖ_y ）の平均値、最大値および最小値と
所定の閾値Ｃave 、Ｃrat との大小比較により、検出さ
れた動きベクトルの信頼性を判定する場合、ノイズなど
の影響により相関値Ｄｒij（ｖ_x ，ｖ_y ）は確率的に揺
らいだものとなる。そのため、あらゆる画像に対して
も、高精度な信頼性判定を行うためには、判定基準とな
る閾値Ｃave 、Ｃrat を慎重に設定する必要がある。し
かしながら、入力される画像は一定ではないため、あら
ゆる画像に対して、一定の閾値Ｃave 、Ｃrat のみで高
精度な信頼性判定を行うことには限界がある。誤判定と
しては、正しく検出された動きベクトルＭＶijを信頼性
無、誤って検出された動きベクトルＭＶijを信頼性有と
誤判定する２通りの場合がある。動きベクトルＭＶijを
用いてフレーム数変換や順次走査変換を行う場合、誤っ
て検出された動きベクトルＭＶijを信頼性有と誤判定し
た場合の方が、変換画像の画質劣化が大きい。よって、
閾値Ｃave 、Ｃrat の設定を行う場合、いかなる画像に
対しても、誤って検出された動きベクトルＭＶijは完全
に排除する必要がある。そのため、判定基準を厳しくす
るような閾値Ｃave 、Ｃrat に設定しなければならず、
正しく検出されていた動きベクトルＭＶijでさえ、信頼
性無と判定され排除されてしまう。

【００１９】動きベクトルＭＶijを検出する対象の動画
像として、カメラのパーニングによって発生する動きが
一様なパーニング画像のみを扱う場合は、検出すべき動
きベクトルＭＶijは１つであるため、正しく検出されて
いた動きベクトルＭＶijが、信頼性無と判定され排除さ
れたとしても、それほど問題にはならない。また、パー
ニング画像の場合は、検出すべき動きベクトルＭＶijは
１つであるため、動きベクトル検出ブロックＢijを大き
くすることにより、ノイズなどの影響による相関値の確
率的な揺らぎを低く抑えることができる。しかしなが
ら、動きベクトルＭＶijを検出する対象の動画像とし
て、その画像中に含まれているいくつかの物体の動きが
一様ではなく、様々である動画像を扱う場合、検出すべ
き動きベクトルＭＶijは１つではなく、いくつか存在す
るため、その全ての動きベクトルＭＶijを検出するため
には、動きベクトル検出ブロックＢijをそれ程大きくす
ることはできない。すなわち、様々な動きを含んだ動画
像において、その動画像に含まれた動き全てを表す動き
ベクトルＭＶijを検出するためには、動きベクトル検出
ブロックＢijは、小さく、動きベクトル検出範囲（±
Ｋ，±Ｌ）は大きくする必要がある。しかしながら、相
関値Ｄｒij（ｖ_x ，ｖ_y ）のノイズなどの影響による確
率的な揺らぎは、動きベクトル検出ブロックＢijが小さ
ければ小さいほど、動きベクトルの検出範囲（±Ｋ，±
Ｌ）が大きければ大きいほど、大きくなる。

【００２０】以上のような原因により、様々な動きを含
んだ動画像において、従来の構成による動きベクトル検
出装置によって動きベクトルＭＶijを検出し、検出され
た動きベクトルの信頼性を判定する場合、閾値Ｃave 、
Ｃrat を厳しく設定するため、正しく検出されていた動
きベクトルを信頼性無と誤判定される場合が多かった。

【００２１】本発明は上記問題を解決するものであり、
動きベクトルの信頼性の判定の確度を向上させた動きベ
クトル検出装置を提供し、この動きベクトル検出装置を
使用した順次走査変換装置を提供することを目的とする
ものである。

【００２２】

【課題を解決するための手段】上記問題を解決するため
に、第１発明の動きベクトル検出装置は、画面を複数の
画素ブロックに分割し、前記各画素ブロックについて所
定の偏移における相関値を算出する相関値算出手段と、
前記相関値より各画素ブロックにおける動きベクトルを
算出する動きベクトル算出手段と、前記動きベクトルを
格納する動きベクトル格納手段と、前記相関値をもとに
前記動きベクトル算出手段から算出される動きベクトル
の信頼性を判定する第１動きベクトル信頼性判定手段
と、前記動きベクトル格納手段に格納された、各画素ブ
ロックの動きベクトルと前記各画素ブロックの上下、左
右もしくは斜め方向の画素ブロックの動きベクトルとの
動きベクトル差分値から動きベクトル相関値を算出する
動きベクトル相関値算出手段と、前記第１動きベクトル
信頼性判定手段より得られる信頼性判定結果と前記動き
ベクトル相関値とから再度前記動きベクトルの信頼性を
判定する第２動きベクトル信頼性判定手段とを備えたこ
とを特徴とするものである。

【００２３】また、第２発明の動きベクトル検出装置
は、上記第１発明の動きベクトル検出装置であって、動
きベクトル相関値算出手段は、動きベクトル差分値を、
各画素ブロックの動きベクトルと前記各画素ブロック上
下、左右もしくは斜め方向の画素ブロックの動きベクト
ルとのユークリッド距離とすることを特徴とするもので
ある。

【００２４】また、第３発明の動きベクトル検出装置
は、上記第１発明の動きベクトル検出装置であって、動
きベクトル相関値算出手段は、動きベクトル差分値を、
各画素ブロックの動きベクトルと前記各画素ブロックの
上下、左右もしくは斜め方向の画素ブロックの動きベク
トルとの水平方向成分、垂直成分それぞれの差分の絶対
値和とすることを特徴とするものである。

【００２５】また、第４発明の動きベクトル検出装置
は、上記第１発明の動きベクトル検出装置であって、動
きベクトル相関値算出手段は、動きベクトル相関値を、
動きベクトル差分値が所定の閾値より小さい上下、左右
もしくは斜め方向の画素ブロック数とすることを特徴と
するものである。

【００２６】また、第５発明の動きベクトル検出装置
は、上記第１発明の動きベクトル検出装置であって、動
きベクトル相関値算出手段は、動きベクトル相関値を、
上下、左右もしくは斜め方向の画素ブロックにおける動
きベクトル差分値の累積加算値とすることを特徴とする
ものである。

【００２７】また、第６発明の動きベクトル検出装置
は、上記第１発明の動きベクトル検出装置であって、第
２動きベクトル信頼性判定手段は、第１動きベクトル信
頼性判定手段より得られる信頼性判定結果をもとに所定
の閾値を選択する閾値選択手段と、動きベクトル相関値
と前記所定の閾値とを比較する比較手段を備えたことを
特徴とするものである。

【００２８】また、第７発明の順次走査変換装置は、１
フィールド前の画像データを１フィールド分格納する第
１フィールドメモリと、２フィールド前の画像データを
１フィールド分格納する第２フィールドメモリと、現フ
ィールドの画像データと前記２フィールド前の画像デー
タとから動きベクトルを検出する動きベクトル検出手段
と、前記動きベクトルにより走査線の補間を行う動きベ
クトル補間手段と、前記１フィールド前の画像データか
ら走査線の補間を行うフィールド内補間手段と、前記動
きベクトル補間手段で作成された動きベクトル補間画像
と前記フィールド内補間手段で作成されたフィールド内
補間画像との選択を行う補間画像選択手段と、前記１フ
ィールド前の画像データと前記補間画像選択手段より得
られる補間画像とから順次走査変換化する走査線変換手
段とを具備し、前記動きベクトル検出手段を、第１発明
の動きベクトル検出装置とすることを特徴とするもので
ある。

【００２９】

【作用】上記第１発明の構成により、画面を複数の画素
ブロックに分割し、各画素ブロックについて所定の偏移
における相関値を算出し、相関値より各画素ブロックに
おける動きベクトルを算出し、相関値をもとに動きベク
トルの信頼性を第１判定し、各画素ブロックの動きベク
トルとその画素ブロックの上下、左右もしくは斜め方向
の画素ブロックの動きベクトルとの動きベクトル差分値
から動きベクトル相関値を算出し、動きベクトル相関値
と前記動きベクトルの信頼性判定結果をもとに、再度動
きベクトルの信頼性を第２判定することにより、第１信
頼性判定で、正しく検出された動きベクトルが信頼性無
と誤判定された場合においても、第２信頼性判定におけ
る救済措置により、信頼性有と正しく判定され、より多
くの正しく検出された動きベクトルが信頼性有、また、
より多くの誤って検出された動きベクトルが信頼性無と
判定される。それにより、第１判定で信頼性無と判定さ
れ、落とされた正しい動きベクトルをより多く救済する
ことが可能となる。

【００３０】また上記第２発明の構成により、上記動き
ベクトル差分値が、各画素ブロックの動きベクトルと前
記各画素ブロック上下、左右もしくは斜め方向の画素ブ
ロックの動きベクトルとのユークリッド距離として算出
される。

【００３１】また上記第３発明の構成により、上記動き
ベクトル差分値が、各画素ブロックの動きベクトルと前
記各画素ブロックの上下、左右もしくは斜め方向の画素
ブロックの動きベクトルとの水平方向成分、垂直成分そ
れぞれの差分の絶対値和として算出される。

【００３２】さらに上記第４発明の構成により、上記動
きベクトル相関値が、動きベクトル差分値が所定の閾値
より小さい上下、左右もしくは斜め方向の画素ブロック
数として算出される。

【００３３】また上記第５発明の構成により、上記動き
ベクトル相関値が、上下、左右もしくは斜め方向の画素
ブロックにおける動きベクトル差分値の累積加算値とし
て算出される。

【００３４】さらに上記第６発明の構成により、第２判
定は、第１動きベクトル信頼性判定手段より得られる信
頼性判定結果をもとに選択された所定の閾値と、動きベ
クトル相関値とを比較することにより行われる。

【００３５】また上記第７発明の構成により、第ｎフィ
ールドの飛び越し走査の映像信号が入力されたとき、第
１フィールドメモリには第（ｎ−１）フィールドの映像
信号が格納され、第２フィールドメモリには第（ｎ−
２）フィールドの映像信号が格納されており、第ｎフィ
ールドと第（ｎ−２）フィールドとの間の動きベクトル
とその動きベクトルの信頼性判定結果が動きベクトル検
出手段で検出され、動きベクトル補間手段では、検出さ
れた動きベクトルとその動きベクトルの信頼性判定結果
により、信頼性有と判定された動きベクトルのみを用い
て第（ｎ−２）フィールドの画像と第ｎフィールドの画
像とから動きベクトル補間画像が作成され、一方、フィ
ールド内補間手段では、第（ｎ−１）フィールドの画像
を用いてフィールド内でフィルタリングによりフィール
ド内補間画像が作成され、これら動きベクトル補間画像
とフィールド内補間画像とは補間画像選択手段において
画素ごとに選択され、走査線変換手段において、第（ｎ
−１）フィールドの画像と補間画像選択手段より得られ
る補間画像とから順次走査線変換され、順次走査変換画
像が作成される。

【００３６】

【実施例】以下、本発明の一実施例を図面に基づいて説
明する。なお、従来例の図８，図10〜図13の構成と同一
の構成には同一の符号を付して説明を省略する。

【００３７】図１に本発明の一実施例における動きベク
トル検出装置の要部構成図を示す。本発明の動きベクト
ル検出装置は、従来例の構成に、動きベクトル算出回路
５で算出された動きベクトルＭＶijを格納する動きベク
トルメモリ21と、動きベクトルメモリ21のアドレス制御
を行う動きベクトルメモリアドレス制御回路（詳細は後
述する）22と、着目ブロックの動きベクトルとそのブロ
ックの上下、左右もしくは斜め方向の周辺ブロックの動
きベクトルとの相関性を表す相関値を算出する動きベク
トル相関値算出回路（詳細は後述する）23と、動きベク
トル信頼性判定回路６の判定結果ＭＦijにより閾値を選
択する閾値選択回路（詳細は後述する）24と、閾値選択
回路24から出力される閾値と動きベクトル相関値算出回
路23から出力される相関値の値とを比較する比較回路
（詳細は後述する）25を付加して、構成されている。

【００３８】従来の相関値Ｄｒij（ｖ_x ，ｖ_y ）のみを
用いた動きベクトルＭＶijの信頼性の判定は、図10〜図
13に示したように、相対値の平均値Ｄｒijave がある閾
値Ｃave より小さい場合、最小値Ｄｒijmin が平均値を
定数倍した値Ａ・Ｄｒijaveより大きい場合、最大値と
最小値との比Ｄｒijmin ／Ｄｒijmax （または最大値と
最小値の差）がある閾値Ｃrat より小さい場合、前記３
つの場合のうちいづれかが成立する場合に、検出された
動きベクトル信頼性無であると判定するものである。

【００３９】しかしながら、本発明のように小さな画素
ブロックＢijで、動きベクトルの検出範囲（±Ｋ，±
Ｌ）を大きくして動きベクトルＭＶijを検出する必要が
ある場合、エッジ部分における輝度差が小さい物体が移
動する画像、すなわちコントラストの低い動画像におい
ては、動きベクトル検出ブロックＢijが図２に示すよう
に当てはめられた場合、相関値の平均値Ｄｒijave 、最
小値Ｄｒijmin および最大値Ｄｒijmax は相対的に小さ
くなり、従来の相関値Ｄｒij（ｖ_x ，ｖ_y ）のみの判定
では、誤判定される可能性がある。動きベクトルの信頼
性判定において、正しく検出された動きベクトルＭＶij
については全て信頼性有、誤って検出された動きベクト
ルＭＶijについては全て信頼性無と判定されることが望
ましい。フレーム数の変換を行う方式変換装置に動きベ
クトルＭＶijを用いる場合、正しく検出された動きベク
トルを最大限利用することが画質の向上につながり、誤
検出された動きベクトルＭＶijを利用しないことが画質
劣化を最小限に抑えることになるため、動きベクトルの
信頼性判定の確度が画質向上の重要な要因となる。

【００４０】動きベクトルの信頼性判定の確度を向上す
るために、本発明の動きベクトル検出装置では、動きベ
クトル検出ブロックＢijで検出された動きベクトルＭＶ
ijが正しい動きベクトルであれば、そのブロックの周辺
のブロックで検出された動きベクトルＭＶijとの相関性
は高くなることに注目し、動きベクトル信頼性判定回路
６での判定結果をもとに周辺ブロックの動きベクトルを
参照することにより、もう一度動きベクトルの信頼性判
定を行う。

【００４１】以下、上記動きベクトルメモリアドレス制
御回路22、動きベクトル相関値算出回路23、閾値選択回
路24、および比較回路25について説明し、さらに信頼性
判定手順について説明する。

【００４２】動きベクトル信頼性判定回路６からは動き
ベクトル検出ブロックＢijで検出された動きベクトルの
信頼性の判定結果ＭＦijとして、信頼性有か信頼性無の
いづれかが出力される。その第１判定結果ＭＦij(1) は
閾値選択回路24に入力される。閾値選択回路24では、判
定結果が信頼性有であれば、閾値Ｃ１が、信頼性無であ
れば、閾値Ｃ２が選択され、閾値Ｃｏとして出力され
る。

【００４３】動きベクトルメモリ21からは動きベクトル
メモリアドレス制御回路22でアドレスの制御を行うこと
により図３に示す動きベクトル検出ブロックＢijで検出
された動きベクトルとそのブロックの周辺ブロックで検
出されたベクトルが出力される。

【００４４】動きベクトル相関値算出回路23は、動きベ
クトルメモリ21から出力されるブロックＢijで検出され
た動きベクトルとそのブロックの周辺ブロックで検出さ
れた動きベクトルとの相関性を示す相関値Ｍｒijを算出
する。ブロックＢijにおける動きベクトル相関値Ｍｒij
は、ブロックＢijで検出された動きベクトルと周辺ブロ
ックにおける動きベクトルそれぞれについて差の大きさ
（以下、動きベクトル差分と示す）をユークリッド距離
として算出し、その距離が閾値Ｃｎ以下である周辺ブロ
ック数である。

【００４５】動きベクトル相関値算出回路23で算出され
た動きベクトル相関値Ｍｒijと閾値選択回路24から出力
される閾値Ｃｏは比較回路25で比較され、動きベクトル
相関値Ｍｒijが閾値Ｃｏより大きければブロックＢijで
検出された動きベクトルは信頼性有、小さければ信頼性
無と判定され、第２信頼性判定結果ＭＦij(2) として第
１出力端子７より出力される。また、ブロックＢijで検
出された動きベクトルＭＶijは第２出力端子８より出力
される。

【００４６】それぞれの動きベクトル検出ブロックにお
いて図４に示すような動きベクトルが検出され、中央の
ブロックＢijで検出された動きベクトルが動きベクトル
信頼性判定回路６で信頼性有と判定されたとする。中央
のブロックで検出された動きベクトルとその周辺のブロ
ックで検出された動きベクトルそれぞれとのユークリッ
ド距離を算出すると、ほとんどの周辺ブロックで閾値Ｃ
ｎより大きくなり、動きベクトル相関値Ｍｒijは小さく
なり、相関性は低くなる。閾値選択回路24からは動きベ
クトル信頼性判定回路６の判定結果が信頼性有であるた
め、閾値Ｃｏとして閾値Ｃ１が出力される。動きベクト
ル相関値Ｍｒijと閾値Ｃ１とは比較回路25で大小比較さ
れる。この場合、動きベクトル相関値Ｍｒijは小さな値
であるため、閾値Ｃ１より小さくなり、最終的な第２信
頼性判定結果ＭＦij(2) は、動きベクトル信頼性判定回
路６の第１判定結果ＭＦij(1) とは反対に、信頼性無と
判定される。

【００４７】また、図５に示すような動きベクトルが検
出され、中央のブロックＢijで検出された動きベクトル
が動きベクトル信頼性判定回路６で信頼性無と判定され
たとする。中央のブロックＢijで検出された動きベクト
ルとその周辺のブロックで検出された動きベクトルそれ
ぞれとのユークリッド距離を算出すると、ほとんどの周
辺ブロックで閾値Ｃｎより小さくなり、動きベクトル相
関値Ｍｒijは大きくなり、相関性は高くなる。閾値選択
回路24からは動きベクトル信頼性判定回路６の判定結果
が信頼性無である為、閾値Ｃｏとして閾値Ｃ２が出力さ
れる。動きベクトル相関値Ｍｒijと閾値Ｃ２とは比較回
路25で大小比較される。この場合は、図４の場合とは異
なり、動きベクトル相関値Ｍｒijは大きな値であるた
め、閾値Ｃ２より大きくなり、最終的な第２信頼性判定
結果ＭＦij(2) は、動きベクトル信頼性判定回路６の第
１判定結果ＭＦij(1) とは反対に、信頼性有と判定され
る。

【００４８】以上のように、本発明の動きベクトル検出
装置では、動きベクトル信頼性判定回路６で信頼性判定
を誤ったとしても、周辺のブロックで検出された動きベ
クトルとの相関性から再度信頼性判定を行うことで、信
頼性判定を補正することができる。ただし、動きベクト
ル信頼性判定回路６での信頼性判定結果ＭＦij(1) も十
分考慮し、信頼性有と判定された場合は、周辺ブロック
での動きベクトルとの相関性判定基準を低く、信頼性無
と判定された場合は、相関性判定基準を高くする。その
ため、閾値Ｃ１は閾値Ｃ２より小さな値に設定する（Ｃ
１＜Ｃ２）。このようにして得られた動きベクトルの第
２信頼性判定結果ＭＦij(2) は非常に確度の高いもので
ある。そのため、本発明の動きベクトル検出装置をフレ
ーム数変換を行うような方式変換装置に適用した場合、
正しい動きベクトルＭＶijのみを用いてフレーム数変換
を行うことができるため、フレーム数変換画像の高画質
化を図ることができる。

【００４９】なお、本実施例では、動きベクトル差分値
をユークリッド距離としたが、動きベクトルの水平方向
成分の差の絶対値と垂直方向成分の差の絶対値の和でも
よい。また、動きベクトル相関値Ｍｒijは、動きベクト
ル差分値を累積加算した値でもよい。ただし、累積加算
値の場合、閾値Ｃ１は閾値Ｃ２より大きな値に設定する
（Ｃ１＞Ｃ２）。

【００５０】次に、本発明の動きベクトル検出装置を使
用した順次走査変換装置について図面に基づいて説明す
る。図６は上述した本発明の順次走査変換置の一実施例
におけるブロック図である。図６において、31はディジ
タル化された飛び越し走査の映像信号ｂを入力する映像
信号入力端子であり、本発明の順次走査変換置は、映像
信号入力端子31より映像出力ｂを入力し１フィールド前
の画像データを１フィールド分格納する第１フィールド
メモリ32と、この第１フィルドメモリ32から出力された
映像信号を入力し２フィールド前の画像データを１フィ
ールド分格納する第２フィルドメモリ33と、上述した本
発明の動きベクトル検出装置を適用した動きベクトル検
出回路34と、動きベクトル検出回路34で検出された信頼
性判定ＭＦij(2) 有の動きベクトルＭＶijを用いて補間
画像を作成し、また画素単位で動きベクトル補間画像が
作成されているかどうかを示す補間画像選択信号ＳＩを
作成する動きベクトル補間回路35と、フィールド内でフ
ィルタリングにより補間画像を作成するフィールド内補
間回路36と、動きベクトル補間回路35で作成された補間
画像ＩＭmvとフィールド内補間装回路36で作成された補
間画像ＩＭfdとを画素ごとに選択を行う補間画像選択回
路37と、補間画像選択回路37で選択された補間画像ＩＭ
itr を用いて順次走査変換化する走査線変換回路38とか
ら構成されている。順次走査変換化された画像ＩＭniは
出力端子39より出力される。

【００５１】以上のような順次走査変換装置について、
その動作について説明する。映像信号入力端子31に第ｎ
フィールドの飛び越し走査の映像信号ｂが入力された
時、フィールドメモリ32には第（ｎ−１）フィールドの
映像信号が格納され、フィールドメモリ33には第（ｎ−
２）フィールドの映像信号が格納されている。第ｎフィ
ールドと第（ｎ−２）フィールドとの間の動きベクトル
を動きベクトル検出回路34で検出する。動きベクトル検
出回路34では、フィールド間で、小さな画素ブロックご
とに動きベクトルＭＶijとその信頼性判定結果ＭＦij
(2) が算出される。

【００５２】動きベクトル補間回路35では、動きベクト
ル検出回路34で算出された動きベクトルＭＶijとその動
きベクトルの信頼性判定結果ＭＦij(2) により、信頼性
有と判定された動きベクトルのみを用いて第（ｎ−２）
フィールドの画像と第ｎフィールドの画像とから動きベ
クトル補間画像ＩＭmvを作成する。一方、フィールド内
補間回路36では、第（ｎ−１）フィールドの画像を用い
てフィールド内でフィルタリングによりフィールド内補
間画像ＩＭfdを作成する。

【００５３】補間画像選択回路37では、動きベクトル補
間回路35で作成された動きベクトル補間画像ＩＭmvと、
フィールド内補間回路36で作成されたフィールド内補間
画像ＩＭfdとを画素ごとに選択する。動きベクトル補間
画像ＩＭmvでは、動きベクトル検出回路34で信頼性有と
判定された動きベクトルのみを用いて作成しているた
め、補間されていない画素が生じる。そのため、動きベ
クトル補間回路35からは、画素単位で動きベクトル補間
画像が作成されているかどうかを示す補間画像選択信号
ＳＩが出力される。補間画像選択回路37では、動きベク
トル補間回路35から出力される補間画像選択信号ＳＩに
よって、動きベクトル補間画像ＩＭmvにおいて補間され
ていない画素をフィールド内補間画像ＩＭfdで置き換え
るような選択が行われる。

【００５４】補間画像選択回路37で選択された補間画像
ＩＭitr とフィールドメモリ32から出力される第（ｎ−
１）フィールドの画像ＩＭorg とから走査線変換回路38
により順次走査変換し、順次走査変換画像ＩＭniを作成
する。

【００５５】飛び越し走査の画像を表示する場合、１フ
ィールドに全走査線の半分を、残りの走査線は次のフィ
ールドで上下１ライン間隔ずらして表示する。そのた
め、図７に示すように、第（ｎ−２）フィールドでは表
示されていた黒丸で示した走査線上の物体が上方に移動
し、第（ｎ−１）フィールドでは表示されずに第ｎフィ
ールドでは表示されるような場合においてはインターラ
インフリッカーとなり、大きな画質劣化となる。この画
質劣化は飛び越し走査において原理的に発生するもので
あるため、この画質劣化を除去するためには、順次走査
変換化が必須となる。従来の飛び越し走査画像から順次
走査変換画像を作成する方法としては、動き適応型順次
走査変換がある。動き適応型順次走査変換では、動き検
出により動きの有無を判定し、動き有と判定された場合
は飛び越し走査の走査線間の補間ラインをフィールド内
処理によるフィールド内補間により作成し、動き無と判
定された場合は補間ラインを前後のフィールドによるフ
ィールド間補間により作成する。動き適応型順次走査変
換では、静止画の場合、フィールド間補間によりインタ
ーラインフリッカーは除去され、画質は向上する。しか
しながら、動画の場合、図７に示すような画像において
は、第（ｎ−１）フィールド上には黒丸で示す物体は表
示されないため、フィールド内補間による処理では完全
にインターラインフリッカーを除去することができな
い。静止画だけではなく、動画においてもインターライ
ンフリッカーを除去するためには、フィールド間で動き
ベクトルを求め、その動きベクトルを用いてフィールド
間で補間を行うことである。しかしながら、動きベクト
ルを用いてフィールド間で補間を行う場合、正しい動き
ベクトルで補間された場合は、インターラインフリッカ
ーを完全に除去することができ、画質は向上するが、誤
った動きベクトルで補間された場合は、画像歪となり大
きな画質劣化となる。インターラインフリッカーや画像
歪の画質劣化は、絵柄の変化の激しい画像のエッジ部分
で顕著に見られ、絵柄の変化のない画像においてはほと
んど見られない。即ち、前述した画質劣化を除去し、変
換画像の画質を向上させるためには、絵柄の変化の激し
い画像の部分だけを正しい動きベクトルで補間を行い、
絵柄の変化のない画像の部分はフィールド内でのフィル
タリングによる補間処理を行うことで十分である。本発
明の順次走査変換装置は、動きベクトルを求めるための
相関値と検出された動きベクトルと周辺の動きベクトル
との相関性により検出された動きベクトルが正しいか正
しくないかの信頼性の判定を行うため、絵柄の変化の激
しい画像を含んだブロックで正しく動きベクトルが検出
された場合は、信頼性有という判定がなされ、絵柄の変
化のない画像を含んだブロックで正しくない動きベクト
ルが検出された場合は、信頼性無という判定がなされ
る。このうち信頼性有という判定がなされた動きベクト
ルのみを用いて補間画像を作成するため、絵柄の変化の
激しい画像部分では動きベクトルを用いた補間画像が作
成される。信頼性有と判定された動きベクトルのみを用
いて補間画像を作成するため、補間画像が作成されない
部分も発生する。そのような補間画像が作成されない部
分は絵柄の変化のない画像部分であるため、フィールド
内補間により補間画像が作成される。よって、走査線変
換回路38から出力される順次走査変換画像ＩＭniはイン
ターラインフリッカーや画像歪が生じない高画質の画像
となる。

【００５６】

【発明の効果】以上のように、第１発明の動きベクトル
検出装置よれば、最初、着目ブロックで検出された動き
ベクトルの信頼性を相関値のみで厳しい判定を行い、再
度、着目ブロックの周辺ブロックで検出された動きベク
トルとの相関性をも考慮して判定するため、１度目の厳
しい信頼性判定で、正しく検出された動きベクトルが信
頼性無と誤判定された場合においても、２度目の信頼性
判定における救済措置により、信頼性有と正しく判定さ
れ、より多くの正しく検出された動きベクトルが信頼性
有、また、より多くの誤って検出された動きベクトルが
信頼性無と判定されることにより、信頼性判定を補正す
ることが可能となり、動きベクトルの信頼性判定結果を
非常に確度の高いものにすることができる。

【００５７】また第２発明によれば、各画素ブロックの
動きベクトルと前記各画素ブロック上下、左右もしくは
斜め方向の画素ブロックの動きベクトルとのユークリッ
ド距離により動きベクトル差分値が算出され、上記２度
目の信頼性判定に必要な、周囲のベクトルとの相関性を
示す動きベクトル相関値を求めることができる。

【００５８】また第３発明によれば、各画素ブロックの
動きベクトルと前記各画素ブロックの上下、左右もしく
は斜め方向の画素ブロックの動きベクトルとの水平方向
成分、垂直成分それぞれの差分の絶対値和により動きベ
クトル差分値が算出され、上記２度目の信頼性判定に必
要な、周囲のベクトルとの相関性を示す動きベクトル相
関値を求めることができる。

【００５９】さらに第４発明によれば、上記動きベクト
ル相関値が、動きベクトル差分値が所定の閾値より小さ
い上下、左右もしくは斜め方向の画素ブロック数として
算出されることにより、上記２度目の信頼性判定を行う
ことができる。

【００６０】また第５発明によれば、上記動きベクトル
相関値が、上下、左右もしくは斜め方向の画素ブロック
における動きベクトル差分値の累積加算値として算出さ
れることにより、上記２度目の信頼性判定を行うことが
できる。

【００６１】さらに第６発明によれば、２度目の信頼性
判定は、第１動きベクトル信頼性判定手段より得られる
信頼性判定結果をもとに選択された所定の閾値と、動き
ベクトル相関値とを比較することにより行われることに
より、１度目の厳しい信頼性判定で、正しく検出された
動きベクトルが信頼性無と誤判定された場合において
も、２度目の信頼性判定における救済措置により、信頼
性有と正しく判定され、より多くの正しく検出された動
きベクトルが信頼性有、また、より多くの誤って検出さ
れた動きベクトルが信頼性無と判定されることにより、
信頼性判定を補正することが可能となり、動きベクトル
の信頼性判定結果を非常に確度の高いものにすることが
できる。

【００６２】また、第７発明の順次走査変換装置によれ
ば、動きベクトル検出装置を使用した、動きベクトル補
間画像を作成する動きベクトル補間画像回路と、フィー
ルド内でフィルタリングによる走査線補間画像を作成す
るフィールド内補間画像装置と、画素単位で、動きベク
トル補間画像とフィールド内補間画像との選択を行う補
間画像選択回路とにより構成することにより、得られる
順次走査変換画像は、インターラインフリッカーや画像
歪が発生しない高品質の画像となる。

【図面の簡単な説明】

【図１】本発明の一実施例における動きベクトル検出装
置の要部構成図である。

【図２】同動きベクトル検出装置における従来の動きベ
クトル信頼性判定法の問題点の説明図である。

【図３】同動きベクトル検出装置における着目画素ブロ
ックとその周辺ブロックとの関係を示した図である。

【図４】同動きベクトル検出装置における動きベクトル
信頼性判定の手順を説明するための一例を示した図であ
る。

【図５】同動きベクトル検出装置における動きベクトル
信頼性判定の手順を説明するための一例を示した図であ
る。

【図６】本発明の一実施例における順次走査変換装置の
要部構成図である。

【図７】同順次走査変換装置の走査線補間方法の説明図
である。

【図８】従来の動きベクトル検出装置の要部構成図であ
る。

【図９】動きベクトル検出装置に適用されるブロックマ
ッチング法の説明図である。

【図10】従来の動きベクトル検出装置における動きベク
トル信頼性判定回路の内部構成図である。

【図11】従来の動きベクトル検出装置における動きベク
トル信頼性判定回路の内部構成図である。

【図12】従来の動きベクトル検出装置における動きベク
トル信頼性判定回路の内部構成図である。

【図13】従来の動きベクトル検出装置における動きベク
トル信頼性判定回路の内部構成図である。

【符号の説明】

１，31 映像信号入力端子 ２ フレームメモリ ３ フレームメモリアドレス制御回路 ４ 相関値算出回路 ５ 動きベクトル算出回路 ６ 動きベクトル信頼性判定回路 ７，８， 出力端子 11 平均値算出回路 12，15，18 比較回路 13 補正回路 14 最小値探索回路 16 最大値探索回路 17 比算出回路 19 オア回路 21 動きベクトルメモリ 22 動きベクトルメモリアドレス制御回路 23 動きベクトル相関値算出回路 24 閾値選択回路 25 比較回路 32，33 フィールドメモリ 34 動きベクトル検出回路 35 動きベクトル補間回路 36 フィールド内補間回路 37 補間画像選択回路 38 走査線変換回路 39 画像出力端子 ａ，ｂ 映像信号 Ｂij 動きベクトル検出ブロック Ｄｒij（ｖ_x ，ｖ_y ） 相関値 ＭＶij 動きベクトル ＭＦij 動きベクトル信頼性判定結果 Ｍｒij 相関値 Ｃ０，Ｃ１，Ｃ２ 閾値 ＩＭmv，ＩＭfd，ＩＭitr 補間画像 ＩＭni 順次走査変換画像 ＳＩ 補間画像選択信号

Claims (7)

【特許請求の範囲】
1. 【請求項１】 画面を複数の画素ブロックに分割し、前
   記各画素ブロックについて所定の偏移における相関値を
   算出する相関値算出手段と、前記相関値より各画素ブロ
   ックにおける動きベクトルを算出する動きベクトル算出
   手段と、前記動きベクトルを格納する動きベクトル格納
   手段と、前記相関値をもとに前記動きベクトル算出手段
   から算出される動きベクトルの信頼性を判定する第１動
   きベクトル信頼性判定手段と、前記動きベクトル格納手
   段に格納された、各画素ブロックの動きベクトルと前記
   各画素ブロックの上下、左右もしくは斜め方向の画素ブ
   ロックの動きベクトルとの動きベクトル差分値から動き
   ベクトル相関値を算出する動きベクトル相関値算出手段
   と、前記第１動きベクトル信頼性判定手段より得られる
   信頼性判定結果と前記動きベクトル相関値とから再度前
   記動きベクトルの信頼性を判定する第２動きベクトル信
   頼性判定手段とを備えたことを特徴とする動きベクトル
   検出装置。
2. 【請求項２】 動きベクトル相関値算出手段は、動きベ
   クトル差分値を、各画素ブロックの動きベクトルと前記
   各画素ブロック上下、左右もしくは斜め方向の画素ブロ
   ックの動きベクトルとのユークリッド距離とすることを
   特徴とする請求項１記載の動きベクトル検出装置。
3. 【請求項３】 動きベクトル相関値算出手段は、動きベ
   クトル差分値を、各画素ブロックの動きベクトルと前記
   各画素ブロックの上下、左右もしくは斜め方向の画素ブ
   ロックの動きベクトルとの水平方向成分、垂直成分それ
   ぞれの差分の絶対値和とすることを特徴とする請求項１
   記載の動きベクトル検出装置。
4. 【請求項４】 動きベクトル相関値算出手段は、動きベ
   クトル相関値を、動きベクトル差分値が所定の閾値より
   小さい上下、左右もしくは斜め方向の画素ブロック数と
   することを特徴とする請求項１記載の動きベクトル検出
   装置。
5. 【請求項５】 動きベクトル相関値算出手段は、動きベ
   クトル相関値を、上下、左右もしくは斜め方向の画素ブ
   ロックにおける動きベクトル差分値の累積加算値とする
   ことを特徴とする請求項１記載の動きベクトル検出装
   置。
6. 【請求項６】 第２動きベクトル信頼性判定手段は、第
   １動きベクトル信頼性判定手段より得られる信頼性判定
   結果をもとに所定の閾値を選択する閾値選択手段と、動
   きベクトル相関値と前記所定の閾値とを比較する比較手
   段を備えたことを特徴とする請求項１記載の動きベクト
   ル検出装置
7. 【請求項７】 １フィールド前の画像データを１フィー
   ルド分格納する第１フィールドメモリと、２フィールド
   前の画像データを１フィールド分格納する第２フィール
   ドメモリと、現フィールドの画像データと前記２フィー
   ルド前の画像データとから動きベクトルを検出する動き
   ベクトル検出手段と、前記動きベクトルにより走査線の
   補間を行う動きベクトル補間手段と、前記１フィールド
   前の画像データから走査線の補間を行うフィールド内補
   間手段と、前記動きベクトル補間手段で作成された動き
   ベクトル補間画像と前記フィールド内補間手段で作成さ
   れたフィールド内補間画像との選択を行う補間画像選択
   手段と、前記１フィールド前の画像データと前記補間画
   像選択手段より得られる補間画像とから順次走査線変換
   化する走査線変換手段とを具備し、 前記動きベクトル検出手段を、請求項１記載の動きベク
   トル検出装置とすることを特徴とする順次走査変換装
   置。