JP3265590B2 - 画像の動きベクトル検出装置及び画像揺れ補正装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像の動きベクトル検出
および画像の揺れ補正の画像処理に関するものである。

【０００２】

【従来の技術】近年、画像の動きベクトル検出および平
滑化信号処理装置としては、特開昭６１−１０７８８６
号公報に示されている。

【０００３】以下に従来の画像の動きベクトル検出およ
び平滑化信号処理装置について説明する。図５は従来の
画像の動きベクトル平滑化回路を用いた動きベクトル検
出装置のブロック図である。また図６はその動作を説明
するための略線図である。図５において、１は画像信号
入力端子である。２は代表点メモリで、入力される画像
信号のうち代表点にあたる画素の信号を記憶する。３は
差分・絶対値変換器で、入力の差の絶対値を出力する。
４は累計加算器、５は最小点検出回路である。６は選択
手段である。７は動きベクトル平滑手段である。また図
４ａ，ｂにおいて８は画面であり９ａ〜９ｄは動きベク
トル検出領域であり、１０ａ〜１０ｄはその各領域から
それぞれ検出される動きベクトルである。

【０００４】以上のように構成された従来例の画像の動
きベクトル検出装置について以下その動作を説明する。
まず入力端子１に時間的に連続する画像信号が入力され
る。代表点メモリ２では、まず予め画面８の各検出領域
９ａ〜９ｄ中に複数の代表点が決められており、入力画
像信号のうち代表点の位置にあたる画素の信号を記憶す
る。差分・絶対値変換器３はは前フィールドの代表点の
位置の信号と、現フィールドの代表点から（水平方向
ｉ，垂直方向ｊ ）偏移した位置の信号との差の絶対値
｜ΔＬ｜(i,j)を求める。累積加算器４には、各検出領
域９ａ〜９ｄについてそれぞれ偏移（ｉ，ｊ）に対応す
るテーブルがあり、差分・絶対値変換器３からの信号を
偏移（ｉ，ｊ）別に累計加算し、これを偏移（ｉ，ｊ）
における相関値Σ｜ΔＬ｜(i,j) とする。最小点検出回
路５では、その相関値の最小値を与える偏移（ｉ’，
ｊ’）を検出し、各検出領域９ａ〜９ｄの動きベクトル
１０ａ〜１０ｄとしてそれぞれ出力する。選択手段６は
各検出領域の動きベクトル１０ａ〜１０ｄより画面全体
の動きベクトルを求める。動きベクトル平滑手段７では
フィールド毎に得られる動きベクトルについて下式に示
すように時間的に平滑化した値を出力する。

【０００５】Ｖｏ(k)＝Ｗ(k)×Ｖｉ(k)＋（１−Ｗ(k)）
×Ｖｏ(k-1) （ただし、Ｖｉ(k) は、 k番目のフィールドの入力動き
ベクトル、Ｖｏ(k) は、k番目のフィールドの出力動き
ベクトル、Ｗ(k) は、 k番目のフィールドの重み係数で
ある。）これは動きベクトルを時間軸方向に平滑化処理
を施すことにより、選択手段６で検出される画面全体の
動きベクトルが誤ベクトルであった場合に、誤ベクトル
による動きベクトルの時間的不連続を低減し、動き補正
を行った場合の視覚特性の向上を図る。

【０００６】なお、Ｗ(k)はシーンチェンジ等の場合は
１とし速い変化に追従し、定常状態には１／８程度にし
て雑音除去効果を大とする。

【０００７】しかしながら、この従来の画像の動きベク
トル平滑化回路を用いた動きベクトル検出装置をたとえ
ば画像の揺れの補正に用いた場合以下のような課題が発
生する。

【０００８】まず画像の揺れの補正は、画像信号を１フ
ィールド、メモリに記憶しておき、またその間そのフィ
ールドの、１フィールド前からの画面全体の動きベクト
ルを検出し、その動きを補正する方向でメモリからの読
みだし位置をフィールド毎にシフトすることによってな
される。

【０００９】したがって、メモリからの読出位置は原則
的に検出される動きベクトルを積分した値によって決ま
る。そこでこの従来の画像の動きベクトル平滑化回路を
用いた動きベクトル検出装置による揺れ補正の動作を図
７ａ，ｂ，ｃを用いて以下に説明する。図７ａは、ある
フィールドで選択手段６で検出される画面全体の動きベ
クトルが誤ベクトルであった場合のその誤差を示したも
のであり、図７ｂは、そのときの動きベクトル平滑手段
７の出力で生じる誤差を示したものであり、図７ｃは、
それを積分したときの積分誤差を示したものである。

【００１０】あるフィールドにおいて、選択手段６で検
出される画面全体の動きベクトルが誤ベクトルであり、
図７ａに示すように誤差２０が生じた場合に、動きベク
トル平滑手段７の出力での誤差は図７ｂに示すように、
誤ベクトルによる動きベクトルの時間的不連続は低減さ
れるが、発生した誤ベクトルの誤差は、数フィールドに
わたって平滑化されるだけであるので、検出される動き
ベクトルを積分した値に蓄積される誤差は図７ｃに示す
ようになり、その最終的積分誤差の値２１は低減されな
い。したがって揺れ補正においてはこの発生した誤ベク
トルの誤差の影響を直接受け、補正画像がこの誤差の逆
方向にシフトするといった誤動作が生じる。

【００１１】また平滑化によって動きベクトルに遅れ時
間が発生するので、揺れ補正画面においては、揺れの低
周波成分だけが補正され、揺れの高周波成分は補正され
ずに残るので、視覚上不自然さが感じられるものとなっ
てしまう。

【００１２】更に画像中に画面の半分程度の移動物が存
在した場合、動きベクトルは移動物の動きを出力し、画
像の揺れ補正に用いた場合、移動物が静止し背景が移動
物と逆の方向に動き、非常に不自然な画像となってい
た。

【００１３】

【発明が解決しようとする課題】以上のように従来の画
像の動きベクトル平滑化回路を用いた動きベクトル検出
装置は、画像の揺れの補正に用いた場合、誤動作や視覚
上不自然さの欠点を有していた。

【００１４】本発明は上記従来の課題を解決するもの
で、確率的に発生する誤ベクトルの誤差の影響を効果的
に低減し、また動きベクトルに重畳されたノイズ成分も
軽減し、かつ遅れ時間の発生を抑えた画像の動きベクト
ル検出装置である。

【００１５】更に本発明の動きベクトル検出装置は画像
の半分程度の大きな移動物が存在した場合にも、その移
動物から検出された動きベクトルを用いることなく、背
景の動きベクトルを検出することが可能な画像の動きベ
クトル検出装置である。

【００１６】また本発明の画像の揺れ補正装置は、上記
画像の動きベクトル検出装置を用い、誤ベクトルやノイ
ズ成分の影響を効果的に低減し、また移動物による動き
ベクトルを画像の揺れ補正に用いることなく、視覚上不
自然さを感じさせない良好な補正画像が得られる画像の
揺れの補正装置を提供することを目的とする。

【００１７】

【課題を解決するための手段】本発明の画像の動きベク
トル検出装置は、入力される画像信号の画面全体または
部分について、複数の動きベクトル検出領域をもち、各
領域から動きベクトルを検出する手段と、現在のフィー
ルドで新たに検出された各領域の動きベクトルに、前記
新たに検出された各領域の動きベクトルの数よりも少な
い過去に検出された各領域の動きベクトル、または過去
に決定された画面全体または部分の動きベクトルを加え
て候補ベクトルとし、候補ベクトルの集合の中から代表
的な値を選択することにより画面全体または部分の動き
ベクトルを求めるベクトル選択手段を有し、入力された
画像信号の画面全体または部分の動きベクトルを求める
よう構成したものである。

【００１８】

【作用】この構成によって、現在のフィールドで検出さ
れた動きベクトルに、その数よりも少ない現在より前に
求められた動きベクトルを追加して、動きベクトルの集
合とし、その集合の代表的な値を、画面全体または部分
の動きベクトルとして出力する。従って、集合の要素数
に対して半数未満の動きベクトルが誤ベクトルである場
合まで誤ベクトルの影響を受けず、正確な動きベクトル
が検出できる。特に集合の要素数を大きくでき、動きベ
クトルが誤ベクトルである確率が高い場合でも、その誤
ベクトルの影響を受けず正確な動きベクトルが検出でき
る。また動きベクトルに重畳されたノイズ成分も、集合
の要素数が大きいため、十分軽減できる。

【００１９】加えて本願発明の場合、現在のフィールド
で得られた動きベクトルの過半数が移動物の動きを示し
た場合においても、過去に求まった背景の動きベクトル
も考慮して動きベクトルを決定するため、過半数の検出
動きベクトルが移動物の影響を受けた場合や、大きな移
動物の影響を効果的に排除する事ができる。

【００２０】また現フィールドで得られた各領域の動き
ベクトルの数が所定の数未満の場合、現在のフィールド
から検出された動きベクトルより予測される動きベクト
ルを候補ベクトルに加えることにより、候補ベクトル集
合要素の数を所定の数以上とする。そうしてその数より
も少ない現在より前に求められた動きベクトルをさらに
追加して、候補ベクトルの集合とし、この集合のなかの
代表的な値を出力する。従って、検出されるベクトルに
遅れ時間が発生せず、動きベクトルが誤ベクトルである
確率が高い場合でも、その誤ベクトルの影響が少なく正
確な動きベクトルが検出できる。

【００２１】したがって揺れ補正された画面では、誤ベ
クトルや動きベクトルのノイズの影響を効果的に排除し
た画像の揺れ補正が実現できる。また揺れの高周波成分
が補正されずに残るといった問題は発生しない。また現
在のフィールドで得られる動きベクトルの数が所定の数
未満の場合、誤ベクトルのために遅れ時間が発生する可
能性もある。しかしこれは画像内で移動物が激しく動い
ている場合やノイズが著しい場合であるので、わずかな
誤ベクトルによる遅れ時間の影響が、視覚上に不自然さ
を感じさせることはほとんどない。

【００２２】

【実施例】図１ａは本発明の第１の実施例の画像の動き
ベクトル検出装置のブロック図である。図１ａにおい
て、１は画像信号入力端子である。２は代表点メモリ
で、入力される画像信号のうち代表点にあたる画素の信
号を記憶する。３は差分・絶対値変換器で、入力の差の
絶対値を出力する。４は累計加算器、５は最小点検出
器、１１は中間値選択手段である。１２は信頼性判定手
段、３０はメモリである。

【００２３】以上のように構成された本発明第１の実施
例の画像の動きベクトル検出装置について以下その動作
を説明する。まず入力端子１に時間的に連続する画像信
号が入力される。代表点メモリ２では、図１ｂに示すよ
うにまず予め画面８の各検出領域９ａ〜９ｅ中に複数の
代表点が決められており、入力画像信号のうち代表点の
位置にあたる画素の信号を記憶する。差分・絶対値変換
器３はは前フィールドの代表点の位置の信号と、現フィ
ールドの代表点から（水平方向ｉ，垂直方向ｊ ）偏移
した位置の信号との差の絶対値｜ΔＬ｜(i,j) を求め
る。 累積加算器４には、各検出領域９ａ〜９ｅについ
てそれぞれ偏移（ｉ，ｊ）に対応するテーブルがあり、
差分・絶対値変換器３からの信号を偏移（ｉ，ｊ）別に
累計加算し、これを偏移（ｉ，ｊ）における相関値Σ｜
ΔＬ｜(i,j) とする。最小点検出器５では、その相関値
の最小値を与える偏移（ｉ’，ｊ’）を検出し、各検出
領域９ａ〜９ｅの動きベクトル１０ａ〜１０ｅとしてそ
れぞれ出力する。また信頼性判定手段１２は各領域の動
きベクトルについてΣ｜ΔＬ｜(i',j')の大きさにより
信頼性の判定を行う。Σ｜ΔＬ｜(i',j')が所定の値よ
り大きいとき、信頼性なしとする。また所定の値より小
さいとき、信頼性ありとする。信頼性ありと判定される
ベクトルを中間値選択手段１１に出力する。メモリ３０
は過去のフィールドの複数の出力の動きベクトルを記憶
する。中間値選択手段１１は、信頼性判定手段１２、メ
モリ３０からの出力より以下の方法で画面全体の動きベ
クトルを求める。

【００２４】まず現フィールドにおいて信頼性判定手段
１２から入力される信頼性有りと判定された各検出領域
のから得られた動きベクトル（以下検出ベクトル）の集
合の要素の数が５の場合、前フィールドと前々フィール
ドの出力の動きベクトルを候補ベクトルの集合の要素に
加え、要素の数を７にしてその集合の中間値（集合の各
要素を値の大小の順にならべた列の中央に位置する要素
の値、集合の要素の数が偶数の場合、列の中央の位置に
最も近い２つ要素の値の平均値）を出力する。ただしベ
クトルの水平方向と垂直方向の値を独立に考え、各々の
集合の中間値で出力のベクトルとする。

【００２５】また現フィールドにおいて検出ベクトルの
数が４の場合、前フィールド出力、前前フィールドの出
力、さらにそのまた１フィールド前の動きベクトルを候
補ベクトルの集合に加え、集合の要素の数を７としてか
らその中間値を出力する。

【００２６】また現フィールドにおいて検出ベクトルの
集合の要素の数が３の場合、前フィールド出力、前前フ
ィールドの出力の動きベクトルを候補ベクトルの集合に
加え、集合の要素の数を５としてからその中間値を出力
する。

【００２７】また現フィールドにおいて検出ベクトルの
数が２の場合、前フィールド出力の動きベクトルを候補
ベクトルの集合に加え、集合の要素の数を３としてから
その中間値を出力する。

【００２８】また現フィールドにおいて信頼性有りと判
定された検出領域の動きベクトルの集合の要素の数が１
の場合、その値を出力する。

【００２９】また現フィールドにおいて信頼性有りと判
定された検出領域の動きベクトルの集合の要素の数が０
の場合、前フィールドの出力の動きベクトルに１以下の
係数をかけたものを出力する。

【００３０】以上のように候補ベクトルの集合の要素の
数を現在のフィールドで得られた検出ベクトル数よりも
増加させ（増加させる数は現在のフィールドで得られた
数よりも少ない数とする）、その中間値を出力する。こ
のようにする事により、検出ベクトルのなかでたとえ少
数の誤ベクトルがあった場合でも残りの候補ベクトルの
要素が正確であるので誤ベクトルの影響をまったく受け
ず正確なベクトルの値を選んで出力できる。特に候補ベ
クトルの集合の要素数を増加させることにより、誤ベク
トルの影響を受けなくなる確率が高くなり、安定した動
きベクトルの検出が可能となる。

【００３１】また動きベクトルに含まれているランダム
ノイズに対しても、候補ベクトルの要素の数を増加させ
ることにより、ランダムノイズを効果的に低減させるこ
とが可能となる。

【００３２】さらに画像内に画面の１／２より大きな移
動物が進入し、現在のフィールドで得られる検出ベクト
ルの過半数程度が、移動物の動きを示す動きベクトルに
なった場合においても、過去のフィールドで求められた
動きベクトルを現在のフィールドで求められた検出ベク
トルの集合の要素に加え、候補ベクトルの要素数を増加
させることにより、移動物が進入していない背景の動き
ベクトルを出力できる。

【００３３】また現フィールドで得られた検出ベクトル
の数が５個から２個の場合において、現在のフィールド
で得られた検出ベクトルより少ない過去のフィールドの
出力の動きベクトルを候補ベクトルの集合に加え、集合
の要素の数を増加させ、この集合のなかの中間値の値を
出力するので、出力される動きベクトルに遅れ時間が発
生する確率が少ない。

【００３４】たとえば現フィールドで信頼性有りと判定
された検出ベクトルの数が２の場合を考えると、この２
つの検出ベクトルがともに現フィールドでの正しい動き
ベクトルであるときは、これらは互いに等しい値を持っ
ているので、この候補ベクトルの集合に前フィールドの
出力の動きベクトルを加えて、その集合の中間値を選ん
でも、正しい現フィールドでの動きベクトルの値が選ば
れ、遅れ時間が発生しない。またたとえば、この２つの
検出ベクトルのうち１つが正しい現フィールドでの動き
ベクトルから大きく離れた誤ベクトルであるときは、こ
の２つの検出ベクトルの集合に前フィールドの出力の動
きベクトルを加えて、その集合の中間値を選ぶことによ
り、現フィールドでの正しい動きベクトルか、その値に
近い前フィールドの出力の動きベクトルのいずれかが出
力されるので、誤ベクトルの影響を取り除くことができ
る。

【００３５】図２は本発明の第２の実施例の画像の動き
ベクトル検出装置のブロック図である。図２において、
１は画像信号入力端子、２は代表点メモリで、３は差分
・絶対値変換器、４は累計加算器、５は最小点検出回
路、１１は中間値選択手段で、１２は信頼性判定手段、
３０はメモリ、３１は動きベクトルの予測器である。な
お図２において図１と共通の要素には、同一番号を付し
ている。以下本発明の画像の動きベクトル検出装置の動
作を説明する。

【００３６】まず、画像信号入力端子１から、代表点メ
モリ２、差分・絶対値変換器３、累計加算器４、最小点
検出回路５、信頼性判定手段１２までの構成および動作
は第１の実施例と同様である。つぎに信頼性判定手段１
２が各領域の動きベクトルについて信頼性の判定を行
い、信頼性ありと判定された検出ベクトルは中間値選択
手段１１に入力する。（これを第１の入力とする。）検
出ベクトルの数が所定の数（たとえば３個）以下のと
き、現得ベクトルを、ベクトル予測器３１を用い、現在
のフィールドの動きベクトルを予測する。そしてこの予
測器３１より得られた予測ベクトルも第１の入力とす
る。また第１の実施例と同様に、過去に求められた動き
ベクトルを中間値選択手段の第２の入力とし、第１と第
２の入力をともに候補ベクトルの集合として、その中か
ら中間値を選択し、画像の動きベクトルを決定する。

【００３７】たとえば検出ベクトルが５個及び４個のと
きは第１の実施例と同様の方法を用い、ベクトル予測器
３１は用いない。検出ベクトルが３個及び２個のとき
は、ベクトル予測器３１は、現得ベクトルの平均値を求
め、これを予測値とする。この予測値と現得ベクトルを
要素とする候補ベクトルの集合に、その要素数未満の過
去に求め出力した動きベクトルを加え、この中からその
中間値を画面の動きベクトルとして出力する。中間値の
選択は、中間値選択手段１１で行い、過去の動きベクト
ルはメモリ３０より行なう。検出ベクトルが３個のとき
予測ベクトルは１個であり、追加する過去の出力ベクト
ルは３個である。そうしてこの候補ベクトルの集合要素
７個より、その中間値を現在の出力ベクトルとして決定
する。検出ベクトルが２個のとき予測ベクトルは１個で
あり、追加する過去の出力ベクトルは２個である。そう
してこの候補ベクトルの集合要素５個より、その中間値
を現在の出力ベクトルとして決定する。

【００３８】このように本発明の第２の実施例によれ
ば、現在のフィールドで得られた検出ベクトルが少ない
ときでも、候補ベクトルの集合要素数を増加させ、且つ
過去の出力ベクトルが候補ベクトル集合の要素に含まれ
る割合は過半数未満を満たしている。

【００３９】従って検出ベクトルが少ない場合において
も、候補ベクトル集合の要素数を大きくとれ、検出ベク
トルにノイズがあった場合においてもノイズを効率的に
低減する事が可能である。

【００４０】加えて得られる出力動きベクトルが、時間
遅れとなる確率は非常に少なくなる。たとえば検出ベク
トルの数が２の場合を考えると、この２つの動きベクト
ルがともに現フィールドでの正しい動きベクトルである
ときは、これらは互いに等しい値を持っているので、そ
の平均値も正しい値となる。そうしてその候補ベクトル
集合に前フィールドの出力の動きベクトルを加えて、そ
の集合の中間値を選んでも、正しい現フィールドでの動
きベクトルの値が選ばれ、遅れ時間が発生しない。また
たとえば、この２つの候補ベクトルのうち１つが正しい
現フィールドでの動きベクトルから大きく離れた誤ベク
トルであるときは、その平均値も誤りを含む。そうして
この３個の候補ベクトルの集合に過去の２個の出力の動
きベクトルを加えて、その集合の中間値を選ぶことによ
り、現フィールドでの正しい動きベクトルか、その値に
近い前フィールドの出力の動きベクトルのいずれかが出
力されるので、時間遅れが発生する可能性があるが、誤
ベクトルの影響を取り除くことができる。

【００４１】以上のように本発明の第２の実施例におい
ては、現在のフィールドで得られるベクトルの数が少な
くなったときに、出力される動きベクトルのノイズ成分
を抑圧し、また誤ベクトルの影響を効果的に取り除くこ
とが可能な、動きベクトル検出装置を実現するものであ
る。

【００４２】図３は本発明の第３の実施例の画像の揺れ
補正装置のブロック図である。図３において、１は画像
信号入力端子、２は代表点メモリ、３は差分・絶対値変
換器、４は累計加算器、５は最小点検出回路、１１は中
間値選択手段、１２は信頼性判定手段、３０はメモリ、
３１はベクトル予測器、１５は画像メモリ、１７は読み
だし制御手段、１８は補間拡大手段である。なお図３に
おいて図１、図２と共通の要素には、同一番号を付して
いる。また代表点メモリ２、差分・絶対値変換器３、累
計加算器４、最小点検出回路５、中間値選択手段１１、
信頼性判定手段１２、メモリ３０、ベクトル予測器３
１、によって構成される部分を動きベクトル検出手段１
６とする。

【００４３】以上のように構成された画像の揺れ補正装
置の動作を以下に説明する。まず画像信号入力端子１か
ら画像信号が入力される。画像メモリ１５はこの画像信
号を１フィールド記憶する。また動きベクトル検出手段
１６は、本発明の第１または２の実施例、第１または図
２の動きベクトル検出装置と同様の構成と動作により、
そのフィールドの画面全体の動きベクトル、つまり１フ
ィールド前から現在のフィールドまでに、画面全体がど
れだけ動いたかを示す動きベクトルを検出し、読みだし
位置制御手段１７に出力する。

【００４４】読みだし位置制御手段１７は、入力される
動きベクトルよりその動きをキャンセルする方向、つま
り動きをなくする方向でメモリからの読みだし位置を前
フィールドの読みだし位置に対してシフトして、またそ
の読みだし位置が画面の外に出ないようにセンタリング
やクリップ等の処理を行い補間拡大手段１８に出力す
る。ここで画像メモリからの読み出し範囲は、原画像の
大きさから一定割合縮小した範囲とする。

【００４５】補間拡大手段１８は入力される読みだし位
置が指定する部分の画像信号を、画像メモリ１５から読
みだし、さらに読みだした部分の画像信号を拡大補間
し、縮小された範囲を拡大し、１画面の画像信号にして
出力する。

【００４６】このようにして動きベクトル検出手段１６
より求められた画像の動き（揺れ）を画像メモリ１５、
読み出し位置制御手段１７、及び補間拡大手段１８を用
い、画像の揺れをキャンセルし、画像の揺れをなくす画
像の揺れ補正装置を実現するものである。

【００４７】図４ａ，ｂはさらに詳しく動作を説明する
ための画面の略線図である。図４ａ，ｂにおいて８は画
面であり、９ａ，９ｂ，９ｃ，９ｄ，９ｅは動きベクト
ル検出手段１６の持つ複数の各動きベクトル検出領域で
あり、１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅはその
各領域からそれぞれ検出される動きベクトルである。１
９ａ，１９ｂ，１９ｃは画像の画面全体の動きとは異な
る動きをする画面内の移動物である。

【００４８】図４ａは画面内に移動物が無い場合であ
る。ここでは動きベクトル検出手段１６において、９
ａ，９ｂ，９ｃ，９ｄ，９ｅの各検出領域からの検出ベ
クトル１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅは全て
信頼性有りと判定される。これらのベクトルに対して、
メモリ３０より過去に求められた画像の動きベクトル２
個を追加して、それらのなかの中間値が画面の動きベク
トルとして出力される。したがって検出ベクトル１０
ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅのなかの３つまで
が誤ベクトルであった場合でもその影響を取り除いて正
しい動きベクトルが検出され、このベクトルに応じて画
像の揺れをキャンセルし、良好な補正画面が得られる。

【００４９】また図４ａのように画面内に移動物が無い
場合は、検出ベクトル１０ａから１０ｅが誤ベクトルの
可能性は非常に少なく、それらが同時に誤ベクトルとな
る確率は更に小さくなる。従って動きベクトル検出手段
１６から出力される動きベクトルには遅れ時間が発生す
る可能性はないと言って良く、揺れ補正画面において遅
れ時間による補正残差は発生しないと言え、良好な画像
の揺れ補正が可能である。また候補ベクトルの要素数が
７と大きくできるので、検出ベクトルにノイズが重畳さ
れていた場合においても、ノイズの影響を大幅に軽減で
きる。

【００５０】図４ｂは画面内に移動物が多く存在する場
合である、ここでは移動物１９ａ，１９ｂ，１９ｃのた
め、動きベクトル検出手段１６において、９ａ，９ｂ，
９ｃ，９ｄ，９ｅの各検出領域からの検出ベクトル１０
ａ〜１０ｅのうち、１０ｄ，１０ｅだけが信頼性有りと
判定される。このとき予測手段３１により１０ｄ，１０
ｅの検出ベクトルの平均値を予測ベクトルとする。検出
ベクトル１０ｄ，１０ｅ及びその２つのより得られた予
測ベクトル、そしてメモリ３０から得られる前フィール
ド、前々フィールドの出力動きベクトルにより、要素の
数が５である候補ベクトルの集合とし、その集合の中間
値を中間値選択手段１１より求め、画面の動きベクトル
として出力する。このように各検出領域から得られた検
出ベクトルが２個の場合でも、候補ベクトルの要素数を
５と多くする事が可能となったため、各検出ベクトルに
重畳されたノイズ成分も効率的に低減できる。またこの
場合、候補ベクトルの集合の要素の内、時間遅れのない
要素が過半数であるため、出力される動きベクトルに時
間遅れはなく、良好な画像の揺れ補正が行える。

【００５１】また図４ｂの上記説明した条件において、
もし検出ベクトル１０ｄが誤ベクトルであった場合、以
下のように処理される。検出ベクトル１０ｄと、１０
ｄ，１０ｅの平均ベクトルは大きな誤差を含む。検出ベ
クトル１０ｅ及び過去の２つの出力ベクトルは誤差はな
い。従って中間値選択手段１１により中間値を選択し出
力とすることにより、誤ベクトルを含まない動きベクト
ルを出力でき、良好な補正画面が得られる。ただしこの
条件では時間遅れが発生する可能性があり、揺れ補正画
面において遅れ時間による揺れの高周波成分の補正残差
がのこる可能性がある。しかし図４ｂのように画面内に
移動物が多く存在する場合は、揺れ補正画面においての
わずかな補正残差は、視覚的に認知されにくく、不自然
に感じられることは少ない。

【００５２】また図４ｂの条件において、たとえば検出
ベクトル１０ａ〜１０ｃが、信頼性判定手段１２により
信頼性ありと誤判定された場合の動作について説明す
る。検出ベクトル１０ａ〜１０ｅの５個のベクトルに対
して、メモリ３０から過去（前フィールド及び前々フィ
ールド）の出力ベクトル２個（ほぼ１０ｄまたは１０ｅ
に近いベクトル）を候補ベクトルの集合に加え、要素を
７とする。中間値選択手段１１により７個の要素から中
間値を選択する。この選択により、検出ベクトル１０ａ
〜１０ｃのベクトルは、その他の候補ベクトルと大きく
異なり、選択されず、検出ベクトル１０ｄ，１０ｅもし
くはこの２つのベクトルに近い過去の出力ベクトル２個
の中から１つのベクトルが選択され、動きベクトル検出
手段１６の出力として出力される。入力された画像は動
きベクトル検出手段１６の出力に応じ、画像を制御して
入力された画像の揺れをキャンセルし、画像の揺れ補正
を実現する。以上のように検出ベクトルの過半数に誤っ
た（画像の揺れ補正に適さない）ベクトルが含まれてい
る場合においても、その影響を取り除いて画像の揺れ
（背景の動き）に応じた揺れをキャンセルできる。

【００５３】また出力される動きベクトルが、時間遅れ
となる確率は、検出ベクトルに誤りのない限りない。た
とえば検出ベクトルの数が２の場合を考えると、この２
つの動きベクトルがともに現フィールドでの正しい動き
ベクトルであるときは、これらは互いに等しい値を持っ
ているので、その平均値も正しい値となる。そうしてそ
の集合に前フィールドの出力の動きベクトルを２個加え
て、その集合の中間値を選んでも、正しい現フィールド
での動きベクトルの値が選ばれ、遅れ時間が発生しな
い。またたとえば、この２つの動きベクトルのうち１つ
が正しい現フィールドでの動きベクトルから大きく離れ
た誤ベクトルであるときは、その平均値も誤りを含む。
そうしてこの３個の動きベクトルの集合に過去の２個の
出力の動きベクトルを加えて、その集合の中間値を選ぶ
ことにより、現フィールドでの正しい動きベクトルか、
その値に近い前フィールドの出力の動きベクトルのいず
れかが出力されるので、時間遅れが発生する可能性があ
るが、誤ベクトルの影響を取り除くことができる。

【００５４】上記のように本実施例によれば、中間値選
択手段１１において、現フィールドで信頼性有りと判定
された領域の検出ベクトルの数が所定の数未満の場合、
ベクトル予測手段を用い候補ベクトルの集合要素数を増
加させ、且つ過去の出力ベクトルが候補ベクトルの集合
要素に含まれる割合が、過半数未満を満たすように過去
の出力ベクトルをも用いて、候補ベクトルの集合要素数
を更に増加させる。従って検出ベクトルが少ない場合に
おいても、候補ベクトルの集合要素数を大きくとれ、検
出ベクトルにノイズがあった場合においてもノイズを効
率的に低減する事が可能であり、ノイズの影響が少ない
画像の揺れ補正が実現できる。

【００５５】また検出ベクトルの過半数に誤ベクトルが
あった場合においても、誤ベクトルの影響を取り除き、
誤ベクトルの影響のない揺れ補正が実現できる。

【００５６】当然ではあるが、上記の特徴は検出ベクト
ル数が多い場合においても言える。加えて検出ベクトル
に誤ベクトルが含まれない場合、動きベクトル検出手段
１６より得られる出力ベクトルは、時間遅れが含まれ
ず、周波数の高い揺れに対しても十分な揺れの補正が実
現できる。

【００５７】以上のように本発明の第３の実施例におい
ては、現在のフィールドで得られる検出ベクトルの数が
少なくなったときでも、出力される動きベクトルのノイ
ズ成分を抑圧し、また誤ベクトルの影響を効果的に取り
除くことが可能であり、様々な条件下においても画像の
揺れを十分補正できる画像の揺れ補正装置を実現できる
ものである。

【００５８】なお、第３の実施例では、動きベクトル検
出手段１６において、第２の実施例の動きベクトル検出
装置の構成と同構成のものとしたが、これを第１の実施
例の動きベクトル検出装置の構成と同構成のものとして
も、検出ベクトルの数が多いところで同様の効果が得ら
れることは明かである。

【００５９】なお、第１、第２、第３の実施例では、画
面中５つの検出領域を設けているがその数はこれ以外の
数でもよい。

【００６０】また、第１、第２、第３の実施例では、中
間値選択手段１１で中間値を求める方法として、要素数
が多いとき直接１つの中間値を選んだが、複数回に分け
て中間値を選ぶことも可能である。たとえば要素数７の
場合、初めに２つの要素を除き、５つの要素から３つの
中間要素を選び、次にこの３つの要素と初めの２つの要
素を合わせ、５つの要素として中間値を選ぶことも可能
である。

【００６１】また、第１、第２、第３の実施例では、中
間値選択手段１１で中間値を求める集合の要素の最小の
数をそれぞれ７及び５または３としているがこれは３以
上の数であればそのほかの数でもよい。

【００６２】さらに、第１、第２、第３の実施例では、
中間値選択手段１１で中間値を集合の代表的な値として
出力しているが、これは集合の全体的な傾向から離れた
要素を取り除き、残った要素より値を求めるものならば
よい、例えば集合の要素の数を８とし、大小の順に列べ
たときの中央に近い４つの要素の値の平均値をその集合
の代表的な値として出力するものとしてもよい。また例
えばベクトルの集合の要素の数を８とし、そのなかから
４つの要素を選ぶとき、その４つのベクトル間の距離の
総和が最も小さくなるように選び、その４つのベクトル
の平均値をその集合の代表的な値として出力するものと
してもよい。

【００６３】また、第２、第３の実施例では、現フィー
ルドにおいて信頼性有りと判定された検出領域の検出ベ
クトルの数が３以下の場合、検出ベクトルの平均値を予
測ベクトルとして候補ベクトルの集合に加えているが、
これは前フィールドと前々フィールドの出力等から現フ
ィールドの動きベクトルを予測したものを候補ベクトル
の集合に加えてもよい。たとえば、前フィールドの出力
を２倍したものから前々フィールドの出力を減算したベ
クトルを集合に加えてもよい。またベクトルの予測方法
はこの方法や、平均に限る必要はない。また予測ベクト
ルの数は１つに限らず、２個でも３個でもよい。

【００６４】さらに、第１、第２、第３の実施例では、
代表点メモリ２、差分・絶対値変換器３、累計加算器
４、最小点検出回路５を用いて２フィールド間の画像信
号について、１画面のなかに複数の検出領域を設け、代
表点マッチング法を用いて複数の動きベクトルを検出
し、中間値選択手段１１とメモリ３０に出力したが、こ
れは複数の動きベクトルを検出するものならばよい。例
えば代表点マッチング法の代わりに全点マッチング法ま
たは勾配法を用いてもよい。

【００６５】なお第３の実施例において、画像メモリ１
５はフィールド単位で画像の読みだし位置を制御して、
フィールド単位で補間拡大して揺れの補正を行なってい
るが、フレーム単位でも、それ以外の間隔（可変でもよ
い）でもよい。

【００６６】

【発明の効果】本発明の画像の動きベクトル検出装置
は、検出された動きベクトルに過去に得られた動きベク
トルを過半数を越えないように加え、この複数の候補ベ
クトルの集合の中から、集合の全体的な傾向から離れた
要素を取り除き、代表的な値を求めるため、集合の中に
誤ベクトルの影響を取り除く効果が高い。

【００６７】また現フィールドにおいて検出された動き
ベクトルに誤ベクトルがない場合は、現フィールドの検
出ベクトルが多数となるため、出力の動きベクトルに遅
れ時間が発生しない。

【００６８】また検出ベクトルの過半数に誤ベクトルが
あった場合においても、誤ベクトルの影響を取り除き、
誤ベクトルの影響のない揺れ補正が実現できる。

【００６９】さらに現フィールドにおいて画面中の移動
物やノイズのため信頼性有りと判定される検出ベクトル
の数が所定量未満であるときでも、予測ベクトル及び前
フィールド以前の出力の動きベクトルを用いて、候補ベ
クトルの集合の要素を追補し、その中から代表的な値を
求めるため、集合の中に誤ベクトルある場合や、ノイズ
が重畳されているばあいにおいても、その影響を取り除
く効果が高い。

【００７０】したがって、本装置から出力される動きベ
クトルは、いろいろに変化する画像の状態にあわせて、
常に誤差が非常に小さく抑えられ、かつ極力遅れ時間が
抑えられているので、動き補正や符号化等の画像処理や
その他の機器の制御等に用いたとき良好な結果が得られ
その効果は高い。

【００７１】また、本発明の画像の揺れ補正装置は、上
記本発明の画像の動きベクトル検出装置を用いることに
より、動きベクトルに重畳されたノイズにより、画像が
不安定になることもなく、誤ベクトルにより画像が揺れ
ることもない。また画像の揺れの周波数が高くなった場
合においても、十分な揺れ補正が実現できる。

【００７２】また検出ベクトルに誤ベクトルが多い場
合、つまり画像内で移動物が激しく動いている場合やノ
イズが著しい場合であるが、この誤ベクトルの影響を十
分低減できる。この時生じる揺れ補正の時間遅れは、画
像の状態から視覚上知覚されにくく、不自然さを感じさ
せることは少ない。

【００７３】したがって、いろいろに変化する画像の状
態全般にわたって視覚上良好な揺れ補正画像を得ること
ができる。

【図面の簡単な説明】

【図１】（ａ）本発明の第１の実施例の画像の動きベク
トル検出装置のブロック図 （ｂ）本発明の第１の実施例の画像の動きベクトル検出
装置の動作説明図

【図２】本発明の第２の実施例の画像の動きベクトル検
出装置のブロック図

【図３】本発明の第３の実施例の画像の揺れ補正装置の
ブロック図

【図４】（ａ）本発明の第３の実施例の画像の揺れ補正
装置の動作説明図 （ｂ）本発明の第３の実施例の画像の揺れ補正装置の動
作説明図

【図５】従来例の画像の動きベクトル検出装置のブロッ
ク図

【図６】同従来例の動作説明図

【図７】従来例の画像の動きベクトル検出装置を揺れ補
正装置として用いた場合の動作説明図

【符号の説明】

１ 画像信号入力端子 ２ 代表点メモリ ３ 差分・絶対値変換器 ４ 累計加算器 ５ 最小点検出回路 ６ 選択手段 ７ 動きベクトル平滑手段 ８ 画面 ９ 動きベクトル検出領域 １０ 各領域から検出される動きベクトル １１ 中間値選択手段 １２ 信頼性判定手段 ３０ メモリ ３１ 予測手段 １５ 画像ドメモリ １６ 動きベクトル検出手段 １７ 読みだし位置制御手段 １８ 補間拡大手段 １９ 移動物 ２０ 動きベクトルの誤差 ２１ 動きベクトルの積分誤差

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】入力される画像信号の、画面全体または部
   分について、複数の動きベクトル検出領域をもち、各領
   域から動きベクトルを検出する手段と、 現在のフィールドで新たに検出された各領域の検出ベク
   トルを中間値選択手段の第１の入力ベクトルとし、前記
   中間値選択手段の第１の入力ベクトル数よりも少ない過
   去に検出された各領域の検出ベクトルまたは過去に決定
   された画面全体または部分の動きベクトルを中間値選択
   手段の第２の入力とし、前記第１の入力と前記第２の入
   力を加えて候補ベクトルとし候補ベクトルの集合の中か
   ら代表的な値を選択することにより画面全体または部分
   の動きベクトルを求めるベクトル選択手段を有し、 入力された画像信号の画面全体または部分の動きベクト
   ルを求めることを特徴とする画像の動きベクトル検出装
   置。
2. 【請求項２】現在のフィールドで新たに検出された各領
   域の検出ベクトルの数が所定の数以下のとき、現在のフ
   ィールドから検出された検出ベクトルより予測される予
   測ベクトルを求めるベクトル予測手段を有し、 前記現フィールドで得られた検出ベクトルと前記予測ベ
   クトルを合わせて中間値選択手段の第１の入力とするこ
   とを特徴とする請求項１に記載の画像の動きベクトル検
   出装置。
3. 【請求項３】請求項１に記載の画像の動きベクトル検出
   装置を備え、その画像の動きベクトル検出装置により検
   出された、入力画像信号の画面全体または部分の動きベ
   クトルをもとに画像の動きを補正する方向に前記メモリ
   ーから画像信号を読み出す位置を制御する手段を有する
   ことを特徴とする画像の揺れ補正装置。
4. 【請求項４】現在のフィールドで新たに検出された各領
   域の検出ベクトルの数が所定の数以下のとき、現在のフ
   ィールドから検出された検出ベクトルより予測される予
   測ベクトルを求めるベクトル予測手段を有し、 前記現フィールドで得られた検出ベクトルと前記予測ベ
   クトルを合わせて中間値選択手段の第１の入力とするこ
   とを特徴とする請求項３に記載の画像の揺れ補正装置。