JPH099135A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 検出誤差を少なくしながら良好な動きベクト
ル検出特性を得る。 【構成】 動きベクトル検出手段２は撮像手段１から１
フィールド間隔で入力される２つの画像の動きベクトル
を複数の検出ブロックについて検出し、有効動きベクト
ル判別手段３は検出された動きベクトルの有効性を判別
する。動きベクトル決定手段４は有効な動きベクトルの
平均値又は中央値により１つの代表ベクトルを決定し、
コアリング手段５は代表ベクトルがしきい値を越えたと
き出力する。その場合、上記有効な動きベクトルの数が
多いときは上記しきい値を小さくして検出特性を良好に
する。また、有効な動きベクトルの数が少ないときはし
きい値を大きくして誤差をなくすようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はビデオカメラやカメラ一
体型ＶＴＲ等の撮像装置もしくは画像出力装置等におい
て画像の動きベクトルを検出する動きベクトル検出装置
に関するものである。

【０００２】

【従来の技術】従来より、撮像した画像や画像出力装置
から得られる画像の動きを検出するための動きベクトル
検出装置が知られている。これはある画像とその１フィ
ールド前の画像、もしくは２つの任意の画像のパターン
マッチングを行うことにより、画像がどの方向にどれだ
け動いたかを表わす動きベクトルを検出するものであ
る。パターンマッチングとは例えば前フィールドの画像
と現フィールドの画像、もしくは２つの画像の各画素に
ついてＥＸＯＲの総和を取り、値の一番小さな時がパタ
ーンが一番マッチングしたと判断するものである。この
値を相関値と呼ぶ。相関値が一番小さい時の偏移、すな
わち画像のずれが動きベクトルである。パターンマッチ
ングを画像全体で行なうと膨大な計算量になり、例えば
動画像においては撮像中に実時間での処理が難しくな
る。そのために画像をいくつかの領域、すなわちいくつ
かの動きベクトル検出ブロックに分割し、それぞれの領
域で動きベクトルを算出するようにしている。

【０００３】各々の動きベクトル検出ブロックにおい
て、検出された動きベクトルの検出精度は各画像の画素
ごとにパターンマッチングを行うので１画素単位とな
る。しかし当該画素の周りの画素のパターンマッチング
時のデータによって補間を行うことにより、実際には１
画素以下まで算出することができる。しかし補間による
動きベクトルの算出ではいくらかの誤差が含まれてしま
う。これは１画素単位でのパターンマッチングから１画
素以下の動きベクトル値を算出するために、当該画素の
周りの画素のデータにより算出する時に、それらの画素
データが必ずしも当該画素とまったく同じ動きベクトル
値を持つとは限らないからである。また画像のノイズも
誤差の大きな要因の一つである。

【０００４】動きの大きい画像、すなわち大きなベクト
ルが検出されたときは誤差は目立たないが、動きが小さ
く検出される動きベクトルが小さくなると相対的に誤差
が目立ってしまう。この誤差を出力させないように、補
間して算出した動きベクトルが０近傍の時には出力する
動きベクトルを０とする処理方法が知られており、これ
はコアリング処理と呼ばれている。このコアリング処理
により誤差が相対的に目立ってしまう画像の動きの小さ
い時に誤差が出力されることを防ぐことができることが
知られている（公開特許公報 特開平５−９１３９２撮
像装置、１９９２年テレビジョン学会年次大会 電子的
な手ブレ補正の制御方式の改善）。

【０００５】

【発明が解決しようとする課題】しかしコアリング処理
を行うと、ある程度以上の動きベクトルが発生しないと
動きベクトルを出力しないので、検出特性が悪化してし
まう。そのために動きベクトルの検出特性から言えば、
コアリング処理のしきい値はなるべく小さいほうが望ま
しい。しかしコアリング処理のしきい値を小さくし過ぎ
ると、画像の動きが少ないときに補間誤差が出力されて
しまう。そこでコアリング処理のしきい値はシステムの
構成ではほぼ決まることになる。すなわちそのシステム
の補間誤差を含む誤差レベルより少し大きいレベルにし
きい値を設定することになる。

【０００６】パターンマッチングは撮像画像の画像中で
いくつかの複数の動きベクトル検出ブロックについて行
われる。これにより１フィールドの画像において複数の
動きベクトルが検出される。そしてそのフィールドでの
動きベクトルを最終的に一つにするために、これらの複
数の動きベクトルの平均値やメディアン値を取ることに
なる。これにより補間誤差も少なくなるのでコアリング
処理のしきい値も小さくすることができる。しかし撮像
した画像によってはいくつかの動きベクトル検出ブロッ
クで検出した動きベクトルが使えないことがある。その
理由は、例えば被写体のコントラストが低かったり照度
が低いために正確な動きベクトルが検出できないことが
あるからである。このような時は無効動きベクトルを削
除して残った有効動きベクトルからそのフィールドにお
ける最終的な動きベクトルを算出するので、結果的に誤
差が増えてしまう。

【０００７】コアリング処理のしきい値を全ての動きベ
クトル検出ブロックで有効なベクトルが検出できるとき
の誤差レベルに基づいて設定すると、上記のように無効
動きベクトルが検出されたときに有効動きベクトルが少
なくなり補間誤差が大きくなるので、算出された最終的
な動きベクトルに含まれる誤差が、設定されていたコア
リング処理のしきい値を越えてしまう。そのため動きベ
クトルが小さいときに誤差が目立ってしまう。逆にコア
リング処理のしきい値を有効動きベクトルが少ないとき
に基づいて設定すると、有効動きベクトルが少なくても
誤差が目立つことは無くなるが、動きベクトルの検出特
性が悪化してしまう。

【０００８】そこで、本発明は誤差を少なくしながら良
好な検出特性を得ることのできる動きベクトル検出装置
を得ることを目的としている。

【０００９】

【課題を解決するための手段】本発明においては、入力
画像を複数の検出ブロックに分割し各検出ブロックにつ
いて動きベクトルを検出する動きベクトル検出手段と、
上記動きベクトル検出手段で検出された動きベクトルの
有効性を判別する有効動きベクトル判別手段と、上記動
きベクトル検出手段で検出された動きベクトルから上記
有効動きベクトル判別手段で判別された有効動きベクト
ルに基づいて１つの代表動きベクトルを決定する動きベ
クトル決定手段と、上記動きベクトル決定手段で決定さ
れた上記代表動きベクトルがしきい値を越えたときその
代表動きベクトルを出力すると共に、上記有効動きベク
トル判別手段で判別された上記有効動きベクトル数に応
じて上記しきい値が変更されるように成された演算手段
とを設けている。

【００１０】

【作用】動きベクトル検出手段により一つのフィールド
の画像中の複数の動きベクトル検出ブロックで検出され
た動きベクトルを、有効動きベクトル判別手段において
有効であるか無効であるかを判断し、有効と判別された
動きベクトルの数が多かったときには演算手段における
しきい値を小さくすることにより、有効検出レベルを下
げて小さな動きベクトルでも有効に検出して出力し、有
効と判別された動きベクトルの数が少なかったときには
演算手段におけるしきい値を大きくすることにより、誤
差を出力しないようにする。

【００１１】

【実施例】以下、本発明の一実施例について説明する。
図１は本発明を適用した撮像装置の構成を示すブロック
図である。図において、１は撮像手段、２は動きベクト
ル検出手段であり、撮像手段１で撮像されたぶれを含む
画像から動きベクトルを検出する。３は有効動きベクト
ル判別手段であり、動きベクトル検出手段２で検出され
た動きベクトルの有効性を判別する。４は動きベクトル
決定手段であり、動きベクトル検出手段２において１つ
のフィールドで複数個検出された動きベクトルと、有効
動きベクトル判別手段３からの有効動きベクトル判別信
号とにより有効な動きベクトルを判別し、残った有効動
きベクトルの平均値や中央値などにより、そのフィール
ドを代表する一つの動きベクトル、すなわち代表動きベ
クトルを決定する手段である。５はコアリング手段であ
り、動きベクトル決定手段４で決定された代表動きベク
トルのコアリング処理を行う。６はぶれ補正手段であ
り、演算手段としてのコアリング手段５でコアリング処
理された動きベクトルに従って撮像手段１で撮像したぶ
れを含む画像のぶれ補正を行う。

【００１２】図２は動きベクトル検出ブロックを示す図
であり、７は全撮像画像領域、８は動きベクトル検出ブ
ロックで、ここでは５０個設定されている。９はサーチ
エリア、１０は動きベクトル検出ブロック８のうち左最
上部の動きベクトル検出ブロックを検索するためのサー
チエリアである。

【００１３】図３はサーチエリアをテンプレートがマッ
チングを行いながら偏移する様子を示す図であり、１１
はある任意の動きベクトル検出ブロック８のサーチエリ
ア、１２はテンプレートである。

【００１４】図４はサーチエリア１１をテンプレート１
２が偏移しながらパターンマッチングを行っているとき
に出力される相関値を示すグラフである。図５はコアリ
ング処理を示すグラフである。

【００１５】撮像手段１を手持ちで撮像したときに、撮
影者の技術的未熟さや風などによる外力により撮像手段
１がぶれてしまうことがある。この時に撮像された画像
は結果としてぶれを含んだものになってしまう。この画
像のぶれを補正するために動きベクトル検出手段２で
は、まず画像に含まれる動きベクトルを検出する。この
動きベクトル検出手段２では撮像した画像に図２に示す
ように動きベクトル検出ブロック８を持つ。そして図３
に示すように、テンプレート１２をサーチエリア１１上
で動かしながら互いの相関値を取る。この時、テンプレ
ート１２、サーチエリア１１の各データは１フィールド
前後している。例えばあるフィールドの画像をサーチエ
リア１１、１フィールド後の画像をテンプレート１２と
する。この逆でも良い。

【００１６】そしてサーチエリア１１上のある位置にお
けるテンプレート１２とサーチエリア１１との画素ごと
のＥＸＯＲを取り、全てのＥＸＯＲの出力を加算して相
関値とする。これをサーチエリア１１上でテンプレート
１２を１画素づつ動かしながら各相関値を計算して図４
の特性を得る。ＥＸＯＲは一致したときに０、不一致の
ときには１を取るので、テンプレート１２とサーチエリ
ア１１との画像のパターンが最も一致したときに相関値
は最小となる。図４において、相関値が最小時の偏移が
その動きベクトル検出ブロック８における動きベクトル
となる。ここで動きベクトルが０の時、すなわちあるフ
ィールドの画像と１フィールド後の画像とが同じなら
ば、最小の相関値はサーチエリア１１の中心で得られる
ことになる。得られる動きベクトルの精度は１画素ごと
に相関値を取るために１画素単位でしかない。そのため
相関値の最小値のまわりのデータにより補間を行い、１
画素以下の精度で動きベクトルを算出する。このように
して動きベクトル検出手段２では１つのフィールドごと
に動きベクトル検出ブロック８の数ぶんの動きベクトル
を検出する。

【００１７】しかし検出された複数の動きベクトルには
無効な動きベクトルも含まれることがある。例えば撮像
画像の一部にコントラストの低い部分があると動きベク
トルが正確に検出できないために、無効な動きベクトル
を出力してしまうことがある。そのために有効動きベク
トル判別手段３において、複数個の動きベクトルから有
効な動きベクトルを判別する。有効な動きベクトルを判
別するには相関値で判別するとすれば、例えば相関値の
平均値が低い時はコントラストが低いと判断できる。ま
た相関値の最小値のまわりの傾斜が小さいときも有効性
が低いと判別できる。

【００１８】このようにして有効動きベクトル判別手段
３で有効と判別された複数個の動きベクトルより最終的
なそのフィールドにおける動きベクトルを動きベクトル
決定手段４で決定する。ここでは有効動きベクトルの平
均値を取るか中央値を取るかすることにより代表動きベ
クトルを決定する。この代表動きベクトルによりぶれ補
正を行うが、動きベクトル検出手段２において補間を行
い１画素以下の精度を算出したために、この時の計算誤
差が動きベクトルに含まれている。また画像のノイズ等
によっても誤差が発生する。これらの誤差は動きベクト
ル決定手段４において有効動きベクトルの平均値を取る
ことや、有効動きベクトル判別手段３において無効動き
ベクトルを削除することにより減らすことができる。し
かしある程度の誤差は残ってしまう。この誤差は最終的
な動きベクトルが大きなときは与える影響が相対的に小
さくなるためにあまり問題にならない。しかし動きベク
トルが小さいときには誤差が与える影響は相対的に大き
くなってしまう。そのため実際は動きベクトルが０であ
っても誤差によりぶれ補正手段６で補正してしまうの
で、最終的に出力される補正画像が細くぶれてしまう。
この誤差の影響を避けるためにコアリング手段５におい
てコアリング処理を行う。

【００１９】図２の例では動きベクトル検出ブロック８
は５０個あるので、１フィールドにつき５０個の動きベ
クトルが検出される。検出された５０個の動きベクトル
は有効動きベクトル判別手段３で有効な動きベクトルか
無効な動きベクトルかが判別される。次に有効動きベク
トル判別手段３から出力される有効判別信号に従って動
きベクトル決定手段４では、有効な動きベクトルのみを
用いてそれらの平均値や中央値を算出することにより、
そのフィールドにおける最終的な一つの代表動きベクト
ルを算出する。

【００２０】算出された代表動きベクトルはコアリング
手段５においてコアリング処理される。この時、コアリ
ング手段５には代表動きベクトルと有効動きベクトル判
別信号とが入力されている。コアリング手段５では有効
動きベクトル判別信号に従って図５におけるコアリング
処理のしきい値を適応的に変化させて代表動きベクトル
をコアリング処理する。具体的には有効動きベクトル判
別信号が有効動きベクトルが多いと示したときは、コア
リング処理のしきい値を小さくして、動きベクトル検出
特性を優先させる。また有効動きベクトル判別信号が有
効動きベクトルが少ないと示したときは、コアリング処
理のしきい値を大きくして、誤差を出力しないようにす
る。

【００２１】ぶれ補正手段６では撮像手段１で撮像され
たぶれを含んだ映像信号と、コアリング処理をされた代
表動きベクトルとが入力される。このぶれ補正手段６で
は映像信号を代表動きベクトルを打ち消す方向に切り出
して出力することにより、ぶれの無い安定した映像を出
力する。

【００２２】尚、本実施例では、撮像手段１で撮像した
画像から検出した動きベクトルをぶれ補正に使ったが、
ＶＴＲなどの画像再生装置からの画像にも適用できる。
またＴＶ会議システムやその他の画像処理にも適用する
ことができる。

【００２３】また、ぶれ補正手段として図６に示すよう
に、可変頂角プリズム７を撮像光学系に設け、この可変
頂角プリズム７を、コアリング手段５からの動きベクト
ルに応じてプリズム角度制御手段８により、ぶれを打消
す方向に角度制御するようにしてもよい。

【００２４】

【発明の効果】以上説明したように本発明によれば、画
像からの動きベクトル検出する装置において、有効動き
ベクトルの数によりコアリング処理のしきい値を適応的
に変化させることにより、装置の出力する誤差を少くし
ながらかつ良好な動きベクトル検出特性を得ることがで
きる。

【図面の簡単な説明】

【図１】本発明を適用した撮像装置の実施例を示すブロ
ック図である。

【図２】動きベクトル検出ブロックを示す構成図であ
る。

【図３】サーチエリアをテンプレートがマッチングを行
いながらサーチする様子を示す構成図である。

【図４】サーチエリアをテンプレートが移動しながらパ
ターンマッチングを行っているときに出力される相関値
を示すグラフである。

【図５】コアリング処理を示すグラフである。

【図６】撮像装置の他の実施例を示すブロック図であ
る。

【符号の説明】

２ 動きベクトル検出手段 ３ 有効動きベクトル判別手段 ４ 動きベクトル決定手段 ５ コアリング手段 ７ 全撮像画像領域 ８ 動きベクトル検出ブロック

Claims (1)

【特許請求の範囲】
1. 【請求項１】 入力画像を複数の検出ブロックに分割し
   各検出ブロックについて動きベクトルを検出する動きベ
   クトル検出手段と、 上記動きベクトル検出手段で検出された動きベクトルの
   有効性を判別する有効動きベクトル判別手段と、 上記動きベクトル検出手段で検出された動きベクトルか
   ら上記有効動きベクトル判別手段で判別された有効動き
   ベクトルに基づいて１つの代表動きベクトルを決定する
   動きベクトル決定手段と、 上記動きベクトル決定手段で決定された上記代表動きベ
   クトルがしきい値を越えたときその代表動きベクトルを
   出力すると共に、上記有効動きベクトル判別手段で判別
   された上記有効動きベクトル数に応じて上記しきい値が
   変更されるように成された演算手段とを備えた動きベク
   トル検出装置。