JPH06121218A - 動きベクトル検出方法 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は特に繰り返しのある画像を判断する
場合においてゲート回路の規模を小さく保持したまま精
度良く相関値の信頼性を判断できる方法を提供すること
を目的とする。 【構成】 時間内に連続する２フィールドの画像情報の
相関から画像全体の平行移動量を示す動きベクトルを検
出する方法において、各フィールドの画面を水平及び垂
直方向に複数分割し、時間的に連続する２フィールドの
画面の互いに対応する分割画面相互間で両者の偏移量に
対する相関値を代表点マッチング法により求め、この相
関値に基づいて画面全体の動きベクトルを算出する際、
前記相関値の最小値が代表点の周囲に３個以上存在する
かあるいは隣り合わない同一の最小値が一対存在する場
合にこれを検知し、当該分割画面の動きベクトル検出の
ための相関値を無効にするものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画面内の画像全体の平
行移動量（動きベクトル）を検出する動きベクトル検出
方法に関する。

【０００２】

【従来の技術】従来よりビデオカメラの撮影時に手ぶれ
が起こることによる画像の劣化が問題となっている。こ
の問題に対して旧来よりジャイロを用いる方法、加速度
センサと機械的な補正を組み合わせて行う方法などが考
えられてきた。

【０００３】また例えば特開昭６１−２６９４７５に記
載されているように電気的に動き量の検出及び補正を行
う方法が提案されている。

【０００４】図３は上記公報に開示された技術を概略的
に示したブロック回路図である。同図に示すように、斯
かる公報ではレンズ１０１、撮像素子１０２、カメラ回
路１０３を経て出力される映像信号を、ＡＤ変換回路１
０４にてＡＤ変換してフィールドメモリ１０５に記憶し
ておき、さらに映像２フィールド間の画像の動きを検出
し、これを基に手ぶれ補正回路１０６において手ぶれ量
（平行移動量）を算出する。そしてこの算出された手ぶ
れ量に応じて画像の位置をメモリ制御部１０７を介して
移動させ補正を行い、デジタル信号処理ＤＳＰ１０８及
びＤＡ変換回路１０９を経て映像信号を出力する方法が
示されている。

【０００５】ところで画像は通常このままでは移動でき
ないため図４（ａ）（ｂ）に示すような電子ズームの原
理を用いて移動できる範囲を作る手法が用いられてい
る。この手法はまず元の画像１１０の大きさに対してズ
ーム比率の逆数分だけの枠１１１を決め、この枠１１１
の位置を元の画像内に於ては自由に移動できるように
し、この枠１１１の分だけ元の画像１１０の大きさにな
るように補間法を用いて拡大する。

【０００６】このように任意の場所の画像を電気的にズ
ームして、元の画像１１０と切り出し枠１１１との差だ
けスペース（補正範囲）１１２を形成する。このように
しておくと図５（ａ）に示すようにカメラの手ぶれが起
こると，（ｂ）〜（ｃ）のように画像の位置がぶれる。
そこで検出された動きベクトルに応じて切り出し枠１１
１を動かすことにより切り出し枠１１１内の画像のぶれ
は補正される。最終的には補正された画像をＤＡ変換す
ることで手ぶれ補正を実現したものである。

【０００７】一方２フィールド間の画像の動きを検出す
る方法としては、上記公報において代表点マッチングが
用いられている。これは画像にいくつかの代表点を決
め、その位置の映像信号の値を代表点メモリに記憶させ
ておく。次に記憶しておいた代表点の値と次のフィール
ドにおける代表点回りの一定の範囲内の画素の値との相
関を取り、これを全ての代表点に於て累積加算し、その
加算値の最小値の位置を求める。

【０００８】代表点から見た最小値の位置が動きベクト
ルの方向である。このように代表点マッチングによる方
法の基本的な条件は、画像の輝度信号データが正しく取
れることである。しかしながら、画像の状態によっては
相関値が正しく取れないことがあり、このような場合は
画像全体の動きベクトルに悪影響を与えるため、その検
出領域から得られた相関値データを除去しなければなら
ない。

【０００９】一般に相関値が正しく取れない状況とし
て、画像の輝度信号のコントラストが低い場合、全画像
を分割して得られた分割画像（ブロック）内に動く物体
がある場合、被写体に繰り返し模様がある場合の３つの
場合が考えられる。コントラストが低いということは各
画素毎の輝度差が少ないということであり、相関値その
ものの値が小さいので相関値の平均が下がってくる。こ
のように各ブロック毎の相関値の平均値からコントラス
トを判断できる。

【００１０】次に、ブロックの中で動く物体の占める部
分とそうでない部分では代表点に対する相関が異なり、
且つ動く物体の部分はさまざまな相関を取るため、これ
を累積した相関値の最小値は相対的に大きくなる。平均
値（最大値でも同じ）が大きいときは最小値がある程度
大きくてもその相関値は信頼できるが、平均値が小さい
時は最小値がより小さくなければ相関値が有用な値とは
見做されない。したがって平均値／最小値の値によって
動く物体があるか否かの判断を行っていた。

【００１１】さらに繰り返し模様のある被写体の場合は
最小値またはそれに近い値が多く存在するため、最小値
付近の傾きを取ることで判断を行っていた。

【００１２】

【発明が解決しようとする課題】上述のように繰り返し
のある画像の場合に相関値が信頼できるか否かの判断を
行うに際し、従来は相関値の最小値付近の傾きを用いて
いたが、この値の算出のため回路のゲート規模が大きく
なるという問題点があった。

【００１３】また、多くの繰り返し画像は一方向にコン
トラストが低いためコントラストの判断で検出できる。
しかし白黒ストライプというような場合では、コントラ
ストが閾値より大きい値を示すことがあり、コントラス
トだけでは判断できないという問題点があった。

【００１４】更に同様に平均値／最小値の演算による結
果を用いてもやはり繰り返し画像を判断できないという
欠点があった。

【００１５】本発明はこれら従来の技術の問題点に鑑
み、特に繰り返しのある画像を判断する場合においてゲ
ート回路の規模を小さく保持したまま精度良く相関値の
信頼性を判断できる方法を提供することを目的とする。

【００１６】

【課題を解決するための手段】本発明は、時間内に連続
する２フィールドの画像情報の相関から画像全体の平行
移動量を示す動きベクトルを検出する方法において、各
フィールドの画面を水平及び垂直方向に複数分割し、時
間的に連続する２フィールドの画面の互いに対応する分
割画面相互間で両者の偏移量に対する相関値を代表点マ
ッチング法により求め、この相関値に基づいて画面全体
の動きベクトルを算出する際、前記相関値の最小値が代
表点の周囲に３個以上存在するかあるいは隣り合わない
同一の最小値が一対存在する場合にこれを検知し、当該
分割画面の動きベクトル検出のための相関値を無効にす
ることを特徴とするものであり、特に前記相関値の最小
値が代表点の周囲に３個以上存在するかあるいは隣り合
わない同一の最小値が一対存在する場合にこれを検知し
て、当該分割画面の動きベクトル検出のための相関値を
無効にすると共に、以後数フィールド間はかかる分割画
面の相関値を前記３個以上あるいは一対の同一の最小値
の検知の有無にかかわらず無効にすることが望ましい。

【００１７】

【作用】相関値の検出時において当該相関値の最小値が
代表点の回りで３個以上また隣り合わずに２個同じ値で
ある場合はそのブロックの相関値を無効とする。

【００１８】また相関値が信頼できない状態から信頼で
きる状態になる過渡期においてはデータが不規則になっ
て画像が振動するため、前記相関値が信頼できないブロ
ックが検知されてからしばらくの間は以降のブロックに
おいても相関値を無効にする。

【００１９】

【実施例】以下本発明の手ぶれ補正方法の一実施例につ
いて図面に基づいて詳細に説明する。

【００２０】図１は手ぶれ補正方法を実行するためのハ
ードウェア構成を示すブロック回路図であり、１は従来
回路にある手ぶれ補正回路１０６に相当する部分を示
し、その他の構成は従来と同様である。同図において１
は図示しないレンズ、撮像素子、カメラ回路、ＡＤ変換
回路を通ってきたデジタル画素信号を入力し代表点マッ
チング法によって相関値を算出する手ぶれ検出部、２は
得られた相関値を用いて種々の判定を行う相関値判断
部、３は該相関値判断部２によって得られた判定データ
を基に必要な手ぶれ補正を行う手ぶれ補正制御部であ
る。

【００２１】前記相関値判断部２は前記手ぶれ検出部１
で得られた相関値を基に平均値を求め画像の輝度信号の
コントラストが高いか低いかを判断する平均値判断部２
１と、この平均値と相関値の最小値による比の値から相
関値の信頼性を判断する平均値／最小値判断部２２と、
前記同じ相関値の最小値を有する画素が代表点の回りに
３個以上存在するかあるいは隣合わずに一対存在するか
を判断する最小値データ判断部２３と、前記３個以上あ
るいは一対存在する同じ相関値の最小値を検知したとき
にカウントを開始するフィールドカウンタ２４と、該フ
ィールドカウンタ２４の値が所定の値以下の時には全画
面を分割した分割ブロックの相関値を全て無効とする判
断部２５とより構成される。

【００２２】斯かる構成に於て手ぶれ制御の手法を図２
のフローチャートに基づいて説明する。

【００２３】スタート時に初期化し、ステップ１でフィ
ールドカウンタ２４の値を一つインクリメントする。次
にステップＳ２で手ぶれ検出部１により代表点マッチン
グ法により分割ブロックごとの２フィールド間の代表点
の回りの画素の相関値、平均値、最小値及び画素の位置
を求める。

【００２４】ステップＳ３では前記ステップＳ２で求め
た相関値の最小値に於て代表点の回りに３個以上同じ値
の最小値が存在するかあるいは一対の同じ最小値が存在
するかの判断を前記最小値データ部２３で判断し、ＹＥ
Ｓの時はステップＳ７へ進んで前記フィールドカウンタ
２４をリセットし、ＮＯの時にはステップＳ４へ進む。
またステップＳ７でカウンタ２４をリセットした後は当
該ブロックの相関値を無効にして、ステップＳ１に戻
り、カウントアップして次の２フィールドについて代表
点マッチング法による相関値の繰り返す。

【００２５】ステップＳ４では上記ステップＳ２で得ら
れた平均値をあらかじめ設定しておいた閾値と平均値判
断部２１で比較し、閾値よりも小さいＹＥＳの時はステ
ップＳ５へ進み、ＮＯの時はステップＳ６へ進む。

【００２６】ステップＳ５では前記ステップＳ２で求め
た平均値と最小値を用いてその商すなわち平均値／最小
値を演算し、この結果を平均値／最小値判断部２２であ
らかじめ設定しておいた閾値と比較し、閾値よりも小さ
いＹＥＳの時にはステップＳ８へ進み、ＮＯの時にはス
テップＳ６へ進む。

【００２７】ステップＳ６では前記フィールドカウンタ
の値があらかじめ設定しておいた閾値と判断部２５で比
較され、閾値よりも小さいＹＥＳの時にはステップＳ８
へ進み、ＮＯの時にはステップＳ９へ進む。

【００２８】ステップＳ９では当該ブロックの相関値は
信頼できるものと判断され、その相関値は次の手ぶれ補
正制御部３へ出力され、ステップＳ１に戻る。

【００２９】上記の動作に於て、例えば繰り返し模様の
ある被写体の場合にはそのパターンによっては平均値が
大きくなったり小さくなったりして相関値が信頼できる
か否かの判断を平均値／最小値の値だけでは判断できな
いが、ステップＳ３で最小値が３個以上あるいは隣り合
わずに一対同じものが得られれば繰り返しパターンの被
写体であると認識し、この時の相関値を無効にして誤っ
た手ぶれ補正をすることを抑制できることになる。

【００３０】

【発明の効果】以上の説明のように本発明によれば、繰
り返しのある画像を判断するに際して従来より用いてい
た最小値付近の傾きを用いることなく、検出時に於て相
関値の最小値が３個以上あるいは隣り合わずに２個同じ
値である場合に出力された相関値を無効にし、この状態
が生じた後一定の期間は生じた分割ブロックの相関値を
全て無効とすることにより、精度良く手ぶれによる動き
ベクトルの検出が行え、しかもこの検出のためのゲート
回路の規模も縮小することができる効果が生まれる。

【図面の簡単な説明】

【図１】本発明の動きベクトル検出方法を実施するため
のハードウェア構成を示すブロック回路図である。

【図２】図１の動作を説明するフローチャートである。

【図３】従来の動きベクトル検出方法を実施したハード
ウェア構成を示すブロック回路図である。

【図４】（ａ）（ｂ）は電子ズームの原理を説明する図
である。

【図５】（ａ）〜（ｄ）は手ぶれによる画像のぶれを説
明する図である。

【符号の説明】

１ 手ぶれ検出部 ２ 相関値判断部 ３ 手ぶれ補正制御部 ２１ 平均値判断部 ２２ 平均値／最小値判断部 ２３ 最小データ部 ２４ フィールドカウンタ ２５ 判断部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 時間内に連続する２フィールドの画像情
   報の相関から画像全体の平行移動量を示す動きベクトル
   を検出する方法において、各フィールドの画面を水平及
   び垂直方向に複数分割し、時間的に連続する２フィール
   ドの画面の互いに対応する分割画面相互間で両者の偏移
   量に対する相関値を代表点マッチング法により求め、こ
   の相関値に基づいて画面全体の動きベクトルを算出する
   際、前記相関値の最小値が代表点の周囲に３個以上存在
   するかあるいは隣り合わない同一の最小値が一対存在す
   る場合にこれを検知し、当該分割画面の動きベクトル検
   出のための相関値を無効にすることを特徴とする動きベ
   クトル検出方法。
2. 【請求項２】 前記相関値の最小値が代表点の周囲に３
   個以上存在するかあるいは隣り合わない同一の最小値が
   一対存在する場合にこれを検知して、当該分割画面の動
   きベクトル検出のための相関値を無効にすると共に、以
   後数フィールド間はかかる分割画面の相関値を前記３個
   以上あるいは一対の同一の最小値の検知の有無にかかわ
   らず無効にすることを特徴とする上記請求項１記載の動
   きベクトルの検出方法。