JP3271274B2 - 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】 本発明は、画像の振動判定装
置、画像の振動補正装置、画像の振動判定方法及び画像
の振動補正方法、ハンディタイプのビデオカメラの撮像
出力等をビデオデータに含まれる所謂手振れによる画像
の移動量を検出して補正する画像動き補正装置などに適
用される。

【０００２】

【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像の手振れ補正装置として、例え
ば特開６３−１６６３７０号公報に開示されているよう
に、画像の動きベクトルを検出し、この動きベクトルに
基づいて、画像メモリに貯えられているビデオデータを
補正するものが提案されている。

【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フレームの代表点画素と現フレームの
ブロック内の各画素の画像データとのフレーム差の絶対
値を演算し、各ブロックのフレーム差分絶対値を対応す
る画素毎に積算して相関積分値を求めて、１ブロック分
の画素配列に対応する座標を有する相関積算値表を形成
する。そして、この相関積算値表における相関積分値の
最小値の座標値を画像の動きベクトルの座標値として画
面全体の動きベクトルを決定している。

【０００４】そして、画像の手振れ補正装置では、検出
された動きベクトルを補正信号に変換し、この補正信号
により現画像を移動する補正を行っている。このような
画像の手振れ補正装置における補正精度は、画像の動き
ベクトルの検出精度に依存する。

【０００５】

【発明が解決しようとする課題】ところで、上述のよう
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体の動きベク
トルを決定するようにした従来のブロックマッチング法
による画像の動きベクトルの検出では、カメラの手振れ
による動きベクトルと被写体の移動による動きベクトル
とが同時に発生する。従って、画像の手振れ補正装置で
は、上記手振れによる動きベクトルと被写体の移動によ
る動きベクトルとを判別し、上記手振れによる動きベク
トルのみにより手振れ補正信号を形成して手振れ補正を
行う必要がある。上記被写体の移動による動きベクトル
を手振れによる動きベクトルと誤って判定して、手振れ
補正を行った場合には、静止しているべき背景画像など
が手振れ補正により移動してしまうことになり、不自然
が画像となってしまう。

【０００６】本発明は、このような実情に鑑みてなされ
たものであり、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることを目的とし、
画像の動きベクトル検出装置により検出された画像の動
きベクトルが手振れによる画像の動きベクトルであるか
被写体の移動による動きベクトルであるかを確実に判定
することのできる画像の振動判定装置、画像の振動補正
装置、画像の振動判定方法及び画像の振動補正方法を提
供するものである。

【０００７】

【課題を解決するための手段】本発明に係る画像の振動
判定装置は、入力ビデオ信号で構成される１フレームの
画像を複数に分割した各ブロック毎の代表点画素の画像
データの値Ｉ_ｋ（０，０）を記憶するメモリと、現フレ
ームのブロックの各画素の画像データＩ_ｋ（ｘ，ｙ）と
上記メモリから読み出される前フレームのブロックの代
表点画素の画像データＩ_ｋ−１（０，０）との差分の絶
対値｜｛Ｉ_ｋ−１（０，０）−Ｉ_ｋ（ｘ，ｙ）｝｜を上
記各画素毎に検出する差分検出手段と、上記各ブロック
内の画素毎に検出される差分の絶対値に基づいて動きベ
クトルを推定する動きベクトル推定手段と、上記差分検
出手段により、現フレームのブロックの代表点画素の画
像データＩ_ｋ（０，０）と、前フレームのブロックの代
表点画素の画像データＩ_ｋ−１（０，０）との差分の絶
対値が略０であり、且つ、上記前フレームのブロックの
代表点画素の画像データＩ_ｋ−１（０，０）と、上記現
フレームのブロックの各画素の画像データＩ_ｋ（ｘ，
ｙ）との差分の絶対値がＴｈ_Ｉ以上であるか否かを上記
ブロック内の画素毎に判定する条件判定手段と、上記条
件判定手段による判定出力に基づいて、上記条件を満た
す画素が検出される毎に、上記１ブロック分の画素配列
に対応する座標を有する度数分布表の上記画素の位置に
対応する座標の度数ｆ（ｘ，ｙ）をインクリメントして
当該度数分布表を形成する度数分布表形成手段と、上記
度数分布表形成手段により形成された度数分布表につい
て、上記動きベクトルに対応する座標の近傍の複数の座
標のうち、所定値よりも大きい度数値を有する座標の数
を算出し、その算出値が所定値よりも小さい場合に、上
記動きベクトルが上記画像を撮像する撮像手段の振動に
起因するものであるとする振動ベクトル判定手段とを備
えることを特徴とする。また、本発明に係る画像の振動
補正装置は、入力ビデオ信号で構成される１フレームの
画像を複数に分割した各ブロック毎の代表点画素の画像
データの値Ｉ_ｋ（０，０）を記憶するメモリと、現フレ
ームのブロックの各画素の画像データＩ_ｋ（ｘ，ｙ）と
上記メモリから読み出される前フレームのブロックの代
表点画素の画像データＩ_ｋ−１（０，０）との差分の絶
対値｜｛Ｉ_ｋ−１（０，０）−Ｉ_ｋ（ｘ，ｙ）｝｜を上
記各画素毎に検出する差分検出手段と、上記各ブロック
内の画素毎に検出される差分の絶対値に基づいて動きベ
クトルを推定する動きベクトル推定手段と、上記差分検
出手段により、現フレームのブロックの代表点画素の画
像データＩ_ｋ（０，０）と、前フレームのブロックの代
表点画素の画像データＩ_ｋ−１（０，０）との差分の絶
対値が略０であり、且つ、上記前フレームのブロックの
代表点画素の画像データＩ_ｋ−１（０，０）と、上記現
フレームのブロックの各画素の画像データＩ_ｋ（ｘ，
ｙ）との差分の絶対値がＴｈ_Ｉ以上であるか否かを上記
ブロック内の画素毎に判定する条件判定手段と、上記条
件判定手段による判定出力に基づいて、上記条件を満た
す画素が検出される毎に、上記１ブロック分の画素配列
に対応する座標を有する度数分布表の上記画素の位置に
対応する座標の度数ｆ（ｘ，ｙ）をインクリメントして
当該度数分布表を形成する度数分布表形成手段と、上記
度数分布表形成手段により形成された度数分布表につい
て、上記動きベクトルに対応する座標の近傍の複数の座
標のうち、所定値よりも大きい度数値を有する座標の数
を算出し、その算出値が所定値よりも小さい場合に、上
記動きベクトルが上記画像を撮像する撮像手段の振動に
起因するものであるとする振動ベクトル判定手段と、上
記振動ベクトル判定手段の判定結果に応じて、上記動き
ベクトルに応じた補正量の振動補正信号を形成する補正
量発生手段と、上記補正量発生手段から供給される振動
補正信号により上記フレームを構成する画像に振動補正
処理を施す補正手段とを備えることを特徴とする。ま
た、本発明に係る画像の振動判定方法は、１フレームの
画像を複数の領域に分割し、現フレームの上記領域内の
各画素データと、当該領域に対応する現フレームの代表
画素データとの差分値を検出するステップと、上記１フ
レーム内の上記各領域内の画素毎に検出される差分値に
基づいて、動きベクトルを推定するステップと、上記領
域毎に、現フレームの代表画素データと前フレームの代
表画素データとの差分の絶対値が略０であり、且つ、上
記現フレームの上記領域内の画素データと上記前フレー
ムの代表画素データとの差分の絶対値が所定値以上であ
るか否かを判定するステップと、上記判定出力に基づい
て、上記条件が満たされる上記現フレームの上記領域内
の画素データの画素位置に対応する座標の度数をインク
リメントすることにより、上記領域の画素配列に対応す
る座標を有する度数分布表を形成するステップと、上記
推定された動きベクトルに対応する上記度数分布表の座
標の近傍の複数の座標のうち、所定値よりも大きい度数
値を有する座標の数を算出し、その算出値が所定値より
も小さい場合に、上記動きベクトルが上記フレームを構
成する画像を撮像する撮像手段の振動によるものである
と判定するステップとを備えることを特徴とする。さら
に、本発明に係る画像の振動補正方法は、１フレームの
画像を複数の領域に分割し、現フレームの上記領域内の
各画素データと、当該領域に対応する現フレームの代表
画素データとの差分値を検出するステップと、上記１フ
レーム内の上記各領域内の画素毎に検出される差分値に
基づいて、動きベクトルを推定するステップと、上記領
域毎に、現フレームの代表画素データと前フレームの代
表画素データとの差分の絶対値が略０であり、且つ、上
記現フレームの上記領域内の画素データと上記前フレー
ムの代表画素データとの差分の絶対値が所定値以上であ
るか否かを判定するステップと、上記判定結果に基づい
て、上記条件が満たされる上記現フレームの上記領域内
の画素データの画素位置に対応する座標の度数をインク
リメントすることにより、上記領域の画素配列に対応す
る座標を有する度数分布表を形成するステップと、上記
推定された動きベクトルに対応する上記度数分布表の座
標の近傍の複数の座標のうち、所定値よりも大きい度数
値を有する座標の数を算出し、その算出値が所定値より
も小さい場合に、上記動きベクトルが上記フレームを構
成する画像を撮像する撮像手段の振動による動きベクト
ルであると判定するステップと、上記判定結果に応じ
て、上記動きベクトルに応じた補正量の振動補正信号を
形成するステップと、上記振動補正信号により上記フレ
ームを構成する画像に振動補正処理を施すステップとを
備えることを特徴とする。

【０００８】

【作用】本発明に係る画像の振動判定装置及び振動判定
方法では、１フレームの画像を複数の領域に分割し、現
フレームの上記領域内の各画素データと当該領域に対応
する現フレームの代表画素データとの差分値を検出し、
上記１フレーム内の上記各領域内の画素毎に検出される
差分値に基づいて動きベクトルを推定する。また、上記
領域毎に、現フレームの代表画素データと前フレームの
代表画素データとの差分の絶対値が略０であり、且つ、
上記現フレームの上記領域内の画素データと上記前フレ
ームの代表画素データとの差分の絶対値が所定値以上で
あるか否かを判定し、その判定出力に基づいて、上記条
件が満たされる上記現フレームの上記領域内の画素デー
タの画素位置に対応する座標の度数をインクリメントす
ることにより、上記領域の画素配列に対応する座標を有
する度数分布表を形成する。そして、上記推定された動
きベクトルに対応する上記度数分布表の座標の近傍の複
数の座標のうち、所定値よりも大きい度数値を有する座
標の数を算出し、その算出値が所定値よりも小さい場合
に、上記動きベクトルが上記フレームを構成する画像を
撮像する撮像手段の振動によるものであると判定する。
また、本発明に係る画像の振動補正装置及び振動補正方
法では、１フレームの画像を複数の領域に分割し、現フ
レームの上記領域内の各画素データと当該領域に対応す
る現フレームの代表画素データとの差分値を検出し、上
記１フレーム内の上記各領域内の画素毎に検出される差
分値に基づいて動きベクトルを推定する。また、上記領
域毎に、現フレームの代表画素データと前フレームの代
表画素データとの差分の絶対値が略０であり、且つ、上
記現フレームの上記領域内の画素データと上記前フレー
ムの代表画素データとの差分の絶対値が所定値以上であ
るか否かを判定し、その判定出力に基づいて、上記条件
が満たされる上記現フレームの上記領域内の画素データ
の画素位置に対応する座標の度数をインクリメントする
ことにより、上記領域の画素配列に対応する座標を有す
る度数分布表を形成する。さらに、上記推定された動き
ベクトルに対応する上記度数分布表の座標の近傍の複数
の座標のうち、所定値よりも大きい度数値を有する座標
の数を算出し、その算出値が所定値よりも小さい場合
に、上記動きベクトルが上記フレームを構成する画像を
撮像する撮像手段の振動によるものであると判定する。
そして、上記判定結果に応じて、上記動きベクトルに応
じた補正量の振動補正信号を形成し、上記振動補正信号
により上記フレームを構成する画像に振動補正処理を施
す。

【０００９】以下、本発明に係る画像の振動判定装置の
一実施例について図面に従い詳細に説明する。本発明に
係る画像の振動判定装置は、例えば図１に示すように構
成される。

【００１０】この図１に示した画像の手振れ判定装置４
０は、ハンディタイプのビデオカメラにおける手振れに
よる画像の動きを補正する手振れ補正装置に本発明を適
用したもので、画像の動きベクトル検出部１０、補正量
発生部２０及び補正部３０とともに手振れ補正装置を構
成している。図１において、信号入力端子１には、上記
ビデオカメラの図示しない撮像部による撮像出力として
得られるビデオ信号をディジタル化した入力ビデオデー
タが供給される。

【００１１】この手振れ補正装置において、上記動きベ
クトル検出部１０は、上記入力ビデオデータが上記信号
入力端子１を介して供給される代表点メモリ１１及び減
算回路１２と、この減算回路１２による減算出力データ
が供給される相関積算値表形成回路１３と、この相関積
算値表形成回路１３により形成された相関積算値表の相
関積算値データが供給される動きベクトル推定回路１４
とを備えてなる。

【００１２】この動きベクトル検出部１０における上記
代表点メモリ１１は、入力ビデオビデオで構成される１
フレームの画像を複数に分割した各ブロック毎の代表点
画素の画像データの値を記憶する。具体的には、例えば
図２に示すように、１フレームの画面をｍ画素×ｎライ
ンのブロックに分割し、図３に示すように各ブロックの
中心の画素を代表点とし、各代表点画素の画像データを
上記代表点メモリ１１に１フレーム期間記憶する。な
お、上記代表点は、画面上で均一のばらまかれている。
そして、この代表点メモリ１１から読み出される１フレ
ーム前の各代表点画素の画像データが上記減算回路１２
に供給される。

【００１３】上記減算回路１２は、上記信号入力端子１
を介して供給される入力ビデオデータすなわち現フレー
ムの画像データについて、ブロック毎のｍ×ｎ個の各画
素の画像データと上記代表点メモリ１１から読み出され
る前フレームの対応するブロックの代表点画素の画像デ
ータとの差分すなわちフレーム間差の絶対値を検出す
る。そして、この減算回路１２による減算出力データと
して得られるフレーム差分絶対値データが上記相関積算
値表形成回路１３に供給される。

【００１４】上記相関積算値表形成回路１３は、上記減
算回路１２により得られた各ブロックのフレーム差分絶
対値を対応する画素毎に１フレーム期間に亘って積算
し、１ブロック分の画素配列に対応するｍ×ｎの整数座
標を有する相関積算値表を形成する。この相関積算値表
形成回路１３により形成される相関積算値表は、ｍ×ｎ
個のフレーム差分絶対値の積算値すなわち相関積算値の
分布を示し、フレーム相関の最も強い座標の相関積算値
が最小値となる。そして、この相関積算値表形成回路１
３により形成される相関積算値表のｍ×ｎ個の相関積算
値が上記動きベクトル推定回路１４に供給される。

【００１５】上記動きベクトル推定回路１４では、上記
相関積算値表形成回路１３により形成された相関積算値
表の相関積算値の最小値の座標を検出し、この座標が中
央に位置する周辺座標における相関積算値を比例係数と
して上記周辺座標間距離に対応する画素間距離を比例分
割した座標を求め、この座標に基づいて画像の動きベク
トルを推定する。

【００１６】ここで、上記動きベクトル推定回路１４に
おける画像の動きベクトルの推定処理には、例えば図４
に示すように上記相関積算値の最小値の座標Ｐ（ｘ，
ｙ）とその８近傍座標Ｐ（ｘ＋１，ｙ），Ｐ（ｘ＋１，
ｙ＋１），Ｐ（ｘ，ｙ＋１），Ｐ（ｘ−１，ｙ＋１），
Ｐ（ｘ−１，ｙ），Ｐ（ｘ−１，ｙ−１），Ｐ（ｘ，ｙ
−１），Ｐ（ｘ＋１，ｙ−１）のうちの２座標を通る４
軸Ｓ₁ ，Ｓ₂ ，Ｓ₃ ，Ｓ₄ を用いて２次元セパラブルに
行うことができる。

【００１７】そこで、上記動きベクトル推定回路１４で
は、上記相関積算値表形成回路１３により形成された相
関積算値表について、相関積算値の最小値の座標を検出
して、上記４軸Ｓ₁ ，Ｓ₂ ，Ｓ₃ ，Ｓ₄ について最小値
の座標の推定処理を行い、各軸Ｓ₁ ，Ｓ₂ ，Ｓ₃ ，Ｓ₄
の最小値の推定座標を合成して２次元座標値を算出し、
この２次元座標値から画像の動きベクトルを決定する。

【００１８】また、この動きベクトル推定回路１４は、
上記相関積算値表の整数座標値で示される上記相関積算
値の最小値の座標を画像の動きベクトルとして上記手振
れ判定装置１０に供給する。

【００１９】ここで、ある軸についての最小値の座標の
１次元推定は、例えば軸Ｓ₁ において図５に示すように
中央の座標Ｐ（ｘ，ｙ）の相関積算値が最小値であって
隣接座標Ｐ（ｘ＋１，ｙ），Ｐ（ｘ−１，ｙ）の各相関
積算値と上記最小相関積算値との間にａ，ｂなる差があ
るとすると、隣接座標間距離Ｌをａ／（ａ＋ｂ）：ｂ／
（ａ＋ｂ）に比例分割した座標Ｐ（Ｘ，Ｙ）を求めるこ
とにより行われる。これにより、上記相関積算値表の整
数座標値よりも細かい分解能で最小値座標を求めること
ができる。なお、α・ａ／（ａ＋ｂ）：β・ｂ／（ａ＋
ｂ）のように上記隣接座標間距離Ｌを比例分割するため
の比例係数の重みα，βを変えることで、上記隣接座標
Ｐ（ｘ＋１，ｙ），Ｐ（ｘ−１，ｙ）の各相関積算値の
変化に応じた推定を取り入れることも可能である。

【００２０】このような構成の画像の動きベクトル検出
部１０では、上記相関積算値形成回路１３により形成し
た表相関積算値表の相関積算値の最小値の座標を検出す
ることにより整数座標値を得て、上記座標が中央に位置
する周辺座標における相関積算値を比例係数として上記
周辺座標間距離に対応する画素間距離を比例分割した座
標を求めることにより少数座標値を得ることができ、こ
の座標に基づいて画像の動きベクトルを推定するので、
上記動きベクトルを高い精度で検出することができる。

【００２１】そして、この動きベクトル検出装置１０に
より検出された動きベクトルが上記補正量発生部３０に
供給される。

【００２２】また、この手振れ補正装置において、上記
手振れ判定装置４０は、上記入力ビデオデータが上記信
号入力端子１を介して供給される代表点メモリ４１及び
減算回路４２と、この減算回路４２による減算出力デー
タが供給される条件判定回路４３と、この条件判定回路
４３による判定出力に基づいて度数分布表を形成する度
数分布表形成部４４と、上記動きベクトル検出部１０に
より検出された動きベクトルが手振れによる画像の動き
ベクトルであるか否かの判定処理を上記度数表形成回路
４４により形成された度数分布表の度数値に基づいて行
う手振れベクトル判定回路４６とを備えてなる。

【００２３】上記手振れ判定装置４０において、上記代
表点メモリ４１は、上述の手振れ動きベクトル検出部１
０における代表点メモリ１１と同様に、入力ビデオビデ
オで構成される１フレームの画像を複数に分割した各ブ
ロック毎の代表点画素の画像データの値Ｉ_k （０，０）
を１フレーム期間記憶する。そして、この代表点メモリ
４１から読み出される１フレーム前の各代表点画素の画
像データが上記減算回路４２に供給される。

【００２４】上記減算回路４２は、上記信号入力端子１
を介して供給される入力ビデオデータすなわち現フレー
ムの画像データについて、ブロック毎のｍ×ｎ個の各画
素の画像データＩ_k （ｘ，ｙ）と上記代表点メモリ４１
から読み出される前フレームの対応するブロックの代表
点画素の画像データＩ_k-1 （０，０）との差分の絶対値
｜｛Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｝｜すなわちフ
レーム間差の絶対値を検出する。そして、この減算回路
４２による減算出力データとして得られるフレーム差分
絶対値データが上記条件判定回路４３に供給される。

【００２５】上記条件判定回路４３は、上記減算回路４
２により検出された各ブロックのフレーム差分絶対値｜
｛Ｉ_k-1 （０，０）−Ｉ_k （０，０）｝｜が、 Ｉ_k-1 （０，０）≒Ｉ_k （０，０） なる第１の判定条件を満たし、且つ、 ｜｛Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｝｜≧Ｔｈ_I なる第２の条件を満たすか否かを判定する。ここで、上
記Ｔｈ_I は、空間内のレベル差の有無を判定するためし
きい値である。そして、この条件判定回路４３による判
定出力が上記度数分布表形成回路４４に供給される。

【００２６】上記度数分布表形成回路４４は、1 ブロッ
ク分の画素配列に対応する座標を有するメモリテーブル
４５を備え、上記条件判定回路４３による判定出力に基
づいて、上記第１及び第２の条件を満たす画素が検出さ
れる毎に対応する座標の度数ｆ（ｘ，ｙ）をインクリメ
ントして上記メモリテーブル４５に度数分布表を形成す
る。この度数分布表形成回路４４により上記メモリテー
ブル４５に形成された度数分布表の度数値が上記手振れ
ベクトル判定回路４６に供給される。

【００２７】上記手振れベクトル判定回路４６は、図６
のフローチャートに示すように、ステップ１で上記度数
分布表形成回路４４により形成された度数分布表につい
て、ステップ２で上記動きベクトル検出部１０により検
出された画像の動きベクトルＶ_t により指定される座標
Ｐ（ｘ，ｙ）の近傍の複数の座標の度数値をステップ３
で上記度数分布表形成回路４４のメモリテーブル４５か
ら読み出す。上記ステップ３で読み出した上記動きベク
トルＶ_t の座標Ｐ（ｘ，ｙ）の近傍の複数の座標のう
ち、所定値Ｌ_thよりも大きい度数値を有する座標の数Ｎ
〔Ｐ_i,j ≧Ｌ_th〕をステップ４で算出してから、この数
Ｎ〔Ｐ_i,j ≧Ｌ_th〕が所定値Ｔｈ_i よりも小さいか否か
の判定処理をステップ５で行う。そして、このステップ
５の判定結果が「ＹＥＳ」すなわち上記数Ｎ〔Ｐ_i,j ≧
Ｌ_th〕が所定値Ｔｈ_i よりも小さい場合には、上記動き
ベクトルＶ_t が画像の手振れに起因するものであること
を示す判定出力を上記補正量発生部３０に供給する。ま
た、上記ステップ５の判定結果が「ＮＯ」すなわち上記
数Ｎ〔Ｐ_i,j ≧Ｌ_th〕が所定値Ｔｈ_i よりも大きい場合
には、上記動きベクトルＶ_t が画像の手振れに起因する
ものでないことを示す判定出力を上記補正量発生部３０
に供給する。

【００２８】ここで、上記動きベクトル検出部１０によ
り検出された画像の動きベクトルＶ_t により指定される
座標Ｐ（ｘ，ｙ）の近傍の複数の座標では、手振れによ
る動きを伴う画像の場合、上記度数分布表形成回路４４
により形成された度数分布表の動きベクトルＶ_t の座標
Ｐ（−６，３）近傍の各座標の度数値の一例を図７に示
してあるように、上記減算回路４２により検出される各
ブロックのフレーム差分絶対値｜｛Ｉ_k-1 （０，０）−
Ｉ_k （ｘ，ｙ）｝｜が小さくなるので、各度数値も小さ
くなり、その空間平均値Ａ_t が小さくなる。上記図７に
示す手振れによる動きを伴う画像の度数分布表におい
て、画像の動きベクトルＶ_t により指定される座標Ｐ
（−６，３）とその８近傍座標（図７の破線の枠内）で
は、上記ステップ５における判定に用いる所定値Ｌ_thを
「６」とすると、この所定値Ｌ_th＝６を越える度数値の
座標の数Ｎ〔Ｐ_i,j ≧Ｌ_th〕は０個である。また、上記
座標Ｐ（−６，３）とその１６近傍座標（図７の実線の
枠内）では、上記ステップ５における判定に用いる所定
値Ｌ_thを「９」とすると、この所定値Ｌ_th＝９を越える
度数値の座標の数Ｎ〔Ｐ_i,j ≧Ｌ_th〕は２個である。

【００２９】これに対して、固定したビデオカメラによ
り得られる画像の場合、上記度数分布表形成回路４４に
より形成された度数分布表の動きベクトルＶ_t の座標Ｐ
（１，１）近傍の各座標の度数値の一例を図８に示して
あるように、ある程度フレーム差分絶対値｜｛Ｉ
_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｝｜の大きな画素が検
出され、各度数値も大きくなり、その空間平均値Ａ_t が
大きくなる。上記図８に示す固定したビデオカメラによ
り得られる画像の度数分布表において、画像の動きベク
トルＶ_t により指定される座標Ｐ（１，１）とその８近
傍座標（図８の破線の枠内）では、上記ステップ５にお
ける判定に用いる所定値Ｌ_thを「６」とすると、この所
定値Ｌ_th＝６を越える度数値の座標の数Ｎ〔Ｐ_i,j ≧Ｌ
_th〕は５個である。また、上記座標Ｐ（１，１）とその
１６近傍座標（図７の実線の枠内）では、上記ステップ
５における判定に用いる所定値Ｌ_thを「９」とすると、
この所定値Ｌ_th＝９を越える度数値の座標の数Ｎ〔Ｐ
_i,j ≧Ｌ_th〕は１２個である。

【００３０】上記図７に示す手振れによる動きを伴う画
像の度数分布表における画像の動きベクトルＶ_t により
指定される座標Ｐ（−６，３）の度数値は「３」であ
り、また、上記図８に示す固定したビデオカメラにより
得られる画像の度数分布表における画像の動きベクトル
Ｖ_t により指定される座標Ｐ（１，１）の度数値も
「３」であって、上記動きベクトル検出部１０により検
出された動きベクトルＶ_t により指定される座標Ｐ
（ｘ，ｙ）の度数値だけでは、上記動きベクトルＶ_t が
手振れに起因するものであるか否かを判定することがで
きないが、上記動きベクトルＶ_t により指定される座標
Ｐ（ｘ，ｙ）の８近傍座標や１６近傍座標における各度
数値を所定値Ｌ_thでしきい値判定して得られる座標の数
Ｎ〔Ｐ_i,j ≧Ｌ_th〕には上述のように差が有るので、こ
の数値Ｎ〔Ｐ_i,j ≧Ｌ_th〕を用いることにより、上記画
像の動きベクトルＶ_t が手振れによる画像の動きベクト
ルであるか被写体の移動による動きベクトルであるかを
確実に判定することができる。

【００３１】このように、上記動きベクトル検出部１０
により検出された画像の動きベクトルＶ_t により指定さ
れる座標Ｐ（ｘ，ｙ）の近傍の複数の座標のうち、所定
値Ｌ_thよりも大きい度数値を有する座標の数Ｎ〔Ｐ_i,j
≧Ｌ_th〕を算出し、その算出値Ｎ〔Ｐ_i,j ≧Ｌ_th〕が所
定値よりも小さい場合に、上記動きベクトルが画像の手
振れに起因するものであるとすることにより、上記画像
の動きベクトルＶ_t が手振れによる画像の動きベクトル
であるか被写体の移動による動きベクトルであるかを確
実に判定することができる。

【００３２】そして、上記補正量発生部２０は、上記動
きベクトル検出部１０が検出した動きベクトルＶ_t が画
像の手振れに起因するものであることを示す判定出力が
上記手振れベクトル判定装置４０から供給されると、図
６のフローチャートにおけるステップ６で上記動きベク
トル検出部１０が検出した上記動きベクトルＶ_t ’を手
振れベクトルとして手振れ補正信号を形成し、この手振
れ補正信号を上記補正部３０に供給する。また、この補
正量発生部２０は、上記動きベクトル検出部１０が検出
した動きベクトルＶ_t が画像の手振れに起因するもので
ないことを示す判定出力が上記手振れベクトル判定装置
４０から供給されると、図６のフローチャートにおける
ステップ７で手振れベクトルを〔０，０〕として手振れ
補正信号を形成し、この手振れ補正信号を上記補正部３
０に供給する。

【００３３】また、上記補正部３０は、例えば図９に示
すように、上記補正量発生部２０から手振れ補正信号が
供給されるアドレス制御回路３１及びセレクト信号発生
回路４２と、上記アドレス制御回路３１から供給される
アドレス信号に従ってビデオデータの書き込み／読み出
しが行われるフレームメモリ３３及び周辺メモリ３４
と、上記フレームメモリ３３及び周辺メモリ３４から読
み出されるビデオデータを上記セレクト信号発生回路３
２から供給されるセレクト信号に応じて選択的に出力す
るセレクタ３５とを備えてなる。

【００３４】上記フレームメモリ３２には、上記信号入
力端子１を介して供給される入力ビデオデータが順次書
き込まれる。そして、このフレームメモリ３２の読み出
しアドレスが上記手振れ補正信号により上記手振れベク
トルに応じて制御される。これにより、上記フレームメ
モリ３２からは、１フレームの入力ビデオデータが上記
手振れベクトルに応じて移動されたビデオデータが得ら
れる。そして、このフレームメモリ３２から読み出され
るビデオデータと上記周辺メモリ３３から読み出される
周辺ビデオデータとが上記セレクタ３５による選択によ
って合成され、手振れ補正処理済のビデオデータとして
信号出力端子２から出力される。

【００３５】なお、上記周辺メモリ３３には、上記セレ
クタ３５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。

【００３６】上述のように上記動きベクトル検出部１０
により画像の動きベクトルを高い精度で検出することが
できるので、この動きベクトルに基づいて手振れ補正を
行う手振れ補正装置では、高い手振れ補正精度を確保す
ることができ、自然な画像出力が得られる。

【００３７】

【発明の効果】以上の説明からも明らかなように、本発
明によれば、１フレームの画像を複数の領域に分割し、
現フレームの上記領域内の各画素データと当該領域に対
応する現フレームの代表画素データとの差分値を検出
し、上記１フレーム内の上記各領域内の画素毎に検出さ
れる差分値に基づいて動きベクトルを推定する。また、
上記領域毎に、現フレームの代表画素データと前フレー
ムの代表画素データとの差分の絶対値が略０であり、且
つ、上記現フレームの上記領域内の画素データと上記前
フレームの代表画素データとの差分の絶対値が所定値以
上であるか否かを判定し、その判定出力に基づいて、上
記条件が満たされる上記現フレームの上記領域内の画素
データの画素位置に対応する座標の度数をインクリメン
トすることにより、上記領域の画素配列に対応する座標
を有する度数分布表を形成する。そして、上記推定され
た動きベクトルに対応する上記度数分布表の座標の近傍
の複数の座標のうち、所定値よりも大きい度数値を有す
る座標の数を算出し、その算出値が所定値よりも小さい
場合に、上記動きベクトルが上記フレームを構成する画
像を撮像する撮像手段の振動によるものであると判定す
るので、検出された画像の動きベクトルが撮像手段の振
動による動きベクトルであるか被写体の移動による動き
ベクトルであるかを確実に判定することができる。ま
た、本発明によれば、上記動きベクトルの判定結果に応
じて、上記動きベクトルに応じた補正量の振動補正信号
を形成し、上記振動補正信号により上記フレームを構成
する画像に振動補正処理を施すことにより、撮像手段の
振動による画像の動きを確実に補正することができる。

【００３８】従って、本発明によれば、画像の動きベク
トルが撮像手段の振動に起因するものであるか否かの判
定を確実に行うことができ、また、その判定結果に基づ
いてフレームを構成する画像に振動補正処理を確実に施
すことができ、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることができる。

【図面の簡単な説明】

【図１】本発明に係る画像の手振れ判定装置を設けた手
振れ補正装置の構成を示すブロック図である。

【図２】上記手振れ補正装置の動きベクトル検出部にお
ける画面のブロック分割の状態を示す図である。

【図３】上記ブロック分割された画面の１ブロックの構
造を示す図である。

【図４】上記動きベクトル検出部における動きベクトル
の推定処理に用いる相関積算値表上の最小値近傍の軸を
説明するための図である。

【図５】上記動きベクトル検出部における動きベクトル
の１次元推定例を説明するための図である。

【図６】上記手振れ判定装置の動作を示すフローチャー
トである。

【図７】手振れによる動きを伴う画像について、上記手
振れ判定装置において度数分布表形成回路により形成さ
れた度数分布表の動きベクトル近傍の度数分布を示す図
である。

【図８】固定したビデオカメラにより得られた画像につ
いて、上記手振れ判定装置において度数分布表形成回路
により形成された度数分布表の動きベクトル近傍の度数
分布を示す図である。

【図９】上記動きベクトル検出装置を設けた手振れ補正
装置の補正部の構成を示すブロック図である。

【符号の説明】

１０・・・・・・・・・動きベクトル検出部 ２０・・・・・・・・・補正量発生部 ３０・・・・・・・・・補正部 ４０・・・・・・・・・手振れ判定装置 ４１・・・・・・・・・代表点メモリ ４２・・・・・・・・・減算回路 ４３・・・・・・・・・条件判定回路 ４４・・・・・・・・・度数分布表形成回路 ４５・・・・・・・・・メモリテーブル ４６・・・・・・・・・手振れベクトル判定回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 平３−198488（ＪＰ，Ａ) 特開 平２−246686（ＪＰ，Ａ) 特開 昭61−201588（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/225 - 5/247 G06T 7/20

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 入力ビデオ信号で構成される１フレーム
   の画像を複数に分割した各ブロック毎の代表点画素の画
   像データの値Ｉ_ｋ（０，０）を記憶するメモリと、 現フレームのブロックの各画素の画像データＩ_ｋ（ｘ，
   ｙ）と上記メモリから読み出される前フレームのブロッ
   クの代表点画素の画像データＩ_ｋ−１（０，０）との差
   分の絶対値｜｛Ｉ_ｋ−１（０，０）−Ｉ_ｋ（ｘ，ｙ）｝
   ｜を上記各画素毎に検出する差分検出手段と、 上記各ブロック内の画素毎に検出される差分の絶対値に
   基づいて動きベクトルを推定する動きベクトル推定手段
   と、 上記差分検出手段により、現フレームのブロックの代表
   点画素の画像データＩ_ｋ（０，０）と、前フレームのブ
   ロックの代表点画素の画像データＩ_ｋ−１（０，０）と
   の差分の絶対値が略０であり、且つ、上記前フレームの
   ブロックの代表点画素の画像データＩ_ｋ−１（０，０）
   と、上記現フレームのブロックの各画素の画像データＩ
   _ｋ（ｘ，ｙ）との差分の絶対値がＴｈ_Ｉ以上であるか否
   かを上記ブロック内の画素毎に判定する条件判定手段
   と、 上記条件判定手段による判定出力に基づいて、上記条件
   を満たす画素が検出される毎に、上記１ブロック分の画
   素配列に対応する座標を有する度数分布表の上記画素の
   位置に対応する座標の度数ｆ（ｘ，ｙ）をインクリメン
   トして当該度数分布表を形成する度数分布表形成手段
   と、 上記度数分布表形成手段により形成された度数分布表に
   ついて、上記動きベクトルに対応する座標の近傍の複数
   の座標のうち、所定値よりも大きい度数値を有する座標
   の数を算出し、その算出値が所定値よりも小さい場合
   に、上記動きベクトルが上記画像を撮像する撮像手段の
   振動に起因するものであるとする振動ベクトル判定手段
   とを備える画像の振動判定装置。
2. 【請求項２】 入力ビデオ信号で構成される１フレーム
   の画像を複数に分割した各ブロック毎の代表点画素の画
   像データの値Ｉ_ｋ（０，０）を記憶するメモリと、 現フレームのブロックの各画素の画像データＩ_ｋ（ｘ，
   ｙ）と上記メモリから読み出される前フレームのブロッ
   クの代表点画素の画像データＩ_ｋ−１（０，０）との差
   分の絶対値｜｛Ｉ_ｋ−１（０，０）−Ｉ_ｋ（ｘ，ｙ）｝
   ｜を上記各画素毎に検出する差分検出手段と、 上記各ブロック内の画素毎に検出される差分の絶対値に
   基づいて動きベクトルを推定する動きベクトル推定手段
   と、 上記差分検出手段により、現フレームのブロックの代表
   点画素の画像データＩ_ｋ（０，０）と、前フレームのブ
   ロックの代表点画素の画像データＩ_ｋ−１（０，０）と
   の差分の絶対値が略０であり、且つ、上記前フレームの
   ブロックの代表点画素の画像データＩ_ｋ−１（０，０）
   と、上記現フレームのブロックの各画素の画像データＩ
   _ｋ（ｘ，ｙ）との差分の絶対値がＴｈ_Ｉ以上であるか否
   かを上記ブロック内の画素毎に判定する条件判定手段
   と、 上記条件判定手段による判定出力に基づいて、上記条件
   を満たす画素が検出される毎に、上記１ブロック分の画
   素配列に対応する座標を有する度数分布表の上記画素の
   位置に対応する座標の度数ｆ（ｘ，ｙ）をインクリメン
   トして当該度数分布表を形成する度数分布表形成手段
   と、 上記度数分布表形成手段により形成された度数分布表に
   ついて、上記動きベクトルに対応する座標の近傍の複数
   の座標のうち、所定値よりも大きい度数値を有する座標
   の数を算出し、その算出値が所定値よりも小さい場合
   に、上記動きベクトルが上記画像を撮像する撮像手段の
   振動に起因するものであるとする振動ベクトル判定手段
   と、 上記振動ベクトル判定手段の判定結果に応じて、上記動
   きベクトルに応じた補正量の振動補正信号を形成する補
   正量発生手段と、 上記補正量発生手段から供給される振動補正信号により
   上記フレームを構成する画像に振動補正処理を施す補正
   手段とを備える画像の振動補正装置。
3. 【請求項３】 １フレームの画像を複数の領域に分割
   し、現フレームの上記領域内の各画素データと、当該領
   域に対応する現フレームの代表画素データとの差分値を
   検出するステップと、 上記１フレーム内の上記各領域内の画素毎に検出される
   差分値に基づいて、動きベクトルを推定するステップ
   と、 上記領域毎に、現フレームの代表画素データと前フレー
   ムの代表画素データとの差分の絶対値が略０であり、且
   つ、上記現フレームの上記領域内の画素データと上記前
   フレームの代表画素データとの差分の絶対値が所定値以
   上であるか否かを判定するステップと、 上記判定出力に基づいて、上記条件が満たされる上記現
   フレームの上記領域内の画素データの画素位置に対応す
   る座標の度数をインクリメントすることにより、上記領
   域の画素配列に対応する座標を有する度数分布表を形成
   するステップと、 上記推定された動きベクトルに対応する上記度数分布表
   の座標の近傍の複数の座標のうち、所定値よりも大きい
   度数値を有する座標の数を算出し、その算出値が所定値
   よりも小さい場合に、上記動きベクトルが上記フレーム
   を構成する画像を撮像する撮像手段の振動によるもので
   あると判定するステップとを備える画像の振動判定方
   法。
4. 【請求項４】 １フレームの画像を複数の領域に分割
   し、現フレームの上記領域内の各画素データと、当該領
   域に対応する現フレームの代表画素データとの差分値を
   検出するステップと、 上記１フレーム内の上記各領域内の画素毎に検出される
   差分値に基づいて、動きベクトルを推定するステップ
   と、 上記領域毎に、現フレームの代表画素データと前フレー
   ムの代表画素データとの差分の絶対値が略０であり、且
   つ、上記現フレームの上記領域内の画素データと上記前
   フレームの代表画素データとの差分の絶対値が所定値以
   上であるか否かを判定するステップと、 上記判定結果に基づいて、上記条件が満たされる上記現
   フレームの上記領域内の画素データの画素位置に対応す
   る座標の度数をインクリメントすることにより、上記領
   域の画素配列に対応する座標を有する度数分布表を形成
   するステップと、 上記推定された動きベクトルに対応する上記度数分布表
   の座標の近傍の複数の座標のうち、所定値よりも大きい
   度数値を有する座標の数を算出し、その算出値が所定値
   よりも小さい場合に、上記動きベクトルが上記フレーム
   を構成する画像を撮像する撮像手段の振動による動きベ
   クトルであると判定するステップと、 上記判定結果に応じて、上記動きベクトルに応じた補正
   量の振動補正信号を形成するステップと、 上記振動補正信号により上記フレームを構成する画像に
   振動補正処理を施すステップとを備えることを特徴とす
   る画像の振動補正方法。