JP3200888B2 - 画像の振動補正装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ハンディタイプのビデ
オカメラの撮像出力等をビデオデータに含まれる所謂手
振れによる画像の移動量を検出して補正する画像の振動
補正装置に関する。

【０００２】

【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像の手振れ補正装置として、例え
ば特開６３−１６６３７０号公報に開示されているよう
に、画像の動きベクトルを検出し、この動きベクトルに
基づいて、画像メモリに貯えられているビデオデータを
補正するものが提案されている。

【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フィールドの代表点画素と現フィール
ドのブロック内の各画素の画像データとのフィールド差
の絶対値を演算し、各ブロックのフィールド差分絶対値
を対応する画素毎に積算して相関積分値を求めて、１ブ
ロック分の画素配列に対応する座標を有する相関積算値
表を形成する。そして、この相関積算値表における相関
積分値の最小値の座標値を画像の動きベクトルの座標値
として画面全体の動きベクトルを決定している。

【０００４】そして、画像の手振れ補正装置では、検出
された動きベクトルを補正信号に変換し、この補正信号
により現画像を移動する補正を行っている。このような
画像の手振れ補正装置における補正精度は、画像の動き
ベクトルの検出精度に依存する。

【０００５】

【発明が解決しようとする課題】ところで、上述のよう
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体の動きベク
トルを決定するようにした従来のブロックマッチング法
による画像の動きベクトルの検出では、カメラの手振れ
による動きベクトルと被写体の移動による動きベクトル
とが同時に発生する。従って、画像の手振れ補正装置で
は、上記手振れによる動きベクトルと被写体の移動によ
る動きベクトルとを判別し、上記手振れによる動きベク
トルのみにより手振れ補正信号を形成して手振れ補正を
行う必要がある。上記被写体の移動による動きベクトル
を手振れによる動きベクトルと誤って判定して、手振れ
補正を行った場合には、静止しているべき背景画像など
が手振れ補正により移動してしまうことになり、不自然
が画像となってしまう。

【０００６】本発明は、このような実情に鑑みてなされ
たものであり、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることを目的とし、
検出した画像の動きベクトルが手振れによる画像の動き
ベクトルであるか被写体の移動による動きベクトルであ
るかを確実に判定して、振動補正を行うようにした画像
の振動補正装置を提供するものである。

【０００７】

【課題を解決するための手段】本発明に係る画像の振動
補正装置は、上述の課題を解決するために、入力ビデオ
信号で構成される１フィールドの画像を複数に分割した
各ブロック毎の代表点画素の画像データＩ_k （０，０）
をメモリに１フィールド期間記憶し、現フィールドのブ
ロックの各画素の画像データＩ_k （ｘ，ｙ）と上記メモ
リから読み出される前フィールドのブロックの代表点画
素の画像データＩ_k-1 （０，０）との差分の絶対値｜Ｉ
_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜に基づいて画像の動
きベクトルを検出する動きベクトル検出部と、上記入力
ビデオ信号で構成される１フィールドの画像を複数に分
割した各ブロック毎の代表点画素の画像データＩ
_k （０，０）をメモリにｎフィールド期間記憶し、現フ
ィールドのブロックの各画素の画像データＩ_k （ｘ，
ｙ）と上記メモリから読み出されるｎフィールド前のブ
ロックの代表点画素の画像データＩ_k-n （０，０）との
差分の絶対値｜Ｉ_k-n （０，０）−Ｉ_k （ｘ，ｙ）｜
が、 Ｉ_k-n （０，０）≒Ｉ_k （０，０） なる第１の判定条件を満たし、且つ、判定のしきい値を
Ｔｈ_I として、 ｜Ｉ_k-n （０，０）−Ｉ_k （ｘ，ｙ）｜≧Ｔｈ_I なる第２の判定条件を満たす画素を検出する毎に１ブロ
ック分の画素配列に対応する座標の度数ｆ（ｘ，ｙ）を
インクリメントした度数分布表を形成し、この度数分布
表について、上記動きベクトル検出部が検出した動きベ
クトルをｎフィールド期間分加算した動きベクトルによ
り指定される座標の度数値が所定値よりも小さい場合
に、上記動きベクトルが画像の振動に起因するものであ
ると判定する振動判定部と、この振動判定部により画像
の振動に起因するものであると判定された上記動きベク
トルに応じた補正量の振動補正信号を形成する補正量発
生部と、この補正量発生部から供給される振動補正信号
により入力ビデオ信号に振動補正処理を施す補正部とを
備えることを特徴とするものである。

【０００８】また、本発明に係る画像の振動補正装置
は、前記振動判定部が、入力ビデオ信号で構成される１
フィールドの画像を複数に分割した各ブロック毎の代表
点画素の画像データをそれぞれを１フィールド期間記憶
する縦続接続されたｎ個のメモリと、現フィールドのブ
ロックの各画素の画像データと上記ｎ個のメモリから読
み出される１フィールド乃至ｎフィールド前のブロック
の代表点画素の画像データとの差分の絶対値について、
前記第１の判定条件及び第２の判定条件を満たす画素を
検出する毎に１ブロック分の画素配列に対応する座標の
度数をインクリメントした度数分布表を形成するｎ個の
度数分布表形成手段と、前記動きベクトル検出部が検出
した動きベクトルを１フィールド乃至ｎフィールド期間
分加算した各動きベクトルのうちの最大の動きベクトル
を検出する最大動きベクトル検出手段と、この最大動き
ベクトル検出手段により最大の動きベクトルが検出され
たフィールドの度数分布表を用いて、上記動きベクトル
検出部が検出した動きベクトルが画像の振動に起因する
ものであるか否かを判定する振動判定手段とを備えてな
ることを特徴とするものである。

【０００９】

【作用】本発明に係る画像の振動補正装置では、入力ビ
デオ信号で構成される１フィールドの画像を複数に分割
した各ブロック毎の代表点画素の画像データを用いてブ
ロックマッチングにより画像の動きベクトルを動きベク
トル検出部により検出し、この動きベクトルが振動に起
因するものであるか否かを振動判定部により判定し、振
動に起因する動きベクトルに応じた補正量の振動補正信
号を補正量発生部により形成して、補正部により振動補
正を行う。

【００１０】上記振動判定部は、現フィールドのブロッ
クの各画素の画像データＩ_k （ｘ，ｙ）とｎフィールド
前のブロックの代表点画素の画像データＩ_k-n （０，
０）との差分の絶対値｜Ｉ_k-n （０，０）−Ｉ_k （ｘ，
ｙ）｜が、 Ｉ_k-n （０，０）≒Ｉ_k （０，０） なる第１の判定条件を満たし、且つ、判定のしきい値を
Ｔｈ_I として、 ｜Ｉ_k-n （０，０）−Ｉ_k （ｘ，ｙ）｜≧Ｔｈ_I なる第２の判定条件を満たす画素を検出する毎に１ブロ
ック分の画素配列に対応する座標の度数ｆ（ｘ，ｙ）を
インクリメントした度数分布表を用いて、上記動きベク
トル検出部が検出した動きベクトルが画像の振動に起因
するものであるか否かを判定する。

【００１１】また、本発明に係る画像の振動補正装置に
おいて、前記振動判定部は、現フィールドのブロックの
各画素の画像データと１フィールド乃至ｎフィールド前
のブロックの代表点画素の画像データとの差分の絶対値
について、前記第１の判定条件及び第２の判定条件を満
たす画素を検出する毎に１ブロック分の画素配列に対応
する座標の度数をインクリメントした度数分布表をｎ個
の度数分布表形成手段により形成するとともに、前記動
きベクトル検出部が検出した動きベクトルを１フィール
ド乃至ｎフィールド期間分加算した各動きベクトルのう
ちの最大の動きベクトルを最大動きベクトル検出手段に
より検出する。そして、上記最大動きベクトル検出手段
により最大の動きベクトルが検出されたフィールドの度
数分布表を用いて、上記動きベクトル検出部が検出した
動きベクトルが画像の振動に起因するものであるか否か
を振動判定手段により判定する。

【００１２】

【実施例】以下、本発明に係る画像の振動補正装置の一
実施例について図面に従い詳細に説明する。本発明に係
る画像の振動補正装置は、例えば図１に示すように構成
される。

【００１３】この図１に示した画像の振動補正装置は、
ハンディタイプのビデオカメラにおける手振れによる画
像の動きを補正する手振れ補正装置に本発明を適用した
もので、動きベクトル検出部１０，手振れ判定部２０、
補正量発生部３０及び補正部４０を備えてなる。図１に
おいて、信号入力端子１には、上記ビデオカメラの図示
しない撮像部による撮像出力として得られるビデオ信号
をディジタル化した入力ビデオデータが供給される。

【００１４】この手振れ補正装置において、上記動きベ
クトル検出部１０は、上記入力ビデオデータが上記信号
入力端子１を介して供給される代表点メモリ１１及び減
算回路１２と、この減算回路１２による減算出力データ
が供給される相関積算値表形成回路１３と、この相関積
算値表形成回路１３により形成された相関積算値表の相
関積算値が供給される動きベクトル推定回路１４とを備
えてなる。

【００１５】この動きベクトル検出部１０における上記
代表点メモリ１１は、入力ビデオビデオで構成される１
フィールドの画像を複数に分割した各ブロック毎の代表
点画素の画像データＩ_k （０，０）を記憶する。具体的
には、例えば図２に示すように、１フィールドの画面を
ｍ画素×ｎラインのブロックに分割し、図３に示すよう
に各ブロックの中心の画素を代表点とし、各代表点画素
の画像データＩ_k （０，０）を上記代表点メモリ１１に
１フィールド期間記憶する。なお、上記代表点は、画面
上で均一のばらまかれている。そして、この代表点メモ
リ１１から読み出される１フィールド前の各代表点画素
の画像データＩ_k-1 （０，０）が上記減算回路１２に供
給される。

【００１６】上記減算回路１２は、上記信号入力端子１
を介して供給される入力ビデオデータすなわち現フィー
ルドの画像データについて、ブロック毎のｍ×ｎ個の各
画素の画像データＩ_k （ｘ，ｙ）と上記代表点メモリ１
１から読み出される前フィールドの対応するブロックの
代表点画素の画像データＩ_k-1 （０，０）との差分すな
わちフィールド間差の絶対値｜Ｉ_k-1 （０，０）−Ｉ_k
（ｘ，ｙ）｜を検出する。そして、この減算回路１２に
よる減算出力データとして得られるフィールド差分絶対
値が上記相関積算値表形成回路１３に供給される。

【００１７】上記相関積算値表形成回路１３は、上記減
算回路１２により得られた各ブロックのフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜を対応す
る画素毎に１フィールド期間に亘って積算し、１ブロッ
ク分の画素配列に対応するｍ×ｎの整数座標を有する相
関積算値表を形成する。この相関積算値表形成回路１３
により形成される相関積算値表は、ｍ×ｎ個のフィール
ド差分絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜の
積算値すなわち相関積算値の分布を示し、フィールド相
関の最も強い座標の相関積算値が最小値となる。そし
て、この相関積算値表形成回路１３により形成される相
関積算値表のｍ×ｎ個の相関積算値が上記動きベクトル
推定回路１４に供給される。

【００１８】上記動きベクトル推定回路１４では、上記
相関積算値表形成回路１３により形成された相関積算値
表の相関積算値の最小値の座標を検出し、この座標が中
央に位置する周辺座標における相関積算値を比例係数と
して上記周辺座標間距離に対応する画素間距離を比例分
割した座標を求め、この座標に基づいて画像の動きベク
トルを推定する。

【００１９】ここで、上記動きベクトル推定回路１４に
おける画像の動きベクトルの推定処理には、例えば図４
に示すように上記相関積算値の最小値の座標Ｐ（ｘ，
ｙ）とその８近傍座標Ｐ（ｘ＋１，ｙ），Ｐ（ｘ＋１，
ｙ＋１），Ｐ（ｘ，ｙ＋１），Ｐ（ｘ−１，ｙ＋１），
Ｐ（ｘ−１，ｙ），Ｐ（ｘ−１，ｙ−１），Ｐ（ｘ，ｙ
−１），Ｐ（ｘ＋１，ｙ−１）のうちの２座標を通る４
軸Ｓ₁ ，Ｓ₂ ，Ｓ₃ ，Ｓ₄ を用いて２次元セパラブルに
行うことができる。

【００２０】そこで、上記動きベクトル推定回路１４で
は、上記相関積算値表形成回路１３により形成された相
関積算値表について、相関積算値の最小値の座標を検出
して、上記４軸Ｓ₁ ，Ｓ₂ ，Ｓ₃ ，Ｓ₄ について最小値
の座標の推定処理を行い、各軸Ｓ₁ ，Ｓ₂ ，Ｓ₃ ，Ｓ₄
の最小値の推定座標を合成して２次元座標値を算出し、
この２次元座標値から画像の動きベクトルを決定する。
また、この動きベクトル推定回路１４は、上記相関積算
値表の整数座標値で示される上記相関積算値の最小値の
座標を画像の動きベクトルとして上記手振れ判定部２０
に供給する。

【００２１】ここで、ある軸についての最小値の座標の
１次元推定は、例えば軸Ｓ₁ において図５に示すように
中央の座標Ｐ（ｘ，ｙ）の相関積算値が最小値であって
隣接座標Ｐ（ｘ＋１，ｙ），Ｐ（ｘ−１，ｙ）の各相関
積算値と上記最小相関積算値との間にａ，ｂなる差があ
るとすると、隣接座標間距離Ｌをａ／（ａ＋ｂ）：ｂ／
（ａ＋ｂ）に比例分割した座標Ｐ（Ｘ，Ｙ）を求めるこ
とにより行われる。これにより、上記相関積算値表の整
数座標値よりも細かい分解能で最小値座標を求めること
ができる。なお、α・ａ／（ａ＋ｂ）：β・ｂ／（ａ＋
ｂ）のように上記隣接座標間距離Ｌを比例分割するため
の比例係数の重みα，βを変えることで、上記隣接座標
Ｐ（ｘ＋１，ｙ），Ｐ（ｘ−１，ｙ）の各相関積算値の
変化に応じた推定を取り入れることも可能である。

【００２２】このような構成の画像の動きベクトル検出
部１０では、上記相関積算値形成回路１３により形成し
た表相関積算値表の相関積算値の最小値の座標を検出す
ることにより整数座標値を得て、上記座標が中央に位置
する周辺座標における相関積算値を比例係数として上記
周辺座標間距離に対応する画素間距離を比例分割した座
標を求めることにより少数座標値を得ることができ、こ
の座標に基づいて画像の動きベクトルを推定するので、
上記動きベクトルを高い精度で検出することができる。

【００２３】そして、この動きベクトル検出部１０によ
り検出された動きベクトルが上記補正量発生部３０に供
給される。

【００２４】また、この手振れ補正装置において、上記
手振れ判定部２０は、縦続接続された第１乃至第４の代
表点メモリ２１Ａ〜２１Ｄと、これらの代表点メモリ２
１Ａ〜２１Ｄから読み出される各フィールドの代表点画
素の画像データが供給される第１乃至第４の条件付度数
分布表形成部２２Ａ〜２２Ｄと、上記動きベクトル検出
部１０により検出された画像の動きベクトルが供給され
る最大動きベクトル検出回路２３と、上記条件付度数分
布表形成部２２Ａ〜２２Ｄにより形成された各フィール
ドの度数分布表の度数値が供給される手振れ判定回路２
４を備えて、入力ビデオデータが上記信号入力端子１を
介して上記第１の代表点メモリ２１Ａに供給されるとと
もに上記第１乃至第４の条件付度数分布表形成部２２Ａ
〜２２Ｄに供給されるようになっている。

【００２５】上記第１の代表点メモリ２１Ａは、上述の
動きベクトル検出部１０における代表点メモリ１１と同
様に、入力ビデオ信号で構成される１フィールドの画像
を複数に分割した各ブロック毎の代表点画素の画像デー
タＩ_k （０，０）を１フィールド期間記憶する。そし
て、この第１の代表点メモリ２１Ａから１フィールド前
の各代表点画素の画像データＩ_k-1 （０，０）が読み出
されて、上記第１の条件付度数分布表形成部２２Ａに供
給されるとともに上記第２の代表点メモリ２１Ｂに供給
される。

【００２６】また、上記第２の代表点メモリ２１Ｂは、
上記第１の代表点メモリ２１Ａから読み出される１フィ
ールド前の各代表点画素の画像データＩ_k-1 （０，０）
を１フィールド期間記憶する。そして、この第２の代表
点メモリ２１Ｂから２フィールド前の各代表点画素の画
像データＩ_k-2 （０，０）が読み出されて、上記第２の
条件付度数分布表形成部２２Ｂに供給されるとともに上
記第３の代表点メモリ２１Ｃに供給される。

【００２７】さらに、上記第３の代表点メモリ２１Ｃ
は、上記第２の代表点メモリ２１Ｂから読み出される２
フィールド前の各代表点画素の画像データＩ_k-2 （０，
０）を１フィールド期間記憶する。そして、この第３の
代表点メモリ２１Ｃから３フィールド前の各代表点画素
の画像データＩ_k-3 （０，０）が読み出されて、上記第
３の条件付度数分布表形成部２２Ｃに供給されるととも
に上記第４の代表点メモリ２１Ｄに供給される。

【００２８】さらに、上記第４の代表点メモリ２１Ｄ
は、上記第３の代表点メモリ２１Ｃから読み出される３
フィールド前の各代表点画素の画像データＩ_k-3 （０，
０）を１フィールド期間記憶する。そして、この第４の
代表点メモリ２１Ｄから４フィールド前の各代表点画素
の画像データＩ_k-4 （０，０）が読み出されて、上記第
４の条件付度数分布表形成部２２Ｄに供給される。

【００２９】上記第１の条件付度数分布表形成部２２Ａ
は、図６に示すように、上記信号入力端子１から入力ビ
デオデータが供給されるとともに上記第１の代表点メモ
リ２１Ａから読み出される１フィールド前の各代表点画
素の画像データＩ_k-1 （０，０）が供給される減算回路
５１と、この減算回路５１による減算出力データが供給
される条件判定回路５２と、この条件判定回路５２によ
る判定出力に基づいて度数分布表を形成する度数分布表
形成回路５３を備えてなる。

【００３０】上記減算回路５１は、上記信号入力端子１
を介して供給される入力ビデオデータすなわち現フィー
ルドの画像データについて、ブロック毎のｍ×ｎ個の各
画素の画像データＩ_k （ｘ，ｙ）と上記第１の代表点メ
モリ２１Ａから読み出される１フィールド前の各代表点
画素の画像データＩ_k-1（０，０）との差分の絶対値｜
Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜すなわちフィール
ド間差の絶対値を検出する。そして、この減算回路５１
による減算出力データとして得られるフィールド差分絶
対値が上記条件判定回路５２に供給される。

【００３１】上記条件判定回路５２は、上記減算回路５
１により検出された各ブロックのフィールド差分絶対値
｜Ｉ_k-1 （０，０）−Ｉ_k （０，０）｜が、 Ｉ_k-1 （０，０）≒Ｉ_k （０，０） なる第１の判定条件を満たし、且つ、 ｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜≧Ｔｈ_I なる第２の条件を満たすか否かを判定する。ここで、上
記Ｔｈ_I は、空間内のレベル差の有無を判定するためし
きい値である。そして、この条件判定回路５２による判
定出力が上記度数分布表形成回路５３に供給される。

【００３２】上記度数分布表形成回路５３は、上記条件
判定回路５２による判定出力に基づいて、上記第１及び
第２の条件を満たす画素が検出される毎に対応する座標
の度数ｆ（ｘ，ｙ）をインクリメントする加算器５４に
より、１ブロック分の画素配列に対応する座標を有する
メモリテーブル５５に度数分布表を形成する。

【００３３】すなわち、上記第１の条件付度数分布表形
成部２２Ａでは、現フィールドの画像データＩ_k （ｘ，
ｙ）と１フィールド前の各代表点画素の画像データＩ
_k-1 （０，０）との差分の絶対値｜Ｉ_k-1 （０，０）−
Ｉ_k （ｘ，ｙ）｜に基づいて、代表点画素の１フィール
ド間の相関を示す条件付度数分布表が上記度数分布表形
成回路５３により上記メモリテーブル５５に形成され
る。そして、この度数分布表形成回路５３により上記メ
モリテーブル５５に形成された１フィールド間の相関を
示す度数分布表の度数値が上記手振れ判定回路２４に供
給される。

【００３４】また、上記第２乃至第４の条件付度数分布
表形成部２２Ｂ〜２２Ｄは、上述の第１の条件付度数分
布表形成部２２Ａと同様に構成されており、２フィール
ド間の相関を示す条件付度数表を上記第２の条件付度数
分布表形成部２２Ｂにより形成し、３フィールド間の相
関を示す条件付度数分布表を上記第３の条件付度数分布
表形成部２２Ｃにより形成し、４フィールド間の相関を
示す条件付度数分布表を上記第４の条件付度数分布表形
成部２２Ｄにより形成する。

【００３５】すなわち、上記第２の条件付度数分布表形
成部２２Ｂは、現フィールドのブロック毎のｍ×ｎ個の
各画素の画像データＩ_k （ｘ，ｙ）と上記第２の代表点
メモリ２１Ｂから読み出される２フィールド前の各代表
点画素の画像データＩ_k-2 （０，０）との差分の絶対値
｜Ｉ_k-2 （０，０）−Ｉ_k （ｘ，ｙ）｜すなわち２フィ
ールド間差の絶対値について上述の第１及び第２の判定
条件を満たす画素を検出することにより、２フィールド
間の相関を示す条件付度数分布表を形成する。そして、
この第２の条件付度数分布表形成部２２Ｂにより形成さ
れた２フィールド間の相関を示す度数分布表の度数値が
上記手振れ判定回路２４に供給される。

【００３６】また、上記第３の条件付度数分布表形成部
２２Ｃは、現フィールドのブロック毎のｍ×ｎ個の各画
素の画像データＩ_k （ｘ，ｙ）と上記第３の代表点メモ
リ２１Ｃから読み出される３フィールド前の各代表点画
素の画像データＩ_k-3 （０，０）との差分の絶対値｜Ｉ
_k-3 （０，０）−Ｉ_k （ｘ，ｙ）｜すなわち３フィール
ド間差の絶対値について上述の第１及び第２の判定条件
を満たす画素を検出することにより、３フィールド間の
相関を示す条件付度数分布表を形成する。そして、この
第３の条件付度数分布表形成部２２Ｃにより形成された
３フィールド間の相関を示す度数分布表の度数値が上記
手振れ判定回路２４に供給される。

【００３７】さらに、上記第４の条件付度数分布表形成
部２２Ｄは、現フィールドのブロック毎のｍ×ｎ個の各
画素の画像データＩ_k （ｘ，ｙ）と上記第４の代表点メ
モリ２１Ｄから読み出される４フィールド前の各代表点
画素の画像データＩ_k-4 （０，０）との差分の絶対値｜
Ｉ_k-4 （０，０）−Ｉ_k （ｘ，ｙ）｜すなわち４フィー
ルド間差の絶対値について上述の第１及び第２の判定条
件を満たす画素を検出することにより、３フィールド間
の相関を示す条件付度数分布表を形成する。そして、こ
の第４の条件付度数分布表形成部２２Ｄにより形成され
た４フィールド間の相関を示す度数分布表の度数値が上
記手振れ判定回路２４に供給される。

【００３８】また、上記最大動きベクトル検出回路２３
は、上記動きベクトル検出部１０により検出された動き
ベクトルを順次加算することにより、１フィールド乃至
ｎフィールド間の各動きベクトルを算出し、これらの動
きベクトルのうちの最大の動きベクトルを検出する。そ
して、この最大動きベクトル検出回路２３は、上記第１
乃至第４の条件付度数分布表形成部２２Ａ〜２２Ｄによ
り形成された各度数分布表について、最大の動きベクト
ルが検出されたフィールドの度数分布表から、上記最大
の動きベクトルに対応する座標の度数値を読み出して、
上記手振れ判定回路２４に供給する制御を行う。

【００３９】上記手振れ判定回路２４は、上記第１乃至
第４の度数分布表形成回路２２Ａ〜２２Ｄにより形成さ
れた度数分布表について、上記最大動きベクトル検出回
路２３により検出された最大の動きベクトルに対応する
座標の度数値が、所定値よりも小さい場合には上記動き
ベクトル検出部１０により検出された画像の動きベクト
ルが画像の手振れに起因するものであると判定し、ま
た、上記最大の動きベクトルに対応する座標の度数値
が、所定値よりも大きい場合には上記動きベクトル検出
部１０により検出された画像の動きベクトルが画像の手
振れに起因するものでないと判定する。そして、この手
振れ判定回路２４の判定出力は、上記補正量発生部３０
に供給される。

【００４０】ここで、一般に、上記動きベクトル検出部
１０により検出された画像の動きベクトルが小さい場合
には、この動きベクトルにより示される画素が代表点画
素に対して空間的に近い位置にあるので、上記第１乃至
第４の度数分布表形成回路２２Ａ〜２２Ｄにより形成さ
れる度数分布表における度数値は少なくなる。すなわ
ち、１フィールド乃至ｎフィールド差分絶対値が小さく
なり、閾値判定しても有意と判定されるブロック数が少
ない。そして、例えば、固定したビデオカメラにより得
られる画像すなわち手振れの無い画像であって動きベク
トルが小さい場合には、図７に度数分布表の一例を示し
てあるように、その動きベクトルに対応する座標Ｐ
（１，１）の度数値「３」が、図８に示すような度数分
布表の手振れによる動きを伴う画像の動きベクトルに対
応する座標Ｐ（−６，３）の度数値「３」と一致してし
まうことがある。

【００４１】一方、上記動きベクトル検出部１０により
検出された画像の動きベクトルが大きくなると、上記代
表点画素に対する空間相関が低下するために、度数値が
大きくなる傾向がある。従って、ｎ（ｎ＞１）フィール
ド間における上記代表点画素に対する空間相関を観測す
ることにより、固定したビデオカメラにより得られる画
像すなわち手振れの無い画像について、図９に示すよう
に度数値の大きな度数分布表を形成することができる。
これに対し、手振れによる動きを伴う画像では、ｎ（ｎ
＞１）フィールド間における上記代表点画素に対する空
間相関も大きいので、図１０に示すように動きベクトル
の近傍座標の度数値が小さい。

【００４２】このように、ｎ（ｎ＞１）フィールド間に
おける上記代表点画素に対する空間相関を観測して度数
分布表を形成して、手振れ判定を行うことにより、動き
判定の信頼性を高めることができる。すなわち、上記図
８に示す手振れによる動きを伴う画像の１フィールド相
関を示す度数分布表における動きベクトル座標Ｐ（−
６，３）の度数値は「３」であり、また、上記図７に示
す固定したビデオカメラにより得られる画像の１フィー
ルド相関を示す度数分布表における動きベクトル座標Ｐ
（１，１）の度数値も「３」であって、上記動きベクト
ル検出部１０により検出された動きベクトルにより指定
される座標Ｐ（ｘ，ｙ）の度数値だけでは、上記動きベ
クトルが手振れに起因するものであるか否かを判定する
ことができないが、上記図１０に示す手振れによる動き
を伴う画像のｎ（ｎ＞１）フィールド相関を示す度数分
布表における動きベクトル座標Ｐ（７，−５）の度数値
が「０」であるのに対し、上記図９に示す固定したビデ
オカメラにより得られる画像のｎ（ｎ＞１）フィールド
相関を示す度数分布表における動きベクトル座標Ｐ（−
１２，０）の度数値が「２２」であって、明確な差を生
じており、上記動きベクトル検出部１０により検出され
た画像の動きベクトルが手振れによる画像の動きベクト
ルであるか被写体の移動による動きベクトルであるかを
確実に判定することができる。

【００４３】そして、この実施例の手振れ補正装置にお
ける手振れ判定部２０では、上記第１乃至第４の度数分
布表形成回路２２Ａ〜２２Ｄにより１フィールド乃至４
フィールド間における上記代表点画素に対する空間相関
を示す数分布表を個別に形成しておき、上記動きベクト
ル検出部１０により検出された動きベクトルから１フィ
ールド乃至ｎフィールド間の各動きベクトルを上記最大
動きベクトル検出回路２３により算出し、これらの動き
ベクトルのうちの最大の動きベクトルが検出されるフィ
ールドの度数分布表を用いて、上記手振れ判定回路２４
により手振れ判定を行うようにして、手振れ判定の信頼
性をさらに向上するようにしている。

【００４４】そして、上記補正量発生部３０は、上記動
きベクトル検出部１０が検出した動きベクトルが画像の
手振れに起因するものであることを示す判定出力が上記
手振れ判定部２０から供給されると、上記動きベクトル
検出部１０が検出した上記動きベクトルを手振れベクト
ルとして手振れ補正信号を形成し、この手振れ補正信号
を上記補正部４０に供給する。また、この補正量発生部
４０は、上記動きベクトル検出部１０が検出した動きベ
クトルが画像の手振れに起因するものでないことを示す
判定出力が上記手振れ判定部２０から供給されると、手
振れベクトルを〔０，０〕として手振れ補正信号を形成
し、この手振れ補正信号を上記補正部４０に供給する。

【００４５】また、上記補正部４０は、例えば図１１に
示すように、上記補正量発生部２０から手振れ補正信号
が供給されるアドレス制御回路４１及びセレクト信号発
生回路４２と、上記アドレス制御回路４１から供給され
るアドレス信号に従ってビデオデータの書き込み／読み
出しが行われるフィールドメモリ４３及び周辺メモリ４
４と、上記フィールドメモリ４３及び周辺メモリ３４か
ら読み出されるビデオデータを上記セレクト信号発生回
路４２から供給されるセレクト信号に応じて選択的に出
力するセレクタ４５とを備えてなる。

【００４６】上記フィールドメモリ４２には、上記信号
入力端子１を介して供給される入力ビデオデータが順次
書き込まれる。そして、このフィールドメモリ４２の読
み出しアドレスが上記手振れ補正信号により上記手振れ
ベクトルに応じて制御される。これにより、上記フィー
ルドメモリ４２からは、１フィールドの入力ビデオデー
タが上記手振れベクトルに応じて移動されたビデオデー
タが得られる。そして、このフィールドメモリ４２から
読み出されるビデオデータと上記周辺メモリ４３から読
み出される周辺ビデオデータとが上記セレクタ３５によ
る選択によって合成され、手振れ補正処理済のビデオデ
ータとして信号出力端子２から出力される。

【００４７】なお、上記周辺メモリ４３には、上記セレ
クタ４５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。

【００４８】この手振れ補正装置では、上述のように上
記動きベクトル検出部１０により検出された画像の動き
ベクトルが手振れに起因するものであるか否かの手振れ
判定を上記手振れ判定部２０により確実に行うことがで
きるので、手振れ補正を確実に行うことができ、自然な
画像出力が得られる。

【００４９】

【発明の効果】以上の説明からも明らかなように、本発
明に係る画像の振動補正装置における振動判定部では、
現フィールドのブロックの各画素の画像データＩ
_k （ｘ，ｙ）とｎフィールド前のブロックの代表点画素
の画像データＩ_k-n （０，０）との差分の絶対値｜Ｉ
_k-n （０，０）−Ｉ_k （ｘ，ｙ）｜が、 Ｉ_k-n （０，０）≒Ｉ_k （０，０） なる第１の判定条件を満たし、且つ、判定のしきい値を
Ｔｈ_I として、 ｜Ｉ_k-n （０，０）−Ｉ_k （ｘ，ｙ）｜≧Ｔｈ_I なる第２の判定条件を満たす画素を検出する毎に１ブロ
ック分の画素配列に対応する座標の度数ｆ（ｘ，ｙ）を
インクリメントした度数分布表を用いて振動判定を行う
ことにより、動きベクトル検出部が検出した動きベクト
ルが画像の振動に起因するものであるか否かを確実に判
定することができる。

【００５０】また、上記振動判定部は、現フィールドの
ブロックの各画素の画像データと１フィールド乃至ｎフ
ィールド前のブロックの代表点画素の画像データとの差
分の絶対値について、前記第１の判定条件及び第２の判
定条件を満たす画素を検出する毎に１ブロック分の画素
配列に対応する座標の度数をインクリメントした度数分
布表をｎ個の度数分布表形成手段により形成するととも
に、前記動きベクトル検出部が検出した動きベクトルを
１フィールド乃至ｎフィールド期間分加算した各動きベ
クトルのうちの最大の動きベクトルを最大動きベクトル
検出手段により検出し、この最大の動きベクトルが検出
されたフィールドの度数分布表を用いることにより、振
動判定の信頼性をさらに高めることができる。

【００５１】従って、本発明に係る画像の振動補正装置
では、入力ビデオ信号で構成される１フィールドの画像
を複数に分割した各ブロック毎の代表点画素の画像デー
タを用いてブロックマッチングにより画像の動きベクト
ルを動きベクトル検出部により検出し、この動きベクト
ルが振動に起因するものであるか否かを上記振動判定部
により判定し、振動に起因する動きベクトルに応じた補
正量の振動補正信号を補正量発生部により形成して、補
正部により振動補正を確実に行うことができる。

【００５２】このように、本発明に係る画像の振動補正
装置では、画像の動きベクトルが手振れに起因するもの
であるか否かを確実に判定して、手振れ補正を行うこと
ができ、ハンディタイプのビデオカメラなどにおける高
性能の手振れ補正を可能にすることができる。

【図面の簡単な説明】

【図１】本発明に係る手振れ補正装置の構成を示すブロ
ック図である。

【図２】上記手振れ補正装置の動きベクトル検出部にお
ける画面のブロック分割の状態を示す図である。

【図３】上記ブロック分割された画面の１ブロックの構
造を示す図である。

【図４】上記動きベクトル検出部における動きベクトル
の推定処理に用いる相関積算値表上の最小値近傍の軸を
説明するための図である。

【図５】上記動きベクトル検出部における動きベクトル
の１次元推定例を説明するための図である。

【図６】上記手振れ補正装置の手振れ判定部における度
数分布表形成回路の構成を示すブロック図である。

【図７】固定したビデオカメラにより得られた画像につ
いて、画像の動きベクトルが小さい場合に、上記手振れ
判定部において度数分布表形成回路により形成された１
フィールド相関を示す度数分布表の動きベクトル座標近
傍の度数分布を示す図である。

【図８】手振れによる動きを伴う画像について、上記手
振れ判定部において度数分布表形成回路により形成され
た１フィールド相関を示す度数分布表の動きベクトル近
傍の度数分布を示す図である。

【図９】固定したビデオカメラにより得られた画像につ
いて、画像の動きベクトルが小さい場合に、上記手振れ
判定部において度数分布表形成回路により形成されたｎ
フィールド相関を示す度数分布表の動きベクトル座標近
傍の度数分布を示す図である。

【図１０】手振れによる動きを伴う画像について、上記
手振れ判定部において度数分布表形成回路により形成さ
れたｎフィールド相関を示す度数分布表の動きベクトル
近傍の度数分布を示す図である。

【図１１】上記手振れ補正装置の補正部の構成を示すブ
ロック図である。

【符号の説明】

１０・・・・・・・・・動きベクトル検出部 ２０・・・・・・・・・手振れ判定部 ２１Ａ〜２１Ｄ・・・・代表点メモリ ２２Ａ〜２２Ｄ・・・・条件付度数分布表形成部 ２３・・・・・・・・・最大ベクトル検出回路 ２４・・・・・・・・・手振れ判定回路 ３０・・・・・・・・・補正量発生部 ４０・・・・・・・・・補正部 ５１・・・・・・・・・減算回路 ５２・・・・・・・・・条件判定回路 ５３・・・・・・・・・度数分布表形成回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 昭61−237581（ＪＰ，Ａ) 特開 昭61−269475（ＪＰ，Ａ) 特開 平２−86375（ＪＰ，Ａ) 特開 昭63−166370（ＪＰ，Ａ) 特開 昭61−201588（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/222 - 5/257

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 入力ビデオ信号で構成される１フィール
   ドの画像を複数に分割した各ブロック毎の代表点画素の
   画像データＩ_k （０，０）をメモリに１フィールド期間
   記憶し、現フィールドのブロックの各画素の画像データ
   Ｉ_k （ｘ，ｙ）と上記メモリから読み出される前フィー
   ルドのブロックの代表点画素の画像データＩ_k-1 （０，
   ０）との差分の絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，
   ｙ）｜に基づいて画像の動きベクトルを検出する動きベ
   クトル検出部と、 上記入力ビデオ信号で構成される１フィールドの画像を
   複数に分割した各ブロック毎の代表点画素の画像データ
   Ｉ_k （０，０）をメモリにｎフィールド期間記憶し、現
   フィールドのブロックの各画素の画像データＩ_k （ｘ，
   ｙ）と上記メモリから読み出されるｎフィールド前のブ
   ロックの代表点画素の画像データＩ_k-n（０，０）との
   差分の絶対値｜Ｉ_k-n （０，０）−Ｉ_k （ｘ，ｙ）｜
   が、 Ｉ_k-n （０，０）≒Ｉ_k （０，０） なる第１の判定条件を満たし、且つ、判定のしきい値を
   Ｔｈ_I として、 ｜Ｉ_k-n （０，０）−Ｉ_k （ｘ，ｙ）｜≧Ｔｈ_I なる第２の判定条件を満たす画素を検出する毎に１ブロ
   ック分の画素配列に対応する座標の度数ｆ（ｘ，ｙ）を
   インクリメントした度数分布表を形成し、この度数分布
   表について、上記動きベクトル検出部が検出した動きベ
   クトルをｎフィールド期間分加算した動きベクトルによ
   り指定される座標の度数値が所定値よりも小さい場合
   に、上記動きベクトルが画像の振動に起因するものであ
   ると判定する振動判定部と、 この振動判定部により画像の振動に起因するものである
   と判定された上記動きベクトルに応じた補正量の振動補
   正信号を形成する補正量発生部と、 この補正量発生部から供給される振動補正信号により入
   力ビデオ信号に振動補正処理を施す補正部とを備えるこ
   とを特徴とする画像の振動補正装置。
2. 【請求項２】 前記振動判定部は、 入力ビデオ信号で構成される１フィールドの画像を複数
   に分割した各ブロック毎の代表点画素の画像データをそ
   れぞれを１フィールド期間記憶する縦続接続されたｎ個
   のメモリと、 現フィールドのブロックの各画素の画像データと上記ｎ
   個のメモリから読み出される１フィールド乃至ｎフィー
   ルド前のブロックの代表点画素の画像データとの差分の
   絶対値について、前記第１の判定条件及び第２の判定条
   件を満たす画素を検出する毎に１ブロック分の画素配列
   に対応する座標の度数をインクリメントした度数分布表
   を形成するｎ個の度数分布表形成手段と、 前記動きベクトル検出部が検出した動きベクトルを１フ
   ィールド乃至ｎフィールド期間分加算した各動きベクト
   ルのうちの最大の動きベクトルを検出する最大動きベク
   トル検出手段と、 この最大動きベクトル検出手段により最大の動きベクト
   ルが検出されたフィールドの度数分布表を用いて、上記
   動きベクトル検出部が検出した動きベクトルが画像の振
   動に起因するものであるか否かを判定する振動判定手段
   とを備えてなることを特徴とする請求項１記載の画像の
   振動補正装置。