JP3257035B2 - 画像の振動補正装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばハンディタイプ
のビデオカメラの撮像出力などのビデオデータに含まれ
る所謂手振れによる画像の移動量を検出して補正する画
像の振動補正装置及び方法に関する。

【０００２】

【従来の技術】一般に、ハンディタイプのビデオカメラ
では、撮影時の手振れすなわちカメラの振動が画像の振
動となって現れる。そこで、このような手振れによる画
像の振動を補正する画像の手振れ補正装置として、例え
ば特開昭６３−１６６３７０号公報に開示されているよ
うに、画像の動きベクトルを検出し、この動きベクトル
に基づいて、画像メモリに貯えられているビデオデータ
を補正するものが提案されている。

【０００３】画像の動きベクトルの検出には、例えばブ
ロックマッチング法が採用される。このブロックマッチ
ング法による画像の動きベクトルの検出では、画面を多
数の領域（ブロックと称する）に分割し、各ブロックの
中心に位置する前フィールドの代表点画素と現フィール
ドのブロック内の各画素の画像データとのフィールド差
の絶対値を演算し、各ブロックのフィールド差分絶対値
を対応する画素毎に積算して相関積分値を求めて、１ブ
ロック分の画素配列に対応する座標を有する相関積算値
表を形成する。そして、この相関積算値表における相関
積分値の最小値の座標値を画像の動きベクトルの座標値
として画面全体の動きベクトルを決定している。

【０００４】そして、画像の手振れ補正装置では、検出
された動きベクトルを補正信号に変換し、この補正信号
により現画像を移動する補正を行っている。このような
画像の手振れ補正装置における補正精度は、画像の動き
ベクトルの検出精度に依存する。

【０００５】

【発明が解決しようとする課題】ところで、上述のよう
に相関積算値表における相関積分値の最小値の座標値を
画像の動きベクトルの座標値として画面全体の動きベク
トルを決定するようにした従来のブロックマッチング法
による画像の動きベクトルの検出では、カメラの手振れ
による動きベクトルと被写体の移動による動きベクトル
とが同時に発生する。従って、画像の手振れ補正装置で
は、上記手振れによる動きベクトルと被写体の移動によ
る動きベクトルとを判別し、上記手振れによる動きベク
トルのみにより手振れ補正信号を形成して手振れ補正を
行う必要がある。上記被写体の移動による動きベクトル
を手振れによる動きベクトルと誤って判定して、手振れ
補正を行った場合には、静止しているべき背景画像など
が手振れ補正により移動してしまうことになり、不自然
が画像となってしまう。逆に、上記手振れによる動きベ
クトルを被写体の移動による動きベクトルと誤って判定
した場合には、手振れ補正がきかなくなってしまう。

【０００６】例えばパン・チルトなどの意図的なカメラ
操作を行った場合に、このカメラ操作による画像の動き
ベクトルで補正限界までは手振れ補正処理が行われてし
まい、図６のＡ，Ｂに示すように、カメラは移動させて
いるのに出力画像が止まってしまう。そして、補正限界
以降に手振れ補正がオフにされることにより、図６のＣ
に示すように、上記意図的なカメラ操作による画像の動
きが突然現れることになる。

【０００７】従って、例えば風景などをゆっくりとパン
ニングして撮影しているとき、カメラは移動させている
のに、手振れ補正により出力画像が止まってしまい、意
図したのと違う映像になりがちである。また、おうおう
にして、最初に映像が動かないのでパンニング速度を速
くしてしまい、補正範囲を越えたところで、出力画像が
突然動き出し、見にくい映像になってしまうことが多
い。

【０００８】本発明は、このような実情に鑑みてなされ
たものであり、ハンディタイプのビデオカメラなどにお
ける高性能の手振れ補正を可能にすることを目的とし、
検出した動きベクトルが手振れによる画像の動きベクト
ルであるかパン・チルトなどの意図的なカメラ操作によ
る画像の動きベクトルであるかを判定して、上記意図的
なカメラ操作による画像の動きベクトルのよる動き補正
処理を停止するようにした画像の動き補正装置及び方法
を提供するものである。

【０００９】

【課題を解決するための手段】本発明に係る画像の振動
補正装置は、入力ビデオ信号で構成される１フィールド
の画像を複数に分割した各ブロック毎の代表点画素の画
像データをメモリに１フィールド期間記憶し、現フィー
ルドのブロックの各画素の画像データと上記メモリから
読み出される前フィールドのブロックの代表点画素の画
像データの相関値に基いて画像の動きベクトルを検出す
る動きベクトル検出手段と、上記動きベクトル検出手段
により検出された動きベクトルを多数フィールドに亘っ
て記憶するベクトルメモリと、上記ベクトルメモリに記
憶される上記動きベクトルの履歴に基いて上記画像の動
き始めが等加速度運動であるか否かを判別することによ
り、上記動きベクトルが当該画像を撮像する撮像手段の
振動に起因するものであるか否かを判定する判定手段
と、上記判定手段により上記画像を撮像する撮像手段の
振動に起因するものであると判定された動きベクトルに
応じた補正量の振動補正信号を発生する補正信号発生手
段と、上記補正信号発生手段から供給される振動補正信
号により上記入力ビデオ信号に振動補正処理を施す補正
手段とを備えることを特徴とする。また、本発明に係る
画像の振動補正方法は、入力ビデオ信号で構成される１
フィールドの画像を複数に分割した各ブロック毎の代表
点画素の画像データをメモリに１フィールド期間記憶
し、現フィールドのブロックの各画素の画像データと上
記メモリから読み出される前フィールドのブロックの代
表点画素の画像データの相関値に基いて画像の動きベク
トルを検出するステップと、上記検出された動きベクト
ルを多数フィールドに亘って記憶するステップと、上記
記憶される動きベクトルの履歴に基いて上記画像の動き
始めが等加速度運動であるか否かを判別することによ
り、上記動きベクトルが当該画像を撮像する撮像手段の
振動に起因するものであるか否かを判定するステップ
と、上記画像を撮像する撮像手段の振動に起因するもの
であると判定された動きベクトルに応じた補正量の振動
補正信号を発生するステップと、上記振動補正信号によ
り上記入力ビデオ信号に振動補正処理を施すステップと
を備えることを特徴とする。

【００１０】

【作用】本発明では、入力ビデオ信号で構成される１フ
ィールドの画像を複数に分割した各ブロック毎の代表点
画素の画像データをメモリに１フィールド期間記憶し、
現フィールドのブロックの各画素の画像データと上記メ
モリから読み出される前フィールドのブロックの代表点
画素の画像データの相関値に基いて画像の動きベクトル
を検出し、上記検出された動きベクトルを多数フィール
ドに亘って記憶し、上記記憶される動きベクトルの履歴
に基いて上記画像の動き始めが等加速度運動であるか否
かを判別することにより、上記動きベクトルが当該画像
を撮像する撮像手段の振動に起因するものであるか否か
を判定し、上記画像を撮像する撮像手段の振動に起因す
るものであると判定された動きベクトルに応じた補正量
の振動補正信号を発生して、上記振動補正信号により上
記入力ビデオ信号に振動補正処理を施す。

【００１１】

【実施例】以下、本発明の一実施例について図面に従い
詳細に説明する。本発明に係る画像の手振れ補正装置
は、例えば図１に示すように構成される。

【００１２】この図１に示す実施例は、ハンディタイプ
のビデオカメラにおける手振れによる画像の動きを補正
する手振れ補正装置に本発明を適用したもので、動きベ
クトル検出部１０，ベクトルメモリ２０，判定部３０，
補正信号発生部４０及び補正部５０を備えてなる。この
図１において、信号入力端子１には、上記ビデオカメラ
の図示しない撮像部による撮像出力として得られるビデ
オ信号をディジタル化した入力ビデオデータが供給され
る。

【００１３】この手振れ補正装置において、上記動きベ
クトル検出部１０は、入力ビデオ信号で構成される１フ
ィールドの画像を複数に分割した各ブロック毎の代表点
画素の画像データをメモリに１フィールド期間記憶し、
現フィールドのブロックの各画素の画像データと上記メ
モリから読み出される前フィールドのブロックの代表点
画素の画像データとの差分の絶対値に基づいて画像の動
きベクトルを検出するものであって、上記入力ビデオデ
ータが上記信号入力端子１を介して供給されるフィール
ド差分検出部１１と、このフィールド差分検出部１１に
よるフィールド差分出力が供給される相関積算値表形成
部１４と、この相関積算値表形成部１４により形成され
た相関積算値表の相関積算値が供給される動きベクトル
推定部１８とを備えてなる。

【００１４】上記フィールド差分検出部１１は、上記入
力ビデオデータが上記信号入力端子１を介して供給され
る代表点メモリ１２と減算回路１３からなる。

【００１５】上記代表点メモリ１２は、入力ビデオデー
タで構成される１フィールドの画像を複数に分割した各
ブロック毎の代表点画素の画像データＩ_k （０，０）を
記憶する。具体的には、例えば図２に示すように、１フ
ィールドの画面をｍ画素×ｎラインのブロックに分割
し、図３に示すように各ブロックの中心の画素Ｓ（０，
０）を代表点とし、各代表点画素の画像データＩ
_k （０，０）を上記代表点メモリ１２に１フィールド期
間記憶する。なお、上記代表点は、画面上で均一のばら
まかれている。そして、この代表点メモリ１２から読み
出される１フィールド前の各代表点画素の画像データＩ
_k-1 （０，０）が上記減算回路１３に供給される。ま
た、上記減算回路１３は、上記信号入力端子１を介して
供給される入力ビデオデータすなわち現フィールドの画
像データについて、ブロック毎のｍ×ｎ個の各画素の画
像データＩ_k （ｘ，ｙ）と上記代表点メモリ１２から読
み出される前フィールドの対応するブロックの代表点画
素の画像データＩ_k-1 （０，０）との差分すなわちフィ
ールド間差の絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，
ｙ）｜を検出する。

【００１６】そして、上記フィールド差分検出部１１
は、上記減算回路１３により得られるフィールド差分絶
対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜を上記相関
積算値表形成部１４に供給する。

【００１７】上記相関積算値表形成部１４は、上記フィ
ールド差分検出部１１により得られたフィールド差分絶
対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜が供給され
るマクロブロック化回路１５と、このマクロブロック化
回路１５によりマクロブロック化されたフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜が供給さ
れる第１乃至第１０の絶対値積分回路１６Ａ〜１６Ｊか
らなる。

【００１８】上記マクロブロック化回路１５は、上記フ
ィールド差分検出部１１により得られたフィールド差分
絶対値｜Ｉ_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜につい
て、互いに隣接しないマクロブロックが生じる形態で、
１画面を複数のマクロブロックに分割するもので、例え
ば図４に示すように、１画面を３×３の９個のマクロブ
ロックＢ１〜Ｂ９に分割する。

【００１９】そして、このマクロブロック化回路１５に
よりマクロブロック化されたフィールド差分絶対値｜Ｉ
_k-1 （０，０）−Ｉ_k （ｘ，ｙ）｜は、各マクロブロッ
クＢ１〜Ｂ９に対応する上記第１乃至第９の絶対値積分
回路１６Ａ〜１６Ｉにマクロブロック毎に供給されると
ともに、上記第１０の絶対値積分回路１６Ｊに全マクロ
ブロックが供給される。

【００２０】上記第１の絶対値積分回路１６Ａは、第１
のマクロブロックＢ１のフィールド差分絶対値｜Ｉ_k-1
（０，０）−Ｉ_k （ｘ，ｙ）｜について、上記ｍ×ｎ個
の画素で構成されるブロックの各フィールド差分絶対値
を対応する画素毎に積算し、上記第１のマクロブロック
Ｂ１の相関積算値表を形成する。以下同様に、上記第２
乃至第９の絶対値積分回路１６Ｂ〜１６Ｉは、それぞれ
対応する第２乃至第９のマクロブロックＢ２〜Ｂ９の相
関積算値表を形成する。また、上記第１０の絶対値積分
回路１６Ｊは、上記第１乃至第９のマクロブロックＢ１
〜Ｂ９からなる１画面全体の相関積算値表を形成する。

【００２１】そして、上記相関積算値表形成部１４は、
上記第１乃至第９の絶対値積分回路１６Ａ〜１６Ｉによ
り形成された各マクロブロックＢ１〜Ｂ９の相関積算値
表の相関積算値と上記第１０の絶対値積分回路１６Ｊに
より形成された１画面全体の相関積算値表の相関積算値
を上記動きベクトル推定部１８に供給する。

【００２２】上記動きベクトル推定部１８は、上記相関
積算値表形成部１４により形成された各相関積算値表の
相関積算値の最小値の座標を検出して、動きベクトルを
推定する。上記相関積算値表形成回路１４により形成さ
れた各相関積算値表の相関積算値は、各ブロックの代表
点画素の画像データＩ_k-1 （０，０）と他の画素の画像
データＩ_k （ｘ，ｙ）とのフィールド間相関を示すもの
で、相関の強い画素に対応する座標ほど小さな値とな
り、動きベクトルに対応する座標の相関積算値が最小値
となるので、最小値の座標を検出することにより動きベ
クトルを推定することができる。

【００２３】なお、この動きベクトル検出部１０におい
て採用したマクロブロックによる画像の動きベクトルの
検出の手法は、本件出願人が特願平３−１００３８４号
などにおいて先に提案したものである。

【００２４】そして、この動きベクトル検出部１０は、
上記動きベクトル推定部１８により推定した画像の動き
ベクトルを上記ベクトルメモリ２０と補正信号発生部４
０に供給する。

【００２５】また、上記ベクトルメモリ２０は、上記動
きベクトル検出部１０により検出された画像の動きベク
トルを数フレーム乃至数十フレーム程度の多数フィール
ドに亘って記憶する。

【００２６】さらに、上記判定部３０は、上記ベクトル
メモリ２０に記憶された動きベクトルの過去の相関を監
視することにより、上記動きベクトル検出部１０により
検出された画像の動きベクトルが手振れに起因するもの
であるか否かを判定する。ここで、パン・チルトなどの
意図的なカメラ操作による画像の動きには、一般的に動
きベクトルで見た場合に、 立ち上がり時を除いてスピード（ベクトルの大き
さ）が一定に近い。

【００２７】 立ち上がり時は等加速度運動をするこ
とが多い。 ベクトルの方向がほぼ一定である。 などの特徴がある。従って、上記判定部３０では、１フ
ィールド間の動きベクトルのみでは、意図的動きと手振
れとの判別がつかなくとも、過去数フレーム乃至数十フ
レーム程度の多数フィールドに亘る動きベクトルの大き
さや方向の相関を監視することにより、意図的動きと手
振れとを判別することができる。

【００２８】上記判定部３０は、上記ベクトルメモリ２
０に記憶された動きベクトルに基づいて、過去数フレー
ム乃至数十フレーム程度の多数フィールドに亘る動きベ
クトルの大きさや方向の相関を監視して、意図的動きと
手振れとを判別することにより、上記動きベクトル検出
部１０により検出された画像の動きベクトルが手振れに
起因するものであるか否かを判定し、その判定出力を停
止制御信号として上記補正信号発生部４０に供給する。

【００２９】上記補正信号発生部４０は、上記動きベク
トル検出部１０により検出された動きベクトルが画像の
手振れに起因するものであることを示す判定出力が上記
判定部３０から供給されると、上記動きベクトルを手振
れベクトルＶ_t ’として、 Ｘ_t ＝Ｘ_t-1 −Ｖ_t ’ なる補正量Ｘ_t の手振れ補正信号を形成し、この手振れ
補正信号を上記補正部５０に供給する。また、この補正
信号発生部４０は、上記動きベクトル検出部１０により
検出された動きベクトルが画像の手振れに起因するもの
でないことを示す判定出力が上記判定部３０から供給さ
れると、手振れベクトルＶ_t ’を零ベクトルＶ〔０，
０〕として手振れ補正信号を形成し、この手振れ補正信
号を上記補正部５０に供給する。

【００３０】また、上記補正部５０は、例えば図５に示
すように、上記補正信号発生部４０から手振れ補正信号
が供給されるアドレス制御回路５１及びセレクト信号発
生回路５２と、上記アドレス制御回路５１から供給され
るアドレス信号に従ってビデオデータの書き込み／読み
出しが行われるフィールドメモリ５３及び周辺メモリ５
４と、上記フィールドメモリ５３及び周辺メモリ５４か
ら読み出されるビデオデータを上記セレクト信号発生回
路５２から供給されるセレクト信号に応じて選択的に出
力するセレクタ５５とを備えてなる。

【００３１】上記フィールドメモリ５３には、上記信号
入力端子１を介して供給される入力ビデオデータが順次
書き込まれる。そして、このフィールドメモリ３３の読
み出しアドレスが上記手振れ補正信号により上記手振れ
ベクトルに応じて制御される。これにより、上記フィー
ルドメモリ５３からは、１フィールドの入力ビデオデー
タが上記手振れベクトルに応じて移動されたビデオデー
タが得られる。そして、このフィールドメモリ５３から
読み出されるビデオデータと上記周辺メモリ５４から読
み出される周辺ビデオデータとが上記セレクタ５５によ
る選択によって合成され、手振れ補正処理済のビデオデ
ータとして信号出力端子２から出力される。

【００３２】なお、上記周辺メモリ５４には、上記セレ
クタ５５を介して出力される手振れ補正処理済のビデオ
データによる画像の補正範囲に相当する周辺部分のビデ
オデータが周辺ビデオデータとして逐次書き込まれる。

【００３３】この手振れ補正装置では、上述のように動
きベクトル検出部１０において検出された画像の動きベ
クトルが手振れに起因するものであるか否かの判定を上
記ベクトルメモリ２０に記憶された動きベクトルの履歴
に基づいて上記判定部３０により行って、手振れに起因
する動きベクトルに応じた補正量の手振れ補正信号を上
記補正信号発生部４０により発生することができるの
で、上記補正部５０により入力ビデオ信号に手振れ補正
処理を確実に施すことができ、自然な画像出力が得られ
る。

【００３４】

【発明の効果】以上の説明からも明らかなように、本発
明によれば、入力ビデオ信号で構成される１フィールド
の画像を複数に分割した各ブロック毎の代表点画素の画
像データをメモリに１フィールド期間記憶し、現フィー
ルドのブロックの各画素の画像データと上記メモリから
読み出される前フィールドのブロックの代表点画素の画
像データの相関値に基いて画像の動きベクトルを検出
し、上記検出された動きベクトルを多数フィールドに亘
って記憶し、上記記憶される動きベクトルの履歴に基い
て上記画像の動き始めが等加速度運動であるか否かを判
別することにより、上記動きベクトルが当該画像を撮像
する撮像手段の振動に起因するものであるか否かを判定
することができ、上記画像を撮像する撮像手段の振動に
起因するものであると判定された動きベクトルに応じた
補正量の振動補正信号を発生して、上記振動補正信号に
より上記入力ビデオ信号に振動補正処理を確実に施すこ
とができる。

【００３５】このように、本発明によれば、画像の動き
ベクトルが手振れに起因するものであるか否かを判定し
て、手振れ補正を確実に行うことができ、ハンディタイ
プのビデオカメラなどにおける高性能の手振れ補正を可
能にすることができる。

【図面の簡単な説明】

【図１】本発明に係る画像の手振れ補正装置の構成を示
すブロック図である。

【図２】上記手振れ補正装置の動きベクトル検出部にお
ける画面のブロック分割の状態を示す図である。

【図３】上記ブロック分割された画面の１ブロックの構
造を示す図である。

【図４】１画面を９分割したマクロブロックの状態を示
す図である。

【図５】上記手振れ補正装置の補正部の構成を示すブロ
ック図である。

【図６】従来の手振れ補正装置の問題点を説明するため
の図である。

【符号の説明】

１０・・・・・・・・・動きベクトル検出部 ２０・・・・・・・・・ベクトルメモリ ３０・・・・・・・・・判定部 ４０・・・・・・・・・補正信号発生部 ５０・・・・・・・・・補正部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 橋野 司 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 平４−10780（ＪＰ，Ａ) 特開 平３−216079（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/232 G03B 5/00 G06T 7/20 100

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 入力ビデオ信号で構成される１フィール
   ドの画像を複数に分割した各ブロック毎の代表点画素の
   画像データをメモリに１フィールド期間記憶し、現フィ
   ールドのブロックの各画素の画像データと上記メモリか
   ら読み出される前フィールドのブロックの代表点画素の
   画像データの相関値に基いて画像の動きベクトルを検出
   する動きベクトル検出手段と、 上記動きベクトル検出手段により検出された動きベクト
   ルを多数フィールドに亘って記憶するベクトルメモリ
   と、 上記ベクトルメモリに記憶される上記動きベクトルの履
   歴に基いて上記画像の動き始めが等加速度運動であるか
   否かを判別することにより、上記動きベクトルが当該画
   像を撮像する撮像手段の振動に起因するものであるか否
   かを判定する判定手段と、 上記判定手段により上記画像を撮像する撮像手段の振動
   に起因するものであると判定された動きベクトルに応じ
   た補正量の振動補正信号を発生する補正信号発生手段
   と、 上記補正信号発生手段から供給される振動補正信号によ
   り上記入力ビデオ信号に振動補正処理を施す補正手段と
   を備える画像の振動補正装置。
2. 【請求項２】 上記判定手段は、上記動きベクトルの履
   歴より上記画像の動き始めが等加速度運動であり、且つ
   その後の画像の動きが等速運動であると判別したとき、
   上記画像の動きベクトルを当該画像を撮像する撮像手段
   の振動に起因するものではないと判定することを特徴と
   する請求項１記載の画像の振動補正装置。
3. 【請求項３】 上記判定手段は、上記動きベクトルの履
   歴より上記画像の動きベクトルの方向が略一定であると
   判別したとき、上記画像の動きベクトルを当該画像を撮
   像する撮像手段の振動に起因するものではないと判定す
   ることを特徴とする請求項２記載の画像の振動補正装
   置。
4. 【請求項４】 入力ビデオ信号で構成される１フィール
   ドの画像を複数に分割した各ブロック毎の代表点画素の
   画像データをメモリに１フィールド期間記憶し、現フィ
   ールドのブロックの各画素の画像データと上記メモリか
   ら読み出される前フィールドのブロックの代表点画素の
   画像データの相関値に基いて画像の動きベクトルを検出
   するステップと、 上記検出された動きベクトルを多数フィールドに亘って
   記憶するステップと、 上記記憶される動きベクトルの履歴に基いて上記画像の
   動き始めが等加速度運動であるか否かを判別することに
   より、上記動きベクトルが当該画像を撮像する撮像手段
   の振動に起因するものであるか否かを判定するステップ
   と、 上記画像を撮像する撮像手段の振動に起因するものであ
   ると判定された動きベクトルに応じた補正量の振動補正
   信号を発生するステップと、 上記振動補正信号により上記入力ビデオ信号に振動補正
   処理を施すステップとを備える画像の振動補正方法。
5. 【請求項５】 上記判定するステップは、上記動きベク
   トルの履歴より上記画像の動き始めが等加速度運動であ
   り、且つその後の画像の動きが等速運動であると判別し
   たとき、上記画像の動きベクトルを当該画像を撮像する
   撮像手段の振動に起因するものではないと判定すること
   を特徴とする請求項４記載の画像の振動補正方法。
6. 【請求項６】 上記判定するステップは、上記動きベク
   トルの履歴より上記画像の動きベクトルの方向が略一定
   であると判別したとき、上記画像の動きベクトルを当該
   画像を撮像する撮像手段の振動に起因するものではない
   と判定することを特徴とする請求項５記載の画像の振動
   補正方法。