JPH07107369A

JPH07107369A - 画像処理装置

Info

Publication number: JPH07107369A
Application number: JP5265799A
Authority: JP
Inventors: Kitahiro Kaneda; 北洋金田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-09-29
Filing date: 1993-09-29
Publication date: 1995-04-21

Abstract

(57)【要約】【目的】画像ブレが検出領域を越えて存在する場合で
も画像ブレの補正を可能にする画像処理装置を提供す
る。【構成】被写体の画像信号中より、時系列に連続した
画像間の相関演算に基づいて、画像間の動きベクトルが
ステップＳ２０１で検出され、ステップＳ２０２で演算
された複数の動きベクトルの絶対値，空間分布，時間分
布等の動き情報に基づいてステップＳ２０３で、画像の
ブレ状態が検出され、該画像のブレが検出レンジを越え
たことが検出されると、ステップＳ２０６で、光学系の
焦点距離が制御され、ブレ補正範囲が光学的に変化さ
れ、補正範囲の制御に同期して、表示画像の画角が最適
値に制御され、見かけの画角を変えずに補正領域が拡大
され、撮影者に違和感を与えずに実時間での画像ブレ補
正がなされる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理装置に関し、特
にビデオカメラにより撮影された画像のブレを補正する
画像処理装置に関する。

【０００２】

【従来の技術】近年、カメラ一体型ＶＴＲ（ビデオテー
プレコーダ）は、レンズのリァフォーカス化、使用部品
の小型化、高密度実装化により全体が大幅に軽量小型化
され、更にレンズ自体の高倍率化が進んでおり、三脚な
どを使用せずに手持ちで高倍率の撮影を行う場合が多く
なっている。このために、使用中の僅かな手ブレが撮影
画像に画像ブレとなって現われるので、画像ブレの防止
が必要になっている。

【０００３】この場合の画像ブレ防止装置として、慣性
振り子式画像ブレ防止装置が、米国特許第２９５９０８
８号や米国特許第２８２９５５７号で開示されている。
この慣性振り子式画像ブレ防止装置では、補正光学系を
ジンバル機構によって可動的に保持し、慣性によって手
ブレなどから生じる画像ブレを防止している。

【０００４】また、ビデオカメラのレンズの前玉の前方
に可変頂角プリズムを配設し、センサによって振動が検
出されたとき、プリズムの頂角を制御することにより画
像ブレを防止する可変頂角式画像ブレ防止装置も提案さ
れている。

【０００５】更に、撮像素子からの映像信号を画像メモ
リに記憶させ、その情報によってずれを検知し、ずれ量
に応じて画像メモリの読み出しアドレスをシフトするこ
とにより、画像ブレを補正する純電子式画像ブレ防止装
置が、特開昭６１−２４８６８１号公報で提案されてい
る。この純電子式画像ブレ防止装置は、画像ブレの補正
に機械的機構が不要で、小型軽量に構成することがで
き、製造コストも低減できるので近年注目されている。

【０００６】

【発明が解決しようとする課題】しかし、この純電子式
画像ブレ防止装置では、光学系の設定条件に対応する画
像ブレの検出領域が、前述のセンサ検出方式などに比し
て狭いので、画像ブレが検出領域を越えることがあり、
このような場合には補正が不可能となる。また、装置を
構成する撮像素子やメモリにより、光学系の設定条件に
対応する装置の補正限界領域が定まり、ブレ補正値が補
正限界領域を越えると、それ以上の補正は不可能とな
る。更に、画面内の被写体の特性や激しい動きにより、
動きベクトルが検出し難いことがあり、この場合には設
定された光学系の条件下でのブレ補正値の精度が著しく
低下するという問題がある。

【０００７】本発明は、前述した純電子式画像ブレ防止
装置の現状に鑑みてなされたものであり、その第１の目
的は、画像ブレが検出領域を越え、或は補正限界領域を
越えて存在する場合でも、画像ブレの補正を可能にする
画像処理装置を提供することにある。また、本発明の第
２の目的は、被写体の特性や動きによって動きベクトル
が検出し難い場合でも、画像ブレの補正を可能にする画
像処理装置を提供することにある。

【０００８】

【課題を解決するための手段】前記第１の目的を達成す
るために、本発明の第１発明（請求項１）は、フォーカ
スレンズ群とズームレンズ群とを含む光学系を介して得
られる被写体からの光信号を電気信号に変換して得られ
る画像信号中より画像間の動きベクトルを検出し、実時
間でそのブレを補正する画像処理装置において、時系列
に連続した画像間の相関演算を行い画像間の動きベクト
ルを検出するベクトル検出手段と、該ベクトル検出手段
により検出された複数の動きベクトルの絶対値，空間分
布，時間分布等の動き情報に基づいて画像のブレ状態を
検出するブレ検出手段と、該ブレ検出手段により画像が
予め設定した所定値を越えてブレていると検出されたと
き前記光学系の焦点距離を制御してブレ補正範囲を光学
的に変化させるブレ補正範囲制御手段と、該ブレ補正範
囲制御手段の制御に同期してビューファインダの表示画
像の画角を制御する画角制御手段とを具備したことを特
徴とするものである。

【０００９】また前記第１の目的を達成するために、本
発明の第２発明（請求項２）は、フォーカスレンズ群と
ズームレンズ群とを含む光学系を介して得られる被写体
からの光信号を電気信号に変換して得られる画像信号中
より画像間の動きベクトルを検出し、実時間でそのブレ
を補正する画像処理装置において、時系列に連続した画
像間の相関演算を行い画像間の動きベクトルを検出する
ベクトル検出手段と、該ベクトル検出手段により検出さ
れた動きベクトルを加算して現画像の基準点からの絶対
偏差を演算する演算手段と、該演算手段により演算され
た絶対偏差の予め設定した基準補正量を連続して越える
回数が予め設定した基準回数値を上回ったとき前記光学
系の焦点距離を制御してブレ補正範囲を光学的に変化さ
せるブレ補正範囲制御手段と、該ブレ補正範囲制御手段
の制御に同期してビューファインダの表示画像の画角を
制御する画角制御手段とを具備したことを特徴とするも
のである。

【００１０】更に、前記第２の目的を達成するために、
本発明の第３発明（請求項３）は、フォーカスレンズ群
とズームレンズ群とを含む光学系を介して得られる被写
体からの光信号を電気信号に変換して得られる画像信号
中より画像間の動きベクトルを検出し、実時間でそのブ
レを補正する画像処理装置において、時系列に連続した
画像間の相関演算を行い画像間の動きベクトルを検出す
るベクトル検出手段と、該ベクトル検出手段により検出
される動きベクトルの乱れを検出する乱れ検出手段と、
該乱れ検出手段により検出される動きベクトルの乱れが
予め設定した基準量を越えたとき前記光学系の焦点距離
を制御してブレ補正範囲を光学的に変化させるブレ補正
範囲制御手段と、該ブレ補正範囲制御手段の制御に同期
してビューファインダの表示画像の画角を制御する画角
制御手段とを具備したことを特徴とするものである。

【００１１】

【作用】第１発明の画像処理装置は、被写体からの光信
号が電気信号に変換されて得られる画像信号中より、ベ
クトル検出手段によって、時系列に連続した画像間の相
関演算に基づいて画像間の動きベクトルが検出される。
次いで、ブレ検出手段によって、ベクトル検出手段によ
り検出された複数の動きベクトルの絶対値，空間分布，
時間分布等の動き情報に基づいて、画像のブレ状態が検
出される。該ブレ検出手段によって、画像が予め設定し
た所定値を越えてブレていると検出されると、ブレ補正
範囲制御手段によって、フォーカスレンズ群とズームレ
ンズ群とを含む光学系の焦点距離が制御され、ブレ補正
範囲が光学的に変化する。そして、ブレ補正範囲制御手
段の制御に同期して、画角制御手段によって、ビューフ
ァインダの表示画像の画角が最適値に制御され、実時間
で画像のブレが補正される。

【００１２】第２発明の画像処理装置は、被写体からの
光信号が電気信号に変換されて得られる画像信号中よ
り、ベクトル検出手段によって、時系列に連続した画像
間の相関演算に基づいて画像間の動きベクトルが検出さ
れる。次いで、演算手段によつて検出された動きベクト
ルが加算され、現画像の基準点からの絶対偏差が演算さ
れる。該演算手段により演算された絶対偏差が、予め設
定した基準補正値を予め設定した基準回数値以上連続し
て越えると、ブレ補正範囲制御手段によって、フォーカ
スレンズ群とズームレンズ群とを含む光学系の焦点距離
が制御され、ブレ補正範囲が光学的に変化する。そし
て、ブレ補正範囲制御手段の制御に同期して、画角制御
手段によって、ビューファインダの表示画像の画角が最
適値に制御され、実時間で画像のブレが補正される。

【００１３】第３発明の画像処理装置は、被写体からの
光信号が電気信号に変換されて得られる画像信号中よ
り、ベクトル検出手段によって、時系列に連続した画像
間の相関演算に基づいて画像間の動きベクトルが検出さ
れる。次いで、乱れ検出手段によって、動きベクトルの
乱れが検出される。乱れ検出手段で検出される動きベク
トルの乱れが予め設定した基準値を越えると、ブレ補正
範囲制御手段によって、フォーカスレンズ群とズームレ
ンズ群とを含む光学系の焦点距離が制御され、ブレ補正
範囲が光学的に変化する。そして、ブレ補正範囲制御手
段の制御に同期して、画角制御手段によって、ビューフ
ァインダの表示画像の画角が最適値に制御され、実時間
で画像のブレが補正される。

【００１４】

【実施例】以下、本発明の各実施例を、図面を参照して
順次説明する。

【００１５】［第１実施例］まず、本発明の第１実施例
を図１乃至図６に基づき説明する。

【００１６】図１は本発明の第１実施例に係る画像処理
装置の構成を示すブロック図であり、同図において１０
は被写体で、該被写体１０からの光束は、収束用のフォ
ーカシングレンズ群１００、焦点距離を変化させるズー
ムレンズ群１０１及びズーミングによって変化したピン
ト面の変化を補正するための補正レンズ群１０２を介し
て、光量を調整する絞り１０３を通過し、絞り１０３の
後段に配設された例えば二次元ＣＣＤからなる撮像素子
１０４に収束結像される。撮像素子１０４では、結像さ
れた光像が光電変換されて画像信号が得られ、この画像
信号は撮像素子１０４の後段に配設されたサンプルホー
ルド回路１６でサンプルホールドされる。サンプルホー
ルド回路１６でサンプルホールドされた画像信号は、該
サンプルホールド回路１６に接続されたオートゲインコ
ントロール回路１８で、信号レベルが一定となるように
ゲインの調整が行われ、オートゲインコントロール回路
１８に接続されたＡ／Ｄ変換器２０でディジタル信号に
変換され、該Ａ／Ｄ変換器２０に接続された２水平走査
期間遅延回路２２に供給される。

【００１７】２水平走査期間遅延回路２２では、画像信
号から得られた色差線順次信号が、１Ｈ遅延信号と（０
Ｈ＋２Ｈ）遅延信号とに分離され、それぞれ２水平走査
期間遅延回路２２に接続された輝度信号処理部Ｂと、色
信号処理回路２４とに入力される。そして、色信号処理
回路２４では、入力信号に基づいて色信号が作成され、
作成された色信号は、色信号処理回路２４に接続された
フィールドメモリ３８に格納される。一方、輝度信号処
理部Ｂにおいては、遅延回路２２からの出力信号がロー
パスフィルタ２６に入力され、色差線順次信号からキャ
リア成分が除去され輝度信号の分離が行われる。このよ
うにして得られた輝度信号は、ローパスフィルタ２６に
接続されたエンハンサ２８に入力され、画質向上のため
に被写体のエッジなどに、画像信号の２次微分が付加さ
れて高周波成分を強調する処理が行われる。

【００１８】このようにして強調処理が行われた輝度信
号は、エンハンサ２８に接続されたガンマ処理回路３０
に入力され、ハイライト部分での飽和を防ぎ、ダイナミ
ックレンジを拡大するガンマ処理が行われ、次いで、ガ
ンマ処理回路３０に接続されたフィールドメモリ２８
と、バンドパスフィルタ３２とに入力される。そして、
バンドパスフィルタ３２では、動きベクトルを検出する
ために有効な空間周波数成分の抽出が行われる。即ち、
バンドパスフィルタ３２において、動きベクトルの検出
に不適な画像信号中の低周波成分と高周波成分とが除去
される。また本実施例では、バンドパスフィルタ３２の
符号ビットだけを出力するものとし、ＤＣレベルを閾値
として輝度信号が２値化され、バンドパスフィルタ３２
より後段の輝度信号は１ビットとなる。バンドパスフィ
ルタ３２にはフィールドメモリ３６が接続してあり、バ
ンドパスフィルタ３２からの輝度信号は、フィールドメ
モリ３６に一時的に格納されて、１フールド時間だけ遅
延され、フィールドメモリ３６に接続された動きベクト
ル検出回路３４では、１フィールド前の輝度信号と現フ
ィールドの輝度信号とのマッチング演算を実時間処理す
る。

【００１９】動きベクトル検出回路３４からは、動きベ
クトルの水平方向成分と垂直方向成分とに対応する信号
が出力され、これらの信号が動きベクトル検出回路３４
に接続された論理制御装置１２０に入力され、論理制御
装置１２０ではこれらの信号に基づいて、時々刻々の画
像の基準位置からの偏差の演算が行われる。このように
して演算された偏差信号は、論理制御装置１２０に接続
されたメモリ読み出し制御回路４２に入力され、該メモ
リ読み出し制御回路４２によって、演算された偏差位置
が中心となるように、即ち動きベクトルを相殺するよう
に、該メモリ読み出し制御回路４２に接続されたフィー
ルドメモリ３８の読み出し位置が制御される。該制御さ
れた信号は、フィールドメモリ３８に接続された電子ズ
ーム回路４０において、所望の大きさに直線補間での変
換が行われ、該変換により得られる画像信号が、画像ブ
レを補正された画像信号として、電子ズーム回路４０に
接続されたＤ／Ａ変換器４４によってアナログ信号に変
換されて出力端子４８から出力される。

【００２０】また、本実施例では、ズームレンズ群１０
１の位置エンコーダの位置検出信号が論理制御装置１２
０に入力され、論理制御装置１２０がズーム駆動回路１
３１に接続され、ズーム駆動回路１３１がズームレンズ
群１０１を駆動するモータ１３３に接続されている。そ
して、論理制御装置１２０は、動きベクトル検出回路３
４で検出した動きベクトルの絶対値，空間分布，時間分
布等の動き情報に基づいて画像のブレ状態を検出する機
能（ブレ検出手段）と、画像が予め設定した所定値を越
えてブレていることが検出されるとズーム駆動回路１３
１を作動させてズームレンズ群１０１を移動しブレ補正
範囲を光学的に変化させる機能（ブレ補正範囲制御手
段）と、該光学的変化に同期してエレクトリックビュー
ファインダ（ＥＶＦ）の表示画像の画角を最適値に制御
する機能（画角制御手段）とを有する。

【００２１】次に、本実施例に係る画像処理装置におけ
る論理制御装置１２０の動作を、図２のフローチャート
を参照して説明する。

【００２２】図２は論理制御装置１２０の動作を示すフ
ローチャートである。同図のステップＳ２０１におい
て、論理制御装置１２０によって、動きベクトル検出回
路３４から、動きベクトルの水平方向成分と垂直方向成
分とに対応する信号が各フィールド毎に取り込まれ、ス
テップＳ２０２に進む。このステップＳ２０２では、論
理制御装置１２０によつて、所定画面位置での動きベク
トルが積分され、画面の基準位置からの偏差が演算さ
れ、得られた偏差に基づいて画像ブレが求められ、該画
像ブレを補正する画像ブレ補正信号が求められる。この
場合の偏差の演算では、個々の動きベクトルの信頼性も
評価され、これが積分処理においても反映され、より正
確な偏差の演算が行われる。

【００２３】次いでステップＳ２０３に進み、論理制御
装置１２０によつて、前記ステップＳ２０１で取り込ん
だ動きベクトルに基づき、現在の画像ブレが、動きベク
トル検出回路３４の検出レンジを越えるか否かの判定が
行われる。そして、画像ブレが動きベクトル検出回路３
４の検出レンジを越えていると判定されると、現状態で
の画像ブレ補正は不可能と判断してステップＳ２０７に
進んで補正領域の拡大処理が行われる。また、前記ステ
ップＳ２０３で、画像ブレが動きベクトル検出回路３４
の検出レンジを越えていないと判定されると、ブレ補正
可能であることを意味し、ステップＳ２０４に進んで、
論理制御装置１２０によつて、前記ステップＳ２０１で
取り込んだ動きベクトルと、前記ステップＳ２０２で求
めた動きベクトルの積分値の空間的な分布，或は時間的
な変動とに基づいて、画面内のブレのある領域に基づい
て防振動作を行うべく補正対象領域が決定された後、ス
テップＳ２０５に進む。

【００２４】ステップＳ２０５では、論理制御装置１２
０によつて、前記ステップＳ２０４で決定された補正対
象領域の動きベクトル積分値が抽出され、最終的な画像
ブレ補正値が求められる。次いで、ステップＳ２０６に
進んで、論理制御装置１２０によつて、前記ステップＳ
２０５で求めた画像ブレ補正値が、フィールドメモリ３
８の読み出しアドレスに換算され、実際にメモリを制御
する指令が発せられ、その画像ブレ補正値に基づいてメ
モリからの画像の読み出し範囲をシフトし、画像の動き
を相殺する。そして、電子ズーム回路４０にメモリから
の読み出し範囲の大きさに応じた所望の拡大または縮小
率を与える命令が発せられ、最終的な出力画像の画角が
通常の画角に戻される。

【００２５】次に、本実施例に係る画像処理装置におけ
る画像ブレ判定動作と補正領域の変更動作とを、図３乃
至図６を参照して説明する。

【００２６】図３は画像ブレ判定動作を示すフローチャ
ート、図４は補正領域の変更動作を示すフローチャー
ト、図５は動きベクトルの説明図、図６は補正領域変更
の説明図である。

【００２７】図３のステップＳ３０１では、論理制御装
置１２０によって、画面内の動きベクトルが所定量をオ
ーバしているか否かを検出する空間カウンタの検出画面
位置ｉ、ｊがリセットされ、ステップＳ３０２に進ん
で、位置ｉ、ｊでのＸ方向動きベクトルＭＶＸ（ｉ、
ｊ）、Ｙ方向動きベクトルＭＶＹ（ｉ、ｊ）が、それぞ
れ所定の閾値ＴＨ１、ＴＨ２を越えているか否かが判定
される。これらの閾値ＴＨ１、ＴＨ２は、動きベクトル
検出回路３４で検出し得る最大の動き量に設定されてい
る。ステップＳ３０２で、位置ｉ、ｊでのＸ方向動きベ
クトルＭＶＸ（ｉ、ｊ）、Ｙ方向動きベクトルＭＶＹ
（ｉ、ｊ）の何れか一方でも、対応する閾値ＴＨ１、Ｔ
Ｈ２を越えていると判定されると、ステップＳ３０３に
進んで、空間カウンタがインクリメントされ、ステップ
Ｓ３０４に進む。前記ステップＳ３０２で、位置ｉ、ｊ
でのＸ方向動きベクトルＭＶＸ（ｉ、ｊ）、Ｙ方向動き
ベクトルＭＶＹ（ｉ、ｊ）の何れもが、閾値ＴＨ１、Ｔ
Ｈ２を越えていないと判定されると、前記ステップＳ３
０３を実行せずに直接ステップＳ３０４に進む。

【００２８】ステップＳ３０４では、画面内の全ての動
きベクトルの処理が終了したか否かが判定され、終了し
ていないと判定されると、前記ステップＳ３０２に戻
る。また、前記ステップＳ３０４で、画面内の全ての動
きベクトルの処理が終了したと判定されると、ステップ
Ｓ３０５に進んで、画面内で動きベクトルが閾値を越え
た箇所の個数が、予め設定した所定値ＴＨ３を越えたか
否かの判定が行わる。動きベクトルが閾値を越えた箇所
の個数が、予め設定した所定値ＴＨ３を越えていると、
ステップＳ３０６に進んで、時間カウンタがインクリメ
ントされ、また、予め設定した所定値ＴＨ３を越えてい
ない場合には、ステップＳ３０８に進んで時間カウンタ
がリセットされる。

【００２９】ステップＳ３０６或はステップＳ３０８を
実行後は、ステップＳ３０７に進んで、時間カウンタの
計数値が予め設定した所定値ＴＨ４を越えたか否かが判
定される。時間カウンタの計数値が予め設定した所定値
ＴＨ４を越えていると、最終的に画像ブレが検出領域を
越えていて、補正不可能な程度に大きいと判定され、前
記図２のステップＳ２０７に進んで補正領域の変更が行
われる。また、時間カウンタの計数値が予め設定した所
定値ＴＨ４を越えていない場合には、画像ブレは普通で
あると判定され、前記図２のステップＳ２０４に進んで
画像ブレの補正が継続される。

【００３０】一般に、画像ブレ量が大きい場合には、検
出される動きベクトルの空間分布が画像ブレ量と共に大
きくなるとは限らず、図５に示すように、検出される動
きベクトルは大きく振り切れてしまい、空間分布は不均
一に検出されることが多い。これに対して、本実施例で
は、動きベクトルの空間分布、時間分布を適確に評価し
て処理が行われ、画像ブレの補正が困難であることを正
確に識別することができる。そして、本実施例では、画
像ブレが所定値を越えていると判定された場合には、ブ
レ補正を可能にするために、前述のように撮影者に違和
感を与えずに補正範囲が拡大され、画像ブレの補正が可
能になる。

【００３１】ところで、前記図３のステップＳ３０７
で、画像ブレが現状態では補正不能と判定されると、前
記図２のステップＳ２０７のルーチンである図４のステ
ップＳ４０１に進んで、論理制御装置１２０によって、
ズーム駆動回路１３１が作動され、所定の駆動パルスが
モータ１３３に供給され、該モータ１３３によってズー
ムレンズ群１０１が、ワイド方向に撮影者に目立たない
程度に所定量移動される。次いで、ステップＳ４０２に
進んで、論理制御装置１２０の指令によって、前記ステ
ップＳ４０１で光学的に拡大した画角を、電子的に同量
だけテレ方向にズーミングさせる。この場合、画角の変
化はズームレンズ群１０１のパルス駆動により管理され
ており、その変化は理論的に求まるので、該変化に対応
してフィールドメモリ３８のメモリ読み出し位置と、電
子ズーム回路４０に与える拡大率とを変化させる処理を
行えばよい。

【００３２】図６は前述のステップＳ４０１とステップ
Ｓ４０２との動作状態を示し、光学ズームと電子ズーム
とを微小に交互に繰り返すことにより、撮影者に目立た
ないように実際の画角を変化させ補正領域を拡大するこ
とができる。

【００３３】図４のフローチャートに戻って、ステップ
Ｓ４０３では光学ズーム動作により、ズームレンズ群１
０１がワイド端に当接したか否かが判定され、ズームレ
ンズ群１０１がワイド端に当接したと判定されると、論
理制御装置１２０の指令によって、直ちにズーム動作は
中断され、その時点の画角での防振制御が行われる。ま
た、前記ステップＳ４０３で、ズームレンズ群１０１が
ワイド端に当接していないと判定されると、ステップＳ
４０４に進んで、予め設定した画角の拡大処理が終了し
たか否かが、動作開始時のモータ１３３のパルス数と、
現在のパルス数の相対変化を監視して行われ、相対変化
値が所定値を越えると画角の拡大処理が終了したと判定
される。

【００３４】このように、第１実施例によると、画像の
ブレが検出レンジを越えて発生し、現状では補正不能な
状態になったことを適確に検出し、該状態ではＥＶＦ上
の見かけの画角を変えずに補正領域を拡大することによ
り、撮影者に違和感を与えずに画像ブレの補正が可能に
なる。

【００３５】［第２実施例］次に、本発明の第２実施例
を図７に基づき説明する。

【００３６】第１実施例では、図３の画像ブレ判定ルー
チン内において、時間カウンタを連続的に所定の条件を
満足しなければリセットしていたのに対して、本実施例
は、過去所定フィールド内の時間カウンタの値が所定値
以上の場合、画像ブレ大と判定するようにしたものであ
る。

【００３７】図７は、本実施例に係る画像処理装置にお
ける画像ブレ判定動作を示すフローチャートである。同
図において、ステップＳ７０１乃至７０６は、第１実施
例における図３のステップＳ３０１乃至３０６と同一で
あるから、その説明を省略する。ステップＳ７０７にお
いて、所定フィールド内の時間カウンタが所定値ＴＨ４
を越えていると画像ブレが補正不可能な程度に大きいと
判定され、前記図２のステップＳ２０７に進み、補正領
域の変更が行われる。また、所定フィールド内の時間カ
ウンタが所定値ＴＨ４を越えていない場合には、画像ブ
レは普通であると判定され、前記図２のステップＳ２０
４に進んで画像ブレの補正が継続される。

【００３８】なお、本実施例におけるその他の構成及び
作用効果は、第１実施例と同一である。

【００３９】［第３実施例］次に、本発明の第３実施例
を図８乃至図１１を参照して説明する。図８は本実施例
に係る画像処理装置における論理制御装置の動作を示す
フローチャート、図９は同画像処理装置における画像ブ
レ判定動作を示すフローチャート、図１０は同画像処理
装置における補正値算出の説明図、図１１は同画像処理
装置における補正限界領域の説明図である。

【００４０】本実施例に係る画像処理装置は、上述した
第１実施例における図１と基本的には同一構成であるか
ら、同図を流用して説明する。特に本実施例の論理制御
装置は、動きベクトル検出回路３４が検出した動きベク
トルを加算し、画像の基準点からの絶対偏差を演算し、
その演算値が基準補正値を連続して所定回越えると、ズ
ーム駆動回路１３１を作動させて、ズームレンズ群１０
１を移動し、ブレ補正範囲を光学的に変化させ、同時に
該光学的変化に同期して、エレクトリックビューファイ
ンダ（ＥＶＦ）の表示画像の画角を最適値に制御する機
能を有する。本実施例のその他の構成は第１実施例と同
一であるから、その説明を省略する。

【００４１】本実施例に係る画像処理装置の動作を、図
８のフローチャートを参照して説明する。

【００４２】まず、ステップＳ８０１において、論理制
御装置１２０によって、動きベクトル検出回路３４か
ら、動きベクトルの水平方向成分と垂直方向成分とに対
応する信号が、各フィールド毎に取り込まれた後、ステ
ップＳ８０２に進む。このステップＳ８０２では、論理
制御装置１２０によつて、所定画面位置での動きベクト
ルが積分され、画面の基準位置からの偏差が演算され、
得られた偏差に基づいて画像ブレ補正信号が求められ
る。この偏差の演算では、個々の動きベクトルの信頼性
も評価され、これが積分処理においても反映され、より
正確な偏差の演算が行われる。

【００４３】次いでステップＳ８０３に進み、論理制御
装置１２０によつて、前記ステップＳ８０１で取り込ん
だ動きベクトルと、前記ステップＳ８０２で求めた動き
ベクトルの積分値の空間的な分布、或は時間的な変動と
に基づいて、補正対象領域が決定された後ステップＳ８
０４に進む。このステップＳ８０４では、論理制御装置
１２０によつて、前記ステップＳ８０３で決定された補
正対象領域の動きベクトル積分値が抽出され、最終的に
Ｘ方向ブレ補正値ＨＯＳＥＩＸ、Ｙ方向ブレ補正値ＨＯ
ＳＥＩＹが画像ブレ補正値として求められる。

【００４４】次いでステップＳ８０５に進んで、論理制
御装置１２０によつて、前記ステップＳ８０１で取り込
んだ動きベクトルに基づき、現在の画像ブレが、補正限
界領域を越えるか否かの判定が行われる。そして、画像
ブレが補正限界領域を越えていると判定されると、画像
ブレ補正が現状では不可能と判断してステップＳ８０７
に進んで補正領域の拡大処理が行われる。また、ステッ
プＳ８０５で、画像ブレが補正領域を越えていないと判
定されると、ステップＳ８０６に進んで、論理制御装置
１２０によつて、前記ステップＳ８０４で求めた画像ブ
レ補正値が、フィールドメモリ３８の読み出しアドレス
に換算され、実際にメモリを制御する指令が発せられ、
その画像ブレ補正値に基づいてメモリからの画像の読み
出し範囲をシフトし、画像の動きを相殺する。そして、
電子ズーム回路４０にメモリからの読み出し範囲の大き
さに応じた所望の拡大または縮小率を与える命令が発せ
られ、最終的な出力画像の画角が通常の画角に戻され
る。

【００４５】次に、参照して本実施例に係る画像処理装
置における画像ブレの判定動作を、図９のフローチャー
トを説明する。

【００４６】まず、ステップＳ９０１で、前記図８のス
テップＳ８０４で求められたＸ方向ブレ補正値ＨＯＳＥ
ＩＸ、Ｙ方向ブレ補正値ＨＯＳＥＩＹの少くとも一方が
所定の閾値ＴＨ１、ＴＨ２を越えているか否かが判定さ
れる。ここで、Ｘ方向ブレ補正値ＨＯＳＥＩＸ、Ｙ方向
ブレ補正値ＨＯＳＥＩＹは、図１０に示すように、前記
図８のステップＳ８０４で求められた補正対象領域内の
動きベクトルの積分値の平均である。また、閾値ＴＨ
１、ＴＨ２は図１１に示すように、フィールドメモリ３
８（図１参照）上から所定の縮小率の画像を切り取る際
に、中心からＸ方向、Ｙ方向に設定されたオフセット値
で、画像ブレを補正できる限界値に設定されている。

【００４７】ステップＳ９０１で、Ｘ方向ブレ補正値Ｈ
ＯＳＥＩＸ、Ｙ方向ブレ補正値ＨＯＳＥＩＹの少くとも
一方が、対応する閾値ＴＨ１、ＴＨ２を越えたと判定さ
れると、ステップＳ９０２に進んで、ブレ補正値が所定
閾値を越えたことを計数する時間カウンタがインクリメ
ントされる。また、Ｘ方向ブレ補正値ＨＯＳＥＩＸ、Ｙ
方向ブレ補正値ＨＯＳＥＩＹの両方が、対応する閾値Ｔ
Ｈ１、ＴＨ２を越えていないと判定されると、スイップ
Ｓ９０３に進んで時間カウンタがリセットされる。ステ
ップＳ９０２或はステップＳ９０３を実行後は、ステッ
プＳ９０４に進んで、時間カウンタの計数値が、予め設
定した所定回数を越えたか否かが判定され、所定回数を
越えていると、最終的に補正がすでに補正限界領域（図
１１参照）を大きく越えていて、現状ではそれ以上の補
正は不可能と判断する。

【００４８】このように、ステップＳ９０４で、時間カ
ウンタの計数値が、予め設定した所定回数を越えたと判
定されると、図４を参照して説明した第１実施例と同一
の補正領域の拡大が行われ、撮影者に目立たないように
実際の画角を変化させ、補正領域を拡大する処理が実行
される。

【００４９】このように第３実施例によると、補正限界
領域を越えるような画像ブレが発生し、現状では補正不
能な状態になったことを適確に検出し、該状態ではＥＶ
Ｆ上の見かけの画角を変えずに補正領域を拡大すること
により、撮影者に違和感を与えずに画像ブレの補正が可
能になる。

【００５０】［第４実施例］次に、本発明の第４実施例
を、図１２を参照して説明する。

【００５１】図１２は本実施例に係る画像処理装置にお
ける補正値算出の説明図である。上述した第３実施例の
図１０では補正対象領域内の動きベクトル積分値の平均
を取っているが、本実施例は図１２に示すように、補正
対象領域内の動きベクトル積分値のメジアン（中央値）
を取るようにしたものである。

【００５２】本実施例におけるその他の構成及び作用効
果は、第３実施例と同一である。

【００５３】［第５実施例］次に、本発明の第５実施例
を、図１３及び図１４を参照して説明する。図１３は本
実施例に係る画像処理装置の動作を示すフローチャー
ト、図１４は同装置の画像ブレ判定動作を示すフローチ
ャートである。

【００５４】本実施例に係る画像処理装置は、第１実施
例の図１と基本的には同一構成であるから、同図を流用
して説明する。特に本実施例の論理制御装置は、動きベ
クトル検出回路３４が検出した動きベクトルから動きベ
クトルの乱れを検出し、当該乱れが予め設定した基準量
を越えると、ズーム駆動回路１３１を作動させて、ズー
ムレンズ群１０１を移動し、ブレ補正範囲を光学的に変
化させ、同時に該光学的変化に同期して、エレクトリッ
クビューファインダ（ＥＶＦ）の表示画像の画角を最適
値に制御する機能を有する。本実施例のその他の構成は
第１実施例と同一であるから、その説明を省略する。

【００５５】本実施例に係る画像処理装置の動作を、図
１３のフローチャートを参照して説明する。

【００５６】まず、ステップＳ１３０１において、論理
制御装置１２０によって、動きベクトル検出回路３４か
ら、動きベクトルの水平方向成分と垂直方向成分とに対
応する信号が各フィールド毎に取り込まれた後、ステッ
プＳ１３０２に進む。このステップＳ１３０２では、論
理制御装置１２０によつて、所定画面位置での動きベク
トルが積分され、画面の基準位置からの偏差が演算さ
れ、得られた偏差に基づいて画像ブレが求められ、該画
像ブレを補正する画像ブレ補正信号が求められる。この
場合の偏差の演算では、個々の動きベクトルの信頼性も
評価され、これが積分処理においても反映され、より正
確な偏差の演算が行われる。

【００５７】次いで、ステップＳ１３０３に進み、論理
制御装置１２０によつて、前記ステップＳ１３０１で取
り込んだ動きベクトルに基づき、画面内に激しく動き回
る被写体が存在するなどの理由で、動きベクトルの乱れ
に基づく画像乱れが基準量を越えて生じ、現状では画像
ブレの補正が不能であるか否かが判定される。そして、
動きベクトルの乱れが基準量を越えて発生し、ブレの補
正が不能と判定されると、ステップＳ１３０７に進んで
補正領域の拡大処理が行われる。また前記ステップＳ１
３０３で、動きベクトルの乱れが基準量以下でブレの補
正が可能と判定されると、ステップＳ１３０４に進ん
で、論理制御装置１２０によつて、前記ステップＳ１３
０１で取り込んだ動きベクトルと、前記ステップＳ１３
０２で求めた動きベクトルの積分値の空間的な分布、或
は時間的な変動とに基づいて、補正対象領域が決定され
た後、ステップＳ１３０５に進む。

【００５８】このステップＳ１３０５では、論理制御装
置１２０によつて、前記ステップＳ１３０４で決定され
た補正対象領域の動きベクトル積分値が抽出され、最終
的な画像ブレ補正値が求められる。次いで、ステップＳ
１３０６に進んで、論理制御装置１２０によつて、前記
ステップＳ１３０５で求めた画像ブレ補正値が、フィー
ルドメモリ３８（図１参照）の読み出しアドレスに換算
され、実際にメモリを制御する指令が発せられ、その画
像ブレ補正値に基づいてメモリからの画像の読み出し範
囲をシフトし、画像の動きを相殺する。そして、電子ズ
ーム回路４０（図１参照）にメモリからの読み出し範囲
の大きさに応じた所望の拡大または縮小率を与える命令
が発せられ、最終的な出力画像の画角が通常の画角に戻
される。

【００５９】次に、図１４のフローチャートを参照して
本実施例に係る画像処理装置における画像ブレ判定動作
を説明する。

【００６０】まず、ステップＳ１４０１で、前記図１３
のステップＳ１３０１で取り込まれた１フィールド前と
現フィールドの画像間の同ベクトルに基づいて、Ｘ方向
及びＹ方向それぞれの空間的な乱れ強さＲＭＳＸ，ＲＭ
ＳＹが、下記（１）式に基づいて演算される。

【００６１】ＲＭＳＸ＝Σ｛ＭＶＸＡＶＥ−ＭＶＸ（ｉ，ｊ）｝²／（ｉ×ｊ−１）ＲＭＳＹ＝Σ｛ＭＶＹＡＶＥ−ＭＶＹ（ｉ，ｊ）｝²／（ｉ×ｊ−１）・・・（１）ここで、「ＭＶＸＡＶＥ」，「ＭＶＹＡＶＥ」はそれぞ
れＸ方向、Ｙ方向の動きベクトルの空間平均値、ＭＶＸ
（ｉ，ｊ）、ＭＶＹ（ｉ，ｊ）はそれぞれＸ方向、Ｙ方
向の動きベクトル、ｉ，ｊは動きベクトルのＸ方向、Ｙ
方向の個数である。

【００６２】図１４のフローチャートに戻って、ステッ
プＳ１４０２では、前記ステップＳ１４０１で演算した
Ｘ方向及びＹ方向それぞれの空間的な乱れ強さＲＭＳ
Ｘ、ＲＭＳＹの少くとも一方が、所定の閾値ＴＨ１，Ｔ
Ｈ２を越えているか否かが判定される。乱れ強さＲＭＳ
Ｘ，ＲＭＳＹの少くとも一方が、所定の閾値ＴＨ１，Ｔ
Ｈ２を越えていると判定されると、ステップＳ１４０３
に進んで、ブレ補正値が所定の閾値を越えたことを計数
する時間カウンタがインクリメントされる。また、前記
ステップＳ１４０２で乱れ強さＲＭＳＸ，ＲＭＳＹの両
方が、所定の閾値ＴＨ１，ＴＨ２を越えていないと判定
されると、ステップＳ１４０４に進んで、時間カウンタ
がリセットされる。

【００６３】ステップＳ１４０３或はステップＳ１４０
４を実行後は、ステップＳ１４０５に進んで、時間カウ
ンタの計数値が、予め設定した所定回数を越えたか否か
が判定される。前記係数値が所定回数を越えていると、
最終的には例えば激しく動き回る被写体が多く存在し動
きベクトルの乱れが多く、画像ブレ補正が不能であると
判断される。

【００６４】このように、ステップＳ１４０５で、時間
カウンタの計数値が、予め設定した所定回数を越えたと
判定されると、図４を参照して説明した第１実施例と同
一の補正領域の拡大処理が行われ、撮影者に目立たない
ように実際の画角を変化させ補正領域を拡大する処理が
実行される。

【００６５】本実施例のように、複数の動きベクトルか
ら画像のブレ補正値を求める場合には、動きベクトルが
ある程度揃っていないと、補正値の精度は著しく悪化し
てしまう。このような画像状態は、前述のように被写体
が画面内で激しく動き回っている場合や、動きベクトル
が求め難い形状の被写体が存在する場合などに発生す
る。しかし、本実施例では、このようなブレ補正が不能
な状態が発生すると、該発生を動きベクトルの空間的な
乱れ強さで適確に識別検出し、撮影者に目立たないよう
に実際の画角を変化させ補正領域を拡大する処理が実行
されるので（図６参照）、動きベクトルの乱れの小さい
被写体を画面内に位置させて、画像ブレの補正を行うこ
とが可能になる。

【００６６】このように第５実施例によると、動きベク
トルに基準量を越える乱れが生じ、画像のブレ補正が不
能な状態が発生すると、該状態になったことを適確に検
出し、該状態ではＥＶＦ上の見かけの画角を変えずに補
正領域を拡大することにより、動きベクトルの乱れの少
ない画像を画面に取り入れて、画像ブレの補正を可能に
することができる。

【００６７】ところで、第５実施例では、前記（１）式
に基づき動きベクトルの乱れの強さをＸ方向とＹ方向で
独立に求め、補正の可能性を判断したが、下記（２）式
に示すようにＸ方向とＹ方向とを同時に判断してもよ
い。

【００６８】

【数１】ここで、「ＭＶＸＡＶＥ」，「ＭＶＹＡＶＥ」はＸ方
向，Ｙ方向の動きベクトルの空間平均値、ＭＶＸ（ｉ，
ｊ），ＭＶＹ（ｉ，ｊ）は、Ｘ方向，Ｙ方向の動きベク
トル、ｉ，ｊは動きベクトルのＸ方向，Ｙ方向の個数で
ある。

【００６９】

【発明の効果】第１発明の画像処理装置によれば、被写
体の画像信号中より、画像間の動きベクトルが検出さ
れ、複数の動きベクトルの絶対値，空間分布，時間分布
等の動き情報に基づいて、画像のブレ状態が検出され、
画像のブレが検出レンジを越えるとこれを適確に検出
し、この状態ではフォーカスレンズ群、ズームレンズ群
を含む光学系の焦点距離が制御され、ブレ補正範囲が光
学的に変化し、ブレ補正範囲の制御に同期して、ビュー
ファインダの表示画像の画角が最適値に制御される。こ
のために、検出レンジを越える画像ブレが発生しても、
ビューファインダ上の見かけの画角を変えずに補正領域
が拡大され、撮影者に違和感を与えずに実時間での画像
ブレ補正が可能になる。

【００７０】また、第２発明の画像処理装置によれば、
被写体の画像信号中より、画像間の動きベクトルが検出
され、検出された動きベクトルが加算され、現画像の基
準点からの絶対偏差が演算され、該絶対偏差が、予め設
定した基準補正値を、基準回数値以上連続して越えたこ
とを検出して、補正限界領域を越えるような画像ブレの
発生を適確に検出し、この状態ではフォーカスレンズ
群、ズームレンズ群を含む光学系の焦点距離が制御さ
れ、ブレ補正範囲が光学的に変化し、ブレ補正範囲の制
御に同期して、ビューファインダの表示画像の画角が最
適値に制御される。このために、補正限界領域を越える
画像ブレが発生しても、ビューファインダ上の見かけの
画角を変えずに補正領域が拡大され、撮影者に違和感を
与えずに実時間での画像ブレ補正が可能になる。

【００７１】更に、第３発明の画像処理装置によれば、
被写体の画像信号中より、画像間の動きベクトルが検出
され、該動きベクトルの乱れが検出され、検出される動
きベクトルの乱れが、予め設定した基準値を越え画像の
ブレ補正が不能な状態が発生すると、該状態を適確に検
出し、フォーカスレンズ群、ズームレンズ群を含む光学
系の焦点距離が制御され、ブレ補正範囲が光学的に変化
し、ブレ補正範囲の制御に同期して、ビューファインダ
の表示画像の画角が最適値に制御される。このために、
動きベクトルの乱れが大きくて該動きベクトルの検出が
できない場合に、ビューファインダ上の見かけの画角を
変えずに補正領域が拡大され、動きベクトルの乱れの少
ない画像を画面に取り入れて、実時間での画像ブレ補正
が可能になる。

【図面の簡単な説明】

【図１】本発明の第１実施例に係る画像処理装置の構成
を示すブロック図である。

【図２】同画像処理装置における論理制御装置の動作を
示すフローチャートである。

【図３】同画像処理装置における画像ブレ判定動作を示
すフローチャートである。

【図４】同画像処理装置における表示画像補正動作を示
すフローチャートである。

【図５】同画像処理装置における動きベクトルの説明図
である。

【図６】同画像処理装置における補正領域変更動作の説
明図である。

【図７】本発明の第２実施例に係る画像処理装置におけ
る画像ブレ判定動作を示すフローチャートである。

【図８】本発明の第３実施例に係る画像処理装置の動作
を示すフローチャートである。

【図９】同画像処理装置における画像ブレ判定動作を示
すフローチャートである。

【図１０】同画像処理装置における補正値算出の説明図
である。

【図１１】同画像処理装置における補正限界領域の説明
図である。

【図１２】本発明の第４実施例に係る画像処理装置にお
ける補正値算出の説明図である。

【図１３】本発明の第５実施例に係る画像処理装置にお
ける論理制御装置の動作を示すフローチャートである。

【図１４】同画像処理装置における画像ブレ判定動作を
示すフローチャートである。

【符号の説明】

２２２水平走査期間遅延回路２４色信号処理回路２８エンハンサ３０ガンマ補正回路３２バンドパスフィルタ３４動きベクトル検出回路（ベクトル検出手段）１２０論理制御回路（ブレ検出手段、ブレ補正範囲制
御手段、画角制御手段、演算手段、乱れ検出手段）

Claims

【特許請求の範囲】

【請求項１】フォーカスレンズ群とズームレンズ群と
を含む光学系を介して得られる被写体からの光信号を電
気信号に変換して得られる画像信号中より画像間の動き
ベクトルを検出し、実時間でそのブレを補正する画像処
理装置において、時系列に連続した画像間の相関演算を
行い画像間の動きベクトルを検出するベクトル検出手段
と、該ベクトル検出手段により検出された複数の動きベ
クトルの絶対値，空間分布，時間分布等の動き情報に基
づいて画像のブレ状態を検出するブレ検出手段と、該ブ
レ検出手段により画像が予め設定した所定値を越えてブ
レていると検出されたとき前記光学系の焦点距離を制御
してブレ補正範囲を光学的に変化させるブレ補正範囲制
御手段と、該ブレ補正範囲制御手段の制御に同期してビ
ューファインダの表示画像の画角を制御する画角制御手
段とを具備したことを特徴とする画像処理装置。
【請求項２】フォーカスレンズ群とズームレンズ群と
を含む光学系を介して得られる被写体からの光信号を電
気信号に変換して得られる画像信号中より画像間の動き
ベクトルを検出し、実時間でそのブレを補正する画像処
理装置において、時系列に連続した画像間の相関演算を
行い画像間の動きベクトルを検出するベクトル検出手段
と、該ベクトル検出手段により検出された動きベクトル
を加算して現画像の基準点からの絶対偏差を演算する演
算手段と、該演算手段により演算された絶対偏差の予め
設定した基準補正量を連続して越える回数が予め設定し
た基準回数値を上回ったとき前記光学系の焦点距離を制
御してブレ補正範囲を光学的に変化させるブレ補正範囲
制御手段と、該ブレ補正範囲制御手段の制御に同期して
ビューファインダの表示画像の画角を制御する画角制御
手段とを具備したことを特徴とする画像処理装置。
【請求項３】フォーカスレンズ群とズームレンズ群と
を含む光学系を介して得られる被写体からの光信号を電
気信号に変換して得られる画像信号中より画像間の動き
ベクトルを検出し、実時間でそのブレを補正する画像処
理装置において、時系列に連続した画像間の相関演算を
行い画像間の動きベクトルを検出するベクトル検出手段
と、該ベクトル検出手段により検出される動きベクトル
の乱れを検出する乱れ検出手段と、該乱れ検出手段によ
り検出される動きベクトルの乱れが予め設定した基準量
を越えたとき前記光学系の焦点距離を制御してブレ補正
範囲を光学的に変化させるブレ補正範囲制御手段と、該
ブレ補正範囲制御手段の制御に同期してビューファイン
ダの表示画像の画角を制御する画角制御手段とを具備し
たことを特徴とする画像処理装置。