JP4258383B2 - 撮像装置 - Google Patents

Description

本発明は映像信号から動きベクトルを検出し、この動きベクトルに応じて手ぶれ補正を行う光学ズーム付き撮像装置に関するものである。

近年、ビデオカメラやデジタルスチルカメラに代表される撮像装置において、小型化、高倍率化が進み、手ぶれによる画像の安定性が課題となってきており、手ぶれ補正機能を有するものが大半を占めている。

また、更なる小型化、及び低コスト化を進める上で、手ぶれの動き情報を映像信号から得る方式も製品化されている。

しかしながら、映像信号から動きベクトルを得る方式の場合、角速度センサーに代表されるセンサーからぶれ情報を得る方式と異なり、光学ズームが動作時においても、被写体が変化することで動きベクトルが発生し、誤動作の要因となる。

そこで、従来の第１例の撮像装置では、特開平１１−１７７８７６号公報にて説明されているように、光学ズーム動作時は、動き検出回路の出力を無視するように制御され、誤動作を防止している。

また、従来の第２例の撮像装置では、特許第２５０６４６９号公報にて説明されている動きベクトル検出装置を搭載した場合での動作について図７から図９を使用して説明する。

図７において、１は光学ズーム機能を有するレンズ、２は前記レンズ１のズーム機能で広角動作、もしくは望遠動作の制御を行うズームスイッチ、３は前記ズームスイッチ２に掛かる圧力により光学ズームの速度を設定するズーム速度設定回路、４は前記レンズ１を通して入力された被写体情報を有する光学信号を、２次元固体撮像素子で電気信号に変換し、さらに電気信号に処理を施し映像信号として出力する撮像部、５は前記映像信号を複数の領域に分割し、夫々の領域で動きベクトルを検出する動きベクトル検出回路、６は夫々の領域で検出した動きベクトルが有効かどうかを判断する信頼性判定回路、７は前記信頼性判定回路６にて有効と判断された領域のベクトルから画面全体のベクトルを決定する差分ベクトル決定回路、８は前記信頼性判定回路６にて有効と判断された動きベクトルの中で分散の度合いを発散度というもので算出／数値化を行う発散度演算回路、１９は前記発散度から利得を決定する利得決定回路、１０は前記差分ベクトルに対し、前記利得を乗じる処理を行う利得制御回路である。

以上の構成からなる従来の第２例の撮像装置の動作原理を図７から図９を用いて、説明する。

まずは、レンズ１を通して得られる被写体の情報を有する光学信号を撮像部４で映像信号に変換する。そして、動きベクトル検出回路５にて、１画面を複数領域に分割し前記映像信号に含まれている撮像装置の手ぶれ情報を、夫々の領域で動きベクトルとして抽出する。

なお、動きベクトル検出回路５の代表的な処理としては、現時間における映像信号と、１フィールド前、もしくは１フレーム前など２次元固体撮像素子から出力する単位時間前の映像信号とで相関演算を行うことで算出する。なお、具体的な処理方法については特開昭６１−２６９４７５号公報や特開平２−２４１１８８号公報にて詳細に説明されているために、ここでは割愛する。

ここで、図８（ａ）、図８（ｂ）に各領域で検出された動きベクトルの様子を示す。

図８では、領域を４分割とし、図８（ａ）ではぶれが右上の方向で検出された場合を或時刻の動きベクトルを示し、図８（ｂ）では、被写体が画面の中でランダムに動いた場合の或時刻の動きベクトルを示す。

図８（ａ）の状態では、各領域でのベクトルが同一に近い方向、且つ大きさで発生しているために、４つの領域のどの動きベクトルを選択し補正を行っても、意図通りに手ぶれ補正が可能である。

しかし、図８（ｂ）の場合、各領域での動きベクトルは、方向が一律でないために、誤った差分ベクトルを検出する可能性があり、誤動作を要因となっていた。
そこで、従来の第２例の撮像装置では、動きベクトル検出回路５にて、各領域から検出された動きベクトルから、信頼性判定回路６で有効であると判断された領域の動きベクトルを用いて、式（１）で示した算術処理を行い、発散度として、動きベクトルの分散度合いを数値化を行う。

式（１）… 発散度＝｛Σ｜（各領域の動きベクトルの平均値）
−（各領域の動きベクトル）｜｝／（有効であると判断された領域数）
式（１）の分子で、「各領域の動きベクトル」とは、信頼性判定回路６にて有効であると判断された領域のベクトルである。

そして、発散度に基づき利得決定回路１９にて図９で示すような特性から利得を求め、利得制御回路１０にて、差分ベクトルに前記利得を乗じて、手ぶれ補正を行うベクトルとする。

以上の制御を施すことにより、分散度が大きい、即ち発散度が大きい時は、０、もしくは０に近い値に利得を設定することで、差分ベクトルを抑圧し、誤動作を防止している。
特開平１１−１７７８７６号公報 特許第２５０６４６９号公報

しかしながら、従来の第１の撮像装置のような構成では、撮像装置の光学ズームを低速で動作させた時など、手ぶれが気になるような場合においても、手ぶれ補正が効かないという問題点を有していた。

また、従来の第２の撮像装置のような構成では、撮像装置の光学ズームを動作させた場合、光学ズームにより発散度が大きくなり、動きベクトルに乗算する利得が０となり手ぶれ補正が効かないという問題点を有していた。

本発明は上記問題点を鑑み、比較的低速ズーミング中で、ぶれによる不安定さが目立つ場合でも、手ぶれ補正が可能となり安定な画像を得ることができる撮像装置を提供することを目的とする。

上記問題点を解決するために本発明の第１の撮像装置は、被写体の大きさを光学ズーム機能により変化することを可能にするレンズと、前記被写体の情報を有する光学信号を映像信号として出力する撮像部と、前記光学ズームの倍率を検出するズーム位置検出回路と、前記映像信号を複数の領域に分けて夫々の領域にて動きベクトルを検出する動きベクトル検出回路と、前記各領域でも動きベクトルの有効性を判断する信頼性判定回路と、前記信頼性判定回路で有効とした領域の中から画面全体の動きベクトルを差分ベクトルとして出力する差分ベクトル決定回路と、前記各領域の信頼性判定回路にて有効と判定された領域の動きベクトルから、画面全体の動きベクトルの分散度合いを示す発散度を演算する発散度演算回路と、前記発散度より０倍から１倍以下の範囲で利得を決定する利得決定回路と、前記利得決定回路で求めた利得を前記差分ベクトルに乗算する利得制御回路を有し、前記利得決定回路にて、光学ズームが動作していない時、又は光学ズーム速度が比較的高速で、ぶれによる不安定さが目立たない場合と、光学ズーム速度が比較的低速で、ぶれによる不安定さが目立つ場合とで、前記発散度から求める前記利得特性を切り替えることを特徴とする構成である。

また本発明の第２の撮像装置は、被写体の大きさを光学ズーム機能により変化することを可能にするレンズと、前記被写体の情報を有する光学信号を映像信号として出力する撮像部と、前記光学ズームの倍率を検出するズーム位置検出回路と、前記映像信号を複数の領域に分けて夫々の領域にて動きベクトルを検出する動きベクトル検出回路と、前記各領域でも動きベクトルの有効性を判断する信頼性判定回路と、前記信頼性判定回路で有効とした領域の中から画面全体の動きベクトルを差分ベクトルとして出力する差分ベクトル決定回路と、前記差分ベクトルを時間積分し、積分ベクトルとして出力する積分ベクトル算出回路と、前記各領域の信頼性判定回路にて有効と判定された領域の動きベクトルから、画面全体の動きベクトルの分散度合いを示す発散度を演算する発散度演算回路と、前記発散度より０倍から１倍以下の範囲で利得を決定する回路と、前記利得決定回路で求めた利得を前記積分ベクトルに乗算する利得制御回路を有し、前記利得決定回路にて、光学ズームが動作していない時、又は光学ズーム速度が比較的高速で、ぶれによる不安定さが目立たない場合と、光学ズーム速度が比較的低速で、ぶれによる不安定さが目立つ場合とで、前記発散度から求める前記利得特性を切り替えることを特徴とする構成である。

本発明の構成により、従来の構成では比較的低速ズーミング中で、ぶれによる不安定さが目立つ場合でも、手ぶれ補正が可能となり安定な画像を提供することが出来る。

本発明の請求項１〜２に記載の発明は、被写体の大きさを光学的に変化させること可能にするレンズと、前記被写体の情報を有する光学信号を映像信号として出力する撮像手段と、前記光学ズームの倍率を検出するズーム位置検出手段と、前記映像信号を複数の領域に分けて夫々の領域にて動きベクトルを検出する動きベクトル検出手段と、前記各領域でも動きベクトルの有効性を判断する信頼性判定手段と、前記信頼性判定手段で有効とした領域の中から画面全体の動きベクトルを決定する差分ベクトル決定手段と、前記各領域の信頼性判定手段にて有効と判定された領域の動きベクトルから画面全体の動きベクトルの分散度合いを示す発散度を演算する発散度演算手段と、前記発散度演算手段からの発散度より０倍から１倍以下の範囲で利得を決定する利得決定手段と、前記利得決定手段で求めた利得を動きベクトルに乗算する利得制御手段とを有し、前記利得決定手段にて、光学ズームが動作していない時又は光学ズーム速度が比較的高速でぶれによる不安定さが目立たない場合と、光学ズーム速度が比較的低速でぶれによる不安定さが目立つ場合とで、前記発散度から求める前記利得特性を切り替えるものであり、これにより、発散度と利得の特性において複数の特性を有し、光学ズームが比較的低速である場合の特性として、利得の下限値を０にするのではなく、光学ズーム動作時の手ぶれ効果が認識出来る設定にすることで、低速ズーミング中でのぶれによる不安定さを低減し、安定な画像を提供することが可能となる。

（実施の形態１）
本発明の第１例の撮像装置について図１から図４を使用して説明する。

図１は、本発明の撮像装置のブロック図であり、図において１は光学ズーム機能を有するレンズ、２は前記レンズ１のズーム機能で広角動作もしくは望遠動作の制御を行うズームスイッチで、押釦式のスイッチやレバーで構成されていることが多い。３は前記ズームスイッチ２に掛かる圧力により光学ズームの速度を設定するズーム速度設定回路で、本実施の形態ではズームスイッチ２にかかる圧力により速度制御しているが、必ずしも圧力に限定されるものではない。４は前記レンズ１を通して入力された被写体情報を有する光学信号を２次元固体撮像素子で電気信号に変換しさらに電気信号に処理を施し映像信号として出力する撮像手段である撮像部で、一般にはＣＣＤやＣＭＯＳセンサーが用いられる。５は撮像部４からの映像信号を複数の領域に分割し夫々の領域で動きベクトルを検出する動きベクトル検出手段である動きベクトル検出回路、６は動きベクトル検出回路５で夫々の領域で検出した動きベクトルが有効かどうかを判断する信頼性判定手段である信頼性判定回路、７は信頼性判定回路６にて「有効」と判断された領域のベクトルから画面全体のベクトルを決定する差分ベクトル決定手段である差分ベクトル決定回路、８は信頼性判定回路６にて「有効」と判断された動きベクトルの中で分散の度合いを「発散度」というもので算出／数値化を行う発散度演算手段である発散度演算回路、１０は差分ベクトル決定回路７からの差分ベクトルに対し利得決定回路９（後述する）からの利得を乗じる処理を行う利得制御手段である利得制御回路、９は発散度演算回路８で算出された発散度から利得を決定する利得決定手段である利得決定回路、１１はレンズ１における光学ズーム位置を検出するズーム位置検出回路であり、具体的にはズームレンズの光軸方向の位置を検出したり、既に数値化されたズーム位置情報に基づきズーム位置を検出する。

以下、従来の第２例と異なる内容を中心に動作を説明する。従来第２例と同様にレンズ１、撮像部４、動きベクトル検出回路５、発散度演算回路８を経由して、差分ベクトルの分散度、すなわち発散度を算出し、利得決定回路９に入力する。

この後、利得決定回路９にて利得を算出するが、発散度演算回路８からの発散度から利得を求める方法が、従来の第２例と異なる点である。

図２に利得決定回路９の内部ブロック図を示す。図２において、２１及び２２は発散度に対する利得の特性を保持する特性Ａ保持部及び特性Ｂ保持部で、２１は特性Ａを保持し２２は特性Ｂを保持している。図２で明確なように、従来は特性Ａのみで利得を求めていたのに対し、本実施の形態１では特性Ｂが示すように、発散度が大きくなってもゲインを０より大きく、１倍より小さい値（ここれは“α”とする）でクリップが掛かるような特性で、利得を算出する制御を設ける。２４は光学ズーム速度判定部、２４は光学ズーム速度情報及び光学ズーム位置情報から光学ズーム速度を判断してセレクタ２３を切り替えるよう制御する光学ズーム速度判定部、２３は光学ズーム速度判定部２４からの制御により特性Ａ保持部２１か特性Ｂ保持部２２かを切り換えて利得を出力する選択手段であるセレクタである。

具体的な制御手段としては、まずは、光学ズーム速度情報により、光学ズーム動作中において、ふれによる画像の不安定さが目立つような比較的遅いズーム速度か、そうでないかを判断し、前者の場合（低速ズーム）は特性Ｂを選択し、後者（高速ズーム）の場合は特性Ａを選択する。

ここで、ズーム位置情報を必要としている理由は、例えば前記光学ズーム速度情報として、図３、図４に示すように光学ズーム速度の制御をズームスイッチ２に掛かる圧力により制御している場合、ズームスイッチ２には圧力が掛かり、ズーム速度設定回路３からは或ズーム速度でもって光学ズーム動作の指令をレンズ１に出力した時、光学ズーム位置が望遠端もしくは広角端まで達した場合は、光学ズーム動作はしない。よって、この時は、本制御においては光学ズームがオフ状態と同じであるために、従来と同様に特性Ａを選択する。

以上のように本実施の形態によれば、光学ズーム速度が比較的低速で、手ぶれの不安定さが目立つ状況においても、従来では、ほぼ強制的に発散度から求める利得が０になり手ぶれ補正の効果が出なかったのに対し、本発明では、手ぶれ補正の効果が認められるように利得下限値（図２特性Ｂでのα）とすることで、良好な画像を提供することが可能となる。

（実施の形態２）
本発明の第２実施の形態の撮像装置について図５を使用して説明する。

図５は、本実施の形態の撮像装置のブロック図であり、レンズ１〜ズーム位置検出回路１１は、本発明の実施の形態１と同一の機能を有するブロックである。

実施の形態１と異なる点は、実施の形態１は発散度から求めた利得を或単位時間の期間での動きベクトル、すなわち差分ベクトルに制御するのに対し、実施の形態２では、差分ベクトルを時間積分した積分ベクトルに制御する点である。よって、利得制御回路１０は機能としては実施の形態１と同一であるが、入力信号が差分ベクトルから積分ベクトルに変わるという点は異なる。

ここで、差分ベクトルと積分ベクトルについて、違いについて図６を使用して説明する。まず或基準時刻の画像の様子を図６（ａ）に示す。次に被写体である“Ａ”が或単位時間の間に前記基準時刻から手ぶれによって右上の方向に動いた様子を示したのが図６（ｂ）である。よって、差分ベクトルは右上の方向に発生する。

次に図６（ｂ）の状態から、やや左下方向に、同じく或単位時間の期間に手ぶれにより動いた様子を示したのが図６（ｃ）であり、図６（ｂ）の状態からは、やや左下方向に差分ベクトルが発生する。以下、図６（ｄ）は図６（ｃ）の状態から左やや上方向に手ぶれした状態図である。

以上のように、図６（ａ）から図６（ｂ）、図６（ｂ）から図６（ｃ）、図６（ｃ）から図６（ｄ）と各単位時間での差分ベクトルを時間的に積分すると、図６（ａ）から図６（ｄ）は左下方向に動いたことになり、これが積分ベクトルである。そしてこの積分ベクトルを使用して、メモリなどを利用して手ぶれ補正を行うのである。

よって、実施の形態２の撮像装置のように積分ベクトルに対して利得制御を施すことは、実施の形態１で説明した差分ベクトルに施す制御と同様の効果が得られることになる。

なお、本発明における利得決定回路９の特性として、実施の形態１及び２ともに、２パターンの特性から選択する制御で説明したが、光学ズームの速度などの情報から、利得特性のパターン数を増やすことで、更なる性能向上が図ることが可能となる。

本発明の構成で説明した制御をビデオカメラなどのように動画を主眼においた機器に導入することにより、これらの機器を使用して、撮影者がある特定の被写体（人物や、花など）をターゲットとして、画角を調整しながら撮影する場合などに効果を発揮することが出来る。

本発明の実施の形態１における基本構成を示すブロック図 本発明の実施の形態１における利得決定回路９の内部ブロック図 本発明の実施の形態１における３つめの形態での光学ズームの速度制御にて、ズームスイッチに掛かる圧力とズーム速度の関係を示す第１の特性図 本発明の実施の形態１における３つめの形態での光学ズームの速度制御にて、ズームスイッチに掛かる圧力とズーム速度の関係を示す第２の特性図 本発明の実施の形態２における基本構成を示すブロック図 同実施の形態における差分ベクトルと積分ベクトルを示した模式図 従来における基本構成を示すブロック図 従来の動きベクトルの分散度を示した模式図 従来における利得決定回路９での入出力特性図

符号の説明

１ レンズ
２ ズームスイッチ
３ ズーム速度設定回路
４ 撮像部
５ 動きベクトル検出回路
６ 信頼性判定回路
７ 差分ベクトル決定回路
８ 発散度演算回路
９ 利得決定回路
１ 利得制御回路
１１ ズーム位置検出回路

Claims (3)

1. 被写体像の大きさを光学ズームにより変化させることが可能なレンズと、
   前記レンズでとらえた光学信号を映像信号として出力する撮像手段と、
   前記光学ズームの速度を設定するズーム速度設定手段と、
   前記映像信号を複数の領域に分けて各領域での動きベクトルを検出する動きベクトル検出手段と、
   前記各領域での動きベクトルの有効性を判断する信頼性判定手段と、
   前記信頼性判定手段で有効と判断した動きベクトルから画面全体の動きベクトルである差分ベクトルを決定する差分ベクトル決定手段と、
   前記信頼性判定手段で有効と判断した動きベクトルから前記差分ベクトルの発散度を演算する発散度演算手段と、
   前記発散度と前記ズーム速度より利得を決定する利得決定手段と、
   前記利得を前記差分ベクトルに乗算する利得制御手段と、
   を有することを特徴とする撮像装置。
2. 被写体像の大きさを光学ズームにより変化させることが可能なレンズと、
   前記レンズでとらえた光学信号を映像信号として出力する撮像手段と、
   前記光学ズームの速度を設定するズーム速度設定手段と、
   前記映像信号を複数の領域に分けて各領域での動きベクトルを検出する動きベクトル検出手段と、
   前記各領域での動きベクトルの有効性を判断する信頼性判定手段と、
   前記信頼性判定手段で有効と判断した動きベクトルから画面全体の動きベクトルである差分ベクトルを決定する差分ベクトル決定手段と、
   前記信頼性判定手段で有効と判断した動きベクトルから前記差分ベクトルの発散度を演算する発散度演算手段と、
   前記発散度と前記ズーム速度より利得を決定する利得決定手段と、
   前記差分ベクトルを時間積分した積分ベクトルを出力する積分ベクトル算出手段と、
   前記利得を前記積分ベクトルに乗算する利得制御手段と、
   を有することを特徴とする撮像装置。
3. 前記利得決定手段は、
   前記ズーム速度が０又は高速の場合と、
   前記ズーム速度が低速の場合とで、
   前記利得を切り替える、
   ことを特徴とする請求項１または２に記載の撮像装置。

Images