JP4125331B2

JP4125331B2 - 撮像装置及びその制御方法

Info

Publication number: JP4125331B2
Application number: JP2006159141A
Authority: JP
Inventors: 義浩本間
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-06-07
Filing date: 2006-06-07
Publication date: 2008-07-30
Anticipated expiration: 2026-06-07
Also published as: US20070286586A1; JP2007329686A; US7684684B2

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、オートフォーカス機能を備える撮像装置及びその制御方法に関する。

従来から、デジタルカメラやデジタルビデオカメラなどの撮像装置において、最適な合焦状態で撮影を行うために、画面の中央部分を焦点検出領域としてその内部にある被写体にピントを合わせるオートフォーカス方式が広く採用されている。そのピント合わせの方式として、焦点検出領域に対応する撮像出力に含まれる高周波数成分が合焦位置において最大になることを利用して合焦状態を検出する方式などが知られている（例えば、特許文献１参照）。

また、前述のオートフォーカス方式をスチルカメラに適用する場合などは、迅速なフォーカシングを行うために、例えば、特許文献２に以下の方法が開示されている。まず、フォーカシングレンズを無限遠距離にピントが合う位置（以下、「無限遠位置」）から至近距離にピントが合う位置（以下、「至近位置」）まで移動させながら、所定間隔で画像を撮像する。このように撮像して得られる複数の画像それぞれの画像情報に基づいて合焦判定のための評価値を求め、その評価値が最大となった位置にフォーカシングレンズを移動させて撮影記録を行う。

特開平３−１６６８号公報特開２０００−１５２０６５号公報

しかしながら、前述のオートフォーカス方式には、以下のような問題がある。すなわち、オートフォーカス用の評価値を求める為に複数画像を撮像している間に、一画面の内焦点検出領域内にある被写体が手ぶれなどにより焦点検出領域から外れると、正しい評価値を求めることができず、ピントずれ等が起きることである。

ここで、上述した問題について図５を参照して説明する。

図５（ａ）は手ぶれが無いときの被写体と背景の位置関係を示し、図５（ｂ）は手ぶれした時の位置関係を示している。図５（ａ）に示す例では、人物の周りで建物の内側に焦点検出領域がある。これに対し、図５（ｂ）では、手ぶれにより被写体に対して焦点検出領域が右方向にずれ、焦点検出領域は建物の内側からはみ出して、右側の外壁が含まれている。

図６は、図５に示す被写体について評価値を取得したときのフォーカスレンズ位置と評価値との関係を示すグラフを示す。図６（ａ）は手ぶれが無い時のグラフであり、この場合は被写体にピントがあったときに評価値がピークになっている。これに対し、図６（ｂ）は、背景の建物にピントが合うフォーカスレンズ位置で手振れが生じ、図５（ｂ）に示すように焦点検出領域がずれた場合のグラフである。この場合は、ずれた焦点検出領域にコントラストの高い建物の外壁部分が含まれる。そのために、建物にピントがあった時に評価値がピークになってしまい、合焦位置を誤って検出してしまう。

上述した問題に対し、手ぶれ補正機能を用いて、画面をシフトすることで対応する方式が考えられる。しかしながら、手ぶれ補正は、表示される映像のぶれを撮影者や観測者から見て違和感がないように補正する処理である。また、画面全体の映像のぶれを除去する技術である。フォーカシングする際の焦点検出領域の被写体ぶれを除去するものでは無いため、前述の課題が解決されるものではない。
本発明は上記問題点を鑑みてなされたものであり、手ぶれが起きた場合に、焦点調節精度をより向上させることを目的とする。

上記目的を達成するために、一画面の画像データの内、焦点調節領域に対応する領域の画像データに基づいて焦点調節を行う本発明の撮像装置は、手ぶれを検出して、第１の手ぶれ補正データと、当該第１の手ぶれ補正データとは異なる第２の手ぶれ補正データとを生成する手ぶれ検出手段と、前記第１の手ぶれ補正データに基づいて、前記画面に対する前記焦点調節領域を変更する焦点調節領域変更手段と、前記第２の手ぶれ補正データに基づいて、撮像して得られた画像データを補正する手ぶれ補正手段とを有し、前記第１の手ぶれ補正データに基づく補正は、前記第２の手ぶれ補正データに基づく補正よりも撮像装置の手ぶれに対して相関が高いことを特徴とする。

また、一画面の画像データの内、焦点調節領域に対応する領域の画像データに基づいて焦点調節を行う撮像装置の本発明の制御方法は、手ぶれを検出して、第１の手ぶれ補正データと、当該第１の手ぶれ補正データとは異なる第２の手ぶれ補正データとを生成する手ぶれ検出ステップと、前記第１の手ぶれ補正データに基づいて、前記画面に対する前記焦点調節領域を変更する焦点調節領域変更ステップと、前記第２の手ぶれ補正データに基づいて、撮像して得られた画像データを補正する手ぶれ補正工程とを有し、前記第１の手ぶれ補正データに基づく補正は、前記第２の手ぶれ補正データに基づく補正よりも前記撮像装置の手ぶれに対して相関が高いことを特徴とする。
また、別の構成によれば、一画面の画像データの内、焦点調節領域に対応する領域の画像データに基づいて焦点調節を行う本発明の撮像装置は、第１の手ぶれ補正データと、当該第１の手ぶれ補正データとは異なる第２の手ぶれ補正データとを生成する手ぶれ検出手段と、前記第１の手ぶれ補正データに基づいて、前記画面に対する前記焦点調節領域を変更する焦点調節領域変更手段と、前記第２の手ぶれ補正データに基づいて、被写体光に対して撮像手段への入射光をシフトさせて手ぶれを補正する手ぶれ補正手段とを有し、前記焦点検出領域の変更は、前記入射光のシフトよりも撮像装置の手ぶれに対して相関が高いことを特徴とする。
また、一画面の画像データの内、焦点調節領域に対応する領域の画像データに基づいて焦点調節を行う撮像装置の本発明の制御方法は、手ぶれを検出して、第１の手ぶれ補正データと、当該第１の手ぶれ補正データとは異なる第２の手ぶれ補正データとを生成する手ぶれ検出ステップと、前記第１の手ぶれ補正データに基づいて、前記画面に対する前記焦点調節領域を変更する焦点調節領域変更ステップと、前記第２の手ぶれ補正データに基づいて、被写体光に対して撮像手段への入射光をシフトさせて手ぶれを補正する手ぶれ補正工程とを有し、前記第１の手ぶれ補正データに基づく補正は、前記第２の手ぶれ補正データに基づく補正よりも前記撮像装置の手ぶれに対して相関が高いことを特徴とする。

本発明によれば、手ぶれが起きた場合に、焦点調節精度をより向上させることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の機能構成を示すブロック図である。

図１において、２はフォーカスレンズであり、図では便宜上１枚のレンズにより示しているが、１枚または複数枚のレンズで構成される。４はフォーカスレンズ２を駆動するためのフォーカスモータ、１０は被写体光学像を変換して電気的な画像信号を出力する、ＣＣＤセンサやＣＭＯＳセンサなどの撮像素子である。１２は撮像素子１０から出力されるアナログ画像信号をデジタル画像信号に変換するためのＡ／Ｄ変換器である。１４はＤＲＡＭなどで構成され、Ａ／Ｄ変換器１２からのデジタル画像信号を一時的に蓄えるバッファ機能を有するフレームメモリである。通常は、ＤＲＡＭとの間にメモリコントローラを介しデータの書き込みや読み出しを行う。

１６は、Ａ／Ｄ変換器１２から出力されるデジタル画像信号から簡易的な輝度信号を生成し、その輝度信号を用いて、手ぶれを補正するための手ぶれ補正信号を後述の焦点検出領域指定部２８や手ぶれ補正処理部１８へ出力する手ぶれ検出部である。１８は、手ぶれ検出部１６からの手ぶれ補正信号を用いて、フレームメモリ１４に一時的に記憶された画像データに対して手ぶれ補正処理を行う手ぶれ補正処理部である。

２０は、手ぶれ補正処理部１８により手ぶれ補正された画像データをＹＵＶ形式に現像するための現像処理部で、例えばデジタルカメラで一般的な記録フォーマットであるＪＰＥＧデータを生成する前段階のＹＵＶデータを生成する。２２は、画面の映像をＣＲＴやカラーＬＣＤ等に、ライブ画像を表示したり、撮影後にレビュー表示したりするための表示部である。２４は、信号処理部２０からのＹＵＶデータをＪＰＥＧ形式などに圧縮したり、その逆に後述する記録部２６を介して読み出された圧縮データに伸長したりする圧縮伸長部である。２６は、圧縮伸長部２４によりＪＰＥＧ圧縮処理された画像データをＣＦやＳＤカードなどの記録メディアへ書き込んだり、記録メディアに記録されている画像データを読み出したりする記録部である。

２８は、撮像する被写体において焦点を合わせる焦点検出領域を指定するための焦点検出領域指定部である。この焦点検出領域指定部２８では、手ぶれ検出部１６からの手ぶれ情報に基づいて焦点検出領域を指定する。３０は、フレームメモリ１４に記憶された画像データの内、焦点検出領域指定部２８から指定された焦点検出領域に対応する画像データに基づいて合焦状態を判断するための評価値を取得するためのフォーカス用評価値取得部である。３２は、フォーカス用評価値取得部３０からの評価値を受けて、合焦位置を判定し、合焦位置へのフォーカスモータの移動を指示するための合焦制御部である。３４は、合焦制御部３２からの指示により、フォーカスモータ４を駆動制御するためのフォーカスモータ駆動部である。

次に、本第１の実施形態における手ぶれ検出部１６の処理について説明する。

手ぶれ検出部１６は、Ａ／Ｄ変換器１２からデジタル画像データを受け取り、そのデジタル画像データにローパスフィルタをかけて簡易的な輝度信号を生成する。その輝度信号について、例えばブロックマッチング法により、１画面を複数に分割した各領域（マクロブロック）毎に画像の動きベクトルを検出する。そして、各マクロブロックの動きベクトルから手振れによる背景画像の手ぶれベクトルを検出して、手ぶれ補正用のデータを生成する。又更に、前述の手ぶれベクトルを検出する方法は、まず画像全体の移動ベクトルと部分的な動きベクトルをそれぞれ検出する。この画像全体の移動ベクトルから部分的な動きベクトルを排除した移動ベクトルを手ぶれによる画面の変動を表す手ぶれベクトルとする。これに基づき、手ぶれ検出部１６は基準画像に対して１画素未満での手ぶれ情報を得て、焦点検出領域指定部２８で使用する第１の手ぶれ補正データと、手ぶれ補正処理部１８で使用するための第２の手ぶれ補正データの２種類の補正データを生成する。

焦点検出領域指定部２８で使用する第１の手ぶれ補正データは、カメラの手ぶれを打ち消すように手ぶれ補正する方向へ焦点検出領域を画面に対して移動させるための補正データである。これに対し、手ぶれ補正処理部１８で使用する第２の手ぶれ補正データは、表示部２２で補正画像を表示したり、記録部２６にて補正画像を記録したりするために画面を移動させるものである。

人が手に持って撮影した場合の手ぶれには、高周波の周期の手ぶれと低周波の周期の手ぶれなどが混ざり合っており、それをそのまま補正すると撮影者が見る映像としては様々な弊害が生じてくる。例えば、カメラをパンした場合などに、そのまま手ぶれを補正すると手ぶれの補正限界まで画像がシフトし、手ぶれ補正限界地点でいきなり手ぶれ補正しきれなくなって、急激に画像が切り替わってしまう。その急激な画像切り替えは、非常に違和感のある撮像領域としての映像表示になって、動画像の品位を著しく低下させてしまうことになる。従って、表示や記録用の画像データには、そのまま手ぶれ補正を行うのでなく、高周波の細かい手ぶれなどは補正し、パンなどの低周波の画像の移動などは僅かな手ぶれを補正しながら、自然な手ぶれ補正を行うのである。

一方、先述の焦点検出領域指定２８で行われる手ぶれ補正は、上述したような「撮影者が見る」動画像の品位とは直接関係がない。すなわち、画面の変動を抑え、別言すれば焦点検出領域を被写体に対して固定した状態とすることが望ましく、その意味において完全な手ぶれ補正を行う方が良い。

図２（ａ）は手ぶれが無いときの被写体と背景の位置関係を示すとともに、画面９９と焦点検出領域１００の位置関係を示す。また、図２（ｂ）は手ぶれしたときで、焦点検出領域も手ぶれを補正する方向に移動した場合の位置関係を示すとともに、画面９９と焦点検出領域１００、１００’との位置関係を示している。図２（ａ）に示す例では、人物の周りで建物の内側に焦点検出領域１００がある。これに対し、図２（ｂ）は手ぶれが合った場合に、焦点検出領域１００を図２（ａ）に示す位置から、手ぶれと逆方向の位置１００’に画面９９に対して移動した様子を示している。図２（ｂ）のように手ぶれと逆方向に焦点検出領域を画面９９に対して移動させることにより、被写体と焦点検出領域との関係は相対的にずれを抑えることができる。したがって、焦点検出領域は建物の内側からはみ出すことなく、右側の外壁は含まれなくなる。このように、手ぶれ検出部１６により得られる第１の手ぶれ補正データに基づいて、焦点検出領域指定部２８は、手ぶれ分を相殺するように焦点検出領域を移動させる。この第１の手ぶれ補正データに基づく焦点検出領域の手ぶれ補正は、第２の手ぶれ補正データに基づく画面の手ぶれ補正よりも、強く手ぶれ分を相殺する。また、この第１の手ぶれ補正データに基づく焦点検出領域の手ぶれ補正は、第２の手ぶれ補正データに基づく画面の手ぶれ補正よりも、実際の手ぶれに対して敏感に手ぶれを補正する。

図３は、図２に示す被写体についてフォーカシングレンズの位置を移動しながら複数画像を撮像して評価値を取得したときのフォーカスレンズ位置と評価値との関係を示すグラフを示す。図３（ａ）は手ぶれが無い時のグラフであり、この場合は被写体にピントがあったときに評価値がピークになっている。また、図３（ｂ）は、フォーカシングレンズ位置が背景の建物にピントが合う位置にある時に手振れが生じたが、手ぶれ補正により被写体と焦点検出領域の相対的関係がほぼ変化しない様子を示すグラフである。

上記の通り本第１の実施形態によれば、表示及び記録用には高周波のぶれといった限定的な画面の変動分を補正する手ぶれ補正データを生成する。また、焦点調節領域の位置を補正するためには実際の手ぶれに対して追従性の高いより相関の高い手ぶれ補正データを生成する。そして、表示及び記録用の画像は撮影者などの観者に違和感の少ない手ぶれ補正を行い、焦点検出領域ではそれよりも実際の手ぶれに対してより相関の高い手ぶれ補正を行う。これにより、表示及び記録用の画質を維持しつつ、焦点調節の精度を上げることが可能になる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上記第１の実施形態では、手ぶれ検出及び補正を、撮影して得られた画像データに画像処理することにより実行していた。これに対し、本第２の実施形態では、ジャイロセンサを用いて手ぶれの検出を行い、検出された手ぶれを光学部材を用いて相殺する。

図４は、本発明の第２の実施形態における撮像装置の機能構成を示すブロック図である。図４において、図１と同様の構成には同じ参照番号を付し、説明を省略する。

図４において、６は、被写体光学像の光路をシフトさせることにより手ぶれを相殺するためのシフトレンズなどの光学部材である。なお、手ぶれ補正に用いられる光学部材のほか、撮像素子をシフトするものなど様々なものが知られており、どれを用いても構わない。８は、光学部材６を駆動するための第２のモータである。

３６は、手ぶれを検出するための手ぶれ検出部であり、ジャイロなどの重力加速度センサが使用されるのが一般である。ただし、ジャイロに限らず、その他の手ぶれ検出手段であってもよい。そして、検出した撮像装置の手ぶれ情報を光学部材６や焦点検出領域指定部２８へ出力する。

次に、本第２の実施形態における手ぶれ補正動作について説明する。

手ぶれ検出部３６は、一般的にジャイロなどの重力加速度センサを使用して、手ぶれなどで生じるカメラの移動方向を検出する。そして、検出した手ぶれを打ち消す方向の第１及び第２の手ぶれ補正データを生成し、焦点検出領域指定部２８及び、光学部材６を駆動するための第２のモータ８へそれぞれ出力する。光学部材６や光学部材６を駆動する第２のモータ８では、手ぶれ検出部３６からの第２の手ぶれ補正情報に基づいて、シフトレンズなどの光学部材６を駆動させて被写体映像の手ぶれを補正する。

本第２の実施形態において、第２の手ぶれ補正データは、第１の実施形態で説明した第２の手ぶれ補正データと同様に自然な手ぶれ補正を行うような手ぶれ補正データである。一方、本第２の実施形態における第１の手ぶれ補正データは、第２の手ぶれ補正データで光学部材６により手ぶれ補正をした後に得られる画像に対して、更に手ぶれ分を、焦点検出領域を移動させることにより補正するデータである。第２の手ぶれ補正データで光学部材６により手ぶれ補正は、表示及び記録用として高周波のぶれといった限定的な画面の変動分を補正する手ぶれ補正である。また、焦点調節領域の位置を補正するためには実際の手ぶれに対して光学部材６により手ぶれ補正で補正しない分を補正する手ぶれ補正である。これにより、焦点検出領域に対しては、画面より追従性の高い、より相関の高い手ぶれ補正を行う。

上記の通り本第２の実施形態によれば、ジャイロなどの画像処理によらない手ぶれ検出部を用い、シフトレンズなどの光学部材を駆動して手ぶれを相殺するように制御しても、第１の実施形態と同様の効果を得ることが可能となる。

本発明の第１の実施形態における撮像装置の機能構成を示すブロック図である。手ぶれ時及び手ぶれがない時の被写体及び背景と、焦点検出領域との位置関係を示す図である。本発明の第１の実施形態におけるフォーカスシングレンズの位置と、各位置での評価値との関係を示すグラフである。本発明の第２の実施形態における撮像装置の機能構成を示すブロック図である。従来の手ぶれ時及び手ぶれがない時の被写体及び背景と、焦点検出領域との位置関係を示す図である。従来のフォーカスシングレンズの位置と、各位置での評価値との関係を示すグラフである。

符号の説明

２フォーカスレンズ
４フォーカスモータ
６光学部材
８第２のモータ
１０撮像素子
１２Ａ／Ｄ変換器
１４フレームメモリ
１６手ぶれ検出部
１８手ぶれ補正処理部
２０現像処理部
２２表示部
２４圧縮伸長部
２６記録部
２８焦点検出領域指定部
３０フォーカス用評価値取得部
３２合焦制御部
３４フォーカスモータ駆動部
３６手ぶれ検出部

Claims

一画面の画像データの内、焦点調節領域に対応する領域の画像データに基づいて焦点調節を行う撮像装置であって、
手ぶれを検出して、第１の手ぶれ補正データと、当該第１の手ぶれ補正データとは異なる第２の手ぶれ補正データとを生成する手ぶれ検出手段と、
前記第１の手ぶれ補正データに基づいて、前記画面に対する前記焦点調節領域を変更する焦点調節領域変更手段と、
前記第２の手ぶれ補正データに基づいて、撮像して得られた画像データを補正する手ぶれ補正手段とを有し、
前記第１の手ぶれ補正データに基づく補正は、前記第２の手ぶれ補正データに基づく補正よりも撮像装置の手ぶれに対して相関が高いことを特徴とする撮像装置。
前記第１の手ぶれ補正データは検出した手ぶれを相殺するデータであって、前記第２の手ぶれ補正データは高周波成分の手ぶれを補正するデータであることを特徴とする請求項１に記載の撮像装置。
前記手ぶれ検出手段は、撮像して得られた画像データを画像処理して手ぶれを検出することを特徴とする請求項１または２に記載の撮像装置。
一画面の画像データの内、焦点調節領域に対応する領域の画像データに基づいて焦点調節を行う撮像装置であって、
第１の手ぶれ補正データと、当該第１の手ぶれ補正データとは異なる第２の手ぶれ補正データとを生成する手ぶれ検出手段と、
前記第１の手ぶれ補正データに基づいて、前記画面に対する前記焦点調節領域を変更する焦点調節領域変更手段と、
前記第２の手ぶれ補正データに基づいて、被写体光に対して撮像手段への入射光をシフトさせて手ぶれを補正する手ぶれ補正手段とを有し、
前記焦点検出領域の変更は、前記入射光のシフトよりも撮像装置の手ぶれに対して相関が高いことを特徴とする撮像装置。
前記第２の手ぶれ補正データは高周波成分の手ぶれを補正するデータであって、前記第１の手ぶれ補正データは、検出した手ぶれを相殺するデータから、前記第２の手ぶれ補正データを差し引いたデータであることを特徴とする請求項４に記載の撮像装置。
前記手ぶれ検出手段は、ジャイロセンサにより手ぶれを検出することを特徴とする請求項４または５に記載の撮像装置。
一画面の画像データの内、焦点調節領域に対応する領域の画像データに基づいて焦点調節を行う撮像装置の制御方法であって、
手ぶれを検出して、第１の手ぶれ補正データと、当該第１の手ぶれ補正データとは異なる第２の手ぶれ補正データとを生成する手ぶれ検出ステップと、
前記第１の手ぶれ補正データに基づいて、前記画面に対する前記焦点調節領域を変更する焦点調節領域変更ステップと、
前記第２の手ぶれ補正データに基づいて、撮像して得られた画像データを補正する手ぶれ補正工程とを有し、
前記第１の手ぶれ補正データに基づく補正は、前記第２の手ぶれ補正データに基づく補正よりも前記撮像装置の手ぶれに対して相関が高いことを特徴とする制御方法。
一画面の画像データの内、焦点調節領域に対応する領域の画像データに基づいて焦点調節を行う撮像装置の制御方法であって、
手ぶれを検出して、第１の手ぶれ補正データと、当該第１の手ぶれ補正データとは異なる第２の手ぶれ補正データとを生成する手ぶれ検出ステップと、
前記第１の手ぶれ補正データに基づいて、前記画面に対する前記焦点調節領域を変更する焦点調節領域変更ステップと、
前記第２の手ぶれ補正データに基づいて、被写体光に対して撮像手段への入射光をシフトさせて手ぶれを補正する手ぶれ補正工程とを有し、
前記第１の手ぶれ補正データに基づく補正は、前記第２の手ぶれ補正データに基づく補正よりも前記撮像装置の手ぶれに対して相関が高いことを特徴とする制御方法。