JP4400322B2 - ブレ補正装置、およびカメラシステム - Google Patents

ブレ補正装置、およびカメラシステム Download PDF

Info

Publication number
JP4400322B2
JP4400322B2 JP2004170381A JP2004170381A JP4400322B2 JP 4400322 B2 JP4400322 B2 JP 4400322B2 JP 2004170381 A JP2004170381 A JP 2004170381A JP 2004170381 A JP2004170381 A JP 2004170381A JP 4400322 B2 JP4400322 B2 JP 4400322B2
Authority
JP
Japan
Prior art keywords
blur correction
image
reference value
unit
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004170381A
Other languages
English (en)
Other versions
JP2005354218A (ja
Inventor
豪 松本
博之 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2004170381A priority Critical patent/JP4400322B2/ja
Publication of JP2005354218A publication Critical patent/JP2005354218A/ja
Application granted granted Critical
Publication of JP4400322B2 publication Critical patent/JP4400322B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本発明は、撮像面における被写体像の像面ブレを光学的に補正するブレ補正装置、およびカメラシステムに関する。
従来、手振れなどによる被写体像の像面ブレを、撮影レンズ内のブレ補正光学系を使用して光学的に補正する技術が知られている。
この種の従来技術では、まず、カメラ(撮影レンズも含む)の振動を角速度センサによって検出する。カメラは、この角速度に基づいて、被写体像の像移動を打ち消すために必要なブレ補正光学系の位置(以下『目標駆動位置』という)を決定し、ブレ補正光学系をこの目標駆動位置に追従させる。
また、下記の特許文献1および特許文献2には、ビデオカメラにおいて像面ブレを抑制する関連技術が開示されている。このビデオカメラは、撮像画像から画像動き信号を検出する。次に、ビデオカメラは、この画像動き信号を補間してサンプリングレートを上げる。ビデオカメラは、補間した画像動き信号を、高速に更新される目標駆動位置にフィードバックすることにより、光学的ブレ補正の防振性能を高める。
特開平10−322585号公報(図1) 特開平10−145662号公報(図1,図3)
[従来技術の問題点]
ところで、光学的ブレ補正では、角速度センサのセンサ出力に含まれるDCオフセットやドリフトが問題となる。被写体像の像面ブレを正確に追跡するには、角速度センサのセンサ出力から、これらの余分な成分を除かなければならない。
しかしながら、これらの成分は、角速度センサの温度や使用条件の影響を受けて敏感に変動する。そのため、工場出荷時におけるセンサ静止時の実測データを元にして、使用時のオフセットやドリフトを打ち消すことはできない。
そこで、角速度センサの使用時の出力から、DCオフセットやドリフトを分離抽出する方法が従来実施されていた。
すなわち、人間の手振れは、2〜7Hz程度の周波数成分が支配的である。一方、角速度センサの静止時出力は、およそ1Hz未満の周波数成分が支配的である。そこでローパスフィルタを使用して、角速度センサのセンサ出力から1Hz未満の低域成分を抽出することにより、DCオフセットおよびドリフトが推定できる。
このように推定されるDCオフセットおよびドリフトを、センサ出力の基準値として、センサ出力から除去(減算)することにより、真の振動成分を求めることができる。
しかしながら、この従来手法では、低域成分の抽出に種々の誤差が含まれる。例えば、センサ出力から1Hz未満の低域成分を抽出するためには、相当長期間にわたって過去のセンサ出力を平均化する必要があり、低域成分には大幅な時間遅れが発生する。そのため、現時点におけるDCオフセットおよびドリフトをリアルタイムに求めることができない。また、抽出される低域成分には、完全に除去し切れない振動成分が残存する。
このような誤差を含む低域成分を、センサ出力の基準値としてセンサ出力から減算した場合、得られる真の振動成分に誤差が混入してしまう。
この誤差の混入した振動成分を打ち消すようにブレ補正を行った場合、誤差分によって像面がドリフト移動したり、振動を生じるようになる。
以上説明した理由から、光学的ブレ補正の防振性能は、センサ出力の基準値を如何に正確に求めるかにかかっている。
[特許文献1および特許文献2の問題点]
ところで、特許文献1および特許文献2に開示される関連技術では、画像動き信号を、光学系の目標駆動位置にフィードバックしている(これは、基準値に画像動き信号をフィートバックする本発明とは、フィードバック経路の構成が大きく異なる)。
このような特許文献1および特許文献2の制御方式を、電子スチルカメラに適用する場合、次のような問題[1][2]が具体的に生じる。
[1] まず、電子スチルカメラでは、レリーズ前の期間、モニタ表示用の撮像画像などから画像動き信号を得る。この場合の平均的な撮像間隔(例えば、30フレーム/秒)は、一般的なビデオカメラの撮像間隔(例えばNTSCでは60フィールド/秒)に比べて数倍〜数十倍も長い。すなわち、電子スチルカメラでは、画像動き信号のサンプル間隔がビデオカメラに比べて粗くなるケースが多い。この粗い画像動き信号を目標駆動位置にフィードバックする従来方式では、帰還経路に生じるむだ時間が無視できなくなり、目標駆動位置の追従性能や制御安定性が著しく低くなり、最悪の場合は発振してしまう。そのため、充分な防振性能を得ることが難しい。
[2] さらに、特許文献1および特許文献2では、目標駆動位置の更新間隔に合わせるため、画像動き信号を外延予測して補間値を生成している。
電子スチルカメラでは、サンプル間隔の粗い画像動き信号を扱うため、この種の外延予測では、非連続な補間誤差がビデオカメラよりも大きくなる。この補間誤差は、目標駆動位置の制御誤差にそのまま反映されるため、防振性能が著しく低下する。
なお補足として、特許文献1および特許文献2では、画像動き信号のフィードバック経路にハイパスフィルタを設けている。そのため、ドリフトやオフセットに相当する低域成分は、このハイパスフィルタによってカットされる。そのため、特許文献1および特許文献2では、低域のドリフトやオフセットを現実的に修正することは不可能である。
[画像動き信号に関する問題点]
一般に、画像動き信号は、前後の撮影画像における画像相関から、画像間の変位を検出することによって求める。
ところが、撮像画像が暗すぎたり、逆に明る過ぎるなどの条件の元では、画像動き信号のフィートバックによって、防振性能が著しく低下してしまうなどのケースが見られた。
そこで、本発明の目的は、上述した問題点に鑑みて、撮像画像の明るさが大きく変化しても、安定確実な防振性能を得られるブレ補正装置を提供することを目的とする。
《請求項1》
請求項1の発明は、カメラの撮像部における被写体像の像面ブレを補正するブレ補正装置であって、下記のブレ補正機構、振動検出部、基準値生成部、目標駆動位置演算部、および駆動部を備える。
ブレ補正機構は、撮像部と被写体像を形成する光束との相対位置を変更する。
振動検出部は、カメラの振動を検出して振動検出信号を出力する。
基準値生成部は、振動検出信号に基づいて、振動検出信号の基準値(振動のない静止状態における振動検出部の出力)を推定する。
目標駆動位置演算部は、振動検出信号と、推定された基準値との差から、像面ブレの原因となる振動成分を求め、振動成分に基づいてブレ補正機構の目標駆動位置を求める。
駆動部はブレ補正機構を目標駆動位置に追従制御する。
このような構成において、基準値生成部は、フィードバック経路と、ゲイン変更部とを備える。
このフィードバック経路では、カメラの撮像画像を解析して得られる画像動き信号を情報取得し、画像動き信号を基準値にフィードバックして、基準値を修正する。
一方、ゲイン変更部は、撮像部の入射光量に応じて、フィードバック経路における画像動き信号のフィードバックゲインを変更する。
《請求項2》
請求項2の発明は、請求項1のブレ補正装置において、ゲイン変更部は、入射光量の分布差(コントラスト)が小さくなるに従って、フィードバックゲインを下げるか、またはゼロにすることを特徴とする。
《請求項3》
請求項3の発明は、請求項1のブレ補正装置において、ゲイン変更部は、入射光量が低くなるに従って、フィードバックゲインを下げるか、またはゼロにすることを特徴とする。
《請求項4》
請求項4の発明は、請求項1のブレ補正装置において、ゲイン変更部は、入射光量が高くなるに従って、フィードバックゲインを下げるか、またはゼロにすることを特徴とする。
《請求項5》
請求項5の発明は、請求項1のブレ補正装置において、ゲイン変更部は、入射光量の時間変化に従って、フィードバックゲインを下げるか、ゼロにすることを特徴とする。
《請求項6》
請求項6の発明は、請求項5のブレ補正装置において、ゲイン変更部は、AF(オートフォーカス)補助光の照射に伴って入射光量が変化する期間は、フィードバックゲインを下げるか、またはゼロにすることを特徴とする。
《請求項7》
請求項7の発明は、請求項5のブレ補正装置において、ゲイン変更部は、閃光撮影のプリ発光に伴って入射光量が変化する期間は、フィードバックゲインを下げるか、またはゼロにすることを特徴とする。
《請求項8》
請求項8のカメラシステムは、請求項1ないし請求項7のいずれか1項のブレ補正装置と、ブレ補正装置を用いて光学的ブレ補正を実施するカメラとを備えたことを特徴とする。
(請求項1)
本発明では、カメラの撮像画像を解析して得られる画像動き信号を用いて、振動検出信号の基準値を修正する。
一般に、この基準値に誤差があると、振動成分の検出誤差となって撮像画像に残存ブレを生じる。本発明では、この撮像画像の残存ブレを画像動き信号として検出し、この画像動き信号を用いて基準値を修正する。このようなフィードバック作用により、基準値の誤差を抑圧することができる。
このように基準値が正確になることで、振動検出部から振動成分の値を正確に求めることが可能になり、光学的ブレ補正の防振性能を一段と高めることができる。
特に、本発明がフィードバック先として選んだ基準値は、更新間隔の短い目標駆動位置に比べて、はるかに低域中心の信号である。そのため、サンプリング間隔の粗い画像動き信号をフィードバックしても、制御系に過度な行き過ぎが生じるおそれは少なく、安定かつ適正な制御応答が実現できる。
さらに、本発明者は、撮像部の入射光量によって、画像動き信号のフィードバック効果(基準値修正の正確さや収束速さ)が大きく影響を受けることに気が付いた。
この知見に基づいて、請求項1のブレ補正装置では、入射光量の情報を取得して、その入射光量に応じて『基準値にフィードバックする画像動き信号のゲイン』を変更する機能を追加している。
このゲイン変更の機能により、入射光量の変化に応じてフィードバックゲインを適正に変更することが容易になった。その結果、入射光量が大きく変化しても、基準値修正の誤差や収束遅れを抑えることに成功し、安定確実な防振性能を得ることが可能になった。
(請求項2)
請求項2のブレ補正装置は、入射光量の分布差(コントラスト)が小さくなるに従って、フィードバックゲインを下げるか、またはゼロにする。
一般に、撮像画像のコントラストが低下するに従って、エッジの明暗が薄くなり、前後コマ間の画像相関を精度よく検出することができなくなる。その結果、コマ間変位の検出精度が低下し、画像動き信号に誤差が生じやすくなる。
さらに、コントラストが顕著に低下して平板な撮像画像(例えば一面青空の画像など)になると、前後コマ間の画像相関を検出すること自体が難しくなり、画像動き信号の信頼性が著しく低下する。
このような状況の画像動き信号を基準値に通常通りにフィードバックすると、基準値に誤差が混入してしまう。この基準値の誤差によって、目標駆動位置の誤差が発生し、ブレ補正の防振性能が低下する。
そこで、請求項2では、入射光量の分布差(コントラスト)が小さくなるに従って、画像動き信号のフィードバックゲインを下げるか、ゼロにする。その結果、基準値に混入する誤差を軽減または解消して、防振性能を改善することが可能になる。
(請求項3)
請求項3のブレ補正装置は、入射光量が低くなるに従って、フィードバックゲインを下げるか、またはゼロにする。
一般に、入射光量が低くなるに従って、撮像画像のS/Nが低下する。その結果、コマ間変位の検出精度が低下し、画像動き信号に誤差が生じやすくなる。
さらに、入射光量が顕著に低下して暗黒状態の撮像画像になると、前後コマ間の画像相関を検出すること自体が難しくなり、画像動き信号の信頼性が著しく低下する。
このような状況の画像動き信号を基準値に通常通りにフィードバックすると、基準値に誤差が混入してしまう。この基準値の誤差によって、目標駆動位置の誤差が発生し、ブレ補正の防振性能が低下する。
そこで、請求項3では、入射光量が低くなるに従って、画像動き信号のフィードバックゲインを下げるか、ゼロにする。その結果、基準値に混入する誤差を軽減または解消して、防振性能を改善することが可能になる。
(請求項4)
請求項4のブレ補正装置は、入射光量が高くなるに従って、フィードバックゲインを下げるか、またはゼロにすることを特徴とする。
通常は、入射光量が高くなるに従って、画像動き信号の誤差は少なくなる。しかしながら、入射光量が高くなり過ぎて撮像画像の大半に白飛びが生じると、画像全体のコントラストが低下する。この状態では、エッジの明暗が薄くなり、前後コマ間の画像相関を精度よく検出することができなくなる。その結果、コマ間変位の検出精度が低下し、画像動き信号に誤差が生じやすくなる。
さらに、入射光量が高くなり、撮像画像の広範囲に白飛びやブルーミングが生じると、前後コマ間の画像相関を検出すること自体が難しくなり、画像動き信号の信頼性が著しく低下する。
このような状況の画像動き信号を基準値に通常通りにフィードバックすると、基準値に誤差が混入してしまう。この基準値の誤差によって、目標駆動位置の誤差が発生し、ブレ補正の防振性能が低下する。
そこで、請求項4では、入射光量が所定の上限値を超えて更に高くなるに従って、画像動き信号のフィードバックゲインを下げるか、ゼロにする。その結果、基準値に混入する誤差を軽減または解消して、防振性能を改善することが可能になる。
(請求項5)
請求項5のブレ補正装置は、入射光量の時間変化に従って、フィードバックゲインを下げるか、ゼロにする。
例えば、明るさの変化する被写体では、その変化の前後コマ間において正しく画像相関を検出できず、画像動き信号に誤差が生じやすくなる。
このような状況の画像動き信号を基準値に通常通りにフィードバックすると、基準値に誤差が混入してしまう。この基準値の誤差によって、目標駆動位置の誤差が発生し、ブレ補正の防振性能が低下する。
そこで、請求項5では、入射光量の時間変化を検出すると、画像動き信号のフィードバックゲインを下げるか、ゼロにする。その結果、基準値に混入する誤差を軽減または解消して、防振性能を改善することが可能になる。
(請求項6)
請求項6のブレ補正装置は、AF(オートフォーカス)補助光の照射に伴って入射光量が変化する期間は、フィードバックゲインを下げるか、またはゼロにする。
低輝度時のAF機能を補助するため、AF補助光を被写体に照射するカメラシステムが知られている。このAF補助光により被写体の明るさが変化すると、その変化の前後コマ間において正しく画像相関を検出できない。そのため、画像動き信号に誤差が生じやすくなる。
このような状況の画像動き信号を基準値に通常通りにフィードバックすると、基準値に誤差が混入してしまう。この基準値の誤差によって、目標駆動位置の誤差が発生し、ブレ補正の防振性能が低下する。
そこで、請求項6では、AF(オートフォーカス)補助光の照射に伴って入射光量が変化する期間は、フィードバックゲインを下げるか、またはゼロにする。その結果、基準値に混入する誤差を軽減または解消して、ブレ補正装置の防振性能を改善することが可能になる。
(請求項7)
請求項7のブレ補正装置は、閃光撮影のプリ発光に伴って入射光量が変化する期間は、フィードバックゲインを下げるか、またはゼロにする。
閃光撮影の本発光に先立って、プリ発光を実施するカメラシステムが知られている。このプリ発光により被写体の明るさが変化すると、その変化の前後コマ間において正しく画像相関を検出できない。そのため、画像動き信号に誤差が生じやすくなる。
このような状況の画像動き信号を基準値に通常通りにフィードバックすると、基準値に誤差が混入してしまう。この基準値の誤差によって、目標駆動位置の誤差が発生し、ブレ補正の防振性能が低下する。
そこで、請求項7では、プリ発光の照射に伴って入射光量が変化する期間は、フィードバックゲインを下げるか、またはゼロにする。その結果、基準値に混入する誤差を軽減または解消して、ブレ補正装置の防振性能を改善することが可能になる。
(請求項8)
請求項8のカメラシステムは、請求項1ないし請求項7のいずれか1項のブレ補正装置を備える。このブレ補正装置は、入射光量の状況に対応して画像動き信号のフィードバックゲインを変更する。その結果、入射光量が大きく変化しても、基準値修正の正確さや収束速さの変化を安定させることに成功した。その結果、一段とブレ防振性能の高いカメラシステムが実現する。
[実施形態の構成説明]
図1は、光学的ブレ補正の機構を有するカメラシステム190(撮影レンズ190aおよびブレ補正装置を含む)を示す図である。なお、実際のカメラシステム190は、水平および垂直の2軸方向について像面ブレを補正する。しかしながら、図1では、説明を簡明にするため、光学的ブレ補正の機構を1軸分のみ記載している。
また、実際のブレ補正制御の演算処理は、MPU(マイクロプロセッサ)500の内部処理によって実行される。ここでは、この演算処理を詳細に説明するため、MPU500を機能ブロックに分けて説明する。
以下、図1を参照して、各部の機能ブロックについて説明する。
角速度センサ10は、カメラシステム190の振動を、コリオリ力などにより角速度として検出する。増幅部20は、角速度センサ10の出力を増幅する。なお、センサ出力の高周波ノイズを低減させることを目的として、ローパスフィルタを付加してもよい。A/D変換部30は、増幅部20の出力をデジタルの角速度データに変換する。
基準値演算部40は、A/D変換部30から出力される角速度データから低域成分を抽出して、角速度の基準値(振動のない静止状態における角速度データ)を推定する。さらに、基準値演算部40は、後述する画像動きベクトルのフィードバック経路を用いて、この基準値を修正する。
目標駆動位置演算部50は、角速度データから基準値を減算することにより、像面ブレの原因となる真の角速度を求める。目標駆動位置演算部50は、この真の角速度を積分することによって、撮影レンズ190aの光軸角度を求める。目標駆動位置演算部50は、この光軸角度に基づいて、目標駆動位置を決定する。この目標駆動位置は、この光軸角度における被写体像の変位を打ち消すブレ補正光学系100の位置である。
なお、目標駆動位置演算部50は、この目標駆動位置の決定に、焦点距離情報120、撮影倍率情報130、およびブレ補正光学系100の光学情報140を使用する。この焦点距離情報120は、撮影レンズ190aのズーム環のエンコーダ出力などから随時に得られる情報である。撮影倍率情報130は、撮影レンズ190aのレンズ位置やAF駆動機構から随時に得られる情報である。また、ブレ補正光学系100の光学情報140は、ブレ補正係数(ブレ補正係数=レンズ移動量に対する像移動量/レンズ移動量)であり、予め撮影レンズ190a内に格納されるデータである。
さらに、撮影レンズ190aには位置検出部90が設けられ、ブレ補正光学系100の位置検出を行う。この位置検出部90は、赤外線LED92、PSD(位置検出素子)98、およびスリット板94を備える。赤外線LED92の光は、ブレ補正光学系100の鏡筒102に設けられたスリット板94のスリット穴96を通過して細い光束となる。この光束は、PSD98に到達する。PSD98は、この光束の受光位置を信号出力する。この信号出力をA/D変換部110を介してデジタル変換することにより、ブレ補正光学系100の位置データが得られる。
駆動信号演算部60は、この位置データと目標駆動位置との偏差を求め、この偏差に応じて駆動信号を算出する。例えば、この駆動信号の演算は、偏差の比例項、積分項、および微分項を所定比率で足し合わせるPID制御が実施される。
ドライバ70は、求めた駆動信号(デジタル信号)に応じて、駆動電流を駆動機構80に流す。
駆動機構80は、ヨーク82、マグネット84、コイル86から構成される。コイル86は、ブレ補正光学系100の鏡筒102に固定された状態で、ヨーク82とマグネット84からなる形成される磁気回路内に配置される。ドライバ70の駆動電流をこのコイル86に流すことにより、ブレ補正光学系100を光軸と直交する向きに動かすことができる。
ブレ補正光学系100は、撮影レンズ190aの結像光学系の一部である。このブレ補正光学系100を目標駆動位置まで動かして、被写体像の結像位置をシフトさせることにより、被写体像の像面ブレを抑制できる。
一方、この撮影レンズ190aの像空間には、撮像素子150の撮像面が設けられる。この撮像素子150は、撮像面に形成される被写体像を撮像する。撮像画像は、不図示のモニタ画面に表示される他、動きベクトル検出部160へ出力される。
動きベクトル検出部160は、撮像画像の時間軸方向の動きを検出することにより、残存ブレを含む画像動きベクトルを検出する。動きベクトル変換部170は、焦点距離情報120および撮影倍率情報130を用いて、この画像動きベクトルを基準値と同一スケールに換算する。この画像動きベクトルは、ゲイン変更部220を経て、フィードバックベクトルに変換され、前述した基準値演算部40の基準値にフィードバックされる。
また、カメラシステム190には、輝度検出部310、カメラ制御部320、閃光制御部330、およびAF補助光発光部340が設けられる。この輝度検出部310は、撮像素子150から撮像画像の輝度情報を検出する。また、カメラ制御部320は、閃光制御部330およびAF補助光発光部340の動作を制御する。
なお、ゲイン変更部220は、輝度検出部310およびカメラ制御部320から情報を取得して、上述したフィードバックゲインGを変更する。
[発明との対応関係]
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載のブレ補正機構は、ブレ補正光学系100に対応する。
請求項記載の振動検出部は、角速度センサ10に対応する。
請求項記載の基準値生成部は、基準値演算部40、ゲイン変更部220および動きベクトル変換部170に対応する。
請求項記載の目標駆動位置演算部は、目標駆動位置演算部50に対応する。
請求項記載の駆動部は、駆動信号演算部60、ドライバ70、駆動機構80、および位置検出部90に対応する。
請求項記載のフィードバック経路は、動きベクトル検出部160、動きベクトル変換部170、ゲイン変更部220を経由して、画像動きベクトルを基準値にフィードバックする経路に対応する。
請求項記載のゲイン変更部は、ゲイン変更部220に対応する。
請求項記載のカメラシステムは、カメラシステム190に対応する。
請求項記載の画像動き信号は、画像動きベクトルの成分に対応する。
[画像動きベクトルの計算処理]
図2は、画像動きベクトルの計算処理を示す流れ図である。
以下、図2を参照して、画像動きベクトルの計算処理を説明する。
ステップS1: 撮像素子150は、読み出しラインの数を間引くことにより、撮像画像を連続的に読み出す。これらの撮像画像は、モニタ表示用や、露出や焦点制御やホワイトバランス調整の制御用、動画記録用といった用途に使用される。輝度検出部310は、これら撮像画像の輝度情報を検出する。
ステップS2: ゲイン変更部220は、カメラ制御部320からAF補助光の発光タイミングを取得する。図4は、このAF補助光の発光タイミングを示す図である。
ここで、現時点がAF補助光の立上がり期間または立下がり期間である場合、ゲイン変更部220はステップS5に動作を移行する。
一方、現時点が、立上がり期間および立下がり期間のいずれでもない場合、ゲイン変更部220はステップS3に動作を移行する。
ステップS3: ゲイン変更部220は、閃光撮影時におけるプリ発光のタイミングをカメラ制御部320から取得する。図5は、このプリ発光のタイミングを示す図である。
ここで、現時点がプリ発光期間(プリ発光により入射光量が変化する期間)である場合、ゲイン変更部220はステップS5に動作を移行する。
一方、現時点がプリ発光期間ではない場合、ゲイン変更部220はステップS4に動作を移行する。
ステップS4: ゲイン変更部220は、輝度検出部310から、最新の撮像画像の輝度情報(例えば平均輝度)と、1コマ前の撮像画像の輝度情報とを取得する。ゲイン変更部220は、これら前後コマ間の輝度差を算出する。
ここで、この輝度差の絶対値が予め定められた閾値TH1よりも大きい場合、前後コマにおいて入射光量が大きく変化したため、画像動きベクトルの算出に適さないと判断できる。このような場合、ゲイン変更部220はステップS5に動作を移行する。
一方、それ以外の場合、ゲイン変更部220はステップS6に動作を移行する。
ステップS5: ここでは、前後コマの輝度差が、AF補助光、プリ発光、または被写体自体の要因によって大幅に変化している。この状況で、画像動きベクトルを正確に検出することは難しい。そこで、ゲイン変更部220は、基準値修正用に保持するフィードバックベクトルをゼロベクトルに更新する。(なお、この動作は、後述するフィードバックゲインGをゼロに設定する動作と等価な動作である。)
このような更新動作の後、ゲイン変更部220はステップS1に動作を戻す。
ステップS6: ここでは、前後コマの輝度差が小さいため、画像動きベクトルの検出に支障はない。この場合、動きベクトル検出部160は、撮像画像の画像相関などから画像動きベクトルを算出する。このような画像動きベクトルの検出方法としては、時空間勾配法やブロックマッチング法などの方法がある。
ステップS7: 動きベクトル変換部170は、撮影レンズ190aの焦点距離情報120を情報取得する。
ステップS8: 動きベクトル変換部170は、撮影レンズ190aの撮影倍率情報130を情報取得する。
ステップS9: 動きベクトル検出部160が出力する画像動きベクトルは、画像上における変位の情報である。そこで、動きベクトル変換部170は、この画像動きベクトルを、基準値と同じ角速度のスケールに換算する。例えば、下記の換算式が使用される。
Figure 0004400322
ただし、Vは換算前の画像動きベクトル、V′は換算後の画像動きベクトル、fは焦点距離、βは撮影倍率、およびZは撮像素子150の画素間隔に対応した定数である。
ステップS10: ゲイン変更部220は、輝度検出部310から撮像画像の輝度情報を取得する。ゲイン変更部220は、所定の変換式または対応テーブルに基づいて、この輝度情報に対応するフィードバックゲインGを決定する。
図6は、この対応テーブルの一例を示す図である。
この図6の場合、ゲイン変更部220は、撮像画像を、輝度(平均輝度など)によって、低輝度域、中間輝度域、および高輝度域の三つに分類する。
撮像画像が低輝度域に分類される場合、撮像画像の大部分が暗いため、コマ間の画像相関を正確にとることが難しい。その結果、ステップS6で求めた画像動きベクトルには誤差が多く含まれている。そこで、ゲイン変更部220は、フィードバックゲインを無視できる程度に小さな値(ほぼゼロ)に設定する。
一方、撮像画像が中間輝度域に分類される場合、輝度が高くなるほど、画像動きベクトルの信頼性は高くなる。そこで、ゲイン変更部220は、輝度が高いほど、フィードバックゲインGを高く設定する。
さらに、撮像画像が高輝度域に分類される場合、撮像画像の大部分が白側に潰れ、コマ間の画像相関を正確にとることが難しい。その結果、ステップS6で求めた画像動きベクトルには誤差が多く含まれる。そこで、ゲイン変更部220は、フィードバックゲインを無視できる程度に小さな値(ほぼゼロ)に設定する。
図7は、別の対応テーブルの一例を示す図である。
この図7の場合、ゲイン変更部220は、撮像画像の輝度分布からコントラストを求める。例えば、最大輝度と最小輝度との差を求めてコントラストとしてもよい。また例えば、輝度ヒストグラムの分散を求めてコントラストとしてもよい。また例えば、近隣画素間の最大レベル差を求めてコントラストとしてもよい。
ゲイン変更部220は、撮像画像を、このコントラストを基準にして、低コントラスト域と、標準コントラスト域とに分類する。
撮像画像が低コントラスト域に分類される場合、エッジ部の明暗が薄いため、コマ間の画像相関を正確にとることが難しい。その結果、ステップS6で求めた画像動きベクトルには誤差が多く含まれている。そこで、ゲイン変更部220は、フィードバックゲインを無視できる程度に小さな値(ほぼゼロ)に設定する。
一方、撮像画像が標準コントラスト域に分類される場合、コントラストが高くなるほど、画像動きベクトルの信頼性は高くなる。そこで、ゲイン変更部220は、コントラストが高いほど、フィードバックゲインGを高く設定する。
ステップS11: ゲイン変更部220は、動きベクトル変換部170から出力される画像動きベクトルV′にGを乗じて、フィードバックベクトルGV′を算出する。
ステップS12: ゲイン変更部220は、基準値修正用に保持するフィードバックベクトルを、ステップS11で求めた最新のフィードバックベクトルに更新する。このような更新動作の完了後、ゲイン変更部220はステップS1に動作を戻す。
[ブレ補正の動作説明]
図3は、光学的ブレ補正の制御動作を示す流れ図である。
次に、この図3を用いて、光学的ブレ補正の制御動作について説明する。
ステップS21: A/D変換部30は、角速度センサ10の角速度出力を、所定のサンプリング間隔ToptでA/D変換する。
ステップS22: 基準値演算部40は、A/D変換後の角速度データに対して移動平均やローパスフィルタ処理を施し、角速度データの基準値Woを推定する。
ステップS23: 基準値演算部40は、ゲイン変更部220から、更新されたフィードバックベクトルGV′を情報取得し、基準値Woを下式に従って修正する。
Wo′=Wo−Gv′ ・・・(2)
ただし、Gv′は、フィードバックベクトルGV′のブレ補正方向の成分である。
一般に、修正後の基準値Wo′に誤差が生じると、ブレ補正において撮像画像に残存ブレが生じる。この残存ブレを画像動きベクトルV′として検出し、上式(2)によって基準値にフィードバックすることで、基準値Wo′の誤差は低減する。
基準値Wo′の誤差が低減するに従って、徐々に画像動きベクトルV′も低減する。最終的に画像動きベクトルV′がゼロと見なせるほどに小さくなると、基準値Wo′は、角速度センサ10のドリフト出力やDCオフセットを正確に含んだ値となる。
ところで、光学的ブレ補正では、ブレ補正光学系100の追従性を高めるため、撮像間隔よりも短いサンプリング間隔で、目標駆動位置および基準値の更新を実行する。そのため、毎回の基準値修正のたびに、毎回新しい画像動きベクトルを使用することはできない。そこで、次回の画像動きベクトルを取得するまでの期間、一つの画像動きベクトルV′を繰り返し使用することで、基準値修正を行うことが好ましい。
ステップS24: 目標駆動位置演算部50は、A/D変換部30から出力される角速度データから、修正後の基準値Wo′を減算し、像面ブレの原因となる真の角速度データを求める。
ステップS25: 目標駆動位置演算部50は、この真の角速度データを積分することにより、撮影レンズ190aの光軸角度の変位量を求める。目標駆動位置演算部50は、この光軸角度の値から、被写体像の結像位置の変位を打ち消すために必要なブレ補正光学系100の位置(いわゆる目標駆動位置)を求める。
例えば、下式をもちいて、この目標駆動位置θ(Tk)の計算が行われる。
C=f・(1+β)2/K ・・・(3)
θ(Tk)=θ(Tk-1)+C・[W(Tk)−Wo′] ・・・(4)
ただし、fは焦点距離、βは撮影倍率、θ(Tk-1)は前回の目標駆動位置、W(Tk)は最新の角速度データ、およびKはブレ補正係数である。なお、ブレ補正係数Kは、下式に基づいて予め実測しておく。
K=(被写体像の変位)/(ブレ補正光学系100の変位)
ステップS26: 駆動信号演算部60は、目標駆動位置演算部50から目標駆動位置を情報取得し、ブレ補正光学系100を目標駆動位置に追従制御する。
[実施形態の補足事項]
また、上述した実施形態では、撮像素子150の撮像画像に基づいて画像動きベクトルを生成している。しかしながら、本発明はこれに限定されるものではない。例えば、カメラシステムの分割測光機構や焦点検出機構や測色機構やファインダ機構などで光電変換を行って、撮像画像を生成してもよい。この種の撮像画像から画像動きベクトルを生成することによって、『銀塩カメラ』や『一眼レフタイプの電子カメラ』において本発明を実施することができる。
なお、カメラ側に秒間2〜8コマ以上程度の連写性能があれば、基準値の修正に必要な撮像間隔の画像動き信号を得ることもできる。したがって、連写しながら光学的ブレ補正を継続実施するタイプのカメラに本発明を適用することもできる。
さらに、上述した実施形態において、撮影レンズ190aとカメラシステム190とを一体に構成してもよい。また、撮影レンズ190aとカメラシステム190とを着脱自在に構成してもよい。なお、撮影レンズ190aとカメラシステム190とを着脱する場合は、画像動き信号を生成するブロックを、撮影レンズ190aおよびカメラシステム190のどちらに設置してもよい。例えば、画像動き信号を生成するブロックをカメラシステム190側に設置し、画像動き信号を基準値と同一スケールに換算するブロックを撮影レンズ190a側に設置するなどの態様が可能である。
また、上述した実施形態では、振動検出信号として角速度を検出している。しかしながら、本発明は、角速度の検出に限定されず、被写体像の結像位置の変位を推定可能な振動成分を検出すればよい。例えば、カメラシステムに作用する加速度や、角加速度や、遠心力や、慣性力などを振動検出信号として検出すればよい。
なお、上述した実施形態では、撮像素子150の画像データから輝度情報(請求項の入射光量に対応)を得ている。しかしながら、本発明はこれに限定されるものではない。例えば、別に測光部を設けて、被写界輝度や被写界コントラストを検出してもよい。
なお、上述した実施形態では、撮影レンズ190aの光像をシフトまたはチルトしてブレ補正を実施している。しかしながら、本発明はこれに限定されるものではない。例えば、撮像素子をシフトすることでブレ補正を実施してもよい。
以上説明したように、本発明は、光学的ブレ補正機能を有する光学機器などに利用可能な技術である。
カメラシステム190(撮影レンズ190aおよびブレ補正装置を含む)を示す図である。 画像動きベクトルの計算処理を示す流れ図である。 光学的ブレ補正の制御動作を示す流れ図である。 AF補助光の発光タイミングを示す図である。 プリ発光のタイミングを示す図である。 対応テーブルの一例を示す図である。 別の対応テーブルの一例を示す図である。
符号の説明
10 角速度センサ
20 増幅部
40 基準値演算部
50 目標駆動位置演算部
60 駆動信号演算部
70 ドライバ
80 駆動機構
90 位置検出部
100 ブレ補正光学系
120 焦点距離情報
130 撮影倍率情報
140 光学情報
150 撮像素子
160 動きベクトル検出部
170 動きベクトル変換部
190 カメラシステム
190a 撮影レンズ
220 ゲイン変更部
310 輝度検出部
320 カメラ制御部
330 閃光制御部
340 AF補助光発光部

Claims (8)

  1. カメラの撮像部における被写体像の像面ブレを補正するブレ補正装置であって、
    前記撮像部と前記被写体像を形成する光束との相対位置を変更するブレ補正機構と、
    前記カメラの振動を検出して振動検出信号を出力する振動検出部と、
    前記振動検出信号に基づいて、前記振動検出信号の基準値(前記振動のない静止状態における前記振動検出部の出力)を推定する基準値生成部と、
    前記振動検出信号と、推定された前記基準値との差から、前記像面ブレの原因となる振動成分を求め、前記振動成分に基づいて前記ブレ補正機構の目標駆動位置を求める目標駆動位置演算部と、
    前記ブレ補正機構を前記目標駆動位置に追従制御する駆動部とを備え、
    前記基準値生成部は、
    前記カメラの撮像画像を解析して得られる画像動き信号を情報取得し、前記画像動き信号を前記基準値にフィードバックして、前記基準値を修正するフィードバック経路と、
    前記撮像部の入射光量に応じて、前記フィードバック経路における前記画像動き信号のフィードバックゲインを変更するゲイン変更部とを備えた
    ことを特徴とするブレ補正装置。
  2. 請求項1に記載のブレ補正装置において、
    前記ゲイン変更部は、前記入射光量の分布差(コントラスト)が小さくなるに従って、前記フィードバックゲインを下げるか、またはゼロにする
    ことを特徴とするブレ補正装置。
  3. 請求項1に記載のブレ補正装置において、
    前記ゲイン変更部は、前記入射光量が低くなるに従って、前記フィードバックゲインを下げるか、またはゼロにする
    ことを特徴とするブレ補正装置。
  4. 請求項1に記載のブレ補正装置において、
    前記ゲイン変更部は、前記入射光量が高くなるに従って、前記フィードバックゲインを下げるか、またはゼロにする
    ことを特徴とするブレ補正装置。
  5. 請求項1に記載のブレ補正装置において、
    前記ゲイン変更部は、前記入射光量の時間変化に従って、前記フィードバックゲインを下げるか、またはゼロにする
    ことを特徴とするブレ補正装置。
  6. 請求項5に記載のブレ補正装置において、
    前記ゲイン変更部は、AF(オートフォーカス)補助光の照射に伴って前記入射光量が変化する期間は、前記フィードバックゲインを下げるか、またはゼロにする
    ことを特徴とするブレ補正装置。
  7. 請求項5に記載のブレ補正装置において、
    前記ゲイン変更部は、閃光撮影のプリ発光に伴って前記入射光量が変化する期間は、前記フィードバックゲインを下げるか、またはゼロにする
    ことを特徴とするブレ補正装置。
  8. 請求項1ないし請求項7のいずれか1項に記載のブレ補正装置と、
    前記ブレ補正装置を用いて、光学的ブレ補正を実施するカメラと
    を備えたことを特徴とするカメラシステム。
JP2004170381A 2004-06-08 2004-06-08 ブレ補正装置、およびカメラシステム Expired - Fee Related JP4400322B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004170381A JP4400322B2 (ja) 2004-06-08 2004-06-08 ブレ補正装置、およびカメラシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004170381A JP4400322B2 (ja) 2004-06-08 2004-06-08 ブレ補正装置、およびカメラシステム

Publications (2)

Publication Number Publication Date
JP2005354218A JP2005354218A (ja) 2005-12-22
JP4400322B2 true JP4400322B2 (ja) 2010-01-20

Family

ID=35588327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004170381A Expired - Fee Related JP4400322B2 (ja) 2004-06-08 2004-06-08 ブレ補正装置、およびカメラシステム

Country Status (1)

Country Link
JP (1) JP4400322B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5911220B2 (ja) * 2011-07-01 2016-04-27 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6716304B2 (ja) * 2016-01-28 2020-07-01 オリンパス株式会社 像振れ補正装置及びこの像振れ補正装置を適用した撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2703105B2 (ja) * 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
JPH07284016A (ja) * 1992-10-13 1995-10-27 Samsung Electron Co Ltd ディジタル映像安定化システムの適応形動きベクトルの決定方法及び装置
JP3548328B2 (ja) * 1996-04-09 2004-07-28 キヤノン株式会社 撮像装置
JP3985280B2 (ja) * 1996-11-20 2007-10-03 ソニー株式会社 ビデオカメラとビデオカメラにおける手振れ補正信号のゲイン調整方法
JP3564247B2 (ja) * 1996-11-26 2004-09-08 松下電器産業株式会社 画像動き補正装置
JPH10322590A (ja) * 1997-05-20 1998-12-04 Canon Inc 撮像装置及びコンピュータ読み取り可能な記録媒体
JPH1195275A (ja) * 1997-09-25 1999-04-09 Nikon Corp ブレ検出装置及びブレ補正カメラ
JPH11271832A (ja) * 1998-03-26 1999-10-08 Nikon Corp ブレ検出装置及びブレ補正カメラ
JP2000206580A (ja) * 1999-01-13 2000-07-28 Ricoh Co Ltd 手振れ補正機能付きカメラ及びその補正処理方法
JP3591357B2 (ja) * 1999-02-10 2004-11-17 松下電器産業株式会社 画像動き補正装置
JP3751800B2 (ja) * 2000-06-29 2006-03-01 株式会社東芝 撮像装置の揺れ補正装置及び方法
JP4511766B2 (ja) * 2000-07-10 2010-07-28 株式会社リコー 撮影装置および撮影装置における振れ補正方法
JP2003202610A (ja) * 2002-01-09 2003-07-18 Canon Inc 防振制御装置

Also Published As

Publication number Publication date
JP2005354218A (ja) 2005-12-22

Similar Documents

Publication Publication Date Title
US7522188B2 (en) Vibration reduction apparatus having feedback path for motion signal, and camera system
US8259183B2 (en) Shooting lens having vibration reducing function and camera system for same
US8175448B2 (en) Imaging apparatus
EP1507408A2 (en) Shooting lens having vibration reducing function and camera system for same
JP4419466B2 (ja) 撮影レンズ、およびカメラシステム
US10511774B2 (en) Image pick-up apparatus and control method
CN106998425B (zh) 振动检测设备、振动检测方法和摄像设备
US10250808B2 (en) Imaging apparatus and control method therefor
KR20140032318A (ko) 노출 조건을 주기적으로 변화시키는 촬상장치, 촬상장치의 제어방법, 및 기억매체
US10623644B2 (en) Image pick-up apparatus and control method thereof
JP4869579B2 (ja) ブレ補正装置、およびカメラシステム
CN110062131B (zh) 图像模糊校正装置及其控制方法和摄像装置
JP4311013B2 (ja) ブレ補正カメラシステム及びブレ補正カメラ
JP4360147B2 (ja) 撮影レンズ、およびカメラシステム
JP4595394B2 (ja) ブレ補正装置、およびカメラシステム
JP4556560B2 (ja) ブレ補正装置、およびカメラシステム
US10873701B2 (en) Image pickup apparatus and control method thereof
JP4400322B2 (ja) ブレ補正装置、およびカメラシステム
JP4415596B2 (ja) 撮影レンズ、およびカメラシステム
JP2005141207A (ja) ブレ補正装置、およびカメラシステム
JP7204855B2 (ja) 像振れ補正装置およびその制御方法、撮像装置
JP2005252760A (ja) ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置、及び、ブレ補正プログラム
JP2021044653A (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP2022120685A (ja) 防振制御装置及び方法、及び撮像装置
JP2021012259A (ja) 像ブレ補正装置及びその制御方法、撮像システム、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4400322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121106

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151106

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151106

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees