本発明は、手ブレ補正機能を備える撮像装置に関するものである。
近年、民生用のデジタルカメラやビデオカメラ(以下、「ビデオムービー」と称す)の小型化、軽量化、光学ズームの高倍率化が進み、その使い勝手が格段に向上した結果、一般消費者にとってデジタルカメラやビデオムービーは日常生活で使用される家電製品の1つとなっている。しかしその反面、小型化、軽量化、光学ズームの高倍率化、および撮影に習熟していない消費者へのそれらの商品の普及は、撮影時の手ブレによる画面の不安定化という問題も発生させていた。したがって、この問題を解決するため、画像動き補正装置を搭載するデジタルカメラやビデオムービーが今や多く開発、商品化されている。ただし、これら既存の画像動き補正装置は、垂直方向(ピッチング方向)および水平方向(ヨーイング方向)の手ブレによる画像の動きを補正するものである。しかしデジタルカメラやビデオムービーでの撮影中の手ブレは垂直方向および水平方向に限られるものではなく、例えば光軸もしくは光軸に平行する軸を中心に回転するローリング方向の手ブレも発生しうる。
そこで撮影時のローリング方向のブレ(画像の回転)を補正する装置として、以下のようにいくつかの提案がなされている。
例えば特許文献1においては、カメラ本体の傾きの検出手段と、検出手段によって得られた信号により傾きの程度を判断する手段と、撮像素子の回転手段と、回転手段の制御手段とを有するビデオムービーが開示されている。この特許文献1においては、カメラの傾きを検出する手段として、重力を用いたものまたは加速度を利用したものを採用し、カメラ本体の傾きに応じて撮像素子を回転駆動することで、撮影画像の傾き(ローリング方向のブレ)を解消する例が開示されている。
また、例えば特許文献2においては、被写体を撮像する撮像装置であって、上記被写体の画像を取得する撮像部と、上記画像から、上記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、上記検出条件に基づいて、上記画像から、上記直線成分に対応する画像要素を検出し、検出した上記画像要素と、予め定められた上記直線成分の傾きに関する基準との幾何学的ずれを検出する画像処理部とを備えることを特徴とする撮像装置が開示されている。この特許文献2においては、撮像部から得た画像を処理し、検出したエッジ成分をもとに画像の傾きを検出し、さらに得られた画像の傾きを用いて撮影画像の傾き(ローリング方向のブレ)の補正を行う例が提示されている。
特開平4−331586号公報
特開2002−344723号公報
以上のようにローリング方向のブレ(画像の回転)を補正する装置に関しては各種方法の提案がされていることは周知の通りであるが、それらにはまだいくつかの課題が残されている。その1つは、ローリング方向のブレを検出する手段として、加速度センサなどの物理センサを使用する場合、センサは個体ばらつきや温度特性、経年変化が不可避であるため、検出される傾きの精度を高く保つことは困難である。
その点では、ローリング方向のブレを検出する手段として、撮影画像の特徴から画像の傾きを検出する手段を用いた場合、画像処理は電子的な信号処理であり、個体ばらつきや温度特性、経年変化は発生しえない。しかし、撮影画像の特徴から画像の傾きを検出する場合、傾きに関する情報を取得できる周期が画像の撮影周期に束縛され、所望の早い周期で傾きの情報を得ることができない。例えばテレビジョン方式がNTSC方式のビデオカメラの場合、約16.6ミリ秒間隔で画像を撮影するため、これ以上の早い周期で画像の傾き情報を得ることができない。つまり傾きの検出が遅延する。このことはすなわち、例えば撮影画像の傾きを補正するために撮像素子などを機構的に回転駆動する場合、この検出の遅延が原因で機構部を十分に高い動作周波数で駆動できず、傾きの補正が精度よく実現できない可能性が懸念される。その点、センサは画像の撮影周期に束縛を受けることなく、ほぼリアルタイムで傾きを検出することが可能である。
本発明の目的は、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる撮像装置を提供することである。
上述したような課題を解決するために、第1の発明に係る撮像装置は、被写体の光学的な像を形成する撮像光学系と、形成された光学的な像を受光して、電気的な画像信号に変換して出力する撮像素子とを備えた撮像装置であって、撮像装置のローリング方向の傾きの角度を検出する装置傾き角検出部と、画像信号から受光した像のローリング方向の傾きの角度を検出する画像傾き角検出部と、画像傾き角検出部によって検出された像の傾きの角度によって、装置傾き角検出部の検出結果を校正して装置傾き角を算出する装置傾き角算出部と、を備えたことを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる。
第2の発明に係る撮像装置は、第1の発明に係る撮像装置において、装置傾き角算出部の算出結果に基づいて、撮像装置の傾きを補正する傾き補正部をさらに備えることを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)を高精度に補正できる。
第3の発明に係る撮像装置は、第2の発明に係る撮像装置において、傾き補正部は、装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する、又は、電気的な画像を回転することを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)を高精度に補正できる。
第4の発明に係る撮像装置は、第3の発明に係る撮像装置において、撮像光学系を格納し、撮像素子が固定されたレンズ鏡筒をさらに備え、傾き補正部は、装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転することを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)を高精度に補正できる。
第5の発明に係る撮像装置は、第3または第4の発明に係る撮像装置において、傾き補正部は、画像信号に変換された像の水平または垂直が、被写体と一致するように撮像素子を光軸または光軸に平行する軸を中心に回転することを特徴とする。これにより、撮影画像に多く含まれる水平または垂直の線分を利用して補正することにより補正精度を向上することができる。
第6の発明に係る撮像装置は、第3〜第5の発明のいずれかに係る撮像装置において、傾き補正部は、最初の校正が完了した後から撮像素子またはレンズ鏡筒を光軸または光軸に平行な軸を中心に回転する動作を開始することを特徴とする。これにより、正しく校正された装置傾き角を使って傾き補正が実施されるので補正精度を向上することができる。
第7の発明に係る撮像装置は、第1〜第6の発明のいずれかに係る撮像装置において、撮像装置から被写体側への撮像光学系の光軸に対して垂直方向であって少なくとも1軸の加速度を検出する装置加速度検出部と、装置加速度検出部より出力される加速度を用いて、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、画像傾き角検出部は、参照傾き角算出部の出力する傾き角を入力値とすることを特徴とする。これにより、水平/垂直方向の誤検出の原因になるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができる。
第8の発明に係る撮像装置は、第1〜第6の発明のいずれかに係る撮像装置において、撮像光学系の光軸と直交する2方向に手ブレ補正部を駆動する第1、第2のアクチュエータを有した手ブレ補正装置と、第1、第2のアクチュエータの駆動電流値を入力として、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、画像傾き角検出部は、参照傾き角算出部の出力する傾き角を入力値としてもよい。これにより、水平/垂直方向の誤検出の原因になるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができる。
第9の発明に係る撮像装置は、第1〜第8の発明のいずれかに係る撮像装置において、装置傾き角検出部は、傾斜センサ、加速度センサ、角速度センサのいずれかであることを特徴とする。これにより、装置傾き角を正確に検出することができる。
第10の発明に係る撮像装置は、第9の発明に係る撮像装置において、装置傾き角検出部が角速度センサであって、装置傾き角検出結果を積分してローリング方向の角度変化量を算出する角度変化量算出部をさらに有し、装置傾き角算出部は画像傾き角検出部によって検出された像の傾きの角度によって、角度変化量を校正して装置傾き角を算出することを特徴とする。これにより、装置傾き角検出部にコリオリ力を検知するジャイロセンサのような角速度検出方法も用いることにより、パンニングなどの撮像装置姿勢変化時における重力加速度以外の加速度の影響を受けることがなく正確に装置傾き角を検出することができる。
第11の発明に係る撮像装置は、第10の発明に係る撮像装置において、装置傾き角算出部は、装置傾き角算出部から出力される傾き角を保持する装置傾き角保存メモリと、装置傾き角保存メモリから出力される傾き角と画像傾き角検出部から出力される傾き角の差を算出する差分演算器と、差分演算器の出力を保持する差分値保存メモリと、差分値保存メモリの出力を用いて角度変化量に加算する補正値を算出する補正値算出部とからなり、画像傾き角検出部の動作タイミングに合わせて差分値保存メモリの保持する内容を更新し、撮像素子の動作タイミングに合わせて装置傾き角保存メモリを更新することを特徴とする。これにより、画像傾き角検出部の動作タイミングに合わせて装置傾き角算出部の算出結果を校正するので正確な装置傾き角が算出できる。
第12の発明に係る撮像装置は、第11の発明に係る撮像装置において、補正値算出部は、画像傾き角検出部の動作周波数を角度変化量算出部の動作周波数で割った値を、差分値保存メモリの出力に対して掛け合わせる乗算器と、乗算器からの出力を積算する積分器とから構成することを特徴とする。これにより、補正値の急変を防止することができ安定な補正が可能となる。
本発明によれば、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる撮像装置を提供することができる。
本発明の実施の形態1における撮像装置の構成を示すブロック図
同撮像装置のレンズ鏡筒とその回転方向を示す模式図
同撮像装置の画像傾き角検出処理部から出力される撮影画像の傾きの角度と、角度センサからの撮像装置の傾きに関する角度信号を、マイコンが取得するタイミングの一例を示す模式図
同撮像装置の画像傾き角検出処理のフローチャート
同撮像装置の画像傾き角検出処理の処理過程の説明図であって、傾きを有する元画像を示す図
同撮像装置の画像傾き角検出処理の処理過程の説明図であって、線分抽出結果の例を示す図
同撮像装置の画像傾き角検出処理の処理過程の説明図であって、抽出線分の角度分布を示す図
同撮像装置の画像傾き角検出処理の処理過程の説明図であって、傾き補正後の画像を示す図
同撮像装置の画像傾き検出に使用される3×3ラプラシアンフィルタの重み付け係数の一例を示す図
同撮像装置の画像傾き検出に使用される3×3ラプラシアンフィルタの重み付け係数の他の例を示す図
同撮像装置のマイコンに格納された処理プログラムのフローチャート
同撮像装置の角度信号から角度を換算する換算式の一例を説明するための図
同撮像装置の角度信号から角度を換算する換算式の更新方法を説明するための図
本発明の実施の形態2における撮像装置の構成を示すブロック図
同撮像装置の撮像素子回転機構の概略構成を示す斜視図
本発明の実施の形態3における撮像装置の構成を示すブロック図
同撮像装置の角速度算出処理のブロック図
同撮像装置の角度変化量算出処理のブロック図
同撮像装置の装置傾き角算出処理のブロック図
同撮像装置の装置傾き角算出処理のブロック図
本発明の実施の形態4における撮像装置の構成を示すブロック図
同撮像装置の加速度算出処理のブロック図
同撮像装置のコアリング処理部での入出力特性を示す図
同撮像装置の傾き角検出処理の処理過程の説明図であって、傾きを有する元画像を示す図
同撮像装置の傾き角検出処理の処理過程の説明図であって、抽出線分の角度分布を示す図
同撮像装置の傾き角検出処理の処理過程の説明図であって、正しい傾き補正後の画像を示す図
本発明の実施の形態5における撮像装置の構成を示すブロック図
同撮像装置のヨーイング方向駆動制御部およびピッチング方向駆動制御部の分解斜視図
同撮像装置の傾き角が0度の場合のピッチング保持枠を示す図
同撮像装置の傾き角が90度の場合のピッチング保持枠を示す図
同撮像装置の傾き角がθ度の場合のピッチング保持枠を示す図
同撮像装置の傾き角とコイルの駆動電流の関係を示す図
同撮像装置のレンズ鏡筒とその回転方向を示す他の例の模式図
同撮像装置の角度信号から角度を換算する換算式の他の更新方法を説明するためのグラフ
以下、本発明の実施の形態について図面を参照しながら説明する。
(実施の形態1)
まず、本発明の実施の形態1における撮像装置100について図1〜図9を用いて説明する。図1は、本発明の実施の形態1における撮像装置100の構成を示すブロック図である。図1において、撮像光学系1は、光軸AXに沿って配置された3つのレンズ群L1、L2、L3からなり、被写体像を撮像素子3上に結像させるために設けられており、レンズ鏡筒2の内部に格納されている。また、レンズ鏡筒2は撮像光学系1の光軸AXを中心に回転自在に構成されており、後述する鏡筒回転駆動部16によって回転運動する。また、図1においては各レンズ群は単レンズで構成されているが、これに限定されるものではなく、複数レンズで1つのレンズ群を構成してもよい。
撮像素子3は撮像光学系1を介して入射する像を電気信号に変換する撮像素子であり、具体的にはCCDやCMOSなどが使用される。カメラ信号処理部4では、撮像素子3から出力される画像信号に対してゲインコントロール処理やガンマ処理などのアナログ信号処理、A/D変換、ノイズ除去や輪郭強調などのデジタル信号処理が施される。その後、記録系信号処理部5にて、圧縮などの記録系の信号処理が施され、最後に半導体メモリなどで構成される記録媒体6に記録される。画像傾き角検出処理部7は、カメラ信号処理部4の出力画像信号から画像の傾き(角度)を電子的に検出する。
角度センサ8aは撮像装置100本体に設置され、撮像装置100自体のローリング方向の傾きを検出するためのセンサである。ここで、重力の方向(鉛直方向)に対し90度をなす方向は水平方向として定められ、これが角度の基準(角度=0度)として定められる。また、撮像光学系から被写体側を見たときの反時計回り方向はプラス方向として定められる。角度センサ8aは、撮像装置100の傾きの大きさおよび方向に応じて、正負両方向の角度信号を出力する。
ここで角度信号と角度の関係(初期状態)は図8に示すように、水平方向の基準(角度=0度)に対して傾いた角度に比例して角度信号が出力されるような関係である。角度信号の正負は、撮像装置100の傾きが水平方向(角度=0度で且つ、角度信号=0[V])に対して、右上がりまたは左上がりの場合に相当する。図8に示した角度信号と角度の関係を表すグラフにおいて、その比例直線の傾きをKとすると、角度信号から角度を換算する換算式は以下のようになる。
HPF9aは角度センサ8aの出力に含まれる不要帯域成分中の例えば直流ドリフト成分を除去するための高域通過フィルタである。LPF10aは角度センサ8aの出力に含まれる不要帯域成分中の、例えばノイズ成分を除去するための低域通過フィルタである。アンプ(Amp)11aは、角度センサ8aの出力の信号レベルの調整を行う信号増幅器である。A/D変換(ADC)部12aはアンプ11aの出力をデジタル信号に変換する。
マイクロコンピュータ(以下、「マイコン」と略記する)14は、A/D変換部12aを介して取り込んだ角度センサ8aの出力と、画像傾き角検出処理部7から得た画像の傾きの角度に基づき、装置傾き角算出処理部13(マイコン内の処理)でレンズ鏡筒2を回転運動させるための駆動制御量を求め、駆動制御量を示す制御信号をD/A変換(DAC)部15を介して鏡筒回転駆動部16に送る。D/A変換部15はマイコン14から信号を受け取ると略同時にこれをアナログ信号に変換し、変換された制御信号を鏡筒回転駆動部16に送る。
鏡筒回転駆動部16は制御信号に基づきレンズ鏡筒2を回転駆動することで撮影される画像の傾きを補正するものであり、レンズ鏡筒2を回転駆動するためのモーターとモータードライバーからなる。最後に、撮像素子駆動部17は撮像素子3において被写体から変換された電荷の転送を制御する。
図2は、本発明の実施の形態1における撮像装置100のレンズ鏡筒2とその回転方向を示す模式図である。図2に示すようにレンズ鏡筒2は光軸AX(一点鎖線)を回転中心として、矢印の方向に鏡筒回転駆動部16(図示せず)によって回転する。撮像素子3はレンズ鏡筒2に物理的に固定されている。よって、レンズ鏡筒2が回転運動する際には、撮像素子3もレンズ鏡筒2と一体になって回転する。
図3は、本発明の実施の形態1における撮像装置100の画像傾き角検出処理部7から出力される撮影画像の傾きの角度と、角度センサ8aからの撮像装置100の傾きに関する角度信号を、マイコン14が取得するタイミングの一例を示す模式図である。図3において、A)は撮影された画像の傾きを画像傾き角検出処理部7が検出する処理にかかる期間を示したものである。実施の形態1においては、画像傾き角検出処理部7は1垂直走査期間をかけて撮影画像から傾きの角度を検出するものとする。B)は画像傾き角検出処理部7が検出した画像の傾き角度を、マイコン14に出力するタイミング(矢印で示す)を示したものである。C)は角度センサ8aが検出した撮像装置100自体の角度信号がマイコン14に取り込まれるタイミングである。B)およびC)に示すように、画像傾き角検出処理部7から得られる撮影画像の傾き角度は、1垂直走査期間に一度であり、角度センサ8aからの角度信号は、より高い頻度でマイコン14に取り込まれるものとする。なお実施の形態1における以下の説明では、一例として撮影画像の1秒あたりのコマ数を60枚(1垂直走査期間は約16.6ミリ秒)とし、角度センサ8aからの角度信号をマイコン14が1秒間に取り込む回数を1秒あたり600回とする。
ここで、画像傾き角検出処理部7の動作について説明する。図4は本発明の実施の形態1における撮像装置100の画像傾き角検出処理のフローチャート、図5A、図5B、図5Cおよび図5Dは画像傾き角検出処理の処理過程の説明図である。まず初めに画像傾き角検出処理部7で実行される画像傾き角検出処理(マイコン)について説明する。この処理は画像に含まれる直線成分に着目するものである。建築物など種々の構造物、地面、地平線、水平線など水平方向および鉛直方向の線が一般的に多く含まれることを利用し、画像内の水平鉛直方向を検出することにより傾き角を算出する。画像傾き角検出処理部7は演算処理部とフレームメモリ(図示せず)からなる。カメラ信号処理部4から受け取った画像はフレームメモリに保持され、演算処理部との間でデータのやりとりをしながら以下の処理が行われる。
ステップS1では輝度画像の作成が行われる。各画素においてR成分の輝度値をIR、G成分の輝度値をIG、B成分の輝度値をIBとするとき、輝度画像の輝度値Iは下記(数2)を実行することにより求められる。
なお、カメラ信号処理部4から輝度画像が出力される場合はステップS1を省略することができる。
ステップS2ではステップS1で作成した輝度画像に対してエッジ検出が行われる。エッジ検出方法として、例えば3×3ラプラシアンフィルタ(Laplacian Filter)を適用することができる。図6Aおよび図6Bに3×3ラプラシアンフィルタの重み付け係数の一例を示す。注目画素のエッジ成分の大きさを決定する際に、自身の近傍の画素を図6Aまたは図6Bのように重み付けして足し合わせることで、注目画素のエッジ成分を決定する。なお、その他の一般に広く知られているエッジ抽出方法としては、ソーベルフィルタ(Sobel Filter)やプレウィットフィルタ(Prewitt Filter)などのフィルタを適用する方法などがある。
ステップS3ではステップS2で作成したエッジ抽出画像に対して線分抽出処理を行う。具体的な処理方法としては、例えば画像処理においてロバストな直線検出手法として多く使用されているハフ変換を利用してもよい。ハフ変換では、X−Y平面における求めたい直線をパラメータp、qを用いてY=pX+qで表すとき、画素(X,Y)ごとにパラメータ空間p−qにq=Y−pXの軌跡を描く。多くの軌跡が交わる点のパラメータ(p、q)を持つ直線が、画像中に存在するものとみなす。このような処理を用いた例を図5A〜図5Dに示す。
図5Aは撮像装置100が水平に対して傾きを有したまま撮影してしまった画像の例である。図5Bは図5Aの元画像に対してエッジ検出、線分抽出を行った結果の例である。太線で示した線分が抽出線分である。図5Bを見ると全ての線分が抽出されているわけではないことがわかる。線分抽出の感度は前述したハフ変換の説明のp−q平面における“多くの軌跡が交わる点のパラメータ(p、q)”を抽出する際の閾値の設定に依存する。また一般的によく行われる処理として、ハフ変換で線分候補を抽出した後、さらに線分の長さやエッジ検出画像での輝度の大きさなどに基づいてフィルタリングを行ってもよい。これらのフィルタ処理をチューニングすることによりノイズに強い傾き角検出が可能となる。
ステップS4ではステップS3で抽出した線分の傾き角を求め、その分布を得る。ここで傾き角は前述のように水平方向を0度とする。また±90度の範囲の値をとることとする。図5Cに図5Bの抽出線分の傾き角θの分布を模式的に示す。図5Cでは元画像の略水平方向の線分と略鉛直方向の線分によって2つのピークができる。
ステップS5でこのピーク位置を検出し、水平方向および鉛直方向を決定する。前述のように、一般的には90度間隔で水平方向と鉛直方向の2つのピークができる。これら2つのピークを検出し、画像の水平方向の角度θHおよび鉛直方向の角度θVを求める。これらを精度よく検出するために、図5Cに示されるような角度分布の−90≦θ<0[deg]の範囲のデータと0≦θ<90[deg]の範囲のデータを重ね合わせた分布データに対してピーク検出を行う。これにより水平鉛直方向検出の精度を上げることができる。
最後にステップS6では、ステップS5で検出した画像内の水平方向および鉛直方向の角度を基に最終的な画像の傾き角度を求める。ここで、画像の傾き角度を例えばθHとすると撮影時の撮像装置100の傾き角は、−θHとなる。
次にマイコン14内の装置傾き角算出処理部13の動作を説明する。
図7は、本発明の実施の形態1における撮像装置100のマイコン14に格納された処理プログラムのフローチャートである。傾き補正スイッチ(図示せず)がONされると図7に示した一連の処理が開始される。なお、図7には記載していないが、1回の処理ループは、例えばマイコン14に内蔵されたタイマーにより一定周期で割り込みをかけることにより、行われる。その割り込みをかける周期は角度センサ8aから角度信号を取得する周期(1/600秒ごと)とする。
まず傾き補正スイッチがONされると、ステップS101においてD/A変換部15を介して鏡筒回転駆動部16に供給する制御信号値を0度に相当する初期値に設定する。
またステップS102において、マイコン14に内蔵のカウンタ(以下、「CNT」と略記する)をゼロに設定する(カウンタのリセット)。さらにステップS103において、画像傾き角検出処理部7において最初の画像からの傾き角度検出が完了するまで待機する。
画像傾き角検出処理部7における最初の画像からの傾き角度の検出が完了し、タイマーによる割り込みがかけられると、まずステップS104でCNT値に応じて、処理をステップS105もしくはステップS106へと分岐させる。CNT値がゼロの場合は、ステップS105において、画像傾き角検出処理部7から画像の傾きの角度を取得する。CNT値がゼロでない場合は、ステップS106に移行し、A/D変換部12aを介して角度センサ8aからの角度信号を取得する。
次に、ステップS107で再びCNT値に応じて、処理をステップS108もしくはステップS109へと分岐させる。CNT値がゼロの場合は、ステップS108において、後述する換算式をステップS105で取得した画像の傾き角度を用いて更新する。CNT値がゼロでない場合は、ステップS109において、ステップS106にて取得した角度信号から後述する換算式を用いて撮像装置100の傾きを算出する。
ステップS110ではステップS109で算出した撮像装置100の傾きによって生じる撮影画像の傾きを解消する方向にレンズ鏡筒2を回転させるための制御信号値を算出し、これをD/A変換部15を介して鏡筒回転駆動部16に供給する。
ステップS111ではCNT値を角度センサ8aからの1秒あたりの角度信号読み込み回数600と比較し、CNT値がもしも600ならばCNTをリセット(ステップS112)し、600でなければCNTを1だけカウントアップする。
以上のように構成された実施の形態1に関し、以下その動作を、マイコン14に格納された処理プログラムを基に説明する。
撮像装置100の操作者の指示などにより傾き補正が動作の状態にされると図7に示した一連の処理が開始される。
まず、撮影された画像から画像傾き角検出処理部7によって、画像の傾きの角度の検出が開始される。略同時に角度センサ8aも撮像装置100自体の傾きの検出を開始する。初期の状態ではCNT値はゼロであり(ステップS102)、ステップS103で画像傾き角検出処理部7による画像の傾き角度の検出の完了を待つ。画像傾き角検出処理部7による画像の傾き角度の検出が完了したことを知る方法は、例えば一定時間のタイマー処理でウエイトをかける方法や、画像傾き角検出処理部7が処理完了を割り込みや通信でマイコン14に伝えるなど様々な方法が考えられるが、実施の形態1においては、方法は特に限定されない。
画像傾き角検出処理部7による画像の傾き角度の検出が完了すると、ステップS104にてCNT値が確認される。最初はCNT値はゼロのため、ステップS105において画像傾き角検出処理部7によって検出された画像の傾き角度が取得される。
次にステップS106においてはA/D変換部12aを介して角度センサ8aからの角度信号が取得される。
次にステップS107においてCNT値がゼロであるため、ステップS108に移行し、ステップS105で取得した角度信号を角度に換算するための換算式を更新する。ここで角度信号から角度を換算する換算式の更新について、図8を用いて説明する。
まず換算式は、(数1)に示したような式となるが、これはあくまでも換算式の初期値である。その理由は、角度センサ8aは例えば重力加速度の方向や大きさを検出する物理的センサであり、その特性は部品ごとにばらつきや温度特性を有することが一般的だからである。個別に角度センサ8aの特性を調整するなどの処理をしない場合、角度センサ8aごとに特性のばらつきが発生する。このため、角度信号値から換算式によって得られる角度の値が正しいとは限らない。また、角度センサ8aを個別に調整したとしても、経年変化や温度変化によって、やはり得られる角度の値が正しい保証はない。一方、画像傾き角検出処理部7から得られる画像の傾きの角度値は、個体ばらつきや経年変化や温度変化による影響を受けない。
そこでステップS108においては、画像傾き角検出処理部7から得られた画像の傾きの角度値を利用して、換算式の更新(校正)を行う。図9に示すようにステップS105で取得した画像の傾き角度をθ2、ステップS106で取得した角度信号をbとすると、図8および(数1)に示した初期状態の換算式では、角度信号がbの場合、換算結果の角度はθ3となる。仮に角度信号に応じて正しく撮像装置100の傾き角度が検出されており、且つレンズ鏡筒2がこの傾き角度に合致して回転していれば、撮影された画像の傾きは0度である。つまり撮影画像は水平を保たれて撮影されているので、θ2は0となる。しかし、角度信号値から換算式によって得られる角度の値が正しくない場合、撮影された画像は傾いた状態で撮影されるため、θ2は何らかの値を持つ。そしてこのθ2の値は角度信号値から換算式によって得られる角度の値の誤差に相当するといえる。したがって、θ3から誤差であるθ2を除いた値が撮像装置100の正しい角度であることとなる。そこでθ3からθ2を除いた値とθ3を比較し、両者が等しければ換算式の更新は不要と判断する。逆にθ3からθ2を除いた値とθ3が異なる場合、θ3からθ2を除いた値を新たにθ4として、換算式の傾きを以下の(数3)よって算出し、
このK’を用いて換算式を以下の(数4)のように更新する。
次にステップS109では、ステップS108において更新された換算式(数4)を用いてステップS106で取得した角度信号から撮像装置100の傾き角度を算出する。ステップS110では、レンズ鏡筒2を回転駆動して撮影画像の傾きを解消するための制御信号を生成し、D/A変換部15を介して鏡筒回転駆動部16に供給する。この制御信号に基づきレンズ鏡筒2が回転することにより、撮像装置100の傾きに起因して発生する撮影画像の傾きが補正される。
ステップS111、ステップS112、ステップS113はCNT値をリセットもしくはカウントアップするステップであり、CNT値が600の場合はCNT値をゼロにリセットし、CNT値が600未満の場合は、1だけカウントアップを行う。
これら一連の処理が完了すると、例えばマイコン14に内蔵されたタイマーにより一定周期で割り込みがかけられ、ステップS104以降のループ処理が繰り返される。
2回目以降のループでは、CNT値がゼロではないため、ステップS105およびステップS108は実施されず、ステップS106で取得された角度信号を基に、ステップS108で更新された換算式によって、撮像装置100の傾きの角度が算出される。ステップS110では、レンズ鏡筒2を回転駆動して撮影画像の傾きを解消するための制御信号が生成される。そして、上述したようにレンズ鏡筒2が回転することにより、撮像装置100の傾きに起因して発生する撮影画像の傾きが補正される。
これらのループが繰り返され、CNT値が600となりステップS112にてCNTがゼロにリセットされた次のループでは、再度、画像傾き角検出処理部7から得られた画像の傾きの角度値を利用して、換算式の更新(校正)が行われる。
このように、一定周期ごとに、画像傾き角検出処理部7から得られた画像の傾きの角度値を利用して、換算式の更新(校正)を行う。これにより、角度センサ8aが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、角度信号から角度を算出する換算式が絶えず更新されている。このため、精度の高い角度検出および撮像装置100の傾きの補正を実現することができる。
以上のように、実施の形態1においては、マイコン14は、画像傾き角検出処理部7によって検出した撮影画像の傾きの角度を用いて、一定周期ごとに角度センサ8aから得られる撮像装置100の角度信号を校正する。これにより、角度センサ8aが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、精度の高い角度検出が可能となる。さらに、この検出された傾き角度を利用して撮像装置100の傾きを補正することにより、精度の高い傾き補正を実現することが可能である。
(実施の形態2)
本発明の実施の形態1においては、撮像装置100の傾きに起因する撮影画像の傾きを補正するために、レンズ鏡筒2を回転駆動する構成を説明したが、レンズ鏡筒2の代わりに撮像素子3を回転することで撮影画像の傾きを補正する構成も考えられる。実施の形態2は、撮像素子3を回転することで撮影画像の傾きを補正するものである。
図10は、本発明の実施の形態2における撮像装置200の構成を示すブロック図を示すものである。実施の形態1と同様な部分には同じ符号を付して説明を省略し、異なる部分についてのみ説明する。図10において、撮像素子回転機構19は撮像素子3を撮像光学系1の光軸を中心に回転させるための機構である。撮像素子回転駆動部18は、本発明の実施の形態1の鏡筒回転駆動部16と同様に、撮像素子回転機構19を回転駆動するためのものであり、これによって撮像素子回転機構19が回転運動し、結果的に撮像素子3が回転して撮影時の画像の傾きが補正される。撮像素子回転機構19の概略構成を図11に示す。
図11において、撮像素子回転機構19は、回転台191と固定枠192と駆動源193とからなる。撮像素子3は回転台191上に固定され、回転台191は回転自在に固定枠192上に設置される。また固定枠192上に固定される駆動源193は図示しないDCモーターなどのアクチュエータとその回転駆動力を回転台191に伝達するギアボックスからなる。
撮像素子回転駆動部18はマイコン14からD/A変換部15を介して回転制御信号を受け、駆動源193に含まれるアクチュエータをコントロール可能な信号に変換し、変換された信号を出力する。この信号を受け取った駆動源193は、その指示に従って駆動力を発生させ、回転台191および撮像素子3を回転駆動させる。回転台191および撮像素子3の回転移動量は固定枠192に固定された図示しない位置検出器で検出する。位置検出器は、磁気センサを固定枠192に設けるような構成を有する。磁気センサは、例えば回転台191の内周に描かれたスリット状の磁気パターンが作る磁界の強さの強弱を読み取る。このような位置検出器の出力は撮像素子回転駆動部18に返され、そのパルス数をカウントすることにより位置がわかる。この情報を使ってフィードバック制御ループを形成することによって精度よく撮像素子3の位置決めが可能となる。
このように構成された実施の形態2においては、実施の形態1と同様にD/A変換部15を介してマイコン14から供給される制御信号によって撮像素子3が回転され、撮像装置200の傾きに起因する撮影画像の傾きが補正される。
また実施の形態1と同様に、画像傾き角検出処理部7によって検出した撮影画像の傾きの角度を用いて、一定周期ごとに角度センサ8aから得られる撮像装置200の角度信号を校正する。これにより、角度センサ8aが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、精度の高い角度検出および撮像装置200の傾きの補正を実現することが可能である。
(実施の形態3)
以下、本発明の実施の形態3における撮像装置300について、図12〜図16を用いて説明する。図12は本発明の実施の形態3における撮像装置300の構成を示すブロック図、図13は角速度算出処理のブロック図、図14は角度変化量算出処理のブロック図、図15、16は装置傾き角算出処理のブロック図である。また、実施の形態3においては、画像傾き角から求めた装置の傾き角度と傾きセンサで求めた装置の傾き角度を区別するために、前者をαIと表し画像傾き角と呼び、後者をαSと表して装置傾き角と呼ぶことにする。
図12を用いて実施の形態3における撮像装置300の構成について説明する。実施の形態3が実施の形態1および実施の形態2と異なる点は、撮像装置300の傾きセンサとして角度センサに代えて角速度センサを使用する点である。その他の構成は、実施の形態1および実施の形態2と同じであるので同様な部分には同じ符号を付し、説明を省略する。
角速度センサ8bは被写体に対してローリング方向の角速度を検出するように撮像装置300の任意の位置に固定された所謂ジャイロセンサである。ジャイロセンサの出力としてはアナログ出力とデジタル出力が選択可能である。ここではアナログ電圧出力を選択した場合を取り上げている。角速度センサ8bから出力される電圧信号はHPF9b、LPF10b、アンプ11b、A/D変換部12b、デジタルLPF20b、角速度算出処理部21へと順次送られ処理される。デジタルLPF20bでは主に高周波ノイズを削除するためのローパスフィルタ処理が必要に応じて行われる。角速度算出処理部21では後述する電圧値の角速度への変換が行われ、角度変化量算出処理部22では後述する角速度の角度変化量への変換が行われる。
装置傾き角算出処理部13では画像傾き角検出処理部7から出力される傾き角を用いて角度変化量算出処理部22から出力される角度変化量を補正し撮像装置300の傾き角を算出する。その詳細な動作については後述する。
デジタル処理であるデジタルLPF20b、角速度算出処理部21、角度変化量算出処理部22、装置傾き角算出処理部13は、マイコン14の内部に実現される。またマイコン14は撮像素子駆動部17を介して撮像素子3の撮影タイミングなどの動作を制御する。
次に角速度算出処理部21で実行される処理について図13を用いて説明する。
既に説明したように角速度センサ8bのアナログ電圧出力はHPF9b、LPF10b、アンプ11b、A/D変換部12b、デジタルLPF20bを経る間に帯域制限やノイズ除去、A/D変換といった前処理を施され、A/D変換部12bのサンプリング周波数fS[Hz]にてデジタル化された電圧信号V(n・Ts)[V]となる。ここでTsはサンプリング周期[sec]、nは整数である。角速度算出処理部21にはこのデジタル化された電圧信号が入力される。これに対して(数5)に示す演算を行い角速度ω(n・Ts)[deg/sec]を出力する。
(数5)を実現するブロック図を図13に示し、これについて説明する。角速度算出処理部21の内部ではまず入力信号が分岐され、一方は加算器51に、他方は移動平均算出処理部50に入力される。移動平均算出処理部50では最近数十点分の電圧値の平均(移動平均電圧値と呼ぶ)を算出し、加算器51へと出力される。移動平均電圧値は角加速度0のときの基準電圧となる。加算器51では、最新の電圧値から移動平均電圧値を減算し、差分電圧値が出力される。乗算器52では予め設定された感度定数S[V/deg/sec]での割り算を実行する。これにより差分電圧値は角速度ω(n・Ts)[deg/sec]に変換される。
次に角度変化量算出処理部22で実行される処理について説明する。角度変化量算出処理部22では角速度ω(n・Ts)[deg/sec]を積分し、角度変化量φ(n・Ts)[deg]を出力する。具体的には図14に示すように、まず乗算器53において角速度ω(n・Ts)[deg/sec]に対してA/D変換部12bのサンプリング周期Ts[sec]を掛け合わせる。次に加算器54において積分処理を行う。
次に装置傾き角算出処理部13で実行される処理について説明する。装置傾き角算出処理部13では角度変化量算出処理部22から角度変化量φ(n・Ts)[deg]と画像傾き角検出処理部7から画像傾き角αI(m・Ti)[deg]が入力される。ここでTiは画像傾き角αIのサンプリング周期[sec]、mは整数である。画像傾き角αI(m・Ti)[deg]を基準として、角度変化量φ(n・Ts)[deg]の絶対値の補正を行う。具体的には図15に示すように、加算器55において角度変化量φ(n・Ts)[deg]から、補正値算出処理部59からの入力値である補正値C(n・Ts)[deg]を減算する。これにより撮像装置300の傾き角αS(n・Ts)[deg]が得られる。装置傾き角αS(n・Ts)[deg]は装置傾き角算出処理部13から出力される一方で装置傾き角保存メモリ56に送られる。装置傾き角保存メモリ56に保存された値は加算器57に送られる。加算器57では装置傾き角αS(n・Ts)[deg]から、画像傾き角検出処理部7からの入力値である画像傾き角αI(m・Ti)[deg]が減算される。
この差分値(αS(n・Ts)−αI(m・Ti))[deg]が差分値保存メモリ58に代入される。この差分値が0となるよう、補正値算出処理部59にて補正値C(n・Ts)[deg]を変更することにより装置傾き角αS(n・Ts)[deg]へのフィードバックを行う。この差分値算出の際、装置傾き角αS(n・Ts)[deg]と画像傾き角αI(m・Ti)[deg]のサンプリングタイミングは同期していなければならない。そこで装置傾き角保存メモリ56の更新、加算器57での減算処理、差分値保存メモリ58の更新はマイコン14のタイミング管理下で画像傾き角検出処理部7の処理周期fI[Hz]に同期して行われる。つまりマイコン14は、画像傾き角検出処理部7から処理結果出力(画像傾き角の更新)のタイミングを受け、装置傾き角算出処理部13に差分値保存メモリ58の更新処理を指示する。ここで差分値保存メモリ58の更新処理とは、装置傾き角保存メモリ56から受け取る装置傾き角と、画像傾き角検出処理部7から受け取る画像傾き角を加算器57で減算処理し、その結果を差分値保存メモリ58に代入する一連の処理を指す。
その後マイコン14は、次に画像傾き角検出処理部7に送る画像信号の撮像素子3における露光終了タイミングを特定し図示しない結線を通して装置傾き角保存メモリ56に送る。装置傾き角保存メモリ56ではマイコン14からタイミングの指示を受け、保持している装置傾き角αS(n・Ts)[deg]の値を更新する。さらにマイコン14はこの露光終了タイミングで取り込んだ画像信号をカメラ信号処理部4で処理した結果が次に画像傾き角検出処理部7に送られるよう制御する。
なおここでは露光終了タイミングを送ることとしたが、露光開始タイミングあるいは露光開始と終了の間のいずれかのタイミングを送るようにしても実用上問題ない。傾き補正の場合、手ブレ補正と異なり比較的低い数Hz程度の周波数の動きを補正対象とするからである。
補正値算出処理部59では補正値C(n・Ts)[deg]の更新を行う。その際補正値C(n・Ts)[deg]の急変を避けるため、差分値保存メモリ58から受け取った差分値(αS(n・Ts)−αI(m・Ti))[deg]を分割して補正値C(n・Ts)[deg]に加算するように構成している。具体的には差分値保存メモリ58から受け取る差分値(αS(n・Ts)−αI(m・Ti))[deg]に対して乗算器60で(fI/fS)を乗算する。加算器61では乗算器60の出力値の積分処理を行う。
次に撮像素子回転駆動部18は装置傾き角算出処理部13から受け取る装置傾き角αS(n・Ts)[deg]に応じて撮像素子3を撮像素子3の光軸周りに−αS(n・Ts)[deg]回転駆動し、得られる撮影画像の水平を保つようにする。
以上のような実施の形態によれば、角速度センサ(ジャイロセンサ)8bを使用することにより、パンニングなどの撮像装置姿勢変化時における重力加速度以外の加速度の影響を受けることなく角速度を取得することが可能となる。また角速度センサ8bを使用する場合、角速度から角度変化量は積分計算により容易に求めることができるが、傾き角、つまり水平からの絶対的な傾き角はわからないという問題があった。この問題は、傾き角が出力可能な画像傾き角検出部を組み合わせることにより解決され、傾き角を得ることが可能となった。
また温度特性/経時変化のない画像傾き角検出部で傾き角を補正することにより角速度センサ(ジャイロセンサ)の温度特性/経時変化の影響を排除した正確な傾き角を取得することが可能となる。
また本実施の形態においては、角速度算出処理部21と角度変化量算出処理部22を分割していたが、図16に示すような両者を融合した形態としてもよい。図16は図15の結線を一部変更したのみであり、説明は省略する。
(実施の形態4)
以下、本発明の実施の形態4における撮像装置400について、図17〜図20を用いて説明する。実施の形態4における撮像装置400は、実施の形態3の場合と同様にパンニングなどの撮像装置姿勢変化や温度変化/経時変化などの影響を受けることなく、安定して撮影画像の水平を保つことができることを特徴とする。また、撮像装置400は、水平/垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができることを特徴とする。
実施の形態4の撮像装置400における主な構成は、実施の形態3の構成と同じである。相違点は加速度センサを備え、その出力値を利用して画像傾き角検出処理の高精度化を図った点である。
図17は本発明の実施の形態4における撮像装置400の構成を示すブロック図、図18は加速度算出処理のブロック図、図19はコアリング処理部での入出力特性を示す図、図20A、図20Bおよび図20Cは傾き角検出処理の処理過程の説明図である。
実施の形態3と共通する部分は同じ符号を付して説明を省略し、実施の形態3と異なる部分のみ説明を行う。
加速度センサ8cは、撮像装置400から被写体側へ伸ばした光軸AXに対して垂直で且つ撮影画像の横方向に相当する方向の加速度を検出するように撮像装置400の任意の位置に固定されている。加速度センサ8cの場合もジャイロセンサの出力と同じようにアナログ出力とデジタル出力が選択可能である。ここではアナログ電圧出力を選択した場合について説明する。加速度センサ8cから出力される電圧信号は、HPF9c、LPF10c、アンプ11c、A/D変換部12c、デジタルLPF20c、加速度算出処理部23へと順次送られ処理される。デジタルLPF20cでは主に高周波ノイズを削除するためのローパスフィルタ処理が必要に応じて行われる。加速度算出処理部23では後述する電圧値の加速度への変換が行われる。
参照傾き角算出処理部24では後述する加速度の傾き角への変換が行われる。画像傾き角検出処理部7では画像内の被写体の水平に対する傾き角の検出処理が行われる。基本的なアルゴリズムは実施の形態1で説明したものと同じである。相違点は、参照傾き角算出処理部24から受け取った参照傾き値を利用して傾き角算出精度の向上を図る点である。その詳細な動作については後述する。デジタル処理であるデジタルLPF20c、加速度算出処理部23、参照傾き角算出処理部24は、マイコン14の内部に実現される。
以下、実施の形態4の撮像装置400の動作について実施の形態3と異なる部分のみ説明する。
まず加速度算出処理部23で実行される処理について図18を用いて説明する。既に説明したように、加速度センサ8cのアナログ電圧出力はHPF9c、LPF10c、アンプ11c、A/D変換部12c、デジタルLPF20cを経る間に帯域制限やノイズ除去、A/D変換といった前処理が行われ、A/D変換部12cでサンプリング周波数fS[Hz]にてデジタル化された電圧信号Va(n・Ts)[V]となる。ここでもTsはサンプリング周期[sec]、nは整数である。加速度算出処理部23には、このデジタル化された電圧信号が入力される。これに対してコアリング処理部80では残留ノイズの影響により測定値が微小に振動して後の処理に悪影響を与えることを避けるために(数6)で示される変換を行う。図19に入出力特性を示す。
0G電圧保存メモリ81には加速度センサ8cが0G検出時の出力電圧値定数が保存されている。加算器82にて、コアリング処理後の電圧信号から0G電圧を減算する。乗算器83でこの減算結果に対して感度定数SG[V/G]の逆数を掛け合わせることにより加速度Aを得る。
参照傾き角算出処理部24では、撮像装置400から被写体側へ伸ばした光軸AX周りの傾き角αGを(数7)に従い加速度Aから求める処理を行う。
こうして求めた傾き角αGを参照傾き角と呼ぶこととする。画像傾き角検出処理部7では、基本的には実施の形態1の場合とほとんど同じ処理を行う。相違点は、図4のステップS5にてピーク検出を行う際、±90度全範囲をサーチする代わりに、参照傾き角αGの近傍のみをサーチする点である。この点について図20A〜図20Cを用いて説明する。図20Aは傾きを有して撮影されてしまった画像の例である。この画像の特徴は、本来の水平/垂直方向の線分と斜めの線分の分布の差が小さいことである。そのため、この画像に対して図4のフローチャートに従い、抽出線分の角度分布算出までの処理を実施すると図20Bに模式的に示すような角度分布が得られる。このようなケースで±90度全範囲をサーチすると間違ってαEを画像傾き角と判定してしまう可能性がある。そこで参照傾き角αGを用いて、図20Bに示すようにピークサーチ範囲をαG±βに制限する。こうすれば図20Bに示すαIを画像傾き角として検出することができ、エラーの発生を防ぐことができる。ここでβの値は加速度センサの傾き角検出精度に略一致する値に設定すればよい。現状市販されているMEMSを利用した加速度センサの場合は、5〜10度程度が望ましい。
上述のように、実施の形態4によれば、水平/垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても精度よく画像傾き角αIを求めることが可能となる。こうして求めた画像傾き角αIを用いて装置傾き角αSを補正し、傾き補正を実行すれば図20Cに示すような水平が正しく保たれた画像を精度よく得ることが可能となる。
なお実施の形態4では1軸の加速度センサを用いたがこれに限定されない。1軸であれば±90度の範囲しか検出できないが、例えば、撮像装置400から被写体側へ伸ばした光軸AXに垂直な方向に、互いに直交した2軸の加速度センサを用いた場合には±180度の範囲で傾き角の検出が可能になる。
(実施の形態5)
以下、本発明の実施の形態5における撮像装置500について、図21〜図24を用いて説明する。実施の形態5における撮像装置500は、実施の形態3の場合と同様にパンニングなどの撮像装置姿勢変化や温度変化/経時変化などの影響を受けることなく、安定して撮影画像の水平を保つことができることを特徴とする。また、撮像装置500は、水平/垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができることを特徴とする。
実施の形態5の撮像装置500における主な構成は、実施の形態3の構成と同じである。相違点は手ブレ補正装置を備え、その装置内にあるアクチュエータの駆動電流量を利用して参照傾き角を検出し、画像傾き角検出処理の高精度化を図った点である。
図21は本発明の実施の形態5における撮像装置500の構成を示すブロック図、図22はヨーイング方向駆動制御部およびピッチング方向駆動制御部の分解斜視図、図23A、図23Bおよび図23Cは撮像装置500の傾き角とピッチング保持枠の関係を示す図、図24は撮像装置500の傾き角とコイルの駆動電流の関係を示す図である。ここでも、実施の形態3と共通する部分には同じ符号を付して説明を省略し、実施の形態3と異なる部分、具体的には手ブレ補正装置および参照傾き角算出処理部の説明を行う。
まず手ブレ補正装置および参照傾き角算出処理部の構成について図21、図22を用いて説明する。
手ブレ補正装置は、被写体に対してヨーイング方向およびピッチング方向の撮像装置500の角度変化量を検出し、この角度変化量に起因する光路のシフトを、撮像光学系1を構成するレンズ群の1つであるレンズ群L2を撮像画面の水平/垂直方向に駆動することにより補正する。図21において手ブレ補正装置はヨーイング方向角速度センサ25、LPF26、アンプ27、A/D変換部28、デジタルLPF29、角速度算出処理部30、角度変化量算出処理部31、ヨーイング方向駆動制御部32、ピッチング方向角速度センサ33、LPF34、アンプ35、A/D変換部36、デジタルLPF37、角速度算出処理部38、角度変化量算出処理部39、ピッチング方向駆動制御部40、撮像光学系1からなる。ヨーイング方向角速度センサ25およびピッチング方向角速度センサ33は被写体に対してそれぞれヨーイング方向、ピッチング方向の角速度を検出するように撮像装置500の任意の位置に固定された所謂ジャイロセンサである。ヨーイング方向角速度センサ25の出力に対するLPF26、アンプ27、A/D変換部28、デジタルLPF29、角速度算出処理部30、角度変化量算出処理部31の処理およびピッチング方向角速度センサ33の出力に対するLPF34、アンプ35、A/D変換部36、デジタルLPF37、角速度算出処理部38、角度変化量算出処理部39の処理は、実施の形態3のLPF10b、アンプ11b、A/D変換部12b、デジタルLPF20b、角速度算出処理部21、角度変化量算出処理部22の処理と同じであるため、説明を省略する。ヨーイング方向駆動制御部32およびピッチング方向駆動制御部40は、それぞれ角度変化量算出処理部31、角度変化量算出処理部39から受け取った角度変化量に基づき、光軸補正用レンズ群L2を光軸AXに垂直な面内で駆動し、画像の動きを補正する。
次に、実施の形態5に用いる手ブレ補正装置の機構部詳細について、図22を用いて説明する。図22において、手ブレ補正機構部90はヨーイング方向駆動制御部32およびピッチング方向駆動制御部40の一部であり、ピッチング保持枠91と、ヨーイング保持枠92と、固定枠95と、ヨーイング用アクチュエータ99xと、ピッチング用アクチュエータ99yと、発光素子100と、受光素子101とを含む。
ピッチング保持枠91は、コイル94x、94yを有する。第2レンズ群L2および発光素子100は、ピッチング保持枠91に固定されている。ピッチング保持枠91は、2本のピッチングシャフト93a、93bを介して、ヨーイング保持枠92に対し、Y方向に摺動可能に保持される。
ヨーイング保持枠92は、ヨーイングシャフト96a、96bを介して、固定枠95に対し、X方向に摺動可能に保持される。
ヨーイング用アクチュエータ99xは、マグネット97xと、ヨーク98xとを有し、固定枠95に保持される。同様に、ピッチング用アクチュエータ99yは、マグネット97yと、ヨーク98yとを有し、固定枠95に保持される。
受光素子101は、固定枠95に固定され、発光素子100の投射光を受光し、2次元の位置座標を検出する。
またヨーイング方向駆動制御部32にはヨーイング用アクチュエータ99xが動作したときのコイル94xに流れる電流値を検出する図示しないヨーイング電流値検出部があり、参照傾き角算出処理部24cにヨーイング電流値を受け渡す。同様に、ピッチング方向駆動制御部40にはピッチング用アクチュエータ99yが動作したときのコイル94yに流れる電流値を検出する図示しないピッチング電流値検出部があり、参照傾き角算出処理部24cにピッチング電流値を受け渡す。
参照傾き角算出処理部24cは、ヨーイング方向駆動制御部32およびピッチング方向駆動制御部40から受け取ったヨーイング電流値およびピッチング電流値を用いて後述する撮像装置500の傾き角の算出を行う。
またデジタル処理であるデジタルLPF29、角速度算出処理部30、デジタルLPF37、角速度算出処理部38、角度変化量算出処理部31、角度変化量算出処理部39、参照傾き角算出処理部24cは、マイコン14の内部に実現される。
次に、実施の形態5における撮像装置500の手ブレ補正装置および参照傾き角算出処理部24cの動作について、図21、図22を用いて説明する。
撮像装置500の動作時、撮像装置500に加わる手ブレや振動は、ヨーイング方向角速度センサ25、ピッチング方向角速度センサ33により検知される。それぞれの検出電圧は既に説明したように角度変化量に変換され、ヨーイング方向駆動制御部32、ピッチング方向駆動制御部40に送られる。ヨーイング方向駆動制御部32、ピッチング方向駆動制御部40は受け取った角度変化量を基に手ブレなどを打ち消すための制御信号を生成し、手ブレ補正機構部90を駆動する。この制御信号に応じた電流は、ピッチング保持枠91のコイル94x、94yのそれぞれに供給される。ピッチング保持枠91は、供給された電流とマグネット97x、97yとから形成された磁気回路により、光軸AXと直角な2方向X、Y平面内を移動する。また、ピッチング保持枠91の位置検出は、受光素子101を用いることにより高精度に行われる。すなわち、手ブレ補正機構部90により第2レンズ群L2は、光軸と直交する2平面内を移動する。これにより、撮像光学系1を介して撮像素子3に入射する画像の水平および垂直方向のブレ補正を行うことができる。
また手ブレ補正駆動を行う際にコイル94x、94yに流れる電流値が参照傾き角算出処理部24cに送られる。このときの電流値について図23A〜図23C、図24を用いて説明する。図23Aは傾き角0の状態で保持された撮像装置500におけるピッチング保持枠91を撮像素子側から見たときの様子を模式的に描いた図である。レンズ群L2を所定の位置に保持するためには、Y方向に関して、レンズ群L2、ピッチング保持枠91、コイル94x、94y、発光素子100の質量和Myが重力方向(−Y方向)にかかるため、コイル94yにその自重分を持ち上げるための駆動電流Iyaを流す必要がある。一方、X方向に関しては、レンズ群L2を所定の位置に保持するために自重分を考慮する必要がない。つまり保持するだけであれば駆動力は必要なく、駆動力0に相当する基準電流Ixaをコイル94xに流せばよい。なお手ブレ補正機構部90を駆動する場合にはレンズ群L2、ピッチング保持枠91、コイル94x、94y、発光素子100とヨーイング保持枠92、ピッチングシャフト93a、93bの質量和Mxがヨーイング保持枠92とヨーイングシャフト96a、96bの間にかかるときに生じる摩擦抵抗に抗して手ブレ補正機構部90を駆動するに必要且つ十分の電流をコイル94xに流せばよい。
図23Bは傾き角90度の状態で保持された撮像装置500におけるピッチング保持枠91を撮像素子側から見たときの様子を模式的に描いた図である。このとき、レンズ群L2を所定の位置に保持するためには、X方向に関して、レンズ群L2、ピッチング保持枠91、コイル94x、94y、発光素子100、ヨーイング保持枠92、ピッチングシャフト93a、93bの質量和Mxが重力方向(−X方向)にかかるため、コイル94xにその自重分を持ち上げるための駆動電流Ixbを流す必要がある。一方、Y方向に関しては、レンズ群L2を所定の位置に保持するための自重分を考慮する必要がない。つまり保持するだけであれば駆動力は必要なく、駆動力0に相当する基準電流Iybをコイル94yに流せばよい。なお手ブレ補正機構部90を駆動する場合にはレンズ群L2、ピッチング保持枠91、コイル94x、94y、発光素子100の質量和Myがピッチング保持枠91とピッチングシャフト93a、93bの間にかかるときに生じる摩擦抵抗に抗して手ブレ補正機構部90を駆動するに必要且つ十分の電流をコイル94yに流せばよい。なおMy<MxであるためIya<Ixbとなる。
図23Cは傾き角θ度の状態で保持された撮像装置500におけるピッチング保持枠91を撮像素子側から見たときの様子を模式的に描いた図である。このとき、レンズ群L2を所定の位置に保持するためには、Y方向に関して、位置保持のための上記の質量和Myの角度θ分の分力(位置保持のための力)と、ピッチング保持枠91とピッチングシャフト93a、93bの間に発生する摩擦抵抗の角度θ分の分力(駆動のための力)との和を打ち消すための駆動電流Iycを流す必要がある。一方、X方向に関しては、上記の質量和Mxの角度θ分の分力(位置保持のための力)と、ヨーイング保持枠92とヨーイングシャフト96a、96bの間に発生する摩擦抵抗の角度θ分の分力(駆動のための力)との和を打ち消すための駆動電流Ixcを流す必要がある。以上をまとめると、レンズ群L2を所定の位置に保持するためにコイル94x、94yにかかる駆動電流の中央値(静止時駆動電流)は図24に示すようになる。
参照傾き角算出処理部24cでは、予めコイル94x、94yにかかるそれぞれの駆動電流の基準電流値および最大電流値を記憶しておく。これらの値を用いてヨーイング方向駆動制御部32およびピッチング方向駆動制御部40から受け取る2方向の駆動電流値を正規化し、その比から傾き角を算出する。これを参照傾き角として画像傾き角検出処理部7に渡す。
画像傾き角検出処理部7では、参照傾き角算出処理部24cから受け取った参照傾き角を用いて実施の形態4で説明した処理と同様の処理を実行する。
上述のように、実施の形態5によれば、水平/垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても精度よく画像傾き角αIを求めることが可能となる。こうして求めた画像傾き角αIを用いて装置傾き角αSを補正し、傾き補正を実行することが可能となり、水平が正しく保たれた画像を精度よく得ることが可能となる。
(その他の実施の形態)
本発明の内容は、上述した実施の形態に示された具体例に限定されない。例えば、以下のような変形例も考えられる。
(1)
撮像装置の傾き角を検出するセンサとしては、振り子状の構造物を内蔵した角度センサもしくは傾斜センサや、重力加速度などを検出する加速度センサ、もしくは回転角速度を検出する角速度センサが用いられるが特にいずれかに限るものではない。
(2)
本発明の実施の形態において、角度センサ8は重力の方向(鉛直方向)に対し90度をなす方向を水平方向として定め、これを角度の基準(角度=0度)として定め、撮像装置の傾きの大きさおよび方向に応じて正負両方向の角度信号を出力するものとした。しかし、本発明はこれに限られるものではない。鉛直方向を角度の基準(角度=0度)として撮像装置の傾きの大きさ、方向を検出してもよい。
(3)
本発明の実施の形態において、傾きの補正を行う際、レンズ鏡筒2もしくは撮像素子3を撮像光学系1の光軸を中心に回転させる構成を説明した。しかし、本発明はこれに限られるものではない。例えば図25に示したように光軸と平行する軸を中心として回転させても撮影画像の傾きを補正することが可能である。本発明においても、レンズ鏡筒2もしくは撮像素子3を撮像光学系1の光軸と平行する軸を中心として回転させてもよい。
(4)
本発明の実施の形態において、図7に示したように画像傾き角検出処理部7が最初に画像からの傾き検出結果を出力するまでは、鏡筒回転駆動部16もしくは撮像素子回転駆動部18による傾きの補正が動作しない構成を説明した。しかし、本発明はこれに限られるものではない。例えば、最初の画像傾き角検出処理部7による画像からの傾き検出結果が出力されるまでは、角度センサ8aから得られる角度信号と初期の換算式から算出される傾き角度によって撮影画像の傾き補正を行ってもよい。
(5)
本発明の実施の形態において、角度センサ8aから得られた角度信号を角度に換算するための関係式の例として図8、図9を示した。しかし、本発明はこれに限るものではない。例えば図26のように原点を通らない1次直線の関係でもよい。もちろん2次以上の高次でもよい。また原点を通らない1次直線の関係や2次以上の高次の場合、換算式を校正する際には、画像傾き角検出処理部7から検出される画像からの傾き検出結果を複数用いて換算式を校正すればよい。
(6)
本発明の実施の形態において、画像傾き角検出処理部7による画像からの傾き検出は撮影周期ごととして説明を行った。しかし、本発明はこれに限られるものではない。実施の形態において用いる角度センサの特性、性能を考慮して、任意に周期を設定するのが有効である。その際、画像傾き角検出処理部7による画像からの傾き検出の周期を低減すれば、機器の消費電力の低減などの新たな効果が実現可能である。
(7)
本発明の実施の形態において、マイコン14によるプログラム処理による例を示した。しかし、本発明はこれに限られるものではない。マイコン14によるプログラム処理を電子回路などのハードウェアにより実現することが可能であることは言うまでもない。
(8)
本発明の実施の形態において、撮像装置の撮像素子数に関しては特に言及しなかった。しかし、単板式撮像装置、2板式撮像装置、3板式撮像装置のいずれの撮像装置においても本発明が有効であることは明らかである。
(9)
本発明の実施の形態において、傾き補正部として、レンズ鏡筒2もしくは撮像素子3を回転させる構成を説明した。しかし、本発明はこれに限られるものではない。例えば撮像装置を固定する雲台を回転させて傾きを補正する構成でもよい。この場合、雲台を回転駆動するための制御信号を撮像装置の外部に出力し、これを基に雲台が駆動制御される構成が考えられる。さらには、機械的な構成のみでなく、例えば撮影画像の水平を保つための方法として撮像素子2を回転駆動する代わりに画像信号に対して画像処理を行い、傾き角を補正するように画像を回転させてもよい。
2007年7月13日出願の特願2007−183957の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、例えば、傾き補正機能を有するデジタルカメラやビデオムービーなどの撮像装置に利用することが可能である。
本発明は、手ブレ補正機能を備える撮像装置に関するものである。
近年、民生用のデジタルカメラやビデオカメラ(以下、「ビデオムービー」と称す)の小型化、軽量化、光学ズームの高倍率化が進み、その使い勝手が格段に向上した結果、一般消費者にとってデジタルカメラやビデオムービーは日常生活で使用される家電製品の1つとなっている。しかしその反面、小型化、軽量化、光学ズームの高倍率化、および撮影に習熟していない消費者へのそれらの商品の普及は、撮影時の手ブレによる画面の不安定化という問題も発生させていた。したがって、この問題を解決するため、画像動き補正装置を搭載するデジタルカメラやビデオムービーが今や多く開発、商品化されている。ただし、これら既存の画像動き補正装置は、垂直方向(ピッチング方向)および水平方向(ヨーイング方向)の手ブレによる画像の動きを補正するものである。しかしデジタルカメラやビデオムービーでの撮影中の手ブレは垂直方向および水平方向に限られるものではなく、例えば光軸もしくは光軸に平行する軸を中心に回転するローリング方向の手ブレも発生しうる。
そこで撮影時のローリング方向のブレ(画像の回転)を補正する装置として、以下のようにいくつかの提案がなされている。
例えば特許文献1においては、カメラ本体の傾きの検出手段と、検出手段によって得られた信号により傾きの程度を判断する手段と、撮像素子の回転手段と、回転手段の制御手段とを有するビデオムービーが開示されている。この特許文献1においては、カメラの傾きを検出する手段として、重力を用いたものまたは加速度を利用したものを採用し、カメラ本体の傾きに応じて撮像素子を回転駆動することで、撮影画像の傾き(ローリング方向のブレ)を解消する例が開示されている。
また、例えば特許文献2においては、被写体を撮像する撮像装置であって、上記被写体の画像を取得する撮像部と、上記画像から、上記被写体のエッジ成分のうち、予め定められた長さ以上の直線成分を検出するための検出条件を格納する条件記憶部と、上記検出条件に基づいて、上記画像から、上記直線成分に対応する画像要素を検出し、検出した上記画像要素と、予め定められた上記直線成分の傾きに関する基準との幾何学的ずれを検出する画像処理部とを備えることを特徴とする撮像装置が開示されている。この特許文献2においては、撮像部から得た画像を処理し、検出したエッジ成分をもとに画像の傾きを検出し、さらに得られた画像の傾きを用いて撮影画像の傾き(ローリング方向のブレ)の補正を行う例が提示されている。
特開平4−331586号公報
特開2002−344723号公報
以上のようにローリング方向のブレ(画像の回転)を補正する装置に関しては各種方法の提案がされていることは周知の通りであるが、それらにはまだいくつかの課題が残されている。その1つは、ローリング方向のブレを検出する手段として、加速度センサなどの物理センサを使用する場合、センサは個体ばらつきや温度特性、経年変化が不可避であるため、検出される傾きの精度を高く保つことは困難である。
その点では、ローリング方向のブレを検出する手段として、撮影画像の特徴から画像の傾きを検出する手段を用いた場合、画像処理は電子的な信号処理であり、個体ばらつきや温度特性、経年変化は発生しえない。しかし、撮影画像の特徴から画像の傾きを検出する場合、傾きに関する情報を取得できる周期が画像の撮影周期に束縛され、所望の早い周期で傾きの情報を得ることができない。例えばテレビジョン方式がNTSC方式のビデオカメラの場合、約16.6ミリ秒間隔で画像を撮影するため、これ以上の早い周期で画像の傾き情報を得ることができない。つまり傾きの検出が遅延する。このことはすなわち、例えば撮影画像の傾きを補正するために撮像素子などを機構的に回転駆動する場合、この検出の遅延が原因で機構部を十分に高い動作周波数で駆動できず、傾きの補正が精度よく実現できない可能性が懸念される。その点、センサは画像の撮影周期に束縛を受けることなく、ほぼリアルタイムで傾きを検出することが可能である。
本発明の目的は、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる撮像装置を提供することである。
上述したような課題を解決するために、第1の発明に係る撮像装置は、被写体の光学的な像を形成する撮像光学系と、形成された光学的な像を受光して、電気的な画像信号に変換して出力する撮像素子とを備えた撮像装置であって、撮像装置のローリング方向の傾きの角度を検出する装置傾き角検出部と、画像信号から受光した像のローリング方向の傾きの角度を検出する画像傾き角検出部と、画像傾き角検出部によって検出された像の傾きの角度によって、装置傾き角検出部の検出結果を校正して装置傾き角を算出する装置傾き角算出部と、を備えたことを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる。
第2の発明に係る撮像装置は、第1の発明に係る撮像装置において、装置傾き角算出部の算出結果に基づいて、撮像装置の傾きを補正する傾き補正部をさらに備えることを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)を高精度に補正できる。
第3の発明に係る撮像装置は、第2の発明に係る撮像装置において、傾き補正部は、装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転する、又は、電気的な画像を回転することを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)を高精度に補正できる。
第4の発明に係る撮像装置は、第3の発明に係る撮像装置において、撮像光学系を格納し、撮像素子が固定されたレンズ鏡筒をさらに備え、傾き補正部は、装置傾き角算出部の算出結果に基づいて、撮像素子を光軸または光軸に平行な軸を中心に回転することを特徴とする。これにより、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)を高精度に補正できる。
第5の発明に係る撮像装置は、第3または第4の発明に係る撮像装置において、傾き補正部は、画像信号に変換された像の水平または垂直が、被写体と一致するように撮像素子を光軸または光軸に平行する軸を中心に回転することを特徴とする。これにより、撮影画像に多く含まれる水平または垂直の線分を利用して補正することにより補正精度を向上することができる。
第6の発明に係る撮像装置は、第3〜第5の発明のいずれかに係る撮像装置において、傾き補正部は、最初の校正が完了した後から撮像素子またはレンズ鏡筒を光軸または光軸に平行な軸を中心に回転する動作を開始することを特徴とする。これにより、正しく校正された装置傾き角を使って傾き補正が実施されるので補正精度を向上することができる。
第7の発明に係る撮像装置は、第1〜第6の発明のいずれかに係る撮像装置において、撮像装置から被写体側への撮像光学系の光軸に対して垂直方向であって少なくとも1軸の加速度を検出する装置加速度検出部と、装置加速度検出部より出力される加速度を用いて、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、画像傾き角検出部は、参照傾き角算出部の出力する傾き角を入力値とすることを特徴とする。これにより、水平/垂直方向の誤検出の原因になるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができる。
第8の発明に係る撮像装置は、第1〜第6の発明のいずれかに係る撮像装置において、撮像光学系の光軸と直交する2方向に手ブレ補正部を駆動する第1、第2のアクチュエータを有した手ブレ補正装置と、第1、第2のアクチュエータの駆動電流値を入力として、被写体に対してローリング方向の傾き角を算出する参照傾き角算出部とをさらに備え、画像傾き角検出部は、参照傾き角算出部の出力する傾き角を入力値としてもよい。これにより、水平/垂直方向の誤検出の原因になるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができる。
第9の発明に係る撮像装置は、第1〜第8の発明のいずれかに係る撮像装置において、装置傾き角検出部は、傾斜センサ、加速度センサ、角速度センサのいずれかであることを特徴とする。これにより、装置傾き角を正確に検出することができる。
第10の発明に係る撮像装置は、第9の発明に係る撮像装置において、装置傾き角検出部が角速度センサであって、装置傾き角検出結果を積分してローリング方向の角度変化量を算出する角度変化量算出部をさらに有し、装置傾き角算出部は画像傾き角検出部によって検出された像の傾きの角度によって、角度変化量を校正して装置傾き角を算出することを特徴とする。これにより、装置傾き角検出部にコリオリ力を検知するジャイロセンサのような角速度検出方法も用いることにより、パンニングなどの撮像装置姿勢変化時における重力加速度以外の加速度の影響を受けることがなく正確に装置傾き角を検出することができる。
第11の発明に係る撮像装置は、第10の発明に係る撮像装置において、装置傾き角算出部は、装置傾き角算出部から出力される傾き角を保持する装置傾き角保存メモリと、装置傾き角保存メモリから出力される傾き角と画像傾き角検出部から出力される傾き角の差を算出する差分演算器と、差分演算器の出力を保持する差分値保存メモリと、差分値保存メモリの出力を用いて角度変化量に加算する補正値を算出する補正値算出部とからなり、画像傾き角検出部の動作タイミングに合わせて差分値保存メモリの保持する内容を更新し、撮像素子の動作タイミングに合わせて装置傾き角保存メモリを更新することを特徴とする。これにより、画像傾き角検出部の動作タイミングに合わせて装置傾き角算出部の算出結果を校正するので正確な装置傾き角が算出できる。
第12の発明に係る撮像装置は、第11の発明に係る撮像装置において、補正値算出部は、画像傾き角検出部の動作周波数を角度変化量算出部の動作周波数で割った値を、差分値保存メモリの出力に対して掛け合わせる乗算器と、乗算器からの出力を積算する積分器とから構成することを特徴とする。これにより、補正値の急変を防止することができ安定な補正が可能となる。
本発明によれば、撮影中に手ブレなどによって発生する画像のローリング方向のブレ(画像の回転)をセンサの個体ばらつきや温度特性、経年変化の影響を受けず、高精度に検出できる撮像装置を提供することができる。
以下、本発明の実施の形態について図面を参照しながら説明する。
(実施の形態1)
まず、本発明の実施の形態1における撮像装置100について図1〜図9を用いて説明する。図1は、本発明の実施の形態1における撮像装置100の構成を示すブロック図である。図1において、撮像光学系1は、光軸AXに沿って配置された3つのレンズ群L1、L2、L3からなり、被写体像を撮像素子3上に結像させるために設けられており、レンズ鏡筒2の内部に格納されている。また、レンズ鏡筒2は撮像光学系1の光軸AXを中心に回転自在に構成されており、後述する鏡筒回転駆動部16によって回転運動する。また、図1においては各レンズ群は単レンズで構成されているが、これに限定されるものではなく、複数レンズで1つのレンズ群を構成してもよい。
撮像素子3は撮像光学系1を介して入射する像を電気信号に変換する撮像素子であり、具体的にはCCDやCMOSなどが使用される。カメラ信号処理部4では、撮像素子3から出力される画像信号に対してゲインコントロール処理やガンマ処理などのアナログ信号処理、A/D変換、ノイズ除去や輪郭強調などのデジタル信号処理が施される。その後、記録系信号処理部5にて、圧縮などの記録系の信号処理が施され、最後に半導体メモリなどで構成される記録媒体6に記録される。画像傾き角検出処理部7は、カメラ信号処理部4の出力画像信号から画像の傾き(角度)を電子的に検出する。
角度センサ8aは撮像装置100本体に設置され、撮像装置100自体のローリング方向の傾きを検出するためのセンサである。ここで、重力の方向(鉛直方向)に対し90度をなす方向は水平方向として定められ、これが角度の基準(角度=0度)として定められる。また、撮像光学系から被写体側を見たときの反時計回り方向はプラス方向として定められる。角度センサ8aは、撮像装置100の傾きの大きさおよび方向に応じて、正負両方向の角度信号を出力する。
ここで角度信号と角度の関係(初期状態)は図8に示すように、水平方向の基準(角度=0度)に対して傾いた角度に比例して角度信号が出力されるような関係である。角度信号の正負は、撮像装置100の傾きが水平方向(角度=0度で且つ、角度信号=0[V])に対して、右上がりまたは左上がりの場合に相当する。図8に示した角度信号と角度の関係を表すグラフにおいて、その比例直線の傾きをKとすると、角度信号から角度を換算する換算式は以下のようになる。
HPF9aは角度センサ8aの出力に含まれる不要帯域成分中の例えば直流ドリフト成分を除去するための高域通過フィルタである。LPF10aは角度センサ8aの出力に含まれる不要帯域成分中の、例えばノイズ成分を除去するための低域通過フィルタである。アンプ(Amp)11aは、角度センサ8aの出力の信号レベルの調整を行う信号増幅器である。A/D変換(ADC)部12aはアンプ11aの出力をデジタル信号に変換する。
マイクロコンピュータ(以下、「マイコン」と略記する)14は、A/D変換部12aを介して取り込んだ角度センサ8aの出力と、画像傾き角検出処理部7から得た画像の傾きの角度に基づき、装置傾き角算出処理部13(マイコン内の処理)でレンズ鏡筒2を回転運動させるための駆動制御量を求め、駆動制御量を示す制御信号をD/A変換(DAC)部15を介して鏡筒回転駆動部16に送る。D/A変換部15はマイコン14から信号を受け取ると略同時にこれをアナログ信号に変換し、変換された制御信号を鏡筒回転駆動部16に送る。
鏡筒回転駆動部16は制御信号に基づきレンズ鏡筒2を回転駆動することで撮影される画像の傾きを補正するものであり、レンズ鏡筒2を回転駆動するためのモーターとモータードライバーからなる。最後に、撮像素子駆動部17は撮像素子3において被写体から変換された電荷の転送を制御する。
図2は、本発明の実施の形態1における撮像装置100のレンズ鏡筒2とその回転方向を示す模式図である。図2に示すようにレンズ鏡筒2は光軸AX(一点鎖線)を回転中心として、矢印の方向に鏡筒回転駆動部16(図示せず)によって回転する。撮像素子3はレンズ鏡筒2に物理的に固定されている。よって、レンズ鏡筒2が回転運動する際には、撮像素子3もレンズ鏡筒2と一体になって回転する。
図3は、本発明の実施の形態1における撮像装置100の画像傾き角検出処理部7から出力される撮影画像の傾きの角度と、角度センサ8aからの撮像装置100の傾きに関する角度信号を、マイコン14が取得するタイミングの一例を示す模式図である。図3において、A)は撮影された画像の傾きを画像傾き角検出処理部7が検出する処理にかかる期間を示したものである。実施の形態1においては、画像傾き角検出処理部7は1垂直走査期間をかけて撮影画像から傾きの角度を検出するものとする。B)は画像傾き角検出処理部7が検出した画像の傾き角度を、マイコン14に出力するタイミング(矢印で示す)を示したものである。C)は角度センサ8aが検出した撮像装置100自体の角度信号がマイコン14に取り込まれるタイミングである。B)およびC)に示すように、画像傾き角検出処理部7から得られる撮影画像の傾き角度は、1垂直走査期間に一度であり、角度センサ8aからの角度信号は、より高い頻度でマイコン14に取り込まれるものとする。なお実施の形態1における以下の説明では、一例として撮影画像の1秒あたりのコマ数を60枚(1垂直走査期間は約16.6ミリ秒)とし、角度センサ8aからの角度信号をマイコン14が1秒間に取り込む回数を1秒あたり600回とする。
ここで、画像傾き角検出処理部7の動作について説明する。図4は本発明の実施の形態1における撮像装置100の画像傾き角検出処理のフローチャート、図5A、図5B、図5Cおよび図5Dは画像傾き角検出処理の処理過程の説明図である。まず初めに画像傾き角検出処理部7で実行される画像傾き角検出処理(マイコン)について説明する。この処理は画像に含まれる直線成分に着目するものである。建築物など種々の構造物、地面、地平線、水平線など水平方向および鉛直方向の線が一般的に多く含まれることを利用し、画像内の水平鉛直方向を検出することにより傾き角を算出する。画像傾き角検出処理部7は演算処理部とフレームメモリ(図示せず)からなる。カメラ信号処理部4から受け取った画像はフレームメモリに保持され、演算処理部との間でデータのやりとりをしながら以下の処理が行われる。
ステップS1では輝度画像の作成が行われる。各画素においてR成分の輝度値をIR、G成分の輝度値をIG、B成分の輝度値をIBとするとき、輝度画像の輝度値Iは下記(数2)を実行することにより求められる。
なお、カメラ信号処理部4から輝度画像が出力される場合はステップS1を省略することができる。
ステップS2ではステップS1で作成した輝度画像に対してエッジ検出が行われる。エッジ検出方法として、例えば3×3ラプラシアンフィルタ(Laplacian Filter)を適用することができる。図6Aおよび図6Bに3×3ラプラシアンフィルタの重み付け係数の一例を示す。注目画素のエッジ成分の大きさを決定する際に、自身の近傍の画素を図6Aまたは図6Bのように重み付けして足し合わせることで、注目画素のエッジ成分を決定する。なお、その他の一般に広く知られているエッジ抽出方法としては、ソーベルフィルタ(Sobel Filter)やプレウィットフィルタ(Prewitt
Filter)などのフィルタを適用する方法などがある。
ステップS3ではステップS2で作成したエッジ抽出画像に対して線分抽出処理を行う。具体的な処理方法としては、例えば画像処理においてロバストな直線検出手法として多く使用されているハフ変換を利用してもよい。ハフ変換では、X−Y平面における求めたい直線をパラメータp、qを用いてY=pX+qで表すとき、画素(X,Y)ごとにパラメータ空間p−qにq=Y−pXの軌跡を描く。多くの軌跡が交わる点のパラメータ(p、q)を持つ直線が、画像中に存在するものとみなす。このような処理を用いた例を図5A〜図5Dに示す。
図5Aは撮像装置100が水平に対して傾きを有したまま撮影してしまった画像の例である。図5Bは図5Aの元画像に対してエッジ検出、線分抽出を行った結果の例である。太線で示した線分が抽出線分である。図5Bを見ると全ての線分が抽出されているわけではないことがわかる。線分抽出の感度は前述したハフ変換の説明のp−q平面における“多くの軌跡が交わる点のパラメータ(p、q)”を抽出する際の閾値の設定に依存する。また一般的によく行われる処理として、ハフ変換で線分候補を抽出した後、さらに線分の長さやエッジ検出画像での輝度の大きさなどに基づいてフィルタリングを行ってもよい。これらのフィルタ処理をチューニングすることによりノイズに強い傾き角検出が可能となる。
ステップS4ではステップS3で抽出した線分の傾き角を求め、その分布を得る。ここで傾き角は前述のように水平方向を0度とする。また±90度の範囲の値をとることとする。図5Cに図5Bの抽出線分の傾き角θの分布を模式的に示す。図5Cでは元画像の略水平方向の線分と略鉛直方向の線分によって2つのピークができる。
ステップS5でこのピーク位置を検出し、水平方向および鉛直方向を決定する。前述のように、一般的には90度間隔で水平方向と鉛直方向の2つのピークができる。これら2つのピークを検出し、画像の水平方向の角度θHおよび鉛直方向の角度θVを求める。これらを精度よく検出するために、図5Cに示されるような角度分布の−90≦θ<0[deg]の範囲のデータと0≦θ<90[deg]の範囲のデータを重ね合わせた分布データに対してピーク検出を行う。これにより水平鉛直方向検出の精度を上げることができる。
最後にステップS6では、ステップS5で検出した画像内の水平方向および鉛直方向の角度を基に最終的な画像の傾き角度を求める。ここで、画像の傾き角度を例えばθHとすると撮影時の撮像装置100の傾き角は、−θHとなる。
次にマイコン14内の装置傾き角算出処理部13の動作を説明する。
図7は、本発明の実施の形態1における撮像装置100のマイコン14に格納された処理プログラムのフローチャートである。傾き補正スイッチ(図示せず)がONされると図7に示した一連の処理が開始される。なお、図7には記載していないが、1回の処理ループは、例えばマイコン14に内蔵されたタイマーにより一定周期で割り込みをかけることにより、行われる。その割り込みをかける周期は角度センサ8aから角度信号を取得する周期(1/600秒ごと)とする。
まず傾き補正スイッチがONされると、ステップS101においてD/A変換部15を介して鏡筒回転駆動部16に供給する制御信号値を0度に相当する初期値に設定する。
またステップS102において、マイコン14に内蔵のカウンタ(以下、「CNT」と略記する)をゼロに設定する(カウンタのリセット)。さらにステップS103において、画像傾き角検出処理部7において最初の画像からの傾き角度検出が完了するまで待機する。
画像傾き角検出処理部7における最初の画像からの傾き角度の検出が完了し、タイマーによる割り込みがかけられると、まずステップS104でCNT値に応じて、処理をステップS105もしくはステップS106へと分岐させる。CNT値がゼロの場合は、ステップS105において、画像傾き角検出処理部7から画像の傾きの角度を取得する。CNT値がゼロでない場合は、ステップS106に移行し、A/D変換部12aを介して角度センサ8aからの角度信号を取得する。
次に、ステップS107で再びCNT値に応じて、処理をステップS108もしくはステップS109へと分岐させる。CNT値がゼロの場合は、ステップS108において、後述する換算式をステップS105で取得した画像の傾き角度を用いて更新する。CNT値がゼロでない場合は、ステップS109において、ステップS106にて取得した角度信号から後述する換算式を用いて撮像装置100の傾きを算出する。
ステップS110ではステップS109で算出した撮像装置100の傾きによって生じる撮影画像の傾きを解消する方向にレンズ鏡筒2を回転させるための制御信号値を算出し、これをD/A変換部15を介して鏡筒回転駆動部16に供給する。
ステップS111ではCNT値を角度センサ8aからの1秒あたりの角度信号読み込み回数600と比較し、CNT値がもしも600ならばCNTをリセット(ステップS112)し、600でなければCNTを1だけカウントアップする。
以上のように構成された実施の形態1に関し、以下その動作を、マイコン14に格納された処理プログラムを基に説明する。
撮像装置100の操作者の指示などにより傾き補正が動作の状態にされると図7に示した一連の処理が開始される。
まず、撮影された画像から画像傾き角検出処理部7によって、画像の傾きの角度の検出が開始される。略同時に角度センサ8aも撮像装置100自体の傾きの検出を開始する。初期の状態ではCNT値はゼロであり(ステップS102)、ステップS103で画像傾き角検出処理部7による画像の傾き角度の検出の完了を待つ。画像傾き角検出処理部7による画像の傾き角度の検出が完了したことを知る方法は、例えば一定時間のタイマー処理でウエイトをかける方法や、画像傾き角検出処理部7が処理完了を割り込みや通信でマイ
コン14に伝えるなど様々な方法が考えられるが、実施の形態1においては、方法は特に限定されない。
画像傾き角検出処理部7による画像の傾き角度の検出が完了すると、ステップS104にてCNT値が確認される。最初はCNT値はゼロのため、ステップS105において画像傾き角検出処理部7によって検出された画像の傾き角度が取得される。
次にステップS106においてはA/D変換部12aを介して角度センサ8aからの角度信号が取得される。
次にステップS107においてCNT値がゼロであるため、ステップS108に移行し、ステップS105で取得した角度信号を角度に換算するための換算式を更新する。ここで角度信号から角度を換算する換算式の更新について、図8を用いて説明する。
まず換算式は、(数1)に示したような式となるが、これはあくまでも換算式の初期値である。その理由は、角度センサ8aは例えば重力加速度の方向や大きさを検出する物理的センサであり、その特性は部品ごとにばらつきや温度特性を有することが一般的だからである。個別に角度センサ8aの特性を調整するなどの処理をしない場合、角度センサ8aごとに特性のばらつきが発生する。このため、角度信号値から換算式によって得られる角度の値が正しいとは限らない。また、角度センサ8aを個別に調整したとしても、経年変化や温度変化によって、やはり得られる角度の値が正しい保証はない。一方、画像傾き角検出処理部7から得られる画像の傾きの角度値は、個体ばらつきや経年変化や温度変化による影響を受けない。
そこでステップS108においては、画像傾き角検出処理部7から得られた画像の傾きの角度値を利用して、換算式の更新(校正)を行う。図9に示すようにステップS105で取得した画像の傾き角度をθ2、ステップS106で取得した角度信号をbとすると、図8および(数1)に示した初期状態の換算式では、角度信号がbの場合、換算結果の角度はθ3となる。仮に角度信号に応じて正しく撮像装置100の傾き角度が検出されており、且つレンズ鏡筒2がこの傾き角度に合致して回転していれば、撮影された画像の傾きは0度である。つまり撮影画像は水平を保たれて撮影されているので、θ2は0となる。しかし、角度信号値から換算式によって得られる角度の値が正しくない場合、撮影された画像は傾いた状態で撮影されるため、θ2は何らかの値を持つ。そしてこのθ2の値は角度信号値から換算式によって得られる角度の値の誤差に相当するといえる。したがって、θ3から誤差であるθ2を除いた値が撮像装置100の正しい角度であることとなる。そこでθ3からθ2を除いた値とθ3を比較し、両者が等しければ換算式の更新は不要と判断する。逆にθ3からθ2を除いた値とθ3が異なる場合、θ3からθ2を除いた値を新たにθ4として、換算式の傾きを以下の(数3)よって算出し、
このK’を用いて換算式を以下の(数4)のように更新する。
次にステップS109では、ステップS108において更新された換算式(数4)を用
いてステップS106で取得した角度信号から撮像装置100の傾き角度を算出する。ステップS110では、レンズ鏡筒2を回転駆動して撮影画像の傾きを解消するための制御信号を生成し、D/A変換部15を介して鏡筒回転駆動部16に供給する。この制御信号に基づきレンズ鏡筒2が回転することにより、撮像装置100の傾きに起因して発生する撮影画像の傾きが補正される。
ステップS111、ステップS112、ステップS113はCNT値をリセットもしくはカウントアップするステップであり、CNT値が600の場合はCNT値をゼロにリセットし、CNT値が600未満の場合は、1だけカウントアップを行う。
これら一連の処理が完了すると、例えばマイコン14に内蔵されたタイマーにより一定周期で割り込みがかけられ、ステップS104以降のループ処理が繰り返される。
2回目以降のループでは、CNT値がゼロではないため、ステップS105およびステップS108は実施されず、ステップS106で取得された角度信号を基に、ステップS108で更新された換算式によって、撮像装置100の傾きの角度が算出される。ステップS110では、レンズ鏡筒2を回転駆動して撮影画像の傾きを解消するための制御信号が生成される。そして、上述したようにレンズ鏡筒2が回転することにより、撮像装置100の傾きに起因して発生する撮影画像の傾きが補正される。
これらのループが繰り返され、CNT値が600となりステップS112にてCNTがゼロにリセットされた次のループでは、再度、画像傾き角検出処理部7から得られた画像の傾きの角度値を利用して、換算式の更新(校正)が行われる。
このように、一定周期ごとに、画像傾き角検出処理部7から得られた画像の傾きの角度値を利用して、換算式の更新(校正)を行う。これにより、角度センサ8aが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、角度信号から角度を算出する換算式が絶えず更新されている。このため、精度の高い角度検出および撮像装置100の傾きの補正を実現することができる。
以上のように、実施の形態1においては、マイコン14は、画像傾き角検出処理部7によって検出した撮影画像の傾きの角度を用いて、一定周期ごとに角度センサ8aから得られる撮像装置100の角度信号を校正する。これにより、角度センサ8aが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、精度の高い角度検出が可能となる。さらに、この検出された傾き角度を利用して撮像装置100の傾きを補正することにより、精度の高い傾き補正を実現することが可能である。
(実施の形態2)
本発明の実施の形態1においては、撮像装置100の傾きに起因する撮影画像の傾きを補正するために、レンズ鏡筒2を回転駆動する構成を説明したが、レンズ鏡筒2の代わりに撮像素子3を回転することで撮影画像の傾きを補正する構成も考えられる。実施の形態2は、撮像素子3を回転することで撮影画像の傾きを補正するものである。
図10は、本発明の実施の形態2における撮像装置200の構成を示すブロック図を示すものである。実施の形態1と同様な部分には同じ符号を付して説明を省略し、異なる部分についてのみ説明する。図10において、撮像素子回転機構19は撮像素子3を撮像光学系1の光軸を中心に回転させるための機構である。撮像素子回転駆動部18は、本発明の実施の形態1の鏡筒回転駆動部16と同様に、撮像素子回転機構19を回転駆動するためのものであり、これによって撮像素子回転機構19が回転運動し、結果的に撮像素子3が回転して撮影時の画像の傾きが補正される。撮像素子回転機構19の概略構成を図11
に示す。
図11において、撮像素子回転機構19は、回転台191と固定枠192と駆動源193とからなる。撮像素子3は回転台191上に固定され、回転台191は回転自在に固定枠192上に設置される。また固定枠192上に固定される駆動源193は図示しないDCモーターなどのアクチュエータとその回転駆動力を回転台191に伝達するギアボックスからなる。
撮像素子回転駆動部18はマイコン14からD/A変換部15を介して回転制御信号を受け、駆動源193に含まれるアクチュエータをコントロール可能な信号に変換し、変換された信号を出力する。この信号を受け取った駆動源193は、その指示に従って駆動力を発生させ、回転台191および撮像素子3を回転駆動させる。回転台191および撮像素子3の回転移動量は固定枠192に固定された図示しない位置検出器で検出する。位置検出器は、磁気センサを固定枠192に設けるような構成を有する。磁気センサは、例えば回転台191の内周に描かれたスリット状の磁気パターンが作る磁界の強さの強弱を読み取る。このような位置検出器の出力は撮像素子回転駆動部18に返され、そのパルス数をカウントすることにより位置がわかる。この情報を使ってフィードバック制御ループを形成することによって精度よく撮像素子3の位置決めが可能となる。
このように構成された実施の形態2においては、実施の形態1と同様にD/A変換部15を介してマイコン14から供給される制御信号によって撮像素子3が回転され、撮像装置200の傾きに起因する撮影画像の傾きが補正される。
また実施の形態1と同様に、画像傾き角検出処理部7によって検出した撮影画像の傾きの角度を用いて、一定周期ごとに角度センサ8aから得られる撮像装置200の角度信号を校正する。これにより、角度センサ8aが個体ごとに特性のばらつきを有していても、さらに経年変化や温度変化によって特性が変化しても、精度の高い角度検出および撮像装置200の傾きの補正を実現することが可能である。
(実施の形態3)
以下、本発明の実施の形態3における撮像装置300について、図12〜図16を用いて説明する。図12は本発明の実施の形態3における撮像装置300の構成を示すブロック図、図13は角速度算出処理のブロック図、図14は角度変化量算出処理のブロック図、図15、16は装置傾き角算出処理のブロック図である。また、実施の形態3においては、画像傾き角から求めた装置の傾き角度と傾きセンサで求めた装置の傾き角度を区別するために、前者をαIと表し画像傾き角と呼び、後者をαSと表して装置傾き角と呼ぶことにする。
図12を用いて実施の形態3における撮像装置300の構成について説明する。実施の形態3が実施の形態1および実施の形態2と異なる点は、撮像装置300の傾きセンサとして角度センサに代えて角速度センサを使用する点である。その他の構成は、実施の形態1および実施の形態2と同じであるので同様な部分には同じ符号を付し、説明を省略する。
角速度センサ8bは被写体に対してローリング方向の角速度を検出するように撮像装置300の任意の位置に固定された所謂ジャイロセンサである。ジャイロセンサの出力としてはアナログ出力とデジタル出力が選択可能である。ここではアナログ電圧出力を選択した場合を取り上げている。角速度センサ8bから出力される電圧信号はHPF9b、LPF10b、アンプ11b、A/D変換部12b、デジタルLPF20b、角速度算出処理部21へと順次送られ処理される。デジタルLPF20bでは主に高周波ノイズを削除す
るためのローパスフィルタ処理が必要に応じて行われる。角速度算出処理部21では後述する電圧値の角速度への変換が行われ、角度変化量算出処理部22では後述する角速度の角度変化量への変換が行われる。
装置傾き角算出処理部13では画像傾き角検出処理部7から出力される傾き角を用いて角度変化量算出処理部22から出力される角度変化量を補正し撮像装置300の傾き角を算出する。その詳細な動作については後述する。
デジタル処理であるデジタルLPF20b、角速度算出処理部21、角度変化量算出処理部22、装置傾き角算出処理部13は、マイコン14の内部に実現される。またマイコン14は撮像素子駆動部17を介して撮像素子3の撮影タイミングなどの動作を制御する。
次に角速度算出処理部21で実行される処理について図13を用いて説明する。
既に説明したように角速度センサ8bのアナログ電圧出力はHPF9b、LPF10b、アンプ11b、A/D変換部12b、デジタルLPF20bを経る間に帯域制限やノイズ除去、A/D変換といった前処理を施され、A/D変換部12bのサンプリング周波数fS[Hz]にてデジタル化された電圧信号V(n・Ts)[V]となる。ここでTsはサンプリング周期[sec]、nは整数である。角速度算出処理部21にはこのデジタル化された電圧信号が入力される。これに対して(数5)に示す演算を行い角速度ω(n・Ts)[deg/sec]を出力する。
(数5)を実現するブロック図を図13に示し、これについて説明する。角速度算出処理部21の内部ではまず入力信号が分岐され、一方は加算器51に、他方は移動平均算出処理部50に入力される。移動平均算出処理部50では最近数十点分の電圧値の平均(移動平均電圧値と呼ぶ)を算出し、加算器51へと出力される。移動平均電圧値は角加速度0のときの基準電圧となる。加算器51では、最新の電圧値から移動平均電圧値を減算し、差分電圧値が出力される。乗算器52では予め設定された感度定数S[V/deg/sec]での割り算を実行する。これにより差分電圧値は角速度ω(n・Ts)[deg/sec]に変換される。
次に角度変化量算出処理部22で実行される処理について説明する。角度変化量算出処理部22では角速度ω(n・Ts)[deg/sec]を積分し、角度変化量φ(n・Ts)[deg]を出力する。具体的には図14に示すように、まず乗算器53において角速度ω(n・Ts)[deg/sec]に対してA/D変換部12bのサンプリング周期Ts[sec]を掛け合わせる。次に加算器54において積分処理を行う。
次に装置傾き角算出処理部13で実行される処理について説明する。装置傾き角算出処理部13では角度変化量算出処理部22から角度変化量φ(n・Ts)[deg]と画像傾き角検出処理部7から画像傾き角αI(m・Ti)[deg]が入力される。ここでTiは画像傾き角αIのサンプリング周期[sec]、mは整数である。画像傾き角αI(m・Ti)[deg]を基準として、角度変化量φ(n・Ts)[deg]の絶対値の補正を行う。具体的には図15に示すように、加算器55において角度変化量φ(n・Ts)[deg]から、補正値算出処理部59からの入力
値である補正値C(n・Ts)[deg]を減算する。これにより撮像装置300の傾き角αS(n・Ts)[deg]が得られる。装置傾き角αS(n・Ts)[deg]は装置傾き角算出処理部13から出力される一方で装置傾き角保存メモリ56に送られる。装置傾き角保存メモリ56に保存された値は加算器57に送られる。加算器57では装置傾き角αS(n・Ts)[deg]から、画像傾き角検出処理部7からの入力値である画像傾き角αI(m・Ti)[deg]が減算される。
この差分値(αS(n・Ts)−αI(m・Ti))[deg]が差分値保存メモリ58に代入される。この差分値が0となるよう、補正値算出処理部59にて補正値C(n・Ts)[deg]を変更することにより装置傾き角αS(n・Ts)[deg]へのフィードバックを行う。この差分値算出の際、装置傾き角αS(n・Ts)[deg]と画像傾き角αI(m・Ti)[deg]のサンプリングタイミングは同期していなければならない。そこで装置傾き角保存メモリ56の更新、加算器57での減算処理、差分値保存メモリ58の更新はマイコン14のタイミング管理下で画像傾き角検出処理部7の処理周期fI[Hz]に同期して行われる。つまりマイコン14は、画像傾き角検出処理部7から処理結果出力(画像傾き角の更新)のタイミングを受け、装置傾き角算出処理部13に差分値保存メモリ58の更新処理を指示する。ここで差分値保存メモリ58の更新処理とは、装置傾き角保存メモリ56から受け取る装置傾き角と、画像傾き角検出処理部7から受け取る画像傾き角を加算器57で減算処理し、その結果を差分値保存メモリ58に代入する一連の処理を指す。
その後マイコン14は、次に画像傾き角検出処理部7に送る画像信号の撮像素子3における露光終了タイミングを特定し図示しない結線を通して装置傾き角保存メモリ56に送る。装置傾き角保存メモリ56ではマイコン14からタイミングの指示を受け、保持している装置傾き角αS(n・Ts)[deg]の値を更新する。さらにマイコン14はこの露光終了タイミングで取り込んだ画像信号をカメラ信号処理部4で処理した結果が次に画像傾き角検出処理部7に送られるよう制御する。
なおここでは露光終了タイミングを送ることとしたが、露光開始タイミングあるいは露光開始と終了の間のいずれかのタイミングを送るようにしても実用上問題ない。傾き補正の場合、手ブレ補正と異なり比較的低い数Hz程度の周波数の動きを補正対象とするからである。
補正値算出処理部59では補正値C(n・Ts)[deg]の更新を行う。その際補正値C(n・Ts)[deg]の急変を避けるため、差分値保存メモリ58から受け取った差分値(αS(n・Ts)−αI(m・Ti))[deg]を分割して補正値C(n・Ts)[deg]に加算するように構成している。具体的には差分値保存メモリ58から受け取る差分値(αS(n・Ts)−αI(m・Ti))[deg]に対して乗算器60で(fI/fS)を乗算する。加算器61では乗算器60の出力値の積分処理を行う。
次に撮像素子回転駆動部18は装置傾き角算出処理部13から受け取る装置傾き角αS(n・Ts)[deg]に応じて撮像素子3を撮像素子3の光軸周りに−αS(n・Ts)[deg]回転駆動し、得られる撮影画像の水平を保つようにする。
以上のような実施の形態によれば、角速度センサ(ジャイロセンサ)8bを使用することにより、パンニングなどの撮像装置姿勢変化時における重力加速度以外の加速度の影響を受けることなく角速度を取得することが可能となる。また角速度センサ8bを使用する場合、角速度から角度変化量は積分計算により容易に求めることができるが、傾き角、つまり水平からの絶対的な傾き角はわからないという問題があった。この問題は、傾き角が出力可能な画像傾き角検出部を組み合わせることにより解決され、傾き角を得ることが可能となった。
また温度特性/経時変化のない画像傾き角検出部で傾き角を補正することにより角速度センサ(ジャイロセンサ)の温度特性/経時変化の影響を排除した正確な傾き角を取得することが可能となる。
また本実施の形態においては、角速度算出処理部21と角度変化量算出処理部22を分割していたが、図16に示すような両者を融合した形態としてもよい。図16は図15の結線を一部変更したのみであり、説明は省略する。
(実施の形態4)
以下、本発明の実施の形態4における撮像装置400について、図17〜図20を用いて説明する。実施の形態4における撮像装置400は、実施の形態3の場合と同様にパンニングなどの撮像装置姿勢変化や温度変化/経時変化などの影響を受けることなく、安定して撮影画像の水平を保つことができることを特徴とする。また、撮像装置400は、水平/垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができることを特徴とする。
実施の形態4の撮像装置400における主な構成は、実施の形態3の構成と同じである。相違点は加速度センサを備え、その出力値を利用して画像傾き角検出処理の高精度化を図った点である。
図17は本発明の実施の形態4における撮像装置400の構成を示すブロック図、図18は加速度算出処理のブロック図、図19はコアリング処理部での入出力特性を示す図、図20A、図20Bおよび図20Cは傾き角検出処理の処理過程の説明図である。
実施の形態3と共通する部分は同じ符号を付して説明を省略し、実施の形態3と異なる部分のみ説明を行う。
加速度センサ8cは、撮像装置400から被写体側へ伸ばした光軸AXに対して垂直で且つ撮影画像の横方向に相当する方向の加速度を検出するように撮像装置400の任意の位置に固定されている。加速度センサ8cの場合もジャイロセンサの出力と同じようにアナログ出力とデジタル出力が選択可能である。ここではアナログ電圧出力を選択した場合について説明する。加速度センサ8cから出力される電圧信号は、HPF9c、LPF10c、アンプ11c、A/D変換部12c、デジタルLPF20c、加速度算出処理部23へと順次送られ処理される。デジタルLPF20cでは主に高周波ノイズを削除するためのローパスフィルタ処理が必要に応じて行われる。加速度算出処理部23では後述する電圧値の加速度への変換が行われる。
参照傾き角算出処理部24では後述する加速度の傾き角への変換が行われる。画像傾き角検出処理部7では画像内の被写体の水平に対する傾き角の検出処理が行われる。基本的なアルゴリズムは実施の形態1で説明したものと同じである。相違点は、参照傾き角算出処理部24から受け取った参照傾き値を利用して傾き角算出精度の向上を図る点である。その詳細な動作については後述する。デジタル処理であるデジタルLPF20c、加速度算出処理部23、参照傾き角算出処理部24は、マイコン14の内部に実現される。
以下、実施の形態4の撮像装置400の動作について実施の形態3と異なる部分のみ説明する。
まず加速度算出処理部23で実行される処理について図18を用いて説明する。既に説明したように、加速度センサ8cのアナログ電圧出力はHPF9c、LPF10c、アン
プ11c、A/D変換部12c、デジタルLPF20cを経る間に帯域制限やノイズ除去、A/D変換といった前処理が行われ、A/D変換部12cでサンプリング周波数fS[Hz]にてデジタル化された電圧信号Va(n・Ts)[V]となる。ここでもTsはサンプリング周期[sec]、nは整数である。加速度算出処理部23には、このデジタル化された電圧信号が入力される。これに対してコアリング処理部80では残留ノイズの影響により測定値が微小に振動して後の処理に悪影響を与えることを避けるために(数6)で示される変換を行う。図19に入出力特性を示す。
0G電圧保存メモリ81には加速度センサ8cが0G検出時の出力電圧値定数が保存されている。加算器82にて、コアリング処理後の電圧信号から0G電圧を減算する。乗算器83でこの減算結果に対して感度定数SG[V/G]の逆数を掛け合わせることにより加速度Aを得る。
参照傾き角算出処理部24では、撮像装置400から被写体側へ伸ばした光軸AX周りの傾き角αGを(数7)に従い加速度Aから求める処理を行う。
こうして求めた傾き角αGを参照傾き角と呼ぶこととする。画像傾き角検出処理部7では、基本的には実施の形態1の場合とほとんど同じ処理を行う。相違点は、図4のステップS5にてピーク検出を行う際、±90度全範囲をサーチする代わりに、参照傾き角αGの近傍のみをサーチする点である。この点について図20A〜図20Cを用いて説明する。図20Aは傾きを有して撮影されてしまった画像の例である。この画像の特徴は、本来の水平/垂直方向の線分と斜めの線分の分布の差が小さいことである。そのため、この画像に対して図4のフローチャートに従い、抽出線分の角度分布算出までの処理を実施すると図20Bに模式的に示すような角度分布が得られる。このようなケースで±90度全範囲をサーチすると間違ってαEを画像傾き角と判定してしまう可能性がある。そこで参照傾き角αGを用いて、図20Bに示すようにピークサーチ範囲をαG±βに制限する。こうすれば図20Bに示すαIを画像傾き角として検出することができ、エラーの発生を防ぐことができる。ここでβの値は加速度センサの傾き角検出精度に略一致する値に設定すればよい。現状市販されているMEMSを利用した加速度センサの場合は、5〜10度程度が望ましい。
上述のように、実施の形態4によれば、水平/垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても精度よく画像傾き角αIを求めることが可能となる。こうして求めた画像傾き角αIを用いて装置傾き角αSを補正し、傾き補正を実行すれば図20Cに示すような水平が正しく保たれた画像を精度よく得ることが可能となる。
なお実施の形態4では1軸の加速度センサを用いたがこれに限定されない。1軸であれば±90度の範囲しか検出できないが、例えば、撮像装置400から被写体側へ伸ばした光軸AXに垂直な方向に、互いに直交した2軸の加速度センサを用いた場合には±180度の範囲で傾き角の検出が可能になる。
(実施の形態5)
以下、本発明の実施の形態5における撮像装置500について、図21〜図24を用いて説明する。実施の形態5における撮像装置500は、実施の形態3の場合と同様にパンニングなどの撮像装置姿勢変化や温度変化/経時変化などの影響を受けることなく、安定して撮影画像の水平を保つことができることを特徴とする。また、撮像装置500は、水平/垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても安定して撮影画像の水平を保つことができることを特徴とする。
実施の形態5の撮像装置500における主な構成は、実施の形態3の構成と同じである。相違点は手ブレ補正装置を備え、その装置内にあるアクチュエータの駆動電流量を利用して参照傾き角を検出し、画像傾き角検出処理の高精度化を図った点である。
図21は本発明の実施の形態5における撮像装置500の構成を示すブロック図、図22はヨーイング方向駆動制御部およびピッチング方向駆動制御部の分解斜視図、図23A、図23Bおよび図23Cは撮像装置500の傾き角とピッチング保持枠の関係を示す図、図24は撮像装置500の傾き角とコイルの駆動電流の関係を示す図である。ここでも、実施の形態3と共通する部分には同じ符号を付して説明を省略し、実施の形態3と異なる部分、具体的には手ブレ補正装置および参照傾き角算出処理部の説明を行う。
まず手ブレ補正装置および参照傾き角算出処理部の構成について図21、図22を用いて説明する。
手ブレ補正装置は、被写体に対してヨーイング方向およびピッチング方向の撮像装置500の角度変化量を検出し、この角度変化量に起因する光路のシフトを、撮像光学系1を構成するレンズ群の1つであるレンズ群L2を撮像画面の水平/垂直方向に駆動することにより補正する。図21において手ブレ補正装置はヨーイング方向角速度センサ25、LPF26、アンプ27、A/D変換部28、デジタルLPF29、角速度算出処理部30、角度変化量算出処理部31、ヨーイング方向駆動制御部32、ピッチング方向角速度センサ33、LPF34、アンプ35、A/D変換部36、デジタルLPF37、角速度算出処理部38、角度変化量算出処理部39、ピッチング方向駆動制御部40、撮像光学系1からなる。ヨーイング方向角速度センサ25およびピッチング方向角速度センサ33は被写体に対してそれぞれヨーイング方向、ピッチング方向の角速度を検出するように撮像装置500の任意の位置に固定された所謂ジャイロセンサである。ヨーイング方向角速度センサ25の出力に対するLPF26、アンプ27、A/D変換部28、デジタルLPF29、角速度算出処理部30、角度変化量算出処理部31の処理およびピッチング方向角速度センサ33の出力に対するLPF34、アンプ35、A/D変換部36、デジタルLPF37、角速度算出処理部38、角度変化量算出処理部39の処理は、実施の形態3のLPF10b、アンプ11b、A/D変換部12b、デジタルLPF20b、角速度算出処理部21、角度変化量算出処理部22の処理と同じであるため、説明を省略する。ヨーイング方向駆動制御部32およびピッチング方向駆動制御部40は、それぞれ角度変化量算出処理部31、角度変化量算出処理部39から受け取った角度変化量に基づき、光軸補正用レンズ群L2を光軸AXに垂直な面内で駆動し、画像の動きを補正する。
次に、実施の形態5に用いる手ブレ補正装置の機構部詳細について、図22を用いて説明する。図22において、手ブレ補正機構部90はヨーイング方向駆動制御部32およびピッチング方向駆動制御部40の一部であり、ピッチング保持枠91と、ヨーイング保持枠92と、固定枠95と、ヨーイング用アクチュエータ99xと、ピッチング用アクチュエータ99yと、発光素子100と、受光素子101とを含む。
ピッチング保持枠91は、コイル94x、94yを有する。第2レンズ群L2および発光素子100は、ピッチング保持枠91に固定されている。ピッチング保持枠91は、2本のピッチングシャフト93a、93bを介して、ヨーイング保持枠92に対し、Y方向に摺動可能に保持される。
ヨーイング保持枠92は、ヨーイングシャフト96a、96bを介して、固定枠95に対し、X方向に摺動可能に保持される。
ヨーイング用アクチュエータ99xは、マグネット97xと、ヨーク98xとを有し、固定枠95に保持される。同様に、ピッチング用アクチュエータ99yは、マグネット97yと、ヨーク98yとを有し、固定枠95に保持される。
受光素子101は、固定枠95に固定され、発光素子100の投射光を受光し、2次元の位置座標を検出する。
またヨーイング方向駆動制御部32にはヨーイング用アクチュエータ99xが動作したときのコイル94xに流れる電流値を検出する図示しないヨーイング電流値検出部があり、参照傾き角算出処理部24cにヨーイング電流値を受け渡す。同様に、ピッチング方向駆動制御部40にはピッチング用アクチュエータ99yが動作したときのコイル94yに流れる電流値を検出する図示しないピッチング電流値検出部があり、参照傾き角算出処理部24cにピッチング電流値を受け渡す。
参照傾き角算出処理部24cは、ヨーイング方向駆動制御部32およびピッチング方向駆動制御部40から受け取ったヨーイング電流値およびピッチング電流値を用いて後述する撮像装置500の傾き角の算出を行う。
またデジタル処理であるデジタルLPF29、角速度算出処理部30、デジタルLPF37、角速度算出処理部38、角度変化量算出処理部31、角度変化量算出処理部39、参照傾き角算出処理部24cは、マイコン14の内部に実現される。
次に、実施の形態5における撮像装置500の手ブレ補正装置および参照傾き角算出処理部24cの動作について、図21、図22を用いて説明する。
撮像装置500の動作時、撮像装置500に加わる手ブレや振動は、ヨーイング方向角速度センサ25、ピッチング方向角速度センサ33により検知される。それぞれの検出電圧は既に説明したように角度変化量に変換され、ヨーイング方向駆動制御部32、ピッチング方向駆動制御部40に送られる。ヨーイング方向駆動制御部32、ピッチング方向駆動制御部40は受け取った角度変化量を基に手ブレなどを打ち消すための制御信号を生成し、手ブレ補正機構部90を駆動する。この制御信号に応じた電流は、ピッチング保持枠91のコイル94x、94yのそれぞれに供給される。ピッチング保持枠91は、供給された電流とマグネット97x、97yとから形成された磁気回路により、光軸AXと直角な2方向X、Y平面内を移動する。また、ピッチング保持枠91の位置検出は、受光素子101を用いることにより高精度に行われる。すなわち、手ブレ補正機構部90により第2レンズ群L2は、光軸と直交する2平面内を移動する。これにより、撮像光学系1を介して撮像素子3に入射する画像の水平および垂直方向のブレ補正を行うことができる。
また手ブレ補正駆動を行う際にコイル94x、94yに流れる電流値が参照傾き角算出処理部24cに送られる。このときの電流値について図23A〜図23C、図24を用いて説明する。図23Aは傾き角0の状態で保持された撮像装置500におけるピッチング保持枠91を撮像素子側から見たときの様子を模式的に描いた図である。レンズ群L2を
所定の位置に保持するためには、Y方向に関して、レンズ群L2、ピッチング保持枠91、コイル94x、94y、発光素子100の質量和Myが重力方向(−Y方向)にかかるため、コイル94yにその自重分を持ち上げるための駆動電流Iyaを流す必要がある。一方、X方向に関しては、レンズ群L2を所定の位置に保持するために自重分を考慮する必要がない。つまり保持するだけであれば駆動力は必要なく、駆動力0に相当する基準電流Ixaをコイル94xに流せばよい。なお手ブレ補正機構部90を駆動する場合にはレンズ群L2、ピッチング保持枠91、コイル94x、94y、発光素子100とヨーイング保持枠92、ピッチングシャフト93a、93bの質量和Mxがヨーイング保持枠92とヨーイングシャフト96a、96bの間にかかるときに生じる摩擦抵抗に抗して手ブレ補正機構部90を駆動するに必要且つ十分の電流をコイル94xに流せばよい。
図23Bは傾き角90度の状態で保持された撮像装置500におけるピッチング保持枠91を撮像素子側から見たときの様子を模式的に描いた図である。このとき、レンズ群L2を所定の位置に保持するためには、X方向に関して、レンズ群L2、ピッチング保持枠91、コイル94x、94y、発光素子100、ヨーイング保持枠92、ピッチングシャフト93a、93bの質量和Mxが重力方向(−X方向)にかかるため、コイル94xにその自重分を持ち上げるための駆動電流Ixbを流す必要がある。一方、Y方向に関しては、レンズ群L2を所定の位置に保持するための自重分を考慮する必要がない。つまり保持するだけであれば駆動力は必要なく、駆動力0に相当する基準電流Iybをコイル94yに流せばよい。なお手ブレ補正機構部90を駆動する場合にはレンズ群L2、ピッチング保持枠91、コイル94x、94y、発光素子100の質量和Myがピッチング保持枠91とピッチングシャフト93a、93bの間にかかるときに生じる摩擦抵抗に抗して手ブレ補正機構部90を駆動するに必要且つ十分の電流をコイル94yに流せばよい。なおMy<MxであるためIya<Ixbとなる。
図23Cは傾き角θ度の状態で保持された撮像装置500におけるピッチング保持枠91を撮像素子側から見たときの様子を模式的に描いた図である。このとき、レンズ群L2を所定の位置に保持するためには、Y方向に関して、位置保持のための上記の質量和Myの角度θ分の分力(位置保持のための力)と、ピッチング保持枠91とピッチングシャフト93a、93bの間に発生する摩擦抵抗の角度θ分の分力(駆動のための力)との和を打ち消すための駆動電流Iycを流す必要がある。一方、X方向に関しては、上記の質量和Mxの角度θ分の分力(位置保持のための力)と、ヨーイング保持枠92とヨーイングシャフト96a、96bの間に発生する摩擦抵抗の角度θ分の分力(駆動のための力)との和を打ち消すための駆動電流Ixcを流す必要がある。以上をまとめると、レンズ群L2を所定の位置に保持するためにコイル94x、94yにかかる駆動電流の中央値(静止時駆動電流)は図24に示すようになる。
参照傾き角算出処理部24cでは、予めコイル94x、94yにかかるそれぞれの駆動電流の基準電流値および最大電流値を記憶しておく。これらの値を用いてヨーイング方向駆動制御部32およびピッチング方向駆動制御部40から受け取る2方向の駆動電流値を正規化し、その比から傾き角を算出する。これを参照傾き角として画像傾き角検出処理部7に渡す。
画像傾き角検出処理部7では、参照傾き角算出処理部24cから受け取った参照傾き角を用いて実施の形態4で説明した処理と同様の処理を実行する。
上述のように、実施の形態5によれば、水平/垂直方向の誤検出の原因となるような線分が撮影画像中に多く含まれてしまうような場合であっても精度よく画像傾き角αIを求めることが可能となる。こうして求めた画像傾き角αIを用いて装置傾き角αSを補正し、傾き補正を実行することが可能となり、水平が正しく保たれた画像を精度よく得ること
が可能となる。
(その他の実施の形態)
本発明の内容は、上述した実施の形態に示された具体例に限定されない。例えば、以下のような変形例も考えられる。
(1)
撮像装置の傾き角を検出するセンサとしては、振り子状の構造物を内蔵した角度センサもしくは傾斜センサや、重力加速度などを検出する加速度センサ、もしくは回転角速度を検出する角速度センサが用いられるが特にいずれかに限るものではない。
(2)
本発明の実施の形態において、角度センサ8は重力の方向(鉛直方向)に対し90度をなす方向を水平方向として定め、これを角度の基準(角度=0度)として定め、撮像装置の傾きの大きさおよび方向に応じて正負両方向の角度信号を出力するものとした。しかし、本発明はこれに限られるものではない。鉛直方向を角度の基準(角度=0度)として撮像装置の傾きの大きさ、方向を検出してもよい。
(3)
本発明の実施の形態において、傾きの補正を行う際、レンズ鏡筒2もしくは撮像素子3を撮像光学系1の光軸を中心に回転させる構成を説明した。しかし、本発明はこれに限られるものではない。例えば図25に示したように光軸と平行する軸を中心として回転させても撮影画像の傾きを補正することが可能である。本発明においても、レンズ鏡筒2もしくは撮像素子3を撮像光学系1の光軸と平行する軸を中心として回転させてもよい。
(4)
本発明の実施の形態において、図7に示したように画像傾き角検出処理部7が最初に画像からの傾き検出結果を出力するまでは、鏡筒回転駆動部16もしくは撮像素子回転駆動部18による傾きの補正が動作しない構成を説明した。しかし、本発明はこれに限られるものではない。例えば、最初の画像傾き角検出処理部7による画像からの傾き検出結果が出力されるまでは、角度センサ8aから得られる角度信号と初期の換算式から算出される傾き角度によって撮影画像の傾き補正を行ってもよい。
(5)
本発明の実施の形態において、角度センサ8aから得られた角度信号を角度に換算するための関係式の例として図8、図9を示した。しかし、本発明はこれに限るものではない。例えば図26のように原点を通らない1次直線の関係でもよい。もちろん2次以上の高次でもよい。また原点を通らない1次直線の関係や2次以上の高次の場合、換算式を校正する際には、画像傾き角検出処理部7から検出される画像からの傾き検出結果を複数用いて換算式を校正すればよい。
(6)
本発明の実施の形態において、画像傾き角検出処理部7による画像からの傾き検出は撮影周期ごととして説明を行った。しかし、本発明はこれに限られるものではない。実施の形態において用いる角度センサの特性、性能を考慮して、任意に周期を設定するのが有効である。その際、画像傾き角検出処理部7による画像からの傾き検出の周期を低減すれば、機器の消費電力の低減などの新たな効果が実現可能である。
(7)
本発明の実施の形態において、マイコン14によるプログラム処理による例を示した。
しかし、本発明はこれに限られるものではない。マイコン14によるプログラム処理を電子回路などのハードウェアにより実現することが可能であることは言うまでもない。
(8)
本発明の実施の形態において、撮像装置の撮像素子数に関しては特に言及しなかった。しかし、単板式撮像装置、2板式撮像装置、3板式撮像装置のいずれの撮像装置においても本発明が有効であることは明らかである。
(9)
本発明の実施の形態において、傾き補正部として、レンズ鏡筒2もしくは撮像素子3を回転させる構成を説明した。しかし、本発明はこれに限られるものではない。例えば撮像装置を固定する雲台を回転させて傾きを補正する構成でもよい。この場合、雲台を回転駆動するための制御信号を撮像装置の外部に出力し、これを基に雲台が駆動制御される構成が考えられる。さらには、機械的な構成のみでなく、例えば撮影画像の水平を保つための方法として撮像素子2を回転駆動する代わりに画像信号に対して画像処理を行い、傾き角を補正するように画像を回転させてもよい。
2007年7月13日出願の特願2007−183957の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、例えば、傾き補正機能を有するデジタルカメラやビデオムービーなどの撮像装置に利用することが可能である。
本発明の実施の形態1における撮像装置の構成を示すブロック図
同撮像装置のレンズ鏡筒とその回転方向を示す模式図
同撮像装置の画像傾き角検出処理部から出力される撮影画像の傾きの角度と、角度センサからの撮像装置の傾きに関する角度信号を、マイコンが取得するタイミングの一例を示す模式図
同撮像装置の画像傾き角検出処理のフローチャート
同撮像装置の画像傾き角検出処理の処理過程の説明図であって、傾きを有する元画像を示す図
同撮像装置の画像傾き角検出処理の処理過程の説明図であって、線分抽出結果の例を示す図
同撮像装置の画像傾き角検出処理の処理過程の説明図であって、抽出線分の角度分布を示す図
同撮像装置の画像傾き角検出処理の処理過程の説明図であって、傾き補正後の画像を示す図
同撮像装置の画像傾き検出に使用される3×3ラプラシアンフィルタの重み付け係数の一例を示す図
同撮像装置の画像傾き検出に使用される3×3ラプラシアンフィルタの重み付け係数の他の例を示す図
同撮像装置のマイコンに格納された処理プログラムのフローチャート
同撮像装置の角度信号から角度を換算する換算式の一例を説明するための図
同撮像装置の角度信号から角度を換算する換算式の更新方法を説明するための図
本発明の実施の形態2における撮像装置の構成を示すブロック図
同撮像装置の撮像素子回転機構の概略構成を示す斜視図
本発明の実施の形態3における撮像装置の構成を示すブロック図
同撮像装置の角速度算出処理のブロック図
同撮像装置の角度変化量算出処理のブロック図
同撮像装置の装置傾き角算出処理のブロック図
同撮像装置の装置傾き角算出処理のブロック図
本発明の実施の形態4における撮像装置の構成を示すブロック図
同撮像装置の加速度算出処理のブロック図
同撮像装置のコアリング処理部での入出力特性を示す図
同撮像装置の傾き角検出処理の処理過程の説明図であって、傾きを有する元画像を示す図
同撮像装置の傾き角検出処理の処理過程の説明図であって、抽出線分の角度分布を示す図
同撮像装置の傾き角検出処理の処理過程の説明図であって、正しい傾き補正後の画像を示す図
本発明の実施の形態5における撮像装置の構成を示すブロック図
同撮像装置のヨーイング方向駆動制御部およびピッチング方向駆動制御部の分解斜視図
同撮像装置の傾き角が0度の場合のピッチング保持枠を示す図
同撮像装置の傾き角が90度の場合のピッチング保持枠を示す図
同撮像装置の傾き角がθ度の場合のピッチング保持枠を示す図
同撮像装置の傾き角とコイルの駆動電流の関係を示す図
同撮像装置のレンズ鏡筒とその回転方向を示す他の例の模式図
同撮像装置の角度信号から角度を換算する換算式の他の更新方法を説明するためのグラフ