JP5641884B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は水準器機能を備えた撮像装置に関し、特に経時変化等の影響を受けない水準器機能を備えた撮像装置に関する。

近年、デジタルカメラ等の撮像装置において撮像装置の傾きを検出するセンサを用いた水準器機能を備えたものが多数提案されている。特許文献１では、この撮像装置の傾きを検出するセンサとして加速度センサを用い、その加速度センサの温度ドリフトを補正するために加速度センサ周辺の温度を検出する発明が提案されている。

さらに加速度センサの温度補正の方法として、特許文献２では、ジャイロセンサが検出した角度と、周辺の温度から算出される温度補正率を用いて補正を行うものが提案されている。

特開２００５−２６５４４８号公報 特開２００９−１８８４７６号公報

しかしながら、従来の撮像装置では加速度センサの温度ドリフト量が経時変化を有している場合には、使用時間の経過とともに正しい傾き角度を得ることが出来なくなる可能性があった。

以上の課題を解決するために、本発明に係る撮像装置は、少なくとも撮像素子を含む撮像手段と、装置の光軸周りの傾きを検知する傾き検知手段と、傾き検知手段の周囲の温度を検出する温度検出手段と、温度検出手段の検出結果を用いて傾き検知手段により検知された傾きを補正する補正手段と、撮像手段によって撮像された画像を二次元周波数解析する二次元周波数解析手段と、補正手段により補正された傾きから得られる垂直方向と二次元周波数解析手段の解析結果から得られる垂直方向とのなす角が、二次元ＦＦＴ処理が施された撮影画像から抽出された角度が画像上で垂直線を示しているものと判定できる限度の角度よりも小さく、かつ傾き検知手段のドリフト量が変化して補正できなくなる角度よりも大きい場合には、補正手段により補正された傾きから得られる垂直方向と二次元周波数解析手段の解析結果から得られる垂直方向とのなす角を加えて、傾き検知手段により検知された傾きを補正する制御手段を有することを特徴とする。

加速度センサのドリフト量が当初調整時から変動しても正しい角度情報を得ることが可能となった。

本発明の実施例における撮像装置の構成を示す構成図である。 本発明の実施例における撮像装置の動作を示すフローチャートである。 （ａ）カメラを水平に構えて建造物を撮影した画像と電子水準器表示の例を示す図である。（ｂ）（ａ）の画像に対する二次元ＦＦＴ処理の結果を示す図である。 （ａ）垂直線のみからなる画像の例を示す図である。（ｂ）（ａ）の画像に対する二次元ＦＦＴ処理の結果を示す図である。 （ａ）水平線のみからなる画像の例を示す図である。（ｂ）（ａ）の画像に対する二次元ＦＦＴ処理の結果を示す図である。 （ａ）被写体見上げながら撮影した画像の例を示す図である。（ｂ）（ａ）の画像に対する二次元ＦＦＴ処理の結果を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

＜第１の実施形態＞
図１は、本発明の実施例１に係る撮像装置の構成を示すブロック図である。この撮像装置は、主に静止画像および動画像の撮影を行うためのデジタルカメラである。

図１において、ズームレンズユニット１０１は光軸１００に平行な方向にズームレンズの位置を変更することで、倍率変更が可能である。ズーム駆動制御部１０２は、ズームレンズユニット１０１を駆動制御する。シフトレンズユニット１０３（補正部材）は光軸１００に対して直交方向にシフトレンズの位置を変更することで画角補正（像振れ補正）が可能である。シフトレンズ駆動制御部１０４は、シフトレンズユニット１０３を駆動制御する。また、演算処理部のメインクロック周期及び演算サンプリング周期も制御する。

絞り・シャッタ駆動制御部１０６は絞り・シャッタユニット１０５を駆動制御する。フォーカスレンズユニット１０７は、光軸１００に平行な方向にフォーカスレンズの位置を変更することでピント調節を行う。フォーカス駆動制御部１０８は、フォーカスレンズユニット１０７を駆動制御する。以上、本実施例においてはズームレンズユニット１０１、シフトレンズユニット１０３、絞り・シャッタユニット１０５、フォーカスレンズユニット１０７から撮像光学系が成っているとする。

撮像部１０９は、各レンズ群を通ってきた光像を電気信号に変換する。これは、画素単位を構成する１個の光電変換素子（撮像素子）を面内に格子状に配列して形成された撮像部１０９の中の撮像素子の全撮像領域（撮像面全体）に対応する画素配列をもち、読み出した画像信号を出力する。信号処理部１１０は、撮像部１０９から出力される画像信号の増幅処理、アナログ−ディジタル変換を行うＡ／Ｄ変換処理、Ａ／Ｄ変換後の画像データにキズ補正などの各種の補正処理、画像データの圧縮処理等を行う。そして信号処理部１１０は映像信号を用途に応じて加工する。

記憶部１１１は、信号処理部１１０にて信号処理された画像データや映像情報など様々なデータを記憶する。表示部１１２は、信号処理部１１０から出力された信号に基づいて、必要に応じて画像表示を行う。また、表示部１１２を用いて撮像した画像データを逐次表示すれば、電子ファインダ（ＥＶＦ）機能を実現することが可能である。また、表示部１１２には画像が表示されるだけでなく、画像表示と共に、もしくは画像を表示することなく、デジタルカメラの各種の設定に関する様々なメニュー項目も表示する。ユーザは表示部１１２に表示されたメニュー項目を、操作部１１５を操作しながら適宜選択することにより、指定した項目の設定を変更することができる。

１１３は加速度センサ（傾き検知手段）であり、重力加速度を検知することによって撮像装置が光軸周りにどの程度傾いているか検出可能である。１１４は加速度センサの周囲の温度を計測する温度センサ（温度検出手段）である。加速度センサ１１３から出力される検知結果に関する信号は制御部１１７に入力され、制御部１１７によって温度センサ１１４からの温度信号に応じた補正（出力補正）を施される。また、表示部１１２には温度補正を施された角度情報（補正量）を元に、撮像装置の平行情報の表示、すなわち水準器表示がなされる。

操作部１１５はシステムを操作するためのボタンやスイッチ、もしくはタッチパネルのようなユーザのメニュー操作を反映させる部材である。レリーズボタン１１６は、約半分押し込まれたとき（撮影準備動作）にスイッチＳＷ１がオンし、最後まで押し込まれたとき（撮影動作）にスイッチＳＷ２がオンする構造となっている。スイッチＳＷ１がオンされると、静止画撮影の準備動作が開始され、フォーカス駆動制御部１０８がフォーカスレンズユニット１０７を駆動してピント調節を行う。そしてそれとともに、絞り・シャッタ駆動制御部１０６が絞り・シャッタユニット１０５を駆動して適正な露光量に設定する。スイッチＳＷ２がオンされると、撮影動作が開始され、撮像部１０９に露光された光像から得られた画像データが記憶部１１１に記録される。なお、記憶部１１１は例えば、内蔵メモリや着脱可能な記憶媒体である。

図２は本発明の実施例に係る撮像装置の、撮影動作中の傾き検知の動作シーケンスを示すフローチャートである。特に言及しない限り、以下のフローチャートの各ステップは制御部１１７が実行するものとする。

先ず、撮影動作の中で傾き検知が開始されると、ステップＳ６０１にて温度センサ１１４の出力を取得し、ステップＳ６０２にて加速度センサ１１３の出力を取得する。次に、ステップＳ６０３においては、ステップＳ６０１およびＳ６０２で取得されたそれぞれの出力に基づいて、撮像装置の（光軸周りの）傾きから、水平から光軸周りにどの程度傾いているかを表す値である傾き補正値を算出する。そして、ステップＳ６０４において、ステップＳ６０３にて算出した傾き補正値を用いて、加速度センサの出力から現在の傾き角度に関する角度データを得る。この加速度センサ１１３の出力から求めた傾き補正角をθ２とする。

次にステップＳ６０５において、シャッターボタン操作（ＳＷ２動作）に応じて画像が撮影されると、画像が取得される。そして、ステップＳ６０６にて取得した画像に対して二次元ＦＦＴ（高速フーリエ変換）処理を施し、解析を行う。

ここで、二次元ＦＦＴ処理について図３〜６を用いて説明する。図３（ｂ）は図３（ａ）で表示した画像、すなわちカメラを水平に構えて建造物を撮影した画像に対して二次元ＦＦＴ処理を施した解析結果のパワースペクトラムを表示したものである。このように、画像に対して二次元ＦＦＴ処理を施すと、原点（この場合は画像の中心点）に画像の直流成分が表示され、原点より遠ざかるにつれて高い空間周波数の成分が現れる。

また原点より水平の方向は垂直線からなる水平の空間周波数の、垂直の方向は水平線からなる垂直の空間周波数の、斜めの方向は斜めの空間周波数の成分を表している。たとえば、図４（ａ）は垂直線のみからなる画像であり、図４（ｂ）は図４（ａ）の画像に対して二次元ＦＦＴ処理を施した解析結果である。また、図５（ａ）は水平線のみからなる画像である、図５（ｂ）は図５（ａ）の画像に対しての二次元ＦＦＴ処理を施した結果を示している。

これらより、水平線に対しては垂直線からなる水平の空間周波数の成分が現れ、垂直線に対しては水平線からなる垂直の空間周波数の成分が現れる。同様に、斜めの方向は斜めの空間周波数の成分を表している。図３（ｂ）にて垂直および水平の空間周波数成分が多く抽出されるのは、一般的な人工構造物は垂直線および水平線が多用されるためである。

他方、撮像装置を水平に構えずに一般的な人工構造物を撮影した場合、垂直もしくは水平近辺に空間周波数成分が集中しない。図６（ａ）は被写体見上げながら（あおり角度を持たせて）撮影した画像であり、図６（ｂ）は図６（ａ）の画像に対して二次元ＦＦＴ処理を施した解析結果である。図６（ａ）の通り、建物の垂直線は画像上は透視図法的に画面外の上空一点に集中する斜めの線分となっている。このため、垂直もしくは垂直近辺の空間周波数成分は、図６（ｂ）に示すように、分散したものとなっている。なお、図６（ａ）のようにあおり角を持たせたような場合には、空間周波数成分からは後述するΔθの算出を行わず、傾き補正情報を更新しない。

上述の通り、カメラを水平に構えて建造物を撮影した場合、図３のように、水平線および垂直線からなる空間周波数成分あらわれる。それらを利用して、撮影画像に足して二次元ＦＦＴ処理を行った後の空間周波数の成分による水平線および垂直線と、空間の座標軸となす角をθ１とする。そして、ステップＳ６０７においては、この二次元ＦＦＴ処理が施された撮影画像とステップＳ６０５にて補正された加速度センサ１１３の出力から算出された角度データが示す、垂直近傍の線分のスペクトラムがなす傾き補正角をθ２が抽出される。

互いの垂直方向を用い、θ１が画像に対する撮像装置の傾き角であると推定できるかを傾き補正角をθ２との関係から、以下の（式１）および（式２）が成立するか演算する。（ステップＳ６０８およびＳ６０９）
Δθ＝θ２−θ１＜ｋ１ …（式１）
Δθ＝θ２−θ１＞ｋ２ …（式２）
ただしｋ１は第１の所定の角度であり、二次元ＦＦＴ処理が施された撮影画像から抽出された角度が画像上で垂直線を示しているものと判定できる限度の角度である。また、ｋ２は第２の所定の角度であり、かつ加速度センサのドリフト量が変化して正しく補正できない値とする。ただし、ｋ２＜ｋ１とする。

Δθがｋ１（第１の所定の角度）よりも小さいと判断された場合（ステップＳ６０８にてＹｅｓ）は、θ１が撮像装置の光軸周りの傾き角である推定される。また、Δθがｋ１よりも小さいが、Δθがｋ１も小さくｋ２よりも大きいる場合には加速度センサ１１３の出力にドリフト成分が含まれているものとみなす（ステップＳ６０９にてＹｅｓ）。

そして、ステップＳ６１０において、温度センサ１１４から得られる撮影時の温度情報をもとに、Δθを温度範囲での傾き補正情報として記録し、次回以降の撮影では、それまでの傾き補正情報に加えてΔθを加味して加速度センサ１１３の出力を補正する。また、撮影時温度情報、θ１、θ２は画像ファイルに付加されて記録され、再生時に画像傾き補正を行う際の基準データとして用いられる。再生時には、信号処理部１１０にて傾き補正された信号に基づいて、補正を行った後の画像が表示部１１２に表示される。

＜他の実施形態＞
以上、本発明の実施形態に基づいて詳述してきたが、二次元周波数解析手段として二次元ＦＦＴ処理を用いる代わりに他の方法を用いても良い。例えば、複数のバンドパスフィルタを組み合わせて、バンドパスフィルタの中心周波数を変化させ二次元周波数解析を行うことも可能であるし、ローパスフィルタとハイパスフィルタの組み合わせにて二次元周波数解析を行うことも可能である。

本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。撮像装置はコンパクトデジタルカメラでも、交換レンズタイプのデジタル一眼レフカメラでも、ビデオカメラでも良い。また撮像機能を備えた電子機器でも同様の効果を得られるようであれば良い。

１１３ 加速度センサ
１１４ 温度センサ
１１７ 制御部

Claims (6)

1. 少なくとも撮像素子を含む撮像手段と、
   装置の光軸周りの傾きを検知する傾き検知手段と、
   前記傾き検知手段の周囲の温度を検出する温度検出手段と、
   前記温度検出手段の検出結果を用いて前記傾き検知手段により検知された傾きを補正する補正手段と、
   前記撮像手段によって撮像された画像を二次元周波数解析する二次元周波数解析手段と、
   前記補正手段により補正された傾きから得られる垂直方向と前記二次元周波数解析手段の解析結果から得られる垂直方向とのなす角が、二次元ＦＦＴ処理が施された撮影画像から抽出された角度が画像上で垂直線を示しているものと判定できる限度の角度よりも小さく、かつ前記傾き検知手段のドリフト量が変化して補正できなくなる角度よりも大きい場合には、前記補正手段により補正された傾きから得られる垂直方向と前記二次元周波数解析手段の解析結果から得られる垂直方向とのなす角を加えて、前記傾き検知手段により検知された傾きを補正する制御手段を有することを特徴とする撮像装置。
2. 前記二次元周波数解析手段はフーリエ変換を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記二次元周波数解析手段はバンドパスフィルタの中心周波数を変化させて周波数解析を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記二次元周波数解析手段は中心周波数の異なる複数のバンドパスフィルタを組み合わせて周波数解析を行うことを特徴とする請求項１に記載の撮像装置。
5. 前記二次元周波数解析手段はローパスフィルタとハイパスフィルタを組み合わせて周波数解析を行うことを特徴とする請求項１に記載の撮像装置。
6. 少なくとも撮像素子を含む撮像手段を有する撮像装置の制御方法であって、
   傾き検知手段によって、装置の光軸周りの傾きを検知する傾き検知ステップと、
   温度検出手段によって、前記傾き検知手段の周囲の温度を検出する温度検出ステップと、
   前記温度検出ステップの検出結果を用いて前記傾き検知ステップで検知した傾きを補正する補正ステップと、
   前記撮像手段によって撮像された画像を二次元周波数解析する二次元周波数解析ステップと、
   前記補正ステップにおいて補正した傾きから得られる垂直方向と前記二次元周波数解析ステップの解析結果から得られる垂直方向とのなす角が、二次元ＦＦＴ処理が施された撮影画像から抽出された角度が画像上で垂直線を示しているものと判定できる限度の角度よりも小さく、かつ前記傾き検知手段のドリフト量が変化して補正できなくなる角度よりも大きい場合には、前記補正ステップにおいて補正した傾きから得られる垂直方向と前記二次元周波数解析手段の解析結果から得られる垂直方向とのなす角を加えて、前記傾き検知ステップで検知した傾きを補正する制御ステップを有することを特徴とする撮像装置の制御方法。

Images