JP5887465B2 - 撮像装置、撮像装置駆動方法、撮像装置制御プログラム - Google Patents

Description

本発明は、撮像レンズの光軸に対して垂直な面内で撮像レンズまたはイメージセンサを相対的に移動自在に設けた撮像装置、及びその撮像装置駆動方法、撮像装置制御プログラムに関する。

デジタルカメラ、ビデオカメラ、スマートフォンやタブレット端末に搭載されるカメラモジュール等の撮像装置が普及している。撮像装置は、被写体の像を結像させる撮像レンズと、画素毎に光電変換することによって撮像レンズが結像する被写体の像を撮像するイメージセンサと、を備える。

撮像装置を製造する場合、様々な製造誤差が発生する。例えば、撮像レンズには面形状や面の位置ずれ等の誤差があり、さらに撮像レンズを複数のレンズで構成する場合には、各レンズの位置や間隔、傾き等の組立誤差がある。また、撮像レンズとイメージセンサの位置決めにも誤差がある。もちろん、こうした各種製造誤差はできる限り小さくなるように配慮されている。例えば、複数のレンズを組み立てて撮像レンズを形成する場合、テストチャートを撮像しながら組み立てを行うことによって、組み立て誤差が低減される（特許文献１）。撮像レンズとイメージセンサの位置決め誤差等も同様にして低減される。

一方、各種製造誤差を完全になくそうとすると、歩留まりが悪化し、コストアップにつながるので、ある程度の製造誤差は許容しなければならない。しかし、上述のような様々な製造誤差が累積すると、撮像画像の画質に深刻な影響が発生する場合がある。例えば、撮像画像に解像度が低い箇所が部分的に生じたり、撮像画像の一方の側では解像度が高く、他方の側では解像度が低い等、解像度の分布が生じたりする場合がある。

このため、近年では累積的製造誤差による撮像画像の画質低下を、撮像の段階で是正する技術が知られている。例えば、撮像指示があった場合に、被写体を複数の焦点位置で自動的に撮像し、各画像の解像度が高い部分を画像処理によって組み合わせることによって、全面で解像度が均一な撮像画像を得る方法が知られている（特許文献２）。

また、手振れ補正機能を有する撮像装置では、手振れ補正のために光軸に垂直な方向に移動自在になっているレンズ（以下、補正レンズという）によって撮像画像の画質を向上させることができる場合がある。例えば、テストチャートを撮像することによって、光学的に最適な補正レンズの位置を予め求めておき、手振れ補正を行う場合はこの最適位置を中心に補正レンズを移動させ、手振れ補正を行わない場合には最適位置に補正レンズを固定する撮像装置が知られている（特許文献３）。補正レンズによって倍率色収差を補正する撮像装置もある（特許文献４）。また、補正レンズと同様に光軸に垂直な方向に移動自在な偏芯レンズ群を移動させることにより、撮像画像の画質を向上させる撮像装置も知られている（特許文献５）。

特開２００６−２０８９３２号公報 特開２０１２−２２２４３１号公報 特開２００６−０８６５８６号公報 特開２０１２−０４４４９８号公報 特開２０１０−２３７２５０号公報

撮像画像の画質を向上させ、累積的製造誤差によって低下した画質を補うために、イメージセンサと光軸の交点を移動させる場合、このイメージセンサと光軸の交点の移動はできる限り迅速に行う必要がある。例えば特許文献３のように補正レンズの光学的な最適位置を定めておいても、撮像指示が入力された時点で手振れ補正のために最適位置から遠く離れた位置に補正レンズが移動されていると、最適位置まで補正レンズが移動するのを待って撮像を実行したのでは、シャッターチャンスを逃してしまう場合があるからである。

とはいえ、補正レンズの移動速度には限度があるので、補正レンズを単に高速で移動させるというのは現実的ではない。また、手振れ補正機能をオフにして、補正レンズを常に撮像に最適な位置に保持し続けていれば、いつ撮像指示が入力されても撮像画像の画質を向上させ、製造誤差による画質低下を補うことができるが、手振れが発生した場合にはライブビュー画像を確認し難くなるので、そもそもシャッターチャンスをつかみ難くなってしまう。

本発明は、補正レンズやイメージセンサの移動によって、イメージセンサと光軸の交点を、シャッターチャンスを逃さずに素早く移動できる範囲内で、できる限り撮像画像の画質を向上させ、製造誤差による画質低下を補う撮像装置、及びその駆動方法と制御プログラムを提供することを目的とする。

本発明の撮像装置は、被写体の像を結像させる撮像レンズと、被写体を撮像するイメージセンサと、移動機構と、メモリと、交点位置制御部とを備える。移動機構は、撮像レンズに含まれるレンズまたはイメージセンサの少なくともいずれか一方を撮像レンズの光軸に垂直な面内で移動させることにより、光軸とイメージセンサの交点の位置を移動させる。メモリは、複数の交点の位置についてそれぞれ画質評価値を予め記憶する。交点位置制御部は、現在の交点の位置を取得して、メモリに記憶された複数の交点の位置と現在の交点の位置の距離を算出し、メモリに記憶された複数の交点の位置の中から現在の交点の位置からの距離に対する画質評価値の比が最大になる交点の位置を撮像用の交点の位置として選出する。移動機構は、現在の交点の位置を撮像用の交点の位置に移動させる。

画質評価値は、鮮鋭度に基づく値であることが好ましい。画質評価値は、鮮鋭度と平均輝度に基づく値であっても良い。

メモリは、複数の交点の位置についてそれぞれ測定された複数の画質評価値の中から、画質評価値が所定画質評価値よりも高い交点の位置及び画質評価値のみを記憶していることが好ましい。

撮像装置は、更に、撮像レンズに含まれるレンズを光軸に沿って移動させることにより、撮像レンズの焦点位置を移動させ、ピント合わせをする焦点調節機構と、焦点調節機構によって焦点位置を制御する焦点位置制御部と、を備えることが好ましい。メモリは、画質評価値を焦点位置毎に予め記憶し、交点位置制御部は、焦点位置制御部によって定められた焦点位置に対応する画質評価値を参照して撮像用の交点の位置を選出することが好ましい。

イメージセンサは、被写体に応じて予め設定されたシャッタスピードで被写体を撮像する。交点位置制御部は、被写体に応じて予め設定されたシャッタスピードを取得し、閾値となる所定シャッタスピードと比較する。設定されたシャッタスピードが所定シャッタスピード以下の場合に現在の交点の位置を撮像用の交点の位置に移動させる。３５ｍｍ版に換算した撮像レンズの焦点距離をｆ（ｍｍ）とする場合に、所定シャッタスピードは１／ｆ秒以下である。

撮像装置は、更に、手振れを検出する手振れ検出部を備え、被写体に応じて予め設定されたシャッタスピードが所定シャッタスピードよりも遅い場合、交点位置制御部は、手振れに応じて交点の位置を移動させ、手振れを補正することが好ましい。

撮像装置は、更に、被写体の移動を検出する被写体移動検出部を備え、被写体に応じて予め設定されたシャッタスピードが所定シャッタスピードよりも遅い場合、交点位置制御部は、被写体の移動を打ち消すように、交点の位置を制御することが好ましい。

画質評価値は、例えば、光軸とイメージセンサの交点の位置を変えながらテストチャートを撮像して得られるテストチャート画像の解像度に基づいて算出される。

本発明の撮像装置駆動方法は、被写体の像を結像する撮像レンズに含まれるレンズまたは被写体を撮像するイメージセンサの少なくともいずれか一方が撮像レンズの光軸に垂直な面内で移動自在に設けられている撮像装置の駆動方法であり、交点取得ステップ、撮像用交点選出ステップ、交点移動ステップ、撮像ステップを備える。交点取得ステップでは、光軸とイメージセンサの現在の交点の位置を取得する。撮像用交点選出ステップでは、複数の交点の位置についてそれぞれ画質評価値を予め記憶するメモリを参照して、メモリに記憶された各交点の位置と現在の交点の位置との距離を算出し、現在の交点の位置からの距離に対する画質評価値の比が最大になる撮像用の交点の位置を選出する。交点移動ステップでは、現在の交点の位置を撮像用の交点の位置に移動させる。撮像ステップでは、光軸とイメージセンサの交点を撮像用の交点の位置にセットした状態で被写体を撮像する。

本発明の撮像装置制御プログラムは、被写体の像を結像させる撮像レンズと、被写体を撮像するイメージセンサと、撮像レンズに含まれるレンズまたはイメージセンサの少なくともいずれか一方を撮像レンズの光軸に垂直な面内で移動させることにより、光軸とイメージセンサの交点の位置を移動させる移動機構と、複数の異なる交点の位置についてそれぞれ画質評価値を予め記憶するメモリを備える撮像装置の制御プログラムである。この撮像装置に、現在の交点を取得する交点取得ステップと、メモリを参照して、メモリに記憶された各交点の位置と現在の交点の位置との距離を算出し、現在の交点からの距離に対する画質評価値の比が最大になる撮像用の交点の位置を選出する撮像用交点選出ステップと、移動機構によって現在の交点を撮像用の交点の位置に移動させる交点移動ステップと、交点の位置を撮像用の交点の位置にセットした状態で、イメージセンサに被写体を撮像させる撮像ステップと、を行わせる。

本発明の撮像装置は、光軸とイメージセンサの交点の位置を移動自在にしてあり、複数の異なる交点の位置と、各交点の位置で撮像した場合の撮像画像の画質を評価した画質評価値を対応付けて予め記憶しており、予め記憶された複数の交点の中から、現在の交点からの距離に対する画質評価値の比が最大になる撮像用交点を選出し、光軸とイメージセンサの交点をこの選出された撮像用の交点の位置に移動させて撮像を実行する。このため、シャッターチャンスを逃さずに素早くイメージセンサ上での交点を移動できる範囲内で、できる限り撮像画像の画質を向上させ、製造誤差による画質低下を補うことができる。

撮像装置の構成を示すブロック図である。 補正レンズの移動によって、メージセンサの移動する範囲を示す説明図である。 交点の移動可能な範囲と、画質評価値を記憶する交点を示す説明図である。 ＬＵＴの説明図である。 撮像装置の作用を示すフローチャートである。 撮像用の交点の位置を選出する方法を説明するための説明図である。 画質評価値を求める手順を示すフローチャートである。 画質評価値を算出するために用いるテストチャートを示す説明図である。 テストチャート画像から算出される解像度分布を示す説明図である。 画質評価値を算出する別の方法を示す説明図である。 画質評価値を算出するさらに別の方法を示す説明図である。 画質評価値が最大値から１０％以内のデータのみを登録したＬＵＴである。 図１２のＬＵＴを用いる場合の作用を示す説明図である。

図１に示すように、撮像装置１０は、撮像レンズ１２、イメージセンサ１３、レンズ制御部１４、手振れ検出部３６、撮像制御部３９等を備える。こうした撮像装置１０の各部は、バス１９を介して相互に接続されている。

撮像レンズ１２は、例えば第１〜第３レンズ２１ａ〜２１ｃの三枚のレンズと、レンズ移動機構２２、焦点調節機構２３を備え、第１〜第３レンズ２１ａ〜２１ｃによって被写体の像をイメージセンサ１３に結像させる。この他、撮像レンズ１２は露光量を調節するための絞り（図示しない）を備えていても良い。

第１〜第３レンズ２１ａ〜２１ｃのうち、第２レンズ２１ｂは補正レンズであり、レンズ移動機構２２によって、光軸Ｌ１に対して垂直な方向に移動自在に保持されている。第２レンズ２１ｂの移動によって光軸Ｌ１が途中で屈曲し、イメージセンサ１３上で、光軸Ｌ１とイメージセンサ１３の交点Ａ_ｎの位置が変化する。第２レンズ２１ｂは、例えば手振れ補正等のために移動される。レンズ移動機構２２は、いわゆる手ブレ補正機構であるが、手振れ補正を行わない場合でも撮像画像の画質向上のために交点Ａ_ｎを移動させる。

第３レンズ２１ｃは、焦点調節機構２３によって光軸Ｌ１に沿って移動自在に保持されている。第３レンズ２１ｃはピント調節を行うためのいわゆるフォーカシングレンズであり、被写体の距離（撮像距離）に応じて三段階に移動する。これに応じて撮像レンズ１２の焦点位置は、Ｆ１，Ｆ２，Ｆ３の三段階に調節可能である。

イメージセンサ１３は、撮像レンズ１２によって結像される被写体を撮像し、画像信号を出力する。イメージセンサ１３は例えばＣＭＯＳであるが、ＣＣＤでも良い。イメージセンサ１３の動作は、センサドライバ２４によって制御される。センサドライバ２４は、例えば、ユーザによって指定されたシャッタスピード（露光時間）で被写体を撮像させる。シャッタスピードの設定は操作部２５の操作によって行われる。また、センサドライバ２４は、所定のフレームレートでイメージセンサ１３からライブビュー表示用の画像信号を逐次出力させる。操作部２５の撮像指示入力部２５ａの操作によって撮像指示が入力された場合、センサドライバ２４はイメージセンサ１３に被写体を撮像させ、静止画像用の画像信号を出力させる。イメージセンサ１３が出力する画像信号は、信号処理部２６に入力される。

信号処理部２６は、イメージセンサ１３が出力する画像信号に、デモザイク処理等の各種信号処理を施すことにより、画像データ（撮像画像やライブビュー表示用の画像）を生成する画像エンジンである。生成された撮像画像はＲＡＭ２８に一時的に記憶される。撮像画像が撮像指示の入力によらずに所定フレームレートで自動的に出力された画像信号に基づくものであれば、例えば、表示部２９にライブビュー表示される。また、撮像画像が生成された撮像画像が撮像指示の入力によって出力された画像信号に基づくものであれば、例えば画像処理部３１によってγ補正処理や階調変換処理等の各種画像処理が施された後、画像記憶部３２に記憶される。

信号処理部２６は、設定によっては、入力された画像信号に基づいて最適なホワイトバランスを検出し、生成する撮像画像やライブビュー表示用の画像のホワイトバランスを自動的調節する。また、信号処理部２６は、入力された画像信号を用いて焦点評価値を算出する。算出された焦点評価値は、第３レンズ２１ｃを移動させる位置の算出に利用される。

レンズ制御部１４は、交点位置制御部３３と焦点位置制御部３４を備え、これらによって第２レンズ２１ｂや第３レンズ２１ｃの位置を制御する。また、撮像レンズ１２が絞りを備えている場合、レンズ制御部１４は、絞りの開口量の調節も行う。

交点位置制御部３３は、レンズ移動機構２２を介して第２レンズ２１ｂを光軸Ｌ１に垂直な方向に移動させることにより、イメージセンサ１３と光軸Ｌ１の交点（以下、単に交点という）の位置を制御する。交点位置制御部３３が第２レンズ２１ｂを移動させる位置の決定方法は、シャッタスピードに応じて異なる。具体的には、交点位置制御部３３は、被写体に応じてユーザにより予め設定されたシャッタスピードを取得し、閾値である所定シャッタスピードと比較する。設定されたシャッタスピードが所定シャッタスピードよりも遅く、手振れが生じる場合には、交点位置制御部３３は手振れ補正を行う。

手振れ補正を行う場合、交点位置制御部３３は、第２レンズ２１ｂを移動させる位置を、姿勢信号に基づいて決定することにより、手振れを打ち消す向きに第２レンズ２１ｂを逐次連続的に移動させる。姿勢信号は、手振れ検出部３６から取得される。手振れ検出部３６は、例えば、角速度センサや加速度センサ、あるいはこれらの両方を有し、回転（角速度）や平行移動（加速度）を検出することにより、撮像装置１０の姿勢の変化を表す姿勢信号を出力する。

一方、シャッタスピードが所定シャッタスピード以下であり、手振れがほぼ生じない程度にシャッタスピードが速い場合に撮像指示が入力されると、交点位置制御部３３は、交点Ａ_ｎの位置を撮像画像の画質を向上させる撮像用の交点の位置に移動させ、この撮像用の交点の位置に固定した状態で撮像を行わせる。撮像用の交点の位置は、現在の交点Ａ_ｎの位置とルックアップテーブル（ＬＵＴ）３８のデータに基づいて決定される。交点位置制御部３３は、レンズ移動機構２２から現在の第２レンズ２１ｂの位置を取得し、現在の第２レンズ２１ｂの位置に基づいて現在の交点Ａ ｎ の位置を求める。また、交点位置制御部３３は、ＬＵＴ３８をＲＯＭ３７から取得する。ＬＵＴ３８は、複数の交点と、各交点で撮像した撮像画像の画質評価値（例えば鮮鋭度，解像度，輝度、またはこれらを組み合わせた値）を対応付けるデータテーブルであり、ＲＯＭ３７に予め記憶されている。なお、交点位置制御部３３は、交点を移動させ得る全範囲の中から撮像用の交点の位置を任意に決定するのではなく、ＬＵＴ３８に記憶された複数の交点の中から撮像用の交点の位置を選出するので、撮像用の交点の位置になり得る点は、離散的である。

なお、３５ｍｍ版に換算した撮像レンズ１２の焦点距離をｆ（ｍｍ）とする場合、交点位置制御部３３がシャッタスピードと比較する所定シャッタスピードは１／ｆ秒である。１／ｆ秒という値は手振れを無視できるか否かの目安であり、ユーザが設定した撮像のためのシャッタスピードが１／ｆ秒よりも遅い場合、手振れが生じると、撮像画像には少なくともブレがないとは言えない程度に手振れによる像のブレが表れる。一方、ユーザが設定した撮像のためのシャッタスピードが１／ｆ秒以下で速い場合、手振れが生じても、撮像画像には手振れによる像のブレが表れ難く、撮像画像をよく観察すればブレがあるとしても、概ね手振れによる像のブレがないと言える程度である。

焦点位置制御部３４は、焦点調節機構２３を介して第３レンズ２１ｃを光軸Ｌ１に沿って移動させることにより、撮像レンズ１２の焦点位置を制御する。具体的には、焦点位置制御部３４は、信号処理部２６から入力される焦点評価値に基づいて、第３レンズ２１ｃを焦点位置Ｆ１，Ｆ２，Ｆ３のうちの何れかに移動させ、自動的にピント調節を行う。

撮像制御部３９は、レンズ制御部１４、センサドライバ２４、信号処理部２６、画像処理部３１等の撮像装置１０の各部の動作を統括的に制御する。撮像制御部３９は、例えばＣＰＵであり、ＲＯＭ３７に予め記憶された制御プログラム（図示しない）に基づいて撮像装置１０の各部の動作を上述のように制御する。レンズ制御部１４の交点位置制御部３３及び焦点位置制御部３４やセンサドライバ２４は、撮像制御部３９が実行する制御プログラムの一部である。

図２に示すように、撮像レンズ１２のイメージサークル４１からはみ出さずにイメージセンサ１３を移動可能な範囲は、例えば長方形の領域４２である。このため、図３に示すように、イメージセンサ１３上での交点Ａ_ｎの位置が移動可能な範囲は破線で示す四角形の領域（以下、交点の移動可能領域という）４３である。レンズ移動機構２２は、交点の移動可能領域４３の内部でだけ光軸Ｌ１とイメージセンサ１３の交点が移動するように、第２レンズ２１ｂの移動範囲を制限している。なお、交点Ａ_５は移動可能領域４３の中央の点であり、その他の交点Ａ_１〜Ａ_４，Ａ_６〜Ａ_９は、中央の交点Ａ_５と移動可能領域４３の各辺及び各頂点との中間点である。

図４に示すように、ＬＵＴ３８は、交点の移動可能領域４３のうち、上述の９個の交点Ａ１〜Ａ９について、各交点Ａ１〜Ａ９と画質評価値を対応付けて記憶している。また、ＬＵＴ３８は、焦点位置Ｆ１，Ｆ２，Ｆ３に応じてそれぞれ各交点Ａ１〜Ａ９と画質評価値を対応付けて記憶している。すなわち、ＬＵＴ３８は、焦点位置Ｆ１の場合の各交点Ａ１〜Ａ９と画質評価値を対応付けた第１ＬＵＴ３８ａと、焦点位置Ｆ２の場合の各交点Ａ１〜Ａ９と画質評価値を対応付けた第２ＬＵＴ３８ｂと、焦点位置Ｆ３の場合の各交点Ａ１〜Ａ９と画質評価値を対応付けた第３ＬＵＴ３８ｃの３種類のテーブルからなる。

なお、ＬＵＴ３８は、各交点Ａ１〜Ａ９の各画質評価値を、これらのうちの最大値で正規化して記憶している。このため、画質評価値の最大値は「１．０」であり、最小値は「０．０」である。例えば、図４では、焦点位置Ｆ１の場合、交点Ａ１の画質評価値が最大値である。

以下、撮像装置１０の作用を説明する。図５に示すように、撮像装置１０の電源をオンにすると、イメージセンサ１３はライブビュー表示用の画像信号を出力し、信号処理部２６は焦点評価値を算出する。焦点位置制御部３４は、焦点評価値に基づいて第３レンズ２１ｃを焦点位置Ｆ１，Ｆ２，Ｆ３の何れかに移動させ、自動的にピント調節を行う（Ｓ０１）。自動焦点調節は、撮像指示入力部２５ａから撮像指示が入力されるまで適宜繰り返し行われる（Ｓ０２）。このため、表示部２９に表示されるライブビュー画像は、常に被写体にピントが合った画像になっている。また、こうして自動焦点調節が繰り返し行われている間、手振れ補正機能はオンであり、交点位置制御部３３は、手振れ検出部３６からの姿勢信号に基づいて、第２レンズ２１ｂを移動させることにより、手振れ補正を行い続けている。

撮像指示入力部２５ａから撮像指示が入力されると（Ｓ０２；Ｙｅｓ）、交点位置制御部３３は、まず、設定されているシャッタスピードを取得し（Ｓ０３）、所定シャッタスピードと比較する（Ｓ０４）。

設定されているシャッタスピードが所定シャッタスピードよりも遅い場合（Ｓ０４；Ｎｏ）、交点位置制御部３３は、手振れ補正を行わせながら（Ｓ１１）、撮像を実行する（Ｓ１０）。

一方、シャッタスピードが所定シャッタスピード以下であり、シャッタスピードが速い場合（Ｓ０４；Ｙｅｓ）、交点位置制御部３３は、焦点位置制御部３４から現在の焦点位置を取得する（Ｓ０５）。そして、交点位置制御部３３は、ＲＯＭ３７を参照して、現在の焦点位置に応じて、第１〜第３ＬＵＴ３８ａ〜３８ｃのいずれかを取得する（Ｓ０６）。本例では、焦点位置はＦ１であり、第１ＬＵＴ３８ａが取得されたとする。また、交点位置制御部３３は、レンズ移動機構２２から現在の第２レンズ２１ｂの位置を取得し、現在の交点Ｎ_ｏの位置を求める（Ｓ０７）。

図６に示すように、交点位置制御部３３は、現在の交点Ｎ_０の位置から第１ＬＵＴ３８ａにある各交点Ａ_１〜Ａ_９の位置までの距離Ｒ_１〜Ｒ_９をそれぞれ算出する（Ｓ０８）。

次いで、交点位置制御部３３は、算出した各距離Ｒ_１〜Ｒ_９と、第１ＬＵＴ３８ａにおいて各交点Ａ_１〜Ａ_９とそれぞれ対応付けられた各画質評価値を用いて、距離Ｒ_１〜Ｒ_９に対する画質評価値の比Ｐ_１〜Ｐ_９を算出する。具体的には、比Ｐ_１は１．０／Ｒ_１、比Ｐ_２は０．９／Ｒ_２、比Ｐ_３は０．８／Ｒ_３，…である。そして、これらの比Ｐ_１〜Ｐ_９を比較し、その値が最大になる交点の位置を撮像用の交点の位置に選出する（Ｓ０９）。本例では、比Ｐ_２＝０．９／Ｒ_２が最大であったとする。このため、交点位置制御部３３は、第１ＬＵＴ３８ａに登録されている各交点Ａ_１〜Ａ_９の中から、交点Ａ_２の位置を撮像用の交点の位置に選出する。そして、交点位置制御部３３は、現在の交点Ｎ_０から撮像用の交点の位置（Ａ_２）が移動するように、レンズ移動機構２２によって第２レンズ２１ｂを移動させる。

現在の交点が撮像用の交点の位置（Ａ_２）に到達すると、交点位置制御部３３はセンサドライバ２４に撮像を許可する撮像許可信号を入力する。センサドライバ２４は、撮像を許可する信号の入力を受けると、イメージセンサ１３で被写体を撮像し、画像信号を出力させる（Ｓ１０）。

以上のように、撮像装置１０は、比Ｐ_１〜Ｐ_９を比較し、その値が最大になる交点を撮像用の交点の位置に選出し、イメージセンサ１３と光軸Ｌ１の交点を選出した撮像用の交点の位置に移動させてから撮像を実行する。すなわち、ＬＵＴ３８に予め登録された各交点Ａ_１〜Ａ_９の中から、撮像指示が入力された時点の交点Ｎ_０に近く、かつ、画質評価値が大きい交点を選択して撮像を実行する。

例えば、撮像指示が入力された時点の交点Ｎ_０から遠い位置に画質評価値が高い交点があったとしても、その交点の位置は撮像用の交点の位置には選ばれない。また、撮像指示が入力された時点の交点Ｎ_０の近傍にＬＵＴ３８に登録された交点があったとしても、画質評価値が低ければ、この交点の位置は撮像用の交点の位置には選ばれない。

したがって、撮像装置１０は、比Ｐ １ 〜Ｐ ９ が最大の交点の位置を撮像用の交点の位置に選出することにより、イメージセンサ１３と光軸Ｌ１の交点の位置の移動時間と画質の良さの両方を考慮して最適な撮像用の交点の位置を選択することができる。また、画質評価値が高くても、撮像指示が入力された時点の交点Ｎ_０から遠い位置にある交点が撮像用の交点の位置に選ばれにくくなっていることで、撮像装置１０は、従来のものよりもシャッターチャンスを逃し難くなっている。

なお、画質評価値は、撮像装置１０で交点Ａ_ｎを移動させながらテストチャートを撮像することによって予め算出される。例えば、図７に示すように、まず、撮像装置１０の焦点位置を、焦点位置Ｆ１，Ｆ２，Ｆ３の何れかに設定する（Ｓ２１）。次いで、交点をＬＵＴ３８に記憶する各交点Ａ_１〜Ａ_９のいずれかに設定し（Ｓ２２）、テストチャートを撮像する（Ｓ２３）。このテストチャートの撮像は、各焦点位置Ｆ１，Ｆ２，Ｆ３と、各交点Ａ_１〜Ａ_９の全組み合わせについて行われる（Ｓ２４）。

こうして各焦点位置Ｆ１，Ｆ２，Ｆ３の各交点Ａ_１〜Ａ_９で撮像された全２７枚のテストチャート画像のそれぞれについて、解像度分布を算出する（Ｓ２５）。このためステップＳ２３，Ｓ２４で撮像するテストチャートは、例えば、撮像したテストチャート画像の全面の各位置で解像度（ＳＦＲ（Spatial Frequency. Response），ＭＴＦ（Modulation Transfer Function），ＣＴＦ（Contrast transfer function）等）を算出し、任意に組み合わせることも可能である。例えば、図８に示すように、白黒のチェッカーボード模様を数度程度回転させたテストチャート５１が好適である。テストチャート５１を用いる場合、ＩＳＯ１２２３３に記載の方法でＳＦＲを算出することができる。解像度分布とは、テストチャート画像内の各位置で算出した解像度を、テストチャート画像内の位置と対応付けてマッピングしたデータであり、解像度分布画像とは、例えば、図９に示すように、テストチャート画像と同じサイズで、画素値に算出された解像度が割り当てられた画像５２である。

こうして各テストチャート画像の解像度分布画像５２が算出されたら、解像度分布画像５２に基づいて、鮮鋭度分布を算出する（Ｓ２６）。鮮鋭度は、画質の指標の一つであり、視覚の空間周波数応答を加味した解像度である。鮮鋭度は、例えば、「テレビジョン学会誌３３（１２），１０００−１００８」に記載されているように、解像度分布画像５２と視覚の空間周波数応答を積分演算することにより算出できる。鮮鋭度分布とは、解像度分布画像５２（テストチャート画像）の各位置について算出された鮮鋭度を、解像度分布画像５２（テストチャート画像）内の位置と対応付けてマッピングしたデータであり、鮮鋭度分布画像とは、解像度分布画像５２と同様に、例えば、テストチャート画像と同じサイズで、画素値に算出された鮮鋭度が割り当てられた画像である。

次に、鮮鋭度分布画像を用いて総合鮮鋭度を算出し、この総合鮮鋭度を画質評価値とする（Ｓ２７）。総合鮮鋭度は、鮮鋭度分布画像の画素値の平均値である。総合鮮鋭度は、鮮鋭度分布画像の画素値を重み付け平均した値でも良い。重み付けをする場合は、例えば、鮮鋭度分布画像の中央から離れるにつれて重みが小さくなるように重み付けをすることが好ましい。これは、主要被写体は画像の中央に写される可能性が高いので、中央の鮮鋭度が周縁部の鮮鋭度よりも画質評価として重要だからである。例えば、交点Ａ_１で撮像したテストチャート画像から算出された総合鮮鋭度を交点Ａ_１の画質評価値として対応付けてＬＵＴ３８を作成し（Ｓ２８）、ＲＯＭ３７に記憶しておく。なお、図５および図７においては、交点を光軸と表示している。

なお、ＬＵＴ３８に記憶する全交点Ａ１〜Ａ９で、それぞれテストチャート５１を撮像しているが、テストチャートを４回撮像するだけでも、上述と同様の画質評価値を算出可能である。例えば、図１０に示すように、まず、イメージサークル４１からはみ出さずにイメージセンサ１３を移動可能な長方形の領域４２の右上，左上，左下，右下の４箇所に対応するようにそれぞれイメージセンサ１３を移動させてテストチャートを撮像し、解像度分布画像５２ａ〜５２ｄをそれぞれ生成する。これらの各解像度分布画像５２ａ〜５２ｄを領域４２に合わせて一部重畳して合成することにより、領域４２全体の解像度分布画像（以下、全域解像度分布画像という）５３を生成する。その後、この全域解像度分布画像５３から、交点Ａ１に対応する領域５４ａ、交点Ａ２に対応する領域５４ｂ，…，光軸Ａ９に対応する領域５４ｉを切り出せば、各交点Ａ１〜Ａ９でテストチャート５１を撮像して、各々の解像度分布画像を生成するのと同じ解像度分布画像が得られる。その後の鮮鋭度分布画像の生成及び画質評価値の算出方法は前述と同様である。

また、各焦点位置について画質評価値を求めるためのテストチャートの撮像回数をそれぞれ１回に減らすこともできる。例えば、図１１に示すように、まず、イメージサークル４１からはみ出さずにイメージセンサ１３を移動可能な長方形の領域４２の中央にイメージセンサ１３を配置し、テストチャート５１を撮像して解像度分布画像５２ｅを生成する。すなわち、交点Ａ_５でテストチャート５１を撮像して解像度分布画像５２ｅを生成する。この解像度分布画像５２ｅを領域４２の外周まで外挿することにより、領域４２の全域解像度分布画像５６を生成する。例えば、領域４２内の解像度分布は、解像度分布画像５２ｅの内部のデータを補間するための関数が領域４２にまで続いているものとして、この補間用の関数に基づいて算出される。また、解像度分布画像５２ｅを平滑化して生成される関数や、解像度分布画像５２ｅを最小二乗近似により得られる関数等を用いても良い。全域解像度分布画像５６から、各交点Ａ_１〜Ａ_９の鮮鋭度分布画像を生成し、画質評価値を算出する方法は前述と同様である。

上述のように、テストチャートを撮像する回数が少ないほど、撮像装置１０の製造工程が短時間で済み、コストを低減することができる。なお、１回のテストチャートの撮像で生成した全域解像度分布画像５６は、４回のテストチャートの撮像で生成した全域解像度分布画像５３よりも精度が劣るが、テストチャートの撮像回数を最小にすることができるので、撮像装置１０の製造コストも最小である。

なお、１回のテストチャートの撮像で全域解像度分布画像５６を生成する場合に、交点Ａ_５でテストチャート５１を撮像して得た解像度分布画像５２ｅを外挿しているが、他の交点でテストチャート５１を撮像して得た解像度分布画像を外挿して全域解像度分布画像５６を生成しても良い。但し、精度は、交点Ａ_５でテストチャート５１を撮像して得た解像度分布画像５２ｅを外挿する場合が最も高い。

なお、全域解像度分布画像５３，５６から、交点Ａ_１〜Ａ_９で撮像した場合に対応する領域５４ａ〜５４ｉを切り出して用いることによって交点Ａ_１〜Ａ_９の画質評価値を生成しているが（図１０参照）、全域解像度分布画像５３，５６を生成する場合は、交点Ａ_１〜Ａ_９以外の任意の交点に対応する領域を切り出して用いることによって、任意の交点の画質評価値を生成することができる。このため、ＬＵＴ３８に、さらに細かく交点と対応する画質評価値のデータを登録しておくことができる。但し、ＬＵＴ３８のデータが多すぎると、距離Ｒ_ｎや比Ｐ_ｎの算出、比Ｐ_ｎの比較に相応の時間がかかるようになってしまうので、ＬＵＴ３８に登録するデータ数が多すぎるのは好ましくない。

このため、例えば、ＬＵＴ３８に登録する交点は、画質評価値の高い方から所定の個数だけをＬＵＴ３８に登録すれば良い。また、最も高い画質評価値からの差分が所定値（所定画質評価値）以下の交点を全て登録しても良い。例えば、最も高い画質評価値からの差分が１０％以下である交点だけをＬＵＴ３８に記憶しても良いし、差分が５％以下の交点だけを記憶しても良い。

これは所定数の交点（例えば交点Ａ_１〜Ａ_９）をＬＵＴ３８に登録する場合も同様である。例えば、図１２のＬＵＴ６８は、図４のＬＵＴ３８から、画質評価値が最大値（１．０）から１０％以内のデータのみを選別して登録したＬＵＴである。第１〜第３ＬＵＴ６８ａ〜６８ｃは、それぞれ焦点位置Ｆ１，Ｆ２，Ｆ３のものである。こうすると、例えば、図１３に示すように、撮像用の交点の位置を選出するために算出する距離はＲ_１，Ｒ_２，Ｒ_４の３つに低減し、算出及び比較する比Ｐ_ｎもＰ_１，Ｐ_２，Ｐ_４の３つに低減されるので、より速く撮像用の交点の位置を選出することができる。

また、例えば、撮像指示が入力された時点での交点が交点Ａ_９のごく近傍の位置Ｎ_１であった場合（図１３参照）、交点Ａ_９と、対応する画質評価値がＬＵＴに登録されていると、交点Ａ_９に対応する画質評価値が低い（図４参照）にもかかわらず、距離Ｒ_９が小さすぎるために、交点Ａ_９の位置が撮像用の交点の位置に選出されてしまう可能性がある。このように、交点Ａ_９の位置が撮像用の交点の位置に選出されてしまうと、当然ながら画質の向上効果は小さい。しかし、上述のように、画質評価値が最大値（１．０）から１０％以内のデータのみを選別して登録したＬＵＴ６８を用いていれば、撮像用の交点の位置に選ばれる交点の候補を、画質評価値が高いものだけに絞り込んでおくことができるので、ほぼ確実に画質の向上効果が得られる。

なお、画質評価値として、鮮鋭度または総合鮮鋭度を用いているが、画質評価値は、各交点で得られる撮像画像の画質の目安になる値であれば任意である。例えば、鮮鋭度の代わりに、解像度を画質評価値に用いても良い。

また、鮮鋭度の代わりに、テストチャート画像の各画素の輝度の平均値（平均輝度）を画質評価値に用いても良い。このように、画質評価値に平均輝度を用いる場合、テストチャート画像の各画素の輝度を、鮮鋭度を画質評価値に用いる場合と同様に重み付けをして平均した値を用いても良い。また、テストチャート画像の撮像枚数を抑える方法も鮮鋭度を画質評価値に用いる場合と同様である。

さらに、これらの値を複合した値を画質評価値にしても良い。例えば、各交点Ａ_１〜Ａ_９について、総合鮮鋭度と平均輝度をそれぞれ求め、これらを任意の割合で混合した値を画質評価値として用いても良い。例えば、交点Ａ_１の総合鮮鋭度Ｇ_１、交点Ａ_１でテストチャート等を撮像した画像の平均輝度Ｈ_１を算出し、さらにこれらをα：βで加算した「αＧ_１＋βＨ_１」（α，βは任意定数）を画質評価値としても良い。

なお、ＬＵＴ３８には正方格子状に並んだ９個の交点Ａ_１〜Ａ_９を登録しているが、ＬＵＴ３８に登録しておく交点は、少なくとも２個以上あれば、これらの位置や配列は任意である。配列はランダムでも良い。交点の移動可能領域４３（図３参照）から、予め２点の交点を選んでＬＵＴ３８に登録する場合、交点の移動可能領域４３の中央を通り、交点の移動可能領域４３の２つの縦辺（イメージセンサ１３の短辺に平行な辺）の中央を通る線分を３等分する２点の交点を選ぶことが好ましい。３点を選ぶ場合は、交点Ａ_１〜Ａ_９のうち、Ａ_４，Ａ_５，Ａ_６の３点を選ぶことが好ましいが、Ａ_２，Ａ_５，Ａ_８の３点でも良いし、Ａ_７，Ａ_５，Ａ_３の３点でも良い。この他、任意の３点を選んでも良い。

撮像レンズ１２と、イメージセンサ１３と、レンズ移動機構２２と、ＬＵＴ３８を備える撮像装置１０の動作を行わせる制御プログラムも本発明である。

なお、撮像装置１０は、シャッタスピードが所定シャッタスピードより遅い場合に、手振れ補正を行なっているが、手振れ補正の代わりに、主要被写体を追従して、主要被写体の動きを打ち消すように、第２レンズ２１ｂを移動させても良い。主要被写体の検出は、例えば、信号処理部２６で行うことができる。

なお、撮像レンズ１２は、第１〜第３レンズ２１ａ〜２１ｃの３枚のレンズを備えているが、撮像レンズ１２は１枚または２枚のレンズで構成されていても良いし、４枚以上のレンズで構成されていても良い。また、各種光学フィルタやカバーガラス等、実質的にパワーのない要素を含んでいても良い。撮像レンズ１２は焦点距離が可変なズームレンズであっても良い。

なお、手振れ補正等のために第２レンズ２１ｂを移動させているが、第２レンズ２１ｂを移動させる代わりに、イメージセンサ１３を光軸Ｌ１に対して垂直な方向に移動させても良い。また、第２レンズ２１ｂとイメージセンサ１３の両方が光軸Ｌ１に対して垂直な方向に移動自在であっても良い。このように、イメージセンサ１３を移動させる場合、イメージセンサ１３を光軸Ｌ１に対して垂直な方向で移動させるためのセンサ移動機構と、センサ移動機構によってイメージセンサ１３の位置を制御するためのセンサ位置制御部とを設ける（いずれも図示しない）。センサ移動機構とセンサ位置制御部の動作態様は、それぞれレンズ移動機構２２、交点位置制御部３３に準じる。また、レンズ移動機構２２とセンサ移動機構を両方設ける場合は、これらの２つが交点位置制御部３３を構成する。

なお、本発明は、光軸Ｌ１に対して垂直に移動可能な補正レンズを含むものであれば、任意の撮像装置に利用できる。例えば、デジタルカメラ、ビデオカメラ、スマートフォン等のカメラモジュールに好適である。

１０ 撮像装置
１２ 撮像レンズ
１３ イメージセンサ
１４ レンズ制御部
４３ 交点の移動可能領域

Claims (12)

1. 被写体の像を結像させる撮像レンズと、
   前記被写体を撮像するイメージセンサと、
   前記撮像レンズに含まれるレンズまたは前記イメージセンサの少なくともいずれか一方を前記撮像レンズの光軸に垂直な面内で移動させることにより、前記光軸と前記イメージセンサの交点の位置を移動させる移動機構と、
   複数の前記交点の位置についてそれぞれ画質評価値を記憶するメモリと、
   現在の前記交点の位置を取得して、前記メモリに記憶された複数の前記交点の位置と現在の前記交点の位置の距離を算出し、前記メモリに記憶された複数の前記交点の位置の中から、現在の前記交点からの距離に対する前記画質評価値の比が最大になる前記交点の位置を撮像用の交点の位置として選出し、前記移動機構によって現在の前記交点の位置を前記撮像用の交点の位置に移動させる交点位置制御部と、
   を備える撮像装置。
2. 前記画質評価値は、画像の鮮鋭度に基づく値である請求項１に記載の撮像装置。
3. 前記画質評価値は、前記画像の鮮鋭度と前記画像の平均輝度に基づく値である請求項２に記載の撮像装置。
4. 前記メモリは、複数の前記交点の位置についてそれぞれ測定された複数の前記画質評価値の中から、前記画質評価値が所定画質評価値よりも高い前記交点の位置及び前記画質評価値のみを記憶している請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記撮像レンズに含まれるレンズを前記光軸に沿って移動させることにより、前記撮像レンズの焦点位置を移動させ、ピント合わせをする焦点調節機構と、
   前記焦点調節機構によって前記焦点位置を制御する焦点位置制御部と、
   を備え、
   前記メモリは、前記画質評価値を前記焦点位置毎に予め記憶し、
   前記交点位置制御部は、前記焦点位置制御部によって定められた前記焦点位置に対応する前記画質評価値を参照して前記撮像用の交点の位置を選出する請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記イメージセンサは、前記被写体に応じて予め設定されたシャッタスピードで前記被写体を撮像し、
   前記交点位置制御部は、前記被写体に応じて予め設定された前記シャッタスピードを取得し、閾値となる所定シャッタスピードと比較し、設定された前記シャッタスピードが前記所定シャッタスピード以下の場合に現在の前記交点の位置を前記撮像用の交点の位置に移動させる請求項１に記載の撮像装置。
7. ３５ｍｍ版に換算した前記撮像レンズの焦点距離をｆ（ｍｍ）とする場合に、前記所定シャッタスピードは１／ｆ秒以下である請求項６に記載の撮像装置。
8. 手振れを検出する手振れ検出部を備え、
   前記シャッタスピードが前記所定シャッタスピードよりも遅い場合、前記交点位置制御部は、前記手振れに応じて前記交点の位置を移動させ、前記手振れを補正する請求項６または７に記載の撮像装置。
9. 前記被写体の移動を検出する被写体移動検出部を備え、
   前記シャッタスピードが前記所定シャッタスピードよりも遅い場合、前記交点位置制御部は、前記被写体の移動を打ち消すように前記交点の位置を制御する請求項６または７に記載の撮像装置。
10. 前記画質評価値は、前記交点の位置を変えながらテストチャートを撮像して得られるテストチャート画像の解像度に基づいて算出される請求項１〜９のいずれか１項に記載の撮像装置。
11. 被写体の像を結像する撮像レンズに含まれるレンズまたは前記被写体を撮像するイメージセンサの少なくともいずれか一方が前記撮像レンズの光軸に垂直な面内で移動自在であり、前記光軸と前記イメージセンサの現在の交点の位置を取得する交点取得ステップと、
    複数の前記交点の位置についてそれぞれ画質評価値を予め記憶するメモリを参照して、前記メモリに記憶された各前記交点の位置と現在の前記交点の位置との距離を算出し、前記メモリに記憶された複数の前記交点の位置の中から、現在の前記交点の位置からの距離に対する前記画質評価値の比が最大になる撮像用の交点の位置を選出する撮像用交点選出ステップと、
    現在の前記交点の位置を前記撮像用の交点の位置に移動させる交点移動ステップと、
    前記交点の位置を前記撮像用の交点の位置にセットした状態で前記被写体を撮像する撮像ステップと、
    を備える撮像装置駆動方法。
12. 被写体の像を結像させる撮像レンズと、前記被写体を撮像するイメージセンサと、前記撮像レンズに含まれるレンズまたは前記イメージセンサの少なくともいずれか一方を前記撮像レンズの光軸に垂直な面内で移動させることにより、前記イメージセンサに対する前記光軸の交点を移動させる移動機構と、複数の異なる前記交点の位置についてそれぞれ画質評価値を予め記憶するメモリを備える撮像装置の制御部に、現在の前記交点を取得する交点取得ステップと、
    前記メモリを参照して、前記メモリに記憶された各前記交点の位置と現在の前記交点の位置の距離を算出し、前記メモリに記憶された複数の前記交点の位置の中から、現在の前記交点からの距離に対する前記画質評価値の比が最大になる撮像用の交点の位置を選出する撮像用交点選出ステップと、
    前記移動機構によって現在の前記交点を前記撮像用の交点の位置に移動させる交点移動ステップと、
    前記交点の位置を前記撮像用の交点の位置にセットした状態で、前記イメージセンサに前記被写体を撮像させる撮像ステップと、
    を行わせる撮像装置制御プログラム。

Images