本発明は、撮像レンズの光軸に対して垂直な面内で撮像レンズまたはイメージセンサを相対的に移動自在に設けた撮像装置、及びその撮像装置駆動方法、撮像装置制御プログラムに関する。
デジタルカメラ、ビデオカメラ、スマートフォンやタブレット端末に搭載されるカメラモジュール等の撮像装置が普及している。撮像装置は、被写体の像を結像させる撮像レンズと、画素毎に光電変換することによって撮像レンズが結像する被写体の像を撮像するイメージセンサと、を備える。
撮像装置を製造する場合、様々な製造誤差が発生する。例えば、撮像レンズには面形状や面の位置ずれ等の誤差があり、さらに撮像レンズを複数のレンズで構成する場合には、各レンズの位置や間隔、傾き等の組立誤差がある。また、撮像レンズとイメージセンサの位置決めにも誤差がある。もちろん、こうした各種製造誤差はできる限り小さくなるように配慮されている。例えば、複数のレンズを組み立てて撮像レンズを形成する場合、テストチャートを撮影しながら組み立てを行うことによって、組み立て誤差が低減される(特許文献1)。撮像レンズとイメージセンサの位置決め誤差等も同様にして低減される。
一方、各種製造誤差を完全になくそうとすると、歩留まりが悪化し、コストアップにつながるので、ある程度の製造誤差は許容しなければならない。しかし、上述のような様々な製造誤差が累積すると、撮影画像の画質に深刻な影響が発生する場合がある。例えば、撮影画像に解像度が低い箇所が部分的に生じたり、撮影画像の一方の側では解像度が高く、他方の側では解像度が低い等、解像度の分布が生じたりする場合がある。
このため、近年では累積的製造誤差による撮影画像の画質低下を、撮影の段階で是正する技術が知られている。例えば、撮影指示があった場合に、被写体を複数の焦点位置で自動的に撮影し、各画像の解像度が高い部分を画像処理によって組み合わせることによって、全面で解像度が均一な撮影画像を得る方法が知られている(特許文献2)。
また、手振れ補正機能を有する撮像装置では、手振れ補正のために光軸に垂直な方向に移動自在になっているレンズ(以下、補正レンズという)によって撮影画像の画質を向上させることができる場合がある。例えば、テストチャートを撮影することによって、光学的に最適な補正レンズの位置を予め求めておき、手振れ補正を行う場合はこの最適位置を中心に補正レンズを移動させ、手振れ補正を行わない場合には最適位置に補正レンズを固定する撮像装置が知られている(特許文献3)。補正レンズによって倍率色収差を補正する撮像装置もある(特許文献4)。また、補正レンズと同様に光軸に垂直な方向に移動自在な偏芯レンズ群を移動させることにより、撮影画像の画質を向上させる撮像装置も知られている(特許文献5)。
特開2006−208932号公報
特開2012−222431号公報
特開2006−086586号公報
特開2012−044498号公報
特開2010−237250号公報
撮影画像の画質を向上させ、累積的製造誤差によって低下した画質を補うために、イメージセンサと光軸の交点を移動させる場合、このイメージセンサと光軸の交点の移動はできる限り迅速に行う必要がある。例えば特許文献3のように補正レンズの光学的な最適位置を定めておいても、撮影指示が入力された時点で手振れ補正のために最適位置から遠く離れた位置に補正レンズが移動されていると、最適位置まで補正レンズが移動するのを待って撮影を実行したのでは、シャッターチャンスを逃してしまう場合があるからである。
とはいえ、補正レンズの移動速度には限度があるので、補正レンズを単に高速で移動させるというのは現実的ではない。また、手振れ補正機能をオフにして、補正レンズを常に撮影に最適な位置に保持し続けていれば、いつ撮影指示が入力されても撮影画像の画質を向上させ、製造誤差による画質低下を補うことができるが、手振れが発生した場合にはライブビュー画像を確認し難くなるので、そもそもシャッターチャンスをつかみ難くなってしまう。
本発明は、補正レンズやイメージセンサの移動によって、イメージセンサと光軸の交点を、シャッターチャンスを逃さずに素早く移動できる範囲内で、できる限り撮影画像の画質を向上させ、製造誤差による画質低下を補う撮像装置、及びその駆動方法と制御プログラムを提供することを目的とする。
本発明の撮像装置は、被写体の像を結像させる撮像レンズと、被写体を撮像するイメージセンサと、移動機構と、メモリと、交点位置制御部とを備える。移動機構は、撮像レンズに含まれるレンズまたはイメージセンサの少なくともいずれか一方を撮像レンズの光軸に垂直な面内で移動させることにより、光軸とイメージセンサの交点の位置を移動させる。メモリは、複数の交点の位置についてそれぞれ画質評価値を予め記憶する。交点位置制御部は、現在の交点の位置を取得して、メモリに記憶された複数の交点の位置と現在の交点の位置の距離を算出し、メモリに記憶された複数の交点の位置の中から現在の交点の位置からの距離に対する画質評価値の比が最大になる交点の位置を撮像用の交点の位置として選出する。移動機構は、現在の交点の位置を撮像用の交点の位置に移動させる。
画質評価値は、鮮鋭度に基づく値であることが好ましい。画質評価値は、鮮鋭度と平均輝度に基づく値であっても良い。
メモリは、複数の交点の位置についてそれぞれ測定された複数の画質評価値の中から、画質評価値が所定画質評価値よりも高い交点の位置及び画質評価値のみを記憶していることが好ましい。
撮像装置は、更に、撮像レンズに含まれるレンズを光軸に沿って移動させることにより、撮像レンズの焦点位置を移動させ、ピント合わせをする焦点調節機構と、焦点調節機構によって焦点位置を制御する焦点位置制御部と、を備えることが好ましい。メモリは、画質評価値を焦点位置毎に予め記憶し、交点位置制御部は、焦点位置制御部によって定められた焦点位置に対応する画質評価値を参照して撮像用の交点の位置を選出することが好ましい。
イメージセンサは、被写体に応じて予め設定されたシャッタスピードで被写体を撮像する。交点位置制御部は、被写体に応じて予め設定されたシャッタスピードを取得し、閾値となる所定シャッタスピードと比較する。設定されたシャッタスピードが所定シャッタスピード以下の場合に現在の交点の位置を撮像用の交点の位置に移動させる。35mm版に換算した撮像レンズの焦点距離をf(mm)とする場合に、所定シャッタスピードは1/f秒以下である。
撮像装置は、更に、手振れを検出する手振れ検出部を備え、被写体に応じて予め設定されたシャッタスピードが所定シャッタスピードよりも遅い場合、交点位置制御部は、手振れに応じて交点の位置を移動させ、手振れを補正することが好ましい。
撮像装置は、更に、被写体の移動を検出する被写体移動検出部を備え、被写体に応じて予め設定されたシャッタスピードが所定シャッタスピードよりも遅い場合、交点位置制御部は、被写体の移動を打ち消すように、交点の位置を制御することが好ましい。
画質評価値は、例えば、光軸とイメージセンサの交点の位置を変えながらテストチャートを撮像して得られるテストチャート画像の解像度に基づいて算出される。
本発明の撮像装置駆動方法は、被写体の像を結像する撮像レンズに含まれるレンズまたは被写体を撮像するイメージセンサの少なくともいずれか一方が撮像レンズの光軸に垂直な面内で移動自在に設けられている撮像装置の駆動方法であり、交点取得ステップ、撮像用交点選出ステップ、交点移動ステップ、撮像ステップを備える。交点取得ステップでは、光軸とイメージセンサの現在の交点の位置を取得する。撮像用交点選出ステップでは、複数の交点の位置についてそれぞれ画質評価値を予め記憶するメモリを参照して、メモリに記憶された各交点の位置と現在の交点の位置との距離を算出し、現在の交点の位置からの距離に対する画質評価値の比が最大になる撮像用の交点の位置を選出する。交点移動ステップでは、現在の交点の位置を撮像用の交点の位置に移動させる。撮像ステップでは、光軸とイメージセンサの交点を撮影用の交点の位置にセットした状態で被写体を撮像する。
本発明の撮像装置制御プログラムは、被写体の像を結像させる撮像レンズと、被写体を撮像するイメージセンサと、撮像レンズに含まれるレンズまたはイメージセンサの少なくともいずれか一方を撮像レンズの光軸に垂直な面内で移動させることにより、光軸とイメージセンサの交点の位置を移動させる移動機構と、複数の異なる交点の位置についてそれぞれ画質評価値を予め記憶するメモリを備える撮像装置の制御プログラムである。この撮像装置に、現在の交点を取得する交点取得ステップと、メモリを参照して、メモリに記憶された各交点の位置と現在の交点の位置との距離を算出し、現在の交点からの距離に対する画質評価値の比が最大になる撮像用の交点の位置を選出する撮像用交点選出ステップと、移動機構によって現在の交点を撮像用の交点の位置に移動させる交点移動ステップと、交点の位置を撮影用の交点の位置にセットした状態で、イメージセンサに被写体を撮像させる撮像ステップと、を行わせる。
本発明の撮像装置は、光軸とイメージセンサの交点の位置を移動自在にしてあり、複数の異なる交点の位置と、各交点の位置で撮影した場合の撮影画像の画質を評価した画質評価値を対応付けて予め記憶しており、予め記憶された複数の交点の中から、現在の交点からの距離に対する画質評価値の比が最大になる撮像用交点を選出し、光軸とイメージセンサの交点をこの選出された撮影用の交点の位置に移動させて撮影を実行する。このため、シャッターチャンスを逃さずに素早くイメージセンサ上での交点を移動できる範囲内で、できる限り撮影画像の画質を向上させ、製造誤差による画質低下を補うことができる。
撮像装置の構成を示すブロック図である。
補正レンズの移動によって、メージセンサの移動する範囲を示す説明図である。
交点の移動可能な範囲と、画質評価値を記憶する交点を示す説明図である。
LUTの説明図である。
撮像装置の作用を示すフローチャートである。
撮影用の交点の位置を選出する方法を説明するための説明図である。
画質評価値を求める手順を示すフローチャートである。
画質評価値を算出するために用いるテストチャートを示す説明図である。
テストチャート画像から算出される解像度分布を示す説明図である。
画質評価値を算出する別の方法を示す説明図である。
画質評価値を算出するさらに別の方法を示す説明図である。
画質評価値が最大値から10%以内のデータのみを登録したLUTである。
図12のLUTを用いる場合の作用を示す説明図である。
図1に示すように、撮像装置10は、撮像レンズ12、イメージセンサ13、レンズ制御部14、手振れ検出部36、撮影制御部39等を備える。こうした撮像装置10の各部は、バス19を介して相互に接続されている。
撮像レンズ12は、例えば第1〜第3レンズ21a〜21cの三枚のレンズと、レンズ移動機構22、焦点調節機構23を備え、第1〜第3レンズ21a〜21cによって被写体の像をイメージセンサ13に結像させる。この他、撮像レンズ12は露光量を調節するための絞り(図示しない)を備えていても良い。
第1〜第3レンズ21a〜21cのうち、第2レンズ21bは補正レンズであり、レンズ移動機構22によって、光軸L1に対して垂直な方向に移動自在に保持されている。第2レンズ21bの移動によって光軸L1が途中で屈曲し、イメージセンサ13上で、光軸L1とイメージセンサ13の交点Anの位置が変化する。第2レンズ21bは、例えば手振れ補正等のために移動される。レンズ移動機構22は、いわゆる手ブレ補正機構であるが、手振れ補正を行わない場合でも撮影画像の画質向上のために交点Anを移動させる。
第3レンズ21cは、焦点調節機構23によって光軸L1に沿って移動自在に保持されている。第3レンズ21cはピント調節を行うためのいわゆるフォーカシングレンズであり、被写体の距離(撮影距離)に応じて三段階に移動する。これに応じて撮像レンズ12の焦点位置は、F1,F2,F3の三段階に調節可能である。
イメージセンサ13は、撮像レンズ12によって結像される被写体を撮像し、画像信号を出力する。イメージセンサ13は例えばCMOSであるが、CCDでも良い。イメージセンサ13の動作は、センサドライバ24によって制御される。センサドライバ24は、例えば、ユーザによって指定されたシャッタスピード(露光時間)で被写体を撮像させる。シャッタスピードの設定は操作部25の操作によって行われる。また、センサドライバ24は、所定のフレームレートでイメージセンサ13からライブビュー表示用の画像信号を逐次出力させる。操作部25の撮影指示入力部25aの操作によって撮影指示が入力された場合、センサドライバ24はイメージセンサ13に被写体を撮像させ、静止画像用の画像信号を出力させる。イメージセンサ13が出力する画像信号は、信号処理部26に入力される。
信号処理部26は、イメージセンサ13が出力する画像信号に、デモザイク処理等の各種信号処理を施すことにより、画像データ(撮影画像やライブビュー表示用の画像)を生成する画像エンジンである。生成された撮影画像はRAM28に一時的に記憶される。撮影画像が撮影指示の入力によらずに所定フレームレートで自動的に出力された画像信号に基づくものであれば、例えば、表示部29にライブビュー表示される。また、撮影画像が生成された撮影画像が撮影指示の入力によって出力された画像信号に基づくものであれば、例えば画像処理部31によってγ補正処理や階調変換処理等の各種画像処理が施された後、画像記憶部32に記憶される。
信号処理部26は、設定によっては、入力された画像信号に基づいて最適なホワイトバランスを検出し、生成する撮影画像やライブビュー表示用の画像のホワイトバランスを自動的調節する。また、信号処理部26は、入力された画像信号を用いて焦点評価値を算出する。算出された焦点評価値は、第3レンズ21cを移動させる位置の算出に利用される。
レンズ制御部14は、交点位置制御部33と焦点位置制御部34を備え、これらによって第2レンズ21bや第3レンズ21cの位置を制御する。また、撮像レンズ12が絞りを備えている場合、レンズ制御部14は、絞りの開口量の調節も行う。
交点位置制御部33は、レンズ移動機構22を介して第2レンズ21bを光軸L1に垂直な方向に移動させることにより、イメージセンサ13と光軸L1の交点(以下、単に交点という)の位置を制御する。交点位置制御部33が第2レンズ21bを移動させる位置の決定方法は、シャッタスピードに応じて異なる。具体的には、交点位置制御部33は、被写体に応じてユーザにより予め設定されたシャッタスピードを取得し、閾値である所定シャッタスピードと比較する。設定されたシャッタスピードが所定シャッタスピードよりも遅く、手振れが生じる場合には、交点位置制御部33は手振れ補正を行う。
手振れ補正を行う場合、交点位置制御部33は、第2レンズ21bを移動させる位置を、姿勢信号に基づいて決定することにより、手振れを打ち消す向きに第2レンズ21bを逐次連続的に移動させる。姿勢信号は、手振れ検出部36から取得される。手振れ検出部36は、例えば、角速度センサや加速度センサ、あるいはこれらの両方を有し、回転(角速度)や平行移動(加速度)を検出することにより、撮像装置10の姿勢の変化を表す姿勢信号を出力する。
一方、シャッタスピードが所定シャッタスピード以下であり、手振れがほぼ生じない程度にシャッタスピードが速い場合に撮影指示が入力されると、交点位置制御部33は、交点Anの位置を撮影画像の画質を向上させる撮影用の交点の位置に移動させ、この撮影用の交点の位置に固定した状態で撮影を行わせる。撮影用の交点の位置は、現在の交点Anの位置とルックアップテーブル(LUT)38のデータに基づいて決定される。交点位置制御部33は、レンズ移動機構22から現在の第2レンズ21bの位置を取得し、現在の第2レンズ21bの位置に基づいて現在の交点Anの位置を求める。また、交点位置制御部33は、LUT38をROM37から取得する。LUT38は、複数の交点と、各交点で撮影した撮影画像の画質評価値(例えば鮮鋭度,解像度,輝度、またはこれらを組み合わせた値)を対応付けるデータテーブルであり、ROM37に予め記憶されている。なお、交点位置制御部33は、交点を移動させ得る全範囲の中から撮影用の交点の位置を任意に決定するのではなく、LUT38に記憶された複数の交点の中から撮影用の交点の位置を選出するので、撮影用の交点の位置になり得る点は、離散的である。
なお、35mm版に換算した撮像レンズ12の焦点距離をf(mm)とする場合、交点位置制御部33がシャッタスピードと比較する所定シャッタスピードは1/f秒である。1/f秒という値は手振れを無視できるか否かの目安であり、ユーザが設定した撮影のためのシャッタスピードが1/f秒よりも遅い場合、手振れが生じると、撮影画像には少なくともブレがないとは言えない程度に手振れによる像のブレが表れる。一方、ユーザが設定した撮影のためのシャッタスピードが1/f秒以下で速い場合、手振れが生じても、撮影画像には手振れによる像のブレが表れ難く、撮影画像をよく観察すればブレがあるとしても、概ね手振れによる像のブレがないと言える程度である。
焦点位置制御部34は、焦点調節機構23を介して第3レンズ21cを光軸L1に沿って移動させることにより、撮像レンズ12の焦点位置を制御する。具体的には、焦点位置制御部34は、信号処理部26から入力される焦点評価値に基づいて、第3レンズ21cを焦点位置F1,F2,F3のうちの何れかに移動させ、自動的にピント調節を行う。
撮影制御部39は、レンズ制御部14、センサドライバ24、信号処理回路26、画像処理部31等の撮像装置10の各部の動作を統括的に制御する。撮影制御部39は、例えばCPUであり、ROM37に予め記憶された制御プログラム(図示しない)に基づいて撮像装置10の各部の動作を上述のように制御する。レンズ制御部14の交点位置制御部33及び焦点位置制御部34やセンサドライバ24は、撮影制御部39が実行する制御プログラムの一部である。
図2に示すように、撮像レンズ12のイメージサークル41からはみ出さずにイメージセンサ13を移動可能な範囲は、例えば長方形の領域42である。このため、図3に示すように、イメージセンサ13上での交点Anの位置が移動可能な範囲は破線で示す四角形の領域(以下、交点の移動可能領域という)43である。レンズ移動機構22は、交点の移動可能領域43の内部でだけ光軸L1とイメージセンサ13の交点が移動するように、第2レンズ21bの移動範囲を制限している。なお、交点A5は移動可能領域43の中央の点であり、その他の交点A1〜A4,A6〜A9は、中央の交点A5と移動可能領域43の各辺及び各頂点との中間点である。
図4に示すように、LUT38は、交点の移動可能領域43のうち、上述の9個の交点A1〜A9について、各交点A1〜A9と画質評価値を対応付けて記憶している。また、LUT38は、焦点位置F1,F2,F3に応じてそれぞれ各交点A1〜A9と画質評価値を対応付けて記憶している。すなわち、LUT38は、焦点距離F1の場合の各交点A1〜A9と画質評価値を対応付けた第1LUT38aと、焦点距離F2の場合の各交点A1〜A9と画質評価値を対応付けた第2LUT38bと、焦点距離F3の場合の各交点A1〜A9と画質評価値を対応付けた第3LUT38cの3種類のテーブルからなる。
なお、LUT38は、各交点A1〜A9の各画質評価値を、これらのうちの最大値で正規化して記憶している。このため、画質評価値の最大値は「1.0」であり、最小値は「0.0」である。例えば、図4では、焦点距離F1の場合、交点A1の画質評価値が最大値である。
以下、撮像装置10の作用を説明する。図5に示すように、撮像装置10の電源をオンにすると、イメージセンサ13はライブビュー表示用の画像信号を出力し、信号処理部26は焦点評価値を算出する。焦点位置制御部34は、焦点評価値に基づいて第3レンズ21cを焦点位置F1,F2,F3の何れかに移動させ、自動的にピント調節を行う(S01)。自動焦点調節は、撮影指示入力部25aから撮影指示が入力されるまで適宜繰り返し行われる(S02)。このため、表示部29に表示されるライブビュー画像は、常に被写体にピントが合った画像になっている。また、こうして自動焦点調節が繰り返し行われている間、手振れ補正機能はオンであり、交点位置制御部33は、手振れ検出部36からの姿勢信号に基づいて、第2レンズ21bを移動させることにより、手振れ補正を行い続けている。
撮影指示入力部25aから撮影指示が入力されると(S02;Yes)、交点位置制御部33は、まず、設定されているシャッタスピードを取得し(S03)、所定シャッタスピードと比較する(S04)。
設定されているシャッタスピードが所定シャッタスピードよりも遅い場合(S04;No)、交点位置制御部33は、手振れ補正を行わせながら(S11)、撮影を実行する(S10)。
一方、シャッタスピードが所定シャッタスピード以上であり、シャッタスピードが速い場合(S04;Yes)、交点位置制御部33は、焦点位置制御部34から現在の焦点位置を取得する(S05)。そして、交点位置制御部33は、ROM37を参照して、現在の焦点位置に応じて、第1〜第3LUT38a〜38cのいずれかを取得する(S06)。本例では、焦点位置はF1であり、第1LUT38aが取得されたとする。また、交点位置制御部33は、レンズ移動機構22から現在の第2レンズ21bの位置を取得し、現在の交点Noの位置を求める(S07)。
図6に示すように、交点位置制御部33は、現在の交点N0の位置から第1LUT38aにある各交点A1〜A9の位置までの距離R1〜R9をそれぞれ算出する(S08)。
次いで、交点位置制御部33は、算出した各距離R1〜R9と、第1LUT38aにおいて各交点A1〜A9とそれぞれ対応付けられた各画質評価値を用いて、距離R1〜R9に対する画質評価値の比P1〜P9を算出する。具体的には、比P1は1.0/R1、比P2は0.9/R2、比P3は0.8/R3,…である。そして、これらの比P1〜P9を比較し、その値が最大になる交点の位置を撮影用の交点の位置に選出する(S09)。本例では、比P2=0.9/R2が最大であったとする。このため、交点位置制御部33は、第1LUT38aに登録されている各交点A1〜A9の中から、交点A2の位置を撮影用の交点の位置に選出する。そして、交点位置制御部33は、現在の交点N0から撮影用の交点の位置(A2)が移動するように、レンズ移動機構22によって第2レンズ21bを移動させる。
現在の交点が撮影用の交点の位置(A2)に到達すると、交点位置制御部33はセンサドライバ24に撮影を許可する撮影許可信号を入力する。センサドライバ24は、撮影を許可する信号の入力を受けると、イメージセンサ13で被写体を撮像し、画像信号を出力させる(S10)。
以上のように、撮像装置10は、比P1〜P9を比較し、その値が最大になる交点を撮影用の交点の位置に選出し、イメージセンサ13と光軸L1の交点を選出した撮影用の交点の位置に移動させてから撮影を実行する。すなわち、LUT38に予め登録された各交点A1〜A9の中から、撮影指示が入力された時点の交点N0に近く、かつ、画質評価値が大きい交点を選択して撮影を実行する。
例えば、撮影指示が入力された時点の交点N0から遠い位置に画質評価値が高い交点があったとしても、その交点の位置は撮影用の交点の位置には選ばれない。また、撮影指示が入力された時点の交点N0の近傍にLUT38に登録された交点があったとしても、画質評価値が低ければ、この交点の位置は撮影用の交点の位置には選ばれない。
したがって、撮像装置10は、比P1〜P9が最大の交点の位置を撮影用の交点の位置に選出することにより、イメージセンサ13と光軸L1の交点の位置の移動時間と画質の良さの両方を考慮して最適な撮影用の交点の位置を選択することができる。また、画質評価値が高くても、撮影指示が入力された時点の交点N0から遠い位置にある交点が撮影用の交点の位置に選ばれにくくなっていることで、撮像装置10は、従来のものよりもシャッターチャンスを逃し難くなっている。
なお、画質評価値は、撮像装置10で交点Anを移動させながらテストチャートを撮影することによって予め算出される。例えば、図7に示すように、まず、撮像装置10の焦点位置を、焦点位置F1,F2,F3の何れかに設定する(S21)。次いで、交点をLUT38に記憶する各交点A1〜A9のいずれかに設定し(S22)、テストチャートを撮影する(S23)。このテストチャートの撮影は、各焦点位置F1,F2,F3と、各交点A1〜A9の全組み合わせについて行われる(S24)。
こうして各焦点位置F1,F2,F3の各交点A1〜A9で撮影された全27枚のテストチャート画像のそれぞれについて、解像度分布を算出する(S25)。このためステップS23,S24で撮影するテストチャートは、例えば、撮影したテストチャート画像の全面の各位置で解像度(SFR(Spatial Frequency. Response),MTF(Modulation Transfer Function),CTF(Contrast transfer function)等)を算出し、任意に組み合わせることも可能である。例えば、図8に示すように、白黒のチェッカーボード模様を数度程度回転させたテストチャート51が好適である。テストチャート51を用いる場合、ISO12233に記載の方法でSFRを算出することができる。解像度分布とは、テストチャート画像内の各位置で算出した解像度を、テストチャート画像内の位置と対応付けてマッピングしたデータであり、解像度分布画像とは、例えば、図9に示すように、テストチャート画像と同じサイズで、画素値に算出された解像度が割り当てられた画像52である。
こうして各テストチャート画像の解像度分布画像52が算出されたら、解像度分布画像52に基づいて、鮮鋭度分布を算出する(S26)。鮮鋭度は、画質の指標の一つであり、視覚の空間周波数応答を加味した解像度である。鮮鋭度は、例えば、「テレビジョン学会誌33(12),1000−1008」に記載されているように、解像度分布画像52と視覚の空間周波数応答を積分演算することにより算出できる。鮮鋭度分布とは、解像度分布画像52(テストチャート画像)の各位置について算出された鮮鋭度を、解像度分布画像52(テストチャート画像)内の位置と対応付けてマッピングしたデータであり、鮮鋭度分布画像とは、解像度分布画像52と同様に、例えば、テストチャート画像と同じサイズで、画素値に算出された鮮鋭度が割り当てられた画像である。
次に、鮮鋭度分布画像を用いて総合鮮鋭度を算出し、この総合鮮鋭度を画質評価値とする(S27)。総合鮮鋭度は、鮮鋭度分布画像の画素値の平均値である。総合鮮鋭度は、鮮鋭度分布画像の画素値を重み付け平均した値でも良い。重み付けをする場合は、例えば、鮮鋭度分布画像の中央から離れるにつれて重みが小さくなるように重み付けをすることが好ましい。これは、主要被写体は画像の中央に写される可能性が高いので、中央の鮮鋭度が周縁部の鮮鋭度よりも画質評価として重要だからである。例えば、交点A1で撮影したテストチャート画像から算出された総合鮮鋭度を交点A1の画質評価値として対応付けてLUT38を作成し(S28)、ROM37に記憶しておく。
なお、図5および図7においては、交点を光軸と表示している。
なお、LUT38に記憶する全交点A1〜A9で、それぞれテストチャート51を撮影しているが、テストチャートを4回撮影するだけでも、上述と同様の画質評価値を算出可能である。例えば、図10に示すように、まず、イメージサークル41からはみ出さずにイメージセンサ13を移動可能な長方形の領域42の右上,左上,左下,右下の4箇所に対応するようにそれぞれイメージセンサ13を移動させてテストチャートを撮影し、解像度分布画像52a〜52dをそれぞれ生成する。これらの各解像度分布画像52a〜52dを領域42に合わせて一部重畳して合成することにより、領域42全体の解像度分布画像(以下、全域解像度画像という)53を生成する。その後、この全域解像度画像53から、交点A1に対応する領域54a、交点A2に対応する領域54b,…,光軸A9に対応する領域54iを切り出せば、各交点A1〜A9でテストチャート51を撮影して、各々の解像度分布画像を生成するのと同じ解像度分布画像が得られる。その後の鮮鋭度分布画像の生成及び画質評価値の算出方法は前述と同様である。
また、各焦点位置について画質評価値を求めるためのテストチャートの撮影回数をそれぞれ1回に減らすこともできる。例えば、図11に示すように、まず、イメージサークル41からはみ出さずにイメージセンサ13を移動可能な長方形の領域42の中央にイメージセンサ13を配置し、テストチャート51を撮影して解像度分布画像52eを生成する。すなわち、交点A5でテストチャート51を撮影して解像度分布画像52eを生成する。この解像度分布画像52eを領域42の外周まで外挿することにより、領域42の全域解像度分布画像56を生成する。例えば、領域42内の解像度分布は、解像度分布画像52eの内部のデータを補間するための関数が領域42にまで続いているものとして、この補間用の関数に基づいて算出される。また、解像度分布画像52eを平滑化して生成される関数や、解像度分布画像52eを最小二乗近似により得られる関数等を用いても良い。全域解像度分布画像56から、各交点A1〜A9の鮮鋭度分布画像を生成し、画質評価値を算出する方法は前述と同様である。
上述のように、テストチャートを撮影する回数が少ないほど、撮像装置10の製造工程が短時間で済み、コストを低減することができる。なお、1回のテストチャートの撮影で生成した全域解像度分布画像56は、4回のテストチャートの撮影で生成した全域解像度分布画像53よりも精度が劣るが、テストチャートの撮影回数を最小にすることができるので、撮像装置10の製造コストも最小である。
なお、1回のテストチャートの撮影で全域解像度分布画像56を生成する場合に、交点A5でテストチャート51を撮影して得た解像度分布画像52eを外挿しているが、他の交点でテストチャート51を撮影して得た解像度分布画像を外挿して全域解像度分布画像56を生成しても良い。但し、精度は、交点A5でテストチャート51を撮影して得た解像度分布画像52eを外挿する場合が最も高い。
なお、全域解像度分布画像53,56から、交点A1〜A9で撮影した場合に対応する領域54a〜54iを切り出して用いることによって交点A1〜A9の画質評価値を生成しているが(図10参照)、全域解像度分布画像53,56を生成する場合は、交点A1〜A9以外の任意の交点に対応する領域を切り出して用いることによって、任意の交点の画質評価値を生成することができる。このため、LUT38に、さらに細かく交点と対応する画質評価値のデータを登録しておくことができる。但し、LUT38のデータが多すぎると、距離Rnや比Pnの算出、比Pnの比較に相応の時間がかかるようになってしまうので、LUT38に登録するデータ数が多すぎるのは好ましくない。
このため、例えば、LUT38に登録する交点は、画質評価値の高い方から所定の個数だけをLUT38に登録すれば良い。また、最も高い画質評価値からの差分が所定値(所定画質評価値)以下の交点を全て登録しても良い。例えば、最も高い画質評価値からの差分が10%以下である交点だけをLUT38に記憶しても良いし、差分が5%以下の交点だけを記憶しても良い。
これは所定数の交点(例えば交点A1〜A9)をLUT38に登録する場合も同様である。例えば、図12のLUT68は、図4のLUT38から、画質評価値が最大値(1.0)から10%以内のデータのみを選別して登録したLUTである。第1〜第3LUT68a〜68cは、それぞれ焦点位置F1,F2,F3のものである。こうすると、例えば、図13に示すように、撮影用の交点の位置を選出するために算出する距離はR1,R2,R4の3つに低減し、算出及び比較する比PnもP1,P2,P4の3つに低減されるので、より速く撮影用の交点の位置を選出することができる。
また、例えば、撮影指示が入力された時点での交点が交点A9のごく近傍の位置N1であった場合(図13参照)、交点A9と、対応する画質評価値がLUTに登録されていると、交点A9に対応する画質評価値が低い(図4参照)にもかかわらず、距離R9が小さすぎるために、交点A9の位置が撮影用の交点の位置に選出されてしまう可能性がある。このように、交点A9の位置が撮影用の交点の位置に選出されてしまうと、当然ながら画質の向上効果は小さい。しかし、上述のように、画質評価値が最大値(1.0)から10%以内のデータのみを選別して登録したLUT68を用いていれば、撮影用の交点の位置に選ばれる交点の候補を、画質評価値が高いものだけに絞り込んでおくことができるので、ほぼ確実に画質の向上効果が得られる。
なお、画質評価値として、鮮鋭度または総合鮮鋭度を用いているが、画質評価値は、各交点で得られる撮影画像の画質の目安になる値であれば任意である。例えば、鮮鋭度の代わりに、解像度を画質評価値に用いても良い。
また、鮮鋭度の代わりに、テストチャート画像の各画素の輝度の平均値(平均輝度)を画質評価値に用いても良い。このように、画質評価値に平均輝度を用いる場合、テストチャート画像の各画素の輝度を、鮮鋭度を画質評価値に用いる場合と同様に重み付けをして平均した値を用いても良い。また、テストチャート画像の撮影枚数を抑える方法も鮮鋭度を画質評価値に用いる場合と同様である。
さらに、これらの値を複合した値を画質評価値にしても良い。例えば、各交点A1〜A9について、総合鮮鋭度と平均輝度をそれぞれ求め、これらを任意の割合で混合した値を画質評価値として用いても良い。例えば、交点A1の総合鮮鋭度G1、交点A1でテストチャート等を撮影した画像の平均輝度H1を算出し、さらにこれらをα:βで加算した「αG1+βH1」(α,βは任意定数)を画質評価値としても良い。
なお、LUT38には正方格子状に並んだ9個の交点A1〜A9を登録しているが、LUT38に登録しておく交点は、少なくとも2個以上あれば、これらの位置や配列は任意である。配列はランダムでも良い。交点の移動可能領域43(図3参照)から、予め2点の交点を選んでLUT38に登録する場合、交点の移動可能領域43の中央を通り、交点の移動可能領域43の2つの縦辺(イメージセンサ13の短辺に平行な辺)の中央を通る線分を3等分する2点の交点を選ぶことが好ましい。3点を選ぶ場合は、交点A1〜A9のうち、A4,A5,A6の3点を選ぶことが好ましいが、A2,A5,A8の3点でも良いし、A7,A5,A3の3点でも良い。この他、任意の3点を選んでも良い。
撮像レンズ12と、イメージセンサ13と、レンズ移動機構22と、LUT38を備える撮像装置10の動作を行わせる制御プログラムも本発明である。
なお、撮像装置10は、シャッタスピードが所定シャッタスピードより遅い場合に、手振れ補正を行なっているが、手振れ補正の代わりに、主要被写体を追従して、主要被写体の動きを打ち消すように、第2レンズ21cを移動させても良い。主要被写体の検出は、例えば、信号処理部26で行うことができる。
なお、撮像レンズ12は、第1〜第3レンズ21a〜21cの3枚のレンズを備えているが、撮像レンズ12は1枚または2枚のレンズで構成されていても良いし、4枚以上のレンズで構成されていても良い。また、各種光学フィルタやカバーガラス等、実質的にパワーのない要素を含んでいても良い。撮像レンズ12は焦点距離が可変なズームレンズであっても良い。
なお、手振れ補正等のために第2レンズ21bを移動させているが、第2レンズ21bを移動させる代わりに、イメージセンサ13を光軸L1に対して垂直な方向に移動させても良い。また、第2レンズ21bとイメージセンサ13の両方が光軸L1に対して垂直な方向に移動自在であっても良い。このように、イメージセンサ13を移動させる場合、イメージセンサ13を光軸L1に対して垂直な方向で移動させるためのセンサ移動機構と、センサ移動機構によってイメージセンサ13の位置を制御するためのセンサ位置制御部とを設ける(いずれも図示しない)。センサ移動機構とセンサ位置制御部の動作態様は、それぞれレンズ移動機構22、交点位置制御部33に準じる。また、レンズ移動機構22とセンサ移動機構を両方設ける場合は、これらの2つが交点位置制御部33を構成する。
なお、本発明は、光軸L1に対して垂直に移動可能な補正レンズを含むものであれば、任意の撮像装置に利用できる。例えば、デジタルカメラ、ビデオカメラ、スマートフォン等のカメラモジュールに好適である。
10 撮像装置
12 撮像レンズ
13 イメージセンサ
14 レンズ制御部
43 交点の移動可能領域
【0011】
れぞれ各交点A1〜A9と画質評価値を対応付けて記憶している。すなわち、LUT38は、焦点距離F1の場合の各交点A1〜A9と画質評価値を対応付けた第1LUT38aと、焦点距離F2の場合の各交点A1〜A9と画質評価値を対応付けた第2LUT38bと、焦点距離F3の場合の各交点A1〜A9と画質評価値を対応付けた第3LUT38cの3種類のテーブルからなる。
[0039]
なお、LUT38は、各交点A1〜A9の各画質評価値を、これらのうちの最大値で正規化して記憶している。このため、画質評価値の最大値は「1.0」であり、最小値は「0.0」である。例えば、図4では、焦点距離F1の場合、交点A1の画質評価値が最大値である。
[0040]
以下、撮像装置10の作用を説明する。図5に示すように、撮像装置10の電源をオンにすると、イメージセンサ13はライブビュー表示用の画像信号を出力し、信号処理部26は焦点評価値を算出する。焦点位置制御部34は、焦点評価値に基づいて第3レンズ21cを焦点位置F1,F2,F3の何れかに移動させ、自動的にピント調節を行う(S01)。自動焦点調節は、撮影指示入力部25aから撮影指示が入力されるまで適宜繰り返し行われる(S02)。このため、表示部29に表示されるライブビュー画像は、常に被写体にピントが合った画像になっている。また、こうして自動焦点調節が繰り返し行われている間、手振れ補正機能はオンであり、交点位置制御部33は、手振れ検出部36からの姿勢信号に基づいて、第2レンズ21bを移動させることにより、手振れ補正を行い続けている。
[0041]
撮影指示入力部25aから撮影指示が入力されると(S02;Yes)、交点位置制御部33は、まず、設定されているシャッタスピードを取得し(S03)、所定シャッタスピードと比較する(S04)。
[0042]
設定されているシャッタスピードが所定シャッタスピードよりも遅い場合(S04;No)、交点位置制御部33は、手振れ補正を行わせながら(S11)、撮影を実行する(S10)。
[0043]
一方、シャッタスピードが所定シャッタスピード以下であり、シャッタスピードが速い場合(S04;Yes)、交点位置制御部33は、焦点位置制
撮影制御部39は、レンズ制御部14、センサドライバ24、信号処理部26、画像処理部31等の撮像装置10の各部の動作を統括的に制御する。撮影制御部39は、例えばCPUであり、ROM37に予め記憶された制御プログラム(図示しない)に基づいて撮像装置10の各部の動作を上述のように制御する。レンズ制御部14の交点位置制御部33及び焦点位置制御部34やセンサドライバ24は、撮影制御部39が実行する制御プログラムの一部である。
図4に示すように、LUT38は、交点の移動可能領域43のうち、上述の9個の交点A1〜A9について、各交点A1〜A9と画質評価値を対応付けて記憶している。また、LUT38は、焦点位置F1,F2,F3に応じてそれぞれ各交点A1〜A9と画質評価値を対応付けて記憶している。すなわち、LUT38は、焦点位置F1の場合の各交点A1〜A9と画質評価値を対応付けた第1LUT38aと、焦点位置F2の場合の各交点A1〜A9と画質評価値を対応付けた第2LUT38bと、焦点位置F3の場合の各交点A1〜A9と画質評価値を対応付けた第3LUT38cの3種類のテーブルからなる。
なお、LUT38は、各交点A1〜A9の各画質評価値を、これらのうちの最大値で正規化して記憶している。このため、画質評価値の最大値は「1.0」であり、最小値は「0.0」である。例えば、図4では、焦点位置F1の場合、交点A1の画質評価値が最大値である。
なお、LUT38に記憶する全交点A1〜A9で、それぞれテストチャート51を撮影しているが、テストチャートを4回撮影するだけでも、上述と同様の画質評価値を算出可能である。例えば、図10に示すように、まず、イメージサークル41からはみ出さずにイメージセンサ13を移動可能な長方形の領域42の右上,左上,左下,右下の4箇所に対応するようにそれぞれイメージセンサ13を移動させてテストチャートを撮影し、解像度分布画像52a〜52dをそれぞれ生成する。これらの各解像度分布画像52a〜52dを領域42に合わせて一部重畳して合成することにより、領域42全体の解像度分布画像(以下、全域解像度分布画像という)53を生成する。その後、この全域解像度分布画像53から、交点A1に対応する領域54a、交点A2に対応する領域54b,…,光軸A9に対応する領域54iを切り出せば、各交点A1〜A9でテストチャート51を撮影して、各々の解像度分布画像を生成するのと同じ解像度分布画像が得られる。その後の鮮鋭度分布画像の生成及び画質評価値の算出方法は前述と同様である。
なお、撮像装置10は、シャッタスピードが所定シャッタスピードより遅い場合に、手振れ補正を行なっているが、手振れ補正の代わりに、主要被写体を追従して、主要被写体の動きを打ち消すように、第2レンズ21bを移動させても良い。主要被写体の検出は、例えば、信号処理部26で行うことができる。
撮像装置を製造する場合、様々な製造誤差が発生する。例えば、撮像レンズには面形状や面の位置ずれ等の誤差があり、さらに撮像レンズを複数のレンズで構成する場合には、各レンズの位置や間隔、傾き等の組立誤差がある。また、撮像レンズとイメージセンサの位置決めにも誤差がある。もちろん、こうした各種製造誤差はできる限り小さくなるように配慮されている。例えば、複数のレンズを組み立てて撮像レンズを形成する場合、テストチャートを撮像しながら組み立てを行うことによって、組み立て誤差が低減される(特許文献1)。撮像レンズとイメージセンサの位置決め誤差等も同様にして低減される。
一方、各種製造誤差を完全になくそうとすると、歩留まりが悪化し、コストアップにつながるので、ある程度の製造誤差は許容しなければならない。しかし、上述のような様々な製造誤差が累積すると、撮像画像の画質に深刻な影響が発生する場合がある。例えば、撮像画像に解像度が低い箇所が部分的に生じたり、撮像画像の一方の側では解像度が高く、他方の側では解像度が低い等、解像度の分布が生じたりする場合がある。
このため、近年では累積的製造誤差による撮像画像の画質低下を、撮像の段階で是正する技術が知られている。例えば、撮像指示があった場合に、被写体を複数の焦点位置で自動的に撮像し、各画像の解像度が高い部分を画像処理によって組み合わせることによって、全面で解像度が均一な撮像画像を得る方法が知られている(特許文献2)。
また、手振れ補正機能を有する撮像装置では、手振れ補正のために光軸に垂直な方向に移動自在になっているレンズ(以下、補正レンズという)によって撮像画像の画質を向上させることができる場合がある。例えば、テストチャートを撮像することによって、光学的に最適な補正レンズの位置を予め求めておき、手振れ補正を行う場合はこの最適位置を中心に補正レンズを移動させ、手振れ補正を行わない場合には最適位置に補正レンズを固定する撮像装置が知られている(特許文献3)。補正レンズによって倍率色収差を補正する撮像装置もある(特許文献4)。また、補正レンズと同様に光軸に垂直な方向に移動自在な偏芯レンズ群を移動させることにより、撮像画像の画質を向上させる撮像装置も知られている(特許文献5)。
撮像画像の画質を向上させ、累積的製造誤差によって低下した画質を補うために、イメージセンサと光軸の交点を移動させる場合、このイメージセンサと光軸の交点の移動はできる限り迅速に行う必要がある。例えば特許文献3のように補正レンズの光学的な最適位置を定めておいても、撮像指示が入力された時点で手振れ補正のために最適位置から遠く離れた位置に補正レンズが移動されていると、最適位置まで補正レンズが移動するのを待って撮像を実行したのでは、シャッターチャンスを逃してしまう場合があるからである。
とはいえ、補正レンズの移動速度には限度があるので、補正レンズを単に高速で移動させるというのは現実的ではない。また、手振れ補正機能をオフにして、補正レンズを常に撮像に最適な位置に保持し続けていれば、いつ撮像指示が入力されても撮像画像の画質を向上させ、製造誤差による画質低下を補うことができるが、手振れが発生した場合にはライブビュー画像を確認し難くなるので、そもそもシャッターチャンスをつかみ難くなってしまう。
本発明は、補正レンズやイメージセンサの移動によって、イメージセンサと光軸の交点を、シャッターチャンスを逃さずに素早く移動できる範囲内で、できる限り撮像画像の画質を向上させ、製造誤差による画質低下を補う撮像装置、及びその駆動方法と制御プログラムを提供することを目的とする。
本発明の撮像装置駆動方法は、被写体の像を結像する撮像レンズに含まれるレンズまたは被写体を撮像するイメージセンサの少なくともいずれか一方が撮像レンズの光軸に垂直な面内で移動自在に設けられている撮像装置の駆動方法であり、交点取得ステップ、撮像用交点選出ステップ、交点移動ステップ、撮像ステップを備える。交点取得ステップでは、光軸とイメージセンサの現在の交点の位置を取得する。撮像用交点選出ステップでは、複数の交点の位置についてそれぞれ画質評価値を予め記憶するメモリを参照して、メモリに記憶された各交点の位置と現在の交点の位置との距離を算出し、現在の交点の位置からの距離に対する画質評価値の比が最大になる撮像用の交点の位置を選出する。交点移動ステップでは、現在の交点の位置を撮像用の交点の位置に移動させる。撮像ステップでは、光軸とイメージセンサの交点を撮像用の交点の位置にセットした状態で被写体を撮像する。
本発明の撮像装置制御プログラムは、被写体の像を結像させる撮像レンズと、被写体を撮像するイメージセンサと、撮像レンズに含まれるレンズまたはイメージセンサの少なくともいずれか一方を撮像レンズの光軸に垂直な面内で移動させることにより、光軸とイメージセンサの交点の位置を移動させる移動機構と、複数の異なる交点の位置についてそれぞれ画質評価値を予め記憶するメモリを備える撮像装置の制御プログラムである。この撮像装置に、現在の交点を取得する交点取得ステップと、メモリを参照して、メモリに記憶された各交点の位置と現在の交点の位置との距離を算出し、現在の交点からの距離に対する画質評価値の比が最大になる撮像用の交点の位置を選出する撮像用交点選出ステップと、移動機構によって現在の交点を撮像用の交点の位置に移動させる交点移動ステップと、交点の位置を撮像用の交点の位置にセットした状態で、イメージセンサに被写体を撮像させる撮像ステップと、を行わせる。
本発明の撮像装置は、光軸とイメージセンサの交点の位置を移動自在にしてあり、複数の異なる交点の位置と、各交点の位置で撮像した場合の撮像画像の画質を評価した画質評価値を対応付けて予め記憶しており、予め記憶された複数の交点の中から、現在の交点からの距離に対する画質評価値の比が最大になる撮像用交点を選出し、光軸とイメージセンサの交点をこの選出された撮像用の交点の位置に移動させて撮像を実行する。このため、シャッターチャンスを逃さずに素早くイメージセンサ上での交点を移動できる範囲内で、できる限り撮像画像の画質を向上させ、製造誤差による画質低下を補うことができる。
撮像装置の構成を示すブロック図である。
補正レンズの移動によって、メージセンサの移動する範囲を示す説明図である。
交点の移動可能な範囲と、画質評価値を記憶する交点を示す説明図である。
LUTの説明図である。
撮像装置の作用を示すフローチャートである。
撮像用の交点の位置を選出する方法を説明するための説明図である。
画質評価値を求める手順を示すフローチャートである。
画質評価値を算出するために用いるテストチャートを示す説明図である。
テストチャート画像から算出される解像度分布を示す説明図である。
画質評価値を算出する別の方法を示す説明図である。
画質評価値を算出するさらに別の方法を示す説明図である。
画質評価値が最大値から10%以内のデータのみを登録したLUTである。
図12のLUTを用いる場合の作用を示す説明図である。
図1に示すように、撮像装置10は、撮像レンズ12、イメージセンサ13、レンズ制御部14、手振れ検出部36、撮像制御部39等を備える。こうした撮像装置10の各部は、バス19を介して相互に接続されている。
第1〜第3レンズ21a〜21cのうち、第2レンズ21bは補正レンズであり、レンズ移動機構22によって、光軸L1に対して垂直な方向に移動自在に保持されている。第2レンズ21bの移動によって光軸L1が途中で屈曲し、イメージセンサ13上で、光軸L1とイメージセンサ13の交点Anの位置が変化する。第2レンズ21bは、例えば手振れ補正等のために移動される。レンズ移動機構22は、いわゆる手ブレ補正機構であるが、手振れ補正を行わない場合でも撮像画像の画質向上のために交点Anを移動させる。
第3レンズ21cは、焦点調節機構23によって光軸L1に沿って移動自在に保持されている。第3レンズ21cはピント調節を行うためのいわゆるフォーカシングレンズであり、被写体の距離(撮像距離)に応じて三段階に移動する。これに応じて撮像レンズ12の焦点位置は、F1,F2,F3の三段階に調節可能である。
イメージセンサ13は、撮像レンズ12によって結像される被写体を撮像し、画像信号を出力する。イメージセンサ13は例えばCMOSであるが、CCDでも良い。イメージセンサ13の動作は、センサドライバ24によって制御される。センサドライバ24は、例えば、ユーザによって指定されたシャッタスピード(露光時間)で被写体を撮像させる。シャッタスピードの設定は操作部25の操作によって行われる。また、センサドライバ24は、所定のフレームレートでイメージセンサ13からライブビュー表示用の画像信号を逐次出力させる。操作部25の撮像指示入力部25aの操作によって撮像指示が入力された場合、センサドライバ24はイメージセンサ13に被写体を撮像させ、静止画像用の画像信号を出力させる。イメージセンサ13が出力する画像信号は、信号処理部26に入力される。
信号処理部26は、イメージセンサ13が出力する画像信号に、デモザイク処理等の各種信号処理を施すことにより、画像データ(撮像画像やライブビュー表示用の画像)を生成する画像エンジンである。生成された撮像画像はRAM28に一時的に記憶される。撮像画像が撮像指示の入力によらずに所定フレームレートで自動的に出力された画像信号に基づくものであれば、例えば、表示部29にライブビュー表示される。また、撮像画像が生成された撮像画像が撮像指示の入力によって出力された画像信号に基づくものであれば、例えば画像処理部31によってγ補正処理や階調変換処理等の各種画像処理が施された後、画像記憶部32に記憶される。
信号処理部26は、設定によっては、入力された画像信号に基づいて最適なホワイトバランスを検出し、生成する撮像画像やライブビュー表示用の画像のホワイトバランスを自動的調節する。また、信号処理部26は、入力された画像信号を用いて焦点評価値を算出する。算出された焦点評価値は、第3レンズ21cを移動させる位置の算出に利用される。
一方、シャッタスピードが所定シャッタスピード以下であり、手振れがほぼ生じない程度にシャッタスピードが速い場合に撮像指示が入力されると、交点位置制御部33は、交点Anの位置を撮像画像の画質を向上させる撮像用の交点の位置に移動させ、この撮像用の交点の位置に固定した状態で撮像を行わせる。撮像用の交点の位置は、現在の交点Anの位置とルックアップテーブル(LUT)38のデータに基づいて決定される。交点位置制御部33は、レンズ移動機構22から現在の第2レンズ21bの位置を取得し、現在の第2レンズ21bの位置に基づいて現在の交点A n の位置を求める。また、交点位置制御部33は、LUT38をROM37から取得する。LUT38は、複数の交点と、各交点で撮像した撮像画像の画質評価値(例えば鮮鋭度,解像度,輝度、またはこれらを組み合わせた値)を対応付けるデータテーブルであり、ROM37に予め記憶されている。なお、交点位置制御部33は、交点を移動させ得る全範囲の中から撮像用の交点の位置を任意に決定するのではなく、LUT38に記憶された複数の交点の中から撮像用の交点の位置を選出するので、撮像用の交点の位置になり得る点は、離散的である。
なお、35mm版に換算した撮像レンズ12の焦点距離をf(mm)とする場合、交点位置制御部33がシャッタスピードと比較する所定シャッタスピードは1/f秒である。1/f秒という値は手振れを無視できるか否かの目安であり、ユーザが設定した撮像のためのシャッタスピードが1/f秒よりも遅い場合、手振れが生じると、撮像画像には少なくともブレがないとは言えない程度に手振れによる像のブレが表れる。一方、ユーザが設定した撮像のためのシャッタスピードが1/f秒以下で速い場合、手振れが生じても、撮像画像には手振れによる像のブレが表れ難く、撮像画像をよく観察すればブレがあるとしても、概ね手振れによる像のブレがないと言える程度である。
撮像制御部39は、レンズ制御部14、センサドライバ24、信号処理部26、画像処理部31等の撮像装置10の各部の動作を統括的に制御する。撮像制御部39は、例えばCPUであり、ROM37に予め記憶された制御プログラム(図示しない)に基づいて撮像装置10の各部の動作を上述のように制御する。レンズ制御部14の交点位置制御部33及び焦点位置制御部34やセンサドライバ24は、撮像制御部39が実行する制御プログラムの一部である。
以下、撮像装置10の作用を説明する。図5に示すように、撮像装置10の電源をオンにすると、イメージセンサ13はライブビュー表示用の画像信号を出力し、信号処理部26は焦点評価値を算出する。焦点位置制御部34は、焦点評価値に基づいて第3レンズ21cを焦点位置F1,F2,F3の何れかに移動させ、自動的にピント調節を行う(S01)。自動焦点調節は、撮像指示入力部25aから撮像指示が入力されるまで適宜繰り返し行われる(S02)。このため、表示部29に表示されるライブビュー画像は、常に被写体にピントが合った画像になっている。また、こうして自動焦点調節が繰り返し行われている間、手振れ補正機能はオンであり、交点位置制御部33は、手振れ検出部36からの姿勢信号に基づいて、第2レンズ21bを移動させることにより、手振れ補正を行い続けている。
撮像指示入力部25aから撮像指示が入力されると(S02;Yes)、交点位置制御部33は、まず、設定されているシャッタスピードを取得し(S03)、所定シャッタスピードと比較する(S04)。
設定されているシャッタスピードが所定シャッタスピードよりも遅い場合(S04;No)、交点位置制御部33は、手振れ補正を行わせながら(S11)、撮像を実行する(S10)。
次いで、交点位置制御部33は、算出した各距離R1〜R9と、第1LUT38aにおいて各交点A1〜A9とそれぞれ対応付けられた各画質評価値を用いて、距離R1〜R9に対する画質評価値の比P1〜P9を算出する。具体的には、比P1は1.0/R1、比P2は0.9/R2、比P3は0.8/R3,…である。そして、これらの比P1〜P9を比較し、その値が最大になる交点の位置を撮像用の交点の位置に選出する(S09)。本例では、比P2=0.9/R2が最大であったとする。このため、交点位置制御部33は、第1LUT38aに登録されている各交点A1〜A9の中から、交点A2の位置を撮像用の交点の位置に選出する。そして、交点位置制御部33は、現在の交点N0から撮像用の交点の位置(A2)が移動するように、レンズ移動機構22によって第2レンズ21bを移動させる。
現在の交点が撮像用の交点の位置(A2)に到達すると、交点位置制御部33はセンサドライバ24に撮像を許可する撮像許可信号を入力する。センサドライバ24は、撮像を許可する信号の入力を受けると、イメージセンサ13で被写体を撮像し、画像信号を出力させる(S10)。
以上のように、撮像装置10は、比P1〜P9を比較し、その値が最大になる交点を撮像用の交点の位置に選出し、イメージセンサ13と光軸L1の交点を選出した撮像用の交点の位置に移動させてから撮像を実行する。すなわち、LUT38に予め登録された各交点A1〜A9の中から、撮像指示が入力された時点の交点N0に近く、かつ、画質評価値が大きい交点を選択して撮像を実行する。
例えば、撮像指示が入力された時点の交点N0から遠い位置に画質評価値が高い交点があったとしても、その交点の位置は撮像用の交点の位置には選ばれない。また、撮像指示が入力された時点の交点N0の近傍にLUT38に登録された交点があったとしても、画質評価値が低ければ、この交点の位置は撮像用の交点の位置には選ばれない。
したがって、撮像装置10は、比P 1 〜P 9 が最大の交点の位置を撮像用の交点の位置に選出することにより、イメージセンサ13と光軸L1の交点の位置の移動時間と画質の良さの両方を考慮して最適な撮像用の交点の位置を選択することができる。また、画質評価値が高くても、撮像指示が入力された時点の交点N0から遠い位置にある交点が撮像用の交点の位置に選ばれにくくなっていることで、撮像装置10は、従来のものよりもシャッターチャンスを逃し難くなっている。
なお、画質評価値は、撮像装置10で交点Anを移動させながらテストチャートを撮像することによって予め算出される。例えば、図7に示すように、まず、撮像装置10の焦点位置を、焦点位置F1,F2,F3の何れかに設定する(S21)。次いで、交点をLUT38に記憶する各交点A1〜A9のいずれかに設定し(S22)、テストチャートを撮像する(S23)。このテストチャートの撮像は、各焦点位置F1,F2,F3と、各交点A1〜A9の全組み合わせについて行われる(S24)。
こうして各焦点位置F1,F2,F3の各交点A1〜A9で撮像された全27枚のテストチャート画像のそれぞれについて、解像度分布を算出する(S25)。このためステップS23,S24で撮像するテストチャートは、例えば、撮像したテストチャート画像の全面の各位置で解像度(SFR(Spatial Frequency. Response),MTF(Modulation Transfer Function),CTF(Contrast transfer function)等)を算出し、任意に組み合わせることも可能である。例えば、図8に示すように、白黒のチェッカーボード模様を数度程度回転させたテストチャート51が好適である。テストチャート51を用いる場合、ISO12233に記載の方法でSFRを算出することができる。解像度分布とは、テストチャート画像内の各位置で算出した解像度を、テストチャート画像内の位置と対応付けてマッピングしたデータであり、解像度分布画像とは、例えば、図9に示すように、テストチャート画像と同じサイズで、画素値に算出された解像度が割り当てられた画像52である。
次に、鮮鋭度分布画像を用いて総合鮮鋭度を算出し、この総合鮮鋭度を画質評価値とする(S27)。総合鮮鋭度は、鮮鋭度分布画像の画素値の平均値である。総合鮮鋭度は、鮮鋭度分布画像の画素値を重み付け平均した値でも良い。重み付けをする場合は、例えば、鮮鋭度分布画像の中央から離れるにつれて重みが小さくなるように重み付けをすることが好ましい。これは、主要被写体は画像の中央に写される可能性が高いので、中央の鮮鋭度が周縁部の鮮鋭度よりも画質評価として重要だからである。例えば、交点A1で撮像したテストチャート画像から算出された総合鮮鋭度を交点A1の画質評価値として対応付けてLUT38を作成し(S28)、ROM37に記憶しておく。なお、図5および図7においては、交点を光軸と表示している。
なお、LUT38に記憶する全交点A1〜A9で、それぞれテストチャート51を撮像しているが、テストチャートを4回撮像するだけでも、上述と同様の画質評価値を算出可能である。例えば、図10に示すように、まず、イメージサークル41からはみ出さずにイメージセンサ13を移動可能な長方形の領域42の右上,左上,左下,右下の4箇所に対応するようにそれぞれイメージセンサ13を移動させてテストチャートを撮像し、解像度分布画像52a〜52dをそれぞれ生成する。これらの各解像度分布画像52a〜52dを領域42に合わせて一部重畳して合成することにより、領域42全体の解像度分布画像(以下、全域解像度分布画像という)53を生成する。その後、この全域解像度分布画像53から、交点A1に対応する領域54a、交点A2に対応する領域54b,…,光軸A9に対応する領域54iを切り出せば、各交点A1〜A9でテストチャート51を撮像して、各々の解像度分布画像を生成するのと同じ解像度分布画像が得られる。その後の鮮鋭度分布画像の生成及び画質評価値の算出方法は前述と同様である。
また、各焦点位置について画質評価値を求めるためのテストチャートの撮像回数をそれぞれ1回に減らすこともできる。例えば、図11に示すように、まず、イメージサークル41からはみ出さずにイメージセンサ13を移動可能な長方形の領域42の中央にイメージセンサ13を配置し、テストチャート51を撮像して解像度分布画像52eを生成する。すなわち、交点A5でテストチャート51を撮像して解像度分布画像52eを生成する。この解像度分布画像52eを領域42の外周まで外挿することにより、領域42の全域解像度分布画像56を生成する。例えば、領域42内の解像度分布は、解像度分布画像52eの内部のデータを補間するための関数が領域42にまで続いているものとして、この補間用の関数に基づいて算出される。また、解像度分布画像52eを平滑化して生成される関数や、解像度分布画像52eを最小二乗近似により得られる関数等を用いても良い。全域解像度分布画像56から、各交点A1〜A9の鮮鋭度分布画像を生成し、画質評価値を算出する方法は前述と同様である。
上述のように、テストチャートを撮像する回数が少ないほど、撮像装置10の製造工程が短時間で済み、コストを低減することができる。なお、1回のテストチャートの撮像で生成した全域解像度分布画像56は、4回のテストチャートの撮像で生成した全域解像度分布画像53よりも精度が劣るが、テストチャートの撮像回数を最小にすることができるので、撮像装置10の製造コストも最小である。
なお、1回のテストチャートの撮像で全域解像度分布画像56を生成する場合に、交点A5でテストチャート51を撮像して得た解像度分布画像52eを外挿しているが、他の交点でテストチャート51を撮像して得た解像度分布画像を外挿して全域解像度分布画像56を生成しても良い。但し、精度は、交点A5でテストチャート51を撮像して得た解像度分布画像52eを外挿する場合が最も高い。
なお、全域解像度分布画像53,56から、交点A1〜A9で撮像した場合に対応する領域54a〜54iを切り出して用いることによって交点A1〜A9の画質評価値を生成しているが(図10参照)、全域解像度分布画像53,56を生成する場合は、交点A1〜A9以外の任意の交点に対応する領域を切り出して用いることによって、任意の交点の画質評価値を生成することができる。このため、LUT38に、さらに細かく交点と対応する画質評価値のデータを登録しておくことができる。但し、LUT38のデータが多すぎると、距離Rnや比Pnの算出、比Pnの比較に相応の時間がかかるようになってしまうので、LUT38に登録するデータ数が多すぎるのは好ましくない。
これは所定数の交点(例えば交点A1〜A9)をLUT38に登録する場合も同様である。例えば、図12のLUT68は、図4のLUT38から、画質評価値が最大値(1.0)から10%以内のデータのみを選別して登録したLUTである。第1〜第3LUT68a〜68cは、それぞれ焦点位置F1,F2,F3のものである。こうすると、例えば、図13に示すように、撮像用の交点の位置を選出するために算出する距離はR1,R2,R4の3つに低減し、算出及び比較する比PnもP1,P2,P4の3つに低減されるので、より速く撮像用の交点の位置を選出することができる。
また、例えば、撮像指示が入力された時点での交点が交点A9のごく近傍の位置N1であった場合(図13参照)、交点A9と、対応する画質評価値がLUTに登録されていると、交点A9に対応する画質評価値が低い(図4参照)にもかかわらず、距離R9が小さすぎるために、交点A9の位置が撮像用の交点の位置に選出されてしまう可能性がある。このように、交点A9の位置が撮像用の交点の位置に選出されてしまうと、当然ながら画質の向上効果は小さい。しかし、上述のように、画質評価値が最大値(1.0)から10%以内のデータのみを選別して登録したLUT68を用いていれば、撮像用の交点の位置に選ばれる交点の候補を、画質評価値が高いものだけに絞り込んでおくことができるので、ほぼ確実に画質の向上効果が得られる。
なお、画質評価値として、鮮鋭度または総合鮮鋭度を用いているが、画質評価値は、各交点で得られる撮像画像の画質の目安になる値であれば任意である。例えば、鮮鋭度の代わりに、解像度を画質評価値に用いても良い。
また、鮮鋭度の代わりに、テストチャート画像の各画素の輝度の平均値(平均輝度)を画質評価値に用いても良い。このように、画質評価値に平均輝度を用いる場合、テストチャート画像の各画素の輝度を、鮮鋭度を画質評価値に用いる場合と同様に重み付けをして平均した値を用いても良い。また、テストチャート画像の撮像枚数を抑える方法も鮮鋭度を画質評価値に用いる場合と同様である。
さらに、これらの値を複合した値を画質評価値にしても良い。例えば、各交点A1〜A9について、総合鮮鋭度と平均輝度をそれぞれ求め、これらを任意の割合で混合した値を画質評価値として用いても良い。例えば、交点A1の総合鮮鋭度G1、交点A1でテストチャート等を撮像した画像の平均輝度H1を算出し、さらにこれらをα:βで加算した「αG1+βH1」(α,βは任意定数)を画質評価値としても良い。