JP5966286B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

焦点検出装置を有する撮像装置において、焦点調節を手動で行う際に、撮影光学系の焦点調節状態を検出し、その結果を撮影者に提示することで焦点調節の補助を行う、いわゆるフォーカスエイド機能が知られている。このような機能を有する撮像装置において、画面内に多数の焦点検出領域（測距点）を持ち、撮影者により選択されたいずれかの焦点検出領域のみならず、少なくとも焦点検出ができた複数の焦点検出領域について、ファインダー等に焦点検出の結果をスーパーインポーズ表示する技術が存在する。例えば特許文献１には、画像に重ねて合焦点を表示すると共に、合焦点に対して測距結果がやや前ピン、やや後ピンになる測距点を合焦点とは異なる形態で表示する撮像装置が記載されている。

特開２００４−９６６４１号公報

特許文献１に記載の撮像装置は、焦点調節を手動で行う際、ファインダー内の様々な位置で合焦表示等が次々に変化するため、撮影の妨げになるという問題があった。

請求項１に記載の撮像装置は、光学系を通過した被写体からの光束を撮像する撮像部と、前記撮像部から出力された信号により生成されたパンフォーカス画像の一部の領域を、第１操作部材が操作されたことにより選択する選択部と、前記選択部により選択された領域と、前記パンフォーカス画像内での前記選択された領域の位置により選択された画像のエッジを含む領域とにおける前記光学系の焦点調節状態を検出する焦点検出部と、前記被写体の像と、前記焦点検出部で検出された前記焦点調節状態とを表示する表示部と、を備え、前記光学系の第２操作部材が操作されたことにより前記光学系のフォーカシングレンズが駆動されると、前記焦点検出部による前記光学系の焦点調節状態の検出と、前記被写体の像と検出された前記焦点調節状態との前記表示部への表示と、を行う。

本発明によれば、焦点調節状態の検出結果を撮影の妨げになることなく表示することができる。

本発明の第１の実施の形態による撮像装置の構成を示す図である。 撮像ユニット３０の詳細を示す模式図である。 主撮像素子２２の撮像範囲内に設けられた複数のフォーカスエリアを示す図である。 フォーカスエリアとマイクロレンズとの対応を示す図である。 焦点調節状態を検出する際のマイクロレンズ３３の選択方法を示す平面図である。 撮像ユニット３０による焦点調節状態の検出方式を説明するための模式図である。 補助エリアの選択の一例を示す図である。 手動焦点調節モード時に制御回路２３が実行する処理のフローチャートである。 図８のステップＳ１７０で呼び出される補助エリア選択処理のフローチャートである。 第２の実施の形態における主要エリア１０２の選択に用いられる操作部材を示す図である。 マイクロレンズ列を構成するマイクロレンズ３３が他のフォーカスエリア１０１とオーバーラップする例を示す模式図である。

（第１の実施の形態）
図１は、本発明の第１の実施の形態による撮像装置の構成を示す図である。撮像装置１は、カメラボディ２０と、カメラボディ２０に着脱可能なレンズ鏡筒１０とから成る。レンズ鏡筒１０には、被写体像を所定の予定焦点面に結像させる結像光学系１１が内蔵されている。なお、図１において結像光学系１１は１枚のレンズとして模式的に示しているが、実際には、結像光学系１１の焦点状態を調節するフォーカシングレンズを含む複数のレンズで構成されている。

カメラボディ２０内の、結像光学系１１の光軸上には、結像光学系１１を通過した被写体光を二方向に分岐させるペリクルミラー２１が設けられている。カメラボディ２０内には更に、例えばＣＭＯＳやＣＣＤ等の主撮像素子２２と、マイクロレンズアレイ３１および副撮像素子３２を有する撮像ユニット３０とが設けられている。ペリクルミラー２１は、分岐させた被写体光の一方を主撮像素子２２に、他方を撮像ユニット３０に向かわせる。

主撮像素子２２は、その撮像面が結像光学系１１の第１予定焦点面５ａに位置するよう配置されている。他方、撮像ユニット３０が有するマイクロレンズアレイ３１は、結像光学系１１の第２予定焦点面５ｂ（第１予定焦点面５ａとペリクルミラー２１に対して共役な面）の近傍に配置されている。なお、図１では図示を省略しているが、主撮像素子２２および副撮像素子３２の撮像面には、光学的ローパスフィルターや赤外線カットフィルター等が設けられている。

カメラボディ２０は更に、いわゆる電子ビューファインダー（ＥＶＦ）を構成する電子ファインダーユニット４０を有している。電子ファインダーユニット４０は、液晶ディスプレイ４１と、接眼レンズ４２とを備えており、主撮像素子２２や副撮像素子３２により撮像された画像等を液晶ディスプレイ４１に表示させることが可能である。ユーザは接眼レンズ４２を通して液晶ディスプレイ４１の表示画面を視認する。以下の説明では、電子ファインダーユニット４０の液晶ディスプレイ４１に画像や文字等を表示することを、「ファインダーに表示する」と述べることがある。

カメラボディ２０は以上で述べた各部を制御する制御回路２３を更に備えている。制御回路２３はマイクロプロセッサやその周辺回路等から構成されており、図示しない記憶媒体（例えばフラッシュメモリなど）に予め記憶されている制御プログラムを読み込んで実行することにより、上述した各部を制御する。例えば制御回路２３は、主撮像素子２２または副撮像素子３２のいずれかの撮像素子の出力に基づいて、被写体像の画像データ（いわゆるスルー画）をファインダーに表示する。なお制御回路２３を、この制御プログラムと同等の機能を有する電子回路により構成することも可能である。

図２は、撮像ユニット３０の詳細を示す模式図であり、図２（ａ）に撮像ユニット３０の断面図を、図２（ｂ）に撮像ユニット３０の斜視図をそれぞれ模式的に示す。図２に示すように、マイクロレンズアレイ３１は、正レンズであるマイクロレンズ３３を複数有している。これら複数のマイクロレンズ３３は、二次元状に稠密に（ハニカム状に）配列されている。本実施形態のマイクロレンズ３３は、レンズ面の形状が、円形状マイクロレンズを正六角形に切り出した形状とされており、円形状マイクロレンズと同一の機能を有する。このように正六角形のマイクロレンズ３３をハニカム状に配列することにより、円形状マイクロレンズを配列させた場合に生じるレンズ間の焦点検出の不感帯を回避することができる。なお、正六角形のマイクロレンズ３３をハニカム状に配列することに代えて、円形のマイクロレンズを正方配列することもできる。

副撮像素子３２は、撮像面がマイクロレンズアレイ３１に相対するように配置されている。副撮像素子３２の撮像面には、正方形の受光素子３４（光電変換素子）が正方配列されており、その撮像面の大きさは、少なくとも主撮像素子２２による撮像範囲の全域をカバーする大きさである。一つの受光素子３４は一つのマイクロレンズ３３より小さく形成され、一つのマイクロレンズ３３を垂直に投影した範囲には複数の受光素子３４が含まれている。なお、図２（ｂ）に示すマイクロレンズアレイ３１は、便宜上２３個のマイクロレンズ３３を有するかのように描写されているが、実際にはより多くのマイクロレンズ３３を有している。同様に、副撮像素子３２が有する受光素子３４も、実際には図２（ｂ）に示す数より多い。

通常、マイクロレンズアレイ３１と副撮像素子３２との間隔は、おおよそマイクロレンズアレイ３１を構成する各マイクロレンズ３３の焦点位置近傍に副撮像素子３２の撮像面があるように定められるが、図１および図２では説明のため実際よりも広く描いている。

なお、マイクロレンズアレイ３１は、その前側主面が第２予定焦点面５ｂに一致するように配置してもよい。ただし、マイクロレンズアレイ３１の前側主面を第２予定焦点面５ｂに一致させると、マイクロレンズ３３間に被写体像のコントラストがあるような場合にその部分が不感帯となってしまう。本実施形態では、マイクロレンズアレイ３１の前側主面と第２予定焦点面５ｂとをずらして配置することにより、そのような不感帯の発生を回避させている。

（焦点調節方法の説明）
本実施形態の撮像装置１は、排他的に設定される自動焦点調節モードと手動焦点調節モードとを有している。ユーザは不図示の操作部材を操作することにより、これらのモードを切り替えることができる。自動焦点調節モードが設定されているとき、ユーザは主撮像素子２２の撮像範囲内に設けられた複数のフォーカスエリアから、焦点調節の対象とするフォーカスエリアを操作部材等により１つ選択する。その後、ユーザが自動焦点調節操作（例えば自動焦点調節ボタンの押下等）を行うと、制御回路２３は撮像ユニット３０を制御して選択されたフォーカスエリアにおける結像光学系１１の焦点調節状態を検出し、検出結果に応じた方向および駆動量でフォーカシングレンズを駆動する。これにより、結像光学系１１は選択されたフォーカスエリアに対応する被写体部分に合焦した状態となる。

他方、手動焦点調節モードが設定されているとき、ユーザは不図示の操作部材（例えばレンズ鏡筒に設けられたピント環等）を操作することにより、手動でフォーカシングレンズを駆動させることができる。つまり、ユーザは結像光学系１１の焦点調節状態を手動で調節する。手動焦点調節モードが設定されているとき、制御回路２３は特定のフォーカスエリア（後に詳述する）において、自動焦点調節モードの場合と同様に焦点調節状態を検出し、検出結果を液晶ディスプレイ４１に表示させることにより、ユーザによる手動焦点調節を支援する、いわゆるフォーカスエイド機能を発揮する。

以下では、まず撮像ユニット３０を用いた焦点調節状態の検出方法について説明し、その後、手動焦点調節モードにおけるフォーカスエイド機能について説明する。

（焦点調節状態の検出方法の説明）
図３は、主撮像素子２２の撮像範囲内に設けられた複数のフォーカスエリアを示す図であり、撮像範囲１００に重畳して全てのフォーカスエリア１０１を図示したものである。撮像範囲１００には、全体に渡って複数のフォーカスエリア１０１が二次元状に稠密に配列されている。本実施形態のフォーカスエリア１０１は、マイクロレンズ３３と同様に正六角形の形状を有している。

図４は、フォーカスエリアとマイクロレンズとの対応を示す図であり、マイクロレンズアレイ３１の一部を副撮像素子３２の方向から見た平面図に、図３に示した複数のフォーカスエリア１０１の一部を重畳して示した図である。図４では、横方向に並んだ３つのフォーカスエリア１０１ａ、１０１ｂ、１０１ｃを相対的に太い実線および破線で示している。また、複数のマイクロレンズ３３は相対的に細い実線で示している。制御回路２３は、あるフォーカスエリアについて焦点調節状態を検出する際、まず複数のマイクロレンズ３３から当該フォーカスエリアに対応するマイクロレンズ３３を選択する。そして、それらの選択されたマイクロレンズ３３を通過した光束が入射する受光素子３４の出力を用いて後述する焦点検出演算を行う。

図５は、焦点調節状態を検出する際のマイクロレンズ３３の選択方法を示す平面図であり、図４の中央に図示したフォーカスエリア１０１ｂを例に、焦点調節状態を検出する際のマイクロレンズ３３の選択方法を図示したものである。制御回路２３は、フォーカスエリア１０１ｂについて焦点調節状態を検出する際、当該フォーカスエリア１０１ｂに対応する複数のマイクロレンズ３３から、所定の３方向に沿って配列されている３つのマイクロレンズ列を選択し、それら３列の各々について、当該列に含まれる各マイクロレンズ３３に対応する受光素子３４の出力に基づいて、デフォーカス量を算出する。そして、それら３列の各々におけるデフォーカス量の算出結果を総合して、当該フォーカスエリア１０１ｂのデフォーカス量を算出する。

本実施形態の制御回路２３は、水平方向に並んだマイクロレンズ３３（図５（ａ））、プラス６０度方向に並んだマイクロレンズ３３（図５（ｂ））、マイナス６０度方向に並んだマイクロレンズ３３（図５（ｃ））の各々について、デフォーカス量を算出する。つまり、３つのマイクロレンズ列とは、図５（ａ）に示すマイクロレンズ列ＡＡ１と、図５（ｂ）に示すマイクロレンズ列ＡＡ２と、図５（ｃ）に示すマイクロレンズ列ＡＡ３である。

次に、上述のようにして選択された３つのマイクロレンズ列のうち、特に図５（ａ）に示す水平方向に並んだマイクロレンズ列ＡＡ１におけるデフォーカス量の算出の詳細について説明する。なお、他のマイクロレンズ列ＡＡ２、ＡＡ３についてはマイクロレンズ列ＡＡ１と同様にデフォーカス量を算出することができるため、説明を省略する。

図６は、撮像ユニット３０による焦点調節状態の検出方式を説明するための模式図である。図６は、被写体光がマイクロレンズアレイ３１および副撮像素子３２に入射する様子を模式的に示した図であり、図２に示したマイクロレンズアレイ３１および副撮像素子３２を、図２（ｂ）に示したＸ断面で切断した断面図となっている。図６に示す通り、マイクロレンズアレイ３１および副撮像素子３２は、各受光素子３４のマイクロレンズ３３による像が、各マイクロレンズ３３の頂点より被写体側の第２予定焦点面５ｂに結ぶように配置されている。各受光素子３４の像の位置は結像光学系１１の射出瞳と一致するのが理想的であるが、この位置からずれていても、射出瞳面上におけるボケ像が分離十分に小さければよい。制御回路２３は、このように構成された副撮像素子３２から出力される受光信号に対して以下に説明する演算を行い、被写体像の像ずれ量を検出する。

以下の説明では、マイクロレンズ列ＡＡ１に含まれる各々のマイクロレンズ３３に、左から順に１ずつ増加する自然数の番号（例えば１、２、…）が割り当てられているものとする。図５（ａ）および図６において、マイクロレンズ列ＡＡ１の左端のマイクロレンズ３３にはｐＬ０という番号が、右端のマイクロレンズ３３にはｑＬ０という番号が割り当てられている。上述の前提から、ｐＬ０はｑＬ０よりも小さい。

このとき、制御回路２３は、ｐＬ０からｑＬ０までの（ｑＬ０−ｐＬ０＋１）個のマイクロレンズ３３について、各々のマイクロレンズ３３を通過した光束が入射する受光素子３４から相対的に同じ位置の受光素子３４を選択した第１受光素子列を規定する。例えば、各マイクロレンズ３３について、当該マイクロレンズ３３の透過光が入射する範囲のうち左端から３番目の受光素子ａを選択した第１受光素子列Ａを考える。同様に、これとは異なる位置の受光素子３４を、各マイクロレンズ３３の透過光が入射する受光素子３４から選択した第２受光素子列を規定する。例えば、各マイクロレンズ３３について、当該マイクロレンズ３３の透過光が入射する範囲のうち左端から６番目の受光素子ｂを選択した第２受光素子列Ｂを考える。第１受光素子列Ａから出力される信号列と、第２受光素子列Ｂから出力される信号列とは、互いに結像光学系１１の異なる瞳を通った光束に由来する信号列である。

制御回路２３は、第１受光素子列Ａの出力と第２受光素子列Ｂの出力とのずれ量を検出することにより、デフォーカス量を算出する。以下、第１受光素子列Ａを構成する各受光素子の出力をＡ／Ｄ変換したデータである第１信号列をａ（ｉ）と、第２受光素子列Ｂを構成する各受光素子の出力をＡ／Ｄ変換したデータである第２信号列をｂ（ｉ）と表記する。例えばａ（ｐＬ０）は、ｐＬ０という番号が割り当てられたマイクロレンズ３３（つまり、図５（ａ）および図６におけるマイクロレンズ列ＡＡ１の左端のマイクロレンズ３３）を通過した光束に由来するデータを表す。

制御回路２３は像ずれ量の検出に際し、まず上述した第１信号列｛ａ（ｉ）｝＝ａ（ｐＬ０），ａ（ｐＬ０＋１），…，ａ（ｑＬ０）を作成する。次に、上述した第２信号列｛ｂ（ｉ）｝＝ｂ（ｐＬ０），ｂ（ｐＬ０＋１），…，ｂ（ｑＬ０）を作成する。これらの各信号列は、副撮像素子３２から出力された受光信号により得ることができる。次に、このようにして得られた第１信号列｛ａ（ｉ）｝と第２信号列｛ｂ（ｉ）｝に対して周知の方法（いわゆる瞳分割型の位相差検出方式）で像ずれ演算を行い、この演算結果に基づいてデフォーカス量を算出する。

２つの信号列からデフォーカス量を算出する方法はよく知られており、例えば特開昭６０−３７５１３号公報および特開昭６１−２４３４１６号公報に記載の方法を用いることができる。より具体的には、第１信号列｛ａ（ｉ）｝と第２信号列｛ｂ（ｉ）｝（ｉ＝ｐＬ０，ｐＬ０＋１，…，ｑＬ０）とから、これらの信号列の相関量Ｃ（Ｎ）を次式（１）により求める。

ここでＮは第１信号列｛ａ（ｉ）｝と第２信号列｛ｂ（ｉ）｝とのずれ量を表す数であり、シフト数と呼ぶ。また、ｐＬおよびｑＬは、Ｎ＝０の場合はそれぞれ前述のｐＬ０およびｑＬ０であり、それ以外の場合は次式（２）および（３）により定める。

ｐＬ＝ｐＬ０−Ｆｌｏｏｒ（Ｎ／２） …（２）
ｑＬ＝ｑＬ０−Ｆｌｏｏｒ（Ｎ／２） …（３）

なお、上式（２）および（３）において、関数Ｆｌｏｏｒはいわゆる床関数である。つまり、Ｆｌｏｏｒ（ｘ）はｘ以下の最大の整数を表す。制御回路２３は、上述の式（１）を用いてシフト数Ｎを一定範囲（例えば−１０〜＋１０）において（例えば１ずつ）変化させながら、各シフト数に対応する相関量Ｃ（Ｎ）を求め、この一定範囲における相関量Ｃ（Ｎ）の極小値をＣ０、また極小値を与えるシフト数をＮ０とする。次に、こうして得られた大ざっぱなシフト数Ｎ０から、より精緻なシフト数Ｎａを、次式（４）〜（８）により求める。

Ｃｒ＝Ｃ（Ｎ０−１） …（４）
Ｃｆ＝Ｃ（Ｎ０＋１） …（５）
ＤＬ＝（Ｃｒ−Ｃｆ）／２ …（６）
Ｅ＝ＭＡＸ｛Ｃｆ−Ｃ０，Ｃｒ−Ｃ０｝ …（７）
Ｎａ＝Ｎ０＋ＤＬ／Ｅ …（８）

制御回路２３は、このようにして算出されたＮａに焦点検出面の位置に応じた補正量（定数ｃｏｎｓｔ）を加えることにより、焦点検出面上での像ずれ量Δｎ＝Ｎａ＋ｃｏｎｓｔを算出する。最終的なデフォーカス量Ｄｆは、この像ずれ量Δｎと検出開角に依存した定数Ｋｆとを用いた次式（９）により算出することができる。

Ｄｆ＝Ｋｆ×Δｎ …（９）

以上のような演算を行うことにより、特定のフォーカスエリア１０１において選択された１つのマイクロレンズ列（範囲ｉ＝ｐＬ０からｉ＝ｑＬ０のマイクロレンズ３３）の被写体像に対するデフォーカス量を算出することができる。制御回路２３は、３つのマイクロレンズ列ＡＡ１、ＡＡ２、ＡＡ３について上述した演算を行い、３つのデフォーカス量を得る。その後、それら３つのデフォーカス量に基づいて、当該フォーカスエリア１０１の最終的なデフォーカス量を得る。例えば、３つのマイクロレンズ列ＡＡ１、ＡＡ２、ＡＡ３にそれぞれ対応する３つのデフォーカス量の単純平均を、最終的なデフォーカス量とすることができる。

（手動焦点調節モードの説明）
手動焦点調節モードが設定されている場合の制御回路２３の処理内容を説明する。撮像装置１に手動焦点調節モードが設定されているときに、ユーザにより前述の自動焦点調節操作と同様の操作（例えば自動焦点調節ボタンの押下等）が為されると、制御回路２３は、ユーザに対してフォーカスエリアの選択を要求する。

より具体的には、以下のようになる。まず制御回路２３は、副撮像素子３２による撮像を行い、副撮像素子３２の出力に基づいてパンフォーカス画像を合成する。ここでパンフォーカス画像とは、被写界深度が所定のしきい値よりも深い画像のことである。焦点面近傍に配置された複数の正レンズと、それら複数の正レンズの各々に対応して当該正レンズの後側に配置された複数の受光素子があるとき、例えば特開２００９−１９８７７１号公報に記載された技術等を用いる事により、それら複数の受光素子の出力に基づいてパンフォーカス画像を合成することが可能である。

制御回路２３はここで合成したパンフォーカス画像に、図３で示した複数のフォーカスエリア１０１を重畳してファインダーに表示し、ユーザに撮影対象（焦点調節対象）の被写体部分と重なっているフォーカスエリアを１つ選択させる。つまり、ユーザに操作部材の操作（例えばキー操作等）により、いずれか１つのフォーカスエリアを特定する特定操作を行わせる。そして制御回路２３は、入力された特定操作に応じて１つのフォーカスエリアを選択する。以下の説明では、ここで制御回路２３により選択されたフォーカスエリアを主要エリアと称する。

次に制御回路２３は、パンフォーカス画像に対してエッジ抽出処理を実行する。例えば画像に対してラプラシアンフィルタを適用し、絶対値が所定値以上の画素をエッジ部と判定する。なお、その他任意のエッジ検出アルゴリズムを適用することも可能である。続いて制御回路２３は、前述した複数のフォーカスエリア１０１のうち、抽出したエッジ部を含み且つ主要エリアでないフォーカスエリア１０１から、所定のアルゴリズムにより、所定数（例えば３つ）のフォーカスエリア１０１を選択する。以下、ここで選択される所定数のフォーカスエリア１０１をそれぞれ補助エリアと称する。

補助エリアを選択するアルゴリズムについて説明すると、まず主要エリアとエッジ部を含む各フォーカスエリア１０１について、焦点調節状態を検出する。次に、それらのフォーカスエリア１０１について、撮像面における主要エリアとの距離が短いほど高い得点を付ける。つまり、図３に示した面において、主要エリアに近いほど高い得点が付けられることとなる。これと相前後して、それらのフォーカスエリア１０１に、焦点調節状態の検出結果が主要エリアのそれに近いほど高い得点を付ける。つまり、各フォーカスエリア１０１で算出されたデフォーカス量が主要エリアのデフォーカス量に近いほど、高い得点が付けられることとなる。そして、各フォーカスエリア１０１について、このような２つの評価基準により付けられた２つの得点の加重平均を演算し、加重平均値が高いものから順に所定数（例えば３つ）のフォーカスエリアを補助エリアとして選択する。

なお、主要エリアにおいて焦点調節状態を検出できなかった場合には、制御回路２３はファインダーに当該主要エリアを点滅させる等の表示を行い、ユーザに対して焦点調節状態を検出できなかったことを報知する。

この後、制御回路２３は、ユーザがフォーカシングレンズを駆動させる度（あるいは所定時間毎）に、上述の主要エリアおよび補助エリアにおいて焦点調節状態を検出し、検出された焦点調節状態をファインダーの当該フォーカスエリアに相当する位置に被写体像に重畳して表示する。

図７は、補助エリアの選択の一例を示す図である。図７（ａ）は説明のため、被写体のパンフォーカス画像からのエッジ検出結果を示した画像１１０に、全てのフォーカスエリア１０１と、ユーザにより選択指示が為された主要エリア１０２と、制御回路２３が選択した３つの補助エリア１０３とを重畳して示した図である。上述したアルゴリズムにより、主要エリア１０２に近く、またエッジを含んでいるので焦点調節状態を検出しやすい補助エリア１０３が選択されていることがわかる。

また、図７（ｂ）は制御回路２３による電子ビューファインダーの表示内容を示す図である。制御回路２３は手動焦点調節モードにおいて電子ビューファインダーに、図７（ｂ）に示すように、撮像対象の被写体像（スルー画）に重畳して、主要エリア１０２および補助エリア１０３を表す指標を表示する。なお、図７（ｂ）では全てのフォーカスエリア１０１を図示しているが、実際には主要エリア１０２および補助エリア１０３ａ、１０３ｂ、１０３ｃ以外のフォーカスエリア１０１は表示されない。

制御回路２３は、主要エリア１０２と補助エリア１０３とを互いに区別できるような態様で表示する。例えば、異なる色で表示したり、異なる線種（実線と破線等）で表示したり、線の太さを変えたり、一方の角に丸みを付けたりする。図７（ｂ）では一例として、主要エリア１０２の枠線を一本の太線で、補助エリア１０３を相対的に細い二重線でそれぞれ表示している。

制御回路２３は補助エリア１０３の選択後、図７（ｂ）に示すように主要エリア１０２および補助エリア１０３の各々をスルー画に重畳して表示する。その後、所定時間（例えば５秒）が経過するか、あるいはユーザによる撮影予備操作（例えば、レリーズスイッチの半押し操作等）が検出されるかすると、補助エリア１０３のみ表示を消去する。

その後、制御回路２３は、主要エリア１０２および補助エリア１０３の各々において焦点調節状態を繰り返し検出し、ファインダーの主要エリア１０２および補助エリア１０３に対応する位置に、検出された焦点調節状態に応じた表示をそれぞれ行う。例えば、主要エリア１０２において算出されたデフォーカス量が所定のしきい値以下になったとき、主要エリア１０２において合焦したことを表すため、主要エリア１０２の表示内容を変化させる（例えば線の色を変化させる）。また、補助エリア１０３において算出されたデフォーカス量が所定のしきい値以下になったときには、当該補助エリア１０３において合焦したことを表すため、補助エリア１０３を表す指標を、主要エリア１０２とは異なる態様で表示する。

図８は、手動焦点調節モード時に制御回路２３が実行する処理のフローチャートである。制御回路２３が不図示の記憶媒体（例えばフラッシュメモリ等）に格納されている所定の制御プログラムを実行することにより、図８の処理が実行される。以下の図８の処理の説明において、個々のステップは特に記載がない限り、制御回路２３により実行されるものとする。

まずステップＳ１００では、副撮像素子３２により被写体像を撮像する。ステップＳ１１０では、ステップＳ１００における副撮像素子３２の出力に基づいてパンフォーカス画像を合成する。ステップＳ１２０では、ユーザによる操作部材の操作に応じて、複数のフォーカスエリア１０１から主要エリア１０２を選択する。ステップＳ１３０では、ステップＳ１１０で合成したパンフォーカス画像に、ステップＳ１２０で選択された主要エリア１０２の指標（例えば六角形のマーク等）を重畳して表示する。ステップＳ１４０では、ユーザが操作部材を用いた決定操作（例えばＡＦボタンの押下等）を行ったか否かを判定する。ユーザにより決定操作が行われていなかった場合にはステップＳ１００に戻り、ステップＳ１３０までの処理を再度繰り返す。ユーザが決定操作を行っていた場合にはステップＳ１５０に進む。

ステップＳ１５０では、最新のパンフォーカス画像に対してエッジ検出を行う。ステップＳ１６０では、複数のフォーカスエリア１０１から、ステップＳ１５０で検出されたエッジを含む、主要エリア１０２以外のフォーカスエリア１０１を抽出する。以下の説明ではここで抽出されたフォーカスエリア１０１を候補エリア（補助エリアの候補の意）と呼ぶ。ステップＳ１７０では、後述する補助エリア選択処理を実行し、候補エリアから所定数（例えば３つ）の補助エリアを選択する。ステップＳ１８０では、ファインダーに被写体像と重畳して、ステップＳ１７０で選択された全ての補助エリアを表示する。前述の通り、ここで表示された補助エリアは、所定時間が経過する等のきっかけで表示されなくなる。

ステップＳ１９０では、スルー画を表示するための被写体像が撮像される。スルー画のための被写体像は主撮像素子２２と副撮像素子３２のどちらで撮像してもよい。本実施形態では主撮像素子２２により撮像される。ステップＳ２００では、ステップＳ１９０で撮像された被写体像の画像データがファインダーに表示される。つまり、ファインダーには被写体像が表示される。ステップＳ２１０では副撮像素子３２の出力に基づいて、主要エリア１０２および補助エリア１０３における焦点調節状態を検出する。ステップＳ２２０では、ステップＳ２１０で検出された主要エリア１０２および補助エリア１０３の焦点調節状態を被写体像に重畳してファインダーに表示する。前述の通り、例えば主要エリア１０２のデフォーカス量が所定のしきい値以下であれば、主要エリア１０２を表す指標（例えば図７（ｂ）に六角形で示すマーク）の枠線が通常とは異なる色で表示され、補助エリア１０３のデフォーカス量が所定のしきい値以下であれば、通常は表示されない当該補助エリア１０３の指標（例えば図７（ｂ）に示す、枠線が二重線の六角形）がファインダーに表示される。

ステップＳ２３０では、ユーザによりレリーズ操作（例えばレリーズスイッチの押下）が為されたか否かを判定する。レリーズ操作がなされていない場合にはステップＳ１９０に戻り、ステップＳ１９０〜ステップＳ２２０の処理を繰り返し実行する。他方、レリーズ操作が為されていた場合にはステップＳ２４０に進み、主撮像素子２２による本撮像および不図示の記憶媒体への画像データの記憶等が実行される。

図９は、図８のステップＳ１７０で呼び出される補助エリア選択処理のフローチャートである。まずステップＳ２５０では、撮像範囲内の位置に基づき各候補エリアの得点を決定する。撮像範囲内の位置に基づく得点とは、前述の通り、主要エリア１０２に近い候補エリアほど高くなるような得点である。ステップＳ２６０では、副撮像素子３２の出力を用いて主要エリア１０２および各候補エリアにおける焦点調節状態を検出する。ステップＳ２７０では、ステップＳ２６０で検出した焦点調節状態に基づき各候補エリアの得点を決定する。焦点調節状態に基づく得点とは、前述の通り、主要エリア１０２のデフォーカス量に近いデフォーカス量の候補エリアほど高くなるような得点である。ステップＳ２８０では、ステップＳ２５０で決定した各候補エリアの得点と、ステップＳ２７０で決定した各候補エリアの得点との加重平均を演算し、加重平均値が高いものから順に所定数（例えば３つ）のフォーカスエリアを補助エリアとして選択する。

上述した第１の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）制御回路２３は、まず撮像範囲に設けられた複数のフォーカスエリア１０１から主要エリア１０２を選択する。また、被写界深度が所定のしきい値より深いパンフォーカス画像を作成し、そのパンフォーカス画像のエッジを検出する。そして、複数のフォーカスエリア１０１のうち、検出されたエッジを含む、主要エリア１０２以外のフォーカスエリア１０１から、３つの補助エリア１０３を選択する。その後、撮像対象の被写体像を表示する電子ビューファインダーに、被写体像に重畳して、主要エリア１０２および補助エリア１０３に対応する位置に、主要エリア１０２と補助エリア１０３との各々において検出した焦点調節状態をそれぞれ表示する。このようにしたので、焦点調節状態の検出結果を撮影の妨げになることなく表示することができる。また、補助エリア１０３においての焦点調節状態の検出は被写体のエッジ部がエリア内にあるため安定して行うことが可能なので、フォーカシングレンズを高速に駆動させた場合であっても確実に合焦を検出することが可能となる。

（２）撮像ユニット３０は、結像光学系１１により被写体像が結像される所定の焦点面の近傍に二次元状に配置された複数のマイクロレンズ３３と、複数のマイクロレンズ３３の各々に対応して当該マイクロレンズ３３の後側に配置された複数の受光素子３４を有する副撮像素子３２とを有する。制御回路２３は、複数の受光素子３４の出力を用いてパンフォーカス画像を合成すると共に、結像光学系１１の異なる一対の領域をそれぞれ通過した一対の光束に基づく複数の受光素子３４の出力の相関演算を行うことにより、結像光学系１１の焦点調節状態を検出する。このようにしたので、パンフォーカス画像の合成と焦点調節状態の検出とを１つの撮像ユニット３０で行うことが可能となり、部品点数を削減することができる。

（３）制御回路２３は、検出したエッジを含む、主要エリア１０２以外のフォーカスエリア１０１の各々について、主要エリア１０２からの距離が短いものほど高い得点を付す。また、そのフォーカスエリア１０１において検出されたデフォーカス量と、主要エリア１０２において検出されたデフォーカス量とが近い（すなわち両被写体部分間の距離が短い）ものほど高い得点を付す。そして、最も得点の高い３つのフォーカスエリア１０１を補助エリア１０３として選択する。このようにしたので、主要エリア１０２から大きく離れた位置のフォーカスエリア１０１が補助エリア１０３として選択されず、手動焦点調節時に被写体への集中を阻害しない。

（４）液晶ディスプレイ４１には、主要エリア１０２が選択される以前には、被写体のパンフォーカス画像が表示される。このようにしたので、主要エリア１０２の選択を的確に行うことが可能となる。

（５）補助エリア１０３の決定後、所定時間の間だけファインダーに選択された補助エリア１０３を表す指標が表示される。このようにしたので、ユーザは予め補助エリア１０３の位置を把握できるので、その後の手動焦点調節時に当該補助エリア１０３の合焦表示が為された場合にも、そのような表示への意外性がなく、被写体への集中を妨害する度合いが低くなる。

（６）手動焦点調節モードにおいて、画面内位置および前後位置の観点から目標被写体に近い被写体に合焦した際に、補助エリア１０３の表示からユーザがそのような被写体に合焦したことを読み取ることができる。そのような表示を目安にゆっくりと焦点調節を行うことが可能となるので、主要エリア１０２が焦点調節状態を検出しにくい被写体に合わせてある場合であっても的確に合焦させることが可能となる。また、補助エリア１０３が主要エリア１０２に近くなるので、主要エリア１０２において焦点調節状態を検出できなかった場合であっても、他の補助エリア１０３を新たな主要エリア１０２に設定し直すことで、迅速な焦点調節が可能となる。

（第２の実施の形態）
本発明を適用した第２の実施の形態の撮像装置は、第１の実施の形態の撮像装置と同様の構成を有するが、主要エリア１０２の選択時におけるファインダーの表示内容が第１の実施の形態とは異なる。なお、以下の説明において、第１の実施の形態と同様の各部については、第１の実施の形態と同一の符号を付し説明を省略する。

本実施形態の制御回路２３は、主要エリア１０２の選択時、ファインダーにパンフォーカス画像を表示するが、パンフォーカス画像に重畳して全てのフォーカスエリア１０１を表示するのではなく、エッジが存在すると認識したフォーカスエリア１０１のみを表示する。つまり、本実施形態の制御回路２３は、パンフォーカス画像の合成後、主要エリア１０２の選択前にエッジ検出を行い、検出されたエッジを含むフォーカスエリア１０１（すなわち候補エリア）のみをパンフォーカス画像に重畳して表示する。ただし、表示されていないフォーカスエリア１０１（エッジを含まないフォーカスエリア１０１）を必ずしも選択できないというわけではない。以下、本実施形態の撮像装置１における主要エリア１０２の選択方法について説明する。

図１０は、第２の実施の形態における主要エリア１０２の選択に用いられる操作部材を示す図である。本実施形態のカメラボディ２０の背面には、図１０に示す操作部６０が設けられている。操作部６０の中央には決定ボタン６１が設けられ、この決定ボタン６１の周囲には、フォーカスエリア１０１の形状に合わせた６方向に、６つの粗動用キー６２ａ〜６２ｆがそれぞれ設置されている。また、粗動用キー６２ａ〜６２ｆの周囲には、上下左右の４方向に、微動用キー６３ａ〜６３ｄがそれぞれ設置されている。

ユーザが粗動用キー６２ａ〜６２ｆのいずれかを押下すると、主要エリア１０２の選択のためにファインダーに表示されているカーソル（いずれか１つのフォーカスエリア１０１を指し示している）が、当該粗動用キーの方向に位置する最至近の候補エリアに移動する。その一方で、ユーザが微動用キー６３ａ〜６３ｄのいずれかを押下すると、カーソルは当該微動用キーの方向に位置する最至近のフォーカスエリア１０１に、候補エリアであるか否かを問わずに移動する。ユーザが決定ボタン６１を押下すると、制御回路２３は現在カーソルにより指し示されているフォーカスエリア１０１を、主要エリア１０２として選択する。主要エリア１０２の選択後の動作は第１の実施の形態と同様である。

なお、上記の主要エリア１０２の選択操作時、候補エリアの指標は常に表示されているが、それ以外のフォーカスエリア１０１については当該フォーカスエリア１０１をカーソルが指し示している場合のみ表示される。

上述した第２の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）液晶ディスプレイ４１には、主要エリア１０２が選択される以前には、被写体像に重畳して、検出されたエッジを含むフォーカスエリア１０１に対応する位置の各々に、当該フォーカスエリア１０１を表す指標を表示する。このようにしたので、エッジを含む、すなわち焦点調節状態が確実に検出されるフォーカスエリア１０１を主要エリア１０２として選択することが可能となる。すなわち、初めから焦点調節状態を検出不能となるようなフォーカスエリア１０１を選択する可能性が減じるので、より迅速な焦点調節が可能となる。

（２）操作部６０の操作により、候補エリア以外のフォーカスエリア１０１を選択することができる。このようにしたので、ユーザの意思によりエッジのあるフォーカスエリア１０１を放棄してでも目標となる被写体に主要エリア１０２を合わせることが可能となり、利便性が向上する。

（第３の実施の形態）
本発明を適用した第３の実施の形態の撮像装置は、第２の実施の形態の撮像装置と同様に、主要エリア１０２の選択時におけるファインダーの表示内容が第１の実施の形態とは異なる。本実施形態の制御回路２３は、主要エリア１０２の選択時、ファインダーにパンフォーカス画像を表示するが、このとき、エッジ検出の結果を重畳して表示する。つまり、本実施形態の制御回路２３は、パンフォーカス画像の合成後、主要エリア１０２の選択前にエッジ検出を行い、エッジが検出されたピクセルを強調してファインダーに表示する。例えば、エッジと判定されたピクセルを黒、それ以外のピクセルを白とした画像を作成し、コントラストを落としたパンフォーカス画像に重畳してファインダーに表示する。

上述した第３の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）液晶ディスプレイ４１には、主要エリア１０２が選択される以前には、被写体像に重畳して、制御回路２３により検出されたエッジが表示される。このようにしたので、第２の実施形態と同様に、初めから焦点調節状態を検出不能なフォーカスエリア１０１を主要エリア１０２として選択する可能性が減じるので、より迅速な焦点調節が可能となる。また、あるフォーカスエリア１０１を主要エリア１０２として選択したときに、実質的に画像のどの部分の焦点が検出されるのかがより細かく推定可能となるので、より確実で迅速な焦点調節が可能となる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
各実施の形態において、スルー画は主撮像素子２２と副撮像素子３２のどちらの出力に基づくものであってもよい。つまり、電子ファインダーユニット４０の液晶ディスプレイ４１には、主撮像素子２２により撮像された被写体像と、副撮像素子３２の出力に基づく合成画像と、のいずれを表示してもよいし、両者を切り替えて表示可能に撮像装置１を構成してもよい。

（変形例２）
上述した各実施の形態において、撮像装置１は２種類の撮像素子（主撮像素子２２と副撮像素子３２）を有していた。本発明は、このような構成に限定されず、必ずしもこれら２種類の撮像素子を必要としない。例えば主撮像素子２２のみを有する撮像装置１に本発明を適用することも可能である。この場合、制御回路２３は、絞りを絞った状態で主撮像素子２２による撮像を行うことにより、被写界深度が深いパンフォーカス画像を得ることができる。また、焦点調節状態の検出には、別途位相差方式の焦点検出装置を用意しそれを用いる事としてもよいし、主撮像素子２２上に焦点検出用の受光素子を設けそれを用いる事としてもよい。

その他の例として、副撮像素子３２を有する撮像ユニット３０のみを備えた撮像装置に本発明を適用することもできる。この場合、本撮像を副撮像素子３２により行うこととすればよい。なお、上述した各実施の形態に示した構成やこの変形例の構成において、副撮像素子３２の出力から合成した画像を本撮像の結果として不図示の記憶媒体に記憶させるのではなく、副撮像素子３２の出力そのものを記憶媒体に記憶させるようにしてもよい。

（変形例３）
主要エリア１０２および補助エリア１０３の個数は、上述した各実施例で述べたものに限定されない。例えば主要エリア１０２を複数選択してもよい。また、補助エリア１０３の数は３つではない所定数としてもよいし、状況に応じて補助エリア１０３の数が動的に変化するようにしてもよい。例えば、付された得点が所定のしきい値以上となる全てのフォーカスエリア１０１を補助エリア１０３として選択するようにしてもよい。

（変形例４）
補助エリア１０３を選択するアルゴリズムには、撮像範囲内の位置と焦点調節状態のいずれか一方のみを用いてもよい。また、主要エリア１０２との距離やデフォーカス量の差だけではなく、その方向を考慮してもよい。例えば主要エリア１０２から補助エリア１０３までのベクトルの角度が互いに−６０度〜＋６０度の範囲に入らないように補助エリア１０３が選択されるようにしてもよい。このようにすることで、補助エリア１０３が密集してしまうことを防ぐことができる。また、上述したアルゴリズムは一例であり、他の要因に基づいて補助エリア１０３を選択するようにしてもよい。

（変形例５）
焦点調節状態を検出する際に抽出するマイクロレンズ列は、必ずしもあるフォーカスエリア１０１の内側に含まれるマイクロレンズ３３のみから成るとは限らない。例えば、隣接するフォーカスエリア１０１の内側に含まれるマイクロレンズ３３が、マイクロレンズ列に含まれていてもよい。

図１１は、マイクロレンズ列を構成するマイクロレンズ３３が他のフォーカスエリア１０１とオーバーラップする例を示す模式図である。図１１に示すように、フォーカスエリア１０１ｂにおける焦点調節状態を検出するために選択されるマイクロレンズ列が、図５（ａ）に示すマイクロレンズ列ＡＡ１ではなく、図１１に示す、隣接するフォーカスエリア１０１ａやフォーカスエリア１０１ｃの内側のマイクロレンズ３３を含むマイクロレンズ列ＡＡ１ｅであってもよい。このようにマイクロレンズ列を構成するマイクロレンズ３３を他のフォーカスエリア１０１とオーバーラップさせることにより、撮像範囲全体で漏れなく焦点調節状態を検出することが可能となり、焦点調節状態の検出精度が向上する。

なお、図１１のようにマイクロレンズ列を構成するマイクロレンズ３３をオーバーラップさせた場合に、フォーカスエリア１０１自体を他のフォーカスエリア１０１とオーバーラップするように設けてもよい。図１１の例で説明すると、フォーカスエリア１０１ｂがマイクロレンズ列ＡＡ１ｅを含む正六角形であってもよい。

（変形例６）
エッジ検出を実行した後、検出したエッジ部に対して輝点排除処理を実行するようにしてもよい。輝点排除処理とは、エッジ検出の基となるパンフォーカス画像を参照して、所定の面積以下の範囲だけ周囲に比べ極端に輝度が高い、という箇所を排除する処理である。このようにすることで、曲面による強い光の反射（いわゆるテカり）や点光源等、焦点調節状態の検出が困難な部分が予め排除され、焦点調節状態の検出が確実に行えるようになる。

（変形例７）
焦点調節状態の表示として、デフォーカス量が所定のしきい値以下になった場合（すなわち合焦状態になった場合）に表示内容を変化させるだけではなく、前ピンや後ピンであることを表す表示を行ってもよい。例えば上記の合焦評価に用いるしきい値を第１のしきい値としたとき、より大きい第２のしきい値を設け、第１のしきい値より大きいが第２のしきい値以下のデフォーカス量である主要エリア１０２および補助エリア１０３があった場合には、当該フォーカスエリア１０１の表示を変化させてもよい。表示態様の例としては、フォーカスエリア１０１を表す六角形を右半分と左半分に分割し、前ピンの場合には右半分だけを、後ピンの場合には左半分だけをそれぞれ表示することが考えられる。また、合焦状態からのずれ量に応じて枠線の太さを変更することもできる。このように、合焦状態からある程度の範囲までについてのみ焦点調節状態に応じた表示を行うのは、フォーカスエリア１０１の表示が目障りに感じられるのを防ぐためである。

（変形例８）
一旦選択された補助エリア１０３を、ユーザ操作により切り替え可能にしてもよい。例えば、自動的に選択された補助エリア１０３が表示されている間に、ユーザが複数の補助エリア１０３からいずれか１つを選択可能としておく。ユーザがいずれか１つの補助エリア１０３を選択し、決定ボタン等を押下すると、その補助エリア１０３が、ユーザがキー等により指し示す方向に存在する最も近い候補エリアに切り替わる（つまり、その候補エリアが新たな補助エリア１０３となり、元の補助エリア１０３は補助エリアでなくなる）ように構成することができる。このようにすることで、接写等の撮像装置１を移動させることができない場合にも最適な補助エリア１０３が用いられるようになり、撮像装置１の利便性が向上する。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１…撮像装置、１０…レンズ鏡筒、１１…結像光学系、２０…カメラボディ、２１…ペリクルミラー、２２…主撮像素子、２３…制御回路、３０…撮像ユニット、３１…マイクロレンズアレイ、３２…副撮像素子、３３…マイクロレンズ、３４…受光素子、４０…電子ファインダーユニット、４１…液晶ディスプレイ、４２…接眼レンズ、１０１、１０１ａ、１０１ｂ、１０１ｃ…フォーカスエリア

Claims (7)

1. 光学系を通過した被写体からの光束を撮像する撮像部と、
   前記撮像部から出力された信号により生成されたパンフォーカス画像の一部の領域を、第１操作部材が操作されたことにより選択する選択部と、
   前記選択部により選択された領域と、前記パンフォーカス画像内での前記選択された領域の位置により選択された画像のエッジを含む領域とにおける前記光学系の焦点調節状態を検出する焦点検出部と、
   前記被写体の像と、前記焦点検出部で検出された前記焦点調節状態とを表示する表示部と、を備え、
   前記光学系の第２操作部材が操作されたことにより前記光学系のフォーカシングレンズが駆動されると、前記焦点検出部による前記光学系の焦点調節状態の検出と、前記被写体の像と検出された前記焦点調節状態との前記表示部への表示と、を行う撮像装置。
2. 請求項１に記載の撮像装置において、
   前記表示部は、前記焦点調節状態として、合焦状態であるか前ピンであるか後ピンであるかのいずれかを表示する撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記撮像部は、複数のレンズと、前記複数のレンズ毎に設けられた複数の受光部を有する撮像素子とを有し、前記複数の受光部からの信号により前記画像を合成する撮像装置。
4. 請求項１から３のいずれか一項に記載の撮像装置において、
   前記画像は、前記光学系の絞りを絞った状態で前記撮像部で撮像された画像である撮像装置。
5. 請求項１から４のいずれか一項に記載の撮像装置において、
   前記画像における前記選択部により選択された領域からの距離に基づいて、前記エッジを含む領域が決定される撮像装置。
6. 請求項１から５のいずれか一項に記載の撮像装置において、
   前記選択部により選択された領域の前記パンフォーカス画像内の位置からの距離が近い位置のエッジを含む領域が、前記エッジを含む領域として選択される撮像装置。
7. 請求項１から６のいずれか一項に記載の撮像装置において、
   前記画像のエッジを検出するエッジ検出部を備える撮像装置。