JP6991807B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、１つの撮像光学系に対して複数の撮像部を有する撮像装置に関する。

一般に、光学像を複数の撮像部に結像させて撮影を行う撮像装置が知られている。例えば、ビームスプリッタを用いて光学像を、画素数が異なる２つの撮像素子に結像するようにした撮像装置がある（特許文献１参照）。ここでは、撮像素子毎に露光条件を変更して撮影を行って得られた画像を合成し、ダイナミックレンジが広い画像が得られるようにしている。

特開２００２－２９０８２２号公報

上述の特許文献１に記載の撮像装置では、撮像光学系から入射した光学像をビームスプリッタで分割して得られた一方の光学像の結像位置に第１の撮像素子を配している。そして、他方の光学像の結像位置に第２の撮像素子を配置している。

ところで、第１および第２の撮像素子の取付に用いる部品には不可避的に寸法のバラつきが生じる。このため。第１および第２の撮像素子は所定の結像位置から若干ずれた位置に固定されることがある。

このため、第１の撮像素子に完全に合焦するように撮像光学系を制御した際、第２の撮像素子においてはピントの合っていない画像が撮影される懸念がある。さらには、取付位置が異なる第１および第２の撮像素子２では、撮像素子で生じる熱に起因する変形が異なる。よって、撮像装置の使用中において、第１および第２の撮像素子における相対的な光軸方向のずれ量が大きくなって、第１および第２の撮像素子ともにピントが合った画像を得ることが困難となってしまう。

そこで、本発明の目的は、単一の撮像光学系と複数の撮像部を有する際に、複数の撮像部において合焦した画像を得ることが可能な撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、１つの撮像光学系を介して光学像が入射する複数の撮像部を有する撮像装置であって、前記複数の撮像部の各々に対してその撮影条件を設定するための設定手段と、前記設定手段で設定された撮影条件に応じて、前記撮像光学系の焦点調節動作を行う際の前記複数の撮像部の各々における優先度を合焦度合として決定する決定手段と、前記合焦度合に基づいて前記撮像光学系を制御して焦点調節動作を行う制御手段と、を有し、前記制御手段は、前記合焦度合に応じて前記焦点調節動作を行う際、前記複数の撮像部のうち少なくとも２つの焦点深度内に、前記撮像光学系におけるフォーカス位置が位置するように、前記撮像光学系における絞り値を制御することを特徴とする。

本発明によれば、単一の撮像光学系と複数の撮像部を有する際に、複数の撮像部において合焦した画像を得ることができる。

本発明の第１の実施形態による撮像装置の１つである撮像装置の一例についてその構成を示すブロック図である。 図１に示す撮像装置において撮像光軸に沿った断面を示す図である。 図１に示すカメラによる撮影を説明するための図である。 図３に示す合焦動作を説明するためのフローチャートである。 図１に示すカメラ回路制御マイコンで行われるフォーカス位置の決定の第１の例を説明するための図である。 図１に示すカメラ回路制御マイコンで行われるフォーカス位置の決定の第２の例を説明するための図である。 図１に示すカメラ回路制御マイコンで行われるフォーカス位置の決定の第３の例を説明するための図である。 図１に示すカメラ回路制御マイコンで行われるフォーカス位置の決定の第４の例を説明するための図である。 本発明の第２の実施形態によるカメラにおける撮影を説明するための図である。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の１つである撮像装置の一例についてその構成を示すブロック図である。また、図２は、図１に示す撮像装置において撮像光軸に沿った断面を示す図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、カメラ本体（撮像装置本体）１およびレンズユニット（撮像光学系）２を有している。そして、レンズユニット２は、カメラマウント１ａにレンズマウント２ａを係合させることによって、カメラ本体１に対して着脱可能に取り付けられる。図示のように、レンズユニット２はフォーカスレンズ３０、レンズ駆動回路３１、およびレンズ制御回路１９を有しており、レンズ駆動回路３１は、レンズ制御回路１９の制御下でフォーカスレンズ２０を駆動する。

カメラ本体１には、半透過ミラー（以下単にミラーと呼ぶ）３が備えられている。ミラー駆動回路１７はカメラ回路制御マイコン１５の制御下でミラー駆動機構（図示せず）によってミラー３を駆動する。なお、ミラー３はアップ状態およびダウン状態のいずれかに位置づけられる。

ダウン状態では、ミラー３を透過した光が第１撮像部４に分配され、ミラー３を反射した光が第２撮像部５に分配される。一方、アップ状態では、ミラー３は図中上方に退避し、第１撮像部のみに光が導かれる。

第１撮像部４および第２撮像部５の各々は、例えば、ＣＣＤ又はＣＭＯＳセンサを備えており、可視光域の光を電気信号に変換する。第１撮像部４および第２撮像部５はそれぞれ第１焦点検出センサ２２および第２焦点検出センサ２４を備えている。なお、第１焦点検出センサ２２および第２焦点検出センサ２４の各々は所謂像面位相差検出方式で用いられるセンサであり、光学像に応じた第１焦点検出信号および第２焦点検出信号を出力する。

第１焦点検出信号および第２焦点検出信号は、それぞれ第１焦点駆動回路２３および第２焦点駆動回路２５に送られる。そして、第１焦点駆動回路２３および第２焦点駆動回路２５はそれぞれ第１焦点検出信号および第２焦点検出信号に応じた第１被写体像信号および第２被写体像信号を出力する。これら第１被写体像信号および第２被写体像信号はカメラ回路制御マイコン１５に送られる。

カメラ回路制御マイコン１５は、第１被写体像信号および第２被写体像信号に基づいて像面位相差検出方式によって焦点検出を行う。例えば、カメラ回路制御マイコン１５は、第１被写体像信号および第２被写体像信号に基づいてデフォーカス量およびデフォーカス方向を求める。カメラ回路制御マイコン１５はこれらデフォーカス量およびデフォーカス方向をレンズ制御回路１９に送る。レンズ制御回路１９はデフォーカス量およびデフォーカス方向に基づいてレンズ駆動回路３１によってフォーカスレンズ３０を撮像光軸に沿って駆動して合焦位置とする。なお、焦点検出方式は像面位相差検出方式に限定されない。

第１撮像部４は、第１撮像駆動／制御回路６によって駆動／制御される。第１撮像部４の出力である電気信号（アナログ信号）は第１Ａ／Ｄ変換回路７によってデジタル信号（第１デジタル信号）に変換される。また、第２撮像部５は第２撮像駆動／制御回路８によって駆動／制御される。第２撮像部５の出力であるアナログ信号は第２Ａ／Ｄ変換回路９によってデジタル信号（第２デジタル信号）に変換される。

第１デジタル信号および第２デジタル信号は画像処理回路１０に送られる。画像処理回路１０は第１デジタル信号および第２デジタル信号に対して所定の画像処理を行って、それぞれ第１画像データおよび第２画像データを生成する。

画像処理回路１０は第１画像データおよび第２画像データをバッファメモリ１１に保存する。さらには、デジタル回路制御マイコン１４は表示部材駆動回路１２によって、液晶表示装置などの表示装置１３およびファインダー内表示装置５０に選択的に第１画像データおよび第２画像データに応じた画像を表示する。

なお、第１撮像部４および第２撮像部５は同時に静止画又は動画を撮影することが可能である。また、表示装置１３およびファインダー内表示装置５０には、撮影モード、絞り値、シャッタスピード値、およびＩＳＯ感度などの各種撮影情報が表示される。また、ユーザーは接眼レンズ５１によってファインダー内表示装置５０に表示される画像および各種撮影情報を拡大して観察することができる。

図示のように、カメラ本体１には、デジタル回路制御マイコン１４およびカメラ回路制御マイコン１５が備えられている。デジタル回路制御マイコン１４はＣＰＵバスを介して画像処理回路１０および表示部材駆動回路１２を統括的に制御しデータの授受を行う。カメラ回路制御マイコン１５は、スイッチおよび釦などの状態を検知するとともに、前述のようにミラー駆動回路１７を制御する。さらに、カメラ回路制御マイコン１５にはＥＥＰＲＯＭ１８が備えられており、ＥＥＰＲＯＭ１８にはカメラに設定された各種設定値が記録される。

図示のように、カメラ回路制御マイコン１５は、マウント接点２０を介してレンズ制御回路１９と通信を行う。レンズユニット２がカメラ本体１に接続されると、マウント接点２０はカメラ回路制御マイコン１５に接続を示す接続信号を送信する。

レンズユニット２にはレンズ内メモリ２１が備えられており、レンズ内メモリ２１にはレンズユニット２に係る固有情報が記録されている。この固有情報には、例えば、レンズユニット２の焦点距離、画角、および絞り量に関する情報が含まれる。

なお、デジタル回路制御マイコン１４およびカメラ回路制御マイコン１５は相互に通信を行って、協調してカメラ全体を制御する。

スイッチセンス回路１６には、撮影モード設定ボタン７０、第１撮影ボタン７１、および第２撮影ボタン７２が接続されている。そして、スイッチセンス回路１６は、これにボタンの操作状態に応じた入力信号をカメラ回路制御マイコン１５に送る。

撮影モード設定ボタン７０は、第１撮像部４および第２撮像部５で撮影を行う際の撮影モードを設定する際に用いられる。撮影モード設定ボタン７０における設定（撮影モード）に基づいて、カメラ回路制御マイコン１５は第１撮影部４および第２撮影部５における撮影モードを制御する。第１撮影ボタン７１は第１撮像部４による撮影を指示する際に用いられる。第２撮影ボタン７２は第２撮像部５による撮影を指示する際に用いられる。

続いて、図２を参照して、第１撮像部４および第２撮像部５の位置関係について説明する。

前述のように、ミラー３がダウン状態の場合には、ミラー３を透過した光が第１撮像部４に入射し、ミラー３で反射した光が第２撮像部５に入射する。第１撮像部４は、カメラマウント１ａと平行な状態に取り付けられている。一方、第２撮像部５はカメラマウント１ａと直交する状態に取り付けられている。つまり、第２撮像部５はレンズユニット２の撮像光軸に対して直交する状態に取り付けられている。

ここで、カメラマウント１から第１撮像部４および第２撮像部５に至るフランジバックの長さについて説明する。

撮影光軸Ａとカメラマウント１ａの表面との交点Ｍからミラー３上の点Ｒを通って第１撮像部４上の点ＦＢ１に至る長さが第１撮像部４のフランジバック（第１フランジバック）である。また、交点Ｍから点Ｒを通って点ＦＢ２に至る長さが第２撮像部５のフランジバック（第２フランジバック）である。そして、第１フランジバックおよび第２フランジバックの光路長は互いに等しくなるように設計される。

第１フランジバックおよび第２フランジバックの光路長を等しくすれば、フォーカスレンズ３０を駆動して、第１撮像部４および第２撮像部５の双方においてピントが合った画像を撮影するが理論的には可能となる。

ところが、前述のように、第１撮像部４と第２撮像部５とは互いに直交する状態であり、異なる部材に固定されている。このため、部材の部品寸法のバラつきおよび組立の際のバラつきなどに起因して、第１撮像部４のフランジバックと第２撮像部５のフランジバックとには必ず誤差が生じる。

さらには、カメラを使用する際には、第１撮像部４および第２撮像部５の発熱によって、固定部材などの部品が熱膨張してその寸法が変化する。前述のように、第１撮像部４および第２撮像部５はその固定部材が異なっているので、熱膨張によるフランジバックの変化量が異なる。よって、カメラを使用する際には、第１撮像部４と第２撮像手段５のフランジバックの差はますます大きくなる。

このため、例えば、第１焦点検出センサ２２の出力である第１の焦点検出信号に基づいて焦点調節動作を行った際には、第１撮像部４にてピントの合った画像が得られるが、第２撮像部５ではピントの合った画像が得られない状況となる恐れがある。

つまり、第１撮像部４の焦点深度（被写体深度）の範囲、第２撮像部５の焦点深度の深度がずれている場合に起こりやすい。その場合、どちらか一方の撮像部にのみピントの合った画像が得られるように、フォーカスレンズ３０にて焦点調節が行われる必要が起こる。

図３は、図１に示すカメラによる撮影を説明するための図である。そして、図３（ａ）は第１撮像部および第２撮像部において同時に撮影を行う場合の撮影を説明するためフローチャートである。また、図３（ｂ）は第１撮像部および第２撮像部の各々における設定および合焦度合の一例を示す図である。

ユーザーは、撮影モード設定ボタン７０を用いて、第１撮像部４の撮影条件（例えば、撮影モード）を設定する（ステップＳ１０）。さらに、ユーザーは、撮影モード設定ボタン７０を用いて、第２撮像部５の撮影モードを設定する（ステップＳ２０）。ステップＳ２０の次にステップＳ１０を行うようにしてもよい。また、ユーザーは撮影モード設定ボタン７０の操作によって、動画撮影モード、静止画撮影モード、およびＡＥ／ＬＶの３つ撮影モードからその一つを選択する。

なお、ＡＥ／ＬＶモードにおいては、撮影によって得られた画像の記録は行われない。この撮影モードは、被写体の明るさを測定して撮影の際の設定を変更し、さらには、撮像素子に入射した光学像に応じた画像を表示装置１３などに表示するライブビューを行うモードである。また、第１撮像部４および第２撮像部５における撮影モードは同一であっても異なっていてもよい。さらには、ユーザーが撮影モードを選択することなく、カメラの使用状態に応じてカメラ回路制御マイコン１５が撮影モードを設定するようにしてもよい。

続いて、カメラ回路制御マイコン１５は、設定された撮影モードに応じて、第１撮像部４および第２撮像部における合焦度合をそれぞれＫ１およびＫ２として設定する（ステップＳ１１）。

合焦度合Ｋ１およびＫ２は合焦動作を行う際の第１撮像部４および第２撮像部５の合焦の優先度（度合）を示す。図示の例では、合焦度合Ｋ１およびＫ２の各々は０から１の間の数値で表される。例えば、高精細な静止画を撮影する場合には、合焦度合が高い方が望ましい。一方、一般的に静止画よりも解像度が低い動画を撮影する場合には、ピントに対する精度の要求が厳しくないので合焦度合を低く設定しても問題ないことが多い。さらに、ＡＥ／ＬＶ表示にのみ撮像部を用いる場合には、合焦度合を低く設定することが望ましい。

図３（ｂ）には撮像部における撮影モードの設定と合焦度合の設定との関係が示されている（図３（ｂ）において、合焦度合Ｋｎのｎは１又は２を示す）。図示の例では、撮影モードが静止画である場合には、合焦度合Ｋ１およびＫ２が最も高くなり、ＡＥ／ＬＶモードの際には合焦度合Ｋ１およびＫ２が最も低くなる。なお、合焦度合Ｋ１およびＫ２はユーザーが設定するようにしもよく、カメラ製造の際に予め設定するようにしてもよい。

次に、カメラ回路制御マイコン１５は第１の撮像部４について合焦指示があったか否かを判定する（ステップＳ１２）。合焦指示がないと（ステップＳ１２において、ＮＯ）、カメラ回路制御マイコン１５は待機する。同様に、カメラ回路制御マイコン１５は第２の撮像部５について合焦指示があったか否かを判定する（ステップＳ２２）。合焦指示がないと（ステップＳ２２において、ＮＯ）、カメラ回路制御マイコン１５は待機する。

なお、第１撮像部４に係る合焦指示は第１撮影ボタン７１の半押し操作によって行われる。また、第２撮像部５に係る合焦指示は第２撮影ボタン７２の半押し操作によって行われる。さらには、第１撮影ボタン７１又は第２撮影ボタン７２の半押し操作によって第１撮像部４および第２撮像部５について合焦指示を行うようにしてもよい。

第１の撮像部４について合焦指示があると（ステップＳ１２において、ＹＥＳ）、カメラ回路制御マイコン１５は、後述するようにして合焦度合Ｋ１に基づいて合焦動作を行う（ステップＳ１３）。同様に、第２の撮像部４について合焦指示があると（ステップＳ２２において、ＹＥＳ）、カメラ回路制御マイコン１５は、後述するようにして合焦度合Ｋ２に基づいて合焦動作を行う（ステップＳ１３）。

合焦動作が終了すると、カメラ回路制御マイコン１５は第１の撮像部４について撮影指示があったか否かを判定する（ステップＳ１４）。撮影指示がないと（ステップＳ１４において、ＮＯ）、カメラ回路制御マイコン１５はステップＳ１２の処理に戻る。同様に、カメラ回路制御マイコン１５は第２の撮像部５について撮影指示があったか否かを判定する（ステップＳ２４）。撮影指示がないと（ステップＳ２４において、ＮＯ）、カメラ回路制御マイコン１５はステップＳ２２の処理に戻る。

なお、第１撮像部４に係る撮影指示は第１撮影ボタン７１の全押し操作によって行われる。また、第２撮像部５に係る撮影指示は第２撮影ボタン７２の全押し操作によって行われる。さらには、第１撮影ボタン７１又は第２撮影ボタン７２の全押し操作によって第１撮像部４および第２撮像部５について撮影指示を行うようにしてもよい。

第１撮像部４について撮影指示があると（ステップＳ１４において、ＹＥＳ）、カメラ回路制御マイコン１５は第１撮像部４によって撮影を行う（ステップＳ１５）。同様に、第２撮像部５について撮影指示があると（ステップＳ２４において、ＹＥＳ）、カメラ回路制御マイコン１５は第２撮像部４によって撮影を行う（ステップＳ２５）。

上述のようにして、第１撮像部４および第２撮像部５によって撮影を行えば、例えば、第１撮像部４を静止画モードとし、第２撮像部５を動画モードとすることができる。そして、撮影モードに応じた合焦度合を決定した後、被写体に合焦させる。その後、第２撮像部５で動画撮影を開始して、所定のタイミングで第１撮像部４で静止画を撮影する撮影手法をとることができる。

図４は、図３に示す合焦動作を説明するためのフローチャートである。なお、ここでは、第１撮像部４および第２撮像部５について合焦指示があったものとする。

カメラ回路制御マイコン１５は、焦点検出センサ２２および２４を用いてそれぞれデフォーカス量ｄ１およびｄ２を検出する（ステップＳ１０１）。そして、カメラ回路制御マイコン１５はデフォーカス量ｄ１およびｄ２に基づいて、第１撮像部４および第２撮像部５についてその焦点深度ε１およびε２を求める（ステップＳ１０２）。

続いて、カメラ回路制御マイコン１５は、前述の合焦度合Ｋ１およびＫ２に基づいてフォーカス位置を決定する。当該フォーカス位置は、後述するように第１撮像部４におけるフォーカス位置から距離Ｃ１、第２撮像部５におけるフォーカス位置から距離Ｃ２の位置に位置する。

図５は、図１に示すカメラ回路制御マイコンで行われるフォーカス位置の決定の第１の例を説明するための図である。そして、図５（ａ）は距離Ｃ１およびＣ２の決定を説明するための図であり、図５（ｂ）は焦点深度ε１およびε２を求める式を示す図である。また、図５（ｃ）は距離Ｃ１およびＣ２を求める式を示す図である。

図５（ａ）を参照して、ＦＢ１は第１撮像部４のフランジバック位置を示し、ＦＢ２は第２撮像部５のフランジバック位置を示す。フランジバック位置ＦＢ１およびＦＢ２は第１撮像部４および第２撮像部５の取付部品の寸法バラつきおよび部品周辺の温度の影響などを受ける。これによって、フランジバック位置ＦＢ１およびＦＢ２には、後述するデフォーカス量相互差Δｄが生じる。

Ｆ０は現在のフォーカス位置を示し、当該フォーカス位置Ｆ０においては、被写体像が第１撮像部４および第２撮像部５ともに合焦位置と違う位置に結像している。フォーカス位置Ｆ０から第１撮像部４および第２撮像部５までの距離、つまり、デフォーカス量はそれぞれ第１撮像部デフォーカス量ｄ１および第２撮像部デフォーカス量ｄ２とされる。そして、第１撮像部デフォーカス量ｄ１および第２撮像部デフォーカス量ｄ２の差が前述のデフォーカス量相互差Δｄとなる。

フォーカス位置Ｆ０からフォーカスレンズ３０を第１撮像部デフォーカス量ｄ１だけ動かせば、被写体像は第１撮像部４に合焦する。一方、第２撮像部デフォーカス量ｄ２だけ動かせば、被写体像は第２撮像部５に合焦する。

また、焦点深度ε１およびε２の範囲に被写体像が結像していれば、第１撮像部４および第２撮像部５で得られた画像はピントが合っているとみなすことができる。フランジバック位置ＦＢ１又はＦＢ２の位置に合焦位置があるとした場合には、図示のように当該合焦位置は前後方向に焦点深度ε１又はε２の幅を有する。

レンズユニット２の絞り値をＦとすると、図５（ｂ）に示すように、焦点深度ε１およびε２は絞り値Ｆと第１撮像部許容錯乱円径δ１および第２撮像部許容錯乱円径δ２との積で表される。許容錯乱円径δ１およびδ２はそれぞれ第１撮像部４および第２撮像部５の画素の大きさなどに基づいて決定される。よって、画素数が多い撮像部においては許容錯乱円径が小さくなり、画素数が少ない撮像部においては許容錯乱円径が大きくなる。

図５（ｂ）に示す式から明らかなように、焦点深度ε１およびε２は許容錯乱円径δ１およびδ２に比例するとともに絞り値Ｆに比例する。このため、画素数が少ない撮像部については、絞り値Ｆを大きく設定すれば（絞り径を小さくすれば）、焦点深度を大きくすることができる。

ここで、合焦度合Ｋ１およびＫ２に基づいて、デフォーカス量ｄｆ（図５（ａ）に示す位置Ｆｄまでのデフォーカス量）を求める手法について説明する。

第１撮像部デフォーカス量ｄ１および第２撮像部デフォーカス量ｄ２と、合焦度合Ｋ１およびＫ２によって決定されるデフォーカス量ｄｆとの差分の絶対値をそれぞれＣ１およびＣ２とする。この際、合焦度合Ｋ１およびＫ２、焦点深度ε１およびε２、および絶対値Ｃ１およびＣ２の間に、図５（ｃ）に示す式が成り立つように絶対値Ｃ１およびＣ２を決定する。

図５（ｃ）に示す式によって、フォーカス位置Ｆｄは相対的に合焦度合Ｋｎ（ｎは１又は２）が大きく設定された撮像部の合焦位置付近に設定されることになる。

再び図４を参照して、カメラ回路制御マイコン１５は、絶対値Ｃ１＜焦点深度ε１でかつ絶対値Ｃ２＜焦点深度ε２であるか否かを判定する（ステップＳ１０４）。絶対値Ｃ１およびＣ２がそれぞれ焦点深度ε１およびε２よりも小さい場合には、図５（ａ）に示すように、フォーカス位置Ｆｄが第１撮像部４および第２撮像部５の焦点深度内に位置することを意味する。よって、第１撮像部４および第２撮像部５のいずれにおいても合焦した画像を得ることができる。

絶対値Ｃ１＜焦点深度ε１でかつ絶対値Ｃ２＜焦点深度ε２である場合（ステップＳ１０４において、ＹＥＳ）、カメラ回路制御マイコン１５は第１撮像部デフォーカス量ｄ１＜第２撮像部デフォーカス量ｄ２であるか否かを判定する（ステップＳ１０５）。第１撮像部デフォーカス量ｄ１＜第２撮像部デフォーカス量ｄ２であると（ステップＳ１０５において、ＹＥＳ）、カメラ回路制御マイコン１５は第１撮像部デフォーカス量ｄ１と絶対値Ｃ１とを加算してデフォーカス量ｄｆとする（ステップＳ１０６）。

一方、第１撮像部デフォーカス量ｄ１≧第２撮像部デフォーカス量ｄ２であると（ステップＳ１０５において、ＮＯ）、カメラ回路制御マイコン１５は第２撮像部デフォーカス量ｄ１と絶対値Ｃ２とを加算してデフォーカス量ｄｆとする（ステップＳ１０７）。

ステップＳ１０６又はＳ１０７の処理の後、カメラ回路制御マイコン１５はレンズ制御回路１９によってデフォーカス量ｄｆで示す位置までフォーカスレンズ３０を駆動する（ステップＳ１０８）。そして、カメラ回路制御マイコン１５は合焦動作を終了する。

絶対値Ｃ１＜焦点深度ε１でかつ絶対値Ｃ２＜焦点深度ε２でない場合（ステップＳ１０４において、ＮＯ）、カメラ回路制御マイコン１５はε１＋ε２＞デフォーカス量相互差Δｄであるか否かを判定する（ステップＳ２０１）。

図６は、図１に示すカメラ回路制御マイコンで行われるフォーカス位置の決定の第２の例を説明するための図である。そして、図６（ａ）は焦点深度の重なりを説明するための図であり、図６（ｂ）は絞り値固定の場合の状態を説明するための図である。また、図６（ｃ）は絞り値を大きくした場合の状態を説明するための図である。

ε１＋ε２＞Δｄである場合には、図６（ａ）に示すように、焦点深度ε１およびε２が所定の範囲で重なることになる。図６（ａ）に示す例では、距離（絶対値）Ｃ１＜焦点深度ε１は成り立つものの、距離Ｃ２＜焦点深度ε２が成り立たない状態が示されている。図示のように、フォーカス位置Ｆｄが第２撮像部５の焦点深度ε２の範囲内にないので、第２撮像部５で得られた画像はピンボケとなる。

ε１＋ε２＞Δｄである場合には（ステップＳ２０１において、ＹＥＳ）、カメラ回路制御マイコン１５は絶対値Ｃ１＜焦点深度ε１であるか否かを判定する（ステップＳ２０２）。絶対値Ｃ１＜焦点深度ε１であると（ステップＳ２０２において、ＹＥＳ）、カメラ回路制御マイコン１５は絞り値Ｆが固定されているか否かを判定する（ステップＳ２０３）。ここでは、絞り値Ｆを優先する撮影モードになっていると、カメラ回路制御マイコン１５は絞り値Ｆが固定されていると判定する。

絞り値Ｆが固定されている場合（ステップＳ２０３において、ＹＥＳ）、カメラ回路制御マイコン１５は、図５（ｃ）に示す式に基づいて、絶対値Ｃ２に代わって、絶対値Ｃ２’＜焦点深度ε２を満たす最小の絶対値Ｃ２’を求める（ステップＳ２０４）。そして、カメラ回路制御マイコン１５は、図５（ｃ）に示す式を用いて絶対値Ｃ２’に基づいて絶対値Ｃ１’を求める（ステップＳ２０５）。その後、カメラ回路制御マイコン１５は、絶対値Ｃ１に絶対値Ｃ１’を設定するとともに、絶対値Ｃ２に絶対値Ｃ２’を設定して（ステップＳ２０６）、ステップＳ１０５の処理に進む。

上述のようにして求めた絶対値Ｃ１’およびＣ２’を図示すると、図６（ｂ）に示す位置関係となる。つまり、フォーカス位置Ｆｄは第２撮像部５の焦点深度ε２の範囲内においてその端部付近に位置することになる。よって、第１撮像部４および第２撮像部５の双方で合焦した画像を得ることができる。

さらに、合焦度合Ｋ１およびＫ２に極力近い位置において、第１撮像部４および第２撮像部５の双方の焦点深度内にフォーカス位置Ｆｄが位置するので、合焦度合Ｋ１およびＫ２を反映した状態で撮影を行うことができる。

絞り値Ｆが固定されていない場合（ステップＳ２０３において、ＮＯ）、カメラ回路制御マイコン１５は、絶対値Ｃ２＜焦点深度ε２となるまで絞り値Ｆを大きくする（つまり、絞りの径を小さくする：ステップＳ２１０）。そして、カメラ回路制御マイコン１５はステップＳ１０５の処理に進む。

なお、絞り値Ｆが固定されていない場合として、例えば、シャッター速度の設定を優先するモードなどがある。

図６（ｃ）には絞り値Ｆを大きくした状態が示されており、図示のように、合焦度合Ｋ１およびＫ２によって決定されたフォーカス位置Ｆｄが変わることなく、焦点深度ε１およびε２の範囲が広がる。これによって、フォーカス位置Ｆｄが焦点深度ε２の範囲に含まれることになる。

このようにして、絞り値Ｆを大きくすると、合焦度合Ｋ１およびＫ２を満足した状態で、第１撮像部４および第２撮像部５の双方において合焦した画像を得ることができる。

絶対値Ｃ１≧焦点深度ε１である場合（ステップＳ２０２において、ＮＯ）、カメラ回路制御マイコン１５は絞り値Ｆが固定されているか否かを判定する（ステップＳ３０１）。

ここでは、ε１＋ε２＞Δｄが成り立っているので、絶対値Ｃ２＜焦点深度ε２が成立している。つまり、図５（ｃ）に示す式において、Ｃ１＋Ｃ２＝Δｄであるので、絶対値Ｃ２＜焦点深度ε２は必ず成立する。

図７は、図１に示すカメラ回路制御マイコンで行われるフォーカス位置の決定の第３の例を説明するための図である。そして、図７（ａ）は絶対値Ｃ１≧焦点深度ε１の状態を説明するための図であり、図７（ｂ）は絞り値固定の場合の状態を説明するための図である。また、図７（ｃ）は絞り値を大きくした場合の状態を説明するための図である。

図７（ａ）には、絶対値Ｃ１≧焦点深度ε１である場合の状態が示されており、第２撮像部５においては合焦した画像が得られるが、第１撮像部４において得られる画像はピントが合っていない。

ステップＳ３０１の処理は、ステップＳ２０３の処理と同様の処理であり、絞り値Ｆが固定されている場合（ステップＳ３０１において、ＹＥＳ）、カメラ回路制御マイコン１５は絶対値Ｃ１に代わって、絶対値Ｃ１’＜焦点深度ε１を満たす最小の絶対値Ｃ１’を求める（ステップＳ３０２）。そして、カメラ回路制御マイコン１５は、図５（ｃ）に示す式を用いて絶対値Ｃ１’から絶対値Ｃ２’を求める（ステップＳ３０３）。その後、カメラ回路制御マイコン１５はステップＳ２０６の処理に進む。

ステップＳ３０２およびＳ３０３で得られた絶対値Ｃ１’およびＣ２’を図示すると、図７（ｂ）に示す位置関係となる。図示のように、フォーカス位置Ｆｄは第１撮像部４の焦点深度ε１範囲内においてその端部付近に位置することになる。よって、第１撮像部４および第２撮像部５の双方において合焦した画像を得ることができる。

また、合焦度合Ｋ１およびＫ２に極力近い位置で第１撮像部４および第２撮像部５の双方の焦点深度内にフォーカス位置Ｆｄが位置する。よって、合焦度合Ｋ１およびＫ２反映した状態で撮影を行うことができる。

絞り値Ｆが固定されていない場合（ステップＳ３０１において、ＮＯ）、カメラ回路制御マイコン１５は、ステップＳ２１０と同様にして絶対値Ｃ１＜焦点深度ε１となるまで絞り値Ｆを大きくする（ステップＳ３１０）。そして、カメラ回路制御マイコン１５はステップＳ１０５の処理に進む。

図７（ｃ）には絞り値Ｆを大きくした状態が示されており、図示のように、合焦度合Ｋ１およびＫ２によって決定されたフォーカス位置Ｆｄが変わることなく、焦点深度ε１およびε２の範囲が広がる。これによって、フォーカス位置Ｆｄが焦点深度ε１の範囲に含まれることになる。

このようにして、絞り値Ｆを大きくすると、合焦度合Ｋ１およびＫ２を満足した状態で、第１撮像部４および第２撮像部５の双方において合焦した画像を得ることができる。

図８は、図１に示すカメラ回路制御マイコンで行われるフォーカス位置の決定の第４の例を説明するための図である。そして、図８（ａ）は焦点深度が重ならない状態を説明するための図であり、図８（ｂ）は警告表示の一例を示す図である。

ε１＋ε２≦Δｄである場合には、図８（ａ）に示すように、焦点深度ε１およびε２が重なっていない状態となる。第１撮像部４および第２撮像部５を有するカメラにおいては、最小の絞り値Ｆにおいても焦点深度ε１およびε２が重なった領域を有することが必要である。

図示のように、焦点深度ε１およびε２が重ならない場合には、強い外力などによって第１撮像部４および第２撮像部５のフランジバックが大きくずれていると考えられる。よって、この場合には、合焦度合の高い撮像部にのみ合焦させて、故障の可能性があること撮影者に告知する。

図４を参照すると、ε１＋ε２≦Δｄである場合には（ステップＳ２０１において、ＮＯ）、カメラ回路制御マイコン１５は合焦度合Ｋ１≧合焦度合Ｋ２であるか否かを判定する（ステップＳ４０１）。合焦度合Ｋ１≧合焦度合Ｋ２であると（ステップＳ４０１において、ＹＥＳ）、カメラ回路制御マイコン１５は第１撮像部４の方が合焦度合が高いか又は等しいとする。そして、カメラ回路制御マイコン１５はデフォーカス量ｄｆにデフォーカス量ｄ１を代入する。つまり、カメラ回路制御マイコン１５はｄｆ＝ｄ１とする（ステップＳ４０２）。

合焦度合Ｋ１＜合焦度合Ｋ２であると（ステップＳ４０１において、ＮＯ）、カメラ回路制御マイコン１５は第２撮像部５の方が合焦度合が高いとする。そして、カメラ回路制御マイコン１５はデフォーカス量ｄｆにデフォーカス量ｄ２を代入する。つまり、カメラ回路制御マイコン１５はｄｆ＝ｄ２とする（ステップＳ４０３）。

ステップＳ４０２又はＳ４０３の処理の後、カメラ回路制御マイコン１５は警告表示を表示してユーザーに故障の可能性を告知する（ステップＳ４０４）。例えば、カメラ回路制御マイコン１５はデジタル回路制御マイコン１４によって表示装置１３（又はファインダー内表示装置５０）に、図８（ｂ）に示す警告文を表示する。

ステップＳ４０４の処理の後、カメラ回路制御マイコン１５はステップＳ１０８の処理に進む。

このようにすれば、故障によって第１撮像部４および第２撮像部５の双方にピントを合わせることが困難な状態においても、合焦度合の高い撮像部で撮影を行うとともに、ユーザーに故障の可能性を認識させることができる。

このように、本発明の第１の実施形態では、撮影モードに応じて設定された合焦度合を維持しつつ、各撮像部において合焦した画像を得ることができる。さらには、外力などによって故障が生じた場合でも、優先してピント合わせを行う撮像部にピントを合わせつつ、ユーザーに故障の可能性を告知することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。

なお、第２の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるが、第２の実施形態においては、第２撮像部５は赤外域の波長のみを電気信号に変える撮像素子を有している。つまり、第２の実施形態によるカメラは、第１撮像部４で可視光の画像を撮影し、第２撮像部５で赤外光の画像を撮影することができる。また、ミラー３は赤外成分のみを第２撮像部５に反射する反射特性を有する。

ここでは、交点Ｍから点Ｒを通って第１撮像部４上の点ＦＢ１に至るフランジバックと、交点Ｍから点Ｒを通って第２の撮像部５上の点ＦＢ２に至るフランジバックの光路長が等しくない。このような状況は赤外線の結像位置が可視光と異なるために生じる。

なお、第２撮像部５で撮影可能な赤外波長が光軸上に結像する位置と、可視光が光軸上に結像する位置との差分だけ、第１撮像部４および第２撮像部５のフランジバックの光路長はずらされている。

図９は、本発明の第２の実施形態によるカメラにおける撮影を説明するための図である。そして、図９（ａ）は第１撮像部および第２撮像部において同時に撮影を行う場合の撮影を説明するためフローチャートである。また、図９（ｂ）は第１撮像部および第２撮像部の各々における設定および合焦度合の一例を示す図である。

撮影が開始されると、カメラ回路制御マイコン１５の制御下で第１撮像部４は被写体の明るさＥ１を測定する（ステップＳ９１０）。この際、明るさＥ１は第１撮像部４で測定可能な明るさの範囲に応じて正規化された０～１の数値で表される。

同様にして、カメラ回路制御マイコン１５の制御下で第２撮像部５は被写体の明るさＥ２を測定する（ステップＳ９２０）。この際、明るさＥ２は第２撮像部５で測定可能な明るさの範囲に応じて正規化された０～１の数値で表される。

続いて、カメラ回路制御マイコン１５は明るさＥ１およびＥ２に基づいて合焦度合Ｋ１およびＫ２を決定する（ステップＳ９１１）。

図９（ｂ）には撮像部で測定された明るさと合焦度合の設定との関係が示されている。図示の例では、Ｅ１≧Ｅ２の場合には、合焦度合Ｋ１＞合焦度合Ｋ２とされ、Ｅ１＜Ｅ２の場合には、合焦度合Ｋ１＜合焦度合Ｋ２とされる。

なお、図示のステップＳ９１２、Ｓ９１３、Ｓ９１４、Ｓ９１５、Ｓ９２２、Ｓ９２４、およびＳ９２５の処理は、図３に示すステップＳ１２、Ｓ１３、Ｓ１４、Ｓ１５、Ｓ２２、Ｓ２４、およびＳ２５の処理と同様であるので、説明を省略する。

このように、本発明の第２の実施形態では、暗い環境下で被写体に赤外光を投光して撮影を行うような場合でも、赤外光の方が明るく映る場合には赤外光で得られた画像の合焦度合を優先させる。一方、可視光の方が明るく映る場合は可視光で得られた画像の合焦度合を優先させる。これによって、明るさに応じて赤外光および可視光のいずれかに合焦度合を優先させた画像を得ることができる。

このようにして、本発明の実施の形態では、複数の撮像部で同時に撮影を行う際において、いずれの撮像部においても合焦した画像を得ることができる。

なお、上述の実施の形態では２つの撮像部を備えるカメラを例に挙げたが、撮像部の数は２つに限定されない。例えば、３つ以上の撮像部を有するカメラにおいても、各撮像部の合焦度合を考慮して、全ての撮像部における焦点深度内にフォーカス位置を位置づける制御を行えばよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、半透過ミラー３を固定したミラーに変更するようにしてもよく、レンズユニット２が着脱可能ではなくカメラ本体１に固定されていてもよい。

また、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ カメラ本体
２ レンズユニット
３ 半透過ミラー
４ 第１撮像部
５ 第２撮像部
１０ 画像処理回路
１３ 表示装置
１４ デジタル回路制御マイコン
１５ カメラ回路制御マイコン
１９ レンズ制御回路

Claims (13)

1. １つの撮像光学系を介して光学像が入射する複数の撮像部を有する撮像装置であって、
   前記複数の撮像部の各々に対してその撮影条件を設定するための設定手段と、
   前記設定手段で設定された撮影条件に応じて、前記撮像光学系の焦点調節動作を行う際の前記複数の撮像部の各々における優先度を合焦度合として決定する決定手段と、
   前記合焦度合に基づいて前記撮像光学系を制御して焦点調節動作を行う制御手段と、
   を有し、
   前記制御手段は、前記合焦度合に応じて前記焦点調節動作を行う際、前記複数の撮像部のうち少なくとも２つの焦点深度内に、前記撮像光学系におけるフォーカス位置が位置するように、前記撮像光学系における絞り値を制御することを特徴とする撮像装置。
2. 前記撮影条件には、静止画撮影モード、動画撮影モードの少なくとも２つの撮影モードが含まれており、
   前記決定手段は、前記合焦度合を前記静止画撮影モード、前記動画撮影モードの順で高くすることを特徴とする請求項１に記載の撮像装置。
3. １つの撮像光学系を介して光学像が入射する複数の撮像部を有する撮像装置であって、
   前記複数の撮像部の各々において得られる被写体の明るさを測定する測定手段と、
   前記測定手段で得られた明るさに応じて、前記撮像光学系の焦点調節動作を行う際の前記複数の撮像部の各々における優先度を合焦度合として決定する決定手段と、
   前記合焦度合に基づいて前記撮像光学系を制御して焦点調節動作を行う制御手段と、
   を有し、
   前記複数の撮像部のうち少なくとも１つには他の撮像部と異なる波長が光を入射されることを特徴とする撮像装置。
4. 前記決定手段は、前記被写体の明るさが明るい撮像部に係る合焦度合を高くすることを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記合焦度合に応じて前記焦点調節動作を行う際、前記撮像光学系におけるフォーカス位置を、前記複数の撮像部の各々の焦点深度に収まる範囲で、かつ前記合焦度合に応じて決定されるフォーカス位置に最も近い位置に制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. １つの撮像光学系を介して光学像が入射する複数の撮像部を有する撮像装置であって、
   前記複数の撮像部の各々に対してその撮影条件を設定するための設定手段と、
   前記設定手段で設定された撮影条件に応じて、前記撮像光学系の焦点調節動作を行う際の前記複数の撮像部の各々における優先度を合焦度合として決定する決定手段と、
   前記合焦度合に基づいて前記撮像光学系を制御して焦点調節動作を行う制御手段と、
   を有し、
   前記制御手段は、前記合焦度合に応じて前記焦点調節動作を行う際、前記複数の撮像部における焦点深度に重なる領域がないと、前記合焦度合が最も高い撮像部における焦点深度内に撮像光学系のフォーカス位置を制御することを特徴とする撮像装置。
7. 前記制御手段は、前記合焦度合が最も高い撮像部を除く撮像部について合焦できない旨を告知することを特徴とする請求項６に記載の撮像装置。
8. １つの撮像光学系を介して光学像が入射する複数の撮像部を有する撮像装置の制御方法であって、
   前記複数の撮像部の各々に対してその撮影条件を設定するための設定ステップと、
   前記設定ステップで設定された撮影条件に応じて、前記撮像光学系の焦点調節動作を行う際の前記複数の撮像部の各々における優先度を合焦度合として決定する決定ステップと、
   前記合焦度合に基づいて前記撮像光学系を制御して焦点調節動作を行う制御ステップと、
   を有し、
   前記制御ステップでは、前記合焦度合に応じて前記焦点調節動作を行う際、前記複数の撮像部のうち少なくとも２つの焦点深度内に、前記撮像光学系におけるフォーカス位置が位置するように、前記撮像光学系における絞り値を制御することを特徴とする制御方法。
9. １つの撮像光学系を介して光学像が入射する複数の撮像部を有する撮像装置の制御方法であって、
   前記複数の撮像部の各々において得られる被写体の明るさを測定する測定ステップと、
   前記測定ステップで得られた明るさに応じて、前記撮像光学系の焦点調節動作を行う際の前記複数の撮像部の各々における優先度を合焦度合として決定する決定ステップと、
   前記合焦度合に基づいて前記撮像光学系を制御して焦点調節動作を行う制御ステップと、
   を有し、
   前記複数の撮像部のうち少なくとも１つには他の撮像部と異なる波長が光を入射されることを特徴とする制御方法。
10. １つの撮像光学系を介して光学像が入射する複数の撮像部を有する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記複数の撮像部の各々に対してその撮影条件を設定するための設定ステップと、
    前記設定ステップで設定された撮影条件に応じて、前記撮像光学系の焦点調節動作を行う際の前記複数の撮像部の各々における優先度を合焦度合として決定する決定ステップと、
    前記合焦度合に基づいて前記撮像光学系を制御して焦点調節動作を行う制御ステップと、
    を実行させ、
    前記制御ステップでは、前記合焦度合に応じて前記焦点調節動作を行う際、前記複数の撮像部のうち少なくとも２つの焦点深度内に、前記撮像光学系におけるフォーカス位置が位置するように、前記撮像光学系における絞り値を制御することを特徴とする制御プログラム。
11. １つの撮像光学系を介して光学像が入射する複数の撮像部を有する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記複数の撮像部の各々において得られる被写体の明るさを測定する測定ステップと、
    前記測定ステップで得られた明るさに応じて、前記撮像光学系の焦点調節動作を行う際の前記複数の撮像部の各々における優先度を合焦度合として決定する決定ステップと、
    前記合焦度合に基づいて前記撮像光学系を制御して焦点調節動作を行う制御ステップと、
    を実行させ、
    前記複数の撮像部のうち少なくとも１つには他の撮像部と異なる波長が光を入射されることを特徴とする制御プログラム。
12. １つの撮像光学系を介して光学像が入射する複数の撮像部を有する撮像装置の制御方法であって、
    前記複数の撮像部の各々に対してその撮影条件を設定するための設定ステップと、
    前記設定ステップで設定された撮影条件に応じて、前記撮像光学系の焦点調節動作を行う際の前記複数の撮像部の各々における優先度を合焦度合として決定する決定ステップと、
    前記合焦度合に基づいて前記撮像光学系を制御して焦点調節動作を行う制御ステップと、
    を有し、
    前記制御ステップでは、前記合焦度合に応じて前記焦点調節動作を行う際、前記複数の撮像部における焦点深度に重なる領域がないと、前記合焦度合が最も高い撮像部における焦点深度内に撮像光学系のフォーカス位置を制御することを特徴とする制御方法。
13. １つの撮像光学系を介して光学像が入射する複数の撮像部を有する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記複数の撮像部の各々に対してその撮影条件を設定するための設定ステップと、
    前記設定ステップで設定された撮影条件に応じて、前記撮像光学系の焦点調節動作を行う際の前記複数の撮像部の各々における優先度を合焦度合として決定する決定ステップと、
    前記合焦度合に基づいて前記撮像光学系を制御して焦点調節動作を行う制御ステップと、
    を実行させ、
    前記制御ステップでは、前記合焦度合に応じて前記焦点調節動作を行う際、前記複数の撮像部における焦点深度に重なる領域がないと、前記合焦度合が最も高い撮像部における焦点深度内に撮像光学系のフォーカス位置を制御することを特徴とする制御プログラム。

Images