JP7071165B2 - 表示制御装置及び方法、及び撮像装置 - Google Patents

Description

本発明は、焦点状態を検出する構成と焦点状態の表示を制御する構成を備えた表示制御装置及び方法、及び撮像装置に関する。

近年のフルハイビジョンや４Ｋなどに対応した高精細ビデオカメラ等の焦点調節装置は従来以上に解像力が高く、撮影者がマニュアルによるフォーカス操作（ＭＦ操作）で被写体にピントを合わせる場合、厳密にピントを合わせることは容易ではない。特に、カメラに搭載されたビューファインダーや表示パネル等で確認しながらフォーカス操作を行う場合、ビューファインダーや表示パネル等では確認できない程度のピントのずれが生じる場合があり、意図した焦点状態となっているかどうか判断することが難しい。

そこで、ＭＦ操作のアシストを行うフォーカスアシスト方法が提案されている。特許文献１には、ＭＦ操作時に合焦評価値を算出して合焦度合をバー表示する方法が提案されている。また、特許文献２には、撮像装置におけるフォーカスアシスト方法として、フォーカスレンズの移動に伴う焦点状態の変化を表す複数の表示方法が提案されている。

一方、特許文献３には、焦点状態を検出する方法として、背面モニターなどに撮影画像を表示しながら撮影するライブビューモードが考慮された、撮像面位相差検出方式の撮像装置が記載されている。

特開２００７－２４８６１５号公報 特開２００５－１４０９４３号公報 特開２００１－０８３４０７号公報

しかしながら、特許文献３のように、ライブビューモードでの画像表示が可能な撮像装置において撮像面位相差検出方式の焦点検出を行う場合、像面で位相差検出を行っているため、例えば絞りによって検出精度が低下することがある。これは、同じ被写体距離であっても、開放から小絞りになるにつれて、Ａ像とＢ像のズレ量が小さくなり、位相差検出の分解能が粗くなってしまうためである。また、焦点検出を行う像高によっても検出精度は異なり、像高が高くなるにつれて焦点検出精度は低下する。これは、装着されているレンズによって、後述する射出瞳距離と撮像センサの設定瞳距離の違いにより、基線長が確保しづらくなってくるからである。

このような検出精度の低下によって、焦点検出結果がばらつきを持つようになった場合に、焦点検出結果をそのままフォーカスアシスト表示に適用すると、フォーカスアシスト表示が不安定になってしまい、ユーザーに強い違和感を与えてしまうことがある。

本発明は上記問題点を鑑みてなされたものであり、手動焦点調節時に安定したフォーカスアシスト表示を行うことを目的とする。

上記目的を達成するために、本発明の表示制御装置は、撮像手段から得られる視差を有する一対の像信号に基づいて、焦点状態を検出する焦点検出手段と、前記焦点状態に対応する指標の、表示手段における位置を算出する算出手段と、前記焦点状態が合焦を示していない場合に、連続的に検出された複数の焦点状態に対応する複数の前記位置を平均する平均手段と、前記表示手段の前記平均された位置に、前記指標を表示する表示制御手段と、を有し、前記表示制御手段は、前記像信号の像ずれ量を前記焦点状態を表すデフォーカス量に変換するための変換係数が第１の値の場合に、該第１の値よりも小さい第２の値の場合よりも、前記指標を表示手段に表示する更新頻度を小さくし、前記平均手段は、前記指標を更新する間に得られる複数の前記位置を平均する。

本発明によれば、手動焦点調節時に安定したフォーカスアシスト表示を行うことができる。

本発明の実施形態における撮像システムの概略構成を示すブロック図。 実施形態における撮像素子の画素配列の概略図。 実施形態における画素構造と瞳分割の概略説明図。 実施形態における撮像素子と瞳分割の概略説明図。 実施形態における第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の概略関係図。 実施形態におけるフォーカスアシスト表示の一例を示す図。 本発明の実施形態におけるフォーカスアシスト表示処理を説明するフローチャート。 第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングの概略説明図。 第１の実施形態における変換係数と移動平均回数の関係を示す図。 第２の実施形態における変換係数Ｋと表示更新頻度Ｆの関係を示す図。 第１の実施形態における効果の一例を示す図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

＜第１の実施形態＞
図１は、本発明の実施形態に係るフォーカスアシスト機能を備える撮像システムの概略構成を示すブロック図である。なお、本実施形態では、レンズ交換可能な撮像システムとして説明するが、固定レンズを有する撮像装置であってもよい。

図１に示すように、本実施形態における撮像システムは、レンズユニット１０とカメラ本体２０から構成されている。そして、レンズユニット１０全体の動作を統括制御するレンズ制御部１０６と、撮像システム全体の動作を統括するカメラ制御部２０７がデータを通信している。

まず、レンズユニット１０の構成について説明する。レンズユニット１０は、固定レンズ１０１、絞り１０２、フォーカスレンズ１０３、ズームレンズ（不図示）等により構成される撮像光学系を有する。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５によって駆動され、焦点調節に用いられる。不図示のズームレンズは、ズームレンズ駆動部によって駆動されることにより、ズームの調節に用いられる。なお、本実施形態においては、ズームレンズ及びズームレンズ駆動部は必須の構成ではなく、無くても構わない。

絞り駆動部１０４、フォーカスレンズ駆動部１０５、ズームレンズ駆動部はレンズ制御部１０６によって制御され、絞り１０２の開口径や、フォーカスレンズ１０３及びズームレンズの位置が制御される。ユーザによりレンズ操作部１０７に備えられたフォーカスリングやズームリング等の操作により、フォーカスやズームなどの操作が行われた場合には、レンズ制御部１０６がユーザ操作に応じた制御を行う。レンズ制御部１０６は、後述するカメラ制御部２０７から受信した制御命令や制御情報に応じて、絞り駆動部１０４やフォーカスレンズ駆動部１０５、ズームレンズ駆動部の制御を行うと共に、レンズ情報をカメラ制御部２０７に送信する。

次に、本実施形態に係るフォーカスアシスト機能を備えるカメラ本体２０の構成について説明する。カメラ本体２０において、撮像素子２０１は、ＣＣＤやＣＭＯＳセンサにより構成され、レンズユニット１０の撮像光学系を通過した光束が撮像素子２０１の受光面上に結像される。そして、形成された被写体像が撮像素子２０１のフォトダイオード（光電変換部）によって入射光量に応じた電荷に光電変換され、蓄積される。各フォトダイオードに蓄積された電荷は、カメラ制御部２０７の指令に従ってタイミングジェネレータ２０９から与えられる駆動パルスに基づいて、電荷に応じた電圧信号として撮像素子２０１から順次読み出される。なお、撮像素子２０１の詳細構成については後述するが、本実施形態における撮像素子２０１は、通常の撮像信号の他に、位相差方式の焦点検出に用いることのできる一対のフォーカス用信号を出力することができる。

撮像素子２０１から読み出された撮像信号及びフォーカス用信号は、ＣＤＳ／ＡＧＣ回路２０２に入力され、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。ＣＤＳ／ＡＧＣ回路２０２は、処理した撮像信号をカメラ信号処理部２０３に、フォーカス用信号をフォーカス信号処理部２０４に出力する。

カメラ信号処理部２０３は、ＣＤＳ／ＡＧＣ回路２０２から出力された撮像信号に対して各種の画像処理を施して、映像信号を生成する。表示部２０５は、ＬＣＤや有機ＥＬ等の表示デバイスであり、カメラ信号処理部２０３から出力された映像信号に基づく画像を表示する。また、撮像信号の記録を行う記録モードの時には、撮像信号はカメラ信号処理部２０３から記録部２０６に送られ、光ディスク、半導体メモリ、磁気テープ等の記録媒体に記録される。

フォーカス信号処理部２０４は、ＣＤＳ／ＡＧＣ回路２０２から出力された一対のフォーカス用信号を基に相関演算を行って焦点状態を検出する。ここでは、相関量、像ずれ量、デフォーカス量、信頼性情報（二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等）を算出する。なお、像ずれ量からデフォーカス量へは、変換係数Ｋを用いて変換する。そして、算出したデフォーカス量と信頼性情報をカメラ制御部２０７へ出力する。また、カメラ制御部２０７は、取得したデフォーカス量や信頼性情報を基に、これらを算出する設定の変更をフォーカス信号処理部２０４に通知する。なお、相関演算の詳細については、図５を用いて後述する。

カメラ制御部２０７は、カメラ本体２０内の各構成と情報をやり取りして制御を行う。また、カメラ本体２０内の処理だけでなく、ユーザにより操作されたカメラ操作部２０８からの入力に応じて、電源のＯＮ／ＯＦＦ、設定の変更、記録を制御する。更に、オートフォーカス（ＡＦ）／マニュアルフォーカス（ＭＦ）制御の切り替え、記録映像の確認等のユーザ操作に応じた様々な機能を実行する。また、先述したようにレンズユニット１０内のレンズ制御部１０６と情報をやり取りし、撮像光学系の制御命令や制御情報を送信したり、レンズユニット１０内の情報を取得する。

●撮像素子の構成
次に、本実施形態における撮像素子２０１の撮像画素及び焦点検出画素の配列の概略を図２を参照して説明する。図２は、本実施形態の２次元ＣＭＯＳセンサー（撮像素子）の画素（撮像画素）配列を４列×４行の範囲で、焦点検出画素配列を８列×４行の範囲で示したものである。

画素群２００は、複数色のカラーフィルタに覆われた２行×２列の画素からなり、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１焦点検出画素２１１と第２焦点検出画素２１２により構成されている。図２に示した４列×４行の画素（８列×４行の焦点検出画素）を面上に多数配置し、撮像画像及び焦点検出信号の取得を可能としている。

図３は、図２に示した本実施形態の画素の断面図と結像光学系の射出瞳面を示す図である。なお、図３では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図２に対して反転させている。

第１瞳部分領域５０１は第１焦点検出画素２１１に対応し、重心が－ｘ方向に偏心している第１焦点検出画素２１１の受光面と、マイクロレンズ２１５によって概ね共役関係になっており、第１焦点検出画素２１１で受光可能な瞳領域を表している。第１瞳部分領域５０１は、瞳面上で＋Ｘ方向に重心が偏心している。

また、第２瞳部分領域５０２は第２焦点検出画素２１２に対応し、重心が＋ｘ方向に偏心している第２焦点検出画素２１２の受光面と、マイクロレンズ２１５によって概ね共役関係になっており、第２焦点検出画素２１２で受光可能な瞳領域を表している。第２瞳部分領域５０２は、瞳面上で－Ｘ方向に重心が偏心している。

また、瞳領域５００は、第１焦点検出画素２１１と第２焦点検出画素２１２を全て合わせた際に画素２００Ｇ全体で受光可能な瞳領域である。４００は、絞り兼用シャッタ１０２の開口（射出瞳）を表している。

撮像面位相差ＡＦでは、撮像素子２０１のマイクロレンズ２１５を利用して瞳分割するため、回折の影響を受ける。図３で、射出瞳面までの瞳距離が数１０ｍｍであるのに対し、マイクロレンズの直径は数μｍである。そのため、マイクロレンズ２１５の絞り値が数万となり、数１０ｍｍレベルの回折ボケが生じる。よって、第１焦点検出画素２１１及び第２焦点検出画素２１２の受光面の像は、明瞭な瞳領域や瞳部分領域とはならずに、瞳強度分布（受光率の入射角分布）となる。

図４は、本実施形態の撮像素子２０１と瞳分割との対応関係を示した概略図である。第１瞳部分領域５０１と第２瞳部分領域５０２の結像光学系の異なる瞳部分領域を通過した一対の光束は、撮像素子２０１の各画素にそれぞれ異なる角度で入射し、２×１分割された第１焦点検出画素２１１と第２焦点検出画素２１２で受光される。なお、本実施形態では、瞳領域が水平方向に２つに瞳分割されている例を示しているが、必要に応じて、垂直方向に瞳分割を行っても良い。

第１焦点検出画素２１１は、レンズユニット１０の撮像光学系の第１瞳部分領域５０１を通過する光束を受光する。また、第２焦点検出画素は、第１瞳部分領域５０１と異なる撮像光学系の第２瞳部分領域５０２を通過する光束を受光する。また、撮像画素は、撮像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２とを合わせた瞳領域を通過する光束を受光する。

そして、撮像素子２０１の各画素の第１焦点検出画素２１１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２焦点検出画素２１２の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また、撮像素子の各画素毎に、第１焦点検出画素２１１と第２焦点検出画素２１２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。

なお、撮像信号と第１及び第２焦点検出信号とをそれぞれ読み出してもよいが、本実施形態では、処理負荷を考慮して、次のようにしてもよい。即ち、撮像信号と、第１焦点検出画素２１１と第２焦点検出画素２１２のいずれか一方の焦点検出信号とを読み出し、差分を取ることで、もう一方の焦点検出信号を取得する。

なお、本実施形態では各画素において、１つのマイクロレンズ２１５に対して第１焦点検出画素２１１と第２焦点検出画素２１２を有する構成としているが、焦点検出画素の数は２つに限定されず、それ以上であってもよい。また、マイクロレンズ２１５に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。つまり、結果としてＡ像信号とＢ像信号といった、位相差検出可能な視差を有する１対の信号が得られる構成であればよい。また、本発明は図２に示すように全ての画素が複数の焦点検出画素を有する構成に限らず、撮像素子２０１を構成する通常画素内に、図２に示すような焦点検出用画素を離散的に設ける構成であってもよい。

また、本実施形態の撮像素子２０１は、それぞれの画素が第１焦点検出画素２１１と第２焦点検出画素２１２とから構成されているが、本発明はこれに限るものではない。必要に応じて、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２とを合わせた瞳領域５００を通過した光束を受光する撮像画素と、第１焦点検出画素２１１および第２焦点検出画素２１２を個別の画素構成としてもよい。その場合、撮像画素による配列の一部に、第１焦点検出画素２１１と第２焦点検出画素２１２を部分的に配置する構成としても良い。

●デフォーカス量と像ずれ量の関係
次に、本実施形態の撮像素子２０１により取得される第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量との関係について説明する。図５は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と第１焦点検出信号と第２焦点検出信号間の像ずれ量との概略関係図を示す。撮像面８００に本実施形態の撮像素子２０１が配置され、図３、図４と同様に、撮像光学系の瞳領域５００が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を大きさ｜ｄ｜としたとき、被写体の結像位置が撮像面より被写体側にある前ピン状態を負（ｄ＜０）、撮像面８００より被写体の反対側にある後ピン状態を正（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある焦点状態はｄ＝０である。図５で、被写体８０１は合焦状態（ｄ＝０）の例を示しており、被写体８０２は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）と呼ぶ。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１を通過した被写体光は、一度、集光した後、光束の重心位置Ｇ１を中心として幅Γ１に広がり、撮像面８００でボケた像となる。第２瞳部分領域５０２を通過した被写体光についても同様であり、重心位置Ｇ２を中心として幅Γ２に広がったボケた像を形成する。ボケた像は、撮像素子２０１に配列された各画素を構成する第１焦点検出画素２１１及び第２焦点検出画素２１２により受光され、得られた受光信号から第１焦点検出信号及び第２焦点検出信号が生成される。よって、第１焦点検出信号及び第２焦点検出信号は、撮像面８００上の重心位置Ｇ１及びＧ２に、被写体８０２が幅Γ１及びΓ２にボケた被写体像の信号である。被写体像のボケ幅Γ１，Γ２は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。

このように、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。

●フォーカスアシストの表示形態
次に、本実施形態におけるフォーカスアシストの表示形態について、図６を用いて説明する。本実施形態では、フォーカスアシスト表示の種類は、第１から第４の表示形態の４つとし、表示パーツ３０１～３１７により、検出された焦点状態を表現する。

図６（ａ）は、第１の表示形態の一例で、被写体に合焦していると判定された状態を示す。合焦と判定されている状態では、内向きの表示パーツ３０１と外向きの表示パーツ３０２の位置が一致（ここでは上部で停止）している。また、合焦状態と判定されている場合は、例えば、表示パーツ３０１と表示パーツ３０２を他の表示形態の色（例えば白）と異なる色（例えば緑）で表してもよい。

図６（ｂ）は、第２の表示形態の一例で、被写体に合焦しておらず、被写体よりも無限遠側にピントが合っている（後ピン）場合に、合焦位置までの方向とデフォーカス量の大きさを示す。図６（ｂ）に示すように、内向きの表示パーツ３０３が上部に停止した状態で、外向きの表示パーツ３０４と３０５が円周上に沿って左右対称に移動する。表示パーツ３０４と表示パーツ３０５の位置はデフォーカス量の大きさを示し、両者が表示パーツ３０３の位置（基準位置）から離れるほど、デフォーカス量が大きいことを示している。なお、表示パーツ３０３は表示パーツ３０１に対応し、表示パーツ３０４と３０５が重なった状態が表示パーツ３０２に対応する。

図６（ｃ）は、第３の表示形態の一例で、被写体に合焦しておらず、被写体よりも至近側にピントが合っている（前ピン）場合に、合焦位置までの方向とデフォーカス量の大きさを示す。図６（ｃ）に示すように、外向きの表示パーツ３０６が上部に停止した状態で、内向きの表示パーツ３０７と３０８が円周上に沿って左右対称に移動する。表示パーツ３０７と表示パーツ３０８の位置はデフォーカス量の大きさを示し、両者が表示パーツ３０６の位置（基準位置）から離れるほど、デフォーカス量が大きいことを示している。なお、表示パーツ３０６は表示パーツ３０２に対応し、表示パーツ３０７と３０８が重なった状態が表示パーツ３０１に対応する。以上説明したように、第２の表示形態では、移動する表示パーツの位置によってデフォーカス量の大きさを示すことができる。また、上部で停止している表示パーツの向きによって合焦位置までの方向（デフォーカス方向）を示すことができる。

●焦点検出処理及びフォーカスアシスト表示処理の流れ
以下、本第１の実施形態における撮像面位相差方式の焦点検出に基づくフォーカスアシスト表示処理について説明する。本第１の実施形態の撮像面位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量をデフォーカス量変換係数（以下、変換係数Ｋ）によりデフォーカス量に変換して焦点検出を行う。

図７は、第１の実施形態のフォーカスアシスト表示処理の流れを示すフローチャートである。図７に示す処理は、例えばカメラ操作部２０８によりマニュアル制御による焦点調節（ＭＦ）が選択されている場合に、フォーカス信号処理部２０４及びカメラ制御部２０７により、撮像素子２０１からの信号の読み出し周期で実行される。

まず、Ｓ１０で、撮像素子２０１の画素領域の内、画像信号の取得に用いられる有効画素領域の中から、焦点調節を行う像高（Ｘ，Ｙ）を中心とする焦点検出領域を設定する。なお、焦点検出領域は公知の方法により設定すればよく、例えば、被写体検出により検出された被写体領域に焦点検出領域を自動的に設定したり、ユーザがマニュアル操作により設定することができる。

Ｓ２０で、Ｓ１０で設定した焦点検出領域の第１焦点検出画素の受光信号から第１焦点検出信号を生成し、焦点検出領域の第２焦点検出画素の受光信号から第２焦点検出信号を生成する。Ｓ３０では、信号データ量を抑制するために、第１焦点検出信号及び第２焦点検出信号について、それぞれ、列方向に３画素加算処理を行い、さらに、ＲＧＢ信号を輝度信号にするためにベイヤー（ＲＧＢ）加算処理を行う。これら２つの加算処理を合わせて画素加算処理とする。

Ｓ４０では、Ｓ３０で画素加算処理された第１焦点検出信号と第２焦点検出信号に、それぞれ、シェーディング補正処理（光学補正処理）を行う。

ここで、シェーディングと、第１焦点検出信号と第２焦点検出信号の瞳ずれによる像ずれ量からデフォーカス量への換算に必要な変換係数Ｋの変化とについて説明する。図８は、基線長ＢＬ０、ＢＬ１、ＢＬ２と、撮像素子の周辺像高における第１焦点検出画素２１１の第１瞳部分領域５０１及び第２焦点検出画素２１２の第２瞳部分領域５０２と、撮像光学系の射出瞳４００との関係を示す。

図８（ａ）は、撮像光学系の射出瞳距離Ｄｌと撮像素子２０１の設定瞳距離Ｄｓが同じ場合を示している。この場合は、第１瞳部分領域５０１と第２瞳部分領域５０２により、射出瞳４００が概ね均等に瞳分割される。射出瞳４００における、第１瞳部分領域５０１の重心と第２瞳部分領域５０２の重心との間隔である基線長をＢＬ０で示す。この時、像ずれ量から検出デフォーカス量への換算に必要な変換係数Ｋは、Ｋ＝Ｄｓ／ＢＬ０で求められる。

図８（ｂ）は、撮像光学系の射出瞳距離Ｄｌが、撮像素子２０１の設定瞳距離Ｄｓより短い場合を示している。この場合、撮像素子２０１の周辺像高では、射出瞳４００と撮像素子２０１の入射瞳との間に瞳ずれを生じ、射出瞳４００が不均一に瞳分割されてしまう。従って、第１瞳部分領域５０１の重心と第２瞳部分領域５０２の重心との間隔である基線長ＢＬ１は片側に偏ってしまい、それに伴い、変換係数Ｋは、Ｋ＝Ｄｓ／ＢＬ１と変化する。

図８（ｃ）は、撮像光学系の射出瞳距離Ｄｌが、撮像素子２０１の設定瞳距離Ｄｓより長い場合を示している。この場合にも、撮像素子２０１の周辺像高では、射出瞳４００と撮像素子２０１の入射瞳との間に瞳ずれを生じ、射出瞳４００が不均一に瞳分割されてしまう。従って、第１瞳部分領域５０１の重心と第２瞳部分領域５０２の重心との間隔である基線長ＢＬ２は、図８（ｂ）と反対側に偏ることになり、それに伴い、変換係数Ｋは、Ｋ＝Ｄｓ／ＢＬ２と変化する。

また、周辺像高で瞳分割が不均一になるのに伴い、第１焦点検出信号と第２焦点検出信号の強度も不均一になり、第１焦点検出信号と第２焦点検出信号のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。さらに、撮像光学系の絞り値が変わると、図８の射出瞳４００の大きさが変化するため、絞り値に応じても変換係数Ｋとシェーディングが変化する。

このように、像ずれ量から検出デフォーカス量への変換係数Ｋ及びシェーディングは、少なくとも、撮像光学系の絞り値と射出瞳距離、撮像素子２０１の瞳強度分布（光学特性）、及び焦点検出領域の像高に応じて変化する。位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）を基に、デフォーカス量を検出する。瞳ずれによるシェーディングが生じると、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）が低下する場合がある。よって、位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）を改善し、焦点検出性能を良好とするために、シェーディング補正処理（光学補正処理）を行うことが望ましい。

このため、Ｓ４０では、焦点検出領域の像高と、撮像レンズ（撮像光学系）のＦ値、射出瞳距離に応じて、第１焦点検出信号の第１シェーディング補正係数と、第２焦点検出信号の第２シェーディング補正係数をそれぞれ算出する。なお、ここで用いるシェーディング補正係数は、例えば、特開２００４－１９１６２９号公報に記載された方法等、公知の手法を用いて算出することができるが、本発明はシェーディング補正方法により限定されるものでは無い。そして、算出した第１シェーディング補正係数を第１焦点検出信号に乗算し、第２シェーディング補正係数を第２焦点検出信号に乗算して、第１焦点検出信号と第２焦点検出信号のシェーディング補正処理（光学補正処理）を行う。

なお、上述した説明では、撮像素子２０１の設定瞳距離が同じで、撮像光学系の射出瞳距離が変化する場合を例にとって瞳ずれを説明したが、逆に、撮影光学系の射出瞳距離が同じで、撮像素子２０１の設定瞳距離が変化する場合も同様である。撮像面位相差方式の焦点検出では、この撮像素子２０１の設定瞳距離の変化に伴い、第１焦点検出画素２１１及び第２焦点検出画素２１２が受光する光束と、撮像画素が受光する光束も変化する。そのため、撮像素子２０１の設定瞳距離の変化に応じたシェーディング補正処理（光学補正処理）を行うことが望ましい。

Ｓ５０では、第１焦点検出信号と第２焦点検出信号の相関（信号の一致度）を更に良くして焦点検出精度を向上するために、第１焦点検出信号と第２焦点検出信号に、特定の通過周波数帯域を有するバンドパスフィルタ処理を行う。バンドパスフィルタの例としては、ＤＣ成分をカットしてエッジ抽出を行う｛１、０、－１｝などの差分型フィルタや、高周波ノイズ成分を抑制する｛１、２、１｝などの加算型フィルタがある。

次に、Ｓ６０において、フィルタ処理後の第１焦点検出信号と第２焦点検出信号を相対的に瞳分割方向にシフトさせるシフト処理を行い、信号の一致度を表す相関量を算出する。フィルタ処理後のｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、焦点検出領域に対応する番号ｋの範囲をＷとする。また、シフト処理によるシフト量をｓ、シフト量ｓのシフト範囲をΓとすると、相関量ＣＯＲ（ｓ）は、式（１）により算出することができる。

すなわち、シフト量ｓのシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ－ｓ番目の第２焦点検出信号Ｂ（ｋ－ｓ）を対応させて減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ）を算出する。必要に応じて、第１焦点検出信号と第２焦点検出信号の各組毎に算出された相関量を、各シフト量毎に、複数行に亘って加算しても良い。

Ｓ７０では、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐとする。なお、サブピクセル演算については、例えば、本願出願人により出願された特開２０１３－２１８０８２号公報に記載されているため、ここでは説明を省略する。そして、像ずれ量ｐに、焦点検出領域の像高と、撮像レンズ（撮影光学系）のＦ値、射出瞳距離に応じた変換係数Ｋをかけて、デフォーカス量Ｄｅｆに変換する。以下、上述したようにして得られたデフォーカス量を、真のデフォーカス量と区別するために、「検出デフォーカス量」と呼ぶ。

次に、Ｓ８０において、得られた検出デフォーカス量Ｄｅｆに基づいて、図６を参照して説明したフォーカスアシストの第１から第３の表示形態の内、どの表示形態で表示部２０５に表示するかを選択する。そしてＳ９０において、Ｓ８０で選択された第１から第３の表示形態のいずれかに基づいて、フォーカスアシスト表示の色情報、及び指標の向き、位置等のフォーカスアシスト表示に必要なパラメータを設定し、表示部２０５に通知する。なお、ここで設定されるパラメータの詳細については、後述する。

そして、Ｓ１００において、Ｓ９０で設定されたパラメータに基づいて、表示部２０５にフォーカスアシストを表示するように表示制御し、Ｓ２０に戻る。

●デフォーカス量の移動平均量の決定
次に、Ｓ９０におけるフォーカスアシスト表示のためのパラメータの設定について、説明する。本第１の実施形態では、パラメータを設定するために、デフォーカス量移動平均処理を行う。以下、デフォーカス量移動平均処理について説明する。

算出された表示パーツの位置を、算出する度にそのまま表示部２０５で表示した場合、滑らかな指標の動きを実現することができず、ぎこちない見え方になってしまうことが考えられる。これは焦点検出のバラつき具合によって変化するためで、良好な条件において焦点検出を行う場合は、バラつきも小さく表示も安定するが、焦点検出を行う際の諸条件が良好ではない場合、バラつきが大きくなり、表示がぎこちなくなってしまう。

そこで、第１の実施形態では、所定回数（以下、「移動平均回数」と呼ぶ。）ｍ回、連続的に算出された指標位置の平均値（以下、「移動平均値」と呼ぶ。）を算出し、その結果を通知する。第１の実施形態では、移動平均回数ｍを、像ずれ量からデフォーカス量への変換係数Ｋの値に応じて可変にする。変換係数Ｋは、前述したように像ずれ量をデフォーカス量に変換する係数であり、像ずれ量がバラついている場合、バラついた像ずれ量をデフォーカス量に変換することで、デフォーカス量のバラつき自体がＫ倍に拡大されてしまう。そこで、変換係数Ｋが大きいほど、移動平均回数ｍを相対的に多くし、変換係数Ｋが小さいほど移動平均回数ｍを相対的に少なくすることで、フォーカスアシスト表示の安定性と敏感性を両立させる。

図９に変換係数Ｋと移動平均回数ｍの関係性の表を示す。図９の表に示すように、変換係数Ｋが大きくなるにつれて、移動平均回数ｍを増やす。第１の実施形態では、このように変換係数Ｋと移動平均回数ｍの大小の関係性が成り立っていればよく、デフォーカス量の値の絶対値によらず、本発明の適用範囲となる。

変換係数Ｋは、像高やＦ値だけでは決まらず、装着されたレンズ、またそのレンズのズーム位置、フォーカスレンズ位置などの組み合わせによって決まってくる。従って、移動平均回数ｍを決定する際には、フォーカス信号処理部２０４から、焦点検出を行う際に用いる変換係数Ｋを取得し、その値に基づいて移動平均回数ｍを決定する。

また、変換係数Ｋには、焦点検出時の条件に応じて予め撮像装置内に記録された数値を用いても良いが、像高、Ｆ値、レンズの射出瞳距離、撮像センサの設定瞳距離、入射瞳の瞳ずれ量を元に、前述した方法により撮像装置内で算出してもよい。

以上の方法を実施した場合の効果の一例を図１１に示す。図１１の各グラフにおいて、横軸はマニュアルフォーカス開始からの時間、縦軸は検出デフォーカス量を示し、検出デフォーカス量が約３ｍｍのところから、約３秒ほどでかけて合焦位置までマニュアルフォーカスしたときのグラフを示している。

図１１（ａ）及び（ｂ）は、それぞれマニュアルフォーカスを行った際に検出された検出デフォーカス量そのものであり、図１１（ａ）に対して図１１（ｂ）は変換係数が３倍の条件における検出デフォーカス量の結果を示している。図１１（ｂ）では、図１１（ａ）よりも検出結果が大きくばらついている。

これに対し、図１１（ｃ）は、図１１（ａ）の結果に対して移動平均回数ｍを７回とし、過去７回分の検出デフォーカス量を平均したときのグラフである。このように移動平均処理を行うことにより検出結果は滑らかとなり、結果的にフォーカスアシスト表示も安定したものになる。図１１（ｄ）は、図１１（ｃ）と同じく移動平均回数ｍを７回とした場合のグラフである。このように、バラつき具合が異なるデータに同じ移動平均回数で移動平均処理を行った図１１（ｄ）は、図１１（ｃ）と同じように移動平均処理を行ったにもかかわらず、バラつき具合が収まっていない。そのため、結果的にフォーカスアシスト表示は不安定なものとなってしまう。これに対し図１１（ｅ）は移動平均回数ｍを１５回にした場合のグラフであり、図１１（ｃ）と同じ程度の安定性を実現することができている。このように、変換係数Ｋが相対的に増えた時は、移動平均回数ｍを相対的に増やすことによって、同程度のフォーカスアシスト表示の安定性を得ることができる。

以上、説明したようにフォーカスアシスト表示をするための移動平均回数ｍを、デフォーカス量を算出する際の変換係数Ｋの値に応じて決定することにより、安定性と敏感性を両立したフォーカスアシスト表示が可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、デフォーカス量に変換する際の変換係数Ｋの値に応じて、移動平均回数ｍの値を決定する方法について説明を行った。一方、フォーカスアシスト表示の安定性を実現するうえで、表示の更新頻度を変更することによっても、同様に安定した表示を得ることができる。

第２の実施形態では、移動平均回数ｍは、その表示の更新頻度に応じて可変とし、その上で、フォーカスアシスト表示の更新頻度を変換係数Ｋの値に応じて変更する。

図１０に第２の実施形態における変換係数Ｋと表示更新頻度Ｆとの関係性の一例を示す。表示更新頻度Ｆの単位はｆｐｓ（ｆｒａｍｅ/ｓｅｃｏｎｄ）で表してあり、１秒間あたりにフォーカスアシスト表示を何回更新するかを示している。

図１０に示したとおり、変換係数Ｋの値が大きくなるにつれ、つまり焦点検出バラつきの影響が大きくなるにつれ、表示更新頻度Ｆを小さくしていく。表示更新頻度Ｆが小さくなるということは、一度更新されてから次の更新までの時間が長くなるため、その分、移動平均量ｍを増やすことができ、安定した表示を実現することができる。

第２の実施形態においても具体的な数値を示したが、本発明はその数値に限定されるものではなく、変換係数Ｋと表示更新頻度Ｆの大小関係が成り立っていれば、本発明の適用範囲となる。

上記の通り本第２の実施形態によれば、変換係数Ｋが大きくなるにつれて表示更新頻度Ｆを小さくしていくことにより、フォーカスアシスト表示を安定させることが可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第１及び第２の実施形態では、変換係数Ｋに応じて、移動平均量やフォーカスアシストの表示更新頻度を変更することによって、フォーカスアシスト表示の安定性を実現している。本第３の実施形態では、これらの方法に加えて、さらに、ユーザーが三脚等を使わずに撮像システムを手持ちで撮影していることを想定し、撮像システムが検知した手振れ量に応じて、移動平均回数ｍや表示更新頻度Ｆを変更しても良い。

ユーザーが撮像システムを手持ちで撮影した場合、手振れなどによって撮像システムがわずかに動いてしまうことがあるが、その際には手振れによって焦点検出用の像もぶれてしまうため、焦点検出結果も大きく動いてしまうことが多い。その際には第１及び第２の実施形態で示した方法だけではフォーカスアシスト表示の安定性を確保することはできないことがある。

そこで、第３の実施形態では、カメラ本体２０内、もしくはレンズユニット１０内に、例えばジャイロセンサなどの手振れ検知部（不図示）を搭載し、手振れを検知した際に、移動平均回数ｍや表示更新頻度Ｆを変更する。手振れが発生したときは焦点検出バラつき量が増大することは自明なので、カメラ本体２０内、もしくはレンズユニット１０内で手振れを検知したら、移動平均回数ｍを相対的に増やす、または表示更新頻度Ｆを相対的に小さくする。このようにすることにより、手振れ発生時にフォーカスアシスト表示の安定性を増すことができる。その際に、手振れの大きさに応じて、手振れが大きいほど移動平均回数ｍをより増やす、または表示更新頻度Ｆをより小さくしてもよい。

なお、手振れを検知する方法は、公知の方法を用いれば良く、手振れ検知部に限られるものでは無い。例えば、撮像素子２０１により撮影された連続するフレーム間の画像を比較することにより、手振れを検知してもよい。また、三脚に装着されたか否かを検知する構成を有し、三脚に装着された場合に、移動平均回数ｍを相対的に減らす、または表示更新頻度Ｆを相対的に大きくするように制御しても良い。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。第１～第３の実施形態では、フォーカスアシスト表示を安定させるための種々の方法について説明したが、さらに移動平均回数ｍ及び表示更新頻度Ｆの増減のために、フォーカス信号処理部２０４によって得られている焦点検出時の信頼性情報を用いてもよい。焦点検出時の信頼性情報は、すでに広く知られている方法を用いて取得すればよいが、上述したように、例えば像ずれ量を検出するための相関演算を行うときに算出される二像一致度、二像急峻度、コントラスト情報、飽和情報、キズ情報等の値を用いればよい。

この時、焦点検出精度の信頼性が低いと判定されたら、第１～第３の実施形態で決定された移動平均回数ｍを相対的に増やす、または表示更新頻度Ｆを相対的に小さくすることで、フォーカスアシストをより安定的に表示することができる。

＜その他の実施形態＞
本発明はマニュアルフォーカスを行うカメラにおいてユーザーがピントを合わせやすいようにフォーカスアシスト表示する撮像装置に適用される。しかしながら、本発明はビデオカメラ、一眼レフカメラ、ミラーレスカメラ、コンパクトカメラ、また携帯電話やスマートフォン等のカメラ機能付きデバイスなどに広く適用することができ、マニュアルフォーカスを行う撮像装置全般に対して適用が可能である。

また、本発明で用いる焦点検出方式として撮像面位相差ＡＦ方式を例にあげたが、撮像センサや撮像用のレンズは本実施形態に限られるものではなく、像ずれ量からデフォーカス量に変換する変換係数を用いるものであれば、本発明を適用することができる。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０３：フォーカスレンズ、１０５：フォーカスレンズ駆動部、２０：カメラ本体、２０１：撮像素子、２０４：フォーカス信号処理部、２０５：表示部、２０７：カメラ制御部、２０８：カメラ操作部

Claims (11)

1. 撮像手段から得られる視差を有する一対の像信号に基づいて、焦点状態を検出する焦点検出手段と、
   前記焦点状態に対応する指標の、表示手段における位置を算出する算出手段と、
   前記焦点状態が合焦を示していない場合に、連続的に検出された複数の焦点状態に対応する複数の前記位置を平均する平均手段と、
   前記表示手段の前記平均された位置に、前記指標を表示する表示制御手段と、を有し、
   前記表示制御手段は、前記像信号の像ずれ量を前記焦点状態を表すデフォーカス量に変換するための変換係数が第１の値の場合に、該第１の値よりも小さい第２の値の場合よりも、前記指標を表示手段に表示する更新頻度を小さくし、
   前記平均手段は、前記指標を更新する間に得られる複数の前記位置を平均することを特徴とする表示制御装置。
2. 前記撮像手段の手振れを検知する検知手段を更に有し、
   前記表示制御手段は、前記検知手段により手振れが検知された場合に、検知されない場合よりも、前記指標を表示手段に表示する更新頻度を小さくすることを特徴とする請求項１に記載の表示制御装置。
3. 撮像手段から得られる視差を有する一対の像信号に基づいて、焦点状態を検出する焦点検出手段と、
   前記焦点状態に対応する指標の、表示手段における位置を算出する算出手段と、
   前記焦点状態が合焦を示していない場合に、連続的に検出された複数の焦点状態に対応する複数の前記位置を平均する平均手段と、
   前記表示手段の前記平均された位置に、前記指標を表示する表示制御手段と、
   前記撮像手段の手振れを検知する検知手段と、を有し、
   前記表示制御手段は、前記検知手段により手振れが検知された場合に、検知されない場合よりも、前記指標を表示手段に表示する更新頻度を小さくし、
   前記平均手段は、前記指標を更新する間に得られる複数の前記位置を平均することを特徴とする表示制御装置。
4. 前記焦点状態の信頼性を取得する取得手段を更に有し、
   前記表示制御手段は、前記信頼性が第１の値の場合に、該第１の値よりも信頼性が高い第２の値の場合よりも、前記指標を表示手段に表示する更新頻度を小さくし、
   前記平均手段は、前記指標を更新する間に得られる複数の前記位置を平均することを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
5. 撮像手段から得られる視差を有する一対の像信号に基づいて、焦点状態を検出する焦点検出手段と、
   前記焦点状態に対応する指標の、表示手段における位置を算出する算出手段と、
   前記焦点状態が合焦を示していない場合に、連続的に検出された複数の焦点状態に対応する複数の前記位置を平均する平均手段と、
   前記表示手段の前記平均された位置に、前記指標を表示する表示制御手段と、
   前記焦点状態の信頼性を取得する取得手段と、を有し、
   前記表示制御手段は、前記信頼性が第１の値の場合に、該第１の値よりも信頼性が高い第２の値の場合よりも、前記指標を表示手段に表示する更新頻度を小さくし、
   前記平均手段は、前記指標を更新する間に得られる複数の前記位置を平均することを特徴とする表示制御装置。
6. 視差を有する一対の像信号を取得できるように、光電変換して得られた信号を出力する撮像手段と、
   請求項１乃至５のいずれか１項に記載の表示制御装置と
   を有することを特徴とする撮像装置。
7. 撮像手段から得られる視差を有する一対の像信号に基づいて、焦点状態を検出する焦点検出工程と、
   前記焦点状態に対応する指標を表示手段に表示する場合の、前記表示手段における位置を算出する算出工程と、
   前記焦点状態が合焦を示していない場合に、連続的に検出された複数の焦点状態に対応する複数の前記位置を平均する平均工程と、
   前記表示手段の前記平均された位置に前記指標を表示する表示工程と、を有し、
   前記表示工程では、前記像信号の像ずれ量を前記焦点状態を表すデフォーカス量に変換するための変換係数が第１の値の場合に、該第１の値よりも小さい第２の値の場合よりも、前記指標を表示手段に表示する更新頻度を小さくし、
   前記平均工程では、前記指標を更新する間に得られる複数の前記位置を平均することを特徴とする表示制御方法。
8. 撮像手段から得られる視差を有する一対の像信号に基づいて、焦点状態を検出する焦点検出工程と、
   前記焦点状態に対応する指標を表示手段に表示する場合の、前記表示手段における位置を算出する算出工程と、
   前記焦点状態が合焦を示していない場合に、連続的に検出された複数の焦点状態に対応する複数の前記位置を平均する平均工程と、
   前記表示手段の前記平均された位置に前記指標を表示する表示工程と、
   前記撮像手段の手振れを検知する検知工程と、を有し、
   前記表示工程では、前記検知工程により手振れが検知された場合に、検知されない場合よりも、前記指標を表示手段に表示する更新頻度を小さくし、
   前記平均工程では、前記指標を更新する間に得られる複数の前記位置を平均することを特徴とする表示制御方法。
9. 撮像手段から得られる視差を有する一対の像信号に基づいて、焦点状態を検出する焦点検出工程と、
   前記焦点状態に対応する指標を表示手段に表示する場合の、前記表示手段における位置を算出する算出工程と、
   前記焦点状態が合焦を示していない場合に、連続的に検出された複数の焦点状態に対応する複数の前記位置を平均する平均工程と、
   前記表示手段の前記平均された位置に前記指標を表示する表示工程と、
   前記焦点状態の信頼性を取得する取得工程と、を有し、
   前記表示工程では、前記信頼性が第１の値の場合に、該第１の値よりも信頼性が高い第２の値の場合よりも、前記指標を表示手段に表示する更新頻度を小さくし、
   前記平均工程では、前記指標を更新する間に得られる複数の前記位置を平均することを特徴とする表示制御方法。
10. コンピュータを、請求項１乃至５のいずれか１項に記載の表示制御装置の各手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images