JP5294794B2 - 撮像装置及び画像表示方法 - Google Patents

Description

本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特にマニュアルフォーカス用のガイド画像を表示する機能を有する撮像装置に関する。

撮像装置のオートフォーカスにおける焦点検出方法として、特許文献１にて開示されたものがある。この焦点検出方法では、撮像素子における画像生成用画素群内に焦点検出用画素群が離散的に配置され、焦点検出用画素群の前面に配置されたマイクロレンズによって撮像光学系からの光束を分割（瞳分割）して一対の被写体像を焦点検出用画素群上に形成する。そして、該一対の被写体像の位相差を検出することで撮像光学系のデフォーカス量を求める。

一方、使用者がマニュアルフォーカスを行う場合に、マニュアルフォーカス操作をサポートするためのガイド画像（フォーカスガイド画像）を表示する撮像装置が特許文献２，３にて開示されている。

特許文献２にて開示された撮像装置では、フィルムカメラの光学ファインダに採用される場合が多かったスプリットイメージに相当するフォーカスガイド画像を電子的に生成して電子ファインダ上に表示する。また、特許文献３にて開示された撮像装置では、非合焦状態において、撮像素子を用いて得られた単一の画像から撮像光学系のデフォーカス量に対じた二重画像を生成し、これをフォーカスガイド画像として電子ファインダ上に表示する。
特開２０００−１５６８２３号公報 特開２００１−３０９２１０号公報 特開２００５−０８００９３号公報

しかしながら、特許文献２にて開示された撮像装置では、フォーカスガイド画像として、通常の表示画像の一部に被写体の上下が左右方向にずれた様子を示すスプリットイメージ相当の画像を表示する。この場合、使用者がある程度スプリットイメージを使い慣れていないと、これをガイドとして素早くかつ正確にマニュアルフォーカスを行うことが難しい。

また、特許文献３にて開示された撮像装置では、ピント合わせの対象である被写体に対してピントが合っていないと、ピントが合っている他の被写体まで二重像化されて表示されてしまう。このため、マニュアルフォーカス操作を至近方向と無限遠方向のどちらに行えばピントを合わせたい被写体にピントが合うかを即座に判断しにくい。

本発明は、視覚的に理解し易いフォーカスガイド画像を表示できるようにした撮像装置及びその画像表示方法を提供する。

本発明の一側面としての撮像装置は、撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換して第１の画像及び第２の画像を生成する画像取得手段と、画像を表示する表示手段と、主被写体が顔の場合に第１及び第２の画像を重畳させた重畳画像を表示手段に表示させ、主被写体が顔でない場合に第１及び第２の画像を用いて生成されたスプリットイメージを表示手段に表示させる処理手段とを有することを特徴とする。

また、本発明の他の一側面としての撮像装置の画像表示方法は、撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換して第１の画像及び第２の画像を生成するステップと、主被写体が顔の場合に第１及び第２の画像を重畳させた重畳画像を表示手段に表示させ、主被写体が顔でない場合に第１及び第２の画像を用いて生成されたスプリットイメージを表示手段に表示させるステップとを有することを特徴とする。

本発明によれば、視覚的に理解し易いフォーカスガイド画像を表示できるようにした撮像装置を実現することができる。

また、本発明によれば、使用者により又は自動的にフォーカスガイド画像の切り換えが可能な撮像装置を実現することができる。

以下、本発明の好ましい実施例について図面を参照しながら説明する。

図１には、本発明の実施例１であるデジタルカメラ（撮像装置）の構成を示している。なお、デジタルカメラには、デジタルスチルカメラやビデオカメラが含まれるが、ここではデジタルスチルカメラである場合について説明する。

図１において、１００は撮像光学系であり、フォーカスレンズ１００ａを含む。撮像光学系１００は、交換レンズとして不図示のカメラ本体に着脱可能に装着されてもよいし、カメラ本体に一体に備えられていてもよい。

１０１はＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子であり、撮像光学系１００からの光束により形成された被写体像を光電変換する。

ここで、撮像素子１０１における画素配列について図２を用いて説明する。図２には、撮像素子１０１の撮像面における一部分の画素配列を示している。

撮像面（すなわち、単一の撮像素子）上には、Ｒ，Ｇ，Ｂのカラーフィルタが設けられた通常の画像生成用画素群（第３の画素群：以下、撮像画素という）２０３が配置されている。また、撮像画素群２０３の中には、Ａ像用画素群（ＳＡ：第１の画素群）２０１とＢ像用画素群（ＳＢ：第２の画素群）２０２がそれぞれ離散的に配置されている。

図５Ａには、Ａ像用画素群２０１のうちの１つの画素の構造を示す。この図において、Ａ像用画素の光入射側には、マイクロレンズ５０１が形成されている。５０２はマイクロレンズ５０１を形成するための平面を構成する平滑層である。

５０３は遮光層であり、Ａ像用画素の光電変換領域５０４の中心Ｏに対して一方向に偏心した絞り開口部を有する。

また、図５Ｂには、Ｂ像用画素群２０２のうち１つの画素の構造を示す。Ｂ像用画素の光入射側には、マイクロレンズ６０１が形成されている。６０２はマイクロレンズ６０１を形成するための平面を構成する平滑層である。

６０３は遮光層であり、Ｂ像用画素の光電変換領域６０４の中心Ｏに対して、Ａ像用画素に設けられた遮光層５０３とは反対方向に偏心した絞り開口部を有する。すなわち、Ａ像用及びＢ像用画素の遮光層５０３，６０３は、各マイクロレンズの光軸を挟んだ対称な位置に絞り開口部を有する。遮光層５０３，６０３を設けることにより瞳分割手段が構成される。

このような構成によれば、撮像光学系をＡ像用画素から見た場合とＢ像用画素から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価となる。言い換えれば、撮像光学系からの光束が２つの光束にいわゆる瞳分割され、それぞれの分割光束（第１の光束及び第２の光束）がＡ像用画素及びＢ像用画素に入射する。

図２において、Ａ像用画素群２０１とＢ像用画素群２０２上には、撮像素子１０１の画素数が多くなるにつれてより近似した２像（Ａ像とＢ像）が形成されるようになる。撮像光学系が被写体に対してピントが合っている状態では、Ａ像用画素群２０１とＢ像用画素群２０２からそれぞれ得られる出力（像信号）は互いに一致する。

これに対し、撮像光学系のピントがずれていると、Ａ像用画素群２０１とＢ像用画素群２０２からそれぞれ得られる像信号には位相差が生じる。そして、該位相差の方向は、前ピン状態と後ピン状態とで逆になる。

図５Ｃ及び図５Ｄには、ピント状態と位相差との関係を示す。これらの図においては、Ａ像用画素群２０１とＢ像用画素群２０２を互いに近づけて、それぞれをＡ，Ｂの点として示している。また、撮像用画素２０３は省略している。

被写体上の特定点からの光束は、Ａ像用画素Ａに対応する分割瞳を通って該Ａ像用画素Ａに入射する光束ΦＬａと、Ｂ像用画素Ｂに対応する分割瞳を通って該Ｂ像用画素Ｂに入射する光束ΦＬｂとに分割される。これら２つの光束は、被写体上の同一点から入射しているため、撮像光学系のピントが合った状態では、図５Ｃに示すように、同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、Ａ像用画素群Ａ（２０１）とＢ像用画素群Ｂ（２０２）からそれぞれ得られる像信号は互いに一致する。

しかし、図５Ｄに示すように、ｘだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズへの入射角の変化分だけ両光束ΦＬａ，ΦＬｂの到達位置が互いにずれる。したがって、Ａ像用画素群Ａ（２０１）とＢ像用画素群Ｂ（２０２）からそれぞれ得られる像信号には位相差が生じる。

以上のことを利用して、本実施例のカメラは撮像素子１０１を用いた焦点検出を行うことができる。

また、本実施例では、Ａ像及びＢ像用画素群２０１，２０２により位相差を持った２つの被写体像（Ａ像及びＢ像）を光電変換することを利用して、Ａ像用画素群２０１からの信号を用いてＡ像（第１の被写体像）に対応する第１の画像（Ａ画像データ）を生成する。また、Ｂ像用画素群２０２からの信号を用いてＢ像（第２の被写体像）に対応する第２の画像（Ｂ画像データ）を生成する。さらに、撮像用画素群２０３上には、前述した遮光層５０３，６０３により分割されない光束によって被写体像（第３の被写体像）が形成される。撮像用画素群２０３からの信号を用いて通常の撮像画像（又は表示画像：第３の画像）を生成する。

図１において、１０２は撮像素子１０１から出力されたアナログ信号をデジタル信号（画素信号）に変換するＡ／Ｄ変換器である。

１０３は像分離回路である。図２に示した画素配列のパターンは、画素配列テーブルメモリ１０４に画素配列テーブルとして記憶されている。

像分離回路１０３は、画素配列テーブルに従って、Ａ／Ｄ変換器１０２から出力される画素信号からＡ像用画素群２０１、Ｂ像用画素群２０２及び撮像画素群２０３のそれぞれからの画素信号を分離する。そして、像分離回路１０３は、Ａ像用画素群２０１からの画素信号をＡ像保持回路１１２と画素補正回路１０５とに出力し、Ｂ像用画素群２０２からの画素信号をＢ像保持回路１１１と画素補正回路１０５に出力する。また、像分離回路１０３は、撮像画素群２０３からの画素信号を画素補正回路１０５に出力する。

画素補正回路１０５は、上記画素配列テーブルを参照して、各Ａ像用画素と各Ｂ像用画素のそれぞれの周囲に配置された撮像画素からの画素信号を用いて各Ａ像用画素と各Ｂ像用画素の画素値を補間する。本来、撮像用画素群２０３と同じパターンでＡ像用画素及びＢ像用画素にもＲ又はＢのカラーフィルタが設けられているはずである。このため、画素補正回路１０５は、各Ａ像用及びＢ像用画素の周辺に存在する、本来これらが有するはずのカラーフィルタと同じ色のカラーフィルタを有する撮像画素の画素値を用いて、各Ａ像用及びＢ像用画素の画素値を補間する。

このようにして、画素補正回路１０５からは、撮像画素群２０３からの画素補間後の画素信号が出力される。

１０６は信号処理回路である。信号処理回路１０６は、画素補正回路１０５からの画素信号に各種処理を施し、撮像画素群２０３からの画素信号に基づいて、通常の撮像画像（記録用画像：第３の画像）を表す画像信号（以下、映像信号という）を生成する。以上の撮像素子１０１〜信号処理回路１０６により画像取得系（画像取得手段）が構成される。

次に、画像処理系（処理手段）について説明する。図１に示すＡ像保持回路１１２は、像分離回路１０３から入力されたＡ像用画素群２０１からの画素信号（Ａ像画素信号）を、次にＡ像画素信号が入力される直前まで保持するとともに、保持していたＡ像画素信号を減算器１１８に出力する。また、Ｂ像保持回路１１１は、像分離回路１０３から入力されたＢ像用画素群２０２からの画素信号（Ｂ像画素信号）を、次にＢ像画素信号が入力される直前まで保持するとともに、保持していたＢ像画素信号を減算器１１８に出力する。このようにして、Ａ像保持回路１１２及びＢ像保持回路１１１から出力されるＡ像画素信号及びＢ像画素信号はそれぞれ、Ａ像及びＢ像の映像信号における１フィールド画像（又は１フレーム画像）を構成する。

図３において、３０１はＡ像映像信号、すなわちＡ画像データ（第１の画像）の例である。また、３０２はＢ像映像信号、すなわちＢ画像データ（第２の画像）の例である。撮像光学系１００が非合焦状態にあり、撮像素子１０１上に形成されるＡ像とＢ像は互いに左右方向にずれている。したがって、Ａ画像データとＢ画像データ内のＡ像とＢ像も撮像素子１０１上でのずれ量に対応した左右方向でのずれ量を有する。

減算器１１８は、Ａ像保持回路１１２からのＡ像画素信号とＢ像保持回路１１１からのＢ像画素信号との差の絶対値に相当する差分信号を生成して、コンパレータ１１４に出力する。差分信号は、Ａ像とＢ像間（第１及び第２の被写体像間）でのずれ量に相当する。また、このずれ量は位相差検出方式における位相差に相当する。

コンパレータ１１４は、閾値メモリ１１７に記憶されている所定値としての閾値と、減算器１１８からの差分信号の値とを比較する。コンパレータ１１４は、差分信号の値が閾値よりも大きい（又は以上である）場合は「１」を、そうでなければ「０」を出力する。そして、コンパレータ１１４からの出力が「１」か「０」か、すなわち差分信号の値が閾値より大きいか小さいかによって後述するスイッチ１１６が切り換わる。

１１０はグラフィックイメージを保持するＧＵＩ用ＶＲＡＭであり、１０９はＣＰＵである。ＣＰＵ１０９は、画像処理系の各部の動作を制御する。

また、ＣＰＵ１０９は、Ａ像用画素群２０１からの画素信号とＢ像用画素群２０２からの画素信号を像信号として用いてこれらの位相差を検出し、該位相差から撮像光学系１００のデフォーカス量を求める。そして、該デフォーカス量に基づいてフォーカスレンズ１００ａの駆動量を算出し、フォーカスレンズ１００ａがその駆動量だけ移動するように制御する。すなわち、ＣＰＵ１０９は、位相差検出方式のフォーカス制御を行うフォーカス制御手段としても機能する。

１１３はＶＲＡＭ１１０からグラフィックイメージを読み取ってＯＳＤ（オンスクリーンディスプレイ）映像信号を生成するＯＳＤ回路である。ＯＳＤ映像信号は、使用者がカメラを操作するのに必要なグラフィカルインターフェース（ＧＵＩ）情報を表示するための信号である。ＧＵＩ情報には、メニューアイコンやメッセージ等の情報が含まれる。

１１５は後述するハイライト部の表示色（特定色）としてＣＰＵ１０９によって指定された色に応じたハイライト表示色信号を出力するハイライト表示色出力部である。

スイッチ１１６は、コンパレータ１１４からの出力に応じて、ＯＳＤ回路１１３からのＯＳＤ映像信号とハイライト表示色出力部１１５からのハイライト表示色信号のうちスーパーインポーズ合成回路１０７に出力する信号を切り換える。コンパレータ１１４からの信号が「１」であった場合は、スイッチ１１６はハイライト表示色出力部１１５側に切り換わり、コンパレータ１１４からの信号が「０」であった場合は、スイッチ１１６はＯＳＤ回路１１３側に切り換わる。

スーパーインポーズ合成回路１０７は、信号処理回路１０６から出力される映像信号にスイッチ１１６からの出力（ＯＳＤ映像信号又はハイライト表示色信号）を重畳させる。以上が画像処理系の構成と動作である。

１０８はＬＣＤ等により構成されたディスプレイデバイス（表示手段）である。ディスプレイデバイス１０８は、スーパーインポーズ合成回路１０７から出力された映像信号を表示する。

また、１２０はマニュアルフォーカス（ＭＦ）モードとオートフォーカス（ＡＦ）モードを使用者が選択するためのフォーカスモードスイッチである。ＣＰＵ１０９は、ＡＦモードが選択されている場合には、スーパーインポーズ合成回路１０７から通常の映像信号のみをディスプレイデバイス１０８に出力させる。これにより、通常の撮像画像（第３の画像）がディスプレイデバイス１０８に表示される。

一方、ＭＦモードが選択されている場合には、ＣＰＵ１０９は、スーパーインポーズ合成回路１０７に、Ａ像の映像信号とＢ像の映像信号とをスーパーインポーズ合成させる。そして、スーパーインポーズ合成回路１０７は、スーパーインポーズ合成により生成したＡＢ重畳映像信号をディスプレイデバイス１０８に出力させる。これにより、Ａ画像データとＢ画像データとが重畳（合成）された重畳画像、言い換えれば二重画像がディスプレイデバイス１０８に表示される。

この重畳画像（二重画像）は、使用者によるマニュアルフォーカス操作のガイドとなるフォーカスガイド画像（フォーカスサポート画像又はフォーカスアシスト画像等とも称される）となる。なお、ＭＦモードが選択されている場合において、不図示のフォーカスガイドスイッチが操作されることを条件に、フォーカスガイド画像を表示させるようにしてもよい。

図４の上図には、図３に示したＡ画像データとＢ画像データとを重畳してディスプレイデバイス１０８上に表示された重畳画像（二重画像）の例を示す。撮像光学系１００のデフォーカス量に応じてＡ像とＢ像がずれて表示されている。この重畳画像だけでも、マニュアルフォーカス操作のガイドとなる情報を視覚的に理解し易い形態で使用者に提示することができる。

図４には示していないが、重畳画像上において撮像光学系１００が合焦している被写体領域ではＡ像とＢ像が互いに一致して表示される。このため、非合焦状態の被写体領域に対して合焦させたい場合には、その被写体領域が合焦している被写体領域に対して近いか遠いかによってどちらの方向にマニュアルフォーカス操作をすればよいかを使用者は直感的に判断することができる。

さらに、本実施例では、重畳画像上において、Ａ像とＢ像のずれ量に応じた強調表示を行う。具体的には、減算器１１８からの差分信号が閾値メモリ１１７に記憶されている閾値（所定値）よりも大きい場合（閾値以上の場合としてもよい）は、コンパレータ１１４からの出力によってスイッチ１１６がハイライト表示色出力部１１５側に切り換わる。これにより、ハイライト表示色出力部１１５からハイライト表示色信号がスーパーインポーズ合成回路１０７に入力される。スーパーインポーズ合成回路１０７は、図４の下図にハッチングして示した領域（ハイライト部）４０３をハイライト表示色（特定色）で強調表示するように、ＡＢ重畳映像信号にハイライト表示色信号を合成する。

ここで、ハイライト部４０３は、Ａ像とＢ像のずれ量が上記閾値に対応するずれ量よりも大きい被写体領域であって、例えばＡ像の輪郭とＢ像の輪郭とによって囲まれたずれ領域である。

このようにして、本実施例では、重畳画像上におけるＡ像とＢ像間のずれ量が閾値より大きい被写体領域をハイライト表示色（特定色）で強調表示する。これにより、使用者は、その被写体領域に対する撮像光学系１００のデフォーカス量が大きいことや、その被写体領域に対して合焦させるためにマニュアルフォーカス操作を大きく行うべきであることを一目で判断することができる。ハイライト表示色による強調表示がされておらず単にＡ像とＢ像がずれて表示されている場合には、マニュアルフォーカス操作を細かく行うべきであることを一目で判断することができる。

なお、ハイライト表示色出力部１１５からのハイライト表示色信号の出力を周期的に行うことで、強調表示が行われるオン状態と行われないオフ状態とに交互に切り換える、すなわち強調表示を点滅させることも可能である。強調表示を点滅させることで、強調表示の非点灯のときにハイライト部の元々の被写体画像を確認することができる。

なお、上述した重畳画像の生成処理を、後述するようにコンピュータプログラム（ソフトウエア）を用いて行ってもよい。

実施例１では、撮像光学系１００からの光束を左右方向に瞳分割してＡ像及びＢ像を形成する場合について説明したが、該光束を上下方向に瞳分割してＡ像及びＢ像を形成するようにしてもよい。

さらに、撮像光学系１００からの光束を左右方向及び上下方向に瞳分割して、左右方向にて対をなすＡ像及びＢ像と、上下方向にて対をなすＡ像及びＢ像を形成するようにしてもよい。

図６には、左右方向及び上下方向に瞳分割する場合における各対のＡ像及びＢ像のずれ量（差分信号）を、図１に示した閾値メモリ１１７に記憶された閾値と比較してスイッチ１１６を切り換える信号を生成する回路構成を示している。なお、本実施例において、実施例１と共通する構成要素には、実施例１と同符号を付す。

１１２Ｈ，１１１Ｈはそれぞれ、左右方向にて対をなすＡ像とＢ像の画素信号（以下、横Ａ像画素信号と横Ｂ像画素信号という）を保持した後出力する横Ａ像保持回路及び横Ｂ像保持回路である。また、１１２Ｖ，１１１Ｖはそれぞれ、上下方向にて対をなすＡ像とＢ像の画素信号（以下、縦Ａ像画素信号と縦Ｂ像画素信号という）を保持した後出力する縦Ａ像保持回路及び縦Ｂ像保持回路である。

１１８Ｈは横減算器であり、横Ａ像画素信号と横Ｂ像画素信号の差を示す横差分信号を出力する。また、１１８Ｖは縦減算器であり、縦Ａ像画素信号と縦Ｂ像画素信号の差を示す縦差分信号を出力する。

１１４Ｈは横コンパレータであり、横差分信号が閾値メモリ１１７に記憶された閾値よりも大きい（又は以上）の場合は「１」を、そうでなければ「０」を出力する。１１４Ｖは縦コンパレータであり、縦差分信号が閾値メモリ１１７に記憶された閾値よりも大きい（又は以上）の場合は「１」を、そうでなければ「０」を出力する。

１３０はＯＲ回路であり、横コンパレータ１１４Ｈ及び縦コンパレータ１１４Ｖからの出力のうち少なくとも一方が「１」である場合に「１」を出力し、いずれも「０」である場合に「０」を出力する。

スイッチ１１６は、ＯＲ回路１３０からの出力が「１」である場合には、ハイライト表示色出力部１１５側に切り換わる。また、ＯＲ回路１３０からの出力が「０」であった場合は、スイッチ１１６はＯＳＤ回路１１３側に切り換わる。

本実施例では、左右方向及び上下方向のうち少なくとも一方においてＡ像とＢ像のずれ量が大きい被写体領域をハイライト部として強調表示が行われる。このため、被写体の輪郭が縦線により構成されている場合と横線で構成されている場合の両方に対して良好なマニュアルフォーカスガイドが可能となる。

実施例１では、Ａ像とＢ像のずれ量の差が閾値より大きい被写体領域をハイライト部として強調表示する場合について説明した。しかし、図１におけるコンパレータ１１４の出力とスイッチ１１６との間にインバータを挿入することで、Ａ像とＢ像のずれ量の差が閾値より小さい被写体領域をハイライト部として強調表示することも可能である。これにより、合焦に近い状態にある被写体領域を明確に使用者に認識させるマニュアルフォーカスガイドが可能となる。

実施例１では、ハードウエアによって、Ａ像とＢ像のずれ量を示す差分信号を生成し、さらに差分信号の値を閾値と比較することで強調表示を行うか否かを切り換える場合について説明した。しかし、同様の処理をソフトウエアによって行うこともできる。

なお、実施例１では、Ａ画像データ（Ａ像の映像信号）とＢ画像データ（Ｂ像の映像信号）とを重畳させた重畳画像（ＡＢ重畳映像信号）を表示した上で、Ａ像とＢ像のずれ量が大きい領域を強調表示する場合について説明した。しかし、本実施例では、通常の撮像画像（第３の画像）上にＡ像とＢ像のずれ量に応じた強調表示を行う場合について説明する。

図７には、ソフトウエア処理によって実施する場合の回路構成を示す。

７０１は実施例１の撮像素子１０１と同じ構成を有する撮像素子であり、７０２は撮像素子７０１から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。

７０３はＡ／Ｄ変換後の撮像素子７０１の出力を格納するメモリである。７０６はメモリ７０３内に格納された画像を処理して通常の映像信号やＡ像及びＢ像映像信号（第１及び第２の画像）を生成する処理手段としてのＣＰＵである。７０４は映像信号を格納する表示用メモリである。

７０５はＬＣＤ等により構成されるディスプレイデバイス（表示手段）である。

図８のフローチャートには、ＭＦモードにおいてＣＰＵ７０６が行う処理（画像表示方法）の流れを示している。

ステップＳ８０１で処理を開始すると、ステップＳ８０２において、ＣＰＵ７０６は、撮像素子７０１からの信号をＡ／Ｄ変換器７０２でデジタル変換してメモリ７０３に格納する。メモリ７０３に格納されたデータには、Ａ像用画素群からのＡ像画素信号、Ｂ像用画素群からのＢ像画素信号、及び撮像画素群からのＲＧＢ画素信号が混在している。

次にステップＳ８０３では、ＣＰＵ７０６は、メモリ７０３に格納されたデータからＡ像画素信号とＢ像画素信号をピックアップして、Ａ像に対応したＡ画像データとＢ像に対応したＢ画像データを作成する。

次に、ステップＳ８０４では、ＣＰＵ７０６は、各Ａ像用画素とＢ像用画素の位置に本来あるべき色のデータを周辺の撮像画素の画素値から補間する。これにより、画素補間されたＲＧＢ画素信号を作成する
さらにステップＳ８０５では、ＣＰＵ７０６は、ＲＧＢ画素信号に対する信号処理を行って通常の撮像画像であるカラー表示用画像を作成する。

次のステップＳ８０６では、ＣＰＵ７０６は、今回のルーチンが強調表示のタイミング（周期）かどうかを判断し、強調表示のタイミングであればステップＳ８０６に進む。強調表示のタイミングでない場合はステップＳ８０８に進む。強調表示のタイミングか否かはＣＰＵ７０６内のタイマーを用いて判定する。

続いてステップＳ８０７では、ＣＰＵ７０６は、Ａ画像データ内のＡ像とＢ画像データ内のＢ像間のずれ量（絶対値）が所定の閾値より大きい画素（被写体領域）を判定する。そして、ずれ量が所定の閾値より大きい画素については、ステップＳ８０５で作成したカラー表示用画像のうち対応する画素を強調表示用の色で上書きする。

次に、ステップＳ８０８では、ＣＰＵ７０６は、ステップＳ８０５で作成したカラー表示用画像又はステップＳ８０７で一部の画素が強調表示用の特定色で上書きされたカラー表示用画像を表示用メモリ７０４に転送する。表示用メモリ７０４に書き込まれたカラー表示用画像は所定のタイミングでディスプレイデバイス７０５に転送されて表示される。

このように、本実施例では、通常のカラー表示用画像上において、Ａ像とＢ像間におけるずれ量が大きい被写体領域の強調表示を行う。これにより、二重画像を表示することなくデフォーカス量が大きい被写体領域を使用者に明確に認識させることができる。

そして、ステップＳ８０２からステップＳ８０８を繰り返し実行することにより、強調表示のＯＮ／ＯＦＦが繰り返され、点滅するような強調表示を行うことができる。

なお、本実施例においても、実施例３と同様に、Ａ像とＢ像のずれ量の差が閾値より小さい被写体領域を強調表示することも可能である。

上記各実施例では、単一の撮像素子内に、マイクロレンズにより瞳分割された光束により形成されたＡ像及びＢ像を光電変換する画素群と瞳分割されない光束により形成された被写体像を光電変換する撮像画素群とが設けられている場合について説明した。しかし、本発明は、撮像画素群を有する撮像素子と、Ａ像及びＢ像を光電変換する画素群を有する別の撮像素子とを用いてもよい。つまり、本発明においては、撮像素子が少なくとも１つ用いられていればよい。

また、瞳分割の方向は、左右方向や上下方向に限らず、斜め方向でもよい。

図９には、本発明の実施例５であるデジタルカメラ（撮像装置）の構成を示している。なお、デジタルカメラには、デジタルスチルカメラやビデオカメラが含まれるが、ここではデジタルスチルカメラである場合について説明する。

図９において、４１０１は撮像光学系であり、フォーカスレンズ４１０１aを含む。撮像光学系４１０１は、交換レンズとして不図示のカメラ本体に着脱可能に装着されてもよいし、カメラ本体に一体に備えられていてもよい。

４１０２はＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子であり、撮像光学系４１０１からの光束により形成された被写体像（第３の被写体像）を光電変換する。

４１０３はＡ／Ｄ変換部であり、撮像素子４１０２から出力されたアナログ信号をデジタル信号に変換する。

４１０４は信号処理部であり、Ａ／Ｄ変換部４１０３から出力されたデジタル信号に対して色変換処理等の信号処理を行い、ＬＣＤ等によって構成される表示部（表示手段）４１０６に表示可能な画像信号を生成する。

４１０５は表示画像生成部であり、後述する後述するＡ画像データ（第１の画像）及びＢ画像データ（第２の画像）や、信号処理部４１０４からの画像信号（本画像：第３の画像）を用いてフォーカスガイド画像を生成する。この表示画像生成部４１０５の動作については後述する。

４１０９はスイッチであり、表示部４１０６に出力する画像信号を、信号処理部４１０４の出力と表示画像生成部４１０５の出力との間で切り換える。

４１０７は位相差像取得部であり、撮像光学系４１０１からの光束を２つの光束（第１の光束及び第２の光束）に瞳分割し、該２つの光束によってそれぞれ形成された２つの像（第１の被写体像及び第２の被写体像：以下、Ａ像及びＢ像という）を形成する。そして、Ａ像及びＢ像を光電変換して、Ａ像及びＢ像にそれぞれ対応するＡ画像データ及びＢ画像データを生成する。位相差像取得部４１０７の構成については後述する。

撮像素子４１０２、Ａ／Ｄ変換部４１０３、信号処理部４１０４及び位相差像取得部４１０７により画像取得手段が構成される。また、表示画像生成部４１０５及び後述する制御部４１１０により処理手段が構成される。

ここで、位相差像取得部４１０７の構成例について、図２１を用いて説明する。図２１において、４１０７ａ，４１０７ｃはそれぞれＡ像用センサとＢ像用センサであり、前述した撮像素子４１０２とは別の１つ又は２つの撮像素子により形成されている。Ａ像用センサ４１０７ａとＢ像用センサ４１０７ｃには、撮像光学系４１０１からの光束の一部であって図９に示した瞳分割レンズ（瞳分割手段）４１０７ｅによって瞳分割されたＡ像用光束及びＢ像用光束（第１の光束及び第２の光束）がそれぞれ入射する。Ａ像用センサ４１０７ａとＢ像用センサ４１０７ｃ上にはそれぞれ、Ａ像用光束によるＡ像とＢ像用光束によるＢ像とが形成される。Ａ像とＢ像は、撮像光学系４１０１が非合焦状態にあるときに、そのデフォーカス量に応じた位相差を持つ。Ａ像用センサ４１０７ａとＢ像用センサ４１０７ｃはそれぞれ、Ａ像とＢ像を光電変換する。

４１０７ｂ，４１０７ｄはそれぞれ、Ａ像用信号処理部とＢ像用信号処理部である。Ａ像用信号処理部４１０７ｂは、Ａ像用センサ４１０７ａから出力されたアナログ信号をデジタル信号に変換し、変換後の信号に対して所定の処理を行ってＡ像に対応したＡ画像データを生成する。Ｂ像用信号処理部４１０７ｄは、Ｂ像用センサ４１０７ｃから出力されたアナログ信号をデジタル信号に変換し、変換後の信号に対して所定の処理を行ってＢ像に対応したＢ画像データを生成する。

図９において、４１０８は相関演算部であり、位相差像取得部４１０７から出力されたＡ像とＢ像の位相差を相関演算により算出する。算出された位相差は、撮像光学系４１０１のデフォーカス量に対応するため、オートフォーカス制御に用いられる。具体的には、位相差から撮像光学系４１０１のデフォーカス量が算出され、該デフォーカス量に基づいてフォーカスレンズ４１０１ａの合焦位置までの駆動量が算出される。そして、フォーカスレンズ４１０１ａがその駆動量だけ移動するように制御する。

４１１０は制御部であり、後述するようにスイッチ４１０９を制御する。

次に、図１０、図１１、図１２及び図１３を用いて、表示画像生成部４１０５での処理について説明する。図１０には、撮像素子４１０２からの信号に基づいて信号処理部４１０４にて生成される通常の撮像画像である本画像を示す。

図１１及び図１２にはそれぞれ、位相差像取得部４１０７により生成された、Ａ像及びＢ像に対応するＡ画像データ及びＢ画像データを示す。撮像光学系４１０１が非合焦状態にあるとき、本画像と比較して、Ａ画像データにおけるＡ像は右側に、Ｂ画像データにおけるＢ像は左側にずれている。表示画像生成部４１０５は、これらＡ画像データ及びＢ画像データを用いてフォーカスガイド画像（フォーカスサポート画像又はフォーカスアシスト画像等とも称される）を生成する。

フォーカスガイド画像としては、Ａ画像データ及びＢ画像データを係数（α）を使って半透明合成（重畳）するアルファブレンド行うことでＡ画像データ及びＢ画像データの重畳画像（二重画像）として生成することができる。アルファブレンドは、以下の式（１）により行う。

Ｏ（ｘ，ｙ）＝Ａ（ｘ，ｙ）×α＋Ｂ（ｘ，ｙ）×（１−α） …（１）
ただし、Ｏ（ｘ，ｙ）：重畳画像（二重画像）
Ａ（ｘ，ｙ）：Ａ画像データ
Ｂ（ｘ，ｙ）：Ｂ画像データ
α：加重係数（透過度情報）
(ｘ，ｙ)：画素の座標
また、別のフォーカスガイド画像としては、Ａ像（Ａ画像データ）とＢ像（Ｂ画像データ）との差分（ずれ量）の絶対値を示す画像である差分画像を本画像に重畳させることで、これらの重畳画像（二重画像）として生成することができる。

まず、表示画像生成部４１０５に入力されたＡ像及びＢ像の差分を示す差分画像、以下の式（２）により算出する。

Ｏ（ｘ，ｙ）＝｜Ａ（ｘ，ｙ）−Ｂ（ｘ，ｙ）｜ …（２）
ただし、Ｏ（ｘ，ｙ）：差分画像
Ａ（ｘ，ｙ）：Ａ画像データ
Ｂ（ｘ，ｙ）：Ｂ画像データ。

次に、式（２）で求まった差分画像に２値化処理を施して、図１４に示すように、ピントがずれている領域（白領域）を示す２値化画像を生成する。

そして、この２値化画像（ピントがずれている領域、つまりはＡ像とＢ像の差分）を図１０の本画像に重畳することにより、図１３に示す二重画像を生成する。以上の差分画像を用いた二重画像の生成処理の流れを図１５Ａに示す。

なお、本実施例では、Ａ画像データ及びＢ画像データを用いて二重画像を生成する場合について説明したが、本画像とＡ画像データ又は本画像とＢ画像データを用いて二重画像を生成してもよい。

図９において、４１１２はマニュアルフォーカス（ＭＦ）モードとオートフォーカス（ＡＦ）モードを使用者が選択するためのフォーカスモードスイッチである。制御部４１１０は、ＡＦモードが選択されている場合には、スイッチ４１０９を信号処理部４１０４側に設定して本画像を表示部４１０６に出力させる。これにより、本画像のみが表示部４１０６に表示される。

一方、ＭＦモードが選択されている場合には、制御部４１１０は、スイッチ４１０９を表示画像生成部４１０５側に設定して、フォーカスガイド画像としての重畳画像（二重画像）を表示部４１０６に出力させる。これにより、フォーカスガイド画像が表示部４１０６に表示され、使用者はこのフォーカスガイド画像を見ながらマニュアルフォーカス操作を行うことができる。なお、ＭＦモードが選択されている場合において、不図示のフォーカスガイドスイッチが操作されることを条件に、フォーカスガイド画像を表示させるようにしてもよい。

上述したアルファブレンドを用いる場合と差分画像を用いる場合に共通する、Ａ像とＢ像の取得から二重画像の表示までの処理（画像表示方法）の流れを図１５Ｂのフローチャートに示している。

ステップＳ４７０１では、制御部４２１０は、位相差像取得部４１０７にＡ画像データ及びＢ画像データを生成させる。

次に、ステップＳ４７０２では、制御部４２１０は、フォーカスモードスイッチ４１１２によりＭＦモードが選択されているか否か（又はフォーカスガイドスイッチが操作されたか否か）を判別する。ＭＦモードが選択されていない場合（ＡＦモードが選択されている場合）はステップＳ４７０３に進む。また、ＭＦモードが選択されている場合（又はフォーカスガイドスイッチが操作された場合）は、ステップＳ４７０４に進む。

ステップＳ４７０３では、制御部４２１０は、スイッチ４１０９を信号処理部４１０４側に設定して、本画像の表示を選択する。

ステップＳ４７０４では、制御部４２１０は、表示画像生成部４１０５に二重画像を生成させる。また、制御部４２１０は、スイッチ４１０９を表示画像生成部４１０５側に設定する。

次に、ステップＳ４７０５では、本画像又は二重画像が表示部４１０６に出力されて表示される。

本実施例によれば、視覚的に理解し易い二重画像をフォーカスガイド画像として表示することができる。

なお、図には示していないが、二重画像上において撮像光学系４１０１が合焦している被写体領域ではＡ像とＢ像が互いに一致して表示される。このため、非合焦状態の被写体領域に対して合焦させたい場合には、その被写体領域が合焦している被写体領域に対して近いか遠いかによってどちらの方向にマニュアルフォーカス操作をすればよいかを使用者は直感的に判断することができる。

図１６には、本発明の実施例６であるカメラの構成を示す。本実施例のカメラは、互いに異なる第１及び第２のフォーカスガイド画像を生成することができ、これらを選択的に表示させることができる。なお、図１６において、実施例５（図９）のカメラと共通する構成要素には実施例５と同符号を付して説明を省略する。

図１６において、４２１２は第１の表示画像生成部（第１の画像生成手段）である。第１の表示画像生成部４２１２は、位相差像取得部４１０７からのＡ画像データ（第１の画像）及びＢ画像データ（第２の画像）や信号処理部４１０４からの本画像（第３の画像）を用いて、重畳画像である第１のフォーカスガイド画像を生成する。

４２１３は第２の表示画像生成部（第２の画像生成手段）であり、Ａ画像データ及びＢ画像データを用いて、第１のフォーカスガイド画像とは異なる第２のフォーカスガイド画像を生成する。第２のフォーカスガイド画像については後述する。

４２０９はスイッチであり、表示部４１０６に表示する画像を、信号処理部４１０４からの本画像、第１の表示画像生成部４２１２からの第１のフォーカスガイド画像及び第２の表示画像生成部４２１３からの第２のフォーカスガイド画像の中で切り換える。

４２１１は主被写体識別部（被写体識別手段）であり、信号処理部４１０４の出力である本画像のデータから、主被写体の特徴の有無を抽出し、その抽出結果（識別結果）を出力する。主被写体は、使用者の選択操作によって又はカメラにより自動的に行われる。

４２１４は位相差信頼度算出部（信頼度算出手段）であり、位相差像取得部４１０７から出力されたＡ像とＢ像の像信号に基づいてＡ像とＢ像間の位相差の信頼度を算出し、その算出結果を出力する。この位相差信頼度算出部４２１４は、後述する実施例７で使用される。

４２１０は制御部（制御手段）である。制御部４２１０は、主被写体識別部４２１１又は位相差信頼度算出部４２１４からの出力結果に基づいて、表示部４１０６に、本画像、第１のフォーカスガイド画像及び第２のフォーカスガイド画像のうちいずれを表示するか決定する。そして、その決定結果に応じてスイッチ４２０９を切り換える。

ここで、第２のフォーカスガイド画像について説明する。フォーカスガイド画像としては、特許文献２にて開示されているスプリットイメージに相当する画像（以下、スプリットイメージという）もある。図１９に示すように、主被写体（ここでは、「木」）の輪郭がはっきりしている場合には、スプリットイメージを利用した方が実施例５で説明した二重画像（図２０）を利用するよりもピント合わせを行い易い。

ここで、スプリットイメージについて図２６を用いて説明する。図２６中の（ａ）は「棒」を主被写体とした本画像である。（ｂ），（ｃ）はそれぞれＡ画像データとＢ画像データである。（ｄ）はスプリットイメージである。スプリットイメージは、Ａ画像データとＢ画像データのうち、互いに左右方向の位置は同じで上下方向にて隣接する位置にある被写体領域１８０３，１８０４の画像を上下方向にて組み合わせることで生成される。そして、本画像のうちＡ画像データ及びＢ画像データにおける被写体領域１８０３，１８０４に対応する領域にスプリットイメージを挿入（上書き）することで、本画像内にスプリットイメージを表示することができる。

しかし、図１８に示すように、主被写体が人物の顔のように輪郭がはっきりしていないものである場合は、スプリットイメージではピント合わせを行い難い。また、顔がスプリットイメージによって切断されてしまうのは、視覚的に好ましくない。

このため、本実施例では、主被写体識別部４２１１によって主被写体が顔か否かを識別し、顔である場合は二重画像を、顔でない場合はスプリットイメージをフォーカスガイド画像として選択する。すなわち、主被写体識別部４２１１は、本画像のデータから顔の特徴（両目、口等）の有無を抽出して主被写体が顔か否かを識別する顔検出部である。

制御部４２１０は、主被写体識別部４２１１によって顔が識別された場合は、スイッチ４２０９を第１の表示画像生成部４２１２を選択するように設定し、表示部４１０６に第１のフォーカスガイド画像（二重画像）を表示させる。また、主被写体識別部４２１１によって顔が識別された場合は、スイッチ４２０９を第２の表示画像生成部４２１３を選択するように設定し、表示部４１０６に第２のフォーカスガイド画像（スプリットイメージ）を表示させる。

以下、フォーカスガイド画像の切り換えに関する処理（画像表示方法）の流れを、図１７のフローチャートを用いて説明する。この処理は、制御部４２１０内に格納されたコンピュータプログラムに従って実行される。

ステップＳ９１０で撮像モードが開始されると、ステップＳ９２０に進み、制御部４２１０は、フォーカスガイド画像を表示するか否かを判別する。この判別は、実施例５にて説明したように、フォーカスモードがＭＦモードか否かや、フォーカスガイドスイッチが操作されたか否かに従う。フォーカスガイド画像を表示しない場合はステップＳ９７０に進み、スイッチ４２０９を信号処理部４１０４からの本画像が表示部４１０６に出力されるように設定する。そして、ステップＳ９８０に進み、本画像を表示部４１０６に表示させる。

また、フォーカスガイド画像を表示する場合は、ステップＳ９３０に進み、制御部４２１０は、主被写体識別部４２１１に主被写体（顔）の識別を行わせる。

ステップＳ９４０において主被写体が顔であると識別された場合は、ステップＳ９５０に進む。ステップＳ９５０では、制御部４２１０は、スイッチ４２０９を第１の表示画像生成部４２１２からの二重画像が表示部４１０６に出力されるように設定する。そして、ステップＳ９８０に進み、二重画像を表示部４１０６に表示させる。

ステップＳ９４０において主被写体が顔以外の物体であると識別した場合は、ステップＳ９６０に進む。ステップＳ９６０では、制御部４２１０は、スイッチ４２０９を第２の表示画像生成部４２１３からのスプリットイメージが表示部４１０６に出力されるように設定する。そして、ステップＳ９８０に進み、スプリットイメージを表示部４１０６に表示させる。

このように本実施例では、主被写体の識別結果に応じて、よりピント合わせを行い易くするフォーカスガイド画像を切り換えて表示することができる。

なお、本実施例では、主被写体の識別結果に応じてフォーカスガイド画像を切り換える場合について説明したが、フォーカスガイド画像の切換条件は主被写体の識別結果に限られない。使用者がスイッチ等の操作部材を操作することに応じてフォーカスガイド表示を切り換えられるようにしてもよい。

また、切り換え可能なフォーカスガイド画像は、二重画像とスプリットイメージに限られない。さらに、切り換え可能なフォーカスガイド画像を３つ以上設けてもよい。

また、主被写体の識別結果（顔である場合）にスプリットイメージの表示を停止し、本画像の表示に切り換えるようにしてもよい。

次に、本発明の実施例７として、実施例６の変形例について説明する。本実施例のカメラの構成は、実施例６で説明したものと同じである。

ピントを合わせたい被写体領域のコントラストが低い場合、位相差像取得部４１０７で生成されたＡ像及びＢ像間の位相差を正確に求めることが困難である。このことについて、図２４及び図２５を用いて説明し、さらに位相差の信頼度についても説明する。

図２４には、被写体領域のコントラストが高くエッジがはっきりしている場合のＡ像及びＢ像の輝度（縦軸）の例を示している。また、図２５には、被写体領域のコントラストが低い場合のＡ像及びＢ像の輝度の例を示している。両図において、横軸は画素の位置を示す。

図２４のようにコントラストが高い場合には、相関演算を行うことでＡ像及びＢ像の位相差を求めることが可能である。これに対し、図２５のようにコントラストが低い場合は、位相差を算出することは困難である。この位相差を正確に算出可能な程度を示す値を位相差の信頼度と記す。より具体的には、位相差の信頼度は、Ａ像及びＢ像中の輝度の最大値と最小値の差によって決定される。

位相差の信頼度が低い場合には、フォーカスガイド画像を、Ａ画像データとＢ画像データを用いずに本画像を用いて生成した方がよい。このため本実施例では、位相差の信頼度に応じて、フォーカスガイド画像を、Ａ及びＢ画像データを用いて生成したスプリットイメージ（第１のフォーカスガイド画像）と、本画像を用いて生成した部分拡大画像（第２のフォーカスガイド画像）との間で切り換える。

具体的には、図１６に示した第１の表示画像生成部４２１３でスプリットイメージを生成し、第２の表示画像生成部４２１３で部分拡大画像を生成する。ただし、部分拡大画像の生成にはＡ画像データとＢ画像データを用いないので、図１６に示した第２の表示画像生成部４２１３へのＡ画像データとＢ画像データの入力ラインは不要となる。

そして、位相差信頼度算出部４２１４で算出した位相差の信頼度に応じて、スイッチ４２０９を通じて表示部４１０６に出力されるフォーカスガイド画像をスプリットイメージと部分拡大画像との間で切り換える。

部分拡大画像の生成について説明する。まず、図１０に示した本画像において、使用者がピントを合わせたい被写体領域を指定（トリミング）する。そして、該トリミング領域を所定の倍率で電子的に拡大することで、図２３に示すような部分拡大画像１５０２が生成される。生成された部分拡大画像１５０２は、本画像上における任意の領域に挿入（上書き）されて表示される。

位相差の信頼度が所定の閾値より高い場合（又は以上である場合）、制御部４２１０は、スイッチ４２０９を第１の表示画像生成部４２１２からのスプリットイメージが表示部４１０６に出力されるように設定する。一方、位相差の信頼度が上記閾値より低い場合、制御部４２１０は、スイッチ４２０９を第２の表示画像生成部４２１３からの部分拡大画像が表示部４１０６に出力されるように切り換える。

以下、本実施例での処理（画像表示方法）の流れについて、図２２のフローチャートを用いて説明する。この処理は、制御部４２１０内に格納されたコンピュータプログラムに従って実行される。

ステップＳ１４１０で撮像モードが開始されると、ステップＳ１４２０に進み、制御部４２１０は、フォーカスガイド画像を表示するか否かを判別する。この判別は、実施例５にて説明したように、フォーカスモードがＭＦモードか否かや、フォーカスガイドスイッチが操作されたか否かに従う。フォーカスガイド画像を表示しない場合はステップＳ１４７０に進み、スイッチ４２０９を信号処理部４１０４からの本画像が表示部４１０６に出力されるように設定する。そして、ステップＳ１４８０に進み、本画像を表示部４１０６に表示させる。

一方、フォーカスガイド画像を表示する場合は、ステップＳ１４３０に進み、制御部４２１０は、位相差信頼度算出部４２１４にＡ像とＢ像の位相差の信頼度の算出を行わせる。

そして、ステップＳ１４４０では、制御部４２１０は、位相差の信頼度が閾値より高いか否かを判別する。高いと判別した場合はステップＳ１４５０に進む。

ステップＳ１４５０では、制御部４２１０は、第１の表示画像生成部４２１２から表示部４１０６にスプリットイメージを出力するようにスイッチ４２０９を設定する。そして、ステップＳ１４８０にてスプリットイメージを表示部４１０６に表示させる。

ステップＳ１４４０において位相差の信頼度が閾値より低いと判別した場合はステップＳ１４６０に進む。ステップＳ１４６０では、制御部４２１０は、第２の表示画像生成部４２１３から表示部４１０６に部分拡大画像を出力するようにスイッチ４２０９を設定する。そして、Ｓ１４８０にて部分拡大画像を表示部４１０６に表示させる。

本実施例によれば、位相差の信頼度フォーカスガイド画像を切り換えるので、被写体のコントラストに対して適切なフォーカスガイド画像を使用者に提示することができる。

なお、本実施例では、位相差の信頼度に応じてフォーカスガイド画像をスプリットイメージと部分拡大画像に切り換える場合について説明したが、実施例５で説明した二重画像と部分拡大画像との間で切り換えるようにしてもよい。

上記実施例５〜７では、本画像を生成するための撮像素子とＡ画像データとＢ画像データを生成するための撮像素子とを別々に設けた場合について説明した。しかし、本画像を生成するための画素群と、Ａ画像データとＢ画像データを生成するための画素群を含む単一の撮像素子を用いてもよい。つまり、本発明においては、撮像素子が少なくとも１つ用いられていればよい。このような撮像素子は、図２にて説明した撮像素子に相当する。

上記実施例１〜４では、非合焦領域に特定色を付加したり該特定色を点滅させたりして表示する場合について説明した。また、上記実施例６〜８では、複数種類のフォーカスガイド表示を切り換える場合について説明した。本実施例では、これらを組み合わせて実施する場合について説明する。本実施例により、ユーザにとってより視覚的に分かり易いフォーカスガイド表示を行うことができる。

図２７には、本発明の実施例８であるデジタルカメラ（撮像装置）の構成を示している。なお、デジタルカメラには、デジタルスチルカメラやビデオカメラが含まれるが、ここではデジタルスチルカメラである場合について説明する。また、本実施例において、図１なに示した実施例１のカメラの構成要素と共通する構成要素には、実施例１と同符号を付して説明に代える。

３００１はハイライト画像生成部であり、ＧＵＩ用ＶＲＡＭ１１０と、ハイライト表示色出力部１１５と、ＯＤＳ回路１１３と、スイッチ１１６と、減算器１１８と、閾値メモリ１１７と、コンパレータ１１４とを含む。ハイライト画像生成部３００１は、フォーカスガイド画像としてのハイライト画像（図４の下図に示すような、ハイライト表示色の領域を含む二重画像）を生成する。

３００２はスプリットイメージ生成部である。スプリットイメージ生成部３００２は、Ａ像保持回路１１２及びＢ像保持回路１１１からのＡ像映像信号（Ａ画像データ：第１の画像）及びＢ像映像信号（Ｂ画像データ：第２の画像）を入力として、他のフォーカスガイド画像であるスプリットイメージを生成する。

３００８は信号処理部１０６からの通常の撮像画像（第３の画像：以下、本画像という）を表す映像信号を入力として、さらに他のフォーカスガイド画像である部分拡大画像を生成する部分拡大画像生成部である。

３００６は主被写体識別部であり、本画像に含まれる主被写体が、顔か否かを識別する。主被写体識別部３００６は、主被写体が顔である場合は「０」を、顔でない場合は「１」を出力する。なお、本実施例では、主被写体が顔か否かを識別する場合について説明するが、顔以外の物体か否かを識別するようにしてもよい。

３００３は、実施例７で説明したように、Ａ像及びＢ像間の位相差の信頼度を算出する位相差信頼度算出部である。

３００４,３００７はそれぞれ、スーパーインポーズ合成回路１０７に出力するフォーカスガイド画像を切り換えるスイッチである。スイッチ３００４は、主被写体識別部３００６の出力が「０」である場合に、ＣＰＵ１０９によって「０」に切り換えられる。また、主被写体識別部３００６の出力が「１」の場合に、ＣＰＵ１０９によって「１」に切り換えられる。また、スイッチ３００７は、位相差信頼度算出部３００３からの出力が後述する「０」である場合に、ＣＰＵ１０９によって「０」に切り換えられる。また、位相差信頼度算出部３００３からの出力が後述する「１」である場合に、ＣＰＵ１０９によって「１」に切り換えられる。

スーパーインポーズ合成回路１０７は、信号処理部１０６からの本画像に、スイッチ１１６からのＯＳＤ映像信号もしくはハイライト表示色信号、又はスイッチ３００４，３００７からのスプリットイメージもしくは部分拡大画像をスーパーインポーズ合成する。該合成画像はディスプレイデバイス１０８に表示される。

３００５はスイッチであり、ディスプレイデバイス１０８への出力を、信号処理部１０６からの本画像と、スーパーインポーズ合成回路１０７からのフォーカスガイド画像を重畳した本画像との間で切り換える。ＣＰＵ１０９は、フォーカスモードスイッチ１２０によりＡＦモードが選択されている場合には、スイッチ３００５を通じて、信号処理部１０６からの本画像のみをディスプレイデバイス１０８に出力させる。また、ＭＦモードが選択されている場合には、ＣＰＵ１０９は、スイッチ３００５を通じて、スーパーインポーズ合成回路１０７から、本画像にフォーカスガイド画像をスーパーインポーズ合成した画像をディスプレイデバイス１０８に出力させる。

なお、ＭＦモードが選択されている場合において、不図示のフォーカスガイドスイッチが操作されることを条件に、フォーカスガイド画像を表示させるようにしてもよい。

また、フォーカスガイド画像であるが、ユーザが不図示の操作スイッチなどにより、好みのフォーカスガイド表示に手動で切り換えられるようにしても良い。

以下、本実施例における撮像素子１０１を含む画像取得系（画像取得手段）及び画像処理系（処理手段）の構成と動作（画像表示方法）について、図２７と図２８のフローチャートとを用いて説明する。なお、図２８のフローチャートは、ＭＦモードが選択されている場合の動作を示している。

図２７に示す画像取得系において、撮像光学系１００からの光束は、撮像素子１０１上に被写体像を形成する。被写体像を光電変換した撮像素子１０１からのアナログ信号は、Ａ／Ｄ変換器１０２でデジタル信号（画素信号）に変換される。

図２８におけるステップＳ３００１において、像分離回路１０３は、画素配列テーブルを参照して、Ａ／Ｄ変換器１０２から出力される画素信号からＡ像用画素群２０１、Ｂ像用画素群２０２及び撮像画素群２０３のそれぞれからの画素信号を分離する。像分離回路１０３は、Ａ像用画素群２０１からの画素信号をＡ像保持回路１１２に出力し、Ｂ像用画素群２０２からの画素信号をＢ像保持回路１１１に出力する。また、撮像画素群２０３からの画素信号を画素補正回路１０５に出力する。

ステップＳ３００２において、画素補正回路１０５は、実施例１と同様に、画素配列テーブルを参照して、各Ａ像用画素及び各Ｂ像用画素のそれぞれの周囲に配置された撮像画素からの画素信号を用いて各Ａ像用画素及び各Ｂ像用画素の画素値を補間する。このようにして、画素補正回路１０５からは、撮像画素群２０３から出力された画素信号に対して画素補間が行われた画素信号が出力される。

ステップＳ３００３において、信号処理回路１０６は、画素補正回路１０５からの画素信号に各種処理を施して、撮像画素群２０３からの画素信号に基づく本画像を表す映像信号を生成する。

次に、画像処理系について説明する。ステップＳ３００４において、位相差信頼度算出部３００３は、位相差の信頼度を算出する。位相差の信頼度は、実施例７で説明した通りである。

図２９には、位相差信頼度算出部３００３の構成例を示している。位相差信頼度算出部３００３には、Ａ像保持回路１１２の出力（Ａ像映像信号）とＢ像保持回路１１１の出力（Ｂ像映像信号）とが入力される。３３０１は最小値メモリであり、１フィールド画像（又は１フレーム画像）におけるＡ像保持回路１１２とＢ像保持回路１１１の出力の最小値を保持する。

３３０２は最大値メモリであり、１フィールド画像（又は１フレーム画像）におけるＡ像保持回路１１２とＢ像保持回路１１１の出力の最大値を保持する。

１フィールド画像（又は１フレーム画像）の保持が完了した後、最大値メモリ３３０２と最小値メモリ３３０１はそれぞれが保持した値を減算器３３０４に出力する。減算器３３０４は、入力された最大値と最小値の差、すなわちコントラストを求め、コンパレータ３３０５に出力する。コンパレータ３３０５は、減算器３３０４から出力されたコントラストと閾値メモリ３３０３に記憶された閾値（所定値）とを比較する。コントラストが閾値以上の場合には「０」を、コントラストが閾値より小さい場合は「１」を出力する。

ステップＳ３００５において、主被写体識別部３００６は、信号処理部１０６からの本画像内に存在する主被写体を識別する。ここでは、例として、主被写体が顔であるか否かを識別する場合について説明する。

ステップＳ３００６では、ＣＰＵ１０９は、位相差信頼度算出部３００３で算出された位相差の信頼度が所定の信頼度（所定値）より高いか低いかを判定する。位相差の信頼度が所定の信頼度より高い場合は、ステップＳ３００７に移行する。

ステップＳ３００７では、ＣＰＵ１０９は、主被写体識別部３００６において主被写体が顔であると識別されたか否かを判定する。主被写体が顔であると識別された場合はステップＳ３００８に移行する。

ステップＳ３００８では、ＣＰＵ１０９は、スイッチ３００４を［０］（ハイライト画像生成部３００１側）に切り換え、スイッチ３００７を［０］（スイッチ３００４側）に切り換える。そして、ステップＳ３０３０に移行する。

ステップＳ３０３０では、ハイライト画像生成部３００１の減算器１１８は、実施例１で説明したように、Ａ像保持回路１１２からのＡ像画素信号とＢ像保持回路１１１からのＢ像画素信号との差の絶対値に相当する差分信号を生成する。

ステップＳ３０３１では、ハイライト画像生成部３００１のコンパレータ１１４は、閾値メモリ１１７に記憶されている閾値（所定値）と減算器１１８からの差分信号の値（差分値）とを比較する。コンパレータ１１４は、差分値が閾値よりも大きい（又は以上である）場合は「１」を、そうでなければ「０」を出力する。コンパレータ１１４からの出力に応じてスイッチ１１６が切り換わる。この後、ステップＳ３０１１に移行する。

ステップＳ３０１１では、スーパーインポーズ合成回路１０７は、信号処理回路１０６から出力された本画像とハイライト画像生成部３００１からのハイライト画像とをスーパーインポーズ合成する。これにより、本画像上にハイライト表示色領域が重畳表示された画像がディスプレイデバイス１０８に表示される。ハイライト表示色領域は、点滅表示されてもよい。

一方、ステップＳ３００７において主被写体が顔ではないと判定された場合は、ステップＳ３００８に移行し、ＣＰＵ１０９は、スイッチ３００４を[１]（スプリットイメージ生成部３００２側）に切り換える。また、スイッチ３００７を[０]（スイッチ３００４側）に切り換える。

そして、ステップＳ３０４０において、スプリットイメージ生成部３００２は、スプリットイメージを生成する。図３０はスプリットイメージ生成部３００２の構成一例を示している。

スプリットイメージ生成部３００２には、Ａ像保持回路１１２の出力とＢ像保持回路１１１の出力が入力される。３２０１はスイッチであり、スプリットイメージ生成部３００２の出力をＡ像保持回路１１２の出力側とＢ像保持回路１１１の出力側とで切り換える。画素の座標が、図１９に示した領域２１０１内の座標である場合にはスイッチ３２０１をＡ像保持回路１１２の出力側に切り換え、領域２１０２内の座標である場合にはＢ像保持回路１１１の出力側に切り換える。これにより、図１９に示すようなスプリットイメージが生成される。

ステップＳ３０１１では、スーパーインポーズ合成回路１０７は、信号処理回路１０６から出力された本画像とスプリットイメージとをスーパーインポーズ合成する。これにより、本画像上にスプリットイメージが重畳表示された画像がディスプレイデバイス１０８に表示される。

また、ステップＳ３００６において位相差の信頼度が低いと判定された場合は、ステップＳ３０１０に移行する。ステップＳ３０１０では、ＣＰＵ１０９は、スイッチ３００４を[０]（ハイライト画像生成部３００１側）に切り換える。また、スイッチ３００７を[１]（部分拡大画像生成部３００８側）に切り換える。

ステップＳ３０５０において、部分拡大画像生成部３００８は、本画像のうちユーザがピントを合わせたい被写体領域として指定したトリミング領域を読み込む。そして、ステップＳ３０５１において、部分拡大画像生成部３００８は、本画像のうち該トリミング領域を所定の倍率で電子的に拡大して出力する。

ステップＳ３０１１では、スーパーインポーズ合成回路１０７は、信号処理回路１０６から出力された本画像と部分拡大画像生成部３００８から出力された部分拡大画像とをスーパーインポーズ合成する。これにより、図２３に示したように、本画像上に部分拡大画像が重畳表示された画像がディスプレイデバイス１０８に表示される。

以上のように、本実施例では、主被写体が顔である場合にはハイライト画像を、主被写体が顔でない場合にはスプリットイメージを、位相差の信頼度が低い場合には部分拡大画像をそれぞれフォーカスガイド画像として出力する。これにより、フォーカスガイド画像を、主被写体の識別結果や位相差の信頼度に応じた適切な画像に切り換えて表示することができる。

なお、本実施例では、フォーカスガイド画像を、主被写体が顔である場合にはハイライト画像とし、主被写体が顔でない場合にはスプリットイメージとしたが、これ以外のフォーカスガイド画像の切り換えを行ってもよい。例えば、主被写体が顔である場合には二重画像とし、顔でない場合にスプリットイメージとしてもよい。

実施例９では、ハードウエアによる構成を示したが、実施例９と同様のフォーカスガイド画像の切り換え処理は、例えば、実施例４において図７に示した回路構成を採用することで、ソフトウエアによっても実施できる。

図３１には、本実施例において、ＣＰＵ７０６が行う処理（画像表示方法）の流れを示している。

ステップＳ３６００で処理を開始すると、ステップＳ３６００ａでは、ＣＰＵ７０６は、撮像素子７０１からの信号をＡ／Ｄ変換器７０２でデジタル変換してメモリ７０３に格納する。メモリ７０３に格納されたデータには、Ａ像用画素群からのＡ像画素信号、Ｂ像用画素群からのＢ像画素信号、及び撮像画素群からのＲＧＢ画素信号が混在している。

次に、ステップＳ３６０１では、メモリ７０３に格納されたデータからＡ像画素信号とＢ像画素信号をピックアップ（分離）する。

次に、ステップＳ３６０２では、ＣＰＵ７０６は、各Ａ像用画素とＢ像用画素の位置に本来あるべき色のデータを周辺の撮像画素の画素値から補間する。これにより、画素補間されたＲＧＢ画素信号を作成する
次に、ステップＳ３６０３ａでは、ＣＰＵ７０６は、ＲＧＢ画素信号に対する信号処理を行って本画像であるカラー表示用画像を作成する。

さらに、ステップＳ３６０３ｂでは、ＣＰＵ７０６は、Ａ画像データとＢ画像データ用の画素信号を生成する。

次に、ステップＳ３６０４では、ＣＰＵ７０６は、位相差の信頼度を算出する。また、ステップＳ３６０５では、ＣＰＵ７０６は、本画像内の主被写体を識別する。

ステップＳ３６０６では、ＣＰＵ７０６は、ステップＳ３００４で算出した位相差の信頼度が所定の信頼度より高いか否かを判定する。位相差の信頼度が所定の信頼度より高い場合は、ステップＳ３６０７に移行し、位相差の信頼度が所定の信頼度より低い場合は、ステップＳ３６１０に移行する。

ステップＳ３６０７では、ステップＳ３６０５における主被写体の識別結果が顔であるか否かを判定する。顔である場合にはステップＳ３６０８に移行し、顔でない場合はステップＳ３６０９に移行する。

ステップＳ３６０８では、ＣＰＵ７０６は、図３２に示すハイライト表示処理を行う。

ステップＳ３０８０においてハイライト表示処理を開始すると、ステップＳ３０８１にて、ＣＰＵ７０６は、今回のルーチンが強調表示のタイミング（周期）かどうかを判定する。強調表示のタイミングか否かはＣＰＵ７０６内のタイマーを用いて判定する。強調表示のタイミングであればステップＳ３０８２に移行する。強調表示のタイミングでない場合はステップＳ３０８３に進み、本処理を終了して、図３１のステップＳ３６１１に進む。

ステップＳ３０８２では、ＣＰＵ７０６は、Ａ画像データ内のＡ像とＢ画像データ内のＢ像間のずれ量（絶対値）が所定の閾値より大きい画素（被写体領域）を判定する。そして、ずれ量が所定の閾値より大きい（一定レベル以上の）画素については、カラー表示用画像のうち対応する画素を強調表示用の色で上書きする。そして、ステップＳ３０８３にて本処理を終了し、図３１のステップＳ３６１１に進む。

図３１のステップＳ３６０９では、ＣＰＵ７０６は、主被写体が顔ではないとの判定結果に応じて、図３３に示すスプリットイメージ表示処理を行う。

ステップＳ３０９０でスプリットイメージ表示処理を開始すると、ステップＳ３０９１では、ＣＰＵ７０６は、ＣＰＵ７０６は、カラー表示用画像（本画像）における判定対象領域がＡ画像データを表示する領域か否かを判定する。Ａ画像データを表示する領域である場合は、ステップＳ３０９２に移行する。

ステップＳ３０９２では、ＣＰＵ７０６は、カラー表示用画像のうち上記判定対象領域をＡ画像データで上書きする。そして、ステップＳ３０９３に移行する。

ステップＳ３０９１において判定対象領域がＡ画像データを表示する領域ではないと判定した場合は、そのままステップＳ３０９３に移行する。

ステップＳ３０９３では、カラー表示用画像における判定対象領域がＢ画像データを表示する領域か否かを判定する。Ｂ画像データを表示する領域である場合は、ステップＳ３０９４に移行する。

ステップＳ３０９４では、ＣＰＵ７０６は、カラー表示用画像のうち上記判定対象領域をＢ画像データで上書きする。その後、ステップＳ３０９５に移行して、本処理を終了する。そして、図３１のステップＳ３６１１に進む。

ステップＳ３０９３において、判定対象領域がＢ画像データを表示する領域ではないと判定した場合は、そのままステップＳ３０９５に移行して、本処理を終了する。そして、図３１のステップＳ３６１１に進む。

図３１のステップＳ３６１０では、ＣＰＵ７０６は、位相差の信頼度が所定の信頼度より低いとの判定結果に応じて、図３４に示す部分拡大画像表示処理を行う。

ステップＳ３１００で部分拡大画像処理を開始すると、ステップＳ３１０１で、ＣＰＵ７０６は、カラー表示用画像のうち拡大する領域をトリミングする。

次に、ステップＳ３１０２では、ＣＰＵ７０６は、該トリミング領域を所定の倍率で電子的に拡大して部分拡大画像を生成する。

そして、ステップＳ３１０３では、ＣＰＵ７０６は、カラー表示用画像のうち部分拡大画像を表示する領域に、ステップＳ３１０２で生成した部分拡大画像を上書きする。その後、ステップＳ３１０４に移行して、本処理を終了する。そして、図３１のステップＳ３６１１に進む。

ステップＳ３６１１では、ＣＰＵ７０６は、ステップＳ３６０８、Ｓ３６０９及びＳ３６１０のいずれかにより生成されたフォーカスガイド画像を表示用メモリ７０４に転送する。表示用メモリ７０４へ書き込まれた画像は、自動的にディスプレイデバイス７０５に転送されて表示される。

なお、本実施例では説明しなかったが、二重画像をフォーカスガイド画像として用いてもよい。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

本発明の実施例１であるカメラの構成を示すブロック図。 実施例１のカメラに用いられる撮像素子の画素配列を示す図。 実施例１におけるＡ像とＢ像を示す図。 実施例１におけるＡ像とＢ像が重畳された画像の例及び強調表示の例を示す図。 図２の撮像素子におけるＡ像用画素の構造を示す断面図。 図２の撮像素子におけるＢ像用画素の構造を示す断面図。 図２の撮像素子における合焦状態における像信号の位相差を説明するための模式図。 図２の撮像素子における非合焦状態における像信号の位相差を説明するための模式図。 本発明の実施例２であるカメラにおける画像処理部の一部の構成を示すブロック図。 本発明の実施例４であるカメラの構成を示すブロック図 実施例４での処理動作を示すフローチャート。 本発明の実施例５であるカメラの構成を示すブロック図。 各実施例における本画像を示す図。 各実施例におけるＡ像（Ａ画像データ）を示す図。 各実施例におけるＢ像（Ｂ画像データ）を示す図。 実施例５における二重画像を示す図。 実施例５における差分画像（２値化画像）を示す図。 実施例５における二重画像の生成の流れを示す図。 実施例５における二重画像の生成手順を示すフローチャート。 本発明の実施例６であるカメラの構成を示すブロック図。 実施例６における処理手順を示すフローチャート。 実施例６において顔の上にスプリットイメージを表示した例を示す図。 実施例６において顔以外の被写体の上にスプリットイメージを表示した例を示す図。 実施例６において二重画像を表示した例を示す図。 実施例６における位相差像取得部の構成例を示す図。 本発明の実施例７であるカメラにおける処理手順を示すフローチャート。 実施例７における部分拡大画像の例を示す図。 実施例７において、被写体のコントラストが高い場合のＡ像及びＢ像の輝度を示す図。 実施例７において、被写体のコントラストが低い場合のＡ像及びＢ像の輝度を示す図。 実施例６におけるスプリットイメージの生成例を示す図。 本発明の実施例９であるカメラの構成を示すブロック図。 実施例９のカメラの動作の流れを示すフローチャート。 実施例９における位相差信頼度算出部の構成例を示す図。 実施例９におけるスプリットイメージ生成部の構成例を示す図。 本発明の実施例１０であるカメラにおける処理手順を示すフローチャート。 実施例１０におけるハイライト画像表示処理を示すフローチャート。 実施例１０におけるスプリットイメージ表示処理を示すフローチャート。 実施例１０における部分拡大画像表示処理を示すフローチャート。

Claims (8)

1. 撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換して第１の画像及び第２の画像を生成する画像取得手段と、
   画像を表示する表示手段と、
   主被写体が顔の場合に前記第１及び第２の画像を重畳させた重畳画像を前記表示手段に表示させ、主被写体が顔でない場合に前記第１及び第２の画像を用いて生成されたスプリットイメージを前記表示手段に表示させる処理手段とを有することを特徴とする撮像装置。
2. 前記処理手段は、前記重畳画像のうち前記第１及び第２の被写体像間でのずれ量が所定値より大きい領域又は小さい領域を、特定色を用いて表示することを特徴とする請求項１に記載の撮像装置。
3. 前記処理手段は、前記特定色の表示を点滅させることを特徴とする請求項２に記載の撮像装置。
4. 前記画像取得手段は、それぞれ前記第１の被写体像及び前記第２の被写体像を光電変換する第１の画素群及び第２の画素群と、前記撮像光学系からの光束のうち前記瞳分割手段によって分割されない光束により形成された第３の被写体像を光電変換する第３の画素群を含む単一の撮像素子を用いて構成されていることを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
5. 撮像光学系からの光束のうち、瞳分割手段によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換して第１の画像及び第２の画像を生成するステップと、
   主被写体が顔の場合に前記第１及び第２の画像を重畳させた重畳画像を表示手段に表示させ、主被写体が顔でない場合に前記第１及び第２の画像を用いて生成されたスプリットイメージを表示手段に表示させるステップとを有することを特徴とする画像表示方法。
6. 前記表示させるステップは、前記重畳画像のうち前記第１及び第２の被写体像間でのずれ量が所定値より大きい領域又は小さい領域を、特定色を用いて表示することを特徴とする請求項５に記載の画像表示方法。
7. 前記表示させるステップは、前記特定色の表示を点滅させることを特徴とする請求項６に記載の画像表示方法。
8. 前記生成するステップは、それぞれ前記第１の被写体像及び前記第２の被写体像を光電変換する第１の画素群及び第２の画素群と、前記撮像光学系からの光束のうち前記瞳分割手段によって分割されない光束により形成された第３の被写体像を光電変換する第３の画素群を含む単一の撮像素子を用いて前記第１の画像及び前記第２の画像を生成することを特徴とする請求項５から７のいずれか１つに記載の画像表示方法。