JP5901780B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。

デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。

マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したものも知られている。

ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラス検出方式に頼らざるを得なかった。しかし、この場合には、（liquid crystal display：液晶ディスプレイ）等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。

そこで、近年では、マニュアルフォーカスモード時に操作者が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示している。ここで、スプリットイメージとは、例えば２分割された分割画像（例えば上下方向に分割された各画像）であって、ピントのずれに応じて視差発生方向（例えば左右方向）にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。操作者（例えば撮影者）は、スプリットイメージ（例えば上下方向に分割された各画像）のずれがなくなるように、マニュアルフォーカスリングを操作してピントを合わせる。

特開２００９−１４７６６５号公報（以下、特許文献１という）に記載の撮像装置は、撮像光学系からの光束のうち、瞳分割部によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換した第１の画像及び第２の画像を生成する。そして、これらの第１及び第２の画像を用いてスプリットイメージを生成すると共に、瞳分割部によって分割されない光束により形成された第３の被写体像を光電変換して第３の画像を生成する。そして、第３の画像を表示部に表示すると共に、第３の画像内に、生成したスプリットイメージを表示し、かつ第３の画像から抽出した色情報をスプリットイメージに付加するようにしている。このように第３の画像から抽出した色情報をスプリットイメージに付加することにより、スプリットイメージの視認性を良好にすることができる。

特開２０００−０７８６０７号公報（以下、特許文献２という）に記載の画像処理装置は、画像入力装置から入力された画像信号に対して色バランス調整を行う色バランス調整処理手段を有する。この色バランス調整処理手段は、画像信号の画像取得時における照明光源の色度を画像信号から推定し、推定された照明光源の色度に基づいて画像信号に対して色バランス調整を行う。

しかしながら、特許文献１に記載の撮像装置は、第３の画像の表示色の色特性とスプリットイメージの表示色の色特性とが近似する場合がある。この場合、第３の画像とスプリットイメージとの境界線が視認し難くなる、という問題点があった。

また、特許文献２に記載の画像処理装置を利用して、スプリットイメージやスプリットイメージ以外の画像（例えば背景画像）に対して色バランス調整を行ったとしても、スプリットイメージ以外の画像とスプリットイメージとの境界線が視認し難くなる、という問題点があった。

本発明は、このような実情を鑑みて提案されたものであり、第１の表示用画像と合焦確認に使用する第２の表示用画像との境界線の視認性を向上させることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の第１の態様に係る画像処理装置は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を含む撮像素子から出力された画像に基づいて第１の表示用画像を生成する第１の表示用画像生成部と、前記第１及び第２の画素群から出力された第１の画像及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する第２の表示用画像生成部と、前記第１の表示用画像生成部により生成された前記第１の表示用画像の色情報を取得する取得部と、前記取得部により取得された色情報に基づいて、前記第１の表示用画像の色特性とは異なる色特性を有する色を前記第２の表示用画像の表示色として決定する決定部と、画像を表示する表示部と、前記表示部に対して、前記第１の表示用画像生成部により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記第２の表示用画像生成部により生成された前記第２の表示用画像を表示させる表示制御部と、を含む。これにより、本構成を有しない場合に比べ、第１の表示用画像と合焦確認に使用する第２の表示用画像との境界線の視認性を向上させることができる。

本発明の第２の態様は、本発明の第１の態様において、前記異なる色特性を有する色を、前記第１の表示用画像の色特性と異なる色特性であることを視認可能とする色としたものとしてもよい。これにより、本構成を有しない場合に比べ、第１の表示用画像と第２の表示用画像とを視覚的に識別することができる。

本発明の第３の態様は、本発明の第１の態様又は第２の態様において、前記取得部が、前記第１の表示用画像の一部又は全てから前記色情報を取得するものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、第２の表示用画像の色特性と第１の表示用画像の色特性とを高精度に異ならせることができる。

本発明の第４の態様は、本発明の第１の態様又は第２の態様において、前記取得部が、前記第１の表示用画像と前記第１の画像若しくは前記第２の画像又は前記第２の表示用画像に基づいて前記色情報を取得するものとしてもよい。これにより、本構成を有しない場合に比べ、第２の表示用画像の色特性と第１の表示用画像の色特性とを高精度に異ならせることができる。また、請求項４に記載の発明によれば、第１の表示用画像が白とびしていても第１及び第２の画素群は感度が低いため、色情報を取得することができる。

本発明の第５の態様は、本発明の第１の態様から第４の態様の何れか１つにおいて、前記撮像素子が、前記第１の表示用画像の撮像に使用される通常撮像領域と前記第２の表示用画像の撮像に使用されると共に前記通常撮像領域に隣接する合焦確認撮像領域とを有し、前記取得部が、前記第１の表示用画像のうち前記通常撮像領域における前記合焦確認撮像領域との境界側の縁部から出力された画像から前記色情報を取得するものとしてもよい。これにより、本構成を有しない場合に比べ、第１の表示用画像と第２の表示用画像との境界を鮮明にすることができる。

本発明の第６の態様は、本発明の第１の態様から第５の態様の何れか１つにおいて、前記色情報を、前記第１の表示用画像の物体色の色特性を示す色情報としたものとしてもよい。これにより、本構成を有しない場合に比べ、第１の表示用画像において光源色よりも物体色が支配的な場合であっても第１の表示用画像と第２の表示用画像との境界線の視認性を向上させることができる。

本発明の第７の態様は、本発明の第６の態様において、前記色特性を色相としたものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、第１の表示用画像と第２の表示用画像との境界線の視認性をより一層向上させることができる。

本発明の第８の態様は、本発明の第６の態様又は第７の態様において、前記異なる色特性を有する色を、色相環において前記第１の表示用画像の物体色と予め定められた角度離れた色としたものとしてもよい。これにより、本構成を有しない場合に比べ、第１の表示用画像の色特性とは異なる色特性を有する色として適切な物体色を容易に決めることができる。

本発明の第９の態様は、本発明の第６の態様から第８の態様の何れか１つにおいて、前記第１の表示用画像の物体色の色特性を、前記第１の表示用画像における原色成分の構成比としたものとしてもよい。これにより、本構成を有しない場合に比べ、第１の表示用画像の物体色の色特性として、第１の表示用画像と第２の表示用画像との境界線の視認性を向上させる上で適切な色特性を容易に特定することができる。

本発明の第１０の態様は、本発明の第９の態様において、減少関数を含む入出力関数により前記構成比を変換して得た変換後の前記構成比を前記異なる色特性としたものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、第１の表示用画像と第２の表示用画像との境界線の視認性を向上させることができる。

本発明の第１１の態様は、本発明の第９の態様において、色変換データにより前記構成比を変換して得た変換後の前記構成比を前記異なる色特性としたものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、第１の表示用画像と第２の表示用画像との境界線の視認性を向上させることができる。

本発明の第１２の態様は、本発明の第１１の態様において、前記色変換データを、減少関数を含む入出力関数に基づいて作成された色変換データとしたものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、第１の表示用画像と第２の表示用画像との境界線の視認性を向上させることができる。

本発明の第１３の態様は、本発明の第１の態様から第５の態様の何れか１つにおいて、前記色情報を、前記第１の表示用画像の光源色の色特性を示す色情報としたものとしてもよい。これにより、本構成を有しない場合に比べ、第１の表示用画像において物体色よりも光源色が支配的な場合であっても第１の表示用画像と第２の表示用画像との境界線の視認性を向上させることができる。

本発明の第１４の態様は、本発明の第１の態様から第１３の態様の何れか１つにおいて、前記第１及び第２の画素群の各々を、単一色の画素群とし、前記第２の表示用画像生成部が、前記第１及び第２の画素群から出力された前記第１の画像及び前記第２の画像に基づいて、前記第２の表示用画像として無彩色の画像を生成するものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、無彩色の第２の表示用画像を得ることができる。

本発明の第１５の態様は、本発明の第１４の態様において、前記決定部が、前記第２の表示用画像が無彩色画像の場合、前記取得部により取得された色情報に基づいて、前記第１の表示用画像の色特性とは異なる色特性を有する有彩色を前記第２の表示用画像の表示色として決定するものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、第２の表示用画像の表示色としての有彩色を決定することができる。

本発明の第１６の態様は、本発明の第１の態様から第１５の態様の何れか１つにおいて、前記決定部が、前記第１の表示用画像及び第２の表示用画像が無彩色画像の場合、前記取得部により取得された色情報に基づいて、前記第１の表示用画像の色特性とは異なる色特性を有する有彩色を前記第２の表示用画像の表示色として決定するものとしてもよい。これにより、本構成を有しない場合に比べ、第１の表示用画像と第２の表示用画像との境界線の視認性を向上させることができる。

本発明の第１７の態様は、本発明の第１の態様から第１６の態様の何れか１つにおいて、前記決定部が、前記取得部により取得された色情報に基づいて、前記第１の表示用画像の色特性とは異なる色特性を有する有彩色であって前記第２の表示用画像における前記第１の画像に基づく領域と前記第２の画像に基づく領域とで異なる有彩色を前記第２の表示用画像の表示色として決定するものとしてもよい。これにより、本構成を有しない場合に比べ、第２の表示用画像において第１の画像に基づく画像と第２の画像に基づく画像とが視覚的に識別し易くなる。

本発明の第１８の態様は、本発明の第１の態様から第１７の態様の何れか１つにおいて、前記決定部が、前記第１の表示用画像の色特性と前記第２の表示用画像の色特性とを近付ける予め定められた条件を満足した場合、前記取得部により取得された色情報に基づいて、前記第１の表示用画像の色特性に予め定められた度合いで近付けた色特性を有する色を前記第２の表示用画像の表示色として更に決定するものとしてもよい。これにより、本構成を有しない場合に比べ、第１の表示用画像と第２の表示用画像との境界を視覚的に認識し難くすることができる。

本発明の第１９の態様は、本発明の第１の態様から第１８の態様の何れか１つにおいて、前記撮像素子が、被写体像が瞳分割されずに結像されて第３の画像を出力する第３の画素群を有し、前記第１の表示用画像生成部が、前記第３の画素群から出力される前記第３の画像に基づいて前記第１の表示用画像を生成するのとしてもよい。これにより、本構成を有しない場合に比べ、第１の表示用画像の画質を向上させることができる。

本発明の第２０の態様に係る撮像装置は、本発明の第１の態様から第１９の態様の何れか１つの画像処理装置と、前記撮像素子から出力された画像を記憶する記憶部と、を含む。これにより、本構成を有しない場合に比べ、第１の表示用画像と第２の表示用画像との境界線の視認性を向上させることができる。

本発明の第２１の態様に係る画像処理方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を含む撮像素子から出力された画像に基づいて第１の表示用画像を生成する第１の表示用画像生成工程と、前記第１及び第２の画素群から出力された第１の画像及び第２の画像に基づいて第２の表示用画像を生成する第２の表示用画像生成工程と、前記第１の表示用画像生成工程により生成された前記第１の表示用画像の色情報を取得する取得工程と、前記取得工程により取得された色情報に基づいて、前記第１の表示用画像の色特性とは異なる色特性を有する色を前記第２の表示用画像の表示色として決定する決定工程と、画像を表示する表示部に対して、前記第１の表示用画像生成工程により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記第２の表示用画像生成工程により生成された前記第２の表示用画像を表示させる表示制御工程と、を含む。これにより、本構成を有しない場合に比べ、第１の表示用画像と第２の表示用画像との境界線の視認性を向上させることができる。

上記目的を達成するために、本発明の第２２の態様に係るプログラムは、本発明の第１の態様から第１９の態様の何れか１つの画像処理装置における前記第１の表示用画像生成部、前記第２の表示用画像生成部、前記取得部、前記決定部及び前記表示制御部としてコンピュータを機能させるためのものである。これにより、本構成を有しない場合に比べ、第１の表示用画像と第２の表示用画像との境界線の視認性を向上させることができる。

本発明によれば、第１の表示用画像と第２の表示用画像との境界線の視認性を向上させることができる、という効果が得られる。

第１実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 図１に示す撮像装置の背面側を示す背面図である。 第１実施形態に係る撮像装置の電気系の構成の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子に設けられているカラーフィルタの配置の一例を示す概略配置図である。 図４に示すカラーフィルタに含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法の説明に供する図である。基本配列パターンの概念を説明するための図である。 図４に示すカラーフィルタに含まれる基本配列パターンの概念を説明するための図である。 第１実施形態に係る撮像装置に含まれる撮像素子に設けられている遮光部材の配置の一例を示す概略配置図である。 第１実施形態に係る撮像装置の撮像素子に含まれる位相差画素（第１の画素及び第２の画素）の構成の一例を示す概略構成図である。 第１実施形態に係る撮像装置の要部機能の一例を示すブロック図である。 第１実施形態に係る撮像装置の表示装置における通常画像及びスプリットイメージの各々の表示領域の一例を示す模式図である。 第１実施形態に対する比較例として表示装置に表示されたライブビュー画像における通常画像及びスプリットイメージの一例を示す画面態様図である。 第１実施形態に係る撮像装置で用いられる第１入出力関数の一例を示すグラフである。 第１実施形態に係る撮像装置で用いられる第２入出力関数の一例を示すグラフである。 第１実施形態に係る撮像装置に含まれる画像処理部で行われる画像出力処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像装置に含まれる画像処理部で行われるＷＢ処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像装置に含まれる画像処理部で行われる有彩色付与処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像装置に含まれる画像処理部で行われる表示色差別化処理の流れの一例を示すフローチャートである。 第１実施形態に係る撮像装置に含まれる画像処理部で行われる表示色同化処理の流れの一例を示すフローチャートである。 第１実施形態に撮像装置の表示装置に表示されたライブビュー画像であって表示色差別化処理が実行された場合の通常画像及びスプリットイメージの一例を示す画面態様図である。 第１実施形態に撮像装置の表示装置に表示されたライブビュー画像であって表示色差別化処理が実行された場合の通常画像及び色分けされたスプリットイメージの一例を示す画面態様図である。 第１実施形態に撮像装置の表示装置に表示されたライブビュー画像であって各々無彩色の通常画像及びスプリットイメージの一例を示す画面態様図である。 第１実施形態に撮像装置の表示装置に表示されたライブビュー画像であって無彩色の通常画像及び有彩色のスプリットイメージの一例を示す画面態様図である。 第１実施形態に撮像装置の表示装置に表示されたライブビュー画像であって色特性が近似している通常画像及びスプリットイメージの一例を示す画面態様図である。 第２実施形態に係るスマートフォンの外観の一例を示す斜視図である。 第２実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。

以下、添付図面に従って本発明に係る撮像装置の実施の形態の一例について説明する。

［第１実施形態］
図１は、第１実施形態に係る撮像装置１００の外観の一例を示す斜視図であり、図２は、図１に示す撮像装置１００の背面図である。

撮像装置１００は、レンズ交換式カメラであり、カメラ本体２００と、カメラ本体２００に交換可能に装着される交換レンズ３００（撮影レンズ、フォーカスレンズ３０２（手動操作部））と、を含み、レフレックスミラーが省略されたデジタルカメラである。また、カメラ本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。

カメラ本体２００と交換レンズ３００とは、カメラ本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６（図３参照）とが結合されることにより交換可能に装着される。

カメラ本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、カメラ本体２００の前面には、ファインダー切替えレバー（ファインダー切替え部）２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、カメラ本体２００の上面には、主としてレリーズボタン２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。

カメラ本体２００の背面には、ＯＶＦのファインダー接眼部２４２、表示部２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５が設けられている。

十字キー２２２は、メニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、表示部２１３の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目など所望の対象の消去や指定内容の取消し、あるいは１つ前の操作状態に戻すときなどに使用される。

表示部２１３は、例えばＬＣＤにより実現され、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、表示部２１３は、静止画撮影の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、表示部２１３は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。

図３は第１実施形態に係る撮像装置１００の電気系の構成（内部構成）の一例を示すブロック図である。

撮像装置１００は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、ＣＰＵ（central processing unit：中央処理装置）１２によって統括制御されている。撮像装置１００は、ＣＰＵ１２の他に、操作部１４、インタフェース部２４、メモリ２６、エンコーダ３４、表示制御部３６及び接眼検出部３７を含む。また、撮像装置１００は、本発明に係る第１の表示用画像生成部、第２の表示用画像生成部、取得部、決定部及び推定部の一例である画像処理部２８を含む。ＣＰＵ１２、操作部１４、インタフェース部２４、記憶部の一例であるメモリ２６、画像処理部２８、エンコーダ３４、表示制御部３６、接眼検出部３７及び外部インタフェース（Ｉ／Ｆ）３９は、バス４０を介して相互に接続されている。なお、メモリ２６は、パラメータやプログラムなどが記憶された不揮発性の記憶領域（一例としてＥＥＰＲＯＭなど）と画像などの各種情報が一時的に記憶される揮発性の記憶領域（一例としてＳＤＲＡＭなど）とを有する。

操作部１４は、レリーズボタン２１１、撮影モード等を選択するダイヤル（フォーカスモード切替え部）２１２、表示部２１３、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。また、操作部１４は、各種情報を受け付けるタッチパネルも含む。このタッチパネルは、例えば表示部２１３の表示画面に重ねられている。操作部１４から出力された各種の操作信号はＣＰＵ１２に入力される。

撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズを含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２から加えられる読出し信号によって信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ型のイメージセンサであるが、これに限らず、ＣＣＤイメージセンサでもよい。

図４には撮像素子２０に設けられているカラーフィルタ２１の配列の一例が模式的に示されている。なお、図４に示す例では、画素数の一例として（４８９６×３２６４）画素を採用し、アスペクト比として３：２を採用しているが、画素数及びアスペクト比はこれに限られるものではない。一例として図４に示すように、カラーフィルタ２１は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ、Ｒ（赤）に対応する第２のフィルタＲ及びＢ（青）に対応する第３のフィルタＢを含む。第１のフィルタＧ（以下、Ｇフィルタと称する）、第２のフィルタＲ（以下、Ｒフィルタと称する）及び第３のフィルタＢ（以下、Ｂフィルタと称する）の配列パターンは、第１の配列パターンＡと第２の配列パターンＢとに分類される。

第１の配列パターンＡにおいて、Ｇフィルタは、３×３画素の正方配列の四隅及び中央の画素上に配置されている。第１の配列パターンＡにおいて、Ｒフィルタは、正方配列の水平方向における中央の垂直ライン上に配置されている。第１の配列パターンＡにおいて、Ｂフィルタは、正方配列の垂直方向における中央の水平ライン上に配置されている。第２の配列パターンＢは、第１の基本配列パターンＡとフィルタＧの配置が同一で且つフィルタＲの配置とフィルタＢの配置とを入れ替えたパターンである。カラーフィルタ２１は、６×６画素に対応する正方配列パターンからなる基本配列パターンＣを含む。基本配列パターンＣは、第１の配列パターンＡと第２の配列パターンＢとが点対称で配置された６×６画素のパターンであり、基本配列パターンＣが水平方向及び垂直方向に繰り返し配置されている。すなわち、カラーフィルタ２１では、Ｒ，Ｇ，Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ及びＢフィルタ）が所定の周期性をもって配列されている。そのため、カラー撮像素子から読み出されるＲ，Ｇ，Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

また、基本配列パターンＣの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

カラーフィルタ２１は、輝度信号を得るために最も寄与する色(本第１実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向の各ライン内に配置されている。そのため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

カラーフィルタ２１は、上記Ｇの色以外の２色以上の他の色（本第１実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ及びＢフィルタが、カラーフィルタ配列の水平方向及び垂直方向の各ライン内に配置されている。そのため、色モワレ（偽色）の発生が抑制され、これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

第１の配列パターンＡ及び第２の配列パターンＢは、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、第１の配列パターンＡは、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列される。一方、第２の配列パターンＢは、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。すなわち、第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、第１の配列パターンＡと第２の配列パターンＢの４隅のＧフィルタは、一例として図５に示すように第１の配列パターンＡと第２の配列パターンＢとが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタが形成される。一例として図５に示すように取り出されたＧフィルタからなる２×２画素については、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値が算出される。これにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。すなわち、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向が最小画素間隔のＧ画素の情報を使用して判別される。この判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。

カラーフィルタ２１の基本配列パターンＣは、その基本配列パターンＣの中心（４つのＧフィルタの中心）に対して点対称に配置されている。また、基本配列パターンＣ内の第１の配列パターンＡ及び第２の配列パターンＢも、それぞれ中心のＧフィルタに対して点対称に配置されている従って、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。

一例として図６に示すように基本配列パターンＣにおいて、水平方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＲＧＧＢＧである。第２のラインのカラーフィルタ配列は、ＢＧＢＲＧＲである。第４及び第６のラインのカラーフィルタ配列は、ＧＢＧＧＲＧである。第５のラインのカラーフィルタ配列は、ＲＧＲＢＧＢである。図６に示す例では、基本配列パターンＣ，Ｃ’，Ｃ”が示されている。基本配列パターンＣ’は基本配列パターンＣを水平方向及び垂直方向にそれぞれ１画素ずつシフトしたパターンを示し、基本配列パターンＣ”は、基本配列パターンＣを水平方向及び垂直方向にそれぞれ２画素ずつシフトしたパターンを示す。このように、カラーフィルタ２１は、基本配列パターンＣ’、Ｃ”を水平方向及び垂直方向に繰り返し配置しても、同じカラーフィルタ配列となる。なお、本第１実施形態では、基本配列パターンＣを、便宜上、基本配列パターンという。

撮像装置１００は、位相差ＡＦ機能を有する。撮像素子２０は、位相差ＡＦ機能を働かせた場合に用いられる複数の位相差検出用の画素を含む。複数の位相差検出用の画素は予め定めたパターンで配置されている。位相差検出用の画素上には、一例として図７に示すように、水平方向の左半分の画素を遮光する遮光部材２０Ａ及び水平方向の右半分の画素を遮光する遮光部材２０Ｂが設けられている。なお、本第１実施形態では、説明の便宜上、遮光部材２０Ａが設けられている位相差検出用の画素を「第１の画素」と称し、遮光部材２０Ｂが設けられている位相差画素を「第２の画素」と称する。また、第１の画素及び第２の画素を区別して説明する必要がない場合は「位相差画素」と称する。

図８には撮像素子２０に配置されている第１の画素及び第２の画素の一例が示されている。図８に示す第１の画素は遮光部材２０Ａを有し、第２の画素は遮光部材２０Ｂを有する。遮光部材２０Ａは、フォトダイオードＰＤの前面側（マイクロレンズＬ側）に設けられており、受光面の左半分を遮光する。一方、遮光部材２０Ｂは、フォトダイオードＰＤの前面側に設けられており、受光面の右半分を遮光する。

マイクロレンズＬ及び遮光部材２０Ａ，２０Ｂは瞳分割部として機能し、第１の画素は、撮影レンズ１６の射出瞳を通過する光束の光軸の左側のみを受光し、第２の画素は、撮影レンズ１６の射出瞳を通過する光束の光軸の右側のみを受光する。このように、射出瞳を通過する光束は、瞳分割部であるマイクロレンズＬ及び遮光部材２０Ａ，２０Ｂにより左右に分割され、それぞれ第１の画素および第２の画素に入射する。

また、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、ピントが合っている（合焦状態である）部分は、撮像素子２０上の同じ位置に結像する。これに対し、前ピン又は後ピンの部分は、それぞれ撮像素子２０上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と右半分の光束に対応する被写体像とは、視差が異なる視差画像（左目画像、右目画像）として取得することができる。

撮像装置１００は、位相差ＡＦ機能を働かせることにより、第１の画素の画素値と第２の画素の画素値とに基づいて位相のずれ量を検出する。そして、検出した位相のずれ量に基づいて撮影レンズの焦点位置を調整する。なお、以下では、遮光部材２０Ａ，２０Ｂを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。

本第１実施形態では、遮光部材が、一例として図７に示すように、基本配列パターンＣに含まれる２組の第１の配列パターンＡ及び第２の配列パターンＢの左上角部のＧフィルタの画素に対して設けられている。すなわち、図７に示す例では、０以上の整数を“ｎ”とすると、垂直方向において（６ｎ＋１）番目のラインに遮光部材２０Ａが配置され、（６ｎ＋４）番目のラインに遮光部材２０Ｂが配置されている。なお、図７に示す例では、全ての基本配列パターンＣに遮光部材が設けられているが、これに限らず、撮像素子２０の一部の所定の領域内の基本配列パターンＣにのみ設けるようにしてもよい。

このように、カラーフィルタ２１では、全ての第１の配列パターンＡ及び第２の配列パターンＢの左上角部のＧフィルタの画素に対して遮光部材が設けられており、垂直方向及び水平方向ともに３画素に１画素ずつ位相差画素が規則的に配置されている。このため、位相差画素の周囲に通常画素が比較的多く配置されるので、通常画素の画素値から位相差画素の画素値を補間する場合における補間精度を向上させることができる。なお、上記の「通常画素」とは、例えば位相差画素以外の画素（例えば遮光部材２０Ａ，２０Ｂを有しない画素）を指す。

撮像素子２０は、第１の画素群、第２の画素群及び第３の画素群に分類される。第１の画素群とは、例えば複数の第１の画素を指す。第２の画素群とは、例えば複数の第２の画素を指す。第３の画素群とは、例えば複数の通常画素を指す。なお、以下では、第１の画素群から出力されるＲＡＷ画像を「第１の画像」と称し、第２の画素群から出力されるＲＡＷ画像を「第２の画像」と称し、第３の画素群から出力されるＲＡＷ画像を「第３の画像」と称する。

図３に戻って、撮像素子２０は、第１の画素群から第１の画像（各第１の画素の画素値を示すデジタル信号）を出力し、第２の画素群から第２の画像（各第２の画素の画素値を示すデジタル信号）を出力する。また、撮像素子２０は、第３の画素群から第３の画像（各通常画素の画素値を示すデジタル信号）を出力する。なお、第３の画素群から出力される第３の画像は有彩色の画像であり、例えば通常画素の配列と同じカラー配列のカラー画像である。撮像素子２０から出力された第１の画像、第２の画像及び第３の画像は、インタフェース部２４を介してメモリ２６における揮発性の記憶領域に一時記憶される。

画像処理部２８は、通常処理部３０を有する。通常処理部３０は、第３の画素群に対応するＲ，Ｇ，Ｂ信号を処理することで有彩色の通常画像（第１の表示用画像の一例）を生成する。また、画像処理部２８は、スプリットイメージ処理部３２を有する。スプリットイメージ処理部３２は、第１の画素群及び第２の画素群に対応するＧ信号を処理することで無彩色のスプリットイメージを生成する。なお、本第１実施形態に係る画像処理部２８は、画像処理に係る複数の機能の回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。しかし、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスやＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であっても良い。

エンコーダ３４は、入力された信号を別の形式の信号に変換して出力する。ハイブリッドファインダー２２０は、電子像を表示するＬＣＤ２４７を有する。ＬＣＤ２４７における所定方向の画素数（一例として視差発生方向である水平方向の画素数）は、表示部２１３における同方向の画素数よりも少ない。表示制御部３６は、表示部２１３及びＬＣＤ２４７に接続されており、ＬＣＤ２４７及び表示部２１３を選択的に制御することによりＬＣＤ２４７又は表示部２１３に対して画像を表示させる。なお、以下では、表示部２１３及びＬＣＤ２４７を区別して説明する必要がない場合は「表示装置」と称する。

なお、本第１実施形態に係る撮像装置１００は、ダイヤル２１２（フォーカスモード切替え部）によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。マニュアルフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。一方、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された第１の画像と第２の画素群から出力された第２の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいて撮影レンズ１６のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してレンズ駆動部（図示省略）を制御し、撮影レンズ１６を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第１の画像及び第２の画像の位相ずれ量を指す。

接眼検出部３７は、人（例えば撮影者）がファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。

外部Ｉ／Ｆ３９は、ＬＡＮ（Local Area Network）やインターネットなどの通信網に接続され、通信網を介して、外部装置（例えばプリンタ）とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。

図９は第１実施形態に係る撮像装置１００の要部機能の一例を示す機能ブロック図である。なお、図３に示すブロック図と共通する部分には同一の符号が付されている。

通常処理部３０及びスプリットイメージ処理部３２は、それぞれＷＢゲイン部、ガンマ補正部及び同時化処理部を有し（図示省略）、メモリ２６に一時記憶された元のデジタル信号（ＲＡＷ画像）に対して各処理部で順次信号処理を行う。すなわち、ＷＢゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整することによりホワイトバランス（ＷＢ）を実行する。ガンマ補正部は、ＷＢゲイン部でＷＢが実行された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。同時化処理部は、撮像素子２０のカラーフィルタの配列（ここでは一例としてベイヤ配列）に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。なお、通常処理部３０及びスプリットイメージ処理部３２は、撮像素子２０により１画面分のＲＡＷ画像が取得される毎に、そのＲＡＷ画像に対して並列に画像処理を行う。

通常処理部３０は、インタフェース部２４からＲ，Ｇ，ＢのＲＡＷ画像が入力され、第３の画素群のＲ，Ｇ，Ｂ画素を、第１の画素群及び第２の画素群のうちの同色の周辺画素（例えばＧ画素）により補間して生成する。これにより、第３の画素群から出力された第３の画像に基づいて記録用の通常画像を生成することができる。

また、通常処理部３０は、生成した記録用の通常画像の画像データをエンコーダ３４に出力する。通常処理部３０により処理されたＲ，Ｇ，Ｂ信号は、エンコーダ３４により記録用の信号に変換（エンコーディング）され、記録部４０（図７参照）に記録される。また、通常処理部３０により処理された第３の画像に基づく画像である表示用の通常画像は、表示制御部３６に出力される。なお、以下では、説明の便宜上、上記の「記録用の通常画像」及び「表示用の通常画像」を区別して説明する必要がない場合は「記録用の」との文言及び「表示用の」との文言を省略して「通常画像」と称する。

撮像素子２０は、第１の画素群及び第２の画素群の各々の露出条件（一例として電子シャッタによるシャッタ速度）を変えることができ、これにより露出条件の異なる画像を同時に取得することができる。従って、画像処理部２８は、露出条件の異なる画像に基づいて広ダイナミックレンジの画像を生成することができる。また、同じ露出条件で複数の画像を同時に取得することができ、これら画像を加算することによりノイズの少ない高感度の画像を生成し、あるいは高解像度の画像を生成することができる。

一方、スプリットイメージ処理部３２は、メモリ２６に一旦記憶されたＲＡＷ画像から第１の画素群及び第２の画素群のＧ信号を抽出し、第１の画素群及び第２の画素群のＧ信号に基づいて無彩色のスプリットイメージを生成する。ＲＡＷ画像から抽出される第１の画素群及び第２の画素群の各々は、上述したようにＧフィルタの画素による画素群である。そのため、スプリットイメージ処理部３２は、第１の画素群及び第２の画素群のＧ信号に基づいて、無彩色の左の視差画像及び無彩色の右の視差画像を生成することができる。なお、以下では、説明の便宜上、上記の「無彩色の左の視差画像」を「左目画像」と称し、上記の「無彩色の右の視差画像」を「右目画像」と称する。

スプリットイメージ処理部３２は、第１の画素群から出力された第１の画像に基づく左目画像と、第２の画素群から出力された第２の画像に基づく右目画像とを合成することによりスプリットイメージを生成する。生成したスプリットイメージの画像データは表示制御部３６に出力される。

表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データと、スプリットイメージ処理部３２から入力された第１、第２の画素群に対応するスプリットイメージの画像データとに基づいて表示用の画像データを生成する。例えば、表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データにより示される通常画像の表示領域内に、スプリットイメージ処理部３２から入力された画像データにより示されるスプリットイメージを合成する。そして、合成して得た画像データを表示部２１３に出力する。ここで、スプリットイメージ処理部３２により生成されるスプリットイメージは、左目画像の一部と右目画像の一部とを合成した複数分割の画像である。ここで言う「複数分割の画像」としては、例えば図１１に示すスプリットイメージが挙げられる。図１１に示すスプリットイメージは、表示部２１３の所定領域の位置に対応する位置の左目画像の一部と右目画像の一部とを合成した画像であって、上下方向に４分割された画像間が合焦状態に応じて所定方向（例えば視差発生方向）にずれた画像である。なお、スプリットイメージの態様は図１１に示す例に限定されるものではなく、左目画像のうちの上半分の画像と右目画像のうちの下半分の画像とを合成した画像であってもよい。この場合、２分割された上下画像間が合焦状態に応じて所定方向（例えば視差発生方向）にずれる。

通常画像にスプリットイメージを合成する方法は、通常画像の一部の画像に代えて、スプリットイメージを嵌め込む合成方法に限定されない。例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示部２１３の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。

ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、ＬＣＤ２４７、プリズム２４５及び接眼レンズ２４６を有する。

また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。

プリズム２４５は、ＬＣＤ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導くと共に、光学像とＬＣＤ２４７に表示される情報（電子像、各種の情報）とを合成する。

ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

表示制御部３６は、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、ＬＣＤ２４７には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。

一方、表示制御部３６は、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、接眼部からＬＣＤ２４７に表示される電子像のみが視認できるようにする。なお、ＬＣＤ２４７には、表示部２１３に出力されるスプリットイメージが合成された画像データと同等の画像データが入力され、これにより、表示部２１３と同様に通常画像の一部にスプリットイメージが合成された電子像を表示させることができる。

図１０には表示装置における通常画像及びスプリットイメージの各々の表示領域の一例が示されている。一例として図１０に示すように、スプリットイメージは表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。なお、図１０に示す矩形枠を表す縁の線は実際には表示されないが、図１０では説明の便宜上示されている。

図１１には本第１実施形態に対する比較例として表示装置の同画面に表示された通常画像及びスプリットイメージの一例が模式的に示されている。一例として図１１に示すように、スプリットイメージは無彩色で表示され、通常画像は有彩色で表示される。しかし、画面全体のホワイトバランスによっては通常画像の色に対してスプリットイメージの色が引き立たずにスプリットイメージと通常画像との境界が視認し難くなる。

そこで、本第１実施形態に係る撮像装置１００では、画像処理部２８が、通常画像の表示色とスプリットイメージの表示色とを視覚的に差別化する処理（以下、「表示色差別化処理」という）を含む画像出力処理を行う。表示色差別化処理は、通常画像の色情報を取得し、取得した色情報に基づいて、通常画像の色特性とは異なる色特性を有する色をスプリットイメージの表示色として決定する処理を含む。上記の「色情報」とは、例えば通常画像の物体色の色特性を示す色情報を指す。また、上記の「通常画像の色特性とは異なる色特性」とは、例えば通常画像の物体色の色特性とは異なる色特性を指す。また、上記の「通常画像の色特性とは異なる色特性」とは、例えば色相環において通常画像の物体色と予め定められた角度離れた色を指す。ここで言う「予め定められた角度」とは、通常画像の物体色の色特性と異なる色特性であることが視認可能な色が得られる角度として予め定められた角度を指す。この場合、「予め定められた角度」は、好ましくは、１６０度以上２００度以下であり、より好ましくは、１７０度以上１９０度以下であり、最も好ましくは、１８０度（補色を特定する角度）である。また、これに限らず、ユーザが操作部１４を介して指定した角度（例えばユーザが視認可能な色が得られる角度）であってもよい。また、これに限らず、「予め定められた角度」として、複数の被験者による官能試験によって得られた評価結果に基づいて決められた角度を採用してもよい。この場合、複数の被験者のうちの過半数以上の被験者によって通常画像（サンプル画像）の物体色の色特性と異なる色特性である（例えばサンプル画像の物体色の色相と異なる色相である）と評価された角度を「予め定められた角度」として採用する例が挙げられる。

本第１実施形態では、上記の「通常画像の物体色の色特性」の一例として、ＷＢの実施後の通常画像における原色成分の構成比を採用している。ここで言う「原色成分の構成比」とは、例えばＲ，Ｇ，Ｂの画素値について総和が“１”となるように正規化した比を指す。

また、表示色差別化処理では、一例として図１２に示す第１入出力関数Ｆ（Ｗ）が用いられる。なお、図１２に示す横軸は、第１入出力関数Ｆ（Ｗ）の入力値であって、ＷＢの実施後の通常画像におけるＲ，Ｇ，Ｂの構成比の一成分を示す。すなわち、横軸は、ＷＢの実施後の通常画像におけるＲ，Ｇ，Ｂの各々の画素値の平均値を示す。ここでは、（Ｒの平均値Ｗｒ）＋（Ｇの平均値Ｗｇ）＋（Ｂの平均値Ｗｂ）＝１となるように正規化されたものを適用している。図１２に示す縦軸は、第１入出力関数Ｆ（Ｗ）の出力値であって、スプリットイメージの画素の各々のＲ：Ｇ：Ｂを示す。第１入出力関数Ｆ（Ｗ）によれば、例えば入力がＷｒ：Ｗｇ：Ｗｂ＝０．４：０．３：０．３のように赤味が支配的であると仮定すると、出力がＲ：Ｇ：Ｂ＝０．８：１：１となり、スプリットイメージは青緑系のグレーとなる。これにより、通常画像とスプリットイメージとの境界線の視認性が向上する。

第１入出力関数Ｆ（Ｗ）は、ＷＢの実施後の通常画像における原色成分の構成比を、スプリットイメージの原色成分の構成比に変換する関数である。第１入出力関数Ｆ（Ｗ）は、減少関数（入力値の増加に従って出力値が減少する特性を有する関数）である関数ｆ１を含む。図１２に示す第１入出力関数Ｆ（Ｗ）は、関数ｆ１の一例として傾きが負の線形関数を含んでいるが、線形関数に代えて、入力値の増加に従って出力値が減少する特性を有する非線形関数を採用してもよい。また、図１２に示す第１入出力関数Ｆ（Ｗ）は、各々関数ｆ１に連続する線形関数であって傾きが“０”の関数ｆ２，ｆ３を含んでいるが、これらの関数ｆ２，ｆ３に変えて、非線形関数を用いてもよいし、傾きが負の線形関数を用いてもよい。また、第１入出力関数Ｆ（Ｗ）は、屈曲した関数（関数ｆ１〜ｆ３を組み合わせた関数）とされているが、これに限らず、単調減少する減少関数（例えばｙ＝−ａｘ＋ｂ）であってもよい。

また、本第１実施形態に係る撮像装置１００では、画像処理部２８が、通常画像の色特性とスプリットイメージの色特性とを近付けることにより通常画像の表示色とスプリットイメージの表示色とを同化させる処理（以下、「表示色同化処理」という）を行う。表示色同化処理では、一例として図１３に示す第２入出力関数Ｇ（Ｗ）が用いられる。なお、図１３に示す横軸は、第２入出力関数Ｇ（Ｗ）の入力値であって、図１２に示す横軸と同様にＷＢの実施後の通常画像におけるＲ，Ｇ，Ｂの構成比の一成分を示す。図１３に示す縦軸は、第２入出力関数Ｇ（Ｗ）の出力値であって、図１２に示す縦軸と同様にスプリットイメージにおけるＲ，Ｇ，Ｂの構成比の一成分を示す。

第２入出力関数Ｇ（Ｗ）も、第１入出力関数Ｇ（Ｗ）と同様に、ＷＢの実施後の通常画像における原色成分の構成比を、スプリットイメージの原色成分の構成比に変換する関数である。但し、第２入出力関数Ｇ（Ｗ）は、図１２に示す第１入出力関数Ｆ（Ｗ）と対称的な関数であり、関数ｇ１，ｇ２，ｇ３を含む。

関数ｇ１は、増加関数（入力値の増加に従って出力値も増加する関数）である。図１３に示す第２入出力関数Ｇ（Ｗ）は、関数ｇ１の一例として傾きが正の線形関数を含んでいるが、線形関数に代えて、入力値の増加に従って出力値も増加する特性を有する非線形関数を採用してもよい。また、図１３に示す第２入出力関数Ｇ（Ｗ）は、各々関数ｇ１に連続する線形関数であって傾きが“０”の関数ｇ２，ｇ３を含んでいるが、これらの関数ｇ２，ｇ３に変えて、非線形関数を用いてもよいし、傾きが正の線形関数を用いてもよい。また、第２入出力関数Ｇ（Ｗ）は、屈曲した関数（関数ｇ１〜ｇ３を組み合わせた関数）とされているが、これに限らず、単調増加する単調関数（例えばｙ＝ａｘ＋ｂ）であってもよい。

なお、第１入出力関数Ｆ（Ｗ）及び第２入出力関数Ｇ（Ｗ）は所定の記憶領域（例えばメモリ２８）に記憶されている。

次に本第１実施形態の作用として画像処理部２８で行われる画像出力処理について、図１４を参照して説明する。なお、ここでは、画像出力処理が画像処理部２８で行われる場合を例示するが、本発明はこれに限定されるものではなく、例えばＣＰＵ１２が画像出力処理プログラムを実行することにより撮像装置１００で画像出力処理が行われるものとしてもよい。

図１４において、先ず、ステップ４００では、画像処理部２８により、通常画像が取得される。上記ステップ４００で取得された通常画像は画像処理部２８により所定の記憶領域（例えばメモリ２６）に記憶される。次のステップ４０２では、画像処理部２８により、左目画像及び右目画像が取得され、取得された左目画像及び右目画像に基づいてスプリットイメージが生成される。

次のステップ４０４では、画像処理部２８により、ＷＢ処理が実行される。図１５にはＷＢ処理の流れの一例が示されている。図１５に示すステップ４０４Ａでは、画像処理部２８により、通常画像から色情報が取得され、取得された色情報に基づいて撮像が行われた際の光源色が推定される。次のステップ４０４Ｂでは、画像処理部２８により、ＷＢで用いられるＲ，Ｇ，Ｂの各色に対するゲインとして、上記ステップ４０４Ａで推定された光源色に応じたゲインが取得される。本第１実施形態では、例えば、晴天の日の太陽、曇りの日の太陽、蛍光灯、タングステン光源のそれぞれについてゲインが定められており（例えばメモリ２６に記憶されており）、上記ステップ４０４Ａで推定された光源色に対応する光源のゲインが取得される。

次のステップ４０４Ｃでは、画像処理部２８により、上記ステップ４０４Ｂで取得されたゲインでホワイトバランスが実行され、その後、本ホワイトバランス処理を終了する。

図１４に戻って、ステップ４０６では、画像処理部２８により、上記ステップ４０２で生成されたスプリットイメージのうちの処理対象の画素（注目画素（ｉ，ｊ））が設定される。この場合、例えば、スプリットイメージのサイズがｍ×ｎ画素の場合、画素（１，１）から画素（ｍ，ｎ）まで、本ステップ４０６が行われる毎に順次注目画素を移動させる。

次のステップ４０８では、画像処理部２８により、上記ステップ４０４でホワイトバランス処理が実行されて得られた通常画像が無彩色画像でないか否かが判定される。ここで言う「無彩色画像」とは、例えばＲ，Ｇ，Ｂの構成比として|Ｒ−０．３３|≦０．０５かつ|Ｇ−０．３３|≦０．０５かつ|Ｂ−０．３３|≦０．０５を満たす画像を指す。本ステップ４０８において通常画像が無彩色画像でない場合は判定が肯定されてステップ４１０へ移行する。ステップ４０８において通常画像が無彩色画像である場合は判定が否定されてステップ４１２へ移行する。

なお、通常画像が無彩色画像であるか否かの判定は、通常画像の全領域（全画素数）における無彩色領域（無彩色画素の画素数）の占有率が予め定められた占有率（例えば９５％）以上であるか否かを判定することにより行われてもよい。また、通常画像における所定領域が無彩色領域である場合に通常画像が無彩色画像であると判定してもよい。また、通常画像におけるスプリットイメージとの境界に隣接する領域において無彩色領域が予め定められた面積（所定画素数）以上である場合に通常画像が無彩色画像であると判定してもよい。また、通常画像におけるスプリットイメージとの境界に隣接する領域が無彩色でないにも拘らずその他の領域が無彩色領域とされているために無彩色領域の占有率が予め定められた占有率以上になってしまった場合は通常画像が無彩色画像でないと判定してもよい。

ステップ４１２では、画像処理部２８により、有彩色付与処理が実行される。図１６には有彩色付与処理の流れの一例が示されている。図１６に示すステップ４１２Ａでは、画像処理部２８により、上記ステップ４０６で設定された注目画素が最初の処理対象画素であるか否かが判定される。本ステップ４１２Ａにおいて注目画素が最初の処理対象画素である場合は判定が肯定されてステップ４１２Ｂへ移行する。本ステップ４１２Ａにおいて注目画素が最初の処理対象画素でない場合は判定が否定されてステップ４１２Ｃへ移行する。

ところで、所定の記憶領域（例えばメモリ２６）には、注目画素のＲ，Ｇ，Ｂの画素値に乗じることにより注目画素に対して有彩色を付与可能な予め定められたＲ，Ｇ，Ｂの構成比（以下、「所定構成比」という）が記憶されている。

そこで、ステップ４１２Ｂでは、画像処理部２８により、所定構成比が所定の記憶領域から取得される。次のステップ４１２Ｃでは、画像処理部２８により、上記ステップ４１２Ｂで取得された所定構成比の色毎の成分が注目画素の同色の画素値に対して乗じられることにより注目画素のＲ，Ｇ，Ｂの各色の画素値が補正される。例えば所定構成比として“Ｒ：Ｇ：Ｂ＝０．２：０．２：０．６”が上記ステップ４１２Ｂで取得された場合、画像処理部２８は、“Ｒ：Ｇ：Ｂ＝０．２：０．２：０．６”の色毎の成分を注目画素の同色の画素値に対して乗じる。これにより、注目画素は青味を帯びた画素に補正される。また、上記の所定構成比として例えば“Ｒ：Ｇ：Ｂ＝０．６：０．２：０．２”が上記ステップ４１２Ｂで取得された場合、画像処理部２８は、“Ｒ：Ｇ：Ｂ＝０．６：０．２：０．２”の色毎の成分を注目画素の同色の画素値に対して乗じる。これにより、注目画素は赤味を帯びた画素に補正される。このように本ステップ４１２Ｃが画像処理部２８により実行されることで、通常画像の色特性とは異なる色特性を有する有彩色が注目画素の表示色として決定される。

次のステップ４１２Ｄでは、画像処理部２８により、上記ステップ４１２Ｃで補正された注目画素のＲ，Ｇ，Ｂの画素値が所定の記憶領域（例えばメモリ２６）に記憶されることにより画像が記憶され、その後、ステップ４１８へ移行する。

ステップ４１０では、画像処理部２８により、表示色同化処理を実行する条件である表示色同化条件を満足していないか否かが判定される。ここで言う「表示色同化条件」としては、例えば表示色同化処理の実行を開始する指示が操作部１４を介して入力されたとの条件が挙げられる。本ステップ４１０において表示色同化条件を満足していない場合は判定が肯定されてステップ４１４へ移行する。本ステップ４１０において表示色同化条件を満足している場合は判定が否定されてステップ４１６へ移行する。

なお、ここでは、ステップ４１０において肯定判定された場合にステップ４１４に移行する例を挙げているが、ステップ４１０とステップ４１４との間に、表示色差別化処理を実行する条件を満足しているか否かを判定する処理を行うステップを挿入してもよい。この場合、表示色差別化処理を実行する条件を満足している場合は判定が肯定されてステップ４１４へ移行し、表示色差別化処理を実行する条件を満足していていない場合は判定が否定されてステップ４１８へ移行する。表示色差別化処理を実行する条件としては、例えば、表示色差別化処理の実行を開始する指示が操作部１４を介して入力されたとの条件が挙げられる。この他にも、通常画像のＲ，Ｇ，Ｂの画素値の平均値（又は構成比）とスプリットイメージのＲ，Ｇ，Ｂの画素値の平均値（又は構成比）とがＲ，Ｇ，Ｂの各色について予め定められた誤差内で一致しているとの条件が例示できる。

ステップ４１４では、画像処理部２８により、表示色差別化処理が実行される。図１７には表示色差別化処理の流れの一例が示されている。図１７に示すステップ４１４Ａでは、上記ステップ４０６で設定された注目画素が最初の処理対象画素であるか否かが判定される。本ステップ４１４Ａにおいて注目画素が最初の処理対象画素である場合は判定が肯定されてステップ４１４Ｂへ移行する。本ステップ４１４Ａにおいて注目画素が最初の処理対象画素でない場合は判定が否定されてステップ４１４Ｃへ移行する。

ステップ４１４Ｂでは、画像処理部２８により、特定の画像からＲ，Ｇ，Ｂの画素値（例えば特定の画像に含まれる全ての画素についての画素値）が取得される。ここでは「特定の画像」として、上記ステップ４００で生成された通常画像の一部を採用しているが、これに限らず、通常画像並びに上記ステップ４０２で生成された左目画像及び右目画像であっても良い。また、本ステップ４１４Ｂでは、上記の「通常画像の一部」として、上記ステップ４００で生成された通常画像のうち通常撮像領域におけるスプリットイメージ撮像領域との境界側の縁部から出力された画像を採用しているが、ここで言う「縁部」の大きさとは、例えば通常画像領域幅の１／３の大きさを指す。「通常画像領域幅の１／３の大きさ」はあくまでも一例であり、有効な画素値（色情報の一例）を取得するのに十分な領域であればよく、通常画像領域の大きさやスプリットイメージの大きさなどにより、有効な画素値を取得するのに必要となる「縁部」の大きさが異なるのは言うまでもない。また、縁部に限らず、通常画像における他の領域でもよい。通常画像における他の領域とは、通常画像における上記の「縁部」以外の領域を指す。また、「特定の画像」は、必ずしも通常画像の一部である必要はなく、通常画像の全領域の画像であってもよい。また、上記の「通常撮像領域」とは、撮像素子２０における通常画像の撮像に使用される領域のことであり、例えば図１０に示す「通常画像の表示領域」に対応する撮像装置２０の領域を指す。また、上記の「スプリットイメージ撮像領域」とは、撮像素子２０におけるスプリットイメージの撮像に使用されると共に通常撮像領域に隣接する領域を指し、例えば図１０に示す「スプリットイメージの表示領域」に対応する撮像装置２０の領域を指す。

次のステップ４１４Ｄでは、画像処理部２８により、上記ステップ４１４Ｂで取得されたＲ，Ｇ，Ｂの画素値の色毎の平均値が算出される。次のステップ４１４Ｅでは、画像処理部２８により、上記ステップ４１４Ｄで算出されたＲ，Ｇ，Ｂの画素値の色毎の平均値に基づいてＲ，Ｇ，Ｂの画素値の構成比が算出される。ここでは、画像処理部２８が、例えば上記ステップ４１４Ｄで算出したＲ，Ｇ，Ｂの画素値の色毎の平均値を総和が“１”となるように正規化することによりＲ，Ｇ，Ｂの構成比を算出する。

次のステップ４１４Ｆでは、画像処理部２８により、第１入出力関数Ｆ（Ｗ）が所定の記憶領域から取得される。次のステップ４１４Ｇでは、画像処理部２８により、第１入出力関数Ｆ（Ｗ）を用いてスプリットイメージにおけるＲ，Ｇ，Ｂの画素値の構成比が算出される。すなわち、上記ステップ４１４Ｅで算出されたＲ，Ｇ，Ｂの画素値の構成比が第１入出力関数Ｆ（Ｗ）によりスプリットイメージにおけるＲ，Ｇ，Ｂの画素値の構成比に変換される。

次のステップ４１４Ｈでは、画像処理部２８により、異色付与条件を満足しているか否かが判定される。ここで言う「異色付与条件」とは、スプリットイメージにおける左目画像による画像及び右目画像による画像の各々に対して異なる有彩色を付与する処理（異色付与処理）を実行する条件を指す。異色付与条件としては、例えば異色付与処理の実行を開始する指示が操作部１４を介して行われたとの条件が挙げられる。また、ここで言う「異色付与処理」とは、例えば後述のステップ４１４Ｉ，４１４Ｋ，４１４Ｌ，４１４Ｍ，４１４Ｎを指す。本ステップ４１４Ｈにおいて異色付与条件を満足している場合は判定が肯定されてステップ４１４Ｉへ移行する。本ステップ４１４Ｈにおいて異色付与条件を満足していない場合は判定が否定されてステップ４１４Ｊへ移行する。

ステップ４１４Ｉでは、画像処理部２８により、上記ステップ４０６で設定された注目画素が右目画像に含まれる画素であるか否かが判定される。本ステップ４１４Ｊにおいて注目画素が右目画像に含まれる画素でない場合（注目画素が左目画像に含まれる画素である場合）は判定が否定されてステップ４１４Ｌへ移行する。本ステップ４１４Ｉにおいて注目画素が右目画像に含まれる画素である場合は判定が肯定されてステップ４１４Ｋへ移行する。

ステップ４１４Ｋでは、画像処理部２８により、上記ステップ４１４Ｇで算出された構成比に対して右目画像用の補正項が付与されることで右目画像構成比が算出される。例えば、上記ステップ４１４Ｇで算出されたＲ，Ｇ，Ｂの画素値の構成比をＦ（Ｗｒ），Ｆ（Ｗｇ），Ｆ（Ｗｂ）とすると、Ｆ（Ｗｒ）に対して補正項ΔＲが加えられることで、右目画像構成比のＲ成分である“Ｆ（Ｗｒ）＋ΔＲ”が算出される。また、Ｆ（Ｗｇ）に対して補正項ΔＧが加えられることで、右目画像構成比のＧ成分である“Ｆ（Ｗｇ）＋ΔＧ”が算出される。更に、Ｆ（Ｗｂ）に対して補正項ΔＢが加えられることで、右目画像構成比のＢ成分である“Ｆ（Ｗｂ）＋ΔＢ”が算出される。

次のステップ４１４Ｍでは、画像処理部２８により、上記ステップ４１４Ｋで算出された右目画像構成比の色毎の成分が注目画素の同色の画素値に対して乗じられることにより注目画素のＲ，Ｇ，Ｂの各色の画素値が補正され、その後、ステップ４１４Ｐへ移行する。このように本ステップ４１４Ｍが画像処理部２８により実行されることで、通常画像の色特性とは異なる色特性を有する色が注目画素の表示色として決定される。

ステップ４１４Ｌでは、画像処理部２８により、上記ステップ４１４Ｇで算出された構成比に対して左目画像用の補正項が付与されることで左目画像構成比が算出される。例えば、上記ステップ４１４Ｇで算出されたＲ，Ｇ，Ｂの画素値の構成比をＦ（Ｗｒ），Ｆ（Ｗｇ），Ｆ（Ｗｂ）とすると、Ｆ（Ｗｒ）から補正項ΔＲが減じられることで、左目画像構成比のＲ成分である“Ｆ（Ｗｒ）−ΔＲ”が算出される。また、Ｆ（Ｗｇ）から補正項ΔＧが減じられることで、左目画像構成比のＧ成分である“Ｆ（Ｗｇ）−ΔＧ”が算出される。更に、Ｆ（Ｗｂ）から補正項ΔＢが減じられることで、左目画像構成比のＢ成分である“Ｆ（Ｗｂ）−ΔＢ”が算出される。なお、補正項ΔＲ，ΔＧ，ΔＢは、差が視認できる値であればよく、例えばΔＲ＝ρＦ（Ｗｒ），ΔＧ＝ρＦ（Ｗｇ），ΔＢ＝ρＦ（Ｗｂ）のようにＦ（Ｗｒ），Ｆ（Ｗｇ），（Ｗｂ）を単純に線形倍した値を採用してもよい。

次のステップ４１４Ｎでは、画像処理部２８により、上記ステップ４１４Ｌで算出された左目画像構成比の色毎の成分が注目画素の同色の画素値に対して乗じられることにより注目画素のＲ，Ｇ，Ｂの各色の画素値が補正され、その後、ステップ４１４Ｐへ移行する。このように本ステップ４１４Ｎが画像処理部２８により実行されることで、通常画像の色特性とは異なる色特性を有する色が注目画素の表示色として決定される。また、本ステップ４１４Ｎ及び上記ステップ４１４が画像処理部２８により実行されることで、スプリットイメージにおける左目画像と右目画像とで異なる有彩色がスプリットイメージの表示色として決定される。

ステップ４１４Ｊでは、画像処理部２８により、上記ステップ４１４Ｇで算出された構成比の色毎の成分が注目画素の同色の画素値に対して乗じられることにより注目画素のＲ，Ｇ，Ｂの各色の画素値が補正され、その後、ステップ４１４Ｐへ移行する。このように本ステップ４１４Ｊが画像処理部２８により実行されることで、通常画像の色特性とは異なる色特性を有する色が注目画素の表示色として決定される。

ステップ４１４Ｐでは、画像処理部２８により、上記ステップ４１４Ｊ，４１４Ｍ，４１４Ｎの何れかで補正された注目画素のＲ，Ｇ，Ｂの画素値が所定の記憶領域（例えばメモリ２６）に記憶されることにより画像が記憶され、その後、ステップ４１８へ移行する。

一方、ステップ４１４Ｃでは、先の処理対象画素に対して異色付与処理が実行されたか否かが判定される。本ステップ４１４Ｃにおいて先の処理対象画素に対して異色付与処理が実行された場合は判定が肯定されてステップ４１４Ｑへ移行する。本ステップ４１４Ｃにおいて先の処理対象画素に対して異色付与処理が実行されていない場合は判定が否定されてステップ４１４Ｊへ移行する。

ステップ４１４Ｑでは、画像処理部２８により、上記ステップ４０６で設定された注目画素が右目画像に含まれる画素であるか否かが判定される。本ステップ４１４Ｑにおいて注目画素が右目画像に含まれる画素でない場合（注目画素が左目画像に含まれる画素である場合）は判定が否定されてステップ４１４Ｎへ移行する。本ステップ４１４Ｑにおいて注目画素が右目画像に含まれる画素である場合は判定が肯定されてステップ４１４Ｍへ移行する。

図１４に戻って、ステップ４１６では、画像処理部２８により、表示色同化処理が実行される。図１８には表示色同化処理の流れの一例が示されている。図１８に示すステップ４１６Ａでは、上記ステップ４０６で設定された注目画素が最初の処理対象画素であるか否かが判定される。本ステップ４１６Ａにおいて注目画素が最初の処理対象画素である場合は判定が肯定されてステップ４１６Ｂへ移行する。本ステップ４１６Ａにおいて注目画素が最初の処理対象画素でない場合は判定が否定されてステップ４１６Ｇへ移行する。

ステップ４１６Ｂでは、画像処理部２８により、特定の画像からＲ，Ｇ，Ｂの画素値（例えば特定の画像に含まれる全ての画素についての画素値）が取得される。ここでは言う「特定の画像」としては、例えばステップ４１４Ｂで用いる「特定の画像」に相当する画像を指す。

次のステップ４１６Ｃでは、画像処理部２８により、上記ステップ４１６Ｂで取得されたＲ，Ｇ，Ｂの画素値の色毎の平均値が算出される。次のステップ４１６Ｄでは、画像処理部２８により、上記ステップ４１６Ｃで算出されたＲ，Ｇ，Ｂの画素値の色毎の平均値に基づいてＲ，Ｇ，Ｂの画素値の構成比が算出される。ここでは、画像処理部２８が、例えば上記ステップ４１６Ｃで算出したＲ，Ｇ，Ｂの画素値の色毎の平均値を総和が“１”となるように正規化することによりＲ，Ｇ，Ｂの構成比を算出する。

次のステップ４１６Ｅでは、画像処理部２８により、第２入出力関数Ｇ（Ｗ）が所定の記憶領域から取得される。次のステップ４１６Ｆでは、画像処理部２８により、第２入出力関数Ｇ（Ｗ）を用いてスプリットイメージにおけるＲ，Ｇ，Ｂの画素値の構成比が算出される。すなわち、上記ステップ４１６Ｄで算出されたＲ，Ｇ，Ｂの画素値の構成比が第２入出力関数Ｇ（Ｗ）によりスプリットイメージにおけるＲ，Ｇ，Ｂの画素値の構成比に変換される。

次のステップ４１６Ｇでは、画像処理部２８により、上記ステップ４１６Ｆで算出された構成比の色毎の成分が注目画素の同色の画素値に対して乗じられることにより注目画素のＲ，Ｇ，Ｂの各色の画素値が補正され、その後、ステップ４１６Ｈへ移行する。このように本ステップ４１６Ｇが画像処理部２８により実行されることで、通常画像の色特性に予め定められた度合いで近付けた色特性を有する色が注目画素の表示色として決定される。

次のステップ４１６Ｈでは、画像処理部２８により、上記ステップ４１６Ｇで補正された注目画素のＲ，Ｇ，Ｂの画素値が所定の記憶領域（例えばメモリ２６）に記憶されることにより画像が記憶され、その後、ステップ４１８へ移行する。

図１４に戻って、ステップ４１８では、上記ステップ４０６で設定された注目画素（ｉ，ｊ）に対して、ＷＢ処理、有彩色付与処理、表示色差別化処理及び表示色同化処理以外の画像処理（例えばガンマ補正や同時化処理など）が行われる。

次のステップ４２０では、画像処理部２８により、上記ステップ４１８で行われた画像処理により得られた画素値が画素毎に所定の記憶領域（例えばメモリ２６）に記憶されることにより画像が記憶され、その後、ステップ４２２へ移行する。

次のステップ４２２では、画像処理部２８により、全ての画素に対する有彩色付与処理、表示色差別化処理又は表示色同化処理が終了したか否かが判定される。本ステップ４２２において全ての画素に対する有彩色付与処理、表示色差別化処理又は表示色同化処理が終了した場合は判定が肯定されてステップ４２４へ移行する。本ステップ４２２において全ての画素に対する有彩色付与処理、表示色差別化処理又は表示色同化処理が終了していない場合は判定が否定されてステップ４０６へ移行する。

ステップ４２４では、画像処理部２８により、上記ステップ４００，４２０で所定の記憶領域に記憶された画像が所定の出力先に出力された後、本画像処理を終了する。なお、上記の「所定の出力先」としては、例えば表示制御部３６が挙げられ、この他にも、撮影者等により外部装置への出力が操作部１４を介して指示された場合は上記の「所定の出力先」として外部Ｉ／Ｆ４０が適用される。

上記ステップ４００，４２０で所定の記憶領域に記憶された画像が表示制御部３６に出力されると、一例として図１９、図２０、図２２又は図２３に示すように表示装置にライブビュー画像が表示される。ライブビュー画像は、通常画像及びスプリットイメージを含む。スプリットイメージは、左目画像と右目画像とに大別される（例えば図２０参照）。

ここで、被写体に対して、撮影レンズ１６のピントが合っていない場合は、スプリットイメージにおける左目画像と右目画像とが視差発生方向（一例として水平方向）にずれる。また、通常画像とスプリットイメージとの境界の画像も視差発生方向にずれる。これは、位相差が生じていることを表しており、撮影者はスプリットイメージを通して視覚的に位相差が生じていること及び視差発生方向を認識することができる。

一方、被写体に対して、撮影レンズ１６のピントが合っている場合は、スプリットイメージにおける左目画像と右目画像とがずれない。通常画像とスプリットイメージとの境界の画像もずれない。これは、位相差が生じていないことを表しており、撮影者はスプリットイメージを通して視覚的に位相差が生じていないことを認識することができる。

このように、撮影者は、表示装置に表示されるスプリットイメージにより撮影レンズ１６の合焦状態を確認することができる。また、マニュアルフォーカスモード時には、撮影レンズ１６のフォーカスリング３０２を手動操作することによりピントのずれ量（デフォーカス量）をゼロにすることができる。また、通常画像とスプリットイメージとをそれぞれ色ずれのないカラー画像で表示することができ、撮影者の手動によるフォーカス調整をカラーのスプリットイメージで支援することができる。

図１７に示す表示色差別化処理において、画像処理部２８によりステップ４１４Ｊの処理が実行されると、一例として図１９に示すように、表示装置に通常画像が表示されると共に通常画像の色特性とは異なる色特性を有する色でスプリットイメージが表示される。図１９に示す例では、通常画像の表示色が赤系（ここでは一例として橙系）の色とされており、スプリットイメージの表示色が青系の色とされている。この場合、例えば通常画像のＲ，Ｇ，Ｂの画素値の構成比として“Ｒ：Ｇ：Ｂ＝０．３５：０．３５：０．３”、スプリットイメージのＲ，Ｇ，Ｂの画素値の構成比として“Ｒ：Ｇ：Ｂ＝０．３１：０．３１：０．３８”が挙げられる。このようにシーン全体（一例として通常画像）の色比が赤系の物体色の影響が強い場合はスプリットイメージの表示色として青系の色が採用される。逆に、シーン全体の色比が青系の物体色の影響が強い場合はスプリットイメージの表示色として赤系の色が採用される。従って、通常画像に対してスプリットイメージを引き立たせることができる。

また、図１７に示す表示色差別化処理において、画像処理部２８によりステップ４１４Ｋ，４１４Ｌ，４１４Ｍ，４１４Ｎの処理が実行されると、一例として図２０に示すように、左目画像及び右目画像の色特性が異なるスプリットイメージが表示される。図２０に示す例では、スプリットイメージにおける左目画像が青系の色とされており、スプリットイメージにおける右目画像が緑系の色とされている。なお、通常画像の表示色は、図１９に示す例と同様に赤系（ここでは一例として橙系）の色とされている。これにより、通常画像に対してスプリットイメージを引き立たせることができ、かつ、スプリットイメージにおいて左目画像と右目画像とが識別し易くなる。

通常画像が無彩色画像の場合（ステップ４０８：Ｎ）、スプリットイメージも無彩色画像のため、一例として図２１に示すように通常画像とスプリットイメージとの境界が視認し難くなる。そこで、本第１実施形態に係る画像処理部２８は、図１６に示す有彩色付与処理を実行することにより、一例として図２２に示すようにスプリットイメージに対して有彩色を付与している。図２２に示す例では、スプリットイメージの表示色として青系の色が採用されている。これにより、無彩色の通常画像に対してスプリットイメージを引き立たせることができる。なお、画像処理部２８により、光源色を推定して、推定した光源色において赤系の色が支配的ならばスプリットイメージの表示色を青系の色とし、推定した光源色において青系の色が支配的ならばスプリットイメージの表示色を赤系の色とするようにしてもよい。

また、図１８に示す表示色同化処理が画像処理部２８により実行されると、一例として図２３に示すように、互いの表示色が同化された通常画像及びスプリットイメージが表示される。図２３に示す例では、通常画像の物体色として赤系（一例として橙系）が支配的であるため、スプリットイメージの表示色として赤系の色が採用され、これにより、スプリットイメージが通常画像に対して溶け込むように表示される。従って、通常画像とスプリットイメージとの境界を視覚的に認識し難くすることができる。

以上に説明にしたように、本第１実施形態に係る撮像装置１００は、撮影レンズ１６の射出瞳を通過する光束の光軸の左側及び右側（第１及び第２の領域を通過した被写体像の一例）が瞳分割されてそれぞれ結像される第１及び第２の画素群を含む。また、通常画像生成部の一例である画像処理部２８は、第１及び第２の画素群を有する撮像素子２０から出力された画像に基づいて第１の表示用画像の一例である通常画像を生成する（ステップ４００）。また、第２の表示用画像生成部の一例である画像処理部２８は、第１及び第２の画素群から出力された第１及び第２の画像に基づいて第２の表示用画像の一例であるスプリットイメージを生成する（ステップ４０２）。また、取得部の一例である画像処理部２８は、生成した通常画像の色情報を取得する（ステップ４１４Ｂ）。また、決定部の一例である画像処理部２８は、取得した色情報に基づいて、通常画像の色特性とは異なる色特性を有する色をスプリットイメージの表示色として決定する（ステップ４１４Ｊ，４１４Ｍ，４１４Ｎ）。これにより、本構成を有しない場合に比べ、通常画像とスプリットイメージとの境界線の視認性を向上させることができる。

また、本第１実施形態に係る撮像装置１００は、通常画像の色特性とは異なる色特性を有する色として、通常画像の色特性と異なる色特性であることが視認可能な色を採用している。これにより、本構成を有しない場合に比べ、通常画像とスプリットイメージとを視覚的に識別することができる。

また、本第１実施形態に係る撮像装置１００では、画像処理部２８が通常画像から色情報を取得している。これにより、本構成を有しない場合に比べ、簡素な構成で、スプリットイメージの色特性と通常画像の色特性とを高精度に異ならせることができる。

また、本第１実施形態に係る撮像装置１００では、画像処理部２８が、通常画像及びスプリットイメージに基づいて色情報を取得している。これにより、本構成を有しない場合に比べ、スプリットイメージの色特性と通常画像の色特性とを高精度に異ならせることができる。また、通常画像が白とびしていても第１及び第２の画素群は感度が低いため、色情報を取得することができる。なお、通常画像及び第１の画像に基づいて色情報を取得しもよいし、通常画像及び第２の画像に基づいて色情報を取得しもよいし、通常画像、第１の画像及び第２の画像に色情報を取得しもよい

また、本第１実施形態に係る撮像装置１００では、撮像素子２０が、通常画像の撮像に使用される通常撮像領域とスプリットイメージの撮像に使用されると共に通常撮像領域に隣接するスプリットイメージ撮像領域とを有する。そして、画像処理部２８が、通常画像のうち通常撮像領域におけるスプリットイメージ撮像領域との境界側の縁部から出力された画像から色情報を取得している。これにより、本構成を有しない場合に比べ、通常画像とスプリットイメージとの境界を鮮明にすることができる。

また、本第１実施形態に係る撮像装置１００は、色情報として、通常画像の物体色の色特性を示す色情報を採用している。これにより、本構成を有しない場合に比べ、通常画像において光源色よりも物体色が支配的な場合であっても通常画像とスプリットイメージとの境界線の視認性を向上させることができる。

また、本第１実施形態に係る撮像装置１００は、通常画像の色特性とは異なる色特性として、通常画像の物体色の色特性と異なる色特性を採用している。これにより、本構成を有しない場合に比べ、通常画像において光源色よりも物体色が支配的な場合であっても通常画像とスプリットイメージとの境界線の視認性を向上させることができる。

また、本第１実施形態に係る撮像装置１００は、色特性として色相を適用している。これにより、本構成を有しない場合に比べ、簡素な構成で、通常画像とスプリットイメージとの境界線の視認性をより一層向上させることができる。

また、本第１実施形態に係る撮像装置１００は、通常画像の色特性とは異なる色特性を有する色として、色相環において通常画像の物体色と予め定められた角度離れた色を採用している。これにより、本構成を有しない場合に比べ、通常画像の色特性とは異なる色特性を有する色として適切な物体色を容易に決めることができる。

また、本第１実施形態に係る撮像装置１００は、上記の予め定められた角度として、通常画像の物体色の色特性と異なる色特性であることが視認可能な色が得られる角度を採用している。これにより、本構成を有しない場合に比べ、通常画像に対してスプリットイメージを鮮明に引き立たせることができる。

また、本第１実施形態に係る撮像装置１００は、通常画像の物体色の色特性として、通常画像における原色成分の構成比を採用している。これにより、本構成を有しない場合に比べ、通常画像の物体色の色特性として、通常画像とスプリットイメージとの境界線の視認性を向上させる上で適切な色特性を容易に特定することができる。

また、本第１実施形態に係る撮像装置１００は、通常画像における原色成分の構成比として、ホワイトバランスの実施後の前記通常画像における原色成分の構成比を採用している。これにより、本構成を有しない場合に比べ、ホワイトバランスが実施された通常画像とスプリットイメージとの境界線を鮮明にすることができる。

また、本第１実施形態に係る撮像装置１００では、推定部の一例である画像処理部２８が通常画像に基づいて光源色を推定する。そして、ホワイトバランスで用いられる原色成分に対するゲインが画像処理部２８により推定された光源色に応じて定められている。これにより、本構成を有しない場合に比べ、ホワイトバランスが実施された通常画像とスプリットイメージとの境界線の視認性を光源色を加味して向上させることができる。

また、本第１実施形態に係る撮像装置１００では、通常画像における原色成分の構成比が、通常画像における物体色の原色成分の各々についての画素値の平均値に基づいて定められている。これにより、本構成を有しない場合に比べ、通常画像における原色成分の構成比として、通常画像とスプリットイメージとの境界線の視認性を向上させる上で適切な構成比を容易に得ることができる。

また、本第１実施形態に係る撮像装置１００では、減少関数を含む入出力関数により通常画像における原色成分の構成比を変換して得た変換後の構成比を、通常画像の色特性とは異なる色特性として採用している。これにより、本構成を有しない場合に比べ、簡素な構成で、通常画像とスプリットイメージとの境界線の視認性を向上させることができる。

また、本第１実施形態に係る撮像装置１００では、第１及び第２の画素群の各々を、単一色の画素群とし、画像処理部２８が、第１及び第２の画素群から出力された第１及び第２の画像に基づいて、スプリットイメージとして無彩色の画像を生成している。これにより、本構成を有しない場合に比べ、簡素な構成で、無彩色のスプリットイメージを得ることができる。

また、本第１実施形態に係る撮像装置１００では、上記の単一色の画素群として緑色の画素群を採用している。これにより、本構成を有しない場合に比べ、無彩色のスプリットイメージとして高精度な無彩色画像を得ることができる。

また、本第１実施形態に係る撮像装置１００では、画像処理部２８により、スプリットイメージが無彩色画像の場合、取得した色情報に基づいて、通常画像の色特性とは異なる色特性を有する有彩色をスプリットイメージの表示色として決定している。これにより、本構成を有しない場合に比べ、簡素な構成で、スプリットイメージの表示色としての有彩色を決定することができる。

また、本第１実施形態に係る撮像装置１００では、画像処理部２８が、通常画像及びスプリットイメージが無彩色画像の場合、取得した色情報に基づいて、通常画像の色特性とは異なる色特性を有する有彩色をスプリットイメージの表示色として決定している。これにより、本構成を有しない場合に比べ、通常画像とスプリットイメージとの境界線の視認性を向上させることができる。

また、本第１実施形態に係る撮像装置１００では、画像処理部２８が、通常画像の色特性とは異なる色特性を有する有彩色であってスプリットイメージにおける左目画像と右目画像とで異なる有彩色をスプリットイメージの表示色として決定している。これにより、本構成を有しない場合に比べ、スプリットイメージにおいて左目画像と右目画像とが視覚的に識別し易くなる。

また、本第１実施形態に係る撮像装置１００では、スプリットイメージとして、左目画像と右目画像とが視差発生方向と交差する方向（予め定められた方向の一例）に交互に配置された画像を採用している。これにより、スプリットイメージにおいて左目画像と右目画像とが視覚的により一層識別し易くなる。

また、本第１実施形態に係る撮像装置１００では、画像処理部２８が、表示色同化条件を満足した場合、取得した色情報に基づいて、通常画像の色特性に予め定められた度合いで近付けた色特性を有する色をスプリットイメージの表示色として更に決定している。これにより、本構成を有しない場合に比べ、通常画像とスプリットイメージとの境界を視覚的に認識し難くすることができる。

また、本第１実施形態に係る撮像装置１００は、表示装置に対して同画面内において通常画像と画像処理部２８により表示色が補正されたスプリットイメージとを並べて表示させる制御を行う表示制御部３６を更に含む。これにより、本構成を有しない場合に比べ、簡素な構成で、通常画像とスプリットイメージとの境界線を視認することができる。

また、本第１実施形態に係る撮像装置１００では、撮像素子２０が、第３の画素群を有し、画像処理部２８が、第３の画素群から出力される第３の画像に基づいて通常画像を生成する。これにより、本構成を有しない場合に比べ、通常画像の画質を向上させることができる。

なお、上記第１実施形態では、ＷＢの実施後の通常画像における原色成分の構成比を採用しているが、これに限らず、ＷＢの実施前の通常画像における原色成分の構成比であってもよいし、ガンマ補正後の通常画像における原色成分の構成比であってもよい。

また、上記第１実施形態では、通常画像から取得される色情報の一例である画素値として通常画像の物体色のＲ，Ｇ，Ｂの画素値を採用した場合の形態例を挙げて説明したが、これに限らず、光源色のＲ，Ｇ，Ｂの画素値を採用してもよい。これにより、通常画像において物体色よりも光源色が支配的な場合であっても通常画像とスプリットイメージとの境界線の視認性を向上させることができる。

また、上記第１実施形態では、有彩色付与処理及び表示色差別処理において表示装置の種類に依存しない構成比で画素値を補正する例を挙げて説明したが、表示装置の種類に応じて定めた構成比で画素値を補正してもよい。例えば、接眼検出部３７によりＥＶＦ２４８の使用が検出された場合、上記第１実施形態で説明した画素値の補正で用いる構成比に対して更なる補正項（例えばプラスの補正項）を付加して得た構成比を用いて画素値の補正を行う。これにより、表示部２１３よりも表示面積が小さなＥＶＦ２４８が使用された場合であっても、通常画像とスプリットイメージとの境界を視覚的に認識可能となる。

また、上記第１実施形態では、第１入出力関数Ｆ（Ｗ）の出力値の最大を“１”としたが、“１”を超える値としてもよい。第１入出力関数Ｆ（Ｗ）の出力値が“１”を超えた場合はその後に正規化処理を行うことで“１”以下の値に補正すればよい。なお、第２入出力関数Ｇ（Ｗ）の出力値についても同様である。

また、上記第１実施形態では、特定の画像から取得したＲ，Ｇ，Ｂの画素値の平均値からＲ，Ｇ，Ｂの画素値の構成比を算出する例を挙げて説明したが、特定の画像から取得したＲ，Ｇ，Ｂの画素値の代表値からＲ，Ｇ，Ｂの画素値の構成比を算出してもよい。ここで言う代表値としては、特定の画像から取得したＲ，Ｇ，Ｂの画素値のモードやメジアンなどが例示できる。

また、上記第１実施形態では、位相差画素としてＧ画素を例示したが、これに限らず、Ｒ，Ｇ，Ｂ画素の何れかであってもよい。また、上記第１実施形態では、位相差画素として単色画素を例示したが、これに限らず、Ｒ，Ｇ，Ｂ画素のうちの２つ以上の画素を位相差画素として用いてもよい。この場合、スプリットイメージとしてカラー画像が表示されるが、この場合であっても本発明は成立する。なお、複数色の位相差画素を採用する場合よりも上記第１実施形態で説明したように単色の位相差画素を用いた方が画素値の補正処理にかかる時間は短くて済むし、視覚的に背景色（例えば通常画像の表示色）との識別がし易くなる。

また、上記第１実施形態では、レフレックスミラーが省略されたレンズ交換式のデジタルカメラを例示したが、これに限らず、一体型レンズを有する撮像装置に対しても本発明を適用することができる。

また、上記第１実施形態では、表示部２１３及びＥＶＦ２４８を有する撮像装置１００を例示したが、これに限らず、表示部２１３及びＥＶＦ２４８の何れか一方を有しているものであってもよい。

また、上記第１実施形態では、上下方向に複数分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。

また、上記第１実施形態では、スプリットイメージを表示する形態例を挙げて説明したが、これに限らず、左目画像及び右目画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、左目画像及び右目画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。

また、上記第１実施形態では、図１２に示す入出力関数Ｆ（Ｗ）に従って出力用の表示色を決定する例を挙げて説明したが、これに限らず、所定の記憶領域（例えばメモリ２６）に予め記憶しておいた色変換テーブルを用いて出力用の表示色を決定してもよい。この場合、色変換テーブルの一例としては、入力値の増加に従って出力値が減少する色変換テーブルが挙げられる。また、色変換テーブルの入力及び出力に係るデータは、図１２に示す入出力関数Ｆ（Ｗ）に基づいて作成されたデータであってもよいし、色相環に基づいて作成されたデータであってもよい。これにより、簡素な構成で、通常画像とスプリットイメージとの境界線の視認性を向上させることができる。なお、図１３に示す入出力関数Ｇ（Ｗ）に従って出力用の表示色を決定する場合も同様のことが言える。

また、上記第１実施形態で説明した画像出力処理の流れ（図１４参照）、ホワイトバランス処理の流れ（図１５参照）、有彩色付与処理の流れ（図１６参照）、表示色差別化処理の流れ（図１７参照）及び表示色同化処理の流れ（図１８参照）は一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、画像出力処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、ハードウェア構成で実現されてもよい。また、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。ホワイトバランス処理、有彩色付与処理、表示色差別化処理及び表示色同化処理についても同様である。

なお、画像出力処理を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えばメモリ２６）に予め記憶しておけばよい。ホワイトバランス処理、有彩色付与処理、表示色差別化処理及び表示色同化処理についても同様である。なお、必ずしも最初からメモリ２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の「可搬型の記憶媒体」に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。

［第２実施形態］
上記第１実施形態では、撮像装置１００を例示したが、撮像装置１００の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機などが挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図２４は、スマートフォン５００の外観の一例を示す斜視図である。図２４に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用することもできる。

図２５は、図２４に示すスマートフォン５００の構成の一例を示すブロック図である。図２５に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図２４に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備える。通話部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通話部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図２４に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２４に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（Ultra Wideband（登録商標））、ジグビー（ZigBee（登録商標））などが挙げられる。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。

外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮像するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。

また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。そして、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図９に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力することができる。図２４に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像したりすることもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。

なお、上記各実施形態では、第１〜第３の画素群を有する撮像素子２０を例示したが、本発明はこれに限定されるものではなく、第１の画素群及び第２の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像に基づいて３次元画像（３Ｄ画像）を生成することができるし、２次元画像（２Ｄ画像）も生成することができる。この場合、２次元画像の生成は、例えば第１の画像及び第２の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第１の画像又は第２の画像を２次元画像として採用してもよい。

上記各実施形態では、通常画像の表示領域内にスプリットイメージが表示される例を挙げて説明したが、本発明はこれに限定されるものではなく、表示装置に対して通常画像（第１の表示用画像の一例）を表示させずにスプリットイメージ（第２の表示用画像）を表示させてもよい。また、全画面を使用してスプリットイメージを表示させてもよい。ここで言う「スプリットイメージ」としては、位相差画素群（例えば第１の画素群及び第２の画素群）のみからなる撮像素子を使用する場合及び通常画素に対して所定の割合で位相差画素（例えば第１の画素群及び第２の画素群）が配置された撮像素子を使用する場合において、位相差画群から出力された画像（例えば第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像）に基づくスプリットイメージが例示できる。このように、本発明は、通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様に限定されるものではなく、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合は表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。

１２ ＣＰＵ
２０ 撮像素子
２６ メモリ
２８ 画像処理部
３０ 通常処理部
３２ スプリットイメージ処理部
３６ 表示制御部
１００ 撮像装置
２１３ 表示部
２４７ ＬＣＤ

Claims (22)

1. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を含む撮像素子から出力された画像に基づいて第１の表示用画像を生成する第１の表示用画像生成部と、
   前記第１及び第２の画素群から出力された第１の画像及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する第２の表示用画像生成部と、
   前記第１の表示用画像生成部により生成された前記第１の表示用画像の色情報を取得する取得部と、
   前記取得部により取得された色情報に基づいて、前記第１の表示用画像の色特性とは異なる色特性を有する色を前記第２の表示用画像の表示色として決定する決定部と、
   画像を表示する表示部と、
   前記表示部に対して、前記第１の表示用画像生成部により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記第２の表示用画像生成部により生成された前記第２の表示用画像を表示させる表示制御部と、
   を含む画像処理装置。
2. 前記異なる色特性を有する色を、前記第１の表示用画像の色特性と異なる色特性であることが視認可能な色とした請求項１に記載の画像処理装置。
3. 前記取得部は、前記第１の表示用画像の一部又は全てから前記色情報を取得する請求項１又は請求項２に記載の画像処理装置。
4. 前記取得部は、前記第１の表示用画像と前記第１の画像若しくは第２の画像又は前記第２の表示用画像とに基づいて前記色情報を取得する請求項１又は請求項２に記載の画像処理装置。
5. 前記撮像素子は、前記第１の表示用画像の撮像に使用される通常撮像領域と前記第２の表示用画像の撮像に使用されると共に前記通常撮像領域に隣接する合焦確認撮像領域とを有し、
   前記取得部は、前記第１の表示用画像のうち前記通常撮像領域における前記合焦確認撮像領域との境界側の縁部から出力された画像から前記色情報を取得する請求項１〜請求項４の何れか１項に記載の画像処理装置。
6. 前記色情報を、前記第１の表示用画像の物体色の色特性を示す色情報とした請求項１〜請求項５の何れか１項に記載の画像処理装置。
7. 前記色特性を色相とした請求項６に記載の画像処理装置。
8. 前記異なる色特性を有する色を、色相環において前記第１の表示用画像の物体色と予め定められた角度離れた色とした請求項６又は請求項７に記載の画像処理装置。
9. 前記第１の表示用画像の物体色の色特性を、前記第１の表示用画像における原色成分の構成比とした請求項６〜請求項８の何れか１項に記載の画像処理装置。
10. 減少関数を含む入出力関数により前記構成比を変換して得た変換後の前記構成比を前記異なる色特性とした請求項９に記載の画像処理装置。
11. 色変換データにより前記構成比を変換して得た変換後の前記構成比を前記異なる色特性とした請求項９に記載の画像処理装置。
12. 前記色変換データを、減少関数を含む入出力関数に基づいて作成された色変換データとした請求項１１に記載の画像処理装置。
13. 前記色情報を、前記第１の表示用画像の光源色の色特性を示す色情報とした請求項１〜請求項５の何れか１項に記載の画像処理装置。
14. 前記第１及び第２の画素群の各々を、単一色の画素群とし、
    前記第２の表示用画像生成部は、前記第１及び第２の画素群から出力された前記第１の画像及び前記第２の画像に基づいて、前記第２の表示用画像として無彩色の画像を生成する請求項１〜請求項１３の何れか１項に記載の画像処理装置。
15. 前記決定部は、前記第２の表示用画像が無彩色画像の場合、前記取得部により取得された色情報に基づいて、前記第１の表示用画像の色特性とは異なる色特性を有する有彩色を前記第２の表示用画像の表示色として決定する請求項１４に記載の画像処理装置。
16. 前記決定部は、前記第１の表示用画像及び第２の表示用画像が無彩色画像の場合、前記取得部により取得された色情報に基づいて、前記第１の表示用画像の色特性とは異なる色特性を有する有彩色を前記第２の表示用画像の表示色として決定する請求項１〜請求項１５の何れか１項に記載の画像処理装置。
17. 前記決定部は、前記取得部により取得された色情報に基づいて、前記第１の表示用画像の色特性とは異なる色特性を有する有彩色であって前記第２の表示用画像における前記第１の画像に基づく領域と前記第２の画像に基づく領域とで異なる有彩色を前記第２の表示用画像の表示色として決定する請求項１〜請求項１６の何れか１項に記載の画像処理装置。
18. 前記決定部は、前記第１の表示用画像の色特性と前記第２の表示用画像の色特性とを近付ける予め定められた条件を満足した場合、前記取得部により取得された色情報に基づいて、前記第１の表示用画像の色特性に予め定められた度合いで近付けた色特性を有する色を前記第２の表示用画像の表示色として更に決定する請求項１〜請求項１７の何れか１項に記載の画像処理装置。
19. 前記撮像素子は、被写体像が瞳分割されずに結像されて第３の画像を出力する第３の画素群を有し、
    前記第１の表示用画像生成部は、前記第３の画素群から出力される前記第３の画像に基づいて前記第１の表示用画像を生成する請求項１〜請求項１８の何れか１項に記載の画像処理装置。
20. 請求項１〜請求項１９の何れか１項に記載の画像処理装置と、
    前記撮像素子から出力された画像を記憶する記憶部と、
    を含む撮像装置。
21. 撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される第１及び第２の画素群を含む撮像素子から出力された画像に基づいて第１の表示用画像を生成する第１の表示用画像生成工程と、
    前記第１及び第２の画素群から出力された第１の画像及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する第２の表示用画像生成工程と、
    前記第１の表示用画像生成工程により生成された前記第１の表示用画像の色情報を取得する取得工程と、
    前記取得工程により取得された色情報に基づいて、前記第１の表示用画像の色特性とは異なる色特性を有する色を前記第２の表示用画像の表示色として決定する決定工程と、
    画像を表示する表示部に対して、前記第１の表示用画像生成工程により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記第２の表示用画像生成工程により生成された前記第２の表示用画像を表示させる表示制御工程と、
    を含む画像処理方法。
22. コンピュータを、
    請求項１〜請求項１９の何れか１項に記載の画像処理装置における前記第１の表示用画像生成部、前記第２の表示用画像生成部、前記取得部、前記決定部及び前記表示制御部として機能させるための画像処理プログラム。