JP5960286B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。

デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。

マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したものも知られている。

ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラスト検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ（liquid crystal display：液晶ディスプレイ）等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。

そこで、近年では、マニュアルフォーカスモード時に操作者が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示している。スプリットイメージとは、例えば表示領域が複数に分割された分割画像（例えば上下方向に分割された各画像）であって、ピントのずれに応じて視差発生方向（例えば左右方向）にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。操作者（例えば撮影者）は、スプリットイメージ（例えば上下方向に分割された各画像）のずれがなくなるように、マニュアルフォーカスリング（以下、「フォーカスリング」という）を操作してピントを合わせる。

特開２００９−１４７６６５号公報（以下、「特許文献１」という）に記載の撮像装置は、撮像光学系からの光束のうち、瞳分割部によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換した第１の画像及び第２の画像を生成する。そして、これらの第１及び第２の画像を用いてスプリットイメージを生成し、かつ、瞳分割部によって分割されない光束により形成された第３の被写体像を光電変換して第３の画像を生成する。そして、第３の画像を表示部に表示し、かつ、第３の画像内に、生成したスプリットイメージを表示し、かつ第３の画像から抽出した色情報をスプリットイメージに付加するようにしている。このように第３の画像から抽出した色情報をスプリットイメージに付加することにより、スプリットイメージの視認性を良好にすることができる。

特開平７−１５６４８号公報（以下、「特許文献２」という）に記載の撮像装置は、マニュアルフォーカス機能を有し、光軸方向に移動可能なフォーカスレンズの移動速度を被写界深度に応じて決定する。

特開２００７−１０８５８４号公報（以下、「特許文献３」という）に記載の撮像装置は、マニュアル操作に連動してフォーカスレンズを移動させて焦点位置を調節する焦点調節機構を有する。この撮像装置は、撮像素子に対する撮影レンズのピント評価値が高い場合にはフォーカスレンズの移動速度を遅くし、ピント評価値が低い場合にはフォーカスレンズの移動速度を速くするように、焦点調節機構を制御する。

しかしながら、特許文献１〜３に記載の技術は何れも、フォーカスレンズの合焦位置への高精度な移動を迅速に行うことができない、という問題点があった。

本発明は、このような実情を鑑みて提案されたものであり、フォーカスレンズの合焦位置への高精度な移動を迅速に行うことができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の態様に係る画像処理装置は、光軸方向に沿って移動可能なフォーカスレンズを含む撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、フォーカスレンズを光軸方向に移動させる移動部と、画像取得部により取得された第１の画像の各画素と第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、合焦状態と認められる許容範囲を示す深度を規定する因子及び視差算出部により算出された視差に基づいて、フォーカスレンズの移動を指示する操作量をフォーカスレンズの移動量に変換する操作移動率である従属変数と因子及び視差に応じて定まる独立変数とを有する関数により操作移動率を決定する決定部と、決定部により決定された操作移動率と操作量とに基づいて決定する移動量に相当する量、フォーカスレンズを移動させる制御を移動部に対して行う制御部と、撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、画像を表示する表示部と、表示部に対して、生成部により生成された第１の表示用画像を表示させ、かつ、第１の表示用画像の表示領域内に、生成部により生成された第２の表示用画像を表示させる制御を行う表示制御部と、を含む。これにより、本構成を有しない場合に比べ、フォーカスレンズの合焦位置への高精度な移動を迅速に行うことができる。

上記目的を達成するために、本発明の第２の態様に係る画像処理装置は、光軸方向に沿って移動可能なフォーカスレンズを含む撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、フォーカスレンズを光軸方向に移動させる移動部と、画像取得部により取得された第１の画像の各画素と第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、合焦状態と認められる許容範囲を示す深度を規定する因子及び視差算出部により算出された視差に基づいて、フォーカスレンズの移動を指示する操作量をフォーカスレンズの移動量に変換する操作移動率である従属変数と因子及び視差に応じて定まる独立変数とを有する関数により操作移動率を決定する決定部と、決定部により決定された操作移動率と操作量とに基づいて決定する移動量に相当する量、フォーカスレンズを移動させる制御を移動部に対して行う制御部と、撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、画像を表示する表示部と、生成部により生成された第１の表示用画像の表示部による表示を抑止し、かつ、表示部に対して、生成部により生成された第２の表示用画像を表示させる制御を行う表示制御部と、を含む。これにより、本構成を有しない場合に比べ、フォーカスレンズの合焦位置への高精度な移動を迅速に行うことができる。

本発明の第３の態様は、本発明の第１の態様又は第２の態様において、因子によって決定する深度が大きいほど操作移動率を大きくするものとしてもよい。これにより、本構成を有しない場合に比べ、高精度な操作移動率を決定することができる。

本発明の第４の態様は、本発明の第１の態様から第３の態様の何れか１つにおいて、制御部は、更に、視差が所定値を超えている間、操作移動率の最大値として予め定められた値と操作量とに基づいて定めた移動量に相当する量、フォーカスレンズを移動させる制御を移動部に対して行うものとしてもよい。これにより、本構成を有しない場合に比べ、視差が所定値を超えている場合であってもフォーカスレンズの合焦位置への移動時間を短くすることができる。

本発明の第５の態様は、本発明の第４の態様において、制御部が、視差が検出不可能な状態の間、操作移動率の最大値として予め定められた値と操作量とに基づいて定めた移動量に相当する量、フォーカスレンズを移動させる制御を移動部に対して行うものとしてもよい。これにより、本構成を有しない場合に比べ、視差が検出不可能な状態であってもフォーカスレンズの合焦位置への移動時間を短くすることができる。

本発明の第６の態様は、本発明の第１の態様から第５の態様の何れか１つにおいて、因子を、フォーカスレンズの光軸上の現在位置を示す情報、絞り値、被写体距離、焦点距離及び許容錯乱円の径の少なくとも１つに基づいて定めたものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、高精度な操作移動率を決定することができる。

本発明の第７の態様は、本発明の第１の態様から第６の態様の何れか１つにおいて、撮像素子が、撮影レンズを透過した被写体像が瞳分割されずに結像されて第３の画像信号を出力する第３の画素群を更に有し、生成部が、第３の画素群から出力された第３の画像信号に基づいて第１の表示用画像を生成するものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、第１の表示用画像の画質を向上させることができる。

本発明の第８の態様は、本発明の第１の態様から第７の態様の何れか１つにおいて、操作面への接触操作を検知する検知部と、フォーカスレンズの移動を指示する移動指示期間に検知部によって検知された接触操作に基づいて操作量を決定する操作量決定部と、を更に含むものとしてもよい。これにより、本構成を有しない場合に比べ、簡素な構成で、操作量を決定することができる。

上記目的を達成するために、本発明の第９の態様に係る撮像装置は、本発明の第１の態様から第８の態様の何れか１つの画像処理装置と、第１及び第２の画素群を有する撮像素子と、撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、を含む。これにより、本構成を有しない場合に比べ、フォーカスレンズの合焦位置への高精度な移動を迅速に行うことができる。

上記目的を達成するために、本発明の第１０の態様に係る画像処理方法は、光軸方向に沿って移動可能なフォーカスレンズを含む撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された第１及び第２の画像信号に基づく第１及び第２の画像を取得し、取得した第１の画像の各画素と第２の画像の対応する画素とのずれ量を示す視差を算出し、合焦状態と認められる許容範囲を示す深度を規定する因子及び算出した視差に基づいて、フォーカスレンズの移動を指示する操作量をフォーカスレンズの移動量に変換する操作移動率である従属変数と因子及び視差に応じて定まる独立変数とを有する関数により操作移動率を決定し、フォーカスレンズを光軸方向に移動させる移動部に対して、決定した操作移動率と操作量とに基づいて決定する移動量に相当する量、フォーカスレンズを移動させる制御を行い、撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成し、画像を表示する表示部に対して、生成した第１の表示用画像を表示させ、かつ、第１の表示用画像の表示領域内に、生成した第２の表示用画像を表示させる制御を行う。これにより、本構成を有しない場合に比べ、フォーカスレンズの合焦位置への高精度な移動を迅速に行うことができる。

上記目的を達成するために、本発明の第１１の態様に係る画像処理方法は、光軸方向に沿って移動可能なフォーカスレンズを含む撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された第１及び第２の画像信号に基づく第１及び第２の画像を取得し、取得した第１の画像の各画素と第２の画像の対応する画素とのずれ量を示す視差を算出し、合焦状態と認められる許容範囲を示す深度を規定する因子及び算出した視差に基づいて、フォーカスレンズの移動を指示する操作量をフォーカスレンズの移動量に変換する操作移動率である従属変数と因子及び視差に応じて定まる独立変数とを有する関数により操作移動率を決定し、フォーカスレンズを光軸方向に移動させる移動部に対して、決定した操作移動率と操作量とに基づいて決定する移動量に相当する量、フォーカスレンズを移動させる制御を行い、撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成し、生成した第１の表示用画像の表示部による表示を抑止し、かつ、表示部に対して、生成した第２の表示用画像を表示させる制御を行う。これにより、本構成を有しない場合に比べ、フォーカスレンズの合焦位置への高精度な移動を迅速に行うことができる。

上記目的を達成するために、本発明の第１２の態様に係る画像処理プログラムは、請求項１〜請求項８の何れか１項に記載の画像処理装置における画像取得部、視差算出部、決定部、制御部、生成部及び表示制御部としてコンピュータを機能させるためのものである。これにより、本構成を有しない場合に比べ、フォーカスレンズの合焦位置への高精度な移動を迅速に行うことができる。

本発明によれば、フォーカスレンズの合焦位置への高精度な移動を迅速に行うことができる、という効果が得られる。

第１実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 図１に示す撮像装置の背面側を示す背面図である。 第１実施形態に係る撮像装置の電気系の構成の一例を示すブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子に設けられているカラーフィルタの配置の一例を示す概略配置図である。 図４に示すカラーフィルタに含まれる２×２画素のＧ画素の画素値から相関方向を判別する方法の説明に供する図である。基本配列パターンの概念を説明するための図である。 図４に示すカラーフィルタに含まれる基本配列パターンの概念を説明するための図である。 第１実施形態に係る撮像装置に含まれる撮像素子における位相差画素の配置の一例を示す概略構成図である。 第１実施形態に係る撮像装置の撮像素子に含まれる位相差画素（第１の画素及び第２の画素）の構成の一例を示す概略構成図である。 第１実施形態に係る撮像装置に含まれる画像処理部の要部機能の一例を示す機能ブロック図である。 第１実施形態に係る撮像装置に含まれるＣＰＵの要部機能の一例を示す機能ブロック図である。 第１実施形態に係る画像処理部に含まれる生成部の要部機能の一例を示す機能ブロック図である。 第１実施形態に係る撮像装置の要部機能の一例を示す機能ブロック図である。 第１実施形態に係る撮像装置に含まれる撮像素子における位相差画素を通常画素で補間する態様の一例を示す模式図である。 第１実施形態に係る撮像装置の表示部に表示されたライブビュー画像であって、ピントが合っていない状態のライブビュー画像の一例を示す画面図である。 第１実施形態に係る撮像装置の表示部に表示されたライブビュー画像であって、ピントが合っている状態のライブビュー画像の一例を示す画面図である。 第１実施形態に係る撮像装置に含まれる表示装置におけるスプリットイメージの表示領域及び通常画像の表示領域の位置の一例を示す模式図である。 第１実施形態に係る視差算出処理の流れの一例を示すフローチャートである。 比較例としてのレンズ移動制御処理の流れの一例を示すフローチャートである。 比較例としてのレンズ移動制御処理で用いられる関数の一例を示す図である。 第１実施形態に係るレンズ移動制御処理の流れの一例を示すフローチャートである。 第１実施形態に係るレンズ移動制御処理で用いられる関数の一例を示す図である。 第１実施形態に係るレンズ移動制御処理で用いられる関数の変形例（その１）を示す図である。 第１実施形態に係るレンズ移動制御処理で用いられる関数の変形例（その２）を示す図である。 第１実施形態に係るレンズ移動制御処理で用いられる関数の変形例（その３）を示す図である。 第２実施形態に係る撮像装置の電気系の構成の一例を示すブロック図である。 第２実施形態に係る移動制御処理で用いられる関数の一例を示す図である。 第２実施形態に係るレンズ移動制御処理で用いられる関数の変形例（その１）を示す図である。 第３実施形態に係るスマートフォンの外観の一例を示す斜視図である。 第３実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。 第１〜３実施形態に係るスプリットイメージの変形例であって、第１の画像及び第２の画像を奇数ラインと偶数ラインとに分けて交互に並べられて形成されたスプリットイメージの一例を示す模式図である。 第１〜３実施形態に係るスプリットイメージの変形例であって、行方向に対して傾いた斜めの分割線により分割されているスプリットイメージの一例を示す模式図である。 第１〜３実施形態に係るスプリットイメージの変形例であって、格子状の分割線で分割されたスプリットイメージの一例を示す模式図である。 第１〜３実施形態に係るスプリットイメージの変形例であって、市松模様に形成されたスプリットイメージの一例を示す模式図である。

以下、添付図面に従って本発明に係る撮像装置の実施の形態の一例について説明する。

［第１実施形態］

図１は、第１実施形態に係る撮像装置１００の外観の一例を示す斜視図であり、図２は、図１に示す撮像装置１００の背面図である。

撮像装置１００は、レンズ交換式カメラである。撮影装置１００は、カメラ本体２００と、カメラ本体２００に交換可能に装着される交換レンズ３００と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ３００は、手動操作により光軸方向に移動可能なフォーカスレンズ３０２を有する撮影レンズ１６（図３参照）を含む。レフレックスミラーが省略されたデジタルカメラである。また、カメラ本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。

交換レンズ３００は、カメラ本体２００に対して交換可能に装着される。また、交換レンズ３００の鏡筒にはフォーカスリング３０１が設けられている。フォーカスリング３０１の手動による回転操作に伴ってフォーカスレンズ３０２は光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。

カメラ本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、カメラ本体２００の前面には、ファインダー切替えレバー（ファインダー切替え部）２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、カメラ本体２００の上面には、主としてレリーズスイッチ２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。

撮影準備指示部及び撮影指示部としてのレリーズスイッチ２１１は、待機位置から中間位置（半押し位置）まで押下される状態（撮影準備指示状態）と、中間位置を超えた最終押下位置（全押し位置）まで押下される状態（撮影指示状態）と、の２段階の押圧操作が検出可能に構成されている。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

本第１実施形態に係る撮像装置１００では、レリーズボタン２１１を半押し状態にすることにより撮影条件の調整が行われ、その後、引き続き全押し状態にすると露光（撮影）が行われる。ここで言う「撮影条件」とは、例えば露出状態及び合焦状態の少なくとも１つを指す。なお、本第１実施形態に係る撮像装置１００では、露出状態及び合焦状態の調整が行われる。つまり、レリーズボタン２１１を半押し状態にすることによりＡＥ（Automatic Exposure：自動露出）機能が働いて露出状態（シャッタースピード、絞りの状態）が設定された後、ＡＦ（Auto-Focus：自動ピント）機能が働いて合焦制御される。

カメラ本体２００の背面には、ＯＶＦのファインダー接眼部２４２、表示部２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５が設けられている。

十字キー２２２は、１つ又は複数のメニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、表示部２１３の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目など所望の対象の消去や指定内容の取消し、あるいは１つ前の操作状態に戻すときなどに使用される。

表示部２１３は、例えばＬＣＤにより実現され、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、表示部２１３は、静止画撮影の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、表示部２１３は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。

図３は第１実施形態に係る撮像装置１００の電気系の構成（内部構成）の一例を示すブロック図である。

撮像装置１００は、カメラ本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６と、を含む。交換レンズ３００は、マウント２５６にマウント３４６が結合されることによりカメラ本体２００に交換可能に装着される。

交換レンズ３００は、本発明に係る移動部の一例であるスライド機構３０３及びモータ３０４を含む。スライド機構３０３は、フォーカスリング３０１の操作が行われることでフォーカスレンズ３０２を光軸Ｌ１方向に移動させる。スライド機構３０３には光軸Ｌ１方向に対してスライド可能にフォーカスレンズ３０２が取り付けられている。また、スライド機構３０３にはモータ３０４が接続されており、スライド機構３０３は、モータ３０４の動力を受けてフォーカスレンズ３０２を光軸Ｌ１方向に沿ってスライドさせる。

モータ３０４は、マウント２５６，３４６を介してカメラ本体２００に接続されており、カメラ本体２００からの命令に従って駆動が制御される。なお、本第１実施形態では、モータ３０４の一例として、ステッピングモータを適用している。従って、モータ３０４は、カメラ本体２００からの命令によりパルス電力に同期して動作する。

撮像装置１００は、撮影した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、ＣＰＵ（central processing unit：中央処理装置）１２によって制御されている。撮像装置１００は、本発明に係る決定部及び制御部の一例であるＣＰＵ１２を含む。また、撮像装置１００は、操作部１４、インタフェース部２４、メモリ２６及びエンコーダ３４を含む。また、撮像部１００は、本発明に係る表示制御部の一例である表示制御部３６Ａ，３６Ｂを含む。また、撮像部１００は、接眼検出部３７を含む。また、撮像装置１００は、本発明に係る画像取得部、視差算出部及び生成部の一例である画像処理部２８を含む。なお、以下では、表示制御部３６Ａ，３６Ｂを区別して説明する必要がない場合は「表示制御部３６」と称する。また、本第１実施形態では、画像処理部２８とは別のハードウェア構成として表示制御部３６を設けているが、これに限らず、画像処理部２８が表示制御部３６と同様の機能を有するものとしてもよく、この場合、表示制御部３６は不要となる。

ＣＰＵ１２、操作部１４、インタフェース部２４、記憶部の一例であるメモリ２６、画像処理部２８、エンコーダ３４、表示制御部３６Ａ，３６Ｂ、接眼検出部３７及び外部インタフェース（Ｉ／Ｆ）３９は、バス４０を介して相互に接続されている。なお、メモリ２６は、パラメータやプログラムなどが記憶された不揮発性の記憶領域（一例としてＥＥＰＲＯＭなど）と画像などの各種情報が一時的に記憶される揮発性の記憶領域（一例としてＳＤＲＡＭなど）とを有する。

なお、本第１実施形態に係る撮像装置１００では、ＣＰＵ１２が、撮像によって得られた画像のコントラスト値が最大となるように焦点調整モータを駆動制御することによって合焦制御を行う。また、ＣＰＵ１２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ１２は、レリーズスイッチ２１１が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタースピード及びＦ値を導出する。そして、導出したシャッタースピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。

操作部１４は、撮像装置１００に対して各種指示を与える際に操作者によって操作されるユーザインタフェースである。操作部１４によって受け付けられた各種指示は操作信号としてＣＰＵ１２に出力され、ＣＰＵ１２は、操作部１４から入力された操作信号に応じた処理を実行する。

操作部１４は、レリーズスイッチ２１１、撮影モード等を選択するフォーカスモード切替え部２１２、表示部２１３、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。また、操作部１４は、各種情報を受け付けるタッチパネルも含む。このタッチパネルは、例えば表示部２１３の表示画面に重ねられている。

カメラ本体２００は、位置検出部２３を含む。位置検出部２３は、ＣＰＵ１２に接続されている。位置検出部２３は、マウント２５６，３４６を介してフォーカスリング３０１に接続されており、フォーカスリング３０１の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ１２に出力する。ＣＰＵ１２は、位置検出部２３から入力された回転角度情報に応じた処理を実行する。

撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ３０２を含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２から加えられる読出し信号によって信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ型のイメージセンサであるが、これに限らず、ＣＣＤイメージセンサでもよい。

撮像素子２０には一例として図４に示すカラーフィルタ２１が設けられている。図４にはカラーフィルタ２１の配列の一例が模式的に示されている。なお、図４に示す例では、画素数の一例として（４８９６×３２６４）画素を採用し、アスペクト比として３：２を採用しているが、画素数及びアスペクト比はこれに限られるものではない。一例として図４に示すように、カラーフィルタ２１は、輝度信号を得るために最も寄与するＧ（緑）に対応する第１のフィルタＧ、Ｒ（赤）に対応する第２のフィルタＲ及びＢ（青）に対応する第３のフィルタＢを含む。第１のフィルタＧ（以下、Ｇフィルタと称する）、第２のフィルタＲ（以下、Ｒフィルタと称する）及び第３のフィルタＢ（以下、Ｂフィルタと称する）の配列パターンは、第１の配列パターンＡと第２の配列パターンＢとに分類される。

第１の配列パターンＡにおいて、Ｇフィルタは、３×３画素の正方配列の四隅及び中央の画素上に配置されている。第１の配列パターンＡにおいて、Ｒフィルタは、正方配列の行方向（例えば水平方向）における中央の垂直ライン上に配置されている。第１の配列パターンＡにおいて、Ｂフィルタは、正方配列の列方向（例えば垂直方向）における中央の水平ライン上に配置されている。第２の配列パターンＢは、第１の基本配列パターンＡとフィルタＧの配置が同一で且つフィルタＲの配置とフィルタＢの配置とを入れ替えたパターンである。カラーフィルタ２１は、６×６画素に対応する正方配列パターンからなる基本配列パターンＣを含む。基本配列パターンＣは、第１の配列パターンＡと第２の配列パターンＢとが点対称で配置された６×６画素のパターンであり、基本配列パターンＣが行方向及び列方向に繰り返し配置されている。すなわち、カラーフィルタ２１では、Ｒ，Ｇ，Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ及びＢフィルタ）が所定の周期性をもって配列されている。そのため、カラー撮像素子から読み出されるＲ，Ｇ，Ｂ信号の同時化（補間）処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

また、基本配列パターンＣの単位で間引き処理して画像を縮小する場合、間引き処理した縮小画像のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

カラーフィルタ２１は、輝度信号を得るために最も寄与する色(本第１実施形態では、Ｇの色)に対応するＧフィルタが、カラーフィルタ配列の行方向、列方向、及び斜め方向の各ライン内に配置されている。そのため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。

カラーフィルタ２１は、上記Ｇの色以外の２色以上の他の色（本第１実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ及びＢフィルタが、カラーフィルタ配列の行方向及び列方向の各ライン内に配置されている。そのため、色モワレ（偽色）の発生が抑制され、これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにすることができる。また、光学ローパスフィルタを適用する場合でも、偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

基本配列パターンＣは、破線の枠で囲んだ３×３画素の第１の配列パターンＡと、一点鎖線の枠で囲んだ３×３画素の第２の配列パターンＢとが、行方向、列方向に交互に並べられた配列となっていると捉えることもできる。

第１の配列パターンＡ及び第２の配列パターンＢは、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、第１の配列パターンＡは、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが列方向に配列される。一方、第２の配列パターンＢは、中央のＧフィルタを挟んでＲフィルタが行方向に配列され、Ｂフィルタが列方向に配列されている。すなわち、第１の配列パターンＡと第２の配列パターンＢとは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

また、第１の配列パターンＡと第２の配列パターンＢの４隅のＧフィルタは、第１の配列パターンＡと第２の配列パターンＢとが行方向、列方向に交互に配置されることにより、一例として図５に示すように２×２画素に対応する正方配列のＧフィルタが形成される。一例として図５に示すように取り出されたＧフィルタからなる２×２画素については、行方向のＧ画素の画素値の差分絶対値、列方向のＧ画素の画素値の差分絶対値、斜め方向（右上斜め、左上斜め）のＧ画素の画素値の差分絶対値が算出される。これにより、行方向、列方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。すなわち、行方向、列方向、及び斜め方向のうちの相関の高い方向が最小画素間隔のＧ画素の情報を使用して判別される。この判別結果は、周囲の画素から補間する処理（同時化処理）に使用することができる。

カラーフィルタ２１の基本配列パターンＣは、その基本配列パターンＣの中心（４つのＧフィルタの中心）に対して点対称に配置されている。また、基本配列パターンＣ内の第１の配列パターンＡ及び第２の配列パターンＢも、それぞれ中心のＧフィルタに対して点対称に配置されている従って、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。

一例として図６に示すように基本配列パターンＣにおいて、行方向の第１から第６のラインのうちの第１及び第３のラインのカラーフィルタ配列は、ＧＲＧＧＢＧである。第２のラインのカラーフィルタ配列は、ＢＧＢＲＧＲである。第４及び第６のラインのカラーフィルタ配列は、ＧＢＧＧＲＧである。第５のラインのカラーフィルタ配列は、ＲＧＲＢＧＢである。図６に示す例では、基本配列パターンＣ，Ｃ’，Ｃ”が示されている。基本配列パターンＣ’は基本配列パターンＣを行方向及び列方向にそれぞれ１画素ずつシフトしたパターンを示し、基本配列パターンＣ”は、基本配列パターンＣを行方向及び列方向にそれぞれ２画素ずつシフトしたパターンを示す。このように、カラーフィルタ２１は、基本配列パターンＣ’，Ｃ”を行方向及び列方向に繰り返し配置しても、同じカラーフィルタ配列となる。

撮像装置１００は、位相差ＡＦ機能を有する。撮像素子２０は、位相差ＡＦ機能を働かせた場合に用いられる複数の位相差検出用の画素を含む。複数の位相差検出用の画素は予め定めたパターンで配置されている。

図７には、カラーフィルタ２１の一部と一部の位相差検出用の画素の対応関係の一例が模式的に示されている。一例として図７に示すように、位相差検出用の画素は、行方向の左半分の画素が遮光された第１の画素Ｌ及び行方向の右半分の画素が遮光された第２の画素Ｒの何れかである。なお、以下では、第１の画素Ｌ及び第２の画素Ｒを区別して説明する必要がない場合は「位相差画素」と称する。

図８には撮像素子２０に配置されている第１の画素Ｌ及び第２の画素Ｒの一例が示されている。一例として図８に示すように、第１の画素Ｌは遮光部材２０Ａを有し、第２の画素Ｒは遮光部材２０Ｂを有する。遮光部材２０Ａは、フォトダイオードＰＤの前面側（マイクロレンズＬ側）に設けられており、受光面の左半分を遮光する。一方、遮光部材２０Ｂは、フォトダイオードＰＤの前面側に設けられており、受光面の右半分を遮光する。

マイクロレンズＬ及び遮光部材２０Ａ，２０Ｂは瞳分割部として機能し、第１の画素Ｌは、撮影レンズ１６の射出瞳を通過する光束の光軸の左側のみを受光し、第２の画素Ｒは、撮影レンズ１６の射出瞳を通過する光束の光軸の右側のみを受光する。このように、射出瞳を通過する光束は、瞳分割部であるマイクロレンズＬ及び遮光部材２０Ａ，２０Ｂにより左右に分割され、それぞれ第１の画素Ｌおよび第２の画素Ｒに入射する。

また、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、ピントが合っている（合焦状態である）部分は、撮像素子２０上の同じ位置に結像する。これに対し、前ピン又は後ピンの部分は、それぞれ撮像素子２０上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と右半分の光束に対応する被写体像とは、視差が異なる視差画像（左目画像、右目画像）として取得することができる。

撮像装置１００は、位相差ＡＦ機能を働かせることにより、第１の画素Ｌの画素値と第２の画素Ｒの画素値とに基づいて位相のずれ量を検出する。そして、検出した位相のずれ量に基づいて撮影レンズの焦点位置を調整する。なお、以下では、遮光部材２０Ａ，２０Ｂを区別して説明する必要がない場合は符号を付さずに「遮光部材」と称する。

撮像素子２０は、第１の画素群、第２の画素群及び第３の画素群に分類される。第１の画素群とは、例えば複数の第１の画素Ｌを指す。第２の画素群とは、例えば複数の第２の画素Ｒを指す。第３の画素群とは、例えば複数の通常画素（第３の画素の一例）を指す。ここで言う「通常画素」とは、例えば位相差画素以外の画素（例えば遮光部材を有しない画素）を指す。なお、以下では、第１の画素群から出力されるＲＡＷ画像を「第１の画像」と称し、第２の画素群から出力されるＲＡＷ画像を「第２の画像」と称し、第３の画素群から出力されるＲＡＷ画像を「第３の画像」と称する。

第１及び第２の画素群に含まれる各画素は、第１の画素群と第２の画素群との間で行方向についての位置が１画素内で揃う位置に配置されている。また、第１及び第２の画素群に含まれる各画素は、第１の画素群と第２の画素群との間で列方向についての位置も１画素内で揃う位置に配置されている。図７に示す例では、行方向及び列方向の各々について直線状に１の画素Ｌと第２の画素Ｒとが複数画素分の間隔を空けて交互に配置されている。

図７に示す例では、第１及び第２の画素群に含まれる各画素の位置を行方向及び列方向の各々について１画素内で揃う位置としているが、行方向及び列方向の少なくとも一方について所定画素数内（例えば２画素以内）に収まる位置としてもよい。なお、ピントずれ以外の要因で画像ずれが発生するのを最大限に抑制するためには、一例として図７に示すように第１及び第２の画素群に含まれる各画素の位置を行方向及び列方向の各々について１画素内で揃う位置とすることが好ましい。

位相差画素は、一例として図７に示すように、２×２画素に対応する正方配列のＧフィルタの画素に対して設けられている。すなわち、図７に示す例では、２×２画素のＧフィルタの図中正面視右上角の画素が位相差画素に対して割り当てられている。また、位相差画素間には通常画素が配置されており、２×２画素のＧフィルタの残りの画素が通常画素に対して割り当てられる。また、図７に示す例では、行方向に第１の画素Ｌと第２の画素Ｒとが交互に配置された位相差画素の行は２行単位で一組とされており、各組が列方向に所定画素数（図７に示す例では８画素）分の間隔を空けて配置されている。

このように、カラーフィルタ２１では、２×２画素のＧフィルタの右上角部の画素に対して遮光部材が設けられており、列方向及び行方向ともに複数画素分の間隔を空けて位相差画素が規則的に配置されている。このため、位相差画素の周囲に通常画素が比較的多く配置されるので、通常画素の画素値から位相差画素の画素値を補間する場合における補間精度を向上させることができる。しかも、位相差画素間で補間に利用する通常画素が重複しないように第１〜第３の画素群に含まれる各画素が配置されているので、補間精度のより一層の向上が期待できる。

図３に戻って、撮像素子２０は、第１の画素群から第１の画像（各第１の画素Ｌの画素値を示すデジタル信号）を出力し、第２の画素群から第２の画像（各第２の画素Ｒの画素値を示すデジタル信号）を出力する。また、撮像素子２０は、第３の画素群から第３の画像（各通常画素の画素値を示すデジタル信号）を出力する。なお、第３の画素群から出力される第３の画像は有彩色の画像であり、例えば通常画素の配列と同じカラー配列のカラー画像である。撮像素子２０から出力された第１の画像、第２の画像及び第３の画像は、インタフェース部２４を介してメモリ２６における揮発性の記憶領域に一時記憶される。

図９には、画像処理部２８に含まれる複数の機能のうち本発明に関連する要部機能の一例が示されている。図９に示すように、画像処理部２８は、画像取得部２８Ａ、視差算出部２８Ｂ、及び生成部２８Ｃを含み、画像処理に係る複数の機能の回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。但し、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスや、ＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であっても良い。

画像取得部２８Ａは、撮像素子２０から出力された第１の画像及び第２の画像を取得する。視差算出部２８Ｂは、画像取得部２８Ａにより取得された第１の画像の各画素と第２の画像の対応する画素とのずれ量を示す視差を算出する。生成部２８Ｃは、撮像素子２０から出力された第３の画像に基づいて第１の表示用画像を生成し、かつ、画像取得部２８Ａにより取得された第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する。

図１０には、ＣＰＵ１２に含まれる複数の機能のうち本発明に関連する要部機能の一例が示されている。図１０に示すように、ＣＰＵ１２は、決定部１２Ａ及び制御部１２Ｂを含む。なお、本第１実施形態では、後述のレンズ移動制御処理プログラムを実行することにより本発明に係る決定部及び制御部として動作する決定部１２Ａ及び制御部１２Ｂを実現しているが、本発明はこれに限定されるものではない。例えば、ＡＳＩＣやプログラマブルロジックデバイスによって決定部１２Ａ及び制御部１２Ｂが実現されてもよい。

決定部１２Ａは、合焦状態と認められる許容範囲を示す深度を規定する因子（以下、単に「因子」という）及び視差算出部２８Ｂにより算出された視差に基づいて、操作移動率を決定する。ここで言う「操作移動率」とは、フォーカスレンズ３０２の移動を指示する操作量（一例として回転量）をフォーカスレンズ３０２の移動量に変換する係数であって変換後のフォーカスレンズ３０２の移動量を視差の減少に応じて小さくする係数を指す。また、ここで言う「フォーカスレンズ３０２の移動量」とは、例えばフォーカスレンズ３０２の光軸Ｌ１方向の移動量を指す。また、本第１実施形態において、「視差の減少」とは、換言すると、視差の符号（プラス又はマイナス）に拘らず視差の値（例えば視差の絶対値）が小さくなることを指す。なお、本第１実施形態では、上記の「深度」として、被写界深度を適用しているが、これに限らず、焦点深度であってもよい。また、本第１実施形態では、上記の「因子」の一例として、フォーカスレンズ３０２の光軸Ｌ１上の位置を示す情報（例えばスライド機構３０３におけるスライド可能範囲内での現在位置を特定可能な位置情報（例えば一次元又は二次元座標））を適用している。

制御部１２Ｂは、決定部１２Ａにより決定された操作移動率とフォーカスレンズ３０２の移動を指示する操作量（以下、単に「操作量」という）とに基づいて決定する移動量に相当する量、フォーカスレンズ３０２を移動させる制御をモータ３０４に対して行う。ここで言う「操作移動率と操作量とに基づいて決定する移動量に相当する量」としては、例えば操作移動率と操作量との積が挙げられるが、本発明はこれに限定されるものではない。例えば、操作移動率と操作量との積を所定の演算式に代入して得た値であってもよい。ここで言う「所定の演算式」とは、例えばスライド機構３０３やモータ３０４等の製造誤差を低減させる演算式や、操作移動率と操作量との積に対して単に所定の値（例えば誤差補正用の係数）を加算、減算、乗算又は除算する演算式などを指す。

本第１実施形態に係るモータ３０４は、駆動パルス数に応じて駆動量が定まるので、制御部１２Ｂは、操作移動率と操作量とに基づいて定めた移動量に相当する量を示す駆動パルス数を決定し、決定した駆動パルス数によりモータ３０４を駆動させる。これにより、フォーカスレンズ３０２は、モータ３０４の駆動量に応じた移動量、光軸Ｌ１方向に移動する。

図１１には、生成部２８Ｃに含まれる機能の一例が示されている。図１１に示すように、生成部２８Ｃは、通常処理部３０及びスプリットイメージ処理部３２を含む。通常処理部３０は、第３の画素群に対応するＲ，Ｇ，Ｂ信号を処理することで第１の表示用画像の一例である有彩色の通常画像を生成する。また、スプリットイメージ処理部３２は、第１の画素群及び第２の画素群に対応するＧ信号を処理することで第２の表示用画像の一例である無彩色のスプリットイメージを生成する。

図３に戻って、エンコーダ３４は、入力された信号を別の形式の信号に変換して出力する。ハイブリッドファインダー２２０は、電子像を表示するＬＣＤ２４７を有する。ＬＣＤ２４７における所定方向の画素数（一例として視差発生方向である行方向の画素数）は、表示部２１３における同方向の画素数よりも少ない。表示制御部３６Ａは表示部２１３に、表示制御分３６ＢはＬＣＤ２４７に各々接続されており、ＬＣＤ２４７及び表示部２１３が選択的に制御されることによりＬＣＤ２４７又は表示部２１３により画像が表示される。なお、以下では、表示部２１３及びＬＣＤ２４７を区別して説明する必要がない場合は「表示装置」と称する。

なお、本第１実施形態に係る撮像装置１００は、ダイヤル２１２（フォーカスモード切替え部）によりマニュアルフォーカスモードとオートフォーカスモードとを切り替え可能に構成されている。何れかのフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。また、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された第１の画像と第２の画素群から出力された第２の画像との位相差を検出する。自動焦点調整部は、検出された位相差に基づいてフォーカスレンズ３０２のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してモータ３０４を制御し、フォーカスレンズ３０２を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第１の画像及び第２の画像の位相ずれ量を指す。

接眼検出部３７は、人（例えば撮影者）がファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。

外部Ｉ／Ｆ３９は、ＬＡＮ（Local Area Network）やインターネットなどの通信網に接続され、通信網を介して、外部装置（例えばプリンタ）とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像やライブビュー画像をディスプレイに出力して表示させることができる。

図１２は第１実施形態に係る撮像装置１００の要部機能の一例を示す機能ブロック図である。なお、図３に示すブロック図と共通する部分には同一の符号が付されている。

通常処理部３０及びスプリットイメージ処理部３２は、それぞれＷＢゲイン部、ガンマ補正部及び同時化処理部を有し（図示省略）、メモリ２６に一時記憶された元のデジタル信号（ＲＡＷ画像）に対して各処理部で順次信号処理を行う。すなわち、ＷＢゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整することによりホワイトバランス（ＷＢ）を実行する。ガンマ補正部は、ＷＢゲイン部でＷＢが実行された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。同時化処理部は、撮像素子２０のカラーフィルタの配列に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。なお、通常処理部３０及びスプリットイメージ処理部３２は、撮像素子２０により１画面分のＲＡＷ画像が取得される毎に、そのＲＡＷ画像に対して並列に画像処理を行う。

通常処理部３０は、インタフェース部２４からＲ，Ｇ，ＢのＲＡＷ画像が入力され、第３の画素群のＲ，Ｇ，Ｂ画素を、一例として図１３に示すように、第１の画素群及び第２の画素群のうちの同色の周辺画素（例えば隣接するＧ画素）により補間して生成する。これにより、第３の画素群から出力された第３の画像に基づいて記録用の通常画像を生成することができる。

また、通常処理部３０は、生成した記録用の通常画像の画像データをエンコーダ３４に出力する。通常処理部３０により処理されたＲ，Ｇ，Ｂ信号は、エンコーダ３４により記録用の信号に変換（エンコーディング）され、記録部４０に記録される。また、通常処理部３０により処理された第３の画像に基づく画像である表示用の通常画像は、表示制御部３６に出力される。なお、以下では、説明の便宜上、上記の「記録用の通常画像」及び「表示用の通常画像」を区別して説明する必要がない場合は「記録用の」との文言及び「表示用の」との文言を省略して「通常画像」と称する。

撮像素子２０は、第１の画素群及び第２の画素群の各々の露出条件（一例として電子シャッタによるシャッタ速度）を変えることができ、これにより露出条件の異なる画像を同時に取得することができる。従って、画像処理部２８は、露出条件の異なる画像に基づいて広ダイナミックレンジの画像を生成することができる。また、同じ露出条件で複数の画像を同時に取得することができ、これら画像を加算することによりノイズの少ない高感度の画像を生成し、あるいは高解像度の画像を生成することができる。

一方、スプリットイメージ処理部３２は、メモリ２６に一旦記憶されたＲＡＷ画像から第１の画素群及び第２の画素群のＧ信号を抽出し、第１の画素群及び第２の画素群のＧ信号に基づいて無彩色のスプリットイメージを生成する。ＲＡＷ画像から抽出される第１の画素群及び第２の画素群の各々は、上述したようにＧフィルタの画素による画素群である。そのため、スプリットイメージ処理部３２は、第１の画素群及び第２の画素群のＧ信号に基づいて、無彩色の左の視差画像及び無彩色の右の視差画像を生成することができる。なお、以下では、説明の便宜上、上記の「無彩色の左の視差画像」を「左目画像」と称し、上記の「無彩色の右の視差画像」を「右目画像」と称する。

スプリットイメージ処理部３２は、第１の画素群から出力された第１の画像に基づく左目画像と、第２の画素群から出力された第２の画像に基づく右目画像とを合成することによりスプリットイメージを生成する。生成したスプリットイメージの画像データは表示制御部３６に出力される。

表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データと、スプリットイメージ処理部３２から入力された第１、第２の画素群に対応するスプリットイメージの画像データとに基づいて表示用の画像データを生成する。例えば、表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データにより示される通常画像の表示領域内に、スプリットイメージ処理部３２から入力された画像データにより示されるスプリットイメージを合成する。そして、合成して得た画像データを表示装置に出力する。すなわち、表示制御部３６Ａは画像データを表示部２１３に出力し、表示制御部３６Ｂは画像データをＬＣＤ２４７に出力する。

スプリットイメージ処理部３２により生成されるスプリットイメージは、左目画像の一部と右目画像の一部とを合成した複数分割の画像である。ここで言う「複数分割の画像」としては、例えば図１４Ａ，図１４Ｂに示すスプリットイメージが挙げられる。図１４に示すスプリットイメージは、左目画像のうちの上半分の画像と右目画像のうちの下半分の画像とを合成した画像であって、上下方向に２分割された画像間が合焦状態に応じて所定方向（例えば視差発生方向）にずれた画像である。なお、スプリットイメージの態様は図１４Ａ，図１４Ｂに示す例に限定されるものではなく、表示部２１３の所定領域の位置に対応する位置の左目画像の一部と右目画像の一部とを合成した画像であってもよい。この場合、例えば上下方向に４分割された画像間が合焦状態に応じて所定方向（例えば視差発生方向）にずれる。

通常画像にスプリットイメージを合成する方法は、通常画像の一部の画像に代えて、スプリットイメージを嵌め込む合成方法に限定されない。例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮影している被写体像を示すライブビュー画像が表示装置の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。

ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、ＬＣＤ２４７、プリズム２４５及び接眼レンズ２４６を有する。

また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。

プリズム２４５は、ＬＣＤ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導き、かつ、光学像とＬＣＤ２４７に表示される情報（電子像、各種の情報）とを合成する。

ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

表示制御部３６Ｂは、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、ＬＣＤ２４７には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。

一方、表示制御部３６Ｂは、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、接眼部からＬＣＤ２４７に表示される電子像のみが視認できるようにする。なお、ＬＣＤ２４７には、表示部２１３に出力されるスプリットイメージが合成された画像データと同等の画像データが入力され、これにより、表示部２１３と同様に通常画像の一部にスプリットイメージが合成された電子像を表示させることができる。

図１５には表示装置における通常画像及びスプリットイメージの各々の表示領域の一例が示されている。一例として図１５に示すように、スプリットイメージは表示装置の画面中央部の矩形枠内に表示され、スプリットイメージの外周領域に通常画像が表示される。なお、図１５に示す矩形枠を表す縁の線は実際には表示されないが、図１５では説明の便宜上示されている。

次に本第１実施形態の作用として、第１〜第３の画像が入力される毎に画像処理部２８で行われる視差算出処理について、図１６を参照して説明する。なお、ここでは、視差算出処理が画像処理部２８で行われる場合を例示するが、本発明はこれに限定されるものではなく、例えばＣＰＵ１２が視差算出理プログラムを実行することにより撮像装置１００で視差算出処理が行われるものとしてもよい。

図１６において、ステップ４００では、入力された第３の画像に基づく通常画像が生成部２８Ｃにより生成されて所定の記憶領域（例えばメモリ２６）及び表示制御部３６に出力される。

次のステップ４０２では、先ず、画像取得部２８Ｂにより、第１及び第２の画像が取得される。そして、生成部２８Ｃにより、第１及び第２の画像に基づく左目画像及び右目画像が生成され、生成された左目画像及び右目画像に基づいてスプリットイメージが生成されて表示制御部３６に出力される。表示制御部３６は、上記ステップ４００で出力された通常画像及び上記ステップ４０２で出力されたスプリットイメージが入力されると、表示装置に対して通常画像を表示させ、かつ、通常画像の表示領域内にスプリットイメージを表示させる制御を行う。

このように上記ステップ４００，４０２が生成部２８Ｃにより行われると、一例として図１４Ａ及び図１４Ｂに示すように表示部２１３やハイブリッドファインダー２２０にライブビュー画像が表示される。図１４Ａ及び図１４Ｂに示す例では、一例として図１５に示すスプリットイメージの表示領域に相当する枠６０の内側領域にスプリットイメージが表示されており、通常画像の表示領域に相当する枠６０の外側領域に通常画像が表示されている。

すなわち、第１及び第２の画素群は、枠６０のサイズに対応して設けられている。スプリットイメージは、第１の画素群から出力された第１の画像に対応する左目画像おける枠６０の上半分６０Ａの画像（視差画像）と、第２の画素群から出力された第２の画像に対応する右目画像における枠６０の下半分６０Ｂの画像（視差画像）とに大別される。

ここで、枠６０内の画像に対応する被写体に対して、撮影レンズ１６のピントが合っていない場合は、図１４Ａに示すようにスプリットイメージの上半分６０Ａの視差画像と、下半分６０Ｂの視差画像との境界の画像が視差発生方向（一例として行方向）にずれる。また、通常画像とスプリットイメージとの境界の画像も視差発生方向にずれる。これは、位相差が生じていることを表しており、撮影者はスプリットイメージを通して視覚的に位相差が生じていること及び視差発生方向を認識することができる。

一方、枠６０内の画像に対応する被写体に対して、撮影レンズ１６のピントが合っている場合は、図１４Ｂに示すようにスプリットイメージの上半分６０Ａの視差画像と、下半分６０Ｂの視差画像との境界の画像が一致する。また、通常画像とスプリットイメージとの境界の画像も一致する。これは、位相差が生じていないことを表しており、撮影者はスプリットイメージを通して視覚的に位相差が生じていないことを認識することができる。

このように、撮影者は、表示装置に表示されるスプリットイメージにより撮影レンズ１６の合焦状態を確認することができる。また、マニュアルフォーカスモード時には、フォーカスリング３０１を手動操作することによりピントのずれ量（デフォーカス量）をゼロにすることができる。また、通常画像とスプリットイメージとをそれぞれ色ずれのないカラー画像で表示することができ、撮影者の手動によるフォーカス調整をカラーのスプリットイメージで支援することができる。

次のステップ４０３では、視差算出部２８Ｂにより、視差算出条件を満足したか否かが判定される。視差算出条件としては、例えば視差算出周期が到来したとの条件が挙げられる。なお、本第１実施形態では、視差算出周期として、上記ステップ４０２でスプリットイメージが出力される毎の時間間隔（例えば毎フレームの時間間隔）を採用しているが、これに限定されるものではない。例えば、視差算出周期として複数フレーム毎（例えば２フレーム毎）の時間間隔を採用してもよいし、撮影モードが設定されてから所定の時間間隔（例えば１秒）を採用してもよい。また、視差算出条件は、視差算出周期が到来したとの条件に限定されるものではなく、例えば、ユーザから操作部１４を介して所定指示が入力されたとの条件や、所定の被写体（例えば人間の顔）が検出されたとの条件が挙げられる。本ステップ４０３において視差算出条件を満足していない場合は判定が否定されて本視差算出処理を終了する。本ステップ４０３において視差算出条件を満足した場合は判定が肯定されてステップ４０４へ移行する。

次のステップ４０４では、視差算出部２８Ｂにより、上記ステップ４０２で生成されたスプリットイメージのうちの視差算出対象の画素（注目画素（ｉ，ｊ））が設定される。

次のステップ４０６では、視差算出部２８Ｂにより、ステップ４０４で設定された注目画素（ｉ，ｊ）を基準にした画素群であって所定のブロックサイズ［Ｃｘ×Ｃｙ］［pixel］の画素群が抽出される。

次のステップ４１０では、視差算出部２８Ｂにより、上記ステップ４０６で抽出された左目画像の各画素に対する上記ステップ４０６で抽出された右目画像の対応する画素のずれ量を示す視差が算出される。なお、本ステップ４１０では、視差算出部２８Ｂが、顔認証や主要被写体の判別（オブジェクト認識）等で選ばれたＡＦエリアのスプリットイメージを使用して視差を算出してもよい。この場合、上記ステップ４０４にて、視差算出部２８Ｂが、オブジェクト認識で選ばれたＡＦエリアを対象にして注目画素（ｉ，ｊ）を設定すればよい。

ステップ４１０において、画像処理部２８は、例えば、先ず上記ステップ４０６で抽出した左目画像の画素群を元に、右目画像内から特徴点が一致する画素群を探索する。すなわち、左目画像から抽出した画素群（ブロック）と、右目画像のうちの左目画像から抽出した画素群（ブロック）に対応する右目画像内のブロックとの一致度を評価する。そして、ブロック間の一致度が最大となるときの右目画像のブロックの基準の画素を、左目画像の注目画素に対応する右目画像の対応点の画素とする。本第１実施形態では、ブロックマッチング法を用いてブロック間の一致度を評価しており、一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するもの（ＳＳＤブロックマッチング法）がある。

ＳＳＤブロックマッチング法では、比較対象とされる両画像のブロック内の各画素ｆ（ｉ，ｊ），ｇ（ｉ，ｊ）について、次式の演算を行う。

上記［数１］式の演算を、右目画像上でブロックの位置を所定の探索領域内で移動させながら行い、ＳＳＤ値が最小となるときの探索領域内の位置の画素を探索対象の画素とする。そして、左目画像上の注目画素と、探索した対応する右目画像上の画素との画素間のずれ量を示す視差を算出する。

次のステップ４１２では、視差算出部２８Ｂにより、上記ステップ４１０で算出された視差がメモリ２６の所定の記憶領域に記憶され、その後、本視差算出処理を終了する。なお、上記ステップ４１２において、メモリ２６の所定の記憶領域に既に視差が記憶されている場合は本ステップ４１２が行われる度に最新の視差がメモリ２６の所定の記憶領域に上書きされることで視差が更新される。

次に、本発明の要部作用の説明に先立ち、前提となる基本構成の作用である比較例としてのレンズ移動制御処理について説明する。図１７には、実行開始条件を満足した際にＣＰＵ１２によって実行されるレンズ移動制御処理プログラムの処理の流れの一例が示されている。なお、ここで言う「実行開始条件」とは、上記ステップ４１２の処理が行われることでメモリ２６の所定の記憶領域に新たな視差が記憶された、との条件を指す。

先ず、ステップ４５２では、ＣＰＵ１２により、メモリ２６の所定の記憶領域に記憶されている視差に基づいて操作移動率が決定される。なお、本第１実施形態では、操作移動率を下記の数式（１）に示す関数を含む関数（一例として図１８に示す関数Ｇ）で規定しているが、本発明はこれに限定されるものではない。例えば、図１８に示す関数Ｇの独立変数（視差）を入力とし、関数Ｇの従属変数を出力（操作移動率）とするＬＵＴ（ルックアップテーブル）を適用してもよい。

次のステップ４５４では、ＣＰＵ１２により、上記ステップ４５２で決定された操作移動率及び操作量に基づいて定まる移動量に相当する量、フォーカスレンズ３０２を移動させる制御をモータ３０４に対して行い、その後、本レンズ移動制御処理を終了する。

図１８には、上記ステップ４５２が行われることでＣＰＵ１２により決定される操作移動率を規定する関数Ｇの一例が示されている。図１８に示すように、関数Ｇは、各々線形関数である関数ｇ１〜ｇ４を有する。数式（１）は、関数ｇ１及び関数ｇ３を示している。数式（１）は、αを傾きとし、視差Ｄ（視差の絶対値）を独立変数とし、操作移動率Ｖを従属変数とし、Ｖｍｉｎを操作移動率Ｖの最小値である切片とする一次関数を示す。また、ここでは、錯綜を回避するために、切片Ｖｍｉｎとして固定値を採用しているが、諸条件によって変化する可変値であってもよい。

Ｖ＝α×｜Ｄ｜＋Ｖｍｉｎ・・・・・・（１）

傾きαは、メモリ２６の所定の記憶領域に記憶されている視差によって一意に定まる係数であり、視差Ｄを操作移動率Ｖの単位に変換する係数を示す。また、傾きαにより示される関数ｇ１，ｇ３の勾配は、メモリ２６の所定の記憶領域に記憶されている視差の絶対値の増加に従って緩やかになる。つまり、傾きαの絶対値は、メモリ２６の所定の記憶領域に記憶されている視差の絶対値の増加に従って小さくなる、という特性を有している。

更に、関数ｇ１の傾きは正の値であり、関数ｇ３の傾きは負の値であり、いずれも視差Ｄの絶対値が小さいほど操作移動率Ｖを小さくする、という特性を有している。なお、関数ｇ１及び関数ｇ３は、（０，Ｖｍｉｎ）の位置の変曲点ａ１を介して連続している。

以上の特性を有する傾きαは、例えばＣＰＵ１２によりメモリ２６の所定の記憶領域に記憶されている視差に基づいて決定され、決定された傾きα及び予め定められた切片Ｖｍｉｎにより、関数ｇ１，ｇ３が決定される。

関数ｇ２は、変曲点ｂ１を介して関数ｇ１に連続する関数であり、関数ｇ４は、変曲点ｃ１を介して関数ｇ３に連続する関数である。操作移動率Ｖの最大値は予め定められているので、変曲点ｂ１，ｃ１は、傾きαが定まることによって一意に定まる。変曲点ｂ１，ｃ１が定まることによって、関数ｇ２，ｇ４の視差Ｄの範囲（最大値Ｖｓｔが適用される視差Ｄの範囲）も定まる。すなわち、傾きαが緩やかなほど関数ｇ２，ｇ４について最大値Ｖｓｔが適用される視差Ｄの範囲が拡がる。

ところで、図１８に示す関数Ｇに含まれる関数ｇ１，ｇ３の傾きαは、メモリ２６の所定の記憶領域に記憶されている視差が大きいほど軽勾配を示す値になる。これは、視差が大きいほどフォーカスレンズ３０２の位置は合焦位置から遠い可能性が高いという推測を前提にして傾きαが定められているからである。しかし、視差のみに頼って傾きαを決定すると、操作移動率Ｖを小さくする必要がない位置にフォーカスレンズ３０２があるにも拘らず操作移動率Ｖが小さくされてしまう場合がある。つまり、被写界深度が操作移動率Ｖを小さくする必要がない被写界深度であるにも拘らず操作移動率Ｖが小さくされてしまう場合がある。被写界深度が操作移動率Ｖを小さくする必要がない被写界深度であるにも拘らず操作移動率Ｖが小さくされてしまうとは、例えば傾きαが必要以上に軽勾配であるがゆえに視差を“０”に合わせ込むのに不必要に時間を要してしまうということである。視差を“０”に合わせ込むのに不必要に時間を要してしまうということは、フォーカスレンズ３０２をもっと速く移動させる必要があるということを意味する。

また、視差のみに頼って傾きαを決定すると、操作移動率Ｖを大きくする必要がない位置にフォーカスレンズ３０２があるにも拘らず操作移動率Ｖが大きくされてしまう場合がある。つまり、被写界深度が操作移動率Ｖを大きくする必要がない被写界深度であるにも拘らず操作移動率Ｖが大きくされてしまう場合がある。被写界深度が操作移動率Ｖを大きくする必要がない被写界深度であるにも拘らず操作移動率Ｖが大きくされてしまうとは、例えば傾きαが必要以上に急勾配であるがゆえに視差を“０”に合わせ込むのに時間が不足してしまうということである。視差を“０”に合わせ込むのに時間が不足してしまうということは、フォーカスレンズ３０２をもっとゆっくり移動させる必要があるということを意味する。

このように、ＣＰＵ１２により図１８に示す関数Ｇにより操作移動率Ｖが規定されると、フォーカスレンズ３０２の現在位置に見合わない変曲点ｂ１，ｃ１が決定されてしまう場合がある。そこで、本第１実施形態に係る撮像装置１００では、図１９に示すレンズ移動制御処理が実行される。

次に本第１実施形態の作用として、上述した実行開始条件を満足した際にＣＰＵ１２が本第１実施形態に係るレンズ移動処理プログラムを実行することで撮像装置１００によって行われるレンズ移動処理について、図１９を参照して説明する。

先ず、ステップ５０２では、決定部１２Ａにより、因子が取得される。次のステップ５０４では、決定部１２Ａにより、メモリ２６の所定の記憶領域に記憶されている視差及び上記ステップ５０２で取得された因子に基づいて（例えば図２０に示す関数Ｐに基づいて）操作移動率が決定される。なお、本第１実施形態では、操作移動率を下記の数式（２）に示す関数を含む関数（一例として図２０に示す関数Ｐ）で規定しているが、本発明はこれに限定されるものではない。例えば、図２０に示す関数Ｐの独立変数（視差）を入力とし、関数Ｐの従属変数を出力（操作移動率）とするＬＵＴを適用してもよい。

次のステップ５０６では、制御部１２Ｂにより、上記ステップ５０４で決定された操作移動率及び操作量に基づいて定まる移動量に相当する量、フォーカスレンズ３０２を移動させる制御をモータ３０４に対して行い、その後、本レンズ移動制御処理を終了する。

図２０には、上記ステップ５０２が行われることで決定部１２Ａにより決定される操作移動率を規定する関数Ｐの一例が示されている。図２０に示すように、関数Ｐは、各々線形関数である関数ｐ１〜ｐ４により規定される。数式（２）は、関数ｐ１及び関数ｐ３を示している。数式（２）は、αを傾きとし、因子β及び視差Ｄを考慮した関数により定まるｆ（β，Ｄ）を独立変数とし、操作移動率Ｖを従属変数とし、Ｖｍｉｎを操作移動率Ｖの最小値である切片とする一次関数を示す。また、ここでは、錯綜を回避するために、独立変数ｆ（β，Ｄ）の一例として、因子β及び視差Ｄを独立変数として有し、因子β及び視差Ｄが大きくなるほど値が大きくなる従属変数を有する関数の従属変数を採用している。ここでは、錯綜を回避するために、切片Ｖｍｉｎとして固定値を採用しているが、諸条件（例えば視差Ｄ及び因子β）によって変化する可変値であってもよい。

Ｖ＝α×ｆ（β，Ｄ）＋Ｖｍｉｎ・・・・・・（２）

傾きαは、メモリ２６の所定の記憶領域に記憶されている視差及びステップ５０２で取得された因子によって一意に定まる係数であり、独立変数ｆ（β，Ｄ）を操作移動率Ｖの単位に変換する係数を示す。

また、傾きαにより示される関数ｐ１，ｐ３の勾配は、因子βの増大に従って緩やかになる。つまり、傾きαの絶対値は、因子βの増大に従って小さくなる（因子βが大きいほど傾きαが軽勾配になる）、という特性を有している。ここで言う「因子βの増大」とは、例えばフォーカスレンズ３０２の光軸Ｌ１上の現在位置が所定位置（例えば合焦位置）から遠くなることを指すが、本発明はこれに限定されるものではない。例えば、値が大きくなるほど被写界深度が深いことを表す因子の値が大きくなることを「因子βの増大」としてもよい。なお、本第１実施形態では、傾きαにより示される関数ｐ１，ｐ３の勾配が、因子βの増大に従って緩やかになるという特性を有する場合を例示しているが、本発明はこれに限定されるものではない。例えば、傾きαにより示される関数ｐ１，ｐ３の勾配は、独立変数ｆ（β，Ｄ）の増加に従って緩やかになるという特性を有していてもよい。つまり、傾きαは、メモリ２６の所定の記憶領域に記憶されている視差を視差Ｄとして含む独立変数ｆ（β，Ｄ）（例えば独立変数ｆ（β，Ｄ）の絶対値）が大きいほど絶対値が小さくなるという特性を有していてもよい。

また、関数ｐ１の傾きは正の値であり、関数ｐ３の傾きは負の値であり、いずれも独立変数ｆ（β，Ｄ）が小さいほど（例えば独立変数ｆ（β，Ｄ）の絶対値が小さいほど）操作移動率Ｖを小さくする、という特性を有している。なお、関数ｐ１及び関数ｐ３は、（０，Ｖｍｉｎ）の位置の変曲点ａ２を介して連続している。

以上の特性を有する傾きαは、例えば決定部１２Ａにより独立変数ｆ（β，Ｄ）に基づいて決定され、決定された傾きα及び予め定められた切片Ｖｍｉｎにより、関数ｐ１，ｐ３が決定される。

関数ｐ１，ｐ３は、視差Ｄの絶対値が所定値以下（例えば図２０に示す横軸の独立変数ｆ（β，Ｄ）における“０”を中心とする所定範囲内）で用いられる関数であるのに対し、関数ｐ２，ｐ４は、視差Ｄが所定値を超える範囲で用いられる関数である。すなわち、関数ｐ２は、関数ｐ１と共にプラス側の独立変数ｆ（β，Ｄ）で用いられ、変曲点ｂ２を介して関数ｐ１に連続している。関数ｐ４は、関数ｐ３と共にマイナス側の独立変数ｆ（β，Ｄ）で用いられ、変曲点ｃ２を介して関数ｐ３に連続している。本第１実施形態では操作移動率Ｖの最大値は予め定められているので、変曲点ｂ２，ｃ２は、傾きαが定まることによって一意に定まる。変曲点ｂ２，ｃ２が定まることによって、関数ｐ２，ｐ４の独立変数ｆ（β，Ｄ）の範囲（最大値Ｖｓｔが適用される独立変数ｆ（β，Ｄ）の範囲）も定まる。関数ｐ２，ｐ４について最大値Ｖｓｔが適用される独立変数ｆ（β，Ｄ）の範囲は、傾きαが緩やかなほど（傾きαの絶対値が小さいほど）拡がる。

以上に説明したように、本第１実施形態に係る撮像装置１００では、操作移動率Ｖが、視差Ｄ及び因子βに基づいて決定され、決定された操作移動率Ｖと操作量とに基づいて定めた移動量に相当する量、フォーカスレンズ３０２を移動させる制御が行われる。そのため、本第１実施形態に係る撮像装置１００は、本構成を有しない場合（例えば視差のみに頼って操作移動率Ｖを決定する場合）に比べ、フォーカスレンズ３０２の合焦位置への高精度な移動を迅速に行うことができる。

また、本第１実施形態では、制御部１２Ｂが、視差Ｄが所定値を超えている間、関数ｐ２，ｐ４により規定される操作移動率Ｖの最大値Ｖｓｔと操作量とに基づいて定めた移動量に相当する量、フォーカスレンズ３０２を移動させる制御を行う。ここで言う「視差Ｄが所定値を超えている」状態とは、図２０に示す例では視差Ｄの絶対値が変曲点ｂ２又は変曲点ｃ２を示す独立変数ｆ（β，Ｄ）に含まれる視差Ｄの絶対値を超えている状態を指し、例えば視差が検出不可能な状態を指す。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、簡素な構成で、視差Ｄが所定値を超えている場合のフォーカスレンズ３０２の合焦位置への移動時間を短くすることができる。なお、本第１実施形態では、視差Ｄが所定値を超えている間、最大値Ｖｓｔを用いる例を挙げたが、これに限らず、例えば独立変数ｆ（β，Ｄ）（例えば独立変数ｆ（β，Ｄ）の絶対値）が所定値を超えている間、最大値Ｖｓｔを用いるようにしてもよい。

また、上記では「視差Ｄが所定値を超えている」状態として視差が検出不可能な状態を例示したが、「視差Ｄが所定値を超えている」状態とは、視差Ｄが視差“０”を中心とする所定の視差範囲を超えている状態ということである。所定の視差範囲とは、例えば操作移動率の最大値と操作量の標準値とに基づいて決定するフォーカスレンズ３０２の標準移動量に相当する量だけフォーカスレンズ３０２を仮に移動させた場合に合焦位置（視差が“０”となる位置）を通過しない視差範囲を指す。操作量の標準値の一例としては、撮像装置１００のユーザが過去に行ったフォーカスリング３０１の１ストロークの操作量の平均値が挙げられる。

また、傾きαは、因子βが大きいほど緩やかになるという特性を有している。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、高精度な操作移動率Ｖを決定することができる。

また、決定部１２Ａは、独立変数ｆ（β，Ｄ）の増加（例えば独立変数ｆ（β，Ｄ）の絶対値の増加）に従って減少する値（軽勾配になる値）を傾きαとして決定してもよい。この場合、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、簡素な構成で、高精度な操作移動率Ｖを決定することができる。

また、傾きαは、独立変数ｆ（β，Ｄ）が小さいほど（例えば独立変数ｆ（β，Ｄ）の絶対値が小さいほど）操作移動率Ｖを小さくする、という特性を有している。従って、本第１実施形態に係る撮像装置１００は、本構成を有しない場合に比べ、高精度な操作移動率Ｖを決定することができる。

なお、上記第１実施形態では、制御部１２Ｂが関数ｐ２，ｐ４を含む関数Ｐにより規定された操作移動率Ｖ及び操作量に基づいて定めた移動量に相当する量、フォーカスレンズ３０２を移動させる例を挙げたが、本発明はこれに限定されない。すなわち、制御部１２Ｂは、視差Ｄが所定値以下の場合、関数Ｐから関数ｐ２，ｐ４を除いた関数（関数ｐ１，ｐ３で規定される関数）により規定された操作移動率Ｖ及び操作量に基づいて定めた移動量に相当する量、フォーカスレンズ３０２を移動させてもよい。但し、この場合、制御部１２Ｂは、視差Ｄが所定値を超えている場合、操作移動率Ｖの最大値として予め定められた値と操作量とに基づいて定めた移動量に相当する量、フォーカスレンズ３０２を移動させる制御をモータ３０４に対して行うこととなる。

また、上記第１実施形態では、制御部１２Ｂにより関数Ｐにより操作移動量Ｖが規定されているが、本発明はこれに限定されるものではない。例えば図２１に示す関数Ｑにより操作移動量Ｖが規定されてもよい。関数Ｑは、関数Ｐに比べ、関数ｐ１〜ｐ４に代えて関数ｑ１〜ｑ４を有する点が異なる。関数ｑ１〜ｑ４は各々線形関数である。関数ｑ１，ｑ３は、下記の数式（３）により規定される。関数ｑ１，ｑ３は、関数ｐ１，ｐ３に比べ、傾きαに代えて傾きα／βを有する点、及び独立変数ｆ（β，Ｄ）に代えて独立変数｜Ｄ｜を有する点が異なっており、関数ｑ１は関数ｐ１に対応し、関数ｑ３は関数ｐ３に対応している。関数ｑ２，ｑ４は、最大値Ｖｓｔによって規定される関数であり、関数ｑ２は関数ｐ２に対応し、関数ｑ４は、関数ｐ４に対応している。また、関数Ｑも、関数Ｐと同様に、因子βが大きいほど（被写界深度が深いほど）傾きα／βは小さくなる（勾配が緩やかになる）。傾きα／βが小さくなると、一例として図２１に示すように、実線で示す関数ｑ１，ｑ３が破線で示す関数ｑ１，ｑ３に変位する。

Ｖ＝（α／β）×｜Ｄ｜＋Ｖｍｉｎ・・・・・・（３）

図２１に示す例では、最大値Ｖｓｔが上記第１実施形態と同様に固定値とされているが、これに限らず、最大値Ｖｓｔを所定のパラメータ（例えば視差Ｄ及び因子βの少なくとも一方）によって決定してもよい。

また、関数ｑ１，ｑ３は、傾きα／β、最小値Ｖｍｉｎ及び最大値Ｖｓｔによって決定されるが、傾きα／β及び変曲点ｂ３，ｃ３（変曲点ｂ１，ｃ１の各位置に対応する変曲点）によって決定されてもよい。

また、関数ｑ１，ｑ３において、傾きα／βは、上記第１実施形態と同様に視差Ｄ及び因子βによって決定されるが、本発明はこれに限定されるものではない。例えば、決定部１２Ａが視差Ｄ及び因子βから関数ｑ２，ｑ４及び最小値Ｖｍｉｎを決定し、決定した関数ｑ２，ｑ４及び最小値Ｖｍｉｎから傾きα／βを決定することで関数Ｑを決定してもよい。また、決定部１２Ａが視差Ｄ及び因子βから関数Ｑの変曲点ａ３，ｂ３，ｃ３を決定し、決定した変曲点ａ３，ｂ３，ｃ３から関数Ｑを決定してもよい。つまり、関数Ｑにより規定される操作移動率Ｖは、操作移動率Ｖの最大値Ｖｓｔ及び最小値Ｖｍｉｎの少なくとも一方と、独立変数ｆ（β，Ｄ）と、傾きα／βとに基づいて決定すればよい。なお、これらの決定手法は、上記第１実施形態で説明した関数Ｐを決定する場合にも適用可能である。

また、関数Ｐ，Ｑに含まれる因子βは、フォーカスレンズ３０２の光軸Ｌ１上の位置を示す情報（例えば一次元又は二次元座標）に限定されるものではない。例えば、Ｆ値、被写体距離、焦点距離又は許容錯乱円の径（例えば直径）であってもよいし、フォーカスレンズ３０２の光軸Ｌ１上の位置を示す情報、絞り値、被写体距離、焦点距離及び許容錯乱円の径のうちの２つ以上の組み合わせであってもよい。ここで言う「組み合わせ」としては、例えば下記の数式（４）により規定される組み合わせが挙げられる。数式（４）において、“Ｄｅｐｔｈ”は被写体深度を示し、“Ｆｎｏ”はＦ値を示し、“ｆ”は焦点距離を示す。また、“δ”は許容錯乱円の直径（撮像素子２０の画素ピッチから決まる値）を示す。“Ｌ”は被写体距離を示す。被写体距離とは、焦点位置及びフォーカスレンズ３０２の位置から算出した値のことである。つまり、被写体距離は、合焦状態のときのフォーカスレンズ３０２の位置（フォーカス位置）Ｆｐと被写体距離との対応関係（例えばフォーカス位置Ｆｐが１００のとき、２ｍ先に焦点が合っているという対応関係）を示すテーブル又は演算式を利用することで導出される。なお、被写体に焦点が合うフォーカス位置Ｆｐは、視差から導出されてもよい。被写体距離は、導出されたフォーカス位置Ｆｐに対応する焦点までの距離が導出されることにより導出される。

上記の数式（４）は、被写体深度を示しているが、これに限らず、下記の数式（５）に示す焦点深度であってもよい。数式（５）において、“Ｄｅｐｔｈ”は焦点深度を示す。

Ｄｅｐｔｈ＝２×Ｆｎｏ×δ・・・・・・（５）

また、上記第１実施形態では、切片Ｖｍｉｎを固定値とした場合を例示しているが、これに限らず、可変値としてもよい。例えば、切片Ｖｍｉｎは、数式（４）又は数式（５）の“Ｄｅｐｔｈ”によって規定されてもよく、この場合、例えば下記の数式（６）によって規定すればよい。数式（６）において、“Ｓ”はユーザの使用感や基本速度等で決まる値であり、適宜に変更可能な値である。また、基本速度は、撮影レンズ１６によって予め決められている。

Ｖｍｉｎ＝Ｓ×Ｄｅｐｔｈ×基本速度・・・・・・（６）

関数Ｐ，Ｑは線形関数であるが、これに限らず、非線形関数を含む関数を用いてもよい。図２２には、非線形関数を含む関数の一例である関数Ｒが示されている。関数Ｒは、関数Ｐと比較して、関数ｐ１〜ｐ４に代えて関数ｒ１〜ｒ３を有する点が異なる。関数ｒ１は、非線形関数であり、下記の数式（７）により規定される。関数ｒ１は、関数ｐ１，ｐ３と比較すると、傾きαに代えて係数α／βを有する点、及び独立変数ｆ（β，Ｄ）に代えて独立変数Ｄ^２を有する点が異なっている。関数ｒ２，ｒ３は、最大値Ｖｓｔによって規定される線形関数であり、関数ｒ２は関数ｐ２に対応し、関数ｒ３は、関数ｐ４に対応している。また、関数Ｒも、関数Ｐ，Ｑと同様に、因子βが大きいほど係数α／βは小さくなる。

Ｖ＝（α／β）×Ｄ^２＋Ｖｍｉｎ・・・・・・（７）

また、関数Ｒに代えて関数Ｓを用いてもよい。図２３には、関数Ｓの一例が示されている。関数Ｓは、関数Ｒと比較して、関数ｒ１〜ｒ３に代えて関数ｓ１〜ｓ３を有する点が異なる。関数ｓ１は、非線形関数であり、下記の数式（８）により規定される。関数ｓ１は、関数ｒ１と比較すると、係数α／βに代えて係数αを有する点、及び独立変数Ｄ^２に代えて独立変数ｆ（β，Ｄ）^２を有する点が異なっている。関数ｓ２，ｓ３は、最大値Ｖｓｔによって規定される線形関数であり、関数ｓ２は関数ｒ２に対応し、関数ｓ３は、関数ｒ３に対応している。また、関数Ｓも、関数Ｒと同様に、因子βが大きいほど係数αは小さくなる。

Ｖ＝α×ｆ（β，Ｄ）^２＋Ｖｍｉｎ・・・・・・（８）

また、上記第１実施形態では、操作移動率Ｖを、フォーカスリング３０１の回転操作量をフォーカスレンズ３０２の移動量に変換する係数としたが、本発明はこれに限定されるものではない。例えば、ハードウェアキー又はソフトウェアキーによるプッシュ式キーの押圧操作によりフォーカスレンズ３０２を移動させる場合には、プッシュ式キーの押圧操作量をフォーカスレンズ３０２の移動量に変換する係数を採用してもよい。また、スライド部材をスライドさせることよりフォーカスレンズ３０２を移動させる場合には、スライド部材のスライド量をフォーカスレンズ３０２の移動量に変換する係数を採用してもよい。

また、上記第１実施形態で説明した視差算出処理の流れ（図１６参照）及びレンズ移動制御処理の流れ（図１９参照）はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、上記第１実施形態で説明した視差算出処理及びレンズ移動制御処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、その他のハードウェア構成で実現されてもよい。また、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。

上記第１実施形態で説明した視差算出処理及びレンズ移動制御処理の少なくとも一方を、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えばメモリ２６）に予め記憶しておけばよい。なお、必ずしも最初からメモリ２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるＳＳＤ（Solid State Drive）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の「可搬型の記憶媒体」に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。

［第２実施形態］

操作移動率Ｖを用いてフォーカスレンズ３０２の移動を制御する場合の形態例を挙げて説明したが、本第２実施形態では、操作移動率Ｖに代えてフォーカスリング３０１の回転を阻止する力（以下、「抗力」という）を用いる場合について説明する。なお、上記第１実施形態で説明した構成部材には同一の符号を付し、説明を省略する。

図２４には、本第２実施形態に係る撮像装置１００Ａの構成の一例が示されている。図２４に示す撮像装置１００Ａは、上記第１実施形態で説明した撮像装置１００と比較して、交換レンズ３００に代えて交換レンズ３００Ａを有する点、及びカメラ本体２００に代えてカメラ本体２００Ａを有する点が異なっている。

交換レンズ３００Ａは、上記第１実施形態で説明した交換レンズ３００と比較して、スライド機構３０３に代えてスライド機構３０３Ａを有する点、及びフォーカスリング３０１に代えてフォーカスリング３０１Ａを有する点が異なっている。また、交換レンズ３００Ａは、上記第１実施形態で説明した交換レンズ３００と比較して、抗力発生器３０５を有する点が異なっている。

スライド機構３０３Ａは、スライド機構３０３と比較して、フォーカスリング３０１Ａに接続されている点が異なっている。スライド機構３０３Ａは、スライド機構３０３が有する機能を具備し、かつ、フォーカスリング３０１Ａの回転操作に従って動作する。フォーカスレンズ３０２は、フォーカスリング３０１Ａの回転操作に従って、スライド機構３０３Ａにより光軸Ｌ１方向に移動される。

フォーカスリング３０１Ａには抗力発生器３０５が接続されている。抗力発生器３０５は、抗力（例えばフォーカスリング３０１Ａに与える負荷トルク）を発生する。また、抗力発生器３０５は、アクチュエータ（例えば圧電素子）を有し、アクチュエータの動作を制御することで抗力を制御する。また、抗力発生器３０５は、マウント２５６，３４６を介してデバイス制御部２２に接続されており、デバイス制御部２２を介してＣＰＵ１２によって制御される。つまり、フォーカスリング３０１Ａの抗力は、ＣＰＵ１２によって抗力発生器３０５を介して制御される。

本第２実施形態に係るレンズ移動制御処理では、上記第１実施形態で説明したレンズ移動制御処理で用いた関数Ｐに代えて一例として図２５に示す関数Ｕが用いられる。すなわち、本第２実施形態に係る撮像装置１００Ａでは、フォーカスレンズ３０２が、関数Ｕにより定まる抗力、フォーカスレンズ３０１に対する操作力及び操作時間に基づいて定まる移動量に相当する量、移動することとなる。

図２５には、抗力を規定する関数Ｕの一例が示されている。図２５に示すように、関数Ｕは、各々線形関数である関数ｕ１〜ｕ４により規定される。下記の数式（９）は、関数ｕ１，ｕ３を示す。数式（９）は、αを傾きとし、因子β及び視差Ｄを考慮した関数により定まるｆ（β，Ｄ）を独立変数とし、抗力Ｆを従属変数とし、Ｆｍａｘを抗力Ｆの最大値である切片とする一次関数を示す。また、ここでは、錯綜を回避するために、独立変数ｆ（β，Ｄ）の一例として、因子β及び視差Ｄを独立変数として有し、因子β及び視差Ｄが大きくなるほど値が大きくなる従属変数を有する関数より示される変数を採用している。また、ここでは、錯綜を回避するために、切片Ｆｍａｘとして固定値を採用しているが、諸条件（例えば視差Ｄ及び因子β）によって変化する可変値であってもよい。

Ｆ＝γ×ｆ（β，Ｄ）＋Ｆｍａｘ・・・・・・（９）

傾きγは、ＣＰＵ１２によって取得された視差及び因子によって一意に定まる係数であり、独立変数ｆ（β，Ｄ）を抗力Ｆの単位に変換する係数を示す。

また、傾きγにより示される関数ｕ１，ｕ３の勾配は、因子βの増大に従って緩やかになる。つまり、傾きγの絶対値は、因子βの増大に従って小さくなる（因子βが大きいほど傾きγが軽勾配になる）、という特性を有している。なお、本第２実施形態では、傾きγにより示される関数ｕ１，ｕ３の勾配が、因子βの増大に従って緩やかになるという特性を有する場合を例示しているが、本発明はこれに限定されるものではない。例えば、傾きγにより示される関数ｕ１，ｕ３の勾配は、独立変数ｆ（β，Ｄ）の増加に従って緩やかになるという特性を有していてもよい。つまり、傾きγは、メモリ２６の所定の記憶領域に記憶されている視差を視差Ｄとして含む独立変数ｆ（β，Ｄ）（例えば独立変数ｆ（β，Ｄ）の絶対値）が大きいほど絶対値が小さくなるという特性を有していてもよい。

また、関数ｕ１の傾きγは負の値であり、関数ｕ３の傾きγは正の値であり、いずれも独立変数ｆ（β，Ｄ）の絶対値が小さいほど抗力Ｆを大きくする、という特性を有している。なお、関数ｕ１及び関数ｕ３は、（０，Ｆｍａｘ）の位置の変曲点ａ４を介して連続している。

以上の特性を有する傾きγは、例えば決定部１２Ａにより独立変数ｆ（β，Ｄ）に基づいて決定され、決定された傾きγ及び予め定められた切片Ｖｍｉｎにより、関数ｕ１，ｕ３が決定される。

関数ｕ１，ｕ３は、視差Ｄの絶対値が所定値以下（ここでは一例として独立変数ｆ（β，Ｄ）の“０”を中心とする所定範囲内）で用いられる関数であるのに対し、関数ｕ２，ｕ４は、視差Ｄが所定値を超える範囲で用いられる関数である。すなわち、関数ｕ２は、関数ｕ１と共にプラス側の独立変数ｆ（β，Ｄ）で用いられ、変曲点ｂ２を介して関数ｕ１に連続している。関数ｕ４は、関数ｕ３と共に用いられ、変曲点ｃ２を介して関数ｕ３に連続している。本第２実施形態では抗力Ｆの最小値は予め定められているので、変曲点ｂ４，ｃ４は、傾きγが定まることによって一意に定まる。変曲点ｂ４，ｃ４が定まることによって、関数ｕ２，ｕ４の独立変数ｆ（β，Ｄ）の範囲（最小値Ｆｍｉｎが適用される独立変数ｆ（β，Ｄ）の範囲）も定まる。関数ｕ２，ｕ４について最小値Ｆｍｉｎが適用される独立変数ｆ（β，Ｄ）の範囲は、傾きγが緩やかなほど（傾きγの絶対値が小さいほど）拡がる。

以上のように、本第２実施形態では、抗力Ｆが、視差Ｄ及び因子βに基づいて決定され、決定された抗力Ｆ、フォーカスリング３０１に対する操作力及び操作時間に基づいて定まる移動量に相当する量、フォーカスレンズ３０２が移動することとなる。そのため、本第２実施形態に係る撮像装置１００Ａは、本構成を有しない場合（例えば視差のみに頼って抗力Ｆを決定する場合）に比べ、フォーカスレンズ３０２の合焦位置への高精度な移動を迅速に行うことができる。

関数Ｕは線形関数であるが、これに限らず、非線形関数を含む関数を用いてもよい。図２６には、非線形関数を含む関数の一例である関数Ｗが示されている。関数Ｗは、関数Ｕと比較して、関数ｕ１〜ｕ４に代えて関数ｗ１〜ｗ３を有する点が異なる。関数ｗ１は、非線形関数であり、下記の数式（１０）により規定される。関数ｗ１は、関数ｕ１，ｕ３と比較すると、傾きγに代えて係数δを有する点、及び独立変数ｆ（β，Ｄ）に代えて独立変数ｆ（β，Ｄ）^２を有する点が異なっている。関数ｗ２，ｗ３は、最小値Ｆｍｉｎによって規定される線形関数であり、関数ｗ２は関数ｕ２に対応し、関数ｗ３は、関数ｕ４に対応している。また、関数Ｗも、関数Ｕと同様に、因子βが大きいほど係数γは小さくなる。

Ｆ＝δ×ｆ（β，Ｄ）^２＋Ｆｍａｘ・・・・・・（１０）

［第３実施形態］

上記各実施形態では、撮像装置１００（１００Ａ）を例示したが、撮像装置１００の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機などが挙げられる。本第３実施形態では、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図２７は、スマートフォン５００の外観の一例を示す斜視図である。図２７に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用することもできる。

図２８は、図２７に示すスマートフォン５００の構成の一例を示すブロック図である。図２８に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図２７に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備える。通話部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通話部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図２７に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２７に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（Ultra Wideband（登録商標））、ジグビー（ZigBee（登録商標））などが挙げられる。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。

外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示省略）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮像するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。

また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。例えば、操作量決定部の一例である主制御部５０１は、マニュアルフォーカスモード時（移動指示期間の一例）に検知部の一例である操作パネル５２２によって検知された接触操作に基づいて、フォーカスレンズ３０２の移動を指示する操作量を決定する。例えば、アイコンボタン等に対して行った接触の回数、アイコンボタン等に対して行った接触操作の押圧力、又はアイコンボタン等に対して行った接触の継続時間などに基づいて操作量を決定する。そして、決定した操作量と操作移動率とに基づいて決定する移動量に相当する量、フォーカスレンズ３０２を移動させる制御を行う。

また、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図１２に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力することができる。図２７に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像したりすることもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。

なお、上記各実施形態では、上下方向に２分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。

例えば、図２９に示すスプリットイメージ６６ａは、行方向に平行な複数の分割線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１の画素群から出力された出力信号に基づいて生成されたライン状（一例として短冊状）の位相差画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示される。また、第２の画素群から出力された出力信号に基づき生成されたライン状（一例として短冊状）の位相差画像６６Ｒａが偶数ラインに表示される。

また、図３０に示すスプリットイメージ６６ｂは、行方向に傾き角を有する分割線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｂが一方の領域に表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｂが他方の領域に表示される。

また、図３１Ａ及び図３１Ｂに示すスプリットイメージ６６ｃは、行方向及び列方向にそれぞれ平行な格子状の分割線６３ｃにより分割されている。スプリットイメージ６６ｃでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｃが市松模様（チェッカーパターン）状に並べられて表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｃが市松模様状に並べられて表示される。

また、スプリットイメージに限らず、２つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、２つの位相差画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。

また、上記各実施形態では、第１〜第３の画素群を有する撮像素子２０を例示したが、本発明はこれに限定されるものではなく、第１の画素群及び第２の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像に基づいて３次元画像（３Ｄ画像）を生成することができるし、２次元画像（２Ｄ画像）も生成することができる。この場合、２次元画像の生成は、例えば第１の画像及び第２の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第１の画像又は第２の画像を２次元画像として採用してもよい。

また、上記各実施形態では、第１〜第３の画像が画像処理部２８に入力された場合に通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様を例示したが、本発明はこれに限定されるものではない。例えば、表示制御部３６が、表示装置に対する通常画像の表示を抑止し、かつ、表示装置に対してスプリットイメージを表示させる制御を行うようにしてもよい。ここで言う「通常画像の表示を抑止する」とは、例えば表示装置に対して通常画像を表示させないことを指す。具体的には、通常画像を生成するものの表示装置に通常画像を出力しないことで表示装置に対して通常画像を表示させないことや通常画像を生成しないことで表示装置に対して通常画像を表示させないことを指す。表示装置の画面全体を利用してスプリットイメージを表示させてもよいし、一例として図１５に示すスプリットイメージの表示領域の全体を利用してスプリットイメージを表示させてもよい。なお、ここで言う「スプリットイメージ」としては、特定の撮像素子を使用する場合において、位相差画群から出力された画像（例えば第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像）に基づくスプリットイメージが例示できる。「特定の撮像素子を使用する場合」としては、例えば位相差画素群（例えば第１の画素群及び第２の画素群）のみからなる撮像素子を使用する場合が挙げられる。この他にも、通常画素に対して所定の割合で位相差画素（例えば第１の画素群及び第２の画素群）が配置された撮像素子を使用する場合が例示できる。

また、通常画像の表示を抑止してスプリットイメージを表示させるための条件としては、様々な条件が考えられる。例えば、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、撮影者がハイブリッドファインダーを覗きこんだ場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１が半押し状態にされた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、レリーズボタン２１１に対して押圧操作が行われていない場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。また、例えば、被写体の顔を検出する顔検出機能を働かせた場合に表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。

１２Ａ 決定部
１２Ｂ 制御部
１６ 撮影レンズ
２０ 撮像素子
２６ メモリ
２８Ａ 画像取得部
２８Ｂ 視差算出部
２８Ｃ 生成部２８Ｃ
３６Ａ，３６Ｂ 表示制御部
１００，１００Ａ 撮像装置
２１３ 表示部
２４７ ＬＣＤ
３０１ フォーカスリング
３０２ フォーカスレンズ
３０３ スライド機構
３０４ モータ

Claims (14)

1. 光軸方向に沿って移動可能なフォーカスレンズを含む撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、
   前記フォーカスレンズを光軸方向に移動させる移動部と、
   前記画像取得部により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、
   合焦状態と認められる許容範囲を示す深度を規定する因子及び前記視差算出部により算出された視差に基づいて、前記フォーカスレンズの移動を指示する操作量を前記フォーカスレンズの移動量に変換する操作移動率である従属変数と前記因子及び前記視差に応じて定まる独立変数とを有する関数により前記操作移動率を決定する決定部と、
   前記決定部により決定された操作移動率と前記操作量とに基づいて決定する移動量に相当する量、前記フォーカスレンズを移動させる制御を前記移動部に対して行う制御部と、
   前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、
   画像を表示する表示部と、
   前記表示部に対して、前記生成部により生成された前記第１の表示用画像を表示させ、かつ、前記第１の表示用画像の表示領域内に、前記生成部により生成された前記第２の表示用画像を表示させる制御を行う表示制御部と、
   を含む画像処理装置。
2. 光軸方向に沿って移動可能なフォーカスレンズを含む撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、
   前記フォーカスレンズを光軸方向に移動させる移動部と、
   前記画像取得部により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、
   合焦状態と認められる許容範囲を示す深度を規定する因子及び前記視差算出部により算出された視差に基づいて、前記フォーカスレンズの移動を指示する操作量を前記フォーカスレンズの移動量に変換する操作移動率である従属変数と前記因子及び前記視差に応じて定まる独立変数とを有する関数により前記操作移動率を決定する決定部と、
   前記決定部により決定された操作移動率と前記操作量とに基づいて決定する移動量に相当する量、前記フォーカスレンズを移動させる制御を前記移動部に対して行う制御部と、
   前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、
   画像を表示する表示部と、
   前記生成部により生成された前記第１の表示用画像の前記表示部による表示を抑止し、かつ、前記表示部に対して、前記生成部により生成された前記第２の表示用画像を表示させる制御を行う表示制御部と、
   を含む画像処理装置。
3. 前記因子によって決定する前記深度が大きいほど前記操作移動率を大きくする請求項１又は請求項２に記載の画像処理装置。
4. 前記制御部は、更に、前記視差が所定値を超えている間、前記操作移動率の最大値として予め定められた値と前記操作量とに基づいて定めた移動量に相当する量、前記フォーカスレンズを移動させる制御を前記移動部に対して行う請求項１〜請求項３の何れか１項に記載の画像処理装置。
5. 前記制御部は、前記視差が検出不可能な状態の間、前記操作移動率の最大値として予め定められた値と前記操作量とに基づいて定めた移動量に相当する量、前記フォーカスレンズを移動させる制御を前記移動部に対して行う請求項４に記載の画像処理装置。
6. 前記因子を、前記フォーカスレンズの光軸上の現在位置を示す情報、絞り値、被写体距離、焦点距離及び許容錯乱円の径の少なくとも１つに基づいて定めた請求項１〜請求項５の何れか１項に記載の画像処理装置。
7. 前記撮像素子は、前記撮影レンズを透過した被写体像が瞳分割されずに結像されて第３の画像信号を出力する第３の画素群を更に有し、
   前記生成部は、前記第３の画素群から出力された前記第３の画像信号に基づいて前記第１の表示用画像を生成する請求項１〜請求項６の何れか１項に記載の画像処理装置。
8. 操作面への接触操作を検知する検知部と、
   前記フォーカスレンズの移動を指示する移動指示期間に前記検知部によって検知された前記接触操作に基づいて前記操作量を決定する操作量決定部と、を更に含む請求項１〜請求項７の何れか１項に記載の画像処理装置。
9. 請求項１〜請求項８の何れか１項に記載の画像処理装置と、
   前記第１及び第２の画素群を有する撮像素子と、
   前記撮像素子から出力された画像信号に基づいて生成された画像を記憶する記憶部と、
   を含む撮像装置。
10. 光軸方向に沿って移動可能なフォーカスレンズを含む撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得し、
    取得した前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出し、
    合焦状態と認められる許容範囲を示す深度を規定する因子及び算出した視差に基づいて、前記フォーカスレンズの移動を指示する操作量を前記フォーカスレンズの移動量に変換する操作移動率である従属変数と前記因子及び前記視差に応じて定まる独立変数とを有する関数により前記操作移動率を決定し、
    前記フォーカスレンズを光軸方向に移動させる移動部に対して、決定した操作移動率と前記操作量とに基づいて決定する移動量に相当する量、前記フォーカスレンズを移動させる制御を行い、
    前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、
    前記第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成し、
    画像を表示する表示部に対して、生成した前記第１の表示用画像を表示させ、かつ、前記第１の表示用画像の表示領域内に、生成した前記第２の表示用画像を表示させる制御を行う画像処理方法。
11. 光軸方向に沿って移動可能なフォーカスレンズを含む撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像されることにより第１及び第２の画像信号を出力する第１及び第２の画素群を有する撮像素子から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得し、
    取得した前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出し、
    合焦状態と認められる許容範囲を示す深度を規定する因子及び算出し
    た視差に基づいて、前記フォーカスレンズの移動を指示する操作量を前記フォーカスレンズの移動量に変換する操作移動率である従属変数と前記因子及び前記視差に応じて定まる独立変数とを有する関数により前記操作移動率を決定し、
    前記フォーカスレンズを光軸方向に移動させる移動部に対して、決定した操作移動率と前記操作量とに基づいて決定する移動量に相当する量、前記フォーカスレンズを移動させる制御を行い、
    前記撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、
    前記第１及び第２の画像に基づいて合焦確認に使用する第２の表示用画像を生成し、
    生成した前記第１の表示用画像の表示部による表示を抑止し、かつ、前記表示部に対して、生成した前記第２の表示用画像を表示させる制御を行う画像処理方法。
12. コンピュータを、
    請求項１〜請求項８の何れか１項に記載の画像処理装置における前記画像取得部、前記視差算出部、前記決定部、前記制御部、前記生成部及び前記表示制御部として機能させるための画像処理プログラム。
13. 前記従属変数は、前記視差の絶対値が所定値以下の範囲内において前記独立変数の増大に従って増大し、増大する度合いが前記独立変数の増大に伴って小さくなる従属変数である請求項１から請求項８の何れか１項に記載の画像処理装置。
14. 前記従属変数は、前記範囲内において前記因子及び前記視差の増大に従って増大し、
    前記度合いは、前記因子及び前記視差の増大に伴って小さくなる請求項１３に記載の画像処理装置。