JP5746794B2 - 撮像装置及び画像処理方法 - Google Patents

Description

本発明は撮像装置及び画像処理方法に係り、特に点像分布関数（ＰＳＦ：Point Spread Function）に基づいて撮像された画像の点像復元処理を行う撮像装置及び画像処理方法に関する。

撮像された画像の点像復元処理は、予め撮影レンズの収差等による劣化（ＰＳＦ）の特性を求めておき、撮像された画像（劣化している画像）を、ＰＳＦに基づいて作成した復元フィルタを使用してフィルタ処理することにより解像度の高い元の画像に復元する処理である。

特許文献１には、被写体距離を含む撮像状態を取得し、劣化画像の復元領域毎に撮像状態に対応する復元フィルタを取得し、劣化画像と復元フィルタを使用して復元領域毎に劣化画像を復元する画像処理装置が記載されている。尚、ＰＳＦは、被写体距離の他に、レンズの種類、ズーム倍率、画角（像高）、絞り等により変化する為、多数の復元フィルタが用意されている。

又、特許文献１に記載の被写体距離演算部は、複数の焦点検出領域の位相差と焦点検出時及び合焦時のフォーカスレンズの位置から、フォーカス位置にある被写体までの距離（被写体距離）と各焦点検出領域における被写体距離を演算している。

一方、特許文献２には、レンズ位置に基づいて被写体距離を求める時に、温度により撮影レンズが変形すると、検出した被写体距離と実際の被写体距離との間に誤差が生じる記載があり、この誤差を、温度を検出して求めるカメラシステムが記載されている。

特開２０１１−２１１６６３号公報 特開２００５−１７３２５４号公報

特許文献１に記載の画像処理装置は、被写体距離を含む撮像状態に取得し、その撮像状態に対応する復元フィルタを使用して劣化画像の復元フィルタ処理を行っている。

しかしながら、復元フィルタ処理に使用される復元フィルタとして、不適切な復元フィルタが使用されると、過補正になり、解像度を逆に劣化させてしまうという問題がある。

過補正が発生する条件としては、被写体距離を誤測距し、その結果、誤った被写体距離に対応する復元フィルタを使用する場合が考えられる。

レンズの収差は、フォーカス位置（被写体距離）によって変化する為、被写体距離に応じた復元フィルタを適用する必要がある。被写体距離は、オートフォーカス（ＡＦ）時のフォーカスレンズの合焦停止位置から求める方法が用いられるが、温度でレンズ鏡胴の特性が変化した際、被写体距離が一定でもフォーカスレンズの合焦停止位置が変わり、誤測距してしまうという問題がある。

これに対し、特許文献２に記載のカメラシステムのように被写体距離と実際の被写体距離との誤差を、カメラの温度を検出して求めることが考えられるが、フォーカスレンズの合焦停止位置から被写体距離を精度よく求めるには限界がある。例えば、コントラスト検出方式や位相差検出方式のＡＦでは、被写体のコントラストが低い場合は合焦判定の精度が低下し、フォーカスレンズの合焦停止位置の信頼性が低い場合が考えられる。

又、撮影レンズとして交換レンズが適用される場合、交換レンズの種類により温度特性が異なったり、個体差がある為、フォーカスレンズの合焦停止位置から被写体距離を精度よく求めることは難しい。

本発明はこのような事情に鑑みてなされたもので、被写体距離に応じた復元フィルタを使用して撮像した画像の復元処理を行う際に、撮像時に推定した被写体距離にばらつき（推定ばらつき）が発生しても過補正による解像劣化を防止することができ、かつ復元フィルタによる解像度の向上を図ることができる撮像装置及び画像処理方法を提供することを目的とする。

上記目的を達成する為に本発明の一の態様に係る撮像装置は、撮影レンズにより結像された被写体像を撮像し、被写体像を示す画像を取得する撮像部と、撮像部による撮像時の、焦点検出部より推定した被写体距離を求める第１の被写体距離推定部と、少なくとも被写体距離に対応した点像分布関数に基づいて作成した複数の復元フィルタを記憶する復元フィルタ記憶部と、第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを取得する推定ばらつき取得部と、第１の被写体距離推定部により推定した被写体距離に推定ばらつき取得部により取得した無限遠側の最大の推定ばらつきを加算した被写体距離を算出する第２の被写体距離推定部と、復元フィルタ記憶部に記憶された複数の復元フィルタのうちの第２の被写体距離推定部により算出した被写体距離に最も近い無限遠側に対応した復元フィルタを選択する復元フィルタ選択部と、復元フィルタ選択部により選択した復元フィルタを使用して撮像部により取得した画像の復元処理を行う復元処理部と、を備えている。

本発明の一の態様によれば、第１の被写体距離推定部により被写体距離を推定し、この推定した被写体距離に対するばらつき（推定ばらつき）の範囲のうちの無限遠側の最大の推定ばらつきを推定ばらつき取得部により取得する。第１の被写体距離推定部により推定した被写体距離と、推定ばらつき取得部により取得した無限遠側の最大の推定ばらつきとを加算した被写体距離を算出する。この算出された被写体距離は、推定した被写体距離が最も無限遠側にばらついた時の被写体距離になる。そして、復元フィルタ記憶部に記憶されている、被写体距離に対応した複数の復元フィルタから復元処理に使用する復元フィルタを選択する際に、算出した被写体距離に最も近い無限遠側に対応した復元フィルタを選択する。

点像分布関数（ＰＳＦ）は被写体距離によって異なり、無限遠側のＰＳＦよりも至近側のＰＳＦの方が広がった形状を有している。その結果、無限遠側の復元フィルタよりも至近側の復元フィルタは、より強い復元処理を行うものとして予め準備されている。推定した被写体距離が最も無限遠側にばらついた時の被写体距離に対して最も近い無限遠側に対応した復元フィルタを選択することにより、最も無限遠側にばらついた時の被写体距離に対応する復元フィルタ、又はそれよりも弱い復元処理を行う復元フィルタを選択することができる。これにより、選択された復元フィルタにより過補正になる復元処理を防止すること（解像劣化を防止すること）ができ、かつ復元フィルタによる解像度の向上を図ることができる。

本発明の他の態様に係る撮像装置において、第１の被写体距離推定部は、撮影レンズのフォーカスレンズのレンズ位置に基づいて被写体距離を推定することが好ましい。

本発明の更に他の態様に係る撮像装置において、撮影レンズは交換レンズであり、推定ばらつき取得部は、交換レンズ毎に交換レンズの無限遠側の最大の推定ばらつきを記憶する推定ばらつき記憶部を有し、装着された交換レンズの情報を取得し、取得した交換レンズの情報に基づいて推定ばらつき記憶部から対応する推定ばらつきを取得することが好ましい。交換レンズの種類（高級レンズ、中級レンズ等）により推定される被写体距離の推定ばらつきが異なるが、この場合、装着された交換レンズの情報を取得し、交換レンズの情報に基づいて推定ばらつき記憶部から対応する推定ばらつきを取得する。

本発明の更に他の態様に係る撮像装置において、撮影レンズは、第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを記憶する推定ばらつき記憶部を有するレンズであり、推定ばらつき取得部は、レンズの推定ばらつき記憶部から推定ばらつきを取得することが好ましい。これにより、撮像装置本体側に推定ばらつき記憶部を設けずに、レンズ側の推定ばらつき取得部から推定ばらつきを取得することができる。

本発明の更に他の態様に係る撮像装置において、第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきは、交換レンズの個体差による推定ばらつき、及び交換レンズの温度特性による推定ばらつきのうちの少なくとも一方である。

本発明の更に他の態様に係る撮像装置において、復元フィルタ記憶部は、第１の被写体距離推定部により推定される最も至近側の被写体距離に最も至近側の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきだけ加算した被写体距離と、無限遠との範囲内に相当する複数の復元フィルタを記憶することが好ましい。第１の被写体距離推定部により推定される最も至近側の被写体距離と最も至近側の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきとを加算した被写体距離（以下「推定ばらつき至近距離」という）よりも至近側の範囲内の復元フィルタは、過補正になる復元処理を行う可能性がある。そこで、推定ばらつき至近距離と無限遠との範囲内に相当する複数の復元フィルタのみを記憶し、推定ばらつき至近距離よりも至近側の範囲内の復元フィルタは、初めから持たないようにすることで復元フィルタ記憶部に記憶させる復元フィルタの数を低減するようにしている。

本発明の更に他の態様に係る撮像装置において、復元フィルタ記憶部は、撮影レンズに関わらず被写体距離に対応した複数の復元フィルタを記憶することが好ましい。これによれば、撮影レンズに関わらず複数の復元フィルタを共用することができる。

本発明の更に他の態様に係る撮像装置において、撮影レンズは、復元フィルタ記憶部が内蔵された交換レンズであることが好ましい。これよれば、撮像装置本体側に復元フィルタ記憶部を設けずに、レンズ側の復元フィルタ記憶部からそのレンズに対応する復元フィルタを取得することができる。

本発明の更に他の態様に係る撮像装置において、復元処理部により復元処理して得られた画像を記録する記録部を備えることが好ましい。

本発明の更に他の態様に係る撮像装置において、復元フィルタ記憶部は、推定ばらつきに対応してそれぞれ複数の復元フィルタが格納された複数のテーブルを持ち、復元フィルタ選択部は、推定ばらつき取得部により取得した推定ばらつきの大きさに応じて複数のテーブルから対応するテーブルを選択し、選択したテーブルから復元フィルタを選択することが好ましい。

本発明の更に他の態様に係る画像処理方法は、撮像部から被写体像を示す画像を取得する画像取得工程と、撮像部による撮像時の焦点検出部より推定した被写体距離を求める第１の被写体距離推定工程と、少なくとも被写体距離に対応した点像分布関数に基づいて作成した複数の復元フィルタを記憶する復元フィルタ記憶部を準備する工程と、第１の被写体距離推定工程により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを取得する推定ばらつき取得工程と、第１の被写体距離推定工程により推定した被写体距離に推定ばらつき取得工程により取得した無限遠側の最大の推定ばらつきを加算した被写体距離を算出する第２の被写体距離推定工程と、復元フィルタ記憶部に記憶された複数の復元フィルタのうちの第２の被写体距離推定工程により算出した被写体距離に最も近い無限遠側に対応した復元フィルタを選択する復元フィルタ選択工程と、復元フィルタ選択工程により選択した復元フィルタを使用して撮像部により取得した画像の復元処理を行う復元処理工程と、を含んでいる。

本発明によれば、被写体距離に応じた復元フィルタを使用して撮像した画像の復元処理を行う際に、撮像時に推定した被写体距離にばらつき（推定ばらつき）が発生しても、無限側の最大の推定ばらつきを考慮した被写体距離を基準にして過補正にならない最適な復元フィルタを選択するようにした為、過補正による解像劣化を防止することができ、かつ復元フィルタによる解像度の向上を図ることができる。

図１は、本発明の一の態様である撮像装置の外観図である。 図２は、図１で示した撮像装置の背面図である。 図３は、図１で示した撮像装置の要部ブロック図である。 図４は、コントラストオートフォーカス処理のフローを示す図である。 図５は、コントラストオートフォーカスを説明する図である。 図６は、フォーカスレンズ制御部の要部ブロック図である。 図７は、点像復元処理を行うメインＣＰＵ及びデジタル信号処理部の要部ブロック図である。 図８は、本発明の第１の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図９は、本発明の第１の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図１０は、本発明の第１の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図１１は、本発明の第２の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図１２は、本発明の第２の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図１３は、本発明の第２の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。 図１４は、撮像装置の他の実施形態であるスマートフォンの外観図である。 図１５は、スマートフォンの要部構成を示すブロック図である。

図１は、本発明の一の態様の撮像装置１００の外観を示す斜視図である。撮像装置１００は、撮像装置本体２００と、撮像装置本体２００に交換可能に装着されるレンズ装置３００と、から構成される。撮像装置本体２００とレンズ装置３００とは、撮像装置本体２００に備えられたマウント２４６（送信手段、受信手段）と、マウント２４６に対応するレンズ装置３００側のマウント３４６（受信手段、送信手段）（図３参照）と、が結合されることにより交換可能に装着される。又、撮像装置本体２００の前面にはマウント２４６の他、フラッシュ２４０が設けられており、上面にはレリーズボタン２２０−１及び撮影モード設定用のダイヤル２２０−２が設けられている。

マウント２４６には端子２４７（送信手段、受信手段）が設けられており、マウント３４６には端子３４７（送信手段、受信手段）（図３参照）が設けられていて、レンズ装置３００を撮像装置本体２００に装着すると、対応する端子２４７と端子３４７とが接触して通信が可能となる。尚、図１及び図３における端子２４７、端子３４７は概念的に示したものであり、本発明における端子の位置及び個数はこれらの図におけるものに限定されるものではない。

一方、図２に示すように、撮像装置本体２００の背面には、モニタ２１２、十字ボタン２６０、ＭＥＮＵ／ＯＫボタン２６５、再生ボタン２７０、ＢＡＣＫボタン２７５等が配設されている。尚、本発明の一の態様である撮像装置１００はレンズ交換式撮像装置であっても、レンズ固定式撮像装置であってもよい。

図３は、撮像装置１００の構成を示すブロック図である。撮像装置１００の動作は、撮像装置本体２００のメインＣＰＵ２１４及びレンズ装置３００のレンズＣＰＵ３４０によって統括制御されている。メインＣＰＵ２１４の動作に必要なプログラム（ズームレンズＺＬ、フォーカスレンズＦＬ、及び絞りＩを駆動する為のプログラムを含む）やデータは撮像装置本体２００内のフラッシュＲＯＭ２２６及びＲＯＭ２２８に記憶されており、レンズＣＰＵ３４０の動作に必要なプログラム（ズームレンズＺＬ、フォーカスレンズＦＬ、及び絞りＩを駆動する為のプログラムを含む）やデータはレンズＣＰＵ３４０内のＲＯＭ３４４に記憶されている。

撮像装置本体２００には、レリーズボタン２２０−１及びダイヤル２２０−２の他、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等を含む操作部２２０が設けられており、ユーザは操作部２２０に含まれるボタンやキーを操作することにより、撮影／再生モードの選択、撮影開始、画像の選択・再生・消去、ズーム指示等の指示が可能になっている。

操作部２２０からの信号はメインＣＰＵ２１４に入力され、メインＣＰＵ２１４は入力信号に基づいて撮像装置本体２００の各回路を制御すると共に、マウント２４６（送信手段、受信手段）及びマウント通信部２５０（送信手段、受信手段）を介してレンズ装置３００との間で信号を送受信する。

上述した端子には例えば接地用端子、同期信号用端子、シリアル通信用端子、制御ステータス通信用端子、及び撮像装置本体２００のバッテリ２４２からレンズ装置３００の各部への電源供給用端子が含まれる。

撮像時において、被写体光はレンズ装置３００のズームレンズＺＬ、フォーカスレンズＦＬ（撮影レンズ）、及び絞りＩを介して、撮像装置本体２００の撮像素子２０２の受光面に結像される。本実施形態では撮像素子２０２はＣＭＯＳ型とするが、ＣＭＯＳ型に限らずＣＣＤ型であってもよい。フォーカスレンズＦＬ、ズームレンズＺＬ、及び絞りＩは、レンズＣＰＵ３４０によって制御されるズームレンズ制御部３１０、フォーカスレンズ制御部３２０（レンズ駆動手段）、絞り制御部３３０によって駆動されて、フォーカス制御・ズーム制御・絞り制御が行われる。

ズームレンズ制御部３１０は、レンズＣＰＵ３４０からの指令に従い、ズームレンズＺＬを光軸方向に移動させて撮影倍率を可変する。又、フォーカスレンズ制御部３２０は、レンズＣＰＵ３４０からの指令に従い、フォーカスレンズＦＬを光軸方向に進退動作させて被写体に合焦させる。絞り制御部３３０は、レンズＣＰＵ３４０からの指令に従い、絞りＩの絞り値を変更する。

レリーズボタン２２０−１の第１段階の押下（半押し）があると、メインＣＰＵ２１４はＡＦ及びＡＥ動作を開始させ、これに応じてＡ／Ｄ変換器２０４から出力される画像データがＡＥ／ＡＷＢ検出部２２４に取り込まれる。メインＣＰＵ２１４は、ＡＥ／ＡＷＢ検出部２２４に入力されたＧ信号の積算値より被写体の明るさ（撮影ＥＶ値）を算出し、その結果に基づいて絞りＩの絞り値、撮像素子２０２での電荷蓄積時間（シャッタスピードに相当）、フラッシュ２４０の発光時間等を制御する。

ＡＦ検出部２２２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、フォーカス領域内の画像データの高周波成分を積分して算出した、合焦状態を示すＡＦ評価値が極大となるようにレンズ鏡筒内のフォーカスレンズＦＬを制御する。又、位相差ＡＦ処理を行う場合には、画像データのうちのフォーカス領域内の複数の位相差を持った画素を用いて算出した位相差データから求めたデフォーカス量が０になるように、レンズ装置３００内のフォーカスレンズＦＬを制御する。尚、ＡＦ検出部２２２は、焦点を検出する焦点検出部として動く。

ＡＥ動作及びＡＦ動作が終了し、レリーズボタン２２０−１の第２段階の押下（全押し）があると、フラッシュ制御部２３８を介した制御によりフラッシュ２４０が発光する。又、撮像素子制御部２０１から加えられる読み出し信号に基づいて、撮像素子２０２に蓄積された信号電荷が信号電荷に応じた電圧信号として読み出され、アナログ信号処理部２０３に加えられる。アナログ信号処理部２０３は、撮像素子２０２から出力された電圧信号に対して相関二重サンプリング処理により各画素のＲ、Ｇ、Ｂ信号をサンプリングホールドし、増幅した後Ａ／Ｄ変換器２０４に加える。Ａ／Ｄ変換器２０４は、順次入力するアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２０５に出力する。尚、撮像素子２０２がＣＭＯＳ型撮像素子である場合は、Ａ／Ｄ変換器２０４は撮像素子２０２内に内蔵されていることも多く、又上記相関二重サンプリングを必要としない場合もある。

画像入力コントローラ２０５から出力された画像データはデジタル信号処理部２０６に入力されてオフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、復元処理、及びＹＣ処理等の信号処理が行われ、ＶＲＡＭ２３０への書き込み／読み出しを経て表示制御部２１０でエンコーディングされてモニタ２１２に出力され、これにより被写体像がモニタ２１２に表示される。

又、上記得られた被写体像を記録する手段である記録部を有してもよい。例えば、メモリカード２３６に復元処理で得られた画像を記録してもよい。

又、レリーズボタン２２０−１の全押しに応答してＡ／Ｄ変換器２０４から出力される画像データが画像入力コントローラ２０５からＳＤＲＡＭ（メモリ）２３２に入力され、一時的に記憶される。ＳＤＲＡＭ２３２への一時記憶後、デジタル信号処理部２０６におけるゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の信号処理や圧縮・伸張処理部２０８でのＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式への圧縮処理等を経て画像ファイルが生成され、その画像ファイルは、メディア制御部２３４により読み出されてメモリカード２３６に記録される。メモリカード２３６に記録された画像は、操作部２２０の再生ボタンを操作することによりモニタ２１２で再生表示することができる。

次に、撮像装置本体２００とレンズ装置３００との間の通信について説明する。撮像装置本体２００とレンズ装置３００とは、撮像装置本体２００のマウント２４６（送信手段、受信手段）及びマウント通信部２５０（送信手段、受信手段）、レンズ装置のマウント３４６（送信手段、受信手段）及びマウント通信部３５０（送信手段、受信手段）、並びにマウント２４６及びマウント３４６に設けられた端子を介して通信を行い、レンズ移動指令を送受信する。

レンズ移動指令には、制御対象（ズームレンズＺＬ／フォーカスレンズＦＬ／絞りＩ）、駆動モード、数値（ズームレンズＺＬ・フォーカスレンズＦＬの目標位置、絞りＩの絞り値、等）、ブレーキＯＮ／ＯＦＦ情報（目標位置においてモータ３２６のコイルを短絡させてブレーキを掛けるか否かを示す情報）が含まれる。撮像装置本体２００とレンズ装置３００との間では上記の他、制御ステータス通信用端子を介して各種制御ステータス（レンズ駆動開始／完了通知等）の通信が行われる。

＜コントラストＡＦ＞
次に、コントラストＡＦについて、図４及び図５を参照して説明する。

図４には、コントラストＡＦ処理のフロー図が示されている。コントラストＡＦ処理がスタートすると、先ず、メインＣＰＵ２１４は、フォーカスレンズＦＬのレンズ位置を検出する為に、フォーカスレンズＦＬをホームポジション（ＨＰ）に移動させるレンズ移動指令をレンズ装置３００に出力し、フォーカスレンズＦＬをＨＰに移動させる（ステップＳ１０）。

フォーカスレンズＦＬがＨＰに移動すると、アップダウンカウンタ３２０−８（図６）のカウント値をリセットし、カウント値ｉ＝０にする（ステップＳ１２）。尚、ＨＰには、フォトインタラプタ等のＨＰセンサ３２２（図６）が設けられており、ＨＰセンサ３２２は、レンズ移動指令に基づいて移動中のフォーカスレンズＦＬがＨＰに達すると、レンズ検出信号を出力する。このレンズ検出信号は、レンズ位置検出手段として機能するアップダウンカウンタ３２０−８のカウント値を０にリセットするリセット信号として使用される。又、フォーカスレンズＦＬのＨＰへの移動は、撮像装置本体２００にレンズ装置３００を装着した時に行ってもよいし、電源を投入した時に行ってもよい。

続いて、メインＣＰＵ２１４は、図５に示すようにフォーカスレンズＦＬを無限側（ＩＮＦ）から至近端まで移動（ＡＦサーチ）させるレンズ移動指令をレンズ装置３００に出力する（ステップＳ１４）。

ＡＦサーチ中、メインＣＰＵ２１４は、レンズ装置３００のアップダウンカウンタ３２０−８からカウント値をレンズ位置信号として取得し（ステップＳ１６）、又、適宜のレンズ位置毎にフォーカス領域内の画像データを取得し、ＡＦ検出部２２２（図３）にてＡＦ評価値の算出を行わせる（ステップＳ１８）。尚、ＡＦ検出部２２２は、フォーカス領域内の画像データの高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出し、算出したＡＦ評価値をメインＣＰＵ２１４に出力する。

メインＣＰＵ２１４は、ＡＦサーチが終了したか否か（即ち、カウント値ｉ（フォーカスレンズＦＬ位置）が至近端（０．２０）であるか否か）を判断し（ステップＳ２０）、カウント値ｉが至近端でない場合は、ステップＳ１４に遷移させ、ＡＦサーチを続行させる。

一方、ＡＦサーチが終了した判断すると、メインＣＰＵ２１４は、ステップＳ１６、Ｓ
１８で取得した各ＡＦ評価値とレンズ位置とに基づいて、ＡＦ評価値が最大になるレンズ位置（合焦位置）を算出する（ステップＳ２２、図５の（Ａ））。

メインＣＰＵ２１４は、算出した合焦位置にフォーカスレンズＦＬを移動させるレンズ位置指令をレンズ装置３００に出力し、フォーカスレンズＦＬを合焦位置に移動させる（ステップＳ２４、図５の（Ｂ））。

又、メインＣＰＵ２１４は、ステップＳ２２で算出したレンズ位置から被写体距離を算出する（ステップＳ２６）。

＜フォーカスレンズ制御部＞
図６は、フォーカスレンズ制御部３２０の機能ブロック図が示されている。フォーカスレンズ制御部３２０には、メインＣＰＵ２１４からレンズＣＰＵ３４０を介してレンズ移動指令が送られる。

フォーカスレンズ制御部３２０は、主にコントローラ３２０−２、ドライバ３２０−４、モータ３２０−６、及びアップダウンカウンタ３２０−８により構成されている。レンズＣＰＵ３４０からのレンズ移動指令をコントローラ３２０−２によって受信する。そして、コントローラ３２０−２からレンズ移動指令に応じたパルス信号を出力する。コントローラ３２０−２から出力されたパルス信号は、ドライバ３２０−４に入力さる。そして、ドライバ３２０−４は、入力されたパルス信号に応じてモータ３２０−６を駆動する。尚、モータ３２０−６は、ステッピングモータを用いることが好ましい。一方、コントローラ３２０−２から出力されるパルス信号は、アップダウンカウンタ３２０−８にも送られる。

アップダウンカウンタ３２０−８は、送られてきたパルス信号をカウントし、カウント値を出力する。尚、アップダウンカウンタ３２０−８は、前述したようにＨＰセンサ３２２によりフォーカスレンズＦＬがＨＰに達すると、０にリセットされる為、アップダウンカウンタ３２０−８のカウント値は、ＨＰを基準にしたフォーカスレンズＦＬのレンズ位置を示す。

＜点像復元処理＞
図７は、点像復元処理を行うメインＣＰＵ２１４及びデジタル信号処理部２０６の要部ブロック図を示す。メインＣＰＵ２１４は、復元処理用の機能としてレンズ位置入力部２１４−２、第１の被写体距離推定部２１４−４、推定ばらつき取得部２１４−６、及び第２の被写体距離推定部２１４−８を備えている。

レンズ位置入力部２１４−２は、フォーカスレンズＦＬの合焦制御後のアップダウンカウンタ３２０−８の現在のカウント値を、レンズ位置を示す情報として入力する。

第１の被写体距離推定部２１４−４は、レンズ位置入力部２１４−２からレンズ位置を示す情報を入力し、現在のレンズ位置のフォーカスレンズＦＬにより合焦する被写体の距離（被写体距離）を推定する。尚、フォーカスレンズＦＬのレンズ位置と、そのレンズ位置により合焦する被写体距離とは一定の関係にある為、フォーカスレンズＦＬのレンズ位置から被写体距離を推定することができる。

第１の被写体距離推定部２１４−４により推定された被写体距離（第１の被写体距離）を示す情報は、推定ばらつき取得部２１４−６、及び第２の被写体距離推定部２１４−８に出力される。

推定ばらつき取得部２１４−６は、第１の被写体距離推定部２１４−４から入力する第１の被写体距離を示す情報に基づいて、第１の被写体距離の誤差（推定ばらつき）を算出する。

ここで、推定ばらつきとは、フォーカスレンズＦＬのレンズ位置から推定した第１の被写体距離のばらつきであり、フォーカスレンズＦＬの合焦停止位置の検出精度等に起因して発生する。例えば、温度によりレンズ鏡胴特性が変化すると、被写体距離が一定でも、フォーカスレンズＦＬの合焦停止位置が変わり、誤測距される（推定ばらつきが発生する）。

又、推定ばらつきは、第１の被写体距離を中心に無限遠側と至近端側に延びるように誤差範囲（推定ばらつきの範囲）が存在する。推定ばらつき取得部２１４−６は、第１の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを算出する。

例えば、被写体距離が一定でも、ＨＰ（又はＩＮＦ）からのアップダウンカウンタ３２０−８のカウント値が、本来のカウント値と異なる場合（フォーカスレンズＦＬの合焦停止位置が異なる場合）、このカウント値の誤差が推定ばらつきとなる。カウント値の誤差が、±ｎパルスの範囲で発生するレンズ装置の場合、ｎパルス分のフォーカスレンズＦＬの移動量が、無限遠側の最大の推定ばらつきに相当する。尚、１パルス当りの合焦被写体距離の変化量は、現在のフォーカスレンズＦＬの合焦停止位置（第１の被写体距離）により異なる為、推定ばらつき取得部２１４−６は、第１の被写体距離を示す情報とカウント値の誤差の情報（ｎパルス）とに基づいて第１の被写体距離の推定ばらつきを算出する。

尚、誤差は、種々な条件によって算出されてもよいし、又は誤差を記憶する手段である誤差記憶部（図示せず）に格納されている誤差データベースから選択されてもよい。例えば、誤差は、交換レンズにおいて固体特有（個体差）のものであったり、交換レンズの温度特性に依存したりする。

例えば、交換レンズ式の撮像装置１００の場合には、交換レンズ毎に誤差範囲が変わるので、推定ばらつき取得部２１４−６内に、誤差（推定ばらつき）を記憶する手段である推定ばらつき記憶部を有して、交換レンズ毎の誤差（推定ばらつき）を記憶してもよい。この場合、レンズ装置３００が装着されると、そのレンズ装置３００に係る情報を取得し、その情報に基づいて、推定ばらつき記憶部から対応する推定ばらつきを取得する。尚、上記推定ばらつき記憶部は、レンズ装置３００内に設置されていてもよい。

推定ばらつき取得部２１４−６により算出された推定ばらつきを示す情報は、第２の被写体距離推定部２１４−８に出力される。第２の被写体距離推定部２１４−８は、推定された第１の被写体距離と無限遠側の最大誤差（推定ばらつき）とを加算した第２の被写体距離を算出し、算出した第２の被写体距離を示す情報をデジタル信号処理部２０６の復元フィルタ選択部２０６−４に出力する。

デジタル信号処理部２０６において、復元処理に関する要部は、復元処理部２０６−２、復元フィルタ選択部２０６−４、及び復元フィルタ記憶部２０６−６である。

復元フィルタ記憶部２０６−６は、レンズ装置３００を含む各種レンズの点像分布関数に基づいて作成した複数の復元フィルタを、レンズ毎に記憶している。又、複数の復元フィルタは、被写体距離、ズーム倍率、Ｆナンバー、及び像高（復元領域）の組み合わせに対応するものであり、多数の復元フィルタである。尚、説明を簡単にする為に、復元フィルタ記憶部２０６−６は、被写体距離に対応して離散的に復元フィルタを記憶しているものとする。

復元フィルタ選択部２０６−４は、第２の被写体距離推定部２１４−８から第２の被写体距離を示す情報を入力しており、この入力情報に基づいて復元フィルタ記憶部２０６−６から第２の被写体距離に対応する復元フィルタを選択する。ここで、第２の被写体距離に対応する復元フィルタが復元フィルタ記憶部２０６−６に記憶されていない場合には、第２の被写体距離に最も近い無限遠側の復元フィルタを選択する。尚、復元フィルタの選択方法の詳細については後述する。

復元処理部２０６−２は、復元フィルタ選択部２０６−４により選択された復元フィルタを使用して画像データに対して復元処理を行う。

次に、復元フィルタの生成方法について説明する。

まず、撮像装置１００の出荷前等の調整時に、その撮像装置１００のレンズ装置３００の撮影レンズの点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を測定する為に、レンズ装置３００により点像（点光源）を撮像し、収差によりボケている（点像が広がっている）画像を取得する。

このとき、撮像素子２０２は、測定専用のものを使用する方法と、実際に撮像装置１００に組み込まれる撮像素子２０２を使用する方法とがある。前者の場合は、レンズ装置３００のみに対応するＰＳＦの測定に適し、後者の場合は、撮像素子２０２の影響（カラーフィルタ等）も考慮したＰＳＦの測定に適している。

続いて、レンズ装置３００及び撮像素子２０２を含む撮像部による点像の撮像により取得したボケた画像をＧ（Ｘ，Ｙ）、元の点像をＦ（Ｘ，Ｙ）、点像分布関数（ＰＳＦ）をＨ（Ｘ，Ｙ）とすると、次式で関係を表すことができる。

［式１］
Ｇ（Ｘ，Ｙ）＝Ｈ（Ｘ，Ｙ）＊Ｆ（Ｘ，Ｙ）
ただし、＊はコンボリューションを示す。

上記での点像の撮像により取得したボケた画像Ｇ（Ｘ，Ｙ）に基づいて［式１］のＨ（Ｘ，Ｙ）（即ち、点像分布関数（ＰＳＦ））を求める。

次に、上記求めた点像分布関数（ＰＳＦ）の逆関数を求める。この逆関数をＲ（Ｘ，Ｙ）とすると、次式のように位相変調された画像Ｇ（Ｘ，Ｙ）を、Ｒ（Ｘ，Ｙ）によりコンボリューション処理することにより、元の画像Ｆ（Ｘ，Ｙ）に対応する復元画像が得られる（復元処理）。

［式２］
Ｇ（Ｘ，Ｙ）＊Ｒ（Ｘ，Ｙ）＝Ｆ（Ｘ，Ｙ）
このＲ（Ｘ，Ｙ）を復元フィルタという。復元フィルタは、原画像と復元画像との２乗平均誤差を最小にする最小２乗フィルタ（ウィナーフィルタ）、制限付き逆畳み込みフィルタ、再帰フィルタ、準同形フィルタ等を利用することができる。

［第１の実施形態］
図８から図１０は、復元フィルタ選択部２０６−４及び復元フィルタ記憶部２０６−６により行われる、本発明の第１の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。

図８は、至近端（０．２ｍ）から無限遠（ＩＮＦ）までの範囲内で、所定の被写体距離間隔を持つ複数の被写体距離別の点像分布関数（ＰＳＦ）のイメージ図である。前述したように、これらのＰＳＦに基づいて復元フィルタは生成される。

図８に示すように無限遠側のＰＳＦは、至近側のＰＳＦよりも広がりが小さく、したがって、無限遠側の復元フィルタによる復元処理は、至近側の復元フィルタによる復元処理よりも弱い復元処理となる。

又、図８に示す例では、至近端（０．２ｍ）から無限遠までの範囲（撮影可能範囲）のうちの至近端（０．２ｍ）、０．２５ｍ、０．３３ｍ、０．５ｍ、１ｍ、及びＩＮＦの６つの距離（被写体距離）に対応する復元フィルタが記憶されているものとする。尚、これらの被写体距離は、フォーカスレンズＦＬの至近端からＩＮＦまでの移動量をほぼ５等分した各レンズ位置に対応する被写体距離である。

図８中の矢印で示した範囲は、第１の被写体距離推定部２１４−４により０．２ｍ、０．２５ｍ、０．３３ｍ、０．５ｍ、１ｍ、又はＩＮＦが推定され場合における各被写体距離における推定ばらつきの範囲を示している。

又、図中の矢印先端の丸印は、第１の被写体距離推定部２１４−４により推定された被写体距離（第１の被写体距離）が、０．２ｍ、０．２５ｍ、０．３３ｍ、０．５ｍ、１ｍ、又はＩＮＦの場合に、第１の被写体距離とその第１の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきとを加算した距離（第２の被写体距離）を示している。

図８において、第１の被写体距離推定部２１４−４により推定された第１の被写体距離が０．２ｍの場合は、誤差範囲が０．２５ｍから０．２ｍまであり、無限遠側の最大の推定ばらつきを考慮した、第２の被写体距離推定部２１４−８により推定される第２の被写体距離は０．２５ｍである。そして、第２の被写体距離に最も近い無限遠側の復元フィルタを使用する。すなわち、０．２５ｍの被写体距離に対応して生成された復元フィルタを選択し、過補正を防ぐ。すなわち、第２の被写体距離に最も近い無限遠側に対応した復元フィルタを選択することになる。

ここで、復元処理における過補正とは、実際の被写体距離よりも近い被写体距離を推定してしまい、本来使用すべき復元フィルタよりも強い（大きい）復元フィルタを使用して復元処理を行うことである。復元処理における過補正が行われると、得られる画像の質が悪化してしまう。

復元処理の過補正が発生する具体例としては、第１の被写体距離推定部２１４−４により推定された第１の被写体距離が０．２５ｍ、誤差範囲が０．３３ｍから０．２ｍとなる場合に、０．２５ｍ又は０．２ｍの被写体距離に対応して生成された復元フィルタを選択すると、復元処理が過補正になる可能性がある。すなわち、実際の被写体距離は０．３３ｍから０．２ｍであるので、仮に実際の被写体距離が０．３３ｍであった場合には、０．２５ｍ又は０．２ｍの被写体距離に対応して生成された復元フィルタを使用しての復元処理は、過補正になる。

一方で、第２の被写体距離に対して、無限遠側に大きく離れた被写体距離に対応して生成された復元フィルタを使用する場合、復元処理の効果を十分に得ることができない。例えば、第２の被写体距離は０．２５ｍであるのに、ＩＮＦに対応する復元フィルタを使用して復元処理を行うと、復元処理が弱く、復元処理の効果を十分に得ることができない。

よって、第１の被写体距離推定部２１４−４により推定された第１の被写体距離が０．２５ｍ、第２の被写体距離推定部２１４−８により推定された第２の被写体距離が０．３３ｍである場合に、０．３３ｍの被写体距離に対応して生成された復元フィルタを使用することにより、過補正の発生を防ぐことが可能となる。

図８において、第１の被写体距離として０．２５ｍ、０．３３ｍ、０．５ｍ、１ｍ、又はＩＮＦが推定された場合も同様に、矢印の範囲が被写体距離の誤差範囲を示し、誤差範囲内において、第２の被写体距離に最も近い無限遠側に対応した復元フィルタを選択するので、第１の被写体距離として０．２５ｍが推定された場合には、０．３３ｍの被写体距離に対応して生成された復元フィルタを使用し、０．３３ｍが推定された場合には、０．５ｍの被写体距離に対応して生成された復元フィルタを使用し、０．５ｍが推定された場合には、１ｍの被写体距離に対応して生成された復元フィルタを使用し、ＩＮＦが推定された場合には、ＩＮＦの被写体距離に対応して生成された復元フィルタを使用する。

又、第１の被写体距離として、０．２ｍ、０．２５ｍ、０．３３ｍ、０．５ｍ、１ｍ、又はＩＮＦ以外の被写体距離が推定された場合、例えば、０．３３ｍと０．５ｍとの間の被写体距離が推定され場合には、最大の推定ばらつきを考慮した第２の被写体距離は、０．５ｍと１ｍとの間の被写体距離になる。したがって、この第２の被写体距離に最も近い無限遠側の復元フィルタは、１ｍの被写体距離に対応して生成された復元フィルタである。

又、撮像装置１００において、予め遠方を撮影することが決められている場合（風景モード）での撮影には、第２の被写体距離に関わらず、ＩＮＦの被写体距離に対応して生成された復元フィルタを使用するようにしてもよい。

図９は、レンズ装置３００とは異なるレンズ（交換レンズ)に対応する測距誤差等を示しており、レンズの種類により温度特性が異なったり、個体差がある為、フォーカスレンズの合焦停止位置から推定される被写体距離の推定ばらつきが異なっている。

図９は、図８の場合に比べて、矢印の範囲で示す推定ばらつき（誤差範囲）が大きい（長い）場合に関して示している。図９の場合において、第２の被写体距離から最大の取り得る被写体距離に最も近い無限遠側の復元フィルタを使用する。すなわち、第１の被写体距離として０．２ｍが推定された場合、０．３３ｍの被写体距離に対応して生成された復元フィルタを使用し、０．２５ｍが推定された場合、０．５ｍの被写体距離に対応して生成された復元フィルタを使用し、０．３３ｍが推定された場合、１ｍの被写体距離に対応して生成された復元フィルタを使用し、１ｍ以上が推定された場合、ＩＮＦの被写体距離に対応して生成された復元フィルタを使用する。

図１０は、図９の場合に比べて、更に誤差範囲が大きい（長い）場合を示している。図１０の場合、第１の被写体距離として至近端（０．２ｍ）が推定されても、その推定ばらつきを考慮した被写体距離（第２の被写体距離）は、１ｍよりも大きい。したがって、過補正にならない復元フィルタは、ＩＮＦに対応して生成された復元フィルタのみである。即ち、図１０に示す推定ばらつきを有するレンズの場合、推定される被写体距離に関わらず、ＩＮＦに対応して生成された復元フィルタのみを使用する。

［第２の実施形態］
図１１から図１３は、本発明の第２の実施形態における復元フィルタの記憶及び選択の仕方を説明する図である。

図１１から図１３に示される第２の実施形態は、図８から図１０に示される第１の実施形態と同様に被写体距離に対応する復元フィルタを記憶するようにしているが、第２の実施形態では、復元フィルタの復元フィルタ記憶部２０６−６への記憶のさせ方が異なる。

第２の実施形態では、復元フィルタ記憶部である復元フィルタ記憶部２０６−６は、第１の被写体距離推定部２１４−４により推定される最も至近側の被写体距離に、最も至近側の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきだけ加算した被写体距離（以下「推定ばらつき至近距離」という）と、無限遠との範囲内に相当する復元フィルタを記憶させている。

推定ばらつき至近距離よりも至近側の範囲内の復元フィルタは、過補正になる復元処理を行う可能性がある。そこで、復元フィルタ記憶部２０６−６には、推定ばらつき至近距離と無限遠との範囲内に相当する複数の復元フィルタのみを記憶させ、推定ばらつき至近距離よりも至近側の範囲内の復元フィルタは、初めから記憶させないようにする。これにより、復元フィルタ記憶部２０６−６に記憶させる復元フィルタの数を低減するようにしている。

すなわち、第１の実施形態において、復元フィルタは、予め設定された複数の被写体距離毎に使用するか否かに関わらず、復元フィルタ記憶部２０６−６に記憶されているのに対して、第２の実施形態では、被写体距離の誤差範囲との関係で使用しない復元フィルタは、復元フィルタ記憶部２０６−６へ記憶させない（図１１から図１３を参照）。

図１１は、図８に示された第１の実施形態に対応する第２の実施形態を示した図である。図１１に示された第２の実施形態と図８に示された第１の実施形態を比較すると、第２の実施形態では、０．２ｍの被写体距離に対応する復元フィルタが無い点で相違する。

図１１の矢印で示す推定ばらつきの場合、第１の被写体距離が至近端（０．２ｍ）であると推定されたとしても、誤差範囲を考えると、第２の被写体距離（推定ばらつき至近距離）は０．２５ｍであり、推定ばらつき至近距離に最も近い無限遠側に対応した復元フィルタは、０．２５ｍの被写体距離に対応して生成された復元フィルタとなる。言い換えると、図１１に示されたような誤差範囲を持つ場合には、図８に示されるような０．２ｍの被写体距離に対応して生成された復元フィルタは、第１の被写体距離がいくつであっても使用しない。そして、使用しない復元フィルタは、復元フィルタ記憶部２０６−６に記憶させてない。

図１２は、図９に示された第１の実施形態に対応する第２の実施形態を示した図である。図１２に示された第２の実施形態と図９に示された第１の実施形態を比較すると、第２の実施形態では、０．２ｍ及び０．２５ｍの被写体距離に対応する復元フィルタが無い点で相違する。

図１２の矢印で示す推定ばらつきの場合、第１の被写体距離が至近端（０．２ｍ）であると推定されたとしても、誤差範囲を考えると、第２の被写体距離（推定ばらつき至近距離）は０．３３ｍであり、推定ばらつき至近距離に最も近い無限遠側に対応した復元フィルタは、０．３３ｍの被写体距離に対応して生成された復元フィルタとなる。言い換えると、図１２に示されたような誤差範囲を持つ場合には、図９に示されるような０．２ｍ、０．２５ｍの被写体距離に対応して生成された復元フィルタは、第１の被写体距離がいくつであっても使用しない。そして、使用しない復元フィルタは、復元フィルタ記憶部２０６−６に記憶させてない。

図１３は、図１０に示された第１の実施形態に対応する第２の実施形態を示した図である。図１３に示された第２の実施形態と図１０に示された第１の実施形態を比較すると、第２の実施形態では、０．２ｍ、０．２５ｍ、０．３３ｍ、０．５ｍ、及び１ｍの被写体距離に対応する復元フィルタが無い点で相違する。

図１３の矢印で示す推定ばらつきの場合、第１の被写体距離が至近端（０．２ｍ）であると推定されたとしても、誤差範囲を考えると、第２の被写体距離（推定ばらつき至近距離）は１ｍより大きく、推定ばらつき至近距離に最も近い無限遠側に対応した復元フィルタは、ＩＮＦ（１）の復元フィルタとなる。言い換えると、図１３に示されたような誤差範囲を持つ場合には、図１０に示されるような（２）から（６）の復元フィルタは、第１の被写体距離がいくつであっても使用しない。そして、使用しない（２）から（６）の復元フィルタは、復元フィルタ記憶部２０６−６に記憶させてなく、誤差範囲の関係から選択された（１）の復元フィルタが復元フィルタ記憶部２０６−６に記憶されている。

このように、図１１から図１３に示された第２の実施形態では、誤差範囲との関係で使用しない復元フィルタを復元フィルタ記憶部２０６−６に記憶させていない。これにより、復元フィルタを記憶させる為のメモリ容量を軽減することができる。

又、復元フィルタ記憶部である復元フィルタ記憶部は、推定ばらつきに対応してそれぞれ複数の復元フィルタが格納された複数のテーブルを有して、復元フィルタ選択部は、推定ばらつき取得部２１４−６により取得した推定ばらつきの大きさに応じて複数のテーブルから対応するテーブルを選択し、選択したテーブルから復元フィルタを選択してもよい。

図１４は、撮像装置１００の他の実施形態であるスマートフォン５００の外観を示すものである。図１４に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面にモニタ２１２としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。又、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、モニタ２１２と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１５は、図１４に示すスマートフォン５００の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。又、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１４に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更に又、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。又、図１４に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１４に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ ＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続する為のものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。又、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行う為に、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る２Ｄ画像から３Ｄ画像を生成する機能などがある。

又、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動する為のアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成する為のウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付ける為のソフトウェアキーのことをいう。

又、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示用画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

又、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子２０２を用いて電子撮影するデジタルカメラであり、図１等に示した撮像装置１００と同様の機能を備えている。

即ち、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替えることができるように構成され、マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォース用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。そして、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。

又、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１４に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

又、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。又、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。

又、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１００…撮像装置、２００…撮像装置本体、２０２…撮像素子、２０６…デジタル信号処理部、２１２…モニタ、２１４…メインＣＰＵ、２２０…操作部、２１４…ＡＦ検出部、３００…レンズ装置、３２０…Ｆレンズ制御部、３４０…レンズＣＰＵ、５００…スマートフォン

Claims (11)

1. 撮影レンズにより結像された被写体像を撮像し、該被写体像を示す画像を取得する撮像部と、
   前記撮像部による撮像時の、焦点検出部より推定した被写体距離を求める第１の被写体距離推定部と、
   少なくとも被写体距離に対応した点像分布関数に基づいて作成した複数の復元フィルタを記憶する復元フィルタ記憶部と、
   前記第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを取得する推定ばらつき取得部と、
   前記第１の被写体距離推定部により推定した被写体距離に前記推定ばらつき取得部により取得した無限遠側の最大の推定ばらつきを加算した被写体距離を算出する第２の被写体距離推定部と、
   前記復元フィルタ記憶部に記憶された複数の復元フィルタのうちの前記第２の被写体距離推定部により算出した被写体距離に最も近い無限遠側に対応した復元フィルタを選択する復元フィルタ選択部と、
   前記復元フィルタ選択部により選択した復元フィルタを使用して前記撮像部により取得した画像の復元処理を行う復元処理部と、
   を備えた撮像装置。
2. 前記第１の被写体距離推定部は、前記撮影レンズのフォーカスレンズのレンズ位置に基づいて被写体距離を推定する請求項１に記載の撮像装置。
3. 前記撮影レンズは交換レンズであり、
   前記推定ばらつき取得部は、前記交換レンズ毎に該交換レンズの無限遠側の最大の推定ばらつきを記憶する推定ばらつき記憶部を有し、装着された前記交換レンズの情報を取得し、取得した前記交換レンズの情報に基づいて前記推定ばらつき記憶部から対応する推定ばらつきを取得する請求項２に記載の撮像装置。
4. 前記撮影レンズは、前記第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを記憶する推定ばらつき記憶部を有するレンズであり、
   前記推定ばらつき取得部は、前記レンズの推定ばらつき記憶部から推定ばらつきを取得する請求項２に記載の撮像装置。
5. 前記第１の被写体距離推定部により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきは、交換レンズの個体差による推定ばらつき、及び交換レンズの温度特性による推定ばらつきのうちの少なくとも一方である請求項２から４のいずれか１項に記載の撮像装置。
6. 前記復元フィルタ記憶部は、前記第１の被写体距離推定部により推定される最も至近側の被写体距離に前記最も至近側の被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきだけ加算した被写体距離と、無限遠との範囲内に相当する複数の復元フィルタを記憶する請求項１から５のいずれか１項に記載の撮像装置。
7. 前記復元フィルタ記憶部は、前記撮影レンズに関わらず被写体距離に対応した前記複数の復元フィルタを記憶する請求項１から６のいずれか１項に記載の撮像装置。
8. 前記撮影レンズは、前記復元フィルタ記憶部が内蔵された交換レンズである請求項１から７のいずれか１項に記載の撮像装置。
9. 前記復元処理部により復元処理して得られた画像を記録する記録部を備えた請求項１から８のいずれか１項に記載の撮像装置。
10. 前記復元フィルタ記憶部は、前記推定ばらつきに対応してそれぞれ複数の復元フィルタが格納された複数のテーブルを持ち、
    前記復元フィルタ選択部は、前記推定ばらつき取得部により取得した推定ばらつきの大きさに応じて前記複数のテーブルから対応するテーブルを選択し、選択したテーブルから前記復元フィルタを選択する請求項１から９のいずれか１項に記載の撮像装置。
11. 撮像部から被写体像を示す画像を取得する画像取得工程と、
    前記撮像部による撮像時の焦点検出部より推定した被写体距離を求める第１の被写体距離推定工程と、
    少なくとも被写体距離に対応した点像分布関数に基づいて作成した複数の復元フィルタを記憶する復元フィルタ記憶部を準備する工程と、
    前記第１の被写体距離推定工程により推定した被写体距離に対する推定ばらつきの範囲のうちの無限遠側の最大の推定ばらつきを取得する推定ばらつき取得工程と、
    前記第１の被写体距離推定工程により推定した被写体距離に前記推定ばらつき取得工程により取得した無限遠側の最大の推定ばらつきを加算した被写体距離を算出する第２の被写体距離推定工程と、
    前記復元フィルタ記憶部に記憶された複数の復元フィルタのうちの前記第２の被写体距離推定工程により算出した被写体距離に最も近い無限遠側に対応した復元フィルタを選択する復元フィルタ選択工程と、
    前記復元フィルタ選択工程により選択した復元フィルタを使用して前記撮像部により取得した画像の復元処理を行う復元処理工程と、
    を含む画像処理方法。

Images