JPWO2014155814A1 - 撮像装置 - Google Patents

Abstract

本発明の一態様に係る撮像装置は、撮像部５と、撮像部５により撮影される撮影画像、及び点像復元処理のキャリブレーションに使用するキャリブレーション画像の撮影を補助する撮影画像におけるサジタル方向又はタンジェンシャル方向に沿った直線状であるガイド１０を表示する表示部２２５と、ガイド１０により補助されて撮像部５により撮影された、キャリブレーション画像に基づいて、点像復元処理のパラメータを算出するパラメータ算出部２２８と、を備える。

Description

本発明は、撮像装置に関する技術であり、特に点像分布関数（ＰＳＦ：Point Spread Function）に基づいて行われる、撮影画像に対する点像復元処理に関する。

デジタルカメラ等の撮像装置により、被写体を撮影して得られた撮影画像には、光学系（撮影レンズ等）の種々の収差に由来する画像劣化が起こる場合がある。

この収差に由来する画像劣化（回折ボケ、周辺ボケ、倍率色収差等）を防ぐために、被写体像の画像データに画像処理を行って、収差に由来する画像劣化を取り除く（修正する）技術が考えられてきた。

収差による画像劣化は、点像分布関数（ＰＳＦ：Point Spread Function）により表現することができ、画質劣化した撮影画像に対し点像分布関数に基づく点像復元処理を行うことで画質を回復することができる。すなわち、点像復元処理は、点像分布関数の復元フィルタ（逆フィルタ）を撮影画像データにかけることによって、画像劣化をキャンセルする処理である。

画像劣化は光学系（レンズ）の個体ばらつきによって影響を受けるため、光学系の個体ばらつきに応じて復元フィルタに関するパラメータを調節することが望ましい。

特許文献１には、各画像記録装置で撮影した調整用チャートの撮影データから得られる測定ＰＳＦデータを用いて画像データを復元し、個体差（個体ばらつき）に応じた復元を行うことができる技術が開示されている。

特許文献２には、被写界深度拡大光学系を通して所定のボケを与えるように形成した光学像を撮像し、ボケた境界の強度分布と目標境界の強度分布とから復元フィルタを作成する技術が開示されている。

特許文献３には、製造ばらつきによるレンズの特性に違いがある場合であっても、ユーザーが指定する解像度・色滲み等の回復項目に応じて、回復処理前後の周波数成分の自乗誤差の大きい領域を自動で抽出・表示し、ユーザーの調整操作に応じて、指定回復項目についてパラメータを調整する技術が開示されている。

特開２０１０−０８６１３８号公報 特開２０１１−１２４６９２号公報 特開２０１１−１９３２７７号公報

しかしながら、特許文献１には、調整用チャートの撮影を行うことに関して、撮影の補助という観点の技術は開示されていない。このため、特許文献１に記載された技術では、調整用チャートを適切に撮影することができない場合がある。

又、特許文献２には、被写界深度拡大光学系を通して所定のボケを与えるように形成した光学像の撮像に関して、撮像の補助という観点の技術は開示されていない。このため、特許文献２に記載された技術では、適切に撮像を行うことができない場合がある。

又、特許文献３には、画像データを取得することに関して、撮影の補助という観点の技術は開示されていない。このため、特許文献３に記載された技術では、画像データを適切に取得することができない場合がある。

本発明はこのような事情に鑑みてなされたもので、点像復元処理を行う上でのパラメータの調整（キャリブレーション）に適した画像（キャリブレーション画像）を的確且つ容易に取得することができる撮像装置、キャリブレーション方法、プログラム及び記録媒体を提供することを目的とする。

上記目的を達成するために、本発明の一の態様にかかる撮像装置は、撮像部と、撮像部により撮影される撮影画像、及び点像復元処理のキャリブレーションに使用するキャリブレーション画像の撮影を補助する撮影画像におけるサジタル方向又はタンジェンシャル方向に沿った直線状であるガイドを表示する表示部と、ガイドにより補助されて撮像部により撮影された、キャリブレーション画像に基づいて、点像復元処理のパラメータを算出するパラメータ算出部と、を備える。

これにより、ガイドによって補助されて適切なキャリブレーション画像を取得することができ、個々の撮像装置に適した点像復元処理を行うことができる撮像装置を提供することができる。

撮像装置において、好ましくは、表示部に表示されるガイドが、撮影画像の像高に応じて配置される。これにより、像高に応じた的確なキャリブレーション画像を取得することができる。

撮像装置において、好ましくは、表示部に表示されるガイドが、第１のガイド及び第１のガイドと平行でない第２のガイドである。

これにより、より的確なキャリブレーション画像を取得することができ、より的確な点像復元処理のパラメータに関するキャリブレーションを行うことができる。

撮像装置において、好ましくは、撮像部が、ブラケッティング撮影モードを有し、パラメータ算出部は、ガイドにより補助されて撮像部によりブラケッティング撮影された、複数のキャリブレーション画像に基づいて、点像復元処理のパラメータを算出する。

これにより、様々な撮影条件におけるキャリブレーション画像を取得することができ、様々な撮影条件での点像復元処理が適切に行える。

撮像装置において、好ましくは、撮像部が、ブラケッティング撮影モードにより、Ｆ値毎にキャリブレーション画像を撮影する。

これにより、Ｆ値毎のキャリブレーション画像を取得することができ、より的確なキャリブレーションを行うことができる。

撮像装置において、好ましくは、パラメータ算出部が、ガイドにより補助されて撮像部によりに撮影された、複数のキャリブレーション画像に基づいて点像復元処理のパラメータを算出する。

これにより、より精度の高い点像復元処理のパラメータに関するキャリブレーションを行うことができる。

撮像装置において、好ましくは、表示部は、さらに、キャリブレーション画像を撮影するための撮影条件を表示し、パラメータ算出部は、撮影条件下で、ガイドにより補助されて撮像部により撮影されたキャリブレーション画像に基づいて、点像復元処理のパラメータを算出する。これにより、的確な撮影条件の下でキャリブレーション画像を撮影することが可能である。

撮像装置において、好ましくは、撮像部が交換式レンズを有する。又、撮像装置において、好ましくは、撮像部が位相を変調して被写界深度を拡大させるレンズを有する。

撮像装置において、好ましくは、撮像装置が、さらに、点像復元処理のパラメータを予め記憶するパラメータ保持部を備え、パラメータ算出部は、ガイドにより補助されて撮像部により撮影された、キャリブレーション画像に基づいて、パラメータ保持部に記憶されているパラメータを調整する。

これにより、点像復元処理のパラメータをキャリブレーション画像に基づいて、初めから計算して作成する必要がなくなり、計算負荷及び計算時間が軽減される。

撮像装置において、好ましくは、撮像装置が、さらに、撮影画像を解析する画像解析部と、画像解析部による撮影画像の解析結果に基づいて、撮影画像がキャリブレーション画像として適正か否かを判定し、判定結果を出力する画像解析判定部と、を備え、表示部は、さらに、判定結果に基づいた判定情報を表示する。

これにより、画像解析に基づいて、的確なキャリブレーション画像を取得することができ、適正な点像復元処理を行うことができる。

撮像装置において、好ましくは、画像解析部は、撮影画像の明るさ又はぼけ量に関して、撮影画像を解析する。

撮像装置において、好ましくは、画像解析部は、撮影画像に関するＦ値の情報を取得し、キャリブレーションのために設定された露出時間の閾値、キャリブレーションのために設定された撮影感度の閾値、及び取得したＦ値の情報に基づいて、撮影画像の明るさを解析する。

これにより、適した明るさのキャリブレーション画像を取得することができ、より的確な点像復元処理を行うことができる。

撮像装置において、好ましくは、画像解析部は、さらに、ガイドと撮像部により撮影される撮影画像との一致度合いを判別し、一致度合い結果を出力する一致度合判別部を備え、画像解析判定部は、一致度合い結果に基づいて、撮影画像がキャリブレーション画像として適正か否かを判定する。

これにより、的確にガイドに一致した被写体を撮影することが可能であり、的確なキャリブレーション画像を取得することができる。

撮像装置において、好ましくは、撮像装置は、さらに、点像復元処理のパラメータとしてレンズの光学伝達関数に関する情報が予め記憶されている光学伝達関数保持部と、パラメータ算出部により算出される、ガイド毎に撮像部により撮影された複数のキャリブレーション画像に基づいて算出されたレンズの光学伝達関数に関する情報と、光学伝達関数保持部に記憶されているレンズの光学伝達関数に関する情報との差が閾値より大きいか否かを判定し、光学伝達関数についての判定結果を出力する光学伝達関数判定部と、を備え、表示部は、さらに、光学伝達関数についての判定結果に基づいた判定情報を表示する。

これにより、個々のレンズの光学伝達関数に応じた、キャリブレーション画像を取得することができる。

撮像装置において、好ましくは、レンズの光学伝達関数に関する情報は、レンズの変調伝達関数及び位相伝達関数のうち少なくとも一方である。

撮像装置において、好ましくは、表示部は、画像解析判定部が出力した判定結果に応じて、撮影画像の変更を促す表示を行う。

撮像装置において、好ましくは、表示部は、光学伝達関数判定部が出力した判定結果に応じて、キャリブレーション画像の再撮影を促す表示を行う。

上記目的を達成するために、本発明の他の態様に係るキャリブレーション方法は、撮像部により撮影される撮像画像、及び点像復元処理のキャリブレーションに使用するキャリブレーション画像の撮影を補助するガイドを表示部に表示する表示ステップと、ガイドにより補助されて撮像部により撮影された、キャリブレーション画像に基づいて、点像復元処理のパラメータを算出するパラメータ算出ステップと、を含む。

上記目的を達成するために、本発明の他の態様に係るプログラムは、撮像部により撮影される撮像画像、及び点像復元処理のキャリブレーションに使用するキャリブレーション画像の撮影を補助するガイドを表示部に表示する表示ステップと、ガイドにより補助されて撮像部により撮影された、キャリブレーション画像に基づいて、点像復元処理のパラメータを算出するパラメータ算出ステップと、をコンピューターに実行させる。

本発明によれば、ガイド表示によりキャリブレーション画像の取得を補助することにより、容易に的確なキャリブレーション画像を取得することができ、点像復元処理のパラメータのキャリブレーションを適切に行うことができ、個々の撮像装置に適応した点像復元処理を行うことができる。

図１は、本発明の一つの実施形態である撮像装置を示す正面斜視図である。 図２は、本発明の一つの実施形態である撮像装置を示す背面斜視図である。 図３は、本発明の撮像装置の機能ブロック図である。 図４は、表示部内の機能ブロック図である。 図５は、キャリブレーション画像を取得する上で、適した被写体を説明する図である。 図６Ａは、ガイドの表示及びガイド表示パターンを説明する図である。 図６Ｂは、ガイドの表示及びガイド表示パターンを説明する図である。 図６Ｃは、ガイドの表示及びガイド表示パターンを説明する図である。 図６Ｄは、ガイドの表示及びガイド表示パターンを説明する図である。 図７Ａは、パラメータ算出部に関して説明する図である。 図７Ｂは、パラメータ算出部に関して説明する図である。 図８は、点像復元処理を説明する図である。 図９は、本発明の一つの実施形態である撮像装置の動作フロー図である。 図１０Ａは、ガイドの表示形態に関しての変形例１を説明する図である。 図１０Ｂは、ガイドの表示形態に関しての変形例１を説明する図である。 図１０Ｃは、ガイドの表示形態に関しての変形例１を説明する図である。 図１０Ｄは、ガイドの表示形態に関しての変形例１を説明する図である。 図１１Ａは、ガイドの表示形態に関しての変形例２を説明する図である。 図１１Ｂは、ガイドの表示形態に関しての変形例２を説明する図である。 図１１Ｃは、ガイドの表示形態に関しての変形例２を説明する図である。 図１１Ｄは、ガイドの表示形態に関しての変形例２を説明する図である。 ガイドの表示形態に関しての変形例３を行う表示部の機能ブロック図である。 ガイドの表示形態に関しての変形例３を行う撮像装置の動作フロー図である。 ガイドの表示形態に関しての変形例３を行う、一致度合判別部を有する表示部の機能ブロック図である。 図１５Ａは、ガイドの表示形態に関しての変形例３を説明する図である。 図１５Ｂは、ガイドの表示形態に関しての変形例３を説明する図である。 図１６は、ガイドの表示形態に関しての変形例４を行うパラメータ算出部を説明する図である。 図１７は、ガイドの表示形態に関しての変形例４を説明する図である。 図１８Ａは、その他のガイド表示パターンを説明する図である。 図１８Ｂは、その他のガイド表示パターンを説明する図である。 図１９は、ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 図２０は、ＥＤｏＦ光学系の一例を示す図である。 図２１は、図１９に示す復元処理ブロックにおける復元処理の一例を示すフローチャートである。 図２２は、点像復元処理により復元される点像の様子を示す図である。 図２３は、撮像装置の他の態様を示す図である。 図２４は、図２３に示す撮像装置の構成を示すブロック図である。

以下に、本発明の例を、図面を用いて説明する。

図１は、本発明の一の態様の撮像装置１の外観を示す斜視図である。

撮像装置１は、撮像装置本体１００と、撮像装置本体１００に交換可能に装着されるレンズ装置１５０と、から構成される。撮像装置本体１００とレンズ装置１５０とは、撮像装置本体１００に備えられたマウント１４６（送信手段、受信手段）と、マウント１４６に対応するレンズ装置１５０側のマウント（受信手段、送信手段）（図示せず）と、が結合されることにより交換可能に装着される。又、撮像装置本体１００の前面にはマウント１４６の他、フラッシュ１４０が設けられており、撮像装置本体１００の上面にはレリーズボタン（シャッターボタン又はシャッタースイッチ）１２０−１及び撮影モード設定用のダイヤル（モードダイヤル）１２０−２が設けられている。

マウント１４６には端子１４７（送信手段、受信手段）が設けられており、レンズ装置１５０側のマウントには端子（送信手段、受信手段）（図示せず）が設けられている。レンズ装置１５０を撮像装置本体１００に装着すると、端子１４７と、端子１４７に対応するレンズ装置１５０側のマウントの端子とが接触して通信が可能となる。尚、図１における端子１４７は概念的に示したものであり、本発明における端子の位置及び個数はこれらの図におけるものに限定されるものではない。

一方、図２に示すように、撮像装置本体１００の背面には、モニタ（表示画面１１２）、十字ボタン１６０、ＭＥＮＵ／ＯＫボタン１６５、再生ボタン１７０、ＢＡＣＫボタン１７５等が配設されている。

図３は、本発明に係る撮像装置１の実施形態を示すブロック図である。撮像装置１は、撮像部５、表示部２２５、及びパラメータ算出部２２８を有する。さらに、撮像部５は、レンズ部２１８、シャッター２２０、撮像素子２２２、Ａ／Ｄ変換部２３１、中央処理装置（ＣＰＵ：Central Processing Unit）２１２、操作部２１４、デバイス制御部２１６、メモリ部２３６、画像処理部２３８、点像復元処理部２２９、エンコーダ２３０、ドライバ２３２を有する。

撮像装置１は、撮像した撮影画像を内部メモリ（メモリ部２３６）、又は外部の記録メディア（図示せず）に記録することが可能である。撮像装置１の装置全体の動作は、ＣＰＵ２１２によって統括制御される。

撮像装置１には、レリーズボタン１２０−１、モードダイヤル１２０−２、再生ボタン１７０、ＭＥＮＵ／ＯＫボタン１６５、十字ボタン１６０、ズームボタン、及びＢＡＣＫボタン１７５等を含む操作部２１４が設けられている。この操作部２１４からの信号はＣＰＵ２１２に入力され、ＣＰＵ２１２は入力信号に基づいて撮像装置１の各回路を制御し、例えば、デバイス制御部２１６を介してレンズ部２１８、シャッター２２０、画像取得手段として機能する撮像素子２２２を制御すると共に、撮影動作制御、画像処理制御、画像データの記録／再生制御、及び表示部２２５の表示制御などを行う。

レンズ部２１８は、フォーカスレンズ、ズームレンズ、絞り等を含んでいる。レンズ部２１８及びシャッター２２０を通過した光束は、撮像素子２２２の受光面に結像される。又、撮像部５のレンズ部２１８は交換式であってもよいし、非交換式であってもよい。又、撮像部５のレンズ部２１８は、位相を変調して被写界深度を拡大させてもよい。

撮像素子２２２は、多数の受光素子（フォトダイオード）が２次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（又は電荷）に変換される。

撮像素子２２２に使用されるカラーフィルタは、様々な配列（カラーフィルタ配列）を採用することができ、特に限定されるものではない。例えば、撮像素子２２２は、ベイヤー配列を採用することができる。

撮像素子２２２に蓄積された信号電荷は、デバイス制御部２１６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子２２２から読み出された電圧信号は、Ａ／Ｄ変換部２３１に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ（赤色）、Ｇ（緑色）、Ｂ（青色）信号に変換され、一旦、メモリ部２３６に保存される。

メモリ部２３６は、揮発性メモリであるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等を含んでいる。ＳＤＲＡＭは、ＣＰＵ２１２によるプログラムの実行時におけるワークエリアとして、又、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、画像処理プログラムを含むカメラ制御プログラム、撮像素子２２２の画素の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されている。

画像処理部２３８は、メモリ部２３６に一旦格納されたデジタルの画像信号に対して、ホワイトバランス補正、ガンマ補正処理、デモザイク処理（同時化処理）、ＲＧＢ／ＹＣ変換、輪郭補正、色収差補正、点像復元処理等の信号処理を行う。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。尚、本発明においてはこれらの信号処理の順序については特に制限されるものではない。又、画像処理部２３８内に、点像復元処理部２２９が備えられている。点像復元処理部２２９については後述する。

画像処理部２３８で処理された画像データは、エンコーダ２３０において画像表示用のデータにエンコーディングされ、ドライバ２３２を介して撮像装置本体１００の背面に設けられている表示部２２５に出力される。これにより、被写体像が連続的に表示部２２５の表示画面（図２の符号１１２）上に表示される。

操作部２１４のレリーズボタン１２０−１の第１段階の押下（半押し）があると、ＣＰＵ２１２は、ＡＦ（Automatic Focus）動作及びＡＥ（Automatic Exposure）動作を開始させる。そして、ＣＰＵ２１２は、デバイス制御部２１６を介してレンズ部２１８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＣＰＵ２１２は、シャッターボタンの半押し時にＡ／Ｄ変換部２３１から出力される画像データに基づいて被写体の明るさを算出し、露出条件を決定する。尚、露出条件を決定するのは、シャッターボタンの半押し時に限られるものではない。

ＡＥ動作及びＡＦ動作が終了し、レリーズボタン１２０−１の第２段階の押下（全押し）があると、上記決定した露出条件により絞り、シャッター２２０及び撮像素子２２２での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子２２２から読み出され、Ａ／Ｄ変換部２３１によりＡ／Ｄ変換されたＲＧＢのモザイク画像（カラーフィルタ配列に対応する画像）の画像データは、メモリ部２３６に一時的に記憶される。

メモリ部２３６に一時的に記憶された画像データは、画像処理部２３８により適宜読み出され、ここで、ホワイトバランス補正、ガンマ補正、デモザイク（同時化）処理、ＲＧＢ／ＹＣ変換、輪郭補正、色補正、点像復元処理等を含む所定の信号処理が行われる。ＲＧＢ／ＹＣ変換された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ（Joint Photographic Experts Group）方式）にしたがって圧縮される。圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆ（Exchangeable Image File Format）ファイル）形式で内部メモリや外部メモリに記録される。

尚、撮像部５は、ブラケッティング撮影を行うことができるブラケッティング撮影モードを有していてもよい。そして、パラメータ算出部２２８は、ガイドにより補助されて撮像部５によりブラケッティング撮影された、複数のキャリブレーション画像に基づいて、点像復元処理のパラメータを算出する。ここで、ブラケッティング撮影モードとは、自動的に撮影条件を変えて、同様の被写体を連続的に撮影することをいう。この場合の撮影条件とは、Ｆ値（絞り値）、ズームポジション（焦点距離）、被写体距離等のことを意味する。点像復元処理のパラメータは撮影条件ごとに異なるため、キャリブレーション画像の取得も撮影条件ごとに行うことが好ましい。とりわけ、Ｆ値（絞り値）についても異なる値ごとにキャリブレーションを行うことが望ましい。この理由は、キャリブレーション画像の撮影ではＦ値（絞り値）が変わると明るさが変わり、キャリブレーションの精度に大きく影響を与えるからである。又、点像復元処理のパラメータは撮影条件ごとに異なるため、撮影条件ごとにキャリブレーション画像を撮影する場合には撮影条件を変えながら多くの撮影を行わなければならない。したがって、ユーザーに非常に負荷がかかると共にキャリブレーション画像の撮影精度も低下しやすくなる。このため、ブラケッティング撮影を用いてキャリブレーション画像を撮影することにより、ユーザーは容易に撮影条件ごとにキャリブレーション画像を撮影することができると共に撮影精度の低下も抑制できる。

図４は、撮像装置１における表示部２２５の機能ブロック図である。表示部２２５は、主に、表示画面（モニタ）１１２とガイド表示制御部２２４を有している。表示部２２５はＣＰＵ２１２により全体が制御されている。表示画面１１２にはドライバ２３２を介して、画像データが送られる。送られた画像データは、表示画面１１２に表示される。尚、ガイド表示制御部２２４は、ＣＰＵ２１２によって制御されている。

ここで、表示画面１１２に表示される画像データとは、撮像部５により撮影される撮影画像の画像データである。又、撮像部５により撮影される撮影画像とは、ライブビュー画像やスルー画とも呼ばれ、例えば、撮像装置１の電源が入っている状態において表示画面１１２に表示される画像である。

表示部２２５が有するガイド表示制御部２２４は、点像復元処理のキャリブレーションに使用するキャリブレーション画像の撮影を補助するガイドの表示制御を行う。ここで、キャリブレーション画像とは、撮影画像を撮像部５により撮影した画像である。

図５には、キャリブレーション画像として適した被写体の一つの例を示している。図５では、白色の紙Ｗ、白色の紙Ｗの四隅を黒色で塗りつぶした箇所Ｕ、及び白色の紙Ｗの四隅を黒色で塗りつぶすことにより生成されるコントラストの大きい、撮影画像におけるタンジェンシャル方向に沿った直線状の箇所Ｚを示している。図５に示すように、コントラストが大きい箇所Ｚが撮影画像の四隅に配置され、コントラストの大きい箇所Ｚの形状が、撮影画像におけるタンジェンシャル方向に沿った直線状であるような被写体を撮影すると、点像復元処理のパラメータを調整するのに適したキャリブレーション画像の取得が可能となる。

図６Ａから図６Ｄでは、ガイド表示制御部２２４により表示画面１１２に表示されるガイド１０について説明を行う。図６Ａから図６Ｄには、ガイド１０の表示に関してガイド表示パターンを示している。図６Ａから図６Ｄには、ガイド１０が表示画面１１２に表示されている。尚、表示画面１１２では、オートフォーカス（ＡＦ）エリア２０や２２が表示されている様子を示している。

尚、以後の説明では、右、左、下、上という表現を使用するが、これらは、説明を行っている図面に向かって右、説明を行っている図面に向かって左、説明を行っている図面に向かって下、説明を行っている図面に向かって上という意味で使用している。

図６Ａから図６Ｄに示されているガイド１０は、表示画面１１２に表示される撮影画像におけるタンジェンシャル方向に沿った直線状の形状をしている。ここで、直線状とは、直線状の形状であれば特に限定されない意味で使用している。すなわち、ガイド１０は、実線の直線であってもよいし、点線の直線であってもよし、撮影画像が見えるように半透明の直線であってもよい。

又、ガイド１０が直線状にあることにより、キャリブレーションを行う場合のデータの取得面積をより大きくすることができる。さらに、ガイド１０は撮影画像におけるサジタル方向又はタンジェンシャル方向に沿った直線状である。又、点像復元処理のパラメータを調節する観点で、撮影画像におけるサジタル方向又はタンジェンシャル方向にガイド１０が配置されることがよい。すなわち、撮影画像におけるサジタル方向又はタンジェンシャル方向に配置されたガイドに一致するような被写体を撮影した場合、点像復元処理のパラメータを調整する観点で、有用なデータを得ることが可能となる。

ここで、「サジタル方向又はタンジェンシャル方向に沿って」とは、本発明の効果を阻害しない範囲で、ガイド１０がサジタル方向又はタンジェンシャル方向から逸れていてもよいことを意味する。

又、ここで、サジタル方向及びタンジェンシャル方向の基準は撮影画像とする。本来は、撮像素子２２２の面状に投影された光学像のサジタル方向又はタンジェンシャル方向と規定することが望ましいが、撮像素子で受光し取得した画像データに基づいてしかキャリブレーション画像を得られない。従って、撮影画像を基準としてサジタル方向及びタンジェンシャル方向を考えても問題がない。ここで、タンジェンシャル方向とは撮影画像の中心を基準とした円周に対する接線方向のことをいい、サジタル方向とは、タンジェンシャル方向に垂直に交わる方向のことをいう。

図６Ａでは、ガイド表示パターン１として、ガイド１０が表示画面１１２における左上の領域に配置されている。図６Ａに示されるガイド１０を使用して、例えば、図５の被写体を撮影する。この場合、図６Ａに示されるガイド１０と、図５の左上のＺを合わせるようにして撮影を行う。

図６Ｂでは、ガイド表示パターン２として、２つのガイド１０の各々が表示画面１１２における左上の領域及び右上の領域に配置されている。さらに、図６Ｂで示された２つのガイド１０は、第１のガイド及び第１のガイドと平行でない第２のガイドにより構成されている、すなわち、図６Ｂの表示画面１１２の左上の領域に配置されたガイド（第１のガイド）と右上に配置されたガイド（第２のガイド）とは平行でないように配置されている。これにより、より的確なキャリブレーションを行うことができるキャリブレーション画像を取得することができる。

図６Ｃでは、ガイド表示パターン３として、２つのガイド１０の各々が表示画面１１２における左上の領域及び右下の領域に配置されている。図６Ｄでは、ガイド表示パターン４として、４つのガイド１０の各々が表示画面１１２における左上の領域、右上の領域、右下の領域、及び左下の領域にそれぞれ配置されている。

尚、本発明は、図６Ａから図６Ｄに示されたガイド１０の表示におけるガイド表示パターンに限定されない。本発明の効果を阻害しない範囲で、ガイド表示パターンは様々な形態を採用することが可能である。

図７Ａ及び図７Ｂは、撮像装置１のパラメータ算出部２２８を説明する図である。パラメータ算出部２２８は、ガイド１０により補助されて撮像部５により撮影された、キャリブレーション画像に基づいて、点像復元処理のパラメータを算出する。ここで、点像復元処理のパラメータとは、復元フィルタ係数、コアリング係数、ゲイン係数、ＰＳＦ（点像分布関数）等のように点像復元処理内容に寄与するパラメータをいう。

図７Ａでは、撮像部５によって取得されたキャリブレーション画像に基づいて、パラメータ算出部２２８により、点像復元処理パラメータが算出される様子を示している。パラメータ算出部２２８は、点像復元処理のパラメータ（復元フィルタ係数、コアリング係数、ゲイン係数、ＰＳＦ（点像分布関数）等）の種類に応じて、キャリブレーション画像を基に、点像復元処理のパラメータを算出する。

図７Ｂでは、撮像装置１が、点像復元処理のパラメータを予め記憶するパラメータ保持部２３４を備えている場合に関して説明をしている。撮像装置１がパラメータ保持部２３４を有する場合には、パラメータ算出部２２８は、キャリブレーション画像に基づいて、パラメータ保持部２３４に予め記憶されているパラメータを調整してもよい。すなわち、パラメータ保持部２３４には予め基準となる点像復元処理のパラメータが複数又は単数記憶されており、パラメータ算出部２２８は、その基準となる点像復元処理のパラメータを、キャリブレーション画像に基づいて調整する。これにより、新しい点像復元処理のパラメータを最初から作り出す（算出する）よりも、パラメータ算出部２２８の計算負荷を軽減することができる。

さらに、撮像装置１が点像復元処理制御部２３５を有している場合には、撮影に関する情報やレンズ情報に応じて、点像復元処理制御部２３５がパラメータ選択命令をパラメータ保持部２３４に出す。そして、パラメータ選択命令に応じて、パラメータ保持部２３４が記憶している点像復元処理のパラメータが選択され、パラメータ算出部２２８に送られ、点像復元処理のパラメータが調整される。ここで、撮影に関する情報とは、キャリブレーション画像の撮影に関する情報を意味し、例えば、絞り値（Ｆ値）、ズームポジション（焦点距離）、被写体距離等である。又、レンズ情報とは、撮像部５に装着されたレンズに関する情報を意味し、例えば、レンズの型番、レンズの種類、レンズの開放絞り値等である。

ここで、復元フィルタ係数とは、以下に説明するように点像復元処理の内容に寄与するパラメータである。

図８により、点像復元処理部２２９（図３参照）にて行われる点像復元処理に関して概略を説明する。図８は、点像復元処理の一例の概略を示すブロック図である。点像復元処理Ｐ１０とは、復元フィルタＦを用いたフィルタリング処理によって、点像復元処理前画像データＤ１０から点像復元処理後画像データＤ１１を作成する処理である。すなわち、Ｎ×Ｍのタップによって構成される復元フィルタＦを処理対象の画像データに適用し、各タップに割り当てられるフィルタ係数と対応の画素データ（点像復元処理前画像データＤ１０の処理対象画素データ及び隣接画素データ）とを加重平均演算することで、点像復元処理後の画素データ（点像復元処理後画像データＤ１１）を算出することができる。この復元フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。

撮像装置１では、点像復元処理前画像データＤ１０がキャリブレーション画像の画像データである。そして、撮像装置１は、キャリブレーション画像（点像復元処理前画像データＤ１０）に基づいて、フィルタ係数を調整又は算出する。このように、個々の撮像装置１が有する撮像部５により得たキャリブレーション画像の画像データに基づいて、フィルタ係数を算出することにより、個々の撮像部５に適したフィルタ係数を算出することができる。

図９は、撮像装置１の動作フローを示した図である。先ず、撮像装置１の表示画面１１２に、表示部２２５により、ガイド１０及び撮像部５により撮影される撮影画像が表示される（ステップＳ１０）（表示ステップ）。そして、ガイド１０の表示に補助されてキャリブレーション画像が撮像部５によって撮影される（ステップＳ２０）。

その後、パラメータ算出部２２８により、撮像部５によって撮影されたキャリブレーション画像に基づいて、点像復元処理のパラメータが算出される（ステップＳ３０）（パラメータ算出ステップ）。尚、キャリブレーション画像の撮影は、撮像部５により自動的に撮影されても良く、ユーザーによるシャッターボタン押下による撮影指示によって行われても良い。

［ガイド表示形態の変形例１］
図１０Ａから図１０Ｄでは、ガイド１０の表示形態に関しての変形例１が示されている。尚、図６Ａから図６Ｄと同様のものは同じ番号を付し説明は省略する。図１０Ａから図１０Ｄに示されたガイド表示形態の変形例１と、図６Ａから図６Ｄに示されたガイド表示形態における図６Ｄのガイド表示パターンとを比較すると、図１０Ａから図１０Ｄに示された変形例１では、４隅のそれぞれのガイド表示を満たすような被写体の撮影を、４隅のそれぞれのガイド表示ごとに撮影を行う点で異なる。すなわち、図１０Ａから図１０Ｄに示された変形例１では、先ず、図１０Ａで示されるように左上に配置されたガイド１０を満たすような撮影画像の撮影を行う。次に、図１０Ｂで示されるように右上に配置されたガイド１０を満たすような撮影画像の撮影を行う。次に、図１０Ｃに示されるように右下に配置されたガイド１０を満たすような撮影画像の撮影を行う。次に、図１０Ｄに示されるように左下に配置されたガイド１０を満たすような撮影画像の撮影を行う。そして、図１０Ａから図１０Ｄに示されたガイド１０により補助されて取得した４つのキャリブレーション画像に基づいて、パラメータ算出部２２８により点像復元処理のパラメータを算出する。図１０Ａから図１０Ｄに示す表示画面１１２には、それぞれ撮影の順序を示す表示：「第１回目」、…、「第４回目」が表示されているが、撮影順序の表示は必須ではない。また、ガイド表示の位置と撮影順序の対応関係は、図１０Ａから図１０Ｄの例に限定されるものではない。

尚、図１０Ａから図１０Ｄに示された変形例１のようにガイド表示は４つに限定されることはなく、表示位置が異なるガイド１０各々に補助されて、撮像部５によって撮影された複数のキャリブレーション画像に基づいて、点像復元処理のパラメータが算出されればよい。

変形例１のガイド表示形態を採用することにより、ガイド１０を満たすような被写体を容易に見つけられると共に、確実にガイド１０を満たす撮影画像を撮影することができる。

［ガイド表示形態の変形例２］
図１１Ａから図１１Ｄでは、ガイド１０の表示形態に関しての変形例２が示されている。尚、図６Ａから図６Ｄと同様のものは同じ番号を付し説明は省略する。図１１Ａから図１１Ｄに示されたガイド表示形態の変形例２と、図６Ａから図６Ｄに示されたガイド１０の表示形態における図６Ｄのガイド表示パターンとを比較すると、図１１Ａから図１１Ｄに示された変形例２では、キャリブレーション画像に関しての撮影条件３０を、ガイド１０と共に表示画面１１２に表示させている点で異なる。すなわち、表示画面１１２（表示部２２５）にキャリブレーション画像を撮影するための撮影条件３０を表示して、撮影者に必要なキャリブレーション画像の撮影条件３０を知らせる。そして、必要な撮影条件下で撮影されたキャリブレーション画像に基づいて、点像復元処理のパラメータを算出する。

具体的には、図１１Ａ及び図１１Ｂでは、像高位置に関しての撮影条件３０を表示画面１１２に表示している。すなわち、図１１Ａでは、像高位置が高い箇所（撮影画像の周辺箇所）におけるガイド１０を満たすようにキャリブレーション画像の取得を補助している。一方、図１１Ｂでは、像高が低い箇所（撮影画像の中心箇所）におけるガイド１０を満たすようにキャリブレーション画像の取得を補助している。このように、ガイド１０が、撮影画像の像高に応じて配置されることにより、像高に応じたキャリブレーション画像を取得することができる。

又、図１１Ｃ及び図１１Ｄでは、被写体までの撮影距離を撮影条件３０として表示画面１１２に表示している。すなわち、図１１Ｃでは、被写体までの撮影距離が５０ｃｍであるようにキャリブレーション画像の取得を促している。又、図１１Ｄでは、被写体までの撮影距離が１ｍであるようにキャリブレーション画像の取得を施している。このように、ガイド１０が、被写体までの撮影距離を表示画面に表示することにより、所望の被写体までの撮影距離を有するキャリブレーション画像を取得することができる。

変形例２のガイド表示形態を採用することにより、適切な撮影条件下で、キャリブレーション画像が撮影される。

［ガイド表示形態の変形例３］
図１２、図１３、図１４、及び図１５Ａ及び図１５Ｂを使って、ガイド表示形態の変形例３を説明する。ガイド表示形態の変形例３では、表示画面１１２に、さらに、画像解析判定部２２７により送付される判定情報３５が表示される（図１５Ａ及び図１５Ｂを参照）。

図１２に示された表示部２２５と図４に示された表示部２２５とを比較すると、図１２に示された表示部２２５は、画像解析部２２６及び画像解析判定部２２７を有する点で異なる。ガイド表示形態の変形例３の撮像装置１は、撮像部５により撮影される撮影画像を解析する画像解析部２２６と、画像解析部２２６による撮影画像の解析結果に基づいて、キャリブレーション画像として適正か否かを判定し、判定結果を出力する画像解析判定部２２７とを有する。

画像解析部２２６は、撮像部５により撮影される撮影画像の明るさ又はぼけ量に関して、画像解析を行う。具体的には、撮像部５により撮影される撮影画像のぼけ量の画像解析においては、撮影画像に関してピントが合っている画像であるか否かの画像解析を行う。尚、撮像部５により撮影される撮影画像の明るさの画像解析に関しては後述する。

画像解析部２２６は、画像データの解析を行うことで得た解析結果を画像解析判定部２２７に送付する。画像解析判定部２２７は、解析結果を基に、撮像部５により撮影される撮影画像がキャリブレーション画像として適正か否かを判断する。例えば、撮影画像においてピントが合っていない場合や撮影画像が非常に暗い場合や非常に明るい場合には、撮影画像はキャリブレーション画像として適正でないと判断される。

図１３には、撮像部５により撮影される撮影画像の明るさを分析する際の、撮像装置１の動作フローの例を示す。キャリブレーション画像の撮影では、シャッタースピードが遅い（露出時間が長い）と撮影画像がブレやすくキャリブレーション画像として適切なものを取得するのが難しくなり、キャリブレーション精度が低くなる。又、キャリブレーション画像の撮影では、撮影感度（ゲイン）が高いとノイズが生じ易くキャリブレーション画像として適切なものを取得することが難しくなり、キャリブレーション精度が低くなる。従って、キャリブレーション画像の撮影では、通常の画像の撮影より明るさが一定以上必要となる場合が多い。

そこで、撮影画像を撮影したときのＦ値（絞り値）を取得し、キャリブレーションのために設定された露出時間の閾値と撮影感度の閾値及び取得したＦ値（絞り値）に基づいて、撮影画像の明るさを解析し、キャリブレーション画像として適切か判断し表示することで、精度の高いキャリブレーションが行えるよう促すことができる。

特に、撮像部５が交換式レンズを有する場合は、交換されるレンズごとにレンズの明るさ（Ｆ値）も異なる。このため、レンズからレンズ情報を取得し、取得したレンズ情報に基づいて取得したＦ値と露出時間の閾値と撮影感度の閾値から撮影画像の明るさを解析すると良い。

図１３に示された動作フローと図９に示された動作フローとを比較すると、図１３に示された動作フローは、撮影画像に関するＦ値、露出時間の閾値、及び撮影感度の閾値を取得する点（ステップＳ１２）、撮影画像の明るさの分析を行う点（ステップＳ１４）、キャリブレーション画像を取得するのに好ましい撮影条件かを判断する点（ステップＳ１６）を有する点で異なる。尚、図１３において、図９と同様の点は同じ符号を付し説明は省略する。

先ず、表示画面１１２にガイド１０及び撮影画像が表示される（ステップＳ１０）。そして、画像解析部２２６によって、撮影画像に関するＦ値、キャリブレーションのために設定された露出時間の閾値、及びキャリブレーションのために設定された撮影感度の閾値が取得される（ステップＳ１２）。ここで、撮影画像に関するＦ値とは、撮影画像がキャリブレーション画像として撮像部５に撮影される場合のＦ値のことである。又、ここで、キャリブレーションのために設定された露出時間の閾値とは、キャリブレーション画像を撮影する際の露出時間の閾値のことをいう。キャリブレーション画像を撮影する際に、露出時間が長いと、キャリブレーション画像のブレの原因となる。従って、適切なキャリブレーション画像を撮影することを考慮すると、露出時間は短いことが好ましい。一方で、キャリブレーション画像が暗いと的確な点像復元処理のパラメータを取得することが難しくなるので、露出時間をある程度確保することも必要である。

キャリブレーションのために設定された露出時間の閾値に関する例としては、１／３０秒以下、好ましくは１／６０秒以下、さらに好ましくは１／１２５秒以下を採用することができる。

又、ここでキャリブレーションのために設定された撮影感度の閾値とは、キャリブレーション画像を撮影する際の撮影感度の閾値のことをいう。キャリブレーション画像を撮影する際に、撮影感度が高いと、キャリブレーション画像においてノイズの発生原因となる。従って、適切なキャリブレーション画像を撮影することを考慮すると、撮影感度は低いことが好ましい。一方で、キャリブレーション画像が暗いと的確な点像復元処理のパラメータを取得することが難しくなるので、撮影感度をある程度高くすることも必要である。

キャリブレーションのために設定された撮影感度の閾値に関する例としては、ＩＳＯ感度８００以下、好ましくはＩＳＯ感度４００以下、さらに好ましくはＩＳＯ感度２５０以下を採用することができる（ＩＳＯ：International Organization for Standardization）。

次に、撮影画像の明るさを解析し（測光）、解析を行った撮影画像をキャリブレーション画像として取得した場合、キャリブレーション画像の明るさの予測を、キャリブレーションのために設定された露出時間の閾値、キャリブレーションのために設定された撮影感度の閾値、及び取得したＦ値の情報に基づいて行う（ステップＳ１４）。すなわち、撮影画像に関するＦ値と、適切なキャリブレーション画像を取得するための露出時間及び撮影感度を考慮することにより、キャリブレーション画像の明るさを予測することができる。そして、予測されたキャリブレーション画像の明るさを基に、キャリブレーション画像を取得するのに好ましい撮影条件か否かを判断する（ステップＳ１６）。予測されたキャリブレーション画像の明るさが暗すぎる又は明るすぎる場合には、キャリブレーション画像を取得するのに好ましい撮影条件ではないと判断される（ステップＳ１６のＮｏ）。一方、予測されたキャリブレーション画像の明るさが適切な場合は、キャリブレーション画像を取得するのに好ましい撮影条件であると判断される（ステップＳ１６のＹｅｓ）。

ここで、予測されたキャリブレーション画像の明るさが適切な場合とは、予測されたキャリブレーション画像の明るさが、８Ｅｖ（Exposure Value）以上１６Ｅｖ以下、好ましくは９Ｅｖ以上１５Ｅｖ以下、さらに好ましくは１０Ｅｖ以上１４Ｅｖ以下である。

尚、前述のブラケッティング撮影によりＦ値を順次変えながらキャリブレーション画像を撮影する場合は、ステップＳ１４及びステップＳ１６においてブラケッティング撮影により変更するＦ値の範囲を考慮して予測、判定を行う。すなわち、ステップＳ１４においてブラケッティング撮影により変更するＦ値の範囲を考慮して明るさを予測し、ステップＳ１６においてブラケッティング撮影により変更するＦ値の範囲を考慮して好ましい撮影条件か否か判断する。これにより、ユーザーは複数の撮影条件において適切なキャリブレーション画像を容易に撮影することができる。

そして、キャリブレーション画像を取得するのに好ましい撮影条件であると判断された場合には、ガイド表示に補助されキャリブレーション画像が撮影される（ステップＳ２０）。キャリブレーション画像を取得するのに好ましくない撮影条件であると判断された場合には、表示画面１１２に撮影画像の変更を促す表示が行われる（ステップＳ１８）。

図１３に示されたように、キャリブレーション画像の明るさを予測し、キャリブレーション画像を取得するのに好ましい条件であると判断することにより、適切なキャリブレーション画像を取得することができる。

図１４は、さらに、変形例３のガイド表示形態において、撮像装置１は、一致度合判別部２２３を含む画像解析部２２６を有する場合を示している。すなわち、画像解析部２２６は、ガイド１０と撮像部５により撮影される画像との一致度合いを判別する一致度合判別部２２３を含む。そして、画像解析判定部２２７は、一致度合いに基づいてキャリブレーション画像として適正か否かを判定し、判定結果を出力する。

一致度合判別部２２３が行う、ガイド１０と撮影画像との一致度合いの判別においては、具体的にはガイド１０と撮影画像との重なり度合いを一致度合いとして判別する。尚、ここでいう一致とは、厳密な意味での一致を意味していない。すなわち、パラメータ算出において、使用可能なキャリブレーション画像が取得できる範囲でガイド１０と撮像部５により撮影される撮影画像とが一致していればよい。具体的には、ガイド１０と撮影画像に写された被写体像がガイド１０の４０％以上重なっていればよく、好ましくはガイド１０の６０％以上重なっていればよく、さらに好ましくはガイド１０の８０％以上重なっていればよい。

一致度合いに関する情報を受けた画像解析判定部２２７は、一致度合いに基づいてキャリブレーション画像として適正か否かを判定する。

図１５Ａ及び図１５Ｂでは、図１４に示した一致度判別を画像解析部２２６が有する場合のガイド表示の形態に関しての変形例３が示されている。尚、図６Ａから図６Ｄと同様のものは同じ番号を付し説明は省略する。図１５Ａ及び図１５Ｂに示されたガイド表示形態の変形例３と、図６Ａから図６Ｄに示されたガイド表示形態における図６Ａのガイド表示パターンとを比較すると、図１５Ａ及び図１５Ｂに示された変形例３では、表示画面１１２（表示部２２５）において、ガイド１０と撮像部５により撮影される撮影画像との判定情報３５が、ガイド１０と共に表示されている点で異なる。

具体的には、図１５Ａでは、撮像部５により撮影される撮影画像がガイド１０に一致しない被写体３７を撮影した場合を示している。図１５Ａにおいて、被写体３７は、左上に配置されたガイド１０に一致していない。そして、「被写体を直して下さい」という判定情報３５が表示画面１１２に表示されている。一方、図１５Ｂでは、ガイド１０に一致した被写体３９を撮影した場合を示している。図１５Ｂにおいて、被写体３９は、左上に配置されたガイド１０に一致している。そして、「正しい被写体です」という判定情報３５が表示画面１１２に表示されている。

尚、図１２において示した、画像解析部２２６が一致度合判別部２２３を含まない場合も、図１５Ａ及び図１５Ｂに示したガイド表示の形態に関しての変形例３のように、画像解析判定部２２７が判定した判定情報３５が表示される。

変形例３のガイド表示形態を採用することにより、的確にキャリブレーション画像を取得することできる。

［ガイド表示形態の変形例４］
図１６及び図１７を使って、ガイド表示形態の変形例４を説明する。

ガイド表示形態の変形例４では、表示画面１１２に、さらに、光学伝達関数判定部２４７から送付される判定情報４１が表示される（図１７を参照）。

図１６は、変形例４のガイド表示形態を採用する場合、撮像装置１は、光学伝達関数保持部２４５及び光学伝達関数判定部２４７を有することを説明する図である。図１６に示された撮像装置１と図７Ｂに示された撮像装置１とを比較すると、図１６に示された撮像装置１は、光学伝達関数保持部２４５及び光学伝達関数判定部２４７を有する点で、図７Ｂに示された撮像装置１と異なる。尚、図７Ｂと同様のものは同じ番号を付し説明は省略する。

光学伝達関数保持部２４５には、点像復元処理のパラメータとしてレンズの光学伝達関数に関する情報が予め記憶されている。ここで、光学伝達関数に関する情報とは、レンズの変調伝達関数（Modulation Transfer Function：ＭＴＦ）及び／又は位相伝達関数（Phase Transfer Function：ＰＴＦ）である。

点像復元処理制御部２３５からパラメータ選択命令が送信され、パラメータ選択命令により、予め記憶されている光学伝達関数に関する情報が選択される。そして、選択された光学伝達関数が光学伝達関数判定部２４７に送付される。一方、パラメータ算出部２２８では、撮像部５によりに撮影された複数のキャリブレーション画像に基づいて、レンズの光学伝達関数に関する情報を算出する。そして、パラメータ算出部２２８は、算出したレンズの光学伝達関数に関する情報を光学伝達関数判定部２４７に送信する。

光学伝達関数判定部２４７では、パラメータ算出部２２８に算出されたレンズの光学伝達関数に関する情報と、光学伝達関数保持部２４５に予め記憶されていたレンズの光学伝達関数に関する情報との差を算出する。そして、算出された差が、閾値より大きいか否かを判断し、判断結果をガイド表示制御部２２４に送信する。

ここで、算出された差の判断に関する閾値に関して具体例を説明する。例えば光学伝達関数に関する情報が変調伝達関数の場合には、ナイキスト周波数の半分の周波数（０．２５Ｆｓ）において、設計値の変調伝達関数（光学伝達関数保持部２４５に予め記憶されていたレンズの光学伝達関数の情報）に対して、ガイドにより撮影して算出した変調伝達関数（パラメータ算出部２２８により算出されたレンズの光学伝達関数の情報）が、設計値の変調伝達関数の４０％以上、好ましくは５０％以上、異なった場合には、ガイドにより撮影して算出した変調伝達関数でキャリブレーションしてもリンギングが生じて画質劣化が生じてしまう。従って、ユーザーに再撮影を促し、何度か撮り直しても差分が閾値を超過する場合はユーザーに適正でないことを表示しキャリブレーションを行わないことにする。

又、例えば光学伝達関数に関する情報が位相伝達関数の場合には、ガイドにより撮影して算出した位相のずれの方向（パラメータ算出部２２８により算出されたレンズの光学伝達関数の情報）が、設計値（光学伝達関数保持部２４５に予め記憶されていたレンズの光学伝達関数の情報）と反対方向になった場合は、ガイドにより撮影して算出した位相のずれの方向でキャリブレーションしても画質劣化してしまう。従って、ユーザーに再撮影を促し、何度か撮り直しても差分が閾値を超過する場合はユーザーに適正でないことを表示しキャリブレーションを行わないことにする。

図１７では、ガイド表示の形態に関しての変形例４が示されている。尚、図６Ａから図６Ｄと同様のものは同じ番号を付し説明は省略する。

図１７のガイド表示の形態と図６Ａから図６Ｄのガイド表示の形態とを比較すると、図１７のガイド表示の形態は、光学伝達関数判定部２４７が生成する判定情報４１を表示している点で異なる。又、図１７のガイド表示の形態と図１５Ａ及び図１５Ｂのガイド表示の形態とを比較すると、図１７のガイド表示の形態における判定情報４１の内容は、再度の撮影を促す内容になっている点で異なる。すなわち、図１５Ａ及び図１５Ｂでは、判定情報４１の内容は異なる被写体の撮影を促す内容となっている（図１５Ａの符号３５を参照）のに対して、図１７では、判定情報４１の内容は、再度の撮影を促す情報になっている。

これは、図１７で説明したガイド表示の形態に関しての変形例４では、キャリブレーション画像取得後に光学伝達関数判定部２４７により判定情報４１を取得するので、再度の撮影を促す内容の判定情報４１になっている。一方、図１５Ａ及び図１５Ｂで説明したガイド表示の形態に関しての変形例３では、撮像部５に撮影される撮影画像（ライブビュー画像又はスルー画像ともいう）に関しての判定情報３５を取得しているので、被写体の変更を促す内容の判定情報３５になっている。

変形例３のガイド表示形態を採用することにより、レンズの光学伝達関数に沿った的確なキャリブレーション画像を取得することできる。

［その他のガイド表示パターン］
図１８Ａ及び図１８Ｂは、図６Ａから図６Ｄに示されたガイド表示パターン以外のガイド表示パターンを示している。尚、図１８及び図１８Ｂにおいて図６Ａから図６Ｄと同様の箇所は同じ番号を付し説明は省略する。図１８Ａは、ガイド表示パターン５を示している。図１８Ａに示されたガイド表示パターン５と図６Ｄに示されたガイド表示パターン４とを比較すると、図１８Ａに示されたガイド表示パターン５はガイド１０が四隅以外に、４隅の各々の間にそれぞれ４つガイド１０が配置されている点で異なる。

ガイド表示パターン５を採用することにより、より的確なキャリブレーション画像を取得することが可能となる。

図１８Ｂは、ガイド表示パターン６を示している。図１８Ｂに示されたガイド表示パターン６と図１８Ａに示されたガイド表示パターン５とを比較すると、それぞれのガイド１０が９０°回転している点で異なる。すなわち、図１８Ｂに示されたガイド１０は、撮影画像におけるサジタル方向に沿った直線状である点で、図１８Ａに示されたガイド表示パターンと異なる。

ガイド１０は、タンジェンシャル方向だけでなく、サジタル方向に配置されてもよい。ガイド１０がサジタル方向に沿ったガイド表示パターンを採用することにより、様々な被写体に対応して、キャリブレーション画像を取得することが可能となる。

＜ＥＤｏＦシステムへの適用例＞
上述の説明における点像復元処理のパラメータを使用して行う点像復元処理は、特定の撮影条件（例えば、絞り値、焦点距離、レンズ種類、など）に応じて点拡がり（点像ボケ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像処理は上述の実施形態における点像復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Extended Depth of Field (Focus)）を有する光学系を有する撮像部５によって撮影取得された画像データに対する点像復元処理に対しても、本発明に係る点像復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して点像復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ（Optical Transfer Function）、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた点像復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。尚、以下に示す例においても、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（輝度信号Ｙ）に対して点像復元処理を行う。

図１９は、ＥＤｏＦ光学系を備える撮像モジュール３０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）３０１は、ＥＤｏＦ光学系（レンズユニット）３１０と、撮像素子３１２と、Ａ／Ｄ変換部３１４と、点像復元処理ブロック（画像処理部）３２０とを含む。

図２０は、ＥＤｏＦ光学系３１０の一例を示す図である。本例のＥＤｏＦ光学系３１０は、単焦点の固定された撮影レンズ３１０Ａと、瞳位置に配置される光学フィルタ３１１とを有する。光学フィルタ３１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系３１０（撮影レンズ３１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ３１０Ａ及び光学フィルタ３１１は、位相を変調して被写界深度を拡大させる撮影レンズ部を構成する。

尚、ＥＤｏＦ光学系３１０は必要に応じて他の構成要素を含み得る。例えば、ＥＤｏＦ光学系３１０において、光学フィルタ３１１の近傍には絞り（図示省略）が配設可能である。また、光学フィルタ３１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ３１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系３１０（撮影レンズ３１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ３１１を設ける代わりに、本例の光学フィルタ３１１と同等の機能を有するようにレンズ設計された撮影レンズ３１０ＡによってＥＤｏＦ光学系３１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子３１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系３１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系３１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ３１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ３１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図２０に示すＥＤｏＦ光学系３１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系３１０を通過後の光学像は、図１９に示す撮像素子３１２に結像され、ここで電気信号に変換される。

撮像素子３１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系３１０を介して撮像素子３１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

Ａ／Ｄ変換部３１４は、撮像素子３１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。Ａ／Ｄ変換部３１４によりデジタルの画像信号に変換されたデジタル画像信号は、点像復元処理ブロック３２０に加えられる。

点像復元処理ブロック３２０は、例えば、黒レベル調整部３２２と、ホワイトバランスゲイン部３２３と、ガンマ処理部３２４と、デモザイク処理部３２５と、ＲＧＢ／ＹＣｒＣｂ変換部３２６と、輝度信号Ｙ点像復元処理部（Ｙ信号復元処理部）３２７とを含む。

黒レベル調整部３２２は、Ａ／Ｄ変換部３１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部３２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部３２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部３２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部３２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子３１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部３２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

輝度信号Ｙ点像復元処理部３２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部３２６からの輝度信号Ｙに点像復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ３１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。尚、復元フィルタは、光学フィルタ３１１に対応するものが図示しないメモリ（例えば輝度信号Ｙ点像復元処理部３２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、点像復元処理ブロック３２０による点像復元処理について説明する。図２１は、図１９に示す点像復元処理ブロック３２０における点像復元処理の一例を示すフローチャートである。

黒レベル調整部３２２の一方の入力には、Ａ／Ｄ変換部３１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられている。黒レベル調整部３２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部３２３に出力する（ステップＳ１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部３２３、ガンマ処理部３２４による処理が施される（ステップＳ２及びＳ３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部３２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部３２６において輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換される（ステップＳ４）。

輝度信号Ｙ点像復元処理部３２７は、輝度信号Ｙに、ＥＤｏＦ光学系３１０の光学フィルタ３１１の位相変調分のデコンボリューション処理をかける点像復元処理を行う（ステップＳ５）。すなわち、輝度信号Ｙ点像復元処理部３２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。輝度信号Ｙ点像復元処理部３２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く点像復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに点像復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

上述したように、ＥＤｏＦシステムへの応用例でも同様に、図２２の（Ａ）に示すように、ＥＤｏＦ光学系３１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子３１２に結像されるが、輝度信号Ｙ点像復元処理部３２７でのデコンボリューション処理により、図２２の（Ｂ）に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に点像復元処理をかけることで、点像復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、点像復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、点像復元処理の精度が向上する。尚、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、点像復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、点像復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

以上説明したようなＥＤｏＦシステムの点像復元処理に対しても、本発明の各実施形態に係る点像復元処理を適用することが可能である。

［撮像装置の変形例］
以上、本発明の撮像装置１の実施形態として、デジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型又は外付け型のＰＣ（Personal Computer）用カメラ、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

図２３は、本発明の撮影装置の一実施形態であるスマートフォン４０１の外観を示すものである。図２３に示すスマートフォン４０１は、平板状の筐体４０２を有し、筐体４０２の一方の面に表示部としての表示パネル４２１と、入力部としての操作パネル４２２とが一体となった表示入力部４２０を備えている。また、かかる筐体４０２は、スピーカ４３１と、マイクロホン４３２、操作部４４０と、カメラ部４４１とを備えている。尚、筐体４０２の構成はこれに限定されない。例えば、表示部と入力部とが独立した構成を採用したり、筐体４０２が折り畳み構造やスライド機構を有する構成を採用することもできる。

図２４は、図２３に示すスマートフォン４０１の構成を示すブロック図である。図２４に示すように、スマートフォンの主たる構成要素として、無線通信部４１０と、表示入力部４２０と、通話部４３０と、操作部４４０と、カメラ部４４１と、記憶部４５０と、外部入出力部４６０と、ＧＰＳ（Global Positioning System）受信部４７０と、モーションセンサ部４８０と、電源部４９０と、主制御部５００とを備える。また、スマートフォン４０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部４１０は、主制御部５００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部４２０は、主制御部５００の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザーに情報を伝達すると共に、表示した情報に対するユーザー操作を検出する、いわゆるタッチパネルであって、表示パネル４２１と、操作パネル４２２とを備える。

表示パネル４２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル４２２は、表示パネル４２１の表示面上に表示される画像を視認可能に載置され、ユーザーの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザーの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５００に出力する。次いで、主制御部５００は、受信した検出信号に基づいて、表示パネル４２１上の操作位置（座標）を検出する。

図２３に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン４０１の表示パネル４２１と操作パネル４２２とは一体となって表示入力部４２０を構成しているが、操作パネル４２２が表示パネル４２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル４２２は、表示パネル４２１外の領域についても、ユーザー操作を検出する機能を備えてもよい。換言すると、操作パネル４２２は、表示パネル４２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル４２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル４２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル４２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体４０２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル４２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部４３０は、スピーカ４３１やマイクロホン４３２を備える。通話部４３０は、マイクロホン４３２を通じて入力されたユーザーの音声を主制御部５００にて処理可能な音声データに変換して主制御部５００に出力したり、無線通信部４１０あるいは外部入出力部４６０により受信された音声データを復号してスピーカ４３１から出力するものである。また、図２３に示すように、例えば、スピーカ４３１を表示入力部４２０が設けられた面と同じ面に搭載し、マイクロホン４３２を筐体４０２の側面に搭載することができる。

操作部４４０は、キースイッチなどを用いたハードウェアキーであって、ユーザーからの指示を受け付けるものである。例えば、図２３に示すように、操作部４４０は、スマートフォン４０１の筐体４０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部４５０は、主制御部５００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部４５０は、スマートフォン内蔵の内部記憶部４５１と着脱自在な外部メモリスロットを有する外部記憶部４５２により構成される。尚、記憶部４５０を構成するそれぞれの内部記憶部４５１と外部記憶部４５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部４６０は、スマートフォン４０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン４０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部４６０は、このような外部機器から伝送を受けたデータをスマートフォン４０１の内部の各構成要素に伝達することや、スマートフォン４０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部４７０は、主制御部５００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン４０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部４７０は、無線通信部４１０や外部入出力部４６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部４８０は、例えば、３軸の加速度センサなどを備え、主制御部５００の指示にしたがって、スマートフォン４０１の物理的な動きを検出する。スマートフォン４０１の物理的な動きを検出することにより、スマートフォン４０１の動く方向や加速度が検出される。かかる検出結果は、主制御部５００に出力されるものである。

電源部４９０は、主制御部５００の指示にしたがって、スマートフォン４０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５００は、マイクロプロセッサを備え、記憶部４５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン４０１の各部を統括して制御するものである。また、主制御部５００は、無線通信部４１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部４５０が記憶するアプリケーションソフトウェアにしたがって主制御部５００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部４６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部５００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部４２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５００が、上記画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部４２０に表示する機能のことをいう。

さらに、主制御部５００は、表示パネル４２１に対する表示制御と、操作部４４０、操作パネル４２２を通じたユーザー操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル４２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５００は、操作部４４０を通じたユーザー操作を検出したり、操作パネル４２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部５００は、操作パネル４２２に対する操作位置が、表示パネル４２１に重なる重畳部分（表示領域）か、それ以外の表示パネル４２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル４２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５００は、操作パネル４２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部４４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部４４１は、主制御部５００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部４５０に記録したり、入出力部４６０や無線通信部４１０を通じて出力することができる。図２３に示すにスマートフォン４０１において、カメラ部４４１は表示入力部４２０と同じ面に搭載されているが、カメラ部４４１の搭載位置はこれに限らない。カメラ部４４１は、表示入力部４２０の背面に搭載されてもよいし、あるいは、複数のカメラ部４４１が搭載されてもよい。尚、複数のカメラ部４４１が搭載されている場合には、撮影に供するカメラ部４４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部４４１を同時に使用して撮影することもできる。

また、カメラ部４４１はスマートフォン４０１の各種機能に利用することができる。例えば、表示パネル４２１にカメラ部４４１で取得した画像を表示することや、操作パネル４２２の操作入力のひとつとして、カメラ部４４１の画像を利用することができる。また、ＧＰＳ受信部４７０が位置を検出する際に、カメラ部４４１からの画像を参照して位置を検出することもできる。さらには、カメラ部４４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン４０１のカメラ部４４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部４４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部４７０により取得した位置情報、マイクロホン４３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部４８０により取得した姿勢情報等などを付加して記憶部４５０に記録したり、入出力部４６０や無線通信部４１０を通じて出力することもできる。

本発明の目的は、上述した実施形態で示したフローの手順を実現するプログラムコード（プログラム）を記憶した記憶媒体（非一時的（non-transitory）な記録媒体）から、システムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ（Micro-Processing Unit））が、そのプログラムコードを読出し実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを記憶／記録したコンピュータ読み取り可能な記憶媒体も本発明の一つを構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ（Compact Disc Recordable）、磁気テープ、不揮発性のメモリカード、ＲＯＭ（Read Only Memory）などを用いることができる。

また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ（Operating System）などが、実際の処理の一部又は全部を行う場合も含まれる。

さらに、前述した実施形態の機能は、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによっても実現することもできる。この場合、先ず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。

又、前述した実施形態のフローの各ステップは、ソフトウェア（コンピュータ）を用いて実現するものに限るものではなく、ハードウェア（電子回路）を用いて実現してもよい。

１…撮像装置、５…撮像部、１０…ガイド、１８…レンズ部、３５…判定情報、１００…撮像装置本体、１１２…表示画面、２１２…ＣＰＵ、２１４…操作部、２１６…デバイス制御部、２１８…レンズ部、２２０…シャッター、２２２…撮像素子、２２３…一致度合判別部、２２４…ガイド表示制御部、２２５…表示部、２２６…画像解析部、２２７…画像解析判定部、２２８…パラメータ算出部、２２９…点像復元処理部、２３４…パラメータ保持部、２３５…点像復元処理制御部、２３８…画像処理部、２４５…光学伝達関数保持部、２４７…光学伝達関数判定部、３０１…撮像モジュール、３１０…ＥＤｏＦ光学系、４０１…スマートフォン、４２１…表示パネル

Claims (21)

1. 撮像部と、
   前記撮像部により撮影される撮影画像、及び点像復元処理のキャリブレーションに使用するキャリブレーション画像の撮影を補助する前記撮影画像におけるサジタル方向又はタンジェンシャル方向に沿った直線状であるガイドを表示する表示部と、
   前記ガイドにより補助されて前記撮像部により撮影された、前記キャリブレーション画像に基づいて、点像復元処理のパラメータを算出するパラメータ算出部と、を備える撮像装置。
2. 前記表示部に表示される前記ガイドは、前記撮影画像の像高に応じて配置される請求項１に記載の撮像装置。
3. 前記表示部に表示される前記ガイドは、第１のガイド及び前記第１のガイドと平行でない第２のガイドである請求項１又は２に記載の撮像装置。
4. 前記撮像部は、ブラケッティング撮影モードを有し、
   前記パラメータ算出部は、前記ガイドにより補助されて前記撮像部によりブラケッティング撮影された、複数の前記キャリブレーション画像に基づいて、点像復元処理のパラメータを算出する請求項１から３のいずれか１項に記載の撮像装置。
5. 前記撮像部は、前記ブラケッティング撮影モードにより、Ｆ値毎に前記キャリブレーション画像を撮影する請求項４に記載の撮像装置。
6. 前記パラメータ算出部は、前記ガイドにより補助されて前記撮像部によりに撮影された、複数の前記キャリブレーション画像に基づいて点像復元処理のパラメータを算出する請求項１から５のいずれか１項に記載の撮像装置。
7. 前記表示部は、さらに、前記キャリブレーション画像を撮影する為の撮影条件を表示し、
   前記パラメータ算出部は、前記撮影条件下で、前記ガイドにより補助されて前記撮像部により撮影された前記キャリブレーション画像に基づいて、点像復元処理のパラメータを算出する請求項１から６のいずれか１項に記載の撮像装置。
8. 前記撮像部は、交換式レンズを有する請求項１から７のいずれか１項に記載の撮像装置。
9. 前記撮像部は、位相を変調して被写界深度を拡大させるレンズを有する請求項１から８のいずれか１項に記載の撮像装置。
10. 前記撮像装置は、さらに、点像復元処理のパラメータを予め記憶するパラメータ保持部を備え、
    前記パラメータ算出部は、前記ガイドにより補助されて前記撮像部により撮影された、前記キャリブレーション画像に基づいて、前記パラメータ保持部に記憶されている前記パラメータを調整する、請求項１から９のいずれか１項に記載の撮像装置。
11. 前記撮像装置は、さらに、前記撮影画像を解析する画像解析部と、
    前記画像解析部による前記撮影画像の解析結果に基づいて、前記撮影画像が前記キャリブレーション画像として適正か否かを判定し、判定結果を出力する画像解析判定部と、を備え、
    前記表示部は、さらに、前記判定結果に基づいた判定情報を表示する請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記画像解析部は、前記撮影画像の明るさ又はぼけ量に関して、前記撮影画像を解析する請求項１１に記載の撮像装置。
13. 前記画像解析部は、前記撮影画像に関するＦ値の情報を取得し、
    前記キャリブレーションのために設定された露出時間の閾値、前記キャリブレーションのために設定された撮影感度の閾値、及び取得した前記Ｆ値の情報に基づいて、前記撮影画像の明るさを解析する請求項１２に記載の撮像装置。
14. 前記画像解析部は、さらに、前記ガイドと前記撮像部により撮影される前記撮影画像との一致度合いを判別し、一致度合い結果を出力する一致度合判別部を備え、
    前記画像解析判定部は、前記一致度合い結果に基づいて、前記撮影画像が前記キャリブレーション画像として適正か否かを判定する請求項１１から１３のいずれか１項に記載の撮像装置。
15. 前記撮像装置は、さらに、点像復元処理のパラメータとしてレンズの光学伝達関数に関する情報が予め記憶されている光学伝達関数保持部と、
    前記パラメータ算出部により算出される、前記撮像部により撮影された複数の前記キャリブレーション画像に基づいて算出されたレンズの光学伝達関数に関する情報と、前記光学伝達関数保持部に記憶されているレンズの光学伝達関数に関する情報との差が閾値より大きいか否かを判定し、光学伝達関数についての判定結果を出力する光学伝達関数判定部と、を備え、
    前記表示部は、さらに、前記光学伝達関数についての判定結果に基づいた判定情報を表示する請求項６に記載の撮像装置。
16. 前記レンズの光学伝達関数に関する情報は、レンズの変調伝達関数及び位相伝達関数のうち少なくとも一方である請求項１５に記載の撮像装置。
17. 前記表示部は、前記画像解析判定部が出力した判定結果に応じて、前記撮影画像の変更を促す表示を行う請求項１１から１４のいずれか１項に記載の撮像装置。
18. 前記表示部は、前記光学伝達関数判定部が出力した判定結果に応じて、前記キャリブレーション画像の再撮影を促す表示を行う請求項１５又は１６に記載の撮像装置。
19. 撮像部により撮影される撮像画像、及び点像復元処理のキャリブレーションに使用するキャリブレーション画像の撮影を補助するガイドを表示部に表示する表示ステップと、
    前記ガイドにより補助されて前記撮像部により撮影された、前記キャリブレーション画像に基づいて、点像復元処理のパラメータを算出するパラメータ算出ステップと、
    を含むキャリブレーション方法。
20. 撮像部により撮影される撮像画像、及び点像復元処理のキャリブレーションに使用するキャリブレーション画像の撮影を補助するガイドを表示部に表示する表示ステップと、
    前記ガイドにより補助されて前記撮像部により撮影された、前記キャリブレーション画像に基づいて、点像復元処理のパラメータを算出するパラメータ算出ステップと、
    をコンピューターに実行させる為のプログラム。
21. コンピューター読取可能な記録媒体であって、前記記録媒体に格納された指令がプロセッサによって読み取られた場合に、前記プロセッサが、
    撮像部により撮影される撮像画像、及び点像復元処理のキャリブレーションに使用するキャリブレーション画像の撮影を補助するガイドを表示部に表示する表示ステップと、
    前記ガイドにより補助されて前記撮像部により撮影された、前記キャリブレーション画像に基づいて、点像復元処理のパラメータを算出するパラメータ算出ステップと、
    を実行する、プログラムを記録した記録媒体。

Images