WO2016167188A1

WO2016167188A1 - 撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体

Info

Publication number: WO2016167188A1
Application number: PCT/JP2016/061511
Authority: WO
Inventors: 高志椚瀬; 洋介成瀬
Original assignee: 富士フイルム株式会社
Priority date: 2015-04-16
Filing date: 2016-04-08
Publication date: 2016-10-20
Also published as: US10249028B2; JP6259165B2; CN107534726B; CN107534726A; JPWO2016167188A1; US20180047140A1

Abstract

本発明は、光学系の光学特性と光学伝達関数に基づく復元処理との組み合わせの最適化を行って、焦点距離が可変な光学系を使って撮影された画像の画質を改善する撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体を提供する。本発明の態様では、光学系は焦点距離が可変であり、広角端における全画角が９０度を超える。また光学系は、光学系の結像面の中心からの距離が対象画像を出力する撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す結像面上の領域において評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、光学系の望遠端よりも広角端の方が高い。鮮鋭化処理部４１は、対象画像を撮影した際の光学系の焦点距離Ｆ、広角端の焦点距離Ｆｗ及び望遠端の焦点距離ＦｔがＦ≧√（Ｆｗ×Ｆｔ）を満たす場合に、鮮鋭化処理として光学系の光学伝達関数に基づく復元処理を行う。

Description

撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体

　本発明は、撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体に係り、特に、焦点距離が可変である光学系を使った撮影により取得される画像の画質を改善する技術に関する。

　デジタルカメラ等の撮像装置によって得られる撮影画像は、光学系の収差等に起因するボケや歪み等の劣化成分を含む。良画質の画像を得るためには、収差が小さい光学系を用いて撮影を行うことが望ましいが、サイズ及びコスト等のために実際に使用可能な光学系は制限され、性能の高い光学系を必ずしも使用することができない。

　そのため、撮影後の画像処理により劣化成分を低減する方法が提案されている。

　特許文献１は、光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）に応じて作成された画像回復フィルタを用いて画像回復処理を行う撮像装置を開示する。

特開２０１４－１３８１９６号公報

　防犯目的や記録目的のために使用される監視カメラの場合には、広範囲の画像を取得するために広角撮影が可能であることが求められる一方で、特定の被写体の詳細な情報を取得するために必要に応じて望遠撮影が可能であることが求められる。そのため近年では、焦点距離が可変であるズームレンズを具備する監視カメラの需要が高まっている。

　一般に、監視カメラ等の場合には撮影画像の中央部の画質だけではなく撮影画像の周辺部の画質も重視され、特に広角画像の周辺部の画質が重視される傾向があるが、ズームレンズを使った撮影では広角側で画像周辺の解像度低下等の画質劣化が生じ易い。非球面レンズ等を使ってこのような広角側における画像周辺の画質劣化を低減すると望遠側のレンズ性能に大きな影響がもたらされ、望遠側で収差バラツキが非常に大きくなり、製造感度が上がって歩留まりが下がり、レンズコストが高くなる傾向がある。

　そこで画像処理として光学伝達関数に基づく復元処理を行って、ズームレンズを使って取得される撮影画像の画質を、広角側及び望遠側の両者において改善することが考えられる。

　ただし光学伝達関数に基づく復元処理は万能ではなく、例えばボケの程度が過大な画像に対して光学伝達関数に基づく復元処理を適用しても、ボケを取り除くことができず、却って画質を悪化させてしまう懸念もある。すなわち処理対象の画像におけるボケの程度が大き過ぎずまた小さ過ぎない場合に、光学伝達関数に基づく復元処理が大きな効果を発揮する。

　したがって撮影画像に生じるボケの程度が最適な範囲に含まれるように設計されたズームレンズと光学伝達関数に基づく復元処理とを組み合わせることで、広角側から望遠側のズーム域の全域にわたって良質の画像を提供することが可能となる。また光学伝達関数に基づく復元処理を行うことを前提とすることで、ある程度のボケ等の画質劣化を許容したレンズ設計が可能となり、画質劣化を許容することのトレードオフとして余剰リソースをレンズの他の性能の向上に役立てることも可能となる。

　一般に、監視カメラでは望遠側の画質よりも広角側の画質が優先されるため、監視カメラ用の光学系を設計する際には、望遠側の光学性能を犠牲にしてでも広角側の光学性能を上げることが好ましい。そのため、監視カメラ用途として十分な画角を持つ画像の撮影を可能とするズームレンズに関して広角側の光学性能を優先してレンズ設計を行う一方で、望遠側の撮影画像に対しては復元処理を適用することで、全ズーム域において良質な画像を提供することが可能となる。

　しかしながら、従来の撮像装置では、全ズーム域にわたって良質な撮影画像を得るために復元処理を前提としてズームレンズの光学設計を最適化することは行われていない。特に、復元処理を前提として監視カメラ等に好適な「最大で９０度以上の対角線画角を有する超広角ズームレンズ」の光学設計を行うことを開示する文献は見当たらない。例えば特許文献１に開示される撮像装置は、そのような復元処理を前提とした光学設計の最適化とは異なる設計思想を前提として構成されており、撮影可能な画角が比較的狭く、最大で全画角「７４度」（半画角「３７」度）の撮影しか行うことができず、監視カメラ等の広角撮影用途には必ずしも向いていない。

　また監視カメラ用の撮像装置では、画像周辺部の画質も画像中央部と同等或いはそれ以上に重視される傾向があるが、特許文献１の撮像装置では画像中央部の画質が優先されている。そもそも特許文献１の撮像装置は、全ズーム域で全画素に対して回復処理を行うとフィルタ量が膨大になってしまうため、フィルタ量及び演算量の低減を図ることを目的としている。特許文献１の撮像装置では、画像中央部の画質を優先しつつ上記目的を達成するために、特定のズーム域において画像中心部の収差を抑えつつ画像周辺部ではコマ収差を許容するようにレンズ設計が行われ、画像周辺部では画像処理によって画質の回復を図るものとなっている。

　このように特許文献１の撮像装置は、監視カメラ等に適用される広角撮影技術に対しては必ずしも適合しておらず、そのような広角撮影において画像周辺部の画質を重視しつつ広角側から望遠側にわたって良質な画像を提供するための技術を特許文献１は開示も示唆もしていない。

　本発明は上述の事情に鑑みてなされたものであり、光学系の光学特性と光学伝達関数に基づく復元処理との組み合わせの最適化を行って、焦点距離が可変な光学系を使って撮影された画像の画質を改善する技術を提供することを目的とする。

　本発明の一態様は、光学系と、光学系を介して撮影光を受光して対象画像を出力する撮像素子と、対象画像を撮影した際の光学系の情報を示す光学撮影条件に応じて対象画像の鮮鋭化処理を行う鮮鋭化処理部とを備え、光学系は焦点距離が可変であり、光学系は広角端における全画角が９０度を超え、且つ光学系は、光学系の結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、光学系の望遠端よりも広角端の方が高く、鮮鋭化処理部は、対象画像を撮影した際の光学系の焦点距離をＦで表し、光学系の広角端の焦点距離をＦｗで表し、光学系の望遠端の焦点距離をＦｔで表し、Ｆ≧√（Ｆｗ×Ｆｔ）によって表される条件が満たされるか否かを光学撮影条件に基づいて判定し、Ｆ≧√（Ｆｗ×Ｆｔ）によって表される条件が満たされる場合に、鮮鋭化処理として光学系の光学伝達関数に基づく復元処理を行う撮像装置に関する。

　本態様によれば、光学系のＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）と光学伝達関数に基づく復元処理とが最適に組み合わされ、焦点距離が可変な光学系を使って撮影された画像の画質を焦点距離に応じて改善することができる。

　本発明の他の態様は、対象画像を取得する画像取得部と、対象画像を撮影した際の光学系の情報を示す光学撮影条件を取得する条件取得部と、光学撮影条件に応じて対象画像の鮮鋭化処理を行う鮮鋭化処理部とを備え、光学撮影条件が第１の撮影条件及び第２の撮影条件を満たす場合、鮮鋭化処理部は、鮮鋭化処理として光学系の光学伝達関数に基づく復元処理を行い、第１の撮影条件は、光学系は焦点距離が可変であり、光学系は広角端における全画角が９０度を超え、且つ光学系は、光学系の結像面の中心からの距離が撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、光学系の望遠端よりも広角端の方が高いという条件を含み、第２の撮影条件は、対象画像を撮影した際の光学系の焦点距離をＦで表し、光学系の広角端の焦点距離をＦｗで表し、光学系の望遠端の焦点距離をＦｔで表した場合に、Ｆ≧√（Ｆｗ×Ｆｔ）によって表される画像処理装置に関する。

　本態様によれば、光学系のＭＴＦ（光学性能）と光学伝達関数に基づく復元処理とが最適に組み合わされ、焦点距離が可変な光学系を使って撮影された画像の画質を焦点距離に応じて改善することができる。

　望ましくは、鮮鋭化処理部は、対象画像の輝度成分を取得し、輝度成分に対してのみ復元処理を行う。

　本態様によれば、光学伝達関数に基づく復元処理を輝度成分に対して簡便に行うことができる。

　望ましくは、光学撮影条件が第１の撮影条件を満たし、且つ、光学撮影条件がＦ＜√（Ｆｗ×Ｆｔ）で表される第３の撮影条件を満たす場合、鮮鋭化処理部は鮮鋭化処理として倍率色収差補正処理を行う。

　本態様によれば、対象画像を撮影した際の光学系の焦点距離が小さいために復元処理が行われない場合であっても、倍率色収差補正処理によって画像の画質を改善することができる。

　望ましくは、鮮鋭化処理部は、対象画像を構成する色成分の倍率を調整して倍率色収差補正処理を行う。

　本態様によれば、倍率色収差補正処理を簡便に行うことができる。

　望ましくは、鮮鋭化処理部は、光学伝達関数に基づいて倍率色収差補正処理を行う。

　望ましくは、対象画像は、少なくとも第１の色成分及び第２の色成分を含み、鮮鋭化処理部は、第１の色成分に関する光学伝達関数に基づくフィルタを第１の色成分に適用し、第２の色成分に関する光学伝達関数に基づくフィルタを第２の色成分に適用して倍率色収差補正処理を行う。

　本態様によれば、光学伝達関数に基づくフィルタを使って倍率色収差補正処理を精度良く行うことができる。

　望ましくは、光学撮影条件が第１の撮影条件を満たし、且つ、光学撮影条件がＦ＜√（Ｆｗ×Ｆｔ）で表される第３の撮影条件を満たす場合、鮮鋭化処理部は、復元処理を、対象画像の中心からの距離が撮像面の対角線の２分の１の長さの８０％以上を示す対象画像の領域に対してのみ行う。

　本態様によれば、画像の中央領域の画質を損なうことなく、画像の周辺領域の画質を改善しうる。

　望ましくは、復元処理は、光学撮影条件が第１の撮影条件及び第２の撮影条件を満たし、且つ、光学系の広角端における全画角が１００度を超える条件を満たす場合に行われる。

　本態様によれば、全画角が１００度を超える光学系を使った広角撮影画像の画質を焦点距離に応じて改善することができる。

　望ましくは、復元処理は、光学撮影条件が第１の撮影条件及び第２の撮影条件を満たし、且つ、光学系の結像面の中心からの距離が撮像面の対角線の２分の１の長さの７０％以上を示す結像面上の領域において、評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、光学系の望遠端よりも広角端の方が高いという条件を満たす場合に行われる。

　本態様によれば、対象画像の画質を、焦点距離に応じて更に効果的に改善することができる。

　本発明の他の態様は、光学系が着脱可能に取り付けられる光学系装着部と、光学系装着部に装着された光学系を介して撮影光を受光して画像を出力する撮像素子と、上記の画像処理装置とを備え、撮像素子から出力される画像を対象画像とする撮像装置に関する。

　本発明の他の態様は、光学系と、光学系を介して撮影光を受光して画像を出力する撮像素子と、撮像素子に接続されるカメラ側制御処理部と、カメラ側制御処理部に接続されるカメラ側通信部とを有するカメラデバイスと、カメラ側通信部と通信可能な端末側通信部と、端末側通信部に接続される端末側制御処理部と、端末側制御処理部に接続されるユーザインターフェースとを有する制御端末とを備え、カメラ側制御処理部及び端末側制御処理部のうち少なくともいずれか一方は、上記の画像処理装置を有し、撮像素子から出力される画像を対象画像とする撮像装置に関する。

　本発明の他の態様は、対象画像を取得するステップと、対象画像を撮影した際の光学系の情報を示す光学撮影条件を取得するステップと、光学撮影条件に応じて対象画像の鮮鋭化処理を行うステップとを備え、光学撮影条件が第１の撮影条件及び第２の撮影条件を満たす場合、鮮鋭化処理として光学系の光学伝達関数に基づく復元処理が行われ、第１の撮影条件は、光学系は焦点距離が可変であり、光学系は広角端における全画角が９０度を超え、且つ光学系は、光学系の結像面の中心からの距離が対象画像を出力する撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、光学系の望遠端よりも広角端の方が高いという条件を含み、第２の撮影条件は、対象画像を撮影した際の光学系の焦点距離をＦで表し、光学系の広角端の焦点距離をＦｗで表し、光学系の望遠端の焦点距離をＦｔで表した場合に、Ｆ≧√（Ｆｗ×Ｆｔ）によって表される画像処理方法に関する。

　本発明の他の態様は、対象画像を取得する手順と、対象画像を撮影した際の光学系の情報を示す光学撮影条件を取得する手順と、光学撮影条件に応じて対象画像の鮮鋭化処理を行う手順とをコンピュータに実行させるためのプログラムであって、光学撮影条件が第１の撮影条件及び第２の撮影条件を満たす場合、鮮鋭化処理として光学系の光学伝達関数に基づく復元処理が行われ、第１の撮影条件は、光学系は焦点距離が可変であり、光学系は広角端における全画角が９０度を超え、且つ光学系は、光学系の結像面の中心からの距離が対象画像を出力する撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、光学系の望遠端よりも広角端の方が高いという条件を含み、第２の撮影条件は、対象画像を撮影した際の光学系の焦点距離をＦで表し、光学系の広角端の焦点距離をＦｗで表し、光学系の望遠端の焦点距離をＦｔで表した場合に、Ｆ≧√（Ｆｗ×Ｆｔ）によって表されるプログラムに関する。

　本発明の他の態様は、対象画像を取得する手順と、対象画像を撮影した際の光学系の情報を示す光学撮影条件を取得する手順と、光学撮影条件に応じて対象画像の鮮鋭化処理を行う手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な非一時的有形記録媒体（a non-transitory computer-readable tangible medium）であって、光学撮影条件が第１の撮影条件及び第２の撮影条件を満たす場合、鮮鋭化処理として光学系の光学伝達関数に基づく復元処理が行われ、第１の撮影条件は、光学系は焦点距離が可変であり、光学系は広角端における全画角が９０度を超え、且つ光学系は、光学系の結像面の中心からの距離が対象画像を出力する撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、光学系の望遠端よりも広角端の方が高いという条件を含み、第２の撮影条件は、対象画像を撮影した際の光学系の焦点距離をＦで表し、光学系の広角端の焦点距離をＦｗで表し、光学系の望遠端の焦点距離をＦｔで表した場合に、Ｆ≧√（Ｆｗ×Ｆｔ）によって表されるプログラムを記録したコンピュータ読み取り可能な非一時的有形記録媒体に関する。

　本発明によれば、光学系のＭＴＦ（光学性能）と光学伝達関数に基づく復元処理とが最適に組み合わされ、焦点距離が可変な光学系を使って撮影された画像の画質を焦点距離に応じて改善することができる。

図１は、監視カメラシステムで用いられるカメラデバイスの一例を示す外観図である。図２は、撮像装置の機能構成の一例を示すブロック図であり、特に監視カメラシステムに好適な機能構成例を示す。図３は、画像処理装置の機能構成の一例を示すブロック図である。図４は、光学系の焦点距離の範囲を概念的に示す図である。図５は、撮像素子の撮像面を示す平面図であり、光学系の評価領域を定めるために用いられる撮像面の範囲を説明するための図である。図６は、画像処理装置の機能構成の他の例を示すブロック図である。図７は、撮像装置の機能構成の他の例を示すブロック図であり、特に光学系及び撮像素子が一体的に設けられるコンパクトデジタルカメラ等のデジタルカメラに好適な機能構成例を示す。図８は、撮像装置の機能構成の他の例を示すブロック図であり、特に本体部に光学系が着脱可能に装着されるレンズ交換式カメラ等のデジタルカメラに好適な機能構成例を示す。図９は、コンピュータの機能構成の一例を示すブロック図であり、特に上述の画像処理装置（特に図６参照）を適用可能な機能構成例を示す。図１０は、実施例１に係る光学系の断面図を示し、（ａ）は望遠端における光学系の配置を示し、（ｂ）は広角端における光学系の配置を示す。図１１は、実施例１に係る光学系の基本データを示す表（表１）である。図１２は、実施例１に係る光学系の広角端及び望遠端における全系の焦点距離、Ｆ値（「Ｆｎｏ」）、全画角（「２ω」）及び光軸上の可変面間隔（「可変Ｄ１０（第５レンズと絞りとの間隔）」、「可変Ｄ１１（絞りと第６レンズとの間隔）」及び「可変Ｄ２１（第１０レンズと光学部材との間隔）」）を示す表（表２）である。図１３は、実施例１に係る光学系の非球面レンズ（特に面番号「１２（図１０（ａ）の「Ｒ１２」参照）」及び「１３（図１０（ａ）の「Ｒ１３」参照）」）の非球面係数（「ＫＡ」及び「Ａｉ（ｉ＝３～２０）」）を示す表（表３）である。図１４は、実施例１に係る光学系の光軸からの位置と限界空間周波数との関係を示す図（グラフ１）であり、広角端における光学性能と望遠端における光学性能とが示されている。図１５は、実施例２に係る光学系の断面図を示し、（ａ）は望遠端における光学系の配置を示し、（ｂ）は広角端における光学系の配置を示す。図１６は、実施例２に係る光学系の基本データを示す表（表４）である。図１７は、実施例２に係る光学系の広角端及び望遠端における全系の焦点距離、Ｆ値（「Ｆｎｏ」）、全画角（「２ω」）及び光軸上の面間隔（「可変Ｄ１０（第５レンズと絞りとの間隔）」、「可変Ｄ１１（絞りと第６レンズとの間隔）」及び「可変Ｄ２１（第１０レンズと光学部材との間隔）」）を示す表（表５）である。図１８は、実施例２に係る光学系の非球面レンズ（特に面番号「１２（図１５（ａ）の「Ｒ１２」参照）」及び「１３（図１５（ａ）の「Ｒ１３」参照）」）の非球面係数（「ＫＡ」及び「Ａｉ（ｉ＝３～２０）」）を示す表（表６）である。図１９は、実施例２に係る光学系の光軸からの位置と限界空間周波数との関係を示す図（グラフ２）であり、広角端における光学性能と望遠端における光学性能とが示されている。図２０は、第１のモードに係る画像処理例を示すフローチャートである。図２１は、第２のモードに係る画像処理例を示すフローチャートである。図２２は、第３のモードに係る画像処理例を示すフローチャートである。図２３は、第４のモードに係る画像処理例を示すフローチャートである。図２４は、第５のモードに係る画像処理例を示すフローチャートである。図２５は、第６のモードに係る画像処理の一例を示すフローチャートである。図２６は、第６のモードに係る画像処理の他の例を示すフローチャートである。図２７は、本発明の撮像装置の一実施形態であるスマートフォンの外観を示す図である。図２８は、図２７に示すスマートフォンの構成を示すブロック図である。

　図面を参照して本発明の実施形態について説明する。以下の実施形態では、監視カメラシステムに本発明を適用する例について説明する。ただし、本発明の適用対象はこれに限定されず、監視カメラシステム以外の撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体にも本発明を適用することが可能である。

　一般に広角ズームレンズでは、広角側におけるズーム変動に伴う光学性能及び収差の変化が比較的激しく、望遠側ほど光学性能及び収差の変動がなだらかになる傾向がある。そのため広角側の撮影画像に対して復元処理を行う場合よりも、望遠側の撮影画像に対して復元処理を行う場合のほうが、より広いズーム域に関して同様の処理を適用することが容易であり、処理を行う領域を拡張する場合にも、少ない変更によって広い領域に対応することができる。

　本件発明者は、鋭意研究の結果、上記メカニズムに注目し、焦点距離が可変であり広角撮影を可能とする光学系の光学設計と光学伝達関数に基づく復元処理との組み合わせの最適化を行って、全ズーム域に関して良質な画質を有する画像を提供することができる手法を新たに見いだした。

　すなわち監視カメラシステム等の本実施形態の撮像装置では、焦点距離が可変な光学系（ズームレンズ）の広角側における撮影画像の画質を望遠側の画質よりも優先したレンズ設計が行われる一方で、望遠側における撮影画像に対して光学伝達関数に基づく画像処理が行われる。このように望遠側の光学性能を犠牲にして広角側の光学性能を向上させるように設計される光学系として、例えばレンズ周辺部におけるＭＴＦ値として３０％以上を確保することができる限界周波数が望遠端よりも広角端のほうが高い光学系が用いられる。このような条件下で光学系の設計及び画像処理を行うことで、全ズーム域において良好な解像度を有する良画質の撮影画像を提供することができる。

　以下、具体的な実施形態について例示する。

　図１は、監視カメラシステムで用いられるカメラデバイス１０の一例を示す外観図である。

　本例のカメラデバイス１０は、パン機能及びチルト機能を備え、後述の制御端末（図２参照）のコントロール下で撮影を行うことができる。すなわちカメラデバイス１０は、被写体を撮像する撮像部１２と、撮像部１２をパン及びチルト可能に支持する支持部１４と、を具備する。

　撮像部１２は、撮像支持部１２Ａに支持される光学系１６を有する。光学系１６は、図示しないレンズ駆動部に駆動され、フォーカス、ズーム及び絞り開度が調節される。

　支持部１４は、支持フレーム１４Ａ及び架台１４Ｂを含み、パン軸Ｐを中心に支持フレーム１４Ａが回転することができるように架台１４Ｂが支持フレーム１４Ａを支持する。架台１４Ｂには制御パネル１８が設けられ、この制御パネル１８に含まれる電源ボタン等の各種操作ボタン類をユーザが操作することによってもカメラデバイス１０をコントロールすることができる。支持フレーム１４Ａは、撮像部１２が配置される溝状のスペースを有し、パン軸Ｐと直交するチルト軸Ｔを中心に撮像部１２が回転することができるように撮像部１２を支持する。支持フレーム１４Ａには、撮像部１２をチルト軸Ｔまわりに回転させるチルト駆動部（図示省略）が設けられ、架台１４Ｂには、支持フレーム１４Ａをパン軸Ｐまわりに回転させるパン駆動部（図示省略）が設けられている。このようにパンチルト可能に支持される光学系１６の光軸Ｌは、パン軸Ｐ及びチルト軸Ｔと直交する。

　なお図１にはパンチルト動作可能なカメラデバイス１０が示されているが、カメラデバイス１０はパンチルト機構を必ずしも必要とせず、撮像部１２が支持部１４に固定的に据え付けられていてもよい。

　図２は、撮像装置の機能構成の一例を示すブロック図であり、特に監視カメラシステム２０に好適な機能構成例を示す。説明の便宜上、図２には撮影及び通信の主たる機能構成のみが図示されており、例えば上述のパン駆動部やチルト駆動部などの図示は省略されている。

　本例の監視カメラシステム２０は、カメラデバイス１０と、カメラデバイス１０をコントロール可能な制御端末３０とを備える。

　カメラデバイス１０は、光学系１６と、光学系１６を介して撮影光を受光して画像（対象画像）を出力する撮像素子２２と、光学系１６及び撮像素子２２に接続されるカメラ側制御処理部２３と、カメラ側制御処理部２３に接続されるカメラ側通信部２４とを有する。一方、制御端末３０は、カメラ側通信部２４と通信可能（図２中の符号「Ｃ」参照）な端末側通信部３３と、端末側通信部３３に接続される端末側制御処理部３２と、端末側制御処理部３２に接続されるユーザインターフェース３１とを有する。

　光学系１６は、複数のレンズ及び絞りを含み、被写体からの撮影光を撮像素子２２に導く。撮像素子２２は、ＣＣＤ（ＣＣＤ：Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）又はＣＭＯＳ（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサによって構成される。制御端末３０のユーザインターフェース３１は、ユーザによって直接的に操作可能なボタン類やタッチパネル等の操作部に加え、ユーザに各種の情報を提示可能な表示部を含む。

　カメラ側制御処理部２３は、光学系１６、撮像素子２２及びカメラ側通信部２４を制御し、例えば撮像素子２２から出力される画像を対象画像として画像処理を行う。一方、端末側制御処理部３２は、ユーザインターフェース３１及び端末側通信部３３を制御し、例えばユーザインターフェース３１を介してユーザにより入力されるデータやコマンドを受信し、各種の処理に反映させる。また端末側制御処理部３２は、カメラデバイス１０（カメラ側通信部２４）から送られてくるデータやコマンドを、端末側通信部３３を介して受信して各種の処理に反映させる。

　なおカメラ側制御処理部２３及び端末側制御処理部３２は、カメラ側通信部２４と端末側通信部３３との間の通信Ｃを介し、例えば画像データやその他のデータの送受信を行うことができる。したがってユーザは、制御端末３０のユーザインターフェース３１を介して各種のデータ及びコマンドを端末側制御処理部３２に入力することで、カメラデバイス１０を制御することができる。すなわちカメラ側制御処理部２３をコントロールするためのデータやコマンドが端末側制御処理部３２から端末側通信部３３及びカメラ側通信部２４を介してカメラ側制御処理部２３に送信され、カメラ側制御処理部２３を介して光学系１６及び撮像素子２２を制御することができる。

　なお、撮像素子２２から出力される画像の処理はカメラ側制御処理部２３で行われてもよいし、端末側制御処理部３２で行われてもよいし、カメラ側制御処理部２３及び端末側制御処理部３２の両者において行われてもよい。すなわち撮像素子２２から出力される画像は、カメラ側制御処理部２３において処理を受けた後にカメラ側通信部２４及び端末側通信部３３を介して端末側制御処理部３２に送られてもよいし、端末側制御処理部３２において処理を受けてもよい。

　したがって本例の監視カメラシステム２０では、下述の画像処理装置を、カメラ側制御処理部２３及び端末側制御処理部３２のうち少なくともいずれか一方に設けることができる。

　図３は、画像処理装置４０の機能構成の一例を示すブロック図である。本例の画像処理装置４０は鮮鋭化処理部４１を有し、対象画像及び光学撮影条件のデータが鮮鋭化処理部４１に入力される。

　対象画像は撮像素子２２から出力される画像であり、撮像素子２２から直接的又は間接的に鮮鋭化処理部４１（画像処理装置４０）に入力される。光学撮影条件は、対象画像を撮影した際の光学系１６の情報を示し、少なくとも対象画像を撮影した際の焦点距離の情報を含む。

　鮮鋭化処理部４１は、光学撮影条件に応じて対象画像の鮮鋭化処理を行う。特に本例の鮮鋭化処理部４１は、対象画像を撮影した際の光学系１６の焦点距離をＦで表し、光学系１６の広角端の焦点距離をＦｗで表し、光学系１６の望遠端の焦点距離をＦｔで表し、下記の式１によって表される条件が満たされる場合に、鮮鋭化処理として光学系１６の光学伝達関数に基づく復元処理を行う。

　式１　　　　　Ｆ≧√（Ｆｗ×Ｆｔ）
　図４は、光学系１６の焦点距離の範囲を概念的に示す図である。図４において、Ｆｔ≧Ｆ≧√（Ｆｗ×Ｆｔ）の範囲が「Ｒａ」により表され、√（Ｆｗ×Ｆｔ）＞Ｆ≧Ｆｗの範囲が「Ｒｂ」により表されている。光学系１６の焦点距離Ｆが広角端の焦点距離Ｆｗと望遠端の焦点距離Ｆｔとの間で可変である場合に、上記式１で表される焦点距離Ｆの範囲は図４において「Ｒａ」で表される望遠側範囲に相当する。したがって「対象画像を撮影した際の焦点距離Ｆ」が「光学系１６の広角端における焦点距離Ｆｗ及び光学系１６の望遠端における焦点距離Ｆｔの積の平方根」以上であって図４の範囲「Ｒａ」に含まれる場合、鮮鋭化処理部４１は、鮮鋭化処理として光学系１６の光学伝達関数に基づく復元処理を対象画像に適用する。

　なお鮮鋭化処理部４１が対象画像及び光学撮影条件のデータを取得する手法は特に限定されず、監視カメラシステム２０を構成する各部から鮮鋭化処理部４１に対して対象画像及び光学撮影条件のデータが入力可能である。例えば画像処理装置４０がカメラデバイス１０のカメラ側制御処理部２３に設けられる場合、画像処理装置４０は、撮像素子２２から出力される画像を対象画像として取得し、またカメラ側制御処理部２３が光学系１６及び撮像素子２２を制御するために使ったデータから光学撮影条件を取得してもよい。一方、画像処理装置４０が制御端末３０の端末側制御処理部３２に設けられる場合、画像処理装置４０は、撮像素子２２からカメラ側制御処理部２３、カメラ側通信部２４及び端末側通信部３３を介して対象画像を取得し、またカメラ側制御処理部２３又は端末側制御処理部３２が保持する「光学系１６及び撮像素子２２を制御するために使ったデータ」から光学撮影条件を取得してもよい。

　またＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ　ｉｍａｇｅ　ｆｉｌｅ　ｆｏｒｍａｔ）などのフォーマットに従ってメタデータが対象画像のデータに付加されている場合、画像処理装置４０は対象画像のデータに付加されているメタデータを読み込んで光学撮影条件を取得してもよい。

　監視カメラシステム２０（カメラ側制御処理部２３及び／又は端末側制御処理部３２）が図３に示す画像処理装置４０を具備する場合において、光学系１６は以下の条件１～条件３（第１の撮影条件）の全てを満たす。
（条件１）
　光学系１６は焦点距離が可変である。
（条件２）
　光学系１６は広角端における全画角が９０度を超える。
（条件３）
　光学系１６は、光学系１６の結像面の中心からの距離が対象画像を出力する撮像素子２２の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、光学系１６の望遠端よりも広角端の方が高い。

　上述の条件１は、光学系１６がズームレンズを含むことを意味し、最短の焦点距離を示す「広角端」と最長の焦点距離を示す「望遠端」との間で光学系１６の焦点距離を変えることができる。なお光学系１６の焦点距離の具体的な調整手法は特に限定されず、ユーザが制御端末３０のユーザインターフェース３１を使って焦点距離（ズームレベル）を手動的に決定してもよいし、カメラ側制御処理部２３及び／又は端末側制御処理部３２が自動的に焦点距離を決定してもよい。

　上述の条件２は、光学系１６が最短焦点距離を示す広角端において、光学系１６の全画角が９０度を超えることを意味する。例えば室内監視用途を想定した場合、死角を作らずに部屋の隅部から部屋全体を監視するには最低でも９０度の画角が必要となるため、監視用途等を想定した場合には光学系１６の全画角が９０度を超えることができるように光学系１６の焦点距離が調整可能であることが望ましい。

　なお撮像装置の大きさを考慮すると、撮像装置を部屋の隅部に配置しても、部屋の隅部から少し部屋の内側に光学系１６の頂点が配置されることになる。そのため、光学系１６の全画角が９０度より広い画角（例えば１００度程度）を超えることができるように、光学系１６の焦点距離が調整可能であることが望ましい。さらに、撮像装置の配置の自由度を向上させる観点からは、光学系１６の全画角が１００度よりも広い画角を超えることができることが好ましい。したがって、光学系１６の全画角が１００度を超えることがより好ましく、１１０度を超えることが更に好ましく、１２０度を超えることが更に好ましい。

　上述の条件３は、光学系１６の「広角端」において光学系１６の「評価領域」に関して「評価波長」を使って取得される「ＭＴＦの値が３０％以下になる空間周波数」が、光学系１６の「望遠端」において光学系１６の「評価領域」に関して「評価波長」を使って取得される「ＭＴＦの値が３０％以下になる空間周波数」よりも大きいことを示す。ここでいう「評価領域」は、撮像素子２２の撮像面を基準に定められている。

　図５は、撮像素子２２の撮像面を示す平面図であり、光学系１６の評価領域を定めるために用いられる撮像面の範囲を説明するための図である。矩形状の撮像素子２２の撮像面において対角線Ｊの２分の１の長さは、対角線Ｊ同士の交点によって表される撮像面中心Ｉｏから撮像面の頂点までの距離に相当する。図５において、撮像面中心Ｉｏからの距離が「対角線Ｊの２分の１の長さ」の８０％の長さに相当する位置が「Ｂ８０（８０％像高線）」によって表されている。また図５において、撮像面中心Ｉｏからの距離が「対角線Ｊの２分の１の長さ」の９５％の長さに相当する位置が「Ｂ９５（９５％像高線）」によって表されている。また図５において、８０％像高線Ｂ８０と９５％像高線Ｂ９５とによって囲まれる範囲が「基準範囲Ｒｓ」として表されている。

　上述の条件３は、光学系１６の結像面の中心からの距離が「撮像面中心Ｉｏから図５に示す基準範囲Ｒｓまでの距離」に相当する結像面上の領域において、評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、光学系１６の望遠端よりも広角端の方が高いことを示す。

　上述の図３に示す画像処理装置４０は、光学系１６と撮像素子２２とが一体的に設けられ、上述の条件１～条件３（第１の撮影条件）を満たす特定の光学系１６が固定的に使用されて撮影が行われるケースにおいて好適であるが、光学系１６は交換可能であってもよい。

　図６は、画像処理装置４０の機能構成の他の例を示すブロック図である。本例の画像処理装置４０は、鮮鋭化処理部４１に加え、対象画像を取得する画像取得部４２と、対象画像を撮影した際の光学系の情報を示す光学撮影条件を取得する条件取得部４３と、を含む。

　本例の鮮鋭化処理部４１は、条件取得部４３によって取得される光学撮影条件が上記の条件１～条件３（第１の撮影条件）及び上記式１によって表される条件４（第２の撮影条件）を満たす場合、鮮鋭化処理として光学系１６の光学伝達関数に基づく復元処理を、画像取得部４２によって取得される対象画像に対して行う。本例の画像処理装置４０によれば、上記式１によって表される条件４（第２の撮影条件）に加えて上記の条件１～条件３（第１の撮影条件）が満たされるか否かが鮮鋭化処理部４１において判定され、その判定結果に応じて鮮鋭化処理としての復元処理が行われる。したがって、光学系１６が交換可能であり、撮影に使用される光学系１６が変わりうるケースであっても、図６に示す画像処理装置４０は好適に用いられる。

　なお、上述の画像処理装置４０（図３及び図６参照）の適用対象は監視カメラシステム２０に限定されない。光学系１６及び撮像素子２２が一体的に設けられるデジタルカメラ、撮像素子２２が設けられる本体部に光学系１６が着脱可能に装着されるデジタルカメラ、及び画像処理を行うことができるコンピュータ等の他の機器類に対し、画像処理装置４０が適用されてもよい。

　図７は、撮像装置の機能構成の他の例を示すブロック図であり、特に光学系１６及び撮像素子２２が一体的に設けられるコンパクトデジタルカメラ等のデジタルカメラ５０に好適な機能構成例を示す。本例のデジタルカメラ５０は、光学系１６、撮像素子２２、撮像制御処理部５１、通信部５２及び撮像ユーザインターフェース５３が一体的に設けられており、撮像制御処理部５１が、光学系１６、撮像素子２２、通信部５２及び撮像ユーザインターフェース５３を統括的に制御する。ユーザが撮像ユーザインターフェース５３を介して入力する各種のデータ及びコマンドに応じて撮像制御処理部５１が光学系１６及び撮像素子２２を制御することで撮影が行われる。撮像制御処理部５１は、撮像素子２２から出力される画像を対象画像として各種の処理を行うことができ、通信部５２を介して処理前後の画像を外部機器類に送信できる。

　したがって上述の画像処理装置４０（特に図３参照）は、図７に示すデジタルカメラ５０の撮像制御処理部５１に設けられてもよい。撮像制御処理部５１（画像処理装置４０）は、上述の条件１～条件３（第１の撮影条件）及び上述の式１で表される条件４（第２の撮影条件）が満たされる場合には、鮮鋭化処理として光学系１６の光学伝達関数に基づく復元処理を行うことができる。

　図８は、撮像装置の機能構成の他の例を示すブロック図であり、特に本体部５４に光学系１６が着脱可能に装着されるレンズ交換式カメラ等のデジタルカメラ５０に好適な機能構成例を示す。本例のデジタルカメラ５０は光学系１６及び本体部５４を具備する。光学系１６は、光学系制御部５５及び光学系入出力部５６と一体的に設けられ、本体部５４の光学系装着部５８に嵌合することで本体部５４に装着される。本体部５４は、撮像素子２２、光学系装着部５８、本体制御部５７、本体入出力部５９、通信部５２及び撮像ユーザインターフェース５３を有する。光学系装着部５８は光学系１６が着脱可能に取り付けられ、撮像素子２２は光学系装着部５８に装着された光学系１６を介して撮影光を受光して画像を出力する。本体入出力部５９は、光学系１６が光学系装着部５８に嵌合した際に光学系入出力部５６と接続してデータの送受信を行うことができる。光学系制御部５５及び本体制御部５７は、光学系入出力部５６及び本体入出力部５９を介してデータの送受信を行うことができる。

　ユーザが撮像ユーザインターフェース５３を介して入力する各種のデータ及びコマンドに応じて本体制御部５７が光学系制御部５５に制御信号を送信し、この制御信号に応じて光学系制御部５５が光学系１６を制御する。その一方で、本体制御部５７が撮像素子２２を制御することで、撮影を行うことができる。本体制御部５７は、撮像素子２２から出力される画像を対象画像として各種の処理を行うことができ、通信部５２を介して処理前後の画像を外部機器類に送信できる。

　したがって上述の画像処理装置４０（特に図６参照）は、図８に示すデジタルカメラ５０の本体制御部５７に設けられてもよい。本体制御部５７（画像処理装置４０）は、上述の条件１～条件３（第１の撮影条件）及び上述の式１で表される条件４（第２の撮影条件）が満たされる場合には、鮮鋭化処理として光学系１６の光学伝達関数に基づく復元処理を行うことができる。

　図９は、コンピュータ６０の機能構成の一例を示すブロック図であり、特に上述の画像処理装置４０（特に図６参照）を適用可能な機能構成例を示す。本例のコンピュータ６０は、コンピュータ制御処理部６１、コンピュータ入出力部６２及びコンピュータユーザインターフェース６３を有する。コンピュータ入出力部６２は、上述のデジタルカメラ５０等の外部機器類に接続され、その外部機器類との間でデータの送受信を行う。コンピュータユーザインターフェース６３は、ユーザによって直接的に操作可能なマウス等のポインティングデバイス及びキーボード等の操作部に加え、ユーザに各種の情報を提示可能な表示部を含む。コンピュータ制御処理部６１は、コンピュータ入出力部６２及びコンピュータユーザインターフェース６３に接続され、コンピュータ入出力部６２を介して画像データ等のデータを受信し、またコンピュータユーザインターフェース６３を介してユーザにより入力される各種のデータ及びコマンドに応じて各種の処理を行う。

　したがって上述の画像処理装置４０（特に図６参照）は、図９に示すコンピュータ６０のコンピュータ制御処理部６１に設けられてもよい。コンピュータ制御処理部６１（画像処理装置４０）は、上述の条件１～条件３（第１の撮影条件）及び上述の式１で表される条件４（第２の撮影条件）が満たされる場合には、鮮鋭化処理として光学系１６の光学伝達関数に基づく復元処理を行うことができる。

　上述の画像処理装置４０を含む撮像装置（監視カメラシステム２０及びデジタルカメラ５０）によれば、広角撮影を行う場合には、中央部だけではなく周辺部においても良好な画質を有する撮影画像を提供することができる。特に本実施形態では、「広角側ではズーム変化に伴う光学性能及び収差の変化が比較的激しく、望遠側になるほど光学性能及び収差がなだらかに変化する」というズームレンズの特性が考慮されて光学系１６の設計及び復元処理の最適化が行われている。すなわち、光学系１６の望遠側の光学性能を犠牲にして広角側の光学性能を高めつつ、望遠側の焦点距離で撮影される画像に生じうる不具合については光学伝達関数に基づく復元処理によってケアすることで、全ズーム域に関して良質な撮影画像を提供することができる。

　なおここでいう「光学伝達関数に基づく復元処理」は、光学系１６の点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）の二次元フーリエ変換によって得られる光学伝達関数（ＯＴＦ）から導かれる画像回復処理を意味し、点像復元処理とも呼ばれる。この「光学伝達関数に基づく復元処理」は、ＯＴＦに基づいて作成されるフィルタを使った処理であってもよいし、ＯＴＦの絶対値成分であるＭＴＦ及び／又は位相のずれを表すＰＴＦ（Ｐｈａｓｅ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）に基づいて作成されるフィルタを使った処理であってもよいし、ＰＳＦに基づいて作成されるフィルタを使った処理であってもよい。以下に説明する「光学伝達関数」は、ＯＴＦだけではなく、これらのＭＴＦ、ＰＴＦ及びＰＳＦを含みうる概念である。

　光学伝達関数に基づく復元処理は、光学系１６の光学伝達関数に応じて劣化した像を、光学伝達関数から直接的又は間接的に求められる復元フィルタ（逆フィルタ）を使って補正することで、像劣化をキャンセルして本来の像を復元する処理である。単純な復元フィルタを使った復元処理として、例えば本来の像成分に対して１／１００に減衰した劣化像成分に、像成分を１００倍にするゲインを持つ復元フィルタを適用することで本来の像を復元する処理が考えられる。しかしながら、減衰特性の逆数から単純に求められるゲインを劣化像成分に適用しただけでは、撮像素子２２等の撮像系に起因するノイズ成分も増幅されてしまう。そのため大きな増幅率を持つ復元フィルタがノイズ成分を含む画像に適用されると、復元処理後の画像において無視できない像劣化がもたらされる。

　撮像系に起因するノイズを考慮して作成される復元フィルタとして、Ｗｉｅｎｅｒフィルタが広い分野で用いられている。Ｗｉｅｎｅｒフィルタを使った復元処理によれば、光学系１６の光学伝達関数に起因するボケの影響が大き過ぎて撮像系に起因するノイズ量と比べて画像の周波数特性が極端に減衰している場合には、大きなゲインが画像に適用されるのが避けられ、撮像系に起因するノイズ量を低減することを優先するような減衰ゲインが画像に適用されることもある。

　このＷｉｅｎｅｒフィルタは本実施形態の撮像装置においても有効に活用することができる。Ｗｉｅｎｅｒフィルタを用いた復元処理の適用を前提として光学系１６の設計を行うことで、光学性能の一部の劣化を許容する代わりに他の性能を向上させることができる。とりわけ監視撮影用途向けの光学系１６に関しては、光学性能の一部の劣化を許容することでもたらされる余剰リソースを、光学系１６の広角側の限界周波数を向上させることに割り当てることが望ましい。

　以下、光学伝達関数に基づく復元処理の実施を前提とした光学系１６の最適設計に関する具体例について説明する。

　＜復元処理の実施を前提とした光学系の最適設計＞
　Ｗｉｅｎｅｒフィルタは、画像劣化が線形で既知な場合において復元画像と元画像との間の平均二乗誤差を最小とすることを目的として作成されるフィルタであって、線形フィルタ設計基準の一つとして利用されている。Ｗｉｅｎｅｒフィルタの周波数特性Ｆ（ｆ，ｈ）は、下記の式２により表される。

　上記の式２に関し、Ｈ（ｆ，ｈ）は光学系の設計情報に基づいて得られるパラメータであり、Ｓ（ｆ）及びＮ（ｆ）は想定される撮像系に基づいて得られるパラメータである。

　上記の式２によって定義されるＷｉｅｎｅｒフィルタを撮影画像に適用した場合の復元画像のレスポンスＸ（ｆ，ｈ）は、下記の式３によって表される。

　ここで、光学系１６の設計に関して、下記の式４によって表される性能要件が課せられている場合を想定する。

　光学伝達関数に基づく復元処理を行うことを前提として光学系１６の設計を行う場合、復元処理後のＭＴＦ値に基づいて性能要件を評価することができる。そのため、下記の式５によって表されるように、性能要件の基準が実質的に緩和される。

　この式５から、光学系１６の光学伝達関数に関する下記の式６及び式７が導き出される。

　この「θ_Ｌ」は、下記の式８が成立する範囲において「θ_Ｌ≦θ_Ｍ」となり、それに応じて光学系１６のＭＴＦの条件を緩和することが許容される。この条件はＳＮ比（Ｓｉｇｎａｌ－Ｎｏｉｓｅ　ｒａｔｉｏ）がある程度高ければ、０％及び１００％の付近を除くほとんどのθ_Ｍに関して成立する。

　＜広角端における解像度を重視する光学系の最適設計＞
　光学系１６の望遠端及び広角端における光学特性として、下記の式９及び式１０によって表される解像性能が求められる場合について考える。

　光学伝達関数に基づく復元処理を行うことを前提とすると、上記の式９及び式１０の条件を下記の式１１及び式１２で表される条件に緩和することができる。

　このように条件が緩和されて閾値が下がったことにより生まれるリソースを、光学系１６の広角端における限界解像性能の向上に割り当てることで、下記式１３を成立させることができる。

　光学系１６の光学伝達関数に基づく復元処理を行うことを前提とすることにより、上述のようにして広角端における限界解像性能が向上した光学系１６を設計することができる。

　次に、光学系１６の具体的な構成例について説明する。

　＜実施例１＞
　図１０は、実施例１に係る光学系１６の断面図を示し、（ａ）は広角端における光学系１６の配置を示し、（ｂ）は望遠端における光学系１６の配置を示す。図１０（ａ）及び（ｂ）はそれぞれ、無限遠物体に合焦した状態における光学系１６の配置状態を示しており、図の左側が物体側（被写体側）であり、図の右側が像側（像面Ｓｉｍ側）である。

　本例の光学系１６は、物体側から順に配置される「負の屈折力を有する第１レンズ群Ｇ１」、「絞りＳｔ」、「正の屈折力を有する第２レンズ群Ｇ２」及び「平行平板状の光学部材ＰＰ」を含む。第１レンズ群Ｇ１は、第１レンズＬ１、第２レンズＬ２、第３レンズＬ３、第４レンズＬ４及び第５レンズＬ５を含む（図１０（ｂ）参照）。第２レンズ群Ｇ２は、第６レンズＬ６、第７レンズＬ７、第８レンズＬ８、第９レンズＬ９及び第１０レンズＬ１０を含む（図１０（ｂ）参照）。

　光学系１６が撮像装置に搭載される際には、撮像素子２２の撮像面を保護するカバーガラス、撮像装置の仕様に応じた色分解プリズム等のプリズム、及びローパスフィルタや赤外線カットフィルタ等の各種フィルタに代表される光学部材が設けられることが好ましい。図１０（ａ）及び（ｂ）に示す例では、これらの光学部材を想定した平行平板状の光学部材ＰＰが、第２レンズ群Ｇ２と像面Ｓｉｍとの間に配置される。

　本例の光学系１６では、絞りＳｔは第１レンズ群Ｇ１と第２レンズ群Ｇ２との間に配置され、焦点距離を変える変倍時に絞りＳｔ及び像面Ｓｉｍの位置は固定されている。また像面Ｓｉｍは、光学系１６の結像面を表し、撮影の際には、撮像素子２２の撮像面が像面Ｓｉｍの位置に配置される。なお図１０（ａ）及び（ｂ）に示す絞りＳｔは大きさや形状を表すものではなく、光軸Ｌ上での位置を示す。また図１０（ａ）及び（ｂ）において、光学系１６の結像面の中心に対応する箇所が符号「Ｓ０」によって表される。

　光学系１６の焦点距離を変える場合、第１レンズ群Ｇ１と第２レンズ群Ｇ２との間の光軸Ｌの方向に関する距離が変化する。この場合、第１レンズ群Ｇ１を構成する第１レンズＬ１～第５レンズＬ５は相互間の位置を保ったまま一体的に光軸Ｌの方向に移動し、第２レンズ群Ｇ２を構成する第６レンズＬ６～第１０レンズＬ１０は相互間の位置を保ったまま一体的に光軸Ｌの方向に移動する。このような２群構成で、物体側から順に第１レンズ群Ｇ１による負のパワー及び第２レンズ群Ｇ２による正のパワーを配置し、第１レンズ群Ｇ１及び第２レンズ群Ｇ２の間隔変動によりズーム調整を行う構成は、光学系１６の広角化に有利である。

　図１１は、実施例１に係る光学系１６の基本データを示す表（表１）である。図１１において「Ｒ」の欄（「１」～「２１」及び「Ｓｉｍ」）は、最も物体側の構成要素の面を１番目として像側に向かうに従い順次増加するｉ番目（ｉ＝１、２、３、…、２１）の面番号（図１０（ａ）の「Ｒ１」～「Ｒ２１」参照）及び像面Ｓｉｍを示す。

　図１１の「ｒ」の欄は、各面番号の曲率半径（ｍｍ：ミリメートル）を示す。曲率半径の符号は、面形状が物体側に凸の場合を正、像側に凸の場合を負としている。また面番号「３」、「２０」及び「２１」の曲率半径は無限大を意味し、面形状が光軸Ｌに直交して法線方向が光軸Ｌの方向と一致する平面であることを意味する。また図１１における絞りＳｔに相当する面（面番号「１０」）の曲率半径の欄にはハイフンを示す記号「－」を記載する。

　図１１の「Ｄ」の欄は、各面番号（ｉ）の面と像側（図１０（ａ）及び（ｂ）の右側）に隣接する面番号（ｉ＋１）の面との光軸Ｌ上の面間隔（ｍｍ）を示す。図１１における「可変Ｄ１０（第５レンズＬ５と絞りＳｔとの間隔）」、「可変Ｄ１１（絞りＳｔと第６レンズＬ６との間隔）」及び「可変Ｄ２１（第１０レンズＬ１０と光学部材ＰＰとの間隔）」は、ズーム（焦点距離）に応じて変化することを意味する（後述の図１２参照）。

　図１１の「Ｎｄ」の欄は、各面番号（ｉ）の面と像側（図１０（ａ）及び（ｂ）の右側）に隣接する面番号（ｉ＋１）の面との間の光学要素のｄ線（波長５８７．６ｎｍ）に関する屈折率を示す。

　図１１の「νｄ」の欄は、各面番号（ｉ）の面と像側（図１０（ａ）及び（ｂ）の右側）に隣接する面番号（ｉ＋１）の面との間の光学要素のｄ線に関するアッベ数を示す。

　図１１の「θｇＦ」の欄は、各面番号（ｉ）の面と像側（図１０（ａ）及び（ｂ）の右側）に隣接する面番号（ｉ＋１）の面との間の光学要素の、ｇ線（波長４３５．８ｎｍ）とＦ線（４８６．１ｎｍ）との間の部分分散比を示す。

　なお、図１１の「Ｎｄ」、「νｄ」及び「θｇＦ」の欄における空欄は、対応する光学要素が存在しないことを意味し、対応箇所は空間によって占められる。

　図１２は、実施例１に係る光学系１６の広角端及び望遠端における全系の焦点距離、Ｆ値（「Ｆｎｏ」）、全画角（「２ω」）及び光軸Ｌ上の可変面間隔（「可変Ｄ１０（第５レンズＬ５と絞りＳｔとの間隔）」、「可変Ｄ１１（絞りＳｔと第６レンズＬ６との間隔）」及び「可変Ｄ２１（第１０レンズＬ１０と光学部材ＰＰとの間隔）」）を示す表（表２）である。図１２に示す焦点距離、光軸Ｌ上の面間隔（「可変Ｄ１０」、「可変Ｄ１１」及び「可変Ｄ２１」）の単位は「ミリメートル（ｍｍ）」であり、全画角（「２ω」）の単位は「度（°）」である。ただし光学系は比例拡大又は比例縮小して使用することが可能なため、他の適当な単位が用いられてもよい。また、本明細書に添付する図面に記載される各表に示される数値は、所定の桁でまるめられている。

　図１２に示すように、実施例１に係る光学系１６は広角端における全画角が１５１．３度となっており、上述の条件２を満たす。

　図１３は、実施例１に係る光学系１６の非球面レンズ（特に面番号「１１（図１０（ａ）の「Ｒ１１」参照）」及び「１２（図１０（ａ）の「Ｒ１２」参照）」）の非球面係数（「ＫＡ」及び「Ａｉ（ｉ＝３～２０）」）を示す表（表３）である。

　図１３の非球面係数に関し、面番号「１１」及び「１２」の非球面深さＺは下記の式１４によって表される。

　なお図１３において、「Ｅ」は指数表記を表し、例えば「Ｅ－０５」は１０の「－５」乗（すなわち「１０^－５」）を意味する。

　図１４は、実施例１に係る光学系１６の光軸Ｌからの位置と限界空間周波数との関係を示す図（グラフ１）であり、広角端における光学性能と望遠端における光学性能とが示されている。

　図１４の横軸（「像高（割合）」）は、光学系１６の光軸からの位置を示し、「撮像素子２２の撮像面の対角線Ｊの２分の１の長さ」を基準とした光学系１６の結像面の中心からの距離の割合（パーセンテージ（％））によって表されている。例えば横軸の「７０％」は、光学系１６の光軸からの径方向の距離が「撮像素子２２の撮像面の対角線Ｊの２分の１の長さ」の７０％である光学系１６の位置を示す。同様に横軸の「１００％」は、光学系１６の光軸からの径方向の距離が「撮像素子２２の撮像面の対角線Ｊの２分の１の長さ」と同じになる光学系１６の位置を示す。

　図１４の縦軸（「周波数［ＬＰ／ｍｍ（Ｌｉｎｅ　Ｐａｉｒｓ／ｍｍ）］」）は、空間周波数を表す。

　そして図１４には、評価波長を使って取得される実施例１に係る光学系１６のＭＴＦの値が３０％を示す空間周波数（限界空間周波数）がプロットされている。本例において用いられた評価波長は、４３５．８３ｎｍの波長成分（ｇ線）、５４６．０７ｎｍの波長成分（ｅ線）及び６５６．２７ｎｍの波長成分（Ｃ線）によって構成され、各波長成分を「４３５．８３ｎｍの波長成分：５４６．０７ｎｍの波長成分：６５６．２７ｎｍの波長成分＝１：５：１」の割合で含む白色光の波長である。

　図１０～図１４に示す特性を有する実施例１に係る光学系１６は、倍率が２．７倍程度の変倍光学系であり、広角端の光学性能を重視した設計がなされ、上述の条件１～条件３（第１の撮影条件）を満たす。本実施形態の撮像装置では、このような光学特性を有する実施例１の光学系１６を使って取得される撮影画像のうち望遠側の焦点距離（上記式１によって表される条件４（第２の撮影条件）参照）に基づいて撮影された画像に対し、鮮鋭化処理として光学伝達関数に基づく復元処理が行われる。それにより、全ズーム域に関して良質な画質を有する画像を提供することができる。

　＜実施例２＞
　図１５は、実施例２に係る光学系１６の断面図を示し、（ａ）は広角端における光学系１６の配置を示し、（ｂ）は望遠端における光学系１６の配置を示す。図１５（ａ）及び（ｂ）はそれぞれ、無限遠物体に合焦した状態における光学系１６の配置状態を示しており、図の左側が物体側（被写体側）であり、図の右側が像側（像面Ｓｉｍ側）である。

　本実施例２に係る光学系１６は、上述の実施例１の光学系１６よりも画角の大きい広角撮影を可能とする（後述の図１７参照）。本例の光学系１６は、物体側から順に配置される「負の屈折力を有する第１レンズ群Ｇ１」、「絞りＳｔ」、「正の屈折力を有する第２レンズ群Ｇ２」及び「平行平板状の光学部材ＰＰ」を含む。第１レンズ群Ｇ１は、第１レンズＬ１、第２レンズＬ２、第３レンズＬ３、第４レンズＬ４及び第５レンズＬ５を含む。第２レンズ群Ｇ２は、第６レンズＬ６、第７レンズＬ７、第８レンズＬ８、第９レンズＬ９及び第１０レンズＬ１０を含む。本例の光学系１６では、絞りＳｔは第１レンズ群Ｇ１と第２レンズ群Ｇ２との間に配置され、光学部材ＰＰは第２レンズ群Ｇ２と像面Ｓｉｍとの間に配置され、焦点距離を変える変倍時にも絞りＳｔ及び光学部材ＰＰの位置は固定されている。

　光学系１６の焦点距離を変える場合、第１レンズ群Ｇ１と第２レンズ群Ｇ２との間の光軸Ｌの方向に関する距離が変化する。この場合、第１レンズ群Ｇ１を構成する第１レンズＬ１～第５レンズＬ５は相互間の位置を保ったまま一体的に光軸Ｌの方向に移動し、第２レンズ群Ｇ２を構成する第６レンズＬ６～第１０レンズＬ１０は相互間の位置を保ったまま一体的に光軸Ｌの方向に移動する。

　図１６は、実施例２に係る光学系１６の基本データを示す表（表４）である。図１６における「Ｒ」、「ｒ」、「Ｄ」、「Ｎｄ」、「νｄ」及び「θｇＦ」の欄は、上述の実施例１に係る図１１と同様の意味であり、それぞれ面番号（Ｒ１～Ｒ２２（図１５（ａ）参照））及び像面Ｓｉｍ、曲率半径、面間隔、屈折率、アッベ数及びｇ線とＦ線との間の部分分散比を示す。

　図１７は、実施例２に係る光学系１６の広角端及び望遠端における全系の焦点距離、Ｆ値（「Ｆｎｏ」）、全画角（「２ω」）及び光軸Ｌ上の面間隔（「可変Ｄ１０（第５レンズＬ５と絞りＳｔとの間隔）」、「可変Ｄ１１（絞りＳｔと第６レンズＬ６との間隔）」及び「可変Ｄ２１（第１０レンズＬ１０と光学部材ＰＰとの間隔）」）を示す表（表５）である。図１７における「焦点距離」、「Ｆｎｏ」、「２ω」、「可変Ｄ１０」、「可変Ｄ１１」及び「可変Ｄ２１」の欄は、上述の実施例１に係る図１２と同様である。

　図１７に示すように、実施例２に係る光学系１６は広角端における全画角が１６４．３度となっており、上述の条件２を満たす。

　図１８は、実施例２に係る光学系１６の非球面レンズ（特に面番号「１２（図１５（ａ）の「Ｒ１２」参照）」及び「１３（図１５（ａ）の「Ｒ１３」参照）」）の非球面係数（「ＫＡ」及び「Ａｉ（ｉ＝３～２０）」）を示す表（表６）である。図１８における各欄は、上述の実施例１に係る図１３と同様である。

　図１９は、実施例２に係る光学系１６の光軸Ｌからの位置と限界空間周波数との関係を示す図（グラフ２）であり、広角端における光学性能と望遠端における光学性能とが示されている。図１９の横軸、縦軸、プロット及び評価波長は、上述の実施例１に係る図１４と同様であり、図１９には、評価波長を使って取得される実施例２に係る光学系１６のＭＴＦの値が３０％を示す空間周波数（限界空間周波数）がプロットされている。

　図１５～図１９に示す特性を有する実施例２に係る光学系１６も、広角端の光学性能を重視した設計がなされ、上述の条件１～条件３（第１の撮影条件）を満たす。本実施形態の撮像装置では、このような光学特性を有する実施例２の光学系１６を使って取得される撮影画像のうち望遠側の焦点距離（上記式１によって表される条件４（第２の撮影条件）参照）に基づいて撮影された画像に対し、鮮鋭化処理として光学伝達関数に基づく復元処理が行われる。それにより、全ズーム域に関して良質な画質を有する画像を提供することができる。

　次に、上述のような「広角側において優れた光学性能を有する光学系１６」と「光学伝達関数に基づく復元処理」との組み合わせに関して好ましい実施モードについて説明する。

　＜第１のモード＞
　図２０は、第１のモードに係る画像処理例を示すフローチャートである。

　本モードは、対象画像の撮影に使用される光学系１６が変更されずに固定されているケースに好適であり、図３に示す画像処理装置４０に本モードを適用することが可能である。例えば「光学系１６の交換が難しいデジタルカメラ５０（図７参照）」や「光学系１６が交換不可能な監視カメラシステム２０（図２参照）等の撮像装置」は、本モードに係る画像処理を採用することができる。

　本モードは、撮影に使用される光学系１６が上述の条件１～条件３（第１の撮影条件）を満たすことを前提としており、撮影の際の焦点距離が上記式１によって表される条件４（第２の撮影条件）を満たすか否かの判定結果に応じて復元処理の実行の有無が決められる。

　すなわち画像処理装置４０の鮮鋭化処理部４１によって、対象画像が取得され（図２０のＳ１１）、光学撮影条件が取得され（Ｓ１２）、上記式１によって表される条件４（第２の撮影条件）が満たされるか否かが光学撮影条件に基づいて判定される（Ｓ１３）。条件４が満たされると判定される場合（Ｓ１３のＹＥＳ）、鮮鋭化処理部４１によって「光学伝達関数に基づく復元処理」が対象画像に対して行われる（Ｓ１４）。一方、条件４が満たされないと判定される場合（Ｓ１３のＮＯ）、「光学伝達関数に基づく復元処理（Ｓ１４参照）」はスキップされる。このように本モードの鮮鋭化処理部４１は、条件４「Ｆ≧√（Ｆｗ×Ｆｔ）」が満たされる場合のみ復元処理を行う。

　なお光学伝達関数に基づく復元処理（Ｓ１４参照）の具体的な手法は特に限定されない。例えば、対象画像を構成する画素の全てに復元フィルタを適用して対象画像の全体に復元処理が行われてもよいし、対象画像を構成する画素の一部のみに復元フィルタを適用して対象画像の一部に復元処理が行われてもよい。なお対象画像の一部のみに復元処理を行う場合、画質劣化が生じ易い箇所に対して優先的に復元処理を行うことが好ましく、例えば対象画像の周辺部を構成する画素に対して復元フィルタを優先的に適用することが好ましい。

　以上説明したように、広角側における撮影では光学系１６の優れた光学特性の恩恵を受けて良画質の画像を取得することができる。また上記式１によって表される条件４が満たされる望遠側において撮影された対象画像は、「光学伝達関数に基づく復元処理」によって良好な画質を持つように復元される。このように本モードによれば、広角端～望遠端の全域にわたって良画質の画像を提供することができる。

　＜第２のモード＞
　本モードにおいて、上述の第１のモードと同一又は類似の要素に関しては同一の符号を付し、その詳細な説明を省略する。

　本モードは、対象画像の撮影に使用される光学系１６が固定されずに変更可能なケースに好適であり、図６に示す画像処理装置４０に本モードを適用することが可能である。例えば「光学系１６を交換可能な監視カメラシステム２０（図２参照）やデジタルカメラ５０（図８参照）」及び「複数の撮像装置で撮影された画像の画像処理を行うことができるコンピュータ６０（図９参照）」は、本モードに係る画像処理を採用することができる。

　図２１は、第２のモードに係る画像処理例を示すフローチャートである。

　本モードは、「上記式１によって表される条件４（第２の撮影条件）が満たされるか否かの判定結果」だけではなく「対象画像の撮影に使用される光学系１６が上述の条件１～条件３（第１の撮影条件）を満たすか否かの判定結果」に応じて復元処理の実行の有無が決められる。

　すなわち本モードにおいても第１のモードと同様に、画像処理装置４０の鮮鋭化処理部４１によって、対象画像が取得され（図２１のＳ２１）、また光学撮影条件が取得される（Ｓ２２）。

　ただし本モードでは、鮮鋭化処理部４１によって、上述の条件１～条件３（第１の撮影条件）及び条件４（第２の撮影条件）が満たされるか否かが光学撮影条件に基づいて判定される（Ｓ２３）。光学撮影条件が第１の撮影条件及び第２の撮影条件（条件１～条件４）の全てを満たす場合（Ｓ２３のＹＥＳ）、鮮鋭化処理部４１によって「光学伝達関数に基づく復元処理」が対象画像に対して行われる（Ｓ２４）。一方、光学撮影条件が第１の撮影条件及び第２の撮影条件（条件１～条件４）の少なくとも一部を満たさないと判定される場合（Ｓ２３のＮＯ）、「光学伝達関数に基づく復元処理（Ｓ２４参照）」はスキップされる。

　以上説明したように本モードによれば、対象画像の撮影に使用される光学系１６を変更可能な場合であっても、光学系１６の光学特性と光学伝達関数に基づく復元処理とが適切に相補的に組み合わされており、広角端～望遠端の全域にわたって良画質の画像を提供することが可能になる。

　＜第３のモード＞
　本モードにおいて、上述の第２のモードと同一又は類似の要素に関しては同一の符号を付し、その詳細な説明を省略する。

　図２２は、第３のモードに係る画像処理例を示すフローチャートである。

　本モードにおいて「光学伝達関数に基づく復元処理」が行われる場合には、鮮鋭化処理部４１は、対象画像の輝度成分を取得し、その輝度成分に対してのみ復元処理を行う。

　すなわち本モードにおいても第２のモードと同様に、画像処理装置４０の鮮鋭化処理部４１によって、対象画像が取得され（図２２のＳ３１）、光学撮影条件が取得され（Ｓ３２）、上述の条件１～条件４（第１の撮影条件及び第２の撮影条件）が満たされるか否かが光学撮影条件に基づいて判定される（Ｓ３３）。

　ただし本モードでは、第１の撮影条件及び第２の撮影条件（条件１～条件４）の全てが満たされる場合（Ｓ３３のＹＥＳ）、鮮鋭化処理部４１によって、対象画像の輝度成分が取得され（Ｓ３４）、その取得された輝度成分に対して「光学伝達関数に基づく復元処理」が行われる（Ｓ３５）。一方、第１の撮影条件及び第２の撮影条件（条件１～条件４）の少なくとも一部が満たされないと判定される場合（Ｓ３３のＮＯ）、「対象画像の輝度成分の取得処理」及び「光学伝達関数に基づく復元処理」はスキップされる。

　なお、対象画像の輝度成分を取得するタイミングは特に限定されず、上述のステップＳ３３の後であってもよいし前であってもよい。また対象画像の輝度成分の取得手法は特に限定されない。例えば対象画像がＲＧＢデータ（赤緑青データ）によって表される場合、鮮鋭化処理部４１は下記式１５に従って対象画像の輝度成分Ｙを取得することが可能である。なお下記式１５で使用されているＲＧＢデータの各々の係数は一例に過ぎず、他の係数が用いられてもよい。

　式１５　　　　Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
　Ｒ：対象画像のＲデータ
　Ｇ：対象画像のＧデータ
　Ｂ：対象画像のＢデータ
　以上説明したように本モードによれば、対象画像の輝度成分に対して復元処理が行われるため、良好な復元精度を確保しつつ、復元処理の演算負荷を軽減して処理を高速化することができる。

　＜第４のモード＞
　本モードにおいて、上述の第１のモード～第３のモードと同一又は類似の要素に関しては同一の符号を付し、その詳細な説明を省略する。

　本モードでは、条件１～条件３（第１の撮影条件）は満たされるが、条件４（第２の撮影条件）は満たされない場合に、鮮鋭化処理部４１は鮮鋭化処理として倍率色収差補正処理を対象画像に対して行う。すなわち鮮鋭化処理部４１は、光学撮影条件が条件１～条件３（第１の撮影条件）を満たし、且つ、光学撮影条件が下記式１６によって表される条件５（第３の撮影条件）を満たす場合、鮮鋭化処理として「対象画像を構成する色成分の倍率を調整する倍率色収差補正処理」を行う。

　式１６　　　　Ｆ＜√（Ｆｗ×Ｆｔ）
　なお式１６で表される条件５（第３の撮影条件）は、上述の式１で表される条件４（第２の撮影条件）と相関があり、「条件４（第２の撮影条件）が満たされるか否かの判定」及び「条件５（第３の撮影条件）が満たされないか否かの判定」を同時に行うことができる。すなわち「条件４（第２の撮影条件）が満たされること」と「条件５（第３の撮影条件）が満たされないこと」とは等価であり、「条件４（第２の撮影条件）が満たされないこと」と「条件５（第３の撮影条件）が満たされること」とは等価である。したがって下述の本モードでは、「条件４（第２の撮影条件）が満たされるか否かの判定」のみが行われているが、実質的には「条件５（第３の撮影条件）が満たされないか否かの判定」も行われている。

　図２３は、第４のモードに係る画像処理例を示すフローチャートである。

　本モードにおいても第１のモード～第３のモードと同様に、画像処理装置４０の鮮鋭化処理部４１によって、対象画像が取得され（図２３のＳ４１）、光学撮影条件が取得される（Ｓ４２）。

　そして、光学撮影条件が条件１～条件３（第１の撮影条件）を満たすか否かが鮮鋭化処理部４１によって判定され（Ｓ４３）、条件１～条件３（第１の撮影条件）が満たされると判定される場合（Ｓ４３のＹＥＳ）、光学撮影条件が条件４（第２の撮影条件）を満たすか否かが判定される（Ｓ４４）。なお上述のように、このステップＳ４４は「光学撮影条件が条件４（第２の撮影条件）を満たすか否かの判定」であるとともに「光学撮影条件が条件５（第３の撮影条件）を満たさないか否かの判定」でもある。

　条件４（第２の撮影条件）が満たされる場合（Ｓ４４のＹＥＳ）、鮮鋭化処理部４１によって「光学伝達関数に基づく復元処理」が対象画像に対して行われる（Ｓ４５）。一方、条件４（第２の撮影条件）が満たされない場合（Ｓ４４のＮＯ）、すなわち条件５（第３の撮影条件）が満たされる場合、鮮鋭化処理部４１によって倍率色収差補正処理が対象画像に対して行われる（Ｓ４６）。

　鮮鋭化処理部４１によって行われる倍率色収差補正処理の具体的な手法は特に限定されない。例えば鮮鋭化処理部４１は、光学系１６の光学伝達関数に基づいて倍率色収差補正処理を行ってもよい。対象画像が少なくとも第１の色成分及び第２の色成分を含む場合、鮮鋭化処理部４１は、第１の色成分に関する光学系１６の光学伝達関数に基づく復元フィルタを第１の色成分に適用し、第２の色成分に関する光学系１６の光学伝達関数に基づく復元フィルタを第２の色成分に適用して倍率色収差補正処理を行ってもよい。例えば対象画像がＲＧＢデータによって構成される場合、鮮鋭化処理部４１はＲ成分に関する光学系１６の光学伝達関数に基づく復元フィルタを対象画像のＲ成分に適用し、Ｇ成分に関する光学系１６の光学伝達関数に基づく復元フィルタを対象画像のＧ成分に適用し、Ｂ成分に関する光学系１６の光学伝達関数に基づく復元フィルタを対象画像のＢ成分に適用することで倍率色収差補正処理を行ってもよい。

　なお本例では、条件１～条件３（第１の撮影条件）の少なくとも一部が満たされない場合（Ｓ４３のＮＯ）、上述の復元処理（Ｓ４５参照）及び倍率色収差補正処理（Ｓ４６参照）はスキップされる。

　以上説明したように本モードによれば、上記式１によって表される条件４（第２の撮影条件）が満たされる場合には光学伝達関数に基づく復元処理が行われる一方で、条件４（第２の撮影条件）が満たされない場合には倍率色収差補正処理が行われる。このように、望遠側で撮影された対象画像の画質だけではなく、広角側で撮影された対象画像の画質を画像処理によって更に向上させることができる。

　＜第５のモード＞
　本モードにおいて、上述の第４のモードと同一又は類似の要素に関しては同一の符号を付し、その詳細な説明を省略する。

　本モードでは、条件１～条件３（第１の撮影条件）は満たされるが、条件４（第２の撮影条件）は満たされない場合に、鮮鋭化処理部４１は鮮鋭化処理として「倍率色収差補正処理（図２５のＳ６７参照）」ではなく「光学伝達関数に基づく復元処理」を対象画像に対して行う。

　本モードにおける「条件４（第２の撮影条件）が満たされる場合の復元処理（第１の復元処理）」と「条件４（第２の撮影条件）が満たされない場合の復元処理（第２の復元処理）」とは、処理内容が異なる。具体的には、光学撮影条件が条件１～条件３（第１の撮影条件）を満たし、且つ、光学撮影条件が上記式１で表される条件４（第２の撮影条件）を満たさない（すなわち光学撮影条件が上記式１６で表される条件５（第３の撮影条件）を満たす）場合、鮮鋭化処理部４１は、光学系１６の光学伝達関数に基づく復元処理を、対象画像の中心からの距離が撮像面の対角線の２分の１の長さの８０％以上を示す対象画像の領域に対してのみ行う。

　図２４は、第５のモードに係る画像処理例を示すフローチャートである。

　本モードにおいても第４のモードと同様に、画像処理装置４０の鮮鋭化処理部４１によって、対象画像が取得され（図２４のＳ５１）、光学撮影条件が取得される（Ｓ５２）。

　そして、光学撮影条件が条件１～条件３（第１の撮影条件）を満たすか否かが鮮鋭化処理部４１によって判定され（Ｓ５３）、条件１～条件３（第１の撮影条件）が満たされると判定される場合（Ｓ５３のＹＥＳ）、光学撮影条件が条件４（第２の撮影条件）を満たすか否かが判定される（Ｓ５４）。なお本ステップＳ５４は、「光学撮影条件が条件４（第２の撮影条件）を満たすか否かの判定」であるとともに「光学撮影条件が条件５（第３の撮影条件）を満たさないか否かの判定」でもある。

　条件４（第２の撮影条件）が満たされる場合（Ｓ５４のＹＥＳ）、鮮鋭化処理部４１によって「光学伝達関数に基づく復元処理（第１の復元処理）」が対象画像に対して行われる（Ｓ５５）。本例において、この「第１の復元処理（Ｓ５５参照）」は対象画像の全体に対して行われ、鮮鋭化処理部４１は、対象画像を構成する画素の全てに対して光学伝達関数に基づいて作成される復元フィルタを適用する。

　一方、条件４（第２の撮影条件）が満たされない場合（Ｓ５４のＮＯ）、すなわち条件５（第３の撮影条件）が満たされる場合、鮮鋭化処理部４１によって「光学伝達関数に基づく復元処理（第２の復元処理）」が対象画像に対して行われる（Ｓ５６）。本例において、この「第２の復元処理」は対象画像の一部に対してのみ行われ、鮮鋭化処理部４１は、対象画像の一部の領域である外周部を構成する画素に対してのみ、光学伝達関数に基づいて作成される復元フィルタを適用する。

　なお光学撮影条件が条件１～条件３（第１の撮影条件）の少なくとも一部が満たされない場合（Ｓ５３のＮＯ）、上述の第１の復元処理（Ｓ５５参照）及び第２の復元処理（Ｓ５６参照）はスキップされる。

　以上説明したように本モードによれば、条件４（第２の撮影条件）が満たされない場合には、対象画像の一部領域のみに光学伝達関数に基づく復元処理が行われ、特に、光学系１６の収差等の影響を受けて画質が劣化しやすい画像領域に対してのみ復元処理が行われる。したがって、広角側で撮影された対象画像の画質を、復元処理によって損なうことを効果的に防ぎつつ、画像処理によって更に向上させることができる。

　＜第６のモード＞
　本モードにおいて、上述の第４のモード及び第５のモードと同一又は類似の要素に関しては同一の符号を付し、その詳細な説明を省略する。

　上述の第４のモード及び第５のモードでは、光学撮影条件が条件４（第２の撮影条件）を満たさない場合（図２３のＳ４４のＮＯ及び図２４のＳ５４のＮＯ参照）には倍率色収差補正処理（図２３のＳ４６）や第２の復元処理（図２４のＳ５６）が行われる。一方、本モードでは、光学撮影条件が条件４（第２の撮影条件）を満たさない場合、光学撮影条件が条件５（第３の撮影条件）を満たすか否かが判定され、条件５（第３の撮影条件）が満たされる場合にのみ倍率色収差補正処理や第２の復元処理が行われる。

　第２の撮影条件と第３の撮影条件とが相関し、「第２の撮影条件が満たされること」と「第３の撮影条件が満たされないこと」とが等価であり、「第２の撮影条件が満たされないこと」と「第３の撮影条件が満たされること」とが等価である場合には、上述の第４のモード及び第５のモードを好適に採用することができる。一方、「第２の撮影条件が満たされること」と「第３の撮影条件が満たされないこと」とが等価ではない場合や「第２の撮影条件が満たされないこと」と「第３の撮影条件が満たされること」とが等価ではない場合には、本モードのように「第３の撮影条件が満たされるか否かの判定」を「第２の撮影条件が満たされるか否かの判定」とは別個に行って倍率色収差補正処理や第２の復元処理の実行の有無を判定することが好ましい。

　なお第３の撮影条件は特に限定されず、対象画像を撮影した際の焦点距離に関する条件であってもよいし、他の条件であってもよい。

　図２５は、第６のモードに係る画像処理の一例を示すフローチャートである。

　本例では、上述の第４のモード（図２３参照）と同様に鮮鋭化処理部４１によって、対象画像が取得され（図２５のＳ６１）、光学撮影条件が取得され（Ｓ６２）、光学撮影条件が条件１～条件３（第１の撮影条件）を満たすか否かが判定される（Ｓ６３）。条件１～条件３（第１の撮影条件）の少なくとも一部が満たされない場合（Ｓ６３のＮＯ）、後述の処理（Ｓ６４～Ｓ６７参照）はスキップされる。一方、条件１～条件３（第１の撮影条件）が満たされる場合（Ｓ６３のＹＥＳ）、鮮鋭化処理部４１によって、光学撮影条件が条件４（第２の撮影条件）を満たすか否かが判定され（Ｓ６４）、条件４（第２の撮影条件）が満たされる場合（Ｓ６４のＹＥＳ）には復元処理が行われる（Ｓ６５）。

　一方、条件４（第２の撮影条件）が満たされない場合（Ｓ６４のＮＯ）、鮮鋭化処理部４１は光学撮影条件が条件５（第３の撮影条件）を満たすか否かを判定する（Ｓ６６）。条件５（第３の撮影条件）が満たされる場合（Ｓ６６のＹＥＳ）、鮮鋭化処理部４１は鮮鋭化処理として倍率色収差補正処理を行い（Ｓ６７）、条件５（第３の撮影条件）が満たされない場合（Ｓ６６のＮＯ）には復元処理（Ｓ６５参照）及び倍率色収差補正処理（Ｓ６７参照）がスキップされる。

　図２６は、第６のモードに係る画像処理の他の例を示すフローチャートである。

　本例では、上述の第５のモード（図２４参照）と同様に鮮鋭化処理部４１によって、対象画像が取得され（図２６のＳ７１）、光学撮影条件が取得され（Ｓ７２）、光学撮影条件が条件１～条件３（第１の撮影条件）を満たすか否かが判定される（Ｓ７３）。条件１～条件３（第１の撮影条件）の少なくとも一部が満たされない場合（Ｓ７３のＮＯ）、後述の処理（Ｓ７４～Ｓ７７参照）はスキップされる。一方、条件１～条件３（第１の撮影条件）が満たされる場合（Ｓ７３のＹＥＳ）、鮮鋭化処理部４１によって、光学撮影条件が条件４（第２の撮影条件）を満たすか否かが判定され（Ｓ７４）、条件４（第２の撮影条件）が満たされる場合（Ｓ７４のＹＥＳ）には第１の復元処理が行われる（Ｓ７５）。

　一方、条件４（第２の撮影条件）が満たされない場合（Ｓ７４のＮＯ）、鮮鋭化処理部４１は光学撮影条件が条件５（第３の撮影条件）を満たすか否かを判定する（Ｓ７６）。条件５（第３の撮影条件）が満たされる場合（Ｓ７６のＹＥＳ）、鮮鋭化処理部４１は鮮鋭化処理として第２の復元処理を行い（Ｓ７７）、条件５（第３の撮影条件）が満たされない場合（Ｓ７６のＮＯ）には、第１の復元処理（Ｓ７５参照）及び第２の復元処理（Ｓ７７参照）はスキップされる。

　＜他の変形例＞
　本発明の応用は上述の実施形態に限定されるものではなく、上述の実施形態に各種の変形が加えられてもよい。

　例えば光学伝達関数に基づく復元処理は、光学撮影条件が上述の第１の撮影条件及び第２の撮影条件を満たし、且つ、光学系１６の広角端における全画角が１００度を超える条件を満たす場合に行われてもよい。

　また光学伝達関数に基づく復元処理は、光学撮影条件が上述の第１の撮影条件及び第２の撮影条件を満たし、且つ、光学系１６の結像面の中心からの距離が撮像素子２２の撮像面の対角線の２分の１の長さの７０％以上を示す結像面上の領域において、評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、光学系１６の望遠端よりも広角端の方が高いという条件を満たす場合に行われてもよい。

　また上述のモード同士を組み合わせてもよく、例えば上述の第３のモードを他のモードと組み合わせてもよい。すなわち第４のモード及び第６のモードの復元処理（図２３のＳ４５及び図２５のＳ６５参照）、第５のモード及び第６のモードの第１の復元処理（図２４のＳ５５及び図２６のＳ７５参照）及び／又は第２の復元処理（図２４のＳ５６及び図２６のＳ７７参照）を、対象画像の輝度成分に対して行ってもよい。

　また上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、揮発性のＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性のメモリ、及び／又はＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）やアプリケーションプログラム等の各種の動作プログラムが適宜組み合わされることで実現することができる。また上述の撮像装置（画像処理装置４０）の各部における画像処理方法及び撮像方法に関する各種処理の手順をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的有形記録媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

　また本発明を適用可能な態様は、図１及び図２に示す監視カメラシステム２０（カメラデバイス１０）、図７及び図８に示すデジタルカメラ５０及び図９に示すコンピュータ６０には限定されない。

　例えば撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、或いはその他のコンピュータ機能）を備えるモバイル機器に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

　＜スマートフォンの構成＞
　図２７は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図２７に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

　図２８は、図２７に示すスマートフォン１０１の構成を示すブロック図である。図２８に示すように、スマートフォン１０１の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１０は、主制御部１００の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びＷｅｂデータやストリーミングデータなどの受信が行われる。

　表示入力部１２０は、表示パネル１２１及び操作パネル１２２を備える所謂タッチパネルであり、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。

　表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）又はＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

　本発明の撮像装置の一実施形態として図２７に例示されるスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分及びそれ以外の内側部分の２つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。

　通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図２７に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

　操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図２７に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。

　記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。なお、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、或いはＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

　外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＩＥＥＥ（Ｔｈｅ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｓ，　Ｉｎｃ．）が定めるＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により他の外部機器に直接的又は間接的に接続する。

　スマートフォン１０１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるパーソナルコンピュータ、有線／無線接続されるＰＤＡ、及び有線／無線接続されるイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達したり、スマートフォン１０１の内部のデータが外部機器に伝送されたりするように構成されてもよい。

　ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度及び高度によって特定される位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ））から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。その検出の結果は、主制御部１００に出力される。

　電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

　主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御する。また、主制御部１００は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

　アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。

　また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部１２０に表示する機能のことをいう。

　さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。

　表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部１４１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic Experts)などの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図２７に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０が設けられる筐体１０２の表面ではなく筐体１０２の背面にカメラ部１４１が搭載されてもよいし、或いは複数のカメラ部１４１が筐体１０２に搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独のカメラ部１４１によって撮影が行われてもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影が行われてもよい。

　また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示さてもよいし、操作パネル１２２の操作入力手法の１つとして、カメラ部１４１で撮影取得される画像が利用さてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。さらには、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、及びモーションセンサ部１８０により取得された姿勢情報等などを静止画像又は動画像のデータに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

　なお上述の画像処理装置４０（特に鮮鋭化処理部４１）は、例えば主制御部１００によって実現可能である。

１０…カメラデバイス、１２…撮像部、１２Ａ…撮像支持部、１４Ａ…支持フレーム、１４Ｂ…架台、１４…支持部、１６…光学系、１８…制御パネル、２０…監視カメラシステム、２２…撮像素子、２３…カメラ側制御処理部、２４…カメラ側通信部、３０…制御端末、３１…ユーザインターフェース、３２…端末側制御処理部、３３…端末側通信部、４０…画像処理装置、４１…鮮鋭化処理部、４２…画像取得部、４３…条件取得部、５０…デジタルカメラ、５１…撮像制御処理部、５２…通信部、５３…撮像ユーザインターフェース、５４…本体部、５５…光学系制御部、５６…光学系入出力部、５７…本体制御部、５８…光学系装着部、５９…本体入出力部、６０…コンピュータ、６１…コンピュータ制御処理部、６２…コンピュータ入出力部、６３…コンピュータユーザインターフェース、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims

　光学系と、
　前記光学系を介して撮影光を受光して対象画像を出力する撮像素子と、
　前記対象画像を撮影した際の前記光学系の情報を示す光学撮影条件に応じて前記対象画像の鮮鋭化処理を行う鮮鋭化処理部とを備え、
　前記光学系は焦点距離が可変であり、
　前記光学系は広角端における全画角が９０度を超え、且つ
　前記光学系は、前記光学系の結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す前記結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、前記光学系の望遠端よりも前記広角端の方が高く、
　前記鮮鋭化処理部は、前記対象画像を撮影した際の前記光学系の前記焦点距離をＦで表し、前記光学系の前記広角端の前記焦点距離をＦｗで表し、前記光学系の前記望遠端の前記焦点距離をＦｔで表し、Ｆ≧√（Ｆｗ×Ｆｔ）によって表される条件が満たされるか否かを前記光学撮影条件に基づいて判定し、Ｆ≧√（Ｆｗ×Ｆｔ）によって表される条件が満たされる場合に、前記鮮鋭化処理として前記光学系の光学伝達関数に基づく復元処理を行う撮像装置。
　対象画像を取得する画像取得部と、
　前記対象画像を撮影した際の光学系の情報を示す光学撮影条件を取得する条件取得部と、
　前記光学撮影条件に応じて前記対象画像の鮮鋭化処理を行う鮮鋭化処理部とを備え、
　前記光学撮影条件が第１の撮影条件及び第２の撮影条件を満たす場合、前記鮮鋭化処理部は、前記鮮鋭化処理として前記光学系の光学伝達関数に基づく復元処理を行い、
　前記第１の撮影条件は、
　前記光学系は焦点距離が可変であり、
　前記光学系は広角端における全画角が９０度を超え、且つ
　前記光学系は、前記光学系の結像面の中心からの距離が前記撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す前記結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、前記光学系の望遠端よりも前記広角端の方が高いという条件を含み、
　前記第２の撮影条件は、
　前記対象画像を撮影した際の前記光学系の前記焦点距離をＦで表し、前記光学系の前記広角端の前記焦点距離をＦｗで表し、前記光学系の前記望遠端の前記焦点距離をＦｔで表した場合に、Ｆ≧√（Ｆｗ×Ｆｔ）によって表される画像処理装置。
　前記鮮鋭化処理部は、前記対象画像の輝度成分を取得し、当該輝度成分に対してのみ前記復元処理を行う請求項２に記載の画像処理装置。
　前記光学撮影条件が前記第１の撮影条件を満たし、且つ、前記光学撮影条件がＦ＜√（Ｆｗ×Ｆｔ）で表される第３の撮影条件を満たす場合、前記鮮鋭化処理部は前記鮮鋭化処理として倍率色収差補正処理を行う請求項２又は３に記載の画像処理装置。
　前記鮮鋭化処理部は、前記対象画像を構成する色成分の倍率を調整して前記倍率色収差補正処理を行う請求項４に記載の画像処理装置。
　前記鮮鋭化処理部は、前記光学伝達関数に基づいて前記倍率色収差補正処理を行う請求項４に記載の画像処理装置。
　前記対象画像は、少なくとも第１の色成分及び第２の色成分を含み、
　前記鮮鋭化処理部は、前記第１の色成分に関する前記光学伝達関数に基づくフィルタを前記第１の色成分に適用し、前記第２の色成分に関する前記光学伝達関数に基づくフィルタを前記第２の色成分に適用して前記倍率色収差補正処理を行う請求項６に記載の画像処理装置。
　前記光学撮影条件が前記第１の撮影条件を満たし、且つ、前記光学撮影条件がＦ＜√（Ｆｗ×Ｆｔ）で表される第３の撮影条件を満たす場合、前記鮮鋭化処理部は、前記復元処理を、前記対象画像の中心からの距離が前記撮像面の対角線の２分の１の長さの８０％以上を示す前記対象画像の領域に対してのみ行う請求項２～７のいずれか一項に記載の画像処理装置。
　前記復元処理は、前記光学撮影条件が前記第１の撮影条件及び前記第２の撮影条件を満たし、且つ、前記光学系の前記広角端における全画角が１００度を超える条件を満たす場合に行われる請求項２～８のいずれか一項に記載の画像処理装置。
　前記復元処理は、前記光学撮影条件が前記第１の撮影条件及び前記第２の撮影条件を満たし、且つ、前記光学系の前記結像面の中心からの距離が前記撮像面の対角線の２分の１の長さの７０％以上を示す前記結像面上の領域において、前記評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、前記光学系の前記望遠端よりも前記広角端の方が高いという条件を満たす場合に行われる請求項２～９のいずれか一項に記載の画像処理装置。
　光学系が着脱可能に取り付けられる光学系装着部と、
　前記光学系装着部に装着された前記光学系を介して撮影光を受光して画像を出力する撮像素子と、
　請求項２～１０のいずれか一項に記載の画像処理装置とを備え、
　前記撮像素子から出力される前記画像を前記対象画像とする撮像装置。
　光学系と、当該光学系を介して撮影光を受光して画像を出力する撮像素子と、当該撮像素子に接続されるカメラ側制御処理部と、当該カメラ側制御処理部に接続されるカメラ側通信部とを有するカメラデバイスと、
　前記カメラ側通信部と通信可能な端末側通信部と、当該端末側通信部に接続される端末側制御処理部と、当該端末側制御処理部に接続されるユーザインターフェースとを有する制御端末とを備え、
　前記カメラ側制御処理部及び前記端末側制御処理部のうち少なくともいずれか一方は、請求項２～１０のいずれか一項に記載の画像処理装置を有し、
　前記撮像素子から出力される前記画像を前記対象画像とする撮像装置。
　対象画像を取得するステップと、
　前記対象画像を撮影した際の光学系の情報を示す光学撮影条件を取得するステップと、
　前記光学撮影条件に応じて前記対象画像の鮮鋭化処理を行うステップとを備え、
　前記光学撮影条件が第１の撮影条件及び第２の撮影条件を満たす場合、前記鮮鋭化処理として前記光学系の光学伝達関数に基づく復元処理が行われ、
　前記第１の撮影条件は、
　前記光学系は焦点距離が可変であり、
　前記光学系は広角端における全画角が９０度を超え、且つ
　前記光学系は、前記光学系の結像面の中心からの距離が前記対象画像を出力する撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す前記結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、前記光学系の望遠端よりも前記広角端の方が高いという条件を含み、
　前記第２の撮影条件は、
　前記対象画像を撮影した際の前記光学系の前記焦点距離をＦで表し、前記光学系の前記広角端の前記焦点距離をＦｗで表し、前記光学系の前記望遠端の前記焦点距離をＦｔで表した場合に、Ｆ≧√（Ｆｗ×Ｆｔ）によって表される画像処理方法。
　対象画像を取得する手順と、
　前記対象画像を撮影した際の光学系の情報を示す光学撮影条件を取得する手順と、
　前記光学撮影条件に応じて前記対象画像の鮮鋭化処理を行う手順とをコンピュータに実行させるためのプログラムであって、
　前記光学撮影条件が第１の撮影条件及び第２の撮影条件を満たす場合、前記鮮鋭化処理として前記光学系の光学伝達関数に基づく復元処理が行われ、
　前記第１の撮影条件は、
　前記光学系は焦点距離が可変であり、
　前記光学系は広角端における全画角が９０度を超え、且つ
　前記光学系は、前記光学系の結像面の中心からの距離が前記対象画像を出力する撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す前記結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、前記光学系の望遠端よりも前記広角端の方が高いという条件を含み、
　前記第２の撮影条件は、
　前記対象画像を撮影した際の前記光学系の前記焦点距離をＦで表し、前記光学系の前記広角端の前記焦点距離をＦｗで表し、前記光学系の前記望遠端の前記焦点距離をＦｔで表した場合に、Ｆ≧√（Ｆｗ×Ｆｔ）によって表されるプログラム。
　対象画像を取得する手順と、
　前記対象画像を撮影した際の光学系の情報を示す光学撮影条件を取得する手順と、
　前記光学撮影条件に応じて前記対象画像の鮮鋭化処理を行う手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な非一時的有形記録媒体であって、
　前記光学撮影条件が第１の撮影条件及び第２の撮影条件を満たす場合、前記鮮鋭化処理として前記光学系の光学伝達関数に基づく復元処理が行われ、
　前記第１の撮影条件は、
　前記光学系は焦点距離が可変であり、
　前記光学系は広角端における全画角が９０度を超え、且つ
　前記光学系は、前記光学系の結像面の中心からの距離が前記対象画像を出力する撮像素子の撮像面の対角線の２分の１の長さの８０％以上且つ９５％未満を示す前記結像面上の領域において、４３５．８３ｎｍの波長成分、５４６．０７ｎｍの波長成分及び６５６．２７ｎｍの波長成分を含む評価波長を使って取得されるＭＴＦの値が３０％以下になる空間周波数が、前記光学系の望遠端よりも前記広角端の方が高いという条件を含み、
　前記第２の撮影条件は、
　前記対象画像を撮影した際の前記光学系の前記焦点距離をＦで表し、前記光学系の前記広角端の前記焦点距離をＦｗで表し、前記光学系の前記望遠端の前記焦点距離をＦｔで表した場合に、Ｆ≧√（Ｆｗ×Ｆｔ）によって表されるプログラムを記録したコンピュータ読み取り可能な非一時的有形記録媒体。