WO2017104328A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

本発明は、良好な復元画像を効率的に得られる画像処理装置及び画像処理方法を提供することを目的とする。本発明の一の態様に係る画像処理装置は、撮影レンズを介して撮影された被写体の撮影画像を取得する画像取得部と、撮影画像を座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換部と、座標変換がされた画像に対して回転対称な解像度強調処理を行う解像度強調処理部と、を備える。この態様によれば解像度強調処理に回転対称なフィルタを用いることができてフィルタサイズの抑制や処理の高速化が可能であり、また座標変換にフィルタを用いることで処理が複雑化することもない。

Description

画像処理装置及び画像処理方法

　本発明は光学系を用いて取得した画像を処理する画像処理装置及び画像処理方法に係り、特に光学系の特性に応じた画像処理を行う画像処理装置及び画像処理方法に関する。

　光学系を介して撮影される撮影画像は、光学系の特性に起因して解像度が低下する場合があり、このような解像度の低下を抑制するために、撮影画像に対して解像度を強調する画像処理（解像度強調処理）が行われることがある。解像度強調処理としては、点光源に対する光学系の応答を示す点拡がり関数（ＰＳＦ：Point Spread Function）を利用して解像度を回復させる処理（回復処理）や、被写体の輪郭を強調する輪郭強調処理が知られている。

　光学系に含まれる撮影レンズは、サジタル方向（Sagittal方向）と、サジタル方向に直交するタンジェンシャル方向（Tangential方向）あるいはメリジオナル方向（Meridional方向）とで解像度が異なる場合があり、この場合、撮影レンズの解像度の相違に起因して、撮影画像においても方向によって解像度が異なる。撮影レンズは方向による解像度の差を小さくするように設計されるが、近年の高画素化や低Ｆ値（F value）化により方向による解像度差は増大する傾向にあるため、画像処理によって方向による解像度差を補う場合がある。例えば特許文献１では、サジタル方向とメリジオナル方向のＭＴＦ（Modulation Transfer Function）の不一致を補正し、その後回復処理を行うことで、回復処理を弱くしても綺麗なボケ（円形か円形に近い形状のボケ）の画像を得られるようにすることが記載されている。

　一方、光学系を介して撮影される撮影画像には光学系のディストーション（Distortion；歪曲収差）に起因する歪曲成分が含まれる場合もあり、このような場合歪曲成分を補正することが知られている。例えば特許文献２では、点像復元処理（回復処理）後に歪曲成分の補正を行うことにより、歪曲補正の条件に応じて回復処理に用いる回復フィルタを変換することを避け、これにより回復フィルタのカーネルサイズの増大を抑制することが記載されている。

特開２０１１－１５１６２７号公報 特開２０１０－０８７６７２号公報

　しかしながら従来の技術は、撮影レンズの解像度が方向によって違う場合や歪曲収差が存在する場合に良好な復元画像を効率的に得られるものではなかった。例えば特許文献１に記載の技術では、サジタル方向／メリジオナル方向のＭＴＦの不一致（ＭＴＦ収差）をフィルタにより補正し、その後フィルタにより回復処理を行う、という２段階のフィルタ処理を行うため、処理が複雑で高速化が困難であった。また特許文献２に記載の技術では、点像回復処理後に歪曲成分の補正を行うため、画像が歪曲成分を有した状態（方向によって解像度に差がある状態）で点像復元を行う必要があり、したがって点像復元には回転非対称なフィルタを用いる必要がある。このため復元処理は依然として複雑で高速化が困難であり、さほど効果的なものではなかった。

　本発明はこのような事情に鑑みてなされたもので、良好な復元画像を効率的に得られる画像処理装置及び画像処理方法を提供することを目的とする。

　上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、撮影レンズを介して撮影された被写体の撮影画像を取得する画像取得部と、撮影画像を座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換部と、座標変換がされた画像に対して回転対称な解像度強調処理を行う解像度強調処理部と、を備える。第１の態様では、撮影画像のサジタル（接線方向）の解像度とタンジェンシャル（放射方向）の解像度とを座標変換により近づけてから解像度強調処理を行うので、解像度強調処理に回転対称なフィルタを用いることができてフィルタサイズの抑制や処理の高速化が可能であり、また解像度を近づける処理を座標変換により行うので、座標変換にフィルタを用いることで処理が複雑化することもない。また第１の態様では、上述した特許文献２で従来技術の問題点として言及されているような、歪曲補正の条件に応じて回復処理に用いるフィルタを変換する必要もない。

　なお第１の態様では指定された空間周波数における解像度を近づけるので、接線方向と放射方向との解像度の差が空間周波数によって変化する場合でも、所望の空間周波数を指定してこの空間周波数における解像度を近づけることが可能であり、良好な復元画像を効率的に得ることができる。なお第１の態様において指定する空間周波数は特定の空間周波数でもよいし、幅（範囲）を持っていてもよい。

　このように第１の態様に係る画像処理装置では、良好な復元画像を効率的に得ることができる。なお第１の態様において、解像度強調処理としては点像復元処理（回復処理）や輪郭強調処理を行うことができる。なお第１の態様及び以下の各態様において、「回転対称な解像度強調処理」とは、解像度強調処理に用いるフィルタが回転対称であることを意味する。

　第２の態様に係る画像処理装置は第１の態様において、撮影画像のサジタルの解像度の情報とタンジェンシャルの解像度の情報とを取得する情報取得部を備え、座標変換部は、取得したサジタルの解像度の情報とタンジェンシャルの解像度の情報とに基づいて座標変換を行う。第２の態様は、解像度を近づけるための情報を取得することを規定したものである。なお第２の態様において、情報取得部による解像度の情報の取得は、撮影レンズに記録された情報を取得する、Ｗｅｂからダウンロードする、撮影画像を解析して取得する、ユーザ入力に基づき取得するなどの方法により行うようにしてよい。

　第３の態様に係る画像処理装置は第１または第２の態様において、撮影レンズを含む光学系を有し、画像取得部は光学系を介して撮影画像を取得する。第３の態様は、撮影画像を取得するための光学系を含む画像処理装置を規定するものである。

　第４の態様に係る画像処理装置は第３の態様において、撮影レンズは、光軸を中心とした円周の接線方向であるサジタルの解像度が接線方向に垂直な放射方向であるタンジェンシャルの解像度よりも高い。第４の態様は、撮影レンズのサジタル（接線方向）の解像度がタンジェンシャル（放射方向）の解像度よりも高く、これに起因して被写体を撮影した画像においても接線方向の解像度が放射方向の解像度よりも高い場合について規定しており、このような場合にも良好な復元画像を効率的に得ることができる。

　第５の態様に係る画像処理装置は第４の態様において、座標変換部は、撮影画像の周辺部を圧縮する座標変換と撮影画像の中心部を膨張させる座標変換とのうち少なくとも一方の座標変換を行う。第５の態様は、第４の態様のように画像において接線方向の解像度が放射方向の解像度よりも高い場合の座標変換を具体的に規定するものである。なお第５の態様において、座標変換による膨張及び収縮は、像高に応じた度合いで行ってよい。

　第６の態様に係る画像処理装置は第３から第５の態様のいずれか１つにおいて、撮影レンズの歪曲収差がプラスである。第６の態様では、撮影レンズの歪曲収差がプラスなので、撮影画像もこれに起因して糸巻き型の歪曲成分（像の周辺ほど伸びが大きい）を有する。

　第７の態様に係る画像処理装置は第３の態様において、撮影レンズは、光軸を中心とした円周の放射方向であるタンジェンシャルの解像度が放射方向に垂直な接線方向であるサジタルの解像度よりも高い。第７の態様は、撮影レンズのタンジェンシャル（放射方向）の解像度がサジタル（接線方向）の解像度よりも高く、これに起因して被写体を撮影した画像においても放射方向の解像度が接線方向の解像度よりも高い場合について規定しており、このような場合にも良好な復元画像を効率的に得ることができる。

　第８の態様に係る画像処理装置は第７の態様において、座標変換部は、撮影画像の周辺部を膨張させる座標変換と撮影画像の中心部を圧縮する座標変換とのうち少なくとも一方の座標変換を行う。第８の態様は、第７の態様のように画像において放射方向の解像度が接線方向の解像度よりも高い場合の座標変換を具体的に規定するものである。なお第８の態様において、座標変換による膨張及び収縮は、像高に応じた度合いで行ってよい。

　第９の態様に係る画像処理装置は第３，７，８の態様のいずれか１つにおいて、撮影レンズの歪曲収差がマイナスである。第９の態様によれば、撮影レンズの歪曲収差がマイナスなので、撮影画像もこれに起因してたる型の歪曲成分（像の周辺ほど収縮が大きい）を有する。

　第１０の態様に係る画像処理装置は第３から第９の態様のいずれか１つにおいて、座標変換部は座標変換により撮影レンズの歪曲収差を補正する。第１０の態様によれば、サジタルの解像度とタンジェンシャルの解像度とを近づける座標変換により、撮影画像における歪曲成分をも補正できる。

　第１１の態様に係る画像処理装置は第１から第１０の態様のいずれか１つにおいて、解像度強調処理がされた画像に対して座標変換の逆変換を行う逆変換部を備える。第１１の態様によれば、原画像（座標変換前の撮影画像）と同様な構図の復元画像を得ることができる。なお第１１の態様において、解像度を近づける座標変換により撮影レンズの歪曲収差が補正されるか否かに応じて逆変換を行うかどうか決定するようにしてもよい。

　第１２の態様は第１から第１１の態様のいずれか１つにおいて、座標変換部は、座標変換がされた画像において、指定された空間周波数におけるサジタルの解像度とタンジェンシャルの解像度とのうち高い方の解像度を１としたときに、サジタルの解像度とタンジェンシャルの解像度とのうち低い方の解像度が０．５以上、好ましくは０．７５以上になるような座標変換を行う。第１２の態様は、回転対称な解像度強調処理を行うためのサジタルの解像度とタンジェンシャルの解像度との関係を規定するものである。

　上述した目的を達成するため、本発明の第１３の態様に係る画像処理方法は、画像取得部と、座標変換部と、解像度強調処理部と、を備える画像処理装置の画像処理方法であって、撮影レンズを介して撮影された被写体の撮影画像を画像取得部により取得する画像取得工程と、撮影画像を座標変換部により座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換工程と、座標変換がされた画像に対して、解像度強調処理部により回転対称な解像度強調処理を行う解像度強調処理工程と、を有する。第１３の態様によれば、第１の態様と同様に良好な復元画像を効率的に得ることができる。

　第１４の態様に係る画像処理方法は第１３の態様において、撮影画像のサジタルの解像度の情報とタンジェンシャルの解像度の情報とを取得する情報取得工程を備え、座標変換工程では取得したサジタルの解像度の情報とタンジェンシャルの解像度の情報とに基づいて座標変換を行う。第１４の態様では、第２の態様と同様に、撮影画像のサジタル及びタンジェンシャルの解像度の情報を取得することにより適切な座標変換を行えるようにしている。

　第１５の態様に係る画像処理方法は第１３または第１４の態様において、解像度強調処理がされた画像に対して座標変換の逆変換を行う逆変換工程をさらに有する。第１５の態様によれば、第１１の態様と同様に、原画像（座標変換前の撮影画像）と同様な構図の復元画像を得ることができる。なお第１５の態様においても、第１１の態様と同様に撮影レンズの歪曲収差を補正できるか否かに応じて逆変換を行うかどうか決定するようにしてもよい。

　以上説明したように、本発明の画像処理装置及び画像処理方法によれば、良好な復元画像を効率的に得ることができる。

図１は、第１の実施形態に係るデジタルカメラを示すブロック図である。 図２は、カメラ本体コントローラの機能構成例を示すブロック図である。 図３は、画像処理部の機能構成例を示すブロック図である。 図４は、被写体像、撮影画像、及び座標変換画像を模式的に示す図である。 図５は、撮影画像の解像度の例を示す図である。 図６は、画像処理部の動作を示すフロー図である。 図７は、撮影画像の解像度の例を示す他の図である。 図８は、画像シミュレーションの結果を示す表である。 図９は、撮影画像のうち図８に示す画像シミュレーションに用いた領域を示す図である。 図１０は、画像の撮影から点像復元処理までの概略を示す図である。 図１１は、点像復元処理の一例を示すブロック図である。 図１２は、回復フィルタの例を示す図である。 図１３は、被写体像及び撮影画像を模式的に示す他の図である。 図１４は、撮影画像の解像度を示す他の図である。 図１５は、撮影画像を模式的に示すさらに他の図である。 図１６は、座標変換による解像度の変化を示す図である。 図１７は、本発明の第２の実施形態における撮影画像の解像度の例を示す図である。 図１８は、座標変換による解像度の変化を示す他の図である。 図１９は、コンピュータの構成を示すブロック図である。 図２０は、本発明の第３の実施形態に係るスマートフォンの外観を示す図である。 図２１は、スマートフォンの構成を示すブロック図である。

　以下、添付図面を参照しつつ、本発明に係る画像処理装置及び画像処理方法の実施形態について説明する。

　＜第１の実施形態＞
　第１の実施形態では、コンピュータに接続可能なデジタルカメラ（画像処理装置）に本発明を適用する場合について説明する。図１は、コンピュータに接続されるデジタルカメラ１０を示すブロック図である。

　＜デジタルカメラの構成＞
　デジタルカメラ１０は、レンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２とカメラ本体１４とは、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介して電気的に接続される。なおデジタルカメラ１０は様々な分野で使用することが可能であり、例えば一般撮影のみならずセキュリティ分野（監視カメラ）や医療分野（内視鏡）でも使用することができる。

　レンズユニット１２は、撮影レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、後述する解像度の情報及び歪曲収差の情報が記録されたメモリ１９と、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

　カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤），Ｇ（緑），Ｂ（青）等のカラーフィルタ、及びイメージセンサ（フォトダイオード、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等）を有する。この撮像素子２６は、レンズユニット１２の光学系（撮影レンズ１６、絞り１７等）により結像される被写体の光学像を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。

　本例の撮像素子２６は、詳細を後述するように、光学系を用いた被写体の撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理部３５に送信される。

　カメラ本体コントローラ２８は、図２に示すようにデバイス制御部３４と画像処理部３５とを有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷ（Raw image format）データ、ＪＰＥＧ（Joint Photographic Experts Group）データ等）を送信する。また、デバイス制御部３４は、液晶モニタ３１（図１参照）や図示せぬＥＶＦ（Electronic View Finder）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

　一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、階調補正処理等）、ＲＧＢ画像処理（トーン補正処理、露出補正処理等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理等の各種の画像処理が、画像処理部３５において適宜行われる。このような画像処理により得られた画像は、液晶モニタ３１に表示することができる。

　なお、図１に示すデジタルカメラ１０は、撮影等に必要なその他の機器類（シャッター等）を具備し、ユーザは、カメラ本体１４に設けられるユーザインターフェース２９（各種ボタン、スイッチ等）を介して撮影等のための各種設定、例えば後述する座標変換や解像度強調処理に関する入力や設定（レンズユニット１２の解像度の情報及び歪曲収差の情報の取得、空間周波数の指定、逆変換を行うかどうか等）を適宜決定及び変更することができる。ユーザインターフェース２９は、カメラ本体コントローラ２８（デバイス制御部３４及び画像処理部３５）に接続され、ユーザによって決定及び変更された各種設定がカメラ本体コントローラ２８における各種処理に反映される。ユーザインターフェース２９を介した各種設定は、液晶モニタ３１に表示された画像や情報を確認しながら行うことができる。

　カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ（Tag Image File Format）等の任意のフォーマットとしうる。したがって、カメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮影日時、機種、画素数、絞り値などの撮影情報等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。

　コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御することができる。

　サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。

　各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Central Processing Unit）等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／またはサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。

　＜画像処理部の機能＞
　図３は第１の実施形態に係る画像処理部３５（情報取得部）の機能構成例を示した機能ブロック図である。画像処理部３５はカメラ本体コントローラ２８に備えられ、上述したデモザイク処理等の機能の他に、画像取得部４０、座標変換部４１、解像度強調処理部４２、逆変換部４３、及び情報取得部４４を備えている。

　画像取得部４０は、光学系を用いた被写体の撮影により撮像素子２６から取得される撮影画像を取得する。ここで撮影画像とは、被写体の撮影により撮像素子２６から出力された画像データに基づくものであり、座標変換部４１で行われる座標変換を行うことが可能であれば、画像の形式が特に限定されるものではない。例えば画像取得部４０は、撮影画像としてセンサ補正処理、デモザイク処理、画素補間処理、色補正処理、ＲＧＢ画像処理、及びＲＧＢ／ＹＣｒＣｂ変換処理が完了した画像データを取得する。以下の説明では、ＹＣｒＣｂ変換された画像のＹ（輝度値）に対して処理を行う場合に説明する。

　座標変換部４１は、画像取得部４０が取得した撮影画像に対して、サジタル（接線方向）の解像度とタンジェンシャル（放射方向）の解像度とを近づける座標変換を行う。解像度強調処理部４２は、座標変換後の画像に対して回転対称な解像度強調処理を行う。逆変換部４３は、解像度強調処理後の画像に対して、座標変換部４１による座標変換の逆変換を行う。情報取得部４４は、レンズユニット１２のメモリ１９に記憶された撮影レンズ１６のサジタル及びタンジェンシャルの解像度の情報及び歪曲収差の情報を取得する。画像処理部３５のこれらの機能を用いた画像処理の詳細は、後述する。

　＜解像度及び歪曲収差の情報の取得＞
　後述する座標変換を行うには、撮影された画像のサジタル及びタンジェンシャルの解像度の情報が必要であるが、撮影された画像の解像度は撮影レンズ１６の解像度に依存する。そこで画像処理部３５の情報取得部４４（情報取得部）は、撮影レンズ１６のサジタルの解像度の情報とタンジェンシャルの解像度の情報とをレンズユニット１２のメモリ１９から取得して、取得した情報から撮影された画像の解像度を求める（図６のステップＳ１１：情報取得工程）。なお撮影レンズ１６の解像度の情報は、メモリ１９から取得する他、インターネット７０から取得してもよいし、情報取得部４４が撮影された画像（例えば、図４（ｂ）の撮影画像５１）を解析して取得してもよい。また、ユーザが液晶モニタ３１に表示された画像や情報を確認しつつユーザインターフェース２９を介して情報を入力し、この情報を情報取得部４４が取得するようにしてもよい。なお撮影レンズ１６の歪曲収差の情報も、上述した解像度の情報の取得と同様にメモリ１９やインターネット７０、画像解析、ユーザ入力等を介して情報取得部４４が取得することができる。

　＜実施例１＞
　＜被写体及び撮影画像＞
　図４（ａ）は被写体５０を模式的に示す図であり、図４（ｂ）は被写体５０をデジタルカメラ１０で撮影し、画像取得部４０により取得された撮影画像５１を模式的に示す図である。画像取得部４０は、取得した撮影画像５１を座標変換部４１に送信する。なお図４（ｂ）の撮影画像５１には、撮影レンズ１６のタンジェンシャル方向（光軸を中心とした円周の放射方向）をＴａで、撮影レンズ１６のサジタル方向（光軸を中心とした円周の接線方向；放射方向と垂直）をＳaで示している。なお図４、図１３、および図１５の文字”FUJIFILM Value from Innovation”は登録商標である。

　＜サジタル及びタンジェンシャルの解像度＞
　また、撮影画像５１は、撮影レンズ１６の解像度に依存して、サジタルとタンジェンシャルとで解像度が異なる。ここで解像度とは画像のボケの程度を示す指標であり、様々な指標、例えば変調伝達関数（ＭＴＦ：Modulation Transfer Function）や空間周波数応答（ＳＦＲ：Spatial Frequency Response）を使用することができる。なおこれ以降に説明する図では、撮影画像５１の解像度を表す指標として撮影レンズ１６のＭＴＦを用いている。

　図５は、撮影画像５１におけるサジタル方向（撮像面の中心を原点とした円周の接線方向）の解像度Ｓ及びタンジェンシャル方向（接線方向に垂直な放射方向）の解像度Ｔの例を示す図である。図５では、サジタルの解像度が空間周波数によらずにタンジェンシャルの解像度よりも高い場合の例を示している。この例においては、解像度を近づける空間周波数として全空間周波数が座標変換部４１（画像処理部３５）に指定される。

　＜撮影画像の歪曲成分＞
　被写体５０は撮影レンズ１６を介して撮影されるので、撮影画像５１には、撮影レンズ１６の特性（歪曲収差）に起因して歪み（歪曲成分）が生じる。図４（ｂ）では、撮影レンズ１６の歪曲収差がプラスであり、これに起因して撮影画像５１が「糸巻き型」（像の周辺ほど伸びが大きい）の歪曲成分を有する例を示している。

　＜画像処理の概要＞
　図６は、画像処理部３５における画像処理（画像処理方法）の概要を示す図である。まず、画像処理部３５の画像取得部４０は、光学系を用いた被写体５０の撮影により撮像素子２６から取得される撮影画像５１を取得する（ステップＳ１０：画像取得工程）。また情報取得部４４は、撮影画像５１について、撮影画像５１のサジタルの解像度Ｓの情報とタンジェンシャルの解像度Ｔの情報をレンズユニット１２のメモリ１９から取得する（ステップＳ１１：情報取得工程）。そして座標変換部４１は、ステップＳ１１で取得した解像度の情報に基づいて撮影画像５１を座標変換し、図４（ｃ）に示すような座標変換画像５２を生成する（ステップＳ１２：座標変換工程）。

　座標変換後、解像度強調処理部４２は、座標変換画像５２に対して解像度強調処理を行う（ステップＳ１３：解像度強調処理工程）。次に逆変換部４３は、解像度強調処理後の画像に対して、必要に応じてステップＳ１２での座標変換の逆変換である座標変換を行い、逆変換画像を生成する（ステップＳ１４：逆変換工程）。

　以下、ステップＳ１２～Ｓ１４における処理を詳細に説明する。

　＜座標変換処理＞
　ステップＳ１２での座標変換について説明する。図５に示すように撮影画像５１のサジタル方向の解像度Ｓがタンジェンシャル方向の解像度Ｔよりも高い場合、撮影画像５１の周辺部を像高に応じた圧縮量で圧縮する。この処理はステップＳ１１で取得した解像度の情報に基づいて行うことができる。すると図７（ａ）に示すようにタンジェンシャルの解像度Ｔが見かけ上向上し（図７（ａ）中、座標変換前のタンジェンシャルの解像度Ｔを点線で示す）、サジタルの解像度Ｓに近づく。この態様では撮影画像５１が圧縮されるので、座標変換後に適用される回復フィルタＦ（図１０～１２参照）のカーネルサイズも縮小され、高速な処理が可能となる。

　ステップＳ１２の座標変換において、座標変換部４１は、任意の空間周波数において座標変換後のサジタルの解像度とタンジェンシャルの解像度とのうち高い方を１．０としたとき、低い方が０．５以上、好ましくは０．７５以上（解像度をＭＴＦで表した場合）となるように座標変換の方向及び量を設定する。例えば、空間周波数ｆ_１における座標変換後のサジタル，タンジェンシャルの解像度をそれぞれＲ_Ｓ，Ｒ_Ｔ（＜Ｒ_Ｓ）とすると、Ｒ_Ｓを１としたときにＲ_Ｔが０．５以上、好ましくは０．７５以上になるようにする。このような値とするのは、解像度の比率がこの範囲であれば、後述するように座標変換画像５２に対し回転対称な解像度強調処理を行えるようになるからである。

　なお、撮影画像５１の解像度が図５に示す状態である場合、ステップＳ１２の座標変換において、撮影画像５１の中心部を像高に応じた膨張量で膨張させるようにしてもよい。この処理は、ステップＳ１１で取得した解像度の情報に基づいて行うことができる。この場合、座標変換画像５２では、図７（ｂ）に示すようにサジタルの解像度Ｓが見かけ上低下し（図７（ｂ）中、座標変換前のサジタルの解像度Ｓを点線で示す）、タンジェンシャルの解像度Ｔに近づく。この場合も、座標変換部４１は、空間周波数ｆ_２における座標変換後のサジタル，タンジェンシャルの解像度をそれぞれＲ_Ｓ，Ｒ_Ｔ（＜Ｒ_Ｓ）とすると、Ｒ_Ｓを１としたときにＲ_Ｔが０．５以上、好ましくは０．７５以上になるように座標変換の方向及び量を設定する。このような座標変換を行った場合でも、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが近づくので、座標変換画像５２に対し回転対称な解像度強調処理を行えるようになる。

　また図５の例では、ステップＳ１２において、撮影画像５１の周辺部を像高に応じた圧縮量で圧縮する座標変換と、撮影画像５１の中心部を像高に応じた膨張量で膨張させる座標変換との両方を行うようにしてもよい。この場合、座標変換画像５２では、図７（ｃ）に示すようにタンジェンシャルの解像度Ｔが見かけ上向上するとともにサジタルの解像度Ｓが見かけ上低下し、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが近づく（図７（ｃ）中、座標変換前のサジタルの解像度Ｓを点線で示し、座標変換前のタンジェンシャルの解像度Ｔを鎖線で示す）。この場合も図７（ａ），（ｂ）の場合と同様に、座標変換部４１は、空間周波数ｆ_３における座標変換後のサジタル，タンジェンシャルの解像度をそれぞれＲ_Ｓ，Ｒ_Ｔ（＜Ｒ_Ｓ）とすると、Ｒ_Ｓを１としたときにＲ_Ｔが０．５以上、好ましくは０．７５以上になるように座標変換の方向及び量を設定する。

　なお、ステップＳ１２の座標変換によりサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが完全に一致することが好ましいが、座標変換により解像度を完全に一致させられない場合でも、解像度が近づくのであれば、その近づく度合いに応じて本発明の効果が得られる。

　＜画像シミュレーションによる解像度の数値＞
　ステップＳ１２での座標変換後のサジタル，タンジェンシャルの解像度の数値について画像シミュレーションで検証した結果を示す。このシミュレーションでは、“Fujifilm”という文字（原画像）の太さを撮像素子上で略２画素とし、撮影レンズの非点収差（いわゆるアス誤差）によって撮影画像の解像度（ＭＴＦ）が低下している状態で、上述した座標変換後の「（１／２）×ナイキスト周波数」における解像度の関係が条件１～５（図８の表を参照）を満たす場合の画像を生成した。その結果図８の表に示すように、座標変換後の解像度の関係が上述した数値範囲を満たす条件１～３では座標変換後の画像においてボケの方向が知覚できない状態であり（ボケが円形か円形に近い）、座標変換後の画像に対し回転対称な解像度強調処理を行えることが分かる。

　なお撮影レンズ１６と撮影画像５１とでは軸（方向）の定義が異なるが、図８の表に示す画像シミュレーションでは、撮影画像５１において「撮影画像５１のＨ（水平）方向が撮影レンズ１６のＳa（サジタル）方向と一致し、撮影画像５１のＶ（垂直）方向が撮影レンズ１６のＴa（タンジェンシャル）方向と一致する領域」（図９の領域５１ａ付近）を切り出して画像シミュレーションを行った。

　＜座標変換による歪曲成分の補正＞
　撮影画像５１は、図５に示すようにサジタルの解像度Ｓとタンジェンシャルの解像度Ｔに差があるほか、図４（ｂ）に示すように撮影レンズ１６の歪曲収差に起因する歪曲成分を有する。このため、ステップＳ１１で撮影レンズ１６の歪曲収差の情報を取得し、ステップＳ１２において歪曲収差の情報をも考慮して上述の座標変換（周辺部の圧縮と中心部の膨張とのうち少なくとも一方）を行うことが好ましい。これにより座標変換後の座標変換画像５２は、図４（ｃ）に示すように歪曲収差（歪曲成分）が補正された状態になり、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとを近づける座標変換により、撮影レンズ１６の歪曲収差をも補正することができる。

　＜点像復元処理（回復処理）＞
　図１０は、画像撮影から点像復元処理（回復処理）までの概略を示す図である。点像を被写体として撮影を行う場合、光学系（撮影レンズ１６、絞り１７等）により撮像素子２６（イメージセンサ）上に被写体像が結像され、これにより撮像素子２６から原画像データＤｏ（撮影画像５１に対応）が出力される。この原画像データＤｏは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。この原画像データに対し座標変換処理Ｐ３０（図６のステップＳ１２）が行われるが、座標変換後の座標変換画像５２は座標変換処理により非対称なボケの成分は補正されているものの、点対称なボケの成分は残存している。そこで、座標変換画像５２から本来の被写体像（点像）を復元するため、座標変換画像５２に対して回復フィルタＦを用いた点像復元処理Ｐ１０（解像度強調処理；図６のステップＳ１３）を行うことで、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。なお、詳細を後述するように、この回復画像データＤｒに対して必要に応じ逆変換処理（図６のステップＳ１４）が行われる。

　点像復元処理Ｐ１０で用いられる回復フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（点拡がり関数）から、回復フィルタ算出アルゴリズムＰ２０によって得られる。光学系の点像情報（点拡がり関数）は、撮影レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、回復フィルタＦを算出する際にはこれらの撮影条件が取得される。

　＜点像復元処理の一例＞
　図１１は、点像復元処理の一例を示すブロック図である。点像復元処理Ｐ１０（解像度強調処理）は、上述のように回復フィルタＦを用いたフィルタリング処理によって座標変換画像５２から回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上の回復フィルタＦが処理対象の画像（画像データ）に適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（座標変換画像５２の処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、点像復元処理後の画素データ（回復画像データＤｒ）を算出することができる。この回復フィルタＦを用いた加重平均処理を、対象画素を順番に代えながら、画像（画像データ）を構成する全画素データに適用することで、点像復元処理を行うことができる。

　Ｎ×Ｍのタップによって構成される実空間上の回復フィルタは、周波数空間上の回復フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の回復フィルタは、基礎となる周波数空間上の回復フィルタを特定し、実空間上の回復フィルタの構成タップ数を指定することによって、適宜算出可能である。

　回復フィルタＦの例を図１２（ａ）に示す。回復フィルタＦはカーネル中心に対して回転対称となるように設計されており、メモリに記憶させるデータを削減することができる。例えば、図１２（ａ）に示した７×７のカーネルの場合、図１２（ｂ）に示すような４×４の回復フィルタＧを記憶させることで、その対称性を利用して７×７の回復フィルタＦとすることができる。

　解像度強調処理部４２は、座標変換画像５２に対して回復フィルタＦを用いて点像復元処理を行う。サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが座標変換により近づけられた座標変換画像５２に対して回転対称な回復フィルタＦを用いて点像復元処理（回復処理）を行うので、撮影画像５１（座標変換がされておらず、図５のようにサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとで差が大きい）に対し回転非対称な回復フィルタにより点像復元処理を行う場合よりも演算負荷を軽減することができ、良好な復元画像を効率的に得ることができる。

　なお、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとの大小関係が撮影レンズ１６の像高あるいは撮影画像５１中の位置によって変化する場合は、サジタルの解像度Ｓの方が大きい（高い）領域では画像を圧縮し、タンジェンシャルの解像度Ｔの方が大きい（高い）領域では画像を膨張させる座標変換を行うことが好ましい。

　＜他の解像度強調処理＞
　解像度強調処理部４２で行われる解像度強調処理は、座標変換画像５２の解像度を強調する（ボケを抑制する）処理であれば特に限定されない。上述した点像復元処理（回復処理）の他に、解像度強調処理部４２が座標変換画像５２の輝度値に対して輪郭強調フィルタを使用して輪郭強調処理を行うようにしてもよい。なお、解像度強調処理部４２は、デモザイク処理前のＲＧＢ画像に対しても解像度強調処理を行うことができる。その場合には、上述した座標変換がされたＲＧＢ画像に対して解像度強調処理が行われる。

　解像度強調処理部４２が解像度強調処理として輪郭強調処理を行う場合について説明する。解像度強調処理部４２が行う輪郭強調においても、上述した回復処理と同様に輪郭強調フィルタの各タップに割り当てられるフィルタ係数と画素データとを加重平均演算（デコンボリューション演算）することで、輪郭強調処理後の画素データを算出することができる。そしてこの輪郭強調フィルタを用いた加重平均処理を、対象画素を順番に代えながら、画像データを構成する全画素データに適用することで、輪郭強調処理を行うことができる。輪郭強調フィルタは公知の方法により作成される。なお、本発明において、解像度強調処理としての輪郭強調処理は、エッジ強調処理またはシャープネス強調処理と呼ばれる処理も含む概念である。

　＜逆変換処理＞
　逆変換部４３は、回復画像（解像度強調画像）に対してステップＳ１２の座標変換の逆変換を行い、逆変換画像を生成する（図６のステップＳ１４）。逆変換画像は、撮影画像５１と同様の構図を有し且つ解像度強調処理が行われた画像である。なお、ステップＳ１２における座標変換によりレンズの歪曲収差を十分補正できる場合や撮影画像５１に歪曲成分がほとんど無い場合はステップＳ１４の逆変換は行わなくてもよく、座標変換により歪曲成分が付加される場合に逆変換を行えばよい。例えば、撮影画像５１（図４参照）や撮影画像５３（図１５参照）のような画像が座標変換により座標変換画像５２のようになる場合、即ち画像中の歪曲成分が座標変換により補正（除去）される場合は逆変換を行う必要はなく、図１３（ａ）に示すように歪曲成分がほとんどない撮影画像５５に座標変換により歪曲成分が付加されて図１３（ｂ），（ｃ）の座標変換画像５６，５７のようになる場合に逆変換を行えばよい。

　＜実施例２＞
　次に、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとの関係が実施例１と異なる場合について説明する。実施例１では、図５に示すようにサジタルの解像度Ｓがタンジェンシャルの解像度Ｔより高い場合について説明したが、実施例２ではそれと逆に、撮影画像において、タンジェンシャルの解像度Ｔがサジタルの解像度Ｓより高い場合について説明する。図１４はそのような場合の解像度を示す図である。この場合、図１５に示すように撮影画像５３はたる型の歪曲収差（歪曲収差がマイナス）を有しているものとする。なお実施例２に関し、デジタルカメラ１０の構成及び処理の手順は実施例１と同様でよい。

　撮影画像５３の特性が図１４及び図１５に示すものである場合、図１６（ａ）に示すようにサジタルの解像度Ｓを上げる（撮影画像の中心部を圧縮する）座標変換、図１６（ｂ）に示すようにタンジェンシャルの解像度Ｔを下げる（撮影画像の周辺部を膨張させる）座標変換、または図１６（ｃ）に示すようにこれら座標変換の両方を行うようにすればよい。この際、図１６（ａ）～（ｃ）に示すように、空間周波数ｆ_４～ｆ_６における座標変換後のサジタル，タンジェンシャルの解像度をそれぞれＲ_Ｓ，Ｒ_Ｔ（＞Ｒ_Ｓ）とすると、Ｒ_Ｔを１としたときにＲ_Ｓが０．５以上、好ましくは０．７５以上になるようにする。

　このような座標変換によってもサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが近づくので、実施例１と同様に座標変換後の画像に対して回転対称な解像度強調処理を行うことができ、良好な復元画像を効率的に得ることができ、さらに座標変換により撮影レンズ１６の歪曲収差が補正される。なお実施例１と同様に実施例２においても、必要により逆変換を行うことができる。

　実施例１，２について説明したように、第１の実施形態では、撮影画像５１を座標変換することにより座標変換画像５２サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが近づけられ、この座標変換画像５２に対して回転対称な解像度強調処理が行われるので、解像度強調処理の演算処理の負荷を抑制することができ、良好な復元画像を効率的に得ることができる。

　＜第２の実施形態＞
　次に本発明の第２の実施形態に関して説明する。撮影レンズにおいて、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとの大小関係は空間周波数によって変化することがあり、そのような場合座標変換のみでは空間周波数の全範囲において解像度を近づけきれない場合がある。そこで第２の実施形態では、特定の空間周波数もしくは幅を持った空間周波数の領域を指定し、この空間周波数において解像度を近づけるようにする。なお第２の実施形態においても、画像処理装置（デジタルカメラ１０）の構成や処理手順は第１の実施形態と同様でよい。

　図１７は、サジタルの解像度Ｓとタンジェンシャルの解像度Ｔとの大小関係が空間周波数によって変化する状況を示す例である。この例では、空間周波数が低い領域ではサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとがほぼ一致しているが、空間周波数が高くなるにつれて解像度の差が大きくなっている。なお、この例では撮影レンズ１６の歪曲収差がプラスである（図４（ａ），（ｂ）と同様に、被写体５０を撮影して撮影画像５１が得られた）ものとする。

　図１７に示す状況で、特定の空間周波数において解像度を近づける例を説明する。図１８（ａ）は、撮影画像５１に対し画像の周辺部を像高に応じて圧縮する座標変換を行ってタンジェンシャルの（見かけ上の）解像度Ｔを上げ、空間周波数ｆ_Ｃにおいてサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとを一致させた例である。このような座標変換によってサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが近づくので、第１の実施形態と同様に座標変換後の画像に対して回転対称な解像度強調処理を行うことができ、良好な復元画像を効率的に得ることができ、さらに座標変換により撮影レンズ１６の歪曲収差が補正される。

　次に、幅を持った空間周波数の領域において解像度を近づける例を説明する。図１８（ｂ）は、撮影画像５１に対し画像の周辺部を像高に応じて圧縮する座標変換を行ってタンジェンシャルの（見かけ上の）解像度Ｔを上げ、空間周波数ｆ_Ｌからｆ_Ｈの範囲においてサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとを近づけた（空間周波数ｆ_Ｃにおいて一致させた）例である。

　図１８（ａ），（ｂ）に示すように特定の空間周波数、もしくは幅を持った空間周波数の領域において解像度を近づける場合、空間周波数ｆ_Ｃ，ｆ_Ｌ，ｆ_Ｈとして固定した値を指定してもよいし、画像の種類や使用目的に応じて異なる値を指定してもよい。例えば、一般的に画質において重要な周波数である、センサ（撮像素子２６）のナイキスト周波数×（１／４～１／２）の範囲の空間周波数（空間周波数ｆ_Ｌ＝（１／４）×ナイキスト周波数、空間周波数ｆ_Ｈ＝（１／２）×ナイキスト周波数）においてサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとが最も近づき、ナイキスト周波数×１／３の空間周波数（空間周波数ｆ_Ｃ）において解像度が一致するように座標変換を行うことができる。なおセンサのナイキスト周波数（本／ｍｍ）＝（１／２）／センサピッチ（ｍｍ）である。

　上述した空間周波数ｆ_Ｃ，ｆ_Ｌ，ｆ_Ｈの値はユーザによらずに画像処理部３５（座標変換部４１）が指定するようにしてもよいし、ユーザインターフェース２９を介してユーザが入力した値を指定してもよい。

　なお図１７及び図１８（ａ），（ｂ）の例に関し、画像の周辺部を像高に応じて圧縮する座標変換を行ってタンジェンシャルの解像度Ｔを上げる場合について説明したが、第１の実施形態と同様に、画像の中心部を像高に応じて膨張させる座標変換を行ってサジタルの（見かけ上の）解像度Ｓを下げるようにしてもよい。さらに、画像の周辺部を像高に応じて圧縮する座標変換と画像の中心部を像高に応じて膨張させる座標変換の両方を行う（サジタルの解像度Ｓを下げ、タンジェンシャルの解像度Ｔを上げる）ようにしてもよい。また座標変換では、ｆ_Ｃ以外の空間周波数においても、第１の実施形態と同様にサジタルの解像度Ｓとタンジェンシャルの解像度Ｔとのうち高い方の解像度を１としたときに、低い方の解像度が０．５以上、好ましくは０．７５以上になるような座標変換を行うことが好ましい。

　なお図１７及び図１８（ａ），（ｂ）の例では空間周波数のほぼ全域でサジタルの解像度Ｓがタンジェンシャルの解像度Ｔより高く歪曲収差がプラスの場合について説明したが、解像度の大小関係がこれと逆の場合（図１４及び図１５のようにタンジェンシャルの解像度Ｔがサジタルの解像度Ｓより高く歪曲収差がマイナスの場合）は、画像の周辺部の膨張と中心部の圧縮とのうち少なくとも一方を行うようにすればよい。

　なお第２の実施形態においても、第１の実施形態と同様に必要に応じて逆変換を行うようにすればよい。

　＜変形例＞
　上述した第１，第２の実施形態における各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータに読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

　コンピュータに対して本発明を適用した場合のブロック図を図１９に示す。図１９の例では、コンピュータ９０は画像取得部９２，情報取得部９４，座標変換部９６，解像度強調処理部９８，逆変換部９９を備え、これら各部はデジタルカメラ１０における画像取得部４０，情報取得部４４，座標変換部４１，解像度強調処理部４２，逆変換部４３とそれぞれ同様の構成及び機能を有している。このようなコンピュータ９０によってもデジタルカメラ１０と同様な座標変換や解像度強調処理、逆変換を行うことができ、解像度強調処理の演算処理の負荷を抑制して良好な復元画像を効率的に得ることができる。

　なお、上述したプログラムを記録する記録媒体としては、ＣＤ（compact disk）やＤＶＤ（digital versatile disk）等の光磁気記録媒体、及び各種半導体メモリ等の非一時的記録媒体を用いることができる。

　＜第３の実施形態＞
　次に、本発明の画像処理装置をスマートフォンに適用する場合について説明する。

　＜スマートフォンの構成＞
　図２０は、第３の実施形態に係るスマートフォン２０１の外観を示すものである。図２０に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、かかる筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１（光学系）とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

　図２１は、図２０に示すスマートフォン２０１の構成を示すブロック図である。図２１に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Global Positioning System）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００（画像取得部、座標変換部、解像度強調処理部、情報取得部、逆変換部）とを備える。また、スマートフォン２０１の主たる機能として、基地局装置及び移動通信網を介した移動無線通信を行う無線通信機能を備える。

　無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

　表示パネル２２１は、ＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）、ＯＥＬＤ（Organic Electro-Luminescence Display：有機ＥＬディスプレイ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される１つまたは複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

　図２０，２１に示すように、スマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。また、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力したりするものである。また、図２０に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

　操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２０に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

　外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的または間接的に接続するためのものである。

　スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory Card）やＳＩＭ（Subscriber Identity Module）／ＵＩＭ（User Identity Module）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。

　ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。かかる検出結果は、主制御部２００に出力されるものである。

　電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

　主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

　また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

　さらに、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

　表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、アイコンに対する操作や、ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　さらに、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部２４１（光学系）は、撮影レンズ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力したりすることができる。図１９，２０に示すスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部２４１を同時に使用して撮影したりすることもできる。

　また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。さらには、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、静止画または動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力したりすることもできる。

　なお第３の実施形態において、第１，第２の実施形態に関して説明した画像処理部３５での各機能や処理の手順（図３，６参照）は、例えば主制御部２００で実現される。

　以上で本発明の例に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

　１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…撮影レンズ、１７…絞り、１８…光学系操作部、１９…メモリ、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２６…撮像素子、２８…カメラ本体コントローラ、２９…ユーザインターフェース、３０…カメラ本体入出力部、３１…液晶モニタ、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、４０…画像取得部、４１…座標変換部、４２…解像度強調処理部、４３…逆変換部、４４…情報取得部、５０…被写体、５１…撮影画像、５１ａ…領域、５２…座標変換画像、５３，５５…撮影画像、５６，５７…座標変換画像、６０，９０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、９２…画像取得部、９４…情報取得部、９６…座標変換部、９８…解像度強調処理部、９９…逆変換部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…受信部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部、Ｄｏ…原画像データ、Ｄｒ…回復画像データ、Ｆ，Ｇ…回復フィルタ、Ｐ１０…点像復元処理、Ｐ２０…回復フィルタ算出アルゴリズム、Ｐ３０…座標変換処理、Ｓ，Ｔ…解像度、Ｓ１０，Ｓ１１，Ｓ１２，Ｓ１３，Ｓ１４…ステップ、ＳＴ１，ＳＴｎ…ＧＰＳ衛星、ｆ１，ｆ２，ｆ３，ｆ４，ｆ５，ｆ６，ｆ_Ｌ，ｆ_Ｈ…空間周波数

Claims (15)

1. 　撮影レンズを介して撮影された被写体の撮影画像を取得する画像取得部と、
   　前記撮影画像を座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と前記接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換部と、
   　前記座標変換がされた画像に対して回転対称な解像度強調処理を行う解像度強調処理部と、
   　を備える画像処理装置。
2. 　前記撮影画像の前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とを取得する情報取得部を備え、
   　前記座標変換部は、前記取得した前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とに基づいて前記座標変換を行う請求項１に記載の画像処理装置。
3. 　前記撮影レンズを含む光学系を有し、前記画像取得部は前記光学系を介して前記撮影画像を取得する請求項１または２に記載の画像処理装置。
4. 　前記撮影レンズは、光軸を中心とした円周の接線方向であるサジタルの解像度が前記接線方向に垂直な放射方向であるタンジェンシャルの解像度よりも高い請求項３に記載の画像処理装置。
5. 　前記座標変換部は、前記撮影画像の周辺部を圧縮する座標変換と前記撮影画像の中心部を膨張させる座標変換とのうち少なくとも一方の座標変換を行う請求項４に記載の画像処理装置。
6. 　前記撮影レンズの歪曲収差がプラスである請求項３から５のいずれか１項に記載の画像処理装置。
7. 　前記撮影レンズは、光軸を中心とした円周の放射方向であるタンジェンシャルの解像度が前記放射方向に垂直な接線方向であるサジタルの解像度よりも高い請求項３に記載の画像処理装置。
8. 　前記座標変換部は、前記撮影画像の周辺部を膨張させる座標変換と前記撮影画像の中心部を圧縮する座標変換とのうち少なくとも一方の座標変換を行う請求項７に記載の画像処理装置。
9. 　前記撮影レンズの歪曲収差がマイナスである請求項３，７，８のいずれか１項に記載の画像処理装置。
10. 　前記座標変換部は前記座標変換により前記撮影レンズの歪曲収差を補正する請求項３から９のいずれか１項に記載の画像処理装置。
11. 　前記解像度強調処理がされた画像に対して前記座標変換の逆変換を行う逆変換部を備える、請求項１から１０のいずれか１項に記載の画像処理装置。
12. 　前記座標変換部は、前記座標変換がされた画像において、前記指定された空間周波数における前記サジタルの解像度と前記タンジェンシャルの解像度とのうち高い方の解像度を１としたときに、前記サジタルの解像度と前記タンジェンシャルの解像度とのうち低い方の解像度が０．５以上、好ましくは０．７５以上になるような座標変換を行う請求項１から１１のいずれか１項に記載の画像処理装置。
13. 　画像取得部と、座標変換部と、解像度強調処理部と、を備える画像処理装置の画像処理方法であって、
    　撮影レンズを介して撮影された被写体の撮影画像を前記画像取得部により取得する画像取得工程と、
    　前記撮影画像を前記座標変換部により座標変換して、撮像面の中心を原点とした円周の接線方向であるサジタルの解像度と前記接線方向に垂直な放射方向であるタンジェンシャルの解像度とを、指定された空間周波数において近づける座標変換工程と、
    　前記座標変換がされた画像に対して、前記解像度強調処理部により回転対称な解像度強調処理を行う解像度強調処理工程と、
    　を有する画像処理方法。
14. 　前記撮影画像の前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とを取得する情報取得工程を備え、
    　前記座標変換工程では前記取得した前記サジタルの解像度の情報と前記タンジェンシャルの解像度の情報とに基づいて前記座標変換を行う、請求項１３に記載の画像処理方法。
15. 　前記解像度強調処理がされた画像に対して前記座標変換の逆変換を行う逆変換工程をさらに有する、請求項１３または１４に記載の画像処理方法。

Images