JPWO2017056787A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

本発明はレンズのサジタル方向及びタンジェンシャル方向の各々に対して互いに異なる解像度を強調する処理の演算負荷を抑制することができる画像処理装置、画像処理方法、及びプログラムを提供する。本発明の態様において、画像処理装置（３５）は、光学系を用いた被写体像の撮影により撮像素子から取得される第１の画像を取得する画像取得部（４０）と、画像取得部で取得された第１の画像を極座標変換することによりパノラマ展開された第２の画像を生成する第２の画像生成部（４１）と、第２の画像に対して、第２の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理部（４２）と、を備える。

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特にパノラマ展開された画像に対して画像処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

光学系を介して撮影される撮影画像は、光学系に起因して解像度が低下する場合がある。このような解像度の低下を抑制する一つの方法として、撮影画像に対して画像処理を行うことにより解像度を強調する処理（解像度強調処理）がある。

解像度強調処理としては、光学系の点光源に対する応答を表す関数である点拡がり関数(ＰＳＦ:Point Spread Function)を利用して劣化した解像度を回復させる処理（回復処理）や、被写体像の輪郭を強調する輪郭強調処理が知られている。

また、撮影画像に対して極座標変換することによりパノラマ展開を行う技術が知られている。例えば、セキュリティ用途や医療用途等で使用される画角が１８０°を越えるような魚眼レンズ又は広角レンズで撮影された画像に対して、パノラマ展開を行うことにより画像の構図を変換することが知られている。

例えば特許文献１では、魚眼レンズを使用して撮影された撮影画像に対して、レンズの特性に基づく座標軸の歪みやレンズの個体差に起因するずれを補正し、その後に撮影画像の解像度を強調（復元）するための処理を行う技術が提案されている。

また例えば特許文献２では、全天球画像から平面画像を生成し表示する技術が開示されている。

特開２０１２−２０４８５６号公報 特開２０１５−４６１７１号公報

ここで、一般的にレンズはサジタル方向とタンジェンシャル方向とで異なる解像度を有するので、レンズのサジタル方向とタンジェンシャル方向とで異なる解像度強調処理を行うことが好ましい。しかし、レンズのサジタル方向及びタンジェンシャル方向と、撮影画像の水平方向及び垂直方向との位置関係は撮影画像の位置に応じて変わるので、レンズのサジタル方向とタンジェンシャル方向とで異なる解像度強調処理を行うことは演算処理に大きな負荷がかかってしまう。

上述した特許文献１に記載された技術では、解像度強調処理を行う場合に、レンズのサジタル方向及びタンジェンシャル方向と、撮影画像の水平方向及び垂直方向との位置関係に関して言及されていない。

また特許文献２では、解像度強調処理については言及されていない。

本発明はこのような事情に鑑みてなされたもので、その目的は、レンズのサジタル方向及びタンジェンシャル方向の各々に対して互いに異なる解像度を強調する処理の演算負荷を抑制することができる画像処理装置、画像処理方法、及びプログラムを提供することである。

上記目的を達成するために本発明の一の態様である画像処理装置は、光学系を用いた被写体像の撮影により撮像素子から取得される第１の画像を取得する画像取得部と、画像取得部で取得された第１の画像を極座標変換することによりパノラマ展開された第２の画像を生成する第２の画像生成部と、第２の画像に対して、第２の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理部と、を備える。

本態様によれば、第１の画像をパノラマ展開することにより取得される、光学系のサジタル方向及びタンジェンシャル方向と画像の水平方向及び垂直方向とが揃った第２の画像に対して、第２の画像の水平方向と垂直方向とで非対称な解像度強調処理が行われる。これにより、本態様は、第２の画像の水平方向と垂直方向とで非対称な解像度強調処理の演算負荷を抑制することができる。

好ましくは、解像度強調処理部が行う解像度強調処理は、光学系の点拡がり関数に基づき且つ第２の画像に応じた回復フィルタを用いた回復処理である。

本態様によれば、光学系のサジタル方向及びタンジェンシャル方向と、画像の水平方向及び垂直方向が揃った第２の画像に対して、光学系の点拡がり関数に基づき設計された回復フィルタであって、且つ第２の画像の方向に応じて設計された回復フィルタを用いた回復処理が行われる。これにより、本態様は、回復フィルタの設計が複雑になることを抑制し且つ回復処理の演算負荷が軽減された効率的な回復処理を行うことができる。

好ましくは、解像度強調処理部が行う解像度強調処理は、輪郭強調フィルタを用いた輪郭強調処理である。

本態様によれば、光学系のサジタル方向及びタンジェンシャル方向と、画像の水平方向及び垂直方向が揃った第２の画像に対して、輪郭強調フィルタを用いた輪郭強調処理が行われる。これにより、本態様は、輪郭強調フィルタの設計が複雑になることを抑制し且つ回復処理の演算負荷が軽減された効率的な回復処理を行うことができる。

好ましくは、光学系を構成するレンズは魚眼レンズである。

本態様によれば、光学系として魚眼レンズが使用されるので広角で撮影された画像に対して解像度強調処理を行うことができる。

好ましくは、画像処理装置は、第２の画像に対して、ディストーション補正を行うディストーション補正部と、を備え、解像度強調処理部は、ディストーション補正が行われた第２の画像に対して、第２の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う。

本態様によれば、魚眼レンズを使用して撮影された画像に対してパノラマ展開が行われ、その後にディストーション補正及び解像度強調処理が行われる。一般に、魚眼レンズを使用して撮影される画像では、注目被写体が一般に解像度が低下するレンズの周辺部に写る場合が多い。本態様では、レンズの周辺部に多く発生するディストーションを補正した後に解像度強調処理が行われるので、解像度が低下するレンズの周辺部においても良好な画質の画像を得ることができる。

好ましくは、解像度強調処理部は、第２の画像の一部の領域に対してのみ解像度強調処理を行う。

本態様によれば、解像度強調処理部は第２の画像の一部の領域に対してのみ行われるので、例えば注目被写体が写っている部分に対してのみ解像度強調処理を行う等、効率的に解像度強調処理を行うことができる。

好ましくは、解像度強調処理部は、第２の画像の垂直方向の位置に応じて解像度強調処理の強度を変える。

本態様によれば、解像度強調処理は第２の画像の垂直方向の位置に応じて解像度強調処理の強度が変えられるので、例えば主要被写体が写っている部分は強く、その他の部分は弱く解像度強調処理を行う等、効率的に解像度強調処理を行うことができる。

好ましくは、解像度強調処理部は、第２の画像の垂直方向の位置に応じて解像度強調処理の強度を弱める。

本態様によれば、解像度強調処理は第２の画像の垂直方向の位置に応じて解像度強調処理の強度が弱められるので、例えば第２の画像における垂直方向の下側では解像度強調処理を強く行い、第２の画像における垂直方向の上側では解像度強調処理を弱く行う等、効率的な解像度強調処理を行うことができる。

好ましくは、画像処理装置は、第２の画像に対して、第２の画像生成部が行ったパノラマ展開の逆処理である逆パノラマ展開を行い、第３の画像を生成する第３の画像生成部と、を備える。

本態様によれば、解像度強調処理が行われた第２の画像に対して逆パノラマ展開が行われるので、第１の画像と同様の構図を有し且つ解像度強調処理が行われた第３の画像を得ることができる。

本発明の他の態様である画像処理方法は、光学系を用いた被写体像の撮影により撮像素子から取得される第１の画像を取得する画像取得ステップと、画像取得ステップで取得された第１の画像を極座標変換することによりパノラマ展開された第２の画像を生成する第２の画像生成ステップと、第２の画像に対して、第２の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理ステップと、を含む。

本発明の他の態様であるプログラムは、光学系を用いた被写体像の撮影により撮像素子から取得される第１の画像を取得する画像取得ステップと、画像取得ステップで取得された第１の画像を極座標変換することによりパノラマ展開された第２の画像を生成する第２の画像生成ステップと、第２の画像に対して、第２の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理ステップと、をコンピュータに実行させる。

本発明によれば、第１の撮影画像をパノラマ展開することにより取得される、光学系のサジタル方向及びタンジェンシャル方向と画像の水平方向及び垂直方向とが揃った第２の画像に対して、第２の画像の水平方向と垂直方向とで非対称な解像度強調処理が行われるので、第２の画像の水平方向と垂直方向とで非対称な解像度強調処理の演算負荷を抑制することができる。

コンピュータに接続されるデジタルカメラを示すブロック図である。 カメラ本体コントローラの機能構成例を示すブロック図である。 画像処理部の機能構成例を示した機能ブロック図である。 被写体像（被写体）をデジタルカメラにより撮影し、画像取得部により取得された撮影画像を模式的に示す図である。 パノラマ展開画像を模式的に示す図である。 画像撮影から点像復元処理までの概略を示す図である。 点像復元処理の一例を示すブロック図である。 回復フィルタの例を示す図である。 画像処理部の動作を示したフロー図である。 画像処理部の機能構成例を示すブロック図である。 パノラマ展開画像及びディストーション補正が行われたパノラマ展開画像を模式的に示す図である。 パノラマ展開画像を模式的に示した図である。 ゲインの一例に関して説明する図である。 パノラマ展開画像を模式的に示した図である。 ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 ＥＤｏＦ光学系の一例を示す図である。 図１５に示す復元処理ブロックによる復元処理フローの一例を示す図である。 ＥＤｏＦ光学系を介して取得された画像の復元例を示す図である。 本発明の撮影装置の一実施形態であるスマートフォンの外観を示す。 図１９に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用する場合について説明する。

図１は、コンピュータに接続されるデジタルカメラを示すブロック図である。

デジタルカメラ１０は、レンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とは電気的に接続される。なおデジタルカメラ１０は様々な用途に使用されるカメラであり、例えばデジタルカメラ１０は一般撮影用途のみならずセキュリティ用途（監視カメラ）又は医療用途（内視鏡）にも使用される。

レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタ、及びイメージセンサ（フォトダイオード；ＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等）を有する。この撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。なお撮像素子２６は、カラー画像の画像信号及びモノクロの画像信号を出力することが可能である。

本例の撮像素子２６は、光学系を用いた被写体像の撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理部３５に送信される。

カメラ本体コントローラ２８は、図２に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。また、デバイス制御部３４は、図示しない表示部（ＥＶＦ：Electronic View Finder、背面液晶表示部）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、階調補正処理等）、ＲＧＢ画像処理（トーン補正処理、露出補正処理等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理等の各種の画像処理が、画像処理部３５において適宜行われる。

尚、図１に示すデジタルカメラ１０は、撮影等に必要なその他の機器類（シャッター等）を具備し、ユーザは、カメラ本体１４に設けられるユーザインターフェース２９を介して撮影等のための各種設定（ＥＶ値（Exposure Value）等）を適宜決定及び変更することができる。ユーザインターフェース２９は、カメラ本体コントローラ２８（デバイス制御部３４及び画像処理部３５）に接続され、ユーザによって決定及び変更された各種設定がカメラ本体コントローラ２８における各種処理に反映される。

カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。従って、カメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。

コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御することができる。

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。

各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、またコンピュータ６０及び／又はサーバ８０が省略されてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。

［第１の実施形態］
図３は画像処理部３５の機能構成例を示した機能ブロック図である。

上述したカメラ本体コントローラ２８に備えられる画像処理部３５は、上述した機能の他に、画像取得部４０、第２の画像生成部４１、解像度強調処理部４２、及び第３の画像生成部４３を備えている。

画像取得部４０は、光学系を用いた被写体像の撮影により撮像素子２６から取得される撮影画像（第１の画像）を取得する。ここで撮影画像とは、被写体像の撮影により撮像素子２６から出力された画像データに基づくものであり、後述する第２の画像生成部４１で行われるパノラマ展開を行うことが可能であれば特に限定されるものではない。例えば画像取得部４０は、撮影画像としてセンサ補正処理、デモザイク処理、画素補間処理、色補正処理、ＲＧＢ画像処理、及びＲＧＢ／ＹＣｒＣｂ変換処理が完了した画像データを取得する。以下では、ＹＣｒＣｂ変換された画像のＹ（輝度値）に対して解像度復元処理を行う場合に説明する。また画像取得部４０はカラー画像又はモノクロ（白黒）画像を取得することができ、本発明はカラー画像及びモノクロ（白黒）画像に対して効果を奏する。

図４は、被写体像（被写体）５０をデジタルカメラ１０により撮影し、画像取得部４０により取得された撮影画像５１を模式的に示す。なおデジタルカメラ１０は、レンズユニット１２及びレンズ１６を図示しその他の部分は省略されている。また、レンズ１６として魚眼レンズが使用されている場合を示している。被写体像５０はレンズ１６（魚眼レンズ）を介して撮影されるので、撮影画像５１には、レンズ１６の特性（歪曲収差）に起因して歪みが生じる。また、撮影画像５１においては、レンズ１６のサジタル方向とタンジェンシャル方向で解像度が異なる。画像取得部４０は、取得した撮影画像５１を第２の画像生成部４１に送信する。ここで解像度とは、画像のボケの程度を示す指標であり様々なものが使用される。画像のボケの程度を表すのに例えばレンズ１６の変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を使用してもよい。なお図４における「FUJIFILM Value from Innovation」は登録商標である。

第２の画像生成部４１は、画像取得部４０で取得された撮影画像５１を極座標変換することによりパノラマ展開されたパノラマ展開画像５２（第２の画像）を生成する。

図５は、撮影画像５１から生成されたパノラマ展開画像５２が模式的に示されている。ここでパノラマ展開とは、撮影画像５１を極座標変換により展開し、パノラマ展開画像５２を生成することである。具体的には図５に示すように、撮影画像５１の中心を基準とした同心円（撮影画像５１では点線で記載されている）が、略直線になるような座標変換が行われた画像がパノラマ展開画像５２である。なお、ここで略直線としたのは、製造誤差等によって歪曲収差が非対称に発生することがあり、完全な直線になるようなパノラマ展開が行われない場合もあるためである。パノラマ展開画像５２の縦方向（図中のｙ方向）がレンズ１６のタンジェンシャル方向に対応し、パノラマ展開画像５２の横方向（図中のｘ方向）がレンズ１６のサジタル方向に対応するように、撮影画像５１における被写体情報がパノラマ展開画像５２においても担持されている。なお、図５中の撮影画像５１及びパノラマ展開画像５２には、レンズ１６のタンジェンシャル方向を矢印Ｔで、レンズ１６のサジタル方向を矢印Ｓで示している。

解像度強調処理部４２は、パノラマ展開画像５２（第２の画像）に対して、パノラマ展開画像５２の水平方向と垂直方向とで非対称な解像度強調処理を行う。具体的に解像度強調処理部４２は、パノラマ展開画像５２の図５中に示したｘ方向及びｙ方向に対して異なる解像度強調処理を行う。例えば解像度強調処理部４２は、ｙ方向に対して解像度強調処理を強くし、ｘ方向に対して解像度強調処理を弱くすることができる。これにより、パノラマ展開画像５２のｙ方向での解像度の低下を効率よく抑制することができる。

解像度強調処理部４２は、レンズ１６のタンジェンシャル方向及びサジタル方向と、パノラマ展開画像５２の垂直方向と水平方向とが揃っている画像に対して、解像度強調処理を行うので、解像度強調処理の演算負荷を軽減することができる。すなわち解像度強調処理部４２は、レンズ１６のサジタル方向及びタンジェンシャル方向と、撮影画像の水平方向及び垂直方向との位置関係が撮影画像５１の位置に応じて変わるような画像（撮影画像５１）に対して解像度強調処理を行う場合は撮影画像５１の位置に応じて解像度強調フィルタの形を変える必要が生じる。そのため、パノラマ展開画像５２に解像度強調処理を場合では、演算負荷を抑制することができる。また、このような演算負荷の軽減は、動画での画像処理において特に効果的である。

なお、図５で示したような、パノラマ展開画像５２の垂直方向（図５中のｙ方向）とレンズ１６のタンジェンシャル方向が対応し、パノラマ展開画像５２の水平方向（図５中のｘ方向）とレンズ１６のサジタル方向が対応するパノラマ展開画像５２は一例である。例えばパノラマ展開画像５２において、パノラマ展開画像５２の垂直方向（図５中のｙ方向）とレンズ１６のサジタル方向とを対応させ、パノラマ展開画像５２の水平方向（図５中のｘ方向）とレンズ１６のタンジェンシャル方向を対応させてもよい。

次に解像度強調処理部４２で行われる解像度強調処理について説明する。解像度強調処理部４２で行われる解像度強調処理は、パノラマ展開画像５２の解像度を強調する（ボケを抑制する）処理であれば特に限定されない。例えば解像度強調処理部４２は、光学系の点拡がり関数に基づいて設計された回復フィルタを使用して、パノラマ展開画像５２の輝度値に対して回復処理を行う。また例えば解像度強調処理部４２は、パノラマ展開画像５２の輝度値に対して輪郭強調フィルタを使用して輪郭強調処理を行う。なお、解像度強調処理部４２は、デモザイク処理前のＲＧＢ画像に対しても解像度強調処理を行うことができる。その場合には、パノラマ展開されたＲＧＢ画像に対して解像度強調処理が行われる。

解像度強調処理部４２が行う回復処理に関して説明する。

図６は、画像撮影から点像復元処理（回復処理）までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。

ボケ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して回復フィルタＦを用いた点像復元処理Ｐ１０を行うことで、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。

点像復元処理Ｐ１０で用いられる回復フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（点拡がり関数）から、所定の回復フィルタ算出アルゴリズムＰ２０によって得られる。光学系の点像情報（点拡がり関数）は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、回復フィルタＦを算出する際にはこれらの撮影条件が取得される。

図７は、点像復元処理の一例を示すブロック図である。

点像復元処理Ｐ１０は、上述のように回復フィルタＦを用いたフィルタリング処理によって原画像データＤｏから回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上の回復フィルタＦが処理対象の画像（画像データ）に適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データＤｏの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、点像復元処理後の画素データ（回復画像データＤｒ）を算出することができる。この回復フィルタＦを用いた加重平均処理を、対象画素を順番に代えながら、画像（画像データ）を構成する全画素データに適用することで、点像復元処理を行うことができる。

Ｎ×Ｍのタップによって構成される実空間上の回復フィルタは、周波数空間上の回復フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の回復フィルタは、基礎となる周波数空間上の回復フィルタを特定し、実空間上の回復フィルタの構成タップ数を指定することによって、適宜算出可能である。

図８は回復フィルタの例を示す図である。図８（Ａ）は公知の回復フィルタＥが示されており、図８（Ｂ）は本発明で使用される垂直方向と水平方向とで非対称な処理が行われる回復フィルタＦが示されている。

図８（Ａ）は、７×７のカーネルサイズの回復フィルタＥの一例を示す図である。回復フィルタＥはカーネル中心に対して回転対称となるように設計されている。回転対称の回復フィルタＥは、メモリに記憶させるデータを削減することができる。例えば、図４に示した７×７のカーネルの場合、４×４の回復フィルタＥを記憶させることで、その対称性を利用して７×７の回復フィルタＥとすることができる。

図８（Ｂ）は、５×５のカーネルサイズの回復フィルタＦの一例を示す図である。回復フィルタＦはパノラマ展開画像５２の水平方向と垂直方向とで非対称な回復処理が行われる回復フィルタである。

また本態様の回復フィルタＦは、パノラマ展開画像５２に応じた回復フィルタである。

すなわち、パノラマ展開画像５２はパノラマ展開画像５２の垂直方向及び水平方向とレンズ１６のサジタル方向とタンジェンシャル方向とが揃っていることが反映されたフィルタ設計が行われる。

解像度強調処理が行われるパノラマ展開画像５２では、パノラマ展開画像５２の垂直方向とレンズ１６のタンジェンシャル方向、パノラマ展開画像５２の水平方向とレンズ１６のタンジェンシャル方向が揃っているので、回復フィルタＦのように設計されたフィルタを使用することにより、レンズ１６のタンジェンシャル方向及びサジタル方向に対して演算負荷が抑制された効率的な回復処理を実現することができる。

次に、解像度強調処理部４２が行う輪郭強調処理に関して説明する。

解像度強調処理部４２が行う輪郭強調においても、上述した回復処理と同様に輪郭強調フィルタＧの各タップに割り当てられるフィルタ係数と画素データとを加重平均演算（デコンボリューション演算）することで、輪郭強調処理後の画素データを算出することができる。

この輪郭強調フィルタを用いた加重平均処理を、対象画素を順番に代えながら、画像データを構成する全画素データに適用することで、輪郭強調処理を行うことができる。

ここで輪郭強調処理は、エッジ強調処理又はシャープネス強調処理と呼ばれる処理も含む概念である。なお、輪郭強調フィルタは公知の方法により作成される。

図３に戻って第３の画像生成部４３は、パノラマ展開画像５２に対して逆パノラマ展開を行い、逆パノラマ展開画像（第３の画像）を生成する。すなわち第３の画像生成部４３は、パノラマ展開画像５２に対して、第２の画像生成部４１で行われたパノラマ展開の逆処理（逆パノラマ展開）を行って、逆パノラマ展開画像を生成する。逆パノラマ展開画像は、撮影画像５１と同様の構図を有し且つ解像度強調処理が行われた画像である。なお、第３の画像生成部４３は任意に設置することができる。例えば、パノラマ展開画像５２が出力されれば良い用途には、第３の画像生成部４３を設けなくてもよい。

図９は、画像処理部３５の動作を示したフロー図である。

先ず、画像処理部３５の画像取得部４０は、光学系を用いた被写体像５０の撮影により撮像素子２６から取得される撮影画像５１（第１の画像）を取得する（画像取得ステップ：ステップＳ１０）。次に第２の画像生成部４１は、取得した第１の画像に対して極座標変換することによりパノラマ展開を行い、パノラマ展開画像５２（第２の画像）を生成する（第２の画像生成ステップ：ステップＳ１１）。その後解像度強調処理部４２は、パノラマ展開画像５２に対して解像度強調処理を行う（解像度強調ステップ：ステップＳ１２）。次に第３の画像生成部４３は、解像度強調処理が行われたパノラマ展開画像５２に対して、逆パノラマ展開を行い逆パノラマ展開画像（第３の画像）を生成する（ステップＳ１３）。

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータ６０に実行させるプログラム、そのようなプログラムを記録したコンピュータ６０に読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータ６０に対しても本発明を適用することが可能である。

以上で説明したように、本実施形態は、撮影画像５１をパノラマ展開することにより取得される、光学系のサジタル方向及びタンジェンシャル方向と画像の水平方向及び垂直方向とが揃ったパノラマ展開画像５２に対して、パノラマ展開画像５２の水平方向と垂直方向とで非対称な解像度強調処理が行われるので、パノラマ展開画像５２の水平方向と垂直方向とで非対称な解像度強調処理の演算処理の負荷を抑制することができる。

［第２の実施形態］
次に本発明の第２の実施形態に関して説明する。本実施形態では、ディストーション補正が行われたパノラマ展開画像５２に対して解像度強調処理が行われる。

図１０は、本実施形態での画像処理部３５の機能構成例を示すブロック図である。本実施形態の画像処理部３５は、画像取得部４０、第２の画像生成部４１、ディストーション補正部４４、解像度強調処理部４２、及び第３の画像生成部４３で構成される。なお、図３で既に説明を行った箇所は同じ符号を付し説明は省略する。

本実施形態の画像処理部３５は、図３に示した画像処理部３５と比較すると、第２の画像生成部４１と解像度強調処理部４２との間にディストーション補正部４４が設けられている。

ディストーション補正部４４は、第２の画像生成部４１により生成されたパノラマ展開画像５２に対してディストーション補正を行う。図１１は、パノラマ展開画像５２及びディストーション補正が行われたパノラマ展開画像５３を模式的に示している。

ここでディストーション補正とは、歪曲収差によって発生する歪みを補正する座標変換処理である。具体的には図１１に示すようにパノラマ展開画像５２における点線の間隔Ｄは均一ではないが、ディストーション補正により点線の間隔Ｄが均一になるように補正を行う。なお歪曲収差とは被写体の直線部分が撮影画像５１において曲がって写されることをいい、魚眼レンズや広角レンズ等を使用した場合に、大きく発生する場合がある。

魚眼レンズ又は広角レンズで撮影された画像のようにレンズの周辺部に主要被写体像が写されている場合には、このようにディストーション補正を行うことにより、パノラマ展開画像５２では歪んでいる主要被写体の画像を引き延ばすことができる。

解像度強調処理部４２は、ディストーション補正が行われたパノラマ展開画像５３に対して、ディストーション補正が行われたパノラマ展開画像５３の水平方向と垂直方向とで非対称な解像度強調処理を行う。解像度強調処理部４２が行う解像度強調処理は、上述した処理と同様である。

解像度強調処理部４２がディストーション補正が行われたパノラマ展開画像５２に対して、解像度強調処理を行うことにより、重要被写体が写っている場合が多いレンズ周辺部の画像が引き延ばされた状態で解像度強調処理が行われるので、より画質の良い画像を取得することができる。

［変形例］
次に、解像度強調処理部４２の変形例に関して説明する。本例の解像度強調処理部４２は、第２の画像の垂直方向の位置に応じて解像度強調処理の強度を変えたり、第２の画像の一部の領域に対してのみ解像度強調処理を行う。

図１２は、パノラマ展開画像５２を模式的に示した図である。本例の解像度強調処理部４２は、例えばパノラマ展開画像５２の垂直方向の領域に応じて異なるフィルタを使用して解像度強調処理のゲインを変えることにより、解像度強調処理の強度を調節している。

例えば図１２に示すように、解像度強調処理部４２は、パノラマ展開画像５２の垂直方向の位置に応じて、フィルタＡ、フィルタＢ、及びフィルタＣにより解像度強調処理を行う。フィルタＡ、フィルタＢ、及びフィルタＣのゲインの大きさは、フィルタＣ＞フィルタＢ＞フィルタＡである。ここで、パノラマ展開画像５２の垂直方向とは図１２中のｙ軸と平行な方向である。このようにパノラマ展開画像５２の垂直方向上側よりフィルタＡ、フィルタＢ、及びフィルタＣを使用して解像度強調処理を行うことにより、パノラマ展開画像５２の垂直方向の位置に応じて解像度強調処理の強度が弱められる。

次に、解像度強調処理のゲインに関して説明する。周波数毎に同じゲインを掛ける場合には以下の（式１）が成り立つ。

出力値＝ａ×入力値…（式１）
ａ：ゲイン
解像度強調処理部４２で行われる回復処理や輪郭強調処理等のように周波数毎に異なるゲインを掛ける場合も（式１）と同じように考えることが可能であり、周波数毎にゲインを変える場合には、以下の（式２）が成り立つ。

出力画像＝入力画像＊フィルタ…（式２）
なお＊はコンボリューション処理を示す。

そしてフィルタをフーリエ変換したものをゲインと呼ぶことができる。

図１３は、フィルタのゲインに関して説明する図である。図１３（Ａ）には図８（Ａ）で示した回復フィルタＥが示されており、図１３（Ｂ）には回復フィルタＥをフーリエ変換した結果が示されている。このように実空間上のフィルタをフーリエ変換することにより周波数空間上のゲインを取得することができる。

また、上述したようにフィルタを変えることによって、解像度強調処理のゲインを変える手法以外に以下の手法を使用してゲインコントロールを行うこともできる。

先ず解像度強調処理部４２は、パノラマ展開画像５２（入力画像）（パノラマ展開画像ImgAという）に対して回復フィルタＦで回復処理を行い、回復処理が行われたパノラマ展開画像（パノラマ展開画像ImgBという）を生成する。その後解像度強調処理部４２は、パノラマ展開画像ImgBに対して倍率（１−Ｕ）を乗算し、パノラマ展開画像ImgCを生成する。そして解像度強調処理部４２は、パノラマ展開画像ImgAとパノラマ展開画像ImgCを加算することにより、パノラマ展開画像ImgDを得る。このパノラマ展開画像ImgDは、ゲイン倍率Ｕの解像度強調処理が行われたパノラマ展開画像５２である。

図１４は、パノラマ展開画像５２を模式的に示した図である。本例の解像度強調処理部４２は、第２の画像の一部の領域に対してのみ解像度強調処理を行うこともできる。魚眼レンズ又は広角レンズで撮影された画像のようにレンズの周辺部に主要被写体像（注目被写体像）が写されている場合には、パノラマ展開画像５２の垂直方向下側（図１４のｙ方向下側）において主要被写体の画像が存在する。このような場合には、解像度強調処理部４２は、主要被写体にのみ解像度強調処理を行い、その他の部分には解像度処理を行わない。これにより、解像度強調処理部４２は、効率的に解像度処理を行うことができる。なお、レンズの周辺部に主要被写体像が写されている場合として、内視鏡での撮影画像や監視カメラでの撮影画像があげられる。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における復元処理は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に応じて点拡がり（点像ボケ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数に基づく復元フィルタ（回復フィルタ）であって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理（回復処理）が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図１５は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ）変換部１１４と、復元処理ブロック（画像処理部）１２０とを含む。

図１６は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組合せたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図１５及び図１６に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図１５に示す撮像素子１１２に結像され、ここで電気信号に変換される。

撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松（チェッカフラッグ）、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含む。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。

復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力される。

ＲＧＢ／ＹＣｒＣｂ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、復元処理ブロック１２０による復元処理について説明する。図１７は、図１５に示す復元処理ブロック１２０による復元処理フローの一例を示す図である。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（Ｓ３１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（Ｓ３２及びＳ３３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換される（Ｓ３４）。

Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を掛ける復元処理を行う（Ｓ３５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

図１８の符号１３１１に示すように、ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、図１８の符号１３１２に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号ＣｒＣｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

また、本発明を適用可能な態様はデジタルカメラ１０、コンピュータ６０及びサーバ８０には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１９は、本発明の撮影装置の一実施形態であるスマートフォン２０１の外観を示すものである。図１９に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２０は、図１９に示すスマートフォン２０１の構成を示すブロック図である。図２０に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図１９に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。また、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図１９に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１９に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

さらに、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ソフトウェアキーの入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組合せて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図１９に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。さらには、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。

なお、上述した図３で説明を行った画像処理部３５での各機能は、例えば主制御部２００で実現される。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１７…絞り、２６…撮像素子、２８…カメラ本体コントローラ、３４…デバイス制御部、３５…画像処理部、４０…画像取得部、４１…第２の画像生成部、４２…解像度強調処理部、４３…第３の画像生成部、４４…ディストーション補正部

Claims (11)

1. 光学系を用いた被写体像の撮影により撮像素子から取得される第１の画像を取得する画像取得部と、
   前記画像取得部で取得された第１の画像を極座標変換することによりパノラマ展開された第２の画像を生成する第２の画像生成部と、
   前記第２の画像に対して、前記第２の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理部と、
   を備える画像処理装置。
2. 前記解像度強調処理部が行う前記解像度強調処理は、前記光学系の点拡がり関数に基づき且つ前記第２の画像に応じた回復フィルタを用いた回復処理である請求項１に記載の画像処理装置。
3. 前記解像度強調処理部が行う前記解像度強調処理は、輪郭強調フィルタを用いた輪郭強調処理である請求項１に記載の画像処理装置。
4. 前記光学系を構成するレンズは魚眼レンズである請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第２の画像に対して、ディストーション補正を行うディストーション補正部と、を備え、
   前記解像度強調処理部は、前記ディストーション補正が行われた前記第２の画像に対して、前記第２の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う請求項４に記載の画像処理装置。
6. 前記解像度強調処理部は、前記第２の画像の一部の領域に対してのみ前記解像度強調処理を行う請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記解像度強調処理部は、前記第２の画像の垂直方向の位置に応じて前記解像度強調処理の強度を変える請求項１から５のいずれか１項に記載の画像処理装置。
8. 前記解像度強調処理部は、前記第２の画像の垂直方向の位置に応じて前記解像度強調処理の強度を弱める請求項７に記載の画像処理装置。
9. 前記第２の画像に対して、前記第２の画像生成部が行った前記パノラマ展開の逆処理である逆パノラマ展開を行い、第３の画像を生成する第３の画像生成部と、を備える請求項１から８のいずれか１項に記載の画像処理装置。
10. 光学系を用いた被写体像の撮影により撮像素子から取得される第１の画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された第１の画像を極座標変換することによりパノラマ展開された第２の画像を生成する第２の画像生成ステップと、
    前記第２の画像に対して、前記第２の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理ステップと、
    を含む画像処理方法。
11. 光学系を用いた被写体像の撮影により撮像素子から取得される第１の画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された第１の画像を極座標変換することによりパノラマ展開された第２の画像を生成する第２の画像生成ステップと、
    前記第２の画像に対して、前記第２の画像の水平方向と垂直方向とで非対称な解像度強調処理を行う解像度強調処理ステップと、
    をコンピュータに実行させるプログラム。