JP6355315B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、入力された画像を変形させる処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

従来、カメラ等において用いられるレンズとして魚眼レンズが知られている。魚眼レンズには種々のタイプがあるが、いずれにおいても魚眼レンズを通して見える画像は、レンズを通さずに見た場合と比べて、中心部等の基準点付近は拡大されたように見える。また、このような魚眼レンズを通して見た画像と類似する画像を、画像データを加工することにより得る（以下、魚眼処理という。）ものが知られている。具体的には、魚眼処理等の変形処理を行う場合に、画像データに基準点を設定して、基準点を中心に所定の変形処理を行う方法が知られている（特許文献１及び２参照）。

特開２０１０−９７５３４号公報 特開２０１０−２１７８０８号公報

一方、特許文献１及び特許文献２に開示された方法では、通常のレンズで撮影した画像データに対し、基準点を設定する。そして、基準点を中心に拡大が行われると共に、周辺部を縮小する変形処理を行い、魚眼レンズで撮影した結果を再現させようとしている。この方法では、拡大される領域は、周辺画素から画素を補間することで拡大が行われるが、隣接する画素同士は似た画素が続いているため、ぼけた印象になってしまう。逆に、縮小される領域は、画素を少なくするために、画素を間引くが、単純に画素を間引くことにより離れていた画素が近づき、画素の変化がなめらかとならず、鮮鋭度が強調され過ぎた印象になってしまう。

このように、従来の技術では、局所的にぼけたり、逆に鮮鋭度が強調された個所が出来てしまう。このため、実際に画像データから魚眼レンズを通して見た画像を適切に再現することができないという問題があった。

本発明は、このような事情に鑑みてなされたものであり、局所的なボケや過度な鮮鋭度を抑制して所望の変形処理を行う画像処理装置、画像処理方法、及びそのプログラムを提供することを課題とする。

上記課題を解決する本発明の画像処理装置は、入力画像を取得する取得手段と、前記取得手段により取得された入力画像において基準点から処理対象の画素までの距離を特定する特定手段と、前記基準点から前記処理対象の画素までの距離に応じて、前記基準点に近い領域を拡大し、前記基準点に遠い領域を縮小するように、画像を変形する変形手段と、前記処理対象の画素の前記変形手段で変形する際の変倍率に応じて、前記変形手段により拡大される領域では鮮鋭度を増加させ、前記変形手段により縮小される領域では鮮鋭度を低下させるように、強度を変化させて画像に鮮鋭処理を行う鮮鋭処理手段と、前記基準点からの距離に応じて、前記入力画像の中央を基準として、前記鮮鋭処理後の画像の周辺を拡大する拡大処理手段と、を備えることを特徴とする。

本発明によれば、局所的なボケや過度な鮮鋭度の強調を抑制して所望の変形処理を行う画像処理装置、画像処理方法、及びそのプログラムを提供することができる。

実施形態１に係る画像処理装置のハードウェア構成のブロック図及び機能ブロック図である。 実施形態１に係る入力画像における基準点、注目位置、及び取得位置との関係の説明図である。 実施形態１に係る画像処理アプリケーションにおける画面表示を示す図である。 実施形態１に係る変形処理部の処理フローである。 実施形態１に係る変形処理のパラメータの一例を示す図である。 実施形態１に係る鮮鋭処理部の処理フローである。 実施形態１に係る鮮鋭処理のパラメータの一例を示す図である。 実施形態２に係る画像処理装置の機能ブロック図である。 実施形態２に係るレンズ特性の説明図である。 実施形態２に係る鮮鋭処理の処理フローである。 実施形態２に係る鮮鋭処理のパラメータの一例を示す図である 変形処理前後の画像のイメージ図である。 実施形態３に係る処理フローを示す機能ブロック図である。 実施形態３に係る周辺拡大処理部の説明図及び周辺拡大処理のパラメータの説明図である。 実施形態３に係る周辺拡大処理の処理フローである。 実施形態３に係る周辺拡大処理後のイメージ図である。 実施形態３に係る周辺鮮鋭処理の処理フローである。

（実施形態１）
以下、本発明の一実施形態に係る画像処理装置について図面を参照して詳細に説明する。なお、以下の記載はパーソナルコンピュータ（ＰＣ）で実行される画像処理アプリケーションを例に挙げて説明を行うが、これはあくまで実施の１つの形態を例として示したものであり、本発明は以下の実施に限定されるものではない。

図１は、本実施形態に係る画像処理装置１００のハードウェア構成を示すブロック図である。

図１において、画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、２次記憶装置１０４、ＩＦ１０５、ＩＦ１０６、及びビデオカード１０７を備え、各機能ブロックがシステムバス１１２を介して接続されている。

画像処理装置１００は、例えば、汎用的なＰＣに後述する処理を行うための画像処理アプリケーションソフトウェア（プログラム）をインストールすることにより実現可能である。

ＣＰＵ１０１（中央演算装置）は、後述する処理をプログラムに従って実行する。ＲＯＭ１０３は、ＣＰＵ１０１により実行される以下に示すアプリケーション等のプログラムが記憶されている。ＲＡＭ１０２は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。２次記憶装置１０４は、ＨＤＤ、フラッシュメモリ等であり、画像ファイルや画像解析結果を保存するデータベース等を保存するための記憶媒体である。

また、画像処理装置１００には、マウス１０８やキーボード１０９が、インターフェース（ＩＦ）１０５を介して接続されている。マウス１０８やキーボード１０９は、ユーザが画像補正の処理の指示等を入力するための入力装置である。

また、画像処理装置１００は、ＩＦ１０６を介して印刷装置であるプリンタ１１０に接続されている。また、補正前後の画像を評価するためのモニタ１１１が、ビデオカード１０７を介して接続されている。

以下では、図１（ｂ）を用いて、本実施形態における魚眼処理のための画像処理の全体構成について説明する。図１（ｂ）に示す各部は、プログラムによる処理単位を示す。

まず、画像処理装置１００に、入力画像２００が入力される。ここで、入力画像２００は、撮像装置で撮影されたデジタル画像データである。具体的には、例えば、デジタルカメラで通常のレンズを用いて撮影されたデジタル画像データ、アナログカメラで撮影したフィルム画像を光学的にスキャンして得られたデジタル画像データが挙げられる。なお、入力画像、すなわち、処理対象の画像は、これに限定されるものではなく、撮像装置で撮影された画像以外の画像データであってもよい。入力画像２００のデータフォーマットは、特に限定されるものではない。本実施形態では、説明を簡単にするために、入力画像２００の色空間はｓＲＧＢ（ｓｔａｎｄａｒｄ ＲＧＢ）であり、各画素値が８ｂｉｔのＲＧＢ成分値で構成されているものとした。また、本実施形態では、入力画像２００は、矩形の画像とし、魚眼処理された結果も矩形画像を表す画像データとして出力するものとする。

入力画像２００は、基準点設定部２０１に入力されて、基準点３０１が設定される。そして、基準点３０１が設定された入力画像２００は、変形処理部２０２に入力され、基準点３０１を中心として変形される。

ここで、図２を用いて、基準点設定部２０１における基準点の設定処理について説明する。図２は、入力画素における基準点、注目位置、及び取得位置との関係の説明図である。

図２（ａ）において、３０２は、入力画像２００において基準点３０１から最も遠い位置にあたる入力画像２００の頂点を示す。この頂点３０２と基準点３０１との距離をＤとする。また、詳細は後述するが、３０３は、画像変形処理を行う際の注目位置を示し、３０４は、画像変形処理を行う際の注目位置に対する取得位置を示す。基準点３０１と注目位置の距離をｄ、基準点３０１と取得位置との距離をｔとする。

上述したように、基準点設定部２０１は、入力画像２００上に基準点３０１を設定する。基準点３０１の設定方法は、特に限定されず、入力画像２００内に基準となる点を設定できるものであればよい。図２（ａ）では、基準点３０１は、入力画像２００の中央の座標（入力画像２００の重心）と一致する。

なお、図２（ａ）では、入力画像の中央を基準点３０１とする場合について説明したが、基準点３０１は、入力画像２００の中央以外に設定してもよく、例えば、図２（ｂ）に示すように、入力画像２００の中央より左側に設けてもよい。図２（ｂ）に示すように、基準点３０１は、入力画像２００の中央より左下側に設定した場合、入力画像２００において基準点３０１から最も遠い位置は、入力画像２００の頂点３０２となる。図２（ｂ）に、注目位置３０３及び取得位置３０４を示す。この場合も、基準点３０１と注目位置の距離をｄ、基準点３０１と取得位置との距離をｔとする。

ここで、図３（ａ）を用いて基準点設定部２０１における基準点を設定する方法についてより詳細に説明する。図３（ａ）は、本実施形態の画像処理アプリケーションにおいて基準点を指定するための画像を示す図である。

図３（ａ）において、１２０１は、モニタ１１１に表示される画像処理アプリケーションの魚眼処理のための画面である。画面１２０１は、画像処理アプリケーションの画像表示部１２０２及び画像処理を行う画像を選択するボタン１２０４を備えている。メイン画面１２０１には、基準点を指示するマウスポインタ１２０３が表示されている。

画像処理アプリケーションを起動させ、魚眼処理の指示などを行うと、図３（ａ）に示すように、まず、画面１２０１がモニタ１１１に表示される。ユーザが、画像選択ボタン１２０４にマウスポインタ１２０３を合わせてマウス１０８で選択操作を行うと、画像選択画面が立ち上がる。ユーザが、画像選択画面において画像処理を行う画像を選択すると、選択された画像（入力画像２００）が画像表示部１２０２に表示される。なお、画像は、２次記憶装置１０４に記憶されている画像ファイルの中から選択される。

次に、ユーザが任意に、画像表示部１２０２内をマウスポインタ１２０３でクリックすると、クリックされた位置が基準点３０１に設定される。このとき、画像表示部１２０２内でクリックされた位置に相当する入力画像２００の座標位置を算出し、算出した座標位置を基準点３０１として記憶する。

本実施形態では、基準点を設定する方法として、ユーザが基準点を設定する場合を例に挙げて説明したが、これに限定されず、例えば、画像解析結果や撮影情報等に基づいて、自動的に基準点を設定するようにしてもよい。入力画像２００の画像解析を行った結果から基準点３０１を設定する場合、入力画像２００から被写体検出を行い、例えば、被写体の中心を基準点３０１に設定すればよい。入力画像２００の撮影情報に基づいて、基準点３０１を設定する場合、入力画像２００に含まれる撮影情報を取得し、例えば、撮影情報の焦点位置を基準点３０１と設定すればよい。また、入力画像２００を撮影する際にカメラ本体側で設定した基準点情報を取得し、このカメラ本体側で設定した基準点を画像処理する際の基準点３０１と設定してもよい。

このように、基準点３０１は、ユーザが任意に設定してもよく、所定の情報に基づいて自動的に設定するようにしてもよい。所定の情報としては、被写体の中心、被写体の顔中心、焦点位置、カメラ本体側で設定した基準点が挙げられるが、これに限定されるものではない。

上述した方法により、基準点設定部２０１において基準点を設定した後、変形処理部２０２では、設定した基準点３０１を中心に入力画像２００を変形する。このとき、注目位置３０３を移動させながら処理を進める。まず、注目位置３０３と基準点３０１との距離ｄを特定する。次に、予め設定したパラメータにより、基準点３０１と注目位置３０３との距離ｄに基づいて、注目位置３０３に対する取得位置３０４を特定する。そして、取得位置３０４の画素値を、注目位置３０３の変形処理後の画素値とする。入力画像２００の画素数分この処理を繰り返すことで、画像を変形処理する。

ここで、予め設定した取得位置３０４を算出するパラメータは、基準点３０１を囲む中央付近が拡大され、入力画像２００の外縁付近が縮小されるパラメータとする。このようなパラメータにより、基準点の付近が拡大され外周付近が縮小されるような変形処理を行うことで、魚眼レンズで湾曲して撮影されたような画像を生成することができる。

次に、変形処理部２０２で変形処理された後の入力画像は、鮮鋭処理部２０３に入力される。

鮮鋭処理部２０３では、局所的に鮮鋭処理を行う。具体的には、処理対象の画像の変倍率Ｒに従って、鮮鋭処理の強度Ｓを変化させたフィルタ処理を行う。

画像の変倍率Ｒは、基準点３０１と注目位置３０３の距離ｄに対する基準点３０１と取得位置３０４の距離ｔの割合（ｔ／ｄ）とする。すなわち、画像の変倍率Ｒは、注目位置毎に決定する。距離ｄが距離ｔより大きい場合、取得位置３０４の画素値は、注目位置３０３より基準点３０１に近い画素から取得するので、注目位置３０３は、拡大される領域となる。一方、距離ｄが距離ｔより小さい場合、取得位置３０４の画素値は、注目位置３０３より基準点３０１から離れた画素を取得するので、注目位置３０３は、縮小される領域となる。

鮮鋭処理の強度Ｓは、予め設定したパラメータと、算出した画像の変倍率Ｒに基づいて算出される。パラメータは、変倍率Ｒが低い場合、すなわち、拡大される領域では、鮮鋭処理の強度Ｓはプラスとなるように設定する。鮮鋭処理の強度Ｓがプラスになる場合、鮮鋭度が増してエッジが強調される。一方、変倍率Ｒが高い場合、すなわち、縮小される領域では、鮮鋭処理の強度Ｓはマイナスとなるように設定する。鮮鋭処理の強度Ｓがマイナスになる場合、鮮鋭度が低下しエッジが滑らかになる。

フィルタ処理は、本実施形態では、平均値フィルタを利用したアンシャープマスク処理とする。具体的には、画素毎に変倍率Ｒに対応した鮮鋭処理の強度Ｓと平均値フィルタ処理後の画素を掛け合わせたマスク値を、変形処理後の画像に加算する。鮮鋭処理の強度Ｓがプラスとなる拡大される領域は、マスク値が加算されエッジが強調される。鮮鋭処理の強度Ｓがマイナスとなる縮小される領域は、マスク値が減算されエッジが滑らかになる。画素毎に上記処理を繰り返す。

このように、変形処理により単純に拡大・縮小を行う処理のみであれば、局所的にエッジが強調され過ぎてしまう又はぼけてしまう画像に対し、局所毎に強度を算出して異なる強度で鮮鋭処理を施すことで、画像全体のエッジの度合いを均一に近づけることができる。すなわち、本来の魚眼レンズ特性である画像全体のピントが合う画像に近づけることができる。

鮮鋭処理後の画像は、出力画像２０４として、２次記憶装置１０４に記憶されたり、モニタ１１１に表示されたり、プリンタ１１０で紙等の被記録媒体上に印刷される。

図４は、ＣＰＵ１０１がＲＯＭ１０３に格納されたアプリケーションをＲＡＭ１０２にロードして実行する変形処理部２０２の処理フローである。ここでは、画素毎に注目位置３０３を変更しながら、入力画像２００の全ての画素に対し、取得位置３０４を算出し、変形後の画像を生成する。

まず、Ｓ４０１では、全ての画素数分の処理が終了したか否かを判定する。本実施形態では、全ての画素数がＮであった場合、前回の処理対象の画素が最後の画素（Ｎ番目の画素）か否かを判定し、前回の処理対象の画素が最後の画素であった場合は、全ての画素数分の処理が終了したと判定する。処理が終了していない場合は、Ｓ４０２へ進み、終了した場合は、変形処理を終了する。

Ｓ４０２では、処理対象の画素位置である注目位置３０３と基準点３０１との距離ｄを算出し、Ｓ４０３へ進む。

Ｓ４０３では、後述する変形処理のパラメータから注目位置３０３に対する取得位置３０４を算出する。そして、基準点３０１からの距離ｔに当たる取得位置３０４の画素を変形処理後の画素とする。その後Ｓ４０１へ戻る。

Ｓ４０１〜Ｓ４０３を全画素分繰り返して、全ての画素数分の処理を終了する。

ここで、図５を用いて、変形処理のパラメータについて説明する。図５は、変形処理のパラメータを示す図である。図５では、基準点３０１と注目位置３０３との距離ｄに対する基準点３０１と取得位置３０４との距離ｔを図に示す。なお、上述した通り、取得位置３０４は、変形処理を行う際の注目位置３０３が画素値を取得する位置である。

図５に示すパラメータ（曲線５０１）は、予め用意した式を用いて、入力画像における基準点３０１と最も遠い点（画像の頂点３０２）との距離Ｄを元に算出する。

本実施形態では、下記式（１）及び（２）より、基準点３０１からの取得位置３０４の距離ｔを求める。なお、下記式では、距離Ｄを１．０と正規化した場合の距離ｄをｅとする。
ｕ＝０．５＋ｅ^２ 式（１）
ｔ＝ｄ×ｕ 式（２）
例えば、距離Ｄが１００で、距離ｄが５０の場合、ｅの値は、０．５となり、式（１）よりｕの値は、０．７５となる。そして、距離ｔは、式（２）より、３７．５となる。

なお、変形処理のパラメータは、上述したものに限定されるものではなく、魚眼処理の場合には、基準点３０１に近い領域が拡大され、基準点３０１に遠い領域が縮小されるパラメータとなればよい。

図６は、ＣＰＵ１０１がＲＯＭ１０３に格納されたアプリケーションをＲＡＭ１０２にロードして実行する鮮鋭処理部２０３の処理フローである。鮮鋭処理部２０３は、画素毎に、変倍率Ｒを算出し、変倍率Ｒに応じて注目位置３０３が拡大される領域か否かを判定し、ハイパスフィルタ処理とローパスフィルタ処理を切り替える。ハイパスフィルタ処理では、入力画像の空間周波数の高周波成分を強調する処理、例えば、空間周波数の低周波成分を減衰する処理を行う。ローパスフィルタ処理では、入力画像の空間周波数の低周波成分を強調する処理、例えば、空間周波数の高周波成分を減衰する処理を行う。

まず、Ｓ６０１では、変形処理部２０２で変形処理を行った画像に対し、所定の画素毎に平均値フィルタ処理を行い、フィルタ処理後の画像を生成する。本実施形態では、変形処理を行った画像の全画素に対して、画素毎に３×３画素の平均値フィルタ処理を行い、フィルタ処理後の画像を生成する。３×３画素の平均値フィルタ処理は、注目画素を中心に縦３画素、横３画素の領域、計９画素の平均値を算出する処理である。例えば、上記９画素の各ＲＧＢ成分値を（Ｒ，Ｇ，Ｂ）｛（Ｒ１，Ｇ１，Ｂ１），（Ｒ２，Ｇ２，Ｂ２），（Ｒ３，Ｇ３，Ｂ３），（Ｒ４，Ｇ４，Ｂ４），（Ｒ５，Ｇ５，Ｂ５），（Ｒ６，Ｇ６，Ｂ６），（Ｒ７，Ｇ７，Ｂ７），（Ｒ８，Ｇ８，Ｂ８），（Ｒ９，Ｇ９，Ｂ９）｝とする。このとき、注目画素は、（Ｒ５，Ｇ５，Ｂ５）にあたる。

そして、平均値フィルタ処理後の注目画素のＲＧＢ成分値は、｛（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４＋Ｒ５＋Ｒ６＋Ｒ７＋Ｒ８＋Ｒ９）／９，（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４＋Ｇ５＋Ｇ６＋Ｇ７＋Ｇ８＋Ｇ９）／９，（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４＋Ｂ５＋Ｂ６＋Ｂ７＋Ｂ８＋Ｂ９）／９｝となる。

本実施形態では、フィルタ処理に３×３の平均値フィルタ処理を用いたが、これに限定されず、後述する鮮鋭処理で、ハイパスフィルタ、ローパスフィルタ処理を実現するために利用できるフィルタ処理を用いればよい。

次に、変形処理部２０２で生成した変形処理後の画像の全ての画素に対し、注目位置３０３をずらしながら鮮鋭処理を行う。

Ｓ６０２では、鮮鋭処理が全ての画素で終了したか否かを判定する。終了した場合は、鮮鋭処理を終了し、終了していない場合は、Ｓ６０３へ進む。

Ｓ６０３では、画素毎に変倍率Ｒを算出する。画像の変倍率Ｒは、基準点３０１と注目位置３０３の距離ｄと、基準点３０１と取得位置３０４の距離ｔに基づいて求める。本実施形態では、下記式（３）に示すように、変倍率Ｒは、基準点３０１と注目位置３０３の距離ｄに対する基準点３０１と取得位置３０４の距離ｔの割合とする。
Ｒ＝ｔ／ｄ 式（３）
上記式（３）を用いることにより、変倍率Ｒによって、注目位置３０３が拡大されているか、縮小されているかを示すことができる。具体的には、注目基準点３０１と注目位置３０３の距離ｄより、基準点３０１と取得位置３０４の距離ｔの方が小さいと、位置３０３は拡大されていることを示す。また、基準点３０１と注目位置３０３の距離ｄより、基準点３０１と取得位置３０４の距離ｔの方が大きい程、注目位置３０３は縮小されていることを示す。

本実施形態では、式（３）を用いてフィルタ処理を行うものとしたが、変倍率Ｒの算出方法は、拡大、縮小の変形度合いを示す値であれば、特に限定されるものではない。例えば、変形処理で、基準点３０１からの取得位置との距離ｔによって変倍率Ｒが決まる処理の場合には、変倍率Ｒを距離ｔとして扱ってもよい。

次に、Ｓ６０４では、画素毎に、変倍率Ｒを用いて注目位置３０３が拡大領域か否かを判定する。本実施形態では、変倍率Ｒが１．０以下を拡大領域とし、１．０より大きい値を縮小領域であると判定する。拡大領域である場合は、Ｓ６０５へ進み、拡大領域ではない場合はＳ６０６へ進む。

Ｓ６０５では、注目位置３０３が拡大領域にあたるため、変形処理後の画像がぼけていることを想定している。そこで、変形処理後の画像の注目位置３０３に対し、鮮鋭度を増加させるハイパスフィルタ処理を行う。

ハイパスフィルタ処理は、図４（ｂ）の変倍率Ｒによるフィルタ処理（鮮鋭処理）の強度Ｓのパラメータと、Ｓ６０１で算出した３×３画素の平均値フィルタの結果を用いる。

まず、フィルタ処理の強度Ｓのパラメータについて説明する。図７は、鮮鋭処理のパラメータの一例を示す図である。図７において、直線７０１は、変形処理時の変倍率Ｒに応じた鮮鋭処理の強度Ｓを示す。図７に示すように、変倍率Ｒが大きくなるほど、強度Ｓが小さくなるようにする。なお、基準点３０１からの取得位置との距離ｔによって変倍率Ｒが決まる処理の場合、図７に示す変倍率Ｒによる鮮鋭処理の強度Ｓの変換処理パラメータを、変倍率Ｒを距離ｔとした場合のパラメータにすればよい。

そして、例えば、変形処理後の注目位置３０３に相当する画素値をＩａとし、平均値フィルタ後の注目位置３０３に相当する画素をＩｂとし、ハイパスフィルタ後の注目位置３０３に相当する画素をＩｃとする。この場合、鮮鋭度を増加させるハイパスフィルタに相当する処理として、以下の式（４）を用いる。
Ｉｃ＝Ｉａ＋Ｉｂ×Ｓ 式（４）
式（４）に示すように、ハイパスフィルタ処理をした後の注目位置３０３に相当する画素Ｉｃは、変形処理後の注目位置３０３に相当する画素値に対し、平均値フィルタ後の画素に強度Ｓを乗算したものとなる。変倍率Ｒが１．０より小さい値である拡大領域では、フィルタ処理の強度Ｓがプラス値になる。すなわち、ハイパスフィルタ処理では、変形処理後の注目位置３０３に相当する画素値に対し、所定の画素が加算される。拡大領域は、ぼけているため、魚眼レンズで撮影したような画像全体にピントが合う状態に近づけるには、エッジ強調されることが望ましい。本実施形態では、拡大領域に対して、平均値フィルタ後の画素を加算することで、エッジが強調されるハイパスフィルタに相当する処理が行われる。従って、拡大処理によってぼけていた状態を元のフラットな状態に近づけることが可能となる。Ｓ６０５の処理の後は、Ｓ６０２へ戻る。

Ｓ６０６では、注目位置３０３が縮小領域にあたるため、変形処理後の画像の鮮鋭度が強調されていることを想定している。そこで、変形処理後の画像の注目位置３０３に対し、鮮鋭度を低下させるローパスフィルタ処理を行う。

ローパスフィルタ処理は、図７の変倍率Ｒによるフィルタ処理の強度Ｓのパラメータと、Ｓ６０１で算出した３×３画素の平均値フィルタの結果を用いる。このとき、Ｓ６０５の処理と同様に、鮮鋭度を低下させるローパスフィルタに相当する処理として、式（４）を用いる。式（４）に示すように、ローパスフィルタ処理をした後の注目位置３０３に相当する画素Ｉｃは、変形処理後の注目位置３０３に相当する画素値に対し、平均値フィルタ後の画素に強度Ｓを乗算したものとなる。変倍率Ｒが１．０より大きい値である縮小領域では、フィルタ処理の強度Ｓがマイナス値になる。すなわち、ローパスフィルタ処理では、変形処理後の注目位置３０３に相当する画素値に対し、所定の画素が減算される。縮小領域は、画素間引きが発生しエッジが強調されているため、魚眼レンズで撮影したような画像全体にピントがあう状態に近づけるには、ぼかし処理されることが望ましい。本実施形態では、縮小領域に対して、平均値フィルタ後の画素を減算することで、ぼかし処理されるローパスフィルタに相当する処理が行われる。従って、縮小処理によってエッジが強調されていた状態を元のフラットな状態に近づけることが可能となる。Ｓ６０６の処理の後は、Ｓ６０２へ戻る。

Ｓ６０２〜Ｓ６０６を全画素分繰り返し、鮮鋭処理を終了する。

本実施形態では、予め３×３の平均値フィルタ後の画像を生成して、その値を加減算することで、ハイパスフィルタ、ローパスフィルタ相当の処理を実現し、鮮鋭処理を行ったが、これに限定されるものではない。鮮鋭処理は、局所毎に、エッジの強調やぼかし処理の強度が変わり、魚眼レンズで撮影した結果に近づける処理であればよい。例えば、ハイパスフィルタに相当するエッジ強調フィルタと、ローパスフィルタに相当するぼかし処理フィルタを予め２つ用意しておく。そして、変倍率に応じて、エッジ強調フィルタを用いたハイパスフィルタ処理とぼかし処理フィルタを用いたローパスフィルタ処理を切り替えて、変倍率による鮮鋭処理の強度によってフィルタ強度やフィルタサイズを変更してもよい。

鮮鋭処理部２０３により鮮鋭処理した後の画像は、出力画像２０４として出力する。この出力画像２０４は、２次記憶装置１０４に記憶されたり、モニタ１１１に表示されたり、プリンタ１１０で記録媒体上に印刷可能となる。

魚眼レンズは、通常、被写界深度が非常に深く、魚眼レンズを用いて撮影を行った場合、撮影する領域全体にピントが合いやすい状態で撮影される。言い換えれば、領域全体があまりぼけていない状態で画像が形成される。したがって、魚眼レンズで撮影した結果に近づけるためには、撮影する領域全体にピントが合っている状態を再現させる必要がある。しかしながら、従来、通常レンズで撮影した画像から魚眼レンズで撮影した結果を再現しようとすると、基準点を中心に拡大や縮小を行うため、変形処理の影響を受けて局所的にぼけたり逆にエッジが強調されたりしてしまっていた。これに対し、本実施形態では、変形処理により局所的にエッジが強調され又は局所的にぼけてしまう画像に対し、局所毎に強度を算出して鮮鋭処理を施すことにより、画像全体のエッジ度合いを均一に近づけることができる。言い換えれば、変倍率を変えた拡大処理や縮小処理を行う変形処理において生じてしまう局所的なぼけやエッジ強調を、鮮鋭度処理により補正する。これにより、領域全体にピントが合う画像に近づけることができる。

本実施形態では、魚眼処理の処理中心の位置に関わらず、すなわち、魚眼処理の処理中心を画像の中心以外に設定した場合であっても、局所的なボケや過度なエッジ強調を抑制して所望の変形処理を行うことができる。このため、ユーザの好みの被写体位置を歪み中心（魚眼処理の処理中心）に設定して、所望の魚眼風の効果を得ることができる。例えば、画像内の被写体の中心、被写体の顔の中心、被写体の所定のパーツなどに歪み中心を設定して、局所的なボケや過度なエッジ強調を抑制して所望の変形処理を行うことができる。

また、本実施形態では、平均値フィルタ処理後の画像を予め生成しておき、平均値フィルタ後の画素の加減算だけで、ハイパスフィルタ処理及びローパスフィルタ処理を実現させることができる。従って、高速な処理で、実際に魚眼レンズで撮影した結果により近づけることが可能となる。

（実施形態２）
図８〜１１を用いて本実施形態について説明する。本実施形態では、実施形態１と同様の構成については、重複する説明は省略する。なお、以下の記載はパーソナルコンピュータの画像処理アプリケーションを想定して説明を行うが、これはあくまで実施の１つの形態を例として示したものであり、本発明は以下の実施に限定されるものではない。

実施形態１では、まず、通常レンズで撮影した画像に対し、局所的に変倍率を変えて拡大や縮小をする変形処理を行った。そして、変形処理の際に生じてしまう局所的なぼけや、エッジが強調されてしまう現象を、変倍率によって鮮鋭度処理を制御することにより補正した。言い換えれば、実施形態１では、変形処理を行った際の影響をキャンセルすることで、魚眼レンズで撮影した結果により近づける。

これに対し、本実施形態では、さらに、レンズの特性を考慮した局所的な鮮鋭処理を行うことにより、魚眼レンズで撮影した結果により近づける。

以下では、図８を用いて、本実施形態における画像処理の全体構成について説明する。

まず、入力画像２００を基準点設定部２０１に入力する。そして、基準点設定部２０１では、基準点３０１を設定する。基準点設定部２０１は、実施形態１と同様であるため説明を省略する。

次に、変形処理部２０２では、画素毎に注目位置３０３を移動させながら入力画像２００の変形処理を行う。変形処理部２０２は、実施形態１と同様であるため説明を省略する。

次に、レンズ特性取得部８０１では、入力画像２００を撮影した際に用いたレンズのレンズ特性を特定するレンズ情報を取得する。レンズ特性取得部８０１は、入力画像２００を撮影した際のレンズ特性を特定するレンズ情報を取得する処理部である。レンズ特性としては、例えば、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性が挙げられる。ＭＴＦ特性とは、コントラスト再現比によるレンズ性能評価方法で評価した特性値を示すものであり、レンズ中央からの距離Ｌに対してのコントラストＣの変化量で示される。

レンズ特性取得部８０１で取得したレンズ特性を特定するレンズ情報は、鮮鋭処理部２０３に入力される。鮮鋭処理部２０３では、画像の変倍率Ｒとレンズ特性を考慮して、鮮鋭処理の強度を変化させたフィルタ処理を行う。すなわち、本実施形態に係る鮮鋭処理部２０３は、画像の変倍率Ｒ及びレンズ特性に基づいて、鮮鋭処理の強度を算出して、フィルタ処理を行う。

本実施形態に係るフィルタ処理は、実施形態１と同様の処理の他に、取得したフィルタ特性に基づいて鮮鋭処理の強度を設定し、画像中央から離れる程、鮮鋭度が高くなるフィルタ処理を行う。すなわち、本実施形態では、画像が変形することによる局所的なぼけや局所的なエッジの強調に加えて、元々持っている通常レンズの画像の被写体のぼけを考慮して鮮鋭処理を行う。なお、画像の変倍率Ｒは、実施形態１と同様であるため説明を省略する。

ここで、図９を用いてレンズ特性取得部８０１について詳細に説明する。図９は、レンズ特性取得部８０１が取得する入力画像２００を撮影した際のレンズ特性を示した図である。図９に示すレンズ特性は、上述したＭＴＦ特性である。横軸はレンズ中央からの距離Ｌであり、縦軸はコントラストＣである。すなわち、図９は、レンズ中央からの距離に対するコントラストＣの変化量を示すグラフである。例えば、９０１は、一般的なレンズのＭＴＦ特性であり、９０２は、高級なレンズのＭＴＦ特性である。図９に示すように、一般的なレンズのＭＴＦ特性９０１は、高級なレンズのＭＴＦ特性と比較すると、レンズ中央から距離Ｌが遠い程、コントラストＣが低くなりやすく、ぼけやすい。鮮鋭処理部２０３では、ＭＴＦ特性を考慮して鮮鋭処理を行う。本実施形態では、予めレンズ毎のＭＴＦ特性を登録しておき、レンズの種類を入力することで、レンズの種類に対応するＭＴＦ特性を取得する。なお、レンズ特性を特定するレンズ情報を取得する方法は、特に限定されるものではなく、撮影した際の入力画像に対応したレンズ特性を特定するレンズ情報を取得できるものであればよい。例えば、一般的なレンズに相当するＭＴＦ特性から高級なレンズに相当するＭＴＦ特性までを数種類登録しておき、種類やレベルを指定することにより切り替えるようにしてもよいし、入力画像が備えるレンズ情報に基づいて切り替えるようにしてもよい。また、画像を入力する際に、入力画像とそれに対応したＭＴＦ特性を示す変換テーブルを共に入力させるようにしてもよい。

ここで、本実施形態に係る鮮鋭処理部２０３の処理について詳細に説明する。本実施形態に係る鮮鋭処理部２０３では、画像の変倍率Ｒ及びレンズ特性を用いて、鮮鋭処理の強度を算出して、鮮鋭処理の強度を変化させたフィルタ処理を行う。

図１０は、ＣＰＵ１０１がＲＯＭ１０３に格納されたアプリケーションをＲＡＭ１０２にロードして実行する鮮鋭処理部２０３の処理フローである。実施形態１と同様の動作については、実施形態１と同様の符号を付し、説明を省略する。

まず、Ｓ６０１では、変形処理部２０２で生成した変形処理後の画像に対し、画素毎に平均値フィルタ処理を行う。

次に、Ｓ６０２では、鮮鋭処理が全ての画素で終了したか否かを判定する。鮮鋭処理が全ての画素において終了していない場合は、Ｓ１００１に進み、全ての画素で鮮鋭処理が終了した場合は、鮮鋭処理を終了する。

Ｓ１００１では、画素毎にレンズ特性による鮮鋭処理の強度Ｐを算出する。具体的には、まず、入力画像２００の中央から注目位置３０３に対応する取得位置３０４までの距離ｕを特定する。そして、レンズ特性を考慮したパラメータにおいて、距離ｕのときの鮮鋭処理の強度Ｐを算出する。

図１１は、本実施形態に係る鮮鋭処理部２０３で用いるレンズ特性を考慮した鮮鋭処理のパラメータの一例を示す図である。縦軸は、鮮鋭処理の強度Ｐを表し、横軸は、入力画像２００の中央から取得位置までの距離ｕを示す。

鮮鋭処理の強度Ｐは、図１１に示す曲線１１０１のように、入力画像２００の中央からの距離ｕによって変動する。図１１の曲線１１０１は、取得したレンズ特性に基づいて設定される。なお、本実施形態では、ＭＴＦ特性が、図９の９０１示すものである場合について説明する。図１１において、入力画像２００の中央から距離ｕが最も離れている画像の頂点までの距離をＥとし、ＭＴＦ特性９０１で、レンズ中央から最も離れている位置をＬｍａｘとする。図１１の曲線１１０１の距離Ｅの鮮鋭処理の強度Ｐは、位置Ｌｍａｘで算出されるＭＴＦ特性を用いた変換値Ｑに、係数Ｋを乗じた値とする。

距離Ｌが０の時のコントラスト値を、Ｃ_０とし、距離Ｌが距離ｕのときのコントラスト値を、Ｃ_ｕとすると、ＭＴＦ特性を用いた変換値は、以下の式（５）を用いて算出することができる。
Ｑ＝（Ｃ_０−Ｃ_ｕ） 式（５）
そして、鮮鋭処理の強度Ｐは、以下の式（６）を用いて算出する。なお、Ｋは予め設定してある任意の係数とする。
Ｐ＝Ｑ×Ｋ 式（６）
例えば、距離Ｌが０の時のコントラスト値Ｃ_０を０．６５とし、距離Ｌが距離ｕに相当するときのコントラスト値Ｃ_ｕを０．６０とし、Ｋの値を、２．０とする。この場合、ＭＴＦ特性を用いた変換値は、Ｑ＝（０．６５−０．６０）＝０．０５となり、距離ｕに相当する鮮鋭処理の強度は、Ｐ＝０．０５×２．０＝０．１となる。

Ｓ１００１でレンズ特性による鮮鋭処理の強度を算出した後、Ｓ６０３へ進み、画素毎に変倍率Ｒを算出する。変倍率Ｒの算出は、実施形態１と同様であるため説明を省略する。

次に、Ｓ６０４では、画素毎に、変倍率Ｒを用いて注目位置３０３が拡大領域か否かを判定する。拡大領域である場合は、Ｓ１００２へ進み、拡大領域ではない場合は、Ｓ１００３へ進む。

Ｓ１００２では、ハイパスフィルタ処理を行う。このとき、実施形態１と同様に、注目位置３０３が拡大領域にあたるため、変形処理後の画像がぼけていることを考慮すると共に、注目位置３０３が取得する取得位置３０４の画素が、レンズ特性によってぼけている場合を考慮する。具体的には、実施形態１と同様の方法により算出した鮮鋭処理の強度Ｓに加え、レンズ特性を考慮した鮮鋭処理の強度Ｐを用いて、フィルタ処理を行う。

フィルタ処理は、実施形態１と同様に、予め算出してある３×３画素の平均値フィルタの結果を利用する。変形処理後の注目位置３０３に相当する画素値をＩａとし、平均値フィルタ後の注目位置３０３に相当する画素をＩｂとし、本処理のフィルタ後の注目位置３０３に相当する画素をＩｃとする。この場合、本実施形態に係るフィルタ処理は、変倍率Ｒによる鮮鋭度を増加させるハイパスフィルタに相当する処理及びレンズ特性を考慮した鮮鋭度を増加させる処理として、以下の式（７）を用いる。
Ｉｃ＝Ｉａ＋Ｉｂ×（Ｓ＋Ｐ） 式（７）
拡大領域であるか否かに関わらず、取得位置３０４の画素が、画像の中央より離れている場合には、元々の画像が多少ぼけているため、拡大領域もエッジ強調されることが望ましい。さらに、拡大領域は、ぼけてしまうため、魚眼レンズで撮影したような画像全体にピントがあう状態に近づけるには、エッジ強調されることが望ましい。

本実施形態に係る鮮鋭処理では、画像の中央から離れている画素に対して、平均値フィルタ後の画素を加算し、更に、拡大領域に対して、平均値フィルタ後の画素を加算する。これにより、エッジが強調されるハイパスフィルタに相当する処理が行われる。本実施形態では、元々の画像でぼけている状態と、拡大処理によってぼけてしまった状態とが考慮された鮮鋭処理が実施されるため、魚眼レンズ特性である画像全体のピントが合う画像により近づけることができる。

一方、Ｓ１００３では、実施形態１と同様に、注目位置３０３が縮小領域にあたるため、変形処理後の画像がエッジ強調されていることを考慮する。さらに、注目位置３０３が取得する取得位置３０４の画素が、レンズ特性によってぼけてしまっている場合を考慮する。

そこで、実施形態１と同様の方法により算出した鮮鋭処理の強度Ｓに加え、レンズ特性を考慮した鮮鋭処理の強度Ｐを用いて、フィルタ処理を行う。フィルタ処理は、Ｓ１００２と同様に、式（７）を用いる。

縮小領域であるか否かに関わらず、取得位置３０４の画素が、画像の中央より離れている場合には、元々の画像が多少ぼけている。したがって、エッジ強調されることが望ましい。一方で、縮小領域は、画素間引きが発生してエッジが強調されているため、魚眼レンズで撮影したような画像全体にピントがあう状態に近づけるには、ぼかし処理されることが望ましい。

本実施形態に係る鮮鋭処理では、画像の中央から離れている画素に対して、平均値フィルタ後の画素を加算することで、エッジが強調されるハイパスフィルタに相当する処理を行う。さらに、縮小領域に対して、平均値フィルタ後の画素を減算することで、ぼかし処理されるローパスフィルタに相当する処理を行う。すなわち、本実施形態では、元々の画像でぼけている状態と、縮小処理によってエッジ強調されていた状態とが考慮された鮮鋭処理を行うため、魚眼レンズ特性である画像全体のピントが合う画像により近づけることが可能となる。

Ｓ６０２〜Ｓ６０４及びＳ１００１〜Ｓ１００３を全画素分繰り返して処理を終了する。

元々、通常レンズで撮影した画像は、高級なレンズではない限り、レンズの特性として、周辺に近づく程ぼけてしまう傾向にある。したがって、本実施形態では、実施形態１の処理に加え、入力画像を撮影したときのレンズ特性を考慮し、局所毎に強度を算出して鮮鋭処理を施す。これにより、画像全体のエッジ度合いをより均一に近づけることができる。すなわち、本来の魚眼レンズ特性である画像全体のピントが合う画像により近づけることができる。

また、本実施形態では、ハイパスフィルタ及びローパスフィルタの処理を行うと共に、レンズ特性を考慮した鮮鋭処理を行うことにより、高速な処理で、魚眼レンズで撮影した結果により近づけることが可能となる。

（実施形態３）
図１２〜１７を用いて本実施形態について説明する。本実施形態では、実施形態１と同様の構成については、重複する説明は省略する。なお、以下の記載はパーソナルコンピュータの画像処理アプリケーションを想定して説明を行うが、これはあくまで実施の１つの形態を例として示したものであり、本発明は以下の実施に限定されるものではない。

実施形態１及び実施形態２では、通常レンズで撮影した画像に変形処理を行い、魚眼レンズで撮影した画像に近づける処理を行った。その変形処理の際に、基準点を中心に、基準点に近い領域を拡大し、基準点に遠い領域を縮小しているため、入力画像は、基準点を中心に円形になるような画像となる。したがって、元々の入力画像サイズに、変形後の画像を収めようとすると、画像の頂点付近の画素が、元の入力画像に無い画素となる。図１２は、変形処理前後の画像のイメージ図である。１４０１は、入力画像の変形処理前の画像である。１４０２は、本実施形態に係る入力画像の変形処理後の画像であり、具体的には、変形処理前の入力画像１４０１に対し、画像の中央を基準点として、中央を拡大し、周辺を縮小する変形処理した後の画像である。１４０３は、変形処理後に変形処理前の画像の画素が存在しない領域である。画像１４０１に対して画像の中央を基準点として変形処理を行うと、図１２（ｂ）に示すように、画像の端部が湾曲した状態になる。そこで、変形処理後の画像を入力画像サイズ内に収めようとすると、図１２（ｂ）に示すように、画像１４０２には、変形処理前の画像の画素が存在しない領域１４０３が生じる。すなわち、実施形態１及び実施形態２では、画面の水平垂直対角線両方よりもイメージサークル径が小さい全周魚眼レンズや円周魚眼レンズを用いて撮影したような画像を得ることができる。この場合、実施形態１及び２では、例えば、変形処理前の画像の画素が存在しない領域は、画素値（Ｒ，Ｇ，Ｂ）を（０，０，０）として扱うことにして、画像１４０２を生成する。

この変形処理後の画像１４０２は、プリンタ等の印刷装置で、そのまま印刷させることもできるが、画素が存在しない領域１４０３が印刷結果に含まれてしまう。

そこで、本実施形態では、基準点３０１を中心にして変形処理を行った画像に対し、変形処理前の画像の画素が存在しない領域１４０３を含まない出力画像を生成する画像処理を行う。

ここで、図１３を用いて、本実施形態における画像処理の全体構成について説明する。実施形態１及び実施形態２と同様な処理については、説明を省略する。図１３は、本実施形態の処理フローを示すブロック図である。

本実施形態の画像処理は、図１３に示す前工程部１５０１と後工程部１５０２で構成される。

前工程部１５０１は、入力画像２００に基準点３０１を設定し、基準点３０１を中心に変形処理し、変形処理をした画像に対して鮮鋭度処理を行う処理ブロックである。

前工程部１５０１は、実施形態１又は実施形態２と同様の構成とすればよい。実施形態１と同様の構成からなる場合、前工程部１５０１は、基準点設定部２０１と変形処理部２０２と鮮鋭処理部２０３とを含む。実施形態２と同様の構成からなる場合、前工程部１５０１は、基準点設定部２０１と変形処理部２０２と鮮鋭処理部２０３とレンズ特性取得部８０１とを含む。各処理部の動作は、実施形態１又は実施形態２と同様であるので説明を省略する。

前工程部１５０１で処理された画像は、入力画像２００の画像サイズに収まるように変形処理されたものであり、例えば、入力画像２００に無い画素が画像の頂点３０２付近に含まれている画像となる。

後工程部１５０２は、前工程部１５０１で生成した画像に、基準点３０１を中心に拡大処理し、拡大処理をした画像に対して、拡大率に応じて、鮮鋭度処理を行う処理ブロックである。

図１３（ｂ）は、後工程部１５０２を構成するブロック図である。

図１３（ｂ）に示すように、後工程部１５０２は、周辺拡大処理部１６０１と周辺鮮鋭処理部１６０２とを備えている。後工程部１５０２の各処理部の動作は、ＣＰＵ１０１が実行する。

まず、後工程部１５０２に、前工程部１５０１で生成された画像（以下、前工程後画像ともいう）を入力する。なお、ここでいう前工程後画像とは、基準点３０１を中心に変形処理を行った後、鮮鋭処理を行った画像である。

そして、周辺拡大処理部１６０１で、前工程後画像１４０２に対し、基準点設定部２０１で設定した基準点３０１を中心に、画像の周辺領域を拡大する処理を行う。なお、画像の周辺領域とは、画像の中心の周りの領域、より具体的には、画像の中心から離れた端部側の領域のことを指す。ここで、前工程後画像１４０２は、入力画像２００に対して、基準点３０１を中心に変形処理が行われて、端部が湾曲した画像となっている。また、変形処理後の画像を入力画像サイズをはみ出さないようにした場合、前工程後画像１４０２の頂点付近の領域１４０３は、入力画像の画素が含まれない領域となっている。そこで、周辺拡大処理部１６０１では、前工程後画像１４０２の周辺領域を拡大することによって、領域１４０３を入力画像サイズ内に含ませないようにする。すなわち、本実施形態では、周辺拡大処理により、画像において、図１２の画像の頂点付近（領域１４０３）のように、変形処理前の画像の画素が無い部分が無くなるように、前工程後画像１４０２の周辺領域の拡大を行う。

ここで、図１４及び図１５を用いて、周辺拡大処理部について詳細に説明する。

図１４（ａ）において、距離ｄは、基準点３０１と注目位置１７０３との距離を示す。距離ｔは、変形処理を行う際の注目位置１７０３に対応する取得位置１７０４と、基準点３０１との距離を示す。また、位置１７０１は、前工程部１５０１で変形処理をした際に取得した画素位置である。図１４（ａ）における注目位置１７０１は、元の入力画像２００の画像の頂点３０２に対応する。距離ｗは、位置１７０１と、基準点３０１との距離を示す。

図１４（ｂ）は、本実施形態に係る周辺拡大処理で用いるパラメータの一例である。図１４（ｂ）の曲線１８０１は、距離ｄより距離ｔが大きくなる処理となるパラメータとする。また、距離ｄが０の時、距離ｔが０の画素値を取得し、距離ｄがＤのとき、距離ｔがｗとなるようなパラメータとしている。これは、基準点３０１を中心とした拡大処理であることを示している。また、位置１７０２を注目位置とした場合に、取得される位置が１７０１となることを示している。

本実施形態では、周辺を拡大するためのパラメータを、図１２（ｂ）に示す曲線１８０１としたが、元々の入力画像の画素が含まれない領域１４０３が画像の端部に残らないパラメータであれば、これに限定されるものではない。例えば、図１４（ｃ）に示すような周辺拡大処理のパラメータであってもよい。図１４（ｃ）に示す曲線２００１は、基準点３０１に近い領域では前工程部１５０１で行った処理を優先させるパラメータである。すなわち、図１４（ｃ）に示す曲線２００１は、基準点３０１に近い部分はあまり拡大させず状態を保持させたまま、入力画像２００の画素が存在しない領域１４０３を無くすパラメータである。

図１５は、ＣＰＵ１０１が実行する周辺拡大処理部の処理フローを示す図である。具体的には、画素毎に注目位置１７０３を変更しながら、取得位置１７０４を算出し、周辺拡大処理をするまでのフローを示している。すなわち、周辺拡大処理部では、前工程部１５０１で生成した前工程後画像１４０２の全ての画素に対し、注目位置１７０３をずらしながら周辺拡大処理を行う。

まず、Ｓ１９０１では、全ての画素で処理が終了したか否かを判定する。終了していない場合は、Ｓ１９０２へ進む。

Ｓ１９０２では、注目位置１７０３と基準点３０１との距離ｄを算出し、Ｓ１９０３へ進む。

Ｓ１９０３では、図１４（ｂ）に示す周辺拡大処理のパラメータに基づき、注目位置１７０３に対応する取得位置１７０４を算出する。そして、基準点３０１から距離ｔだけ離れた取得位置１７０４の画素を、注目位置１７０３の周辺拡大処理後の画素とし、Ｓ１９０１へ戻り、次の注目位置１７０３の画素に対して処理を行う。

このようにして、Ｓ１９０１〜Ｓ１９０３を全画素分繰り返し、全画素分繰り返したところで、処理を終了する。これにより、図１６に示すような周辺拡大処理後の画像２２０１が生成される。すなわち、周辺拡大処理部１６０１で周辺拡大処理を行うことにより、入力画像２００の画素が存在しない領域がない画像を生成することができる。例えば、前工程後画像１４０２の領域１４０３のような領域が存在しない画像を生成することができる。

この周辺拡大処理では、入力画像２００の画像サイズからはみ出てしまう画素については削除を行い、入力画像２００と同じサイズでの出力画像を生成する。言い換えれば、周辺拡大処理部１６０１では、入力画像２００の画素が含まれない領域（例えば、領域１４０３）を入力画像サイズ外とする処理を行う。

そして、周辺拡大処理部１６０１において、周辺拡大処理された後の画像２２０１は、周辺鮮鋭処理部１６０２に入力される。周辺鮮鋭処理部１６０２は、周辺を拡大することによりぼけてしまった領域に対し、鮮鋭処理を行うことで、ぼけを軽減する処理を行う。

図１７は、ＣＰＵ１０１が実行する周辺鮮鋭処理の処理フローである。

まず、Ｓ２２０１では、前工程後画像１４０２に対し、画素毎に３×３画素の平均値フィルタ処理を行う。平均値フィルタ処理は、実施形態１と同様であるので説明を省略する。

次に、前工程後画像１４０２に対し、画素毎に注目位置１７０３を変更しながら、周辺鮮鋭処理を行う。まず、Ｓ２２０２では、周辺鮮鋭処理が全ての画素で終了したか否かを判定する。終了していない場合は、Ｓ２２０３へ進む。Ｓ２２０３では、画素毎に変倍率Ｒを算出する。変倍率Ｒの算出は、実施形態１と同様であるので説明を省略する。なお、ここでは、注目位置３０３の代わりに注目位置１７０３を用い、取得位置３０４の代わりに取得位置１７０４を用いて、変倍率Ｒを算出する。次に、Ｓ２２０４では、前工程後画像１４０２に対し、鮮鋭度を増加させるハイパスフィルタ処理を行い、Ｓ２２０２へ戻り、次の注目位置１７０３の画素に対して処理を行う。

ハイパスフィルタは、実施形態１と同様であるので詳細な説明は省略するが、まず、Ｓ２２０３で算出した変倍率Ｒを元に、図７のパラメータを用いてフィルタ処理の強度Ｓを算出する。強度Ｓに基づいて、平均値フィルタ後の画素に対する加算値を求め、前工程後画像１４０２に加算する。

このようにして、Ｓ２２０２〜Ｓ２２０４を全画素分繰り返し、周辺鮮鋭処理を終了する。本実施形態の周辺鮮鋭処理では、平均値フィルタ後の画素を加算することで、鮮鋭度が強調されるハイパスフィルタに相当する処理が行われる。従って、拡大処理によってぼけていた状態を元のフラットな状態に近づけることができる。

なお、鮮鋭処理後の画像は、出力画像２０４として出力される。出力画像２０４は、２次記憶装置１０４に記憶されたり、モニタ１１１に表示されたり、プリンタ１１０で被記録媒体上に印刷される。

上述したように、本実施形態では、後工程部１５０２において、拡大によるぼけを軽減しつつ、入力画像２００に無い領域、言い換えれば、画素が存在しない領域を含まない画像を生成することができる。

基準点を中心とした変形処理を行い、入力画像サイズと同じサイズにしようとすると、画像の端部が湾曲し、入力画像の画素が含まれない領域を含む画像が生成される。そこで、本実施形態では、基準点を中心とした変形処理後（及び鮮鋭処理後）の画像に対し、周辺拡大処理を施すことにより、入力画像の画素が含まれない領域を入力画像サイズ内から排除することができる。このように、入力画像サイズにおいて、入力画像に含まれない画素を含まず、見栄えの良い画像を生成することができる。なお、本実施形態では、実施形態１及び２と同様に、局所的なボケや過度なエッジ強調を抑制して所望の変形処理を行うことができる。

本実施形態によれば、画面対角線以上のイメージサークル径をもつ対角線魚眼レンズを用いて撮影したような画像を得ることができる。

また、本実施形態では、周辺拡大処理をした画像に、さらに周辺鮮鋭処理を行うことにより、周辺拡大処理の際のぼけを軽減することができる。

（他の実施形態）
以上、本発明の各実施形態を説明したが、本発明の基本的構成は上述したものに限定されるものではない。

本発明は、複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムに適用してもよい。また、一つの機器からなる装置（例えば、プリンタ、複写機、ファクシミリ装置等）に適用してもよい。

上述した実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、プログラムは、１つのコンピュータで実行させても、複数のコンピュータを連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウエアで実現する必要はなく、処理の一部または全部をＡＳＩＣ等のハードウェアで実現するようにしてもよい。また、ＣＰＵも１つのＣＰＵで全ての処理を行うものに限らず、複数のＣＰＵが適宜連携をしながら処理を行うものとしてもよい。

１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ ２次記憶装置
２０１ 基準点設定部
２０２ 変形処理部
２０３ 鮮鋭処理部
８０１ レンズ特性取得部
１５０１ 前工程部
１５０２ 後工程部
１６０１ 周辺拡大処理部
１６０２ 周辺鮮鋭処理部

Claims (15)

1. 入力画像を取得する取得手段と、
   前記取得手段により取得された入力画像において基準点から処理対象の画素までの距離を特定する特定手段と、
   前記基準点から前記処理対象の画素までの距離に応じて、前記基準点に近い領域を拡大し、前記基準点に遠い領域を縮小するように、画像を変形する変形手段と、
   前記処理対象の画素の前記変形手段で変形する際の変倍率に応じて、前記変形手段により拡大される領域では鮮鋭度を増加させ、前記変形手段により縮小される領域では鮮鋭度を低下させるように、強度を変化させて画像に鮮鋭処理を行う鮮鋭処理手段と、
   前記基準点からの距離に応じて、前記入力画像の中央を基準として、前記鮮鋭処理後の画像の周辺を拡大する拡大処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記鮮鋭処理手段は、前記変形手段により変形した画像に鮮鋭処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 画像を撮影するために用いるレンズのレンズ特性を特定するレンズ情報を取得する第２取得手段をさらに備え、
   前記鮮鋭処理手段は、前記特定手段により特定された距離及び前記第２取得手段により取得したレンズ情報に基づいて、鮮鋭処理の強度を変化させることを特徴とする請求項１に記載の画像処理装置。
4. 前記鮮鋭処理手段は、前記画像の前記変形手段で拡大される領域に対してエッジを強調する処理を行い、前記画像の前記変形手段で縮小される領域に対してエッジを低下させる処理を行うことを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記鮮鋭処理手段は、前記画像の前記画像変形手段で拡大される領域に対してハイパスフィルタ処理を行い、前記画像の前記変形手段で縮小される領域は、ローパスフィルタ処理を行うことを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記基準点を設定する設定手段をさらに備えることを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記拡大処理手段により拡大された画像の周辺の画像を鮮鋭処理する第２鮮鋭処理をさらに備えることを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
8. 入力画像を取得する取得工程と、
   前記取得工程において取得された入力画像において基準点から処理対象の画素までの距離を特定する特定工程と、
   前記基準点から前記処理対象の画素までの距離に応じて、前記基準点に近い領域を拡大し、前記基準点に遠い領域を縮小するように、画像を変形する変形工程と、
   前記処理対象の画素の前記変形工程で変形する際の変倍率に応じて、前記変形工程により拡大される領域では鮮鋭度を増加させ、前記変形工程により縮小される領域では鮮鋭度を低下させるように、強度を変化させて画像に鮮鋭処理を行う鮮鋭処理工程と、
   前記基準点からの距離に応じて、前記入力画像の中央を基準として、前記鮮鋭処理後の画像の周辺を拡大する拡大処理工程と、
   を備えることを特徴とする画像処理方法。
9. コンピュータを、
   入力画像を取得する取得手段と、
   前記取得手段により取得された入力画像において基準点から処理対象の画素までの距離を特定する特定手段と、
   前記基準点から前記処理対象の画素までの距離に応じて、前記基準点に近い領域を拡大し、前記基準点に遠い領域を縮小するように、画像を変形する変形手段と、
   前記処理対象の画素の前記変形手段で変形する際の変倍率に応じて、前記変形手段により拡大される領域では鮮鋭度を増加させ、前記変形手段により縮小される領域では鮮鋭度を低下させるように、強度を変化させて画像に鮮鋭処理を行う鮮鋭処理手段と、
   前記基準点からの距離に応じて、前記入力画像の中央を基準として、前記鮮鋭処理後の画像の周辺を拡大する拡大処理手段と、
   として機能させることを特徴とするプログラム。
10. 前記鮮鋭処理手段は、前記変形手段により変形した画像に鮮鋭処理を行うことを特徴とする請求項９に記載のプログラム。
11. コンピュータを、画像を撮影するために用いるレンズのレンズ特性を特定するレンズ情報を取得する第２取得手段としてさらに機能させ、
    前記鮮鋭処理手段は、前記特定手段により特定された距離及び前記第２取得手段により取得したレンズ情報に基づいて、鮮鋭処理の強度を変化させることを特徴とする請求項９に記載のプログラム。
12. 前記鮮鋭処理手段は、前記画像の前記変形手段で拡大される領域に対してエッジを強調する処理を行い、前記画像の前記変形手段で縮小される領域に対してエッジを低下させる処理を行うことを特徴とする請求項９〜１１のいずれか一項に記載のプログラム。
13. 前記鮮鋭処理手段は、前記画像の前記画像変形手段で拡大される領域に対してハイパスフィルタ処理を行い、前記画像の前記変形手段で縮小される領域は、ローパスフィルタ処理を行うことを特徴とする請求項９〜１２のいずれか一項に記載のプログラム。
14. コンピュータを、前記基準点を設定する設定手段としてさらに機能させることを特徴とする請求項９〜１３のいずれか一項に記載のプログラム。
15. コンピュータを、前記拡大処理手段により拡大された画像の周辺の画像を鮮鋭処理する第２鮮鋭処理としてさらに機能させることを特徴とする請求項９〜１４のいずれか一項に記載のプログラム。

Images