JP4811462B2 - 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 - Google Patents

Description

本発明は、光学系で撮影した画像に対し幾何変換処理を施す画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置に関する。

一般のカメラの撮影レンズは、被写体平面を想定し、その被写体平面と相似な像を撮像面に結像するように設計されている。このため、撮影画像上の局所に存在する被写体に着目すると、径方向(光軸中心から画像周辺へ向かう方向)の倍率が、周方向（光軸中心周りの方向）の倍率よりも大きくなっている。以下、本明細書では、画像上の局所に存在する被写体の径方向倍率と周方向倍率との不一致を、「倍率歪み」と呼ぶ。

倍率歪みは、歪曲収差とは異なり、撮影レンズが仮に無収差であったとしても発生するものであって、肉眼で観察される被写体と、撮影レンズで撮影された画像との印象の相違に相当する。例えば、比較的広い被写界を肉眼で観察するとき、正面以外に位置する被写体を観察者が注視すると、観察者の眼球の視軸は無意識に傾斜する。一方、同じ被写界を撮影レンズで撮影するときには、光軸は一定である。このため、撮影レンズで撮影された画像では、画像周辺部の被写体が径方向に太って見える。これが倍率歪みであり、広角画像の周辺部ほど顕著である。

ここで、歪曲収差の無い撮影レンズの射影方式、つまり直線再現性の良い射影方式の幾何変換特性は、像高をｈ、被写体角度をθとおくと、以下の式（Ａ）で与えられる。この幾何変換特性は、直線再現性が良いものの、倍率歪みを発生させる。

ｈ（θ）∝ｔａｎθ …（Ａ）
一方、魚眼レンズ等の射影方式の１つに、倍率歪みの生じない立体射影方式がある。立体射影方式の幾何変換特性は、像高をｈ、被写体角度をθとおくと、以下の式で与えられる。この幾何変換特性は、倍率歪みが生じないものの、直線再現性が悪い。

ｈ（θ）∝ｔａｎ（θ／２） …（Ｂ）
そこで、特許文献１では、式（Ａ）と式（Ｂ）との中間的な幾何特性が提案されている。この中間的な幾何特性は、以下の式（Ｃ）で与えられる。但し、式（Ｃ）において、Ｐは、１＜Ｐ＜４を満たす所定値である。

ｈ（θ）∝ｔａｎ（θ／Ｐ） …（Ｃ）
従来、カメラで撮影した画像をこの幾何変換特性で幾何変換処理すれば、倍率歪みの抑制と直線再現性との両立が可能と考えられていた。
特開２００５−１１０２０７号公報

しかしながら、式（Ｃ）で与えられる幾何変換特性は、必ずしも画像内の全域を良好に表現することはできず、画像内の位置によっては、直線の歪みが目立ったり、倍率歪みが目立ったりする可能性がある。

本発明は、上記不具合を解消し、直線再現性と倍率歪みの抑制とを画像内でバランス良く得ることのできる画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置を提供することを目的とする。

本発明の画像処理方法は、被処理画像に対し所定の幾何変換処理を施す画像処理方法において、前記所定の幾何変換処理には、前記被処理画像の周方向倍率と径方向倍率との不一致を抑制する、倍率歪み抑制用の幾何変換処理が含まれ、前記倍率歪み抑制用の幾何変換処理の強度又は内容を規定する少なくとも１つのパラメータを、前記被処理画像の構造に応じて設定することを特徴とする。

なお、前記倍率歪み抑制用の幾何変換処理は、前記被処理画像の周辺領域に作用するものであってもよい。

また、前記所定の幾何変換処理には、前記被処理画像の周辺領域に作用する倍率歪み抑制用の幾何変換処理と、前記被処理画像の中央領域に作用する直線再現用の幾何変換処理とが含まれてもよい。

また、前記パラメータとして、前記周辺領域と前記中央領域との境界位置を設定してもよい。

また、任意の被写体角度をθ、前記境界位置に相当する被写体角度をθｐ、前記被写体角度θに対する前記所定の幾何変換処理後の像高をｈ（θ）、前記被写体角度θにおける周方向倍率と径方向倍率との比率をκ（θ）と表したときに、ｈ（θ）、ｈ（θ）の導関数ｈ’（θ）、κ（θ）のうちの少なくとも１つは、θｐにおいて連続となることが望ましい。

また、前記被処理画像は、光軸中心に関し対称な倍率歪みを有し、前記倍率歪み抑制用の幾何変換処理は、光軸中心に関し非対称な幾何変換特性を有し、前記パラメータとして、前記倍率歪み抑制用の幾何変換処理の強度ｑを設定してもよい。

また、前記強度ｑは、０＜ｑ＜１の範囲に設定されることが望ましい。

また、前記倍率歪み抑制用の幾何変換処理は、前記光軸中心を通る垂直線及び水平線に関し対称な幾何変換特性を有することが望ましい。

また、前記所定の幾何変換処理の前及び／又は後の画像をユーザへ表示し、かつユーザに対し前記パラメータの設定を行わせてもよい。

また、前記被処理画像の直線検出を行い、その結果に応じて前記パラメータの設定を行ってもよい。

また、前記倍率歪み抑制用の幾何変換処理は、前記被処理画像を、その中心から外れた位置に光軸を配した仮想光学系で同じ被写体を撮影したときの画像へと幾何変換処理するものであり、前記パラメータとして、前記仮想光学系の光軸位置を設定してもよい。

また、前記仮想光学系の光軸位置は、前記被処理画像中の主要被写体位置に設定されてもよい。

また、前記被処理画像をユーザへ表示し、かつそのユーザに対し前記主要被写体位置を指定させてもよい。

また、前記被処理画像の画像認識を行い、その結果に応じて前記主要被写体位置を検出してもよい。

また、前記所定の幾何変換処理には、前記倍率歪み抑制用の幾何変換処理の他に、前記被処理画像の歪曲収差を抑制する歪曲収差抑制用の幾何変換処理も含まれ、前記倍率歪み抑制用の幾何変換処理と前記歪曲収差抑制用の幾何変換処理との双方が施された後の画像に対し、画素補間処理を一括して施してもよい。

また、本発明の画像処理プログラムは、本発明の何れかの画像処理方法をコンピュータに実行させることを特徴とする。

また、本発明の画像処理装置は、本発明の何れかの画像処理方法を実行することを特徴とする。

また、本発明の撮像装置は、本発明の何れかの画像処理装置を備えたことを特徴とする。

本発明によれば、直線再現性と倍率歪みの抑制とを画像内でバランス良く得ることのできる画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置が実現する。

光軸中心に関し対称な倍率歪みを説明する図である。 球面画像と平面画像とを光軸に沿った方向から見た正面図である。 第１実施形態の幾何変換特性を説明する図である。 第１実施形態実施形態の幾何変換特性による被写体角度θと像高ｈ₂との関係を示す図である。 第１実施形態の幾何変換特性による被写体角度θと倍率歪み率κとの関係を示す図である。 第３実施形態のコンピュータの動作フローチャートである。 第４実施形態のコンピュータの動作フローチャートである。 第５実施形態の手順を説明する図である。

［第１実施形態］
第１実施形態を説明する。本実施形態は、被処理画像に対し倍率歪み補正を施す画像処理方法の実施形態である。ここでは、被処理画像を、歪曲収差の小さい一般的な撮影レンズで撮影された画像とする。

本実施形態の倍率歪み補正では、以下の＜手順１＞〜＜手順４＞からなる幾何変換処理により、被処理画像上の座標（ｘ，ｙ）に位置する画素の画素値を、座標（ｘ₂，ｙ₂）に位置する画素の画素値へと移し、画素補間処理を施す。
＜手順１＞
座標（ｘ，ｙ）に対応する像高ｈを、次式で求める。

但し、式（１）において、（ｃｘ，ｃｙ）は、被処理画像上の光軸中心の座標である。
＜手順２＞
像高ｈに対応する被写体角度θを、次式で求める。

但し、式（２）において、ｄ_maxは、被処理画像上の最大像高を長さに換算したものであり、ｆは、撮影レンズの焦点距離であり、ｈ_maxは、被処理画像上の最大像高を画素数に換算したものである。
＜手順３＞
被写体角度θを、次式により、像高ｈ₂へ変換する。

但し、式（３）において、Ｃは変倍率であり、画像が縮小し過ぎないように、例えば、１〜１．２程度の適当な値に設定される。また、θｐは閾値であり、被処理画像の構造に応じて設定される。因みに、一般的な構造の被処理画像には、θｐ＝４０°程度が適当である。
＜手順４＞
像高ｈ₂に対応する座標（ｘ₂，ｙ₂）を、次式で求める。

（第１実施形態の効果）
先ず、光軸中心に関し対称な倍率歪みを説明する。本実施形態の被処理画像や、本実施形態の倍率歪み補正後の画像も、光軸中心に関し対称な倍率歪みを持つとみなせる。

図１に示すとおり、ピンホールカメラによって被写体像を球面画像上に結像することを想定すると、この球面画像上の点Ｐ，Ｑ間の距離は、ピンホールから被写体を見たときの点Ｐ₀，Ｑ₀間の視野角に比例する。つまり、この球面画像において倍率歪みは無い。しかしながら実際のカメラでは、光軸中心に関し対称な幾何特性により被写体を平面画像として再現するため、光軸中心に関し対称な倍率歪みが生じる。したがって、上記球面画像を上記平面画像に射影した場合に生じる局所的な像倍率の変化を考えることにより、上記平面画像の倍率歪みを求めることができる。

図２は、球面画像と平面画像とを光軸に沿った方向から見た正面図である。

球面画像上の特徴点Ｐは、平面画像上の特徴点Ｐ₂へ射影され、特徴点Ｐから微小距離だけ離れた特徴点Ｑは、平面画像上の特徴点Ｑ₂へ射影されたとする。

特徴点Ｐの座標は、ピンホールと特徴点Ｐとを結ぶ直線（図１参照）が光軸と成す角度（被写体角度）θと、この直線の光軸周りの角度（周方向の角度）φ（図２参照）とで特定される。よって、特徴点Ｐの座標を、（θ，φ）と表す。

特徴点Ｑの座標も、同様に、被写体角度（θ＋Δθ）と、周方向の角度（φ＋Δφ）とで特定される。よって、特徴点Ｑの座標を、（θ＋Δθ，φ＋Δφ）と表す。

一方、特徴点Ｐ₂の座標は、平面画像上の像高と周方向の角度とで表される。特徴点Ｐ₂の像高は、特徴点Ｐの被写体角度θのみの関数ｈ（θ）で表され、特徴点Ｐ₂の周方向の角度は、特徴点Ｐの周方向の角度φと同じである（なぜなら、前記幾何変換特性は、光軸中心に関し対称）。よって、特徴点Ｐ₂の座標は、(ｈ(θ)，φ）と表される。

同様に、特徴点Ｑ₂の座標は、平面画像上の像高と周方向の角度とで特定される。特徴点Ｑ₂の像高は、特徴点Ｑの被写体角度（θ＋Δθ）の関数ｈ（θ＋Δθ）で表され、特徴点Ｑ₂の周方向の角度は、特徴点Ｑの周方向の角度（φ＋Δφ）と同じである。よって、特徴点Ｑ₂の座標は、（ｈ（θ＋Δθ），φ＋Δφ）と表される。

ここで、図２の左側に示すとおり、球面画像上の特徴点ＰＱ間の距離を直線で近似すると、その距離の周方向成分ｄ１φ、及び径方向成分ｄ１θは、球面画像からピンホールまでの距離ｒ（図１参照）により、それぞれ以下のとおり表される。

また、図２の右側に示すとおり、平面画像上の特徴点Ｐ₂Ｑ₂間の距離の周方向成分ｄ２φ、及び径方向成分ｄ２ｈは、それぞれ以下のとおり表される。

よって、平面画像上の周方向倍率ｋφ、及び径方向倍率ｋｈは、それぞれ以下の式で表される。

したがって、平面画像上の倍率歪み率κは、次の式で表される。

例えば、本実施形態の被処理画像において、倍率歪み率κが１よりも大きい領域では、被写体が径方向に引き延ばされている。この被処理画像の歪曲歪み補正では、被処理画像上の全域に亘り、倍率歪み率κを許容範囲内（例えば、１．３以下）に制限する必要がある。特に、被処理画像の周辺領域（被写体角度θの大きい領域）では、倍率歪み率κが大きい傾向にあるので、それを抑制することが重要である。

次に、図３に基づき本実施形態の幾何変換特性を考える。

本実施形態の幾何変換特性によると、被写体角度θが閾値θｐ以下の領域（図３の中央領域Ａ１）では、像高ｈ₂をｔａｎθに比例させる幾何変換特性、つまり、直線再現性の良い幾何変換特性が採用される。

但し、直線再現性の良い幾何変換特性は、倍率歪みを発生させる。直線再現性の良い幾何変換特性によって生じる倍率歪み率は、ｈ（θ）∝ｔａｎθを式（８）へ代入することによって求まり、１／（ｃｏｓθ）である。つまり、直線再現性の良い幾何変換特性は、被写体角度θが大きくなるに従い、大きな倍率歪みを発生させる。

また、本実施形態の幾何変換特性によると、被写体角度θが閾値θｐより大きい領域（図３の周辺領域Ａ２）では、像高ｈ₂をｔａｎ（θ／２）＾（κｐ）に比例させる幾何変換特性、つまり、倍率歪みを抑制する幾何変換特性が採用されている。

倍率歪みを抑制する幾何変換特性によって生じる倍率歪み率は、ｈ（θ）∝ｔａｎ（θ／２）＾（κｐ）を式（８）へ代入することによって求まり、κｐ＝１／（ｃｏｓθｐ）である。つまり、倍率歪みを抑制する幾何変換特性は、被写体角度θによらず、倍率歪みを、θ＝θｐにおける倍率歪みと同じに保つ。

図４は、本実施形態の幾何変換特性による被写体角度θと像高ｈ₂との関係を示す図であり、図５は、本実施形態の幾何変換特性による被写体角度θと倍率歪み率κとの関係を示す図である。なお、図４，図５では、閾値θｐを４０°に設定すると共に、比較のため、幾何変換特性：ｈ₂（θ）∝ｔａｎθのデータも一緒に示した。

図４に示すとおり、本実施形態の幾何変換特性は、θ≦θｐの領域（中央領域Ａ１）と、θｐ＜θの領域（周辺領域Ａ２）との間で幾何変換特性の内容が切り替わっている。このような切り替えにより、倍率歪み率κは、図５に示すとおり、θ≦θｐの領域（中央領域Ａ１）では徐々に上昇し、θｐ＜θの領域（周辺領域Ａ２）では、一定値κｐに保たれる。また、倍率歪み率κは、θ＝θｐにおいて連続した値を採り、θｐ＜θの領域（周辺領域Ａ２）における倍率歪み率κｐが、θ≦θｐの範囲でも維持されている。

以上、本実施形態の倍率歪み補正によると、図３に示したとおり、被処理画像の中央領域Ａ１では直線再現性が重視され、周辺領域Ａ２では倍率歪みの抑制が重視される。

また、本実施形態では、被処理画像の構造等を考慮し、周辺領域Ａ２における倍率歪みが許容範囲内に収まるように閾値θｐを設定するだけで、全領域における倍率歪みを許容範囲内に収めることができる。

因みに、閾値θｐは、デフォルトでは、例えば４０°程度に設定されることが望ましい。その場合、倍率歪み率κは１．３程度以下に抑制される。

特に、周辺領域Ａ２における倍率歪みが許容範囲内の最大値となるように閾値θｐを設定すれば、周辺領域Ａ２における直線再現性の悪化を必要最小限に抑えることができるので、直線再現性と倍率歪みの抑制とのバランスが全領域で良好となる。

また、本実施形態の幾何変換処理によると、幾何変換特性の内容が切り替わるθ＝θｐにおいて、像高ｈと被写体角度θの関係式ｈ（θ）、ｈ（θ）の導関数ｈ’（θ）、倍率歪み率κ（θ）の全てが連続であるため、中央領域Ａ１と周辺領域Ａ２とは、境界部ａにおいて滑らかに自然に繋がる。

（第１実施形態の補足）
なお、本実施形態の被処理画像は、歪曲収差の小さい一般的な撮影レンズで撮影された画像であったが、他種の撮影レンズで撮影された画像であってもよい。

例えば、本実施形態の被処理画像は、魚眼レンズで撮影された画像であってもよい。但し、その場合、上述した＜手順２＞において、式（２）の代わりに、魚眼レンズに固有の幾何変換特性（像高ｈと被写体角度θとの関係式）を用いる必要がある。このように、被処理画像を魚眼レンズで撮影された画像とすると、非常に広角であり見え方も自然な画像が得られるので、監視カメラシステムなどに適する。

また、本実施形態の被処理画像は、歪曲収差の大きい撮影レンズで撮影された画像であってもよい。但し、その場合、その撮影レンズの歪曲収差情報を予め取得し、上述した＜手順２＞と＜手順３＞との間に、歪曲収差情報に基づき像高ｈを変換する幾何変換処理（歪曲収差補正用の幾何変換処理）を挿入すればよい。

また、本実施形態の倍率歪み補正では、幾何変換処理後の画像に対し画素補間処理を施したが、この画素補間処理は、幾何変換後の小数座標位置における画素値を用いて整数座標位置の画素値を補間する処理であり、Cubic補間などの手法が適用可能である。

また、本実施形態の倍率歪み補正に複数種類の幾何変換処理を組み合わせる場合、画素補間処理は、全ての幾何変換処理の後に一括して行われることが望ましい。

また、本実施形態の幾何変換処理では、式（３）の変倍率Ｃを１に設定すれば、被処理画像の中央領域Ａ１に対する幾何変換処理を省略したことになる。被処理画像の構造によっては中央領域Ａ１の幾何変換処理が不要なので、この設定を行えば、無駄な演算を省略し、倍率歪み補正の処理時間を短縮することができる。

また、本実施形態の被処理画像は、実際の撮影レンズで撮影された画像であったが、実際の撮影レンズで撮影された画像でなくても構わない。画像中心に関し対称な幾何変換特性で被写体を射影したものであればよい。

例えば、本実施形態の被処理画像は、魚眼レンズで撮影された画像の一部を切り取り、それを歪曲収差が無くなるよう幾何変換処理して得た画像であってもよい。このような画像は、歪曲収差の小さい一般的な撮影レンズで撮影された画像と同様の倍率歪みを持つので、本実施形態を適用することができる。つまり、本実施形態で言う光軸中心には、このような画像の仮想的な光軸中心が含まれる。

また、本実施形態の倍率歪み補正は、コンピュータ、画像ストレージャ、プリンタなど、画像を取り込むことが可能な画像処理装置において実行可能である。例えば、コンピュータで実行する場合、本実施形態の倍率歪み補正を実行するためのプログラムを予め用意し、それをコンピュータへインストールすればよい。或いは、ディジタルカメラなど、撮像機能を搭載した形態機器に対し、同様の処理を実行させてもよい。

また、本実施形態の倍率歪み補正では、撮影レンズの焦点距離ｆ、最大像高の長さｄ_maxなどの情報が必要である。本実施形態の倍率歪み補正をコンピュータ、ストレージャ、プリンタなどの画像処理装置で実行する場合は、その情報をユーザが画像処理装置へ入力するとよい。

或いは、被処理画像の画像ファイルに添付情報が添付されている場合（EXIF等のファイル形式が採用されている場合）は、画像処理装置が、その添付情報と、別途用意されたデータベースとに基づき、撮影レンズの焦点距離ｆ、最大像高の長さｄ_maxなどを自動的に認識してもよい。

［第２実施形態］
第２実施形態を説明する。本実施形態も、光軸中心に関し対称な倍率歪みを持った画像を被処理画像とし、それに対し倍率歪み補正を施す画像処理方法の実施形態である。ここでは、第１実施形態との相違点を主に説明する。

相違点は、幾何変換処理の内容にあり、本実施形態の幾何変換処理では、被処理画像上の座標（ｘ，ｙ）に位置する画素の画素値を、以下の式（９）で与えられる座標（ｘ₂，ｙ₂）に位置する画素の画素値へと移す。

但し、式（９）において、κ（ｈ）は、被処理画像上の像高ｈにおける倍率歪み率であり、（ｃｘ，ｃｙ）は、被処理画像上の光軸中心の座標である。また、Ｃは変倍率であり、画像が縮小し過ぎないように、例えば、１〜１．２程度の適当な値に設定される。

また、ｑは、幾何変換処理の強度であり、被処理画像の構造に応じて設定される。強度ｑは、０≦ｑ≦１の範囲に設定され、望ましくは０≦ｑ≦０．７の範囲に設定される。

（第２実施形態の効果）
本実施形態の幾何変換特性は、光軸中心を通る垂直線及び水平線に関し対称であるので、被処理画像中の縦方向及び横方向の直線再現性が良い。また、この幾何変換特性は、光軸中心に対し縦方向及び横方向の各位置において倍率歪み率κを抑制する。

このような幾何変換特性によると、被処理画像の全領域における縦方向及び横方向の直線は何れも歪むことなく、光軸中心の上下左右に位置する被写体の倍率歪みが、それぞれ抑制される。

但し、本実施形態の幾何変換処理は、斜め方向の直線再現性が悪いので、その強度ｑが高過ぎると、被処理画像中の斜め線を不自然に歪ませてしまう。

そこで、本実施形態では、被処理画像の構造等を考慮し、幾何変換処理の強度ｑを１よりも小さい適当な値に設定する。その結果、被処理画像の全域における直線再現性と倍率歪みの抑制とのバランスを良好にすることができる。

因みに、本実施形態の幾何変換処理の強度ｑは、デフォルトでは、例えば、０．４程度の値に設定されることが望ましい。斜め線を不自然に歪ませないためには、少なくとも、強度ｑは０．７以下に設定される必要がある。但し、一般的に、被処理画像の直線構造は、縦方向又は横方向である場合が多いので、多くの被処理画像では、強度ｑを１に近い値に設定することが可能である。

（第２実施形態の補足）
また、本実施形態の幾何変換処理特性では、縦方向（ｙ方向）の幾何変換処理の強度ｑと横方向（ｘ方向）の幾何変換処理の強度ｑとが同じ値であったが、両者の幾何変換処理の強度を、互いに異なる値に設定してもよい。

また、本実施形態の倍率歪み補正は、コンピュータ、画像ストレージャ、プリンタなど、画像を取り込むことが可能な画像処理装置において実行可能である。例えば、コンピュータで実行する場合、本実施形態の倍率歪み補正を実行するためのプログラムを予め用意し、それをコンピュータへインストールすればよい。或いは、ディジタルカメラなど、撮像機能を搭載した形態機器に対し、同様の処理を実行させてもよい。

また、本実施形態の幾何変換処理と第１実施形態の幾何変換処理とを組み合わせた倍率歪み補正を実行してもよい。この倍率歪み補正は、被処理画像に対し第１実施形態の幾何変換処理を施す手順と、本実施形態の幾何変換処理を施す手順と、画素補間処理を施す手順とからなる。画素補間処理は、全ての幾何変換処理の後に一括して行われることが望ましい。

［第３実施形態］
第３実施形態を説明する。本実施形態は、第１実施形態の倍率歪み補正をコンピュータで実行するのに好適な画像処理プログラムの実施形態である。この画像処理プログラムは、コンピュータを、以下のとおりに動作させる。なお、コンピュータには、出力器であるモニタと、マウスやキーボードなどの入力器とが接続され、これらによってユーザとのインタフェースが図られるものとする。

図６は、本実施形態のコンピュータの動作フローチャートである。図６に示すとおり、コンピュータは、被処理画像を読み込むと（ステップＳ１１）、その被処理画像をモニタへ送出し、被処理画像を表示する（ステップＳ１２）。ユーザは、このモニタ上で被処理画像の構造を確認することができる。なお、コンピュータは、被処理画像の画像ファイルの添付情報と、別途用意されたデータベースとを参照し、撮影レンズの焦点距離ｆ、最大像高の長さｄ_maxなどを認識する。

コンピュータは、倍率歪み補正の幾何変換パラメータをユーザに設定させる（ステップＳ１３）。この幾何変換パラメータは、上述した式（３）の閾値θｐである。ユーザは、被処理画像の構造から、直線再現性よりも歪曲歪みの抑制を重視すべきと判断したときには閾値θｐを小さく設定し、歪曲歪みの抑制よりも直線再現性を重視すべきと判断したときには閾値θｐを大きく設定すればよい。

ユーザが幾何変換パラメータ（ここでは閾値θｐ）を設定すると（ステップＳ１３ＹＥＳ）、コンピュータは、設定された幾何変換パラメータ（ここでは閾値θｐ）を用いて、第１実施形態の倍率歪み補正を被処理画像に対し簡易的に施し（ステップＳ１４）、補正後の画像（簡易画像）をモニタへ表示する（ステップＳ１５）。なお、簡易的な倍率歪み補正とは、被処理画像のサイズ縮小版に対する倍率歪み補正や、画像補間処理を簡素化してなる倍率歪み補正などを指す。

ユーザは、モニタ上の簡易画像の良否から、自分の設定した幾何変換パラメータ（ここでは閾値θｐ）が適切であったか否かを判断することができる。ユーザが不適切と判断し、幾何変換パラメータ（ここでは閾値θｐ）を再設定すると（ステップＳ１６ＮＯ，ステップＳ１３ＹＥＳ）、ステップＳ１４，Ｓ１５の処理が繰り返される。ユーザは、モニタ上の簡易画像に満足するまで、幾何変換パラメータ（ここでは閾値θｐ）を何度でも調整することができる（ステップＳ１３，Ｓ１４，Ｓ１５）。

その後、ユーザがモニタ上の簡易画像に満足し、倍率歪み補正の実効命令をコンピュータへ入力すると（ステップＳ１６ＹＥＳ）、コンピュータは、設定中の幾何変換パラメータ（ここでは閾値θｐ）を用い、第１実施形態の倍率歪み補正を被処理画像に対し詳細に施し（ステップＳ１７）、補正後の画像（詳細画像）をモニタへ表示する（ステップＳ１８）。なお、詳細な倍率歪み補正とは、被処理画像の非縮小版に対する倍率歪み補正を指す。

その後、ユーザが画像保存命令をコンピュータへ入力すると（ステップＳ１９）、コンピュータは、詳細画像を適当なファイル形式でハードディスクなどの不揮発性メモリへ保存する（ステップＳ２０）。

（第３実施形態の効果）
本実施形態の画像処理プログラムは、被処理画像や簡易画像をモニタへ表示するので、ユーザは、被処理画像の構造や倍率歪み補正の効果を確認しながら、所望する倍率歪み補正をコンピュータに実行させることができる。ユーザは、例えば、被処理画像がビルの画像であるときには、閾値θｐを大きくして直線の再現性を重視することができ、また、被処理画像が集合写真であるときには、閾値θｐを小さくして倍率歪みの抑制を重視することができる。

また、本実施形態の画像処理プログラムは、ステップＳ１４における倍率歪み補正を、簡易的な倍率歪み補正としたので、ステップＳ１３，１４，１５の処理は、高速に行われる。したがって、ユーザは、幾何変換パラメータ（ここでは閾値θｐ）を調整しながら、倍率歪み補正の効果を、リアルタイムで確かめることができる。

（第３実施形態の補足）
なお、本実施形態では、第１実施形態の倍率歪み補正を採用したが、第２実施形態の倍率歪み補正を採用してもよい。その場合、ユーザに設定させる幾何変換パラメータは、式（９）の強度ｑとなる。

また、本実施形態では、第１実施形態の倍率歪み補正を採用したが、第１実施形態の幾何変換処理と第２実施形態の幾何変換処理とを組み合わせた倍率歪み補正（第１実施形態の補足にて説明した。）を採用してもよい。その場合、ユーザに設定させる幾何変換パラメータは、式（３）の閾値θｐと式（９）の強度ｑとの双方となる。

また、本実施形態では、コンピュータを利用したが、コンピュータの代わりに、画像ストレージャ、プリンタなど、画像を取り込むことが可能な画像処理装置に対し、同様の処理を実行させてもよい。或いは、ディジタルカメラなど、撮像機能を搭載した携帯機器に対し、同様の処理を実行させてもよい。

［第４実施形態］
第４実施形態を説明する。本実施形態は、倍率歪み補正をコンピュータで自動化するための画像処理プログラムの実施形態である。なお、ここでは、第１実施形態の幾何変換処理と第２実施形態の幾何変換処理とを組み合わせた倍率歪み補正を採用した場合を説明する。また、コンピュータには、出力器であるモニタと、マウスやキーボードなどの入力器とが接続され、これらによってユーザとのインタフェースが図られるものとする。

図７は、本実施形態のコンピュータの動作フローチャートである。図７に示すとおり、コンピュータは、被処理画像を読み込む（ステップＳ１１）。このとき、コンピュータは、被処理画像の画像ファイルの添付情報と、別途用意されたデータベースとを参照し、撮影レンズの焦点距離ｆ、最大像高の長さｄ_max、歪曲収差情報を認識する。このうち、歪曲収差情報は、画像ファイルに添付された撮影時のレンズポジションの情報と、データベースとに基づき認識される。但し、画像ファイルに歪曲収差情報が添付されていた場合は、データベースに基づく必要は無い。

続いて、コンピュータは、被処理画像に対し、サイズ縮小変換処理と、歪曲収差補正用の幾何変換処理と、画素補間処理とを順に施すことにより、直線検出用の簡易画像を生成し（ステップＳ２０）、その簡易画像から直線情報を抽出する（ステップＳ２１）。この直線情報は、被処理画像に如何なる直線がどれだけ存在しているかを示す。以下、ステップＳ２１における直線情報の抽出方法を説明する。

（直線情報の抽出方法）
先ず、簡易画像のエッジを検出し、所定の閾値以上のエッジからなる二値のエッジ画像を生成する。さらに、そのエッジ画像を解析してハフ画像を生成する。ハフ画像の生成では、先ず、直線モデルとして、式（１０）を採用する。但し、ｘ−ｙ座標の原点は、光軸中心である。

ｘｃｏｓθ＋ｙｓｉｎθ＝ρ …（１０）
そして、エッジ画像上のエッジ座標（ｘ_i，ｙ_i）について、以下の式（１１）を満たすような（θ，ρ）の組み合わせを見出す。

ｘ_iｃｏｓθ＋ｙ_iｓｉｎθ＝ρ …（１１）
さらに、見出した（θ，ρ）を、θ−ρ座標上にマッピングする。但し、θの範囲は、０≦θ≦１８０°である。また、マッピングとは、θ−ρ座標上で（θ，ρ）に対応する画素の画素値を１だけ加算することをいう。このマッピングを、エッジ画像の全てのエッジ座標（ｘ_i，ｙ_i）について繰り返し、最終的にθ−ρ座標上に形成された画像が、ハフ画像である。

さらに、このハフ画像を規格化して規格化ハフ画像を取得し、規格化ハフ画像上で画素値が極大となるような各画素を求める。それら各画素の座標（θ，ρ）は、被処理画像に一定量以上含まれる直線の種類を示しており、それら各画素の画素値Ｈは、各直線の量を示す。よって、それらの各直線の（θ，ρ，Ｈ）を、被処理画像の直線情報とすればよい（以上、直線情報の抽出方法）。

続いて、コンピュータは、この直線情報に基づき、第１実施形態の幾何変換処理で歪む直線の量Ａ_H1を算出すると共に（ステップＳ２２）、第２実施形態の幾何変換処理で歪む直線の量Ａ_H2を算出する（ステップＳ２４）。

ここで、第１実施形態の幾何変換処理で歪む直線とは、光軸中心近傍を通らない直線であり、ρの値が所定値よりも大きいような直線である（なぜなら、式（１０）に示すとおり、ρは、直線から光軸中心までの距離を示す。）。このような直線のＨの値を加算したものが、第１実施形態の幾何変換処理で歪む直線の量Ａ_H1である。

また、第２実施形態の幾何変換処理で歪む直線とは、縦線でも横線でもない直線であり、θの値が０°、９０°、１８０°に対し所定値以上異なるような直線である（なぜなら、式（１０）に示すとおり、θは、直線がｙ軸と成す角度である。）。このような直線のＨの値を加算したものが、第２実施形態の幾何変換処理で歪む直線の量Ａ_H2である。

次に、コンピュータは、幾何変換パラメータθｐの値を、直線の量Ａ_H1に応じた値に設定する（ステップＳ２３）。関数θｐ（Ａ_H1）は、Ａ_H1の広義の単調増加関数であり、Ａ_H1が大きいほどθｐは大きくなる。この関数θｐ（Ａ_H1）は、予め行われた実験やシミュレーションに基づき、プログラムの製造者が適当に設定すればよい。但し、θｐの最小値は３０°程度にすると良い。

また、コンピュータは、幾何変換パラメータｑの値を、直線の量Ａ_H1に応じた値に設定する（ステップＳ２４）。関数ｑ（Ａ_H2）は、Ａ_H2の広義の単調減少関数であり、Ａ_H2が大きいほどｑは小さくなる。この関数ｑ（Ａ_H2）は、プログラムの製造者が予めの実験やシミュレーションに基づき適当に設定すればよい。但し、ｑの最大値は０．７程度にすると良い。

その後、コンピュータは、被処理画像（詳細な画像である。）に対し、歪曲収差情報を用いた歪曲収差補正用の幾何変換処理、幾何変換パラメータθｐを用いた第１実施形態の幾何変換処理、幾何変換パラメータｑを用いた第２実施形態の幾何変換処理、及び画素補間処理を順に施し、倍率歪み補正を完了する（ステップＳ２６）。

その後、コンピュータは、必要に応じて、倍率歪み補正後の画像を適当なファイル形式でハードディスクなどの不揮発性メモリへ保存する（ステップＳ１９，Ｓ２０）。

（第４実施形態の効果）
第４実施形態の画像処理プログラムは、被処理画像の構造に応じて自動的に幾何変換パラメータを設定する。したがって、ユーザの手間が省け、利便性が高い。更に、以下に挙げる長所もある。

（１）被処理画像から直線情報を抽出する前に、被処理画像に対し歪曲収差補正用の幾何変換処理を施すので、その抽出精度を高めることができる。

（２）被処理画像から直線情報を抽出する前に、被処理画像に対しサイズ縮小変換処理を施すので、その抽出処理を高速化することができる。

（３）直線情報の抽出にハフ変換を適用したので、その抽出精度を高めることができる。

（４）直線構造を歪ませる種類の幾何変換処理が適度に弱く設定されるので、直線再現性が高いレベルで維持される。

（５）直線構造を歪ませない種類の幾何変換処理が適度に強く設定されるので、直線再現性と倍率歪みの抑制を高いレベルで両立できる。

（第４実施形態の補足）
なお、本実施形態において、歪曲収差情報が取得できない場合には、歪曲収差補正用の幾何変換処理を省略してもよい。その場合であっても、一定の効果が得られる。

また、本実施形態では、第１実施形態の幾何変換処理と第２実施形態の幾何変換処理とを組み合わせた倍率歪み補正が採用されたが、第１実施形態の倍率歪み補正と、第２実施形態の倍率歪み補正との何れか一方を採用してもよい。

また、本実施形態では、コンピュータを利用したが、コンピュータの代わりに、画像ストレージャ、プリンタなど、画像を取り込むことが可能な画像処理装置に対し、同様の処理を実行させてもよい。或いは、ディジタルカメラなど、撮像機能を搭載した携帯機器に対し、同様の処理を実行させてもよい。

［第５実施形態］
第５実施形態を説明する。本実施形態は、撮影レンズで撮影された画像に対し、倍率歪み補正を施す画像処理方法の実施形態である。ここでは、倍率歪み補正がコンピュータで実行されるものとして説明する。また、コンピュータには、出力器であるモニタと、マウスやキーボードなどの入力器とが接続され、これらによってユーザとのインタフェースが図られるものとする。

コンピュータは、予めインストールされた画像処理プログラムに従い、以下の＜手順１＞〜＜手順４＞を実行する。
＜手順１＞
被処理画像を、図８（Ａ）に示すとおり、モニタへ表示する。図８（Ａ）においてＳ１，Ｓ２が被写体であり、Ｃ１は十字カーソルである。十字カーソルＣ１は、被処理画像の中央領域に位置する被写体Ｓ１を指し示している。
＜手順２＞
ユーザに対し、図８（Ｂ）に示すとおり、主要被写体の位置を指定させる。図８（Ｂ）では、ユーザが十字カーソルＣ１を移動させ、被処理画像の周辺領域に位置する被写体Ｓ２を指定した様子を示した。
＜手順３＞
指定された位置に光軸を持った仮想光学系を想定する。この仮想光学系の幾何変換特性は、例えば、被写体角度θと像高ｈとの関係を、ｈ（θ）∝ｔａｎθで与えるものである。

この幾何変換特性を考慮した所定の幾何変換処理を前記被処理画像へ施すことにより、その被処理画像を、同じ被写体を前記仮想光学系で撮影したときの画像へと変換する。さらに、変換後の画像に対し、画素補間処理を施す。

なお、所定の幾何変換処理とは、前記撮影レンズに固有の幾何変換特性の逆特性による幾何変換処理と、前記撮影レンズの光軸方向を変換して前記仮想光学系の光軸方向に一致させる回転変換と、前記仮想光学系に固有の幾何変換特性による幾何変換処理とを組み合わせたものである。因みに、前記撮影レンズが、歪曲収差の小さい一般的な撮影レンズであった場合、逆特性は、上述した式（２）で与えられる。

因みに、このような幾何変換処理と似た技術が、例えば、特開平６−１２１３１８号公報に開示されている。但し、本実施形態では、幾何変換対象を、被処理画像の一部の領域とする代わりに、被処理画像の全領域とした。本実施形態では、必要に応じて変換後の画像を長方形状にトリミングする。
＜手順４＞
処理後の画像を、モニタへ表示する。図８（Ｃ）は、表示された画像のイメージである。図８（Ｃ）に示すとおり、ユーザが指定した周辺領域の被写体Ｓ２については、倍率歪みは抑制され、その代わりに、中央領域の被写体Ｓ１については、倍率歪みが大きくなっている。

（第５実施形態の効果）
本実施形態によれば、被処理画像のうち、ユーザが指定した主要被写体に限り、倍率歪みの抑制と直線再現性とを両立させることができる。

（第５実施形態の補足）
なお、本実施形態では、主要被写体の位置をユーザに指定させたが、コンピュータが被処理画像の顔検出などの画像認識処理を行い、主要被写体の位置を自動検出してもよい。

また、本実施形態のトリミングでは、なるべく多くの領域を残す（少なくとも半分の領域を残す）ことが望ましい。

また、本実施形態の被処理画像が、歪曲収差の大きい撮影レンズで撮影された画像である場合には、その撮影レンズの歪曲収差情報を予め取得し、それに基づき像高ｈを変換する幾何変換処理（歪曲収差補正用の幾何変換処理）を、前記所定の幾何変換処理に含めればよい。

また、本実施形態では、コンピュータを利用したが、コンピュータの代わりに、画像ストレージャ、プリンタなど、画像を取り込むことが可能な画像処理装置に対し、同様の処理を実行させてもよい。或いは、ディジタルカメラなど、撮像機能を搭載した携帯機器に対し、同様の処理を実行させてもよい。

Claims (18)

1. 被処理画像に対し所定の幾何変換処理を施す画像処理方法において、
   前記所定の幾何変換処理には、
   前記被処理画像の周方向倍率と径方向倍率との不一致を抑制する、倍率歪み抑制用の幾何変換処理が含まれ、
   前記倍率歪み抑制用の幾何変換処理の強度又は内容を規定する少なくとも１つのパラメータを、前記被処理画像の構造に応じて設定する
   ことを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   前記倍率歪み抑制用の幾何変換処理は、
   前記被処理画像の周辺領域に作用するものである
   ことを特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法において、
   前記所定の幾何変換処理には、
   前記被処理画像の周辺領域に作用する倍率歪み抑制用の幾何変換処理と、前記被処理画像の中央領域に作用する直線再現用の幾何変換処理とが含まれる
   ことを特徴とする画像処理方法。
4. 請求項３に記載の画像処理方法において、
   前記パラメータとして、前記周辺領域と前記中央領域との境界位置を設定する
   ことを特徴とする画像処理方法。
5. 請求項４に記載の画像処理方法において、
   任意の被写体角度をθ、
   前記境界位置に相当する被写体角度をθｐ、
   前記被写体角度θに対する前記所定の幾何変換処理後の像高をｈ（θ）、
   前記被写体角度θにおける周方向倍率と径方向倍率との比率をκ（θ）と表したときに、
   ｈ（θ）、ｈ（θ）の導関数ｈ’（θ）、κ（θ）のうちの少なくとも１つは、θｐにおいて連続となる
   ことを特徴とする画像処理方法。
6. 請求項１〜請求項５の何れか一項に記載の画像処理方法において、
   前記被処理画像は、
   光軸中心に関し対称な倍率歪みを有し、
   前記倍率歪み抑制用の幾何変換処理は、
   光軸中心に関し非対称な幾何変換特性を有し、
   前記パラメータとして、前記倍率歪み抑制用の幾何変換処理の強度ｑを設定する
   ことを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法において、
   前記強度ｑは、
   ０＜ｑ＜１の範囲に設定される
   ことを特徴とする画像処理方法。
8. 請求項６又は請求項７に記載の画像処理方法において、
   前記倍率歪み抑制用の幾何変換処理は、
   前記光軸中心を通る垂直線及び水平線に関し対称な幾何変換特性を有する
   ことを特徴とする画像処理方法。
9. 請求項１〜請求項８の何れか一項に記載の画像処理方法において、
   前記所定の幾何変換処理の前及び／又は後の画像をユーザへ表示し、かつユーザに対し前記パラメータの設定を行わせる
   ことを特徴とする画像処理方法。
10. 請求項１〜請求項８の何れか一項に記載の画像処理方法において、
    前記被処理画像の直線検出を行い、その結果に応じて前記パラメータの設定を行う
    ことを特徴とする画像処理方法。
11. 請求項１に記載の画像処理方法において、
    前記倍率歪み抑制用の幾何変換処理は、
    前記被処理画像を、その中心から外れた位置に光軸を配した仮想光学系で同じ被写体を撮影したときの画像へと幾何変換処理するものであり、
    前記パラメータとして、前記仮想光学系の光軸位置を設定する
    ことを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法において、
    前記仮想光学系の光軸位置は、前記被処理画像中の主要被写体位置に設定される
    ことを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法において、
    前記被処理画像をユーザへ表示し、かつそのユーザに対し前記主要被写体位置を指定させる
    ことを特徴とする画像処理方法。
14. 請求項１２に記載の画像処理方法において、
    前記被処理画像の画像認識を行い、その結果に応じて前記主要被写体位置を検出する
    ことを特徴とする画像処理方法。
15. 請求項１〜請求項１４の何れか一項に記載の画像処理方法において、
    前記所定の幾何変換処理には、
    前記倍率歪み抑制用の幾何変換処理の他に、前記被処理画像の歪曲収差を抑制する歪曲収差抑制用の幾何変換処理も含まれ、
    前記倍率歪み抑制用の幾何変換処理と前記歪曲収差抑制用の幾何変換処理との双方が施された後の画像に対し、画素補間処理を一括して施す
    ことを特徴とする画像処理方法。
16. 請求項１〜請求項１５の何れか一項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
17. 請求項１〜請求項１５の何れか一項に記載の画像処理方法を実行することを特徴とする画像処理装置。
18. 請求項１７に記載の画像処理装置を備えたことを特徴とする撮像装置。

Images