JP6708483B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、歪曲収差を有する光学系で撮影された画像を歪補正して切り出すために用いて好適なものである。

従来から、歪曲収差を有する光学系で撮影された画像から任意の方向に光軸中心を向けた画像を歪補正して切り出す方法が提案されている。
特許文献１では、図８に示すモデルと、以下の正像変換の式（（式ａ）および（式ｂ））とを用いることで、画像の歪補正を行って座標変換を行う方法が開示されている。

ｘ＝Ｒ（ｕＡ＋ｖＢ＋ｗＣ）／√（ｕ²＋ｖ²＋ｗ²） ・・・（式ａ）
ｙ＝Ｒ（ｕＤ＋ｖＥ＋ｗＦ）／√（ｕ²＋ｖ²＋ｗ²） ・・・（式ｂ）
ここで、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、ｗは、以下の（式ｃ）〜（式ｉ）で定義される。
Ａ＝ｃｏｓφｃｏｓα−ｓｉｎφｓｉｎαｃｏｓβ ・・・（式ｃ）
Ｂ＝−ｓｉｎφｃｏｓα−ｃｏｓφｓｉｎαｃｏｓβ ・・・（式ｄ）
Ｃ＝ｓｉｎβｓｉｎα ・・・（式ｅ）
Ｄ＝ｃｏｓφｓｉｎα＋ｓｉｎφｃｏｓαｃｏｓβ ・・・（式ｆ）
Ｅ＝−ｓｉｎφｓｉｎα＋ｃｏｓφｃｏｓαｃｏｓβ ・・・（式ｇ）
Ｆ＝−ｓｉｎβｃｏｓα ・・・（式ｈ）
ｗ＝ｍＲ ・・・（式ｉ）

以上の正像変換の式における記号は、図８に示す記号と対応している。尚、以上の正像変換の式において、ｍは倍率（２点ＯＧ間の距離を決めるファクター）であり、平面正則画像Ｔの切り出しサイズを示すパラメータである。また、図８において、Ｓは、三次元ＸＹＺ直交座標系のＸＹ平面上に定義される歪曲円形画像であり、Ｈは、歪曲円形画像Ｓを底面とする半球状の球面を仮想球面である。

特許第５２４５９６３号公報

しかしながら、特許文献１に開示された技術では、正像変換の式に基づき歪補正を行う。このため、歪曲収差等の補正のモデルと異なるモデルを用いた処理が行われる。従って、例えば、歪補正を行うための処理をカメラ処理で行われる幾何変形処理の一部として組み込むのが容易ではなく、カメラ内で歪補正を行うために専用の処理や回路が必要になる。このように、特許文献１に開示された技術を用いる場合には、歪曲収差を有する光学系で撮影された画像の歪補正を容易に行えないことがある。
本発明は、このような問題点に鑑みてなされたものであり、歪曲収差を有する光学系で撮影された画像の歪補正を容易に行えるようにすることを目的とする。

本発明の画像処理装置は、歪曲収差を有する光学系を用いて撮影された撮影画像から切り出される切り出し領域に対する歪補正を含む処理を行う画像処理装置であって、前記切り出し領域の複数の位置に対応する光の入射角に基づいて、前記切り出し領域の画像の像高を補正する像高補正手段と、前記切り出し領域の中心に対応する光の入射角に基づいて、前記像高補正手段により像高が補正された前記切り出し領域の画像を射影変換する射影変換手段と、を有することを特徴とする。

本発明によれば、歪曲収差を有する光学系で撮影された画像の歪補正を容易に行うことができる。

画像処理装置の構成を表す図である。 入力画像と出力画像との関係を表すモデルの第１の例を示す図である。 歪補正処理を段階的に説明するための図である。 画像処理装置の処理第１の例を示すフローチャートである。 最大出力像高と出力画像縮小率との関係を表す図である。 射影変換行列の算出方法を説明する図である。 画像処理装置の処理の第２の例を示すフローチャートである。 入力画像と出力画像との関係を表すモデルの第２の例を示す図である。

以下に、本発明の実施形態を、添付の図面に基づいて詳細に説明する。
（第１の実施形態）
まず、第１の実施形態を説明する。
図１は、画像処理装置１００の構成の一例を表すブロック図である。
以下、本実施形態の歪補正処理の一例について説明する。本実施形態では、歪曲収差を有する光学系で撮影された画像として、被写体像を正射影で射影する魚眼レンズを用いて撮影された撮影画像を例に挙げて説明を行う。

撮像レンズ１０２は、歪曲収差を有し、撮影像を光学的に撮像素子１０４上に結像させる。前述したように本実施形態では、撮像レンズ１０２が魚眼レンズである場合を例に挙げて説明する。しかしながら、歪曲収差を有する光学系（レンズ）を用いており、且つ、像高方向の歪率を取得することができれば、魚眼レンズ以外のレンズを用いてもよい（即ち、撮影画像は円状の画像（魚眼画像）以外であってもよい）。
撮像素子１０４は、その撮影像をアナログの電気信号（アナログ信号）に変換する。また、撮像素子１０４は、複数の色フィルタを有する。Ａ／Ｄ変換器１０６は、この撮像素子１０４から出力されるアナログ信号をデジタル信号に変換する。尚、画像は、動画像であっても静止画像であってもよい。

制御部１０８は、Ａ／Ｄ変換器１０６、画像信号処理部１１０、切り出し領域指定部１１２、像高方向補正部１１４、射影変換部１１６、およびリサイズ部１１８の間のデータの流れの制御を行う。画像信号処理部１１０は、撮影された画像に対して、同時化処理、ホワイトバランス処理、γ処理、およびＮＲ処理等の画像信号処理を行い、画像データを現像する。

切り出し領域指定部１１２は、撮影された画像に対して、切り出し領域を指定する。像高方向補正部１１４は、像高方向補正部１１４に入力された画像を像高方向に補正（即ち、像高方向補正部１１４に入力された画像の像高を補正）して出力する。射影変換部１１６は、射影変換部１１６に入力された画像に対して射影変換行列を適用し、当該画像を幾何変形した画像を出力する。リサイズ部１１８は、リサイズ部１１８に入力された画像に対して縮小、拡大のリサイズを行い出力する。記憶部１２０は、撮影された画像を記憶したり、像高方向補正部１１４や射影変換部１１６で幾何変形された画像を記憶したりする。

画像処理装置１００は、撮像装置（例えば、監視カメラ）である。また、歪曲収差を有する光学系と撮像素子とを用いて撮影された画像に対して画像処理を行う装置であれば、撮像装置の用途は限定されない（監視カメラでなくてもよい）。また、画像処理装置１００は、撮影以外の機能を有する装置であってもよい。また、画像処理装置は、撮像レンズ１０２、撮像素子１０４、およびＡ／Ｄ変換器１０６で得られたデジタル信号を外部から入力し、当該デジタル信号を処理する装置であってもよい。即ち、画像処理装置は、撮像レンズ１０２、撮像素子１０４、およびＡ／Ｄ変換器１０６を有していなくてもよい。

図２は、入力画像と出力画像との関係を表すモデルの一例を示す図である。尚、図２に示すモデルは、図８に示したモデルと記号の付け方が一部異なるが、図８に示したモデルと同等のモデルである。魚眼画像２００は、撮像レンズ１０２および撮像素子１０４を用いることにより撮影される画像である。仮想球面２０２は、半径Ｒの仮想的な球面である。切り出し中心入射角方向２０４は、切り出し領域の中心に対応する入射角βの方向（即ち、入射角βで仮想球面２０２（出力画像２０６の中心）に入射する光線の方向）を示す。入射角方向２０８は、魚眼画像２００の座標（ｘ、ｙ）に対応する入射角の方向を示す。出力画像２０６は、歪補正処理により生成されて出力される歪補正画像である。

図３は、本実施形態における歪補正処理の一例を段階的に説明するための図である。図３では、切り出し中心入射角方向２０４がｙ＝０の平面上の方向（切り出し中心入射角方向３０３）である場合を例に挙げて示す。
図３（ａ）は、歪補正処理の最終的な入出力関係の一例を表す図である。入力画像３０４が出力画像３０５に歪補正されることを表している。魚眼画像３０１は、撮像レンズ１０２および撮像素子１０４を用いることにより撮影される画像である。魚眼画像３０１は、図２に示す魚眼画像２００に対応する。仮想球面３０２は、魚眼画像３０１の半径Ｒを半径とする仮想的な球面である。仮想球面３０２は、図２に示した仮想球面２０２に対応する。

切り出し中心入射角方向３０３は、図２に示した切り出し中心入射角方向２０４に対応する。切り出し中心入射角方向３０３は、入射角βで仮想球面３０２に入射してきた光線の向きを表し、当該光線の像は、入力画像３０４の画角中心位置へ投影される。
入力画像３０４は、魚眼画像３０１の一部であり、歪補正の対象となる領域である。
出力画像３０５は、歪補正処理により生成されて出力される画像である。尚、出力画像３０５は、図２に示した出力画像２０６に対応する。

図３（ｂ）は、歪補正処理の段階的な処理の第１段階の一例を表す図である。図３（ｂ）では、像高方向補正部１１４が、入力画像３０４を像高方向に補正し、像高補正画像３１０として出力する処理を表す。
図３（ｃ）は、歪補正処理の段階的な処理の第２段階の一例を表す図である。図３（ｃ）では、射影変換部１１６が、点３２２を射影変換の中心とし、入射角βだけ平面をあおり回転し、像高補正画像３１０を射影変換画像３２０に射影変換して出力する処理を表す。

図３（ｄ）は、歪補正処理の段階的な処理の第３段階の一例を表す図である。図３（ｄ）では、リサイズ部１１８が、射影変換画像３２０を拡大し、出力画像３０５として出力する処理を表す。
図３（ｅ）は、射影変換画像３２０の画像サイズと出力画像３０５の画像サイズとの関係の一例を説明するための図である。

図４は、本実施形態の画像処理装置１００の処理の一例を示すフローチャートである。以下に、本実施形態の画像処理装置１００の処理の一例を説明する。
まず、制御部１０８は、歪曲収差を有する撮像レンズ１０２を介して撮像素子１０４により撮影された魚眼画像３０１を取得する（Ｓ４００）。
次に、制御部１０８は、撮影された魚眼画像３０１に対して、切り出し範囲を指定する（Ｓ４０１）。例えば、制御部１０８は、画像処理装置１００が備える不図示のタッチパネル式表示装置に、撮影された魚眼画像３０１を表示させ、当該魚眼画像３０１に対する切り出し範囲をタッチパネルの操作によりユーザ（撮影者）に選択させる。この場合、制御部１０８は、ユーザにより選択された切り出し範囲を指定する。

続いて、制御部１０８は、Ｓ４０１で指定した切り出し範囲に対応する最大入射角β＿ｍａｘを算出する（Ｓ４０２）。本実施形態のように正射影で射影された場合、魚眼画像３０１の各位置（複数の位置）に対応する入射角βのそれぞれと魚眼画像３０１上の像高ｒとの関係は、以下の（式１）で表される。
ｒ＝Ｒ・ｓｉｎβ ・・・（式１）
Ｒは、図３（ａ）〜図３（ｅ）に示す魚眼画像３０１の半径である。
最大入射角β＿ｍａｘは、切り出し範囲内の最大像高ｒ＿ｍａｘとなる位置に対応する入射角であり、以下の（式２）から算出される。
β＿ｍａｘ＝ａｒｃｓｉｎ（ｒ＿ｍａｘ／Ｒ） ・・・（式２）

ここで、最大入射角β＿ｍａｘを算出する際に、ａｒｃｓｉｎ関数の計算が必要である。このため、専用の数値演算ライブラリや演算回路が必要になる場合がある。
専用の数値演算ライブラリや演算回路を利用できない場合は、例えば、以下のようにすることができる。即ち、切り出し範囲内の最大像高ｒ＿ｍａｘと、最大入射角β＿ｍａｘとの関係を定めたテーブルを予め用意する。制御部１０８は、このテーブルから、切り出し範囲内の最大像高ｒ＿ｍａｘに対応する入射角（最大入射角β＿ｍａｘ）を読み出す。また、切り出し範囲内の最大像高ｒ＿ｍａｘが所定範囲内にある場合には、同一の最大入射角β＿ｍａｘが出力されるようにテーブルを構成してもよい。このようにすれば、前述したようにして予め用意されるテーブルの記憶容量が大きくなる場合に、記憶容量を削減することができる。

前述したように本実施形態では、正射影方式の魚眼レンズが撮像レンズ１０２である場合を例に挙げて説明を行う。しかしながら、等立体角射影、等距離射影、立体射影等の各種射影方式の魚眼レンズである場合ついても、正射影方式の魚眼レンズと同様に歪補正処理を実施できる。例えば、等距離射影方式の魚眼レンズが撮像レンズ１０２である場合、入射角βと魚眼画像３０１上の像高ｒの関係は、以下の（式３）で表される。
ｒ＝β ・・・（式３）

従って、切り出し範囲内の最大像高ｒ＿ｍａｘは、以下の（式４）で計算される。
β＿ｍａｘ＝ｒ＿ｍａｘ ・・・（式４）
このように最大入射角β＿ｍａｘが計算されれば、これ以後に説明する処理は正射影方式の場合と区別なく実施できる。

続いて、制御部１０８は、最大出力像高ｏｕｔ＿ｒ＿ｍａｘを算出する（Ｓ４０３）。
図３（ｂ）に示す最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）、最大入射角３１１（β＿ｍａｘ）、および魚眼画像３０１の半径Ｒの関係から、制御部１０８は、以下の（式５）を用いて最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）を算出する。
ｏｕｔ＿ｒ＿ｍａｘ＝Ｒ・ｔａｎ（β＿ｍａｘ） ・・・（式５）

さらに、制御部１０８は、最大入射角β＿ｍａｘが予め定めた閾値未満であるか否かを判定する（Ｓ４０４）。この判定の結果、最大入射角β＿ｍａｘが閾値未満である場合には（Ｓ４０４でＹｅｓの場合には）、Ｓ４０５の処理に進む。尚、魚眼画像３０１の半径Ｒは、一意に決まる定数である。このため、Ｓ４０４において、最大入射角β＿ｍａｘが予め定めた閾値未満であるか否かを判定することは、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）が予め定めた閾値未満であるか否かを判定することと同義である。
像高方向補正部１１４は、以下の（式６）に基づき、入力画像３０４を像高方向に補正する（Ｓ４０５）。
ｏｕｔ＿ｒ＝ｒ・ｔａｎβ ・・・（式６）

ここで、ｏｕｔ＿ｒは、像高補正画像３１０の像高（像高補正後の像高）であり、ｒは、像高補正前の入力画像３０４（魚眼画像３０１）上の各位置における像高である。図３（ｂ）に示すように、Ｓ４０５の処理により、像高補正画像３１０が得られる。
一方、Ｓ４０４において、最大入射角β＿ｍａｘが閾値以上である場合には（Ｓ４０４でＮｏの場合には）、Ｓ４０６の処理に進む。
ここで、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）を算出する式（（式５））から明らかなように、最大入射角β＿ｍａｘが９０度に近付く場合には、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）が非常に大きな値になる。そのため、演算がオーバーフローしたり、像高補正画像３１０を一時的に保持するために大きな記憶領域が必要になったり、後述する射影変換処理やリサイズ処理で大きな画像を処理する必要が生じ、処理に時間がかかる。

そこで本実施形態では、最大入射角β＿ｍａｘを予め定めた閾値と比較し、閾値以上である場合には（Ｓ４０４でＮｏ）、像高補正画像３１０を縮小する。
具体的に、像高方向補正部１１４は、以下の（式７）に基づき出力画像縮小率ｄｉｓｔ＿ｋを算出する（Ｓ４０６）。
ｄｉｓｔ＿ｋ＝ＯＵＴ＿Ｒ＿ＬＩＭＩＴ／ｏｕｔ＿ｒ＿ｍａｘ ・・・（式７）

ここで、最大出力可能像高ＯＵＴ＿Ｒ＿ＬＩＭＩＴは、予め定めた値である。Ｓ４０４による閾値として、例えば、最大出力可能像高ＯＵＴ＿Ｒ＿ＬＩＭＩＴに対応する入射角を用いることができる。最大出力可能像高ＯＵＴ＿Ｒ＿ＬＩＭＩＴとして、例えば、演算がオーバーフローしない範囲内で任意の値を設定することができる。図５は、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）と出力画像縮小率ｄｉｓｔ＿ｋとの関係の一例を表す図である。図５に示す例では、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）が最大出力可能像高ＯＵＴ＿Ｒ＿ＬＩＭＩＴ未満である場合には、出力画像縮小率ｄｉｓｔ＿ｋは「１」である（即ち、出力画像３０５を縮小しない）。最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）が最大出力可能像高ＯＵＴ＿Ｒ＿ＬＩＭＩＴ以上である場合には、出力画像縮小率ｄｉｓｔ＿ｋは「１」未満の値になる。この場合、出力画像縮小率ｄｉｓｔ＿ｋは、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）が大きくなるほど小さくなり、０（ゼロ）に近づく。このように図５に示す関係には、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）が相対的に大きいときの出力画像縮小率ｄｉｓｔ＿ｋが相対的に小さいときの出力画像縮小率ｄｉｓｔ＿ｋよりも小さくなる関係が含まれる。

次に、像高方向補正部１１４は、Ｓ４０６で算出した出力画像縮小率ｄｉｓｔ＿ｋを用いて、以下の（式８）に基づき、入力画像３０４を像高方向に補正する（Ｓ４０７）。
ｏｕｔ＿ｒ＝ｄｉｓｔ＿ｋ・ｒ・ｔａｎβ ・・・（式８）
尚、（式８）において、出力画像縮小率ｄｉｓｔ＿ｋを「１」としたものが前述した（式６）になる。

また、図４のフローチャートでは、最大入射角β＿ｍａｘが予め定めた閾値以上である場合にのみ、補正後の像高の縮小処理を実行し、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）を、最大出力可能像高ＯＵＴ＿Ｒ＿ＬＩＭＩＴに変更する。しかしながら、必ずしもこのようにする必要はない。例えば、最大入射角β＿ｍａｘが予め定めた閾値未満の場合においても、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）を、最大出力可能像高ＯＵＴ＿Ｒ＿ＬＩＭＩＴまで拡大してもよい。この場合、出力画像縮小率ｄｉｓｔ＿ｋは、「１」を上回る値となり（即ち、拡大率となり）、入力画像３０４の像高に対する縮小または拡大を行うための変更率としての役割を有する。このように処理すると、この後に説明する射影変換処理やリサイズ処理の入力画像のサイズが一定になるため、画像の取り扱いが煩雑にならず処理を簡易化できる。

以上のようにしてＳ４０５またはＳ４０７で像高補正画像３１０の像高ｏｕｔ＿ｒが算出されると、射影変換部１１６は、像高補正画像３１０を射影変換する（Ｓ４０８）。射影変換部１１６は、図３（ｃ）の点３２２を射影変換の中心とし、像高補正画像３１０を、入力画像３０４の画角中心位置に対応する入射角βと等しい角度３２１だけあおり回転し、射影変換画像３２０に射影変換する。

図６を参照しながら、あおり回転の射影変換行列の算出方法の一例を説明する。図６は、射影変換行列の算出方法の一例を説明するために、図３（ｃ）の一部を抽出し、必要な符号を追記した図である。
ｕｖ平面上の点６０１（ｕ，ｖ）をｕ'ｖ'平面上の点６０２（ｕ'，ｖ'）に射影する場合、図６に従い、射影変換行列は、以下の（式９）〜（式１２）で計算される。

（式１２）が像高補正画像３１０を射影変換画像３２０に射影変換する射影変換行列である。
ところで、図３はｙ＝０の平面上のモデルである。このため、あおり回転をする前に、まず、切り出し領域の中心をｙ＝０の平面に移動する必要がある。そこで、射影変換部１１６は、図２に示した切り出し領域の中心（ｘ，ｙ）を、回転角θだけ以下の（式１３）に基づいて回転処理を行う。（式１３）において、−θとしたのは、回転角θをゼロにする回転処理を実施するからである。

また、図２の平面傾斜角φを適用するために、あおり回転後に、以下の（式１４）に基づいた座標変換処理が必要である。平面傾斜角φは、特許文献１に記載されているように、ｕｖ座標系においてｕ軸方向を向いたベクトルと、回転基準軸Ｊの方向を向いたベクトルとのなす角度である。

従って、最終的な射影変換行列は以下の（式１５）になる。射影変換部１１６は、（式１５）の射影変換行列を用いて、像高補正画像３１０から射影変換画像３２０を導出し、射影変換画像３２０を出力する。

続いて、リサイズ部１１８は、射影変換画像３２０を用いて拡大処理を実行する（Ｓ４０９）。拡大処理は、図３（ｄ）の射影変換画像３２０を出力画像３０５に拡大することを意味する。拡大率は、図３（ｅ）に示された２つの相似形の関係から、以下の（式１６）で算出される。
［拡大率］＝１／ｃｏｓβ ・・・（式１６）

また、Ｓ４０４において、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）が閾値以上であると判定された場合には（Ｓ４０４でＮｏと判定された場合には）、出力画像３０５のサイズが出力画像縮小率ｄｉｓｔ＿ｋだけ小さくなっている。このため、リサイズ部１１８は、拡大率を以下の（式１７）で算出してもよい。最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）と出力画像縮小率ｄｉｓｔ＿ｋの関係は図５で示した通りである。
[拡大率]＝（１／ｃｏｓβ）・（１／ｄｉｓｔ＿ｋ） ・・・（式１７）

また、出力画像３０５のサイズは、入射角βや最大入射角β＿ｍａｘに依存して変化する。そのため、図示しない最終的な出力画像のサイズを一定に保つために、出力画像３０５を拡大縮小率αで拡大縮小処理して、予め定めた最終的な出力画像のサイズに合わせてもよい。

その場合は、以下の（式１８）式のように拡大縮小率αを（式１７）に追加し、リサイズ部１１８は、拡大縮小率を以下の（式１８）式で算出すればよい。
［拡大率］＝α・（１／ｃｏｓβ）・（１／ｄｉｓｔ＿ｋ） ・・・（式１８）
尚、（１８）式を用いる場合、最終的な出力画像のサイズは、例えば、画像処理装置１００における記録画像サイズになる。また、最大入射角β＿ｍａｘが閾値未満の場合においても、出力画像３０５のサイズを、予め定めた最終的な出力画像のサイズに合わせる場合には、（式１６）に替えて、（式１７）または（式１８）を用いればよい。

以上のように本実施形態では、歪曲収差を有する光学系で撮影された画像から任意の方向に光軸中心を向けた画像を歪補正して切り出す際に、入力画像３０４の各位置に対応する入射角βに基づいて像高補正画像３１０を導出する。そして、入力画像３０４の画角中心位置に対応する入射角βに基づいて像高補正画像３１０を射影変換し、射影変換画像３２０を導出する。像高補正画像３１０は、入力画像３０４の像高を補正した画像であり、（８）式に示すように、入射角βに基づいて像高が補正された切り出し領域の画像の像高を出力画像縮小率ｄｉｓｔ＿ｋに基づいて縮小した画像である。射影変換画像３２０は、像高補正画像３１０の座標を、切り出し中心入射角方向３０３に垂直な面の座標に変換する射影変換行列により射影変換することにより得られる画像である。従って、像高方向の補正値と射影変換行列とに基づき像高方向の補正と射影変換とを行うことで、正像変換の式を用いることなく歪曲収差を有する光学系で撮影された画像から任意の方向に光軸中心を向けた画像を歪補正して切り出すことを実施することができる。これにより、歪補正処理を、カメラ処理で行われる幾何変形処理の一部として組み込むことを、専用の処理や回路を用いることなく実現することができる。よって、歪曲収差を有する光学系で撮影された画像の歪補正を容易に行うことができる。

また、本実施形態では、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）が閾値以上である場合には、像高補正画像３１０を縮小する。従って、最大入射角β＿ｍａｘが９０度に近付き、切り出し位置が画角端に及ぶ場合において、演算のオーバーフローや記憶領域の容量の増加を抑えたまま歪補正処理を実行することができる。

尚、本実施形態では説明を簡略化するために、射影変換処理と拡大処理とを分けて説明したが、射影変換処理では拡大処理も表現できるため、拡大処理を射影変換処理に含めて実施してもよい。例えば、リサイズ部１１８を射影変換部１１６の中に組み込むことができる。この場合、拡大率をｓとして、（式１５）を以下の（式１９）および（式２０）のように変形することができる。

（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、最大入射角β＿ｍａｘが閾値以上である場合には、像高方向の補正を、（式８）に基づいて一律に行う場合を例に挙げて説明した。これに対し、本実施形態では、最大入射角β＿ｍａｘが閾値以上である場合、最終的な出力画像のサイズに応じて、像高方向の補正の方法を異ならせる。このように本実施形態と第１の実施形態とは、最大入射角β＿ｍａｘが閾値以上である場合の処理の一部が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図６に付した符号と同一の符号を付す等して詳細な説明を省略する。

図７は、本実施形態の画像処理装置の処理の一例を示すフローチャートである。
図７において、Ｓ４００〜Ｓ４０５は、第１の実施形態で説明した図４のＳ４００〜Ｓ４０５と同じ処理であるので、その詳細な説明を省略する。
また、Ｓ４０４において、最大入射角β＿ｍａｘが予め定めた閾値以上である場合には、Ｓ４０６の処理へ進む。Ｓ４０６の処理は、第１の実施形態で説明した図４のＳ４０６と同じ処理であるので、その詳細な説明を省略する。尚、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）と出力画像縮小率ｄｉｓｔ＿ｋとの関係の一例は、図５に示した通りである。

次に、像高方向補正部１１４は、最終的な出力画像のサイズが所定値以上であるか否かを判定する。尚、前述したように最終的な出力画像のサイズは、予め定められている。この判定の結果、最終的な出力画像のサイズが所定値以上である場合には（Ｓ７００でＹｅｓの場合には）、Ｓ４０７の処理へ進む。Ｓ４０７の処理は、第１の実施形態で説明した図４のＳ４０７と同じ処理であるので、その詳細な説明を省略する。

一方、最終的な出力画像のサイズが所定値未満である場合には（Ｓ７００でＮｏの場合には）、Ｓ７０１の処理へ進む。最終的な出力画像のサイズが所定値未満である場合には、入力画像３０４を縮小することにより生じる画像の劣化が目立ちにくくなる。そこで、像高方向補正部１１４は、Ｓ４０６で計算した出力画像縮小率ｄｉｓｔ＿ｋに基づき、入力画像３０４を縮小する（Ｓ７０１）。具体的に像高方向補正部１１４は、入力画像３０４（３０１）の像高ｒを、以下の（式２１）に基づき縮小する。
ｒ＿ｓｈｒｉｎｋ＝ｄｉｓｔ＿ｋ・ｒ ・・・（式２１）

続いて、像高方向補正部１１４は、以下の（式２２）に基づき、入力画像３０４を像高方向に補正する。即ち、像高方向補正部１１４は、像高補正画像３１０の像高ｏｕｔ＿ｒを算出し、像高補正画像３１０を出力する。
ｏｕｔ＿ｒ＝ｒ＿ｓｈｒｉｎｋ・ｔａｎβ ・・・（式２２）

以降のＳ４０８、Ｓ４０９の処理は、それぞれ、第１の実施形態で説明した図４のＳ４０８、Ｓ４０９と同じ処理であるので、その詳細な説明を省略する。
以上のように本実施形態では、最大出力像高３１２（ｏｕｔ＿ｒ＿ｍａｘ）が閾値以上であり、且つ、最終的な出力画像のサイズが所定値未満である場合に、像高方向補正部１１４に入力される画像（入力画像３０４）の像高を縮小する。このようにして縮小された画像に対して像高補正を行う。従って、画像を縮小することにより画像の情報量を減らすことができる。よって、演算のオーバーフローや記憶領域の容量の増加をより確実に抑えることができるという効果が得られる。よって、例えば、出力画像３０５の画質の低下の抑制よりも、演算のオーバーフローや記憶領域の容量の増加の抑制を優先する場合に本実施形態を適用するのが好ましい。

尚、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：画像処理装置、１０２：撮像レンズ、１１４：像高方向補正部、１１６：射影変換部

Claims (14)

1. 歪曲収差を有する光学系を用いて撮影された撮影画像から切り出される切り出し領域に対する歪補正を含む処理を行う画像処理装置であって、
   前記切り出し領域の複数の位置に対応する光の入射角に基づいて、前記切り出し領域の画像の像高を補正する像高補正手段と、
   前記切り出し領域の中心に対応する光の入射角に基づいて、前記像高補正手段により像高が補正された前記切り出し領域の画像を射影変換する射影変換手段と、を有することを特徴とする画像処理装置。
2. 前記像高補正手段による補正後の前記切り出し領域の画像を一定のサイズにすることを特徴とする請求項１に記載の画像処理装置。
3. 前記像高補正手段は、前記切り出し領域の複数の位置に対応する光の入射角と、前記切り出し領域の画像の像高に対する変更率とに基づいて、前記切り出し領域の画像の像高を補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記変更率は、前記切り出し領域において像高が最大になる位置に対応する光の入射角に応じて定まり、
   前記切り出し領域において像高が最大になる位置に対応する光の入射角が大きくなるほど、前記切り出し領域の画像の像高の縮小率が大きくなるように前記変更率が定められることを特徴とする請求項３に記載の画像処理装置。
5. 前記像高補正手段は、前記切り出し領域において像高が最大になる位置に対応する光の入射角が閾値以上である場合に、前記変更率に基づいて、前記切り出し領域の画像の像高を縮小し、前記切り出し領域において像高が最大になる位置に対応する光の入射角が閾値未満である場合には、前記変更率に基づいて、前記切り出し領域の画像の像高を縮小しないことを特徴とする請求項３または４に記載の画像処理装置。
6. 前記像高補正手段は、前記切り出し領域の画像の像高を、前記切り出し領域の複数の位置に対応する光の入射角に基づいて補正し、当該像高を補正した前記切り出し領域の画像の像高を、前記変更率に基づいて縮小することを特徴とする請求項３〜５の何れか１項に記載の画像処理装置。
7. 前記像高補正手段は、前記切り出し画像の像高を、前記変更率に基づいて縮小し、当該像高を縮小した前記切り出し領域の像高を、前記切り出し領域の複数の位置に対応する光の入射角に基づいて補正することを特徴とする請求項３〜５の何れか１項に記載の画像処理装置。
8. 前記射影変換手段により射影変換された画像の大きさを、前記切り出し領域の中心に対応する光の入射角に基づいて変更するリサイズ手段を更に有することを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
9. 前記射影変換手段により射影変換された画像の大きさを、前記切り出し領域の中心に対応する光の入射角と、前記変更率とに基づいて変更するリサイズ手段を更に有することを特徴とする請求項３〜７の何れか１項に記載の画像処理装置。
10. 前記リサイズ手段は、予め定めた大きさになるように、前記射影変換手段により射影変換された画像の大きさを変更することを特徴とする請求項８または９に記載の画像処理装置。
11. 前記リサイズ手段は、予め定めた大きさになるように、前記射影変換手段により射影変換された画像の大きさを変更し、
    前記像高補正手段は、前記予め定めた大きさが所定値未満である場合には、前記切り出し画像の像高を、前記変更率に基づいて縮小し、当該像高を縮小した前記切り出し領域の像高を、前記切り出し領域の複数の位置に対応する光の入射角に基づいて補正し、前記予め定めた大きさが所定値以上である場合には、前記切り出し領域の画像の像高を、前記切り出し領域の複数の位置に対応する光の入射角に基づいて補正し、当該像高を補正した前記切り出し領域の画像の像高を、前記変更率に基づいて縮小することを特徴とする請求項９に記載の画像処理装置。
12. 前記撮影画像は、魚眼レンズを用いて撮影された画像であることを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
13. 歪曲収差を有する光学系を用いて撮影された撮影画像から切り出される切り出し領域に対する歪補正を含む処理を行う画像処理方法であって、
    前記切り出し領域の複数の位置に対応する光の入射角に基づいて、前記切り出し領域の画像の像高を補正する像高補正工程と、
    前記切り出し領域の中心に対応する光の入射角に基づいて、前記像高補正工程において像高が補正された前記切り出し領域の画像を射影変換する射影変換工程と、を有することを特徴とする画像処理方法。
14. 請求項１〜１２の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images