JP5558973B2 - 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム - Google Patents

Description

本発明は、入力画像を幾何補正して出力画像を生成するための画像補正装置などの技術に関する。

近年、監視カメラやテレビドアホンを始めとする幾つかの応用分野において、広い視野範囲の映像を一望したいという要求が出てきている。その要求を満たす一つの解として、光学系に魚眼レンズを採用し、水平画角１８０度程度の範囲を撮影するビデオカメラ等が実用化されている。しかし、それらの機器を用いて撮影した画像では、一般に、被写体空間中の直線が大きく湾曲して写っているため、撮影した画像に対して湾曲の度合いを低減するための幾何補正を施したいという要求がある。

魚眼レンズには、その設計方針の違いにより、等距離射影方式、等立体角射影方式、正射影方式等、様々な射影方式が存在する。しかし、いずれの射影方式であっても、補正後の画像において表現すべき画角が１８０度未満であれば、透視変換を用いることで、魚眼レンズを用いて撮影された画像（以下、「魚眼画像」という。）における直線の湾曲を、設計値や従来技術によって推定された所与のパラメータと射影モデルとに基づいて、完全に補正することができる。

魚眼画像の例を図９（ａ）に示す。また、この魚眼画像を透視変換を用いて左右方向の画角が広く確保されるように補正した例を図９（ｂ）に示す。図９（ｂ）に示すように、透視変換を用いた補正結果は、直線となるべき部分は直線に補正されているものの、画像の周辺部が極端に引き伸ばされて、遠近感が強調されており、違和感の大きな画像となっている。これは、補正した結果の画像で表現されている画角と、この画像を見る際の画角とが大きく異なることによって生じる課題である。

この課題を解決すべく考案された技術として特許文献１に記載の技術がある。特許文献１に記載の技術は、画像の中央付近が透視射影（透視変換）に、周辺部が正射影に各々近い射影方法となるように変換式を設計することによって、入力された魚眼画像を、左右方向と上下方向の各々に１８０度分の画角を確保しつつ、中央付近では直線が直線に見えるように補正するものである。

特開２０１０−０６７１７２号公報

しかしながら、特許文献１に開示された技術では、周辺部が正射影に近い射影方法となるため、周辺部に存在する被写体の形状の潰れ方が著しく、例えばドアホンに適用した場合において、壁際に立っている人物が誰なのかを確認し難いという問題がある。

そこで、本発明は、前記問題に鑑みてなされたものであり、補正後の画像における違和感を低減ないし解消する画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラムを提供することを課題とする。例えば、図９（ａ）の魚眼画像を補正して、図９（ｃ）あるいは図９（ｄ）のような補正結果を得る方法を提供することが目的となる。なお、図９（ｃ）は本発明を適用した補正画像の例であり、図９（ｄ）は本発明の変形例を適用した補正画像の例である。図９（ａ）の入力画像の像円の円周付近に存在するホワイトボードの形状が、図９（ｃ）や図９（ｄ）において潰れずに視認できるのがわかる。

前記課題を解決するために、本発明の画像補正装置は、
入力画像を幾何補正して補正画像を生成する画像補正装置であって、
前記入力画像を入力する画像入力部と、
前記入力画像を記憶する画像記憶部と、
前記入力画像を幾何補正するために用いる補正テーブルを記憶する補正テーブル記憶部と、
前記画像記憶部に記憶された前記入力画像を前記補正テーブルに基づいて幾何補正する幾何補正部と、
前記幾何補正部により補正された前記入力画像を前記補正画像として出力する画像出力部と、
を備え、前記補正テーブルは、前記補正画像となる出力画像上の各画素位置に対応する角度の組（θ、φ）を算出し、前記入力画像の投影中心を原点とする３次元直交座標において、ＹＺ平面をＹ軸の周りに前記θだけ回転させた平面と、
ＸＺ平面をＸ軸の周りに前記φだけ回転させた平面との交線に基づいて光線方向を算出し、前記光線方向に対応する前記入力画像上の位置を抽出位置として算出し、前記抽出位置を前記出力画像の画素位置に対応付けることにより生成されたものであり、
前記角度の組（θ、φ）を算出する工程において、前記出力画像の周辺の前記角度の組（θ、φ）の補正前から補正後への変化率である第１変化率と、前記出力画像の中央付近の前記角度の組（θ、φ）の補正前から補正後への変化率である第２変化率との比が、所定の許容範囲に収まるようにすることを特徴とする。

本発明によれば、補正後の画像における違和感を低減ないし解消することができる。

本発明の画像補正装置の構成を説明する図である。 本発明の補正テーブルを模式的に示す図である。 本発明の画像補正装置における幾何補正部の動作を示すフローチャートである。 本発明の補正テーブル生成装置の構成を示すブロック図である。 本発明の出力画像上の画素座標と入力画像上の座標を対応させるための座標系の変換を説明する図であり、（ａ）は、出力画像の座標系を示す図である。（ｂ）は、角度座標系を示す図である。 本発明の出力画像上の画素座標と入力画像上の座標を対応させるための座標系の変換を説明する図であり、（ａ）は、θとφに基づいて、光線方向ベクトルを求めるための座標系を示す図である。（ｂ）は、入力画像の座標系を示す図である。 本発明の補正テーブル生成装置の光線方向算出部において、θとφのとり方を説明する図である。 本発明の補正テーブル生成装置の動作を示すフローチャートである。 魚眼画像（入力画像）に従来技術および本発明を適用した結果を示す図であり、（ａ）は、魚眼画像（入力画像）を示す図である。（ｂ）は、（ａ）の魚眼画像（入力画像）に従来技術である透視変換を用いて補正した結果の補正画像（出力画像）の一例である。（ｃ）は、（ａ）の魚眼画像（入力画像）に本発明を適用した結果の補正画像（出力画像）の一例である。（ｄ）は、（ａ）の魚眼画像（入力画像）に本発明の変形例を適用した結果の補正画像（出力画像）の一例である。

以下、本発明の実施形態について、図１〜図８を参照して説明する。
図１に示すように、本発明に係る画像補正装置１０は、魚眼画像などの入力画像を取り込んで、その画像を補正し、補正画像を出力画像として出力するものである。
画像生成装置３０は、画像データを生成して画像補正装置１０に供給するものである。本実施形態では、画像生成装置３０は、水平画角１８０度の等距離射影方式の魚眼レンズを備えたデジタルビデオカメラである場合を例として説明する。
画像表示装置４０は、画像補正装置１０で補正された補正画像（出力画像）を表示するディスプレイである。

本発明に係る補正テーブル生成装置２０は、画像補正装置１０の後記する補正テーブル記憶部１５に格納する補正テーブル（リサンプリングテーブル）１７を生成するものである。補正テーブル生成装置２０は、例えば、パーソナルコンピュータで構成される。
補正テーブル生成装置２０は、補正テーブル１７を生成した後、幾何補正部１３がこの補正テーブル１７を用いた幾何補正処理を実施するより前に、この補正テーブル１７を画像補正装置１０に送信する。
なお、補正テーブル１７の更新が必要ない場合、即ち、補正テーブル１７の生成に関係するパラメータに変更がない場合には、補正テーブル生成装置２０は生成した補正テーブル１７を送信した後、画像補正装置１０から切り離しておくことができる。

[画像補正装置１０の構成]
図１に示すように、画像補正装置１０は、画像入力部１１と、画像記憶部１２と、幾何補正部１３と、画像出力部１４と、補正テーブル記憶部１５と、補正テーブル更新部１６とを備えている。

画像入力部１１は、画像生成装置３０から供給される入力画像を読み込んで、画像記憶部１２に書き込むものである。読み込んだ入力画像の各画素の画素値は、基準色（本実施形態ではＲ，Ｇ，Ｂの３種類とする）ごとに「０」から「２５５」までの２５６通りの整数値のうちの一つの値を取るような、デジタル化された値である。

画像生成装置３０からの入力画像の読み込みは、画像生成装置３０の構成に対応したインターフェースを用いて実施すればよく、例えば、画像生成装置３０からアナログ信号として入力画像が供給される場合にはＡ／Ｄ変換器を備えた構成とすればよいし、ＵＳＢ（Universal Serial Bus）インターフェース等によって、デジタル信号として入力画像が供給される場合には、それに対応するインターフェースを備えた構成とすればよい。

画像記憶部１２は、画像生成装置３０から供給される入力画像全体が格納可能な大きさのメモリ（ＲＡＭ;Random Access Memory）を少なくとも２画面分の容量を備えるものである。画像記憶部１２は、１画面分を画像入力部１１からの書き込み用に、残りの１画面分を幾何補正部１３からの読み出し用に、１画面毎に役割を交互に交代しながら使用する。

幾何補正部１３は、後記する補正テーブル記憶部１５に格納された補正テーブル１７に基づいて、画像記憶部１２に格納された入力画像に幾何補正を行い、幾何補正を行った結果である出力画像（補正画像）を画像出力部１４に対して出力するものである。幾何補正部１３は、例えば、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ(Application Specific Integrated Circuit)で構成されている。なお、この幾何補正部１３が行う処理の詳細は、後に詳述する（図３参照）。

画像出力部１４は、幾何補正部１３から出力された出力画像（補正画像）を適切な映像信号に変換して画像表示装置４０に対して出力するものである。例えば、画像表示装置４０がアナログ映像信号を表示するように構成されている場合には、Ｄ／Ａ変換器を備えた構成とすればよい。

補正テーブル記憶部１５は、後記する補正テーブル１７を記憶しておくものであり、例えば、書き換え可能な不揮発性メモリである。

補正テーブル更新部１６は、補正テーブル生成装置２０から送信される補正テーブルを受信して補正テーブル記憶部１５に格納するものであり、補正テーブル生成装置２０側のインターフェースに合わせて、例えばＵＳＢインターフェースやＩＥＥＥ１３９４インターフェース等を備えた構成とすればよい。

補正テーブル１７は、幾何補正部１３が出力する出力画像の各々の画素に対して、それらの画素の画素値を、画像記憶部１２に記憶された入力画像上のどの画素を参照して決定するかを定義したものである。本実施形態においては、補正テーブル１７として、リサンプリングテーブル、具体的には「幾何補正部１３が出力する出力画像の各々の画素に対して、それらの画素に対応する画像記憶部１２に記憶された入力画像上の２次元座標値を表す固定小数点数の組（ｘ，ｙ）を対応付けたテーブル」を使用する。補正テーブル１７は、後述（図８参照）の方法によって補正テーブル生成装置２０によって生成された後、補正テーブル更新部１６を介して補正テーブル記憶部１５に格納される。

リサンプリングテーブル（補正テーブル）１７は、例えば図２に示すように、出力画像上の画素座標（ｕ，ｖ）と入力画像上の座標（ｘ，ｙ）とを対応付けている。図２は、ｕ軸方向の画素数が６４０画素、ｖ軸方向の画素数が４８０画素の場合のリサンプリングテーブル（補正テーブル）の例である。なお、ｕ，ｖは、整数であるが、ｘ，ｙは、必ずしも整数ではない。また、出力画像上の画素座標（ｕ，ｖ）に対応付けられる入力画像上の座標（ｘ，ｙ）が入力画像の範囲外の座標となる場合には、あらかじめ定めた例外値、例えば（−１，−１）などの値を（ｕ，ｖ）に対応付けて格納しておく。

[画像補正装置１０における幾何補正部１３の動作]
次に、画像補正装置１０における幾何補正部１３の動作について図３を参照（構成は適宜図１を参照）して説明する。
まず、画像記憶部１２に入力画像が記憶されており、補正テーブル記憶部１５に補正テーブル１７が記憶されていることを前提とする。

図３のフローチャートに示すように、ステップＳ１において、幾何補正部１３は、カウンタのＮの値を「０」にする。
ステップＳ２において、幾何補正部１３は、出力画像のＮ番目の画素の座標（ｕ，ｖ）に対応する入力画像上の座標（ｘ，ｙ）を決定する。具体的には、まず、幾何補正部１３は、カウンタのＮの値を出力画像のｕ軸方向の画素数で割った商をｖの値、余りをｕの値として、出力画像上の画素座標（ｕ，ｖ）を算出する。次に、幾何補正部１３は、補正テーブル１７に基づいて、出力画像上の画素座標（ｕ，ｖ）に対応する入力画像上の座標（ｘ，ｙ）を決定する。

ステップＳ３において、幾何補正部１３は、決定した入力画像上の座標（ｘ，ｙ）に基づいて、出力画像のＮ番目の画素の画素値を算出する。具体的には、例えば、入力画像上の座標（ｘ，ｙ）に基づき、基準色毎(つまりＲＧＢ毎)に、入力画像上の四近傍画素の画素値を用いた双線形補間によって出力画像の画素値を定めるようにすればよい。なお、出力画像の画素値の算出には、バイキュービック補間等、他の従来技術を用いてもよい。
なお、幾何補正部１３は、入力画像上に対応する座標値がない場合、すなわち、リサンプリングテーブル１７に基づいて決定した入力画像上の座標（ｘ，ｙ）が、あらかじめ定めた例外値であった場合には、その出力画像の画素値を例外値、例えば、「黒」すなわち（Ｒ，Ｇ，Ｂ）＝（０，０，０）とする。

ステップＳ４において、幾何補正部１３は、出力画像の全画素について画素値の算出が完了したか否かを判定する。
出力画像の全画素について画素値の算出が完了したと判定した場合（ステップＳ４・Ｙｅｓ）、幾何補正部１３は、幾何補正処理を終了する。
一方、出力画像の画素のうち画素値の算出が完了していない画素があると判定した場合（ステップＳ４・Ｎｏ）、幾何補正部１３は、カウンタのＮの値に「１」を加える（ステップＳ５）。その後、ステップＳ２に戻って処理を続ける。
出力画像の全画素について画素値の算出が完了したか否かを判定するには、カウンタのＮの値と出力画像の画素数とを比較することによって判定すればよい。

[補正テーブル生成装置２０の構成]
図４に示すように、補正テーブル生成装置２０は、角度座標算出部２１と、光線方向算出部２３と、抽出位置算出部２４と、抽出位置登録部２５とを備える。

角度座標算出部２１は、出力画像上の画素座標（ｕ，ｖ）に対応する角度座標系上の座標値（θ，φ）を算出するものである。本実施形態では、出力画像の左端の画素座標を経度「−９０度（＝−π／２）」、出力画像の右端の画素座標を経度「９０度（＝π／２）」に対応付けるため、ｕ軸方向のスケールを正規化するための定数「ｗ」を用いて、次の（１）式によって算出する。

これにより、図５（ａ）に示す出力画像のｕｖ座標系から、図５（ｂ）に示すθφ座標系（角度座標系）へ座標変換する。ここで、（u_c, v_c）は出力画像の中心位置の座標である。例えば、出力画像のｕ軸方向の画素数が６４０画素である場合、ｕ_ｃの値は「（０＋６３９）／２」によって算出される「３１９．５」という値となる。ｖ_ｃについても同様に算出すればよい。ｗは前述の目的のために導入された定数であり、ｕ_ｃの値に等しく設定され、出力画像全体でのスケールの整合性を確保するため、（１）式のとおりｖ軸方向のスケールの正規化に対しても使用される。Ｐ_１（ｕ，ｖ）は、Ｐ_２（θ，φ）と変換される。

光線方向算出部２３は、入力されるθおよびφから、光線方向ベクトル（Ｘ，Ｙ，Ｚ）を算出するものである。光線方向算出部２３は、次の（２）式によって、光線方向ベクトル（Ｘ，Ｙ，Ｚ）を算出する。

これにより、図５（ｂ）に示すθφ座標系（角度座標系）から、図６（ａ）に示すＸＹＺ座標系へ変換する。ＸＹＺ座標系は、被写体空間の座標系である。Ｐ_２（θ，φ）は、Ｐ_３（Ｘ，Ｙ，Ｚ）と変換される。点Ｏは投影中心である。光線方向ベクトル（Ｘ，Ｙ，Ｚ）は、長さが「１」に正規化された方向ベクトルである。Ｐ_３は、ＸＺ平面をＸ軸を軸としてφだけ回転させた平面上、かつ、ＹＺ平面をＹ軸を軸としてθだけ回転させた平面上に存在する。なお、光線方向ベクトル（Ｘ，Ｙ，Ｚ）をこのように求める理由は、後述する。

抽出位置算出部２４は、光線方向算出部２３が算出した光線方向ベクトル（Ｘ，Ｙ，Ｚ）から、入力画像上の座標（ｘ，ｙ）を抽出位置として算出するものである。抽出位置とは、入力画像上の座標（ｘ，ｙ）であり、出力画像上の画素座標（ｕ，ｖ）に存在する画素の画素値を入力画像上から抽出する際の最適な位置である。本実施形態の入力画像は等距離射影方式の魚眼レンズを用いて撮影されたものであるため、抽出位置算出部２４は、例えば、次の（３）式によって、入力画像上の座標（ｘ，ｙ）を算出する。

これにより、図６（ａ）に示すＸＹＺ座標系から、図６（ｂ）に示す入力画像のｘｙ座標系へ変換する。ここで、（ｘ_c, ｙ_c）は入力画像の像円の中心の座標である。また、Ｒは像円の半径であり、半画角９０度に対応する。Ｐ_３（Ｘ，Ｙ，Ｚ）は、Ｐ_４（ｘ，ｙ）と変換される。

なお、ｘ_c, ｙ_cおよびＲは、設計値として予め補正テーブル生成装置２０に登録されているものとする。また、本発明における撮像パラメータの種類はこれらに限るものではなく、使用する射影モデルに応じて種々変更することができるほか、１枚または複数の入力画像から、従来技術を用いて推定するようにしてもよい。例えば、像円の中心の座標（ｘ_c, ｙ_c）及び像円の半径Ｒについては、像円の外側の部分が通常黒くなっている（画素値として（Ｒ，Ｇ，Ｂ）の各々に非常に小さい値が格納されている）ことを利用して、円の推定を行うことで、従来技術によって推定可能である。さらに、（３）式の代わりに、従来技術による、光学系の歪み補正のための、より高次の項まで含めた補正式を使用するようにしてもよい。

抽出位置登録部２５は、抽出位置算出部２４により算出された入力画像上の座標（ｘ，ｙ）を出力画像上の画素座標（ｕ，ｖ）に対応付けて補正テーブル１７に登録するものである。なお、抽出位置算出部２４により算出された入力画像上の座標（ｘ，ｙ）が入力画像の範囲外の座標である場合には、前述のとおり、あらかじめ定めた例外値、例えば（−１，−１）などの値を（ｕ，ｖ）に対応付けて登録しておく。

ここで、光線方向ベクトル（Ｘ，Ｙ，Ｚ）をこのように求める理由を図５、図６を参照しつつ図７を用いて説明する。
（２）式によって算出される光線方向ベクトル（Ｘ，Ｙ，Ｚ）は、図７に示すように、第一の基準面であるＹＺ半平面５０（Ｚ≧０）をＹ軸を軸としてθだけ回転させた半平面５１と、第二の基準面であるＸＺ平面５２（Ｚ≧０）をＸ軸を軸としてφだけ回転させた半平面５３との交線となる半直線の方向ベクトルを算出し、さらに、この半直線の方向ベクトルを長さが「１」になるように正規化したものに相当する。

このようにθおよびφを取ることにより、被写体空間中でＹ軸と平行な直線は、この直線上のすべての点が、あるθで定められる平面上に乗ることになるため、補正後の画像において直線となり、被写体空間中でＸ軸と平行な直線は、この直線上のすべての点が、あるφで定められる平面上に乗ることになるため、補正後の画像において直線となる。すなわち、被写体空間中でＸ軸またはＹ軸に平行な直線が、補正後の画像においても直線となるようにできる、という効果が得られる。

[補正テーブル生成装置２０の動作]
次に、補正テーブル生成装置２０の動作について図８を参照（構成は適宜図４を参照）して説明する。

図８のフローチャートに示すように、ステップＳ１０において、補正テーブル生成装置２０は、カウンタのＭの値を「０」にする。
ステップＳ１１ａにおいて、角度座標算出部２１は、出力画像上の画素座標（ｕ，ｖ）に対応する角度座標系上の座標値（θ，φ）を算出する。
ステップＳ１１ｂにおいて、光線方向算出部２３は、角度座標算出部２１が算出した角度座標系上の座標値（θ，φ）に基づいて、光線方向ベクトル（Ｘ，Ｙ，Ｚ）を算出する。

ステップＳ１２において、抽出位置算出部２４は、光線方向ベクトル（Ｘ，Ｙ，Ｚ）に対応する入力画像上の座標（ｘ，ｙ）を算出する。
ステップＳ１３において、抽出位置登録部２５は、算出した座標（ｘ，ｙ）をリサンプリングテーブル（補正テーブル）（図示せず）の出力画像上の画素座標（ｕ，ｖ）に対応付けて登録する。
ステップＳ１４において、補正テーブル生成装置２０は、出力画像の全画素についてリサンプリングテーブル（補正テーブル）への登録が完了したか否かを判定する。

出力画像の全画素についてリサンプリングテーブル（補正テーブル）への登録が完了した場合は（ステップＳ１４・Ｙｅｓ）、補正テーブル生成装置２０は、リサンプリングテーブル（補正テーブル）生成処理を終了する。
一方、出力画像の画素のうちリサンプリングテーブル（補正テーブル）への登録が完了していない画素がある場合は（ステップＳ１４・Ｎｏ）、補正テーブル生成装置２０は、カウンタのＭの値に「１」を加える（ステップＳ１５）。その後、ステップＳ１１ａに戻って処理を続ける。
なお、出力画像の全画素に対してリサンプリングテーブル（補正テーブル）への登録が完了したか否かは、カウンタのＭの値と出力画像の画素数とを比較することによって判定すればよい。

以上の動作によって、画像周辺部における被写体の形状の潰れ方を抑えつつ、補正後の画像において縦方向または横方向の直線として表されるべき直線群の湾曲の度合いを補正前の画像に比べて低減することができる。

[変形例]
以上、本発明の実施形態について説明したが、本発明はこれに限定されず、本発明の趣旨を逸脱しない範囲で、例えば次のように変更することができる。

例えば、画像生成装置３０は、例示したものに限るものではなく、広角レンズを備えたデジタルカメラ、等距離射影方式を始めとする各種の射影方式で設計された魚眼レンズを備えたデジタルカメラ、広角レンズや魚眼レンズを備えたビデオカメラ、それらの機器によって撮影された映像を記憶した記憶媒体を再生する映像再生機器等、種々変更が可能である。入力画像の射影方式が変更される場合、（３）式を、入力画像の射影方式に適した式に変更すればよく、そのような変更は容易である。

また、画像出力部１４に接続する装置は、画像表示装置４０に限るものではなく、例えば、補正された画像を記憶する記憶装置や、補正された画像を別のシステムに転送する伝送装置を接続する等、本発明を適用する用途に応じて種々変更することができる。

また、カウンタのＮの値から画素座標（ｕ，ｖ）を算出する方法については、ラスタースキャンの順序で画素が参照されるようにするため、Ｎの値を出力画像のｕ軸方向の画素数で割った商をｖ、余りをｕとして算出したが、出力画像の画素の参照順序はこれに限るものではない。

また、補正テーブル１７はリサンプリングテーブルに限るものではない。例えば、画像補正装置１０の構成を、幾何補正部１３が出力画像上の画素座標（ｕ，ｖ）に対応する入力画像上の座標（ｘ，ｙ）をその都度計算しながら補正を行うような構成とする場合には、入力画像に関するパラメータ及び出力画像に関するパラメータを補正テーブル１７として補正テーブル記憶部１５に記憶しておけばよい。その場合、補正テーブル１７としてリサンプリングテーブルを使用する場合に比べて、補正テーブル記憶部１５の記憶容量も少なくてすむ。
なお、そのような構成とした場合、幾何補正部１３は、出力画像上の画素座標に対応する入力画像上の座標を求める方法として、図８に示すフローをそのまま実行するように構成してもよいし（ただし算出した座標（ｘ，ｙ）をリサンプリングテーブルへ登録する（ステップＳ１３）必要はなく、算出した座標（ｘ，ｙ）に基づいて即座に出力画像の画素値を決定すればよい）、あるいは、出力画像上の画素座標（ｕ，ｖ）から、該座標に対応する入力画像上の座標（ｘ，ｙ）を直接算出できるような合成関数を予め作成しておき、該合成関数を用いるような構成としてもよい。また、補正テーブル更新部１６がキーボード等のデータ入力装置を備える構成として、出力画像に関するパラメータをユーザが変更できるようにしてもよい。

また、本発明の実施形態の説明では、魚眼画像の縦横方向と出力画像の縦横方向とを一致させる例において説明を行ったが、本発明の実施形態はこれに限るものではない。例えば、３軸加速度センサを備えた魚眼カメラを用いる場合、このカメラから得られた被写体空間中の重力方向の情報を基に、重力方向が出力画像の縦方向に一致するようなリサンプリングテーブルを生成するようにしてもよい。具体的には、魚眼画像と地表面との対応付けを行う際に、従来技術によって座標系の向きを回転させるだけでよく、そのような変更は容易である。

また、図８のリサンプリングテーブル生成処理において光線方向ベクトル（Ｘ，Ｙ，Ｚ）に対応する入力画像上の座標（ｘ，ｙ）を算出する際、画角の読み替えを行うようにしてもよい。すなわち、像円の半径Ｒが実際の半画角である半画角９０度に対応するものとして計算するのではなく、像円の半径Ｒが実際よりも大きな半画角に対応するものとして計算する。等距離射影方式の魚眼レンズを用いて撮影された画像を補正する場合であれば、例えば、補正係数β（０＜β＜１）を用いて、（３）式の代わりに次の（４）式によって変換を行えばよい。

画角の読み替え処理を加えることにより、被写体空間中の縦方向の直線と横方向の直線の出力画像における像の歪みが増加する一方、被写体空間中の斜め方向の直線の出力画像の周辺部における歪みを低減することができる。なお、補正係数βの値を、定数ではなくＺの関数としてもよい。

また、前記実施例では角度の変化率を一定としたが、角度の変化率を、出力画像の中央付近と周辺とで変えるようにしてもよい。例えば、出力画像の中央付近と周辺との角度の変化率の比がどの程度まで許容できるかに鑑みて事前に定めておくパラメータα（０＜α＜１）を用いて、出力画像の中央付近での角度の変化率をΘ、出力画像の左右端での角度の変化率を（α・Θ）とする場合、角度の変化率を次の（５）式に基づいて決定する。なお、αの値としては、３５ｍｍフィルムカメラにおける標準レンズの焦点距離である５０ｍｍのレンズを用いて撮影した写真の特性に鑑み、前記の定義域のうち、０．８４以上の値を使用するのがよい。

すなわち、ｕの値からθ＝ｆ（ｕ）の算出を次の（６）式に基づいて実施する。

これにより、角度の変化率を一定の範囲内に保ちつつ、画像の周辺部ほど、角度の変化率を小さくすることができる。ここで、Θの値は、出力画像の右端においてｆ（ｕ）の値が９０度になるという条件から、次の（７）式に従って算出して使用すればよい。

また、出力画像で表現する水平方向の角度の範囲は、−９０度から９０度の範囲に限るものではない。出力画像で表現する水平方向の角度の範囲を変更する場合には、（１）式で、θとφの算出に使用している「π／２」の値を所望の値に変更すればよい。

また、画像入力部１１で読み込んだ入力画像の各画素の画素値は、基準色（Ｒ，Ｇ，Ｂ）毎に「０」から「２５５」までの２５６通り（＝８ビット）の整数値のうちの一つの値を取るような、デジタル化した値であるとしたが、本発明の実施形態はこれに限るものではない。例えば、各基準色で表現できる階調を「０」から「１０２３」までの１０２４通り（１０ビット）に増やす等の変更をしてもよい。当該変更によって入力画像で表現できる階調と出力画像で表現できる階調との間に差異が生じる場合であっても、従来技術で容易に対処可能である。また、例えば基準色として（Ｒ，Ｇ，Ｂ，Ｃ（シアン），Ｙ（イエロー））の５色を用いるような、多原色への対応も、従来技術を利用することで容易に実施できる。

また、補正テーブル記憶部１５は、ＳＤメモリーカード等、画像補正装置１０から着脱可能な記憶媒体を用いることで実施してもよい。その場合、補正テーブル生成装置２０がＳＤメモリーカードライタ等を備え、補正テーブル生成装置２０で生成したリサンプリングテーブル（補正テーブル）１７を前記ＳＤメモリーカードライタを介して補正テーブル記憶部１５に登録するような構成とすることで、画像補正装置１０が補正テーブル更新部１６を備える必要がなくなるため、リサンプリングテーブル（補正テーブル）１７の更新頻度が低い場合に好適である。

１０ 画像補正装置
１１ 画像入力部
１２ 画像記憶部
１３ 幾何補正部
１４ 画像出力部
１５ 補正テーブル記憶部
１６ 補正テーブル更新部
１７ 補正テーブル
２０ 補正テーブル生成装置
２１ 角度座標算出部
２３ 光線方向算出部
２４ 抽出位置算出部
２５ 抽出位置登録部
３０ 画像生成装置
４０ 画像表示装置

Claims (14)

1. 入力画像を幾何補正して補正画像を生成するために用いる補正テーブルを生成する補正テーブル生成装置であって、
   前記補正画像となる出力画像上の各画素位置に対応する角度の組（θ、φ）を算出する角度座標算出部と、
   前記角度の組（θ、φ）に対応する被写体空間中の光線方向を算出する光線方向算出部と、
   前記光線方向に対応する前記入力画像上の位置を抽出位置として算出する抽出位置算出部と、
   前記抽出位置を前記出力画像の画素位置に対応付けて前記補正テーブルに登録する抽出位置登録部と、
   を備え、
   前記光線方向算出部は、前記入力画像の投影中心を原点とする３次元直交座標系において、ＹＺ平面をＹ軸の周りに前記θだけ回転させた平面と、ＸＺ平面をＸ軸の周りに前記φだけ回転させた平面との交線に基づいて前記光線方向を算出し、
   前記角度座標算出部は、前記出力画像の周辺の前記角度の組（θ、φ）の補正前から補正後への変化率である第１変化率と、前記出力画像の中央付近の前記角度の組（θ、φ）の補正前から補正後への変化率である第２変化率との比が、所定の許容範囲に収まるようにする
   ことを特徴とする補正テーブル生成装置。
2. 前記抽出位置算出部は、前記光線方向と前記入力画像に関する光軸とが成す角度を、実際の値以上になるように補正した補正角度を用いて、前記光線方向に対応する前記入力画像上の位置を抽出位置として算出する
   ことを特徴とする請求項１に記載の補正テーブル生成装置。
3. 前記角度座標算出部は、前記補正画像となる出力画像上の各画素位置が（ｕ，ｖ）である場合に、補正に使用される前記ｕの範囲において、前記ｕの絶対値に関して広義単調増加する関数ｆ（ｕ）と、補正に使用される前記ｖの範囲において、前記ｖの絶対値に関して広義単調増加する関数ｇ（ｖ）とを用いて、出力画像上の各画素位置（ｕ，ｖ）に対応する角度の組（ｆ（ｕ），ｇ（ｖ））を算出する
   ことを特徴とする請求項１に記載の補正テーブル生成装置。
4. 入力画像を幾何補正して補正画像を生成する画像補正装置であって、
   前記入力画像を入力する画像入力部と、
   前記入力画像を記憶する画像記憶部と、
   前記入力画像を幾何補正するために用いる補正テーブルを記憶する補正テーブル記憶部と、
   前記画像記憶部に記憶された前記入力画像を前記補正テーブルに基づいて幾何補正する幾何補正部と、
   前記幾何補正部により補正された前記入力画像を前記補正画像として出力する画像出力部と、
   を備え、
   前記補正テーブルは、前記補正画像となる出力画像上の各画素位置に対応する角度の組（θ、φ）を算出し、前記入力画像の投影中心を原点とする３次元直交座標において、ＹＺ平面をＹ軸の周りに前記θだけ回転させた平面と、ＸＺ平面をＸ軸の周りに前記φだけ回転させた平面との交線に基づいて光線方向を算出し、前記光線方向に対応する前記入力画像上の位置を抽出位置として算出し、前記抽出位置を前記出力画像の画素位置に対応付けていることにより生成されたものであり、
   前記角度の組（θ、φ）を算出する工程において、前記出力画像の周辺の前記角度の組（θ、φ）の補正前から補正後への変化率である第１変化率と、前記出力画像の中央付近の前記角度の組（θ、φ）の補正前から補正後への変化率である第２変化率との比が、所定の許容範囲に収まるようにする
   ことを特徴とする画像補正装置。
5. 入力画像を幾何補正して補正画像を生成する画像補正装置であって、
   前記入力画像を入力する画像入力部と、
   前記入力画像を記憶する画像記憶部と、
   前記補正画像となる出力画像上の各画素位置に対応する角度の組（θ、φ）を算出し、前記入力画像の投影中心を原点とする３次元直交座標において、ＹＺ平面をＹ軸の周りに前記θだけ回転させた平面と、ＸＺ平面をＸ軸の周りに前記φだけ回転させた平面との交線に基づいて光線方向を算出し、前記光線方向に対応する前記入力画像上の位置を抽出位置として算出し、前記抽出位置を前記出力画像の画素位置に対応付けることにより、前記画像記憶部に記憶された前記入力画像を幾何補正する幾何補正部と、
   前記幾何補正部により補正された前記入力画像を前記補正画像として出力する画像出力部と、
   を備え、
   前記幾何補正部における角度の組（θ、φ）を算出する工程において、前記出力画像の周辺の前記角度の組（θ、φ）の補正前から補正後への変化率である第１変化率と、前記出力画像の中央付近の前記角度の組（θ、φ）の補正前から補正後への変化率である第２変化率との比が、所定の許容範囲に収まるようにする
   ことを特徴とする画像補正装置。
6. 前記所定の許容範囲は、０．８４以上１未満であることを特徴とする
   請求項５に記載の画像補正装置。
7. 前記幾何補正部における角度の組（θ、φ）を算出する工程は、前記補正画像となる出力画像上の各画素位置を（ｕ，ｖ）とし、その出力画像の中心位置の座標を（ｕ _ｃ ，ｖ _ｃ ）とし、wを正規化定数としたときに、以下の式を元に角度の組（θ、φ）を算出し、
   前記幾何補正部における光線方向を算出する工程は、前記３次元直交座標系を（Ｘ，Ｙ，Ｚ）座標系としたときに、以下の式を元に前記光線方向を算出することを特徴とする
   請求項５に記載の画像補正装置。
8. 入力画像を幾何補正して補正画像を生成するために用いる補正テーブルを生成する補正テーブル生成方法であって、
   前記補正画像となる出力画像上の各画素位置に対応する角度の組（θ、φ）を算出する角度座標算出ステップと、
   前記角度の組（θ、φ）に対応する被写体空間中の光線方向を算出する光線方向算出ステップと、
   前記光線方向に対応する前記入力画像上の位置を抽出位置として算出する抽出位置算出ステップと、
   前記抽出位置を前記出力画像の画素位置に対応付けて前記補正テーブルに登録する抽出位置登録ステップと、
   を含み、
   前記光線方向算出ステップは、前記入力画像の投影中心を原点とする３次元直交座標において、ＹＺ平面をＹ軸の周りに前記θだけ回転させた平面と、ＸＺ平面をＸ軸の周りに前記φだけ回転させた平面との交線に基づいて前記光線方向を算出し、
   前記角度座標算出ステップにおいて、前記出力画像の周辺の前記角度の組（θ、φ）の補正前から補正後への変化率である第１変化率と、前記出力画像の中央付近の前記角度の組（θ、φ）の補正前から補正後への変化率である第２変化率との比が、所定の許容範囲に収まるようにする
   ことを特徴とする補正テーブル生成方法。
9. 入力画像を幾何補正して補正画像を生成する補正画像生成方法であって、
   前記入力画像を入力する画像入力ステップと、
   前記入力画像を記憶する画像記憶ステップと、
   前記入力画像を幾何補正するために用いる補正テーブルを記憶する補正テーブル記憶ステップと、
   前記画像記憶ステップにより記憶された前記入力画像を前記補正テーブルに基づいて幾何補正する幾何補正ステップと、
   前記幾何補正ステップにより補正された前記入力画像を前記補正画像として出力する画像出力ステップと、
   を含み、
   前記補正テーブルは、前記補正画像となる出力画像上の各画素位置に対応する角度の組（θ、φ）を算出し、前記入力画像の投影中心を原点とする３次元直交座標において、ＹＺ平面をＹ軸の周りに前記θだけ回転させた平面と、ＸＺ平面をＸ軸の周りに前記φだけ回転させた平面との交線に基づいて光線方向を算出し、前記光線方向に対応する前記入力画像上の位置を抽出位置として算出し、前記抽出位置を前記出力画像の画素位置に対応付けていることにより生成されたものであり、
   前記角度の組（θ、φ）を算出する工程において、前記出力画像の周辺の前記角度の組（θ、φ）の補正前から補正後への変化率である第１変化率と、前記出力画像の中央付近の前記角度の組（θ、φ）の補正前から補正後への変化率である第２変化率との比が、所定の許容範囲に収まるようにする
   ことを特徴とする補正画像生成方法。
10. 入力画像を幾何補正して補正画像を生成する補正画像生成方法であって、
    前記入力画像を入力する画像入力ステップと、
    前記入力画像を記憶する画像記憶ステップと、
    前記補正画像となる出力画像上の各画素位置に対応する角度の組（θ、φ）を算出し、前記入力画像の投影中心を原点とする３次元直交座標において、ＹＺ平面をＹ軸の周りに前記θだけ回転させた平面と、ＸＺ平面をＸ軸の周りに前記φだけ回転させた平面との交線に基づいて光線方向を算出し、前記光線方向に対応する前記入力画像上の位置を抽出位置として算出し、前記抽出位置を前記出力画像の画素位置に対応付けていることにより、前記画像記憶ステップにより記憶された前記入力画像を幾何補正する幾何補正ステップと、
    前記幾何補正ステップにより補正された前記入力画像を前記補正画像として出力する画像出力ステップと、
    を含み、
    前記幾何補正ステップにおける角度の組（θ、φ）を算出する工程において、前記出力画像の周辺の前記角度の組（θ、φ）の補正前から補正後への変化率である第１変化率と、前記出力画像の中央付近の前記角度の組（θ、φ）の補正前から補正後への変化率である第２変化率との比が、所定の許容範囲に収まるようにする
    ことを特徴とする補正画像生成方法。
11. 前記所定の許容範囲は、０．８４以上１未満であることを特徴とする
    請求項１０に記載の補正画像生成方法。
12. 前記幾何補正ステップにおける角度の組（θ、φ）を算出する工程は、前記補正画像となる出力画像上の各画素位置を（ｕ，ｖ）とし、その出力画像の中心位置の座標を（ｕｃ，ｖｃ）とし、wを正規化定数としたときに、以下の式を元に角度の組（θ、φ）を算出し、
    前記幾何補正ステップにおける光線方向を算出する工程は、前記３次元直交座標系を（Ｘ，Ｙ，Ｚ）座標系としたときに、以下の式を元に前記光線方向を算出することを特徴とする
    請求項１０に記載の補正画像生成方法。
13. 請求項８に記載の補正テーブル生成方法を実行するための補正テーブル生成プログラム。
14. 請求項９ないし請求項１２のいずれか１項に記載の補正画像生成方法を実行するための補正画像生成プログラム。